WO2024090825A1 - 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법 - Google Patents

센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법 Download PDF

Info

Publication number
WO2024090825A1
WO2024090825A1 PCT/KR2023/015041 KR2023015041W WO2024090825A1 WO 2024090825 A1 WO2024090825 A1 WO 2024090825A1 KR 2023015041 W KR2023015041 W KR 2023015041W WO 2024090825 A1 WO2024090825 A1 WO 2024090825A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
motion
visual
user
visual object
Prior art date
Application number
PCT/KR2023/015041
Other languages
English (en)
French (fr)
Inventor
박철민
김성오
여재영
홍충완
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024090825A1 publication Critical patent/WO2024090825A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • This disclosure relates to a wearable device and method for changing a visual object using data identified by a sensor.
  • the electronic device may be a wearable device that can be worn by a user.
  • the electronic device may be AR glasses and/or a head-mounted device (HMD).
  • HMD head-mounted device
  • a wearable device may include a camera, a sensor, a display, and a processor.
  • the processor may be configured to display a visual object within the user's field-of-view (FoV) using the display while worn by the user.
  • the processor may be configured to obtain sensor information indicating motion associated with the user from the camera and the sensor.
  • the processor may be configured to identify whether the motion indicated by the sensor information corresponds to a specified motion in object information matched to the visual object.
  • the processor may be configured to change the visual object displayed within the FoV based on identifying the motion corresponding to the specified motion and based on the object information matching the specified motion.
  • a method of a wearable device may include displaying a visual object within the field-of-view (FoV) of the user using a display within the wearable device while worn by the user. You can.
  • the method may include obtaining sensor information indicating motion related to the user from a camera in the wearable device and a sensor in the wearable device.
  • the method may include an operation of identifying whether the motion indicated by the sensor information corresponds to a specified motion in object information matched to the visual object.
  • the method may include changing the visual object displayed within the FoV based on identifying the motion corresponding to the specified motion and based on the object information matching the specified motion.
  • a wearable device may include a sensor, a display, and a processor.
  • the processor may be configured to display a plurality of visual objects within the user's FoV using the display while worn by the user.
  • the processor is configured to identify, based on the sensor, a location in the FoV of a second external electronic device corresponding to the first external electronic device based on identifying a specified motion associated with the first external electronic device. It can be.
  • the processor may be configured to change at least one visual object related to the location within the FoV, among the plurality of visual objects, based on object information corresponding to the at least one visual object.
  • a method of a wearable device includes displaying a plurality of visual objects within a user's field-of-view (FoV) using a display within the wearable device while worn by a user.
  • the method identifies, based on sensors in the wearable device, a location in the FoV of a second external electronic device corresponding to the first external electronic device based on identifying a specified motion associated with the first external electronic device. It may include actions such as:
  • the method may include an operation of changing at least one visual object related to the location within the FoV, among the plurality of visual objects, based on object information corresponding to the at least one visual object.
  • Figure 1 is an exemplary diagram of a first embodiment environment in which metaverse services are provided through a server.
  • Figure 2 is an exemplary diagram of a second embodiment environment in which a metaverse service is provided through direct connection between user terminals and a second terminal.
  • FIG. 3A shows an example of a perspective view of a wearable device, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • 4A to 4B show an example of the appearance of a wearable device, according to an embodiment.
  • FIG. 5 illustrates an example of an operation performed by a wearable device based on data from a camera and/or sensor, according to an embodiment.
  • Figure 6 shows an example of a block diagram of a wearable device, according to an embodiment.
  • FIG. 7 illustrates an example of an operation performed by a wearable device based on the state of an external electronic device identified through a sensor, according to an embodiment.
  • FIG. 8 illustrates an example of an operation performed by a wearable device based on a user's motion, according to an embodiment.
  • FIG. 9 illustrates an example of an operation performed by a wearable device based on an external object, according to an embodiment.
  • FIGS. 10A and 10B illustrate an example of an operation in which a wearable device displays a visual object linked to an external object, according to an embodiment.
  • Figure 11 shows an example of a flow chart for a wearable device, according to one embodiment.
  • Figure 12 shows an example of a flow chart for a wearable device, according to one embodiment.
  • Figure 13 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to a component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Metaverse is a compound word of the English word 'Meta', meaning 'virtual' or 'transcendence', and 'Universe', meaning universe. It is a three-dimensional space where social, economic and cultural activities similar to the real world take place. refers to the virtual world of Metaverse is a concept that is one step more advanced than virtual reality (VR (virtual reality), a cutting-edge technology that allows people to experience life-like experiences in a virtual world created by a computer), and is a concept that uses avatars to play games or play games. It has the characteristic of not only allowing you to enjoy virtual reality, but also allowing you to engage in social and cultural activities similar to those in real life.
  • VR virtual reality
  • Such metaverse services can be provided in at least two forms. The first is that services are provided to users using a server, and the second is that services are provided through individual contact between users.
  • FIG. 1 is an exemplary diagram of a first embodiment environment 101 that receives metaverse services through the server 110.
  • the first embodiment environment 101 includes a server 110 providing a metaverse service, the server 110, and each user terminal (e.g., the first terminal 120-1, and the second terminal 120-1).
  • a network connecting the user terminal 120 including the terminal 120-2 e.g., a network formed by at least one intermediate node 130 including an access point (AP) and/or a base station
  • network It consists of a user terminal that connects to the server through and allows the user to use the service by providing input and output to the metaverse service.
  • the server 110 provides a virtual space so that the user terminal 120 can perform activities in the virtual space.
  • the user terminal 120 installs a S/W agent to access the virtual space provided by the server 110 to express information provided by the server 110 to the user, or to express information that the user wishes to express in the virtual space. Transmit information to the server.
  • the S/W agent can be provided directly through the server 110, downloaded from a public server, or embedded when purchasing a terminal.
  • FIG. 2 is an exemplary diagram of a second embodiment environment 102 in which a metaverse service is provided through direct connection between user terminals (e.g., the first terminal 120-1 and the second terminal 120-2). am.
  • user terminals e.g., the first terminal 120-1 and the second terminal 120-2.
  • the second embodiment environment 102 includes a first terminal 120-1 providing a metaverse service, a network connecting each user terminal (e.g., to at least one intermediate node 130), network formed by a network), and a second terminal (120-2) that connects to the first terminal (120-1) through the network and allows the second user to use the service by inputting and outputting the metaverse service.
  • the second embodiment is characterized in that the first terminal 120-1 performs the role of a server (eg, server 110 in FIG. 1) in the first embodiment to provide a metaverse service.
  • a server eg, server 110 in FIG. 1
  • a metaverse environment can be created just by connecting devices.
  • the user terminal 120 may be made in various form factors. It is characterized in that it includes an output device that provides images and/or sounds to the user and an input device that inputs information to the metaverse service.
  • various form factors of the user terminal 120 include a smartphone (e.g., second terminal 120-2), AR device (e.g., first terminal 120-1), virtual reality (VR) device, and MR. (mixed reality) devices, VST (video see through) devices, and TVs or projectors capable of input and output.
  • the network of the present invention (e.g., a network formed by at least one intermediate node 130) includes various broadband networks including 3G, 4G, and 5G, and local area networks including wireless fidelity (WiFi) and bluetooth (BT) (e.g. , a wired network or a wireless network directly connecting the first terminal 120-1 and the second terminal 120-2).
  • WiFi wireless fidelity
  • BT bluetooth
  • FIG. 3A shows an example of a perspective view of a wearable device 300, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware disposed within the wearable device 300, according to one embodiment.
  • the wearable device 300 of FIGS. 3A and 3B may include the first terminal 120-1 of FIGS. 1 and 2 .
  • the wearable device 300 according to one embodiment may include at least one display 350 and a frame supporting the at least one display 350. .
  • the wearable device 300 may be worn on a part of the user's body.
  • the wearable device 300 provides the user wearing the wearable device 300 with augmented reality (AR), virtual reality (VR), or a mixed reality that combines augmented reality and virtual reality.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality that combines augmented reality and virtual reality.
  • the wearable device 300 outputs a virtual reality image to the user through at least one display 350 in response to the user's designated gesture acquired through the motion recognition camera 340-2 of FIG. 3B. can do.
  • At least one display 350 in the wearable device 300 may provide visual information to the user.
  • at least one display 350 may include a transparent or translucent lens.
  • At least one display 350 may include a first display 350-1 and/or a second display 350-2 spaced apart from the first display 350-1.
  • the first display 350-1 and the second display 350-2 may be placed at positions corresponding to the user's left eye and right eye, respectively.
  • At least one display 350 forms a display area on the lens to display visual information included in external light passing through the lens to a user wearing the wearable device 300. It can provide other visual information that is distinct from visual information.
  • the lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • the display area formed by at least one display 350 may be formed on the first side 331 and the second side 332 of the second side 332 of the lens.
  • At least one display 350 may display a virtual reality image to be combined with a real screen transmitted through external light.
  • the virtual reality image output from at least one display 350 includes one or more hardware (e.g., optical devices 382, 384, and/or at least one waveguides) included in the wearable device 300. )(333, 334)), it can be transmitted to the user's eyes.
  • the wearable device 300 includes waveguides 333 that diffract light transmitted from at least one display 350 and relayed by the optical devices 382 and 384 and deliver it to the user. , 334).
  • the waveguides 333 and 334 may be formed based on at least one of glass, plastic, or polymer.
  • a nanopattern may be formed on the outside or at least a portion of the inside of the waveguides 333 and 334.
  • the nanopattern may be formed based on a polygonal and/or curved grating structure. Light incident on one end of the waveguides 333 and 334 may propagate to the other end of the waveguides 333 and 334 by the nanopattern.
  • the waveguides 333 and 334 may include at least one of a diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • a diffractive element eg, a diffractive optical element (DOE) or a holographic optical element (HOE)
  • a reflective element eg, a reflective mirror.
  • the waveguides 333 and 334 may be disposed within the wearable device 300 to guide the screen displayed by at least one display 350 to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) generated within the waveguides 333 and 334.
  • TIR total internal reflection
  • the wearable device 300 analyzes objects included in the real-life image collected through the shooting camera 340-1, and selects an object that is the target of providing augmented reality from among the analyzed objects. Corresponding virtual objects can be combined and displayed on at least one display 350.
  • the virtual object may include at least one of text and images for various information related to the object included in the real image.
  • the wearable device 300 can analyze objects based on multi-cameras, such as stereo cameras. For the object analysis, the wearable device 300 may execute time-of-flight (ToF) and/or simultaneous localization and mapping (SLAM) supported by multi-cameras. A user wearing the wearable device 300 can watch images displayed on at least one display 350.
  • ToF time-of-flight
  • SLAM simultaneous localization and mapping
  • the frame may be made of a physical structure that allows the wearable device 300 to be worn on the user's body.
  • the frame allows the first display 350-1 and the second display 350-2 to be positioned to correspond to the user's left eye and right eye when the user wears the wearable device 300. It can be configured so that The frame may support at least one display 350.
  • the frame may support the first display 350-1 and the second display 350-2 to be positioned at positions corresponding to the user's left and right eyes.
  • the frame when the user wears the wearable device 300, the frame may include an area 320 at least partially in contact with a portion of the user's body.
  • the area 320 of the frame in contact with a part of the user's body includes an area in contact with a part of the user's nose, a part of the user's ear, and a side part of the user's face that the wearable device 300 touches. can do.
  • the frame may include a nose pad 310 that contacts a part of the user's body. When the wearable device 300 is worn by a user, the nose pad 310 may be in contact with a portion of the user's nose.
  • the frame may include a first temple 304 and a second temple 305 that are in contact with another part of the user's body that is distinct from the part of the user's body.
  • the frame includes a first rim 301 surrounding at least a portion of the first display 350-1, a second rim 302 surrounding at least a portion of the second display 350-2, A bridge 303 disposed between the first rim 301 and the second rim 302, and a first pad 311 disposed along a portion of the edge of the first rim 301 from one end of the bridge 303. ), a second pad 312 disposed along a portion of the edge of the second rim 302 from the other end of the bridge 303, and a first temple 304 that extends from the first rim 301 and is fixed to a portion of the wearer's ear.
  • the first pad 311 and the second pad 312 may be in contact with a portion of the user's nose, and the first temple 304 and the second temple 305 may be in contact with a portion of the user's face and a portion of the ear. may come into contact with.
  • the temples 304 and 305 may be rotatably connected to the rim via hinge units 306 and 307 in FIG. 3B.
  • the first temple 304 may be rotatably connected to the first rim 301 through a first hinge unit 306 disposed between the first rim 301 and the first temple 304. .
  • the second temple 305 may be rotatably connected to the second rim 302 through a second hinge unit 307 disposed between the second rim 302 and the second temple 305.
  • the wearable device 300 detects an external object (e.g., a user's fingertip) touching the frame using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of the surface of the frame. fingertip)), and/or a gesture performed by the external object may be identified.
  • an external object e.g., a user's fingertip
  • the wearable device 300 may include hardware (eg, hardware described above based on the block diagram of FIG. 6) that performs various functions.
  • the hardware includes a battery module 370, an antenna module 375, optical devices 382, 384, speakers 392-1, 392-2, and microphones 394-1, 394- 2, 394-3), a light emitting module (not shown), and/or a printed circuit board 390.
  • Various hardware can be placed within the frame.
  • the microphones 394-1, 394-2, and 394-3 of the wearable device 300 may be disposed in at least a portion of the frame to obtain a sound signal.
  • microphones 394-3 are shown in FIG. 3B, the number and placement of microphones 394 are not limited to the embodiment of FIG. 3B. If the number of microphones 394 included in the wearable device 300 is two or more, the wearable device 300 can identify the direction of the sound signal using a plurality of microphones disposed on different parts of the frame. there is.
  • the optical devices 382 and 384 may transmit a virtual object transmitted from at least one display 350 to the wave guides 333 and 334.
  • optical devices 382 and 384 may be projectors.
  • the optical devices 382 and 384 may be disposed adjacent to the at least one display 350 or may be included within at least one display 350 as part of the at least one display 350 .
  • the first optical device 382 may correspond to the first display 350-1
  • the second optical device 384 may correspond to the second display 350-2.
  • the first optical device 382 can transmit the light output from the first display 350-1 to the first waveguide 333
  • the second optical device 384 can transmit the light output from the first display 350-1 to the first waveguide 333.
  • the light output from -2) can be transmitted to the second waveguide 334.
  • the camera 340 may include an eye tracking camera (ET CAM) 340-1, a motion recognition camera 340-2, and/or an imaging camera 340-3. You can.
  • the shooting camera, eye tracking camera 340-1, and motion recognition camera 340-2 may be placed at different positions on the frame and perform different functions.
  • the gaze tracking camera 340-1 may output data representing the gaze of the user wearing the wearable device 300.
  • the wearable device 300 may detect the gaze from an image including the user's pupils obtained through the gaze tracking camera 340-1.
  • An example in which the gaze tracking camera 340-1 is positioned toward the user's right eye is shown in FIG. 3B, but the embodiment is not limited thereto, and the gaze tracking camera 340-1 is positioned solely toward the user's left eye. It may be placed towards, or towards both eyes.
  • the capturing camera 340-3 may capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera may capture an image of a specific object that exists at a location where the user is looking and provide the image to at least one display 350.
  • At least one display 350 is one in which a real image or background information including the image of the specific object obtained using a photographing camera and a virtual image provided through the optical devices 382 and 384 are overlapped.
  • the video can be displayed.
  • the imaging camera may be placed on the bridge 303 disposed between the first rim 301 and the second rim 302.
  • the gaze tracking camera 340-1 tracks the gaze of a user wearing the wearable device 300, thereby tracking the user's gaze and visual information provided to at least one display 350. By matching them, a more realistic augmented reality can be realized. For example, when the user looks forward, the wearable device 300 may naturally display environmental information related to the user's front view on at least one display 350 at the location where the user is located.
  • the gaze tracking camera 340-1 may be configured to capture an image of the user's pupil to determine the user's gaze. For example, the gaze tracking camera 340-1 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 340-1 may be placed at positions corresponding to the user's left and right eyes.
  • the eye tracking camera 340-1 may be placed within the first rim 301 and/or the second rim 302 to face the direction in which the user wearing the wearable device 300 is located. You can.
  • the motion recognition camera 340-2 displays a specific image on the screen provided on at least one display 350 by recognizing the movement of the entire or part of the user's body, such as the user's torso, hands, or face. Events can be provided.
  • the gesture recognition camera 340-2 may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal to at least one display 350.
  • the processor may identify a signal corresponding to the operation and perform a designated function based on the identification.
  • the motion recognition camera 340-2 may be disposed on the first rim 301 and/or the second rim 302.
  • the camera 340 included in the wearable device 300 is not limited to the eye tracking camera 340-1 and the motion recognition camera 340-2 described above.
  • the wearable device 300 may identify an external object included within the user's FoV using the capturing camera 340-3 disposed toward the user's FoV.
  • the wearable device 300 identifies an external object based on a sensor for identifying the distance between the wearable device 300 and the external object, such as a depth sensor and/or a time of flight (ToF) sensor. It can be.
  • the camera 340 disposed toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function.
  • the wearable device 300 includes a camera 340 (e.g., a face tracking (FT) camera) disposed toward the face of a user wearing the wearable device 300 to obtain an image including the face. ) may include.
  • FT face tracking
  • the wearable device 300 radiates light toward a subject (e.g., the user's eyes, face, and/or an external object within the FoV) captured using the camera 340. It may further include a light source (eg, LED).
  • the light source may include an LED with an infrared wavelength.
  • the light source may be placed in at least one of the frame and hinge units 306 and 307.
  • the battery module 370 may supply power to electronic components of the wearable device 300.
  • the battery module 370 may be disposed within the first temple 304 and/or the second temple 305.
  • the battery module 370 may be a plurality of battery modules 370 .
  • a plurality of battery modules 370 may be disposed on the first temple 304 and the second temple 305, respectively.
  • the battery module 370 may be disposed at an end of the first temple 304 and/or the second temple 305.
  • the antenna module 375 may transmit a signal or power to the outside of the wearable device 300, or may receive a signal or power from the outside.
  • the antenna module 375 may be electrically and/or operatively connected to the communication circuit 250 of FIG. 2 .
  • the antenna module 375 may be disposed within the first temple 304 and/or the second temple 305.
  • the antenna module 375 may be placed close to one surface of the first temple 304 and/or the second temple 305.
  • the speakers 392-1 and 392-2 may output sound signals to the outside of the wearable device 300.
  • the sound output module may be referred to as a speaker.
  • the speakers 392-1 and 392-2 are disposed adjacent to the ears of the user wearing the wearable device 300, the first temple 304, and/or the second temple 305. ) can be placed within.
  • the wearable device 300 is disposed within the first temple 304 and the second speaker 392-2, which is disposed adjacent to the user's left ear, and the second temple 305 to listen to the user's hearing. It may include a first speaker 392-1, which is disposed adjacent to the right ear.
  • a light emitting module may include at least one light emitting device.
  • the light emitting module may emit light in a color corresponding to a specific state or emit light through an operation corresponding to the specific state. For example, when the wearable device 300 requires charging, it may repeatedly emit red light at designated times.
  • the light emitting module may be disposed on the first rim 301 and/or the second rim 302.
  • the wearable device 300 may include a printed circuit board (PCB) 390.
  • the PCB 390 may be included in at least one of the first temple 304 or the second temple 305.
  • the PCB 390 may include an interposer disposed between at least two sub-PCBs.
  • On the PCB 390 one or more hardware included in the wearable device 300 may be placed.
  • the wearable device 300 may include a flexible PCB (FPCB) for interconnecting the hardware.
  • FPCB flexible PCB
  • the wearable device 300 includes a gyro sensor for detecting the posture of the wearable device 300 and/or the posture of a body part (e.g., head) of a user wearing the wearable device 300; It may include at least one of a gravity sensor and/or an acceleration sensor.
  • the gravity sensor and acceleration sensor may each measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (eg, x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • a gyro sensor can measure the angular velocity of each of designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis).
  • At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • the wearable device 300 may identify a user's motion and/or gesture performed to execute or stop a specific function of the wearable device 300 based on the IMU.
  • FIGS. 4A to 4B show an example of the appearance of a wearable device 400, according to an embodiment.
  • the wearable device 400 of FIGS. 4A and 4B may include the first terminal 120-1 of FIGS. 1 and 2 .
  • An example of the appearance of the first side 410 of the housing of the wearable device 400, according to one embodiment, is shown in FIG. 4A, and the second side 420 is opposite to the first side 410. ) can be shown in Figure 4b.
  • the first surface 410 of the wearable device 400 may have a form attachable to a user's body part (e.g., the user's face).
  • wearable device 400 may include a strap for securing on a part of the user's body, and/or one or more temples (e.g., first temple 304 in FIGS. 3A-3B, and/or It may further include 2 temples (305).
  • a first display 350-1 for outputting an image to the left eye of both eyes of the user, and a second display 350-2 for outputting an image to the right eye of the user's both eyes, have a first surface 410 It can be placed on top.
  • the wearable device 400 is formed on the first surface 410 and emits light (e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2. Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • light e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2.
  • Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • the wearable device 400 includes a camera for photographing and/or tracking both eyes of a user adjacent to each of the first display 350-1 and the second display 350-2. It may include (440-1, 440-2). The cameras 440-1 and 440-2 may be referred to as ET cameras. According to one embodiment, the wearable device 400 may include cameras 440-3 and 440-4 for photographing and/or recognizing the user's face. The cameras 440-3 and 440-4 may be referred to as FT cameras.
  • a camera for acquiring information related to the external environment of the wearable device 400 -5, 440-6, 440-7, 440-8, 440-9, 440-10)
  • a sensor e.g., depth sensor 430
  • the cameras 440-5, 440-6, 440-7, 440-8, 440-9, and 440-10 are configured to recognize an external object different from the wearable device 400. It may be placed on (420).
  • the wearable device 400 may obtain an image and/or video to be transmitted to each of the user's eyes.
  • the camera 440-9 will be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the second display 350-2 corresponding to the right eye among the two eyes. You can.
  • the camera 440-10 may be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the first display 350-1 corresponding to the left eye among the two eyes. there is.
  • the wearable device 400 may include a depth sensor 430 disposed on the second surface 420 to identify the distance between the wearable device 400 and an external object. Using the depth sensor 430, the wearable device 400 acquires spatial information (e.g., depth map) about at least a portion of the FoV of the user wearing the wearable device 400. can do.
  • spatial information e.g., depth map
  • a microphone for acquiring sound output from an external object may be disposed on the second side 420 of the wearable device 400.
  • the number of microphones may be one or more depending on the embodiment.
  • the wearable device 400 may have a form factor to be worn on the user's head.
  • the wearable device 400 may provide a user experience based on augmented reality, virtual reality, and/or mixed reality while worn on the head.
  • a wearable device 400 and a wearable device ( A server (e.g., server 110 in FIG. 1) connected to 400) may provide an on-demand service that provides video of a location and/or place selected by the user, and/or a metaverse service. You can.
  • the wearable device 400 displays frames acquired through cameras 440-9 and 440-10 on each of the first display 350-1 and the second display 350-2. can be displayed.
  • the wearable device 400 is displayed through the first display 350-1 and the second display 150-2, and combines virtual objects within a frame containing the real object to provide the user with the real object and the virtual object.
  • Objects can provide a mixed user experience (e.g., video see-through (VST)).
  • Wearable device 400 includes cameras 440-1, 440-2, 440-3, 440-4, 440-5, 440-6, 440-7, 440-8, and/or depth sensor 430. ), the virtual object can be changed based on the information obtained by.
  • the wearable device 400 may detect the motion for interacting with the real object, You can stop displaying an object. By stopping displaying the virtual object, the wearable device 400 reduces the visibility of the real object as the visual object corresponding to the real object is occluded by the virtual object. You can prevent it from happening.
  • a wearable device including the wearable device 300 of FIGS. 3A to 3B and/or the wearable device 400 of FIGS. 4A to 4B (e.g., the wearable device of FIGS. 1 to 2) will be described.
  • 1 An example of an operation performed by the terminal 120-1 to adjust the visibility of an external object based on the user's motion regarding the external object will be described.
  • FIG. 5 illustrates an example of an operation performed by the wearable device 510 based on data from a camera and/or sensor, according to an embodiment.
  • the wearable device 510 of FIG. 5 includes the first terminal 120-1 of FIGS. 1 and 2, the wearable device 300 of FIGS. 3A and 3B, and/or the wearable device 400 of FIGS. 4A and 4B. ) may include.
  • the wearable device 510 may include a head-mounted display (HMD) that is wearable on the user's head.
  • HMD head-mounted display
  • the wearable device 510 in a state worn by the user, is equipped with a camera (e.g., the shooting camera 340-3 in FIG. 3B and/or the camera 340-3 in FIG. 4B) positioned toward the front of the user. It may include cameras 440-9, 440-10).
  • the front of the user may include the direction in which the user's head and/or the eyes included in the head are facing.
  • the wearable device 510 may control the camera.
  • the UI may be related to a metaverse service provided by the wearable device 510 and/or a server connected to the wearable device 510 (eg, server 110 in FIG. 1).
  • the wearable device 510 may display a visual object 560 within the user's field-of-view (FoV) 520 using a display while worn by the user. .
  • the wearable device 510 may form a display area within at least a portion of the FoV 520.
  • the display area may include an area within the FoV 520 where light emitted from the display can reach.
  • the wearable device 510 has a structure that allows light (e.g., ambient light) directed to the user's eyes to pass through, such as the structure of FIGS. 3A and 3B, the user can detect external objects ( A visual object 560 can be seen along with 540 and 550).
  • the wearable device 510 When the wearable device 510 has a structure that blocks light directed to the user's eyes, such as the structure of FIGS. 4A and 4B, the wearable device 510 displays frames output from a camera facing in front of the user. It can be displayed within the FoV (520). By combining the visual object 560 within the frames, the wearable device 510 can output light representing the visual object 560 along with light representing the external objects 540 and 550 to the user. In terms of absence in real space, the visual object 560 may be referred to as a virtual object. External objects 540 and 550 may be referred to as real objects in terms of existence in real space.
  • One or more hardware included in the wearable device 510 is exemplarily described with reference to FIG. 6 .
  • the wearable device 510 may display a visual object 560 within the FoV 520 based on execution of an application.
  • the application may be installed in the wearable device 510 to provide a user experience based on AR and/or MR.
  • An application installed in the wearable device 510 may include information for displaying a visual object 560.
  • the information for displaying a visual object 560 may be referred to as object information, in terms of information for displaying a virtual object within the FoV 520 .
  • the wearable device 510 may display a visual object 560 based on object information provided with the application.
  • the visual object 560 displayed by the wearable device 510 includes external objects 540 and 550 included in the user's FoV 520 and can be shown together.
  • the object information matching the visual object 560 may include data indicating the size and/or shape of the visual object 560.
  • the object information matching the visual object 560 may include data for the wearable device 510 to render the object information.
  • the data may be referred to as point cloud, vertex data, texture data, and/or shader.
  • the object information may include data related to the transformation of the visual object 560.
  • the wearable device 510 may change the visual object 560 based on the motion detected by the wearable device 510.
  • the wearable device 510 may obtain sensor information indicating the motion from the camera and/or sensor disposed toward the FoV 520.
  • the motion is a motion that occurs within a real space including the wearable device 510, and may include the motion of a user wearing the wearable device 510.
  • the motion may include the motion of an external object (eg, external objects 540 and 550) different from the user.
  • the wearable device 510 may identify whether the motion indicated by sensor information corresponds to the motion specified in object information matched to the visual object 560. Based on identifying the motion corresponding to the specified motion, the wearable device 510 may change the visual object 560. For example, the wearable device 510 may change the visual object 560 displayed within the FoV 520 based on object information. Referring to FIG. 5, the wearable device 510 can identify the motion of the hand 530 indicated by the sensor information. From the frames included in the sensor information, the wearable device 510 can identify the position and/or motion of the hand 530.
  • the wearable device 510 displays a visual object 560 corresponding to the object information. You can change it. Referring to FIG. 5 , an example case is shown where visual object 560 is displayed adjacent to external object 540 within FoV 520 . In the case, in order to grab the external object 540, the user may extend the hand 530 towards the external object 540. The wearable device 510 may identify the hand 530 moving toward the external object 540 adjacent to the visual object 560 from sensor information. The wearable device 510 may determine whether to change the visual object 560 by comparing the motion of the hand 530 identified from the sensor information with the specified motion indicated by the object information.
  • the wearable device 510 may change the visual object 560 displayed within the FoV 520. You can. For example, in order to improve the visibility of the external object 540 shown through the FoV 520, the wearable device 510 hides the visual object 560 or changes the transparency of the visual object 560. (transparency, opacity, or alpha value) may be increased, or a visual effect such as blur may be applied to the visual object 560.
  • the motion that the wearable device 510 detects based on sensor information is not limited to the motion of an object, such as the hand 530, that is directly linked to the intention of the user wearing the wearable device 510.
  • the wearable device 510 may identify motion for an external electronic device 570 that is different from the wearable device 510 from sensor information. Referring to FIG. 5 , as an example of an external electronic device 570, wireless earphones that can be attached to the user's ears are shown.
  • the wearable device 510 may identify the user's motion related to the external electronic device 470 based on sensor information. If the motion matches the specified motion indicated by object information, the wearable device 510 may change the visual object 560 corresponding to the object information.
  • An example of an operation in which the wearable device 510 changes the visual object 560 based on the motion of the external electronic device 570 is described with reference to FIG. 7 .
  • the motion detected by the wearable device 510 based on sensor information includes the motion of external objects (e.g., external objects 540 and 550) that are distinct from the user wearing the wearable device 510. It can be included.
  • the wearable device 510 can change the visual object 560 based on the motion of the external object 540. there is. For example, in response to identifying that the motion of the external object 540 identified based on the sensor information corresponds to the specified motion indicated by the object information, the wearable device 510 displays the visual object 560. You can change it.
  • FIGS. 9 and 10A to 10B An example of an operation in which the wearable device 510 changes a visual object 560 associated with an external object different from a user's body part (e.g., hand 530) is described with reference to FIGS. 9 and 10A to 10B. do.
  • the embodiment is not limited to this, and the wearable device 510 may change the visual object 560 based on the user's speech.
  • the wearable device 510 may change the visual object 560 based on motion occurring in a real space including the wearable device 510.
  • the wearable device 510 may change the shape, size, and/or transparency of the visual object 560 using object information corresponding to the visual object 560 .
  • the wearable device 510 may identify conditions for changing the visual object 560 indicated by object information.
  • the condition may include specified motion detected by wearable device 510.
  • wearable device 510 may generate within object information corresponding to the specified motion. Based on the rendering function, the visual object 560 may be rendered.
  • the wearable device 510 may conditionally improve the visibility of external objects. Based on changes in the visual object 560 , the wearable device 510 may strengthen the relationship between the external object and the visual object 560 . For example, the wearable device 510 may visualize the deformation of the visual object 560 due to the motion of an external object.
  • FIG. 6 shows an example of a block diagram of a wearable device 510, according to one embodiment.
  • the wearable device 510 of FIG. 6 includes the first terminal 120-1 of FIGS. 1 and 2, the wearable device 300 of FIGS. 3A and 3B, the wearable device 400 of FIGS. 4A and 4B, and /Or it may include the wearable device 510 of FIG. 5 .
  • the wearable device 510 may include at least one of a processor 610, memory 620, display 630, camera 640, or sensor 650.
  • the processor 610, memory 620, display 630, camera 640, and sensor 650 are electrically connected to each other by electronic components such as a communication bus 605.
  • wearable device 510 may be operably coupled (electronically and/or operably coupled with each other).
  • hardware being operatively combined will mean that a direct connection or an indirect connection between the hardware is established, wired or wireless, such that the second hardware is controlled by the first hardware among the hardware. You can.
  • the embodiment is not limited thereto, and some of the hardware in FIG. 6 (e.g., the processor 610 and at least a portion of the memory 620) are implemented with a system on a chip (SoC). Together, they may be included in a single integrated circuit.
  • SoC system on a chip
  • the type and/or number of hardware included in the wearable device 510 is not limited to that shown in FIG. 6 .
  • wearable device 510 may include only some of the hardware components shown in FIG. 6 .
  • the processor 610 of the wearable device 510 may include hardware for processing data based on one or more instructions.
  • the hardware for processing data includes, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP). ) may include.
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • AP application processor
  • the processor 610 may have the structure of a single-core processor, or may have the structure of a multi-core processor such as a dual core, quad core, or hexa core.
  • the memory 620 of the wearable device 510 may include hardware for storing data and/or instructions input and/or output to the processor 610 of the wearable device 510.
  • Memory 620 may include, for example, volatile memory such as random-access memory (RAM) and/or non-volatile memory such as read-only memory (ROM). there is.
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • DRAM dynamic RAM
  • SRAM static RAM
  • PSRAM pseudo SRAM
  • Non-volatile memory includes, for example, programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • SSD solid state drive
  • eMMC embedded multi media card
  • the display 630 of the wearable device 510 may output visualized information to the user.
  • the display 630 may be controlled by a processor 610 including a circuit such as a graphic processing unit (GPU) and output visualized information to the user.
  • the display 630 may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
  • the LED may include an organic LED (OLED).
  • the display 630 of FIG. 6 may include at least one display 350 of FIGS. 3A to 3B and/or FIGS. 4A to 4B.
  • the camera 640 of the wearable device 510 includes one or more optical sensors (e.g., charged coupled device (CCD) sensor, CMOS) for generating an electrical signal representing the color and/or brightness of light. (complementary metal oxide semiconductor) sensor).
  • a plurality of optical sensors included in the camera 640 may be arranged in the form of a 2-dimensional array.
  • the camera 640 may acquire electrical signals from each of the plurality of optical sensors substantially simultaneously and generate a two-dimensional frame corresponding to light reaching the optical sensors of the two-dimensional grid.
  • photo data captured using the camera 640 may include one two-dimensional frame obtained from the camera 640.
  • video data captured using the camera 640 may mean a sequence of a plurality of two-dimensional frames obtained from the camera 640 according to a frame rate.
  • the camera 640 may be disposed toward a direction in which the camera 640 receives light and may further include a flash light for outputting light toward this direction.
  • the camera 640 is shown based on a single block, the number of cameras 640 included in the wearable device 510 is not limited to the embodiment.
  • wearable device 510 may include one or more cameras, such as one or more cameras 340 in FIGS. 3A-3B and/or FIGS. 4A-4B.
  • the senor 650 of the wearable device 510 receives, from non-electronic information related to the wearable device 510, the processor 610 of the wearable device 510, and/ Alternatively, electrical information that can be processed by the memory 620 may be generated.
  • the sensor 650 may include a microphone for outputting a signal (eg, audio signal) containing electrical information about sound waves.
  • the sensor 650 may include an inertia measurement unit (IMU) to detect the physical motion of the wearable device 510.
  • the IMU may include an acceleration sensor, a gyro sensor, a geomagnetic sensor, or a combination thereof.
  • An acceleration sensor may output data indicating the direction and/or magnitude of gravitational acceleration applied to the acceleration sensor along a plurality of axes perpendicular to each other (e.g., x-axis, y-axis, and z-axis). there is.
  • the gyro sensor may output data representing the rotation of each of the plurality of axes.
  • the geomagnetic sensor may output data indicating the direction of the magnetic field included in the geomagnetic sensor (eg, the direction of the N pole or S pole).
  • the IMU in sensor 650 may be referred to as a motion sensor in terms of detecting motion of the wearable device 510.
  • the senor 650 may include a proximity sensor and/or a grip sensor to identify an external object in contact with the housing of the wearable device 510 .
  • the number and/or type of the sensor 650 is not limited to the above, and the sensor 650 includes an image sensor for detecting electromagnetic waves including light, an illuminance sensor, a time-of-flight (ToF) sensor, and /Or may include a global positioning system (GPS) sensor.
  • GPS global positioning system
  • the wearable device 510 may include an output means for outputting information in a form other than a visualized form.
  • the wearable device 510 may include speakers (eg, speakers 392-1 and 392-2 in FIGS. 3A and 3B) for outputting an acoustic signal.
  • the wearable device 510 may include a motor to provide haptic feedback based on vibration.
  • one or more instructions indicating an operation and/or operation to be performed on data by the processor 610 of the wearable device 510
  • a set of one or more instructions may be referred to as firmware, operating system, process, routine, sub-routine and/or application.
  • an application is installed in the wearable device 510 means that one or more instructions provided in the form of an application are stored in the memory 620, and the one or more applications are in an executable format by the processor 610. This may mean stored as a file (e.g., a file with an extension specified by the operating system of the wearable device 510).
  • the instructions stored in the memory 620 of the wearable device 510 include a motion analyzer 660, a rendering controller 665, a renderer 680, and/or an application 675. ) can be divided into: While the instructions are executed, the processor 610 of the wearable device 510 may perform at least one of the operations shown in FIGS. 11 to 13 .
  • the instructions include a processor ( 610).
  • object information 670 provided with the application 675 may be stored.
  • the wearable device 510 displays the display 630 based on the motion analyzer 660, the rendering controller 665, the object information 670, the application 675, and/or the renderer 680. ) may be changed based on the motion detected by the wearable device 510.
  • the processor 610 of the wearable device 510 may analyze the motion detected by the wearable device 510 using sensor information while the motion analyzer 660 is running.
  • the sensor information may include frames output from the camera 640 and/or sensor data output from the sensor 650.
  • processor 610 may identify the user's intent to interact with the augmented reality environment provided to the user through wearable device 510 .
  • the processor 610 of the wearable device 510 generates sensor information related to the user's motion based on an input interface for obtaining user input while the motion analyzer 660 is running. It can be obtained.
  • the input interface is an interface between the wearable device 510 and the user wearing the wearable device 510 and may include, for example, the camera 640 of FIG. 6 and/or a motion sensor.
  • the input interface may include hardware, such as a microphone, for identifying the speech of a user wearing the wearable device 510.
  • processor 610 Based on the sensor information obtained using the input interface, processor 610 identifies, tracks, and/or motions of different body parts (e.g., hands, upper body, and/or lower body) of the user. It can be monitored.
  • the processor 610 may identify the motion of a designated body part (e.g., the hand 530 in FIG. 5) based on sensor information while the motion analyzer 660 is running. . Identifying the motion of a specified body part by the processor 610 includes identifying the subject of the motion (e.g., user) and the category of the motion (e.g., reaching action, sitting action, walking action). can do. The categories may be divided according to the user's intention to grab or touch the external object and the user's intention to move the external object. For example, processor 610 may identify contact between an external object and a body part based on sensor information.
  • the processor 610 may obtain sensor information from the sensor 650 in the wearable device 510 based on execution of the motion analyzer 660.
  • the processor 610 may obtain sensor information from an external electronic device (e.g., keyboard, mouse, wireless earphone, and/or a grabbable controller) connected to the wearable device 510.
  • an external electronic device e.g., keyboard, mouse, wireless earphone, and/or a grabbable controller
  • the processor 610 calculates interactions between body parts and external objects that occur within a real space including the wearable device 510 from the motion indicated by the sensor information. (interaction) can be identified.
  • processor 610 based on execution of rendering controller 665 and based on motion identified using motion analyzer 660, creates a virtual object (e.g., visual object 560 of FIG. 6). You can change the way )) is displayed.
  • the processor 610 may display a visual object (eg, visual object 560 in FIG. 6) corresponding to the virtual object through the display 630.
  • the rendering controller 665 While the rendering controller 665 is running, the processor 610 may identify one or more virtual objects to be displayed through the display 630 based on the object information 670. With the rendering controller 665 running, the processor 610 may use the motion analyzer 660 to compare the motion identified from the sensor information with the specified motion indicated by the object information 670.
  • Object information 670 may include first data indicating a designated motion, and second data matching the first data and indicating a rendering function of a virtual object.
  • the processor 610 uses the motion identified based on the motion analyzer 660 to change the rendering function to be applied to the virtual object while the rendering controller 665 is running. You can identify whether it matches the specified motion.
  • the designated motion may include a user's action of touching an external object.
  • the specified motion is identified from frames of camera 640 and may include motion of an external object that is different from the user's body part. If the motion identified using the motion analyzer 660 matches the specified motion, the processor 610 may determine to change the rendering function of the virtual object corresponding to the specified motion.
  • the processor 610 may select and/or determine a rendering function of a virtual object related to motion identified from sensor information while the rendering controller 665 is running. For example, the processor 610 may change the rendering function based on the user's intention included in the motion. When the user's motion to move an external object is identified, the processor 610 performs a rendering function of a virtual object overlapping with or adjacent to the external object, based on the execution of the rendering controller 665, and /Or you can change the display mode. For example, the processor 610 may change the rendering function and/or display mode of the virtual object associated with the one or more external objects based on the motion of the one or more external objects moved by the user's action. .
  • the processor 610 may predict the motion of the virtual object based on the motion of the one or more external objects. Based on the result of predicting the motion of the virtual object, the processor 610 may change the rendering function and/or display mode of the virtual object. For example, the processor 610 may change the virtual object associated with the external object based on the motion of the external object moved and/or rotated by the user's action. Based on the movement and/or rotation of the external object, processor 610 may move and/or rotate the virtual object. Changing the display mode of a virtual object by the processor 610 may include an operation of hiding the virtual object or stopping display of the virtual object.
  • the processor 610 may change the display of a virtual object based on the object information 670.
  • Object information 670 may include data required to render a virtual object within display 630.
  • Object information 670 may include data indicating a specified motion used to identify whether to change the display of a virtual object. For example, if the specified motion is that of a specified body part (e.g., hand 530 in FIG. 5), the data included within object information 670 may include the location, direction, and/or path of the specified body part. can be instructed.
  • Object information 670 may include data indicating a rendering function of a virtual object matching a specified motion.
  • the data included in object information 670 may indicate the shape, color, size, location, and/or rotation of the virtual object.
  • the data may be loaded into processor 610 based on execution of renderer 680 and/or application 675. Based on the loaded data, processor 610 may render the virtual object in display 630.
  • the renderer 680 and/or the application 675 corresponding to the virtual object when the processor 610 decides to change the rendering function of a virtual object using the rendering controller 665, the renderer 680 and/or the application 675 corresponding to the virtual object. By executing , you can render a virtual object based on the changed rendering function.
  • the application 675 installed on the wearable device 510 may be executed by the processor 610 to display a virtual object.
  • Renderer 680 may be executed by processor 610 to render virtual objects. For example, based on a specified application programming interface (API) called by application 675, processor 610 executes renderer 680 to render one or more virtual objects provided by application 675. You can. Within the state of rendering the one or more virtual objects, the processor 610 may apply the rendering function identified by the rendering controller 665.
  • the renderer 680 may control the GPU in the processor 610 based on the rendering function to render one or more virtual objects to be displayed on the display 630.
  • wearable device 510 may change at least one virtual object rendered within display 630 in response to identifying a specified motion indicated by object information 670. there is.
  • the wearable device 510 may adaptively change at least one virtual object based on a specified motion.
  • the wearable device 510 changes the display mode of a virtual object (e.g., whether to display a visual object corresponding to the virtual object) based on sensor information. An example of operation is described.
  • FIG. 7 illustrates an example of an operation performed by the wearable device 510 based on the state of an external electronic device identified through a sensor, according to an embodiment.
  • the wearable device 510 of FIG. 7 may be an example of the wearable device 510 of FIGS. 5 and 6 .
  • the user 710 may wear the wearable device 510 and the first external electronic device 720, which is a wireless earphone.
  • the second external electronic device 725 is linked to the first external electronic device 720, which is a wireless earphone, and may be a wireless earphone case for charging the first external electronic device 720.
  • the wearable device 510 may identify the first external electronic device 720 worn by the user 710 using sensor information. Although a single wireless earphone is shown, the embodiment is not limited thereto.
  • the wearable device 510 may display a visual object 740.
  • the visual object 740 may correspond to a virtual object of an application executed by the wearable device 510.
  • the wearable device 510 displays a user based on the virtual display within the FoV 730-1 of the first state.
  • the wearable device 510 may display a screen provided from the application through a visual object 740 in the form of a monitor.
  • the wearable device 510 displays the visual object 740 at a position that partially overlaps the second external electronic device 725.
  • the shape, location, and/or size of the visual object 740 displayed within the FoV 730-1 in the first state may be set by object information (e.g., object information 670 in FIG. 6). ) can.
  • the wearable device 510 may identify the state of the first external electronic device 720 connected to the wearable device 510 using sensor information.
  • the state of the first external electronic device 720 may be changed by motion related to the first external electronic device 720. For example, based on the change in the state, the wearable device 510 may change the visual object 740.
  • the wearable device 510 is separated from the user 710 using sensor information.
  • the state of the first external electronic device 720 that is separated from the user 710 and/or the motion of the first external electronic device 720 that is separated from the user 710 may be identified.
  • the wearable device 510 may identify the motion of the first external electronic device 720 based on the execution of the motion analyzer 660 of FIG. 6 .
  • the wearable device 510 determines whether the motion of the first external electronic device 720 identified by sensor information corresponds to a specified motion indicated by object information related to the visual object 740. can be identified. For example, if the motion of the first external electronic device 720 separated from the user 710 corresponds to a specified motion indicated by object information, the wearable device 510 matches the specified motion within the object information. Based on the matched rendering function, and/or display mode, the visual object 740 may change. The rendering function and/or the display mode indicated by object information may be related to an external object (eg, the second external electronic device 725) displayed adjacent to the visual object 740.
  • an external object eg, the second external electronic device 725
  • a motion to separate the first external electronic device 720, which is a wireless earphone, from the user 710 may result in a motion for the second external electronic device 725 related to the first external electronic device 720.
  • This may mean that the probability increases.
  • the user 710 receives the first external electronic device 720 from the user 710 in order to combine the first external electronic device 720 with the second external electronic device 725, which is a wireless earphone case. It can be separated.
  • wearable device 510 determines whether second external electronic device 725 is included within FoV 730 and/or whether second external electronic device 725 is obscured by visual object 740. Based on whether or not the visual object 740 is displayed, the rendering function and/or display mode may be changed.
  • wearable device 510 may perform a motion based on identifying a specified motion associated with first external electronic device 720 (e.g., a motion that separates first external electronic device 720 from user 710).
  • the second external electronic device 725 can be identified from the frames of the camera (eg, camera 640 in FIG. 6).
  • the wearable device 510 can identify the location of the second external electronic device 725 within the frames.
  • the wearable device 510 may identify that the second external electronic device 725 is placed in a location obscured by the visual object 740.
  • the wearable device 510 uses object information corresponding to the visual object 740 to change the rendering function and/or display mode of the visual object 740 superimposed on the second external electronic device 725. You can decide.
  • the FoV 730-2 in the second state may correspond to a state in which the wearable device 510 changes the visual object 740 based on the determination.
  • the wearable device 510 changes the display mode of the visual object 740 superimposed on the second external electronic device 725 to display the visual object 740.
  • the display of (740) can be stopped, at least temporarily. For example, within the FoV 730, based on identifying the second external electronic device 725 that is occluded by the visual object 740, the wearable device 510, based on the object information, identifies the visual object ( Displaying 740 may be stopped, or the transparency of the visual object 740 may be changed. When a plurality of visual objects including the visual object 740 are displayed, the wearable device 510 may selectively change one visual object (e.g., the visual object 740) overlapping with the second external electronic device 725. You can.
  • one visual object e.g., the visual object 740
  • the wearable device 510 may improve the visibility of the second external electronic device 725 that is obscured by the visual object 740 based on the specified transparency indicated by object information. For example, the wearable device 510 may improve the visibility of the second external electronic device 725 by applying a visual effect (e.g., blur) indicated by object information to the visual object 740. For example, the wearable device 510 may display another visual object to highlight the second external electronic device 725 that is obscured by the visual object 740, thereby increasing the FoV 730 of the second external electronic device 725. You can display your location. The other visual object may have the form of an outline of the second external electronic device 725 displayed through the FoV 730.
  • a visual effect e.g., blur
  • the operation performed by the wearable device 510 to highlight the second external electronic device 725 is not limited to the above example.
  • the wearable device 510 may change the position and/or size of the other visual object displayed within the FoV 730 to emphasize the second external electronic device 725 .
  • the wearable device 510 uses sensor information to connect a plurality of external electronic devices (e.g., a first external electronic device 720 and a second external electronic device). Motion for any one of the devices 725 can be identified. Based on the motion, the wearable device 510 may perform an operation to improve the visibility of another one of the plurality of external electronic devices. For example, based on identifying motion relative to a first external electronic device 720, wearable device 510 may identify a second external electronic device associated with the first external electronic device 720 within FoV 730. The rendering function and/or display mode of at least one visual object (e.g., visual object 740) that obscures the device 725 may be changed.
  • a visual object e.g., visual object 740
  • FIG. 8 illustrates an example of an operation performed by the wearable device 510 based on the motion of the user 710, according to an embodiment.
  • the wearable device 510 of FIG. 8 may be an example of the wearable device 510 of FIGS. 5 and 6 .
  • the wearable device 510 may display visual objects 825 and 840 based on execution of an application (eg, application 675 in FIG. 6 ). While worn by the user 710, the wearable device 510 uses a display (e.g., display 630 in FIG. 6) to display a plurality of visual objects within the FoV 820 of the user 710. (825, 840) can be displayed. The wearable device 510 may render a plurality of visual objects 825 and 840 based on object information provided from the application. Referring to the FoV 820-1 in the first state, the wearable device 510 overlaps the external object 810 and displays the visual object 825-1 based on the first state indicated by object information. Can be rendered. Within the FoV 820-1 of the first state, using the visual object 825-1 displayed on the position where the external object 810 is visible, the wearable device 510 performs a simulation for the external object 810. can be performed.
  • an application e.g., application 675 in FIG. 6
  • the wearable device 510 based on sensor information obtained from a camera (e.g., camera 640 in FIG. 6) and/or sensor (e.g., sensor 650 in FIG. 6), Motion can be detected.
  • the wearable device 510 may identify the hand 830 approaching the external object 810 based on frames obtained from the camera.
  • the wearable device 510 may identify the hand 830 in contact with the external object 810 using sensor information.
  • the user 710 may use the external object 810 to draw a picture based on the visual object 825 displayed as superimposed on the external object 810 within the FoV 820. ) You can move your hand 830 toward .
  • the wearable device 510 identifies the external object 810 and/or the hand within the FoV 820 based on identifying the motion of the hand 830 in contact with the external object 810.
  • the visual object 825 overlapped with 830 can be changed.
  • the wearable device 510 displays the visual object 825.
  • the visual object 825-2 may be rendered based on a rendering function corresponding to the detected motion within the corresponding object information.
  • the wearable device 510 determines the state of the visual object 840 independently of the motion of the hand 830. It can be maintained.
  • the wearable device 510 changes the rendering function of the visual object 825 based on the motion of the hand 830
  • the visual object 825-2 in the FoV 820-2 in the second state is It may have a different color and/or transparency than the visual object 825-1 within the FoV 820-1 in state 1.
  • the wearable device 510 may increase the transparency of the visual object 825 to improve visibility of the external object 810 that overlaps the visual object 825. Based on improved visibility, user 710 can more accurately recognize interactions between external objects 810 and hands 830.
  • wearable device 510 determines the state of visual object 825-2, external object 810, and hand 830. The contact can be restored to its previous state before identification.
  • the wearable device 510 displays different visual objects 825 and 840 while displaying motion (e.g., a hand 830) generated in a space external to the wearable device 510. Based on the motion), at least one of the visual objects 825 and 840 may be changed.
  • the wearable device 510 may change at least one of the visual objects 825 and 840 based on object information corresponding to the visual objects 825 and 840. Since at least one of the visual objects 825 and 840 is changed based on object information, the wearable device 510 changes at least one of the visual objects 825 and 840 using a rendering function corresponding to the motion. Can be changed adaptively.
  • the wearable device 510 displays the visual objects 825 and 840, based on the speech of the user 710 identified through the microphone, among the visual objects 825 and 840 You can change at least one.
  • the wearable device 510 can identify a speech from an audio signal output from a microphone.
  • the wearable device 510 may identify an utterance that includes a natural language sentence (e.g., “I want to see pottery”) that includes the name of the external object 810. Based on the above statement, the wearable device 510 may change the visual object 825 displayed as overlapping with the external object 810.
  • the wearable device 510 may change the visual object 825 based on object information corresponding to the visual object 825.
  • the motion detected by the wearable device 510 is not limited to the user's motion and may include the motion of an external object different from the user (eg, the external object 810).
  • an external object different from the user
  • FIG. 9 an example of an operation performed by the wearable device 510 according to an embodiment based on the motion of an external object will be described.
  • FIG. 9 illustrates an example of an operation performed by the wearable device 510 based on an external object 910, according to an embodiment.
  • the wearable device 510 of FIG. 9 may be an example of the wearable device 510 of FIGS. 5 and 6 .
  • the wearable device 510 may display a visual object 925 associated with an external object 910 .
  • the wearable device 510 may identify the external object 910 associated with the visual object 925 based on object information corresponding to the visual object 925 .
  • the wearable device 510 displays a visual object 925 representing the virtual object based on the positional relationship between the external object 910 and the virtual object within the three-dimensional coordinate system indicated by the object information. You can.
  • the wearable device 510 may display a visual object 925 in conjunction with an external object 910 shown through the FoV 920. .
  • the visual object 925-1 rendered based on the positional relationship may be at least partially obscured by the external object 910.
  • the wearable device 510 while displaying a visual object 925 in association with an external object 910, uses a camera (e.g., camera 640 in FIG. 6) and/or a sensor (e.g. , Based on sensor information obtained from the sensor 650 in FIG. 6, it is possible to identify whether motion of the external object 910 is generated or changed. Based on identifying the external object 910 changed by motion, the wearable device 510 may change the visual object 925 associated with the external object 910. The wearable device 510 may change the visual object 925 based on at least one of the location or shape of the external object 910 changed by motion. The wearable device 510 may identify at least one of the location or shape of the external object 910 associated with the visual object 925 based on the frames output from the camera.
  • a camera e.g., camera 640 in FIG. 6
  • a sensor e.g. , Based on sensor information obtained from the sensor 650 in FIG. 6, it is possible to identify whether motion of the external object 910 is generated or changed
  • the wearable device 510 may change the visual object 925 based on identifying the motion of an external object 910 associated with the visual object 925 .
  • the wearable device 510 identifies a motion in which the external object 910 falls from frames including at least a portion of the FoV 920-2 in the second state. can do.
  • the wearable device 510 may change the visual object 925-2 displayed within the FoV 920-2 in the second state based on the motion of the external object 910. .
  • the wearable device 510 may display an animation in which the visual object 925-2 is knocked down by the external object 910 within the FoV 920-2.
  • the wearable device 510 may display a visual object 925 in the FoV 920 based on object information provided from an application for providing a domino game based on augmented reality. For example, when the visual object 925 is displayed in association with an external object 910 corresponding to a block of a domino, the wearable device 510 may detect a specific object within the sequence of blocks including the external object 910. Based on whether the block falls, the motion of the external object 910 may be detected and/or predicted. Based on the results of detecting and/or predicting the motion of the external object 910, the wearable device 510 may change the visual object 925 displayed within the FoV 920 and associated with the external object 910. there is.
  • FIGS. 10A and 10B an example of a UI displayed by the wearable device 510 based on the interaction of the external object 910 and the visual object 925 according to an embodiment is described. .
  • FIGS. 10A and 10B illustrate an example of an operation in which a wearable device displays a visual object linked to an external object, according to an embodiment.
  • the wearable device 510 of FIGS. 10A and 10B may be an example of the wearable device 510 of FIGS. 5 and 6 .
  • the wearable device 510 may display a visual object 1025 within the FoV 1020 based on object information provided from an application.
  • the wearable device 510 may display a visual object 1025 in connection with the external object 1010 indicated by the object information.
  • the wearable device 510 displays a visual object 1025 and a visual object 1025 linked to the visual object 1025 based on frames output from a camera (e.g., camera 640 in FIG. 6). )
  • the positional relationship between external objects 1010 can be identified. Based on the positional relationship, the wearable device 510 may change the shape, location, and/or size of the visual object 1025 within the FoV 1020.
  • the wearable device 510 displays the external object 1010 and the external object 1010 shown through the FoV 1020-1 in the first state based on the positional relationship.
  • a visual object 1025-1 can be displayed by association.
  • the wearable device 510 determines the visual object based on the location and/or size within the FoV 1020 of the external object 1010, which is obtained from sensor information and associated with the visual object 1025.
  • the motion of the external object 1010 to change 1025 can be identified.
  • the wearable device 510 compares the positional relationship between the external object 1010 and the visual object 1025, and the object information to determine whether the motion corresponds to a specified motion indicated by the object information. can be identified.
  • the wearable device 510 can identify a motion that replaces the external object 1010 associated with the visual object 1025 with an external object 1015 that is larger than the external object 1010. .
  • the wearable device 510 based on detecting the motion of replacing the external object 1010 with the external object 1015, replaces the visual object 1025 with the external object 1025.
  • the color and/or shape can be changed.
  • the visual object 1025-2 may have a designated color (eg, red) indicated by the motion within object information.
  • the specified color of visual object 1025-2 may be different from the color of visual object 1025-1 prior to detecting the motion.
  • the wearable device 510 displays a visual display in the form of a pop-up window to guide that the visual object 1025-2 is not associated with the external object 1015 due to the motion.
  • An object 1030 may be displayed.
  • the fact that the visual object 1025-2 is not linked to the external object 1015 indicates that the visual object 1025-2 and the external object 1015 are linked and displayed by the object information 670 in FIG. It may mean that the specified conditions are not satisfied.
  • the wearable device 510 may display designated text to guide the positional relationship between the external object 1015 and the visual object 1025-2.
  • the wearable device 510 may display the specified text based on the object information 670 of FIG. 6. Referring to FIG. 10A, the designated text may include text for guiding the reason why the visual object 1025-2 cannot be displayed in conjunction with the external object 1015, such as “size error.”
  • wearable device 510 may identify an input that indicates changing the visual object 1025 displayed within FoV 1020. Based on the input, within the state in which the visual object 1025 has been changed, the wearable device 510 based on the positional relationship between the visual object 1025 and the external object 1010 indicated by the object information, The rendering function of the visual object 1025 can be changed.
  • a real object e.g., external object 1010
  • the wearable device 510 may identify a motion indicating a change in the size of the visual object 1025-1.
  • the motion may include a speech of the user 710, a motion of touching a button and/or housing of the wearable device 510, and/or a motion of the user 710 performed within the FoV 1020-1 (e.g., movement of the user's 710 hand).
  • the wearable device 510 can enlarge and display the visual object 1025-3.
  • the wearable device 510 may compare the motion indicating enlarging the visual object 1025-3 with a specified motion indicated by object information and set to change the rendering function of the visual object 1025-3. there is. If the motion indicating enlarging the visual object 1025-3 substantially matches the specified motion, the wearable device 510 performs a rendering function corresponding to the specified motion to the visual object 1025-3. It can be applied.
  • the wearable device 510 determines that the visual object 1025-3 enlarged by the motion is not associated with the external object 1010. can be identified.
  • the wearable device 510 which has identified that it cannot display the visual object 1025-3 in connection with the external object 1010, changes the color of the visual object 1025-3 to a specified color indicated by the object information. You can.
  • the wearable device 510 displays a visual object 1030 to guide that the visual object 1025-3 cannot be displayed in conjunction with the external object 1010. It can be displayed.
  • a specified motion indicated by object information for changing the color of the visual object 1025 to a specified color, changes the size of the visual object 1025 to a specified color that can be displayed in conjunction with the external object 1010. May include motions that zoom beyond the range.
  • the wearable device 510 renders the visual object 1025 based on a motion that changes the linkage of the visual object 1025 and the external object 1010. You can. Because the linkage established by object information is used to render the visual object 1025, the wearable device 510 can relate to the external object 1010 and enhance the user experience based on augmented reality.
  • FIG. 11 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device in FIG. 11 may be an example of the wearable device 510 in FIGS. 5 and 6 .
  • At least one of the operations in FIG. 11 may be performed by the wearable device 510 in FIG. 6 and/or the processor 610 in FIG. 6 .
  • each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the wearable device may display a visual object within the user's FoV. While the application is running, the wearable device may display a visual object based on object information provided from the application.
  • a wearable device may acquire sensor information indicating motion.
  • the wearable device may acquire the sensor information using a camera (e.g., camera 640 in FIG. 6) and/or a sensor (e.g., sensor 650 in FIG. 6).
  • the sensor information may include data indicating motion of the wearable device.
  • the sensor information may include data indicating the motion of a user wearing a wearable device.
  • the sensor information may include data indicating the motion of one or more external objects included in a real space including a wearable device.
  • the wearable device may determine whether the motion indicated by the sensor information corresponds to the motion specified in the object information matched to the visual object.
  • the specified motion may be a condition for changing the shape, color, size, rendering function, and/or display mode of a visual object.
  • the designated motion may include the user's motion with respect to an external electronic device that is different from the wearable device.
  • the designated motion may include the user's motion for interacting with an external object.
  • the designated motion may include the motion of an external object associated with a visual object.
  • the wearable device may maintain display of a visual object and acquisition of sensor information based on the operations 1110 and 1120.
  • the wearable device may change the visual object displayed within the FoV.
  • the wearable device may change the visual object by applying a rendering function corresponding to the specified motion within object information to the visual object. For example, if object information indicates to stop displaying a visual object based on identification of a specified motion, the wearable device may hide the visual object displayed within the FoV. For example, if the object information indicates changing the transparency of a visual object based on identification of a specified motion, within operation 1140, the wearable device may change the transparency of the visual object displayed within the FoV.
  • Figure 12 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device in FIG. 12 may be an example of the wearable device 510 in FIGS. 5 and 6 .
  • At least one of the operations of FIG. 12 may be performed by the wearable device 510 of FIG. 6 and/or the processor 610 of FIG. 6 .
  • At least one of the operations in FIG. 12 may be related to at least one of the operations in FIG. 11 .
  • each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • a wearable device may display a plurality of visual objects.
  • a plurality of visual objects may be displayed based on one or more applications running by the wearable device.
  • a wearable device While worn by a user, a wearable device may display the plurality of visual objects within the user's FoV.
  • the wearable device may display the plurality of visual objects based on object information.
  • the wearable device selects at least one visual object corresponding to the motion among a plurality of visual objects based on the motion indicated by sensor information. You can select .
  • the wearable device may acquire sensor information based on operation 1120 of FIG. 11 .
  • the wearable device may compare the motion indicated by sensor information with the specified motion indicated by object information corresponding to a plurality of visual objects. For example, the specified motion of the at least one visual object selected by operation 1220 may correspond to the motion indicated by sensor information.
  • the wearable device performs a rendering function applied to at least one visual object selected by operation 1220, corresponding to the at least one visual object. It can be changed based on object information.
  • the wearable device may change at least one visual object based on the changed rendering function.
  • the wearable device performing the operations 1230 and 1240 of FIG. 12 may be similar to performing the operation 1140 of FIG. 11 .
  • Figure 13 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device in FIG. 13 may be an example of the wearable device 510 in FIGS. 5 and 6 .
  • At least one of the operations in FIG. 13 may be performed by the wearable device 510 in FIG. 6 and/or the processor 610 in FIG. 6 .
  • At least one of the operations in FIG. 13 may be related to at least one of the operations in FIGS. 11 and 12 .
  • the operations of FIG. 13 may be related to the operations of the wearable device 510 described above with reference to FIG. 7 .
  • each operation may be performed sequentially, but is not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • a wearable device may display a plurality of visual objects within the FoV.
  • the wearable device may perform operation 1310 of FIG. 13, similar to operation 1210 of FIG. 12.
  • the wearable device may identify a specified motion related to the first external electronic device based on a sensor.
  • the first external electronic device may include the first external electronic device 720 of FIG. 7 .
  • the designated motion associated with the first external electronic device may include a motion to release contact between the first external electronic device and a body part of the user.
  • the wearable device may identify the location within the FoV of the second external electronic device corresponding to the first external electronic device.
  • the second external electronic device is an external electronic device linked to the first external electronic device in operation 1320 and may include the second external electronic device 725 of FIG. 7 .
  • the wearable device may identify the location within the FoV of the second external electronic device based on frames output from a camera (eg, camera 640 in FIG. 6) disposed toward the FoV.
  • the frames may include at least a portion of the FoV.
  • the wearable device may change at least one visual object related to the location identified based on operation 1330, among a plurality of visual objects.
  • the wearable device may change at least one visual object overlaid on the second external electronic device displayed through FoV.
  • the wearable device may identify the at least one visual object overlaid on the location of the action 1330 based on the frames.
  • Changing the at least one visual object by the wearable device may include an operation of hiding the at least one visual object.
  • the wearable device may perform operation 1340 to improve the visibility of the second external electronic device shown through FoV.
  • the wearable device may perform operation 1340 of FIG. 13 similarly to operation 1140 of FIG. 11 and/or operations 1230 and 1240 of FIG. 12 .
  • the wearable device may detect motion using a camera and/or sensor while displaying a visual object indicated by object information. Based on the detected motion, the wearable device may change the shape, color, size, and/or transparency of the visual object. For example, the wearable device may change the visual object to enhance the visibility of an external object overlapping with the visual object, or to visualize changes in connectivity between the visual object and the external object due to the motion.
  • a wearable device e.g., wearable device 510 in FIGS. 5 and 6) includes a camera (e.g., camera 640 in FIG. 6) and a sensor (e.g. , it may include a sensor 650 in FIG. 6), a display (e.g., display 630 in FIG. 6), and a processor (e.g., processor 610 in FIG. 6).
  • the processor in a state worn by a user, uses the display to display a visual object (e.g., a visual object (e.g., the visual object in FIG.
  • the processor may be configured to obtain sensor information indicating motion associated with the user from the camera and the sensor.
  • the processor may be configured to identify whether the motion indicated by the sensor information corresponds to a motion specified in object information (e.g., object information 670 in FIG. 6) matched to the visual object. .
  • the processor may be configured to change the visual object displayed within the FoV based on identifying the motion corresponding to the specified motion and based on the object information matching the specified motion.
  • the wearable device may change the visual object to enhance the visibility of an external object obscured by the visual object or visualize the connection between the visual object and the external object.
  • the processor identifies the motion corresponding to the specified motion associated with a first external electronic device (e.g., the first external electronic device 720 in FIG. 7) based on the sensor information.
  • a first external electronic device e.g., the first external electronic device 720 in FIG. 7
  • it may be configured to identify a second external electronic device (eg, the second external electronic device 725 of FIG. 7) included in the frames of the camera.
  • the processor may be configured to change the visual object superimposed on the second external electronic device within the FoV based on the object information.
  • the processor displays the visual object based on the object information based on identifying the second external electronic device within the FoV that is occluded by the visual object. It may be configured to stop, or change the transparency of the visual object.
  • the processor may be configured to change the visual object linked to the external object based on identifying the external object changed by the motion.
  • the processor may be configured to change the visual object based on at least one of the location or shape of the external object changed by the motion.
  • the processor may be configured to identify at least one of the location or the shape of the external object associated with the visual object, based on frames output from the camera.
  • the processor may be configured to identify a positional relationship between the visual object and an external object linked to the visual object, based on frames output from the camera.
  • the processor may be configured to compare the identified positional relationship and the object information to identify whether the motion corresponds to the specified motion.
  • the processor may be configured to identify, from the frames, the external object indicated by the object information.
  • the processor may be configured to identify the object information matched to the visual object based on an application for providing the visual object.
  • a method of a wearable device uses a display within the wearable device to display a plurality of visual images within the field-of-view (FoV) of the user. It may include an operation to display objects (eg, operation 1310 of FIG. 13).
  • the method identifies, based on sensors in the wearable device, a location in the FoV of a second external electronic device corresponding to the first external electronic device based on identifying a specified motion associated with the first external electronic device. It may include an operation (e.g., operation 1330 of FIG. 13).
  • the method includes an operation of changing at least one visual object related to the location within the FoV among the plurality of visual objects based on object information corresponding to the at least one visual object (e.g., the operation of FIG. 13 (1340)).
  • the displaying operation may include an operation of identifying the object information for the plurality of visual objects based on an application executed by a processor in the wearable device.
  • the displaying operation may include displaying the plurality of visual objects based on the object information.
  • the identifying operation may include acquiring frames output from a camera within the wearable device and including at least a portion of the FoV.
  • the identifying operation may include identifying the location within the FoV of the second external electronic device based on the frames.
  • the changing operation may include identifying the at least one visual object overlaid on the location based on the frames.
  • the identifying operation may be based on identifying, based on the sensor, the designated motion for releasing contact between the user and the first external electronic device. It may include an operation of identifying the location within the FoV.
  • the act of changing may include changing a function for rendering the visual object within the display based on the at least one visual object and a portion of the object information matched to the specified motion. You can.
  • a method of a wearable device while worn by a user, displays a visual object within the user's field-of-view (FoV) using a display within the wearable device. It may include an operation (e.g., operation 1110 of FIG. 11).
  • the method may include an operation of acquiring sensor information indicating motion related to the user from a camera in the wearable device and a sensor in the wearable device (e.g., operation 1120 of FIG. 11).
  • the method may include an operation (e.g., operation 1130 of FIG. 11) of identifying whether the motion indicated by the sensor information corresponds to a specified motion in object information matched to the visual object.
  • the method includes the operation of changing the visual object displayed within the FoV based on the object information matching the specified motion, based on identifying the motion corresponding to the specified motion (e.g., the operation of FIG. 11 (1140)).
  • the operation of changing may include, based on the sensor information, identifying the motion corresponding to the specified motion associated with the first external electronic device, the second external electronic device included within the frames of the camera. It may include an operation to identify the electronic device.
  • the changing operation may include changing the visual object overlaid on the second external electronic device within the FoV based on the object information.
  • the changing operation may include, within the FoV, displaying the visual object based on the object information based on identifying the second external electronic device that is occluded by the visual object. It may include an action to stop doing something or change the transparency of the visual object.
  • the changing operation may include changing the visual object associated with the external object based on identifying the external object changed by the motion.
  • the changing operation may include changing the visual object based on at least one of the location or shape of the external object changed by the motion.
  • the changing operation may include identifying at least one of the location or shape of the external object associated with the visual object based on frames output from the camera.
  • the identifying operation may include identifying a positional relationship between the visual object and an external object associated with the visual object, based on frames output from the camera.
  • the identifying operation may include comparing the identified positional relationship and the object information to identify whether the motion corresponds to the specified motion.
  • the operation of identifying the positional relationship may include the operation of identifying the external object indicated by the object information from the frames.
  • the displaying operation may include an operation of identifying the object information matched to the visual object based on an application for providing the visual object.
  • a wearable device (e.g., wearable device 510 in FIGS. 5 and 6) includes a sensor (e.g., sensor 650 in FIG. 6), a display (e.g., It may include a display 630) and a processor (eg, processor 610 of FIG. 6).
  • the processor may be configured to display a plurality of visual objects within the user's FoV (e.g., FoV 520 in FIG. 5) using the display while worn by the user.
  • the processor based on the sensor, identifies a specified motion associated with the first external electronic device (e.g., the first external electronic device 720 of FIG.
  • the processor 7 may be configured to identify the location of a second external electronic device (e.g., the second external electronic device 725 in FIG. 7) within the FoV.
  • the processor among the plurality of visual objects, selects at least one visual object related to the location within the FoV to object information (e.g., object information 670 in FIG. 6) corresponding to the at least one visual object. It can be configured to change based on
  • the processor may be configured to identify the object information for the plurality of visual objects based on an application running by the processor.
  • the processor may be configured to display the plurality of visual objects based on the object information.
  • the wearable device may further include a camera.
  • the processor may be configured to obtain frames output from the camera and including at least a portion of the FoV.
  • the processor may be configured to identify the location within the FoV of the second external electronic device based on the frames.
  • the processor may be configured to identify the at least one visual object superimposed on the location based on the frames.
  • the processor may, based on the sensor, identify the designated motion for releasing contact between the user and the first external electronic device, the FoV of the second external electronic device. It may be configured to identify said location.
  • the processor may be configured to change the ability to render the visual object within the display based on the at least one visual object and the portion of the object information matched to the specified motion.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Holo Graphy (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

일 실시예에 따른, 웨어러블 장치의 프로세서는, 사용자의 FoV(field-of-view) 내에 시각적 객체를 표시할 수 있다. 상기 프로세서는, 카메라, 및 센서로부터, 상기 사용자와 관련된 모션을 지시하는 센서 정보를 획득할 수 있다. 상기 프로세서는, 상기 센서 정보에 의해 지시되는 상기 모션이, 상기 시각적 객체에 매칭된 객체 정보 내 지정된 모션에 대응하는지 여부를 식별할 수 있다. 상기 프로세서는, 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 객체 정보에 기반하여, 상기 시각적 객체를 변경할 수 있다. 본 문서는, 실제 객체 및 가상 객체 사이의 상호연결성을 강화하기 위한 메타버스 서비스와 관련될 수 있다. 예를 들면, 상기 메타버스 서비스는, 5G(fifth generation), 및/또는 6G(sixth generation)에 기반하는 네트워크를 통해 제공될 수 있다.

Description

센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법
본 개시(present disclosure)는 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 카메라, 센서, 디스플레이, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 사용자에 의해 착용된 상태 내에서, 상기 디스플레이를 이용하여 상기 사용자의 FoV(field-of-view) 내에 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 카메라, 및 상기 센서로부터, 상기 사용자와 관련된 모션을 지시하는(indicating) 센서 정보를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 센서 정보에 의해 지시되는 상기 모션이, 상기 시각적 객체에 매칭된 객체 정보 내 지정된 모션에 대응하는지 여부를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 지정된 모션에 매칭되는 상기 객체 정보에 기반하여, 상기 FoV 내에 표시된 상기 시각적 객체를 변경하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 사용자에 의해 착용된 상태 내에서, 상기 웨어러블 장치 내 디스플레이를 이용하여 상기 사용자의 FoV(field-of-view) 내에 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치 내 카메라, 및 상기 웨어러블 장치 내 센서로부터, 상기 사용자와 관련된 모션을 지시하는 센서 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 센서 정보에 의해 지시되는 상기 모션이, 상기 시각적 객체에 매칭된 객체 정보 내 지정된 모션에 대응하는지 여부를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 지정된 모션에 매칭되는 상기 객체 정보에 기반하여, 상기 FoV 내에 표시된 상기 시각적 객체를 변경하는 동작을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 센서, 디스플레이, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 사용자에 의해 착용된 상태 내에서, 상기 디스플레이를 이용하여 사용자의 FoV 내에, 복수의 시각적 객체들을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 센서에 기반하여, 제1 외부 전자 장치와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 제1 외부 전자 장치에 대응하는 제2 외부 전자 장치의 상기 FoV 내 위치를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 복수의 시각적 객체들 중에서, 상기 FoV 내 상기 위치와 관련된 적어도 하나의 시각적 객체를, 상기 적어도 하나의 시각적 객체에 대응하는 객체 정보에 기반하여 변경하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 사용자에 의해 착용된 상태 내에서, 상기 웨어러블 장치 내 디스플레이를 이용하여, 사용자의 FoV(field-of-view) 내에, 복수의 시각적 객체들을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치 내 센서에 기반하여, 제1 외부 전자 장치와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 제1 외부 전자 장치에 대응하는 제2 외부 전자 장치의 상기 FoV 내 위치를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 복수의 시각적 객체들 중에서, 상기 FoV 내 상기 위치와 관련된 적어도 하나의 시각적 객체를, 상기 적어도 하나의 시각적 객체에 대응하는 객체 정보에 기반하여 변경하는 동작을 포함할 수 있다.
도 1은, 서버를 통해 메타버스 서비스를 제공받는 제1 실시예 환경에 대한 예시도이다.
도 2는, 사용자 단말들 및 제2 단말의 직접 연결을 통해 메타버스 서비스를 제공받는 제2 실시예 환경에 대한 예시도이다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다.
도 3b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다.
도 5는, 일 실시예에 따른, 웨어러블 장치가 카메라, 및/또는 센서의 데이터에 기반하여 수행하는 동작의 일 예를 도시한다.
도 6은, 일 실시예에 따른, 웨어러블 장치의 블록도의 일 예를 도시한다.
도 7은, 일 실시예에 따른, 웨어러블 장치가 센서를 통해 식별된 외부 전자 장치의 상태에 기반하여 수행하는 동작의 일 예를 도시한다.
도 8은, 일 실시예에 따른, 웨어러블 장치가 사용자의 모션에 기반하여 수행하는 동작의 일 예를 도시한다.
도 9는, 일 실시예에 따른, 웨어러블 장치가 외부 객체에 기반하여 수행하는 동작의 일 예를 도시한다.
도 10a 내지 도 10b는, 일 실시예에 따른, 웨어러블 장치가 외부 객체와 연계된(linked to) 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 11은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 12는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 13은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
메타버스는 '가상', '초월' 을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR(virtual reality), 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다.
이와 같은 메타버스 서비스는 적어도 2가지 형태로 제공될 수 있다. 첫번째는 서버를 이용하여 사용자에게 서비스가 제공되는 것이고, 두번째는 사용자 간의 개별 접촉을 통해 서비스가 제공되는 것이다.
도 1은 서버(110)를 통해 메타버스 서비스를 제공받는 제 1 실시예 환경(101)에 대한 예시도이다.
도 1을 보면, 제 1 실시예 환경(101)은, 메타버스 서비스를 제공하는 서버(110), 서버(110)와 각각의 사용자 단말(예, 제1 단말(120-1), 및 제2 단말(120-2)을 포함하는 사용자 단말(120))을 연결하는 네트워크(예, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크), 네트워크를 통해 서버로 접속하여 사용자에게 메타버스 서비스에 입출력을 함으로써 서비스를 이용하게 하는 사용자 단말로 구성된다.
이 때, 서버(110)는 가상 공간을 제공하여 사용자 단말(120)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(120)은 서버(110)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(110)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다.
상기 S/W 에이전트는 서버(110)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩(embedded)되어 제공될 수 있다.
도 2는 사용자 단말들(예, 제1 단말(120-1) 및 제2 단말(120-2))의 직접 연결을 통해 메타버스 서비스를 제공받는 제 2 실시예 환경(102)에 대한 예시도이다.
도 2를 보면, 제 2 실시예 환경(102)은, 메타버스 서비스를 제공하는 제 1 단말(120-1), 각각의 사용자 단말을 연결하는 네트워크(예, 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크), 네트워크를 통해 제 1 단말(120-1)과 접속하여 제 2 사용자에게 메타버스 서비스에 입출력을 함으로써 서비스를 이용하게 하는 제 2 단말(120-2)로 구성된다.
제 2 실시예는 제 1 실시예에서 서버(예, 도 1의 서버(110))의 역할을 제 1 단말(120-1)이 수행함으로써 메타버스 서비스를 제공하는 것을 특징으로 한다. 즉, 디바이스와 디바이스의 연결만으로 메타버스 환경을 구성할 수 있음을 알 수 있다.
제 1 실시예와 제 2 실시예에서, 사용자 단말(120)(혹은 제 1 단말(120-1), 제 2 단말(120-2)을 포함하는 사용자 단말(120))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(120)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(120-2)), AR 기기(예, 제1 단말(120-1)), VR(virtual reality) 기기, MR(mixed reality) 기기, VST(video see through) 기기, 입출력 가능한 TV 또는 프로젝터를 포함할 수 있다.
본 발명의 네트워크(예, 적어도 하나의 중간 노드(130)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 WiFi(wireless fidelity), BT(bluetooth)를 포함하는 근거리 네트워크(예, 제1 단말(120-1), 및 제2 단말(120-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다.
도 3a는, 일 실시예에 따른, 웨어러블 장치(300)의 사시도(perspective view)의 일 예를 도시한다. 도 3b는, 일 실시예에 따른, 웨어러블 장치(300) 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(300)는, 도 1 내지 도 2의 제1 단말(120-1)을 포함할 수 있다. 도 3a의 도시 내에서(as shown in), 일 실시예에 따른, 웨어러블 장치(300)는, 적어도 하나의 디스플레이(350), 및 적어도 하나의 디스플레이(350)를 지지하는 프레임을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(300)는, 도 3b의 동작 인식 카메라(340-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 디스플레이(350)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.
일 실시예에 따른, 웨어러블 장치(300) 내 적어도 하나의 디스플레이(350)는, 사용자에게 시각 정보를 제공할 수 있다. 예를 들면, 적어도 하나의 디스플레이(350)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(350)는, 제1 디스플레이(350-1) 및/또는 제1 디스플레이(350-1)로부터 이격된 제2 디스플레이(350-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(350-1), 및 제2 디스플레이(350-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 3b를 참조하면, 적어도 하나의 디스플레이(350)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(300)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(350)에 의해 형성된 표시 영역은, 렌즈의 제1 면(331), 및 제2 면(332) 중 제2 면(332) 상에 형성될 수 있다. 사용자가 웨어러블 장치(300)를 착용하였을 때, 외부 광은 제1 면(331)으로 입사되고, 제2 면(332)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(350)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 적어도 하나의 디스플레이(350)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어(예, 광학 장치들(382, 384), 및/또는 적어도 하나의 웨이브가이드들(waveguides)(333, 334))를 통하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 적어도 하나의 디스플레이(350)로부터 송신되고, 광학 장치들(382, 384)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(333, 334)을 포함할 수 있다. 웨이브가이드들(333, 334)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(333, 334)의 타 단으로 전파될 수 있다. 웨이브가이드들(333, 334)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(333, 334)은, 적어도 하나의 디스플레이(350)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(300) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(333, 334) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 촬영 카메라(340-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(350)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(300)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(300)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(300)를 착용한 사용자는, 적어도 하나의 디스플레이(350)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임은, 웨어러블 장치(300)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(300)를 착용하였을 때, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(350)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
도 3a를 참조하면, 프레임은, 사용자가 웨어러블 장치(300)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(320)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(320)은, 웨어러블 장치(300)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(310)를 포함할 수 있다. 웨어러블 장치(300)가 사용자에 의해 착용될 시, 노즈 패드(310)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(304) 및 제2 템플(305)을 포함할 수 있다.
예를 들면, 프레임은, 제1 디스플레이(350-1)의 적어도 일부를 감싸는 제1 림(rim)(301), 제2 디스플레이(350-2)의 적어도 일부를 감싸는 제2 림(302), 제1 림(301)과 제2 림(302) 사이에 배치되는 브릿지(bridge)(303), 브릿지(303)의 일단으로부터 제1 림(301)의 가장자리 일부를 따라 배치되는 제1 패드(311), 브릿지(303)의 타단으로부터 제2 림(302)의 가장자리 일부를 따라 배치되는 제2 패드(312), 제1 림(301)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(304), 및 제2 림(302)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(305)을 포함할 수 있다. 제1 패드(311), 및 제2 패드(312)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(304) 및 제2 템플(305)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(304, 305)은, 도 3b의 힌지 유닛들(306, 307)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(304)은, 제1 림(301)과 제1 템플(304)의 사이에 배치된 제1 힌지 유닛(306)을 통해, 제1 림(301)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(305)은, 제2 림(302)과 제2 템플(305)의 사이에 배치된 제2 힌지 유닛(307)을 통해 제2 림(302)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(300)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 6의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(370), 안테나 모듈(375), 광학 장치들(382, 384), 스피커들(392-1, 392-2), 마이크들(394-1, 394-2, 394-3), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(390)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)의 마이크들(394-1, 394-2, 394-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 노즈 패드(310) 상에 배치된 제1 마이크(394-1), 제2 림(302) 상에 배치된 제2 마이크(394-2), 및 제1 림(301) 상에 배치된 제3 마이크(394-3)가 도 3b 내에 도시되지만, 마이크(394)의 개수, 및 배치가 도 3b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(300) 내에 포함된 마이크(394)의 개수가 두 개 이상인 경우, 웨어러블 장치(300)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(333, 334)로 송신할 수 있다. 예를 들면, 광학 장치들(382, 384)은, 프로젝터일 수 있다. 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)에 인접하여 배치되거나, 적어도 하나의 디스플레이(350)의 일부로써, 적어도 하나의 디스플레이(350) 내에 포함될 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)에 대응하고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)에 대응할 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)로부터 출력된 광을, 제1 웨이브가이드(333)로 송출할 수 있고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)로부터 출력된 광을, 제2 웨이브가이드(334)로 송출할 수 있다.
일 실시예에서, 카메라(340)는, 시선 추적 카메라(eye tracking camera, ET CAM)(340-1), 동작 인식 카메라(340-2), 및/또는 촬영 카메라(340-3)를 포함할 수 있다. 촬영 카메라, 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(300)는 시선 추적 카메라(340-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(340-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 3b 내에 도시되지만, 실시예가 이에 제한되는 것은 아니며, 시선 추적 카메라(340-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.
일 실시예에서, 촬영 카메라(340-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(350)로 제공할 수 있다. 적어도 하나의 디스플레이(350)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(382, 384)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(301) 및 제2 림(302) 사이에 배치되는 브릿지(303) 상에 배치될 수 있다.
일 실시예에서, 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(350)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(300)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(350)에 표시할 수 있다. 시선 추적 카메라(340-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(340-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 제1 림(301) 및/또는 제2 림(302) 내에서, 웨어러블 장치(300)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
일 실시예에서, 동작 인식 카메라(340-2)는, 사용자의 몸통, 손, 또는 얼굴과 같은 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(350)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(340-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(350)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(340-2)는, 제1 림(301) 및/또는 제2 림(302)상에 배치될 수 있다.
일 실시예에서, 웨어러블 장치(300) 내에 포함된 카메라(340)는, 상술된 시선 추적 카메라(340-1), 동작 인식 카메라(340-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(300)는 사용자의 FoV를 향하여 배치된 촬영 카메라(340-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(300)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(300), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(340)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(340)(예, FT(face tracking) 카메라)를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(300)는, 카메라(340)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(306, 307) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(370)은, 웨어러블 장치(300)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(370)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(370)은, 복수의 배터리 모듈(370)들일 수 있다. 복수의 배터리 모듈(370)들은, 각각 제1 템플(304)과 제2 템플(305) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(370)은 제1 템플(304) 및/또는 제2 템플(305)의 단부에 배치될 수 있다.
일 실시예에 따른, 안테나 모듈(375)은, 신호 또는 전력을 웨어러블 장치(300)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(375)은, 도 2의 통신 회로(250)와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(375)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(375)은, 제1 템플(304), 및/또는 제2 템플(305)의 일면에 가깝게 배치될 수 있다.
일 실시예에 따른, 스피커들(392-1, 392-2)은, 음향 신호를 웨어러블 장치(300)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(392-1, 392-2)은, 웨어러블 장치(300)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(304), 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(300)는, 제1 템플(304) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(392-2), 및 제2 템플(305) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(392-1)를 포함할 수 있다.
일 실시예에서, 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(300)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(300)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(301) 및/또는 제2 림(302) 상에 배치될 수 있다.
도 3b를 참고하면, 일 실시예에 따른, 웨어러블 장치(300)는 PCB(printed circuit board)(390)을 포함할 수 있다. PCB(390)는, 제1 템플(304), 또는 제2 템플(305) 중 적어도 하나에 포함될 수 있다. PCB(390)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(390) 상에서, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어들이 배치될 수 있다. 웨어러블 장치(300)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 웨어러블 장치(300)의 자세, 및/또는 웨어러블 장치(300)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 IMU에 기반하여 웨어러블 장치(300)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치(400)의 외관의 일 예를 도시한다. 도 4a 내지 도 4b의 웨어러블 장치(400)는, 도 1 내지 도 2의 제1 단말(120-1)을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(400)의 하우징의 제1 면(410)의 외관의 일 예가 도 4a에 도시되고, 상기 제1 면(410)의 반대되는(opposite to) 제2 면(420)의 외관의 일 예가 도 4b에 도시될 수 있다.
도 4a를 참고하면, 일 실시예에 따른, 웨어러블 장치(400)의 제1 면(410)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(400)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 3a 내지 도 3b의 제1 템플(304), 및/또는 제2 템플(305))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(350-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(350-2)가 제1 면(410) 상에 배치될 수 있다. 웨어러블 장치(400)는 제1 면(410) 상에 형성되고, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(440-1, 440-2)을 포함할 수 있다. 상기 카메라들(440-1, 440-2)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(400)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(440-3, 440-4)을 포함할 수 있다. 상기 카메라들(440-3, 440-4)은, FT 카메라로 참조될 수 있다.
도 4b를 참고하면, 도 4a의 제1 면(410)과 반대되는 제2 면(420) 상에, 웨어러블 장치(400)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)), 및/또는 센서(예, 깊이 센서(430))가 배치될 수 있다. 예를 들어, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)은, 웨어러블 장치(400)과 상이한 외부 객체를 인식하기 위하여, 제2 면(420) 상에 배치될 수 있다. 예를 들어, 카메라들(440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 비디오를 획득할 수 있다. 카메라(440-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(350-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의 제2 면(420) 상에 배치될 수 있다. 카메라(440-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(350-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의제2 면(420) 상에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 웨어러블 장치(400), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(420) 상에 배치된 깊이 센서(430)를 포함할 수 있다. 깊이 센서(430)를 이용하여, 웨어러블 장치(400)는, 웨어러블 장치(400)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.
비록 도시되지 않았지만, 웨어러블 장치(400)의 제2 면(420) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(400)는 사용자의 머리에 착용되기 위한 폼 팩터를 가질 수 있다. 웨어러블 장치(400)는, 상기 머리에 착용된 상태 내에서, 증강 현실, 가상 현실, 및/또는 혼합 현실에 기반하는 사용자 경험을 제공할 수 있다. 외부 공간에 대한 비디오를 레코딩하기 위한 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)을 이용하여, 웨어러블 장치(400), 및 웨어러블 장치(400)에 연결된 서버(예, 도 1의 서버(110))는 사용자에 의해 선택된 위치(location), 및/또는 장소(place)의 비디오를 제공하는 주문형 서비스, 및/또는 메타버스 서비스를 제공할 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 제1 디스플레이(350-1), 및 제2 디스플레이(350-2) 각각에, 카메라들(440-9, 440-10)을 통해 획득된 프레임들을 표시할 수 있다. 웨어러블 장치(400)는 제1 디스플레이(350-1), 및 제2 디스플레이(150-2)를 통해 표시되고, 실제 객체를 포함하는 프레임 내에, 가상 객체를 결합하여, 사용자에게 실제 객체, 및 가상 객체가 혼합된 사용자 경험(예, VST(video see-through))을 제공할 수 있다. 웨어러블 장치(400)는, 카메라들(440-1, 440-2, 440-3, 440-4, 440-5, 440-6, 440-7, 440-8), 및/또는 깊이 센서(430)에 의하여 획득된 정보에 기반하여, 상기 가상 객체를 변경할 수 있다. 예를 들어, 상기 프레임 내에서 실제 객체에 대응하는 시각적 객체, 및 가상 객체가 적어도 부분적으로 중첩된 경우, 웨어러블 장치(400)는 실제 객체와 상호작용하기 위한 모션을 탐지하는 것에 기반하여, 상기 가상 객체를 표시하는 것을 중단할 수 있다. 상기 가상 객체를 표시하는 것을 중단하여, 웨어러블 장치(400)는, 실제 객체에 대응하는 상기 시각적 객체가 상기 가상 객체에 의하여 가려짐(occluded by)에 따라, 상기 실제 객체의 가시성(visibility)이 저하되는 것을 방지할 수 있다.
이하에서는, 도 5를 참고하여, 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함하는 웨어러블 장치(예, 도 1 내지 도 2의 제1 단말(120-1))가, 외부 객체에 대한 사용자의 모션에 기반하여, 상기 외부 객체의 가시성을 조절하기 위하여 수행하는 동작의 일 예를 설명한다.
도 5는, 일 실시예에 따른, 웨어러블 장치(510)가 카메라, 및/또는 센서의 데이터에 기반하여 수행하는 동작의 일 예를 도시한다. 도 5의 웨어러블 장치(510)는, 도 1 내지 도 2의 제1 단말(120-1), 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함할 수 있다. 예를 들어, 웨어러블 장치(510)는 사용자의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)는, 사용자에 의해 착용된 상태 내에서, 사용자의 전방을 향하여 배치된 카메라(예, 도 3b의 촬영 카메라(340-3), 및/또는 도 4b의 카메라들(440-9, 440-10))를 포함할 수 있다. 사용자의 전방은, 사용자의 머리, 및/또는 상기 머리에 포함된 두 눈들이 향하는 방향을 포함할 수 있다. 웨어러블 장치(510)를 착용한 사용자에게 AR, 및/또는 MR에 기반하는 UI(user interface)를 제공하기 위하여, 웨어러블 장치(510)는 상기 카메라를 제어할 수 있다. 상기 UI는, 웨어러블 장치(510), 및/또는 웨어러블 장치(510)에 연결된 서버(예, 도 1의 서버(110))에 의해 제공되는 메타버스 서비스와 관련될 수 있다.
도 5를 참고하면, 웨어러블 장치(510)는, 사용자에 의해 착용된 상태 내에서, 디스플레이를 이용하여 사용자의 FoV(field-of-view)(520) 내에 시각적 객체(560)를 표시할 수 있다. 상기 상태 내에서, 웨어러블 장치(510)는 FoV(520)의 적어도 일부분 내에 표시 영역을 형성할 수 있다. 상기 표시 영역은, 상기 디스플레이로부터 방사된(emitted) 빛이 도달가능한 FoV(520) 내 영역을 포함할 수 있다. 웨어러블 장치(510)가, 도 3a 내지 도 3b의 구조와 같이, 사용자의 두 눈들로 향하는 빛(예, 주변 광(ambient light))을 통과하게 만드는 구조를 가지는 경우, 상기 사용자는 외부 객체들(540, 550)과 함께 시각적 객체(560)를 볼 수 있다. 웨어러블 장치(510)가, 도 4a 내지 도 4b의 구조와 같이, 사용자의 두 눈들로 향하는 빛을 차단하는 구조를 가지는 경우, 웨어러블 장치(510)는 상기 사용자의 전방을 향하는 카메라로부터 출력된 프레임들을 FoV(520) 내에 표시할 수 있다. 상기 프레임들 내에 시각적 객체(560)를 결합하여, 웨어러블 장치(510)는 사용자에게 외부 객체들(540, 550)을 표현하는 빛과 함께 시각적 객체(560)를 표현하는 빛을 출력할 수 있다. 실제 공간에 대한 부재(absence)의 관점에서(in terms of), 시각적 객체(560)는 가상 객체로 지칭될 수 있다. 외부 객체들(540, 550)은, 실제 공간에 대한 존재(existence)의 관점에서, 실제 객체로 지칭될 수 있다. 웨어러블 장치(510) 내에 포함된 하나 이상의 하드웨어들이, 도 6을 참고하여 예시적으로 설명된다.
일 실시예에 따른, 웨어러블 장치(510)는 어플리케이션의 실행에 기반하여 FoV(520) 내에 시각적 객체(560)를 표시할 수 있다. 상기 어플리케이션은, AR 및/또는 MR에 기반하는 사용자 경험을 제공하기 위하여, 웨어러블 장치(510) 내에 설치될 수 있다. 웨어러블 장치(510) 내에 설치된 어플리케이션은, 시각적 객체(560)를 표시하기 위한 정보를 포함할 수 있다. 시각적 객체(560)를 표시하기 위한 상기 정보는, FoV(520) 내에 가상 객체를 표시하기 위한 정보의 관점에서, 객체 정보로 지칭될 수 있다.
도 5를 참고하면, 어플리케이션이 실행된 상태 내에서, 웨어러블 장치(510)는 상기 어플리케이션과 함께 제공된 객체 정보에 기반하여, 시각적 객체(560)를 표시할 수 있다. 웨어러블 장치(510)가 사용자에 의해 착용된 상태 내에서, 웨어러블 장치(510)에 의해 표시되는 시각적 객체(560)는, 상기 사용자의 FoV(520) 내에 포함된 외부 객체들(540, 550)과 함께 보여질 수 있다. 시각적 객체(560)에 매칭되는 상기 객체 정보는, 시각적 객체(560)의 크기, 및/또는 형태를 지시하는(indicating) 데이터를 포함할 수 있다. 시각적 객체(560)에 매칭되는 상기 객체 정보는, 웨어러블 장치(510)가 상기 객체 정보를 렌더링(rendering)하기 위한 데이터를 포함할 수 있다. 상기 데이터는, 포인트 클라우드, 버텍스 데이터, 텍스쳐 데이터, 및/또는 쉐이더(shader)로 지칭될 수 있다. 상기 객체 정보는, 시각적 객체(560)의 변형과 관련된 데이터를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)는, 웨어러블 장치(510)에 의해 탐지되는 모션에 기반하여, 시각적 객체(560)를 변경할 수 있다. 웨어러블 장치(510)는 FoV(520)를 향하여 배치된 상기 카메라, 및/또는 센서로부터, 상기 모션을 지시하는 센서 정보를 획득할 수 있다. 상기 모션은, 웨어러블 장치(510)를 포함하는 실제 공간 내에서 발생되는 모션으로, 웨어러블 장치(510)를 착용한 사용자의 모션을 포함할 수 있다. 상기 모션은, 상기 사용자와 상이한 외부 객체(예, 외부 객체들(540, 550))의 모션을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)는 센서 정보에 의해 지시되는 모션이, 시각적 객체(560)에 매칭된 객체 정보 내 지정된 모션에 대응하는지 여부를 식별할 수 있다. 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 웨어러블 장치(510)는 시각적 객체(560)를 변경할 수 있다. 예를 들어, 웨어러블 장치(510)는 객체 정보에 기반하여 FoV(520) 내에 표시된 시각적 객체(560)를 변경할 수 있다. 도 5를 참고하면, 웨어러블 장치(510)는 상기 센서 정보에 의해 지시되는 손(530)의 모션을 식별할 수 있다. 상기 센서 정보에 포함된 프레임들로부터, 웨어러블 장치(510)는 손(530)의 위치, 및/또는 모션을 식별할 수 있다.
일 실시예에서, 센서 정보에 의해 지시되는 손(530)의 모션이, 객체 정보에 의해 지시되는 지정된 모션에 대응하는 경우, 웨어러블 장치(510)는 상기 객체 정보에 대응하는 시각적 객체(560)를 변경할 수 있다. 도 5를 참고하면, 시각적 객체(560)가 FoV(520) 내에서 외부 객체(540)에 인접하여 표시된 예시적인 케이스가 도시된다. 상기 케이스 내에서, 외부 객체(540)를 잡기 위하여, 사용자는 외부 객체(540)를 향하여 손(530)을 뻗을(extend) 수 있다. 웨어러블 장치(510)는 센서 정보로부터, 시각적 객체(560)에 인접한 외부 객체(540)를 향하여 이동되는 손(530)을 식별할 수 있다. 웨어러블 장치(510)는 센서 정보로부터 식별된 손(530)의 모션을, 객체 정보에 의해 지시되는 지정된 모션과 비교하여, 시각적 객체(560)를 변경할지 여부를 결정할 수 있다. 예를 들어, 상기 지정된 모션이 시각적 객체(560)에 인접한 외부 객체(540)로 손(530)을 뻗는 모션인 경우, 웨어러블 장치(510)는 FoV(520) 내에 표시된 시각적 객체(560)를 변경할 수 있다. 예를 들어, FoV(520)를 통해 보여지는 외부 객체(540)의 가시성을 개선하기 위하여, 웨어러블 장치(510)는, 시각적 객체(560)를 숨기거나(hide), 시각적 객체(560)의 투명도(transparency, opacity, 또는 알파 값)를 증가시키거나, 또는 시각적 객체(560)에 블러(blur)와 같은 시각 효과(visual effect)를 적용할 수 있다. 일 실시예에 따른, 웨어러블 장치(510)가, 웨어러블 장치(510)를 착용한 사용자의 신체 부위(예, 손(530))의 모션에 기반하여, 시각적 객체(560)를 변경하는 동작의 일 예가, 도 8을 참고하여 설명된다.
일 실시예에서, 웨어러블 장치(510)가 센서 정보에 기반하여 탐지하는 모션은, 손(530)과 같이, 웨어러블 장치(510)를 착용한 사용자의 의도와 직접적으로 연계된 사물의 모션에 제한되지 않는다. 웨어러블 장치(510)는 센서 정보로부터, 웨어러블 장치(510)과 상이한 외부 전자 장치(570)에 대한 모션을 식별할 수 있다. 도 5를 참고하면, 외부 전자 장치(570)의 일 예로, 사용자의 귀에 부착될 수 있는(attachable) 무선 이어폰이 도시된다. 웨어러블 장치(510)는 센서 정보에 기반하여, 외부 전자 장치(470)와 관련된 사용자의 모션을 식별할 수 있다. 상기 모션이, 객체 정보에 의해 지시되는 지정된 모션과 매칭되는 경우, 웨어러블 장치(510)는 상기 객체 정보에 대응하는 시각적 객체(560)를 변경할 수 있다. 웨어러블 장치(510)가, 외부 전자 장치(570)에 대한 상기 모션에 기반하여, 시각적 객체(560)를 변경하는 동작의 일 예가, 도 7을 참고하여 설명된다.
일 실시예에서, 웨어러블 장치(510)가 센서 정보에 기반하여 탐지하는 모션은, 웨어러블 장치(510)를 착용한 사용자와 구분되는 외부 객체(예, 외부 객체들(540, 550))의 모션을 포함할 수 있다. 시각적 객체(560)가 객체 정보에 기반하여 외부 객체(540)와 연계된 예시적인 케이스 내에서, 웨어러블 장치(510)는 외부 객체(540)의 모션에 기반하여, 시각적 객체(560)를 변경할 수 있다. 예를 들어, 상기 센서 정보에 기반하여 식별된 외부 객체(540)의 모션이, 객체 정보에 의해 지시되는 지정된 모션에 대응함을 식별하는 것에 응답하여, 웨어러블 장치(510)는 시각적 객체(560)를 변경할 수 있다. 웨어러블 장치(510)가 사용자의 신체 부위(예, 손(530))와 상이한 외부 객체와 연계된 시각적 객체(560)를 변경하는 동작의 일 예가, 도 9, 도 10a 내지 도 10b를 참고하여 설명된다. 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(510)는 사용자의 발언(speech)에 기반하여, 시각적 객체(560)를 변경할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(510)는, 웨어러블 장치(510)를 포함한 실제 공간 내에서 발생되는 모션에 기반하여, 시각적 객체(560)를 변경할 수 있다. 웨어러블 장치(510)는 시각적 객체(560)에 대응하는 객체 정보를 이용하여, 시각적 객체(560)의 형태, 크기, 및/또는 투명도를 변경할 수 있다. 웨어러블 장치(510)는 객체 정보에 의해 지시되는, 시각적 객체(560)를 변경하기 위한 조건을 식별할 수 있다. 상기 조건은, 웨어러블 장치(510)에 의해 탐지되는 지정된 모션을 포함할 수 있다. 예를 들어, 웨어러블 장치(510)의 카메라, 및/또는 센서로부터 식별된 센서 정보에 기반하여, 지정된 모션을 식별하는 것에 응답하여, 웨어러블 장치(510)는 객체 정보 내에서 상기 지정된 모션에 대응하는 렌더링 기능에 기반하여, 시각적 객체(560)를 렌더링할 수 있다. 시각적 객체(560)의 변경에 기반하여, 웨어러블 장치(510)는 외부 객체의 가시성을 조건부로 개선할 수 있다. 시각적 객체(560)의 변경에 기반하여, 웨어러블 장치(510)는 외부 객체, 및 시각적 객체(560) 사이의 관련성을 강화할 수 있다. 예를 들어, 웨어러블 장치(510)는 외부 객체의 모션에 의한 시각적 객체(560)의 변형을 시각화할 수 있다.
도 6은, 일 실시예에 따른, 웨어러블 장치(510)의 블록도의 일 예를 도시한다. 도 6의 웨어러블 장치(510)는, 도 1 내지 도 2의 제1 단말(120-1), 도 3a 내지 도 3b의 웨어러블 장치(300), 도 4a 내지 도 4b의 웨어러블 장치(400), 및/또는 도 5의 웨어러블 장치(510)를 포함할 수 있다. 웨어러블 장치(510)는 프로세서(610), 메모리(620), 디스플레이(630), 카메라(640), 또는 센서(650) 중 적어도 하나를 포함할 수 있다. 프로세서(610), 메모리(620), 디스플레이(630), 카메라(640), 및 센서(650)는 통신 버스(a communication bus)(605)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 6의 하드웨어들 중 일부분(예, 프로세서(610), 및 메모리(620)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(510) 내에 포함된 하드웨어의 타입 및/또는 개수는 도 6에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(510)는 도 6에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 프로세서(610)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 상기 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(610)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 메모리(620)는, 웨어러블 장치(510)의 프로세서(610)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어를 포함할 수 있다. 메모리(620)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 디스플레이(630)는 사용자에게 시각화된 정보를 출력할 수 있다. 예를 들어, 디스플레이(630)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(610)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(630)는 FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 6의 디스플레이(630)는, 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b의 적어도 하나의 디스플레이(350)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 카메라(640)는 빛의 색상 및/또는 밝기를 나타내는 전기 신호를 생성하기 위한, 하나 이상의 광 센서들(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)를 포함할 수 있다. 카메라(640)에 포함된 복수의 광 센서들은, 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(640)는 복수의 광 센서들 각각의 전기 신호들을 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하는 2차원 프레임을 생성할 수 있다. 예를 들어, 카메라(640)를 이용하여 캡쳐한 사진 데이터는 카메라(640)로부터 획득한 하나의 2차원 프레임을 포함할 수 있다. 예를 들어, 카메라(640)를 이용하여 캡쳐한 비디오 데이터는, 프레임 율(frame rate)을 따라 카메라(640)로부터 획득된, 복수의 2차원 프레임들의 시퀀스(sequence)를 의미할 수 있다. 카메라(640)는, 카메라(640)가 광을 수신하는 방향을 향하여 배치되고, 상기 방향을 향하여 광을 출력하기 위한 플래시 라이트를 더 포함할 수 있다. 비록 단일(single) 블록에 기반하여, 카메라(640)가 도시되었으나, 웨어러블 장치(510) 내에 포함된 카메라(640)의 개수가 실시예에 제한되는 것은 아니다. 예를 들어, 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b의 하나 이상의 카메라들(340)과 같이, 웨어러블 장치(510)는 하나 이상의 카메라들을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 센서(650)는, 웨어러블 장치(510)와 관련된 비-전기적 정보(non-electronic information)로부터, 웨어러블 장치(510)의 프로세서(610), 및/또는 메모리(620)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 예를 들어, 센서(650)는 음파에 대한 전기적 정보를 포함하는 신호(예, 오디오 신호)를 출력하기 위한 마이크를 포함할 수 있다. 예를 들어, 센서(650)는 웨어러블 장치(510)의 물리적인 모션을 탐지하기 위한 IMU(inertia measurement unit)를 포함할 수 있다. 상기 IMU는, 가속도 센서, 자이로 센서, 지자기 센서, 또는 이들의 조합(or a combination thereof)을 포함할 수 있다. 가속도 센서는, 서로 수직인 복수의 축들(예, x축, y축 및 z축)을 따라 상기 가속도 센서로 적용되는(applied to) 중력 가속도의 방향, 및/또는 크기를 나타내는 데이터를 출력할 수 있다. 자이로 센서는, 상기 복수의 축들 각각의 회전을 나타내는 데이터를 출력할 수 있다. 지자기 센서는, 상기 지자기 센서가 포함된 자계의 방향(예, N 극, 또는 S 극의 방향)을 나타내는 데이터를 출력할 수 있다. 센서(650) 내 상기 IMU는, 웨어러블 장치(510)의 모션을 탐지하는 관점에서, 모션 센서로 지칭될 수 있다. 예를 들어, 센서(650)는 웨어러블 장치(510)의 하우징 상에 접촉된 외부 객체를 식별하기 위한 근접(proximity) 센서, 및/또는 그립 센서를 포함할 수 있다. 센서(650)의 개수, 및/또는 타입은 상술한 바에 제한되지 않으며, 센서(650)는 빛을 포함하는 전자기파를 탐지하기 위한 이미지 센서, 조도 센서, ToF(time-of-flight) 센서, 및/또는 GPS(global positioning system) 센서를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(510)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(510)는 음성 신호(acoustic signal)를 출력하기 위한 스피커(예, 도 3a 내지 도 3b의 스피커들(392-1, 392-2))를 포함할 수 있다. 예를 들어, 웨어러블 장치(510)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 메모리(620) 내에서, 웨어러블 장치(510)의 프로세서(610)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 이하에서, 어플리케이션이 웨어러블 장치(510) 내에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 메모리(620) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 프로세서(610)에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(510)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
도 6을 참고하면, 웨어러블 장치(510)의 메모리(620) 내에 저장된 인스트럭션들은, 모션 분석기(analyzer)(660), 렌더링 컨트롤러(665), 렌더러(renderer)(680), 및/또는 어플리케이션(675)으로 구분될 수 있다. 상기 인스트럭션들이 실행된 동안, 웨어러블 장치(510)의 프로세서(610)는, 도 11 내지 도 13의 동작들 중 적어도 하나를 수행할 수 있다. 상기 인스트럭션들은, 웨어러블 장치(510)에 의해 탐지된 모션에 기반하여, 디스플레이(630)를 통해 표시되는 시각적 객체(예, 도 6의 시각적 객체(560))를 렌더링하는 방식을 변경하도록, 프로세서(610)에 의해 실행될 수 있다. 메모리(620) 내에, 어플리케이션(675)과 함께 제공된 객체 정보(670)가 저장될 수 있다. 일 실시예에 따른, 웨어러블 장치(510)는, 모션 분석기(660), 렌더링 컨트롤러(665), 객체 정보(670), 어플리케이션(675), 및/또는 렌더러(680)에 기반하여, 디스플레이(630)의 표시 영역 내에 포함된 시각적 객체(예, 도 5의 시각적 객체(560))를, 웨어러블 장치(510)에 의하여 탐지된 모션에 기반하여, 변경할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 프로세서(610)는, 모션 분석기(660)가 실행된 상태 내에서, 센서 정보를 이용하여 웨어러블 장치(510)에 의해 탐지된 모션을 분석할 수 있다. 상기 센서 정보는, 카메라(640)로부터 출력된 프레임들, 및/또는 센서(650)로부터 출력된 센서 데이터를 포함할 수 있다. 모션 분석기(660)의 실행에 기반하여, 프로세서(610)는 웨어러블 장치(510)를 통해 사용자에게 제공되는 증강 현실 환경과 상호작용하기 위한 사용자의 의도를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)의 프로세서(610)는, 모션 분석기(660)가 실행된 상태 내에서, 사용자 입력을 획득하기 위한 입력 인터페이스에 기반하여, 사용자의 모션과 관련된 센서 정보를 획득할 수 있다. 입력 인터페이스는, 웨어러블 장치(510), 및 웨어러블 장치(510)를 착용한 사용자 사이의 인터페이스로써, 예를 들어, 도 6의 카메라(640), 및/또는 모션 센서를 포함할 수 있다. 실시예가 이에 제한되는 것은 아니며, 입력 인터페이스는, 마이크와 같이, 웨어러블 장치(510)를 착용한 사용자의 발언(speech)을 식별하기 위한 하드웨어를 포함할 수 있다. 입력 인터페이스를 이용하여 획득된 상기 센서 정보에 기반하여, 프로세서(610)는 사용자의 상이한 신체 부위들(예, 손, 상체, 및/또는 하체)의 모션들을 식별, 추적(track), 및/또는 모니터링할 수 있다.
일 실시예에 따른, 프로세서(610)는, 모션 분석기(660)가 실행된 상태 내에서, 센서 정보에 기반하여 지정된 신체 부위(예, 도 5의 손(530))의 모션을 식별할 수 있다. 프로세서(610)가 지정된 신체 부위의 모션을 식별하는 것은, 상기 모션의 주체(예, 사용자), 및 상기 모션의 카테고리(예, 손을 뻗는 액션, 앉는 액션, 걷는 액션)를 식별하는 동작을 포함할 수 있다. 상기 카테고리는, 외부 객체를 잡거나, 터치하기 위한 사용자의 의도, 외부 객체를 이동하기 위한 사용자의 의도에 따라 구분될 수 있다. 예를 들어, 프로세서(610)는 센서 정보에 기반하여, 외부 객체, 및 신체 부위 사이의 접촉을 식별할 수 있다.
일 실시예에서, 프로세서(610)는, 모션 분석기(660)의 실행에 기반하여, 웨어러블 장치(510) 내 센서(650)로부터 센서 정보를 획득할 수 있다. 프로세서(610)는, 웨어러블 장치(510)에 연결된 외부 전자 장치(예, 키보드, 마우스, 무선 이어폰, 및/또는 사용자의 손에 쥘 수 있는(grabbable) 컨트롤러)로부터 센서 정보를 획득할 수 있다. 모션 분석기(660)가 실행된 상태 내에서, 프로세서(610)는 상기 센서 정보에 의해 지시되는 모션으로부터 웨어러블 장치(510)를 포함하는 실제 공간 내에서 발생되는 신체 부위, 및 외부 객체 사이의 상호작용(interaction)을 식별할 수 있다.
일 실시예에 따른, 프로세서(610)는, 렌더링 컨트롤러(665)의 실행에 기반하여, 모션 분석기(660)를 이용하여 식별된 모션에 기반하여, 가상 객체(예, 도 6의 시각적 객체(560))가 표시되는 방식을 변경할 수 있다. 프로세서(610)는 디스플레이(630)를 통해 상기 가상 객체에 대응하는 시각적 객체(예, 도 6의 시각적 객체(560))를 표시할 수 있다. 렌더링 컨트롤러(665)가 실행된 상태 내에서, 프로세서(610)는 객체 정보(670)에 기반하여, 디스플레이(630)를 통해 표시될 하나 이상의 가상 객체들을 식별할 수 있다. 렌더링 컨트롤러(665)가 실행된 상태 내에서, 프로세서(610)는 모션 분석기(660)를 이용하여 센서 정보로부터 식별된 모션을, 객체 정보(670)에 의해 지시되는 지정된 모션과 비교할 수 있다. 객체 정보(670)는, 지정된 모션을 지시하는 제1 데이터, 및 상기 제1 데이터에 매칭되고, 가상 객체의 렌더링 기능을 지시하는 제2 데이터를 포함할 수 있다.
일 실시예에 따른, 프로세서(610)는, 렌더링 컨트롤러(665)가 실행된 상태 내에서, 모션 분석기(660)에 기반하여 식별된 모션이, 가상 객체로 적용될(applied) 렌더링 기능을 변경하기 위한 지정된 모션과 매칭되는지 여부를 식별할 수 있다. 예를 들어, 상기 지정된 모션은, 외부 객체를 터치하는 사용자의 액션을 포함할 수 있다. 예를 들어, 상기 지정된 모션은, 카메라(640)의 프레임들로부터 식별되고, 상기 사용자의 신체 부위와 상이한 외부 객체의 모션을 포함할 수 있다. 모션 분석기(660)를 이용하여 식별된 모션이, 상기 지정된 모션과 매칭되는 경우, 프로세서(610)는 상기 지정된 모션에 대응하는 가상 객체의 렌더링 기능을 변경하는 것으로 결정할 수 있다.
일 실시예에 따른, 프로세서(610)는, 렌더링 컨트롤러(665)가 실행된 상태 내에서, 센서 정보로부터 식별된 모션과 관련된 가상 객체의 렌더링 기능을 선택, 및/또는 결정할 수 있다. 예를 들어, 프로세서(610)는 상기 모션 내에 포함된 사용자의 의도에 기반하여, 상기 렌더링 기능을 변경할 수 있다. 외부 객체를 이동하기 위한 사용자의 모션을 식별한 경우, 프로세서(610)는 렌더링 컨트롤러(665)의 실행에 기반하여, 상기 외부 객체와 중첩되거나, 또는 상기 외부 객체에 인접한 가상 객체의 렌더링 기능, 및/또는 표시 모드(display mode)를 변경할 수 있다. 예를 들어, 프로세서(610)는, 사용자의 액션에 의해 움직이는 하나 이상의 외부 객체들의 모션에 기반하여, 상기 하나 이상의 외부 객체들과 연계된 가상 객체의 렌더링 기능, 및/또는 표시 모드를 변경할 수 있다. 예를 들어, 프로세서(610)는 상기 하나 이상의 외부 객체들의 모션에 기반하여, 상기 가상 객체의 모션을 예측할 수 있다. 상기 가상 객체의 상기 모션을 예측한 결과에 기반하여, 프로세서(610)는 상기 가상 객체의 렌더링 기능, 및/또는 표시 모드를 변경할 수 있다. 예를 들어, 프로세서(610)는, 사용자의 액션에 의해 이동되거나, 및/또는 회전된 외부 객체의 모션에 기반하여, 상기 외부 객체와 연계된 가상 객체를 변경할 수 있다. 외부 객체의 이동, 및/또는 회전에 기반하여, 프로세서(610)는 가상 객체를 이동, 및/또는 회전할 수 있다. 프로세서(610)가 가상 객체의 표시 모드를 변경하는 것은, 상기 가상 객체를 숨기거나, 또는 상기 가상 객체의 표시를 중단하는 동작을 포함할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 프로세서(610)가 가상 객체의 표시를 변경하는 것은, 객체 정보(670)에 기반하여 수행될 수 있다. 객체 정보(670)는 디스플레이(630) 내에서 가상 객체를 렌더링하기 위해 요구되는 데이터를 포함할 수 있다. 객체 정보(670)는, 가상 객체의 표시를 변경할지 여부를 식별하기 위해 이용되는 지정된 모션을 지시하는 데이터를 포함할 수 있다. 예를 들어, 지정된 모션이 지정된 신체 부위(예, 도 5의 손(530))의 모션인 경우, 객체 정보(670) 내에 포함된 상기 데이터는 상기 지정된 신체 부위의 위치, 방향, 및/또는 경로를 지시할 수 있다. 객체 정보(670)는, 지정된 모션에 매칭되는 가상 객체의 렌더링 기능을 지시하는 데이터를 포함할 수 있다. 객체 정보(670) 내에 포함된 상기 데이터는, 가상 객체의 형태, 색상, 사이즈, 위치, 및/또는 회전을 지시할 수 있다. 상기 데이터는, 렌더러(680), 및/또는 어플리케이션(675)의 실행에 기반하여, 프로세서(610)로 로드될 수 있다. 로드된 상기 데이터에 기반하여, 프로세서(610)는 디스플레이(630) 내에 상기 가상 객체를 렌더링할 수 있다.
일 실시예에 따른, 프로세서(610)는, 렌더링 컨트롤러(665)를 이용하여 가상 객체의 렌더링 기능을 변경하기로 결정한 경우, 상기 가상 객체에 대응하는 렌더러(680), 및/또는 어플리케이션(675)을 실행하여, 변경된 렌더링 기능에 기반하여 가상 객체를 렌더링할 수 있다. 웨어러블 장치(510)에 설치된 어플리케이션(675)은, 가상 객체를 표시하기 위해 프로세서(610)에 의해 실행될 수 있다. 렌더러(680)는, 가상 객체를 렌더링하기 위해 프로세서(610)에 의해 실행될 수 있다. 예를 들어, 어플리케이션(675)에 의해 호출된 지정된 API(application programming interface)에 기반하여, 프로세서(610)는 렌더러(680)를 실행하여, 어플리케이션(675)에 의해 제공된 하나 이상의 가상 객체들을 렌더링할 수 있다. 상기 하나 이상의 가상 객체들을 렌더링하는 상태 내에서, 프로세서(610)는 렌더링 컨트롤러(665)에 의하여 식별된 렌더링 기능을 적용할 수 있다. 렌더러(680)는 상기 렌더링 기능에 기반하여 프로세서(610) 내 GPU를 제어하여, 디스플레이(630)를 통해 표시될 하나 이상의 가상 객체들을 렌더링할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(510)는 객체 정보(670)에 의해 지시되는 지정된 모션을 식별하는 것에 응답하여, 디스플레이(630) 내에 렌더링된 적어도 하나의 가상 객체를 변경할 수 있다. 예를 들어, 웨어러블 장치(510)는 지정된 모션에 기반하여 적어도 하나의 가상 객체를 적응적으로(adaptively) 변경할 수 있다. 이하에서는, 도 7을 참고하여, 일 실시예에 따른, 웨어러블 장치(510)가 센서 정보에 기반하여 가상 객체의 표시 모드(예, 상기 가상 객체에 대응하는 시각적 객체를 표시할지 여부)를 변경하는 동작의 일 예가 설명된다.
도 7은, 일 실시예에 따른, 웨어러블 장치(510)가 센서를 통해 식별된 외부 전자 장치의 상태에 기반하여 수행하는 동작의 일 예를 도시한다. 도 7의 웨어러블 장치(510)는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다.
도 7을 참고하면, 사용자(710)가 복수의 전자 장치들을 동시에 이용하는 예시적인 케이스가 도시된다. 예를 들어, 사용자(710)는 웨어러블 장치(510), 및 무선 이어폰인 제1 외부 전자 장치(720)를 착용할 수 있다. 제2 외부 전자 장치(725)는, 무선 이어폰인 제1 외부 전자 장치(720)와 연계되고, 제1 외부 전자 장치(720)의 충전을 위한, 무선 이어폰 케이스일 수 있다. 웨어러블 장치(510)는 센서 정보를 이용하여 사용자(710)에 의해 착용된 제1 외부 전자 장치(720)를 식별할 수 있다. 비록 단일(single) 무선 이어폰이 도시되었지만, 실시예가 이에 제한되는 것은 아니다.
도 7을 참고하면, 제1 상태의 FoV(730-1) 내에서, 웨어러블 장치(510)는, 시각적 객체(740)를 표시할 수 있다. 시각적 객체(740)는, 웨어러블 장치(510)에 의해 실행되는 어플리케이션의 가상 객체에 대응할 수 있다. 상기 어플리케이션이, 가상 디스플레이를 표시하기 위해 웨어러블 장치(510) 내에 설치된 경우, 상기 어플리케이션을 실행하여, 웨어러블 장치(510)는 제1 상태의 FoV(730-1) 내에, 상기 가상 디스플레이에 기반하는 사용자 경험을 제공할 수 있다. 예를 들어, 모니터의 형태를 가지는 시각적 객체(740)를 통하여, 웨어러블 장치(510)는 상기 어플리케이션으로부터 제공된 화면을 표시할 수 있다. 제1 상태의 FoV(730-1) 내에서, 웨어러블 장치(510)가, 시각적 객체(740)를, 제2 외부 전자 장치(725)와 부분적으로 중첩되는 위치에 표시한 것으로 가정한다. 제1 상태의 FoV(730-1) 내에 표시되는 시각적 객체(740)의 형태, 위치, 및/또는 사이즈는, 객체 정보(예, 도 6의 객체 정보(670))에 의해 설정될(set by) 수 있다.
일 실시예에 따른, 웨어러블 장치(510)는 센서 정보를 이용하여, 웨어러블 장치(510)에 연결된 제1 외부 전자 장치(720)의 상태를 식별할 수 있다. 제1 외부 전자 장치(720)의 상기 상태는, 제1 외부 전자 장치(720)와 관련된 모션에 의해 변경될 수 있다. 예를 들어, 상기 상태의 변경에 기반하여, 웨어러블 장치(510)는 시각적 객체(740)를 변경할 수 있다. 예를 들어, 사용자(710)에게 부착된 제1 외부 전자 장치(720)가, 상기 사용자(710)로부터 분리되는 경우, 웨어러블 장치(510)는 센서 정보를 이용하여, 상기 사용자(710)로부터 분리된 제1 외부 전자 장치(720)의 상태, 및/또는 상기 사용자(710)로부터 분리되는 제1 외부 전자 장치(720)의 모션을 식별할 수 있다. 웨어러블 장치(510)는 도 6의 모션 분석기(660)의 실행에 기반하여, 제1 외부 전자 장치(720)에 대한 상기 모션을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)는 센서 정보에 의해 식별된 제1 외부 전자 장치(720)의 모션이, 시각적 객체(740)와 관련된 객체 정보에 의해 지시되는 지정된 모션에 대응하는지 여부를 식별할 수 있다. 예를 들어, 사용자(710)로부터 분리되는 제1 외부 전자 장치(720)의 모션이, 객체 정보에 의해 지시되는 지정된 모션에 대응하는 경우, 웨어러블 장치(510)는 객체 정보 내에서 상기 지정된 모션에 매칭된 렌더링 기능, 및/또는 표시 모드에 기반하여, 시각적 객체(740)를 변경할 수 있다. 객체 정보에 의해 지시되는 상기 렌더링 기능, 및/또는 상기 표시 모드는, 시각적 객체(740)에 인접하여 표시되는 외부 객체(예, 제2 외부 전자 장치(725))와 관련될 수 있다.
예를 들어, 사용자(710)로부터 무선 이어폰인 제1 외부 전자 장치(720)를 분리하는 모션은, 제1 외부 전자 장치(720)와 관련된 제2 외부 전자 장치(725)에 대한 모션이 발생될 확률이 증가됨을 의미할 수 있다. 예를 들어, 사용자(710)는 제1 외부 전자 장치(720)를, 무선 이어폰 케이스인 제2 외부 전자 장치(725)와 결합하기 위하여, 사용자(710)로부터 제1 외부 전자 장치(720)를 분리할 수 있다. 상기 예시 내에서, 웨어러블 장치(510)는, 제2 외부 전자 장치(725)가 FoV(730) 내에 포함되는지 여부, 및/또는 제2 외부 전자 장치(725)가 시각적 객체(740)에 의해 가려지는지 여부에 기반하여, 시각적 객체(740)의 렌더링 기능, 및/또는 표시 모드를 변경할 수 있다.
일 실시예에서, 웨어러블 장치(510)는 제1 외부 전자 장치(720)와 관련된 지정된 모션(예, 사용자(710)로부터 제1 외부 전자 장치(720)를 분리하는 모션)을 식별하는 것에 기반하여, 카메라(예, 도 6의 카메라(640))의 프레임들로부터 제2 외부 전자 장치(725)를 식별할 수 있다. 웨어러블 장치(510)는 상기 프레임들 내에서 제2 외부 전자 장치(725)의 위치를 식별할 수 있다. 제1 상태의 FoV(730-1) 내에서, 웨어러블 장치(510)는, 제2 외부 전자 장치(725)가 시각적 객체(740)에 의해 가려지는 위치에 배치됨을 식별할 수 있다. 시각적 객체(740)에 대응하는 객체 정보를 이용하여, 웨어러블 장치(510)는, 제2 외부 전자 장치(725)에 중첩된 시각적 객체(740)의 렌더링 기능, 및/또는 표시 모드를 변경하기로 결정할 수 있다. 제2 상태의 FoV(730-2)는, 웨어러블 장치(510)가 상기 결정(determination)에 기반하여, 시각적 객체(740)를 변경한 상태에 대응할 수 있다.
도 7을 참고하면, 제2 상태의 FoV(730-2) 내에서, 웨어러블 장치(510)는 제2 외부 전자 장치(725)에 중첩된 시각적 객체(740)의 표시 모드를 변경하여, 시각적 객체(740)의 표시를 적어도 일시적으로 중단할 수 있다. 예를 들어, FoV(730) 내에서, 시각적 객체(740)에 의해 가려지는 제2 외부 전자 장치(725)를 식별하는 것에 기반하여, 웨어러블 장치(510)는 객체 정보에 기반하여, 시각적 객체(740)를 표시하는 것을 중단하거나, 또는 시각적 객체(740)의 투명도를 변경할 수 있다. 시각적 객체(740)를 포함하는 복수의 시각적 객체들이 표시되는 경우, 웨어러블 장치(510)는 제2 외부 전자 장치(725)와 중첩된 일 시각적 객체(예, 시각적 객체(740))를 선택적으로 변경할 수 있다.
예를 들어, 웨어러블 장치(510)는 객체 정보에 의해 지시되는 지정된 투명도에 기반하여, 시각적 객체(740)에 의해 가려진 제2 외부 전자 장치(725)의 가시성을 개선할 수 있다. 예를 들어, 웨어러블 장치(510)는 시각적 객체(740)에 객체 정보에 의해 지시되는 시각 효과(예, 블러)를 적용하여, 제2 외부 전자 장치(725)의 가시성을 개선할 수 있다. 예를 들어, 웨어러블 장치(510)는 시각적 객체(740)에 의해 가려진 제2 외부 전자 장치(725)를 강조하기 위한 다른 시각적 객체를 표시하여, 제2 외부 전자 장치(725)의 FoV(730) 내 위치를 표시할 수 있다. 상기 다른 시각적 객체는, FoV(730)를 통해 보여지는 제2 외부 전자 장치(725)의 윤곽선(outline)의 형태를 가질 수 있다. 웨어러블 장치(510)가 제2 외부 전자 장치(725)를 강조하기 위해 수행하는 동작이 상기 예시에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치(510)는 FoV(730) 내에 표시된 상기 다른 시각적 객체의 위치 및/또는 크기를 변경하여, 제2 외부 전자 장치(725)를 강조할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(510)는, 센서 정보를 이용하여, 서로 연계된 복수의 외부 전자 장치들(예, 제1 외부 전자 장치(720), 및 제2 외부 전자 장치(725)) 중 어느 하나에 대한 모션을 식별할 수 있다. 상기 모션에 기반하여, 웨어러블 장치(510)는 상기 복수의 외부 전자 장치들 중 다른 하나의 가시성을 개선하기 위한 동작을 수행할 수 있다. 예를 들어, 제1 외부 전자 장치(720)에 대한 모션을 식별하는 것에 기반하여, 웨어러블 장치(510)는 FoV(730) 내에서 상기 제1 외부 전자 장치(720)과 연계된 제2 외부 전자 장치(725)를 가리는 적어도 하나의 시각적 객체(예, 시각적 객체(740))의 렌더링 기능, 및/또는 표시 모드를 변경할 수 있다.
이하에서는, 도 8을 참고하여, 일 실시예에 따른, 웨어러블 장치(510)가 센서 정보에 의해 탐지된 모션에 기반하여 수행하는 동작의 일 예가 설명된다.
도 8은, 일 실시예에 따른, 웨어러블 장치(510)가 사용자(710)의 모션에 기반하여 수행하는 동작의 일 예를 도시한다. 도 8의 웨어러블 장치(510)는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다.
도 8을 참고하면, 어플리케이션(예, 도 6의 어플리케이션(675))의 실행에 기반하여, 웨어러블 장치(510)는 시각적 객체들(825, 840)을 표시할 수 있다. 사용자(710)에 의해 착용된 상태 내에서, 웨어러블 장치(510)는 디스플레이(예, 도 6의 디스플레이(630))를 이용하여, 사용자(710)의 FoV(820) 내에, 복수의 시각적 객체들(825, 840)을 표시할 수 있다. 웨어러블 장치(510)는 상기 어플리케이션으로부터 제공된 객체 정보에 기반하여, 복수의 시각적 객체들(825, 840)을 렌더링할 수 있다. 제1 상태의 FoV(820-1)를 참고하면, 웨어러블 장치(510)는 외부 객체(810)와 중첩으로, 객체 정보에 의해 지시되는 제1 상태에 기반하여, 시각적 객체(825-1)를 렌더링할 수 있다. 제1 상태의 FoV(820-1) 내에서, 외부 객체(810)가 보여지는 위치 상에 표시된 시각적 객체(825-1)를 이용하여, 웨어러블 장치(510)는 외부 객체(810)에 대한 시뮬레이션을 수행할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)는, 카메라(예, 도 6의 카메라(640)), 및/또는 센서(예, 도 6의 센서(650))로부터 획득된 센서 정보에 기반하여, 모션을 탐지할 수 있다. 예를 들어, 웨어러블 장치(510)는 카메라로부터 획득된 프레임들에 기반하여, 외부 객체(810)를 향하여 접근하는 손(830)을 식별할 수 있다. 웨어러블 장치(510)는 센서 정보를 이용하여 외부 객체(810) 상에 접촉된 손(830)을 식별할 수 있다. 예를 들어, 사용자(710)는 외부 객체(810) 상에, FoV(820) 내에서 외부 객체(810) 상에 중첩으로 표시된 시각적 객체(825)에 기반하는 그림을 그리기 위하여, 외부 객체(810)를 향하여 손(830)을 이동할 수 있다. 일 실시예에 따른, 웨어러블 장치(510)는 외부 객체(810) 상에 접촉된 손(830)의 모션을 식별하는 것에 기반하여, FoV(820) 내에서 외부 객체(810), 및/또는 손(830)과 중첩된 시각적 객체(825)를 변경할 수 있다.
도 8의 제2 상태의 FoV(820-2)를 참고하면, 외부 객체(810) 상에 접촉된 손(830)의 모션을 탐지하는 것에 기반하여, 웨어러블 장치(510)는 시각적 객체(825)에 대응하는 객체 정보 내에서 상기 탐지된 모션에 대응하는 렌더링 기능에 기반하여, 시각적 객체(825-2)를 렌더링할 수 있다. 제2 상태의 FoV(820-2) 내에 표시된 시각적 객체들(840, 825-2)을 참고하면, 웨어러블 장치(510)는 손(830)의 모션과 독립적으로, 시각적 객체(840)의 상태를 유지할 수 있다. 손(830)의 모션에 기반하여, 웨어러블 장치(510)가 시각적 객체(825)의 렌더링 기능을 변경하기 때문에, 제2 상태의 FoV(820-2) 내 시각적 객체(825-2)는, 제1 상태의 FoV(820-1) 내 시각적 객체(825-1)와 상이한 색상, 및/또는 투명도를 가질 수 있다. 예를 들어, 웨어러블 장치(510)는 시각적 객체(825)의 투명도를 증가시켜, 시각적 객체(825)와 중첩된 외부 객체(810)의 가시성을 개선할 수 있다. 개선된 가시성에 기반하여, 사용자(710)는 외부 객체(810), 및 손(830) 사이의 상호작용을 보다 정확하게 인식할 수 있다. 외부 객체(810), 및 손(830)의 접촉이 릴리즈됨을 식별하는 것에 기반하여, 웨어러블 장치(510)는 시각적 객체(825-2)의 상태를, 외부 객체(810), 및 손(830)의 접촉을 식별하기 이전의 상태로 복원할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(510)는 상이한 시각적 객체들(825, 840)을 표시하는 동안, 웨어러블 장치(510)의 외부 공간에서 발생된 모션(예, 손(830)의 모션)에 기반하여, 시각적 객체들(825, 840) 중 적어도 하나를 변경할 수 있다. 웨어러블 장치(510)가 시각적 객체들(825, 840) 중 적어도 하나를 변경하는 것은, 시각적 객체들(825, 840)에 대응하는 객체 정보에 기반하여, 수행될 수 있다. 시각적 객체들(825, 840) 중 적어도 하나를 객체 정보에 기반하여 변경하기 때문에, 웨어러블 장치(510)는 상기 모션에 대응하는 렌더링 기능을 이용하여, 시각적 객체들(825, 840) 중 적어도 하나를 적응적으로 변경할 수 있다.
실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(510)는 시각적 객체(825, 840)을 표시하는 동안, 마이크를 통해 식별된 사용자(710)의 발언에 기반하여, 시각적 객체들(825, 840) 중 적어도 하나를 변경할 수 있다. 예를 들어, 웨어러블 장치(510)는 마이크로부터 출력된 오디오 신호로부터 발언을 식별할 수 있다. 예를 들어, 웨어러블 장치(510)는 외부 객체(810)의 명칭을 포함하는 자연어 문장(예, "도자기를 보고 싶어")을 포함하는 발언을 식별할 수 있다. 상기 발언에 기반하여, 웨어러블 장치(510)는 외부 객체(810)와 중첩으로 표시된 시각적 객체(825)를 변경할 수 있다. 웨어러블 장치(510)가 시각적 객체(825)를 변경하는 것은, 시각적 객체(825)에 대응하는 객체 정보에 기반하여 수행될 수 있다.
일 실시예에서, 웨어러블 장치(510)가 탐지하는 모션은, 사용자의 모션에 제한되지 않으며, 사용자와 상이한 외부 객체(예, 외부 객체(810))의 모션을 포함할 수 있다. 이하에서는, 도 9를 참고하여, 일 실시예에 따른, 웨어러블 장치(510)가 외부 객체의 모션에 기반하여 수행하는 동작의 일 예가 설명된다.
도 9는, 일 실시예에 따른, 웨어러블 장치(510)가 외부 객체(910)에 기반하여 수행하는 동작의 일 예를 도시한다. 도 9의 웨어러블 장치(510)는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다.
도 9를 참고하면, 어플리케이션(예, 도 6의 어플리케이션(675))의 실행에 기반하여, 웨어러블 장치(510)는 외부 객체(910)와 연계된 시각적 객체(925)를 표시할 수 있다. 웨어러블 장치(510)는 시각적 객체(925)에 대응하는 객체 정보에 기반하여, 시각적 객체(925)와 연계된 외부 객체(910)를 식별할 수 있다. 웨어러블 장치(510)는 상기 객체 정보에 의해 지시되는, 3차원 좌표계 내에서 외부 객체(910), 및 가상 객체 사이의 위치 관계에 기반하여, 상기 가상 객체를 표현하는 시각적 객체(925)를 표시할 수 있다. 사용자(710)가 웨어러블 장치(510)를 착용한 상태 내에서, 웨어러블 장치(510)는 FoV(920)를 통해 보여지는 외부 객체(910)와 연계로, 시각적 객체(925)를 표시할 수 있다. 제1 상태의 FoV(920-1)를 참고하면, 상기 위치 관계에 의해 렌더링된 시각적 객체(925-1)는, 외부 객체(910)에 의해 적어도 부분적으로 가려질 수 있다.
일 실시예에서, 외부 객체(910)와 연계로 시각적 객체(925)를 표시한 상태 내에서, 웨어러블 장치(510)는 카메라(예, 도 6의 카메라(640)), 및/또는 센서(예, 도 6의 센서(650))로부터 획득된 센서 정보에 기반하여, 외부 객체(910)의 모션이 발생되는지 변경되는지 여부를 식별할 수 있다. 모션에 의해 변경된 외부 객체(910)를 식별하는 것에 기반하여, 웨어러블 장치(510)는 외부 객체(910)와 연계된 시각적 객체(925)를 변경할 수 있다. 웨어러블 장치(510)는, 모션에 의해 변경된 외부 객체(910)의 위치, 또는 형태 중 적어도 하나에 기반하여, 시각적 객체(925)를 변경할 수 있다. 웨어러블 장치(510)는 카메라로부터 출력된 프레임들에 기반하여, 시각적 객체(925)와 연계된 외부 객체(910)의 상기 위치, 또는 상기 형태 중 적어도 하나를 식별할 수 있다.
도 9를 참고하면, 시각적 객체(925)와 연계된 외부 객체(910)의 모션을 식별하는 것에 기반하여, 웨어러블 장치(510)는 시각적 객체(925)를 변경할 수 있다. 제2 상태의 FoV(920-2)를 참고하면, 웨어러블 장치(510)는 제2 상태의 FoV(920-2)의 적어도 일부분을 포함하는 프레임들로부터, 외부 객체(910)가 쓰러지는 모션을 식별할 수 있다. 상기 모션을 식별하는 것에 기반하여, 웨어러블 장치(510)는 제2 상태의 FoV(920-2) 내에 표시된 시각적 객체(925-2)를, 외부 객체(910)의 모션에 기반하여, 변경할 수 있다. 예를 들어, 웨어러블 장치(510)는 시각적 객체(925-2)가 외부 객체(910)에 의해 쓰러지는 애니메이션을, FoV(920-2) 내에 표시할 수 있다.
일 실시예에서, 웨어러블 장치(510)는 FoV(920) 내에, 증강 현실에 기반하여 도미노 게임을 제공하기 위한 어플리케이션으로부터 제공된 객체 정보에 기반하여, 시각적 객체(925)를 표시할 수 있다. 예를 들어, 시각적 객체(925)가 도미노의 일 블록에 대응하는 외부 객체(910)와 연계로 표시되는 경우, 웨어러블 장치(510)는 외부 객체(910)를 포함하는 블록들의 시퀀스 내에서, 특정 블록이 쓰러지는지 여부에 기반하여, 외부 객체(910)의 모션을 탐지 및/또는 예측할 수 있다. 외부 객체(910)의 모션을 탐지 및/또는 예측한 결과에 기반하여, 웨어러블 장치(510)는 FoV(920) 내에 표시되고, 외부 객체(910)와 연계된, 시각적 객체(925)를 변경할 수 있다.
이하에서는, 도 10a 내지 도 10b를 참고하여, 일 실시예에 따른, 웨어러블 장치(510)가 외부 객체(910), 및 시각적 객체(925)의 상호작용에 기반하여 표시하는 UI의 일 예가 설명된다.
도 10a 내지 도 10b는, 일 실시예에 따른, 웨어러블 장치가 외부 객체와 연계된(linked to) 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 10a 내지 도 10b의 웨어러블 장치(510)는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다.
도 10a 내지 도 10b를 참고하면, 웨어러블 장치(510)는 어플리케이션으로부터 제공된 객체 정보에 기반하여, FoV(1020) 내에 시각적 객체(1025)를 표시할 수 있다. 웨어러블 장치(510)는 상기 객체 정보에 의해 지시되는 외부 객체(1010)와 연계로, 시각적 객체(1025)를 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치(510)는 카메라(예, 도 6의 카메라(640))로부터 출력된 프레임들에 기반하여, 시각적 객체(1025), 및 시각적 객체(1025)와 연계된(linked) 외부 객체(1010) 사이의 위치 관계를 식별할 수 있다. 상기 위치 관계에 기반하여, 웨어러블 장치(510)는 FoV(1020) 내에서 시각적 객체(1025)의 형태, 위치, 및/또는 사이즈를 변경할 수 있다. 도 10a의 제1 상태의 FoV(1020-1)를 참고하면, 웨어러블 장치(510)는 상기 위치 관계에 기반하여, 제1 상태의 FoV(1020-1)를 통해 보여지는 외부 객체(1010)와 연계로 시각적 객체(1025-1)를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(510)는 센서 정보로부터 획득되고, 시각적 객체(1025)와 연계된, 외부 객체(1010)의 FoV(1020) 내 위치, 및/또는 사이즈에 기반하여, 시각적 객체(1025)를 변경하기 위한 외부 객체(1010)의 모션을 식별할 수 있다. 예를 들어, 웨어러블 장치(510)는 외부 객체(1010), 및 시각적 객체(1025) 사이의 위치 관계, 및 상기 객체 정보를 비교하여, 상기 모션이 상기 객체 정보에 의해 지시되는 지정된 모션에 대응하는지 여부를 식별할 수 있다.
도 10a를 참고하면, 웨어러블 장치(510)는, 시각적 객체(1025)와 연계된 외부 객체(1010)를, 상기 외부 객체(1010) 보다 큰 외부 객체(1015)로 교체하는 모션을 식별할 수 있다. 도 10a의 제2 상태의 FoV(1020-2)를 참고하면, 외부 객체(1010)를 외부 객체(1015)로 교체하는 상기 모션을 탐지하는 것에 기반하여, 웨어러블 장치(510)는 시각적 객체(1025-2)의 색상, 및/또는 형태를 변경할 수 있다. 예를 들어, 시각적 객체(1025-2)는, 객체 정보 내에서 상기 모션에 의해 지시되는 지정된 색상(예, 적색)을 가질 수 있다. 시각적 객체(1025-2)의 상기 지정된 색상은, 상기 모션을 탐지하기 이전의 시각적 객체(1025-1)의 색상과 다를 수 있다. 제2 상태의 FoV(1020-2) 내에서, 웨어러블 장치(510)는 상기 모션에 의해, 시각적 객체(1025-2)가 외부 객체(1015)와 연계되지 않음을 가이드하기 위한 팝업 윈도우 형태의 시각적 객체(1030)를 표시할 수 있다. 시각적 객체(1025-2)가 외부 객체(1015)와 연계되지 않는 것은, 도 6의 객체 정보(670)에 의해 지시되는, 시각적 객체(1025-2) 및 외부 객체(1015)를 연계하여 표시하기 위한 지정된 조건이 만족되지 않음을 의미할 수 있다. 시각적 객체(1030) 내에서, 웨어러블 장치(510)는 외부 객체(1015), 및 시각적 객체(1025-2) 사이의 위치 관계를 가이드하기 위한 지정된 텍스트를 표시할 수 있다. 웨어러블 장치(510)는 도 6의 객체 정보(670)에 기반하여, 상기 지정된 텍스트를 표시할 수 있다. 도 10a를 참고하면, 상기 지정된 텍스트는, "size error"와 같이, 외부 객체(1015)와 연계로 시각적 객체(1025-2)를 표시할 수 없는 이유를 가이드하기 위한 텍스트를 포함할 수 있다.
일 실시예에서, 실제 객체(예, 외부 객체(1010))의 모션에 기반하는 웨어러블 장치(510)의 동작이 설명되었지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치(510)는 FoV(1020) 내에 표시된 시각적 객체(1025)를 변경함을 지시하는 입력을 식별할 수 있다. 상기 입력에 기반하여, 시각적 객체(1025)를 변경한 상태 내에서, 웨어러블 장치(510)는 객체 정보에 의해 지시되는 시각적 객체(1025), 및 외부 객체(1010) 사이의 위치 관계에 기반하여, 시각적 객체(1025)의 렌더링 기능을 변경할 수 있다.
도 10b를 참고하면, 제1 상태의 FoV(1020-1) 내에서, 웨어러블 장치(510)는 시각적 객체(1025-1)의 사이즈를 변경함을 나타내는 모션을 식별할 수 있다. 상기 모션은, 사용자(710)의 발언, 웨어러블 장치(510)의 버튼, 및/또는 하우징을 터치하는 모션, 및/또는 FoV(1020-1) 내에서 수행된 사용자(710)의 모션(예, 사용자(710)의 손의 이동)을 포함할 수 있다. 도 10b의 제3 상태의 FoV(1020-3)를 참고하면, 상기 모션에 기반하여, 웨어러블 장치(510)는 시각적 객체(1025-3)를 확대하여 표시할 수 있다. 웨어러블 장치(510)는 시각적 객체(1025-3)를 확대함을 지시하는 상기 모션을, 객체 정보에 의해 지시되고, 시각적 객체(1025-3)의 렌더링 기능을 변경하도록 설정된, 지정된 모션과 비교할 수 있다. 시각적 객체(1025-3)를 확대함을 지시하는 상기 모션이 상기 지정된 모션과 실질적으로 일치하는 경우, 웨어러블 장치(510)는 상기 지정된 모션에 대응하는 렌더링 기능을, 시각적 객체(1025-3)에 적용할 수 있다.
도 10b를 참고하면, 제3 상태의 FoV(1020-3) 내에서, 웨어러블 장치(510)는 상기 모션에 의해 확대된 시각적 객체(1025-3)가, 외부 객체(1010)와 연계되지 않음을 식별할 수 있다. 외부 객체(1010)와 연계로 시각적 객체(1025-3)를 표시할 수 없음을 식별한 웨어러블 장치(510)는 시각적 객체(1025-3)의 색상을, 객체 정보에 의해 지시되는 지정된 색상으로 변경할 수 있다. 지정된 색상을 가지는 시각적 객체(1025-3)와 함께, 웨어러블 장치(510)는 외부 객체(1010)와 연계로 시각적 객체(1025-3)를 표시할 수 없음을 가이드하기 위한 시각적 객체(1030)를 표시할 수 있다. 예를 들어, 객체 정보에 의해 지시되고, 시각적 객체(1025)의 색상을 지정된 색상으로 변경하기 위한, 지정된 모션은, 시각적 객체(1025)의 사이즈를, 외부 객체(1010)와 연계로 표시 가능한 지정된 범위를 초과하여 확대하는 모션을 포함할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(510)는 시각적 객체(1025), 및 외부 객체(1010)의 연계성(linkage)을 변경하는 모션에 기반하여, 시각적 객체(1025)를 렌더링할 수 있다. 시각적 객체(1025)의 렌더링을 위하여, 객체 정보에 의해 설정된 상기 연계성을 이용하기 때문에, 웨어러블 장치(510)는 외부 객체(1010)과 관련되고, 증강 현실에 기반하는 사용자 경험을 강화할 수 있다.
도 11은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 11의 웨어러블 장치는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다. 도 11의 동작들 중 적어도 하나는 도 6의 웨어러블 장치(510), 및/또는 도 6의 프로세서(610)에 의해 수행될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 11을 참고하면, 동작(1110) 내에서, 일 실시예에 따른, 웨어러블 장치는, 사용자의 FoV 내에 시각적 객체를 표시할 수 있다. 어플리케이션이 실행된 상태 내에서, 웨어러블 장치는 상기 어플리케이션으로부터 제공된 객체 정보에 기반하여, 시각적 객체를 표시할 수 있다.
도 11을 참고하면, 동작(1120) 내에서, 일 실시예에 따른, 웨어러블 장치는, 모션을 지시하는 센서 정보를 획득할 수 있다. 웨어러블 장치는 카메라(예, 도 6의 카메라(640)), 및/또는 센서(예, 도 6의 센서(650))를 이용하여 상기 센서 정보를 획득할 수 있다. 상기 센서 정보는, 웨어러블 장치의 모션을 지시하는 데이터를 포함할 수 있다. 상기 센서 정보는, 웨어러블 장치를 착용한 사용자의 모션을 지시하는 데이터를 포함할 수 있다. 상기 센서 정보는, 웨어러블 장치를 포함하는 실제 공간 내에 포함된 하나 이상의 외부 객체들의 모션을 지시하는 데이터를 포함할 수 있다.
도 11을 참고하면, 동작(1130) 내에서, 일 실시예에 따른, 웨어러블 장치는, 센서 정보에 의해 지시되는 모션이, 시각적 객체에 매칭된 객체 정보 내 지정된 모션에 대응하는지 여부를 판단할 수 있다. 상기 지정된 모션은, 시각적 객체의 형태, 색상, 사이즈, 렌더링 기능, 및/또는 표시 모드를 변경하기 위한 조건일 수 있다. 도 7을 참고하여 상술한 바와 같이, 지정된 모션은, 웨어러블 장치와 상이한 외부 전자 장치에 대한 사용자의 모션을 포함할 수 있다. 도 8을 참고하여 상술한 바와 같이, 지정된 모션은, 외부 객체와 상호작용하기 위한 사용자의 모션을 포함할 수 있다. 도 9, 도 10a 내지 도 10b를 참고하여 상술한 바와 같이, 지정된 모션은, 시각적 객체와 연계되는 외부 객체의 모션을 포함할 수 있다. 상기 지정된 모션과 상이한 모션을 센서 정보로부터 식별한 상태 내에서(1130-아니오), 웨어러블 장치는 동작들(1110, 1120)에 기반하여 시각적 객체의 표시, 및 센서 정보의 획득을 유지할 수 있다.
지정된 모션에 대응하는 모션을 센서 정보로부터 식별한 상태 내에서(1130-예), 동작(1140)에 기반하여, 웨어러블 장치는, FoV 내에 표시된 시각적 객체를 변경할 수 있다. 웨어러블 장치는 시각적 객체에, 객체 정보 내에서 상기 지정된 모션에 대응하는 렌더링 기능을 적용하여, 시각적 객체를 변경할 수 있다. 예를 들어, 객체 정보가 지정된 모션의 식별에 기반하여 시각적 객체의 표시를 중단함을 지시하는 경우, 웨어러블 장치는 FoV 내에 표시된 시각적 객체를 숨길(hide) 수 있다. 예를 들어, 객체 정보가 지정된 모션의 식별에 기반하여 시각적 객체의 투명도를 변경함을 지시하는 경우, 동작(1140) 내에서, 웨어러블 장치는 FoV 내에 표시된 시각적 객체의 투명도를 변경할 수 있다.
도 12는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 12의 웨어러블 장치는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다. 도 12의 동작들 중 적어도 하나는 도 6의 웨어러블 장치(510), 및/또는 도 6의 프로세서(610)에 의해 수행될 수 있다. 도 12의 동작들 중 적어도 하나는 도 11의 동작들 중 적어도 하나와 관련될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 12를 참고하면, 동작(1210) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 시각적 객체들을 표시할 수 있다. 복수의 시각적 객체들은, 웨어러블 장치에 의해 실행되는 하나 이상의 어플리케이션들에 기반하여 표시될 수 있다. 사용자에 의해 착용된 상태 내에서, 웨어러블 장치는 상기 사용자의 FoV 내에, 상기 복수의 시각적 객체들을 표시할 수 있다. 웨어러블 장치는 객체 정보에 기반하여, 상기 복수의 시각적 객체들을 표시할 수 있다.
도 12를 참고하면, 동작(1220) 내에서, 일 실시예에 따른, 웨어러블 장치는, 센서 정보에 의해 지시되는 모션에 기반하여, 복수의 시각적 객체들 중에서 상기 모션에 대응하는 적어도 하나의 시각적 객체를 선택할 수 있다. 웨어러블 장치는 도 11의 동작(1120)에 기반하여 센서 정보를 획득할 수 있다. 웨어러블 장치는 센서 정보에 의해 지시되는 모션을, 복수의 시각적 객체들에 대응하는 객체 정보에 의해 지시되는 지정된 모션과 비교할 수 있다. 예를 들어, 동작(1220)에 의해 선택된 상기 적어도 하나의 시각적 객체의 지정된 모션은, 센서 정보에 의해 지시되는 상기 모션에 대응할 수 있다.
도 12를 참고하면, 동작(1230) 내에서, 일 실시예에 따른, 웨어러블 장치는, 동작(1220)에 의하여 선택된 적어도 하나의 시각적 객체에 적용되는 렌더링 기능을, 적어도 하나의 시각적 객체에 대응하는 객체 정보에 기반하여 변경할 수 있다.
도 12를 참고하면, 동작(1240) 내에서, 일 실시예에 따른, 웨어러블 장치는, 변경된 렌더링 기능에 기반하여, 적어도 하나의 시각적 객체를 변경할 수 있다. 웨어러블 장치가 도 12의 동작들(1230, 1240)을 수행하는 것은, 도 11의 동작(1140)을 수행하는 것과 유사하게 수행될 수 있다.
도 13은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 13의 웨어러블 장치는, 도 5 내지 도 6의 웨어러블 장치(510)의 일 예일 수 있다. 도 13의 동작들 중 적어도 하나는 도 6의 웨어러블 장치(510), 및/또는 도 6의 프로세서(610)에 의해 수행될 수 있다. 도 13의 동작들 중 적어도 하나는 도 11 내지 도 12의 동작들 중 적어도 하나와 관련될 수 있다. 도 13의 동작들은 도 7을 참고하여 상술된 웨어러블 장치(510)의 동작과 관련될 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 13을 참고하면, 동작(1310) 내에서, 일 실시예에 따른, 웨어러블 장치는, FoV 내에 복수의 시각적 객체들을 표시할 수 있다. 웨어러블 장치는 도 12의 동작(1210)과 유사하게, 도 13의 동작(1310)을 수행할 수 있다.
도 13을 참고하면, 동작(1320) 내에서, 일 실시예에 따른, 웨어러블 장치는, 센서에 기반하여, 제1 외부 전자 장치와 관련된 지정된 모션을 식별할 수 있다. 상기 제1 외부 전자 장치는, 도 7의 제1 외부 전자 장치(720)를 포함할 수 있다. 제1 외부 전자 장치와 관련된 상기 지정된 모션은, 제1 외부 전자 장치, 및 사용자의 신체 부위 사이의 접촉을 릴리즈하기 위한 모션을 포함할 수 있다.
도 13을 참고하면, 동작(1330) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 외부 전자 장치에 대응하는 제2 외부 전자 장치의 FoV 내 위치를 식별할 수 있다. 상기 제2 외부 전자 장치는 동작(1320)의 제1 외부 전자 장치와 연계된 외부 전자 장치로써, 도 7의 제2 외부 전자 장치(725)를 포함할 수 있다. 웨어러블 장치는 FoV를 향하여 배치된 카메라(예, 도 6의 카메라(640))로부터 출력된 프레임들에 기반하여, 제2 외부 전자 장치의 상기 FoV 내 상기 위치를 식별할 수 있다. 상기 프레임들은, FoV의 적어도 일부분을 포함할 수 있다.
도 13을 참고하면, 동작(1340) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 시각적 객체들 중에서, 동작(1330)에 기반하여 식별된 위치와 관련된 적어도 하나의 시각적 객체를 변경할 수 있다. 예를 들어, 도 7의 시각적 객체(740)와 같이, 웨어러블 장치는 FoV를 통해 보여지는 제2 외부 전자 장치 상에 중첩된 적어도 하나의 시각적 객체를 변경할 수 있다. 웨어러블 장치는 상기 프레임들에 기반하여, 동작(1330)의 위치 상에 중첩된 상기 적어도 하나의 시각적 객체를 식별할 수 있다. 웨어러블 장치가 상기 적어도 하나의 시각적 객체를 변경하는 것은, 상기 적어도 하나의 시각적 객체를 숨기는 동작을 포함할 수 있다. 웨어러블 장치는, FoV를 통해 보여지는 제2 외부 전자 장치의 가시성을 개선하기 위하여, 동작(1340)을 수행할 수 있다. 웨어러블 장치는 도 13의 동작(1340)을, 도 11의 동작(1140), 및/또는 도 12의 동작들(1230, 1240)과 유사하게 수행할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 객체 정보에 의해 지시되는 시각적 객체를 표시하는 상태 내에서, 카메라, 및/또는 센서를 이용하여 모션을 탐지할 수 있다. 탐지된 모션에 기반하여, 웨어러블 장치는 시각적 객체의 형태, 색상, 사이즈, 및/또는 투명도를 변경할 수 있다. 예를 들어, 시각적 객체와 중첩된 외부 객체의 가시성을 강화하거나, 또는 상기 모션에 의한 시각적 객체, 및 외부 객체 사이의 연계성의 변화를 시각화하기 위하여, 웨어러블 장치는 시각적 객체를 변경할 수 있다.
웨어러블 장치에 의해 탐지된 모션에 기반하여, 웨어러블 장치에 의해 표시되는 시각적 객체를 변경하는 방안이 요구될 수 있다. 상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)(예, 도 5 내지 도 6의 웨어러블 장치(510))는, 카메라(예, 도 6의 카메라(640)), 센서(예, 도 6의 센서(650)), 디스플레이(예, 도 6의 디스플레이(630)), 및 프로세서(예, 도 6의 프로세서(610))를 포함할 수 있다. 상기 프로세서는, 사용자에 의해 착용된 상태 내에서, 상기 디스플레이를 이용하여 상기 사용자의 FoV(field-of-view)(예, 도 5의 FoV(520)) 내에 시각적 객체(예, 도 5의 시각적 객체(560), 도 7의 시각적 객체(740), 도 8의 시각적 객체들(825, 840), 도 9의 시각적 객체(925), 도 10a 내지 도 10b의 시각적 객체(1025))를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 카메라, 및 상기 센서로부터, 상기 사용자와 관련된 모션을 지시하는(indicating) 센서 정보를 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 센서 정보에 의해 지시되는 상기 모션이, 상기 시각적 객체에 매칭된 객체 정보(예, 도 6의 객체 정보(670)) 내 지정된 모션에 대응하는지 여부를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 지정된 모션에 매칭되는 상기 객체 정보에 기반하여, 상기 FoV 내에 표시된 상기 시각적 객체를 변경하도록, 구성될 수 있다. 일 실시예에 따른, 웨어러블 장치는 시각적 객체를 변경하여, 시각적 객체에 의해 가려진 외부 객체의 가시성을 강화하거나, 또는 시각적 객체, 및 외부 객체 사이의 연계성을 시각화할 수 있다.
예를 들어, 상기 프로세서는, 상기 센서 정보에 기반하여, 제1 외부 전자 장치(예, 도 7의 제1 외부 전자 장치(720))와 관련된 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 카메라의 프레임들 내에 포함된 제2 외부 전자 장치(예, 도 7의 제2 외부 전자 장치(725))를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 FoV 내에서 상기 제2 외부 전자 장치에 중첩된 상기 시각적 객체를, 상기 객체 정보에 기반하여 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 FoV 내에서, 상기 시각적 객체에 의해 가려지는(occluded by) 상기 제2 외부 전자 장치를 식별하는 것에 기반하여, 상기 객체 정보에 기반하여 상기 시각적 객체를 표시하는 것을 중단하거나, 또는 상기 시각적 객체의 투명도를 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 모션에 의해 변경된 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 연계된(linked) 상기 시각적 객체를 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 모션에 의해 변경된 상기 외부 객체의 위치, 또는 형태 중 적어도 하나에 기반하여, 상기 시각적 객체를 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라로부터 출력된 프레임들에 기반하여, 상기 시각적 객체와 연계된 상기 외부 객체의 상기 위치, 또는 상기 형태 중 적어도 하나를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 카메라로부터 출력된 프레임들에 기반하여, 상기 시각적 객체, 및 상기 시각적 객체와 연계된(linked) 외부 객체 사이의 위치 관계를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 식별된 위치 관계, 및 상기 객체 정보를 비교하여, 상기 모션이 상기 지정된 모션에 대응하는지 여부를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 프레임들로부터, 상기 객체 정보에 의해 지시되는 상기 외부 객체를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 시각적 객체를 제공하기 위한 어플리케이션에 기반하여 상기 시각적 객체에 매칭된 상기 객체 정보를 식별하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 사용자에 의해 착용된 상태 내에서, 상기 웨어러블 장치 내 디스플레이를 이용하여, 사용자의 FoV(field-of-view) 내에, 복수의 시각적 객체들을 표시하는 동작(예, 도 13의 동작(1310))을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치 내 센서에 기반하여, 제1 외부 전자 장치와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 제1 외부 전자 장치에 대응하는 제2 외부 전자 장치의 상기 FoV 내 위치를 식별하는 동작(예, 도 13의 동작(1330))을 포함할 수 있다. 상기 방법은, 상기 복수의 시각적 객체들 중에서, 상기 FoV 내 상기 위치와 관련된 적어도 하나의 시각적 객체를, 상기 적어도 하나의 시각적 객체에 대응하는 객체 정보에 기반하여 변경하는 동작(예, 도 13의 동작(1340))을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 웨어러블 장치 내 프로세서에 의해 실행되는 어플리케이션에 기반하여, 상기 복수의 시각적 객체들에 대한 상기 객체 정보를 식별하는 동작을 포함할 수 있다. 상기 표시하는 동작은, 상기 객체 정보에 기반하여, 상기 복수의 시각적 객체들을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 웨어러블 장치 내 카메라로부터 출력되고, 상기 FoV의 적어도 일부분을 포함하는, 프레임들을 획득하는 동작을 포함할 수 있다. 상기 식별하는 동작은, 상기 프레임들에 기반하여, 상기 제2 외부 전자 장치의 상기 FoV 내 상기 위치를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 프레임들에 기반하여, 상기 위치 상에 중첩된 상기 적어도 하나의 시각적 객체를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 센서에 기반하여, 상기 사용자, 및 상기 제1 외부 전자 장치 사이의 접촉을 릴리즈하기 위한 상기 지정된 모션을 식별하는 것에 기반하여, 상기 제2 외부 전자 장치의 상기 FoV 내 상기 위치를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 적어도 하나의 시각적 객체, 및 상기 지정된 모션에 매칭된 상기 객체 정보의 일부분에 기반하여, 상기 디스플레이 내에 상기 시각적 객체를 렌더링하는 기능을 변경하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 사용자에 의해 착용된 상태 내에서, 상기 웨어러블 장치 내 디스플레이를 이용하여 상기 사용자의 FoV(field-of-view) 내에 시각적 객체를 표시하는 동작(예, 도 11의 동작(1110))을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치 내 카메라, 및 상기 웨어러블 장치 내 센서로부터, 상기 사용자와 관련된 모션을 지시하는 센서 정보를 획득하는 동작(예, 도 11의 동작(1120))을 포함할 수 있다. 상기 방법은, 상기 센서 정보에 의해 지시되는 상기 모션이, 상기 시각적 객체에 매칭된 객체 정보 내 지정된 모션에 대응하는지 여부를 식별하는 동작(예, 도 11의 동작(1130))을 포함할 수 있다. 상기 방법은, 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 지정된 모션에 매칭되는 상기 객체 정보에 기반하여, 상기 FoV 내에 표시된 상기 시각적 객체를 변경하는 동작(예, 도 11의 동작(1140))을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 센서 정보에 기반하여, 제1 외부 전자 장치와 관련된 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 카메라의 프레임들 내에 포함된 제2 외부 전자 장치를 식별하는 동작을 포함할 수 있다. 상기 변경하는 동작은, 상기 FoV 내에 상기 제2 외부 전자 장치에 중첩된 상기 시각적 객체를, 상기 객체 정보에 기반하여 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 FoV 내에서, 상기 시각적 객체에 의해 가려지는(occluded by) 상기 제2 외부 전자 장치를 식별하는 것에 기반하여, 상기 객체 정보에 기반하여 상기 시각적 객체를 표시하는 것을 중단하거나, 또는 상기 시각적 객체의 투명도를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 모션에 의해 변경된 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 연계된 상기 시각적 객체를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 모션에 의해 변경된 상기 외부 객체의 위치, 또는 형태 중 적어도 하나에 기반하여, 상기 시각적 객체를 변경하는 동작을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 카메라로부터 출력된 프레임들에 기반하여, 상기 시각적 객체와 연계된 상기 외부 객체의 위치, 또는 상기 형태 중 적어도 하나를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 카메라로부터 출력된 프레임들에 기반하여, 상기 시각적 객체, 및 상기 시각적 객체와 연계된 외부 객체 사이의 위치 관계를 식별하는 동작을 포함할 수 있다. 상기 식별하는 동작은, 상기 식별된 위치 관계, 및 상기 객체 정보를 비교하여, 상기 모션이 상기 지정된 모션에 대응하는지 여부를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 위치 관계를 식별하는 동작은, 상기 프레임들로부터, 상기 객체 정보에 의해 지시되는 상기 외부 객체를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 시각적 객체를 제공하기 위한 어플리케이션에 기반하여 상기 시각적 객체에 매칭된 상기 객체 정보를 식별하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(예, 도 5 내지 도 6의 웨어러블 장치(510))는, 센서(예, 도 6의 센서(650)), 디스플레이(예, 도 6의 디스플레이(630)), 및 프로세서(예, 도 6의 프로세서(610))를 포함할 수 있다. 상기 프로세서는, 사용자에 의해 착용된 상태 내에서, 상기 디스플레이를 이용하여 사용자의 FoV(예, 도 5의 FoV(520)) 내에, 복수의 시각적 객체들을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 센서에 기반하여, 제1 외부 전자 장치(예, 도 7의 제1 외부 전자 장치(720))와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 제1 외부 전자 장치에 대응하는 제2 외부 전자 장치(예, 도 7의 제2 외부 전자 장치(725))의 상기 FoV 내 위치를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 복수의 시각적 객체들 중에서, 상기 FoV 내 상기 위치와 관련된 적어도 하나의 시각적 객체를, 상기 적어도 하나의 시각적 객체에 대응하는 객체 정보(예, 도 6의 객체 정보(670))에 기반하여 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 프로세서에 의해 실행되는 어플리케이션에 기반하여, 상기 복수의 시각적 객체들에 대한 상기 객체 정보를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 객체 정보에 기반하여, 상기 복수의 시각적 객체들을 표시하도록, 구성될 수 있다.
예를 들어, 상기 웨어러블 장치는, 카메라를 더 포함할 수 있다. 상기 프로세서는, 상기 카메라로부터 출력되고, 상기 FoV의 적어도 일부분을 포함하는, 프레임들을 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 프레임들에 기반하여, 상기 제2 외부 전자 장치의 상기 FoV 내 상기 위치를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 프레임들에 기반하여, 상기 위치 상에 중첩된 상기 적어도 하나의 시각적 객체를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 센서에 기반하여, 상기 사용자, 및 상기 제1 외부 전자 장치 사이의 접촉을 릴리즈하기 위한 상기 지정된 모션을 식별하는 것에 기반하여, 상기 제2 외부 전자 장치의 상기 FoV 내 상기 위치를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 적어도 하나의 시각적 객체, 및 상기 지정된 모션에 매칭된 상기 객체 정보의 일부분에 기반하여, 상기 디스플레이 내에 상기 시각적 객체를 렌더링하는 기능을 변경하도록, 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치(wearable device)에 있어서,
    카메라;
    센서;
    디스플레이; 및
    프로세서를 포함하고, 상기 프로세서는,
    사용자에 의해 착용된 상태 내에서, 상기 디스플레이를 이용하여 상기 사용자의 FoV(field-of-view) 내에 시각적 객체를 표시하고;
    상기 카메라, 및 상기 센서로부터, 상기 사용자와 관련된 모션을 지시하는(indicating) 센서 정보를 획득하고;
    상기 센서 정보에 의해 지시되는 상기 모션이, 상기 시각적 객체에 매칭된 객체 정보 내 지정된 모션에 대응하는지 여부를 식별하고; 및
    상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 지정된 모션에 매칭되는 상기 객체 정보에 기반하여, 상기 FoV 내에 표시된 상기 시각적 객체를 변경하도록, 구성된,
    웨어러블 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 센서 정보에 기반하여, 제1 외부 전자 장치와 관련된 상기 지정된 모션에 대응하는 상기 모션을 식별하는 것에 기반하여, 상기 카메라의 프레임들 내에 포함된 제2 외부 전자 장치를 식별하고;
    상기 FoV 내에서 상기 제2 외부 전자 장치에 중첩된 상기 시각적 객체를, 상기 객체 정보에 기반하여 변경하도록, 구성된,
    웨어러블 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 FoV 내에서, 상기 시각적 객체에 의해 가려지는(occluded by) 상기 제2 외부 전자 장치를 식별하는 것에 기반하여, 상기 객체 정보에 기반하여 상기 시각적 객체를 표시하는 것을 중단하거나, 또는 상기 시각적 객체의 투명도를 변경하도록, 구성된,
    웨어러블 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 모션에 의해 변경된 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체와 연계된(linked) 상기 시각적 객체를 변경하도록, 구성된,
    웨어러블 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 모션에 의해 변경된 상기 외부 객체의 위치, 또는 형태 중 적어도 하나에 기반하여, 상기 시각적 객체를 변경하도록, 구성된,
    웨어러블 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 카메라로부터 출력된 프레임들에 기반하여, 상기 시각적 객체와 연계된 상기 외부 객체의 상기 위치, 또는 상기 형태 중 적어도 하나를 식별하도록, 구성된,
    웨어러블 장치.
  7. 제1항에 있어서, 상기 프로세서는,
    상기 카메라로부터 출력된 프레임들에 기반하여, 상기 시각적 객체, 및 상기 시각적 객체와 연계된(linked) 외부 객체 사이의 위치 관계를 식별하고;
    상기 식별된 위치 관계, 및 상기 객체 정보를 비교하여, 상기 모션이 상기 지정된 모션에 대응하는지 여부를 식별하도록, 구성된,
    웨어러블 장치.
  8. 제7항에 있어서, 상기 프로세서는,
    상기 프레임들로부터, 상기 객체 정보에 의해 지시되는 상기 외부 객체를 식별하도록, 구성된,
    웨어러블 장치.
  9. 제1항에 있어서, 상기 프로세서는,
    상기 시각적 객체를 제공하기 위한 어플리케이션에 기반하여 상기 시각적 객체에 매칭된 상기 객체 정보를 식별하도록, 구성된,
    웨어러블 장치.
  10. 웨어러블 장치의 방법에 있어서,
    사용자에 의해 착용된 상태 내에서, 상기 웨어러블 장치 내 디스플레이를 이용하여, 사용자의 FoV(field-of-view) 내에, 복수의 시각적 객체들을 표시하는 동작;
    상기 웨어러블 장치 내 센서에 기반하여, 제1 외부 전자 장치와 관련된 지정된 모션을 식별하는 것에 기반하여, 상기 제1 외부 전자 장치에 대응하는 제2 외부 전자 장치의 상기 FoV 내 위치를 식별하는 동작; 및
    상기 복수의 시각적 객체들 중에서, 상기 FoV 내 상기 위치와 관련된 적어도 하나의 시각적 객체를, 상기 적어도 하나의 시각적 객체에 대응하는 객체 정보에 기반하여 변경하는 동작을 포함하는,
    방법.
  11. 제10항에 있어서, 상기 표시하는 동작은,
    상기 웨어러블 장치 내 프로세서에 의해 실행되는 어플리케이션에 기반하여, 상기 복수의 시각적 객체들에 대한 상기 객체 정보를 식별하는 동작;
    상기 객체 정보에 기반하여, 상기 복수의 시각적 객체들을 표시하는 동작을 포함하는,
    방법.
  12. 제10항에 있어서, 상기 식별하는 동작은,
    상기 웨어러블 장치 내 카메라로부터 출력되고, 상기 FoV의 적어도 일부분을 포함하는, 프레임들을 획득하는 동작;
    상기 프레임들에 기반하여, 상기 제2 외부 전자 장치의 상기 FoV 내 상기 위치를 식별하는 동작을 포함하는,
    방법.
  13. 제12항에 있어서, 상기 변경하는 동작은,
    상기 프레임들에 기반하여, 상기 위치 상에 중첩된 상기 적어도 하나의 시각적 객체를 식별하는 동작을 포함하는,
    방법.
  14. 제10항에 있어서, 상기 식별하는 동작은,
    상기 센서에 기반하여, 상기 사용자, 및 상기 제1 외부 전자 장치 사이의 접촉을 릴리즈하기 위한 상기 지정된 모션을 식별하는 것에 기반하여, 상기 제2 외부 전자 장치의 상기 FoV 내 상기 위치를 식별하는 동작을 포함하는,
    방법.
  15. 제10항에 있어서, 상기 변경하는 동작은,
    상기 적어도 하나의 시각적 객체, 및 상기 지정된 모션에 매칭된 상기 객체 정보의 일부분에 기반하여, 상기 디스플레이 내에 상기 시각적 객체를 렌더링하는 기능을 변경하는 동작을 포함하는,
    방법.
PCT/KR2023/015041 2022-10-26 2023-09-27 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법 WO2024090825A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0139624 2022-10-26
KR1020220139624A KR20240058665A (ko) 2022-10-26 2022-10-26 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2024090825A1 true WO2024090825A1 (ko) 2024-05-02

Family

ID=90831334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015041 WO2024090825A1 (ko) 2022-10-26 2023-09-27 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR20240058665A (ko)
WO (1) WO2024090825A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009639A (ko) * 2010-07-19 2012-02-02 주식회사 비즈모델라인 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
KR20160049191A (ko) * 2014-10-27 2016-05-09 조민권 헤드 마운티드 디스플레이 디바이스의 제공방법
US20200285322A1 (en) * 2014-11-21 2020-09-10 Abhishek Johri System and method for data and command input
KR20210116934A (ko) * 2020-03-18 2021-09-28 한국과학기술연구원 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법
KR20220088962A (ko) * 2016-12-05 2022-06-28 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120009639A (ko) * 2010-07-19 2012-02-02 주식회사 비즈모델라인 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체
KR20160049191A (ko) * 2014-10-27 2016-05-09 조민권 헤드 마운티드 디스플레이 디바이스의 제공방법
US20200285322A1 (en) * 2014-11-21 2020-09-10 Abhishek Johri System and method for data and command input
KR20220088962A (ko) * 2016-12-05 2022-06-28 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
KR20210116934A (ko) * 2020-03-18 2021-09-28 한국과학기술연구원 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법

Also Published As

Publication number Publication date
KR20240058665A (ko) 2024-05-03

Similar Documents

Publication Publication Date Title
WO2024122801A1 (ko) 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법
WO2024090825A1 (ko) 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024122984A1 (ko) 복수의 어플리케이션들이 그룹핑된 영역을 이용하여 복수의 어플리케이션들을 제어하기 위한 웨어러블 장치 및 그 방법
WO2024128843A1 (ko) 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024122836A1 (ko) 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024122979A1 (ko) 전경 객체의 사이즈 또는 개수에 기반하여 배경 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024128728A1 (ko) 임계 거리 내에 포함된 시각적 객체들을 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024101581A1 (ko) 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법
WO2024136381A1 (ko) 시각적 객체를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024117524A1 (ko) 미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024122992A1 (ko) 복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법
WO2024112185A1 (ko) 외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법
WO2024205075A1 (ko) 화면을 생성하기 위한 렌더링 데이터를 외부 전자 장치에게 송신하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2024167191A1 (ko) 외부 광에 기반하여 가상 객체에 대한 렌더링을 수행하기 위한 웨어러블 장치 및 그 방법
WO2024101591A1 (ko) 객체로 액세스하는 사용자들에게 적어도 하나의 멀티미디어 콘텐트를 제공하기 위한 전자 장치 및 그 방법
WO2024090844A1 (ko) 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024101593A1 (ko) 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법
WO2024096267A1 (ko) 외부 객체를 추적하여 획득된 정보에 기반하여 어플리케이션을 실행하기 위한 웨어러블 장치 및 그 방법
WO2024101683A1 (ko) 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
WO2024063463A1 (ko) 디스플레이를 통해 보여지는 객체와 관련된 오디오 신호를 조절하기 위한 전자 장치 및 그 방법
WO2024155076A1 (ko) 정보를 제공하기 웨어러블 장치 및 그 방법
WO2024029718A1 (ko) 적어도 하나의 외부 객체에 기반하여 적어도 하나의 외부 전자 장치를 선택하기 위한 전자 장치 및 그 방법
WO2024177293A1 (ko) 디스플레이를 통해 표시되는 가상 공간 상에 외부 공간에 대응하는 이미지를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882932

Country of ref document: EP

Kind code of ref document: A1