WO2024122992A1 - 복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법 - Google Patents

복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법 Download PDF

Info

Publication number
WO2024122992A1
WO2024122992A1 PCT/KR2023/019569 KR2023019569W WO2024122992A1 WO 2024122992 A1 WO2024122992 A1 WO 2024122992A1 KR 2023019569 W KR2023019569 W KR 2023019569W WO 2024122992 A1 WO2024122992 A1 WO 2024122992A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual space
wearable device
display
visual object
virtual
Prior art date
Application number
PCT/KR2023/019569
Other languages
English (en)
French (fr)
Inventor
김경화
김선호
박상현
신기영
우민성
이현준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024122992A1 publication Critical patent/WO2024122992A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • This disclosure relates to a wearable device and method for displaying visual objects for entering a plurality of virtual spaces.
  • the electronic device may be a wearable device that can be worn by a user.
  • the electronic device may be AR glasses and/or a head-mounted device (HMD).
  • HMD head-mounted device
  • a wearable device may include a sensor, a display, memory for storing instructions, and a processor.
  • the instructions when executed by the processor, cause the wearable device to display, on the display, a first size based on the number of applications linked to the first virtual space, and a number related to the number of times the first virtual space has been entered. It may be configured to display a first visual object corresponding to the first virtual space using a first distance.
  • the instructions when executed by the processor, cause the wearable device to display, on the display, a second size based on the number of applications linked to the second virtual space, and a number of times the wearable device has entered the second virtual space. It may be configured to display a second visual object corresponding to the second virtual space using a second distance.
  • the instructions when executed by the processor, cause the wearable device to display, on the display, a visual object selected by the input in response to an input selecting either the first visual object or the second visual object. It may be configured to display at least a portion of the virtual space corresponding to .
  • a method of a wearable device includes, on the display of the wearable device, a first size based on the number of applications linked to the first virtual space, and a first size related to the number of times the first virtual space has been entered.
  • the method may include displaying a first visual object corresponding to the first virtual space using the distance.
  • the method uses a second size based on the number of applications linked to the second virtual space on the display, and a second distance related to the number of times the second virtual space has been entered, to the second virtual space. It may include an operation of displaying a corresponding second visual object.
  • the method includes, in response to an input selecting either the first visual object or the second visual object, displaying at least a portion of a virtual space corresponding to the visual object selected by the input on the display. It can be included.
  • a wearable device may include a display, memory for storing instructions, and a processor.
  • the instructions when executed by the processor, may be configured to cause the wearable device to display a first virtual object provided from a first application linked to a first virtual space on the display.
  • the instructions when executed by the processor, cause the wearable device to distinguish from the first virtual space in response to an input for displaying a list of a plurality of virtual spaces while displaying the first virtual object. It may be configured to identify a second virtual space.
  • the instructions when executed by the processor, cause the wearable device to display a first visual representation of the first virtual space based on an image representing the first virtual object, based on identifying the second virtual space.
  • the instructions when executed by the processor, cause the wearable device to display, on the display, a visual object selected by the input in response to an input selecting either the first visual object or the second visual object. It may be configured to display at least a portion of the virtual space corresponding to .
  • a method of using a wearable device may include displaying a first virtual object provided from a first application linked to a first virtual space on a display of the wearable device.
  • the method may include identifying a second virtual space distinct from the first virtual space in response to an input for displaying a list of a plurality of virtual spaces while displaying the first virtual object. there is.
  • the method based on identifying the second virtual space, displays a first visual object representing the first virtual space based on an image representing the first virtual object using a first distance, and
  • the method may include displaying a second visual object representing a second virtual space using a second distance that is distinct from the first distance.
  • the method includes, in response to an input selecting either the first visual object or the second visual object, displaying at least a portion of a virtual space corresponding to the visual object selected by the input on the display. It can be included.
  • a non-transitory computer-readable storage medium containing instructions may be provided.
  • the instructions when executed by a processor of a wearable device including a display, cause the wearable device to display, on the display, a first size based on the number of applications linked to the first virtual space, and the first virtual space.
  • a first distance related to the number of entries may be used to display a first visual object corresponding to the first virtual space.
  • the instructions when executed by the processor, cause the wearable device to display, on the display, a second size based on the number of applications linked to the second virtual space, and a number of times the wearable device has entered the second virtual space.
  • the second distance may be used to cause a second visual object corresponding to the second virtual space to be displayed.
  • the instructions when executed by the processor, cause the wearable device to display, on the display, a visual object selected by the input in response to an input selecting either the first visual object or the second visual object. may cause to display at least a portion of the corresponding virtual space.
  • FIG. 1 illustrates an example of an operation in which a wearable device displays a visual object in a virtual space, according to an embodiment.
  • Figure 2 shows an example of a block diagram of a wearable device, according to one embodiment.
  • FIG. 3A shows an example of a perspective view of a wearable device, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • 4A and 4B show an example of the appearance of a wearable device, according to one embodiment.
  • Figure 5 shows an example of virtual spaces provided by a wearable device, according to an embodiment.
  • FIGS. 6A and 6B illustrate an example of an operation in which a wearable device displays a screen containing a list of virtual spaces, according to an embodiment.
  • FIG. 7A, 7B, and 7C illustrate an example of an operation performed by a wearable device based on an input for selecting a specific virtual space from a list of virtual spaces, according to an embodiment. .
  • Figure 8 shows an example of a flow chart for a wearable device, according to one embodiment.
  • Figure 9 is an example diagram of a network environment related to the metaverse service.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to a component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 illustrates an example of an operation in which a wearable device displays a visual object in a virtual space, according to an embodiment.
  • the wearable device 101 may include a head-mounted display (HMD) that is wearable on the user's 110 head.
  • HMD head-mounted display
  • FIGS. 3A to 3B and/or 4A to 4B An example of the structure of the wearable device 101 that can be worn on the head of the user 110 is described with reference to FIGS. 3A to 3B and/or 4A to 4B.
  • One or more pieces of hardware included in the wearable device 101 are exemplarily described with reference to FIG. 2 .
  • the wearable device 101 may execute functions related to augmented reality (AR) and/or mixed reality (MR).
  • AR augmented reality
  • MR mixed reality
  • the wearable device 101 may include at least one lens disposed adjacent to the eye of the user 110. there is.
  • the wearable device 101 may combine light emitted from the display of the wearable device 101 with ambient light passing through the lens.
  • the display area of the display may be formed within a lens through which ambient light passes. Because the wearable device 101 combines the ambient light and the light emitted from the display, the user 110 can see a real object perceived by the ambient light and the light emitted from the display. You can see an image in which the formed virtual objects are mixed.
  • the wearable device 101 may execute functions related to video see-through (VST) and/or virtual reality (VR).
  • VST video see-through
  • VR virtual reality
  • the wearable device 101 may include a housing that covers the eyes of the user 110.
  • the wearable device 101 may include a display disposed on a first side facing the eye.
  • the wearable device 101 may include a camera disposed on a second side opposite to the first side. Using the camera, the wearable device 101 can obtain frames containing ambient light.
  • the wearable device 101 may output the frames in a display disposed on the first side, allowing the user 110 to recognize the ambient light through the display.
  • the display area of the display disposed on the first side may be formed by one or more pixels included in the display.
  • the wearable device 101 may synthesize a virtual object within frames output through the display, allowing the user 110 to recognize the virtual object along with a real object recognized by ambient light.
  • the states 190, 191, 192, and 193 may be distinguished by the number, type, and/or shape of the virtual space displayed through the display of the wearable device 101.
  • the wearable device 101 can add, delete, and/or change a virtual space by executing an application installed on the wearable device 101.
  • the wearable device 101 may control the execution of a plurality of applications on a virtual space basis. For example, the wearable device 101 may place a screen (eg, screens A, B, C, D) provided from an application in a virtual space.
  • Virtual objects included in the virtual space may include screens and/or widgets placed in the virtual space by execution of the application.
  • a set of one or more applications may be matched to one virtual space created by the wearable device 101.
  • An application executed by the wearable device 101 to manage one or more virtual spaces is described with reference to FIG. 2 .
  • the wearable device 101 may display a list of virtual spaces on the display.
  • the wearable device 101 includes visual objects representing each of the virtual spaces (e.g., the first virtual space 141 to the third virtual space 143) (e.g., the first visual object 131 ) to the third visual object 133) can be displayed.
  • the wearable device 101 may display the first visual object 131 in a size smaller than the size of the first virtual space 141.
  • the first visual object 131 may be referred to as a thumbnail object, preview, shortcut, and/or miniature for the first virtual space 141.
  • the wearable device 101 may display the second visual object 132, which is a reduced form of the second virtual space 142.
  • the wearable device 101 may display a third visual object 133 representing the third virtual space 143 in a size smaller than the size of the third virtual space 143.
  • the shapes of the first to third visual objects 131 to 133 displayed by the wearable device 101, according to one embodiment, are described with reference to FIG. 5 .
  • An operation of the wearable device 101 to display a list of virtual spaces, according to one embodiment, is described with reference to FIGS. 6A and 6B.
  • the wearable device 101 may output a user interface (UI) based on AR, VR, VST, and/or partial AR based on at least one virtual space.
  • UI user interface
  • the wearable device 101 displays an external object 120 placed in the display area in the direction D1 of the head of the user 110 based on AR and/or VST. (e.g. floor stand) can be displayed.
  • the wearable device 101 may pass external light for an external object 120 toward the eyes of the user 110, or display an image and/or video containing the external object 120. , the external object 120 can be shown to the user 110.
  • an input for selecting any one of the first to third visual objects 131 to 133 may be identified.
  • the input may be identified by the orientation of a body part, such as the head, eyes, and/or fingers of the user 110 wearing the wearable device 101.
  • the input may be identified by an external electronic device (eg, remote controller) connected to the wearable device 101.
  • the input may be identified by a touch sensor and/or one or more buttons formed on the housing of the wearable device 101.
  • the wearable device 101 in response to an input selecting a first visual object 131, the wearable device 101 creates a first virtual space 141 corresponding to the first visual object 131. It can be switched to state 191 for displaying at least a portion of . For example, based on an input selecting the second visual object 132, the wearable device 101 may switch from state 190 to state 192 for providing the second virtual space 142. . For example, in response to an input selecting a third visual object 133, wearable device 101 may switch from state 190 to state 193 for visualizing third virtual space 143. .
  • An operation in which the wearable device 101 identifies an input for selecting a specific visual object in state 190 is described with reference to FIGS. 7A, 7B, and 7C.
  • the wearable device 101 displays the first virtual space 141 mapped to the location O of the user 110. From the inner point (Va), the view angle facing the inner direction (Da) of the first virtual space 141 mapped to the head direction (D1) of the user 110 can be identified. Based on the viewing angle within the first virtual space 141, the wearable device 101 may select a portion of the first virtual space 141 to be displayed to the user 110 through the display. According to one embodiment, the wearable device 101 may perform rendering on a portion of the first virtual space 141 selected by the view angle in state 191. Based on rendering of a portion of the first virtual space 141, the wearable device 101 may obtain an image and/or video to be displayed through the display.
  • the wearable device 101 displays the first virtual space 141 in a state 191 to the user 110. External light displayed can be blocked. For example, in state 191, the wearable device 101 may display a portion of the first virtual space 141 to completely block external space, such as the external object 120.
  • the wearable device 101 displays the screen A on the display based on whether the screen A is included in the viewing angle within the first virtual space 141. (A) can be displayed. Screen A may be provided from a specific application installed on the wearable device 101.
  • the wearable device 101 may display a first visual object 131 including a completely closed closed surface.
  • the wearable device 101 can guide that the first virtual space 141 provides virtual reality.
  • the first visual object 131 having the shape of a dome is shown, the embodiment is not limited thereto, and the wearable device 101 may display the first visual object 131 having the shape of a sphere.
  • the wearable device 101 displays a point Vb within the second virtual space 142 mapped to the location O. And based on the direction Db within the second virtual space 142 mapped to the direction D1, a portion of the second virtual space 142 to be displayed through the display may be selected.
  • the wearable device 101 can display the screen B on the display.
  • the wearable device 101 may, in state 192, based on conditions set by the second virtual space 142, External light displayed to the user 110 can be blocked. For example, the wearable device 101 may determine whether to display an image and/or video representing external light on the display by comparing the angle and direction D1 for providing AR. In state 192, the direction (D1) of the head of the user (110) is pointing in a specific direction, or the location (O) of the user (110) is in a specific area (e.g., global positioning system (GPS) coordinates and/or When included in an area (an area geographically separated by a geofence), the wearable device 101 can completely block external light.
  • GPS global positioning system
  • the wearable device 101 may display a second visual object 132 including a partially open curved surface.
  • the wearable device 101 may display the second visual object 132 including a curved surface having the shape of a dome divided in half.
  • the wearable device 101 can guide that the second virtual space 142 partially provides AR.
  • the transparency of the curved surface included in the second visual object 132 may be higher than the transparency of the closed curved surface included in the first visual object 131.
  • the wearable device 101 displays a first image corresponding to each of the location O and direction D1 of the user 110. Based on the point (Vc) and direction (Dc) within the third virtual space 143, the view angle within the third virtual space 143 may be adjusted. Based on the adjusted view angle, the wearable device 101 may display a portion of the third virtual space 143 on the display.
  • the wearable device 101 displays virtual objects (e.g., screens C and D) included in the third virtual space 143 on the display. , the external object 120 can be displayed.
  • the wearable device 101 In state 193, when the location O changes due to the movement of the user 110, the wearable device 101 based on a point in the third virtual space 143 corresponding to the changed location O, The view angle can be changed. In state 193, when the direction D1 changes due to the rotation of the user 110, the wearable device 101 based on the direction in the third virtual space 143 mapped to the changed direction D1, The view angle can be rotated. In order to guide that the third virtual space 143 provides AR, the wearable device 101 may display a third visual object 133 having a shape different from the curved surface having the shape of a dome.
  • the wearable device 101 is configured to display a state (e.g., states (e.g., states (e.g., In 191, 192, 193)), the camera included in the wearable device 101 may be conditionally activated based on the selected virtual space category. For example, in a state of displaying a portion of a virtual space for providing VR (e.g., a state 191 of displaying a portion of the first virtual space 141), a user experience independent of the external space is provided. , the wearable device 101 may deactivate hardware (eg, camera and/or microphone) for acquiring information about the external space.
  • a state e.g., states (e.g., In 191, 192, 193)
  • the wearable device 101 may deactivate hardware (eg, camera and/or microphone) for acquiring information about the external space.
  • the wearable device 101 can activate the hardware. Because the wearable device 101 conditionally activates the camera and/or microphone, the wearable device 101 can reduce power consumed by the camera and/or microphone. Based on the savings in power, the wearable device 101 can save electric energy in the battery and operate independently of charging for a longer period of time.
  • the wearable device 101 provides a virtual space (e.g., the first virtual space 141 to the third virtual space 143) provided by the wearable device 101.
  • Visual objects e.g, first visual objects 131 to third visual objects 133) in the form of thumbnails may be displayed.
  • the wearable device 101 can deliver information about the virtual space to the user 110 using a visual object expressing the characteristics of the virtual space.
  • the wearable device 101 uses the shape (e.g., the shape of a dome and/or a sphere) and/or transparency of a visual object to create a virtual space corresponding to the visual object in one of AR, VR, or partial AR. It can guide which user experience is provided.
  • the wearable device 101 may insert an image representing at least one virtual object included in a virtual space into a visual object and visualize the at least one virtual object.
  • the wearable device 101 uses the size and/or distance (or depth, binocular disparity) of visual objects representing the plurality of virtual spaces to create each of the plurality of virtual spaces.
  • the number of entries and/or the number of virtual objects included in each of the plurality of virtual spaces can be visualized.
  • FIG. 2 shows an example of a block diagram of a wearable device 101, according to one embodiment.
  • the wearable device 101 of FIG. 2 may include the wearable device 101 of FIG. 1 .
  • the wearable device 101 may include at least one of a processor 210, a memory 215, a display 220, a camera 225, or a sensor 230.
  • Processor 210, memory 215, display 220, camera 225, and sensor 230 are electrically and/or operationally connected to each other by electronic components such as communication bus 202. Can be connected (electronically and/or operably coupled with each other).
  • hardware being operatively combined will mean that a direct connection or an indirect connection between the hardware is established, wired or wireless, such that the second hardware is controlled by the first hardware among the hardware. You can. Although shown based on different blocks, the embodiment is not limited thereto, and some of the hardware in FIG.
  • wearable device 101 may be implemented with a system on a chip (SoC). Together, they may be included in a single integrated circuit.
  • SoC system on a chip
  • the type and/or number of hardware included in the wearable device 101 is not limited to that shown in FIG. 2 .
  • wearable device 101 may include only some of the hardware components shown in FIG. 2 .
  • the processor 210 of the wearable device 101 may include hardware for processing data based on one or more instructions.
  • the hardware for processing data includes, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP). ) may include.
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • AP application processor
  • the processor 210 may have the structure of a single-core processor, or may have the structure of a multi-core processor such as a dual core, quad core, or hexa core.
  • the memory 215 of the wearable device 101 may include hardware components for storing data and/or instructions that are input and/or output to the processor 210 of the wearable device 101.
  • Memory 215 may include, for example, volatile memory such as random-access memory (RAM) and/or non-volatile memory such as read-only memory (ROM). there is.
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • DRAM dynamic RAM
  • SRAM static RAM
  • PSRAM pseudo SRAM
  • Non-volatile memory includes, for example, programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • SSD solid state drive
  • eMMC embedded multi media card
  • the display 220 of the wearable device 101 displays visualized information (e.g., FIGS. 1, 6A-6B, 7A, and 7B) to a user (e.g., user 110 of FIG. 1). 7b and the screens of FIGS. 7c) can be output.
  • the display 220 may be controlled by the processor 210 including a circuit such as a graphic processing unit (GPU) and output visualized information to the user.
  • the display 220 may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
  • the LED may include an organic LED (OLED).
  • the display 220 of FIG. 2 may include at least one display 350, which will be described later with reference to FIGS. 3A to 3B and/or 4A to 4B.
  • the camera 225 of the wearable device 101 may include one or more optical sensors (e.g., a charged coupled device (CCD) sensor, a complementary metal sensor (CMOS) that generate electrical signals representing the color and/or brightness of light.
  • a plurality of optical sensors included in the camera 225 may be arranged in the form of a 2-dimensional array.
  • two-dimensional frame data corresponding to light reaching the optical sensors of the two-dimensional grid can be generated, for example, photo data captured using the camera 225.
  • video data captured using the camera 225 may refer to one (a) two-dimensional frame data obtained from the camera 225 according to the frame rate.
  • the camera 225 may refer to a sequence of a plurality of two-dimensional frame data, which is disposed facing a direction in which the camera 225 receives light and outputs light in that direction. Although the camera 225 is shown based on a single block, the number of cameras 225 included in the wearable device 101 is not limited to the embodiment. Wearable device 101 may include one or more cameras, such as one or more cameras 340, which will be described later with reference to FIGS. 3A-3B and/or FIGS. 4A-4B.
  • the sensor 230 of the wearable device 101 detects, from non-electronic information related to the wearable device 101, the processor 210 of the wearable device 101 and/or Electrical information that can be processed by memory 215 may be generated.
  • the information may be referred to as sensor data.
  • the sensor 230 includes a global positioning system (GPS) sensor, an image sensor, an illumination sensor, and/or a time-of-flight (ToF) sensor for detecting the geographic location of the wearable device 101. It may include an inertial measurement unit (IMU) to detect the physical motion of the device 101.
  • GPS global positioning system
  • ToF time-of-flight
  • IMU inertial measurement unit
  • the IMU included in the wearable device 101 outputs data identifying the motion of the wearable device 101 along different axes (e.g., axes perpendicular to each other, such as the x-axis, y-axis, and/or z-axis). can do.
  • axes e.g., axes perpendicular to each other, such as the x-axis, y-axis, and/or z-axis.
  • the wearable device 101 may include an output means for outputting information in a form other than a visualized form.
  • the wearable device 101 may include a speaker for outputting an acoustic signal.
  • the wearable device 101 may include a motor to provide haptic feedback based on vibration.
  • one or more instructions representing operations and/or operations to be performed on data by the processor 210 of the wearable device 101 may be stored.
  • a set of one or more instructions may be referred to as a program, firmware, operating system, process, routine, sub-routine, and/or application.
  • an application is installed in an electronic device (e.g., wearable device 101) means that one or more instructions provided in the form of an application are stored in the memory 215, and the one or more applications are installed by the processor of the electronic device. This may mean stored in an executable format (eg, a file with an extension specified by the operating system of the wearable device 101).
  • the wearable device 101 may perform the operation of FIG. 8 by executing one or more instructions stored in the memory 215.
  • programs installed on the wearable device 101 use an application layer 260, a framework layer 270, and/or a hardware abstraction layer (HAL) 250 based on the target. It can be classified into any one of the different layers included.
  • programs e.g., drivers
  • the hardware e.g., display 220, camera 225, and/or sensor 230
  • programs designed to target at least one of the hardware abstraction layer 250 and/or the application layer 260 e.g., eye tracker 271, gesture tracker 272, Motion tracker 273, external space recognizer 274 and/or virtual space manager 275
  • Programs classified as the framework layer 270 may provide an executable API (application programming interface) based on other programs.
  • programs designed to target users who control the wearable device 101 may be classified.
  • programs classified into the application layer 260 include a time application 261 for executing time-related functions (e.g., alarms) and a gallery application 262 for viewing media content stored in the memory 215. ), a call application 263 for executing functions related to call connection, and/or a word processor application 264 for editing documents.
  • a program classified as the application layer 260 may call an API, resulting in execution of a function supported by programs classified as the framework layer 270.
  • the wearable device 101 may process information related to the gaze of the user wearing the wearable device 101 based on the execution of the gaze tracker 271 in the framework layer 270. For example, the wearable device 101 may obtain an image including the user's eyes from the camera 225. Based on the position and/or direction of the pupil included in the image, the wearable device 101 may identify the direction of the user's gaze.
  • wearable device 101 may identify motion of a specified body part, including a hand, based on the execution of gesture tracker 272 in framework layer 270. For example, the wearable device 101 may obtain an image and/or video including the body part from the camera 225. Based on the motion and/or posture of the designated body part as represented by the image and/or video, the wearable device 101 may identify the gesture performed by the designated body part.
  • the wearable device 101 may identify the motion of the wearable device 101 based on the execution of the motion tracker 273 in the framework layer 270. While the wearable device 101 is worn by a user, the motion of the wearable device 101 may be related to the motion of the user's head. For example, the wearable device 101 may identify a direction of the wearable device 101 that substantially coincides with the direction of the head (eg, direction D1 in FIG. 1 ). The wearable device 101 may identify the motion of the wearable device 101 based on sensor data from the sensor 230 including the IMU.
  • the wearable device 101 is based on the execution of the external space recognizer 274 in the framework layer 270, the external space included in the wearable device 101 or adjacent to the wearable device 101. You can obtain information about.
  • the wearable device 101 may obtain the information using the camera 225 and/or sensor 230.
  • the wearable device 101 recognizes a virtual mapped to the external space based on the information obtained by the external space recognizer 274. Space can be identified.
  • the wearable device 101 may identify the location and/or orientation of the wearable device 101 within the external space.
  • wearable device 101 may recognize an external space and the position of wearable device 101 within that external space.
  • SLAM simultaneous localization and mapping
  • the wearable device 101 creates one or more virtual spaces (e.g., the first virtual space 141 of FIG. 1 to The third virtual space 143) can be managed.
  • the wearable device 101 may add, delete, and/or change information for visualization (eg, rendering) of the virtual space.
  • the wearable device 101 may visualize a list of at least one virtual space managed by the wearable device 101, as shown in state 190 of FIG. 1, based on the execution of the virtual space manager 275.
  • the visualized list may include thumbnail objects expressing characteristics of the virtual space, such as the first to third visual objects 131 to 133 of FIG. 1 .
  • the wearable device 101 may enter the virtual space selected by the input. For example, the wearable device 101 may display at least a portion of the virtual space selected by the input on the display 220. With the virtual space manager 275 running, the wearable device 101 can execute a function of switching between a plurality of virtual spaces based on the list.
  • the wearable device 101 may arrange visual objects representing the virtual spaces on the display based on the execution of the virtual space manager 275.
  • the wearable device 101 may be aligned along at least one axis within the display 220.
  • the wearable device 101 may adjust the shape and/or size of the visual object displayed on the display 220 using the characteristics of the virtual space.
  • the wearable device 101 may align the distance (or depth) of visual objects displayed on the display 220 based on the distance indicating the number of times the virtual space has been entered. For example, the wearable device 101 may determine the layout of visual objects corresponding to the virtual space based on the characteristics of the virtual space classified according to the categories in Table 1.
  • the wearable device 101 displays a visual object having the layout of Table 1, according to one embodiment, is described with reference to FIGS. 6B, 7A, 7B, and 7C.
  • the transparency of the curved surface associated with the outline of a visual object may be related to whether the virtual space corresponding to the visual object requires information about external space based on AR, VR and/or partial AR. there is.
  • the transparency in Table 1 may be related to whether to activate the camera 225 of the wearable device 101.
  • the size of a visual object is determined by the number and/or type of application (e.g., an immersive application, providing a virtual space dedicated by the application) that matches the virtual space corresponding to the visual object. It can be controlled by the application).
  • the light source included in the visual object means that the application running based on the virtual space corresponding to the visual object is distinguished from the background state (e.g., the foreground state displayed through the display 220). state) can be guided.
  • the distance at which a visual object is displayed is determined by the number of times the virtual space corresponding to the visual object is entered, and/or the execution frequency of the application connected to the virtual space. It may be related to
  • the wearable device 101 displays virtual objects (e.g., screens, Windows and/or widgets) can be inserted into any one of a plurality of virtual spaces. For example, the wearable device 101 may insert the virtual object into a virtual space currently displayed through the display 220. When an application executed by the processor 210 is terminated, the wearable device 101 may remove the virtual object corresponding to the application from the virtual space based on the virtual space manager 275.
  • virtual objects e.g., screens, Windows and/or widgets
  • the wearable device 101 may switch the state of the camera 225 between the active state and the inactive state based on the execution of the virtual space manager 275.
  • the active state of the camera 225 may include a state in which frame data is acquired periodically or repeatedly by controlling the camera 225.
  • the active state of the camera 225 may include a state in which a voltage exceeding a specified voltage is applied to the camera 225.
  • the inactive state of the camera 225 may include a state in which a voltage less than the specified voltage is applied to the camera 225.
  • the inactive state of the camera 225 may include a state in which the camera 225 is controlled to at least temporarily stop outputting frame data.
  • the wearable device 101 sets the state of the camera 225 to an inactive state for a virtual space, such as VR, that is used independently of information about the external space identified using the camera 225. It can be maintained.
  • the wearable device 101 sets the state of the camera 225 to an active state for a virtual space in which information about the external space identified using the camera 225 is used, such as AR and/or VST. can be converted to .
  • the wearable device 101 may display a UI based on AR and/or VST on the display 220.
  • the wearable device 101 may allocate applications executed by the processor 210 to a plurality of virtual spaces. Based on the set of at least one application for a specific virtual space, the wearable device 101 may determine the size and/or layout of a visual object representing the specific virtual space. The wearable device 101 may change the distance of a plurality of visual objects representing the plurality of virtual spaces based on the history of displaying the plurality of virtual spaces. For example, when the number of times entering the first virtual space is greater than the number of times entering the second virtual space, the wearable device 101 determines the distance of the first visual object corresponding to the first virtual space to the first virtual space. 2 It can be changed to less than the distance of the second visual object corresponding to the virtual space. The wearable device 101 may change the distance and/or binocular disparity of the first visual object displayed on the display 220 based on the distance.
  • FIGS. 3A to 3B and/or 4A to 4B an example of a form factor of the wearable device 101 according to an embodiment is described using FIGS. 3A to 3B and/or 4A to 4B.
  • FIG. 3A shows an example of a perspective view of a wearable device, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware disposed within the wearable device 300, according to one embodiment.
  • the wearable device 300 of FIGS. 3A and 3B may include the wearable device 101 of FIGS. 1 and 2 .
  • the wearable device 300 according to one embodiment may include at least one display 350 and a frame supporting the at least one display 350. .
  • the wearable device 300 may be worn on a part of the user's body.
  • the wearable device 300 provides the user wearing the wearable device 300 with augmented reality (AR), virtual reality (VR), or a mixed reality that combines augmented reality and virtual reality.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality that combines augmented reality and virtual reality.
  • the wearable device 300 outputs a virtual reality image to the user through at least one display 350 in response to the user's designated gesture acquired through the motion recognition camera 340-2 of FIG. 3B. can do.
  • At least one display 350 in the wearable device 300 may provide visual information to the user.
  • the at least one display 350 may include the display 220 of FIG. 2 .
  • at least one display 350 may include a transparent or translucent lens.
  • At least one display 350 may include a first display 350-1 and/or a second display 350-2 spaced apart from the first display 350-1.
  • the first display 350-1 and the second display 350-2 may be placed at positions corresponding to the user's left eye and right eye, respectively.
  • At least one display 350 forms a display area on the lens to display visual information included in external light passing through the lens to a user wearing the wearable device 300. It can provide other visual information that is distinct from visual information.
  • the lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • the display area formed by at least one display 350 may be formed on the first side 331 and the second side 332 of the second side 332 of the lens.
  • At least one display 350 may display a virtual reality image to be combined with a real screen transmitted through external light.
  • the virtual reality image output from at least one display 350 includes one or more hardware (e.g., optical devices 382, 384, and/or at least one waveguides) included in the wearable device 300. )(333, 334)), it can be transmitted to the user's eyes.
  • the wearable device 300 includes waveguides 333 that diffract light transmitted from at least one display 350 and relayed by the optical devices 382 and 384 and deliver it to the user. , 334).
  • the waveguides 333 and 334 may be formed based on at least one of glass, plastic, or polymer.
  • a nanopattern may be formed on the outside or at least a portion of the inside of the waveguides 333 and 334.
  • the nanopattern may be formed based on a polygonal and/or curved grating structure. Light incident on one end of the waveguides 333 and 334 may propagate to the other end of the waveguides 333 and 334 by the nanopattern.
  • the waveguides 333 and 334 may include at least one of a diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • a diffractive element eg, a diffractive optical element (DOE) or a holographic optical element (HOE)
  • a reflective element eg, a reflective mirror.
  • the waveguides 333 and 334 may be disposed within the wearable device 300 to guide the screen displayed by at least one display 350 to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) generated within the waveguides 333 and 334.
  • TIR total internal reflection
  • the wearable device 300 analyzes objects included in the real-life image collected through the shooting camera 340-1, and selects an object that is the target of providing augmented reality from among the analyzed objects. Corresponding virtual objects can be combined and displayed on at least one display 350.
  • the virtual object may include at least one of text and images for various information related to the object included in the real image.
  • the wearable device 300 can analyze objects based on multi-cameras, such as stereo cameras. For the object analysis, the wearable device 300 may execute time-of-flight (ToF) and/or simultaneous localization and mapping (SLAM) supported by multi-cameras. A user wearing the wearable device 300 can watch images displayed on at least one display 350.
  • ToF time-of-flight
  • SLAM simultaneous localization and mapping
  • the frame may be made of a physical structure that allows the wearable device 300 to be worn on the user's body.
  • the frame allows the first display 350-1 and the second display 350-2 to be positioned to correspond to the user's left eye and right eye when the user wears the wearable device 300. It can be configured so that The frame may support at least one display 350.
  • the frame may support the first display 350-1 and the second display 350-2 to be positioned at positions corresponding to the user's left and right eyes.
  • the frame when the user wears the wearable device 300, the frame may include an area 320 at least partially in contact with a portion of the user's body.
  • the area 320 of the frame in contact with a part of the user's body includes an area in contact with a part of the user's nose, a part of the user's ear, and a side part of the user's face that the wearable device 300 touches. can do.
  • the frame may include a nose pad 310 that contacts a part of the user's body. When the wearable device 300 is worn by a user, the nose pad 310 may be in contact with a portion of the user's nose.
  • the frame may include a first temple 304 and a second temple 305 that are in contact with another part of the user's body that is distinct from the part of the user's body.
  • the frame includes a first rim 301 surrounding at least a portion of the first display 350-1 and a second rim 302 surrounding at least a portion of the second display 350-2. , a bridge 303 disposed between the first rim 301 and the second rim 302, a first pad disposed along a portion of the edge of the first rim 301 from one end of the bridge 303 ( 311), a second pad 312 disposed along a portion of the edge of the second rim 302 from the other end of the bridge 303, a first temple extending from the first rim 301 and fixed to a portion of the wearer's ear ( 304), and a second temple 305 extending from the second rim 302 and fixed to a portion of the ear opposite the ear.
  • the first pad 311 and the second pad 312 may be in contact with a portion of the user's nose, and the first temple 304 and the second temple 305 may be in contact with a portion of the user's face and a portion of the ear. may come into contact with.
  • the temples 304 and 305 may be rotatably connected to the rim via hinge units 306 and 307 in FIG. 3B.
  • the first temple 304 may be rotatably connected to the first rim 301 through a first hinge unit 306 disposed between the first rim 301 and the first temple 304.
  • the second temple 305 may be rotatably connected to the second rim 302 through a second hinge unit 307 disposed between the second rim 302 and the second temple 305.
  • the wearable device 300 detects an external object (e.g., a user's fingertip) touching the frame using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of the surface of the frame. fingertip)), and/or a gesture performed by the external object may be identified.
  • an external object e.g., a user's fingertip
  • the wearable device 300 may include hardware (eg, hardware described above based on the block diagram of FIG. 2) that performs various functions.
  • the hardware includes a battery module 370, an antenna module 375, optical devices 382, 384, speakers 392-1, 392-2, and microphones 394-1, 394- 2, 394-3), a light emitting module (not shown), and/or a printed circuit board 390.
  • Various hardware can be placed within the frame.
  • the microphones 394-1, 394-2, and 394-3 of the wearable device 300 may be disposed in at least a portion of the frame to obtain a sound signal.
  • microphones 394-3 are shown in FIG. 3B, the number and placement of microphones 394 are not limited to the embodiment of FIG. 3B. If the number of microphones 394 included in the wearable device 300 is two or more, the wearable device 300 can identify the direction of the sound signal using a plurality of microphones disposed on different parts of the frame. there is.
  • the optical devices 382 and 384 may transmit a virtual object transmitted from at least one display 350 to the wave guides 333 and 334.
  • optical devices 382 and 384 may be projectors.
  • the optical devices 382 and 384 may be disposed adjacent to the at least one display 350 or may be included within at least one display 350 as part of the at least one display 350 .
  • the first optical device 382 may correspond to the first display 350-1
  • the second optical device 384 may correspond to the second display 350-2.
  • the first optical device 382 can transmit the light output from the first display 350-1 to the first waveguide 333
  • the second optical device 384 can transmit the light output from the first display 350-1 to the first waveguide 333.
  • the light output from -2) can be transmitted to the second waveguide 334.
  • the camera 340 may include an eye tracking camera (ET CAM) 340-1, a motion recognition camera 340-2, and/or an imaging camera 340-3. You can.
  • the shooting camera 340-3, the eye tracking camera 340-1, and the motion recognition camera 340-2 may be placed at different positions on the frame and perform different functions.
  • the shooting camera 340-3, eye tracking camera 340-1, and motion recognition camera 340-2 may be examples of the camera 225 of FIG. 2.
  • the gaze tracking camera 340-1 may output data representing the gaze of the user wearing the wearable device 300.
  • the wearable device 300 may detect the gaze from an image including the user's pupils obtained through the gaze tracking camera 340-1.
  • FIG. 3B An example in which the gaze tracking camera 340-1 is positioned toward the user's right eye is shown in FIG. 3B, but the embodiment is not limited thereto, and the gaze tracking camera 340-1 is positioned solely toward the user's left eye. It may be placed towards, or towards both eyes.
  • the capturing camera 340-3 may capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera may capture an image of a specific object that exists at a location where the user is looking and provide the image to at least one display 350.
  • At least one display 350 is one in which a real image or background information including the image of the specific object obtained using a photographing camera and a virtual image provided through the optical devices 382 and 384 are overlapped.
  • the video can be displayed.
  • the imaging camera may be placed on the bridge 303 disposed between the first rim 301 and the second rim 302.
  • the gaze tracking camera 340-1 tracks the gaze of a user wearing the wearable device 300, thereby tracking the user's gaze and visual information provided to at least one display 350. By matching them, a more realistic augmented reality can be realized. For example, when the user looks forward, the wearable device 300 may naturally display environmental information related to the user's front view on at least one display 350 at the location where the user is located.
  • the gaze tracking camera 340-1 may be configured to capture an image of the user's pupil to determine the user's gaze. For example, the gaze tracking camera 340-1 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 340-1 may be placed at positions corresponding to the user's left and right eyes.
  • the eye tracking camera 340-1 may be placed within the first rim 301 and/or the second rim 302 to face the direction in which the user wearing the wearable device 300 is located. You can.
  • the motion recognition camera 340-2 recognizes the movement of the entire or part of the user's body, such as the user's torso, hands, or face, and displays a specific event on the screen provided on at least one display 350. can be provided.
  • the gesture recognition camera 340-2 may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal to at least one display 350.
  • the processor may identify a signal corresponding to the operation and perform a designated function based on the identification.
  • the motion recognition camera 340-2 may be disposed on the first rim 301 and/or the second rim 302.
  • the camera 340 included in the wearable device 300 is not limited to the eye tracking camera 340-1 and the motion recognition camera 340-2 described above.
  • the wearable device 300 may identify an external object included within the user's FoV using the capturing camera 340-3 disposed toward the user's FoV.
  • the wearable device 300 identifies an external object based on a sensor for identifying the distance between the wearable device 300 and the external object, such as a depth sensor and/or a time of flight (ToF) sensor. It can be.
  • the camera 340 disposed toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function.
  • the wearable device 300 includes a camera 340 (e.g., a face tracking (FT) camera) disposed toward the face of a user wearing the wearable device 300 to obtain an image including the face. ) may include.
  • FT face tracking
  • the wearable device 300 radiates light toward a subject (e.g., the user's eyes, face, and/or an external object within the FoV) captured using the camera 340. It may further include a light source (eg, LED).
  • the light source may include an LED with an infrared wavelength.
  • the light source may be placed in at least one of the frame and hinge units 306 and 307.
  • the battery module 370 may supply power to electronic components of the wearable device 300.
  • the battery module 370 may be disposed within the first temple 304 and/or the second temple 305.
  • the battery module 370 may be a plurality of battery modules 370 .
  • a plurality of battery modules 370 may be disposed on the first temple 304 and the second temple 305, respectively.
  • the battery module 370 may be disposed at an end of the first temple 304 and/or the second temple 305.
  • the antenna module 375 may transmit a signal or power to the outside of the wearable device 300, or may receive a signal or power from the outside.
  • the antenna module 375 may be electrically and/or operationally connected to a communication circuit within the wearable device 300.
  • the antenna module 375 may be disposed within the first temple 304 and/or the second temple 305. For example, the antenna module 375 may be placed close to one surface of the first temple 304 and/or the second temple 305.
  • the speakers 392-1 and 392-2 may output sound signals to the outside of the wearable device 300.
  • the sound output module may be referred to as a speaker.
  • the speakers 392-1 and 392-2 are disposed adjacent to the ears of the user wearing the wearable device 300, the first temple 304, and/or the second temple 305. ) can be placed within.
  • the wearable device 300 is disposed within the first temple 304 and the second speaker 392-2, which is disposed adjacent to the user's left ear, and the second temple 305 to listen to the user's hearing. It may include a first speaker 392-1, which is disposed adjacent to the right ear.
  • a light emitting module may include at least one light emitting device.
  • the light emitting module may emit light in a color corresponding to a specific state or emit light through an operation corresponding to the specific state. For example, when the wearable device 300 requires charging, it may repeatedly emit red light at designated times.
  • the light emitting module may be disposed on the first rim 301 and/or the second rim 302.
  • the wearable device 300 may include a printed circuit board (PCB) 390.
  • the PCB 390 may be included in at least one of the first temple 304 or the second temple 305.
  • the PCB 390 may include an interposer disposed between at least two sub-PCBs.
  • one or more hardware included in the wearable device 300 eg, hardware shown by the blocks described above with reference to FIG. 2 may be disposed.
  • the wearable device 300 may include a flexible PCB (FPCB) for interconnecting the hardware.
  • FPCB flexible PCB
  • the wearable device 300 includes a gyro sensor for detecting the posture of the wearable device 300 and/or the posture of a body part (e.g., head) of a user wearing the wearable device 300, It may include at least one of a gravity sensor and/or an acceleration sensor.
  • the gravity sensor and acceleration sensor may each measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (eg, x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • a gyro sensor can measure the angular velocity of each of designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis).
  • At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • the wearable device 300 may identify a user's motion and/or gesture performed to execute or stop a specific function of the wearable device 300 based on the IMU.
  • FIGS. 4A to 4B show an example of the appearance of a wearable device 400, according to an embodiment.
  • the wearable device 400 of FIGS. 4A and 4B may include the wearable device 101 of FIGS. 1 and 2 .
  • An example of the appearance of the first side 410 of the housing of the wearable device 400, according to one embodiment, is shown in FIG. 4A, and the second side 420 is opposite to the first side 410. ) can be shown in Figure 4b.
  • the first surface 410 of the wearable device 400 may have a form attachable to a user's body part (e.g., the user's face).
  • wearable device 400 may include a strap for securing on a part of the user's body, and/or one or more temples (e.g., first temple 304 in FIGS. 3A-3B, and/or It may further include 2 temples (305).
  • a first display 350-1 for outputting an image to the left eye of both eyes of the user, and a second display 350-2 for outputting an image to the right eye of the user's both eyes, have a first surface 410 It can be placed on top.
  • the wearable device 400 is formed on the first surface 410 and emits light (e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2. Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • light e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2.
  • Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • the wearable device 400 includes a camera for photographing and/or tracking both eyes of a user adjacent to each of the first display 350-1 and the second display 350-2. It may include (440-1, 440-2). The cameras 440-1 and 440-2 may be referred to as ET cameras. According to one embodiment, the wearable device 400 may include cameras 440-3 and 440-4 for photographing and/or recognizing the user's face. The cameras 440-3 and 440-4 may be referred to as FT cameras.
  • a camera for acquiring information related to the external environment of the wearable device 400 -5, 440-6, 440-7, 440-8, 440-9, 440-10)
  • a sensor e.g., depth sensor 430
  • the cameras 440-5, 440-6, 440-7, 440-8, 440-9, and 440-10 are configured to recognize an external object different from the wearable device 400. It may be placed on (420).
  • the wearable device 400 may obtain images and/or media to be transmitted to each of the user's eyes.
  • the camera 440-9 will be disposed on the second side 420 of the wearable device 400 to obtain a frame to be displayed through the second display 350-2 corresponding to the right eye among the two eyes. You can.
  • the camera 440-10 is disposed on the second side 420 of the wearable device 400 to obtain a frame to be displayed through the first display 350-1 corresponding to the left eye among the two eyes. You can.
  • the wearable device 400 may include a depth sensor 430 disposed on the second surface 420 to identify the distance between the wearable device 400 and an external object. Using the depth sensor 430, the wearable device 400 acquires spatial information (e.g., depth map) about at least a portion of the FoV of the user wearing the wearable device 400. can do.
  • spatial information e.g., depth map
  • a microphone for acquiring sound output from an external object may be disposed on the second side 420 of the wearable device 400.
  • the number of microphones may be one or more depending on the embodiment.
  • the wearable device 400 may have a form factor to be worn on the user's head.
  • the wearable device 400 may provide a user experience related to augmented reality or virtual reality based on the virtual space displayed on at least one display 350 while worn on the head.
  • the wearable device 400 may activate or deactivate the cameras 440-9 and 440-10 based on characteristics of the virtual space displayed through at least one display 350.
  • the wearable device 400 may display a UI for switching between a plurality of virtual spaces managed by the wearable device 400 on at least one display 350.
  • FIG. 5 illustrates an example of virtual spaces (eg, first virtual space 141 to third virtual space 143 ) provided by a wearable device, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device of FIG. 5 .
  • the operation of the wearable device described with reference to FIG. 5 may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • the first virtual space 141 to the third virtual space 143 are shown as examples. It is assumed that the first virtual space 141 is formed based on VR to display a screen different from the external space to the user. It is assumed that the second virtual space 142 is formed to display a screen that can be switched between AR and VR based on partial AR. It is assumed that the third virtual space 143 is formed to display a screen linked to an external space based on AR.
  • the wearable device may obtain information for rendering the first to third virtual spaces 141 to 143.
  • the information may be obtained based on execution of the virtual space manager 275 of FIG. 2.
  • the wearable device may place at least one virtual object in the first virtual space 141 based on the execution of the application.
  • the wearable device may place a screen A and a virtual object 532 provided from an application in the first virtual space 141.
  • the screen A is placed in the first virtual space 141 because the wearable device uses coordinate values indicating the location of the screen A based on the coordinate system (e.g., three-dimensional coordinate system) of the first virtual space 141. It may include acquisition operations.
  • the wearable device may obtain coordinate values within the first virtual space 141 of the virtual object 532.
  • the coordinate values may represent the coordinates of the virtual object with respect to the origin (O) within the first virtual space 141.
  • the wearable device may generate and/or display the first visual object 131, which is a thumbnail object of the first virtual space 141.
  • the first visual object 131 may be created and/or displayed based on an input for displaying a list of virtual spaces created by the wearable device.
  • the wearable device may generate the first visual object 131 expressing the characteristics of the first virtual space 141 based on the layout of Table 1. For example, for the first virtual space 141 formed to display a screen different from the external space to the user based on VR, the wearable device determines the transparency of the closed curved surface 511 in the first visual object 131, It can be set to a specified transparency (e.g., 20% transparency in Table 1), indicating that it is a virtual space for VR.
  • a specified transparency e.g. 20% transparency in Table 1
  • the wearable device may set the shape of the closed curved surface 511 in the first visual object 131 to be a dome or a sphere.
  • a first visual object 131 having the shape of a dome divided by a reference surface 521 including the origin O of the first virtual space 141 is shown as an example, but in practice, The example is not limited to this.
  • the wearable device may at least partially display a virtual object (eg, screen A and/or virtual object 532) within the first virtual space 141.
  • the wearable device may display, within the first visual object 131, an image 531 representing a virtual object 532 within the first virtual space 141, overlapping with a closed curved surface 511. .
  • the wearable device may generate and/or display the second visual object 132, which is a thumbnail object of the second virtual space 142.
  • the wearable device displays a second visual object 132 including a closed curved surface 512 on which an image for a window (e.g., screen B) or widget provided from an application linked to the second virtual space 142 is placed. can do.
  • the wearable device displays a closed curved surface 512 in the second visual object 132.
  • the transparency of can be set to a transparency indicating that it is a virtual space for partial AR (e.g., transparency exceeding 20% and less than 100%).
  • the wearable device may set the shape of the closed curved surface 512 to be a partially open dome or sphere.
  • a second visual object 132 is shown having the shape of a dome including a reference surface 522 where the origin O of the second virtual space 142 is located, but the embodiment is limited thereto. That is not the case.
  • the wearable device may display an image representing a virtual object within the second virtual space 142 within the second visual object 132 .
  • the wearable device may generate and/or display a third visual object 133, which is a thumbnail object of the third virtual space 143.
  • the wearable device is a third visual object including an image of a virtual object (e.g., screens C, D and/or virtual object 542) provided from one or more applications linked to the third virtual space 143. (133) can be displayed.
  • the wearable device may combine the image 541 representing the virtual object 542 within the third visual object 133.
  • the wearable device may not display any closed curved surface within the third visual object 133. Referring to FIG.
  • the wearable device may display a curved surface 513 connecting the reference surface 523 and the virtual object within the third visual object 133.
  • a wearable device has a closed curved surface (e.g., closed curved surfaces 511 and 512) with transparency distinguished by whether augmented reality or virtual reality is provided through virtual space.
  • a visual object representing the characteristics of the virtual space can be created or displayed.
  • a wearable device can display the visual object on a display and intensively convey characteristics of a virtual space to a user wearing the wearable device.
  • a visual object may have a size that allows it to be displayed parallel to other visual objects on a display.
  • FIGS. 6A and 6B an example of an operation in which a wearable device displays a list of virtual spaces managed by the wearable device, according to an embodiment, is described.
  • FIGS. 6A and 6B illustrate an example of an operation in which the wearable device 101 displays a screen including a list of virtual spaces, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device 101 of FIGS. 6A and 6B. 6A to 6B, example states for displaying at least one UI based on a virtual space in the display area formed by the display (e.g., display 220 of FIG. 2) of the wearable device 101 ( 601, 602) are shown.
  • the wearable device 101 displays the binocular parallax of the screen B and the binocular parallax of the background object. It can be set larger. In the above example, the user 110 may recognize that the background object is placed further than the screen B.
  • the wearable device 101 may display a menu 610.
  • the wearable device 101 can display the menu 610 at a designated location in the display area and maintain the menu 610 within the display area independently of the motion of the user's 110 head. For example, when the wearable device 101 is rotated by the motion, the wearable device 101 displays the screen B, a background object (e.g., a tree) placed beyond the screen B, and the menu 610. Among them, the screen (B) and background objects can be selectively moved.
  • the wearable device 101 may conditionally display the menu 610 based on the gaze of the user 110 wearing the wearable device 101.
  • the wearable device 101 may display a menu 610 in response to a designated remark of the user 110 and/or a gesture of pressing a button formed on the wearable device 101.
  • the wearable device 101 may display one or more icons representing the status of the wearable device 101 within the menu 610.
  • the wearable device 101 may display an icon representing the SOC of the battery included in the wearable device 101 within the menu 610.
  • the wearable device 101 may display an icon representing the type of network (eg, Wi-Fi, LTE, 5G, and/or 6G) to which the wearable device 101 is connected within the menu 610.
  • the wearable device 101 may display an icon and/or text indicating the current time within the menu 610.
  • the wearable device 101 may display an icon 614 in the menu 610 to display account information of the user 110 logged in to the wearable device 101.
  • the wearable device 101 may display options for controlling the virtual space provided through the display area within the menu 610.
  • the wearable device 101 displays an icon 611 for displaying a list of applications (e.g., one or more applications classified into the application layer 260 of FIG. 2) installed on the wearable device 101. It can be displayed.
  • wearable device 101 may identify an input indicating selection of icon 611 .
  • the wearable device 101 may display a list of applications corresponding to the icon 611.
  • the wearable device 101 places the second visual object 132 at the furthest distance Z3 among the distances Z1, Z2, and Z3, so that the second virtual space corresponding to the second visual object 132 is, It can be guided that among all virtual spaces (eg, first to third virtual spaces), it was used the least or for the shortest period of time.
  • the binocular parallax corresponding to distance Z3 may be smaller than the binocular parallaxes of distances Z1 and Z2.
  • FIGS. 7A, 7B, and 7C are examples of operations performed by the wearable device 101 based on an input for selecting a specific virtual space from a list of virtual spaces, according to an embodiment. shows.
  • the wearable device 101 of FIGS. 1 to 2 may include the wearable device 101 of FIGS. 7A, 7B, and 7C.
  • the operations of the wearable device 101 described with reference to FIGS. 7A, 7B, and 7C may be performed by the wearable device 101 and/or the processor 210 of FIG. 2.
  • the wearable device displays visual objects representing each of a plurality of virtual spaces based on a distance indicating the number of times the virtual space corresponding to the visual object has been entered. It can be displayed as follows. For example, the wearable device may perform operation 810 to transition to state 602 in FIG. 6B and/or state 701 in FIG. 7A.
  • a wearable device can provide a sense of distance to a visual object by using binocular parallax corresponding to distance.
  • the wearable device may identify whether an input for selecting a first visual object among visual objects has been received.
  • the input of operation 820 may be identified based on at least one of the directions G, F, and C of FIG. 7A.
  • the wearable device may be directed to the gaze and/or direction of the hand (e.g., hand 711 of FIG. 7A) of the user wearing the wearable device (e.g., user 110 in FIG. 1) and/or to the wearable device.
  • the wearable device may continue to display visual objects based on the action 810.
  • the wearable device performs operation 830 to select an image from a camera (e.g., camera 225 in FIG. 2). and/or whether video is required for display of the first virtual space corresponding to the first visual object. For example, the wearable device may determine whether to activate a camera based on characteristics of the first virtual space corresponding to the first visual object. If the first virtual space corresponding to the first visual object is formed to provide a virtual reality completely isolated from external space, the wearable device ensures that images and/or video from the camera are not required for display of the first virtual space. can be identified. If the first virtual space is formed to provide augmented reality (or mixed reality, extended reality and/or VST) mixed with an external space, the wearable device may capture images and/or video from the camera for display of the first virtual space. It is possible to identify what is required.
  • augmented reality or mixed reality, extended reality and/or VST
  • the wearable device performs operation 850 to deactivate the camera and display at least a portion of the first virtual space.
  • operation 850 By performing rendering, at least a portion of the first virtual space can be displayed.
  • the wearable device may perform operation 850 while identifying a first virtual space for providing a VR-based user experience.
  • the wearable device may display an image and/or video covering the external space on a display (e.g., display 220 of FIG. 2).
  • state 191 of FIG. 1 may be an example state in which the wearable device performs operation 850.
  • the operation of the wearable device described above with reference to FIGS. 1 to 8 may be related to a metaverse service provided through a network.
  • a metaverse service provided through a network.
  • FIG. 9 an example of a metaverse service provided to a user based on the wearable device 101 according to an embodiment is described.
  • Metaverse is a compound word of the English word 'Meta', meaning 'virtual' or 'transcendence', and 'Universe', meaning universe. It is a combination of social, economic and cultural activities similar to the real world. It refers to a three-dimensional virtual world. Metaverse is a concept that is one step more advanced than virtual reality (VR, a cutting-edge technology that allows people to experience life-like experiences in a virtual world created on a computer), and is a concept that uses avatars to simply enjoy games or virtual reality. Not only that, it has the characteristic of being able to engage in social and cultural activities similar to actual reality.
  • the Metaverse service is based on augmented reality (AR), virtual reality environment (VR), mixed reality (MR), and/or extended reality (XR), and creates the virtual world. Media content can be provided to enhance immersion.
  • media content provided by the metaverse service may include social interaction content including avatar-based games, concerts, parties, and/or meetings.
  • the media content may include advertisements, user created content, and/or information for economic activities such as selling products and/or shopping. Ownership of the user-created content may be proven by a blockchain-based non-fungible token (NFT).
  • NFT non-fungible token
  • Metaverse services can support economic activities based on real currency and/or cryptocurrency. Through the metaverse service, virtual content linked to the real world, such as digital twin or life logging, can be provided.
  • FIG. 9 is an example diagram of a network environment 901 in which metaverse services are provided through the server 910.
  • the network environment 901 includes a server 910, a user terminal 920 (e.g., a first terminal 920-1 and a second terminal 920-2), and a server 910. It may include a network connecting the user terminal 920.
  • the server 910 may provide a metaverse service to the user terminal 920.
  • the network may be formed by at least one intermediate node 930 including an access point (AP) and/or a base station.
  • the user terminal 920 may connect to the server 910 through a network and output a user interface (UI) related to the metaverse service to the user of the user terminal 920. Based on the UI, the user terminal 920 can obtain information to be input to the metaverse service from the user, or output information (eg, multimedia content) related to the metaverse service to the user.
  • UI user interface
  • the metaverse service may be provided to the user terminal 920 and/or the user using the server 910.
  • the embodiment is not limited to this, and the metaverse service may be provided through individual contact between users.
  • the metaverse service can be provided by a direct connection between the first terminal 920-1 and the second terminal 920-2, independently of the server 910. there is.
  • the first terminal 920-1 and the second terminal 920-2 may be connected to each other through a network formed by at least one intermediate node 930.
  • one of the first terminal 920-1 and the second terminal 920-2 is: It can perform the role of the server 910.
  • a metaverse environment can be formed solely by device-to-device connection (e.g., peer-to-peer (P2P) connection).
  • P2P peer-to-peer
  • the network (e.g., a network formed by at least one intermediate node 930) includes various broadband networks including 3G, 4G, and 5G and a short-range network including Wifi and BT (e.g., the first terminal 920-1, and a wired network or wireless network directly connecting the second terminal 920-2).
  • the user terminal 920 of FIG. 9 may include the wearable device 101 of FIGS. 1 to 8 .
  • a wearable device e.g., wearable device 101 of FIGS. 1 to 7 includes a sensor (e.g., sensor 230 of FIG. 2), a display (e.g. , the display 220 of FIG. 2), a memory for storing instructions (e.g., the memory 215 of FIG. 2), and a processor (e.g., the processor 210 of FIG. 2).
  • the instructions when executed by the processor, cause the wearable device to display a size based on the number of applications associated with a first virtual space (e.g., virtual space 141 in FIG.
  • a wearable device may be configured to display the second visual object 132 of FIGS. 7B and 7C).
  • the instructions when executed by the processor, cause the wearable device to display, on the display, a visual object selected by the input in response to an input selecting either the first visual object or the second visual object. It may be configured to display at least a portion of the virtual space corresponding to .
  • a wearable device can display visual objects expressing characteristics of virtual spaces.
  • the wearable device when the instructions are executed by the processor, the wearable device creates a closed curved surface on which an image for a window or widget provided from an application linked to the first virtual space is placed (e.g., the closed curve of FIG. 5). It may be configured to display the first visual object, including a curved surface 511).
  • the operation of displaying the first visual object may include first transparency indicating that augmented reality is provided using the first virtual space or second transparency indicating providing virtual reality using the first virtual space. It may include an operation of displaying the closed curved surface based on any one of the above.
  • the operation of displaying the second visual object may include displaying the second visual object that exceeds the first distance in a state where the number of times the first virtual space has been entered exceeds the number of times the second virtual space has been entered. It may include an operation of displaying the second visual object using the distance.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른, 웨어러블 장치의 프로세서는, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 제1 가상 공간에 대응하는 제1 시각적 객체를 표시할 수 있다. 프로세서는, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 제2 가상 공간에 대응하는 제2 시각적 객체를 표시할 수 있다. 프로세서는, 제1 시각적 객체 또는 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시할 수 있다. 본 문서는, 실제 객체 및 가상 객체 사이의 상호연결성을 강화하기 위한 메타버스 서비스와 관련될 수 있다. 예를 들면, 메타버스 서비스는, 5G(fifth generation), 및/또는 6G(sixth generation)에 기반하는 네트워크를 통해 제공될 수 있다.

Description

복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법
본 개시(present disclosure)는 복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 센서, 디스플레이, 인스트럭션들을 저장하기 위한 메모리, 및 프로세서를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 디스플레이, 인스트럭션들을 저장하기 위한 메모리, 및 프로세서를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에 제1 가상 공간과 연동된 제1 어플리케이션으로부터 제공된 제1 가상 객체를 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 가상 객체를 표시한 상태에서, 복수의 가상 공간들의 리스트를 표시하기 위한 입력에 응답하여, 상기 제1 가상 공간과 구분되는 제2 가상 공간을 식별하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제2 가상 공간을 식별하는 것에 기반하여, 상기 제1 가상 객체를 표현한 이미지에 기반하여 상기 제1 가상 공간을 표현한 제1 시각적 객체를, 상기 제1 거리를 이용하여 표시하고, 상기 제2 가상 공간을 표현한 제2 시각적 객체를, 제1 거리와 구분되는 제2 거리를 이용하여 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이에 제1 가상 공간과 연동된 제1 어플리케이션으로부터 제공된 제1 가상 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 가상 객체를 표시한 상태에서, 복수의 가상 공간들의 리스트를 표시하기 위한 입력에 응답하여, 상기 제1 가상 공간과 구분되는 제2 가상 공간을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 가상 공간을 식별하는 것에 기반하여, 상기 제1 가상 객체를 표현한 이미지에 기반하여 상기 제1 가상 공간을 표현한 제1 시각적 객체를, 제1 거리를 이용하여 표시하고, 상기 제2 가상 공간을 표현한 제2 시각적 객체를, 상기 제1 거리와 구분되는 제2 거리를 이용하여 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하는 동작을 포함할 수 있다.
일 실시예에서, 인스트럭션들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체가 제공될 수 있다. 상기 인스트럭션들은, 디스플레이를 포함하는 웨어러블 장치의 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 야기할 수 있다.
도 1은, 일 실시예에 따른, 웨어러블 장치가 가상 공간에 대한 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 2는, 일 실시예에 따른, 웨어러블 장치의 블록도의 일 예를 도시한다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다.
도 3b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 4a 및 도 4b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다.
도 5는, 일 실시예에 따른, 웨어러블 장치에 의해 제공되는 가상 공간들의 일 예를 도시한다.
도 6a 및 도 6b는, 일 실시예에 따른, 웨어러블 장치가 가상 공간들의 리스트가 포함된 화면을 표시하는 동작의 일 예를 도시한다.
도 7a, 도 7b 및 도 7c는, 일 실시예에 따른, 일 실시예에 따른, 웨어러블 장치가 가상 공간들의 리스트에서, 특정 가상 공간을 선택하는 입력에 기반하여 수행하는 동작의 일 예를 도시한다.
도 8은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 9는, 메타버스 서비스와 관련된 네트워크 환경에 대한 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 일 실시예에 따른, 웨어러블 장치가 가상 공간에 대한 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 1의 일 실시예에서, 웨어러블 장치(101)는 사용자(110)의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다. 비록 안경의 형태를 가지는 웨어러블 장치(101)의 외형이 도시되지만, 실시예가 이에 제한되는 것은 아니다. 사용자(110)의 머리에 착용가능한 웨어러블 장치(101)의 구조의 일 예가 도 3a 내지 도 3b 및/또는 도 4a 내지 도 4b를 참고하여 설명된다. 웨어러블 장치(101) 내에 포함된 하나 이상의 하드웨어들이, 도 2를 참고하여 예시적으로 설명된다.
일 실시예에 따른, 웨어러블 장치(101)는 증강 현실(augmented reality, AR) 및/또는 혼합 현실(mixed reality, MR)과 관련된 기능을 실행할 수 있다. 도 1의 일 실시예에서, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈에 인접하게 배치된 적어도 하나의 렌즈를 포함할 수 있다. 웨어러블 장치(101)는 렌즈를 통과하는 주변 광(ambient light)에, 웨어러블 장치(101)의 디스플레이로부터 방사된 광을 결합할 수 있다. 상기 디스플레이의 표시 영역은, 주변 광이 통과되는 렌즈 내에서 형성될 수 있다. 웨어러블 장치(101)가 상기 주변 광 및 상기 디스플레이로부터 방사된 상기 광을 결합하기 때문에, 사용자(110)는 상기 주변 광에 의해 인식되는 실제 객체(real object) 및 상기 디스플레이로부터 방사된 상기 광에 의해 형성된 가상 객체(virtual object)가 혼합된 상(image)을 볼 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 VST(video see-through) 및/또는 가상 현실(virtual reality, VR)과 관련된 기능을 실행할 수 있다. 도 1을 참고하면, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈을 덮는 하우징을 포함할 수 있다. 웨어러블 장치(101)는, 상기 상태 내에서, 상기 눈을 향하는 제1 면에 배치된 디스플레이를 포함할 수 있다. 웨어러블 장치(101)는 상기 제1 면과 반대인 제2 면 상에 배치된 카메라를 포함할 수 있다. 상기 카메라를 이용하여, 웨어러블 장치(101)는 주변 광이 포함된 프레임들을 획득할 수 있다. 웨어러블 장치(101)는 상기 제1 면에 배치된 디스플레이 내에, 상기 프레임들을 출력하여, 사용자(110)가 상기 디스플레이를 통해 상기 주변 광을 인식하게 만들 수 있다. 상기 제1 면에 배치된 디스플레이의 표시 영역은, 상기 디스플레이에 포함된 하나 이상의 픽셀들에 의해 형성될 수 있다. 웨어러블 장치(101)는 상기 디스플레이를 통해 출력되는 프레임들 내에 가상 객체를 합성하여, 사용자(110)가 주변 광에 의해 인식되는 실제 객체와 함께 상기 가상 객체를 인식하게 만들 수 있다.
도 1을 참고하면, 일 실시예에 따른, 웨어러블 장치(101)에 의해 표시되는 화면의 상이한 상태들(190, 191, 192, 193)이 도시된다. 상태들(190, 191, 192, 193)은, 웨어러블 장치(101)의 디스플레이를 통해 표시되는 가상 공간의 개수, 타입 및/또는 형태에 의해 구분될 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)에 설치된 어플리케이션을 실행하여, 가상 공간을 추가하거나, 삭제하거나, 및/또는 변경할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 가상 공간을 단위로, 복수의 어플리케이션들의 실행을 제어할 수 있다. 예를 들어, 웨어러블 장치(101)는 가상 공간 내에 어플리케이션으로부터 제공된 화면(예, 화면(A, B, C, D))을 배치할 수 있다. 가상 공간 내에 포함된 가상 객체는, 어플리케이션의 실행에 의해 가상 공간 내에 배치되는 화면 및/또는 위젯을 포함할 수 있다. 상기 예시에서, 웨어러블 장치(101)에 의해 생성된 하나의 가상 공간에, 하나 이상의 어플리케이션들의 세트가 매칭될 수 있다. 하나 이상의 가상 공간들을 관리하기 위해 웨어러블 장치(101)에 의해 실행되는 어플리케이션이, 도 2를 참고하여 설명된다.
도 1의 상태(190)에서, 웨어러블 장치(101)는 디스플레이에 가상 공간들의 리스트를 표시할 수 있다. 상기 리스트에서, 웨어러블 장치(101)는 가상 공간들(예, 제1 가상 공간(141) 내지 제3 가상 공간(143)) 각각을 표현한(represent) 시각적 객체들(예, 제1 시각적 객체(131) 내지 제3 시각적 객체(133))을 표시할 수 있다. 웨어러블 장치(101)는, 제1 가상 공간(141)의 사이즈 보다 작은 사이즈로, 제1 시각적 객체(131)를 표시할 수 있다. 예를 들어, 제1 시각적 객체(131)는, 제1 가상 공간(141)에 대한 썸네일 객체, 프리뷰, 단축 키(shortcut), 및/또는 미니어처로 지칭될 수 있다. 도 1의 상태(190)에서, 웨어러블 장치(101)는, 제2 가상 공간(142)의 축소된 형태인 제2 시각적 객체(132)를 표시할 수 있다. 도 1의 상태(190)에서, 웨어러블 장치(101)는 제3 가상 공간(143)의 사이즈 보다 작은 사이즈로 제3 가상 공간(143)을 표현한, 제3 시각적 객체(133)를 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)에 의해 표시된, 제1 시각적 객체(131) 내지 제3 시각적 객체(133)의 형태가, 도 5를 참고하여 설명된다. 일 실시예에 따른, 웨어러블 장치(101)가 가상 공간들의 리스트를 표시하는 동작이 도 6a 내지 도 6b를 참고하여 설명된다.
일 실시예에 따른, 웨어러블 장치(101)는 적어도 하나의 가상 공간에 기반하여, AR, VR, VST, 및/또는 부분(partial) AR에 기반하는 UI(user interface)를 출력할 수 있다. 가상 공간들의 리스트를 표시한 상태(190)에서, 웨어러블 장치(101)는 AR 및/또는 VST에 기반하여 표시 영역에, 사용자(110)의 머리의 방향(D1)에 배치된 외부 객체(120)(예, 플로어 스탠드)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 객체(120)에 대한 외부 광을, 사용자(110)의 눈을 향하여 통과시키거나, 또는 외부 객체(120)가 포함된 이미지 및/또는 비디오를 표시하여, 사용자(110)에게 외부 객체(120)를 보여줄(show) 수 있다. 상태(190)에서, 제1 시각적 객체(131) 내지 제3 시각적 객체(133) 중 어느 하나를 선택하는 입력을 식별할 수 있다. 상기 입력은, 웨어러블 장치(101)를 착용한 사용자(110)의 머리, 눈 및/또는 손가락과 같은 신체 부위의 방향에 의해 식별될 수 있다. 상기 입력은, 웨어러블 장치(101)에 연결된 외부 전자 장치(예, 리모트 컨트롤러)에 의해 식별될 수 있다. 상기 입력은, 웨어러블 장치(101)의 하우징에 형성된 터치 센서 및/또는 하나 이상의 버튼들에 의해 식별될 수 있다.
도 1을 참고하면, 상태(190)에서, 제1 시각적 객체(131)를 선택하는 입력에 응답하여, 웨어러블 장치(101)는 제1 시각적 객체(131)에 대응하는 제1 가상 공간(141)의 적어도 일부분을 표시하기 위한 상태(191)로 스위칭할 수 있다. 예를 들어, 제2 시각적 객체(132)를 선택하는 입력에 기반하여, 웨어러블 장치(101)는 상태(190)로부터 제2 가상 공간(142)을 제공하기 위한 상태(192)로 스위칭할 수 있다. 예를 들어, 제3 시각적 객체(133)를 선택하는 입력에 응답하여, 웨어러블 장치(101)는 상태(190)로부터 제3 가상 공간(143)을 시각화하기 위한 상태(193)로 스위칭할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 상태(190)에서 특정 시각적 객체를 선택하는 입력을 식별하는 동작이 도 7a, 도 7b 및 도 7c를 참고하여 설명된다.
도 1을 참고하면, 제1 가상 공간(141)의 적어도 일부분을 표시하는 상태(191)에서, 웨어러블 장치(101)는 사용자(110)의 위치(O)에 매핑된 제1 가상 공간(141) 내 지점(Va)으로부터, 사용자(110)의 머리의 방향(D1)에 매핑된 제1 가상 공간(141) 내 방향(Da)을 향하는 뷰 앵글을 식별할 수 있다. 제1 가상 공간(141) 내 뷰 앵글에 기반하여, 웨어러블 장치(101)는 디스플레이를 통해 사용자(110)에게 표시될 제1 가상 공간(141)의 일부분을 선택할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 상태(191)에서, 상기 뷰 앵글에 의해 선택된 제1 가상 공간(141)의 일부분에 대한 렌더링을 수행할 수 있다. 제1 가상 공간(141)의 일부분에 대한 렌더링에 기반하여, 웨어러블 장치(101)는 디스플레이를 통해 표시될, 이미지 및/또는 비디오를 획득할 수 있다.
일 실시예에서, 제1 가상 공간(141)이 가상 현실을 제공하기 위해 형성된 경우, 웨어러블 장치(101)는 제1 가상 공간(141)을 표시하기 위한 상태(191)에서, 사용자(110)에게 표시되는 외부 광을 차단할 수 있다. 예를 들어, 상태(191)에서, 웨어러블 장치(101)는 외부 객체(120)와 같은 외부 공간을 완전히 차단하도록, 제1 가상 공간(141)의 일부분을 표시할 수 있다. 화면(A)이 제1 가상 공간(141) 내에 배치된 경우, 웨어러블 장치(101)는, 화면(A)이 제1 가상 공간(141) 내 뷰 앵글에 포함되는지 여부에 기반하여, 디스플레이에 화면(A)을 표시할 수 있다. 화면(A)은, 웨어러블 장치(101)에 설치된 특정 어플리케이션으로부터 제공될 수 있다. 제1 가상 공간(141)이 가상 현실을 제공함을 가이드하기 위하여, 웨어러블 장치(101)는 완전히 닫힌 폐곡면(closed surface)을 포함하는 제1 시각적 객체(131)를 표시할 수 있다. 제1 시각적 객체(131)에 포함된 폐곡면의 투명도에 기반하여, 웨어러블 장치(101)는 제1 가상 공간(141)이 가상 현실을 제공함을 가이드할 수 있다. 비록 돔의 형태를 가지는 제1 시각적 객체(131)가 도시되지만, 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 구의 형태를 가지는 제1 시각적 객체(131)를 표시할 수 있다.
도 1을 참고하면, 제2 가상 공간(142)의 적어도 일부분을 표시하는 상태(192)에서, 웨어러블 장치(101)는 위치(O)에 매핑된 제2 가상 공간(142) 내 지점(Vb) 및 방향(D1)에 매핑된 제2 가상 공간(142) 내 방향(Db)에 기반하여, 디스플레이를 통해 표시될 제2 가상 공간(142)의 일부분을 선택할 수 있다. 화면(B)이 제2 가상 공간(142)에 포함된 경우, 화면(B)이 지점(Vb)으로부터 방향(Db)을 따라 연장된 제2 가상 공간(142)의 일부분에 포함되는지 여부에 기반하여, 웨어러블 장치(101)는 디스플레이에 화면(B)을 표시할 수 있다.
일 실시예에서, 제2 가상 공간(142)이 부분적으로 AR을 제공하기 위해 형성된 경우, 웨어러블 장치(101)는 상태(192)에서, 제2 가상 공간(142)에 의해 설정된 조건에 기반하여, 사용자(110)에게 표시되는 외부 광을 차단할 수 있다. 예를 들어, 웨어러블 장치(101)는 AR을 제공하기 위한 각도 및 방향(D1)을 비교하여, 디스플레이에 외부 광을 표현한 이미지 및/또는 비디오를 표시할지 여부를 결정할 수 있다. 상태(192)에서, 사용자(110)의 머리의 방향(D1)이 특정 방향을 향하거나, 또는 사용자(110)의 위치(O)가 특정 영역(예, GPS(global positioning system) 좌표 및/또는 지오펜스에 의해 지리적으로 구분되는 영역)에 포함되는 경우, 웨어러블 장치(101)는 외부 광을 완전하게 차단할 수 있다. 제2 가상 공간(142)이 부분적으로 AR을 제공함을 가이드하기 위하여, 웨어러블 장치(101)는 부분적으로 개방된 곡면을 포함하는 제2 시각적 객체(132)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 절반으로 분할된 돔의 형태를 가지는 곡면을 포함하는 제2 시각적 객체(132)를 표시할 수 있다. 제2 시각적 객체(132)의 상기 곡면의 투명도를 이용하여, 웨어러블 장치(101)는 제2 가상 공간(142)이 부분적으로 AR을 제공함을 가이드할 수 있다. 예를 들어, 제2 시각적 객체(132)에 포함된 상기 곡면의 투명도는, 제1 시각적 객체(131)에 포함된 폐곡면의 투명도 보다 높을 수 있다.
도 1을 참고하면, 제3 가상 공간(143)의 적어도 일부분을 표시하는 상태(193)에서, 웨어러블 장치(101)는 사용자(110)의 위치(O) 및 방향(D1) 각각에 대응하는 제3 가상 공간(143) 내 지점(Vc) 및 방향(Dc)에 기반하여, 제3 가상 공간(143) 내 뷰 앵글을 조절할 수 있다. 조절된 뷰 앵글에 기반하여, 웨어러블 장치(101)는 디스플레이에 제3 가상 공간(143)의 일부분을 표시할 수 있다. 제3 가상 공간(143)이 AR을 제공하기 위해 형성된 경우, 웨어러블 장치(101)는 디스플레이에, 제3 가상 공간(143)에 포함된 가상 객체(예, 화면들(C, D))와 함께, 외부 객체(120)를 표시할 수 있다. 상태(193)에서, 사용자(110)의 이동에 의해 위치(O)가 변경되는 경우, 웨어러블 장치(101)는 변경된 위치(O)에 대응하는 제3 가상 공간(143) 내 지점에 기반하여, 상기 뷰 앵글을 변경할 수 있다. 상태(193)에서, 사용자(110)의 회전에 의해 방향(D1)이 변경되는 경우, 웨어러블 장치(101)는 변경된 방향(D1)에 매핑된 제3 가상 공간(143) 내 방향에 기반하여, 상기 뷰 앵글을 회전할 수 있다. 제3 가상 공간(143)이 AR을 제공함을 가이드하기 위하여, 웨어러블 장치(101)는 돔의 형태를 가지는 곡면과 상이한 형태를 가지는 제3 시각적 객체(133)를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 상이한 가상 공간들(예, 제1 가상 공간(141) 내지 제3 가상 공간(143)) 중 어느 하나를 선택적으로 표시하는 상태(예, 상태들(191, 192, 193))에서, 선택된 가상 공간의 카테고리에 기반하여, 웨어러블 장치(101)에 포함된 카메라를 조건부로 활성화할 수 있다. 예를 들어, VR을 제공하기 위한 가상 공간의 일부분을 표시하는 상태(예, 제1 가상 공간(141)의 일부분을 표시하는 상태(191))에서, 외부 공간과 독립적인 사용자 경험을 제공하기 때문에, 웨어러블 장치(101)는 상기 외부 공간에 대한 정보를 획득하기 위한 하드웨어(예, 카메라 및/또는 마이크)를 비활성화할 수 있다. 예를 들어, AR을 제공하기 위한 가상 공간의 일부분을 표시하는 상태(예, 제3 가상 공간(143)의 일부분을 표시하는 상태(193))에서, 외부 공간과 연동된 사용자 경험을 제공하기 위하여, 웨어러블 장치(101)는 상기 하드웨어를 활성화할 수 있다. 웨어러블 장치(101)가 카메라 및/또는 마이크를 조건부로 활성화하기 때문에, 웨어러블 장치(101)는 상기 카메라 및/또는 상기 마이크에 의해 소비되는 전력을 절감할 수 있다. 상기 전력의 절감에 기반하여, 웨어러블 장치(101)는 배터리의 전기 에너지를 절약할 수 있고, 보다 오랜 시간 충전과 독립적으로 동작할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)에 의해 제공되는 가상 공간(예, 제1 가상 공간(141) 내지 제3 가상 공간(143))에 대한 썸네일의 형태를 가지는, 시각적 객체(예, 제1 시각적 객체(131) 내지 제3 시각적 객체(133))를 표시할 수 있다. 웨어러블 장치(101)는 가상 공간의 특성을 표현한 시각적 객체를 이용하여, 사용자(110)에게 상기 가상 공간에 대한 정보를 전달할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체의 형태(예, 돔 및/또는 구의 형태), 및/또는 투명도를 이용하여, 상기 시각적 객체에 대응하는 가상 공간이 AR, VR 또는 부분적인 AR 중 어느 사용자 경험을 제공하는지를 가이드할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체 내에, 가상 공간에 포함된 적어도 하나의 가상 객체를 표현한 이미지를 삽입하여, 상기 적어도 하나의 가상 객체를 시각화할 수 있다. 웨어러블 장치(101)는, 복수의 가상 공간들을 생성한 상태에서, 상기 복수의 가상 공간들을 표현한 시각적 객체들의 사이즈 및/또는 거리(또는 깊이, 양안 시차)를 이용하여, 상기 복수의 가상 공간들 각각에 진입한 횟수, 및/또는 상기 복수의 가상 공간들 각각에서 포함된 가상 객체의 개수를 시각화할 수 있다.
이하에서는, 도 2를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)에 포함된 하나 이상의 하드웨어들, 및 웨어러블 장치(101)에 의해 실행되는 적어도 하나의 어플리케이션이 설명된다.
도 2는, 일 실시예에 따른, 웨어러블 장치(101)의 블록도의 일 예를 도시한다. 도 2의 웨어러블 장치(101)는 도 1의 웨어러블 장치(101)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 프로세서(210), 메모리(215), 디스플레이(220), 카메라(225), 또는 센서(230) 중 적어도 하나를 포함할 수 있다. 프로세서(210), 메모리(215), 디스플레이(220), 카메라(225), 및 센서(230)는 통신 버스(202)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 2의 하드웨어들 중 일부분(예, 프로세서(210), 및 메모리(215)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(101) 내에 포함된 하드웨어의 타입 및/또는 개수는 도 2에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 도 2에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 프로세서(210)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 상기 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(210)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에서, 웨어러블 장치(101)의 메모리(215)는, 웨어러블 장치(101)의 프로세서(210)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(215)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 디스플레이(220)는 사용자(예, 도 1의 사용자(110))에게 시각화된 정보(예를 들어, 도 1, 도 6a 내지 도 6b, 도 7a, 도 7b 및 도 7c의 화면)를 출력할 수 있다. 예를 들어, 디스플레이(220)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(210)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(220)는 FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 2의 디스플레이(220)는, 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b를 참고하여 후술될, 적어도 하나의 디스플레이(350)를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 카메라(225)는 빛의 색상 및/또는 밝기를 나타내는 전기 신호를 생성하는 하나 이상의 광 센서들(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서를 포함할 수 있다. 카메라(225)에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(225)는 복수의 광 센서들 각각의 전기 신호들을 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하는 2차원 프레임 데이터를 생성할 수 있다. 예를 들어, 카메라(225)를 이용하여 캡쳐한 사진 데이터는 카메라(225)로부터 획득한 하나의(a) 2차원 프레임 데이터를 의미할 수 있다. 예를 들어, 카메라(225)를 이용하여 캡쳐한 비디오 데이터는, 프레임 율(frame rate)을 따라 카메라(225)로부터 획득된, 복수의 2차원 프레임 데이터의 시퀀스(sequence)를 의미할 수 있다. 카메라(225)는, 카메라(225)가 광을 수신하는 방향을 향하여 배치되고, 상기 방향을 향하여 광을 출력하기 위한 플래시 라이트를 더 포함할 수 있다. 비록 단일(single) 블록에 기반하여, 카메라(225)가 도시되었으나, 웨어러블 장치(101) 내에 포함된 카메라(225)의 개수가 실시예에 제한되는 것은 아니다. 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b를 참고하여 후술될, 하나 이상의 카메라들(340)과 같이, 웨어러블 장치(101)는 하나 이상의 카메라들을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 센서(230)는, 웨어러블 장치(101)와 관련된 비-전기적 정보(non-electronic information)로부터, 웨어러블 장치(101)의 프로세서(210) 및/또는 메모리(215)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 상기 정보는, 센서 데이터로 지칭될 수 있다. 상기 센서(230)는, 웨어러블 장치(101)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서, 이미지 센서, 조도 센서 및/또는 ToF(time-of-flight) 센서, 웨어러블 장치(101)의 물리적인 모션을 탐지하기 위한 IMU(inertial measurement unit)을 포함할 수 있다. 웨어러블 장치(101)에 포함된 상기 IMU는, 상이한 축들(예, x 축, y 축 및/또는 z 축과 같이, 서로 수직인 축들)을 따라 웨어러블 장치(101)의 모션을 식별한 데이터를 출력할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 음성 신호(acoustic signal)를 출력하기 위한 스피커를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.
도 2의 일 실시예를 참고하면, 웨어러블 장치(101)의 메모리(215)에서, 웨어러블 장치(101)의 프로세서(210)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 프로그램, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 이하에서, 어플리케이션이 전자 장치(예, 웨어러블 장치(101)) 내에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 메모리(215) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치의 프로세서에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 메모리(215)에 저장된 하나 이상의 인스트럭션들을 실행하여, 도 8의 동작을 수행할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)에 설치된 프로그램들은, 타겟에 기반하여, 어플리케이션 계층(260), 프레임워크 계층(270) 및/또는 하드웨어 추상화 계층(hardware abstraction layer, HAL)(250)을 포함하는 상이한 계층들 중 어느 한 계층으로 분류될 수 있다. 예를 들어, 하드웨어 추상화 계층(250) 내에, 웨어러블 장치(101)의 하드웨어(예, 디스플레이(220), 카메라(225), 및/또는 센서(230))를 타겟으로 설계된 프로그램들(예, 드라이버)이 분류될 수 있다. 예를 들어, 프레임워크 계층(270) 내에, 하드웨어 추상화 계층(250) 및/또는 어플리케이션 계층(260) 중 적어도 하나를 타겟으로 설계된 프로그램들(예, 시선 추적기(271), 제스쳐 추적기(272), 모션 추적기(273), 외부 공간 인식기(274) 및/또는 가상 공간 매니저(275))이 분류될 수 있다. 프레임워크 계층(270)으로 분류되는 프로그램들은, 다른 프로그램에 기반하여 실행가능한 API(application programming interface)를 제공할 수 있다.
도 2를 참고하면, 어플리케이션 계층(260) 내에, 웨어러블 장치(101)를 제어하는 사용자(예, 도 1의 사용자(110))를 타겟으로 설계된 프로그램이 분류될 수 있다. 예를 들어, 어플리케이션 계층(260)으로 분류되는 프로그램은, 시간과 관련된 기능(예, 알람)을 실행하기 위한 시간 어플리케이션(261), 메모리(215)에 저장된 미디어 콘텐트를 열람하기 위한 갤러리 어플리케이션(262), 호 연결과 관련된 기능을 실행하기 위한 통화 어플리케이션(263), 및/또는 문서의 편집을 위한 워드프로세서 어플리케이션(264) 중 적어도 하나를 포함할 수 있다. 실시예가 이에 제한되는 것은 아니다. 예를 들어, 어플리케이션 계층(260)으로 분류되는 프로그램은, API를 호출하여, 프레임워크 계층(270)으로 분류되는 프로그램들에 의해 지원되는 기능의 실행을 야기할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 시선 추적기(271)의 실행에 기반하여, 웨어러블 장치(101)를 착용한 사용자의 시선과 관련된 정보를 처리할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라(225)로부터 상기 사용자의 눈을 포함하는 이미지를 획득할 수 있다. 상기 이미지 내에 포함된 동공의 위치 및/또는 방향에 기반하여, 웨어러블 장치(101)는 사용자의 시선의 방향을 식별할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 제스쳐 추적기(272)의 실행에 기반하여, 손을 포함하는 지정된 신체 부위의 모션을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라(225)로부터 상기 신체 부위를 포함하는 이미지 및/또는 비디오를 획득할 수 있다. 상기 이미지 및/또는 비디오에 의해 나타나는, 상기 지정된 신체 부위의 모션 및/또는 자세에 기반하여, 웨어러블 장치(101)는 상기 지정된 신체 부위에 의해 수행된 제스쳐를 식별할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 모션 추적기(273)의 실행에 기반하여, 웨어러블 장치(101)의 모션을 식별할 수 있다. 웨어러블 장치(101)가 사용자에 의해 착용된 상태 내에서, 웨어러블 장치(101)의 모션은, 상기 사용자의 머리의 모션과 관련될 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 머리의 방향(예, 도 1의 방향(D1))과 실질적으로 일치하는, 웨어러블 장치(101)의 방향을 식별할 수 있다. 웨어러블 장치(101)는 IMU를 포함하는 센서(230)의 센서 데이터에 기반하여, 웨어러블 장치(101)의 모션을 식별할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 외부 공간 인식기(274)의 실행에 기반하여, 웨어러블 장치(101)가 포함되거나, 또는 웨어러블 장치(101)에 인접한 외부 공간에 대한 정보를 획득할 수 있다. 웨어러블 장치(101)는 카메라(225) 및/또는 센서(230)를 이용하여, 상기 정보를 획득할 수 있다. 도 2를 참고하면, 외부 공간 인식기(274)가 실행된 상태 내에서, 웨어러블 장치(101)는 외부 공간 인식기(274)에 의해 기반하여 획득된 상기 정보에 기반하여, 상기 외부 공간에 매핑된 가상 공간을 식별할 수 있다. 외부 공간 인식기(274)의 실행에 기반하여, 웨어러블 장치(101)는 외부 공간 내에서 웨어러블 장치(101)의 위치 및/또는 방향을 식별할 수 있다. 예를 들어, 외부 공간 인식기(274) 및/또는 모션 추적기(273)의 실행에 기반하여, 웨어러블 장치(101)는, 외부 공간의 인식, 및 상기 외부 공간 내에서의 웨어러블 장치(101)의 위치를 인식하기 위한, SLAM(simultaneous localization and mapping)을 수행할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 가상 공간 매니저(275)의 실행에 기반하여, 하나 이상의 가상 공간들(예, 도 1의 제1 가상 공간(141) 내지 제3 가상 공간(143))을 관리할 수 있다. 예를 들어, 가상 공간 매니저(275)가 실행된 상태에서, 웨어러블 장치(101)는 가상 공간의 시각화(예, 렌더링)를 위한 정보의 추가, 삭제 및/또는 변경을 수행할 수 있다. 웨어러블 장치(101)는 가상 공간 매니저(275)의 실행에 기반하여, 도 1의 상태(190)와 같이, 웨어러블 장치(101)에 의해 관리되는 적어도 하나의 가상 공간의 리스트를 시각화할 수 있다. 시각화된 리스트는, 도 1의 제1 시각적 객체(131) 내지 제3 시각적 객체(133)와 같이, 가상 공간의 특성을 표현한 썸네일 객체를 포함할 수 있다. 상기 리스트 내에서 하나의 가상 공간을 선택하는 입력에 기반하여, 웨어러블 장치(101)는 상기 입력에 의해 선택된 가상 공간으로 진입할 수 있다. 예를 들어, 웨어러블 장치(101)는 디스플레이(220)에, 상기 입력에 의해 선택된 가상 공간의 적어도 일부분을 표시할 수 있다. 가상 공간 매니저(275)가 실행된 상태에서, 웨어러블 장치(101)는 상기 리스트에 기반하여, 복수의 가상 공간들 사이를 전환하는 기능을 실행할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 공간 매니저(275)의 실행에 기반하여, 디스플레이에서 상기 가상 공간들을 표현한 시각적 객체들을 정렬할 수 있다. 웨어러블 장치(101)는 디스플레이(220) 내 적어도 하나의 축을 따라 정렬될 수 있다. 웨어러블 장치(101)는 디스플레이(220)에 표시된 시각적 객체의 형태 및/또는 사이즈를, 가상 공간의 특성을 이용하여 조절할 수 있다. 웨어러블 장치(101)는 디스플레이(220)에 표시된 시각적 객체의 거리(또는 깊이)를, 가상 공간에 진입한 횟수를 나타내는 거리에 기반하여, 정렬할 수 있다. 예를 들어, 웨어러블 장치(101)는 표 1의 카테고리를 따라 구분된 가상 공간의 특성들에 기반하여, 상기 가상 공간에 대응하는 시각적 객체의 레이아웃을 결정할 수 있다.
카테고리 타입 레이아웃
사용자 경험 AR 100 % 의 투명도를 가지는 곡면
VR 20 %의 투명도를 가지는 폐곡면(돔 또는 구의 형태)
부분 AR(또는 부분 VR, 부분 VST) 부분적으로 개방된 곡면
어플리케이션의 개수 및/또는 타입 유휴(idle)( < 1개의 어플리케이션) 제1 사이즈
1 개의 확장 현실(extended reality, XR) 어플리케이션 제2 사이즈(> 제1 사이즈)
2 개의 XR 어플리케이션 제3 사이즈(> 제2 사이즈)
3 개의 XR 어플리케이션 제4 사이즈(> 제3 사이즈)
XR 어플리케이션 및 위젯 제5 사이즈(> 제4 사이즈)
몰입형(immersive) 어플리케이션 제6 사이즈(> 제5 사이즈)
백그라운드 재생 여부 백그라운드 재생 중 제1 밝기의 광원을 포함
백그라운드 재생 중단 광원 없음
실행 빈도 평균 이하로 실행된 어플리케이션 만 연결됨 제1 거리
평균 이상으로 실행된 어플리케이션과 연결됨 제1 거리 미만의 제2 거리
일 실시예에 따른, 웨어러블 장치(101)가 표 1의 레이아웃을 가지는 시각적 객체를 표시하는 일 예가, 도 6b, 도 7a, 도 7b 및 도 7c를 참고하여 설명된다. 표 1을 참고하면, 시각적 객체의 윤곽선과 관련된 곡면의 투명도는, 상기 시각적 객체에 대응하는 가상 공간이 AR, VR 및/또는 부분 AR에 기반하여 외부 공간에 대한 정보를 요구하는지 여부와 관련될 수 있다. 표 1의 투명도는, 웨어러블 장치(101)의 카메라(225)를 활성화할지 여부와 관련될 수 있다. 표 1을 참고하면, 시각적 객체의 사이즈는, 시각적 객체에 대응하는 가상 공간에 매칭된 어플리케이션의 개수 및/또는 타입(예, 몰입형 어플리케이션과 같이, 어플리케이션에 의해 전용되는(dedicated) 가상 공간을 제공하는 어플리케이션)에 의해 조절될 수 있다. 표 1을 참고하면, 시각적 객체에 포함된 광원은, 시각적 객체에 대응하는 가상 공간에 기반하여 실행되는 어플리케이션이 백그라운드 상태(예, 디스플레이(220)를 통해 표시되는 포어그라운드(foreground) 상태와 구분되는 상태)에서 실행되는지 여부를 가이드할 수 있다. 표 1을 참고하면, 시각적 객체가 표시되는 거리(또는 깊이, 양안 시차(binocular parallax))는, 상기 시각적 객체에 대응하는 가상 공간으로 진입한 횟수, 및/또는 상기 가상 공간과 연결된 어플리케이션의 실행 빈도와 관련될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 공간 매니저(275)가 실행된 상태에서, 어플리케이션 계층(260)으로 분류된 어플리케이션의 실행에 기반하여, 상기 어플리케이션으로부터 제공된 가상 객체(예, 화면, 윈도우 및/또는 위젯)를, 복수의 가상 공간들 중 어느 하나에 삽입할 수 있다. 예를 들어, 웨어러블 장치(101)는 디스플레이(220)를 통해 현재 표시되고 있는 일 가상 공간에, 상기 가상 객체를 삽입할 수 있다. 프로세서(210)에 의해 실행되는 어플리케이션이 종료되는 경우, 웨어러블 장치(101)는 가상 공간 매니저(275)에 기반하여, 상기 어플리케이션에 대응하는 가상 객체를, 가상 공간으로부터 제거할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 공간 매니저(275)의 실행에 기반하여, 카메라(225)의 상태를 활성 상태 또는 비활성 상태 중에서 전환할 수 있다. 카메라(225)의 활성 상태는, 카메라(225)를 제어하여 프레임 데이터를 주기적으로 또는 반복적으로 획득하는 상태를 포함할 수 있다. 카메라(225)의 활성 상태는, 지정된 전압을 초과하는 전압이 카메라(225)에 인가된 상태를 포함할 수 있다. 카메라(225)의 비활성 상태는, 상기 지정된 전압 미만의 전압이 카메라(225)에 인가된 상태를 포함할 수 있다. 카메라(225)의 비활성 상태는, 프레임 데이터의 출력을 적어도 일시적으로 중단하도록, 카메라(225)를 제어한 상태를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, VR과 같이, 카메라(225)를 이용하여 식별된 외부 공간에 대한 정보와 독립적으로 이용되는 가상 공간에 대하여, 카메라(225)의 상태를, 비활성 상태로 유지할 수 있다. 예를 들어, 웨어러블 장치(101)는, AR 및/또는 VST와 같이, 카메라(225)를 이용하여 식별된 외부 공간에 대한 정보가 이용되는 가상 공간에 대하여, 카메라(225)의 상태를 활성 상태로 전환할 수 있다. 활성 상태의 카메라(225)로부터 획득된 프레임 데이터에 기반하여, 웨어러블 장치(101)는 디스플레이(220)에 AR 및/또는 VST에 기반하는 UI를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 복수의 가상 공간들에, 프로세서(210)에 의해 실행되는 어플리케이션들을 할당할 수 있다. 특정 가상 공간에 대한 적어도 하나의 어플리케이션의 세트에 기반하여, 웨어러블 장치(101)는 특정 가상 공간을 표현한 시각적 객체의 사이즈 및/또는 레이아웃을 결정할 수 있다. 웨어러블 장치(101)는, 상기 복수의 가상 공간들을 표시한 이력에 기반하여, 복수의 가상 공간들을 표현한 복수의 시각적 객체들의 거리를 변경할 수 있다. 예를 들어, 제1 가상 공간으로 진입한 횟수가, 제2 가상 공간으로 진입한 횟수 보다 큰 경우, 웨어러블 장치(101)는 상기 제1 가상 공간에 대응하는 제1 시각적 객체의 거리를, 상기 제2 가상 공간에 대응하는 제2 시각적 객체의 거리 미만으로 변경할 수 있다. 웨어러블 장치(101)는 상기 거리에 기반하여, 디스플레이(220)에 표시되는 제1 시각적 객체의 거리 및/또는 양안 시차를 변경할 수 있다.
이하에서는, 도 3a 내지 도 3b 및/또는 도 4a 내지 도 4b를 이용하여, 일 실시예에 따른, 웨어러블 장치(101)의 폼 팩터의 일 예가 설명된다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다. 도 3b는, 일 실시예에 따른, 웨어러블 장치(300) 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(300)는, 도 1 내지 도 2의 웨어러블 장치(101)를 포함할 수 있다. 도 3a의 도시 내에서(as shown in), 일 실시예에 따른, 웨어러블 장치(300)는, 적어도 하나의 디스플레이(350), 및 적어도 하나의 디스플레이(350)를 지지하는 프레임을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(300)는, 도 3b의 동작 인식 카메라(340-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 디스플레이(350)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.
일 실시예에 따른, 웨어러블 장치(300) 내 적어도 하나의 디스플레이(350)는, 사용자에게 시각 정보를 제공할 수 있다. 상기 적어도 하나의 디스플레이(350)는, 도 2의 디스플레이(220)를 포함할 수 있다. 예를 들면, 적어도 하나의 디스플레이(350)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(350)는, 제1 디스플레이(350-1) 및/또는 제1 디스플레이(350-1)로부터 이격된 제2 디스플레이(350-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(350-1), 및 제2 디스플레이(350-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 3b를 참조하면, 적어도 하나의 디스플레이(350)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(300)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(350)에 의해 형성된 표시 영역은, 렌즈의 제1 면(331), 및 제2 면(332) 중 제2 면(332) 상에 형성될 수 있다. 사용자가 웨어러블 장치(300)를 착용하였을 때, 외부 광은 제1 면(331)으로 입사되고, 제2 면(332)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(350)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 적어도 하나의 디스플레이(350)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어(예, 광학 장치들(382, 384), 및/또는 적어도 하나의 웨이브가이드들(waveguides)(333, 334))를 통하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 적어도 하나의 디스플레이(350)로부터 송신되고, 광학 장치들(382, 384)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(333, 334)을 포함할 수 있다. 웨이브가이드들(333, 334)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(333, 334)의 타 단으로 전파될 수 있다. 웨이브가이드들(333, 334)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(333, 334)은, 적어도 하나의 디스플레이(350)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(300) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(333, 334) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 촬영 카메라(340-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(350)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(300)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(300)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(300)를 착용한 사용자는, 적어도 하나의 디스플레이(350)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임은, 웨어러블 장치(300)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(300)를 착용하였을 때, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(350)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
도 3a를 참조하면, 프레임은, 사용자가 웨어러블 장치(300)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(320)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(320)은, 웨어러블 장치(300)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(310)를 포함할 수 있다. 웨어러블 장치(300)가 사용자에 의해 착용될 시, 노즈 패드(310)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(304) 및 제2 템플(305)을 포함할 수 있다.
일 실시예에서, 프레임은, 제1 디스플레이(350-1)의 적어도 일부를 감싸는 제1 림(rim)(301), 제2 디스플레이(350-2)의 적어도 일부를 감싸는 제2 림(302), 제1 림(301)과 제2 림(302) 사이에 배치되는 브릿지(bridge)(303), 브릿지(303)의 일단으로부터 제1 림(301)의 가장자리 일부를 따라 배치되는 제1 패드(311), 브릿지(303)의 타단으로부터 제2 림(302)의 가장자리 일부를 따라 배치되는 제2 패드(312), 제1 림(301)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(304), 및 제2 림(302)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(305)을 포함할 수 있다. 제1 패드(311), 및 제2 패드(312)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(304) 및 제2 템플(305)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(304, 305)은, 도 3b의 힌지 유닛들(306, 307)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(304)은, 제1 림(301)과 제1 템플(304)의 사이에 배치된 제1 힌지 유닛(306)을 통해, 제1 림(301)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(305)은, 제2 림(302)과 제2 템플(305)의 사이에 배치된 제2 힌지 유닛(307)을 통해 제2 림(302)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(300)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 2의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(370), 안테나 모듈(375), 광학 장치들(382, 384), 스피커들(392-1, 392-2), 마이크들(394-1, 394-2, 394-3), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(390)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)의 마이크들(394-1, 394-2, 394-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 노즈 패드(310) 상에 배치된 제1 마이크(394-1), 제2 림(302) 상에 배치된 제2 마이크(394-2), 및 제1 림(301) 상에 배치된 제3 마이크(394-3)가 도 3b 내에 도시되지만, 마이크(394)의 개수, 및 배치가 도 3b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(300) 내에 포함된 마이크(394)의 개수가 두 개 이상인 경우, 웨어러블 장치(300)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(333, 334)로 송신할 수 있다. 예를 들면, 광학 장치들(382, 384)은, 프로젝터일 수 있다. 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)에 인접하여 배치되거나, 적어도 하나의 디스플레이(350)의 일부로써, 적어도 하나의 디스플레이(350) 내에 포함될 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)에 대응하고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)에 대응할 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)로부터 출력된 광을, 제1 웨이브가이드(333)로 송출할 수 있고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)로부터 출력된 광을, 제2 웨이브가이드(334)로 송출할 수 있다.
일 실시예에서, 카메라(340)는, 시선 추적 카메라(eye tracking camera, ET CAM)(340-1), 동작 인식 카메라(340-2), 및/또는 촬영 카메라(340-3)를 포함할 수 있다. 촬영 카메라(340-3), 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 촬영 카메라(340-3), 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는 도 2의 카메라(225)의 일 예일 수 있다. 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(300)는 시선 추적 카메라(340-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(340-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 3b 내에 도시되지만, 실시예가 이에 제한되는 것은 아니며, 시선 추적 카메라(340-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.
일 실시예에서, 촬영 카메라(340-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(350)로 제공할 수 있다. 적어도 하나의 디스플레이(350)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(382, 384)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(301) 및 제2 림(302) 사이에 배치되는 브릿지(303) 상에 배치될 수 있다.
일 실시예에서, 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(350)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(300)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(350)에 표시할 수 있다. 시선 추적 카메라(340-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(340-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 제1 림(301) 및/또는 제2 림(302) 내에서, 웨어러블 장치(300)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
일 실시예에서, 동작 인식 카메라(340-2)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(350)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(340-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(350)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(340-2)는, 제1 림(301) 및/또는 제2 림(302)상에 배치될 수 있다.
일 실시예에서, 웨어러블 장치(300) 내에 포함된 카메라(340)는, 상술된 시선 추적 카메라(340-1), 동작 인식 카메라(340-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(300)는 사용자의 FoV를 향하여 배치된 촬영 카메라(340-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(300)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(300), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(340)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(340)(예, FT(face tracking) 카메라)를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(300)는, 카메라(340)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(306, 307) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(370)은, 웨어러블 장치(300)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(370)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(370)은, 복수의 배터리 모듈(370)들일 수 있다. 복수의 배터리 모듈(370)들은, 각각 제1 템플(304)과 제2 템플(305) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(370)은 제1 템플(304) 및/또는 제2 템플(305)의 단부에 배치될 수 있다.
일 실시예에서, 안테나 모듈(375)은, 신호 또는 전력을 웨어러블 장치(300)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(375)은, 웨어러블 장치(300) 내 통신 회로와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(375)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(375)은, 제1 템플(304), 및/또는 제2 템플(305)의 일면에 가깝게 배치될 수 있다.
일 실시예에서, 스피커들(392-1, 392-2)은, 음향 신호를 웨어러블 장치(300)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(392-1, 392-2)은, 웨어러블 장치(300)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(304), 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(300)는, 제1 템플(304) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(392-2), 및 제2 템플(305) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(392-1)를 포함할 수 있다.
일 실시예에서, 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(300)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(300)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(301) 및/또는 제2 림(302) 상에 배치될 수 있다.
도 3b를 참고하면, 일 실시예에 따른, 웨어러블 장치(300)는 PCB(printed circuit board)(390)을 포함할 수 있다. PCB(390)는, 제1 템플(304), 또는 제2 템플(305) 중 적어도 하나에 포함될 수 있다. PCB(390)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(390) 상에서, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어들(예, 도 2를 참고하여 상술된 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(300)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 웨어러블 장치(300)의 자세, 및/또는 웨어러블 장치(300)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 IMU에 기반하여 웨어러블 장치(300)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치(400)의 외관의 일 예를 도시한다. 도 4a 내지 도 4b의 웨어러블 장치(400)는, 도 1 내지 도 2의 웨어러블 장치(101)를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(400)의 하우징의 제1 면(410)의 외관의 일 예가 도 4a에 도시되고, 상기 제1 면(410)의 반대되는(opposite to) 제2 면(420)의 외관의 일 예가 도 4b에 도시될 수 있다.
도 4a를 참고하면, 일 실시예에 따른, 웨어러블 장치(400)의 제1 면(410)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(400)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 3a 내지 도 3b의 제1 템플(304), 및/또는 제2 템플(305))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(350-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(350-2)가 제1 면(410) 상에 배치될 수 있다. 웨어러블 장치(400)는 제1 면(410) 상에 형성되고, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(440-1, 440-2)을 포함할 수 있다. 상기 카메라들(440-1, 440-2)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(400)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(440-3, 440-4)을 포함할 수 있다. 상기 카메라들(440-3, 440-4)은, FT 카메라로 참조될 수 있다.
도 4b를 참고하면, 도 4a의 제1 면(410)과 반대되는 제2 면(420) 상에, 웨어러블 장치(400)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)), 및/또는 센서(예, 깊이 센서(430))가 배치될 수 있다. 예를 들어, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)은, 웨어러블 장치(400)와 상이한 외부 객체를 인식하기 위하여, 제2 면(420) 상에 배치될 수 있다. 예를 들어, 카메라들(440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 미디어를 획득할 수 있다. 카메라(440-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(350-2)를 통해 표시될 프레임을 획득하도록, 웨어러블 장치(400)의 제2 면(420) 상에 배치될 수 있다. 카메라(440-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(350-1)를 통해 표시될 프레임을 획득하도록, 웨어러블 장치(400)의 제2 면(420) 상에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 웨어러블 장치(400), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(420) 상에 배치된 깊이 센서(430)를 포함할 수 있다. 깊이 센서(430)를 이용하여, 웨어러블 장치(400)는, 웨어러블 장치(400)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.
비록 도시되지 않았지만, 웨어러블 장치(400)의 제2 면(420) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(400)는 사용자의 머리에 착용되기 위한 폼 팩터를 가질 수 있다. 웨어러블 장치(400)는, 상기 머리에 착용된 상태 내에서, 적어도 하나의 디스플레이(350)에 표시된 가상 공간에 기반하여, 증강 현실 또는 가상 현실과 관련된 사용자 경험을 제공할 수 있다. 웨어러블 장치(400)는 적어도 하나의 디스플레이(350)를 통해 표시된 가상 공간의 특성에 기반하여, 카메라들(440-9, 440-10)을 활성화하거나, 또는 비활성화할 수 있다. 웨어러블 장치(400)는 적어도 하나의 디스플레이(350)에, 웨어러블 장치(400)에 의해 관리되는 복수의 가상 공간들 사이를 전환하기 위한 UI를 표시할 수 있다.
이하에서는, 도 5를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 적어도 하나의 디스플레이(350)에 표시하는 시각적 객체의 일 예가 설명된다.
도 5는, 일 실시예에 따른, 웨어러블 장치에 의해 제공되는 가상 공간들(예, 제1 가상 공간(141) 내지 제3 가상 공간(143))의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는 도 5의 웨어러블 장치를 포함할 수 있다. 도 5를 참고하여 설명되는 웨어러블 장치의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 5를 참고하면, 제1 가상 공간(141) 내지 제3 가상 공간(143)이 예시적으로 도시된다. 제1 가상 공간(141)은, VR에 기반하여 사용자에게 외부 공간과 상이한 화면을 표시하기 위해 형성된 것으로 가정한다. 제2 가상 공간(142)은, 부분 AR에 기반하여 AR 또는 VR 사이에서 전환가능한 화면을 표시하기 위해 형성된 것으로 가정한다. 제3 가상 공간(143)은, AR에 기반하여 외부 공간과 연동된 화면을 표시하기 위해 형성된 것으로 가정한다.
일 실시예에 따른, 웨어러블 장치는 제1 가상 공간(141) 내지 제3 가상 공간(143)을 렌더링하기 위한 정보를 획득할 수 있다. 상기 정보는, 도 2의 가상 공간 매니저(275)의 실행에 기반하여, 획득될 수 있다. 웨어러블 장치는, 어플리케이션의 실행에 기반하여, 제1 가상 공간(141) 내에 적어도 하나의 가상 객체를 배치할 수 있다. 도 5를 참고하면, 웨어러블 장치는 제1 가상 공간(141) 내에, 어플리케이션으로부터 제공된 화면(A) 및 가상 객체(532)를 배치할 수 있다. 화면(A)이 제1 가상 공간(141) 내에 배치되는 것은, 웨어러블 장치가 제1 가상 공간(141)의 좌표계(예, 3차원 좌표계)에 기반하여 화면(A)의 위치를 나타낸 좌표값들을 획득하는 동작을 포함할 수 있다. 유사하게, 웨어러블 장치는 가상 객체(532)의 제1 가상 공간(141) 내 좌표값들을 획득할 수 있다. 상기 좌표값들은, 제1 가상 공간(141) 내 원점(O)에 대한 가상 객체의 좌표를 나타낼 수 있다.
일 실시예에 따른, 웨어러블 장치는 제1 가상 공간(141)의 썸네일 객체인 제1 시각적 객체(131)를 생성 및/또는 표시할 수 있다. 제1 시각적 객체(131)는, 웨어러블 장치에 의해 생성된 가상 공간들의 리스트를 표시하기 위한 입력에 기반하여, 생성 및/또는 표시될 수 있다. 웨어러블 장치는 표 1의 레이아웃에 기반하여 제1 가상 공간(141)의 특성을 표현한 제1 시각적 객체(131)를 생성할 수 있다. 예를 들어, VR에 기반하여 사용자에게 외부 공간과 상이한 화면을 표시하기 위해 형성된 제1 가상 공간(141)에 대하여, 웨어러블 장치는 제1 시각적 객체(131) 내 폐곡면(511)의 투명도를, VR을 위한 가상 공간임을 나타내는 지정된 투명도(예, 표 1의 20 %의 투명도)로 설정할 수 있다. 상기 예시에서, 웨어러블 장치는 제1 시각적 객체(131) 내 폐곡면(511)의 형태를, 돔 또는 구의 형태로 설정할 수 있다. 도 5를 참고하면, 제1 가상 공간(141)의 원점(O)을 포함하는 기준 면(521)에 의해 구분된 돔의 형태를 가지는 제1 시각적 객체(131)가 예시적으로 도시되지만, 실시예가 이에 제한되는 것은 아니다. 폐곡면(511) 내에서, 웨어러블 장치는 제1 가상 공간(141) 내 가상 객체(예, 화면(A) 및/또는 가상 객체(532))를 적어도 부분적으로 표시할 수 있다. 예를 들어, 웨어러블 장치는 제1 시각적 객체(131) 내에서, 제1 가상 공간(141) 내 가상 객체(532)를 표현한 이미지(531)를, 폐곡면(511)과 중첩으로 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치는 제2 가상 공간(142)의 썸네일 객체인 제2 시각적 객체(132)를 생성 및/또는 표시할 수 있다. 웨어러블 장치는 제2 가상 공간(142)과 연동된 어플리케이션으로부터 제공된 윈도우(예, 화면(B)) 또는 위젯에 대한 이미지가 배치된 폐곡면(512)을 포함하는 제2 시각적 객체(132)를 표시할 수 있다. 예를 들어, 부분 AR에 기반하여 사용자에게 AR 또는 VR 사이에서 전환가능한 화면을 표시하기 위해 형성된 제2 가상 공간(142)에 대하여, 웨어러블 장치는 제2 시각적 객체(132) 내 폐곡면(512)의 투명도를, 부분 AR을 위한 가상 공간임을 나타내는 투명도(예, 20 %를 초과하고, 100 % 미만의 투명도)로 설정할 수 있다. 웨어러블 장치는 폐곡면(512)의 형태를, 부분적으로 개방된, 돔 또는 구의 형태로 설정할 수 있다. 도 5를 참고하면, 제2 가상 공간(142)의 원점(O)이 배치된 기준 면(522)을 포함하는 돔의 형태를 가지는 제2 시각적 객체(132)가 도시되지만, 실시예가 이에 제한되는 것은 아니다. 웨어러블 장치는 제2 시각적 객체(132) 내에서, 제2 가상 공간(142) 내 가상 객체를 표현한 이미지를, 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치는 제3 가상 공간(143)의 썸네일 객체인 제3 시각적 객체(133)를 생성 및/또는 표시할 수 있다. 웨어러블 장치는 제3 가상 공간(143)과 연동된 하나 이상의 어플리케이션들로부터 제공된 가상 객체(예, 화면들(C, D) 및/또는 가상 객체(542))에 대한 이미지를 포함하는 제3 시각적 객체(133)를 표시할 수 있다. 예를 들어, 웨어러블 장치는 제3 시각적 객체(133) 내에, 가상 객체(542)를 표현한 이미지(541)를 결합할 수 있다. AR에 기반하는 화면을 표시하기 위해 형성된 제3 가상 공간(143)에 대하여, 웨어러블 장치는 제3 시각적 객체(133) 내에 어느 폐곡면도 표시하지 않을 수 있다. 도 5를 참고하면, 폐곡면들(511, 512)과 독립적으로 생성되고, 제3 가상 공간(143)의 기준 면(523) 및 제3 가상 공간(143) 내 가상 객체를 표현한 이미지를 포함하는, 제3 시각적 객체(133)가 예시적으로 도시된다. 기준 면(523)에 대한 가상 객체의 위치를 표현하기 위하여, 웨어러블 장치는 제3 시각적 객체(133) 내에, 기준 면(523) 및 가상 객체를 연결하는 곡면(513)을 표시할 수 있다.
도 5를 참고하면, 일 실시예에 따른, 웨어러블 장치는 가상 공간을 통해 증강 현실 또는 가상 현실이 제공되는지 여부에 의해 구분되는 투명도를 가지는 폐곡면(예, 폐곡면들(511, 512))을 이용하여, 상기 가상 공간의 특성을 나타낸 시각적 객체를 생성하거나, 또는 표시할 수 있다. 웨어러블 장치는 디스플레이에 상기 시각적 객체를 표시하여, 웨어러블 장치를 착용한 사용자에게 가상 공간에 대한 특성을 집약적으로 전달할 수 있다. 시각적 객체는, 디스플레이에서 다른 시각적 객체와 나란히(parallelly) 표시될 수 있는 사이즈를 가질 수 있다.
이하에서는, 도 6a 내지 도 6b를 참고하여, 일 실시예에 따른, 웨어러블 장치가, 웨어러블 장치에 의해 관리되는 가상 공간들의 리스트를 표시하는 동작의 일 예가 설명된다.
도 6a 내지 도 6b는, 일 실시예에 따른, 웨어러블 장치(101)가 가상 공간들의 리스트가 포함된 화면을 표시하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는 도 6a 내지 도 6b의 웨어러블 장치(101)를 포함할 수 있다. 도 6a 내지 도 6b를 참고하면, 웨어러블 장치(101)의 디스플레이(예, 도 2의 디스플레이(220))에 의해 형성된 표시 영역에 적어도 하나의 가상 공간에 기반하는 UI를 표시하는 예시적인 상태들(601, 602)이 도시된다.
도 6a의 상태(601)에서, 웨어러블 장치(101)는 표시 영역에 특정 가상 공간(예, 도 1의 제2 가상 공간(142))의 적어도 일부분을 표시할 수 있다. 웨어러블 장치(101)는 표시 영역의 z 축에 기반하는 거리 감을 제공하기 위하여, 하나의 가상 객체가 사용자(110)의 두 눈들에서 상이한 위치들에 표시되게 만들 수 있다. 상기 위치들의 차이가, 양안 시차로 지칭될 수 있다. 양안 시차가 클 수록, 사용자(110)는 가상 객체가 가깝게 배치된 것으로 인식할 수 있다. 예를 들어, 가상 공간에 포함된 화면(B) 및 나무를 포함하는 배경 객체를 표시하는 상태(601)에서, 웨어러블 장치(101)는 화면(B)의 양안 시차를, 상기 배경 객체의 양안 시차 보다 크게 설정할 수 있다. 상기 예시에서, 사용자(110)는, 배경 객체가 화면(B) 보다 멀리 배치된 것으로 인식할 수 있다.
도 6a의 상태(601)에서, 웨어러블 장치(101)는 메뉴(610)를 표시할 수 있다. 웨어러블 장치(101)는 표시 영역의 지정된 위치에 메뉴(610)를 표시하여, 사용자(110)의 머리의 모션과 독립적으로 메뉴(610)를 표시 영역 내에서 유지할 수 있다. 예를 들어, 웨어러블 장치(101)가 상기 모션에 의해 회전되는 경우, 웨어러블 장치(101)는 화면(B), 화면(B) 너머에 배치된 배경 객체(예, 나무), 및 메뉴(610) 중에서, 화면(B) 및 배경 객체를 선택적으로 이동할 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)의 시선에 기반하여, 메뉴(610)를 조건부로 표시할 수 있다. 웨어러블 장치(101)는, 사용자(110)의 지정된 발언 및/또는 웨어러블 장치(101)에 형성된 버튼을 누르는 제스쳐에 응답하여, 메뉴(610)를 표시할 수 있다.
도 6a를 참고하면, 웨어러블 장치(101)는 메뉴(610) 내에, 웨어러블 장치(101)의 상태를 나타내는 하나 이상의 아이콘들을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 메뉴(610) 내에, 웨어러블 장치(101)에 포함된 배터리의 SOC를 나타내는 아이콘을 표시할 수 있다. 웨어러블 장치(101)는 메뉴(610) 내에, 웨어러블 장치(101)가 접속한 네트워크의 종류(예, 와이파이, LTE, 5G 및/또는 6G)를 나타내는 아이콘을 표시할 수 있다. 웨어러블 장치(101)는 메뉴(610) 내에, 현재 시간을 나타내는 아이콘 및/또는 텍스트를 표시할 수 있다. 웨어러블 장치(101)는 메뉴(610) 내에, 웨어러블 장치(101)에 로그인된 사용자(110)의 계정 정보를 표시하기 위한 아이콘(614)을 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 메뉴(610) 내에, 표시 영역을 통해 제공되는 가상 공간을 제어하기 위한 옵션들을 표시할 수 있다. 웨어러블 장치(101)는 메뉴(610)에서, 웨어러블 장치(101)에 설치된 어플리케이션(예, 도 2의 어플리케이션 계층(260)으로 분류된 하나 이상의 어플리케이션들)의 리스트를 표시하기 위한 아이콘(611)을 표시할 수 있다. 지정된 기간을 초과하여 아이콘(611)을 향하는 사용자(110)의 시선 및/또는 손가락을 탐지하는 것에 응답하여, 웨어러블 장치(101)는 아이콘(611)의 선택을 나타내는 입력을 식별할 수 있다. 상기 입력에 응답하여, 웨어러블 장치(101)는, 아이콘(611)에 대응하는 어플리케이션의 리스트를 표시할 수 있다. 웨어러블 장치(101)는 메뉴(610)에서, 표시 영역을 통해 제공되는 가상 공간과 매칭된 하나 이상의 어플리케이션들의 리스트를 표시하기 위한 아이콘(613)을 표시할 수 있다. 웨어러블 장치(101)는 메뉴(610)에서, 웨어러블 장치(101)에 의해 생성된 하나 이상의 가상 공간들의 리스트를 표시하기 위한 아이콘(612)을 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 아이콘(612)을 선택하기 위한 제스쳐(예, 아이콘(612)을 향하는 사용자(110)의 시선 및/또는 손가락)를 탐지하는 것에 기반하여, 웨어러블 장치(101)는 상기 하나 이상의 가상 공간들의 리스트를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 하나 이상의 가상 공간들의 리스트를 표시하는 상태(602)로 스위칭할 수 있다.
도 6b의 상태(602)에서, 웨어러블 장치(101)는, 가상 공간들(예, 도 1의 제1 가상 공간(141) 내지 제3 가상 공간(143))에 대한 시각적 객체들(예, 제1 시각적 객체(131) 내지 제3 시각적 객체(133))을 디스플레이에 표시할 수 있다. 제2 시각적 객체(132)에 대응하는 제2 가상 공간의 적어도 일부분을 표시한 상태(601)로부터 상태(602)로 전환된 경우, 웨어러블 장치(101)는 제2 시각적 객체(132)와 연계된 인디케이터(630)를 이용하여, 상기 제2 가상 공간이 활성화되어 있음을 가이드할 수 있다. 상기 제2 가상 공간이 활성화된 것은, 상기 제2 가상 공간과 연동된 적어도 하나의 어플리케이션(예, 화면(B)을 제공하는 어플리케이션)이 실행 중임을 의미할 수 있다. 인디케이터(630)와 함께, 웨어러블 장치(101)는 제2 시각적 객체(132)에 광원을 결합하여, 제2 시각적 객체(132)를 다른 시각적 객체와 상이한 밝기로 표시할 수 있다. 예를 들어, 제2 시각적 객체(132)의 밝기는, 제1 시각적 객체(131) 및/또는 제3 시각적 객체(133)의 밝기 보다 밝을 수 있다.
일 실시예에서, 웨어러블 장치(101)는 제1 가상 공간과 연동된 어플리케이션(예, 제1 가상 공간에 화면(A) 및/또는 가상 객체를 배치하도록 실행된 어플리케이션)의 개수에 기반하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체(131)의 사이즈를 변경할 수 있다. 표 1을 참고하여 상술한 바와 같이, 웨어러블 장치(101)는, 특정 가상 공간에 대응하는 시각적 객체의 사이즈가, 상기 특정 가상 공간과 연동된 어플리케이션의 개수에 비례하도록 설정할 수 있다. 도 6b를 참고하면, 두 개의 어플리케이션들(예, 화면들(C, D) 각각을 제공한 어플리케이션들)과 연동된 제3 가상 공간에 대응하는 제3 시각적 객체(133)의 사이즈가, 두 개 미만의 어플리케이션과 연동된 제1 가상 공간에 대응하는 제1 시각적 객체(131)의 사이즈 보다 클 수 있다.
도 6b의 상태(602)에서, 웨어러블 장치(101)는, 가상 공간에 진입한 이력(예, 빈도 및/또는 횟수)에 기반하여, 디스플레이에서 상기 가상 공간에 대응하는 시각적 객체의 거리(예, 깊이 및/또는 양안 시차)를 변경할 수 있다. 도 6b의 예시적인 상태(602)에서, 웨어러블 장치(101)는 x-z 평면에 평행한 기준 면(620) 상에서, 상이한 거리들(Z1, Z2, Z3)에 기반하여 제1 시각적 객체(131) 내지 제3 시각적 객체(133)를 표시할 수 있다. 일 실시예에서, 제1 시각적 객체(131) 내지 제3 시각적 객체(133)가 디스플레이를 통해 보이는 거리들의 순서는, 제1 시각적 객체(131) 내지 제3 시각적 객체(133) 각각에 대응하는 제1 가상 공간 내지 제3 가상 공간에 진입한 횟수의 내림차순(descending order)일 수 있다. 도 6b를 참고하면, 웨어러블 장치(101)는, 사용자(110)로부터 가장 가까운 거리(Z1)에 제3 시각적 객체(133)를 배치하여, 제3 시각적 객체(133)에 대응하는 제3 가상 공간이 다른 가상 공간 보다 자주(frequently) 또는 더 오랫동안 이용되었음을 가이드할 수 있다. 웨어러블 장치(101)는, 거리(Z1) 보다 먼 거리(Z2)에 제1 시각적 객체(131)를 배치하여, 제1 시각적 객체(131)에 대응하는 제1 가상 공간이 제3 가상 공간 보다 덜(less frequently) 이용되었음을 가이드할 수 있다. 웨어러블 장치(101)는 제2 시각적 객체(132)를 거리들(Z1, Z2, Z3) 중에서 가장 먼 거리(Z3)에 배치하여, 제2 시각적 객체(132)에 대응하는 제2 가상 공간이, 모든 가상 공간들(예, 제1 가상 공간 내지 제3 가상 공간) 중에서 가장 덜, 또는 가장 짧은 기간 동안 이용되었음을 가이드할 수 있다. 거리(Z3)에 대응하는 양안 시차가, 거리들(Z1, Z2)의 양안 시차들 보다 작을 수 있다.
도 6b의 예시적인 상태(602)에서, 웨어러블 장치(101)를 착용한 사용자(110)는, 제1 시각적 객체(131) 내지 제3 시각적 객체(133)의 사이즈 및/또는 거리에 기반하여, 제1 가상 공간 내지 제3 가상 공간의 특성을 인식할 수 있다. 예를 들어, 상대적으로 큰 사이즈를 가지는 제3 시각적 객체(133)에 기반하여, 사용자(110)는 제3 시각적 객체(133)에 대응하는 제3 가상 공간이, 다른 가상 공간 보다 많은 어플리케이션과 연동됨을 인식할 수 있다. 예를 들어, 상대적으로 멀리 표시된 제2 시각적 객체(132)에 기반하여, 사용자(110)는 제2 가상 공간이 다른 가상 공간 보다 덜 이용되었음을 인식할 수 있다. 제1 시각적 객체(131)의 폐곡면의 투명도 및/또는 형태에 기반하여, 사용자(110)는 제1 시각적 객체(131)의 선택에 의해 VR을 위한 제1 가상 공간으로 진입하게 될 것임을 인식할 수 있다. 제2 시각적 객체(132)의 폐곡면의 투명도 및/또는 형태에 기반하여, 웨어러블 장치(101)는 사용자(110)에게 제2 시각적 객체(132)의 선택에 의해 부분 AR과 관련된 사용자 경험을 제공하기 위한 제2 가상 공간을 가이드할 수 있다. 제3 시각적 객체(133)의 형태를 이용하여, 웨어러블 장치(101)는 AR을 위한 제3 가상 공간에 대한 특성을 시각화할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 가상 공간에 대응하는 시각적 객체의 사이즈 및/또는 거리를 이용하여 상기 가상 공간의 특성을 시각화할 수 있다. 예를 들어, 시각적 객체의 사이즈는, 시각적 객체에 대응하는 가상 공간에 포함된 가상 객체 및/또는 상기 가상 공간과 연동된 어플리케이션의 개수에 비례할 수 있다. 예를 들어, 시각적 객체의 양안 시차는, 시각적 객체에 대응하는 가상 공간에 진입한 횟수, 빈도 및/또는 기간에 비례할 수 있다. 시각적 객체의 양안 시차가 클 수록, 상기 시각적 객체를 보는 사용자(110)는, 상기 시각적 객체가 가깝게 배치된 것으로 인식할 수 있다. 웨어러블 장치(101)는 디스플레이에서 시각적 객체의 사이즈 및/또는 거리감을 이용하여, 상기 시각적 객체에 대응하는 가상 공간의 특성을 시각화할 수 있다.
이하에서는, 웨어러블 장치(101)가 상이한 가상 공간들에 대응하는 제1 시각적 객체(131) 내지 제3 시각적 객체(133) 중 어느 하나를 선택하는 입력을 식별하는 동작의 일 예가 설명된다.
도 7a, 도 7b 및 도 7c는, 일 실시예에 따른, 일 실시예에 따른, 웨어러블 장치(101)가 가상 공간들의 리스트에서, 특정 가상 공간을 선택하는 입력에 기반하여 수행하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 7a, 도 7b 및 도 7c의 웨어러블 장치(101)를 포함할 수 있다. 도 7a, 도 7b 및 도 7c를 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 7a를 참고하면, 웨어러블 장치(101)에 의해 식별되는 다양한 입력이 예시적으로 도시된다. 도 7a의 상태(701)는, 도 6b의 상태(602)에 대응할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225) 및/또는 도 3b의 ET CAM(340-1))를 이용하여, 사용자(110)의 시선의 방향(G)을 나타내는 정보를 획득할 수 있다. 상기 정보는, 사용자(110)의 눈을 포함하는 이미지 및/또는 비디오를 포함할 수 있다. 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225) 및/또는 도 3b의 동작 인식 카메라(340-2))를 이용하여, 손(711)의 손가락 끝의 방향(F)을 나타내는 정보를 획득할 수 있다. 상기 정보는, 손(711)을 포함하는 이미지 및/또는 비디오를 포함할 수 있다. 웨어러블 장치(101)는 리모트 컨트롤러(720)와 같은 외부 전자 장치와 통신하는 경우(예, 페어링), 리모트 컨트롤러(720)로부터 수신된 정보에 기반하여, 리모트 컨트롤러(720)가 향하는 방향(C)을 식별할 수 있다. 리모트 컨트롤러(720)로부터 수신되는 상기 정보는, 리모트 컨트롤러(720)에 포함된 IMU에 의해 식별된, 리모트 컨트롤러(720)의 모션에 대한 데이터를 포함할 수 있다. 리모트 컨트롤러(720)의 모션은, 리모트 컨트롤러(720)를 쥔 손(712)에 의해 발생될 수 있다.
도 7a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 방향들(G, F, C) 중 적어도 하나에 기반하여, 디스플레이에 의해 표시된 시각적 객체들(예, 제1 시각적 객체(131) 내지 제3 시각적 객체(133)) 중 어느 하나를 선택하는 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 지정된 기간을 초과하여 고정된 시선의 방향(G) 및/또는 손가락 끝의 방향(F)에 기반하여, 상기 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 리모트 컨트롤러(720)의 지정된 버튼이 눌린 시점의 리모트 컨트롤러(720)의 방향(C)에 기반하여, 상기 입력을 식별할 수 있다. 상기 입력에 응답하여, 웨어러블 장치(101)는 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시할 수 있다. 도 7b 내지 도 7c를 참고하면, 리모트 컨트롤러(720)에 기반하여 제3 시각적 객체(133)를 선택하는 입력을 식별한 예시적인 상태들(702, 703)이 도시된다. 리모트 컨트롤러(720)를 통해 상기 입력을 식별한 경우, 웨어러블 장치(101)는 리모트 컨트롤러(720)를 제어하여, 리모트 컨트롤러(720)가 상기 입력에 대한 햅틱 피드백(예, 진동 신호)을 출력하게 만들 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 시각적 객체 내에 가상 공간에 포함된 상이한 가상 객체들을 표시할 수 있다. 웨어러블 장치(101)는 상기 가상 공간 내 가상 객체들의 위치 관계에 기반하여, 시각적 객체 내에 가상 객체들을 표현한 이미지들을 결합할 수 있다. 예를 들어, 시각적 객체와 결합된 상기 이미지들의 위치 관계 및 상기 가상 객체들의 위치 관계는 서로 일치할 수 있다. 웨어러블 장치(101)는 시각적 객체를 선택하는 입력에 기반하여, 상기 입력에 의해 특정된 시각적 객체 내 지점을 식별할 수 있다. 웨어러블 장치(101)는 상기 지점에 매핑된 가상 객체가 포함된 화면을, 디스플레이에 표시할 수 있다.
도 7b를 참고하면, 웨어러블 장치(101)가 제3 시각적 객체(133) 내에서 화면(C)을 표현한 이미지를 향하는 리모트 컨트롤러(720)의 방향(C1)을 식별한 것으로 가정한다. 도 7b의 상태(702)에서, 상기 방향(C1)을 식별한 웨어러블 장치(101)는 제3 시각적 객체(133)에 대응하는 제3 가상 공간에 포함된 화면(C)을, 디스플레이의 중심에 표시할 수 있다. VST 및/또는 AR을 제공하기 위한 제3 가상 공간의 일부분을 표시하는 상태(702)에서, 웨어러블 장치(101)는, 외부 객체(120)가 화면(C)과 함께 보이게 만들 수 있다. 상태(702)에서, 웨어러블 장치(101)는 제3 가상 공간에서 화면(C)을 중심으로 뷰 앵글을 형성하여, 화면(C)이 디스플레이 및/또는 표시 영역의 중심에 표시되게 만들 수 있다.
도 7c의 상태(703)에서, 리모트 컨트롤러(720)는 손(712)에 의해 제3 시각적 객체(133)를 통해 표현된 제3 가상 공간 내 화면(D)을 향할 수 있다. 상태(703)에서, 제3 시각적 객체(133)를 통해 표현된 제3 가상 공간 내 화면(D)을 향하는 리모트 컨트롤러(720)의 방향(C2)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 디스플레이에 화면(D)을 포함하는 상기 제3 가상 공간의 일부분을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 방향(C2)에 대응하는 뷰 앵글(예, 화면(D)을 향하는 뷰 앵글)을 이용하여, 화면(D)이 포함된 제3 가상 공간의 일부분을, 디스플레이에 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 방향들(G, F, C) 중 적어도 하나에 의해 선택된 가상 공간의 특성에 기반하여, 웨어러블 장치(101)의 카메라(예, 도 2의 카메라(225))를 활성화할 수 있다. 예를 들어, 가상 현실을 제공하기 위한 제1 가상 공간에 대응하는 제1 시각적 객체(131)가 선택된 경우, 웨어러블 장치(101)는 상기 카메라를 비활성화할 수 있다. 예를 들어, 증강 현실(또는 VST)을 제공하기 위한 제3 가상 공간에 대응하는 제3 시각적 객체(133)가 선택된 경우, 웨어러블 장치(101)는 상기 카메라를 활성화하여, 외부 공간에 대한 이미지 및/또는 비디오를 획득할 수 있다. 웨어러블 장치(101)는 획득된 이미지 및/또는 비디오를 이용하여, 제3 가상 공간으로 진입한 상태에서 상기 외부 공간을 인식할 수 있다. 예를 들어, 웨어러블 장치(101)가 도 2의 외부 공간 인식기(274)를 이용하여 외부 공간을 인식하는 것은, AR, VST 및/또는 부분 AR을 위한 가상 공간(예, 제2 시각적 객체(132) 내지 제3 시각적 객체(133)에 대응하는 제2 가상 공간 내지 제3 가상 공간)을 선택하는 입력에 의해 선택적으로 수행될 수 있다. 외부 공간을 선택적으로 인식하여, 웨어러블 장치(101)는 외부 공간의 인식을 위해 수행되는 연산량을 줄일 수 있다.
상술한 바와 같이, 가상 공간들에 대응하는 시각적 객체들이 정렬된 상태(701)에서, 일 실시예에 따른, 웨어러블 장치(101)는 특정 시각적 객체를 선택하는 입력에 응답하여, 특정 가상 공간의 일부분을 표시할 수 있다. 웨어러블 장치(101)는 상기 입력에 의해 특정된 시각적 객체의 일부분에 기반하여, 가상 공간의 뷰 앵글을 조절할 수 있다. 웨어러블 장치(101)는 상기 입력에 의해 선택된 가상 공간의 특성에 기반하여 카메라를 활성화할지 여부를 결정할 수 있다.
이하에서는, 도 8을 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 가상 공간들의 리스트에 기반하여 수행하는 동작의 일 예가 설명된다.
도 8은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는 도 8의 웨어러블 장치를 포함할 수 있다. 도 8을 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 8을 참고하면, 동작(810)에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 가상 공간들 각각을 표현한 시각적 객체들을, 시각적 객체에 대응하는 가상 공간에 진입한 횟수를 나타내는 거리에 기반하여 표시할 수 있다. 예를 들어, 웨어러블 장치는 동작(810)을 수행하여, 도 6b의 상태(602) 및/또는 도 7a의 상태(701)로 전환할 수 있다. 웨어러블 장치는 거리에 대응하는 양안 시차를 이용하여, 시각적 객체에 대한 거리 감을 제공할 수 있다.
도 8을 참고하면, 동작(820)에서, 일 실시예에 따른, 웨어러블 장치는, 시각적 객체들 중 제1 시각적 객체를 선택하는 입력을 수신하였는지 여부를 식별할 수 있다. 동작(820)의 입력은, 도 7a의 방향들(G, F, C) 중 적어도 하나에 기반하여 식별될 수 있다. 예를 들어, 웨어러블 장치는, 웨어러블 장치를 착용한 사용자(예, 도 1의 사용자(110))의 시선 및/또는 손(예, 도 7a의 손(711))의 방향 및/또는 웨어러블 장치에 연결된 외부 전자 장치(예, 도 7a의 리모트 컨트롤러(720))의 방향에 기반하여, 상기 제1 시각적 객체를 선택하는 입력을 식별할 수 있다. 동작(820)의 입력을 수신하기 이전에(820-아니오), 웨어러블 장치는 동작(810)에 기반하여 시각적 객체들을 표시하는 것을 유지할 수 있다.
제1 시각적 객체를 선택하는 입력을 수신한 상태에서(820-예), 일 실시예에 따른, 웨어러블 장치는 동작(830)을 수행하여, 카메라(예, 도 2의 카메라(225))의 이미지 및/또는 비디오가, 제1 시각적 객체에 대응하는 제1 가상 공간의 표시를 위해 요구되는지 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치는 상기 제1 시각적 객체에 대응하는 상기 제1 가상 공간의 특성에 기반하여, 카메라를 활성화할지 여부를 결정할 수 있다. 제1 시각적 객체에 대응하는 제1 가상 공간이 외부 공간으로부터 완전히 격리된 가상 현실을 제공하기 위해 형성된 경우, 웨어러블 장치는 카메라의 이미지 및/또는 비디오가 제1 가상 공간의 표시를 위해 요구되지 않음을 식별할 수 있다. 제1 가상 공간이 외부 공간과 혼합된 증강 현실(또는 혼합 현실, 확장 현실 및/또는 VST)을 제공하기 위해 형성된 경우, 웨어러블 장치는 카메라의 이미지 및/또는 비디오가 제1 가상 공간의 표시를 위해 요구됨을 식별할 수 있다.
카메라의 이미지 및/또는 비디오가 제1 가상 공간의 표시를 위해 요구되는 상태에서(830-예), 웨어러블 장치는 동작(840)을 수행하여, 카메라를 활성화하고, 제1 가상 공간의 적어도 일부분과 함께, 활성화된 카메라의 이미지 및/또는 비디오를 표시할 수 있다. 예를 들어, 웨어러블 장치는 AR, MR 및/또는 VST에 기반하는 사용자 경험을 제공하기 위한 제1 가상 공간을 식별한 상태에서, 동작(840)을 수행할 수 있다. 동작(840)에 기반하여, 웨어러블 장치는 이미지 및/또는 비디오에 의해 표현된 외부 공간, 및 제1 가상 공간이 결합된 UI를 표시할 수 있다. 예를 들어, 도 1의 상태들(192, 193), 도 6a의 상태(601)) 및/또는 도 7b 내지 도 7c의 상태들(702, 703)은, 웨어러블 장치가 동작(840)을 수행한 예시적인 상태일 수 있다.
카메라의 이미지 및/또는 비디오가 제1 가상 공간의 표시를 위해 요구되지 않는 상태에서(830-아니오), 웨어러블 장치는 동작(850)을 수행하여, 카메라를 비활성화하고, 제1 가상 공간의 적어도 일부분에 대한 렌더링을 수행하여, 제1 가상 공간의 적어도 일부분을 표시할 수 있다. 예를 들어, 웨어러블 장치는 VR에 기반하는 사용자 경험을 제공하기 위한 제1 가상 공간을 식별한 상태에서, 동작(850)을 수행할 수 있다. 동작(850)에 기반하여, 웨어러블 장치는 외부 공간을 가리는 이미지 및/또는 비디오를, 디스플레이(예, 도 2의 디스플레이(220))에 표시할 수 있다. 예를 들어, 도 1의 상태(191)는, 웨어러블 장치가 동작(850)을 수행한 예시적인 상태일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 복수의 가상 공간들을 이용하여, 웨어러블 장치에 의해 실행되는 적어도 하나의 어플리케이션을 관리할 수 있다. 웨어러블 장치는 디스플레이에서, 복수의 가상 공간들을 표현한 시각적 객체들을 거리를 따라 정렬할 수 있다. 예를 들어, 시각적 객체가 디스플레이에서 표시되는 거리(또는 양안 시차)는, 시각적 객체에 대응하는 가상 공간 및 웨어러블 장치의 사용자(예, 도 1의 사용자(110)) 사이의 상호작용 이력을 나타낼 수 있다. 웨어러블 장치는 시각적 객체의 형태 및/또는 사이즈에 기반하여, 시각적 객체에 대응하는 가상 공간의 특성 및/또는 프리뷰를, 사용자에게 제공할 수 있다.
도 1 내지 도 8을 참고하여 상술된, 웨어러블 장치의 동작은, 네트워크를 통해 제공되는 메타버스 서비스와 관련될 수 있다. 이하에서는, 도 9를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)에 기반하여 사용자에게 제공되는 메타버스 서비스의 일 예가 설명된다.
메타버스(Metaverse)는 '가상', '초월'을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다. 메타버스 서비스는, 증강 현실(augmented reality, AR), 가상 현실(virtual reality environment, VR), 혼합 현실(mixed environment, MR) 및/또는 확장 현실(extended reality, XR)에 기반하여, 상기 가상 세계에 대한 몰입을 강화하기 위한 미디어 콘텐트를 제공할 수 있다.
예를 들어, 메타버스 서비스에 의해 제공되는 미디어 콘텐트는, 아바타에 기반하는 게임, 콘서트, 파티 및/또는 회의를 포함하는 소셜 인터랙션(social interaction) 콘텐트를 포함할 수 있다. 예를 들어, 상기 미디어 콘텐트는, 광고, 사용자 제작 콘텐트(user created content) 및/또는 제작물의 판매 및/또는 쇼핑과 같은 경제 활동을 위한 정보를 포함할 수 있다. 상기 사용자 제작 콘텐트의 소유권은 블록체인 기반의 NFT(non-fungible token)에 의하여 증명될 수도 있다. 메타버스 서비스는, 실물 화폐 및/또는 암호 화폐에 기반하는 경제 활동을 지원할 수 있다. 메타버스 서비스에 의하여, 디지털 트윈(digital twin) 또는 라이프 로깅(life logging)과 같이, 현실 세계와 연계된 가상 콘텐트가 제공될 수 있다.
도 9는, 서버(910)를 통해 메타버스 서비스를 제공받는 네트워크 환경(901)에 대한 예시도이다.
도 9를 보면, 네트워크 환경(901)은, 서버(910), 사용자 단말(920)(예, 제1 단말(920-1) 및 제2 단말(920-2)), 및 서버(910) 와 사용자 단말(920)을 연결하는 네트워크를 포함할 수 있다. 네트워크 환경(901) 내에서, 서버(910)는 사용자 단말(920)로 메타버스 서비스를 제공할 수 있다. 네트워크는, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(930)에 의해 형성될 수 있다. 사용자 단말(920)은, 네트워크를 통해 서버(910)로 접속하여, 사용자 단말(920)의 사용자에게 메타버스 서비스와 관련된 UI(user interface)를 출력할 수 있다. 상기 UI에 기반하여, 사용자 단말(920)은 사용자로부터 메타버스 서비스로 입력될 정보를 획득하거나, 또는 사용자에게 메타버스 서비스와 관련된 정보(예, 멀티미디어 콘텐트)를 출력할 수 있다.
이때, 서버(910)는 가상 공간을 제공하여 사용자 단말(920)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(920)은 서버(910)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(910)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다. 상기 S/W 에이전트는 서버(910)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩되어 제공될 수 있다.
일 실시예에서, 메타버스 서비스는, 서버(910)를 이용하여 사용자 단말(920) 및/또는 사용자에게 서비스가 제공될 수 있다. 실시예가 이에 제한되는 것은 아니며, 메타버스 서비스는 사용자들 사이의 개별적인 접촉을 통해 제공될 수 있다. 예를 들어, 네트워크 환경(901) 내에서, 메타버스 서비스는 서버(910)와 독립적으로, 제1 단말(920-1) 및 제2 단말(920-2) 사이의 직접적인 연결에 의해 제공될 수 있다. 도 9를 참고하면, 네트워크 환경(901) 내에서, 제1 단말(920-1) 및 제2 단말(920-2)은 적어도 하나의 중간 노드(930)에 의해 형성된 네트워크를 통해 서로 연결될 수 있다. 제1 단말(920-1) 및 제2 단말(920-2)이 직접적으로 연결된 일 실시예에서, 제1 단말(920-1) 및 제2 단말(920-2) 중 어느 한 사용자 단말이, 서버(910)의 역할을 수행할 수 있다. 예를 들어, 디바이스와 디바이스의 연결(예, P2P(peer-to-peer) 연결)만으로 메타버스 환경이 구성될 수 있다.
일 실시예에서, 사용자 단말(920)(혹은 제 1 단말(920-1), 제 2 단말(920-2)을 포함하는 사용자 단말(920))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(920)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(920-2)), AR 기기(예, 제1 단말(920-1)), VR 기기, MR 기기, VST(Video See Through) 기기, OST(Optical See Through) 장치, 스마트 렌즈, 스마트 미러, 입출력 가능한 TV 또는 프로젝터를 포함할 수 있다.
네트워크(예, 적어도 하나의 중간 노드(930)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 Wifi, BT를 포함하는 근거리 네트워크(예, 제1 단말(920-1), 및 제2 단말(920-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다. 일 실시예에서, 도 9의 사용자 단말(920)은, 도 1 내지 도 8의 웨어러블 장치(101)를 포함할 수 있다.
일 실시예에서, 웨어러블 장치에 의해 제공되는 가상 공간들의 리스트를 이용하여, 가상 공간들의 특성을 시각화하는 방안이 요구될 수 있다. 상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)(예, 도 1 내지 도 7의 웨어러블 장치(101))는, 센서(예, 도 2의 센서(230)), 디스플레이(예, 도 2의 디스플레이(220)), 인스트럭션들을 저장하기 위한 메모리(예, 도 2의 메모리(215)), 및 프로세서(예, 도 2의 프로세서(210))를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제1 가상 공간(예, 도 1의 가상 공간(141))과 연동된 어플리케이션의 개수에 기반하는 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체(예, 도 1, 도 5, 도 6a 내지 도 6b, 도 7a, 도 7b 및 도 7c의 제1 시각적 객체(131))를 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제2 가상 공간(예, 도 1의 제2 가상 공간(142))과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체(예, 도 1, 도 5, 도 6a 내지 도 6b, 도 7a, 도 7b 및 도 7c의 제2 시각적 객체(132))를 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 구성될 수 있다. 일 실시예에 따른, 웨어러블 장치는 가상 공간들의 특성을 표현한 시각적 객체들을 표시할 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 가상 공간과 연동된 어플리케이션으로부터 제공된 윈도우 또는 위젯에 대한 이미지가 배치된 폐곡면(예, 도 5의 폐곡면(511))을 포함하는, 상기 제1 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 가상 공간을 이용하여 증강 현실을 제공함을 나타내는 제1 투명도 또는 상기 제1 가상 공간을 이용하여 가상 현실을 제공함을 나타내는 제2 투명도 중 어느 하나에 기반하여, 상기 폐곡면을 표시하도록, 구성될 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 폐곡면에 의해 구분되는 상기 제1 시각적 객체의 일부분에서, 윈도우에 대한 이미지를 선택하는 상기 입력에 응답하여, 상기 제1 가상 공간에서 상기 윈도우를 향하는 뷰 앵글에 기반하여, 상기 제1 가상 공간의 일부분을 표시하도록, 구성될 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 가상 공간과 연동된 어플리케이션의 개수가 상기 제2 가상 공간과 연동된 어플리케이션의 개수를 초과하는 상태에서, 상기 제1 사이즈 보다 작은 상기 제2 사이즈를 이용하여 상기 제2 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 가상 공간에 진입한 횟수가 상기 제2 가상 공간에 진입한 횟수를 초과하는 상태에서, 상기 제1 거리를 초과하는 상기 제2 거리를 이용하여 상기 제2 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 시각적 객체의 양안 시차 미만의 양안 시차에 기반하여, 상기 제2 거리의 상기 제2 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 가상 공간의 적어도 일부분을 표시하는 상태에서, 가상 공간의 리스트를 표시하기 위한 다른 입력에 응답하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체가, 상기 제1 거리 및 상기 제2 거리에 의해 배열된 화면을 표시하도록, 구성될 수 있다.
예를 들어, 상기 웨어러블 장치는 카메라(예, 도 2의 카메라(225))를 더 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 증강 현실을 제공하기 위한 상기 제1 가상 공간에 대응하는 상기 제1 시각적 객체를 선택하는 상기 입력에 응답하여, 상기 카메라를 활성화하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에서, 상기 활성화된 카메라로부터 획득된 적어도 하나의 이미지와 함께, 상기 제1 가상 공간 과 연동된 상기 어플리케이션으로부터 제공된 적어도 하나의 가상 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제2 시각적 객체에 기반하여, 상기 증강 현실과 구분되는 가상 현실을 제공하기 위한 상기 제2 가상 공간을 선택하는 다른 입력에 응답하여, 상기 카메라를 비활성화하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 시각적 객체를 표시하는 동작은, 상기 제1 가상 공간과 연동된 어플리케이션으로부터 제공된 윈도우 또는 위젯에 대한 이미지가 배치된 폐곡면을 포함하는, 상기 제1 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 시각적 객체를 표시하는 동작은, 상기 제1 가상 공간을 이용하여 증강 현실을 제공함을 나타내는 제1 투명도 또는 상기 제1 가상 공간을 이용하여 가상 현실을 제공함을 나타내는 제2 투명도 중 어느 하나에 기반하여, 상기 폐곡면을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 시각적 객체를 표시하는 동작은, 상기 폐곡면에 의해 구분되는 상기 제1 시각적 객체의 일부분에서, 윈도우에 대한 이미지를 선택하는 상기 입력에 응답하여, 상기 제1 가상 공간에서 상기 윈도우를 향하는 뷰 앵글에 기반하여, 상기 제1 가상 공간의 일부분을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 제1 가상 공간과 연동된 어플리케이션의 개수가 상기 제2 가상 공간과 연동된 어플리케이션의 개수를 초과하는 상태에서, 상기 제1 사이즈 보다 작은 상기 제2 사이즈를 이용하여 상기 제2 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 제1 가상 공간에 진입한 횟수가 상기 제2 가상 공간에 진입한 횟수를 초과하는 상태에서, 상기 제1 거리를 초과하는 상기 제2 거리를 이용하여 상기 제2 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 표시하는 동작은, 상기 제1 시각적 객체의 양안 시차 미만의 양안 시차에 기반하여, 상기 제2 거리의 상기 제2 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 가상 공간의 적어도 일부분을 표시하는 동작은, 상기 가상 공간의 적어도 일부분을 표시하는 상태에서, 가상 공간의 리스트를 표시하기 위한 다른 입력에 응답하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체가, 상기 제1 거리 및 상기 제2 거리에 의해 배열된 화면을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 가상 공간의 적어도 일부분을 표시하는 동작은, 증강 현실을 제공하기 위한 상기 제1 가상 공간에 대응하는 상기 제1 시각적 객체를 선택하는 상기 입력에 응답하여, 상기 웨어러블 장치의 카메라를 활성화하는 동작을 포함할 수 있다. 상기 방법은, 상기 디스플레이에서, 상기 활성화된 카메라로부터 획득된 적어도 하나의 이미지와 함께, 상기 제1 가상 공간과 연동된 상기 어플리케이션으로부터 제공된 적어도 하나의 가상 객체를 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이에 제1 가상 공간과 연동된 제1 어플리케이션으로부터 제공된 제1 가상 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 가상 객체를 표시한 상태에서, 복수의 가상 공간들의 리스트를 표시하기 위한 입력에 응답하여, 상기 제1 가상 공간과 구분되는 제2 가상 공간을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 가상 공간을 식별하는 것에 기반하여, 상기 제1 가상 객체를 표현한 이미지에 기반하여 상기 제1 가상 공간을 표현한 제1 시각적 객체를, 제1 거리를 이용하여 표시하고, 상기 제2 가상 공간을 표현한 제2 시각적 객체를, 상기 제1 거리와 구분되는 제2 거리를 이용하여 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치는, 디스플레이, 인스트럭션들을 저장하기 위한 메모리 및 프로세서를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에 제1 가상 공간과 연동된 제1 어플리케이션으로부터 제공된 제1 가상 객체를 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 가상 객체를 표시한 상태에서, 복수의 가상 공간들의 리스트를 표시하기 위한 입력에 응답하여, 상기 제1 가상 공간과 구분되는 제2 가상 공간을 식별하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제2 가상 공간을 식별하는 것에 기반하여, 상기 제1 가상 객체를 표현한 이미지에 기반하여 상기 제1 가상 공간을 표현한 제1 시각적 객체를, 상기 제1 거리를 이용하여 표시하고, 상기 제2 가상 공간을 표현한 제2 시각적 객체를, 제1 거리와 구분되는 제2 거리를 이용하여 표시하도록, 구성될 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에서, 인스트럭션들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체가 제공될 수 있다. 상기 인스트럭션들은, 디스플레이를 포함하는 웨어러블 장치의 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하도록, 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가, 상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 야기할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치(an wearable device)에 있어서,
    센서;
    디스플레이;
    인스트럭션들을 저장하기 위한 메모리; 및
    프로세서를 포함하고, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하고;
    상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하고;
    상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 구성된,
    웨어러블 장치.
  2. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 제1 가상 공간과 연동된 어플리케이션으로부터 제공된 윈도우 또는 위젯에 대한 이미지가 배치된 폐곡면을 포함하는, 상기 제1 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  3. 청구항 2에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 제1 가상 공간을 이용하여 증강 현실을 제공함을 나타내는 제1 투명도 또는 상기 제1 가상 공간을 이용하여 가상 현실을 제공함을 나타내는 제2 투명도 중 어느 하나에 기반하여, 상기 폐곡면을 표시하도록, 구성된,
    웨어러블 장치.
  4. 청구항 2에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 폐곡면에 의해 구분되는 상기 제1 시각적 객체의 일부분에서, 윈도우에 대한 이미지를 선택하는 상기 입력에 응답하여, 상기 제1 가상 공간에서 상기 윈도우를 향하는 뷰 앵글에 기반하여, 상기 제1 가상 공간의 일부분을 표시하도록, 구성된,
    웨어러블 장치.
  5. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 제1 가상 공간과 연동된 어플리케이션의 개수가 상기 제2 가상 공간과 연동된 어플리케이션의 개수를 초과하는 상태에서, 상기 제1 사이즈 보다 작은 상기 제2 사이즈를 이용하여 상기 제2 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  6. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 제1 가상 공간에 진입한 횟수가 상기 제2 가상 공간에 진입한 횟수를 초과하는 상태에서, 상기 제1 거리를 초과하는 상기 제2 거리를 이용하여 상기 제2 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  7. 청구항 6에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 제1 시각적 객체의 양안 시차 미만의 양안 시차에 기반하여, 상기 제2 거리의 상기 제2 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  8. 청구항 1에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 가상 공간의 적어도 일부분을 표시하는 상태에서, 가상 공간의 리스트를 표시하기 위한 다른 입력에 응답하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체가, 상기 제1 거리 및 상기 제2 거리에 의해 배열된 화면을 표시하도록, 구성된,
    웨어러블 장치.
  9. 청구항 1에 있어서, 카메라를 더 포함하고,
    상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    증강 현실을 제공하기 위한 상기 제1 가상 공간에 대응하는 상기 제1 시각적 객체를 선택하는 상기 입력에 응답하여, 상기 카메라를 활성화하고;
    상기 디스플레이에서, 상기 활성화된 카메라로부터 획득된 적어도 하나의 이미지와 함께, 상기 제1 가상 공간 과 연동된 상기 어플리케이션으로부터 제공된 적어도 하나의 가상 객체를 표시하도록, 구성된,
    웨어러블 장치.
  10. 청구항 9에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 제2 시각적 객체에 기반하여, 상기 증강 현실과 구분되는 가상 현실을 제공하기 위한 상기 제2 가상 공간을 선택하는 다른 입력에 응답하여, 상기 카메라를 비활성화하도록, 구성된,
    웨어러블 장치.
  11. 웨어러블 장치의 방법에 있어서,
    상기 웨어러블 장치의 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하는 동작;
    상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하는 동작; 및
    상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하는 동작을 포함하는,
    방법.
  12. 청구항 11에 있어서, 상기 제1 시각적 객체를 표시하는 동작은,
    상기 제1 가상 공간과 연동된 어플리케이션으로부터 제공된 윈도우 또는 위젯에 대한 이미지가 배치된 폐곡면을 포함하는, 상기 제1 시각적 객체를 표시하는 동작을 포함하는,
    방법.
  13. 청구항 12에 있어서, 상기 제1 시각적 객체를 표시하는 동작은,
    상기 제1 가상 공간을 이용하여 증강 현실을 제공함을 나타내는 제1 투명도 또는 상기 제1 가상 공간을 이용하여 가상 현실을 제공함을 나타내는 제2 투명도 중 어느 하나에 기반하여, 상기 폐곡면을 표시하는 동작을 포함하는,
    방법.
  14. 청구항 12에 있어서, 상기 제1 시각적 객체를 표시하는 동작은,
    상기 폐곡면에 의해 구분되는 상기 제1 시각적 객체의 일부분에서, 윈도우에 대한 이미지를 선택하는 상기 입력에 응답하여, 상기 제1 가상 공간에서 상기 윈도우를 향하는 뷰 앵글에 기반하여, 상기 제1 가상 공간의 일부분을 표시하는 동작을 포함하는,
    방법.
  15. 인스트럭션들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 인스트럭션들은, 디스플레이를 포함하는 웨어러블 장치의 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가,
    상기 디스플레이에, 제1 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제1 사이즈, 및 상기 제1 가상 공간에 진입한 횟수와 관련된 제1 거리를 이용하여, 상기 제1 가상 공간에 대응하는 제1 시각적 객체를 표시하고;
    상기 디스플레이에, 제2 가상 공간과 연동된 어플리케이션의 개수에 기반하는 제2 사이즈, 및 상기 제2 가상 공간에 진입한 횟수와 관련된 제2 거리를 이용하여, 상기 제2 가상 공간에 대응하는 제2 시각적 객체를 표시하고;
    상기 제1 시각적 객체 또는 상기 제2 시각적 객체 중 어느 하나를 선택하는 입력에 응답하여, 상기 디스플레이에, 상기 입력에 의해 선택된 시각적 객체에 대응하는 가상 공간의 적어도 일부분을 표시하도록, 야기하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
PCT/KR2023/019569 2022-12-07 2023-11-30 복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법 WO2024122992A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220169963A KR20240084992A (ko) 2022-12-07 2022-12-07 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법
KR10-2022-0169963 2022-12-07

Publications (1)

Publication Number Publication Date
WO2024122992A1 true WO2024122992A1 (ko) 2024-06-13

Family

ID=91379584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/019569 WO2024122992A1 (ko) 2022-12-07 2023-11-30 복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR20240084992A (ko)
WO (1) WO2024122992A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180589A1 (en) * 2014-12-22 2016-06-23 International Business Machines Corporation Selectively Pairing an Application Presented in Virtual Space with a Physical Display
US20180054568A1 (en) * 2016-08-17 2018-02-22 Colopl, Inc. Display control method and program for executing the display control method on computer
US20180165887A1 (en) * 2016-12-08 2018-06-14 Colopl, Inc. Information processing method and program for executing the information processing method on a computer
JP2018109835A (ja) * 2016-12-28 2018-07-12 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2020046976A (ja) * 2018-09-19 2020-03-26 株式会社コロプラ プログラム、方法および情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180589A1 (en) * 2014-12-22 2016-06-23 International Business Machines Corporation Selectively Pairing an Application Presented in Virtual Space with a Physical Display
US20180054568A1 (en) * 2016-08-17 2018-02-22 Colopl, Inc. Display control method and program for executing the display control method on computer
US20180165887A1 (en) * 2016-12-08 2018-06-14 Colopl, Inc. Information processing method and program for executing the information processing method on a computer
JP2018109835A (ja) * 2016-12-28 2018-07-12 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2020046976A (ja) * 2018-09-19 2020-03-26 株式会社コロプラ プログラム、方法および情報処理装置

Also Published As

Publication number Publication date
KR20240084992A (ko) 2024-06-14

Similar Documents

Publication Publication Date Title
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2024122801A1 (ko) 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법
KR102668752B1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2022145888A1 (ko) 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
WO2024122992A1 (ko) 복수의 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법
WO2024128728A1 (ko) 임계 거리 내에 포함된 시각적 객체들을 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024122984A1 (ko) 복수의 어플리케이션들이 그룹핑된 영역을 이용하여 복수의 어플리케이션들을 제어하기 위한 웨어러블 장치 및 그 방법
WO2024122836A1 (ko) 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024122979A1 (ko) 전경 객체의 사이즈 또는 개수에 기반하여 배경 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024128843A1 (ko) 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024117524A1 (ko) 미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024177293A1 (ko) 디스플레이를 통해 표시되는 가상 공간 상에 외부 공간에 대응하는 이미지를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024090825A1 (ko) 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024136381A1 (ko) 시각적 객체를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024101591A1 (ko) 객체로 액세스하는 사용자들에게 적어도 하나의 멀티미디어 콘텐트를 제공하기 위한 전자 장치 및 그 방법
WO2024136383A1 (ko) 외부 전자 장치에 의해 제공되는 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024117648A1 (ko) 웨어러블 장치의 방향에 기반하여 날씨에 대응하는 가상 객체를 표시하기 위한 웨어러블 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024090844A1 (ko) 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024205075A1 (ko) 화면을 생성하기 위한 렌더링 데이터를 외부 전자 장치에게 송신하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
WO2024101581A1 (ko) 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법
WO2024101593A1 (ko) 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법
WO2024155076A1 (ko) 정보를 제공하기 웨어러블 장치 및 그 방법
WO2024136382A2 (ko) 외부 전자 장치로부터 획득된 생체 데이터에 기반하여 화면을 전환하기 위한 웨어러블 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23901011

Country of ref document: EP

Kind code of ref document: A1