WO2024112185A1 - 외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법 - Google Patents

외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법 Download PDF

Info

Publication number
WO2024112185A1
WO2024112185A1 PCT/KR2023/019284 KR2023019284W WO2024112185A1 WO 2024112185 A1 WO2024112185 A1 WO 2024112185A1 KR 2023019284 W KR2023019284 W KR 2023019284W WO 2024112185 A1 WO2024112185 A1 WO 2024112185A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
visual object
visual
display
user
Prior art date
Application number
PCT/KR2023/019284
Other languages
English (en)
French (fr)
Inventor
최윤정
강지영
이채경
이승룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220175134A external-priority patent/KR20240079114A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/542,103 priority Critical patent/US20240177367A1/en
Publication of WO2024112185A1 publication Critical patent/WO2024112185A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • This disclosure relates to a wearable device and method for controlling the display of a visual object corresponding to an external object.
  • the instructions when executed by the processor, remove at least a portion of the second image frame such that at least one other visual object of the plurality of visual objects that is different from the first visual object and the second visual object is removed. can cause changes.
  • the instructions, when executed by the processor, may cause the second image frame containing the altered portion to be displayed on the display.
  • a method of using a wearable device may include displaying a first image frame acquired by a camera of the wearable device through a display of the wearable device.
  • the method may include identifying a first visual object among a plurality of visual objects in the first image frame.
  • the method may include identifying a second visual object associated with the first visual object based on identifying a first visual object among the plurality of visual objects in a first image frame obtained from the camera. You can.
  • the method may include an operation of acquiring a second image frame through the camera after the second visual object is identified.
  • the method may include changing at least a portion of the second image frame such that at least one other visual object among a plurality of visual objects different from the first visual object and the second visual object is removed. .
  • the method may include displaying the second image frame including the changed portion through the display.
  • a wearable device may include a camera, a display, and a processor.
  • the processor may be configured to identify a second visual object associated with the first visual object, based on an input indicating focus of the first visual object, among a plurality of visual objects in a frame obtained from a camera. there is.
  • the processor may be configured to change a portion of a frame containing other visual objects that are different from the first visual object and the second visual object.
  • the processor may be configured to display the frame containing the changed portion within the display.
  • a wearable device may include a camera, a display, and a processor.
  • the processor may be configured to identify a plurality of visual objects included in the FoV of a user wearing the wearable device, using the camera of the wearable device.
  • the processor classifies the plurality of visual objects into a plurality of designated categories divided by display conditions, based on the positional relationship between the plurality of visual objects and the first visual object focused by the user. It can be configured to do so.
  • the processor using the display of the wearable device, displays a third visual object that masks the second visual object and is classified into a second designated category that is distinct from the first designated category into which the first visual object is classified. Can be configured to display within the FoV.
  • the processor may be configured to adjust the display of the third visual object based on display conditions corresponding to the second designated category into which the second visual object is classified.
  • a method of a wearable device includes identifying a plurality of visual objects included in the field-of-view (FoV) of a user wearing the wearable device using a camera of the wearable device. can do.
  • the method classifies the plurality of visual objects into a plurality of designated categories divided by display conditions, based on the positional relationship between the plurality of visual objects and the first visual object focused by the user. It may include actions such as:
  • the method includes using the display of the wearable device to display a third visual object occluding a second visual object classified into a second designated category that is distinct from the first designated category into which the first visual object was classified. , may include a display operation within the FoV.
  • the method may include adjusting display of the third visual object based on display conditions corresponding to the second specified category in which the second visual object is classified.
  • FIG. 1 illustrates an example of an operation in which a wearable device recognizes a plurality of visual objects, according to an embodiment.
  • Figure 2 shows an example of a block diagram of a wearable device, according to one embodiment.
  • Figure 3A shows an example of a perspective view of a wearable device, according to one embodiment.
  • FIG. 3B shows an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • 4A to 4B show an example of the appearance of a wearable device, according to an embodiment.
  • Figure 5 shows an example of a flow chart for a wearable device, according to one embodiment.
  • FIGS. 6A and 6B illustrate an example of an operation in which a wearable device identifies an input indicating focus of at least one visual object, according to an embodiment.
  • FIG. 7 illustrates an example of an operation in which a wearable device classifies a plurality of visual objects into one of a plurality of designated categories, according to an embodiment.
  • Figure 8 shows an example of a flow chart for a wearable device, according to one embodiment.
  • FIG. 9 illustrates an example of an operation in which a wearable device changes a second visual object associated with a first visual object focused by a user, according to an embodiment.
  • FIGS. 10A and 10B illustrate an example of an operation in which a wearable device changes the display of a visual object, according to an embodiment.
  • 11A-11B show an example of flowcharts for a wearable device, according to an embodiment.
  • FIGS. 12A and 12B illustrate an example of an operation in which a wearable device displays another visual object in a portion distinct from the visual object focused by the user, according to an embodiment.
  • FIG. 13 illustrates an example of an operation in which a wearable device identifies a visual object that is different from a specific visual object focused by a user, according to an embodiment.
  • Figure 14 shows an example of a flow chart for a wearable device, according to one embodiment.
  • FIGS. 15A, 15B, and 15C illustrate an example of an operation performed by a wearable device based on a visual object focused by a user, according to an embodiment.
  • Figure 16 is an example diagram of a network environment related to the metaverse service.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to a component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 illustrates an example of an operation in which a wearable device 101 recognizes a plurality of visual objects, according to an embodiment.
  • the wearable device 101 may include a head-mounted display (HMD) that is wearable on the user's 110 head.
  • HMD head-mounted display
  • FIGS. 3A to 3B and/or 4A to 4B An example of the structure of the wearable device 101 that can be worn on the head of the user 110 is described with reference to FIGS. 3A to 3B and/or 4A to 4B.
  • One or more pieces of hardware included in the wearable device 101 are exemplarily described with reference to FIG. 2 .
  • the wearable device 101 may execute functions related to video see-through or visual see-through (VST) and/or virtual reality (VR).
  • VST visual see-through
  • VR virtual reality
  • the wearable device 101 may include a housing that covers the eyes of the user 110.
  • the wearable device 101 may include a display disposed on a first side facing the eye.
  • the wearable device 101 may include a camera disposed on a second side opposite to the first side. Using the camera, the wearable device 101 can acquire frames containing ambient light.
  • the wearable device 101 may output the frames in a display disposed on the first side, allowing the user 110 to recognize the ambient light through the display.
  • the display area of the display disposed on the first side may be formed by one or more pixels included in the display.
  • the wearable device 101 may synthesize a virtual object within frames output through the display, allowing the user 110 to recognize the virtual object along with a real object recognized by ambient light.
  • the wearable device 101 may execute functions related to augmented reality (AR) and/or mixed reality (MR).
  • AR augmented reality
  • MR mixed reality
  • the wearable device 101 may include at least one lens disposed adjacent to the eye of the user 110. there is.
  • the wearable device 101 may combine light emitted from the display of the wearable device 101 with ambient light passing through the lens.
  • the display area of the display may be formed within a lens through which ambient light passes. Because the wearable device 101 combines the ambient light and the light emitted from the display, the user 110 can see a real object perceived by the ambient light and the light emitted from the display. You can see an image in which the formed virtual objects are mixed.
  • the wearable device 101 may display a virtual object along with a real object included in the display area. While the user 110 is wearing the wearable device 101, the user 110 can view a mixed image of a real object and a virtual object through the display area.
  • FIG. 1 an exemplary case in which the direction D1 of the head of the user 110 wearing the wearable device 101 is toward the first external object 120-1 to the fourth external object 120-4 is shown.
  • the wearable device 101 uses a camera facing in the front direction (e.g., direction D1) of the user 110 wearing the wearable device 101 to detect a first external object.
  • 120-1 to 4th external objects 120-4 may obtain captured frames.
  • the wearable device 101 may recognize the first to fourth external objects 120-1 to 120-4 within the frames.
  • Recognizing an external object by the wearable device 101 may include segmenting a visual object representing the external object within the frames. Recognizing an external object by the wearable device 101 may include identifying the location and/or size of a visual object representing the external object within the frames. Recognizing an external object by the wearable device 101 may include identifying the type of the external object based on the visual object. In the example case of FIG.
  • the wearable device 101 displays a book so that the first visual object corresponding to the first external object 120-1 in the frame represents a book, and the second external object 120-2 The corresponding second visual object represents the desk on which the book is placed, the third visual object corresponding to the third external object 120-3 represents a mobile phone, and the fourth external object 120-4 It can be identified that the fourth visual object corresponding to represents a plurality of photos attached to the wall.
  • the wearable device 101 may display frames obtained from a camera facing in front of the user 110 on the display of the wearable device 101.
  • the frames may include a plurality of visual objects representing each of the first to fourth external objects 120-1 to 120-4. Since the wearable device 101 displays the frames sequentially in a time domain, the user 110 displays the first to fourth external objects 120-1 to 120. You can see at least one of -4).
  • the wearable device 101 changes the frames at least partially so that visual objects corresponding to each of the first to fourth external objects 120-1 to 120-4 are displayed to the user 110. ) can be changed individually. For example, the wearable device 101 displays the first external object 120-1 to the fourth external object 120 within AR and/or MR shown to the user 110 wearing the wearable device 101. -4) The visibility of the corresponding visual objects can be adjusted individually.
  • the wearable device 101 including a display covering both eyes of the user 110 wearing the wearable device 101 is oriented in a direction of a second side opposite to the first side on which the display is disposed. Frames can be obtained from cameras arranged accordingly. Referring to FIG. 1 , an example state in which the wearable device 101 displays the frames in which at least one portion of the frame has been changed is shown to the user 110 .
  • the wearable device 101 may identify an input indicating the focus of at least one of a plurality of external objects. When the user 110 directly interacts with an external object, the external object may be determined to be focused.
  • the wearable device 101 may identify an external object that directly interacts with the user 110 based on the user's 110 motion (e.g., the motion of the user's head, eyes, and/or hands). You can.
  • the wearable device 101 receives an input for selecting the first visual object 130-1. In one or more embodiments, it is assumed that the wearable device 101 has identified the first visual object 130 - 1 selected or focused by the user 110 . In one embodiment, it is assumed that the wearable device 101 has received an input indicating focus of the first visual object 130-1. Based on the input, the wearable device 101 may occlude or remove visual objects other than the first visual object 130-1 within the frames. For example, the wearable device 101 may selectively display the first visual object 130-1 representing the first external object 120-1 among a plurality of visual objects.
  • the wearable device 101 may remove other visual objects that are different from the first visual object 130 - 1 focused by the user 110 from within the field of view of the user 110 .
  • the wearable device 101 may help the user 110 focus on the first external object 120-1 by removing other visual objects.
  • an operation of the wearable device 101 to change the frames in order to help the user 110 focus on the first visual object 130-1 is described with reference to FIG. 5.
  • the operation of the wearable device 101 receiving an input indicating the focus of a specific visual object, such as the first visual object 130-1 is shown in FIGS. 6A to 6B and 7 to 8. It is explained with reference.
  • the wearable device 101 may classify other visual objects within the display area of the wearable device 101 based on the first visual object 130-1 focused by the user 110. there is. Referring to FIG. 1, the wearable device 101 may classify visual objects corresponding to each of the first to fourth external objects 120-1 to 120-4 into one of designated categories. . The designated categories may be classified by conditions for displaying visual objects representing external objects within the frame (hereinafter, displaying conditions). For example, the wearable device 101 selects the first visual object 130-1 as the visual object focused by the user 110, based on an input indicating focus of the first visual object 130-1. It can be classified into a first designated category, which is a category for classifying.
  • the wearable device 101 displays a second visual object representing a second external object 120-2 (e.g., table, desk, etc.) in contact with the first external object 120-1, It can be classified into a second designated category.
  • the wearable device 101 is based on identifying the first external object 120-1 corresponding to the first visual object 130-1 and the second external object 120-2 disposed within a critical distance, The second visual object corresponding to the second external object 120-2 may be classified into a second designated category.
  • the critical distance may be a predetermined distance between external objects, and the distance dividing the first external object 120-1 and the second external object 120-2 may be within the critical distance.
  • the wearable device 101 selects, among a plurality of visual objects, other external objects different from the first visual object 130-1 and the second visual object into the first designated category and the second visual object. It can be classified into other categories that are different from the designated category.
  • the other categories may include categories for at least temporarily stopping the display of visual objects representing external objects within the field of view of the user 110 .
  • the wearable device 101 displays the third visual object 130-3 corresponding to the third external object 120-3 including a speaker (e.g., device) and displays the visual object conditionally ( conditionally) can be classified into a fourth designated category for acceptance.
  • the wearable device 101 is connected to the third external object 120-3 based on the state of the third external object 120-3 (e.g., the state of the third external object 120-3 related to sound).
  • the operation of displaying the corresponding third visual object 130-3 is described with reference to FIGS. 10A to 10B and 11A to 11B.
  • the wearable device 101 may classify the fourth visual object corresponding to the fourth external object 120-4 into a third designated category to stop displaying the visual object.
  • the wearable device 101 may classify the background within the frame (e.g., a visual object corresponding to the wall surface to which the fourth external object 120-4 is attached) different from the external objects described above into the fifth designated category. there is.
  • the operation of the wearable device 101 to display a visual object, such as the image 134, to obscure an external object classified into the third designated category and/or the fifth designated category is described with reference to FIGS. 12A to 12B. .
  • the wearable device 101 displays another external object (e.g., to the user 110) that is different from the plurality of external objects within a frame while hiding another visual object that is distinct from the first visual object 130-1. object being accessed) can be additionally identified. Based on additionally identifying the other external object, the wearable device 101 may display a visual object representing the other external object to the user 110 .
  • another external object e.g., to the user 110
  • the wearable device 101 may display a visual object representing the other external object to the user 110 .
  • the wearable device 101 maintains displaying the first visual object 130-1 representing the first external object 120-1 focused by the user 110. While doing so, displaying other visual objects representing other external objects different from the first external object 120-1 may be restricted.
  • the wearable device 101 can improve the visibility of the first external object 120-1 that directly interacts with the user 110 by limiting the display of the other visual objects.
  • the wearable device 101 as in the example case of FIG. 1, may use the first external object 120-1 to assist the user 110 in concentrating on the first external object 120-1 for reading.
  • Other external objects that are distinct from 120-1 may be restricted from being visible to the user 110.
  • the operation performed by the wearable device 101 to assist the user 110 in another case different from the case of FIG. 1 is shown with reference to FIGS. 15A, 15B, and 15C. explained.
  • the wearable device 101 includes at least a processor 210, a memory 215, a display 220, a camera 225, a sensor 230, a microphone 235, or a communication circuit 240. It can contain one.
  • the processor 210, memory 215, display 220, camera 225, sensor 230, microphone 235, and communication circuit 240 are connected to electronic components such as the communication bus 202. may be electrically and/or operably coupled with each other.
  • hardware being operatively combined will mean that a direct connection or an indirect connection between the hardware is established, wired or wireless, such that the second hardware is controlled by the first hardware among the hardware. You can. Although shown based on different blocks, the embodiment is not limited thereto, and some of the hardware in FIG.
  • SoC SoC
  • the type and/or number of hardware included in the wearable device 101 is not limited to that shown in FIG. 2 .
  • wearable device 101 may include only some of the hardware components shown in FIG. 2 .
  • the processor 210 of the wearable device 101 may include hardware for processing data based on one or more instructions.
  • the hardware for processing data includes, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP). ) may include.
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • AP application processor
  • the processor 210 may have the structure of a single-core processor, or may have the structure of a multi-core processor such as a dual core, quad core, or hexa core.
  • the memory 215 of the wearable device 101 may include hardware components for storing data and/or instructions that are input and/or output to the processor 210 of the wearable device 101.
  • Memory 215 may include, for example, volatile memory such as random-access memory (RAM) and/or non-volatile memory such as read-only memory (ROM). there is.
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • DRAM dynamic RAM
  • SRAM static RAM
  • PSRAM pseudo SRAM
  • Non-volatile memory includes, for example, programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory hard disk, compact disk, solid state drive (SSD), and embedded multi media card (eMMC).
  • SSD solid state drive
  • eMMC embedded multi media card
  • the display 220 of the wearable device 101 displays visualized information (e.g., FIGS. 1, 6A-6B, 9, and 9) to a user (e.g., user 110 of FIG. 1).
  • 10A to 10B, 12A to 12B, 13, 15A, 15B, and 15C) may be output.
  • the display 220 may be controlled by the processor 210 including a circuit such as a graphic processing unit (GPU) and output visualized information to the user.
  • the display 220 may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
  • the LED may include an organic LED (OLED).
  • the display 220 of FIG. 2 may include at least one display 350, which will be described later with reference to FIGS. 3A to 3B and/or 4A to 4B.
  • the display 220 of FIG. 2 may be a first display corresponding to the user's left eye (e.g., the first display 350-1 of FIG. 3B) while the wearable device 101 is worn by the user. ) and a second display corresponding to the user's right eye (eg, the second display 350-2 in FIG. 3B).
  • the camera 225 of the wearable device 101 may include one or more optical sensors (e.g., a charged coupled device (CCD) sensor, a complementary metal sensor (CMOS) that generate electrical signals representing the color and/or brightness of light. oxide semiconductor sensor) may be included.
  • a plurality of optical sensors included in the camera 225 may be arranged in the form of a 2-dimensional array.
  • the camera 225 may obtain electrical signals from each of the plurality of optical sensors substantially simultaneously and generate two-dimensional frame data corresponding to light reaching the optical sensors of the two-dimensional grid.
  • photo data captured using the camera 225 may mean one (a) two-dimensional frame data obtained from the camera 225.
  • video data captured using the camera 225 may mean a sequence of a plurality of two-dimensional frame data obtained from the camera 225 according to a frame rate.
  • the camera 225 may be disposed toward a direction in which the camera 225 receives light and may further include a flash light for outputting light toward this direction.
  • the camera 225 is shown based on a single block, the number of cameras 225 included in the wearable device 101 is not limited to the embodiment.
  • Wearable device 101 may include one or more cameras, such as one or more cameras 340, which will be described later with reference to FIGS. 3A-3B and/or 4A-4B.
  • the sensor 230 of the wearable device 101 detects, from non-electronic information related to the wearable device 101, the processor 210 of the wearable device 101 and/or Electrical information that can be processed by memory 215 may be generated.
  • the information may be referred to as sensor data.
  • the sensor 230 includes a global positioning system (GPS) sensor, an image sensor, an illumination sensor, and/or a time-of-flight (ToF) sensor for detecting the geographic location of the wearable device 101. It may include an inertial measurement unit (IMU) to detect the physical motion of the device 101.
  • IMU inertial measurement unit
  • the wearable device 101 can identify the direction of the wearable device 101 (eg, direction D1 in FIG. 1 ).
  • the wearable device 101 may include a microphone 235 that outputs an electrical signal indicating vibration in the air.
  • the wearable device 101 may output an audio signal including the user's speech using the microphone 235.
  • the user's remarks included in the audio signal may be converted into information in a recognizable format by the processor 210 of the wearable device 101, based on a voice recognition model and/or a natural language understanding model.
  • the wearable device 101 may recognize a user's speech and execute one or more functions among a plurality of functions that can be provided by the wearable device 101.
  • the communication circuit 240 of the wearable device 101 may include hardware components to support transmission and/or reception of electrical signals between the wearable device 101 and an external electronic device.
  • the communication circuit 240 may include, for example, at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
  • the communication circuit 240 includes Ethernet, local area network (LAN), wide area network (WAN), wireless fidelity (WiFi), Bluetooth, bluetooth low energy (BLE), ZigBee, long term evolution (LTE), It may support transmission and/or reception of electrical signals based on various types of protocols, such as 5G new radio (NR) and/or 6G.
  • the wearable device 101 may include an output means for outputting information in a form other than a visualized form.
  • the wearable device 101 may include a speaker for outputting an acoustic signal.
  • the wearable device 101 may include a motor to provide haptic feedback based on vibration.
  • one or more instructions indicating operations and/or operations to be performed on data by the processor 210 of the wearable device 101. can be stored.
  • a set of one or more instructions may be referred to as a program, firmware, operating system, process, routine, sub-routine, and/or application.
  • an application is installed in an electronic device (e.g., wearable device 101) means that one or more instructions provided in the form of an application are stored in the memory 215, and the one or more applications are installed by the processor of the electronic device. This may mean stored in an executable format (eg, a file with an extension specified by the operating system of the wearable device 101).
  • programs installed on the wearable device 101 use an application layer 260, a framework layer 270, and/or a hardware abstraction layer (HAL) 250 based on the target. It can be classified into any one of the different layers included. For example, within the hardware abstraction layer 250, a program designed to target the hardware of the wearable device 101 (e.g., display 220, camera 225, sensor 230, and/or communication circuit 240) (e.g. drivers) can be classified.
  • a program designed to target the hardware of the wearable device 101 e.g., display 220, camera 225, sensor 230, and/or communication circuit 240
  • drivers e.g. drivers
  • programs designed to target at least one of the hardware abstraction layer 250 and/or the application layer 260 may be classified.
  • Programs classified as the framework layer 270 may provide an executable API (application programming interface) based on other programs.
  • a program classified into the application layer 260 may include an application for viewing images and/or videos stored in the memory 215 of the wearable device 101, such as a gallery application.
  • a program classified as the application layer 260 may call an API, resulting in execution of a function supported by programs classified as the framework layer 270.
  • the wearable device 101 may process information related to the gaze of the user wearing the wearable device 101 based on the execution of the gaze tracker 271 in the framework layer 270. For example, the wearable device 101 may obtain an image including the user's eyes from the camera 225. Based on the position and/or direction of the pupil included in the image, the wearable device 101 may identify the direction of the user's gaze.
  • wearable device 101 may identify motion of a specified body part, including a hand, based on the execution of gesture tracker 272 in framework layer 270. For example, the wearable device 101 may obtain frames including the specified body part from the camera 225. Based on the motion and/or posture of the designated body part indicated by the frames, the wearable device 101 may identify the gesture performed by the designated body part.
  • the wearable device 101 may identify the motion of the wearable device 101 based on the execution of the motion tracker 273 in the framework layer 270. While the wearable device 101 is worn by a user, the motion of the wearable device 101 may be related to the motion of the user's head. For example, the wearable device 101 may identify a direction that substantially matches the direction of the head, such as direction D1 in FIG. 1 . The wearable device 101 may identify the motion of the wearable device 101 based on sensor data from the sensor 230 including the IMU.
  • the wearable device 101 is based on the execution of the external space recognizer 274 in the framework layer 270, the external space included in the wearable device 101 or adjacent to the wearable device 101. You can obtain information about.
  • the wearable device 101 may obtain the information using the camera 225 and/or sensor 230.
  • the wearable device 101 creates a virtual space mapped to the external space based on the information acquired by the external space recognizer 274. can be identified.
  • the wearable device 101 may identify the location and/or orientation of the wearable device 101 within the external space.
  • the wearable device 101 may recognize the external space and the location of the wearable device 101 within the external space. For this purpose, SLAM (simultaneous localization and mapping) can be performed.
  • SLAM simultaneous localization and mapping
  • the wearable device 101 classifies at least one external object adjacent to the wearable device 101 (e.g., the object in FIG. 1) based on the execution of the visual object classifier 275 in the framework layer 270. 1 external objects 120-1 to 4 external objects 120-4) can be recognized.
  • the wearable device 101 may perform object recognition (or an image analysis engine) on the frames output from the camera 225 and extract a visual object representing an external object within the frames.
  • the object recognition may be performed based on an application for subject recognition, referred to as an image analysis engine.
  • the wearable device 101 may identify an external object corresponding to the visual object.
  • the wearable device 101 classifies a plurality of visual objects (e.g., external objects) based on the motion of the user wearing the wearable device 101 while the visual object classifier 275 is running. (different parts of the frame that represent things) can be classified.
  • the wearable device 101 may include information indicating the user's gaze tracked by the eye tracker 271, the user's gestures identified by the gesture tracker 272, and/or detected by the motion tracker 273. Based on at least one of the directions of the wearable device 101, at least one visual object focused by the user may be identified. For example, the wearable device 101 may detect at least one visual object on which the user is focused.
  • the wearable device 101 may classify the plurality of visual objects based on the first visual object focused by the user. Classifying the plurality of visual objects by the wearable device 101 may include classifying each of the plurality of visual objects into at least one of a plurality of designated categories included in Table 1.
  • category Classification criteria 1st designated category Visual object focused by the user wearing the wearable device 101 Second designated category Visual objects classified into the first designated category and/or visual objects associated with (or in contact with) the user wearing the wearable device 101 Third designated category Visual objects to be removed from within the MR visible to the user Fourth designated category Among the visual objects removed from MR, visual objects will be temporarily displayed depending on their status.
  • Fifth designated category (or background of first designated category) A visual object or area visible as the background of a visual object classified into a first designated category 6th Designated Category A visual object corresponding to an external object entering an external space visible to a user wearing the wearable device 101
  • the wearable device 101 classifies one or more visual objects in frames acquired from the camera 225 into one of the designated categories in Table 1, based on execution of the visual object classifier 275. Can be classified.
  • the one or more visual objects may represent one or more external objects included in an external space that can be seen by a user wearing the wearable device 101.
  • the wearable device 101 may classify a visual object that the user gazes at for more than a designated duration into a first designated category.
  • the input for classifying a specific visual object into a first designated category is not limited to the examples above.
  • the wearable device 101 may classify the visual object into a first designated category based on an utterance including the name of the visual object.
  • the wearable device 101 may classify the visual object into a first designated category based on identifying a body part (eg, fingertip) overlaid on the visual object. For example, the wearable device 101 may classify the visual object into the first designated category based on the location and/or size of the visual object included in the frame. For example, the wearable device 101 may classify visual objects placed at the center of the frame and/or visual objects exceeding a designated size into a first designated category. When a user gazes at visual objects of the same type and overlapping with each other (or including visual objects), the wearable device 101 may classify the group of visual objects into a first designated category.
  • a body part e.g, fingertip
  • the wearable device 101 may classify the visual object into the first designated category based on the location and/or size of the visual object included in the frame. For example, the wearable device 101 may classify visual objects placed at the center of the frame and/or visual objects exceeding a designated size into a first designated category.
  • the wearable device 101 recommends classifying a visual object into a first designated category based on the history of the visual object focused by the user (e.g., the visual object the user gazes at), or It may be recommended that other visual objects associated with the visual object be classified into the first designated category.
  • the history may include the time, frequency, number, and/or period over which the visual object was classified into the first designated category.
  • the history of classifying visual objects into the first designated category (or other categories) is accessible by wearable device 101 and/or connected to wearable device 101. May be stored on a computer system/device.
  • the wearable device 101 based on classifying the first visual object into a first designated category, displays a first visual object that is visible adjacent to or in contact with the first visual object.
  • 2 Visual objects may be classified into a second designated category.
  • the wearable device 101 may identify a second visual object that is in contact with the first visual object exceeding a designated area, based on the positional relationship between the first visual object and other visual objects.
  • the wearable device 101 may classify the second visual object into a second designated category.
  • the wearable device 101 may obtain the positional relationship and/or the area where the first visual object and the second visual object are in contact by controlling the sensor 230 (e.g., a depth sensor including a ToF sensor). .
  • the sensor 230 e.g., a depth sensor including a ToF sensor
  • the wearable device 101 may classify a second visual object supporting a first visual object into a second designated category.
  • the wearable device 101 may classify a second visual object related to the location and/or movement of the first visual object into a second designated category.
  • the wearable device 101 may, for example, display a second external object corresponding to a second visual object within a specified distance from the first external object 120-1 corresponding to the first visual object. Based on (120-2), the second visual object may be classified into the second designated category.
  • the wearable device 101 classifies a visual object different from a visual object classified into one of the first designated category and the second designated category into any one of the third designated category to the fifth designated category. can do.
  • the wearable device 101 may classify visual objects that the user gazes at for less than a specified period of time into a third designated category.
  • the wearable device 101 may classify a visual object different from the first visual object into a third designated category based on its relationship with the first visual object classified into the first designated category.
  • the wearable device 101 may compare the types of visual objects included in the frame of the camera 225 to obtain a degree of similarity between the visual objects.
  • the similarity may be stored in a database in which the similarity between types has been previously set.
  • Wearable device 101 uses types of visual objects to identify, from the database, similarities between the visual objects (e.g., similarities between a first visual object and other visual objects of a first designated category). You can.
  • the database may include a knowledge graph, which is a set of digital values representing the interconnections between the types.
  • the wearable device 101 may classify other visual objects that have a similarity lower than the threshold similarity to the first visual object among the similarities into the third designated category. For example, a visual object whose relevance is lower than the designated relevance may be classified into the third designated category.
  • the relevance may indicate the probability that a motion associated with the first visual object will be performed. In one or more embodiments, the relevance may represent a probability that a motion associated with a first visual object will be performed in relation to the visual object.
  • the wearable device 101 may represent another external object that has a probability of stopping the user's motion (or a probability of an event occurring to stop the motion) with respect to the visual object classified into the first specified category.
  • Other visual objects can be classified into a fourth designated category.
  • the motion of the user with respect to the visual object classified into the first designated category may be the movement of the user's body part (e.g., hand) in direct contact with the visual object, or the movement of the body part for touching the visual object. May include movement.
  • the motion of the user with respect to the visual object classified into the first designated category may include the movement of the user gazing at the visual object.
  • the wearable device 101 may classify a visual object representing an external object including a speaker (eg, device), such as an alarm clock and/or a mobile phone, into the fourth designated category.
  • the wearable device 101 may disrupt the user's concentration on a visual object classified into the first designated category by a change in state (e.g., the cup falls over), such as a cup filled with water.
  • Visual objects corresponding to external objects can be classified into a fourth designated category.
  • the wearable device 101 may include an artificial neural network for object recognition, such as a convolutional neural network (CNN) and/or a backbone neural network, to classify specific visual objects into a fourth designated category. there is.
  • CNN convolutional neural network
  • the wearable device 101 may classify another visual object that is the background of a visual object classified into the first designated category into the fifth designated category.
  • the wearable device 101 may classify another part distinguished from a part where visual objects classified into the first designated category and the second designated category are visible, or visual objects seen within the other part, into a fifth designated category. there is.
  • the wearable device 101 may classify visual objects added in frames after the specific frame after the user classifies the visual objects in the specific frame into the sixth designated category.
  • the wearable device 101 represents the external object based on the motion of the external object that entered the external space after the point in time, the sound generated from the external object, and/or the distance between the external object and the wearable device 101. Visual objects can be classified into the sixth designated category.
  • the wearable device 101 may change the visibility of each of the one or more visual objects based on a result of classifying the one or more visual objects based on execution of the visual object classifier 275. For example, the wearable device 101 may at least partially change a frame obtained from the camera 225 to hide or remove a visual object classified into the third designated category within the frame. The wearable device 101 may maintain visibility of the visual object classified into the first designated category by changing a portion of the frame in which the visual object is displayed and another portion that is distinguished from the other portion. The wearable device 101 determines the visibility of other visual objects (e.g., other than the first designated category) that interfere with the user's immersion in the visual object classified into the first designated category, based on changes in the other portions of the frame. can be reduced.
  • other visual objects e.g., other than the first designated category
  • the wearable device 101 displays a frame in which a plurality of visual objects are captured, while displaying a category (e.g., a designated category in Table 1) of each of the plurality of visual objects. Based on any one of the above), the visibility of each of the plurality of visual objects may be adjusted. For example, the wearable device 101 may determine the categories of the plurality of external objects based on the degree to which they are focused by the user (eg, the time the user gazes and/or the distance away from the user). For example, the wearable device 101 may obtain information classifying a plurality of visual objects based on designated categories based on the execution of the visual object classifier 275.
  • a category e.g., a designated category in Table 1
  • Categories of visual objects can be divided into the designated categories in Table 1 based on the display conditions of the visual object representing the visual object.
  • the wearable device 101 may reduce the visibility of other visual objects that are distinguished from a specific external object focused by the user, or may cover the other visual objects.
  • FIGS. 3A to 3B and/or 4A to 4B an example of a form factor of the wearable device 101 according to an embodiment is described using FIGS. 3A to 3B and/or 4A to 4B.
  • FIG. 3A shows an example of a perspective view of a wearable device, according to an embodiment.
  • FIG. 3B shows an example of one or more hardware (or portions of hardware) disposed within the wearable device 300, according to one embodiment.
  • the wearable device 300 of FIGS. 3A and 3B may include the wearable device 101 of FIGS. 1 and 2 .
  • the wearable device 300 according to one embodiment may include at least one display 350 and a frame supporting the at least one display 350. .
  • the wearable device 300 may be worn on a part of the user's body.
  • the wearable device 300 provides the user wearing the wearable device 300 with augmented reality (AR), virtual reality (VR), or a mixed reality that combines augmented reality and virtual reality.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality that combines augmented reality and virtual reality.
  • the wearable device 300 outputs a virtual reality image to the user through at least one display 350 in response to the user's designated gesture acquired through the motion recognition camera 340-2 of FIG. 3B. can do.
  • At least one display 350 in the wearable device 300 may provide visual information to the user.
  • the at least one display 350 may include the display 220 of FIG. 2 .
  • at least one display 350 includes a transparent or translucent lens 309 (e.g., a lens 309-1 corresponding to the user's right eye and a lens 309-2 corresponding to the user's left eye).
  • a transparent or translucent lens 309 e.g., a lens 309-1 corresponding to the user's right eye and a lens 309-2 corresponding to the user's left eye.
  • At least one display 350 may include a first display 350-1 and/or a second display 350-2 spaced apart from the first display 350-1.
  • the first display 350-1 and the second display 350-2 may be placed at positions corresponding to the user's left eye and right eye, respectively.
  • At least one display 350 forms a display area on the lens to display visual information included in external light passing through the lens to a user wearing the wearable device 300. It can provide other visual information that is distinct from visual information.
  • the lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens.
  • the display area formed by at least one display 350 may be formed on the first side 331 and the second side 332 of the second side 332 of the lens.
  • At least one display 350 may display a virtual reality image to be combined with a real screen transmitted through external light.
  • the virtual reality image output from at least one display 350 includes one or more hardware (e.g., optical devices 382, 384, and/or at least one waveguides) included in the wearable device 300. )(333, 334)), it can be transmitted to the user's eyes.
  • the wearable device 300 includes waveguides 333 that diffract light transmitted from at least one display 350 and relayed by the optical devices 382 and 384 and deliver it to the user. , 334).
  • the waveguides 333 and 334 may be formed based on at least one of glass, plastic, or polymer.
  • a nanopattern may be formed on the outside or at least a portion of the inside of the waveguides 333 and 334.
  • the nanopattern may be formed based on a polygonal and/or curved grating structure. Light incident on one end of the waveguides 333 and 334 may propagate to the other end of the waveguides 333 and 334 by the nanopattern.
  • the waveguides 333 and 334 may include at least one of a diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • a diffractive element eg, a diffractive optical element (DOE) or a holographic optical element (HOE)
  • a reflective element eg, a reflective mirror.
  • the waveguides 333 and 334 may be disposed within the wearable device 300 to guide the screen displayed by at least one display 350 to the user's eyes.
  • the screen may be transmitted to the user's eyes based on total internal reflection (TIR) generated within the waveguides 333 and 334.
  • TIR total internal reflection
  • the wearable device 300 analyzes objects included in the real-life image collected through the shooting camera 340-1, and selects an object that is the target of providing augmented reality from among the analyzed objects. Corresponding virtual objects can be combined and displayed on at least one display 350.
  • the virtual object may include at least one of text and images for various information related to the object included in the real image.
  • the wearable device 300 can analyze objects based on multi-cameras, such as stereo cameras. For the object analysis, the wearable device 300 may execute time-of-flight (ToF) and/or simultaneous localization and mapping (SLAM) supported by multi-cameras. A user wearing the wearable device 300 can watch images displayed on at least one display 350.
  • ToF time-of-flight
  • SLAM simultaneous localization and mapping
  • the frame may be made of a physical structure that allows the wearable device 300 to be worn on the user's body.
  • the frame allows the first display 350-1 and the second display 350-2 to be positioned to correspond to the user's left eye and right eye when the user wears the wearable device 300. It can be configured so that The frame may support at least one display 350.
  • the frame may support the first display 350-1 and the second display 350-2 to be positioned at positions corresponding to the user's left and right eyes.
  • the frame when the user wears the wearable device 300, the frame may include an area 320 at least partially in contact with a portion of the user's body.
  • the area 320 of the frame in contact with a part of the user's body includes an area in contact with a part of the user's nose, a part of the user's ear, and a side part of the user's face that the wearable device 300 touches. can do.
  • the frame may include a nose pad 310 that contacts a part of the user's body. When the wearable device 300 is worn by a user, the nose pad 310 may be in contact with a portion of the user's nose.
  • the frame may include a first temple 304 and a second temple 305 that are in contact with another part of the user's body that is distinct from the part of the user's body (the nose).
  • the frame includes a first rim 301 surrounding at least a portion of the first display 350-1 and a second rim 302 surrounding at least a portion of the second display 350-2. , a bridge 303 disposed between the first rim 301 and the second rim 302, a first pad disposed along a portion of the edge of the first rim 301 from one end of the bridge 303 ( 311), a second pad 312 disposed along a portion of the edge of the second rim 302 from the other end of the bridge 303, a first temple extending from the first rim 301 and fixed to a portion of the wearer's ear ( 304), and a second temple 305 extending from the second rim 302 and fixed to a portion of the ear opposite the ear.
  • the first pad 311 and the second pad 312 may be in contact with a portion of the user's nose, and the first temple 304 and the second temple 305 may be in contact with a portion of the user's face and a portion of the ear. may come into contact with.
  • the temples 304 and 305 may be rotatably connected to the rim via hinge units 306 and 307 in FIG. 3B.
  • the first temple 304 may be rotatably connected to the first rim 301 through a first hinge unit 306 disposed between the first rim 301 and the first temple 304.
  • the second temple 305 may be rotatably connected to the second rim 302 through a second hinge unit 307 disposed between the second rim 302 and the second temple 305.
  • the wearable device 300 detects an external object (e.g., a user's fingertip) touching the frame using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of the surface of the frame. fingertip)), and/or a gesture performed by the external object may be identified.
  • an external object e.g., a user's fingertip
  • the wearable device 300 may include hardware (eg, hardware described above based on the block diagram of FIG. 2) that performs various functions.
  • the hardware includes a battery module 370, an antenna module 375, optical devices 382, 384, speakers 392-1, 392-2, and microphones 394-1, 394- 2, 394-3), a light emitting module (not shown), and/or a printed circuit board 390.
  • Various hardware can be placed within the frame.
  • the microphones 394-1, 394-2, and 394-3 of the wearable device 300 may be disposed in at least a portion of the frame to obtain a sound signal.
  • microphones 394-3 are shown in FIG. 3B, the number and placement of microphones 394 are not limited to the embodiment of FIG. 3B. If the number of microphones 394 included in the wearable device 300 is two or more, the wearable device 300 can identify the direction of the sound signal using a plurality of microphones disposed on different parts of the frame. there is.
  • the optical devices 382 and 384 may transmit a virtual object transmitted from at least one display 350 to the wave guides 333 and 334.
  • optical devices 382 and 384 may be projectors.
  • the optical devices 382 and 384 may be disposed adjacent to the at least one display 350 or may be included within at least one display 350 as part of the at least one display 350 .
  • the first optical device 382 may correspond to the first display 350-1
  • the second optical device 384 may correspond to the second display 350-2.
  • the first optical device 382 can transmit the light output from the first display 350-1 to the first waveguide 333
  • the second optical device 384 can transmit the light output from the first display 350-1 to the first waveguide 333.
  • the light output from -2) can be transmitted to the second waveguide 334.
  • the camera 340 may include an eye tracking camera (ET CAM) 340-1, a motion recognition camera 340-2, and/or an imaging camera 340-3. You can.
  • the shooting camera 340-3, the eye tracking camera 340-1, and the motion recognition camera 340-2 may be placed at different positions on the frame and perform different functions.
  • the shooting camera 340-3, eye tracking camera 340-1, and motion recognition camera 340-2 may be examples of the camera 225 of FIG. 2.
  • the gaze tracking camera 340-1 may output data representing the gaze of the user wearing the wearable device 300.
  • the wearable device 300 may detect the gaze from an image including the user's pupils obtained through the gaze tracking camera 340-1.
  • FIG. 3B An example in which the gaze tracking camera 340-1 is positioned toward the user's right eye is shown in FIG. 3B, but the embodiment is not limited thereto, and the gaze tracking camera 340-1 is positioned solely toward the user's left eye. It may be placed towards, or towards both eyes.
  • the capturing camera 340-3 may capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera may capture an image of a specific object that exists at a location where the user is looking and provide the image to at least one display 350.
  • At least one display 350 is one in which a real image or background information including the image of the specific object obtained using a photographing camera and a virtual image provided through the optical devices 382 and 384 are overlapped.
  • the video can be displayed.
  • the imaging camera may be placed on the bridge 303 disposed between the first rim 301 and the second rim 302.
  • the gaze tracking camera 340-1 tracks the gaze of a user wearing the wearable device 300, thereby tracking the user's gaze and visual information provided to at least one display 350. By matching them, a more realistic augmented reality can be realized. For example, when the user looks forward, the wearable device 300 may naturally display environmental information related to the user's front view on at least one display 350 at the location where the user is located.
  • the gaze tracking camera 340-1 may be configured to capture an image of the user's pupil to determine the user's gaze. For example, the gaze tracking camera 340-1 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 340-1 may be placed at positions corresponding to the user's left and right eyes.
  • the eye tracking camera 340-1 may be placed within the first rim 301 and/or the second rim 302 to face the direction in which the user wearing the wearable device 300 is located. You can.
  • the motion recognition camera 340-2 recognizes the movement of the entire or part of the user's body, such as the user's torso, hands, or face, and displays a specific event on the screen provided on at least one display 350. can be provided.
  • the gesture recognition camera 340-2 may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal to at least one display 350.
  • the processor may identify a signal corresponding to the operation and perform a designated function based on the identification.
  • the motion recognition camera 340-2 may be disposed on the first rim 301 and/or the second rim 302.
  • the camera 340 included in the wearable device 300 is not limited to the eye tracking camera 340-1 and the motion recognition camera 340-2 described above.
  • the wearable device 300 may identify an external object included within the user's FoV using the capturing camera 340-3 disposed toward the user's FoV.
  • the wearable device 300 identifies an external object based on a sensor for identifying the distance between the wearable device 300 and the external object, such as a depth sensor and/or a time of flight (ToF) sensor. It can be.
  • the camera 340 disposed toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function.
  • the wearable device 300 includes a camera 340 (e.g., a face tracking (FT) camera) disposed toward the face of a user wearing the wearable device 300 to obtain an image including the face. ) may include.
  • FT face tracking
  • the wearable device 300 radiates light toward a subject (e.g., the user's eyes, face, and/or an external object within the FoV) captured using the camera 340. It may further include a light source (eg, LED).
  • the light source may include an LED with an infrared wavelength.
  • the light source may be placed in at least one of the frame and hinge units 306 and 307.
  • the battery module 370 may supply power to electronic components of the wearable device 300.
  • the battery module 370 may be disposed within the first temple 304 and/or the second temple 305.
  • the battery module 370 may be a plurality of battery modules 370 .
  • a plurality of battery modules 370 may be disposed on each of the first temple 304 and the second temple 305.
  • the battery module 370 may be disposed at an end of the first temple 304 and/or the second temple 305.
  • the antenna module 375 may transmit a signal or power to the outside of the wearable device 300, or may receive a signal or power from the outside.
  • the antenna module 375 may be electrically and/or operationally connected to a communication circuit (eg, the communication circuit 240 of FIG. 2) within the wearable device 300.
  • the antenna module 375 may be disposed within the first temple 304 and/or the second temple 305.
  • the antenna module 375 may be placed close to one surface of the first temple 304 and/or the second temple 305.
  • the speakers 392-1 and 392-2 may output sound signals to the outside of the wearable device 300.
  • the sound output module may be referred to as a speaker.
  • the speakers 392-1 and 392-2 are disposed adjacent to the ears of the user wearing the wearable device 300, the first temple 304, and/or the second temple 305. ) can be placed within.
  • the wearable device 300 is disposed within the first temple 304 and the second speaker 392-2, which is disposed adjacent to the user's left ear, and the second temple 305 to listen to the user's hearing. It may include a first speaker 392-1, which is disposed adjacent to the right ear.
  • a light emitting module may include at least one light emitting device.
  • the light emitting module may emit light in a color corresponding to a specific state or emit light through an operation corresponding to the specific state. For example, when the wearable device 300 requires charging, it may repeatedly emit red light at designated times.
  • the light emitting module may be disposed on the first rim 301 and/or the second rim 302.
  • the wearable device 300 may include a printed circuit board (PCB) 390.
  • the PCB 390 may be included in at least one of the first temple 304 or the second temple 305.
  • the PCB 390 may include an interposer disposed between at least two sub-PCBs.
  • one or more hardware included in the wearable device 300 eg, hardware shown by the blocks described above with reference to FIG. 2 may be disposed.
  • the wearable device 300 may include a flexible PCB (FPCB) for interconnecting the hardware.
  • FPCB flexible PCB
  • the wearable device 300 includes a gyro sensor for detecting the posture of the wearable device 300 and/or the posture of a body part (e.g., head) of a user wearing the wearable device 300; It may include at least one of a gravity sensor and/or an acceleration sensor.
  • the gravity sensor and acceleration sensor may each measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (eg, x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • a gyro sensor can measure the angular velocity of each of designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis).
  • At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • the wearable device 300 may identify a user's motion and/or gesture performed to execute or stop a specific function of the wearable device 300 based on the IMU.
  • FIGS. 4A to 4B show an example of the appearance of a wearable device 400, according to an embodiment.
  • the wearable device 400 of FIGS. 4A and 4B may include the wearable device 101 of FIGS. 1 and 2 .
  • An example of the appearance of the first side 410 of the housing of the wearable device 400, according to one embodiment, is shown in FIG. 4A, and the second side 420 is opposite to the first side 410. ) can be shown in Figure 4b.
  • the first surface 410 of the wearable device 400 may have a form attachable to a user's body part (e.g., the user's face).
  • wearable device 400 may include a strap for securing on a part of the user's body, and/or one or more temples (e.g., first temple 304 in FIGS. 3A-3B, and/or It may further include 2 temples (305).
  • a first display 350-1 for outputting an image to the left eye of both eyes of the user, and a second display 350-2 for outputting an image to the right eye of the user's both eyes, have a first surface 410 It can be placed on top.
  • the wearable device 400 is formed on the first surface 410 and emits light (e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2. Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • light e.g., external light (e.g., external light) different from the light emitted from the first display 350-1 and the second display 350-2.
  • Rubber or silicone packing may be further included to prevent interference due to ambient light.
  • the wearable device 400 includes a camera for photographing and/or tracking both eyes of a user adjacent to each of the first display 350-1 and the second display 350-2. It may include (440-1, 440-2). The cameras 440-1 and 440-2 may be referred to as ET cameras. According to one embodiment, the wearable device 400 may include cameras 440-3 and 440-4 for photographing and/or recognizing the user's face. The cameras 440-3 and 440-4 may be referred to as FT cameras.
  • a camera for acquiring information related to the external environment of the wearable device 400 -5, 440-6, 440-7, 440-8, 440-9, 440-10)
  • a sensor e.g., depth sensor 430
  • the cameras 440-5, 440-6, 440-7, 440-8, 440-9, and 440-10 are configured to recognize an external object different from the wearable device 400. It may be placed on (420).
  • the wearable device 400 may obtain images and/or media to be transmitted to each of the user's eyes.
  • the camera 440-9 will be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the second display 350-2 corresponding to the right eye among the two eyes. You can.
  • the camera 440-10 may be disposed on the second side 420 of the wearable device 400 to acquire an image to be displayed through the first display 350-1 corresponding to the left eye among the two eyes. there is.
  • the wearable device 400 may include a depth sensor 430 disposed on the second surface 420 to identify the distance between the wearable device 400 and an external object. Using the depth sensor 430, the wearable device 400 acquires spatial information (e.g., depth map) about at least a portion of the FoV of the user wearing the wearable device 400. can do.
  • spatial information e.g., depth map
  • a microphone for acquiring sound output from an external object may be disposed on the second surface 420 of the wearable device 400.
  • the number of microphones may be one or more depending on the embodiment.
  • the wearable device 400 may have a form factor to be worn on the user's head.
  • the wearable device 400 may provide a user experience based on augmented reality and/or mixed reality while worn on the head.
  • Cameras 440-5, 440-6, 440 for tracking external space and external objects within the external space e.g., the first external object 120-1 to the fourth external object 120-4 in FIG. 1
  • the wearable device 400 can obtain a frame for the external space and recognize a plurality of visual objects within the frame.
  • the wearable device 400 may classify the plurality of visual objects into one of a plurality of designated categories classified by display conditions, based on execution of the visual object classifier 275 of FIG. 2 .
  • the wearable device 400 displays information based on a designated category (e.g., designated categories in Table 1) matched to each of a plurality of visual objects in the first display 350-1 and the second display 350-2.
  • a designated category e.g., designated categories in Table 1
  • the visibility of a plurality of visual objects can be changed. For example, the wearable device 400 maintains the visibility of the first visual object focused by the user, reduces the visibility of another visual object that is different from the first visual object, or removes the other visual object. You can.
  • a wearable device including the wearable device 300 of FIGS. 3A to 3B and/or the wearable device 400 of FIGS. 4A to 4B (e.g., the wearable device of FIGS. 1 to 2)
  • An example of an operation in which the device 101 adjusts the visibility of each of a plurality of visual objects in AR and/or MR is described.
  • FIG. 5 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device of FIG. 5 .
  • the operation of the wearable device described with reference to FIG. 5 may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • a wearable device may identify a plurality of visual objects within a frame.
  • a wearable device uses a camera (e.g., camera 225 in FIG. 2) to detect a plurality of external objects (e.g., The first external objects 120-1 to fourth external objects 120-4 of FIG. 1 can be identified.
  • the wearable device can identify a plurality of visual objects based on the execution of the visual object classifier 275 of FIG. 2.
  • the wearable device may classify a plurality of visual objects identified based on the operation 510 into a plurality of designated categories.
  • the wearable device may determine the category of each of the plurality of visual objects based on the plurality of designated categories in Table 1.
  • the wearable device divides the plurality of visual objects into a plurality of designated categories divided by display conditions, based on the positional relationship between the plurality of visual objects and/or the first visual object focused by the user of the wearable device. It can be classified into: For example, the wearable device may classify the first visual object focused by the user into a first designated category among the plurality of designated categories.
  • the wearable device may classify a second visual object in contact with the first visual object into a second designated category among the plurality of designated categories.
  • the wearable device may display other visual objects that are distinct from the first visual object and the second visual object, a third designated category for limiting display of the visual object, and a fourth designated category for conditionally displaying the visual object. It can be classified into at least one of the fifth designated categories for covering visual objects with a category or a specific visual object such as an image.
  • the wearable device may change a portion of a frame in which a second visual object is displayed, which is distinguished from the first visual object focused by the user.
  • the wearable device may display another visual object occluding another visual object classified into a different category that is distinct from the first designated category into which the first visual object was classified.
  • the wearable device uses a display (e.g., display 220 in Figure 2) to display an image (e.g., Figure 1 Images 132 and 134) can be displayed within the FoV.
  • the wearable device can maintain displaying the first visual object representing the first external object within the FoV.
  • the wearable device selects a second visual object in a frame based on a category of the second visual object and/or an event associated with the second visual object. You can control whether to display or not. For example, the wearable device may adjust the display of the second visual object based on display conditions corresponding to the category in which the second visual object is classified. For example, the wearable device may remove visual objects classified into the fourth designated category of Table 1 within the FoV formed by the display of the wearable device, based on display conditions matched to the fourth designated category.
  • a wearable device identifies a sound generated from another external object using a microphone (e.g., microphone 235 in FIG.
  • the wearable device displays a visual object for the other external object based on the intensity of the sound. You can resume. For example, when the intensity of sound increases, the wearable device may resume displaying visual objects relative to other external objects, according to one or more embodiments. When the sound intensity decreases, the wearable device may discontinue displaying the visual object relative to other external objects, according to one or more embodiments. The wearable device may stop displaying visual objects to obscure (or cover) other external objects based on the likelihood of collision between the other external objects and the user. The operation of the wearable device to adjust the display of the visual object based on the display conditions is described with reference to FIGS. 10A and 10B.
  • the wearable device may classify visual objects corresponding to each of the external objects in the external space that can be viewed by the user into a plurality of designated categories. While displaying a frame in which the external objects are captured, the wearable device may change visual objects representing each of the external objects within the frame based on a designated category into which each of the external objects is classified. In order to maintain the user's immersion in the first external object, the wearable device removes a visual object representing another external object different from the first external object from the frame, or displays another visual object overlapping on the visual object. can be displayed.
  • FIGS. 6A and 6B an example of an operation in which a wearable device identifies an input indicating focus of a visual object based on a user's motion, according to an embodiment, is described.
  • FIGS. 6A and 6B illustrate an example of an operation in which the wearable device 101 identifies an input indicating focus of at least one visual object, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device 101 of FIGS. 6A and 6B.
  • the wearable device 101 in a state worn by the user 110, is configured to display one or more external objects (e.g., first external objects 120-1 to fifth external objects 120-1) disposed in front of the user 110. External objects 120-5) can be identified.
  • the wearable device 101 may obtain information about one or more external objects using a camera (e.g., camera 225 in FIG. 2) and/or sensor (e.g., sensor 230 in FIG. 2). .
  • the information may include at least one of an image and/or a depth map in which the one or more external objects are captured.
  • the wearable device 101 displays visual objects representing one or more external objects within the FoV of the user 110 wearing the wearable device 101, based on AR, MR, and/or VST. You can.
  • the wearable device 101 displays frames in which visual objects corresponding to each of the first external object 120-1 to the fifth external object 120-5 are captured within the FoV. It can be displayed.
  • the wearable device 101 may identify an input for adjusting the visibility of at least one of the visual objects in the frame. For example, the wearable device 101 may identify an input for focusing on at least one of the plurality of visual objects.
  • the wearable device 101 may identify an input for focusing on at least one of a plurality of visual objects based on the motion of a designated body part (eg, hand 610).
  • the wearable device 101 may identify the position H of the hand 610 using a camera (eg, camera 225 of FIG. 2).
  • the wearable device 101 may identify the input based on identifying the position H of the hand 610 moving along the trajectory T1.
  • the trajectory T1 of the hand 610 may represent a vertical upward swipe gesture. Referring to FIG. 6A , a trajectory T1 of a hand 610 moving in a direction opposite to the direction of gravitational acceleration is exemplarily shown.
  • the wearable device 101 may switch from state 601 to state 602 for receiving an input indicating focus of at least one of the plurality of visual objects.
  • the wearable device 101 may identify an input for focusing on at least one of a plurality of visual objects based on the visual object 614 included in the display area.
  • the wearable device 101 may display a visual object 614 in the form of a button containing designated text (e.g., “Focus mode ON”).
  • the wearable device 101 may identify a gesture for selecting a visual object 614 based on the body part of the user 110 (e.g., head, eyes, and/or hands 610) that is facing the visual object 614. You can.
  • the wearable device 101 that has identified the gesture may switch from state 601 to state 602 in FIG. 6A.
  • the wearable device 101 may identify an input for focusing on at least one of a plurality of visual objects based on an audio signal from a microphone (eg, microphone 235 in FIG. 2).
  • the wearable device 101 may perform speech-to-text (STT) on the audio signal.
  • the wearable device 101 may identify, from the audio signal, the input containing an utterance 612 (eg, “I want to focus”) containing a specified natural language. Based on receiving the audio signal containing the utterance 612, the wearable device 101 enters a state 602 for receiving an input indicating the focus of at least one of the plurality of visual objects from the state 601. ) can be switched.
  • STT speech-to-text
  • the wearable device 101 may identify an input for focusing on at least one of a plurality of visual objects based on a gesture of pressing a designated button exposed to the outside through the housing of the wearable device 101. there is.
  • the wearable device 101 may switch from state 601 to state 602 in FIG. 6A based on a gesture of pressing the designated button for more than a designated period.
  • the wearable device 101 may identify an input for focusing on at least one of a plurality of visual objects based on a gesture of touching the housing.
  • Wearable device 101 switches from state 601 to state 602 in FIG. 6A in response to a gesture of tapping a designated part of the housing (e.g., a temple of wearable device 101 that has the shape of a pair of glasses). can do.
  • the wearable device 101 may identify an input that indicates focus on at least one of the visual objects included in the display area. For example, within an image frame displayed through displays facing each of the user's eyes, the wearable device 101 may identify the point at which the user's eyes are directed (e.g., the point focused by the user). . For example, based on identifying that the direction of the user's gaze is toward the first external object 120-1, the wearable device 101 displays a first external object 120-1 within the display area. 1 A closed curve 620-1 and/or an icon 620-2 may be displayed to emphasize the visual object 130-1. The closed curve 620-1 may be referred to as a contour.
  • the wearable device 101 may display a closed curve 620-1 having a designated color, such as blue.
  • the wearable device 101 uses a closed curve 620-1 surrounding the first visual object 130-1 visible through the display area to emphasize a portion of the display area where the first visual object 130-1 is visible. can do.
  • the wearable device 101 may display an icon 620-2 including a plus sign in order to receive an input indicating focus of the first visual object 130-1.
  • the wearable device 101 may identify an input indicating focus of the first visual object 130-1 based on the gesture for selecting the icon 620-2.
  • the display of the closed curve 620-1 and/or the icon 620-2 by the wearable device 101 may be performed by other information that is different from the information indicating the direction of the user's gaze. You can.
  • the wearable device 101 may recommend focus on the first visual object 130-1 based on the location of the wearable device 101 and/or the current time.
  • the wearable device 101 may display a closed curve 620-1 and/or an icon 620-2.
  • the wearable device 101 may track the history of a visual object focused by the user 110 according to location and/or time.
  • the wearable device 101 may display a visual object that was focused by the user 110 at the current location, and/or a visual object that was focused by the user 110 at the current time at a date in the past (e.g., the same time in the past). Based on the object, it may be recommended to the user 110 to focus on a specific visual object.
  • the wearable device 101 identifies the type of the first visual object 130-1. Based on (eg, a book), a fifth visual object 130-5 similar to the first visual object 130-1 may be identified.
  • the wearable device 101 displays a closed curve 620-1 and/or an icon 620-2 while displaying a fifth external object 120-1 similar to the first external object 120-1.
  • An icon 622-2 can be displayed.
  • the wearable device 101 may display, within the display area, visual objects 624 and 626 for switching to another state distinct from (or different from) state 602. .
  • the wearable device 101 may display a visual object 624 in the form of a button for completing selection of the visual object based on the state 602 .
  • Visual object 624 may include designated text (e.g., “done”) to guide completion of selection of the external object.
  • the wearable device 101 may display a visual object 626 for switching to another state (eg, state 601) before switching to state 602.
  • the wearable device 101 may display a visual object 626 in the form of a button containing designated text (e.g., “Cancel”) to guide returning to another state prior to the state 602.
  • the wearable device 101 receives an input indicating the focus of a specific external object based on visual objects within the display area, including icons 620-2 and 622-2. can be identified.
  • a user 110 directly interacting with a first external object 120-1 may, within state 602, select a first visual object representing the first external object 120-1.
  • the embodiment is not limited to this, and the user 110 may gaze at the first visual object 130-1 for more than a designated period of time or perform a gesture pointing to the first external object 120-1 with a finger. there is.
  • the wearable device 101 which identifies the gaze of the user 110 staring at the first visual object 130-1 for more than a specified period of time or a gesture pointing with a finger to the first external object 120-1, Based on the gaze and/or the gesture, an input indicating focus of the first visual object 130-1 may be identified.
  • state 602 of FIG. 6A it is assumed that the wearable device 101 has identified a gesture for selecting the icon 620-2.
  • wearable device 101 can switch from state 602 in FIG. 6A to state 603 in FIG. 6B.
  • the wearable device 101 creates a closed curve 620 surrounding the first visual object 130-1 in order to emphasize the first visual object 130-1 corresponding to the gesture.
  • the color of -1) may be changed from a first designated color (eg, blue) to a second designated color (eg, yellow) to emphasize the first visual object 130-1.
  • the wearable device 101 may display an icon 620-3 for defocusing the first visual object 130-1 representing the first external object 120-1.
  • the wearable device 101 displays an icon 620-3 including a minus sign by overlapping it on the first visual object 130-1, but the embodiment is not limited thereto. Based on the gesture for selecting the icon 620-3, the wearable device 101 is in a state (e.g., before receiving an input indicating focus of the first visual object 130-1 from the state 603). You can switch to state 602).
  • the wearable device 101 selects the first external object based on an input indicating the focus of the first external object 120-1 matching the icon 620-2 (in FIG. 6A).
  • a visual object may be displayed to identify an input indicating the focus of visual objects representing other external objects that are distinct from (or different from) (120-1).
  • the other external object such as the fifth external object 120-5, is an object that has been in contact with the first external object 120-1 selected by the input (e.g., an object that has been contacted in excess of a specified ratio and/or area). objects) may be included.
  • the wearable device 101 displays a fifth external object along with a closed curve 620-1 whose color indicates the focus of the first visual object 130-1.
  • a closed curve 622-1 surrounding the fifth visual object 130-5 representing and an icon 622-2 for receiving an input indicating focus of the fifth external object may be displayed.
  • wearable device 101 based on the orientation of a body part (e.g., head, eyes, and/or hand 610) of user 110, moves in that direction. Adjacent or overlapping external objects can be identified.
  • the wearable device 101 may display a visual object for selecting the external object as the external object focused by the user. For example, based on identifying that the direction of the user's 110 gaze approaches the third visual object 130-3 representing a third external object, the wearable device 101 displays the third visual object 130-3 within the display area.
  • a closed curve 630-1 surrounding the third visual object 130-3 and/or an icon 630-2 for the third visual object 130-3 may be displayed.
  • the wearable device 101 may identify an input indicating focus of the third visual object 130-3. Similarly, when the direction of the user's 110 hand approaches a fourth external object, which is a group of a plurality of photos attached to the wall, the wearable device 101 displays a fourth visual object representing the fourth external object. A closed curve 632-1 and/or an icon 632-2 may be displayed to emphasize the object 130-4.
  • the wearable device 101 detects at least one external object selected within state 603 (e.g., by a closed curve 620-1 having a specified color).
  • the input for switching to the MR can be identified to focus on the first external object that appears to be wrapped.
  • the wearable device 101 may identify a gesture for selecting a visual object 624 as an input indicating display of a screen for immersing in the visual object selected by the user 110. Based on identifying the designated utterance (e.g., “You have made your selection”) received via the microphone within state 603, the wearable device 101 may display another visual object that is different from the at least one visual object selected by the other input.
  • state 604 It can be switched to a state where the visual object is obscured or removed (e.g., state 604).
  • the embodiment is not limited thereto, and the wearable device 101 is in a state 604 that displays a screen for immersion of at least one visual object selected in the state 603, based on the motion of the body part, from the state 603. ) can be switched.
  • the wearable device 101 may identify the input based on identifying the position H of the hand 610 moving along the trajectory T2.
  • the trajectory T2 of the hand 610 may represent a vertically downward swipe gesture.
  • the wearable device 101 may identify the trajectory T2 of the hand 610 moving along the direction of gravitational acceleration using a camera and/or sensor. Based on the vertical downward swipe gesture expressed by hand 610, wearable device 101 may switch from state 603 to state 604.
  • a hostile state 604 is shown.
  • wearable device 101 maintains a display of first visual object 130-1 while simultaneously displaying another external object that is distinct from the first external object that matches first visual object 130-1.
  • Another visual object, representing an external object may mark the changed frame.
  • the wearable device 101 displays the image 132 in a portion of the frame in which the second external object supporting the first visual object 130-1 representing the first external object is expressed. ) can be displayed.
  • the image 132 may be displayed in conjunction with a second visual object representing a second external object.
  • the wearable device 101 may remove the third visual object 130-3 representing a third external object that was expressed through the display area.
  • the third visual object 130-3 may be removed by displaying the image 132 covering the third visual object 130-3.
  • wearable device 101 may display image 134 associated with an external object shown in the background within the FoV (e.g., a wall surface to which a fourth external object is attached). there is.
  • the image 134 may be overlaid on the fourth visual object 130-4 representing the fourth external object, thereby substantially limiting the fourth visual object 130-4 from being displayed within the FoV.
  • the wearable device 101 provides a user experience for immersing the first visual object 130-1 within the state 604, while switching to another state distinct from the state 604.
  • a visual object 640 may be displayed. Based on the state 604, the wearable device 101 may display a visual object 640 in the form of a button to at least temporarily stop displaying the images 132 and 134.
  • a button with designated text e.g., “Focus Mode OFF”
  • the embodiment is not limited thereto.
  • the wearable device 101 displays the first visual object 130-1 based on the speech and/or motion of the user 110 wearing the wearable device 101.
  • the input that indicates focus can be identified.
  • the wearable device 101 displays a screen within the FoV for immersion in the first visual object 130-1 representing the first external object 120-1, as in state 604. can do.
  • the wearable device 101 changes the frame obtained from the camera to at least temporarily stop displaying other visual objects different from the first visual object 130-1 representing the first external object 120-1. /Or by compositing, the scene displayed within the FoV in state 604 can be obtained.
  • the wearable device 101 may provide the user 110 with MR for immersing in the first visual object 130-1.
  • the wearable device 101 may segment at least one visual object from information about the external space in order to identify an input indicating the focus of a specific visual object.
  • FIG. 7 an example of an operation in which the wearable device 101 divides a visual object according to an embodiment is described.
  • FIG. 7 illustrates an example of an operation in which the wearable device 101 classifies a plurality of visual objects into one of a plurality of designated categories, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device 101 of FIG. 7 .
  • the operation of the wearable device 101 described with reference to FIG. 7 may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • the wearable device 101 may acquire a frame 710 of the external space using a camera (eg, camera 225 in FIG. 2).
  • the camera is arranged to face one direction of the wearable device 101 (e.g., in front of the user 110 while the user 110 is wearing the wearable device 101). It can be.
  • the wearable device 101 may use the camera to obtain a frame 710 of an external space visible to the user 110 wearing the wearable device 101.
  • the wearable device 101 may obtain a frame 710 for an external space including the first to sixth external objects 120-1 to 120-6.
  • the wearable device 101 may acquire information about the external space using a camera and/or sensor (eg, sensor 230 in FIG. 2).
  • the information may include depth information (eg, depth map and/or depth image) about the external space including the wearable device 101.
  • the wearable device 101 which has acquired information about the external space, selects a plurality of external objects (e.g., the first external object 120-1 to 120-1) included in the external space based on the information.
  • the sixth external object 120-6) can be identified.
  • the wearable device 101 may identify a visual object corresponding to a plurality of external objects based on the distribution of color and/or the distribution of the outline of the object within the frame 710.
  • the wearable device 101 may identify the plurality of visual objects by performing object recognition on the frame 710 based on an artificial neural network.
  • the wearable device 101 may identify the plurality of external objects spaced apart from the wearable device 101 based on different distances, based on the depth distribution indicated by the depth image.
  • the wearable device 101 may identify an area in the frame 710 where each of the plurality of external objects is captured. Referring to FIG. 7 , the wearable device 101 may identify the first area 720-1 in the frame 710 where the first external object 120-1 is captured. The wearable device 101 may identify the second area 720-2 in the frame 710 where the second external object 120-2 in contact with the first external object 120-1 is captured. . The wearable device 101 may identify a third area 720-3 within the frame 710 where a third external object 120-3 including a speaker is captured. The wearable device 101 may identify a fourth area 720-4 within the frame 710 where a fourth external object 120-4, which is a group of one or more photos partially overlapping with each other, is captured.
  • the wearable device 101 is of the same type as the first external object 120-1 within the frame 710, and a fifth external object 120-5 overlapping with the first external object 120-1 is captured.
  • the fifth area 720-5 can be identified.
  • the wearable device 101 may identify the sixth area 720-6 in which the sixth external object 120-6 is captured within the frame 710.
  • the wearable device 101 may group visual objects for external objects based on the positional relationship between external objects and/or a user's gesture. For example, as in the fourth area 720-4 of FIG. 7, when visual objects representing the photos are in contact with each other in excess of a specified ratio (e.g., 50%), the wearable device 101 is connected to one area. Based on this, the photos can be recognized as one group. For example, the wearable device 101 follows the path 730 from the first point P1 within the first visual object 720-1 representing the first external object 120-1 within the frame 710.
  • a specified ratio e.g. 50%
  • the first visual object (720-1) and the fifth visual object (720-5) can be grouped into one group.
  • the wearable device 101 may display a closed curve surrounding all of the first visual object 720-1 and the fifth visual object 720-5 based on the gesture.
  • the wearable device 101 may display a plurality of frames 710 to the user 110.
  • Each of the external objects may display closed curves representing a plurality of regions captured within the frame 710.
  • the closed curve e.g., the closed curve 620-1 in FIGS. 6A and 6B
  • the wearable device 101 may change the color of the closed curve displayed overlapping on the outline of the first area 720-1 in response to an input indicating the focus of the first external object 120-1. Based on the change in color, the wearable device 101 can visualize that the first visual object 130-1 has been selected by the input.
  • the wearable device 101 classifies visual objects corresponding to a plurality of external objects included in the frame 710, and displays a plurality of external objects associated with a plurality of areas in which the plurality of external objects are captured. Based on other visual objects (eg, closed curves and/or icons), categories containing the plurality of visual objects may be visualized. For example, the wearable device 101 may display a straight closed curve having a first designated color (eg, yellow) in an area where an external object classified into the first designated category is captured. For example, the wearable device 101 creates a closed curve of a dashed line surrounding the area where the external object is captured and having the first designated color in the area where the external object classified into the second designated category is captured. can be displayed.
  • a first designated color eg, yellow
  • the wearable device 101 may surround the area in which an external object classified into a third designated category is captured and display a straight closed curve having a second designated color (e.g., blue). there is.
  • the wearable device 101 may display a broken closed curve having a second designated color and surrounding the area where an external object classified into the fourth designated category is captured.
  • the wearable device 101 may display a first designated number (eg, 2) of dots in an area where an external object classified into the fourth designated category is captured.
  • the wearable device 101 may display a broken closed curve having a third designated color (eg, black) in an area where an external object classified into the fifth designated category is captured.
  • the wearable device 101 may display a broken closed curve having a second designated color in an area where an external object classified into the sixth designated category is captured.
  • the wearable device 101 may display a second designated number (eg, 1) of dots in an area where an external object classified into the sixth designated category is captured.
  • the wearable device 101 includes a frame 710 that at least partially overlaps the FoV of the user 110 in order to provide a user experience based on AR, MR, and/or VST. ) can be obtained.
  • the wearable device 101 may recognize a plurality of visual objects captured within the frame 710. Based on recognition of a plurality of visual objects, the wearable device 101 may identify an input indicating focus of a specific visual object. Based on recognition of a plurality of visual objects, the wearable device 101 may provide a user experience for immersing in the specific visual object related to the input. For example, the wearable device 101 may classify the plurality of visual objects based on identifying the specific external object, based on a plurality of designated categories in Table 1. Based on a result of classifying the plurality of external objects based on the plurality of designated categories, the wearable device 101 may change at least a portion of the frame 710.
  • FIG. 8 an example of an operation performed by the wearable device 101, described above with reference to FIGS. 6A to 6B and/or FIG. 7 , based on an input indicating the focus of an external object is described. do.
  • FIG. 8 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device utilized for FIG. 8 .
  • the operation of the wearable device described with reference to FIG. 8 may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • a wearable device may identify an input indicating focus of a first visual object among a plurality of visual objects.
  • the wearable device may identify the input based on the motion and/or speech of the user wearing the wearable device, as described above with reference to FIGS. 6A and 6B.
  • the wearable device may identify an input indicating focus of the first visual object within the states 602 and 603 of FIGS. 6A and 6B based on the direction of the user's gaze.
  • the wearable device may classify a first visual object into a first designated category.
  • the wearable device may recognize a plurality of external objects adjacent to the wearable device, based on the operation described above with reference to FIG. 7 .
  • the wearable device classifies the first visual object corresponding to the input of the action 810 into a first designated category for maintaining display of the first visual object among a plurality of designated categories distinguished by display conditions. You can.
  • the first designated category may include the first designated category in Table 1.
  • the wearable device Based on the input of the operation 810, the wearable device identifies a first visual object classified into a first designated category, based on the area and/or distance contacted with the first external object corresponding to the first visual object. , multiple visual objects can be classified into different categories.
  • the wearable device may classify a second visual object in contact with a first visual object into a second designated category.
  • a second designated category may be set to classify visual objects that are permitted to be displayed and/or mapped to improve the visibility of the first visual objects classified into the first designated category.
  • the second designated category may include the second designated category in Table 1.
  • the wearable device may identify the second external object that is in contact with or supports the first external object corresponding to the first visual object, based on the positional relationship between the plurality of external objects. An operation in which the wearable device changes a portion of a frame in which a second visual object classified into a second designated category is captured based on the operation 830 will be described with reference to FIG. 9 .
  • the wearable device may classify a third visual object, which is distinguished from the first visual object and the second visual object, into a third designated category.
  • a third designated category may be set to reduce or eliminate the visibility of visual objects.
  • the third designated category may include the third designated category in Table 1.
  • the wearable device determines that a third visual object classified into a third designated category directs the user's attention (or motion) to the first visual object. You can identify whether there is a possibility to interrupt (e.g., take away or disrupt) something. For example, the wearable device may obtain the probability for the third visual object based on object recognition. The wearable device may identify whether the third visual object, such as a mobile phone, draws the user's attention to the first visual object based on the speaker. The wearable device may identify whether the third visual object, such as a water cup, plate, and/or flower pot, is knocked over or destroyed by the user's motion.
  • the third visual object such as a water cup, plate, and/or flower pot
  • the wearable device when the third visual object is classified into the third designated category, is configured to cause the third visual object to remove, distract, or divert the user's focus (or motion) toward the first visual object. , may have criteria for determining the probability of interference, etc. In one or more embodiments, the wearable device may include a database of criteria, to determine the probability that a third visual object eliminates, distracts, disrupts, etc. the user's focus (or motion) on the first visual object; It can have rule-based logic, etc.
  • the wearable device may classify the third visual object into a fourth designated category.
  • the fourth designated category may have a display condition for resuming display of the third visual object classified into the fourth designated category.
  • the fourth designated category may correspond to the fourth designated category in Table 1.
  • An operation in which the wearable device changes a portion of a frame in which a visual object classified into the fourth designated category is captured based on the operation 860 is described with reference to FIGS. 10A to 10B and/or 11A to 11B. . If the third visual object classified into the third designated category has no likelihood of interrupting the user's attention to the first visual object or has said likelihood less than a designated threshold (850-No), the wearable device It is possible to maintain classification of visual objects into third designated categories.
  • the wearable device displays a fourth visual object, within the display, distinct from the second visual object and displayed adjacent to the first visual object. , can be classified into the fifth designated category.
  • the fourth visual object may include an object recognized as a background by a user directly interacting with the first wearable device.
  • the fifth designated category may include the fifth designated category in Table 1. The operation of the wearable device changing at least a portion of the frame based on the visual object classified into the fifth designated category based on the operation 870 is described with reference to FIGS. 12A and 12B.
  • the wearable device displays the plurality of visual objects in the display and changes the plurality of visual objects, based on the designated category into which each of the plurality of visual objects is classified. there is. For example, as in state 604 of FIG. 6D, the wearable device may maintain display of a specific visual object within the frame while masking or removing other visual objects. The wearable device may display frames in which the visibility of visual objects representing each external object are individually adjusted to the user, thereby providing the user with a user experience based on AR, MR, and/or VST.
  • FIG. 9 illustrates an example of an operation in which the wearable device 101 changes a visual object representing a second external object associated with a first external object focused by a user, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device 101 utilized for FIG. 9 .
  • the operation of the wearable device 101, described with reference to FIG. 9, may be performed by the wearable device 101 and/or the processor 210 of FIG. 2.
  • the wearable device 101 matches a first external object (e.g., the first external object 120-1 in FIG. 1) to the first visual object 130-1.
  • a state 901 in which an input indicating focus is received is shown.
  • State 901 in FIG. 9 may correspond to state 603 in FIG. 6B.
  • the wearable device 101 displays a second visual object (e.g., the second external object 120-2 in FIG. 1) associated with the first visual object selected by the input. can be identified.
  • the wearable device 101 may at least partially display a closed curve 912 surrounding the second visual object 130-2 within the display area, and the closed curve 912 may be a second visual object representing the second external object. It may overlap with the object 130-2.
  • the wearable device 101 may display a visual object 914 for controlling an image to be combined with the second visual object 130-2.
  • the image to be combined with the second visual object 130-2 may be referred to as a texture image, in terms of changing the texture of the second external object corresponding to the second visual object 130-2. there is.
  • An example is shown in which the wearable device 101 displays a visual object 914 in the form of an icon containing a pencil overlapping the second visual object 130-2, but the embodiment is not limited thereto.
  • the wearable device 101 may identify an input indicating a change in an image to be combined with the second visual object 130-2 based on a gesture for selecting the visual object 914. Based on the input, wearable device 101 can switch from state 901 to state 902. Within the state 902 of FIG. 9, the wearable device 101 displays a screen 920 for adjusting an image and/or texture to be associated with a second visual object 130-2 representing a second external object within the display area. ) can be displayed. Although the screen 920 in the form of a pop-up window is shown as an example, the embodiment is not limited thereto.
  • the wearable device 101 displays icons 921, 922, within the screen 920, corresponding to different options for adjusting the image to be superimposed on the second visual object 130-2.
  • 923, 924) can be displayed.
  • the icon 921 may match the option of not combining any image with the second visual object 130-2.
  • the icon 922 may be matched to an option for combining an image representing a tree with the second visual object 130-2.
  • the icon 923 may match an option for combining an image representing a rock (eg, marble) with the second visual object 130-2.
  • the icon 924 may be matched to an option for combining an image representing a specified pattern with the second visual object 130-2.
  • the wearable device 101 uses an input to display an image 132 representing a tree in an overlapping manner on the second visual object 130-2. can be identified. Based on the input, wearable device 101 may switch from state 902 to state 903 in FIG. 9 . In state 903, the wearable device 101 may display an image 132 having the shape of the second visual object 130-2 in an overlapping manner on the second visual object 130-2. Because the wearable device 101 displays the image 132 representing a tree superimposed on the second visual object 130-2, the wearable device 101 displays the image 132 of the second external object visible through the user's FoV. An image 132 having a shape can be displayed.
  • the wearable device 101 may identify a second visual object associated with the first visual object based on an input indicating the focus of the first visual object. Because the second visual object is associated with the first visual object, within the FoV of the user wearing the wearable device 101, the second visual object 130-2 representing the second external object represents the first external object. It may be adjacent to the first visual object 130-1. The wearable device 101 superimposes the image 132 on the second visual object 130-2 representing the second external object, so that the image 132 is displayed in a frame adjacent to the first visual object 130-1 representing the first external object. An image 132, partially representing a tree, may be displayed.
  • the image 132 may have a shape, pattern, and/or texture to improve visibility of the first visual object 130-1.
  • the wearable device 101 changes the user's response to the first external object. It can change the visibility of other external objects that may disrupt or disrupt motion.
  • FIGS. 10A and 10B an example of an operation of the wearable device 101 to change the visibility of another external object according to an embodiment will be described.
  • FIGS. 10A and 10B illustrate an example of an operation in which the wearable device 101 changes the display of a visual object representing an external object, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device 101 of FIGS. 10A and 10B.
  • the operation of the wearable device 101 described with reference to FIGS. 10A and 10B may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • a user 110 wearing a wearable device 101 uses a plurality of external objects (e.g., first external objects 120-1 to sixth external objects 120-6). While heading in the direction D1, states 1001, 1002, and 1003 that the wearable device 101 enters based on the state of at least one of the plurality of external objects are exemplarily shown.
  • the wearable device 101 may identify an input indicating focus of the first visual object 130-1. Based on the input, the wearable device 101 may maintain the display of the first visual object 130-1 representing the first external object 120-1 within the FoV. Based on the input, the wearable device 101 synthesizes the image 132 (e.g. , combination) can be done. The operation of the wearable device 101 to synthesize the image 132 in the portion may be performed similarly to the operation of the wearable device 101 described above with reference to FIG. 9 .
  • the wearable device 101 in a state 1001 in which an external object different from the first external object 120-1 is obscured or removed within the FoV of the user 110, the wearable device 101 includes a speaker.
  • the third external object 120-3 can be identified. Although a mobile phone is illustrated as the third external object 120-3 including a speaker, the embodiment is not limited thereto.
  • the wearable device 101 which has identified the third external object 120-3 including a speaker, selects the third visual object 130-3 corresponding to the third external object 120-3 as shown in Table 1. It can be classified into the fourth designated category.
  • the embodiment is not limited to this, and the wearable device 101 displays the third visual object 130-3 as the fourth designated object based on the type of the first external object 120-1 focused by the user 110. It can be classified into categories.
  • the third external object 120-3 is a mobile phone
  • the third external object (120-3) 120-3) Sound can be generated from
  • the wearable device 101 uses a microphone ( For example, the sound generated from the third external object 120-3 can be identified using the microphone 235 in FIG. 2. Wearable device 101 may switch from state 1001 to state 1002 based on identifying the sound as exceeding a specified threshold intensity.
  • the designated threshold intensity may be determined based on the type of the first external object 120-1 focused by the user 110. For example, in state 1001 of FIG. 10A where the first external object 120-1 is a book, the wearable device 101 may compare the threshold intensity indicated by the book and the intensity of the sound.
  • the first external object 120-1 indicated as focused is an object other than a book (e.g., a personal computer (PC))
  • the threshold intensity indicated by the other object is the threshold indicated by the book.
  • the wearable device 101 which has identified a sound exceeding the threshold intensity, switches from state 1001 in FIG. 10A to state 1002 to display a third visual object 130-3 representing the third external object 120-3.
  • the display of 3) can be resumed.
  • the wearable device 101 within state 1002, the wearable device 101 according to one embodiment, with the first visual object 130-1 focused by the user 110, displays an image that exceeds a specified threshold intensity.
  • a third visual object 130-3 representing a third external object 120-3 that outputs sound may be displayed.
  • the user 110 of the wearable device 101 may recognize the third external object 120-3 based on the wearable device 101 switching from state 1001 to state 1002.
  • the wearable device 101 displays a third visual object 130-3 representing the third external object 120-3, so that the user 110 responds to the sound output from the third external object 120-3. Based on this, interaction with the third external object 120-3 may be supported.
  • the user 110 wearing the wearable device 101 may perform a motion for the third external object 120-3 based on a frame containing the third visual object 130-3. You can.
  • the wearable device 101 removes the third external object 120-3. Display of the expressed third visual object 130-3 may be stopped. For example, when sound stops being output from the third external object 120-3, the wearable device 101 may switch from state 1002 to state 1001. Based on switching from state 1002 to state 1001, wearable device 101 may stop displaying third visual object 130-3 within the FoV.
  • the wearable device 101 may identify a sixth external object 120-6, which is a water cup.
  • the sixth external object 120-6 may be destroyed or broken based on colliding with a designated body part, such as the hand 1010.
  • the wearable device 101 includes the sixth external object (120-6)
  • the sixth visual object 130-6 corresponding to 120-6) may be classified into the fourth designated category.
  • the fourth designated category like the fourth designated category in Table 1, may be set to classify external objects that can interrupt the interaction between the user 110 and the first external object 120-1. .
  • the wearable device 101 may monitor motion related to the sixth external object 120-6. Independently of blocking or removing the sixth visual object 130-6 representing the sixth external object 120-6 within the frame, the wearable device 101, for example, allows the user 110 to 1 In order to prevent a user from colliding with the sixth visual object 120-6 representing the sixth external object 120-6 while immersed in the external object 120-1, the sixth external object 120-6 ) can be monitored.
  • the wearable device 101 can switch from state 1001 to state 1003 based on identifying the hand 1010 approaching toward the sixth external object 120-6.
  • the wearable device 101 tracks the position H of the hand 1010 within frames obtained from a camera (e.g., camera 225 in FIG. 2) and displays the first position along the path 1012. 6 Motion approaching the external object 120-6 can be identified. Based on the motion, wearable device 101 can switch from state 1001 to state 1003. For example, when the distance between the sixth external object 120-6 and the hand 1010 decreases to less than a specified distance, the wearable device 101 may switch from state 1001 to state 1003. The designated distance may be stored in advance in the wearable device 101 and/or a device connected to the wearable device 101.
  • the wearable device 101 may resume displaying the sixth visual object 130-6.
  • the wearable device 101 may display the sixth visual object 130-6 by changing at least a portion of the image 134 overlaid on the sixth visual object 130-6.
  • the wearable device 101 may display a closed curve 1020 surrounding the sixth visual object 130-6 within the display area.
  • the closed curve 1020 is based on a designated color (eg, blue) and/or a designated pattern (eg, dashed line) of the sixth external object 120-6 corresponding to the sixth visual object 130-6. You can guide the location.
  • the wearable device 101 may display a notification message 1030 to guide changes in the state of the sixth external object 120-6 within the state 1003. Referring to FIG. 10B, an example of a notification message 1030 is shown containing text (e.g., “Water is in the cup. Be careful.”) for guiding the change of the state, but the embodiment is not limited thereto. no.
  • the wearable device 101 displays the first visual object 130-1 corresponding to the first visual object 130-1 based on an input indicating the focus of the first visual object 130-1. 1 Among the second external object 120-2 in contact with the external object 120-1 and other external objects distinguished from the first external object 120-1, the user 110 and External objects within the fourth designated category that can interrupt the interaction between the first external objects 120-1 (e.g., the third external object 120-3 and/or the sixth external object 120-6) can be identified.
  • the wearable device 101 may monitor motion (e.g., generation of sound and/or approach of the hand 1010) related to the external object.
  • the wearable device 101 resumes displaying a visual object representing the external object (e.g., the third visual object 130-3 in FIG. 10A) or prevents interruption of the interaction.
  • a notification message (e.g., notification message 1030 in FIG. 10B) may be displayed.
  • FIGS. 11A-11B show an example of flowcharts for a wearable device, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device utilized for FIGS. 11A and 11B.
  • the operations of the wearable device described with reference to FIGS. 11A and 11B may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • a wearable device may receive sound using a microphone (eg, microphone 235 in FIG. 2).
  • a wearable device may use a plurality of microphones (eg, a microphone array) to identify the direction and/or location from which the sound was generated.
  • the wearable device may determine whether the sound originates from a visual object classified into the fourth designated category.
  • the fourth designated category may include the fourth designated category of Table 1, which is a category for conditionally displaying a visual object representing an external object.
  • the external object of operation 1120 may include the third external object 120-3 and/or the sixth external object 120-6 of FIGS. 10A and 10B. If the sound does not originate from the fourth designated category (1120-No), the wearable device may continue to receive the sound based on the action (1110).
  • the wearable device determines whether the intensity of the sound exceeds the specified threshold intensity. can do.
  • the specified threshold intensity may be adjusted by the type of first visual object indicated as being focused. If the intensity of the sound is below the specified threshold intensity (1130-No), the wearable device may continue to receive the sound based on the operation 1110.
  • the wearable device displays a visual display classified into the fourth designated category.
  • Objects can be displayed.
  • the wearable device may display a visual object (e.g., the third external object 120-3 in FIG. 10a) representing a specific external object (e.g., the third external object 120-3 in FIG. 10a) from which a sound is generated, such as state 1002 in FIG. A third visual object 130-3) may be displayed.
  • the wearable device uses a camera (e.g., camera 225 in FIG. 2) and/or a sensor (e.g., sensor 230 in FIG. 2). Using , motion related to a plurality of visual objects can be identified. Based on the position of the hand 1010 in FIG. 10B, the wearable device may identify a motion that touches one of a plurality of visual objects or approaches one of a plurality of visual objects.
  • a camera e.g., camera 225 in FIG. 2
  • a sensor e.g., sensor 230 in FIG. 2
  • the wearable device may determine whether an event related to a visual object classified into the fourth designated category has occurred.
  • the event may be related to motion corresponding to the visual object.
  • the motion may include a motion that collides with an external object corresponding to the visual object (eg, a collision between the hand 1010 of FIG. 10B and the external object).
  • the wearable device may maintain identifying the motion based on operation 1150.
  • the wearable device performs a function for guiding a change in the state of an external object within the display.
  • Visual objects can be displayed.
  • the wearable device may display a visual object to guide a collision of the external object and/or a change in the state of the external object, such as the closed curve 1020 and/or the notification message 1030 in FIG. 10B. You can.
  • the wearable device 101 may resume displaying a visual object representing the other external object.
  • FIGS. 12A and 12B illustrate an example of an operation in which the wearable device 101 displays another visual object in a portion distinguished from the visual object focused by the user 110, according to an embodiment.
  • the wearable device 101 of FIG. 2 may include the wearable device 101 of FIGS. 12A to 12B. 12A to 12B, while the wearable device 101 displays the first visual object 120-1 representing the first external object, the first visual object 130-1 according to one embodiment.
  • example states 1201, 1202, and 1203 are shown in which display of other visual objects distinguished from the first visual object 130-1 is stopped.
  • the wearable device 101 displays the first visual object 130-1 representing the first external object (e.g., the first external object 120-1 in FIG. 1).
  • An example state 1201 is shown that identifies an input that indicates focus.
  • the wearable device 101 may display a closed curve 620-1 representing the outline of the first visual object 130-1.
  • the wearable device 101 divides each of the plurality of external objects into a plurality of specified categories (e.g., in Table 1) based on the first visual object 130-1 selected by the input. can be classified into any of the designated categories listed).
  • the wearable device 101 may classify the first external object corresponding to the first visual object 130-1 and the second external object in contact with the second external object into a second designated category.
  • the wearable device 101 combines an image in a portion 1210 where another external object (e.g., an external object classified into the fifth designated category) that is distinguished from the first external object and the second external object is visible within the FoV.
  • An icon 1212 can be displayed to do this.
  • the wearable device 101 may display an icon 1212 including a plus sign in a portion 1210 that includes an external object classified into the fifth designated category and is wider than the external object.
  • the visual object displayed by the wearable device 101 to receive input for combining the images is not limited to the icon 1212 in FIG. 12A.
  • the wearable device 101 may display a screen 1220 for selecting an image to be combined in the portion 1210 within the FoV based on a gesture for selecting the icon 1212.
  • the wearable device 101 may display the screen 1220 on at least a portion of the FoV of the wearable device 101.
  • An embodiment in which the wearable device 101 displays a screen 1220 in the form of a pop-up window is shown, but the embodiment is not limited thereto.
  • the wearable device 101 may recommend at least one image to be displayed in the portion 1210 within the screen 1220.
  • the wearable device 101 may display preview images for one or more images to be displayed in the portion 1210, such as thumbnails 1221 and 1222 included in the screen 1220. Images matching the thumbnails 1221 and 1222 are stored in the memory of the wearable device 101 (e.g., memory 215 in FIG. 2) or stored in an external electronic device (e.g., memory 215 of FIG. 2) connected to the wearable device 101. server).
  • the images may include scenes such as windows and/or walls, or may include photographs of landscapes.
  • the wearable device 101 is repeatedly (or periodically) updated within the screen 1220 based on the environment in which the wearable device 101 is included, such as the weather, and/or the clock. Options for displaying images containing information can be displayed.
  • the wearable device 101 may display an icon 1223 on the screen 1220 for executing a designated application (eg, a gallery application) for viewing images and/or videos. Based on the gesture for selecting the icon 1223, the wearable device 101 may display another screen provided from the specified application within the FoV.
  • a designated application eg, a gallery application
  • the wearable device 101 in response to an input indicating selection of an image within the screen 1220, switches from a state 1201 in which the screen 1220 is displayed in an overlapping manner to a state 1202. You can. Within state 1202, the wearable device 101 displays the image 134 selected by the input within a distinct FoV from the first visual object 130-1 representing the first external object focused by the user. can be displayed. For example, the wearable device 101 may combine the image 134 to the portion 1210 within a frame obtained from a camera (e.g., camera 225 in FIG. 2). The wearable device 101 may display the frame to which the image 134 is combined within the user's FoV through a display (eg, display 220 of FIG. 2). Based on the frame displayed within the FoV, a user wearing wearable device 101 may view the image 134 coupled to or in conjunction with portion 1210 .
  • a camera e.g., camera 225 in FIG.
  • the wearable device 101 creates a background area (e.g., portion 1210) that is distinct from the first visual object 130-1 representing the first external object within the FoV. , can be replaced with image 134.
  • the image 134 displayed in the background area may be set based on options selected by the user of the wearable device 101.
  • Wearable device 101 may change background music and/or lighting intensity along with image 134 .
  • the wearable device 101 monitors the user's motion and/or intention (e.g., study) toward the first external object based on an input indicating the focus of the first external object. , work, and/or playing a musical instrument). Based on the intention, the wearable device 101 can provide a user experience that does not interfere with the user's motion focusing on the first external object.
  • the user experience may be related to AR, MR and/or VST.
  • wearable device 101 may be worn by user 110 looking in direction D2, according to one embodiment.
  • the wearable device 101 recognizes the external space containing the wearable device 101 based on one or more frames output from a camera (e.g., camera 225 in FIG. 2) disposed toward the direction D2. You can.
  • the wearable device 101 may create a virtual space 1220 mapped to the external space.
  • the virtual space 1220 may be formed based on a three-dimensional coordinate system mapped to external space.
  • Creating the virtual space 1220 by the wearable device 101 may include generating information for rendering at least a portion of the virtual space 1220.
  • the wearable device 101 provides a service (e.g., In order to provide a metaverse service), a virtual space 1220 can be created.
  • a service e.g., In order to provide a metaverse service
  • a virtual space 1220 can be created.
  • one or more electronic devices connected to the wearable device 101 through a network are described with reference to FIG. 16.
  • the wearable device 101 has a virtual space mapped to the position (O) and direction (D2) of the wearable device 101, based on the mapping between external space and virtual space 1220.
  • the location (O') and direction (D2') within space 1220 can be identified.
  • the wearable device 101 may place a virtual object corresponding to at least a portion of the external object selected by the input in the virtual space 1220 based on an input indicating the focus of the external object.
  • wearable device 101 determines, based on identifying the user's 110 motion relative to the keyboard (or keys) of piano 1214, the portion where the keys are placed within piano 1214 ( 1210) can be classified into the first designated category.
  • the wearable device 101 converts the score 1222 to a first designated location based on identifying the motion of the user 110 looking at the score 1222 that the user 110 is viewing. It can be classified into categories. As described above, the wearable device 101 may classify a plurality of external objects (eg, portion 1210 and/or musical score 1222) arranged in an external space into the first designated category. Referring to FIG. 12B, the wearable device 101 may place a first visual object 1230 representing a portion 1210 of the piano 1214, classified into a first designated category, in the virtual space 1220. . The wearable device 101 may place the second visual object 1232 representing the music score 1222, classified into the first designated category, in the virtual space 1220.
  • a first visual object 1230 representing a portion 1210 of the piano 1214
  • the wearable device 101 may place the second visual object 1232 representing the music score 1222, classified into the first designated category, in the virtual space 1220.
  • the wearable device 101 exchanges information about the virtual space 1220 with an external electronic device (e.g., a server) connected to the wearable device 101 through a network, An avatar 1240 matched to another user different from the user 110 may be added to the virtual space 1220.
  • Information for visualizing the avatar 1240 may be transmitted from the external electronic device to the wearable device 101.
  • the wearable device 101 may change the avatar 1240 included in the virtual space 1220 based on receiving information for controlling the motion of the avatar 1240 from the external electronic device.
  • the wearable device 101 may add an avatar matched to the user 110 of the wearable device 101 within the virtual space 1220.
  • the wearable device 101 may transmit information for visualizing the avatar matched to the user 110 to the external electronic device.
  • the wearable device 101 may transmit information for changing the avatar to the external electronic device based on the motion of the user 110 recognized by the wearable device 101.
  • FIG. 12B an example of a screen that the wearable device 101 displays within the FoV of the user 110 in state 1203 is shown, according to one embodiment.
  • the wearable device 101 displays information about at least a portion of the virtual space 1220 within the FoV based on a view angle formed within the virtual space 1220 by the position O' and the direction D2'. Rendering can be performed. Based on the rendering, the wearable device 101 displays, within the FoV, a first visual object 1230 representing a portion 1210 of the piano 1214 and a second visual object 1232 representing a musical score 1222. can do.
  • the wearable device 101 may display an avatar 1240 as an example of a virtual object added to the virtual space 1220.
  • the avatar 1240 is placed farther than the first visual object 1230 from the location (O') in the virtual space 1220 corresponding to the location (O) in the external space of the wearable device 101. Therefore, the wearable device 101 can display the avatar 1240 across from the first visual object 1230 within the FoV.
  • the wearable device 101 displays the avatar 1240 based on binocular disparity that is less than the binocular disparity of the first visual object 1230, so that the distance between the avatar 1240 and the first visual object 1230 A sense can be provided to the user 110.
  • the wearable device 101 replaces parts other than the first visual object 1230 and the second visual object 1232 within the frame included in the external space with the virtual space 1220, providing the user 110 with VR. can provide a user experience based on
  • the wearable device 101 displays the image 134 in another portion distinct from the portion of the FoV in which the first visual object focused by the user 110 is visible. , or may display at least a portion of the virtual space 1220.
  • the wearable device 101 may, based on at least a portion of the image 134 and/or the virtual space 1220, display information in MR and/or VR without interfering with the attention of the user 110 focused on the first visual object.
  • a user experience based on the user experience may be provided to the user 110.
  • the wearable device 101 classifies a plurality of external objects based on the relationship (e.g., whether there is contact) between the first visual object focused by the user 110 and other visual objects, and Among the plurality of visual objects, at least one visual object to be preferentially displayed to the user 110 may be adaptively selected.
  • another visual object that is different from the plurality of visual objects may be added to the frame.
  • FIG. 13 illustrates an example of an operation in which the wearable device 101 identifies an external object that is different from a specific external object focused on by the user 110, according to an embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device 101 of FIG. 13 .
  • the operation of the wearable device 101 described with reference to FIG. 13 may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • the wearable device 101 displays a plurality of visual objects (e.g., Visual objects corresponding to each of the first to fourth external objects 120-1 to 120-4) may be classified into one of a plurality of designated categories.
  • the wearable device 101 displays the first visual object 130-1 classified into the first designated category to the user 110 based on the input, while displaying another visual object 130-1 that is distinguished from the first visual object 130-1.
  • On a visual object at least one image (eg, images 132 and 134) may be displayed in an overlapping manner.
  • the image 132 may be displayed as an overlap on a visual object classified into a second designated category (eg, a visual object corresponding to the second external object 120-2).
  • the image 134 may be displayed as an overlap on a visual object classified into the fifth designated category (eg, a portion where the fourth external object 120-4 is visible).
  • the wearable device 101 is classified into one of a plurality of designated categories.
  • An example case of identifying an unclassified visual object 1320 is shown.
  • an external object 1310 such as an animal (e.g., a dog)
  • the wearable device 101 uses a camera (e.g., the camera 225 in FIG. 2) and a microphone (
  • a frame containing a visual object 1320 in which an external object 1310 is captured can be obtained using a microphone 235 in FIG. 2) and/or a sensor (e.g. sensor 230 in FIG. 2). there is.
  • the wearable device 101 determines whether to display the visual object 1320 within the FoV of the user 110. You can decide. For example, wearable device 101 may determine whether to display visual object 1320 within the FoV of user 110 based on the number and/or duration for which motion for visual object 1320 is detected. . For example, the wearable device 101 may display the visual object 1320 within the FoV based on whether the intensity of the sound generated from the external object 1310 exceeds a specified threshold intensity. For example, wearable device 101 displays visual object 1320 based on a depth map and/or based on whether the distance between wearable device 101 and external object 1310 is less than a specified distance. It can be displayed within the FoV.
  • an example state 1301 is shown in which the wearable device 101 displays a visual object 1320 representing an external object 1310 within the FoV of the user 110, according to one embodiment.
  • the wearable device 101 displays a portion other than the portion where the first visual object 130-1 representing the first external object 120-1 is placed within the frame obtained from the camera.
  • the visual object 1320 can be removed or obscured. Identifying that the number of times motion has been identified from the visual object 1320 exceeds a specified number of times, receiving sound of a specified intensity or more from an external object 1310 corresponding to the visual object 1320, and/or less than a specified distance. Based on identifying an external object 1310 approaching in the distance, the wearable device 101 may switch to state 1301.
  • the wearable device 101 may display the visual object 1320 corresponding to the external object 1310 within the frame within the FoV. Referring to FIG. 13 , because the visual object 1320 is displayed within the FoV, the user 110 wearing the wearable device 101 can recognize the external object 1310 through the visual object 1320. Within state 1301 of FIG. 13 , the wearable device 101 may classify the visual object 1320 into a sixth designated category among the designated categories in Table 1. The wearable device 101 may classify the category into which the visual object 1310 was classified into another category different from the sixth designated category, based on the period during which the visual object 1320 was classified into the sixth designated category.
  • the wearable device 101 based on displaying a visual object 1320 classified into the sixth designated category for more than a designated period of time (e.g., 5 to 10 seconds), the wearable device 101 is selected from the state 1301. You can switch to state 1302. The embodiment is not limited to this, and the wearable device 101 may change the category of the visual object 1320 independently of the specified period based on an input indicating the focus of the visual object 1320. Within state 1302, the wearable device 101 may display a screen 1340 for selecting whether to change the category of the visual object 1320. Within the screen 1340 in the form of a pop-up window, the wearable device 101 displays visual objects 1342 for adjusting and/or selecting whether to maintain the display of the visual object 1320 based on a change in category.
  • a designated period of time e.g., 5 to 10 seconds
  • the wearable device 101 may display a visual object 1342 that has the form of a button and includes text that guides maintaining the display of the visual object 1320.
  • the wearable device 101 may display a visual object 1344 that has the form of a button and includes text guiding the user to stop displaying the visual object 1320.
  • the wearable device 101 displays a visual object 1320 based on a gesture for selecting one of the visual objects 1342 and 1344 within the screen 1340.
  • You can change the category For example, based on a gesture for selecting the visual object 1344, the wearable device 101 may change the category of the visual object 1320 from the sixth designated category to the third designated category. Based on changing the category of the visual object 1320 to the third designated category, the wearable device 101 may stop displaying the visual object 1320 within the FoV. For example, the wearable device 101 removes the visual object 1320 within a frame output from the camera, or adds another visual object (e.g., images 132 and 134) on the visual object 1320. It can be synthesized.
  • the wearable device 101 changes the category of the visual object 1320 from the sixth designated category to the first designated category or the fourth designated category. You can.
  • the wearable device 101 may maintain displaying the visual object 1320 within the FoV based on changing the category of the visual object 1320 to the first designated category.
  • the wearable device 101 may change the category of the visual object 1320 to the fourth designated category, based on the motion associated with the external object 1310 matched to the visual object 1320.
  • the visual object 1320 can be conditionally displayed.
  • a sound of an intensity exceeding a specified threshold intensity is generated from the external object 1310, or the external object 1310 is the first external object 120-1 associated with the first visual object 130-1. ), the wearable device 101 may resume displaying the visual object 1320.
  • the wearable device 101 classifies the visual object 1320 into the sixth designated category based on identifying the visual object 1320 added within the FoV of the user 110. It can be classified as:
  • the wearable device 101 may display a screen 1340 for changing the category of the visual object 1320 based on the period during which the visual object 1320 is displayed within the FoV. Based on input related to the screen 1340, the wearable device 101 may change the category of the visual object 1320. Based on the changed category, the wearable device 101 may change whether to display the visual object 1320 within the FoV.
  • Figure 14 shows an example of a flow chart for a wearable device, according to one embodiment.
  • the wearable device 101 of FIGS. 1 and 2 may include the wearable device utilized for FIG. 14 .
  • the operation of the wearable device described with reference to FIG. 14 may be performed by the wearable device 101 and/or the processor 210 of FIG. 2 .
  • the wearable device displays a frame of a frame based on a category of a plurality of first visual objects classified among the first to fifth designated categories. At least part of it can be changed.
  • the first to fifth designated categories may be matched to each of the first to fifth designated categories listed in Table 1.
  • the wearable device may classify each of the plurality of first visual objects in the frame based on the operations described above with reference to FIGS. 6A and 6B and/or FIGS. 7 and 8.
  • the wearable device 101 may individually change the visibility of the plurality of first visual objects within the frame based on the categories of each of the plurality of first visual objects.
  • a wearable device may maintain a first visual object focused by a user within a frame while displaying another visual object that is different from the first visual object, whether or not it is in contact with the first visual object, and/or displays the first visual object in a frame. Based on the type of visual object, it can be hidden or removed.
  • the wearable device may determine whether a second visual object that is distinct from a plurality of first visual objects has been identified. Based on the operation described above with reference to FIG. 13 , the wearable device may identify the appearance of another external object (e.g., the approach of the other external object) that is distinguished from the external objects corresponding to the first visual objects. Before identifying the second visual object (1420-No), the wearable device may keep changing the frame based on the categories of the first visual objects based on the action (1410).
  • another external object e.g., the approach of the other external object
  • the wearable device performs operation 1430 to identify the second visual object, based on the motion associated with the second visual object. 6 Can be classified into designated categories.
  • the wearable device may use the camera 225, sensor 230, and/or microphone 235 of FIG. 2 to identify information about an external object corresponding to the second visual object. For example, when an external object corresponding to the second visual object approaches from the wearable device at a distance less than a specified distance, the wearable device may classify the second visual object into the sixth designated category. For example, when identifying a sound exceeding a specified intensity from an external object corresponding to the second visual object, the wearable device may classify the second visual object into a sixth designated category. Based on classifying the second visual object into the sixth designated category, the wearable device may display the second visual object within the frame.
  • the wearable device displays the second visual object based on an input indicating the period during which the second visual object is displayed and/or the focus of the second visual object. You can change the category of an object. For example, the wearable device may display the second visual object if the second visual object is displayed for more than a specified period of time or if the orientation of a body part (e.g., head, eyes, and/or hands) of the user wearing the wearable device causes the second visual object to be displayed. If facing, operation 1440 can be performed. The wearable device may display a visual object to confirm a change in the category of the second visual object.
  • a body part e.g., head, eyes, and/or hands
  • the wearable device may obtain information about the category of the second visual object from the user of the wearable device (eg, the user 110 of FIG. 1) using the screen 1340 of FIG. 13. Based on the information, the wearable device may reclassify the category of the wearable device from the sixth designated category of the operation 1430 to any one of the first to fifth designated categories of the operation 1410.
  • the wearable device may change the second visual object included in the frame based on the category changed based on operation 1440.
  • the wearable device may maintain display of the second visual object within the frame based on the second visual object being classified into the first designated category.
  • the wearable device may maintain display of the second visual object within the frame, or may change the portion of the second visual object displayed within the frame, based on the second visual object being classified into a second designated category.
  • Changing the portion by a wearable device may include replacing the portion within the frame with an image (e.g., image 132 in FIG. 1) to emphasize a specific visual object focused by the user. .
  • the wearable device may cover the portion where the second visual object is displayed within the frame with another image, or remove it.
  • the wearable device may identify an event for displaying the second visual object within the frame based on the second visual object being classified into a fourth designated category.
  • the wearable device may at least partially change and display a frame obtained from a camera while providing a user experience based on VST.
  • the wearable device may cover or remove other visual objects that are different from the specific visual object within the frame in order to emphasize the specific visual object focused by the user.
  • the wearable device may individually change the visibility of each visual object within the frame based on the type and/or category of each visual object.
  • the wearable device may classify a newly added visual object within the frame into any one of the first to fifth designated categories in Table 1.
  • FIGS. 15A, 15B, and 15C an embodiment in which a wearable device provides a user experience based on AR, MR, and/or VST within example environments, according to one embodiment. explained.
  • FIGS. 15A, 15B, and 15C illustrate an example of an operation performed by the wearable device 101 based on a visual object focused by the user 110, according to an embodiment.
  • the wearable device 101 of FIGS. 1 to 2 may include the wearable device 101 of FIGS. 15A, 15B, and 15C.
  • the operations of the wearable device 101 described with reference to FIGS. 15A, 15B, and 15C may be performed by the wearable device 101 and/or the processor 210 of FIG. 2.
  • 15A, 15B, and 15C example states in which the wearable device 101 worn by the user 110 displays a frame for one or more external spaces to the user 110 ( 1501, 1502, and 1503) are shown.
  • state 1501 it is assumed that the wearable device 101 displays a frame in which at least a portion of the kitchen is captured to the user 110 within an external space including the kitchen.
  • states 1502 and 1503 the wearable device 101 displays a frame in which at least a portion of the external space is captured to the user 110 within an external space including the TV 1552 and the bookshelf 1553.
  • 15A, 15B, and 15C the wearable device 101 changes at least a portion of the frame in which the external space is captured based on the operations described above with reference to FIGS. 1 to 14, and The frame in which at least part of the frame has been changed may be displayed to the user 110.
  • the wearable device 101 uses a camera (e.g., camera 225 of FIG. 2) to detect a plurality of external objects 1511, 1512, 1513, 1514, 1515) can be obtained.
  • the wearable device 101 may identify visual objects corresponding to each of the plurality of external objects 1511, 1512, 1513, 1514, and 1515.
  • the wearable device 101 may identify an external object 1511, which is a frying pan, based on the first visual object 1521 within the frame.
  • the wearable device 101 determines the external object 1512, which is a gas stove, the external object 1513, which is a kitchen table, the external object 1514, which is a water bottle, and/ Alternatively, an external object 1515, which is a ladle, can be identified.
  • the wearable device 101 may identify an input indicating focus of or on the first visual object 1521.
  • the input includes the motion of the user 110 wearing the wearable device 101 (e.g., the posture of the hand holding the first visual object 1521) and/or a designated body part of the user 110 (e.g., the user ( 110) may be related to the direction of the eyes and/or head).
  • the wearable device 101 may classify the first visual object 1521 into a first designated category.
  • the wearable device 101 displays another visual object that is distinguished from the first visual object 1521 within the frame based on the type of the first visual object 1521 and/or the positional relationship with respect to the first visual object 1521. , can be classified.
  • the wearable device 101 displays each category of a plurality of visual objects (e.g., Table 1) within a display area formed in front of both eyes of the user 110. Frames changed by one of the specified categories can be displayed.
  • the wearable device 101 sequentially acquires a plurality of frames from a camera, the wearable device 101 can change each of the plurality of frames based on the category of a plurality of visual objects included in the frame. there is.
  • the wearable device 101 may sequentially display the changed frames within the display area, allowing the user 110 to recognize the MR and/or VST user experience expressed by the changed frames.
  • wearable device 101 may maintain displaying, within a frame, a first visual object 1521 classified into a first designated category.
  • the wearable device 101 may change a portion of the first visual object 1521 that is different from the displayed portion within the frame.
  • the wearable device 101 is associated with the first visual object 1521
  • the second visual object 1522 classified into the second designated category is based on the operation described with reference to FIG. 9. You can change it.
  • the wearable device 101 may change the user's 110 attention to the first visual object 1521 by changing its state (e.g., falling), corresponding to an external object 1514.
  • the visual object 1530 may be conditionally displayed based on the possibility that the state will change.
  • the wearable device 101 Based on the type (e.g., frying pan) of the first visual object 1521 focused by the user 110, the wearable device 101 displays another visual object (e.g., an external object (e.g., external object) having a type associated with the type.
  • another visual object e.g., an external object (e.g., external object) having a type associated with the type.
  • a visual object representing 1515 can be displayed within the display area.
  • the wearable device 101 may classify a plurality of visual objects included in a frame into different categories based on a change in the visual object focused by the user 110.
  • a user 110 wearing a wearable device 101 gazes at an external object 1552, which is a TV, or an external object 1553, which is a bookshelf. Exemplary cases are shown.
  • the wearable device 101 may identify the direction D3 of the user's 110 gaze toward an external object 1552, which is a TV.
  • the wearable device 101 may identify a gaze direction D3 that overlaps the first visual object 1561 corresponding to the external object 1552 within the frame.
  • the wearable device 101 may classify the first visual object 1561 into a first designated category based on the direction D3. Within the example state 1502 of FIG. 15B , the wearable device 101 may classify other visual objects associated with the first visual object 1561 based on the type (e.g., TV) of the first visual object 1561 . For example, when a visual object representing an external object 1551, which is a chair, is included in the display area, the wearable device 101 may classify the visual object into a second designated category.
  • the type e.g., TV
  • the wearable device 101 maintains displaying the first visual object 1561 to the user 110 while displaying another visual object (e.g., an external object 1553, a bookshelf) that is different from the first visual object 1561. You can stop displaying a displayed visual object. For example, the wearable device 101 uses the image 1562 displayed in another part of the frame displayed to the user 110, which is different from the part in which the first visual object 1561 is displayed, to display the first visual object 1561. Other visual objects that are distinct from the visual object 1561 can be hidden or removed from the frame.
  • another visual object e.g., an external object 1553, a bookshelf
  • the wearable device 101 displays a second visual object 1571 representing the external object 1553, among the external object 1552, which is a TV, or the external object 1553, which is a bookshelf.
  • the direction of gaze (D4) overlapped with can be identified.
  • the wearable device 101 may classify the second visual object 1571 into the first designated category based on the direction D4.
  • the wearable device 101 displays a visual object (e.g., the first visual object 1561 in FIG. 15B) different from the second visual object 1571 classified into the first designated category within a frame included in the display area. Based on the classification of the visual object, it can be changed.
  • the wearable device 101 may display an image 1572 having a position and/or shape that overlaps with another visual object that is different from the second visual object 1571 .
  • the wearable device 101 displays a plurality of visual objects displayed within a frame (e.g., a portion of the frame in which each of a plurality of external objects is captured) of the user 110. Can be classified based on focus.
  • the wearable device 101 may change at least a portion of the frame based on a result of classifying the plurality of visual objects based on the focus of the user 110. For example, the wearable device 101 may cover or remove other visual objects that are distinct from a specific visual object focused by the user 110.
  • the wearable device 101 conditionally detects another visual object that is distinct from the specific visual object and is likely to stop the user's 110 focus on the specific visual object, based on an event related to the other visual object. It can be displayed as .
  • the operation of the wearable device 101 may be related to a metaverse service provided through a network.
  • a metaverse service provided through a network.
  • Metaverse is a compound word of the English word 'Meta', meaning 'virtual' or 'transcendence', and 'Universe', meaning universe. It is a combination of social, economic and cultural activities similar to the real world. It refers to a three-dimensional virtual world. Metaverse is a concept that is one step more advanced than virtual reality (VR, a cutting-edge technology that allows people to experience life-like experiences in a computer-generated virtual world), using avatars to simply enjoy games or virtual reality. Not only that, it has the characteristic of being able to engage in social and cultural activities similar to actual reality.
  • the Metaverse service is based on augmented reality (AR), virtual reality environment (VR), mixed reality (MR), and/or extended reality (XR), and creates the virtual world. Media content can be provided to enhance immersion.
  • media content provided by the metaverse service may include social interaction content including avatar-based games, concerts, parties, and/or meetings.
  • the media content may include advertisements, user created content, and/or information for economic activities such as selling products and/or shopping. Ownership of the user-created content may be proven by a blockchain-based non-fungible token (NFT).
  • NFT non-fungible token
  • Metaverse services can support economic activities based on real currency and/or cryptocurrency. Through the metaverse service, virtual content linked to the real world, such as digital twin or life logging, can be provided.
  • FIG. 16 is an example diagram of a network environment 1601 in which metaverse services are provided through the server 1610.
  • the network environment 1601 includes a server 1610, a user terminal 1620 (e.g., a first terminal 1620-1 and a second terminal 1620-2), and a server 1610. It may include a network connecting the user terminal 1620.
  • the server 1610 may provide a metaverse service to the user terminal 1620.
  • the network may be formed by at least one intermediate node 1630 including an access point (AP) and/or a base station.
  • the user terminal 1620 may connect to the server 1620 through a network and output a user interface (UI) related to the metaverse service to the user of the user terminal 1620. Based on the UI, the user terminal 1620 can obtain information to be input to the metaverse service from the user, or output information (eg, multimedia content) related to the metaverse service to the user.
  • UI user interface
  • the server 1610 provides a virtual space so that the user terminal 1620 can perform activities in the virtual space.
  • the user terminal 1620 installs a S/W agent to access the virtual space provided by the server 1610 to express information provided by the server 1610 to the user, or to express information that the user wishes to express in the virtual space. Transmit information to the server.
  • the S/W agent can be provided directly through the server 1610, downloaded from a public server, or embedded when purchasing a terminal.
  • the metaverse service may be provided to the user terminal 1620 and/or the user using the server 1610.
  • the embodiment is not limited to this, and the metaverse service may be provided through individual contact between users.
  • the metaverse service can be provided by a direct connection between the first terminal 1620-1 and the second terminal 1620-2, independently of the server 1610. there is.
  • the first terminal 1620-1 and the second terminal 1620-2 may be connected to each other through a network formed by at least one intermediate node 1630.
  • one of the first terminal 1620-1 and the second terminal 1620-2 is: It can perform the role of server 1610.
  • a metaverse environment can be formed solely by device-to-device connection (e.g., peer-to-peer (P2P) connection).
  • P2P peer-to-peer
  • the user terminal 1620 may be made in various form factors and may provide images to the user. or/and an output device for providing sound and an input device for inputting information into the metaverse service.
  • various form factors of the user terminal 1620 include a smartphone (e.g., the second terminal (1620-2)), an AR device (e.g., the first terminal (1620-1)), a VR device, an MR device, and a VST ( It may include a Video See Through (Video See Through) device, an OST (Optical See Through) device, a smart lens, a smart mirror, and a TV or projector capable of input/output.
  • the network (e.g., a network formed by at least one intermediate node 1630) includes various broadband networks including 3G, 4G, and 5G and a short-range network including Wifi and BT (e.g., the first terminal 1620-1, and a wired network or wireless network directly connecting the second terminal (1620-2).
  • various broadband networks including 3G, 4G, and 5G and a short-range network including Wifi and BT (e.g., the first terminal 1620-1, and a wired network or wireless network directly connecting the second terminal (1620-2).
  • the user terminal 1620 of FIG. 16 may include the wearable device 101 of FIGS. 1 to 14, 15A, 15B, and 15C.
  • a method may be required to adaptively display each of a plurality of visual objects displayed to the user based on the focus of the user wearing the wearable device.
  • the wearable device may include a camera, a display, a processor, and memory including instructions.
  • the instructions when executed by the processor, may cause the wearable device to display, via the display, a first image frame acquired by the camera.
  • the instructions when executed by the processor, may cause to identify a first visual object among a plurality of visual objects in the first image frame.
  • the instructions when executed by the processor, generate a second visual object associated with the first visual object based on identifying a first visual object among the plurality of visual objects in the first image frame obtained from the camera.
  • the instructions when executed by the processor, may cause a second image frame to be acquired through the camera after the second visual object has been identified.
  • the instructions when executed by the processor, remove at least a portion of the second image frame such that at least one other visual object of the plurality of visual objects that is different from the first visual object and the second visual object is removed. can cause changes.
  • the instructions when executed by the processor, may cause the second image frame containing the altered portion to be displayed on the display.
  • the display may include a first display that, while worn by the user, has a position corresponding to the user's left eye.
  • the display may include a second display having a position corresponding to the user's right eye while worn by the user.
  • the processor is configured to identify the first visual object located on the first display or a portion of the second display that is determined to be focused by the user based on eye tracking. It can be.
  • the processor may be configured to identify the second visual object based on whether each of the plurality of visual objects overlaps the first visual object within the first image frame.
  • the processor may be configured to identify the second visual object based on categories into which each of the plurality of visual objects is classified.
  • the method of using a wearable device may include an operation of displaying a first image frame acquired by a camera of the wearable device through a display of the wearable device.
  • the method may include identifying a first visual object among a plurality of visual objects in the first image frame.
  • the method may include identifying a second visual object associated with the first visual object based on identifying a first visual object among the plurality of visual objects in a first image frame obtained from the camera. You can.
  • the method may include acquiring a second image frame through the camera after the second visual object is identified.
  • the method may include changing at least a portion of the second image frame such that at least one other visual object among a plurality of visual objects different from the first visual object and the second visual object is removed. .
  • the method may include displaying the second image frame including the changed portion through the display.
  • the display may include a first display that, while worn by the user, has a position corresponding to the user's left eye.
  • the display may include a second display having a position corresponding to the user's right eye while worn by the user.
  • identifying the first visual object may include identifying the first visual object located on the first display or a portion of the second display that is determined to be focused by the user based on eye tracking. It may include an identifying operation.
  • the operation of identifying the second visual object identifies the second visual object based on whether each of the plurality of visual objects overlaps the first visual object within the first image frame. It may include an identifying operation.
  • identifying the second visual object may include identifying the second visual object based on categories into which each of the plurality of visual objects is classified.
  • a wearable device (e.g., wearable device 101 in FIG. 2) includes a camera (e.g., camera 225 in FIG. 2) and a display (e.g., the wearable device 101 in FIG. 2). may include a display 220) and a processor (eg, processor 210 of FIG. 2).
  • the processor based on an input indicating focus of a first visual object (e.g., the first visual object 130-1 in FIG. 1) among a plurality of visual objects in a frame obtained from a camera, Can be configured to identify a second visual object associated with the visual object.
  • the processor may be configured to change a portion of a frame containing other visual objects that are different from the first visual object and the second visual object.
  • the processor may be configured to display the frame containing the changed portion within the display.
  • the wearable device may change the frame based on the user's focus on the first visual object within the frame and maintain the focus on the first visual object.
  • the processor is configured to classify the plurality of visual objects into one of designated categories distinguished by a displaying condition, based on the input or at least one of the types of the plurality of visual objects. , can be configured.
  • the wearable device may further include a microphone.
  • the processor in a state of displaying the frame containing the changed portion, uses the microphone to identify, among the plurality of external objects, an external object that generates a sound with an intensity exceeding a specified threshold intensity. It can be configured to do so.
  • the processor may be configured to display, in the display, a third visual object corresponding to the third external object, based on identifying the third external object.
  • the processor may be configured to identify the designated threshold intensity based on the type of the first visual object.
  • the processor may, among other visual objects distinguished from the first visual object and the second visual object corresponding to the first external object, the user wearing the wearable device and the wearable device based on a change in state. and may be configured to identify a third visual object having a type corresponding to an external object that can interrupt an interaction between the first external objects.
  • the processor may be configured to display, within the frame, a fourth visual object associated with the third visual object based on an event related to the third visual object.
  • the processor may be configured to use the frame to identify whether the distance between a body part and an external object corresponding to the third visual object is reduced to less than a specified distance.
  • the processor may be configured to display a message in the display for guiding the change in the state of the third visual object based on identifying the distance that has decreased below the specified distance.
  • the processor may display the frame containing the changed portion based on identifying a third visual object that is distinct from the plurality of visual objects, and display the third visual object in the display. Can be configured to display an object.
  • the processor may be configured to display a fourth visual object to select whether to maintain display of the third visual object in the display based on the duration of the display of the third visual object. It can be configured.
  • the processor may be configured to display, within the display, a texture image having the shape of the second visual object in an overlapping manner on the second visual object.
  • the processor may be configured to alter the portion of the frame by combining an image that is wider than the portion to the frame.
  • the processor may be configured to maintain the first visual object representing a first external object within the display by changing the portion that matches the other visual objects.
  • the method of a wearable device uses a camera of the wearable device to capture a plurality of visual objects included in the field-of-view (FoV) of a user wearing the wearable device. It may include an identifying operation.
  • the method classifies the plurality of visual objects into a plurality of designated categories divided by display conditions, based on the positional relationship between the plurality of visual objects and the first visual object focused by the user. It may include actions such as:
  • the method includes using the display of the wearable device to display a third visual object occluding a second visual object classified into a second designated category that is distinct from the first designated category into which the first visual object was classified. , may include a display operation within the FoV.
  • the method may include adjusting display of the third visual object based on display conditions corresponding to the second specified category in which the second visual object is classified.
  • the operation of displaying the second visual object that appears to be in contact with the first visual object based on the positional relationship has the shape of the second visual object shown through the FoV. It may include an operation to display a third visual object.
  • the classifying operation may, based on the type of the second visual object, correspond to a visual object that may interrupt interaction between the first visual object and the user based on a change in state. It may include an operation of determining whether to classify the second visual object into a second designated category.
  • the act of adjusting the display of the visual object that obscures the second visual object classified into the second designated category may be at least based on identifying the user's motion toward the second visual object. It may include ceasing at least temporarily.
  • the classifying operation may classify the second visual object, which corresponds to an external object capable of generating a sound-based notification, into the second designated category having the display condition related to the intensity of the sound. It may include actions such as:
  • the adjusting operation may include, at least temporarily, displaying the third visual object based on identifying, using a microphone of the wearable device, that a sound exceeding a specified threshold intensity is generated from the external object. It may include the action of stopping.
  • the method of a wearable device is based on an input indicating the focus of a first visual object among a plurality of visual objects in a frame obtained from a camera of the wearable device, It may include an operation of identifying a second visual object associated with 1 visual object.
  • the method may include changing a portion of the frame containing other visual objects that are different from the first visual object and the second visual object.
  • the method may include displaying the frame including the changed portion on a display of the wearable device.
  • the method includes classifying the plurality of visual objects into one of designated categories divided by display conditions based on the input or at least one of the types of each of the plurality of visual objects. may include.
  • the displaying operation may include, within a state of displaying the frame including the changed portion, an external object that generates a sound with an intensity exceeding a specified threshold intensity using a microphone of the wearable device. It may include an identifying operation.
  • the method may include, based on identifying the third external object, displaying a third visual object corresponding to the external object in the display.
  • identifying the third external object may include identifying the designated threshold intensity based on the type of the first visual object.
  • the changing operation may be performed between the user wearing the wearable device and the first external object based on a change in state among other visual objects distinguished from the first visual object and the second visual object. It may include an operation of identifying a third visual object having a type that can stop the interaction.
  • the method may include displaying, within the frame, a fourth visual object associated with the third visual object based on an event related to the third visual object.
  • the method may include using the frame to identify whether the distance between a body part and an external object corresponding to the third visual object is reduced to less than a specified distance.
  • the method may include displaying a message in the display for guiding a change in the state of the third visual object based on identifying the distance that has decreased below the specified distance.
  • the displaying operation is based on identifying a third visual object that is distinct from the plurality of visual objects in a state of displaying the frame including the changed portion, and the display includes the third visual object in the display.
  • 3 Can include actions that display visual objects.
  • the displaying operation may include displaying a fourth visual object for selecting whether to maintain displaying the third visual object in the display based on a period during which the third visual object is displayed. It can be included.
  • a wearable device may include a camera, a display, and a processor.
  • the processor may be configured to identify a plurality of visual objects included in the FoV of a user wearing the wearable device, using the camera of the wearable device.
  • the processor classifies the plurality of visual objects into a plurality of designated categories divided by display conditions, based on the positional relationship between the plurality of visual objects and the first visual object focused by the user. It can be configured to do so.
  • the processor using the display of the wearable device, displays a third visual object that obscures the second visual object and is classified into a second designated category that is distinct from the first designated category into which the first visual object is classified. Can be configured to display within the FoV.
  • the processor may be configured to adjust display of the third visual object based on display conditions corresponding to the second designated category into which the second visual object is classified.
  • the processor may, with respect to the second visual object in contact with the first visual object based on the positional relationship, select the third visual object having the shape of the second visual object shown through the FoV. It can be configured to display .
  • the processor may, based on the type of the second external object, classify the second external object into the second designated category that may suspend interaction between the first external object and the user based on a change in state.
  • 2 Can be configured to determine whether to classify external objects.
  • the processor may be configured to, at least, determine the display of the third visual object that occludes the second visual object classified into the second designated category based on identifying the user's motion toward the second visual object. It can be configured to temporarily suspend.
  • the processor is configured to classify the second visual object, corresponding to an external object capable of generating a sound-based notification, into the second designated category having the display condition related to loudness of sound, It can be configured.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른, 웨어러블 장치의 프로세서는, 디스플레이를 통하여 표시된 제1 이미지 프레임 내 복수의 시각적 객체들 중에서 제1 시각적 객체를 식별할 수 있다. 프로세서는, 제1 시각적 객체를 식별하는 것에 기반하여, 제1 시각적 객체와 관련된 제2 시각적 객체를 식별할 수 있다. 프로세서는, 제2 시각적 객체가 식별된 이후, 카메라를 통하여 제2 이미지 프레임을 획득할 수 있다. 프로세서는, 제1 시각적 객체 및 제2 시각적 객체와 상이한 복수의 시각적 객체들 중 적어도 하나의 다른 시각적 객체가 제거되도록, 제2 이미지 프레임의 적어도 일부분을 변경할 수 있다. 프로세서는, 변경된 일부분을 포함하는 제2 이미지 프레임을 표시할 수 있다.

Description

외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법
본 개시(present disclosure)는 외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.
일 실시예에 따른, 웨어러블 장치는, 카메라, 디스플레이, 프로세서 및 인스트럭션들을 포함하는 메모리를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 상기 디스플레이를 통하여, 상기 카메라에 의해 획득된 제1 이미지 프레임을 표시하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 제1 이미지 프레임 내 복수의 시각적 객체들 중에서 제1 시각적 객체를 식별하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 카메라로부터 획득된 상기 제1 이미지 프레임 내 상기 복수의 시각적 객체들 중 제1 시각적 객체를 식별하는 것에 기반하여, 상기 제1 시각적 객체와 관련된 제2 시각적 객체를 식별하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 제2 시각적 객체가 식별된 이후, 상기 카메라를 통하여 제2 이미지 프레임을 획득하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 상기 복수의 시각적 객체들 중 적어도 하나의 다른 시각적 객체가 제거되도록, 상기 제2 이미지 프레임의 적어도 일부분을 변경하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 변경된 일부분을 포함하는 상기 제2 이미지 프레임을, 상기 디스플레이를 통하여 표시하도록 야기할 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이를 통하여, 상기 웨어러블 장치의 카메라에 의해 획득된 제1 이미지 프레임을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 프레임 내 복수의 시각적 객체들 중에서 제1 시각적 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 카메라로부터 획득된 제1 이미지 프레임 내 상기 복수의 시각적 객체들 중 제1 시각적 객체를 식별하는 것에 기반하여, 상기 제1 시각적 객체와 관련된 제2 시각적 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 시각적 객체가 식별된 이후, 상기 카메라를 통하여 제2 이미지 프레임을 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 복수의 시각적 객체들 중 적어도 하나의 다른 시각적 객체가 제거되도록, 상기 제2 이미지 프레임의 적어도 일부분을 변경하는 동작을 포함할 수 있다. 상기 방법은, 상기 변경된 일부분을 포함하는 상기 제2 이미지 프레임을, 상기 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.
일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 카메라, 디스플레이 및 프로세서를 포함할 수 있다. 상기 프로세서는, 카메라로부터 획득된 프레임 내 복수의 시각적 객체들 중에서, 제1 시각적 객체의 포커스를 지시하는 입력에 기반하여, 상기 제1 시각적 객체와 연계된 제2 시각적 객체를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 다른 시각적 객체들이 포함된 프레임의 일부분을 변경하도록, 구성될 수 있다. 상기 프로세서는, 상기 변경된 일부분을 포함하는 상기 프레임을, 상기 디스플레이 내에 표시하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 카메라로부터 획득된 프레임 내 복수의 시각적 객체들 중에서, 제1 시각적 객체의 포커스를 지시하는 입력에 기반하여, 상기 제1 시각적 객체와 연계된 제2 시각적 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 다른 시각적 객체들이 포함된 상기 프레임의 일부분을 변경하는 동작을 포함할 수 있다. 상기 방법은, 상기 변경된 일부분이 포함된 상기 프레임을, 상기 웨어러블 장치의 디스플레이 내에 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 카메라, 디스플레이, 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 상기 카메라를 이용하여, 상기 웨어러블 장치를 착용한 사용자의 FoV 내에 포함된 복수의 시각적 객체들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 복수의 시각적 객체들 사이의 위치 관계, 및 상기 사용자에 의해 포커스된 제1 시각적 객체에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건에 의해 구분되는 복수의 지정된 카테고리들로 분류하도록, 구성될 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 상기 디스플레이를 이용하여, 상기 제1 시각적 객체가 분류된 제1 지정된 카테고리와 구분되는 제2 지정된 카테고리로 분류된, 제2 시각적 객체를 가리는 제3 시각적 객체를, 상기 FoV 내에 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 제3 시각적 객체의 표시를, 상기 제2 시각적 객체가 분류된 상기 제2 지정된 카테고리에 대응하는 표시 조건에 기반하여 조절하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 카메라를 이용하여, 상기 웨어러블 장치를 착용한 사용자의 FoV(field-of-view) 내에 포함된 복수의 시각적 객체들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 복수의 시각적 객체들 사이의 위치 관계, 및 상기 사용자에 의해 포커스된 제1 시각적 객체에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건에 의해 구분되는 복수의 지정된 카테고리들로 분류하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 디스플레이를 이용하여, 상기 제1 시각적 객체가 분류된 제1 지정된 카테고리와 구분되는, 제2 지정된 카테고리로 분류된 제2 시각적 객체를 가리는(occluding) 제3 시각적 객체를, 상기 FoV 내에 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 시각적 객체의 표시를, 상기 제2 시각적 객체가 분류된 상기 제2 지정된 카테고리에 대응하는 표시 조건에 기반하여 조절하는 동작을 포함할 수 있다.
도 1은, 일 실시예에 따른, 웨어러블 장치가 복수의 시각적 객체들을 인식하는 동작의 일 예를 도시한다.
도 2는, 일 실시예에 따른, 웨어러블 장치의 블록도의 일 예를 도시한다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(prospective view)의 일 예를 도시한다.
도 3b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한다.
도 5는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 6a 내지 도 6b는, 일 실시예에 따른, 웨어러블 장치가 적어도 하나의 시각적 객체의 포커스를 지시하는 입력을 식별하는 동작의 일 예를 도시한다.
도 7은, 일 실시예에 따른, 웨어러블 장치가 복수의 시각적 객체들을, 복수의 지정된 카테고리들 중 어느 하나로 분류하는 동작의 일 예를 도시한다.
도 8은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 9는, 일 실시예에 따른, 웨어러블 장치가, 사용자에 의해 포커스된 제1 시각적 객체와 연계된 제2 시각적 객체를 변경하는 동작의 일 예를 도시한다.
도 10a 내지 도 10b는, 일 실시예에 따른, 웨어러블 장치가 시각적 객체의 표시를 변경하는 동작의 일 예를 도시한다.
도 11a 내지 도 11b는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도들의 일 예를 도시한다.
도 12a 내지 도 12b는, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 포커스된 시각적 객체와 구분되는 부분에, 다른 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 13은, 일 실시예에 따른, 웨어러블 장치가, 사용자에 의해 포커스된 특정 시각적 객체와 상이한 시각적 객체를 식별하는 동작의 일 예를 도시한다.
도 14는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다.
도 15a, 도 15b, 및 도 15c는, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 포커스된 시각적 객체에 기반하여 수행하는 동작의 일 예를 도시한다.
도 16은, 메타버스 서비스와 관련된 네트워크 환경에 대한 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 일 실시예에 따른, 웨어러블 장치(101)가 복수의 시각적 객체들을 인식하는 동작의 일 예를 도시한다. 도 1의 일 실시예에서, 웨어러블 장치(101)는 사용자(110)의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다. 비록 안경의 형태를 가지는 웨어러블 장치(101)의 외형이 도시되지만, 실시예가 이에 제한되는 것은 아니다. 사용자(110)의 머리에 착용가능한 웨어러블 장치(101)의 구조의 일 예가 도 3a 내지 도 3b 및/또는 도 4a 내지 도 4b를 참고하여 설명된다. 웨어러블 장치(101) 내에 포함된 하나 이상의 하드웨어들이, 도 2를 참고하여 예시적으로 설명된다.
일 실시예에 따른, 웨어러블 장치(101)는 VST(video see-through 또는 visual see-through) 및/또는 가상 현실(virtual reality, VR)과 관련된 기능을 실행할 수 있다. 도 1을 참고하면, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈을 덮는 하우징을 포함할 수 있다. 웨어러블 장치(101)는, 상기 상태 내에서, 상기 눈을 향하는 제1 면에 배치된 디스플레이를 포함할 수 있다. 웨어러블 장치(101)는 상기 제1 면과 반대인 제2 면 상에 배치된 카메라를 포함할 수 있다. 상기 카메라를 이용하여, 웨어러블 장치(101)는 주변 광이 포함된 프레임들을 획득할 수 있다. 웨어러블 장치(101)는 상기 제1 면에 배치된 디스플레이 내에, 상기 프레임들을 출력하여, 사용자(110)가 상기 디스플레이를 통해 상기 주변 광을 인식하게 만들 수 있다. 상기 제1 면에 배치된 디스플레이의 표시 영역은, 상기 디스플레이에 포함된 하나 이상의 픽셀들에 의해 형성될 수 있다. 웨어러블 장치(101)는 상기 디스플레이를 통해 출력되는 프레임들 내에 가상 객체를 합성하여, 사용자(110)가 주변 광에 의해 인식되는 실제 객체와 함께 상기 가상 객체를 인식하게 만들 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 증강 현실(augmented reality, AR) 및/또는 혼합 현실(mixed reality, MR)과 관련된 기능을 실행할 수 있다. 도 1의 일 실시예에서, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈에 인접하게 배치된 적어도 하나의 렌즈를 포함할 수 있다. 웨어러블 장치(101)는 렌즈를 통과하는 주변 광(ambient light)에, 웨어러블 장치(101)의 디스플레이로부터 방사된 광을 결합할 수 있다. 상기 디스플레이의 표시 영역은, 주변 광이 통과되는 렌즈 내에서 형성될 수 있다. 웨어러블 장치(101)가 상기 주변 광 및 상기 디스플레이로부터 방사된 상기 광을 결합하기 때문에, 사용자(110)는 상기 주변 광에 의해 인식되는 실제 객체(real object) 및 상기 디스플레이로부터 방사된 상기 광에 의해 형성된 가상 객체(virtual object)가 혼합된 상(image)을 볼 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 표시 영역 내에 포함된 실제 객체와 함께, 가상 객체를 표시할 수 있다. 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 사용자(110)는 상기 표시 영역을 통해, 실제 객체 및 가상 객체가 혼합된 상(image)을 볼 수 있다. 도 1을 참고하면, 웨어러블 장치(101)를 착용한 사용자(110)의 머리의 방향(D1)이 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4)를 향하는 예시적인 케이스가 도시된다. 상기 케이스 내에서, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)의 전 방(front direction)(예, 방향(D1))을 향하는 카메라를 이용하여, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4)가 캡쳐된 프레임들을 획득할 수 있다. 웨어러블 장치(101)는 상기 프레임들 내에서, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4)를 인식할 수 있다. 웨어러블 장치(101)가 외부 객체를 인식하는 것은, 상기 프레임들 내에서 상기 외부 객체를 표현하는 시각적 객체를 분할(segmenting)하는 동작을 포함할 수 있다. 웨어러블 장치(101)가 외부 객체를 인식하는 것은, 상기 프레임들 내에서, 상기 외부 객체를 표현하는 시각적 객체의 위치, 및/또는 사이즈를 식별하는 동작을 포함할 수 있다. 웨어러블 장치(101)가 외부 객체를 인식하는 것은, 상기 시각적 객체에 기반하여 외부 객체의 타입을 식별하는 동작을 포함할 수 있다. 도 1의 예시적인 케이스 내에서, 웨어러블 장치(101)는, 프레임 내 제1 외부 객체(120-1)에 대응하는 제1 시각적 객체가 책을 표현하고, 제2 외부 객체(120-2)에 대응하는 제2 시각적 객체가, 상기 책이 배치된 책상을 표현하고, 제3 외부 객체(120-3)에 대응하는 제3 시각적 객체가 휴대 전화를 표현하고, 제4 외부 객체(120-4)에 대응하는 제4 시각적 객체가 벽 면에 부착된 복수의 사진들을 표현함을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 사용자(110)의 전 방을 향하는 카메라로부터 획득된 프레임들을, 웨어러블 장치(101)의 디스플레이 내에 표시할 수 있다. 상기 프레임들은, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4) 각각을 표현하는(representing) 복수의 시각적 객체들을 포함할 수 있다. 웨어러블 장치(101)가 시간 영역 내에서(in a time domain) 상기 프레임들을 순차적으로(sequentially) 표시하기 때문에, 사용자(110)는, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4) 중 적어도 하나를 볼 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 상기 프레임들을 적어도 부분적으로 변경하여, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4) 각각에 대응하는 시각적 객체들이 사용자(110)에게 시인 가능한지(visible) 여부를, 개별적으로 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)에게 보여지는 AR 및/또는 MR 내에서, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4)에 대응하는 시각적 객체들의 시인성(visibility)을 개별적으로 조절할 수 있다.
일 실시예에서, 웨어러블 장치(101)를 착용한 사용자(110)의 두 눈들을 덮는 디스플레이를 포함하는 웨어러블 장치(101)는, 상기 디스플레이가 배치된 제1 면과 반대인 제2 면의 방향을 따라 배치된 카메라로부터, 프레임들을 획득할 수 있다. 도 1을 참고하면, 웨어러블 장치(101)가 사용자(110)에게 적어도 하나 일부분이 변경된 상기 프레임들을 표시하는 예시적인 상태가 도시된다. 웨어러블 장치(101)는, 복수의 외부 객체들 중 적어도 하나의 포커스를 지시하는 입력을 식별할 수 있다. 사용자(110)가 외부 객체와 직접적으로 상호작용하는 경우, 상기 외부 객체는 포커스된 것으로 결정될 수 있다. 예를 들어, 웨어러블 장치(101)는 사용자(110)의 모션(예, 사용자의 머리, 눈 및/또는 손의 모션)에 기반하여, 사용자(110)와 직접적으로 상호작용하는 외부 객체를 식별할 수 있다.
도 1의 예시적인 케이스 내에서, 웨어러블 장치(101)가 제1 시각적 객체(130-1)를 선택하는 입력을 수신한 것으로 가정한다. 하나 이상의 실시예들에서, 웨어러블 장치(101)는, 사용자(110)에 의해 선택되거나, 또는 포커스된 제1 시각적 객체(130-1) 식별한 것으로 가정한다. 일 실시예에서, 웨어러블 장치(101)는 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 수신한 것으로 가정한다. 상기 입력에 기반하여, 웨어러블 장치(101)는, 상기 프레임들 내에서, 제1 시각적 객체(130-1)와 다른 시각적 객체들을 가리거나(occluding), 또는 제거할 수 있다. 예를 들어, 웨어러블 장치(101)는, 복수의 시각적 객체들 중에서, 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1)를 선택적으로 표시할 수 있다. 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 제1 시각적 객체(130-1)와 상이한 다른 시각적 객체들을, 사용자(110)의 시야 내에서 제거할 수 있다. 웨어러블 장치(101)는 상기 다른 시각적 객체들을 제거하여, 사용자(110)가 상기 제1 외부 객체(120-1)에 집중하는 것을 도울 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가, 사용자(110)가 제1 시각적 객체(130-1)에 집중하는 것을 돕기 위하여, 상기 프레임들을 변경하는 동작이 도 5를 참고하여 설명된다. 일 실시예에 따른, 웨어러블 장치(101)가 제1 시각적 객체(130-1)와 같이, 특정 시각적 객체의 포커스를 지시하는 입력을 수신하는 동작이 도 6a 내지 도 6b, 도 7 내지 도 8을 참고하여 설명된다.
일 실시예에 따른, 웨어러블 장치(101)는, 사용자(110)에 의해 포커스된 제1 시각적 객체(130-1)에 기반하여, 웨어러블 장치(101)의 표시 영역 내 다른 시각적 객체를 분류할 수 있다. 도 1을 참고하면, 웨어러블 장치(101)는, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4) 각각에 대응하는 시각적 객체들을, 지정된 카테고리들 중 어느 하나로 분류할 수 있다. 상기 지정된 카테고리들은, 프레임 내에서 외부 객체를 표현한 시각적 객체를 표시하는 조건(이하, 표시 조건(displaying condition))에 의해 구분될 수 있다. 예를 들어, 웨어러블 장치(101)는 제1 시각적 객체(130-1)의 포커스를 지시하는 입력에 기반하여, 제1 시각적 객체(130-1)를, 사용자(110)에 의해 포커스된 시각적 객체를 분류하기 위한 카테고리인, 제1 지정된 카테고리로 분류할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 외부 객체(120-1)와 접촉된 제2 외부 객체(120-2)(예, 테이블, 책상 등)를 표현한 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 제1 시각적 객체(130-1)에 대응하는 제1 외부 객체(120-1)와 임계 거리 이내에 배치된 제2 외부 객체(120-2)를 식별하는 것에 기반하여, 제2 외부 객체(120-2)에 대응하는 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 상기 임계 거리는 외부 객체들 사이의 미리 결정된 거리일 수 있고, 제1 외부 객체(120-1) 및 제2 외부 객체(120-2)를 분할하는 거리는 임계 거리 이내일 수 있다. 웨어러블 장치(101)는, 제1 외부 객체(120-1)와 접촉된 제2 외부 객체(120-2)에 대응하는, 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는 표시 영역 내에서, 제2 지정된 카테고리로 분류된 제2 시각적 객체 상에, 제1 시각적 객체(130-1)의 시인성을 강화하기 위한 이미지(132)를 표시할 수 있다. 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 제2 지정된 카테고리로 분류된 상기 제2 시각적 객체를 표시하는 것을 유지할 수 있다. 이미지(132)는, 표시 영역 내에서 제2 외부 객체(120-2)가 보이는 일부분 상에 중첩으로 표시될 수 있다. 웨어러블 장치(101)가 제2 지정된 카테고리로 분류된 제2 시각적 객체에 기반하여 이미지(132)를 표시하는 동작이, 도 9를 참고하여 설명된다.
일 실시예에 따른, 웨어러블 장치(101)는, 복수의 시각적 객체들 중에서, 제1 시각적 객체(130-1) 및 제2 시각적 객체와 상이한 다른 외부 객체를, 상기 제1 지정된 카테고리 및 상기 제2 지정된 카테고리와 상이한 다른 카테고리로 분류할 수 있다. 상기 다른 카테고리는, 사용자(110)의 시야 내에서, 외부 객체를 표현한 시각적 객체를 표시하는 것을 적어도 일시적으로 중단하기 위한 카테고리를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는, 스피커(예, 디바이스)를 포함하는 제3 외부 객체(120-3)에 대응하는 제3 시각적 객체(130-3)를, 시각적 객체의 표시를 조건부(conditionally) 허용하기 위한 제4 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)가, 제3 외부 객체(120-3)의 상태(예, 소리와 관련된 제3 외부 객체(120-3)의 상태)에 기반하여, 제3 외부 객체(120-3)에 대응하는 제3 시각적 객체(130-3)를 표시하는 동작이, 도 10a 내지 도 10b, 도 11a 내지 도 11b를 참고하여 설명된다.
예를 들어, 웨어러블 장치(101)는 제4 외부 객체(120-4)에 대응하는 제4 시각적 객체를, 시각적 객체의 표시를 중단하기 위한 제3 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 상술된 외부 객체들과 상이한 프레임 내 배경(예, 제4 외부 객체(120-4)가 부착된 벽 면에 대응하는 시각적 객체)을, 제5 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)가 이미지(134)와 같이, 제3 지정된 카테고리 및/또는 제5 지정된 카테고리로 분류되는 외부 객체를 가리기 위한 시각적 객체를 표시하는 동작이, 도 12a 내지 도 12b를 참고하여 설명된다. 웨어러블 장치(101)는 프레임 내에서, 제1 시각적 객체(130-1)와 구분되는 다른 시각적 객체를 숨긴 상태 내에서, 상기 복수의 외부 객체들과 상이한 다른 외부 객체(예, 사용자(110)에게 접근하는 객체)를 추가적으로 식별할 수 있다. 상기 다른 외부 객체를 추가적으로 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 다른 외부 객체를 표현한 시각적 객체를, 사용자(110)에게 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 상기 다른 외부 객체를 식별하는 것에 기반하여 수행하는 동작의 일 예가, 도 13 내지 도 14를 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1)를 표시하는 것을 유지하면서, 상기 제1 외부 객체(120-1)와 상이한 다른 외부 객체를 표현한 다른 시각적 객체를 표시하는 것을 제한할 수 있다. 웨어러블 장치(101)는, 사용자(110)와 직접적으로 상호작용하는 제1 외부 객체(120-1)에 대한 시인성을, 상기 다른 시각적 객체를 표시하는 것을 제한하여, 개선할 수 있다. 예를 들어, 웨어러블 장치(101)는, 도 1의 예시적인 케이스와 같이, 독서를 위해 제1 외부 객체(120-1)에 집중하는 사용자(110)의 액션을 돕기 위하여, 상기 제1 외부 객체(120-1)와 구분되는 다른 외부 객체가 사용자(110)에게 보이는 것을 제한할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 도 1의 상기 케이스와 상이한 다른 케이스 내에서, 사용자(110)의 액션을 돕기 위해 수행하는 동작이, 도 15a, 도 15b, 및 도 15c를 참고하여 설명된다.
이하에서는, 도 2를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)에 포함된 하나 이상의 하드웨어들이 설명된다.
도 2는, 일 실시예에 따른, 웨어러블 장치(101)의 블록도의 일 예를 도시한다. 도 2의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 프로세서(210), 메모리(215), 디스플레이(220), 카메라(225), 센서(230), 마이크(235) 또는 통신 회로(240) 중 적어도 하나를 포함할 수 있다. 프로세서(210), 메모리(215), 디스플레이(220), 카메라(225), 센서(230), 마이크(235) 및 통신 회로(240)는 통신 버스(202)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 2의 하드웨어들 중 일부분(예, 프로세서(210), 메모리(215), 및 통신 회로(240)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(101) 내에 포함된 하드웨어의 타입 및/또는 개수는 도 2에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 도 2에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 프로세서(210)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 상기 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(210)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에서, 웨어러블 장치(101)의 메모리(215)는, 웨어러블 장치(101)의 프로세서(210)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(215)는, 예를 들어, RAM(random-access memory)와 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 디스플레이(220)는 사용자(예, 도 1의 사용자(110))에게 시각화된 정보(예를 들어, 도 1, 도 6a 내지 도 6b, 도 9, 도 10a 내지 도 10b, 도 12a 내지 도 12b, 도 13, 도 15a, 도 15b, 및 도 15c에 도시된 시각적 객체, 및/또는 화면)를 출력할 수 있다. 예를 들어, 디스플레이(220)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(210)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(220)는 FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 2의 디스플레이(220)는, 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b를 참고하여 후술될, 적어도 하나의 디스플레이(350)를 포함할 수 있다. 예를 들어, 도 2의 디스플레이(220)는, 웨어러블 장치(101)가 사용자에 의해 착용된 동안, 사용자의 좌측 눈에 대응하는 제1 디스플레이(예, 도 3b의 제1 디스플레이(350-1)) 및 사용자의 우측 눈에 대응하는 제2 디스플레이(예, 도 3b의 제2 디스플레이(350-2))를 포함할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 카메라(225)는 빛의 색상 및/또는 밝기를 나타내는 전기 신호를 생성하는 하나 이상의 광 센서들(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)을 포함할 수 있다. 카메라(225)에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(225)는 복수의 광 센서들 각각의 전기 신호들을 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하는 2차원 프레임 데이터를 생성할 수 있다. 예를 들어, 카메라(225)를 이용하여 캡쳐한 사진 데이터는 카메라(225)로부터 획득한 하나의(a) 2차원 프레임 데이터를 의미할 수 있다. 예를 들어, 카메라(225)를 이용하여 캡쳐한 비디오 데이터는, 프레임 율(frame rate)을 따라 카메라(225)로부터 획득된, 복수의 2차원 프레임 데이터의 시퀀스(sequence)를 의미할 수 있다. 카메라(225)는, 카메라(225)가 광을 수신하는 방향을 향하여 배치되고, 상기 방향을 향하여 광을 출력하기 위한 플래시 라이트를 더 포함할 수 있다. 비록 단일(single) 블록에 기반하여, 카메라(225)가 도시되었으나, 웨어러블 장치(101) 내에 포함된 카메라(225)의 개수가 실시예에 제한되는 것은 아니다. 도 3a 내지 도 3b, 및/또는 도 4a 내지 도 4b를 참고하여 후술될, 하나 이상의 카메라들(340)과 같이, 웨어러블 장치(101)는 하나 이상의 카메라들을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 센서(230)는, 웨어러블 장치(101)와 관련된 비-전기적 정보(non-electronic information)로부터, 웨어러블 장치(101)의 프로세서(210) 및/또는 메모리(215)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 상기 정보는, 센서 데이터로 지칭될 수 있다. 상기 센서(230)는, 웨어러블 장치(101)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서, 이미지 센서, 조도 센서 및/또는 ToF(time-of-flight) 센서, 웨어러블 장치(101)의 물리적인 모션을 탐지하기 위한 IMU(inertial measurement unit)을 포함할 수 있다. 예를 들어, IMU가 포함된 센서(230)를 이용하여, 웨어러블 장치(101)는, 웨어러블 장치(101)의 방향(예, 도 1의 방향(D1))을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 대기의 진동을 지시하는 전기 신호를 출력하는 마이크(235)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 마이크(235)를 이용하여 사용자의 발언(speech)을 포함하는 오디오 신호(audio signal)를 출력할 수 있다. 오디오 신호에 포함된 사용자의 발언은, 음성 인식 모델 및/또는 자연어 이해 모델에 기반하여, 웨어러블 장치(101)의 프로세서(210)에 의해 인식 가능한 포맷의 정보로 변환될 수 있다. 예를 들어, 웨어러블 장치(101)는 사용자의 발언을 인식하여, 웨어러블 장치(101)에 의해 제공 가능한 복수의 기능들 중에서 하나 이상의 기능들을 실행할 수 있다.
일 실시예에서, 웨어러블 장치(101)의 통신 회로(240)는, 웨어러블 장치(101), 및 외부 전자 장치 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 하드웨어 부품을 포함할 수 있다. 통신 회로(240)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(240)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio) 및/또는 6G와 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신 및/또는 수신을 지원할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 음성 신호(acoustic signal)를 출력하기 위한 스피커를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.
도 2의 일 실시예를 참고하면, 웨어러블 장치(101)의 메모리(215) 내에서, 웨어러블 장치(101)의 프로세서(210)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 프로그램, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 이하에서, 어플리케이션이 전자 장치(예, 웨어러블 장치(101)) 내에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 메모리(215) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치의 프로세서에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)에 설치된 프로그램들은, 타겟에 기반하여, 어플리케이션 계층(260), 프레임워크 계층(270) 및/또는 하드웨어 추상화 계층(hardware abstraction layer, HAL)(250)을 포함하는 상이한 계층들 중 어느 한 계층으로 분류될 수 있다. 예를 들어, 하드웨어 추상화 계층(250) 내에, 웨어러블 장치(101)의 하드웨어(예, 디스플레이(220), 카메라(225), 센서(230) 및/또는 통신 회로(240))를 타겟으로 설계된 프로그램들(예, 드라이버)이 분류될 수 있다. 예를 들어, 프레임워크 계층(270) 내에, 하드웨어 추상화 계층(250) 및/또는 어플리케이션 계층(260) 중 적어도 하나를 타겟으로 설계된 프로그램들(예, 시선 추적기(271), 제스쳐 추적기(272), 모션 추적기(273), 외부 공간 인식기(274) 및/또는 시각적 객체 분류기(275))이 분류될 수 있다. 프레임워크 계층(270)으로 분류되는 프로그램들은, 다른 프로그램에 기반하여 실행가능한 API(application programming interface)를 제공할 수 있다.
도 2를 참고하면, 어플리케이션 계층(260) 내에, 웨어러블 장치(101)를 제어하는 사용자(예, 도 1의 사용자(110))를 타겟으로 설계된 프로그램이 분류될 수 있다. 예를 들어, 어플리케이션 계층(260)으로 분류되는 프로그램은, 갤러리 어플리케이션과 같이, 웨어러블 장치(101)의 메모리(215) 내에 저장된 이미지 및/또는 비디오를 열람하기 위한 어플리케이션을 포함할 수 있다. 실시예가 이에 제한되는 것은 아니다. 예를 들어, 어플리케이션 계층(260)으로 분류되는 프로그램은, API를 호출하여, 프레임워크 계층(270)으로 분류되는 프로그램들에 의해 지원되는 기능의 실행을 야기할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 시선 추적기(271)의 실행에 기반하여, 웨어러블 장치(101)를 착용한 사용자의 시선과 관련된 정보를 처리할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라(225)로부터 상기 사용자의 눈을 포함하는 이미지를 획득할 수 있다. 상기 이미지 내에 포함된 동공의 위치 및/또는 방향에 기반하여, 웨어러블 장치(101)는 사용자의 시선의 방향을 식별할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 제스쳐 추적기(272)의 실행에 기반하여, 손을 포함하는 지정된 신체 부위의 모션을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라(225)로부터 상기 지정된 신체 부위를 포함하는 프레임들을 획득할 수 있다. 상기 프레임들에 의해 지시되는 상기 지정된 신체 부위의 모션 및/또는 자세에 기반하여, 웨어러블 장치(101)는 상기 지정된 신체 부위에 의해 수행된 제스쳐를 식별할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 모션 추적기(273)의 실행에 기반하여, 웨어러블 장치(101)의 모션을 식별할 수 있다. 웨어러블 장치(101)가 사용자에 의해 착용된 상태 내에서, 웨어러블 장치(101)의 모션은, 상기 사용자의 머리의 모션과 관련될 수 있다. 예를 들어, 웨어러블 장치(101)는 도 1의 방향(D1)과 같이, 상기 머리의 방향과 실질적으로 일치하는, 웨어러블 장치(101)의 방향을 식별할 수 있다. 웨어러블 장치(101)는 IMU를 포함하는 센서(230)의 센서 데이터에 기반하여, 웨어러블 장치(101)의 모션을 식별할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 외부 공간 인식기(274)의 실행에 기반하여, 웨어러블 장치(101)가 포함되거나, 또는 웨어러블 장치(101)에 인접한 외부 공간에 대한 정보를 획득할 수 있다. 웨어러블 장치(101)는 카메라(225) 및/또는 센서(230)를 이용하여, 상기 정보를 획득할 수 있다. 도 2를 참고하면, 외부 공간 인식기(274)가 실행된 상태 내에서, 웨어러블 장치(101)는 외부 공간 인식기(274)에 의해 획득된 상기 정보에 기반하여, 상기 외부 공간에 매핑된 가상 공간을 식별할 수 있다. 외부 공간 인식기(274)의 실행에 기반하여, 웨어러블 장치(101)는 외부 공간 내에서 웨어러블 장치(101)의 위치 및/또는 방향을 식별할 수 있다. 예를 들어, 외부 공간 인식기(274) 및/또는 모션 추적기(273)의 실행에 기반하여, 웨어러블 장치(101)는, 외부 공간 및 상기 외부 공간 내에서의 웨어러블 장치(101)의 위치를 인식하기 위한, SLAM(simultaneous localization and mapping)을 수행할 수 있다.
도 2를 참고하면, 웨어러블 장치(101)는 프레임워크 계층(270) 내 시각적 객체 분류기(275)의 실행에 기반하여, 웨어러블 장치(101)에 인접한 적어도 하나의 외부 객체(예, 도 1의 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4))를 인식할 수 있다. 웨어러블 장치(101)는 카메라(225)로부터 출력되는 프레임들에 대한 객체 인식(object recognition)(또는 이미지 분석 엔진)을 수행하여, 상기 프레임들 내에서 외부 객체를 표현한 시각적 객체를 추출할 수 있다. 상기 객체 인식은, 이미지 분석 엔진으로 지칭되는, 피사체 인식을 위한 어플리케이션에 기반하여 수행될 수 있다. 추출된 시각적 객체에 기반하여, 웨어러블 장치(101)는 상기 시각적 객체에 대응하는 외부 객체를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 시각적 객체 분류기(275)가 실행된 상태 내에서, 웨어러블 장치(101)를 착용한 사용자의 모션에 기반하여 복수의 시각적 객체들(예, 외부 객체들을 표현하는 프레임의 상이한 부분들) 분류할 수 있다. 웨어러블 장치(101)는, 시선 추적기(271)에 의해 추적된 상기 사용자의 시선을 지시하는 정보, 제스쳐 추적기(272)에 의해 식별된 상기 사용자의 제스쳐 및/또는 모션 추적기(273)에 의해 탐지된 웨어러블 장치(101)의 방향 중 적어도 하나에 기반하여, 상기 사용자에 의해 포커스된 적어도 하나의 시각적 객체를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자가 집중하고 있는 적어도 하나의 시각적 객체를 탐지할 수 있다. 복수의 시각적 객체들 중, 사용자에 의해 포커스된 제1 시각적 객체에 기반하여, 웨어러블 장치(101)는 상기 복수의 시각적 객체들을 분류할 수 있다. 웨어러블 장치(101)가 상기 복수의 시각적 객체들을 분류하는 것은, 상기 복수의 시각적 객체들 각각을, 표 1에 포함된 복수의 지정된 카테고리들 중 적어도 하나로 분류하는 동작을 포함할 수 있다.
카테고리 분류 기준
제1 지정된 카테고리 웨어러블 장치(101)를 착용한 사용자에 의해 포커스된 시각적 객체
제2 지정된 카테고리 제1 지정된 카테고리로 분류된 시각적 객체 및/또는 웨어러블 장치(101)를 착용한 사용자와 연계된(또는 접촉된) 시각적 객체
제3 지정된 카테고리 사용자에게 표시되는 MR 내에서 제거될 시각적 객체
제4 지정된 카테고리 MR 내에서 제거된 시각적 객체 중에서, 상태에 따라 일시적으로 표시될 시각적 객체
제5 지정된 카테고리(또는 제1 지정된 카테고리의 배경) 제1 지정된 카테고리로 분류된 시각적 객체의 배경으로 보이는 시각적 객체 또는 영역
제6 지정된 카테고리 웨어러블 장치(101)를 착용한 사용자에게 시인가능한 외부 공간 안으로 진입하는 외부 객체에 대응하는 시각적 객체
일 실시예에 따른, 웨어러블 장치(101)는, 시각적 객체 분류기(275)의 실행에 기반하여, 카메라(225)로부터 획득된 프레임들 내 하나 이상의 시각적 객체들을, 표 1의 지정된 카테고리들 중 어느 하나로 분류할 수 있다. 상기 하나 이상의 시각적 객체들은, 웨어러블 장치(101)를 착용한 사용자에게 시인 가능한 외부 공간 내에 포함된 하나 이상의 외부 객체들을 표현할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 사용자가 지정된 기간(duration)을 초과하여 응시하는 시각적 객체를, 제1 지정된 카테고리로 분류할 수 있다. 특정 시각적 객체를 제1 지정된 카테고리로 분류하는 입력은, 상기 예시에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 시각적 객체의 이름을 포함하는 발언에 기반하여, 상기 시각적 객체를 제1 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체 상에 중첩된 신체 부위(예, 손 끝)를 식별하는 것에 기반하여, 상기 시각적 객체를, 제1 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는, 프레임 내에 포함된 시각적 객체의 위치 및/또는 사이즈에 기반하여, 상기 시각적 객체를 상기 제1 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는 프레임의 중심에 배치된 시각적 객체, 및/또는 지정된 사이즈를 초과하는 시각적 객체를, 제1 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 사용자가 동일한 타입을 가지고, 서로 중첩된(또는 시각적 객체들을 포함하는) 시각적 객체들을 응시할 시에, 상기 시각적 객체들의 그룹을 제1 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 사용자에 의해 포커스된 시각적 객체(예, 사용자가 응시하는 시각적 객체)의 이력에 기반하여, 일 시각적 객체를 제1 지정된 카테고리로 분류할 것을 추천하거나, 또는 사용자에 의해 포커스된 시각적 객체와 연계된 다른 시각적 객체를, 제1 지정된 카테고리로 분류할 것을 추천할 수 있다. 상기 이력은, 상기 시각적 객체가 제1 지정된 카테고리로 분류된 시간, 빈도, 횟수 및/또는 기간을 포함할 수 있다. 하나 이상의 실시예들에서, 제1 지정된 카테고리(또는 다른 카테고리들)로 시각적 객체들을 분류한 이력은 웨어러블 장치(101) 및/또는 웨어러블 장치(101)에 의해 접근 가능하고 웨어러블 장치(101)와 연결된 컴퓨터 시스템/디바이스에 저장될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 지정된 카테고리로 제1 시각적 객체를 분류하는 것에 기반하여, 상기 제1 시각적 객체에 인접하여 보여지거나, 또는 상기 제1 시각적 객체와 접촉된 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 제1 시각적 객체 및 다른 시각적 객체 사이의 위치 관계에 기반하여, 제1 시각적 객체와 지정된 면적을 초과하여 접촉된 제2 시각적 객체를 식별할 수 있다. 웨어러블 장치(101)는 상기 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는 상기 위치 관계 및/또는 상기 제1 시각적 객체 및 제2 시각적 객체가 접촉된 면적을, 센서(230)(예, ToF 센서를 포함하는 깊이 센서)를 제어하여 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는 제1 시각적 객체를 지지하는 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는 제1 시각적 객체의 위치 및/또는 이동과 관련된 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 하나 이상의 실시예들에서, 웨어러블 장치(101)는, 예를 들어, 제1 시각적 객체에 대응하는 제1 외부 객체(120-1)로부터 지정된 거리 이내의 제2 시각적 객체에 대응하는 제2 외부 객체(120-2)에 기반하여 제2 지정된 카테고리로 제2 시각적 객체를 분류할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 지정된 카테고리 및 제2 지정된 카테고리 중 어느 하나로 분류된 시각적 객체와 상이한 시각적 객체를, 제3 지정된 카테고리 내지 제5 지정된 카테고리 중 어느 한 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자가 지정된 기간 미만으로 응시한 시각적 객체를, 제3 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 지정된 카테고리로 분류된 제1 시각적 객체와의 관련성에 기반하여, 제1 시각적 객체와 상이한 시각적 객체를, 제3 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 카메라(225)의 프레임에 포함된 시각적 객체들의 타입들을 비교하여, 상기 시각적 객체들 사이의 유사도를 획득할 수 있다. 상기 유사도는, 타입들 사이의 유사도가 이전에 설정된 데이터베이스 내에 저장될 수 있다. 웨어러블 장치(101)는 시각적 객체들의 타입들을 이용하여 상기 데이터베이스로부터, 상기 시각적 객체들 사이의 유사도들(예, 제1 지정된 카테고리의 제1 시각적 객체 및 다른 시각적 객체들 사이의 유사도들)을 식별할 수 있다. 데이터베이스는, 상기 타입들 사이의 상호연결(interconnection)을 나타내는 디지털 값들의 집합인, 지식 그래프(knowledge graph)를 포함할 수 있다. 웨어러블 장치(101)는 상기 유사도들 중에서, 제1 시각적 객체에 대하여 임계 유사도 보다 낮은 유사도를 가지는 다른 시각적 객체를, 상기 제3 지정된 카테고리로 분류할 수 있다. 예를 들어, 상기 관련성이 지정된 관련성 보다 낮은 시각적 객체를, 상기 제3 지정된 카테고리로 분류할 수 있다. 상기 관련성은, 제1 시각적 객체와 연계된 모션이 수행될 확률을 지시할 수 있다. 하나 이상의 실시예들에서, 상기 관련성은, 제1 시각적 객체와 연계된 모션이 시각적 객체와 관련하여 수행될 확률을 나타낼 수 있다. 하나 이상의 실시예들에서, 제1 시각적 객체의 모션이 제1 시각적 객체와 관련하여 수행될수록(데이터베이스 내에서), 상기 관련성이 증가될 수 있다. 반대로, 제1 시각적 객체의 모션이 제1 시각적 객체와 관련하여 수행되지 않을 수록(데이터베이스 내에서), 상기 관련성이 하나 이상의 실시예들에 따라 감소될 수 있다.
예를 들어, 웨어러블 장치(101)는, 제1 지정된 카테고리로 분류된 시각적 객체에 대한 사용자의 모션을 중단할 확률(또는 상기 모션을 중단할 이벤트가 발생될 확률)을 가지는 다른 외부 객체를 표현하는 다른 시각적 객체를, 제4 지정된 카테고리로 분류할 수 있다. 제1 지정된 카테고리로 분류된 시각적 객체에 대한 사용자의 상기 모션은, 상기 시각적 객체와 직접적으로 접촉된 상기 사용자의 신체 부위(예, 손)의 움직임, 또는 상기 시각적 객체를 터치하기 위한 상기 신체 부위의 움직임을 포함할 수 있다. 제1 지정된 카테고리로 분류된 시각적 객체에 대한 사용자의 상기 모션은, 상기 시각적 객체를 응시하는 상기 사용자의 움직임을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 알람 시계 및/또는 휴대 전화와 같이, 스피커(예, 디바이스)를 포함하는 외부 객체를 표현한 시각적 객체를, 제4 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는, 물이 든 컵과 같이, 상태의 변경(예, 컵의 넘어짐)에 의해, 제1 지정된 카테고리로 분류된 시각적 객체에 대한 사용자의 집중을 방해할 수 있는 외부 객체에 대응하는 시각적 객체를, 제4 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 특정 시각적 객체를 제4 지정된 카테고리로 분류하기 위하여, CNN(convolutional neural network) 및/또는 백본 뉴럴 네트워크와 같은, 객체 인식을 위한 인공 신경망(artificial neural network)을 포함할 수 있다.
예를 들어, 웨어러블 장치(101)는, 제1 지정된 카테고리로 분류된 시각적 객체의 배경이 되는 다른 시각적 객체를, 제5 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 제1 지정된 카테고리 및 제2 지정된 카테고리로 분류된 시각적 객체가 보이는 일부분과 구분되는 다른 부분, 또는 상기 다른 부분 내에서 보여지는 시각적 객체를, 제5 지정된 카테고리로 분류할 수 있다.
예를 들어, 웨어러블 장치(101)는, 사용자가 특정 프레임 내 시각적 객체들을 분류한 시점 이후에 상기 특정 프레임 이후의 프레임 내에 추가된 시각적 객체를, 상기 제6 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는 상기 시점 이후 상기 외부 공간 안으로 진입한 외부 객체의 모션, 외부 객체로부터 발생된 소리, 및/또는 외부 객체 및 웨어러블 장치(101) 사이의 거리에 기반하여, 상기 외부 객체를 표현한 시각적 객체를, 상기 제6 지정된 카테고리로 분류할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 시각적 객체 분류기(275)의 실행에 기반하여, 하나 이상의 시각적 객체들을 분류한 결과에 기반하여, 상기 하나 이상의 시각적 객체들 각각의 시인성을 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는, 카메라(225)로부터 획득되는 프레임을 적어도 부분적으로 변경하여, 상기 프레임 내에서, 제3 지정된 카테고리로 분류된 시각적 객체를 가리거나, 또는 제거할 수 있다. 웨어러블 장치(101)는, 제1 지정된 카테고리로 분류된 시각적 객체가 표시된 프레임의 일부분과 구분되는 다른 부분을 변경하여, 상기 시각적 객체의 시인성을 유지할 수 있다. 웨어러블 장치(101)는 상기 프레임 내 상기 다른 부분의 변경에 기반하여, 제1 지정된 카테고리로 분류된 시각적 객체에 대한 사용자의 몰입을 방해하는 다른 시각적 객체(예, 제1 지정된 카테고리가 아닌) 의 시인성을 줄일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 복수의 시각적 객체들이 캡쳐된 프레임을 표시하는 상태 내에서, 상기 복수의 시각적 객체들 각각의 카테고리(예, 표 1의 지정된 카테고리들 중 어느 하나)에 기반하여, 상기 복수의 시각적 객체들 각각의 시인성을 조절할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자에 의해 포커스된 정도(예, 사용자가 응시한 시간 및/또는 사용자로부터 이격된 거리)에 기반하여, 상기 복수의 외부 객체들의 카테고리를 결정할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체 분류기(275)의 실행에 기반하여, 지정된 카테고리들에 기반하여 복수의 시각적 객체들을 분류한 정보를 획득할 수 있다. 시각적 객체의 카테고리는, 시각적 객체를 표현한 시각적 객체의 표시 조건에 기반하여, 표 1의 지정된 카테고리들로 구분될 수 있다. 웨어러블 장치(101)는, 사용자에 의해 포커스된 특정 외부 객체와 구분되는 다른 시각적 객체의 시인성을 줄이거나, 상기 다른 시각적 객체를 가릴 수 있다.
이하에서는, 도 3a 내지 도 3b 및/또는 도 4a 내지 도 4b를 이용하여, 일 실시예에 따른, 웨어러블 장치(101)의 폼 팩터의 일 예가 설명된다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(perspective view)의 일 예를 도시한다. 도 3b는, 일 실시예에 따른, 웨어러블 장치(300) 내에 배치된 하나 이상의 하드웨어들(또는 하드웨어의 일부분들)의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(300)는, 도 1 내지 도 2의 웨어러블 장치(101)를 포함할 수 있다. 도 3a의 도시 내에서(as shown in), 일 실시예에 따른, 웨어러블 장치(300)는, 적어도 하나의 디스플레이(350), 및 적어도 하나의 디스플레이(350)를 지지하는 프레임을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(300)는, 도 3b의 동작 인식 카메라(340-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 디스플레이(350)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.
일 실시예에 따른, 웨어러블 장치(300) 내 적어도 하나의 디스플레이(350)는, 사용자에게 시각 정보를 제공할 수 있다. 상기 적어도 하나의 디스플레이(350)는, 도 2의 디스플레이(220)를 포함할 수 있다. 예를 들면, 적어도 하나의 디스플레이(350)는, 투명 또는 반투명한 렌즈(309)(예, 사용자의 우안에 대응하는 렌즈(309-1) 및 사용자의 좌안에 대응하는 렌즈(309-2))를 포함할 수 있다. 적어도 하나의 디스플레이(350)는, 제1 디스플레이(350-1) 및/또는 제1 디스플레이(350-1)로부터 이격된 제2 디스플레이(350-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(350-1), 및 제2 디스플레이(350-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 3b를 참조하면, 적어도 하나의 디스플레이(350)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(300)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(350)에 의해 형성된 표시 영역은, 렌즈의 제1 면(331), 및 제2 면(332) 중 제2 면(332) 상에 형성될 수 있다. 사용자가 웨어러블 장치(300)를 착용하였을 때, 외부 광은 제1 면(331)으로 입사되고, 제2 면(332)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(350)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 적어도 하나의 디스플레이(350)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어(예, 광학 장치들(382, 384), 및/또는 적어도 하나의 웨이브가이드들(waveguides)(333, 334))를 통하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는 적어도 하나의 디스플레이(350)로부터 송신되고, 광학 장치들(382, 384)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(333, 334)을 포함할 수 있다. 웨이브가이드들(333, 334)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(333, 334)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(333, 334)의 타 단으로 전파될 수 있다. 웨이브가이드들(333, 334)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(333, 334)은, 적어도 하나의 디스플레이(350)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(300) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(333, 334) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 촬영 카메라(340-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(350)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(300)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(300)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(300)를 착용한 사용자는, 적어도 하나의 디스플레이(350)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임은, 웨어러블 장치(300)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(300)를 착용하였을 때, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(350)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
도 3a를 참조하면, 프레임은, 사용자가 웨어러블 장치(300)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(320)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(320)은, 웨어러블 장치(300)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(310)를 포함할 수 있다. 웨어러블 장치(300)가 사용자에 의해 착용될 시, 노즈 패드(310)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 (코의) 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(304) 및 제2 템플(305)을 포함할 수 있다.
일 실시예에서, 프레임은, 제1 디스플레이(350-1)의 적어도 일부를 감싸는 제1 림(rim)(301), 제2 디스플레이(350-2)의 적어도 일부를 감싸는 제2 림(302), 제1 림(301)과 제2 림(302) 사이에 배치되는 브릿지(bridge)(303), 브릿지(303)의 일단으로부터 제1 림(301)의 가장자리 일부를 따라 배치되는 제1 패드(311), 브릿지(303)의 타단으로부터 제2 림(302)의 가장자리 일부를 따라 배치되는 제2 패드(312), 제1 림(301)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(304), 및 제2 림(302)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(305)을 포함할 수 있다. 제1 패드(311), 및 제2 패드(312)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(304) 및 제2 템플(305)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(304, 305)은, 도 3b의 힌지 유닛들(306, 307)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(304)은, 제1 림(301)과 제1 템플(304)의 사이에 배치된 제1 힌지 유닛(306)을 통해, 제1 림(301)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(305)은, 제2 림(302)과 제2 템플(305)의 사이에 배치된 제2 힌지 유닛(307)을 통해 제2 림(302)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다.
일 실시예에 따르면, 웨어러블 장치(300)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 2의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(370), 안테나 모듈(375), 광학 장치들(382, 384), 스피커들(392-1, 392-2), 마이크들(394-1, 394-2, 394-3), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(390)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(300)의 마이크들(394-1, 394-2, 394-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 노즈 패드(310) 상에 배치된 제1 마이크(394-1), 제2 림(302) 상에 배치된 제2 마이크(394-2), 및 제1 림(301) 상에 배치된 제3 마이크(394-3)가 도 3b 내에 도시되지만, 마이크(394)의 개수, 및 배치가 도 3b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(300) 내에 포함된 마이크(394)의 개수가 두 개 이상인 경우, 웨어러블 장치(300)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.
일 실시예에 따르면, 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(333, 334)로 송신할 수 있다. 예를 들면, 광학 장치들(382, 384)은, 프로젝터일 수 있다. 광학 장치들(382, 384)은, 적어도 하나의 디스플레이(350)에 인접하여 배치되거나, 적어도 하나의 디스플레이(350)의 일부로써, 적어도 하나의 디스플레이(350) 내에 포함될 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)에 대응하고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)에 대응할 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(350-1)로부터 출력된 광을, 제1 웨이브가이드(333)로 송출할 수 있고, 제2 광학 장치(384)는, 제2 디스플레이(350-2)로부터 출력된 광을, 제2 웨이브가이드(334)로 송출할 수 있다.
일 실시예에서, 카메라(340)는, 시선 추적 카메라(eye tracking camera, ET CAM)(340-1), 동작 인식 카메라(340-2), 및/또는 촬영 카메라(340-3)를 포함할 수 있다. 촬영 카메라(340-3), 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 촬영 카메라(340-3), 시선 추적 카메라(340-1) 및 동작 인식 카메라(340-2)는 도 2의 카메라(225)의 일 예일 수 있다. 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(300)는 시선 추적 카메라(340-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(340-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 3b 내에 도시되지만, 실시예가 이에 제한되는 것은 아니며, 시선 추적 카메라(340-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.
일 실시예에서, 촬영 카메라(340-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(350)로 제공할 수 있다. 적어도 하나의 디스플레이(350)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(382, 384)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(301) 및 제2 림(302) 사이에 배치되는 브릿지(303) 상에 배치될 수 있다.
일 실시예에서, 시선 추적 카메라(340-1)는, 웨어러블 장치(300)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(350)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(300)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(350)에 표시할 수 있다. 시선 추적 카메라(340-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(340-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(340-1)는, 제1 림(301) 및/또는 제2 림(302) 내에서, 웨어러블 장치(300)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
일 실시예에서, 동작 인식 카메라(340-2)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(350)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(340-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(350)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(340-2)는, 제1 림(301) 및/또는 제2 림(302)상에 배치될 수 있다.
일 실시예에서, 웨어러블 장치(300) 내에 포함된 카메라(340)는, 상술된 시선 추적 카메라(340-1), 동작 인식 카메라(340-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(300)는 사용자의 FoV를 향하여 배치된 촬영 카메라(340-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(300)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(300), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(340)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(300)는, 웨어러블 장치(300)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(340)(예, FT(face tracking) 카메라)를 포함할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(300)는, 카메라(340)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(306, 307) 중 적어도 하나에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(370)은, 웨어러블 장치(300)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(370)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(370)은, 복수의 배터리 모듈(370)들일 수 있다. 복수의 배터리 모듈(370)들은, 각각 제1 템플(304)과 제2 템플(305) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(370)은 제1 템플(304) 및/또는 제2 템플(305)의 단부에 배치될 수 있다.
일 실시예에서, 안테나 모듈(375)은, 신호 또는 전력을 웨어러블 장치(300)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(375)은, 웨어러블 장치(300) 내 통신 회로(예, 도 2의 통신 회로(240))와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(375)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(375)은, 제1 템플(304), 및/또는 제2 템플(305)의 일면에 가깝게 배치될 수 있다.
일 실시예에서, 스피커들(392-1, 392-2)은, 음향 신호를 웨어러블 장치(300)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(392-1, 392-2)은, 웨어러블 장치(300)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(304), 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(300)는, 제1 템플(304) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(392-2), 및 제2 템플(305) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(392-1)를 포함할 수 있다.
일 실시예에서, 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(300)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(300)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(301) 및/또는 제2 림(302) 상에 배치될 수 있다.
도 3b를 참고하면, 일 실시예에 따른, 웨어러블 장치(300)는 PCB(printed circuit board)(390)을 포함할 수 있다. PCB(390)는, 제1 템플(304), 또는 제2 템플(305) 중 적어도 하나에 포함될 수 있다. PCB(390)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(390) 상에서, 웨어러블 장치(300)에 포함된 하나 이상의 하드웨어들(예, 도 2를 참고하여 상술된 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(300)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(300)는, 웨어러블 장치(300)의 자세, 및/또는 웨어러블 장치(300)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(300)는 IMU에 기반하여 웨어러블 장치(300)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.
도 4a 내지 도 4b는, 일 실시예에 따른, 웨어러블 장치(400)의 외관의 일 예를 도시한다. 도 4a 내지 도 4b의 웨어러블 장치(400)는, 도 1 내지 도 2의 웨어러블 장치(101)를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(400)의 하우징의 제1 면(410)의 외관의 일 예가 도 4a에 도시되고, 상기 제1 면(410)의 반대되는(opposite to) 제2 면(420)의 외관의 일 예가 도 4b에 도시될 수 있다.
도 4a를 참고하면, 일 실시예에 따른, 웨어러블 장치(400)의 제1 면(410)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(400)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 3a 내지 도 3b의 제1 템플(304), 및/또는 제2 템플(305))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(350-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(350-2)가 제1 면(410) 상에 배치될 수 있다. 웨어러블 장치(400)는 제1 면(410) 상에 형성되고, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2)로부터 방사되는 광과 상이한 광(예, 외부 광(ambient light))에 의한 간섭을 방지하기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 상기 제1 디스플레이(350-1), 및 상기 제2 디스플레이(350-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(440-1, 440-2)을 포함할 수 있다. 상기 카메라들(440-1, 440-2)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(400)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(440-3, 440-4)을 포함할 수 있다. 상기 카메라들(440-3, 440-4)은, FT 카메라로 참조될 수 있다.
도 4b를 참고하면, 도 4a의 제1 면(410)과 반대되는 제2 면(420) 상에, 웨어러블 장치(400)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)), 및/또는 센서(예, 깊이 센서(430))가 배치될 수 있다. 예를 들어, 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)은, 웨어러블 장치(400)와 상이한 외부 객체를 인식하기 위하여, 제2 면(420) 상에 배치될 수 있다. 예를 들어, 카메라들(440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 미디어를 획득할 수 있다. 카메라(440-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(350-2)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의 제2 면(420) 상에 배치될 수 있다. 카메라(440-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(350-1)를 통해 표시될 이미지를 획득하도록, 웨어러블 장치(400)의제2 면(420) 상에 배치될 수 있다.
일 실시예에 따른, 웨어러블 장치(400)는, 웨어러블 장치(400), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(420) 상에 배치된 깊이 센서(430)를 포함할 수 있다. 깊이 센서(430)를 이용하여, 웨어러블 장치(400)는, 웨어러블 장치(400)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.
비록 도시되지 않았지만, 웨어러블 장치(400)의 제2 면(420) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크(예, 도 2의 마이크(235))가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(400)는 사용자의 머리에 착용되기 위한 폼 팩터를 가질 수 있다. 웨어러블 장치(400)는, 상기 머리에 착용된 상태 내에서, 증강 현실 및/또는 혼합 현실에 기반하는 사용자 경험을 제공할 수 있다. 외부 공간 및 외부 공간 내 외부 객체(예, 도 1의 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4))를 추적하기 위한 카메라들(440-5, 440-6, 440-7, 440-8, 440-9, 440-10)을 이용하여, 웨어러블 장치(400)는 상기 외부 공간에 대한 프레임을 획득하고, 상기 프레임 내 복수의 시각적 객체들을 인식할 수 있다. 웨어러블 장치(400)는, 도 2의 시각적 객체 분류기(275)의 실행에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건에 의해 구분되는 복수의 지정된 카테고리들 중 어느 하나로 분류할 수 있다. 웨어러블 장치(400)는, 제1 디스플레이(350-1) 및 제2 디스플레이(350-2) 내에, 복수의 시각적 객체들 각각에 매칭된 지정된 카테고리(예, 표 1의 지정된 카테고리들)에 기반하여, 복수의 시각적 객체들의 시인성을 변경할 수 있다. 예를 들어, 웨어러블 장치(400)는, 사용자에 의해 포커스된 제1 시각적 객체의 시인성을 유지하면서, 상기 제1 시각적 객체와 상이한 다른 시각적 객체의 시인성을 줄이거나, 또는 상기 다른 시각적 객체를 제거할 수 있다.
이하에서는, 도 5를 참고하여, 도 3a 내지 도 3b의 웨어러블 장치(300), 및/또는 도 4a 내지 도 4b의 웨어러블 장치(400)를 포함하는 웨어러블 장치(예, 도 1 내지 도 2의 웨어러블 장치(101))가, AR 및/또는 MR 내에서 복수의 시각적 객체들 각각의 시인성을 조절하는 동작의 일 예가 설명된다.
도 5는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 5의 웨어러블 장치를 포함할 수 있다. 도 5를 참고하여 설명되는 웨어러블 장치의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 5를 참고하면, 동작(510) 내에서, 일 실시예에 따른, 웨어러블 장치는, 프레임 내 복수의 시각적 객체들을 식별할 수 있다. 웨어러블 장치는 카메라(예, 도 2의 카메라(225))를 이용하여, 상기 웨어러블 장치를 착용한 사용자(예, 도 1 의 사용자(110))의 FoV 내에 포함된 복수의 외부 객체들(예, 도 1의 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4))을 식별할 수 있다. 웨어러블 장치는 도 2의 시각적 객체 분류기(275)의 실행에 기반하여, 복수의 시각적 객체들을 식별할 수 있다.
도 5를 참고하면, 동작(520) 내에서, 일 실시예에 따른, 웨어러블 장치는, 동작(510)에 기반하여 식별된 복수의 시각적 객체들을, 복수의 지정된 카테고리들로 분류할 수 있다. 웨어러블 장치는 표 1의 복수의 지정된 카테고리들에 기반하여, 복수의 시각적 객체들 각각의 카테고리를 결정할 수 있다. 웨어러블 장치는, 복수의 시각적 객체들 사이의 위치 관계, 및/또는 웨어러블 장치의 사용자에 의해 포커스된 제1 시각적 객체에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건에 의해 구분되는 복수의 지정된 카테고리들로 분류할 수 있다. 예를 들어, 웨어러블 장치는 사용자에 의해 포커스된 상기 제1 시각적 객체를, 상기 복수의 지정된 카테고리들 중 제1 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치는 상기 제1 시각적 객체와 접촉된 제2 시각적 객체를, 상기 복수의 지정된 카테고리들 중 제2 지정된 카테고리로 분류할 수 있다. 예를 들어, 웨어러블 장치는 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 구분되는 다른 시각적 객체를, 시각적 객체의 표시를 제한하기 위한 제3 지정된 카테고리, 시각적 객체를 조건부로 표시하기 위한 제4 지정된 카테고리, 또는 이미지와 같은 특정 시각적 객체로 시각적 객체를 가리기 위한 제5 지정된 카테고리 중 적어도 하나로 분류할 수 있다.
도 5를 참고하면, 동작(530) 내에서, 일 실시예에 따른, 웨어러블 장치는, 사용자에 의해 포커스된 제1 시각적 객체와 구분되는, 제2 시각적 객체가 표시된 프레임의 일부분을 변경할 수 있다. 예를 들어, 웨어러블 장치는, 제1 시각적 객체가 분류된 제1 지정된 카테고리와 구분되는, 다른 카테고리로 분류된 다른 시각적 객체를 가리는(occluding) 또 다른 시각적 객체를 표시할 수 있다. 예를 들어, 웨어러블 장치는, 디스플레이(예, 도 2의 디스플레이(220))를 이용하여, 상기 제1 제1 지정된 카테고리와 구분되는 상기 다른 카테고리로 분류된 시각적 객체를 가리는 이미지(예, 도 1의 이미지들(132, 134))를, 상기 FoV 내에 표시할 수 있다. 상기 다른 카테고리로 분류된 시각적 객체를 가리는 상기 또 다른 시각적 객체를 표시하기 때문에, 웨어러블 장치는 상기 FoV 내에서 제1 외부 객체를 표현하는 제1 시각적 객체를 표시하는 것을 유지할 수 있다.
도 5를 참고하면, 동작(540) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제2 시각적 객체의 카테고리, 및/또는 제2 시각적 객체와 관련된 이벤트에 기반하여, 프레임 내 제2 시각적 객체를 표시할지 여부를 조절할 수 있다. 예를 들어, 웨어러블 장치는 상기 제2 시각적 객체의 표시를, 상기 제2 시각적 객체가 분류된 카테고리에 대응하는 표시 조건에 기반하여 조절할 수 있다. 예를 들어, 웨어러블 장치는 표 1의 제4 지정된 카테고리로 분류되는 시각적 객체를, 상기 제4 지정된 카테고리에 매칭된 표시 조건에 기반하여, 웨어러블 장치의 디스플레이에 의해 형성된 FoV 내에서 제거할 수 있다. 웨어러블 장치는 마이크(예, 도 2의 마이크(235))를 이용하여 다른 외부 객체로부터 발생되는 소리를 식별하는 경우, 상기 소리의 세기에 기반하여, 상기 다른 외부 객체에 대한 시각적 객체를 표시하는 것을 재개할 수 있다. 예를 들어, 소리의 세기가 증가될 시에, 하나 이상의 실시예에 따른, 웨어러블 장치는 다른 외부 객체에 대한 시각적 객체를 표시하는 것을 재개할 수 있다. 소리의 세기가 감소될 시에, 하나 이상의 실시예에 따른, 웨어러블 장치는 다른 외부 객체에 대한 시각적 객체를 표시하는 것을 중단(discontinue)할 수 있다. 웨어러블 장치는, 다른 외부 객체 및 사용자 사이의 충돌 가능성에 기반하여, 상기 다른 외부 객체를 가리기 위한(또는 덮기 위한) 시각적 객체를 표시하는 것을 중단할 수 있다. 웨어러블 장치가 상기 표시 조건에 기반하여, 상기 시각적 객체의 표시를 조절하는 동작은, 도 10a 내지 도 10b를 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는, 사용자에 의해 시인 가능한 외부 공간 내 외부 객체들 각각에 대응하는 시각적 객체들을, 복수의 지정된 카테고리들로 분류할 수 있다. 웨어러블 장치는, 상기 외부 객체들이 캡쳐된 프레임을 표시하는 동안, 상기 프레임 내에서 상기 외부 객체들 각각을 표현한 시각적 객체들을, 상기 외부 객체들 각각이 분류된 지정된 카테고리에 기반하여, 변경할 수 있다. 웨어러블 장치는, 제1 외부 객체에 대한 사용자의 몰입을 유지하기 위하여, 상기 제1 외부 객체와 상이한 다른 외부 객체를 표현한 시각적 객체를, 프레임으로부터 제거하거나, 또는 상기 시각적 객체 상에 중첩되는 다른 시각적 객체를 표시할 수 있다.
이하에서는, 도 6a 내지 도 6b를 참고하여, 일 실시예에 따른, 웨어러블 장치가, 사용자의 모션에 기반하여 시각적 객체의 포커스를 지시하는 입력을 식별하는 동작의 일 예가 설명된다.
도 6a 내지 도 6b는, 일 실시예에 따른, 웨어러블 장치(101)가 적어도 하나의 시각적 객체의 포커스를 지시하는 입력을 식별하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 6a 내지 도 6b의 웨어러블 장치(101)를 포함할 수 있다.
도 6a 내지 도 6b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 AR 및/또는 MR에 기반하는 사용자 경험을 제공하는 상이한 상태들(601, 602, 603, 604)이 도시된다. 웨어러블 장치(101)는, 사용자(110)에 의해 착용된 상태 내에서, 상기 사용자(110)의 전 방에 배치된 하나 이상의 외부 객체들(예, 제1 외부 객체(120-1) 내지 제5 외부 객체(120-5))을 식별할 수 있다. 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225)) 및/또는 센서(예, 도 2의 센서(230))를 이용하여, 하나 이상의 외부 객체들에 대한 정보를 획득할 수 있다. 상기 정보는, 상기 하나 이상의 외부 객체들이 캡쳐된 이미지 및/또는 깊이 맵 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 AR, MR 및/또는 VST에 기반하여, 웨어러블 장치(101)를 착용한 사용자(110)의 FoV 내에, 하나 이상의 외부 객체들을 표현한 시각적 객체들을 표시할 수 있다. 도 6a의 상태(601) 내에서, 웨어러블 장치(101)는 제1 외부 객체(120-1) 내지 제5 외부 객체(120-5) 각각에 대응하는 시각적 객체들이 캡쳐된 프레임을, 상기 FoV 내에 표시할 수 있다. 상태(601) 내에서, 웨어러블 장치(101)는 프레임 내 시각적 객체들 중 적어도 하나의 시인성을 조절하기 위한 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 상기 복수의 시각적 객체들 중 적어도 하나에 집중하기 위한 입력을 식별할 수 있다.
예를 들어, 웨어러블 장치(101)는, 지정된 신체 부위(예, 손(610))의 모션에 기반하여, 복수의 시각적 객체들 중 적어도 하나에 집중하기 위한 입력을 식별할 수 있다. 도 6a의 상태(601) 내에서, 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225))를 이용하여, 손(610)의 위치(H)를 식별할 수 있다. 웨어러블 장치(101)는 궤적(T1)을 따라 이동되는 손(610)의 위치(H)를 식별하는 것에 기반하여, 상기 입력을 식별할 수 있다. 손(610)의 궤적(T1)은, 수직 상승 스와이프 제스쳐(vertical upward swipe gesture)를 표현할 수 있다. 도 6a를 참고하면, 중력 가속도의 방향과 반대인 방향을 따라 이동되는 손(610)의 궤적(T1)이 예시적으로 도시된다. 상기 입력에 응답하여, 웨어러블 장치(101)는 상태(601) 로부터, 복수의 시각적 객체들 중 적어도 하나의 포커스를 지시하는 입력을 수신하기 위한 상태(602)로 스위칭할 수 있다.
예를 들어, 웨어러블 장치(101)는 표시 영역 내에 포함된 시각적 객체(614)에 기반하여, 복수의 시각적 객체들 중 적어도 하나에 집중하기 위한 입력을 식별할 수 있다. 웨어러블 장치(101)는 지정된 텍스트(예, "집중 모드 ON")를 포함하는 버튼의 형태를 가지는 시각적 객체(614)를 표시할 수 있다. 웨어러블 장치(101)는 시각적 객체(614)를 향하는 사용자(110)의 신체 부위(예, 머리, 눈 및/또는 손(610))에 기반하여, 시각적 객체(614)를 선택하는 제스쳐를 식별할 수 있다. 상기 제스쳐를 식별한 웨어러블 장치(101)는, 도 6a의 상태(601)로부터 상태(602)로 스위칭할 수 있다.
예를 들어, 웨어러블 장치(101)는 마이크(예, 도 2의 마이크(235))의 오디오 신호에 기반하여, 복수의 시각적 객체들 중 적어도 하나에 집중하기 위한 입력을 식별할 수 있다. 웨어러블 장치(101)는 상기 오디오 신호에 대한 STT(speech-to-text)를 수행할 수 있다. 웨어러블 장치(101)는 상기 오디오 신호로부터, 지정된 자연어(natural language)가 포함된 발언(612)(예, "집중하고 싶어")을 포함하는 상기 입력을 식별할 수 있다. 상기 발언(612)이 포함된 오디오 신호를 수신하는 것에 기반하여, 웨어러블 장치(101)는 상태(601) 로부터, 복수의 시각적 객체들 중 적어도 하나의 포커스를 지시하는 입력을 수신하기 위한 상태(602)로 스위칭할 수 있다.
예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)의 하우징을 통해 외부로 노출된 지정된 버튼을 누르는 제스쳐에 기반하여, 복수의 시각적 객체들 중 적어도 하나에 집중하기 위한 입력을 식별할 수 있다. 웨어러블 장치(101)는 상기 지정된 버튼을 지정된 기간을 초과하여 누르는 제스쳐에 기반하여, 도 6a의 상태(601)로부터 상태(602)로 스위칭할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 하우징을 터치하는 제스쳐에 기반하여, 복수의 시각적 객체들 중 적어도 하나에 집중하기 위한 입력을 식별할 수 있다. 웨어러블 장치(101)는 하우징의 지정된 부분(예, 안경의 형태를 가지는 웨어러블 장치(101)의 템플)을 두드리는(tapping) 제스쳐에 응답하여, 도 6a의 상태(601)로부터 상태(602)로 스위칭할 수 있다.
도 6a를 참고하면, 상태(602) 내에서, 일 실시예에 따른, 웨어러블 장치(101)는 표시 영역 내에 포함된 시각적 객체들 중 적어도 하나에 대한 포커스를 지시하는 입력을 식별할 수 있다. 예를 들어, 사용자의 두 눈들 각각을 향하는 디스플레이들을 통해 표시되는 이미지 프레임 내에서, 웨어러블 장치(101)는, 사용자의 두 눈들이 향하는 지점(예, 사용자에 의해 포커스된 지점)을 식별할 수 있다. 예를 들어, 사용자의 시선의 방향이 제1 외부 객체(120-1)를 향하는 것을 식별하는 것에 기반하여, 웨어러블 장치(101)는 표시 영역 내에서 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1)를 강조하기 위한 폐 곡선(closed curve)(620-1) 및/또는 아이콘(620-2)을 표시할 수 있다. 폐곡선(620-1)은, 윤곽선(contour)으로 지칭될 수 있다. 웨어러블 장치(101)는, 청색과 같은 지정된 색상을 가지는 폐 곡선(620-1)을 표시할 수 있다. 웨어러블 장치(101)는 표시 영역을 통해 보이는 제1 시각적 객체(130-1)를 감싸는 폐 곡선(620-1)을 이용하여, 제1 시각적 객체(130-1)가 보이는 표시 영역 내 일부분을 강조할 수 있다. 웨어러블 장치(101)는, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 수신하기 위하여, 더하기 기호가 포함된 아이콘(620-2)을 표시할 수 있다. 웨어러블 장치(101)는, 아이콘(620-2)을 선택하는 제스쳐에 기반하여, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)가 폐 곡선(620-1) 및/또는 아이콘(620-2)을 표시하는 것은, 사용자의 시선의 방향을 지시하는 정보와 상이한 다른 정보에 의해 수행될 수 있다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)의 위치, 및/또는 현재 시간에 기반하여, 제1 시각적 객체(130-1)에 대한 포커스를 추천할 수 있다. 제1 시각적 객체(130-1)에 대한 포커스를 추천하기 위하여, 웨어러블 장치(101)는 폐 곡선(620-1) 및/또는 아이콘(620-2)을 표시할 수 있다. 웨어러블 장치(101)는, 사용자(110)에 의해 포커스된 시각적 객체의 이력을, 위치 및/또는 시간에 따라 추적할 수 있다. 웨어러블 장치(101)는 현재 위치에서 사용자(110)에 의해 포커스 되었던 시각적 객체, 및/또는 과거의 날짜(date)(예, 과거의 같은 시간)에서 현재 시간에 사용자(110)에 의해 포커스 되었던 시각적 객체에 기반하여, 사용자(110)에게 특정 시각적 객체에 집중할 것을 추천할 수 있다.
예를 들어, 웨어러블 장치(101)는, 사용자(110)에 의해 포커스된 제1 시각적 객체(130-1)를 식별한 경우, 웨어러블 장치(101)는 제1 시각적 객체(130-1)의 타입(예, 책)에 기반하여, 제1 시각적 객체(130-1)와 유사한 제5 시각적 객체(130-5)를 식별할 수 있다. 도 6a의 상태(602) 내에서, 웨어러블 장치(101)는 폐 곡선(620-1) 및/또는 아이콘(620-2)을 표시한 동안, 제1 외부 객체(120-1)와 유사한 제5 시각적 객체(130-5)가 보이는 일부분에, 제5 시각적 객체(130-5)를 감싸는 폐 곡선(622-1) 및 제5 시각적 객체(130-5)의 포커스를 지시하는 입력을 수신하기 위한 아이콘(622-2)을 표시할 수 있다.
도 6a의 상태(602) 내에서, 웨어러블 장치(101)는 표시 영역 내에, 상태(602)와 구분되는(또는 상이한) 다른 상태로 스위칭하기 위한 시각적 객체들(624, 626)을 표시할 수 있다. 웨어러블 장치(101)는, 상태(602)에 기반하는 시각적 객체의 선택의 완료를 위한 버튼의 형태를 가지는, 시각적 객체(624)를 표시할 수 있다. 시각적 객체(624)는, 외부 객체의 선택의 완료를 가이드하기 위한 지정된 텍스트(예, "완료")를 포함할 수 있다. 웨어러블 장치(101)는, 상태(602)로 스위칭되기 이전의 다른 상태(예, 상태(601))로 스위칭하기 위한 시각적 객체(626)를 표시할 수 있다. 웨어러블 장치(101)는, 상태(602) 이전의 다른 상태로 복귀를 가이드하기 위한 지정된 텍스트(예, "취소")를 포함하는 버튼의 형태를 가지는 시각적 객체(626)를 표시할 수 있다.
도 6a의 상태(602) 내에서, 웨어러블 장치(101)는, 아이콘들(620-2, 622-2)을 포함하는, 표시 영역 내 시각적 객체에 기반하여 특정 외부 객체의 포커스를 지시하는 입력을 식별할 수 있다. 예를 들어, 책과 같은 제1 외부 객체(120-1)와 직접적으로 상호작용하는 사용자(110)는, 상태(602) 내에서, 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1) 상에 중첩된 아이콘(620-2)을 선택할 수 있다. 실시예가 이에 제한되는 것은 아니며, 사용자(110)는 지정된 기간을 초과하여 제1 시각적 객체(130-1)를 응시하거나, 또는 제1 외부 객체(120-1)를 손가락으로 가리키는 제스쳐를 수행할 수 있다. 지정된 기간을 초과하여 제1 시각적 객체(130-1)를 응시하는 사용자(110)의 시선, 또는 제1 외부 객체(120-1)를 손가락으로 가리키는 제스쳐를 식별한 웨어러블 장치(101)는, 상기 시선 및/또는 상기 제스쳐에 기반하여, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 식별할 수 있다.
도 6a의 상태(602) 내에서, 웨어러블 장치(101)가 아이콘(620-2)을 선택하는 제스쳐를 식별한 것으로 가정한다. 상기 가정 내에서, 웨어러블 장치(101)는 도 6a의 상태(602)로부터 도 6b의 상태(603)로 스위칭할 수 있다. 도 6b의 상태(603) 내에서, 웨어러블 장치(101)는 상기 제스쳐에 대응하는 제1 시각적 객체(130-1)를 강조하기 위하여, 제1 시각적 객체(130-1)를 감싸는 폐 곡선(620-1)의 색상을, 제1 지정된 색상(예, 청색)으로부터, 제1 시각적 객체(130-1)를 강조하기 위한 제2 지정된 색상(예, 노란색)으로 변경할 수 있다. 웨어러블 장치(101)는, 제1 외부 객체(120-1)를 표현하는 제1 시각적 객체(130-1)에 대한 포커스를 해제하기 위한 아이콘(620-3)을 표시할 수 있다. 웨어러블 장치(101)가, 빼기 기호를 포함하는 아이콘(620-3)을 제1 시각적 객체(130-1) 상에 중첩으로 표시하는 일 실시예가 도시되지만, 실시예가 이에 제한되는 것은 아니다. 아이콘(620-3)을 선택하는 제스쳐에 기반하여, 웨어러블 장치(101)는 상태(603)로부터, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 수신하기 이전의 상태(예, 상태(602))로 스위칭할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, (도 6a 내) 아이콘(620-2)에 매칭되는 제1 외부 객체(120-1)의 포커스를 지시하는 입력에 기반하여, 제1 외부 객체(120-1)와 구분되는(또는 상이한) 다른 외부 객체를 표현한 시각적 객체들의 포커스를 지시하는 입력을 식별하기 위한 시각적 객체를 표시할 수 있다. 상기 다른 외부 객체는, 제5 외부 객체(120-5)와 같이, 상기 입력에 의해 선택된 제1 외부 객체(120-1)와 접촉된 물체(예, 지정된 비율 및/또는 면적을 초과하여 접촉된 물체)를 포함할 수 있다.
도 6b를 참고하면, 상태(603) 내에서, 웨어러블 장치(101)는 제1 시각적 객체(130-1)의 포커스를 지시하는 색상을 가지는 폐 곡선(620-1)과 함께, 제5 외부 객체를 표현한 제5 시각적 객체(130-5)를 감싸는 폐 곡선(622-1) 및 상기 제5 외부 객체의 포커스를 지시하는 입력을 수신하기 위한 아이콘(622-2)을 표시할 수 있다.
도 6b를 참고하면, 상태(603) 내에서, 웨어러블 장치(101)는, 사용자(110)의 신체 부위(예, 머리, 눈 및/또는 손(610))의 방향에 기반하여, 상기 방향에 인접하거나, 또는 중첩되는 외부 객체를 식별할 수 있다. 웨어러블 장치(101)는 상기 외부 객체를, 사용자에 의해 포커스된 외부 객체로써 선택하기 위한 시각적 객체를 표시할 수 있다. 예를 들어, 사용자(110)의 시선의 방향이, 제3 외부 객체를 표현한 제3 시각적 객체(130-3)로 접근함을 식별하는 것에 기반하여, 웨어러블 장치(101)는 표시 영역 내에서 제3 시각적 객체(130-3)를 감싸는 폐 곡선(630-1) 및/또는 제3 시각적 객체(130-3)에 대한 아이콘(630-2)을 표시할 수 있다. 아이콘(630-2)을 선택하는 제스쳐에 응답하여, 웨어러블 장치(101)는 제3 시각적 객체(130-3)의 포커스를 지시하는 입력을 식별할 수 있다. 유사하게, 사용자(110)의 손의 방향이, 벽 면에 부착된 복수의 사진들의 그룹인 제4 외부 객체를 향하여 접근하는 경우, 웨어러블 장치(101)는 상기 제4 외부 객체를 표현한 제4 시각적 객체(130-4)를 강조하기 위한 폐 곡선(632-1) 및/또는 아이콘(632-2)을 표시할 수 있다.
도 6b의 상태(603) 내에서, 일 실시예에 따른, 웨어러블 장치(101)는 상태(603) 내에서 선택된 적어도 하나의 외부 객체(예, 지정된 색상을 가지는 폐 곡선(620-1)에 의해 감싸진 것으로 보이는 제1 외부 객체)에 집중하기 위한 MR로 스위칭하기 위한 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는, 시각적 객체(624)를 선택하는 제스쳐를, 사용자(110)에 의해 선택된 시각적 객체에 몰입하기 위한 화면의 표시를 지시하는 입력으로 식별할 수 있다. 웨어러블 장치(101)는, 상태(603) 내에서 마이크를 통해 수신된 지정된 발언(예, "선택을 완료하였습니다")을 식별하는 것에 기반하여, 다른 입력에 의해 선택된 적어도 하나의 시각적 객체와 상이한 다른 시각적 객체를 가리거나, 제거한 상태(예, 상태(604))로 스위칭할 수 있다. 실시예가 이에 제한되지 않으며, 웨어러블 장치(101)는 신체 부위의 모션에 기반하여, 상태(603)로부터, 상태(603) 내에서 선택된 적어도 하나의 시각적 객체의 몰입을 위한 화면을 표시하는 상태(604)로 스위칭할 수 있다.
예를 들어, 웨어러블 장치(101)는 궤적(T2)을 따라 이동되는 손(610)의 위치(H)를 식별하는 것에 기반하여, 상기 입력을 식별할 수 있다. 손(610)의 궤적(T2)은, 수직 하강(downward) 스와이프 제스쳐를 표현할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라 및/또는 센서를 이용하여, 중력 가속도의 방향을 따라 이동되는 손(610)의 궤적(T2)을 식별할 수 있다. 손(610)에 의해 표현된 수직 하강 스와이프 제스쳐에 기반하여, 웨어러블 장치(101)는 상태(603)로부터 상태(604)로 스위칭할 수 있다.
도 6b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 상태(603) 내에서 선택된, 제1 외부 객체를 표현한 제1 시각적 객체(130-1)의 몰입을 위한 화면을 형성한 예시적인 상태(604)가 도시된다. 상태(604) 내에서, 웨어러블 장치(101)는 제1 시각적 객체(130-1)의 표시를 유지하는 것과 동시에, 제1 시각적 객체(130-1)에 매칭된 제1 외부 객체와 구분되는 다른 외부 객체를 표현한, 다른 시각적 객체가 변경된 프레임을 표시할 수 있다. 예를 들어, 상태(604) 내에서, 웨어러블 장치(101)는 제1 외부 객체를 표현한 제1 시각적 객체(130-1)를 지지하는 제2 외부 객체가 표현된 프레임의 일부분에, 이미지(132)를 표시할 수 있다. 이미지(132)는 제2 외부 객체를 표현한 제2 시각적 객체와 연동하여 표시될 수 있다. 예를 들어, 상태(604) 내에서, 웨어러블 장치(101)는 표시 영역을 통해 표현되었던, 제3 외부 객체를 표현한 제3 시각적 객체(130-3)를 제거할 수 있다. 제3 시각적 객체(130-3)는, 제3 시각적 객체(130-3)를 덮는 이미지(132)의 표시에 의해 제거될 수 있다. 예를 들어, 상태(604) 내에서, 웨어러블 장치(101)는 FoV 내에서 배경으로 보여지는 외부 객체(예, 제4 외부 객체가 부착된 벽 면)와 연계된 이미지(134)를 표시할 수 있다. 이미지(134)는, 제4 외부 객체를 표현한 제4 시각적 객체(130-4) 상에 중첩되어, 제4 시각적 객체(130-4)가 FoV 내에 표시되는 것을 실질적으로 제한할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 상태(604) 내에서, 제1 시각적 객체(130-1)에 몰입하기 위한 사용자 경험을 제공하면서, 상태(604)와 구분되는 다른 상태로 스위칭하기 위한 시각적 객체(640)를 표시할 수 있다. 웨어러블 장치(101)는 상태(604)에 기반하여, 이미지들(132, 134)을 표시하는 것을 적어도 일시적으로 중단하기 위한, 버튼의 형태를 가지는 시각적 객체(640)를 표시할 수 있다. 비록 지정된 텍스트(예, "집중 모드 OFF")를 가지는 버튼이 시각적 객체(640)의 일 예로 도시되지만, 실시예가 이에 제한되는 것은 아니다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)의 발언 및/또는 모션에 기반하여, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 식별할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 상태(604)와 같이, 상기 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1)에 몰입하기 위한 화면을, FoV 내에 표시할 수 있다. 웨어러블 장치(101)는, 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1)와 상이한 다른 시각적 객체의 표시를 적어도 일시적으로 중단하기 위하여, 카메라로부터 획득된 프레임을 변경 및/또는 합성하여, 상태(604) 내에서 FoV 내에 표시되는 상기 화면을 획득할 수 있다. 상기 화면에 기반하여, 웨어러블 장치(101)는 제1 시각적 객체(130-1)에 몰입하기 위한 MR을, 사용자(110)에게 제공할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 특정 시각적 객체의 포커스를 지시하는 입력을 식별하기 위하여, 외부 공간에 대한 정보로부터 적어도 하나의 시각적 객체를 분할(segment)할 수 있다. 이하에서는, 도 7을 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 시각적 객체를 분할하는 동작의 일 예가 설명된다.
도 7은, 일 실시예에 따른, 웨어러블 장치(101)가 복수의 시각적 객체들을, 복수의 지정된 카테고리들 중 어느 하나로 분류하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 7의 웨어러블 장치(101)를 포함할 수 있다. 도 7을 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225))를 이용하여 외부 공간에 대한 프레임(710)을 획득할 수 있다. 도 7을 참고하면, 상기 카메라는, 웨어러블 장치(101)의 일 방향(예, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 상기 사용자(110)의 전 방)을 향하여 배치될 수 있다. 웨어러블 장치(101)는 상기 카메라를 이용하여, 웨어러블 장치(101)를 착용한 사용자(110)에게 시인 가능한 외부 공간에 대한 프레임(710)을 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는 제1 외부 객체(120-1) 내지 제6 외부 객체(120-6)가 포함된 외부 공간에 대한 프레임(710)을 획득할 수 있다. 실시예가 이에 제한되는 것은 아니며, 예를 들어, 웨어러블 장치(101)는 카메라 및/또는 센서(예, 도 2의 센서(230))를 이용하여 외부 공간에 대한 정보를 획득할 수 있다. 상기 정보는, 웨어러블 장치(101)를 포함하는 상기 외부 공간에 대한 깊이 정보(예, 깊이 맵 및/또는 깊이 이미지)를 포함할 수 있다.
도 7을 참고하면, 외부 공간에 대한 정보를 획득한 웨어러블 장치(101)는, 상기 정보에 기반하여 상기 외부 공간 내에 포함된 복수의 외부 객체들(예, 제1 외부 객체(120-1) 내지 제6 외부 객체(120-6))을 식별할 수 있다. 웨어러블 장치(101)는 프레임(710) 내에서의 색상의 분포 및/또는 객체의 윤곽선의 분포에 기반하여, 복수의 외부 객체들에 대응하는 시각적 객체을 식별할 수 있다. 웨어러블 장치(101)는 인공 신경망에 기반하는 프레임(710)에 대한 객체 인식을 수행하여, 상기 복수의 시각적 객체들을 식별할 수 있다. 웨어러블 장치(101)는 깊이 이미지에 의해 지시되는 깊이 분포에 기반하여, 상이한 거리들에 기반하여 웨어러블 장치(101)로부터 이격된, 상기 복수의 외부 객체들을 식별할 수 있다.
예를 들어, 웨어러블 장치(101)는, 프레임(710) 내에서, 상기 복수의 외부 객체들 각각이 캡쳐된 영역을 식별할 수 있다. 도 7을 참고하면, 웨어러블 장치(101)는 프레임(710) 내에서, 제1 외부 객체(120-1)가 캡쳐된 제1 영역(720-1)을 식별할 수 있다. 웨어러블 장치(101)는 프레임(710) 내에서, 제1 외부 객체(120-1)와 접촉된 제2 외부 객체(120-2)가 캡쳐된 제2 영역(720-2)을 식별할 수 있다. 웨어러블 장치(101)는 프레임(710) 내에서, 스피커가 포함된 제3 외부 객체(120-3)가 캡쳐된 제3 영역(720-3)을 식별할 수 있다. 웨어러블 장치(101)는 프레임(710) 내에서, 서로 부분적으로 중첩된 하나 이상의 사진들의 그룹인 제4 외부 객체(120-4)가 캡쳐된 제4 영역(720-4)을 식별할 수 있다. 웨어러블 장치(101)는 프레임(710) 내에서, 제1 외부 객체(120-1)와 동일한 타입이고, 제1 외부 객체(120-1)와 중첩된 제5 외부 객체(120-5)가 캡쳐된 제5 영역(720-5)을 식별할 수 있다. 웨어러블 장치(101)는 프레임(710) 내에서, 제6 외부 객체(120-6)가 캡쳐된 제6 영역(720-6)을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 외부 객체들 사이의 위치 관계 및/또는 사용자의 제스쳐에 기반하여, 외부 객체들에 대한 시각적 객체들을 그룹핑할 수 있다. 예를 들어, 도 7의 제4 영역(720-4)과 같이, 상기 사진들을 표현한 시각적 객체들이 지정된 비율(예, 50 %)을 초과하여 서로 접촉된 경우, 웨어러블 장치(101)는 하나의 영역에 기반하여, 상기 사진들을 하나의 그룹으로 인식할 수 있다. 예를 들어, 웨어러블 장치(101)는 프레임(710) 내에서 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(720-1) 내 제1 지점(P1)으로부터 경로(730)를 따라, 제5 외부 객체(120-5)를 표현한 제5 시각적 객체(720-5) 내 제2 지점(P2)으로 드래그되는 제스쳐에 기반하여, 제1 시각적 객체(720-1) 및 제5 시각적 객체(720-5)를 하나의 그룹으로 그룹핑할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 제스쳐에 기반하여, 제1 시각적 객체(720-1) 및 제5 시각적 객체(720-5) 전부를 감싸는 폐 곡선을 표시할 수 있다.
도 6a 내지 도 6b의 상태들(602, 603)을 참고하여 상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 사용자(110)에게 프레임(710)을 표시하는 상태 내에서, 복수의 외부 객체들 각각이 프레임(710) 내에서 캡쳐된 복수의 영역들을 표현한 폐 곡선들을 표시할 수 있다. 예를 들어, 제1 외부 객체(120-1)가 캡쳐된 제1 영역(720-1)을 표현하는 폐 곡선(예, 도 6a 내지 도 6b의 폐 곡선(620-1))은, 프레임(710) 내에서 제1 영역(720-1)의 윤곽선 상에 중첩으로 표시될 수 있다. 웨어러블 장치(101)는 제1 외부 객체(120-1)의 포커스를 지시하는 입력에 응답하여, 제1 영역(720-1)의 윤곽선 상에 중첩으로 표시된 상기 폐 곡선의 색상을 변경할 수 있다. 상기 색상의 변경에 기반하여, 웨어러블 장치(101)는, 제1 시각적 객체(130-1)가 상기 입력에 의해 선택되었음을 시각화할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 프레임(710) 내에 포함된 복수의 외부 객체들에 대응하는 시각적 객체들을 분류한 상태 내에서, 복수의 외부 객체들이 캡쳐된 복수의 영역들에 연계된 다른 시각적 객체(예, 폐 곡선 및/또는 아이콘)에 기반하여, 상기 복수의 시각적 객체들이 포함된 카테고리를 시각화할 수 있다. 예를 들어, 웨어러블 장치(101)는 제1 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역에, 제1 지정된 색상(예, 노란색)을 가지는 직선의 폐 곡선을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 제2 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역에, 상기 외부 객체가 캡쳐된 영역을 감싸고, 상기 제1 지정된 색상을 가지는 파선(dashed line)의 폐 곡선을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 제3 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역에, 상기 영역을 감싸고, 제2 지정된 색상(예, 청 색)을 가지는 직선의 폐 곡선을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 제4 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역에, 상기 영역을 감싸고, 제2 지정된 색상을 가지는 파선의 폐곡선을 표시할 수 있다. 웨어러블 장치(101)는 제4 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역 내에, 제1 지정된 개수(예, 2 개)의 도트들을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 제5 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역에, 제3 지정된 색상(예, 흑색)을 가지는 파선의 폐 곡선을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 제6 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역에, 제2 지정된 색상을 가지는 파선의 폐 곡선을 표시할 수 있다. 웨어러블 장치(101)는 제6 지정된 카테고리로 분류된 외부 객체가 캡쳐된 영역 내에, 제2 지정된 개수(예, 1 개)의 도트를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, AR, MR 및/또는 VST에 기반하는 사용자 경험을 제공하기 위하여, 사용자(110)의 FoV와 적어도 부분적으로 중첩되는 프레임(710)을 획득할 수 있다. 웨어러블 장치(101)는 상기 프레임(710) 내에 캡쳐된 복수의 시각적 객체들을 인식할 수 있다. 복수의 시각적 객체들의 인식에 기반하여, 웨어러블 장치(101)는, 특정 시각적 객체의 포커스를 지시하는 입력을 식별할 수 있다. 복수의 시각적 객체들의 인식에 기반하여, 웨어러블 장치(101)는, 상기 입력과 관련된 상기 특정 시각적 객체에 몰입하기 위한 사용자 경험을 제공할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 특정 외부 객체를 식별하는 것에 기반하여, 상기 복수의 시각적 객체들을, 표 1의 복수의 지정된 카테고리들에 기반하여 분류할 수 있다. 상기 복수의 외부 객체들을 상기 복수의 지정된 카테고리들에 기반하여 분류한 결과에 기반하여, 웨어러블 장치(101)는 프레임(710)의 적어도 일부분을 변경할 수 있다.
이하에서는, 도 8을 참고하여, 도 6a 내지 도 6b 및/또는 도 7을 참고하여 상술된, 웨어러블 장치(101)가 일 외부 객체의 포커스를 지시하는 입력에 기반하여 수행하는 동작의 일 예가 설명된다.
도 8은, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 8을 위해 활용되는 웨어러블 장치를 포함할 수 있다. 도 8을 참고하여 설명되는 웨어러블 장치의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 8을 참고하면, 동작(810) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 시각적 객체들 중에서 제1 시각적 객체의 포커스를 지시하는 입력을 식별할 수 있다. 일 실시예에 따른, 웨어러블 장치는 도 6a 내지 도 6b를 참고하여 상술한 바와 같이, 웨어러블 장치를 착용한 사용자의 모션 및/또는 발언에 기반하여, 상기 입력을 식별할 수 있다. 예를 들어, 웨어러블 장치는 도 6a 내지 도 6b의 상태들(602, 603) 내에서, 사용자의 시선의 방향에 기반하여, 상기 제1 시각적 객체의 포커스를 지시하는 입력을 식별할 수 있다.
도 8을 참고하면, 동작(820) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 시각적 객체를, 제1 지정된 카테고리로 분류할 수 있다. 웨어러블 장치는, 동작(820) 이전에, 웨어러블 장치에 인접한 복수의 외부 객체들을, 도 7을 참고하여 상술된 동작에 기반하여, 인식할 수 있다. 웨어러블 장치는 표시 조건에 의해 구분되는 복수의 지정된 카테고리들 중에서, 상기 제1 시각적 객체의 표시를 유지하기 위한 제1 지정된 카테고리로, 동작(810)의 입력에 대응하는 상기 제1 시각적 객체를 분류할 수 있다. 상기 제1 지정된 카테고리는, 표 1의 제1 지정된 카테고리를 포함할 수 있다. 동작(810)의 입력에 기반하여, 제1 지정된 카테고리로 분류되는 제1 시각적 객체를 식별한 웨어러블 장치는, 제1 시각적 객체에 대응하는 제1 외부 객체와 접촉된 면적 및/또는 거리에 기반하여, 복수의 시각적 객체들을 상이한 카테고리로 분류할 수 있다.
도 8을 참고하면, 동작(830) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 시각적 객체와 접촉된 제2 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다. 예를 들어, 제2 지정된 카테고리는, 제1 지정된 카테고리로 분류된 상기 제1 시각적 객체의 시인성을 개선하기 위한 시각적 객체의 표시 및/또는 매핑이 허용된 시각적 객체를 분류하기 위하여, 설정될 수 있다. 상기 제2 지정된 카테고리는, 표 1의 제2 지정된 카테고리를 포함할 수 있다. 웨어러블 장치는, 제1 시각적 객체에 대응하는 제1 외부 객체와 접촉되거나, 또는 지지하는 상기 제2 외부 객체를, 복수의 외부 객체들 사이의 위치 관계에 기반하여, 식별할 수 있다. 웨어러블 장치가 동작(830)에 기반하여 제2 지정된 카테고리로 분류된 제2 시각적 객체가 캡쳐된 프레임의 일부분을 변경하는 동작이, 도 9를 참고하여 설명된다.
도 8을 참고하면, 동작(840) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 시각적 객체 및 제2 시각적 객체와 구분되는 제3 시각적 객체를 제3 지정된 카테고리로 분류할 수 있다. 제3 지정된 카테고리는, 시각적 객체의 시인성을 줄이거나, 또는 제거하기 위하여, 설정될 수 있다. 상기 제3 지정된 카테고리는, 표 1의 제3 지정된 카테고리를 포함할 수 있다.
도 8을 참고하면, 동작(850) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제3 지정된 카테고리로 분류된 제3 시각적 객체가, 제1 시각적 객체에 대한 사용자의 주의(또는 모션)을 중단할(예, 제거하거나(take away) 또는 방해할) 가능성이 있는지 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치는 객체 인식에 기반하여, 상기 제3 시각적 객체에 대한 상기 가능성을 획득할 수 있다. 웨어러블 장치는 상기 제3 시각적 객체가, 휴대 전화와 같이, 스피커에 기반하여 상기 제1 시각적 객체에 대한 사용자의 주의를 끄는지 여부를 식별할 수 있다. 웨어러블 장치는 상기 제3 시각적 객체가, 물 컵, 접시 및/또는 화분과 같이, 사용자의 모션에 의해 넘어지거나, 또는 파괴되는지 여부를 식별할 수 있다. 하나 이상의 실시예들에서, 제3 시각적 객체가 제3 지정된 카테고리로 분류될 시에, 웨어러블 장치는, 제3 시각적 객체가 제1 시각적 객체로의 사용자의 집중(또는 모션)을 제거하거나, 분산하거나, 방해하는 등의 확률을 결정하기 위한 기준을 가질 수 있다. 하나 이상의 실시예들에서, 웨어러블 장치는, 제3 시각적 객체가 제1 시각적 객체로의 사용자의 집중(또는 모션)을 제거하거나, 분산하거나, 방해하는 등의 확률을 결정하기 위하여, 기준의 데이터베이스, 룰 기반 로직 등을 가질 수 있다.
도 8을 참고하면, 제3 지정된 카테고리로 분류된 상기 제3 시각적 객체가, 제1 시각적 객체에 대한 사용자의 주의를 중단할(예, 제거하거나 또는 방해할) 가능성이 있는 상태 내에서(850-예), 동작(860)에 기반하여, 웨어러블 장치는, 상기 제3 시각적 객체를, 제4 지정된 카테고리로 분류할 수 있다. 제4 지정된 카테고리는, 상기 제4 지정된 카테고리로 분류되는 상기 제3 시각적 객체의 표시를 재개하기 위한 표시 조건을 가질 수 있다. 제4 지정된 카테고리는, 표1의 제4 지정된 카테고리에 대응할 수 있다. 웨어러블 장치가 동작(860)에 기반하여, 제4 지정된 카테고리로 분류된 시각적 객체가 캡쳐된 프레임의 일부분을 변경하는 동작이, 도 10a 내지 도 10b 및/또는 도 11a 내지 도 11b를 참고하여 설명된다. 제3 지정된 카테고리로 분류된 상기 제3 시각적 객체가, 제1 시각적 객체에 대한 사용자의 주의를 중단할 가능성이 없거나, 지정된 임계치 미만의 상기 가능성을 가지는 경우(850-아니오), 웨어러블 장치는 제3 시각적 객체를 제3 지정된 카테고리로 분류한 것을 유지할 수 있다.
도 8을 참고하면, 동작(870) 내에서, 일 실시예에 따른, 웨어러블 장치는, 디스플레이 내에서, 제2 시각적 객체와 구분되고, 제1 시각적 객체에 인접하여 표시되는, 제4 시각적 객체를, 제5 지정된 카테고리로 분류할 수 있다. 상기 제4 시각적 객체는, 제1 웨어러블 장치와 직접적으로 상호작용하는 사용자에게 배경으로 인식되는 물체를 포함할 수 있다. 제5 지정된 카테고리는, 표 1의 제5 지정된 카테고리를 포함할 수 있다. 웨어러블 장치가 동작(870)에 기반하여 제5 지정된 카테고리로 분류된 시각적 객체에 기반하여, 프레임의 적어도 일부분을 변경하는 동작이 도 12a 내지 도 12b를 참고하여 설명된다.
도 8을 참고하면, 동작(880) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 시각적 객체들 각각이 분류된 지정된 카테고리에 기반하여, 디스플레이 내에 표시되고, 복수의 시각적 객체들을 변경할 수 있다. 예를 들어, 도 6d의 상태(604)와 같이, 웨어러블 장치는 프레임 내에서, 특정 시각적 객체의 표시를 유지하면서, 다른 시각적 객체를 가리거나, 또는 제거할 수 있다. 웨어러블 장치는 외부 객체들 각각을 표현한 시각적 객체들의 시인성을 개별적으로 조절한 프레임을 사용자에게 표시하여, 상기 사용자에게 AR, MR 및/또는 VST에 기반하는 사용자 경험을 제공할 수 있다.
도 9는, 일 실시예에 따른, 웨어러블 장치(101)가, 사용자에 의해 포커스된 제1 외부 객체와 연계된 제2 외부 객체를 표현한 시각적 객체를 변경하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 9를 위해 활용되는 웨어러블 장치(101)를 포함할 수 있다. 도 9를 참고하여 설명된, 웨어러블 장치(101)의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 9를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 제1 시각적 객체(130-1)에 매칭된 제1 외부 객체(예, 도 1의 제1 외부 객체(120-1))의 포커스를 지시하는 입력을 수신한 상태(901)가 도시된다. 도 9의 상태(901)는 도 6b의 상태(603)에 대응할 수 있다. 도 9의 상태(901) 내에서, 웨어러블 장치(101)는 상기 입력에 의해 선택된 상기 제1 시각적 객체와 연계된 제2 시각적 객체(예, 도 1의 제2 외부 객체(120-2))를 식별할 수 있다. 웨어러블 장치(101)는 표시 영역 내에, 제2 시각적 객체(130-2)를 감싸는 폐 곡선(912)을 적어도 부분적으로 표시할 수 있고, 폐 곡선(912)은 제2 외부 객체를 표현한 제2 시각적 객체(130-2)와 중첩될 수 있다. 웨어러블 장치(101)는 상기 제2 시각적 객체(130-2)와 결합될 이미지를 조절하기 위한 시각적 객체(914)를 표시할 수 있다. 제2 시각적 객체(130-2)와 결합될 이미지는, 제2 시각적 객체(130-2)에 대응하는 제2 외부 객체의 텍스쳐를 변경하는 관점에서(in terms of), 텍스쳐 이미지로 지칭될 수 있다. 웨어러블 장치(101)가 제2 시각적 객체(130-2) 상에 중첩으로, 연필이 포함된 아이콘의 형태를 가지는 시각적 객체(914)를 표시한 일 예가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
일 실시예에 따른, 웨어러블 장치(101)는 시각적 객체(914)를 선택하는 제스쳐에 기반하여, 제2 시각적 객체(130-2)와 결합될 이미지의 변경을 지시하는 입력을 식별할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 상태(901)로부터 상태(902)로 스위칭할 수 있다. 도 9의 상태(902) 내에서, 웨어러블 장치(101)는 표시 영역 내에, 제2 외부 객체를 표현한 제2 시각적 객체(130-2)와 연계될 이미지 및/또는 텍스쳐를 조절하기 위한 화면(920)을 표시할 수 있다. 비록 팝업-윈도우 형태의 화면(920)이 예시적으로 도시되지만, 실시예가 이에 제한되는 것은 아니다. 일 실시예에 따른, 웨어러블 장치(101)는 화면(920) 내에서, 제2 시각적 객체(130-2) 상에 중첩될 이미지를 조절하기 위한 상이한 옵션들에 대응하는 아이콘들(921, 922, 923, 924)을 표시할 수 있다. 예를 들어, 아이콘(921)은, 제2 시각적 객체(130-2)에 어느(any) 이미지도 결합하지 않는 옵션에 매칭될 수 있다. 아이콘(922)은, 제2 시각적 객체(130-2)에 나무를 표현한 이미지를 결합하는 옵션에 매칭될 수 있다. 아이콘(923)은, 제2 시각적 객체(130-2)에 암석(예, 대리석)을 표현한 이미지를 결합하는 옵션에 매칭될 수 있다. 아이콘(924)은, 제2 시각적 객체(130-2)에 지정된 패턴을 표현한 이미지를 결합하는 옵션에 매칭될 수 있다.
도 9를 참고하면, 아이콘(922)을 선택하는 제스쳐에 기반하여, 웨어러블 장치(101)는 나무를 표현한 이미지(132)를, 제2 시각적 객체(130-2) 상에 중첩으로 표시하기 위한 입력을 식별할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 도 9의 상태(902)로부터 상태(903)로 스위칭할 수 있다. 상태(903) 내에서 웨어러블 장치(101)는 제2 시각적 객체(130-2) 상에, 제2 시각적 객체(130-2)의 형태를 가진 이미지(132)를 중첩으로 표시할 수 있다. 웨어러블 장치(101)가 제2 시각적 객체(130-2) 상에 중첩된 나무를 표현하는 이미지(132)를 표시하기 때문에, 웨어러블 장치(101)는 사용자의 FoV를 통해 보여지는 제2 외부 객체의 형태를 가지는 이미지(132)를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 제1 시각적 객체의 포커스를 지시하는 입력에 기반하여, 상기 제1 시각적 객체와 연계된 제2 시각적 객체를 식별할 수 있다. 제2 시각적 객체가 제1 시각적 객체와 연계되기 때문에, 웨어러블 장치(101)를 착용한 사용자의 FoV 내에서, 제2 외부 객체를 표현한 제2 시각적 객체(130-2)가 제1 외부 객체를 표현한 제1 시각적 객체(130-1)에 인접할 수 있다. 웨어러블 장치(101)는 제2 외부 객체를 표현한 제2 시각적 객체(130-2) 상에 이미지(132)를 중첩하여, 제1 외부 객체를 표현한 제1 시각적 객체(130-1)에 인접한 프레임의 일부분에 나무를 표현하는, 이미지(132)를 표시할 수 있다. 예를 들어, 이미지(132)는, 제1 시각적 객체(130-1)의 시인성을 개선하기 위한 형태, 패턴 및/또는 텍스쳐를 가질 수 있다. 사용자에 의해 포커스된 제1 시각적 객체(130-1)에 인접한 제2 시각적 객체(130-2)를 변경한 상태(903) 내에서, 웨어러블 장치(101)는 상기 제1 외부 객체에 대한 사용자의 모션을 중단하거나 또는 방해할 수 있는 다른 외부 객체의 시인성을 변경할 수 있다. 이하에서는, 도 10a 내지 도 10b를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 상기 다른 외부 객체의 시인성을 변경하는 동작의 일 예가 설명된다.
도 10a 내지 도 10b는, 일 실시예에 따른, 웨어러블 장치(101)가 외부 객체를 표현한 시각적 객체의 표시를 변경하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 10a 내지 도 10b의 웨어러블 장치(101)를 포함할 수 있다. 도 10a 내지 도 10b를 참고하여 설명된, 웨어러블 장치(101)의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 10a 내지 도 10b를 참고하면, 웨어러블 장치(101)를 착용한 사용자(110)가 복수의 외부 객체들(예, 제1 외부 객체(120-1) 내지 제6 외부 객체(120-6))을 향하는 방향(D1)을 향하는 동안, 웨어러블 장치(101)가 상기 복수의 외부 객체들 중 적어도 하나의 상태에 기반하여 진입하는 상태들(1001, 1002, 1003)이 예시적으로 도시된다. 도 10a 내지 도 10b의 상태(1001)를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 식별할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1)의 표시를, FoV 내에서 유지할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 제1 외부 객체(120-1)와 접촉된 제2 외부 객체(120-2)가 캡쳐된 프레임의 일부분에, 이미지(132)를 합성할(예, 결합) 수 있다. 웨어러블 장치(101)가 상기 일부분에 이미지(132)를 합성하는 동작은, 도 9를 참고하여 상술된 웨어러블 장치(101)의 동작과 유사하게 수행될 수 있다.
도 10a를 참고하면, 사용자(110)의 FoV 내에서 제1 외부 객체(120-1)와 상이한 외부 객체를 가리거나, 또는 제거한 상태(1001) 내에서, 웨어러블 장치(101)는 스피커를 포함하는 제3 외부 객체(120-3)를 식별할 수 있다. 비록, 휴대 전화가 스피커를 포함하는 제3 외부 객체(120-3)로써 예시되지만, 실시예가 이에 제한되는 것은 아니다. 스피커를 포함하는 제3 외부 객체(120-3)를 식별한 웨어러블 장치(101)는, 상기 제3 외부 객체(120-3)에 대응하는 제3 시각적 객체(130-3)를, 표 1의 제4 지정된 카테고리로 분류할 수 있다. 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 제1 외부 객체(120-1)의 타입에 기반하여, 제3 시각적 객체(130-3)를 제4 지정된 카테고리로 분류할 수 있다. 제3 외부 객체(120-3)가 휴대 전화인 도 10a의 예시적인 케이스 내에서, 알람의 발생, 호 연결을 수립하기 위한 신호, 및/또는 푸쉬 메시지의 수신에 기반하여, 제3 외부 객체(120-3)로부터 소리가 발생될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 이미지(132)를 이용하여 제3 외부 객체(120-3)를 표현한 제3 시각적 객체(130-3)를 가린 상태(1001) 내에서, 마이크(예, 도 2의 마이크(235))를 이용하여, 제3 외부 객체(120-3)로부터 발생되는 소리를 식별할 수 있다. 웨어러블 장치(101)는 지정된 임계 세기를 초과하는 상기 소리를 식별하는 것에 기반하여, 상태(1001)로부터 상태(1002)로 스위칭할 수 있다. 상기 지정된 임계 세기는, 사용자(110)에 의해 포커스된 제1 외부 객체(120-1)의 타입에 기반하여 결정될 수 있다. 예를 들어, 제1 외부 객체(120-1)가 책인 도 10a의 상태(1001) 내에서, 웨어러블 장치(101)는 상기 책에 의해 지시되는 임계 세기 및 상기 소리의 세기를 비교할 수 있다. 포커스된 것으로 지시되는 제1 외부 객체(120-1)가 책이 아닌 다른 객체(예, PC(personal computer))인 경우, 상기 다른 객체의 의해 지시되는 임계 세기는, 상기 책에 의해 지시되는 임계 세기와 다를 수 있다. 임계 세기를 초과하는 소리를 식별한 웨어러블 장치(101)는, 도 10a의 상태(1001)로부터 상태(1002)로 스위칭하여, 제3 외부 객체(120-3)를 표현한 제3 시각적 객체(130-3)의 표시를 재개할 수 있다.
도 10a를 참고하면, 상태(1002) 내에서, 일 실시예에 따른 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 제1 시각적 객체(130-1)와 함께, 지정된 임계 세기를 초과하는 소리를 출력하는 제3 외부 객체(120-3)를 표현한 제3 시각적 객체(130-3)를 표시할 수 있다. 웨어러블 장치(101)의 사용자(110)는, 상태(1001)로부터 상태(1002)로 스위칭된 웨어러블 장치(101)에 기반하여, 제3 외부 객체(120-3)를 인식할 수 있다. 웨어러블 장치(101)는 제3 외부 객체(120-3)를 표현한 제3 시각적 객체(130-3)를 표시하여, 사용자(110)가 상기 제3 외부 객체(120-3)로부터 출력되는 소리에 기반하여, 상기 제3 외부 객체(120-3)와 상호작용하는 것을 지원할 수 있다. 예를 들어, 웨어러블 장치(101)를 착용한 사용자(110)는, 제3 시각적 객체(130-3)가 포함된 프레임에 기반하여, 제3 외부 객체(120-3)에 대한 모션을 수행할 수 있다.
도 10a의 상태(1002) 내에서, 제4 지정된 카테고리로 분류된 제3 외부 객체(120-3)로부터 발생되는 소리가 줄어드는 경우, 웨어러블 장치(101)는 제3 외부 객체(120-3)를 표현한 제3 시각적 객체(130-3)의 표시를 중단할 수 있다. 예를 들어, 제3 외부 객체(120-3)로부터 소리가 출력되는 것이 중단되는 경우, 웨어러블 장치(101)는 상태(1002)로부터 상태(1001)로 스위칭할 수 있다. 상태(1002)로부터 상태(1001)로 스위칭하는 것에 기반하여, 웨어러블 장치(101)는 FoV 내에 제3 시각적 객체(130-3)를 표시하는 것을 중단할 수 있다.
도 10b를 참고하면, 상태(1001) 내에서, 웨어러블 장치(101)는 물 컵인 제6 외부 객체(120-6)를 식별할 수 있다. 제6 외부 객체(120-6)는, 손(1010)과 같은 지정된 신체 부위와 충돌하는 것에 기반하여, 파괴되거나, 또는 깨질 수 있다. 제6 외부 객체(120-6)가 상기 충돌에 의해 제1 외부 객체(120-1)에 몰입한 사용자(110)의 주의를 끄는 것을 방지하기 위하여, 웨어러블 장치(101)는 제6 외부 객체(120-6)에 대응하는 제6 시각적 객체(130-6)를 제4 지정된 카테고리로 분류할 수 있다. 상기 제4 지정된 카테고리는, 표 1의 제4 지정된 카테고리와 같이, 사용자(110) 및 제1 외부 객체(120-1) 사이의 상호작용을 중단시킬 수 있는 외부 객체를 분류하기 위해 설정될 수 있다. 제6 시각적 객체(130-6)를 제4 지정된 카테고리로 분류한 것에 기반하여, 웨어러블 장치(101)는 제6 외부 객체(120-6)와 관련된 모션을 모니터링할 수 있다. 제6 외부 객체(120-6)를 표현한 제6 시각적 객체(130-6)를 프레임 내에서 가리거나 또는 제거하는 것과 독립적으로, 웨어러블 장치(101)는, 예를 들어, 사용자(110)가 제1 외부 객체(120-1)와 몰입하는 동안 제6 외부 객체(120-6)를 표현하는 제6 시각적 객체(120-6)와 사용자의 충돌을 예방하기 위하여, 제6 외부 객체(120-6)와 관련된 상기 모션을 모니터링할 수 있다.
도 10b를 참고하면, 웨어러블 장치(101)는, 제6 외부 객체(120-6)를 향하여 접근하는 손(1010)을 식별하는 것에 기반하여, 상태(1001)로부터 상태(1003)로 스위칭할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225))로부터 획득된 프레임들 내에서, 손(1010)의 위치(H)를 추적하여, 경로(1012)를 따라 제6 외부 객체(120-6)로 접근하는 모션을 식별할 수 있다. 상기 모션에 기반하여, 웨어러블 장치(101)는 상태(1001)로부터 상태(1003)로 스위칭할 수 있다. 예를 들어, 제6 외부 객체(120-6) 및 손(1010) 사이의 거리가 지정된 거리 미만으로 줄어드는 경우, 웨어러블 장치(101)는 상태(1001)로부터 상태(1003)로 스위칭할 수 있다. 지정된 거리는, 웨어러블 장치(101) 및/또는 웨어러블 장치(101)와 연결된 디바이스에 미리 저장될 수 있다.
도 10b의 상태(1003) 내에서, 웨어러블 장치(101)는, 제6 시각적 객체(130-6)를 표시하는 것을 재개할 수 있다. 웨어러블 장치(101)는 제6 시각적 객체(130-6) 상에 중첩된 이미지(134)의 적어도 일부분을 변경하여, 제6 시각적 객체(130-6)를 표시할 수 있다. 상태(1003) 내에서, 웨어러블 장치(101)는 표시 영역 내에서 제6 시각적 객체(130-6)를 감싸는 폐 곡선(1020)을 표시할 수 있다. 폐 곡선(1020)은, 지정된 색상(예, 청색) 및/또는 지정된 패턴(예, 파선)에 기반하여, 제6 시각적 객체(130-6)에 대응하는 제6 외부 객체(120-6)의 위치를 가이드할 수 있다. 웨어러블 장치(101)는 상태(1003) 내에서, 제6 외부 객체(120-6)의 상태의 변경을 가이드하기 위한 알림 메시지(1030)를 표시할 수 있다. 도 10b를 참고하면, 상기 상태의 변경을 가이드하기 위한 텍스트(에, "물이 컵 안에 있습니다. 주의하세요.")가 포함된 알림 메시지(1030)의 일 예가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력에 기반하여, 제1 시각적 객체(130-1)에 대응하는 제1 외부 객체(120-1)와 접촉된 제2 외부 객체(120-2) 및 제1 외부 객체(120-1)와 구분되는 다른 외부 객체들 중에서, 상태의 변화에 기반하여 사용자(110) 및 제1 외부 객체(120-1) 사이의 상호작용을 중단시킬 수 있는 제4 지정된 카테고리 내 외부 객체(예, 제3 외부 객체(120-3) 및/또는 제6 외부 객체(120-6))를 식별할 수 있다. 웨어러블 장치(101)는 상기 외부 객체와 관련된 모션(예, 소리의 발생, 및/또는 손(1010)의 접근)을 모니터링할 수 있다. 웨어러블 장치(101)는 상기 모션에 기반하여, 상기 외부 객체를 표현한 시각적 객체(예, 도 10a의 제3 시각적 객체(130-3))의 표시를 재개하거나, 또는 상기 상호작용의 중단을 방지하기 위한 알림 메시지(예, 도 10b의 알림 메시지(1030))를 표시할 수 있다.
이하에서는, 도 11a 내지 도 11b를 참고하여, 도 10a 내지 도 10b를 참고하여 상술된, 웨어러블 장치(101)의 동작이 설명된다.
도 11a 내지 도 11b는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도들의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는 도 11a 내지 도 11b를 위해 활용되는 웨어러블 장치를 포함할 수 있다. 도 11a 내지 도 11b를 참고하여 설명되는 웨어러블 장치의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 11a를 참고하면, 동작(1110) 내에서, 일 실시예에 따른, 웨어러블 장치는, 마이크(예, 도 2의 마이크(235))를 이용하여 소리를 수신할 수 있다. 웨어러블 장치는 복수의 마이크들(예, 마이크 어레이)을 이용하여, 상기 소리가 발생된 방향 및/또는 위치를 식별할 수 있다.
도 11a를 참고하면, 동작(1120) 내에서, 일 실시예에 따른, 웨어러블 장치는, 소리가 제4 지정된 카테고리로 분류된 시각적 객체로부터 발생되었는지 여부를 판단할 수 있다. 상기 제4 지정된 카테고리는, 외부 객체를 표현한 시각적 객체를 조건부로 표시하기 위한 카테고리인, 표 1의 제4 지정된 카테고리를 포함할 수 있다. 동작(1120)의 외부 객체는, 도 10a 내지 도 10b의 제3 외부 객체(120-3) 및/또는 제6 외부 객체(120-6)를 포함할 수 있다. 소리가 제4 지정된 카테고리로부터 발생된 것이 아닌 경우(1120-아니오), 웨어러블 장치는 동작(1110)에 기반하여 소리를 수신하는 것을 유지할 수 있다.
도 11a를 참고하면, 상기 소리가 상기 제4 지정된 카테고리로부터 발생된 경우(1120-예), 동작(1130)에 기반하여, 웨어러블 장치는, 소리의 세기가, 지정된 임계 세기를 초과하는지 여부를 판단할 수 있다. 상기 지정된 임계 세기는, 포커스된 것으로 지시되는 제1 시각적 객체의 타입에 의해 조절될 수 있다. 소리의 세기가 지정된 임계 세기 이하인 경우(1130-아니오), 웨어러블 장치는 동작(1110)에 기반하여 소리를 수신하는 것을 유지할 수 있다.
도 11a를 참고하면, 소리의 세기가 지정된 임계 세기를 초과하는 경우(1130-예), 웨어러블 장치는 동작(1140)에 기반하여, 웨어러블 장치는, 디스플레이 내에서, 제4 지정된 카테고리로 분류된 시각적 객체를 표시할 수 있다. 예를 들어, 웨어러블 장치는 도 10a의 상태(1002)와 같이, 소리가 발생되는 특정 외부 객체(예, 도 10a의 제3 외부 객체(120-3))를 표현한 시각적 객체(예, 도 10a의 제3 시각적 객체(130-3))를 표시할 수 있다.
도 11b를 참고하면, 동작(1150) 내에서, 일 실시예에 따른, 웨어러블 장치는, 카메라(예, 도 2의 카메라(225)) 및/또는 센서(예, 도 2의 센서(230))를 이용하여, 복수의 시각적 객체들과 관련된 모션을 식별할 수 있다. 웨어러블 장치는 도 10b의 손(1010)의 위치에 기반하여, 복수의 시각적 객체들 중 어느 하나와 접촉되거나, 또는 복수의 시각적 객체들 중 어느 하나로 접근하는 모션을 식별할 수 있다.
도 11b를 참고하면, 동작(1160) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제4 지정된 카테고리로 분류된 시각적 객체와 관련된 이벤트가 발생되었는지 여부를 판단할 수 있다. 상기 이벤트는 상기 시각적 객체에 대응하는 모션과 관련될 수 있다. 예를 들어, 상기 모션은, 상기 시각적 객체에 대응하는 외부 객체와 충돌하는 모션(예, 도 10b의 손(1010) 및 상기 외부 객체 사이의 충돌)을 포함할 수 있다. 동작(1160)의 이벤트가 발생하기 이전에(1160-아니오), 웨어러블 장치는 동작(1150)에 기반하여 모션을 식별하는 것을 유지할 수 있다.
도 11b를 참고하면, 동작(1160)의 이벤트가 발생하는 것에 기반하여(1160-예), 동작(1170)에 기반하여, 웨어러블 장치는, 디스플레이 내에서, 외부 객체의 상태의 변경을 가이드하기 위한 시각적 객체를 표시할 수 있다. 예를 들어, 웨어러블 장치는 도 10b의 폐 곡선(1020) 및/또는 알림 메시지(1030)와 같이, 상기 외부 객체의 충돌 및/또는 상기 외부 객체의 상태의 변화를 가이드하기 위한 시각적 객체를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 제1 시각적 객체(130-1)에 몰입하기 위한 사용자 경험을 제공하는 동안, 제1 시각적 객체(130-1)와 상이한 다른 외부 객체의 상태의 변화를 모니터링할 수 있다. 상기 다른 외부 객체의 상태가 변경되거나, 또는 변경될 가능성을 식별한 경우, 웨어러블 장치(101)는 상기 다른 외부 객체를 표현한 시각적 객체의 표시를 재개할 수 있다.
이하에서는, 도 12a 내지 도 12b를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 표 1의 제5 지정된 카테고리로 분류된 시각적 객체에 기반하여 수행하는 동작의 일 예가 설명된다.
도 12a 내지 도 12b는, 일 실시예에 따른, 웨어러블 장치(101)가 사용자(110)에 의해 포커스된 시각적 객체와 구분되는 부분에, 다른 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 2의 웨어러블 장치(101)는 도 12a 내지 도 12b의 웨어러블 장치(101)를 포함할 수 있다. 도 12a 내지 도 12b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 제1 외부 객체를 표현한 제1 시각적 객체(120-1)를 표시하는 동안, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력에 기반하여, 제1 시각적 객체(130-1)와 구분되는 다른 시각적 객체들의 표시를 중단한 예시적인 상태들(1201, 1202, 1203)이 도시된다.
도 12a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 제1 외부 객체(예, 도 1의 제1 외부 객체(120-1))를 표현한 제1 시각적 객체(130-1)의 포커스를 지시하는 입력을 식별한 예시적인 상태(1201)가 도시된다. 상태(1201) 내에서, 웨어러블 장치(101)는 제1 시각적 객체(130-1)의 윤곽선을 표현한 폐 곡선(620-1)을 표시할 수 있다. 상태(1201) 내에서, 웨어러블 장치(101)는 복수의 외부 객체들 각각을, 상기 입력에 의해 선택된 제1 시각적 객체(130-1)에 기반하여, 복수의 지정된 카테고리들(예, 표 1에 열거된 지정된 카테고리들) 중 어느 하나로 분류할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 시각적 객체(130-1)에 대응하는 제1 외부 객체와 접촉된 제2 외부 객체를, 제2 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, FoV 내에서, 제1 외부 객체 및 제2 외부 객체와 구분되는 다른 외부 객체(예, 제5 지정된 카테고리로 분류되는 외부 객체)가 보이는 부분(1210)에, 이미지를 결합하기 위한 아이콘(1212)을 표시할 수 있다. 웨어러블 장치(101)는 더하기 기호를 포함하는 아이콘(1212)을, 제5 지정된 카테고리로 분류된 외부 객체를 포함하고, 상기 외부 객체 보다 넓은 부분(1210) 내에 표시할 수 있다. 웨어러블 장치(101)가 상기 이미지를 결합하기 위한 입력을 수신하기 위하여 표시하는 시각적 객체는, 도 12a의 아이콘(1212)에 제한되지 않는다.
일 실시예에 따른, 웨어러블 장치(101)는, 아이콘(1212)을 선택하는 제스쳐에 기반하여, FoV 내 부분(1210)에 결합될 이미지를 선택하기 위한 화면(1220)을 표시할 수 있다. 상태(1201) 내에서, 웨어러블 장치(101)는 화면(1220)을, 웨어러블 장치(101)의 FoV의 적어도 일부분에 표시할 수 있다. 웨어러블 장치(101)가 팝업 윈도우의 형태를 가지는 화면(1220)을 표시하는 일 실시예가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
일 실시예에 따른, 웨어러블 장치(101)는, 화면(1220) 내에서 부분(1210) 내에 표시될 적어도 하나의 이미지를 추천할 수 있다. 예를 들어, 웨어러블 장치(101)는 화면(1220) 내에 포함된 썸네일들(1221, 1222)과 같이, 부분(1210) 내에 표시될 하나 이상의 이미지들에 대한 프리뷰 이미지들을 표시할 수 있다. 상기 썸네일들(1221, 1222)에 매칭되는 이미지들은, 웨어러블 장치(101)의 메모리(예, 도 2의 메모리(215)) 내에 저장되거나, 또는 웨어러블 장치(101)와 연결된 외부 전자 장치(예, 서버)로부터 제공될 수 있다. 상기 이미지들은, 창문 및/또는 벽면과 같은 장면을 포함하거나, 풍경에 대한 사진을 포함할 수 있다. 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 화면(1220) 내에서, 날씨, 및/또는 시계와 같이, 웨어러블 장치(101)가 포함된 환경 기반하여 반복적으로(또는 주기적으로) 업데이트되는 정보를 포함하는 이미지를 표시하기 위한 옵션을 표시할 수 있다. 웨어러블 장치(101)는 화면(1220) 내에서, 이미지 및/또는 비디오의 열람을 위한 지정된 어플리케이션(예, 갤러리 어플리케이션)을 실행하기 위한 아이콘(1223)을 표시할 수 있다. 아이콘(1223)을 선택하는 제스쳐에 기반하여, 웨어러블 장치(101)는 FoV 내에서 상기 지정된 어플리케이션으로부터 제공된 다른 화면을 표시할 수 있다.
도 12a를 참고하면, 화면(1220) 내에서 이미지의 선택을 지시하는 입력에 응답하여, 웨어러블 장치(101)는 화면(1220)이 중첩 방식으로 표시된 상태(1201)로부터 상태(1202)로 스위칭할 수 있다. 상태(1202) 내에서, 웨어러블 장치(101)는, 사용자에 의해 포커스된 제1 외부 객체를 표현한 제1 시각적 객체(130-1)와 구분되는 FoV의 내에, 상기 입력에 의해 선택된 이미지(134)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225))로부터 획득된 프레임 내에서, 부분(1210)에, 이미지(134)를 결합할 수 있다. 웨어러블 장치(101)는, 이미지(134)가 결합된 상기 프레임을, 디스플레이(예, 도 2의 디스플레이(220))를 통해 사용자의 FoV 내에 표시할 수 있다. 상기 FoV 내에 표시된 상기 프레임에 기반하여, 웨어러블 장치(101)를 착용한 사용자는 부분(1210)에 결합되거나 또는 함께 상기 이미지(134)를 볼 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 FoV 내에서, 제1 외부 객체를 표현한 제1 시각적 객체(130-1)와 구분되는 배경 영역(예, 부분(1210))을, 이미지(134)로 교체할 수 있다. 상기 배경 영역에 표시되는 상기 이미지(134)는, 웨어러블 장치(101)의 사용자에 의해 선택된 옵션에 기반하여 설정될 수 있다. 웨어러블 장치(101)는, 이미지(134)와 함께, 배경 음악 및/또는 조도를 변경할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 제1 외부 객체의 포커스를 지시하는 입력에 기반하여, 상기 제1 외부 객체에 대한 사용자의 모션 및/또는 의도(예, 공부, 업무 및/또는 악기 연주)를 식별할 수 있다. 웨어러블 장치(101)는 상기 의도에 기반하여, 제1 외부 객체에 집중하는 사용자의 모션을 방해하지 않는 사용자 경험을 제공할 수 있다. 상기 사용자 경험은, AR, MR 및/또는 VST와 관련될 수 있다.
도 12b를 참고하면, 일 실시예에 따른, 도 12a의 외부 환경과 상이한 외부 환경 내에 포함된 웨어러블 장치(101)의 예시적인 상태(1203)가 도시된다. 상태(1203) 내에서, 일 실시예에 따른, 웨어러블 장치(101)는 방향(D2)을 바라보는 사용자(110)에 의해 착용될 수 있다. 웨어러블 장치(101)는 방향(D2)을 향하여 배치된 카메라(예, 도 2의 카메라(225))로부터 출력된 하나 이상의 프레임들에 기반하여, 웨어러블 장치(101)가 포함된 외부 공간을 인식할 수 있다. 상기 외부 공간의 인식에 기반하여, 웨어러블 장치(101)는 상기 외부 공간에 매핑된 가상 공간(1220)을 생성할 수 있다. 가상 공간(1220)은, 외부 공간에 매핑된 3차원 좌표계에 기반하여 형성될 수 있다. 웨어러블 장치(101)가 가상 공간(1220)을 생성하는 것은, 가상 공간(1220)의 적어도 일부분을 렌더링(rendering)하기 위한 정보를 생성하는 동작을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)의 사용자(110), 네트워크를 통해 웨어러블 장치(101)에 연결된 다른 사용자의 상호연결성(interconnectivity)을 강화하기 위한 서비스(예, 메타버스 서비스)를 제공하기 위하여, 가상 공간(1220)을 생성할 수 있다. 상기 서비스를 제공하기 위해, 네트워크를 통해 웨어러블 장치(101)에 연결된 하나 이상의 전자 장치들이, 도 16을 참고하여 설명된다.
도 12b의 상태(1203) 내에서, 웨어러블 장치(101)는 외부 공간 및 가상 공간(1220) 사이의 매핑에 기반하여, 웨어러블 장치(101)의 위치(O) 및 방향(D2)에 매핑된 가상 공간(1220) 내 위치(O') 및 방향(D2')을 식별할 수 있다. 웨어러블 장치(101)는 외부 객체의 포커스를 지시하는 입력에 기반하여, 상기 입력에 의해 선택된 외부 객체의 적어도 일부분에 대응하는 가상 객체를, 가상 공간(1220) 내에 배치할 수 있다. 상태(1203) 내에서, 웨어러블 장치(101)는 피아노(1214)의 건반(또는 키들)에 대한 사용자(110)의 모션을 식별하는 것에 기반하여, 피아노(1214) 내에서 건반이 배치된 일부분(1210)을, 제1 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 일부분(1210)과 함께, 사용자(110)가 열람하는 악보(1222)를 응시하는 사용자(110)의 모션을 식별하는 것에 기반하여, 악보(1222)를, 제1 지정된 카테고리로 분류할 수 있다. 상술한 바와 같이, 웨어러블 장치(101)는 외부 공간 내에 배치된 복수의 외부 객체들(예, 일부분(1210) 및/또는 악보(1222))을, 상기 제1 지정된 카테고리로 분류할 수 있다. 도 12b를 참고하면, 웨어러블 장치(101)는 제1 지정된 카테고리로 분류된, 피아노(1214)의 일부분(1210)을 표현한 제1 시각적 객체(1230)를, 가상 공간(1220) 내에 배치할 수 있다. 웨어러블 장치(101)는 제1 지정된 카테고리로 분류된, 악보(1222)를 표현한 제2 시각적 객체(1232)를, 가상 공간(1220) 내에 배치할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 가상 공간(1220)에 대한 정보를, 네트워크를 통해 웨어러블 장치(101)에 연결된 외부 전자 장치(예, 서버)와 교환하여, 웨어러블 장치(101)의 사용자(110)와 상이한 다른 사용자에 매칭된 아바타(1240)를, 가상 공간(1220) 내에 추가할 수 있다. 아바타(1240)를 시각화하기 위한 정보는, 상기 외부 전자 장치로부터 웨어러블 장치(101)로 송신될 수 있다. 웨어러블 장치(101)는 상기 외부 전자 장치로부터, 아바타(1240)의 모션을 조절하기 위한 정보를 수신하는 것에 기반하여, 가상 공간(1220) 내에 포함된 아바타(1240)를 변경할 수 있다. 유사하게, 웨어러블 장치(101)는 가상 공간(1220) 내에서, 웨어러블 장치(101)의 사용자(110)에 매칭된 아바타를 추가할 수 있다. 웨어러블 장치(101)는 사용자(110)에 매칭된 아바타를 시각화하기 위한 정보를, 상기 외부 전자 장치로 송신할 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)에 의해 인식된 사용자(110)의 모션에 기반하여, 상기 아바타를 변경하기 위한 정보를, 상기 외부 전자 장치로 송신할 수 있다.
도 12b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 상태(1203) 내에서 사용자(110)의 FoV 내에 표시하는 화면의 일 예가 도시된다. 웨어러블 장치(101)는 위치(O') 및 방향(D2')에 의해 가상 공간(1220) 내에서 형성된 뷰 앵글(view angle)에 기반하여, 상기 FoV 내에 가상 공간(1220)의 적어도 일부분에 대한 렌더링을 수행할 수 있다. 상기 렌더링에 기반하여, 웨어러블 장치(101)는 상기 FoV 내에, 피아노(1214)의 일부분(1210)을 표현한 제1 시각적 객체(1230) 및 악보(1222)를 표현한 제2 시각적 객체(1232)를 표시할 수 있다. 제1 시각적 객체(1230) 및 제2 시각적 객체(1232)와 함께, 웨어러블 장치(101)는 가상 공간(1220) 내에 추가된 가상 객체의 일 예로, 아바타(1240)를 표시할 수 있다. 도 12b를 참고하면, 웨어러블 장치(101)의 외부 공간 내 위치(O)에 대응하는 가상 공간(1220) 내 위치(O')로부터, 아바타(1240)가 제1 시각적 객체(1230) 보다 멀리 배치되므로, 웨어러블 장치(101)는 상기 FoV 내에서, 아바타(1240)를 제1 시각적 객체(1230) 건너편에 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 제1 시각적 객체(1230)의 양안 시차 보다 적은 양안 시차에 기반하여 아바타(1240)를 표시하여, 아바타(1240) 및 제1 시각적 객체(1230) 사이의 거리 감각을, 사용자(110)에게 제공할 수 있다. 웨어러블 장치(101)는 외부 공간에 포함된 프레임 내에서, 제1 시각적 객체(1230) 및 제2 시각적 객체(1232)를 제외한 다른 부분을 가상 공간(1220)으로 대체하여, 사용자(110)에게 VR에 기반하는 사용자 경험을 제공할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 사용자(110)에 의해 포커스된 제1 시각적 객체가 보여지는 FoV의 일부분과 구분되는 다른 부분에, 이미지(134)를 표시하거나, 또는 가상 공간(1220)의 적어도 일부분을 표시할 수 있다. 웨어러블 장치(101)는 이미지(134) 및/또는 가상 공간(1220)의 적어도 일부분에 기반하여, 제1 시각적 객체에 포커스된 사용자(110)의 주의를 방해하지 않으면서, MR 및/또는 VR에 기반하는 사용자 경험을, 사용자(110)에게 제공할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 제1 시각적 객체 및 다른 시각적 객체 사이의 관련성(예, 접촉 여부)에 기반하여, 복수의 외부 객체들을 분류하여, 상기 복수의 시각적 객체들 중에서, 사용자(110)에게 우선적으로 표시할 적어도 하나의 시각적 객체를 적응적으로 선택할 수 있다.
일 실시예에서, 웨어러블 장치(101)가 복수의 시각적 객체들을 분류한 제1 시점 이후, 상기 복수의 시각적 객체들과 상이한 다른 시각적 객체가, 프레임 내에 추가될 수 있다. 이하에서는, 도 13을 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 상기 다른 외부 객체를 식별하는 것에 기반하여 수행하는 동작의 일 예가 설명된다.
도 13은, 일 실시예에 따른, 웨어러블 장치(101)가, 사용자(110)에 의해 포커스된 특정 외부 객체와 상이한 외부 객체를 식별하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는 도 13의 웨어러블 장치(101)를 포함할 수 있다. 도 13을 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 13을 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 제1 시각적 객체(130-1)의 포커스를 지시하는 입력에 응답하여, 프레임 내에 포함된 복수의 시각적 객체들(예, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4) 각각에 대응하는 시각적 객체들)을, 복수의 지정된 카테고리들 중 어느 하나로 분류할 수 있다. 웨어러블 장치(101)는, 상기 입력에 기반하여 제1 지정된 카테고리로 분류된 제1 시각적 객체(130-1)를 사용자(110)에게 표시하면서, 제1 시각적 객체(130-1)와 구분되는 다른 시각적 객체 상에, 적어도 하나의 이미지(예, 이미지들(132, 134))를 중첩으로 표시할 수 있다. 예를 들어, 이미지(132)는, 제2 지정된 카테고리로 분류된 시각적 객체(예, 제2 외부 객체(120-2)에 대응하는 시각적 객체) 상에 중첩으로 표시될 수 있다. 예를 들어, 이미지(134)는, 제5 지정된 카테고리로 분류된 시각적 객체(예, 제4 외부 객체(120-4)가 보여지는 부분) 상에 중첩으로 표시될 수 있다.
도 13을 참고하면, 제1 외부 객체(120-1) 내지 제4 외부 객체(120-4) 각각에 대응하는 시각적 객체들이 분류된 이후, 웨어러블 장치(101)가 복수의 지정된 카테고리들 중 어느 하나로 분류되지 않은 시각적 객체(1320)를 식별한 예시적인 케이스가 도시된다. 예를 들어, 동물(예, 개)과 같은 외부 객체(1310)가, 웨어러블 장치(101)로 접근하는 경우, 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225)), 마이크(예, 도 2의 마이크(235)), 및/또는 센서(예, 도 2의 센서(230))를 이용하여 외부 객체(1310)가 캡쳐된 시각적 객체(1320)를 포함하는 프레임을 획득할 수 있다. 상기 프레임에 의해 식별된, 외부 객체(1310) 및/또는 시각적 객체(1320)의 모션에 기반하여, 웨어러블 장치(101)는 시각적 객체(1320)를, 사용자(110)의 FoV 내에 표시할지 여부를 결정할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(1320)에 대한 모션이 탐지된 횟수 및/또는 기간에 기반하여, 시각적 객체(1320)를 사용자(110)의 FoV 내에 표시할지 여부를 결정할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 객체(1310)로부터 발생된 소리의 세기가 지정된 임계 세기를 초과하는지 여부에 기반하여, 시각적 객체(1320)를 상기 FoV 내에 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는, 깊이 맵에 기반하여, 및/또는 웨어러블 장치(101) 및 외부 객체(1310) 사이의 거리가 지정된 거리 미만인지 여부에 기반하여, 시각적 객체(1320)를 상기 FoV 내에 표시할 수 있다.
도 13을 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 사용자(110)의 FoV 내에 외부 객체(1310)를 표현한 시각적 객체(1320)를 표시한 예시적인 상태(1301)가 도시된다. 상태(1301) 이전에, 웨어러블 장치(101)는 카메라로부터 획득된 프레임 내에서, 제1 외부 객체(120-1)를 표현한 제1 시각적 객체(130-1)가 배치된 일부분을 제외한 다른 부분을 변경하여, 시각적 객체(1320)를 제거하거나 또는 가릴 수 있다. 시각적 객체(1320)로부터 모션을 식별한 횟수가 지정된 횟수를 초과함을 식별하거나, 시각적 객체(1320)에 대응하는 외부 객체(1310)로부터 지정된 세기 이상의 소리를 수신하거나, 및/또는 지정된 거리 미만의 거리로 접근한 외부 객체(1310)를 식별하는 것에 기반하여, 웨어러블 장치(101)는 상태(1301)로 스위칭할 수 있다.
도 13의 상태(1301)로 스위칭한 웨어러블 장치(101)는, 프레임 내에서 외부 객체(1310)에 대응하는 시각적 객체(1320)를, FoV 내에 표시할 수 있다. 도 13을 참고하면, FoV 내에 시각적 객체(1320)를 표시하기 때문에, 웨어러블 장치(101)를 착용한 사용자(110)는 시각적 객체(1320)를 통해 외부 객체(1310)를 인식할 수 있다. 도 13의 상태(1301) 내에서, 웨어러블 장치(101)는 시각적 객체(1320)를, 표 1의 지정된 카테고리들 중에서, 제6 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 시각적 객체(1320)가 제6 지정된 카테고리로 분류된 기간에 기반하여, 시각적 객체(1310)가 분류된 카테고리를, 제6 지정된 카테고리와 상이한 다른 카테고리로 분류할 수 있다.
도 13을 참고하면, 제6 지정된 카테고리로 분류된 시각적 객체(1320)를 지정된 기간(예, 5 초 내지 10 초)을 초과하여 표시하는 것에 기반하여, 웨어러블 장치(101)는 상태(1301)로부터 상태(1302)로 스위칭할 수 있다. 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 시각적 객체(1320)의 포커스를 지시하는 입력에 기반하여, 상기 지정된 기간과 독립적으로, 시각적 객체(1320)의 카테고리를 변경할 수 있다. 상태(1302)내에서, 웨어러블 장치(101)는 시각적 객체(1320)의 카테고리를 변경할지 여부를 선택하기 위한 화면(1340)을 표시할 수 있다. 팝업 윈도우의 형태를 가지는 화면(1340) 내에서, 웨어러블 장치(101)는, 카테고리의 변경에 기반하여 시각적 객체(1320)의 표시를 유지할지 여부를 조절 및/또는 선택하기 위한 시각적 객체들(1342, 1344)을 표시할 수 있다. 웨어러블 장치(101)는 버튼의 형태를 가지고, 시각적 객체(1320)의 표시를 유지하는 것을 가이드하는 텍스트를 포함하는, 시각적 객체(1342)를 표시할 수 있다. 웨어러블 장치(101)는 버튼의 형태를 가지고, 시각적 객체(1320)의 표시를 중단하는 것을 가이드하는 텍스트를 포함하는, 시각적 객체(1344)를 표시할 수 있다.
도 13의 상태(1302) 내에서, 일 실시예에 따른, 웨어러블 장치(101)는 화면(1340) 내 시각적 객체들(1342, 1344) 중 어느 하나를 선택하는 제스쳐에 기반하여, 시각적 객체(1320)의 카테고리를 변경할 수 있다. 예를 들어, 시각적 객체(1344)를 선택하는 제스쳐에 기반하여, 웨어러블 장치(101)는 시각적 객체(1320)의 카테고리를, 상기 제6 지정된 카테고리로부터, 제3 지정된 카테고리로 변경할 수 있다. 시각적 객체(1320)의 카테고리를, 상기 제3 지정된 카테고리로 변경하는 것에 기반하여, 웨어러블 장치(101)는 FoV 내에서 시각적 객체(1320)의 표시를 중단할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라로부터 출력된 프레임 내에서, 시각적 객체(1320)를 제거하거나, 또는 시각적 객체(1320) 상에 다른 시각적 객체(예, 이미지들(132, 134))를 합성할 수 있다.
예를 들어, 시각적 객체(1342)를 선택하는 제스쳐에 기반하여, 웨어러블 장치(101)는 시각적 객체(1320)의 카테고리를, 상기 제6 지정된 카테고리로부터, 제1 지정된 카테고리 또는 제4 지정된 카테고리로 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는, 시각적 객체(1320)의 카테고리를, 상기 제1 지정된 카테고리로 변경하는 것에 기반하여, FoV 내에서 시각적 객체(1320)를 표시하는 것을 유지할 수 있다. 예를 들어, 웨어러블 장치(101)는 시각적 객체(1320)의 카테고리를, 상기 제4 지정된 카테고리로 변경하는 것에 기반하여, 시각적 객체(1320)에 매칭된 외부 객체(1310)와 관련된 모션에 기반하여, 시각적 객체(1320)를 조건부로 표시할 수 있다. 상기 예시 내에서, 외부 객체(1310)로부터 지정된 임계 세기를 초과하는 세기의 소리가 발생되거나, 또는 외부 객체(1310)가 제1 시각적 객체(130-1)와 관련된 제1 외부 객체(120-1)에 대한 사용자(110)의 집중을 방해하는 경우, 웨어러블 장치(101)는 시각적 객체(1320)를 표시하는 것을 재개할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 사용자(110)의 FoV 내에 추가된 시각적 객체(1320)를 식별하는 것에 기반하여, 상기 시각적 객체(1320)를, 제6 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는, 시각적 객체(1320)가 상기 FoV 내에서 표시된 기간에 기반하여, 시각적 객체(1320)의 카테고리를 변경하기 위한 화면(1340)을 표시할 수 있다. 화면(1340)과 관련된 입력에 기반하여, 웨어러블 장치(101)는 시각적 객체(1320)의 카테고리를 변경할 수 있다. 변경된 카테고리에 기반하여, 웨어러블 장치(101)는 FoV 내에 시각적 객체(1320)를 표시할지 여부를 변경할 수 있다.
이하에서는, 도 14를 참고하여, 도 13을 참고하여 설명된, 웨어러블 장치(101)의 동작이 흐름도에 기반하여 설명된다.
도 14는, 일 실시예에 따른, 웨어러블 장치에 대한 흐름도의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 14를 위해 활용되는 웨어러블 장치를 포함할 수 있다. 도 14를 참고하여 설명되는 웨어러블 장치의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 14를 참고하면, 동작(1410) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 지정된 카테고리 내지 제5 지정된 카테고리 중에서 분류된, 복수의 제1 시각적 객체들의 카테고리에 기반하여, 프레임의 적어도 일부분을 변경할 수 있다. 상기 제1 지정된 카테고리 내지 상기 제5 지정된 카테고리는, 표 1에 열거된 제1 지정된 카테고리 내지 제5 지정된 카테고리 각각에 매칭될 수 있다. 웨어러블 장치는 도 6a 내지 도 6b 및/또는 도 7 내지 도 8을 참고하여 상술된 동작에 기반하여, 프레임 내 복수의 제1 시각적 객체들 각각을 분류할 수 있다. 웨어러블 장치(101)는, 복수의 제1 시각적 객체들 각각의 카테고리에 기반하여, 프레임 내에서 복수의 제1 시각적 객체들의 시인성을 개별적으로 변경할 수 있다. 예를 들어, 웨어러블 장치는 사용자에 의해 포커스된 제1 시각적 객체를 프레임 내에서 유지하면서, 상기 제1 시각적 객체와 상이한 다른 시각적 객체를, 상기 제1 시각적 객체와 접촉되는지 여부 및/또는 상기 제1 시각적 객체의 타입에 기반하여, 가리거나 또는 제거할 수 있다.
도 14를 참고하면, 동작(1420) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 제1 시각적 객체들과 구분되는 제2 시각적 객체가 식별되었는지 여부를 판단할 수 있다. 웨어러블 장치는 도 13을 참고하여 상술된 동작에 기반하여, 제1 시각적 객체들에 대응하는 외부 객체들과 구분되는 다른 외부 객체의 출현(예, 상기 다른 외부 객체의 접근)을 식별할 수 있다. 제2 시각적 객체를 식별하기 이전에(1420-아니오), 웨어러블 장치는 동작(1410)에 기반하여 제1 시각적 객체들의 카테고리들에 기반하여 프레임을 변경하는 것을 유지할 수 있다.
동작(1420)의 제2 시각적 객체를 식별한 상태 내에서(1420-예), 웨어러블 장치는 동작(1430)을 수행하여, 제2 시각적 객체와 관련된 모션에 기반하여, 제2 시각적 객체를, 제6 지정된 카테고리로 분류할 수 있다. 웨어러블 장치는, 도 2의 카메라(225), 센서(230) 및/또는 마이크(235)를 이용하여, 상기 제2 시각적 객체에 대응하는 외부 객체에 대한 정보를 식별할 수 있다. 예를 들어, 제2 시각적 객체에 대응하는 외부 객체가, 웨어러블 장치로부터 지정된 거리 미만의 거리로 접근하는 경우, 웨어러블 장치는 제2 시각적 객체를, 제6 지정된 카테고리로 분류할 수 있다. 예를 들어, 제2 시각적 객체에 대응하는 외부 객체로부터, 지정된 세기를 초과하는 소리를 식별하는 경우, 웨어러블 장치는 제2 시각적 객체를, 제6 지정된 카테고리로 분류할 수 있다. 제2 시각적 객체를 제6 지정된 카테고리로 분류하는 것에 기반하여, 웨어러블 장치는 프레임 내에서 제2 시각적 객체를 표시할 수 있다.
도 14를 참고하면, 동작(1440) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제2시각적 객체가 표시된 기간 및/또는 제2 시각적 객체의 포커스를 지시하는 입력에 기반하여, 제2 시각적 객체의 카테고리를 변경할 수 있다. 예를 들어, 웨어러블 장치는, 제2 시각적 객체가 지정된 기간을 초과하여 표시되거나, 또는 웨어러블 장치를 착용한 사용자의 신체 부위(예, 머리, 눈 및/또는 손)의 방향이 제2 시각적 객체를 향하는 경우, 동작(1440)을 수행할 수 있다. 웨어러블 장치는, 제2 시각적 객체의 카테고리의 변경을 확인하기 위한 시각적 객체를 표시할 수 있다. 예를 들어, 웨어러블 장치는 도 13의 화면(1340)을 이용하여 웨어러블 장치의 사용자(예, 도 1의 사용자(110))로부터, 제2 시각적 객체의 카테고리에 대한 정보를 획득할 수 있다. 웨어러블 장치는 상기 정보에 기반하여, 상기 웨어러블 장치의 카테고리를, 동작(1430)의 제6 지정된 카테고리로부터, 동작(1410)의 제1 지정된 카테고리 내지 제5 지정된 카테고리 중 어느 하나로 재분류할 수 있다.
도 14를 참고하면, 동작(1450) 내에서, 일 실시예에 따른, 웨어러블 장치는, 프레임 내에 포함된 제2 시각적 객체를, 동작(1440)에 기반하여 변경된 카테고리에 기반하여 변경할 수 있다. 웨어러블 장치는, 제2 시각적 객체가 제1 지정된 카테고리로 분류되는 것에 기반하여, 프레임 내에서 제2 시각적 객체를 표시하는 것을 유지할 수 있다. 웨어러블 장치는, 제2 시각적 객체가 제2 지정된 카테고리로 분류되는 것에 기반하여, 프레임 내에서 제2 시각적 객체를 표시하는 것을 유지하거나, 또는 제2 시각적 객체가 프레임 내에서 표시되는 일부분을 변경할 수 있다. 웨어러블 장치가 상기 일부분을 변경하는 것은, 사용자에 의해 포커스된 특정 시각적 객체를 강조하기 위한 이미지(예, 도 1의 이미지(132))로, 상기 프레임 내 상기 일부분을 교체하는 동작을 포함할 수 있다. 웨어러블 장치는 제2 시각적 객체가 제3 지정된 카테고리로 분류되는 것에 기반하여, 제2 시각적 객체가 프레임 내에서 표시되는 일부분을, 다른 이미지로 가리거나, 또는 제거할 수 있다. 웨어러블 장치는 제2 시각적 객체가 제4 지정된 카테고리로 분류되는 것에 기반하여, 프레임 내에서 제2 시각적 객체를 표시하기 위한 이벤트를 식별할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 VST에 기반하는 사용자 경험을 제공하는 상태 내에서, 카메라로부터 획득된 프레임을 적어도 부분적으로 변경하여 표시할 수 있다. 웨어러블 장치는 프레임 내에서, 사용자에 의해 포커스된 특정 시각적 객체를 강조하기 위하여, 상기 특정 시각적 객체와 상이한 다른 시각적 객체를 가리거나, 또는 제거할 수 있다. 웨어러블 장치는, 시각적 객체들 각각의 타입 및/또는 카테고리에 기반하여, 프레임 내에서 시각적 객체들 각각의 시인성을 개별적으로 변경할 수 있다. 웨어러블 장치는, 프레임 내에서 새롭게 추가된 시각적 객체를, 표 1의 제1 지정된 카테고리 내지 제5 지정된 카테고리 중 어느 하나로 분류할 수 있다.
이하에서는, 도 15a, 도 15b, 및 도 15c를 참고하여, 일 실시예에 따른, 웨어러블 장치가 예시적인 환경들 내에서, AR, MR 및/또는 VST에 기반하는 사용자 경험을 제공하는 일 실시예가 설명된다.
도 15a, 도 15b, 및 도 15c는, 일 실시예에 따른, 웨어러블 장치(101)가 사용자(110)에 의해 포커스된 시각적 객체에 기반하여 수행하는 동작의 일 예를 도시한다. 도 1 내지 도 2의 웨어러블 장치(101)는, 도 15a, 도 15b, 및 도 15c의 웨어러블 장치(101)를 포함할 수 있다. 도 15a, 도 15b, 및 도 15c를 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 2의 웨어러블 장치(101) 및/또는 프로세서(210)에 의해 수행될 수 있다.
도 15a, 도 15b, 및 도 15c를 참고하면, 사용자(110)에 의해 착용된 웨어러블 장치(101)가 하나 이상의 외부 공간들에 대한 프레임을, 상기 사용자(110)에게 표시하는 예시적인 상태들(1501, 1502, 1503)이 도시된다. 상태(1501) 내에서, 웨어러블 장치(101)는 주방을 포함하는 외부 공간 내에서, 사용자(110)에게 상기 주방의 적어도 일부분이 캡쳐된 프레임을 표시하는 것으로 가정한다. 상태들(1502, 1503) 내에서, 웨어러블 장치(101)는 TV(1552) 및 책장(1553)을 포함하는 외부 공간 내에서, 사용자(110)에게 상기 외부 공간의 적어도 일부분이 캡쳐된 프레임을 표시하는 것으로 가정한다. 도 15a, 도 15b, 및 도 15c의 일 실시예에서, 웨어러블 장치(101)는 도 1 내지 도 14를 참고하여 상술된 동작에 기반하여, 외부 공간이 캡쳐된 프레임의 적어도 일부분을 변경하고, 상기 적어도 일부분이 변경된 상기 프레임을, 사용자(110)에게 표시할 수 있다.
도 15a의 상태(1501) 내에서, 일 실시예에 따른, 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(225))를 이용하여, 복수의 외부 객체들(1511, 1512, 1513, 1514, 1515)이 포함된 외부 공간에 대한 프레임을 획득할 수 있다. 프레임 내에서, 웨어러블 장치(101)는 복수의 외부 객체들(1511, 1512, 1513, 1514, 1515) 각각에 대응하는 시각적 객체들을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 프레임 내 제1 시각적 객체(1521)에 기반하여, 프라이 팬인 외부 객체(1511)를 식별할 수 있다. 유사하게, 웨어러블 장치(101)는 프레임 내 상이한 시각적 객체들에 기반하여, 가스 레인지(gas stove)인 외부 객체(1512), 주방 테이블인 외부 객체(1513), 물 병인 외부 객체(1514) 및/또는 국자인 외부 객체(1515)를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 제1 시각적 객체(1521)의 또는 상의 포커스를 지시하는 입력을 식별할 수 있다. 상기 입력은, 웨어러블 장치(101)를 착용한 사용자(110)의 모션(예, 제1 시각적 객체(1521)를 쥔 손의 자세) 및/또는 사용자(110)의 지정된 신체 부위(예, 사용자(110)의 눈 및/또는 머리)의 방향과 관련될 수 있다. 제1 시각적 객체(1521) 상의 포커스를 지시하는 입력에 응답하여, 웨어러블 장치(101)는 제1 시각적 객체(1521)를, 제1 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는 프레임 내에서 제1 시각적 객체(1521)와 구분되는 다른 시각적 객체를, 제1 시각적 객체(1521)의 타입 및/또는 제1 시각적 객체(1521)에 대한 위치 관계에 기반하여, 분류할 수 있다.
도 15a의 상태(1501) 내에서, 일 실시예에 따른, 웨어러블 장치(101)는, 사용자(110)의 두 눈들 앞에 형성된 표시 영역 내에서, 복수의 시각적 객체들 각각의 카테고리(예, 표 1의 지정된 카테고리들 중 어느 하나)에 의해 변경된 프레임을 표시할 수 있다. 웨어러블 장치(101)가 카메라로부터 복수의 프레임들을 순차적으로 획득하는 상태 내에서, 웨어러블 장치(101)는 상기 복수의 프레임들 각각을, 프레임에 포함된 복수의 시각적 객체들의 카테고리에 기반하여, 변경할 수 있다. 웨어러블 장치(101)는 변경된 프레임들을, 표시 영역 내에 순차적으로 표시하여, 사용자(110)가 변경된 프레임들에 의해 표현된, MR 및/또는 VST 사용자 경험을 인식하게 만들 수 있다.
도 15a의 상태(1501) 내에서, 웨어러블 장치(101)는 프레임 내에서, 제1 지정된 카테고리로 분류된 제1 시각적 객체(1521)를 표시하는 것을 유지할 수 있다. 웨어러블 장치(101)는, 제1 시각적 객체(1521)가 프레임 내에서 표시된 일부분과 상이한 다른 부분을 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제1 시각적 객체(1521)와 연계되기 때문에, 제2 지정된 카테고리로 분류된 제2 시각적 객체(1522)를, 도 9를 참고하여 설명된 동작에 기반하여 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는 상태의 변경(예, 넘어짐)에 의해, 제1 시각적 객체(1521)에 대한 사용자(110)의 주의를 변경할 수 있는 외부 객체(1514)에 대응하는, 제3 시각적 객체(1530)를, 상기 상태가 변경될 가능성에 기반하여 조건부 표시할 수 있다. 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 제1 시각적 객체(1521)의 타입(예, 프라이 팬)에 기반하여, 상기 타입과 연계된 타입을 가지는 다른 시각적 객체(예, 외부 객체(1515)를 표현한 시각적 객체)를 표시 영역 내에 표시할 수 있다.
일 실시예에서, 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 시각적 객체의 변경에 기반하여, 프레임 내에 포함된 복수의 시각적 객체들을 상이한 카테고리들로 분류할 수 있다. 도 15b 내지 도 15c의 상태들 (1502, 1503)을 참고하면, 웨어러블 장치(101)를 착용한 사용자(110)가, TV인 외부 객체(1552), 또는 책장인 외부 객체(1553) 각각을 응시하는 예시적인 케이스들이 도시된다. 도 15b의 상태(1502) 내에서, 웨어러블 장치(101)는, TV인 외부 객체(1552)를 향하는 사용자(110)의 시선의 방향(D3)을 식별할 수 있다. 웨어러블 장치(101)는 프레임 내에서, 외부 객체(1552)에 대응하는 제1 시각적 객체(1561)와 중첩되는 시선의 방향(D3)을 식별할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 상기 방향(D3)에 기반하여, 제1 지정된 카테고리로 제1 시각적 객체 (1561)를 분류할 수 있다. 도 15b의 예시적인 상태(1502) 내에서, 웨어러블 장치(101)는 제1 시각적 객체(1561)의 타입(예, TV)에 기반하여, 상기 타입과 연계된 다른 시각적 객체를 분류할 수 있다. 예를 들어, 표시 영역 내에, 의자인 외부 객체(1551)를 표현한 시각적 객체가 포함되는 경우, 웨어러블 장치(101)는 상기 시각적 객체를, 제2 지정된 카테고리로 분류할 수 있다.
웨어러블 장치(101)는, 사용자(110)에게, 제1 시각적 객체(1561)를 표시하는 것을 유지하면서, 제1 시각적 객체(1561)와 상이한 다른 시각적 객체(예, 책장인 외부 객체(1553)를 표현한 시각적 객체)를 표시하는 것을 중단할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자(110)에게 표시되는 프레임 내에서, 제1 시각적 객체 (1561)가 표시되는 일부분과 상이한 다른 부분에 표시되는 이미지(1562)를 이용하여, 제1 시각적 객체(1561)와 구분되는 다른 시각적 객체를 가리거나, 또는 프레임 내에서 제거할 수 있다.
도 15c를 참고하면, 상태(1503) 내에서, 웨어러블 장치(101)는 TV인 외부 객체(1552) 또는 책장인 외부 객체(1553) 중에서, 외부 객체(1553)를 표현한 제2 시각적 객체(1571)와 중첩된 시선의 방향(D4)을 식별할 수 있다. 웨어러블 장치(101)는 상기 방향(D4)에 기반하여, 제2 시각적 객체(1571)를, 제1 지정된 카테고리로 분류할 수 있다. 웨어러블 장치(101)는 표시 영역 내에 포함된 프레임 내에서, 제1 지정된 카테고리로 분류된 제2 시각적 객체(1571)와 상이한 시각적 객체(예, 도 15b의 제1 시각적 객체(1561))를, 상기 시각적 객체의 분류에 기반하여, 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는, 제2 시각적 객체(1571)와 상이한 다른 시각적 객체 상에 중첩되는 위치 및/또는 형태를 가지는 이미지(1572)를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 프레임 내에 표시된 복수의 시각적 객체들(예, 복수의 외부 객체들 각각이 캡쳐된 상기 프레임의 일부분)을, 사용자(110)의 포커스에 기반하여 분류할 수 있다. 웨어러블 장치(101)는 사용자(110)의 상기 포커스에 기반하여 상기 복수의 시각적 객체들을 분류한 결과에 기반하여, 프레임의 적어도 일부분을 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는 사용자(110)에 의해 포커스된 특정 시각적 객체와 구분되는 다른 시각적 객체를 가리거나, 또는 제거할 수 있다. 웨어러블 장치(101)는 상기 특정 시각적 객체와 구분되고, 상기 특정 시각적 객체에 대한 사용자(110)의 포커스를 중단할 가능성이 있는, 다른 시각적 객체를, 상기 다른 시각적 객체와 관련된 이벤트에 기반하여, 조건부로 표시할 수 있다.
도 1 내지 도 14, 도 15a, 도 15b, 및 도 15c를 참고하여 상술된, 웨어러블 장치(101)의 동작은, 네트워크를 통해 제공되는 메타버스 서비스와 관련될 수 있다. 이하에서는, 도 16을 참고하여, 일 실시예에 따른, 웨어러블 장치(101)에 기반하여 사용자에게 제공되는 메타버스 서비스의 일 예가 설명된다.
메타버스(Metaverse)는 '가상', '초월'을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회·경제·문화 활동이 이뤄지는 3차원의 가상세계를 가리킨다. 메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 사회·문화적 활동을 할 수 있다는 특징이 있다. 메타버스 서비스는, 증강 현실(augmented reality, AR), 가상 현실(virtual reality environment, VR), 혼합 현실(mixed environment, MR) 및/또는 확장 현실(extended reality, XR)에 기반하여, 상기 가상 세계에 대한 몰입을 강화하기 위한 미디어 콘텐트를 제공할 수 있다.
예를 들어, 메타버스 서비스에 의해 제공되는 미디어 콘텐트는, 아바타에 기반하는 게임, 콘서트, 파티 및/또는 회의를 포함하는 소셜 인터랙션(social interaction) 콘텐트를 포함할 수 있다. 예를 들어, 상기 미디어 콘텐트는, 광고, 사용자 제작 콘텐트(user created content) 및/또는 제작물의 판매 및/또는 쇼핑과 같은 경제 활동을 위한 정보를 포함할 수 있다. 상기 사용자 제작 콘텐트의 소유권은 블록체인 기반의 NFT(non-fungible token)에 의하여 증명될 수도 있다. 메타버스 서비스는, 실물 화폐 및/또는 암호 화폐에 기반하는 경제 활동을 지원할 수 있다. 메타버스 서비스에 의하여, 디지털 트윈(digital twin) 또는 라이프 로깅(life logging)과 같이, 현실 세계와 연계된 가상 콘텐트가 제공될 수 있다.
도 16은, 서버(1610)를 통해 메타버스 서비스를 제공받는 네트워크 환경(1601)에 대한 예시도이다.
도 16을 보면, 네트워크 환경(1601)은, 서버(1610), 사용자 단말(1620)(예, 제1 단말(1620-1) 및 제2 단말(1620-2)), 및 서버(1610) 와 사용자 단말(1620)을 연결하는 네트워크를 포함할 수 있다. 네트워크 환경(1601) 내에서, 서버(1610)는 사용자 단말(1620)로 메타버스 서비스를 제공할 수 있다. 네트워크는, AP(access point), 및/또는 기지국을 포함하는 적어도 하나의 중간 노드(1630)에 의해 형성될 수 있다. 사용자 단말(1620)은, 네트워크를 통해 서버(1620)로 접속하여, 사용자 단말(1620)의 사용자에게 메타버스 서비스와 관련된 UI(user interface)를 출력할 수 있다. 상기 UI에 기반하여, 사용자 단말(1620)은 사용자로부터 메타버스 서비스로 입력될 정보를 획득하거나, 또는 사용자에게 메타버스 서비스와 관련된 정보(예, 멀티미디어 콘텐트)를 출력할 수 있다.
이때, 서버(1610)는 가상 공간을 제공하여 사용자 단말(1620)이 가상 공간에서 활동을 할 수 있도록 한다. 또한, 사용자 단말(1620)은 서버(1610)가 제공하는 가상 공간에 접속하기 위한 S/W 에이전트를 설치하여 서버(1610)가 사용자에게 제공하는 정보를 표현하거나, 사용자가 가상 공간에서 표현하고자 하는 정보를 서버로 전송한다. 상기 S/W 에이전트는 서버(1610)를 통해서 직접 제공받거나, 공용 서버로부터 다운로드받거나, 단말 구매시에 임베딩되어 제공될 수 있다.
일 실시예에서, 메타버스 서비스는, 서버(1610)를 이용하여 사용자 단말(1620) 및/또는 사용자에게 서비스가 제공될 수 있다. 실시예가 이에 제한되는 것은 아니며, 메타버스 서비스는 사용자들 사이의 개별적인 접촉을 통해 제공될 수 있다. 예를 들어, 네트워크 환경(1601) 내에서, 메타버스 서비스는 서버(1610)와 독립적으로, 제1 단말(1620-1) 및 제2 단말(1620-2) 사이의 직접적인 연결에 의해 제공될 수 있다. 도 16을 참고하면, 네트워크 환경(1601) 내에서, 제1 단말(1620-1) 및 제2 단말(1620-2)은 적어도 하나의 중간 노드(1630)에 의해 형성된 네트워크를 통해 서로 연결될 수 있다. 제1 단말(1620-1) 및 제2 단말(1620-2)이 직접적으로 연결된 일 실시예에서, 제1 단말(1620-1) 및 제2 단말(1620-2) 중 어느 한 사용자 단말이, 서버(1610)의 역할을 수행할 수 있다. 예를 들어, 디바이스와 디바이스의 연결(예, P2P(peer-to-peer) 연결)만으로 메타버스 환경이 구성될 수 있다.
일 실시예에서, 사용자 단말(1620)(혹은 제 1 단말(1620-1), 제 2 단말(1620-2)을 포함하는 사용자 단말(1620))은 다양한 폼팩터로 만들어질 수 있으며, 사용자에게 영상 또는/및 소리를 제공하는 출력 장치와 메타버스 서비스에 정보를 입력하기 위한 입력 장치를 포함하는 것을 특징으로 한다. 사용자 단말(1620)의 다양한 폼팩터를 예시하면, 스마트폰(예, 제2 단말(1620-2)), AR 기기(예, 제1 단말(1620-1)), VR 기기, MR 기기, VST(Video See Through) 기기, OST(Optical See Through) 장치, 스마트 렌즈, 스마트 미러, 입출력 가능한 TV 또는 프로젝터를 포함할 수 있다.
네트워크(예, 적어도 하나의 중간 노드(1630)에 의해 형성된 네트워크)는 3G, 4G, 5G를 포함하는 다양한 광대역 네트워크와 Wifi, BT를 포함하는 근거리 네트워크(예, 제1 단말(1620-1), 및 제2 단말(1620-2)을 직접적으로 연결하는 유선 네트워크 또는 무선 네트워크)를 다 포함한다.
일 실시예에서, 도 16의 사용자 단말(1620)은, 도 1 내지 도 14, 도 15a, 도 15b, 및 도 15c의 웨어러블 장치(101)를 포함할 수 있다.
일 실시예에서, 웨어러블 장치를 착용한 사용자의 포커스에 기반하여, 상기 사용자에게 표시되는 복수의 시각적 객체들 각각을 적응적으로 표시하는 방안이 요구될 수 있다. 상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치는, 카메라, 디스플레이, 프로세서 및 인스트럭션들을 포함하는 메모리를 포함할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가 상기 디스플레이를 통하여, 상기 카메라에 의해 획득된 제1 이미지 프레임을 표시하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 제1 이미지 프레임 내 복수의 시각적 객체들 중에서 제1 시각적 객체를 식별하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 카메라로부터 획득된 상기 제1 이미지 프레임 내 상기 복수의 시각적 객체들 중 제1 시각적 객체를 식별하는 것에 기반하여, 상기 제1 시각적 객체와 관련된 제2 시각적 객체를 식별하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 제2 시각적 객체가 식별된 이후, 상기 카메라를 통하여 제2 이미지 프레임을 획득하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 상기 복수의 시각적 객체들 중 적어도 하나의 다른 시각적 객체가 제거되도록, 상기 제2 이미지 프레임의 적어도 일부분을 변경하도록 야기할 수 있다. 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 시에, 상기 변경된 일부분을 포함하는 상기 제2 이미지 프레임을, 상기 디스플레이를 통하여 표시하도록 야기할 수 있다.
예를 들어, 상기 디스플레이는, 사용자에 의해 착용된 동안, 상기 사용자의 좌측 눈(left eye)에 대응하는 위치를 가지는 제1 디스플레이를 포함할 수 있다. 상기 디스플레이는, 상기 사용자에 의해 착용된 동안, 상기 사용자의 우측 눈(right eye)에 대응하는 위치를 가지는 제2 디스플레이를 포함할 수 있다.
예를 들어, 상기 프로세서는, 눈 추적(eye tracking)에 기반하여 상기 사용자에 의해 포커스된 것으로 결정된, 상기 제1 디스플레이 또는 상기 제2 디스플레이의 일부분에 위치된, 상기 제1 시각적 객체를 식별하도록 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 이미지 프레임 내에서, 상기 복수의 시각적 객체들 각각이 상기 제1 시각적 객체와 중첩되었는지 여부에 기반하여, 상기 제2 시각적 객체를 식별하도록 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 복수의 시각적 객체들 각각이 분류된 카테고리들에 기반하여, 상기 제2 시각적 객체를 식별하도록 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이를 통하여, 상기 웨어러블 장치의 카메라에 의해 획득된 제1 이미지 프레임을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 프레임 내 복수의 시각적 객체들 중에서 제1 시각적 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 카메라로부터 획득된 제1 이미지 프레임 내 상기 복수의 시각적 객체들 중 제1 시각적 객체를 식별하는 것에 기반하여, 상기 제1 시각적 객체와 관련된 제2 시각적 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 시각적 객체가 식별된 이후, 상기 카메라를 통하여 제2 이미지 프레임을 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 복수의 시각적 객체들 중 적어도 하나의 다른 시각적 객체가 제거되도록, 상기 제2 이미지 프레임의 적어도 일부분을 변경하는 동작을 포함할 수 있다. 상기 방법은, 상기 변경된 일부분을 포함하는 상기 제2 이미지 프레임을, 상기 디스플레이를 통하여 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 디스플레이는, 사용자에 의해 착용된 동안, 상기 사용자의 좌측 눈(left eye)에 대응하는 위치를 가지는 제1 디스플레이를 포함할 수 있다. 상기 디스플레이는, 상기 사용자에 의해 착용된 동안, 상기 사용자의 우측 눈(right eye)에 대응하는 위치를 가지는 제2 디스플레이를 포함할 수 있다.
예를 들어, 상기 제1 시각적 객체를 식별하는 동작은, 눈 추적에 기반하여 상기 사용자에 의해 포커스된 것으로 결정된, 상기 제1 디스플레이 또는 상기 제2 디스플레이의 일부분에 위치된, 상기 제1 시각적 객체를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 식별하는 동작은, 상기 제1 이미지 프레임 내에서, 상기 복수의 시각적 객체들 각각이 상기 제1 시각적 객체와 중첩되었는지 여부에 기반하여, 상기 제2 시각적 객체를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 시각적 객체를 식별하는 동작은, 상기 복수의 시각적 객체들 각각이 분류된 카테고리들에 기반하여, 상기 제2 시각적 객체를 식별하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)(예, 도 2의 웨어러블 장치(101))는, 카메라(예, 도 2의 카메라(225)), 디스플레이(예, 도 2의 디스플레이(220)) 및 프로세서(예, 도 2의 프로세서(210))를 포함할 수 있다. 상기 프로세서는, 카메라로부터 획득된 프레임 내 복수의 시각적 객체들 중에서, 제1 시각적 객체(예, 도 1의 제1 시각적 객체(130-1))의 포커스를 지시하는 입력에 기반하여, 상기 제1 시각적 객체와 연계된 제2 시각적 객체를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 다른 시각적 객체들이 포함된 프레임의 일부분을 변경하도록, 구성될 수 있다. 상기 프로세서는, 상기 변경된 일부분을 포함하는 상기 프레임을, 상기 디스플레이 내에 표시하도록, 구성될 수 있다. 일 실시예에 따른, 웨어러블 장치는, 프레임 내 제1 시각적 객체에 대한 사용자의 포커스에 기반하여, 프레임을 변경하여, 상기 제1 시각적 객체에 대한 상기 포커스를 유지할 수 있다.
예를 들어, 상기 프로세서는, 상기 입력 또는 복수의 시각적 객체들의 타입들 중 적어도 하나에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건(displaying condition)에 의해 구분되는 지정된 카테고리들 중 어느 하나로 분류하도록, 구성될 수 있다.
예를 들어, 상기 웨어러블 장치는, 마이크를 더 포함할 수 있다. 상기 프로세서는, 상기 변경된 일부분이 포함된 상기 프레임을 표시하는 상태 내에서, 상기 마이크를 이용하여, 상기 복수의 외부 객체들 중에서, 지정된 임계 세기를 초과하는 세기를 가지는 소리를 생성하는 외부 객체를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 제3 외부 객체를 식별하는 것에 기반하여, 상기 제3 외부 객체에 대응하는 제3 시각적 객체를, 상기 디스플레이 내에 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 시각적 객체의 타입에 기반하여 상기 지정된 임계 세기를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 제1 외부 객체에 대응하는 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 구분되는 다른 시각적 객체들 중에서, 상태의 변화에 기반하여 상기 웨어러블 장치를 착용한 사용자 및 상기 제1 외부 객체 사이의 상호작용(interaction)을 중단시킬 수 있는 외부 객체에 대응하는 타입을 가지는 제3 시각적 객체를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 프레임 내에서, 상기 제3 시각적 객체와 관련된 이벤트에 기반하여, 상기 제3 시각적 객체와 연계된 제4 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 프레임을 이용하여, 상기 제3 시각적 객체에 대응하는 외부 객체 및 신체 부위 사이의 거리가 지정된 거리 미만으로 줄어드는지 여부를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 지정된 거리 미만으로 줄어든 상기 거리를 식별하는 것에 기반하여, 상기 제3 시각적 객체의 상기 상태의 변화를 가이드하기 위한 메시지를, 상기 디스플레이 내에 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 변경된 일부분이 포함된 상기 프레임을 표시하는 상태 내에서, 상기 복수의 시각적 객체들과 구분되는 제3 시각적 객체를 식별하는 것에 기반하여, 상기 디스플레이 내에 상기 제3 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제3 시각적 객체가 표시된 기간(duration)에 기반하여, 상기 디스플레이 내에 상기 제3 시각적 객체를 표시하는 것을 유지할지 여부를 선택하기 위한 제4 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 디스플레이 내에서, 상기 제2 시각적 객체 상에, 상기 제2 시각적 객체의 형태를 가진 텍스쳐 이미지를 중첩으로 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 프레임에 상기 일부분 보다 넓은 이미지를 결합하여, 상기 프레임의 상기 일부분을 변경하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 다른 시각적 객체들에 매칭된 상기 일부분을 변경하여, 상기 디스플레이 내에서 제1 외부 객체를 표현한 상기 제1 시각적 객체를 유지하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 카메라를 이용하여, 상기 웨어러블 장치를 착용한 사용자의 FoV(field-of-view) 내에 포함된 복수의 시각적 객체들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 복수의 시각적 객체들 사이의 위치 관계, 및 상기 사용자에 의해 포커스된 제1 시각적 객체에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건에 의해 구분되는 복수의 지정된 카테고리들로 분류하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 디스플레이를 이용하여, 상기 제1 시각적 객체가 분류된 제1 지정된 카테고리와 구분되는, 제2 지정된 카테고리로 분류된 제2 시각적 객체를 가리는(occluding) 제3 시각적 객체를, 상기 FoV 내에 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 시각적 객체의 표시를, 상기 제2 시각적 객체가 분류된 상기 제2 지정된 카테고리에 대응하는 표시 조건에 기반하여 조절하는 동작을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 위치 관계에 기반하여 상기 제1 시각적 객체와 접촉된 것으로 나타나는 상기 제2 시각적 객체에 대하여, 상기 FoV를 통해 보여지는 상기 제2 시각적 객체의 형태를 가지는 상기 제3 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 분류하는 동작은, 상기 제2 시각적 객체의 타입에 기반하여, 상태의 변화에 기반하여 상기 제1 시각적 객체 및 상기 사용자 사이의 상호작용을 중단시킬 수 있는 시각적 객체에 대응하는 상기 제2 지정된 카테고리로 상기 제2 시각적 객체를 분류할지 여부를 결정하는 동작을 포함할 수 있다.
예를 들어, 상기 조절하는 동작은, 상기 제2 지정된 카테고리로 분류된 상기 제2 시각적 객체를 가리는 상기 시각적 객체의 표시를, 상기 제2 시각적 객체로 향하는 상기 사용자의 모션을 식별하는 것에 기반하여 적어도 일시적으로 중단하는 동작(ceasing at least temporary)을 포함할 수 있다.
예를 들어, 상기 분류하는 동작은, 소리에 기반하는 알림을 발생시킬 수 있는 외부 객체에 대응하는, 상기 제2 시각적 객체를, 소리의 세기와 관련된 상기 표시 조건을 가지는 상기 제2 지정된 카테고리로 분류하는 동작을 포함할 수 있다.
예를 들어, 상기 조절하는 동작은, 상기 웨어러블 장치의 마이크를 이용하여, 지정된 임계 세기를 초과하는 소리가 상기 외부 객체로부터 발생됨을 식별하는 것에 기반하여, 상기 제3 시각적 객체의 표시를 적어도 일시적으로 중단하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 카메라로부터 획득된 프레임 내 복수의 시각적 객체들 중에서, 제1 시각적 객체의 포커스를 지시하는 입력에 기반하여, 상기 제1 시각적 객체와 연계된 제2 시각적 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 다른 시각적 객체들이 포함된 상기 프레임의 일부분을 변경하는 동작을 포함할 수 있다. 상기 방법은, 상기 변경된 일부분이 포함된 상기 프레임을, 상기 웨어러블 장치의 디스플레이 내에 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 입력 또는 상기 복수의 시각적 객체들 각각의 타입들 중 적어도 하나에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건에 의해 구분되는 지정된 카테고리들 중 어느 하나로 분류하는 동작을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 변경된 일부분이 포함된 상기 프레임을 표시하는 상태 내에서, 상기 웨어러블 장치의 마이크를 이용하여, 지정된 임계 세기를 초과하는 세기를 가지는 소리를 생성하는 외부 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체에 대응하는 제3 시각적 객체를, 상기 디스플레이 내에 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제3 외부 객체를 식별하는 동작은, 상기 제1 시각적 객체의 타입에 기반하여 상기 지정된 임계 세기를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 변경하는 동작은, 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 구분되는 다른 시각적 객체들 중에서, 상태의 변화에 기반하여 상기 웨어러블 장치를 착용한 사용자 및 상기 제1 외부 객체 사이의 상호작용을 중단시킬 수 있는 타입을 가지는 제3 시각적 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 프레임 내에서, 상기 제3 시각적 객체와 관련된 이벤트에 기반하여, 상기 제3 시각적 객체와 연계된 제4 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 프레임을 이용하여, 상기 제3 시각적 객체에 대응하는 외부 객체 및 신체 부위 사이의 거리가 지정된 거리 미만으로 줄어드는지 여부를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 지정된 거리 미만으로 줄어든 상기 거리를 식별하는 것에 기반하여, 상기 제3 시각적 객체의 상기 상태의 변화를 가이드하기 위한 메시지를, 상기 디스플레이 내에 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 변경된 일부분이 포함된 상기 프레임을 표시하는 상태 내에서, 상기 복수의 시각적 객체들과 구분되는 제3 시각적 객체를 식별하는 것에 기반하여, 상기 디스플레이 내에 상기 제3 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 표시하는 동작은, 상기 제3 시각적 객체가 표시된 기간에 기반하여, 상기 디스플레이 내에 상기 제3 시각적 객체를 표시하는 것을 유지할지 여부를 선택하기 위한 제4 시각적 객체를 표시하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치는, 카메라, 디스플레이, 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 상기 카메라를 이용하여, 상기 웨어러블 장치를 착용한 사용자의 FoV 내에 포함된 복수의 시각적 객체들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 복수의 시각적 객체들 사이의 위치 관계, 및 상기 사용자에 의해 포커스된 제1 시각적 객체에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건에 의해 구분되는 복수의 지정된 카테고리들로 분류하도록, 구성될 수 있다. 상기 프로세서는, 상기 웨어러블 장치의 상기 디스플레이를 이용하여, 상기 제1 시각적 객체가 분류된 제1 지정된 카테고리와 구분되는 제2 지정된 카테고리로 분류된, 제2 시각적 객체를 가리는 제3 시각적 객체를, 상기 FoV 내에 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 제3 시각적 객체의 표시를, 상기 제2 시각적 객체가 분류된 상기 제2 지정된 카테고리에 대응하는 표시 조건에 기반하여 조절하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 위치 관계에 기반하여 상기 제1 시각적 객체와 접촉된 상기 제2 시각적 객체에 대하여, 상기 FoV를 통해 보여지는 상기 제2 시각적 객체의 형태를 가지는 상기 제3 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 외부 객체의 타입에 기반하여, 상태의 변화에 기반하여 상기 제1 외부 객체 및 상기 사용자 사이의 상호작용을 중단시킬 수 있는 상기 제2 지정된 카테고리로 상기 제2 외부 객체를 분류할지 여부를 결정하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 지정된 카테고리로 분류된 상기 제2 시각적 객체를 가리는 상기 제3 시각적 객체의 표시를, 상기 제2 시각적 객체로 향하는 상기 사용자의 모션을 식별하는 것에 기반하여 적어도 일시적으로 중단하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 소리에 기반하는 알림을 발생시킬 수 있는 외부 객체에 대응하는, 상기 제2 시각적 객체를, 소리의 세기와 관련된 상기 표시 조건을 가지는 상기 제2 지정된 카테고리로 분류하도록, 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치(wearable device)에 있어서,
    카메라;
    디스플레이;
    프로세서; 및
    상기 프로세서에 의해 실행될 시에, 상기 웨어러블 장치가:
    상기 디스플레이를 통하여, 상기 카메라에 의해 획득된 제1 이미지 프레임을 표시하고;
    상기 제1 이미지 프레임 내 복수의 시각적 객체들 중에서 제1 시각적 객체를 식별하고;
    상기 카메라로부터 획득된 상기 제1 이미지 프레임 내 상기 복수의 시각적 객체들 중 상기 제1 시각적 객체를 식별하는 것에 기반하여, 상기 제1 시각적 객체와 관련된 제2 시각적 객체를 식별하고;
    상기 제2 시각적 객체가 식별된 이후, 상기 카메라를 통하여 제2 이미지 프레임을 획득하고;
    상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 상기 복수의 시각적 객체들 중 적어도 하나의 다른 시각적 객체가 제거되도록, 상기 제2 이미지 프레임의 적어도 일부분을 변경하고; 및
    상기 변경된 일부분을 포함하는 상기 제2 이미지 프레임을, 상기 디스플레이를 통하여 표시하도록 야기하는 인스트럭션들을 포함하는 메모리를 포함하는,
    웨어러블 장치.
  2. 청구항 1에 있어서, 상기 디스플레이는,
    사용자에 의해 착용된 동안, 상기 사용자의 좌측 눈(left eye)에 대응하는 위치를 가지는 제1 디스플레이; 및
    상기 사용자에 의해 착용된 동안, 상기 사용자의 우측 눈(right eye)에 대응하는 위치를 가지는 제2 디스플레이를 포함하는,
    웨어러블 장치.
  3. 청구항 2에 있어서, 상기 프로세서는,
    눈 추적(eye tracking)에 기반하여 상기 사용자에 의해 포커스된 것으로 결정된, 상기 제1 디스플레이 또는 상기 제2 디스플레이의 일부분에 위치된, 상기 제1 시각적 객체를 식별하도록 구성된,
    웨어러블 장치.
  4. 청구항 1에 있어서, 상기 프로세서는,
    상기 제1 이미지 프레임 내에서, 상기 복수의 시각적 객체들 각각이 상기 제1 시각적 객체와 중첩되었는지 여부에 기반하여, 상기 제2 시각적 객체를 식별하도록 구성된,
    웨어러블 장치.
  5. 청구항 1에 있어서, 상기 프로세서는,
    상기 복수의 시각적 객체들 각각이 분류된 카테고리들에 기반하여, 상기 제2 시각적 객체를 식별하도록 구성된,
    웨어러블 장치.
  6. 청구항 1에 있어서, 상기 프로세서는,
    상기 입력 또는 복수의 시각적 객체들의 타입들 중 적어도 하나에 기반하여, 상기 복수의 시각적 객체들을, 표시 조건(displaying condition)에 따른 지정된 카테고리들 중 어느 하나로 분류하도록, 구성된,
    웨어러블 장치.
  7. 청구항 1에 있어서, 마이크를 더 포함하고,
    상기 프로세서는,
    상기 변경된 일부분이 포함된 상기 프레임을 표시하는 상태 내에서, 상기 마이크를 이용하여, 지정된 임계 세기를 초과하는 세기를 가지는 소리를 생성하는 외부 객체를 식별하고;
    상기 외부 객체를 식별하는 것에 기반하여, 상기 외부 객체에 대응하는 제3 시각적 객체를, 상기 디스플레이 내에 표시하도록, 구성된,
    웨어러블 장치.
  8. 청구항 7에 있어서, 상기 프로세서는,
    상기 제1 시각적 객체의 타입에 기반하여 상기 지정된 임계 세기를 식별하도록, 구성된,
    웨어러블 장치.
  9. 청구항 1에 있어서, 상기 프로세서는,
    제1 외부 객체에 대응하는 상기 제1 시각적 객체 및 상기 제2 시각적 객체와 구분되는 상기 다른 시각적 객체들 중에서, 상태의 변화에 기반하여 상기 웨어러블 장치를 착용한 사용자 및 상기 제1 외부 객체 사이의 상호작용(interaction)을 중단시킬 수 있는 외부 객체에 대응하는 타입을 가지는 제3 시각적 객체를 식별하고;
    상기 프레임 내에서, 상기 제3 시각적 객체와 관련된 이벤트에 기반하여, 상기 제3 시각적 객체와 연계된 제4 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  10. 청구항 9에 있어서, 상기 프로세서는,
    상기 프레임을 이용하여, 상기 제3 시각적 객체에 대응하는 상기 외부 객체 및 신체 부위 사이의 거리가 지정된 거리 미만으로 줄어드는지 여부를 식별하고;
    상기 지정된 거리 미만으로 줄어든 상기 거리를 식별하는 것에 기반하여, 상기 제3 시각적 객체의 상기 상태의 다른 변화를 가이드하기 위한 메시지를, 상기 디스플레이 내에 표시하도록, 구성된,
    웨어러블 장치.
  11. 청구항 1에 있어서, 상기 프로세서는,
    상기 변경된 일부분이 포함된 상기 프레임을 표시하는 상태 내에서, 상기 복수의 시각적 객체들과 구분되는 제3 시각적 객체를 식별하는 것에 기반하여, 상기 디스플레이 내에 상기 제3 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  12. 청구항 11에 있어서, 상기 프로세서는,
    상기 제3 시각적 객체가 표시된 기간(duration)에 기반하여, 상기 디스플레이 내에 상기 제3 시각적 객체를 표시하는 것을 유지할지 여부를 선택하기 위한 제4 시각적 객체를 표시하도록, 구성된,
    웨어러블 장치.
  13. 청구항 1에 있어서, 상기 프로세서는,
    상기 디스플레이 내에서, 상기 제2 시각적 객체 상에, 상기 제2 시각적 객체의 형태를 가진 텍스쳐 이미지를 중첩으로 표시하도록, 구성된,
    웨어러블 장치.
  14. 청구항 1있어서, 상기 프로세서는,
    상기 프레임에 상기 적어도 하나 일부분 보다 넓은 이미지를 결합하여, 상기 변경된 일부분 안으로 상기 프레임의 상기 적어도 하나 일부분을 변경하도록, 구성된,
    웨어러블 장치.
  15. 웨어러블 장치의 방법에 있어서,
    상기 웨어러블 장치의 디스플레이를 통하여, 상기 웨어러블 장치의 카메라에 의해 획득된 제1 이미지 프레임을 표시하는 동작;
    상기 제1 이미지 프레임 내 복수의 시각적 객체들 중에서 제1 시각적 객체를 식별하는 동작;
    상기 카메라로부터 획득된 상기 제1 이미지 프레임 내 상기 복수의 시각적 객체들 중 제1 시각적 객체를 식별하는 것에 기반하여, 상기 제1 시각적 객체와 관련된 제2 시각적 객체를 식별하는 동작;
    상기 제2 시각적 객체가 식별된 이후, 상기 카메라를 통하여 제2 이미지 프레임을 획득하는 동작;
    상기 제1 시각적 객체 및 상기 제2 시각적 객체와 상이한 복수의 시각적 객체들 중 적어도 하나의 다른 시각적 객체가 제거되도록, 상기 제2 이미지 프레임의 적어도 일부분을 변경하는 동작; 및
    상기 변경된 일부분을 포함하는 상기 제2 이미지 프레임을, 상기 디스플레이를 통하여 표시하는 동작을 포함하는,
    방법.
PCT/KR2023/019284 2022-11-27 2023-11-27 외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법 WO2024112185A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/542,103 US20240177367A1 (en) 2022-11-27 2023-12-15 Wearable device for controlling displaying of visual object corresponding to external object and method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220161034 2022-11-27
KR10-2022-0161034 2022-11-27
KR10-2022-0175134 2022-12-14
KR1020220175134A KR20240079114A (ko) 2022-11-27 2022-12-14 외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/542,103 Continuation US20240177367A1 (en) 2022-11-27 2023-12-15 Wearable device for controlling displaying of visual object corresponding to external object and method thereof

Publications (1)

Publication Number Publication Date
WO2024112185A1 true WO2024112185A1 (ko) 2024-05-30

Family

ID=91196424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/019284 WO2024112185A1 (ko) 2022-11-27 2023-11-27 외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2024112185A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100111A (ko) * 2019-08-09 2019-08-28 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20200065930A (ko) * 2018-11-30 2020-06-09 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20210000872A (ko) * 2019-06-26 2021-01-06 유수연 인공지능을 이용하여 이미지의 객체를 제거하는 방법
WO2022103420A1 (en) * 2020-11-16 2022-05-19 Google Llc Identifying a position of a controllable device using a wearable device
JP7176792B1 (ja) * 2021-09-09 2022-11-22 株式会社Synamon 情報処理システム及び情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200065930A (ko) * 2018-11-30 2020-06-09 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20210000872A (ko) * 2019-06-26 2021-01-06 유수연 인공지능을 이용하여 이미지의 객체를 제거하는 방법
KR20190100111A (ko) * 2019-08-09 2019-08-28 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
WO2022103420A1 (en) * 2020-11-16 2022-05-19 Google Llc Identifying a position of a controllable device using a wearable device
JP7176792B1 (ja) * 2021-09-09 2022-11-22 株式会社Synamon 情報処理システム及び情報処理方法

Similar Documents

Publication Publication Date Title
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2020209491A1 (en) Head-mounted display device and operating method of the same
WO2022139375A1 (en) Augmented reality device and operating method thereof
WO2020138640A1 (ko) 전자 디바이스
WO2021040076A1 (ko) 전자 디바이스
WO2021040116A1 (en) Electronic device
WO2022164094A1 (ko) Hmd(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 hmd
WO2020138636A1 (ko) 전자 기기
WO2024112185A1 (ko) 외부 객체에 대응하는 시각적 객체의 표시를 제어하기 위한 웨어러블 장치 및 그 방법
WO2024122984A1 (ko) 복수의 어플리케이션들이 그룹핑된 영역을 이용하여 복수의 어플리케이션들을 제어하기 위한 웨어러블 장치 및 그 방법
WO2024117649A1 (ko) 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024122979A1 (ko) 전경 객체의 사이즈 또는 개수에 기반하여 배경 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024090825A1 (ko) 센서에 의해 식별된 데이터를 이용하여 시각적 객체를 변경하기 위한 웨어러블 장치 및 그 방법
WO2024096267A1 (ko) 외부 객체를 추적하여 획득된 정보에 기반하여 어플리케이션을 실행하기 위한 웨어러블 장치 및 그 방법
WO2024122836A1 (ko) 외부 전자 장치의 제어와 관련된 사용자 인터페이스를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024101683A1 (ko) 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
WO2021033790A1 (ko) 전자 기기
WO2024111790A1 (ko) 가상 객체를 제어하기 위한 시각적 객체를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024063302A1 (ko) 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치
WO2024136381A1 (ko) 시각적 객체를 표시하기 위한 웨어러블 장치 및 그 방법
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024101581A1 (ko) 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법
WO2024128843A1 (ko) 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024101591A1 (ko) 객체로 액세스하는 사용자들에게 적어도 하나의 멀티미디어 콘텐트를 제공하기 위한 전자 장치 및 그 방법
WO2024090844A1 (ko) 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법