WO2024010198A1 - 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법 - Google Patents

분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법 Download PDF

Info

Publication number
WO2024010198A1
WO2024010198A1 PCT/KR2023/005930 KR2023005930W WO2024010198A1 WO 2024010198 A1 WO2024010198 A1 WO 2024010198A1 KR 2023005930 W KR2023005930 W KR 2023005930W WO 2024010198 A1 WO2024010198 A1 WO 2024010198A1
Authority
WO
WIPO (PCT)
Prior art keywords
external electronic
electronic device
wearable device
category
electronic devices
Prior art date
Application number
PCT/KR2023/005930
Other languages
English (en)
French (fr)
Inventor
김현진
윤혜미
김현우
조민지
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024010198A1 publication Critical patent/WO2024010198A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the descriptions below relate to an electronic device and method for selecting and controlling objects based on classification.
  • the electronic device may be a wearable device that can be worn by a user.
  • the electronic device may be AR glasses.
  • a wearable device may include a display and a processor.
  • the processor may be configured to receive an input indicating selection of a first external electronic device and a second external electronic device among a plurality of external electronic devices displayed through the display.
  • the processor may identify a third external electronic device within a category that includes both the first external electronic device and the second external electronic device.
  • the third external electronic devices may include the first external electronic device and the second external electronic device.
  • the processor generates a first visual object and a second visual object indicating that the first external electronic device and the second external electronic device are selected, respectively, the first external electronic device displayed through the display, and the second external electronic device. It may be configured to display in conjunction with a second external electronic device.
  • the processor is configured to operate in conjunction with at least one fourth external electronic device, which is different from the first external electronic device and the second external electronic device, among the third external electronic devices. It may be configured to display at least one third visual object that guides selection of the device.
  • a method of a wearable device includes receiving a first input indicating selection of one or more first external electronic devices among a plurality of external electronic devices displayed through a display of the wearable device. can do.
  • the method may include, in response to the first input, identifying one or more first functions applicable to the one or more first external electronic devices.
  • the method may include displaying one or more visual objects within the display for execution of the one or more first functions.
  • the method may, in response to a second input indicating selection of at least one second external electronic device, within a state in which the one or more visual objects are displayed, select at least one item applicable to the at least one second external electronic device. It may include an operation to identify the second function of .
  • the method may include ceasing display of at least one visual object among the one or more visual objects for a different function than the at least one second function.
  • a wearable device may provide a UI that responds to changes in the user's selection of external electronic devices.
  • a method of a wearable device includes receiving an input indicating selection of a first external electronic device and a second external electronic device among a plurality of external electronic devices displayed through a display of the wearable device. may include.
  • the method may include, in response to the input, identifying third external electronic devices in a category that includes both the first external electronic device and the second external electronic device.
  • the third external electronic devices may include the first external electronic device and the second external electronic device.
  • the method includes displaying a first visual object and a second visual object indicating that the first external electronic device and the second external electronic device are selected, respectively, the first external electronic device displayed through the display, and the second external electronic device displayed through the display. It may include a display operation in conjunction with a second external electronic device.
  • the method includes interoperating with at least one fourth external electronic device, which is different from the first external electronic device and the second external electronic device, among the third external electronic devices, It may include an operation of displaying at least one third visual object that guides selection of the device.
  • a wearable device may include a display and a processor.
  • the processor may be configured to receive a first input indicating selection of one or more first external electronic devices among a plurality of external electronic devices displayed through the display.
  • the processor may be configured to identify at least one or more first functions applicable to the one or more first external electronic devices in response to the first input.
  • the processor may be configured to display one or more visual objects within the display for execution of the one or more first functions.
  • the processor selects at least one second external electronic device applicable to the at least one second external electronic device. It may be configured to identify the second function of.
  • the processor may be configured to stop displaying, among the one or more visual objects, at least one visual object for a different function than the at least one second function.
  • FIG. 1A to 1B illustrate an example of a user interface (UI) displayed by a wearable device based on a plurality of external electronic devices, according to an embodiment.
  • UI user interface
  • Figure 2 shows an example of a block diagram of a wearable device, according to one embodiment.
  • Figure 3A shows an example of a perspective view of a wearable device, according to one embodiment.
  • FIG. 3B shows an example of one or more hardware deployed within a wearable device, according to one embodiment.
  • FIG. 4 illustrates an example of a category of external electronic devices identified by a wearable device based on metadata, according to an embodiment.
  • FIGS. 5A to 5C illustrate an example of an operation in which a wearable device receives an input indicating connection between an external electronic device and the wearable device, according to an embodiment.
  • FIGS. 6A and 6B illustrate an example of an operation in which a wearable device receives an input indicating that at least one of external electronic devices is selected based on a user's motion, according to an embodiment.
  • FIG. 7A to 7B illustrate an example of an operation in which a wearable device receives an input indicating that at least one of external electronic devices is selected based on a user's motion and speech, according to an embodiment. It shows.
  • FIGS. 8A to 8C illustrate an example of an operation in which a wearable device displays a visual object to guide selection of at least one external electronic device, according to an embodiment.
  • FIGS. 9A and 9B illustrate an example of a screen displayed by a wearable device based on a category of an external electronic device selected by a user, according to an embodiment.
  • FIGS. 10A to 10C illustrate an example of a screen displayed by a wearable device based on external electronic devices selected by a user, according to an embodiment.
  • FIG. 11 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • Figures 12A and 12B show an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • FIG. 13 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • Figure 14 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • Figure 15 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., second) component, it means that the component is connected to the other component. It may be connected directly to a component or may be connected through another component (e.g., a third component).
  • module used in this document includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • a module may be comprised of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • the wearable device 101 may include a head-mounted display (HMD) that is wearable on a user's body part (e.g., head).
  • HMD head-mounted display
  • the housing of the wearable device 101 may be made of a flexible material such as rubber and/or silicone, which has a shape that adheres closely to a portion of the user's head (e.g., a portion of the face surrounding both eyes). may include.
  • the housing of wearable device 101 may include one or more straps capable of being twined around the user's head, and/or one or more temples attachable to the ears of the head. ) may include.
  • An example of hardware included in the wearable device 101, according to one embodiment, may be described with reference to FIG. 2 .
  • An example of the structure of the wearable device 101 according to one embodiment may be described with reference to FIGS. 3A and 3B.
  • the wearable device 101 is connected to one or more external electronic devices different from the wearable device 101 (e.g., external electronic devices 121, 122, 123) through a wired network and/or a wireless network. , 131, 132, 141, 142, 161, 171)).
  • the wired network may include a network such as the Internet, a local area network (LAN), a wide area network (WAN), Ethernet, or a combination thereof.
  • the wireless network is a network such as long term evolution (LTE), 5g new radio (NR), wireless fidelity (WiFi), Zigbee, near field communication (NFC), Bluetooth, bluetooth low-energy (BLE), or a combination thereof. may include.
  • the wearable device 101 may communicate with one or more external electronic devices through a server within a network. Signals and/or packets exchanged between the wearable device 101 and the one or more external electronic devices may be relayed by the server.
  • the wearable device 101 uses Bluetooth, BLE, NFC, and/or WiFi direct (or WiFi P2P (peer-to-peer)) to connect to the one or more external electronic devices independently of the server. can be directly connected to them.
  • the wearable device 101 may be indirectly connected through one or more routers in a network and/or an access point (AP).
  • AP access point
  • the external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, and 171 of FIGS. 1A to 1B are examples of external electronic devices accessible by the wearable device 101. You can.
  • the external electronic device accessible by the wearable device 101 may include an external electronic device that is physically separated from the wearable device 101, such as an Internet of Things (IoT) device.
  • the wearable device 101 may identify the external electronic device based on metadata of the external electronic device. Identifying the external electronic device by the wearable device 101 may include identifying at least one function supportable by the external electronic device based on the metadata. Identifying the external electronic device by the wearable device 101 may include classifying the external electronic device based on hierarchical categories.
  • a category may be referred to as a classification, and/or category.
  • the layered categories may be used to identify at least one function that is commonly applicable to a plurality of external electronic devices. An operation of the wearable device 101 classifying at least one external electronic device accessible by the wearable device 101 based on the layered categories, according to one embodiment, is described with reference to FIG. 4 .
  • the external electronic device accessible by the wearable device 101 is controlled by the wearable device 101 and radiates light ( It may include a lighting device (e.g., bulb, pendant, and/or light stand) that emits.
  • the external electronic device accessible by the wearable device 101 may include a surveillance camera that transmits media content including video captured by the camera, such as the external electronic device 131. there is. Referring to FIG.
  • the external electronic device accessible by the wearable device 101 may include a television including a display and/or speakers for outputting media content.
  • the external electronic device accessible by the wearable device 101 may include an air cleaner, like the external electronic device 141.
  • the external electronic device accessible by the wearable device 101 may include an air conditioner, like the external electronic device 142.
  • the external electronic device accessible by the wearable device 101 is a remote controller (e.g., a game pad, and/or a TV) for controlling other external electronic devices, such as the external electronic device 161. remote controller).
  • a remote controller e.g., a game pad, and/or a TV
  • the external electronic device accessible by the wearable device 101 may include a watch, like the external electronic device 171.
  • An example of an operation in which the wearable device 101 connects to the external electronic device according to an embodiment is described with reference to FIGS. 5A to 5C.
  • the external electronic device is not limited to the above-described example, and may include an Internet of Things device that obtains information representing the environment based on a sensor.
  • the wearable device 101 may execute functions related to augmented reality (AR).
  • the wearable device 101 may include a display for displaying a screen related to the augmented reality.
  • the display may include a transparent material. For example, based on the transparent material included in the display, light radiating toward one side of the display may be transmitted at least partially to the other side opposite to the one side.
  • the wearable device 101 may display, based on the augmented reality, a screen related to an external object that is visible to the user through the display within the display.
  • the wearable device 101 may display information related to the external object to the user based on the screen.
  • the wearable device 101 uses the screen to control external objects such as external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, and 171 to the user.
  • external objects such as external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, and 171
  • information electrically received from the external object may be displayed.
  • the wearable device 101 detects external electronic devices 121, 122, and 123 included in the FoV 110 based on object detection and/or object recognition. , 131, 132, 141, 142, 161, 171) can be identified.
  • wearable device 101 may include a camera to capture images and/or video associated with FoV 110 .
  • the screen that the wearable device 101 displays in the FoV 110 using the display may include augmented or annotated information based on the environment shown to the user. You can.
  • FIG. 1B illustrates an example of a screen that the wearable device 101 displays within the FoV 110 using a display, according to one embodiment.
  • the wearable device 101 may display visual objects 151, 152, and 153 representing different external electronic devices within the FoV 110 using a display.
  • the visual objects 151, 152, and 153 are displayed on the wearable device 101 to support selection and/or control of an external electronic device independently of changes in the FoV 110 due to movement of the wearable device 101. It can be displayed by .
  • Visual objects 151, 152, and 153 may be added by the user.
  • Each of the visual objects 151, 152, and 153 may be connected to external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, 171, and/or other external devices not contained within FoV 110. It may relate to any one of electronic devices.
  • the wearable device 101 is connected to the external electronic devices 121 and 122. , 123, 131, 132, 141, 142, 161, 171), and an input indicating selection of at least one of the visual objects 151, 152, and 153 may be received.
  • the input is visible through FoV 110 and selects a tangible external electronic device, such as external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, 171.
  • Input, and/or other input indicating selection of an external electronic device using a visual object that represents the external electronic device, such as visual objects 151, 152, and 153, may be included.
  • the wearable device 101 provides information to the user, external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, 171, and visual objects 151, 152, and 153. Homogeneity based on the category of each corresponding external electronic device can be used to guide selection of a group of external electronic devices distinguished by the category. Exemplary operations for the wearable device 101 to receive the input are described with reference to FIGS. 6A to 6B and/or 7A to 7B.
  • the wearable device 101 in response to an input indicating selection of at least one of external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, 171, and visual objects 151, 152, and 153.
  • the wearable device 101 is different from the at least one external electronic device selected by the input and is similar to the at least one external electronic device selected by the input, one or more devices for guiding the selection of another external electronic device.
  • Visual objects can be displayed.
  • the other external electronic devices include external electronic devices (121, 122, 123, 131, 132, 141, 142, 161, 171), visual objects (151, 152, 153) can be performed based on classifying the corresponding external electronic devices.
  • An example of an operation of the wearable device 101, according to an embodiment, to display the one or more visual objects based on hierarchical categories is described with reference to FIGS. 8A to 8C.
  • the wearable device 101 may display a screen for controlling at least one external electronic device selected by the input.
  • the wearable device 101 selectively and/or preferentially performs functions commonly applicable to the plurality of external electronic devices selected by the input.
  • FIGS. 9A to 9B and/or 10A to 10C An example of an operation in which the wearable device 101 selectively displays the functions in the state, according to an embodiment, is described with reference to FIGS. 9A to 9B and/or 10A to 10C.
  • the wearable device 101 displays external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, 171 and visual objects 151 through a display. , 152, 153), an input indicating selection of at least two external electronic devices may be received.
  • the wearable device 101 may receive an input indicating selection of a first external electronic device and a second external electronic device.
  • the wearable device 101 may identify third external electronic devices in a category that includes both the first external electronic device and the second external electronic device.
  • the third external electronic devices may include the first external electronic device and the second external electronic device.
  • the third external electronic devices include external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, and 171, and other external electronic devices related to visual objects 151, 152, and 153. can be identified among the The wearable device 101 displays a first visual object and a second visual object indicating that the first external electronic device and the second external electronic device are selected, respectively, on the first external electronic device displayed through the display. , and can be displayed in conjunction with the second external electronic device.
  • the wearable device 101 among the third external electronic devices, operates in conjunction with at least one fourth external electronic device that is different from the first external electronic device and the second external electronic device, 4 At least one third visual object that guides selection of an external electronic device may be displayed.
  • the wearable device 101 includes external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, and 171 visible through the FoV 110. , and/or may support selection and/or control of one or more external electronic devices based on visual objects 151, 152, and 153.
  • the wearable device 101 uses metadata to identify functions commonly applicable to the plurality of external electronic devices or to select the plurality of external electronic devices. Information that can be commonly received from electronic devices can be identified. Based on commonly applicable functions, the wearable device 101 can control all of the plurality of external electronic devices.
  • the wearable device 101 may at least partially combine information received from each of the plurality of external electronic devices.
  • the wearable device 101 may display at least partially combined information to the user. For example, the wearable device 101 may improve the user experience related to selection and/or control of a plurality of external electronic devices.
  • FIG. 2 shows an example of a block diagram of a wearable device 101, according to one embodiment.
  • the wearable device 101 of FIG. 2 may be an example of the wearable device 101 of FIGS. 1A to 1B.
  • the wearable device 101 includes a processor 210, a memory 220, a display 230, a camera 240, a communication circuit 250, a sensor 260, Alternatively, it may include at least one of the microphone 270.
  • Processor 210, memory 220, display 230, camera 240, communication circuit 250, sensor 260, and microphone 270 are electronic devices such as a communication bus. component) may be electrically and/or operably coupled to each other.
  • Hardwares are operatively coupled so that a particular piece of hardware is controlled by another piece of hardware, and/or that another piece of hardware is controlled by the piece of hardware, such that a direct or indirect connection between the pieces of hardware is wired. It may mean established wirelessly or wirelessly.
  • the type and/or number of hardware included in the wearable device 101 is not limited to the example of FIG. 2 .
  • the processor 210 of the wearable device 101 may include hardware components for processing data based on one or more instructions.
  • Hardware components for processing data may include, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), and/or a central processing unit (CPU).
  • ALU arithmetic and logic unit
  • FPU floating point unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • the number of processors 210 may be one or more.
  • the processor 210 may have the structure of a multi-core processor such as dual core, quad core, or hexa core.
  • the memory 220 of the wearable device 101 includes hardware components for storing data and/or instructions input to and/or output from the processor 210. can do.
  • Memory 220 may include, for example, volatile memory such as random-access memory (RAM), and/or non-volatile memory such as read-only memory (ROM). You can.
  • the volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • the non-volatile memory includes, for example, at least one of programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, and embedded multi media card (eMMC). can do.
  • one or more instructions indicating operations and/or operations to be performed by processor 210 on data may be stored.
  • a set of one or more instructions may be referred to as firmware, operating system, process, routine, sub-routine and/or application.
  • the wearable device 101 and/or the processor 210 executes a set of a plurality of instructions distributed in the form of an operating system, firmware, driver, and/or application. , at least one of the operations of FIGS. 11 to 15 may be performed.
  • the fact that an application is installed on the wearable device 101 means that one or more instructions provided in the form of an application are stored in the memory 220 of the wearable device 101, and the one or more applications are installed in the wearable device 101. This may mean stored in an executable format (eg, a file with an extension specified by the operating system of the wearable device 101) by the processor 210.
  • the display 230 of the wearable device 101 displays information visualized to the user (e.g., FIGS. 5A to 5C, 6A to 6B, 7A to 7B, and 8A to 8C , at least one of the screens of FIGS. 9A to 9B, and/or FIGS. 10A to 10C) can be output.
  • the display 230 may be controlled by a controller such as the processor 210 (eg, GPU (graphic processing unit)) to output visualized information to the user.
  • the display 230 may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LED).
  • the LED may include an organic LED (OLED).
  • OLED organic LED
  • light transmission may occur in at least a portion of the display 230 of the wearable device 101.
  • the wearable device 101 can provide a user experience related to augmented reality by providing a combination of light output through the display 230 and light passing through the display 230.
  • the camera 240 of the wearable device 101 is an optical sensor (e.g., a charged coupled device (CCD) sensor, a complementary metal sensor (CMOS) that generates an electrical signal representing the color and/or brightness of light. It may include one or more oxide semiconductor sensors).
  • a plurality of optical sensors included in the camera 240 may be arranged in the form of a 2-dimensional array. The camera 240 acquires electrical signals from each of the plurality of optical sensors substantially simultaneously, corresponds to the light reaching the optical sensors of the two-dimensional grid, and generates an image including a plurality of pixels arranged in two dimensions. can do.
  • photo data captured using the camera 240 may mean one image acquired from the camera 240.
  • video data captured using the camera 240 may mean a sequence of a plurality of images acquired from the camera 240 according to a designated frame rate.
  • the wearable device 101 may be disposed toward a direction in which the camera 240 receives light, and may further include a flash light for outputting light in this direction.
  • the number of cameras 240 included in the wearable device 101 according to one embodiment may be one or more.
  • the FoV of the camera 240 is an area formed based on the view angle at which the lens of the camera 240 can receive light, and is an area corresponding to the image generated by the camera 240.
  • a subject refers to an object included in the FOV of the camera 240 and distinct from the wearable device 101.
  • the FoV of camera 240 may at least partially match the environment shown to the user through display 230, such as FoV 110 of FIGS. 1A-1B.
  • the wearable device 101 may include an output means for outputting information in a form other than a visualized form.
  • the wearable device 101 may include a speaker for outputting an acoustic signal.
  • the wearable device 101 may include a motor to provide haptic feedback based on vibration.
  • the communication circuit 250 of the wearable device 101 includes hardware to support transmission and/or reception of electrical signals between the wearable device 101 and an external electronic device 290.
  • the external electronic device 290 includes the external electronic devices 121, 122, 123, 131, 132, 141, 142, 161, and 171 of FIGS. 1A and 1B, and/or the visual objects 151. , 152, 153) may include external electronic devices corresponding to each.
  • the communication circuit 250 may include, for example, at least one of a modem (MODEM), an antenna, and an optical/electronic (O/E) converter.
  • MODEM modem
  • O/E optical/electronic
  • the communication circuit 250 includes Ethernet, local area network (LAN), wide area network (WAN), wireless fidelity (WiFi), Bluetooth, bluetooth low energy (BLE), ZigBee, long term evolution (LTE), Based on various types of protocols, such as 5G NR (new radio), it can support transmission and/or reception of electrical signals.
  • LAN local area network
  • WAN wide area network
  • WiFi wireless fidelity
  • BLE bluetooth low energy
  • BLE bluetooth low energy
  • ZigBee ZigBee
  • LTE long term evolution
  • 5G NR new radio
  • a wearable device 101 may identify the external electronic device 290 within the network 280 using the communication circuit 250.
  • the embodiment is not limited to this, and the wearable device 101 may be directly connected to the external electronic device 290 using the communication circuit 250, independently of the network 280.
  • the embodiment is not limited thereto, and some of the hardware components shown in FIG. 2 (e.g., at least a portion of the processor 210, memory 220, and communication circuit 250) are SoC. It may be included in a single integrated circuit, such as a system on a chip.
  • the sensor 260 of the wearable device 101 may detect non-electronic information associated with the wearable device 101 by the processor 210 and/or memory 220. It can generate electrical information that can be processed. The electrical information generated by sensor 260 may be stored in memory 220, processed by processor 210, and/or transmitted to the device as an external electronic device distinct from wearable device 101. there is.
  • the sensor 260 of the wearable device 101 detects the posture of the wearable device 101 and/or the posture of a body part (e.g., head) of a user wearing the wearable device 101. It may include at least one of a gyro sensor, a gravity sensor, and/or an acceleration sensor.
  • the gravity sensor and acceleration sensor may each measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (eg, x-axis, y-axis, and z-axis) that are perpendicular to each other.
  • a gyro sensor can measure the angular velocity of each of designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis).
  • the gravitational acceleration, acceleration, and angular velocity measured by each of the gravity sensor, acceleration sensor, and gyro sensor are in the form of electrical information that can be processed by the processor 210 and/or stored in the memory 220. ) can be output.
  • the gravity sensor, acceleration sensor, and gyro sensor may repeatedly output gravitational acceleration, acceleration, and angular velocity based on a specified period. At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • the microphone 270 of the wearable device 101 may output an electrical signal representing atmospheric vibration.
  • the wearable device 101 may use the microphone 270 to obtain an audio signal including the user's speech.
  • the user's remarks included in the audio signal may be converted into information in a recognizable format by the processor 210 of the wearable device 101, based on a voice recognition model and/or a natural language understanding model.
  • the wearable device 101 may recognize a user's speech and execute one or more functions among a plurality of functions that can be provided by the wearable device 101.
  • An example of an operation performed by the wearable device 101 based on a remark received through the microphone 270, according to an embodiment, is described with reference to FIGS. 7A and 7B.
  • the wearable device 101 may include one or more hardware for providing a user experience based on augmented reality.
  • the wearable device 101 may use the communication circuit 250 and/or the camera 240 to identify the external electronic device 290 displayed through the display 230.
  • the wearable device 101 may display a screen for selecting and/or controlling the identified external electronic device 290 within the display 230.
  • the wearable device 101 may receive an input indicating selection of the external electronic device 290 based on the sensor 260, microphone 270, and/or communication circuit 250. Based on identifying that a plurality of external electronic devices are selected by the input, the wearable device 101 uses hierarchical connection of categories assigned to each of the plurality of external electronic devices to select the plurality of external electronic devices. At least one function commonly applicable to external electronic devices can be identified.
  • the wearable device 101 may display a screen for executing the at least one function to the user through the display 230, thereby improving the user experience related to controlling a plurality of external electronic devices.
  • FIG. 3A shows an example of a perspective view of a wearable device 101, according to one embodiment.
  • FIG. 3B shows an example of one or more hardware disposed within the wearable device 101, according to one embodiment.
  • the wearable device 101 of FIGS. 3A and 3B may be an example of the wearable device 101 of FIGS. 1 and 2 .
  • the wearable device 101 according to one embodiment may include at least one display 230 and a frame 300 supporting the at least one display 230.
  • At least one display 230 may be an example of the display 230 of FIG. 2 .
  • the wearable device 101 may be worn on a part of the user's body.
  • the wearable device 101 provides the user wearing the wearable device 101 with augmented reality (AR), virtual reality (VR), or a mixed reality that combines augmented reality and virtual reality.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality that combines augmented reality and virtual reality.
  • MR mixed reality
  • the wearable device 101 displays at least one virtual reality image provided from at least one optical device 382 or 384 in response to a user's specified gesture acquired through the motion recognition camera 240-2. It can be displayed on the display 230.
  • At least one display 230 may provide visual information to the user.
  • at least one display 230 may include a transparent or translucent lens.
  • At least one display 230 may include a first display 230-1 and/or a second display 230-2 spaced apart from the first display 230-1.
  • the first display 230-1 and the second display 230-2 may be placed at positions corresponding to the user's left eye and right eye, respectively.
  • At least one display 230 provides visual information transmitted from external light to the user through a lens included in the at least one display 230, and other visual information distinct from the visual information. can do.
  • at least one display 230 may include a first surface 331 and a second surface 332 opposite to the first surface 331 .
  • a display area may be formed on the second side 332 of at least one display 230.
  • At least one display 230 displays an augmented reality image in which a virtual reality image provided by at least one optical device 382 or 384 is combined with a real screen transmitted through external light, and a second display. It can be displayed in a display area formed on the surface 332.
  • At least one display 230 may include at least one waveguide 333, 334 that diffracts light emitted from the at least one optical device 382, 384 and transmits it to the user. .
  • the wearable device 101 analyzes objects included in real-world images collected through a shooting camera (not shown) (e.g., camera 240 in FIG. 2), and selects objects for providing augmented reality from among the analyzed objects.
  • a virtual object corresponding to this object can be combined and displayed on at least one display 230.
  • the virtual object may include at least one of text and images for various information related to the object included in the real image.
  • a user wearing the wearable device 101 can watch images displayed on at least one display 230.
  • the frame 300 may be made of a physical structure that allows the wearable device 101 to be worn on the user's body. According to one embodiment, the frame 300 is configured such that when the user wears the wearable device 101, the first display 230-1 and the second display 230-2 correspond to the user's left eye and right eye. It can be configured so that it can be located.
  • the frame 300 may support at least one display 230. For example, the frame 300 may support the first display 230-1 and the second display 230-2 to be positioned at positions corresponding to the user's left eye and right eye.
  • the frame 300 may include an area 320 at least partially in contact with a portion of the user's body.
  • the area 320 of the frame 300 that is in contact with a part of the user's body is a part of the user's nose, a part of the user's ear, and a side part of the user's face that the wearable device 101 touches.
  • the frame 300 may include a nose pad 310 that contacts a part of the user's body. When the wearable device 101 is worn by a user, the nose pad 310 may be in contact with a portion of the user's nose.
  • the frame 300 may include a first temple 304 and a second temple 305 that are in contact with another part of the user's body that is distinct from the part of the user's body.
  • the frame 300 includes a first rim 301 surrounding at least a portion of the first display 230-1 and a second rim 301 surrounding at least a portion of the second display 230-2. 302), a bridge 303 disposed between the first rim 301 and the second rim 302, a first bridge disposed along a portion of the edge of the first rim 301 from one end of the bridge 303 Pad 311, a second pad 312 disposed along a portion of the edge of the second rim 302 from the other end of the bridge 303, and a first pad that extends from the first rim 301 and is fixed to a portion of the wearer's ear.
  • the temple 304 and 305 may be rotatably connected to the rim through hinge units 306 and 307.
  • the first temple 304 may be rotatably connected to the first rim 301 through a first hinge unit 306 disposed between the first rim 301 and the first temple 304.
  • the second temple 305 may be rotatably connected to the second rim 302 through a second hinge unit 307 disposed between the second rim 302 and the second temple 305.
  • the wearable device 101 may include hardware (eg, hardware described above based on the block diagram of FIG. 2) that performs various functions.
  • the hardware may include a battery module 370, an antenna module 375, at least one optical device 382, 384, an audio output module (not shown), a light emitting module (not shown), and/or a printing device. It may include a circuit board 390.
  • Various hardware may be placed within frame 300.
  • At least one optical device 382 or 384 may project a virtual object on at least one display 230 in order to provide various image information to the user.
  • at least one optical device 382, 384 may be a projector.
  • the at least one optical device 382 or 384 may be disposed adjacent to the at least one display 230 or may be included within the at least one display 230 as part of the at least one display 230 .
  • the wearable device 101 includes a first optical device 382 corresponding to the first display 230-1 and a second optical device (382) corresponding to the second display 230-2. 384) may be included.
  • the at least one optical device 382 and 384 may include a first optical device 382 disposed at an edge of the first display 230-1 and an edge of the second display 230-2. It may include a second optical device 384.
  • the first optical device 382 may transmit light to the first waveguide 333 disposed on the first display 230-1
  • the second optical device 384 may transmit light to the second display 230-1.
  • -2) Light can be transmitted to the second waveguide 334 disposed on the top.
  • camera 240 may be an imaging camera, an eye tracking camera (ET CAM) 240-1, and/or a motion recognition camera ( 240-2) may be included.
  • the shooting camera, eye tracking camera 240-1, and motion recognition camera 240-2 may be placed at different positions on the frame 300 and may perform different functions.
  • the recording camera can capture a real image or background to be matched with a virtual image to implement augmented reality or mixed reality content.
  • the capturing camera may capture an image of a specific object that exists at a position where the user is looking (e.g., FoV 110 of FIGS. 1A and 1B) and provide the image to at least one display 230.
  • At least one display 230 displays information about a real image or background including an image of the specific object obtained using a photographing camera, and a virtual image provided through at least one optical device 382 or 384.
  • One overlapping image can be displayed.
  • the imaging camera may be placed on the bridge 303 disposed between the first rim 301 and the second rim 302.
  • the gaze tracking camera 240-1 tracks the gaze of the user wearing the wearable device 101, thereby matching the user's gaze with the visual information provided on at least one display 230 to provide more realistic augmentation. Reality can be realized. For example, when the user looks forward, the wearable device 101 may naturally display environmental information related to the user's front view on at least one display 230 at the location where the user is located.
  • the gaze tracking camera 240-1 may be configured to capture an image of the user's pupil to determine the user's gaze. For example, the gaze tracking camera 240-1 may receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light.
  • the eye tracking camera 240-1 may be placed at positions corresponding to the user's left and right eyes.
  • the eye tracking camera 240-1 may be placed within the first rim 301 and/or the second rim 302 to face the direction in which the user wearing the wearable device 101 is located. You can.
  • the motion recognition camera 240-2 can provide a specific event on the screen provided on at least one display 230 by recognizing the movement of the entire or part of the user's body, such as the user's torso, hands, or face. .
  • the gesture recognition camera 240-2 may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal to at least one display 230.
  • the processor may identify a signal corresponding to the operation and perform a designated function based on the identification.
  • the motion recognition camera 240-2 may be disposed on the first rim 301 and/or the second rim 302.
  • the battery module 370 may supply power to electronic components of the wearable device 101.
  • the battery module 370 may be disposed within the first temple 304 and/or the second temple 305.
  • the battery module 370 may be a plurality of battery modules 370 .
  • a plurality of battery modules 370 may be disposed on the first temple 304 and the second temple 305, respectively.
  • the battery module 370 may be disposed at an end of the first temple 304 and/or the second temple 305.
  • the antenna module 375 may transmit a signal or power to the outside of the wearable device 101, or may receive a signal or power from the outside.
  • the antenna module 375 may be electrically and/or operatively connected to the communication circuit 250 of FIG. 2 .
  • the antenna module 375 may be disposed within the first temple 304 and/or the second temple 305.
  • the antenna module 375 may be placed close to one surface of the first temple 304 and/or the second temple 305.
  • the sound output module may output sound signals to the outside of the wearable device 101.
  • the sound output module may be referred to as a speaker.
  • the sound output module may be placed within the first temple 304 and/or the second temple 305 to be placed adjacent to the ear of the user wearing the wearable device 101.
  • the sound output module may include a first sound output module disposed within the first temple 304, thereby disposed adjacent to the user's right ear, and a second sound output module, disposed within the second temple 305, adjacent to the user's left ear. may include a second audio output module.
  • a light emitting module may include at least one light emitting device.
  • the light emitting module may emit light in a color corresponding to a specific state or emit light in an operation corresponding to the specific state. For example, when the wearable device 101 requires charging, it may emit red light at regular intervals.
  • the light emitting module 370 may be disposed on the first rim 301 and/or the second rim 302.
  • the wearable device 101 may identify the motion of the user's head and/or gaze, or receive the user's remarks. In response to the motion and/or the utterance, the wearable device 101 may execute the function requested by the user.
  • the function that the wearable device 101 executes based on the motion and/or the statement includes a function of controlling an external electronic device (e.g., the external electronic device 290 in FIG. 2) that is different from the wearable device 101. It can be included.
  • the function that the wearable device 101 executes based on the motion and/or the utterance may include a function of receiving information from the external electronic device.
  • the wearable device 101 may identify one or more functions supportable by the external electronic device using metadata indicating the capability of the external electronic device.
  • FIG. 4 shows categories 410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440 of external electronic devices identified by a wearable device based on metadata, according to an embodiment.
  • 441, 442, 450, 451) shows an example.
  • the wearable device in FIG. 4 may be an example of the wearable device 101 in FIGS. 1 to 3 .
  • a wearable device may acquire metadata about at least one external electronic device through a communication circuit (eg, the communication circuit 250 of FIG. 2).
  • Metadata may include one or more files representing data about at least one external electronic device based on formats such as extensible markup language (XML) and/or javascript object notation (JSON).
  • XML extensible markup language
  • JSON javascript object notation
  • metadata for a specific external electronic device may be stored in a single file with a designated extension.
  • the wearable device may obtain the metadata by communicating with a server within a network (e.g., network 280 in FIG. 2).
  • the server may search for metadata to be transmitted to the wearable device based on a user account logged in to the wearable device.
  • the searched metadata may be related to an external electronic device already registered with the user account.
  • the server may transmit the searched metadata to the wearable device.
  • the wearable device may obtain metadata from the identified external electronic device based on identifying the external electronic device directly connected to the AP connected to the wearable device.
  • the wearable device may establish a Bluetooth, WiFi, and/or NFC-based communication link with the external electronic device based on a marker attached to the external electronic device, such as a quick response (QR) code. Using the communication link, the wearable device can obtain metadata from the external electronic device.
  • QR quick response
  • a wearable device may identify at least one external electronic device based on metadata.
  • metadata may include data related to at least one external electronic device.
  • a wearable device may use metadata to identify the type, vendor, name, in-network address (e.g., IP address, and/or MAC address), and location (e.g., location) of the external electronic device corresponding to the metadata. , GPS coordinates) can be identified.
  • a wearable device may use metadata to identify one or more functions applicable to an external electronic device.
  • a wearable device can use metadata to identify data obtainable from an external electronic device.
  • a wearable device may use metadata to identify at least one category that includes an external electronic device.
  • the wearable device may identify one or more categories including an external electronic device within the hierarchical categories based on metadata.
  • the categories 410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, and 451 in FIG. 4 may be examples of the stratified categories. Referring to Figure 4, an example is shown where categories (410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451) are connected based on a tree structure. , the embodiment is not limited thereto.
  • the category 410 of FIG. 4 is the highest category of the hierarchical categories and may represent a universal set of external electronic devices that can be connected to a wearable device.
  • Categories (420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451) are subcategories of the top category, category 410, and are included in category 410. It may be connected directly or indirectly, representing a subset of external electronic devices.
  • the wearable device has categories (410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450) based on metadata about external electronic devices. , 451), the external electronic device can be classified.
  • the wearable device classifies the external electronic device into categories (410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451). This may mean selecting the lowest category containing . Based on one or more upper categories serially connected to the selected lowest category, the wearable device can identify one or more categories related to external electronic devices. For example, one or more categories related to the external electronic device may include one or more categories connecting the highest category, category 410, to the selected lowest category.
  • the category 420 connected to the top category 410 may be a category for classifying external electronic devices that provide functions related to lighting. Based on the type and/or function of the external electronic devices classified into the category 420, categories 421, 422, and 423 may be included in the category 420.
  • the category 421 may be a category for classifying stand-alone lighting fixtures, such as floor lamps.
  • the category 422 may be a category for classifying lighting fixtures fixed to the ceiling, such as pendant lamps.
  • the category 423 may be a category for classifying lighting fixtures that are removable from a socket, such as a bulb.
  • the category 430 may be a category for classifying external electronic devices that provide functions related to video and/or images.
  • the category 431 is a subcategory of the category 430 and may be a category for classifying external electronic devices for capturing video and/or images.
  • Category 433 is a subcategory of category 431 and may be a category for classifying surveillance cameras such as security cameras and/or closed circuit cameras.
  • the category 432 is a subcategory of the category 430 and may be a category for classifying external electronic devices for displaying videos and/or images.
  • Category 434 may be a category for classifying televisions.
  • the category 440 may be a category for classifying external electronic devices that provide air-related functions.
  • the category 441 is a subcategory of the category 440 and may be a category for classifying air conditioners.
  • the category 442 is a subcategory of the category 440 and may be a category for classifying air purifiers.
  • the category 450 may be a category for classifying controllers that provide functions for controlling external electronic devices.
  • the category 451 is a subcategory of the category 450 and may be a category for classifying controllers such as game pads.
  • the wearable device may classify the external electronic device 121 of FIGS. 1A and 1B , which is a standalone lighting device, into the category 421 of FIG. 4 .
  • the wearable device may classify the external electronic device 122 of FIGS. 1A and 1B , which is a light bulb connected to a socket, into the category 423 of FIG. 4 .
  • the wearable device may classify the external electronic device 123 of FIGS. 1A to 1B , which is a lighting fixture installed on the ceiling, into the category 422 of FIG. 4 .
  • the wearable device may classify external electronic devices corresponding to the visual objects 151 and 152 of FIG. 1B into a category 423 corresponding to the light bulb of FIG. 4 .
  • the wearable device may classify the external electronic device corresponding to the visual object 153 of FIG. 1B into a category 421 corresponding to the independent lighting device of FIG. 4.
  • the external electronic devices 121, 122, and 123 of FIGS. 1A to 1B may be classified into different lowest categories 421, 422, and 423 within the category 420 of FIG. 4.
  • the wearable device may classify the external electronic device 131 of FIGS. 1A to 1B , which is a surveillance camera, into the category 433 of FIG. 4 .
  • the wearable device may classify the external electronic device 132 of FIGS. 1A to 1B, which is a television, into the category 434 of FIG. 4 .
  • the external electronic devices 131 and 132 of FIGS. 1A and 1B are, in terms of providing functionality related to video and/or images, Can be classified into categories 430.
  • the wearable device may classify the external electronic device 141 of FIGS. 1A to 1B, which is an air purifier, into the category 442 of FIG. 4 .
  • the wearable device may classify the external electronic device 142 of FIGS. 1A to 1B , which is an air conditioner, into the category 441 of FIG. 4 .
  • the wearable device may classify the external electronic device 161 of FIGS. 1A to 1B, which is a game pad, into the category 451 of FIG. 4 .
  • a wearable device may store metadata and/or hierarchical categories (e.g., categories 410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442 , 450, 451)), at least one function provided by a specific external electronic device can be identified. For example, based on the category 423, the wearable device may identify a first set of functions applicable to the external electronic device 122 of FIGS. 1A to 1B, such as a light bulb. For example, based on the category 421, the wearable device may identify a second set of functions applicable to the external electronic device 121 of FIGS. 1A to 1B, which is a stand-alone lighting fixture. For example, in response to an input indicating selection of a specific external electronic device, the wearable device may display a screen for executing functions applicable to the specific external electronic device.
  • hierarchical categories e.g., categories 410, 420, 421, 422, 423, 430, 431, 432, 433,
  • the wearable device may receive an input indicating selection of a plurality of external electronic devices.
  • the wearable device may use hierarchical categories.
  • the hierarchical categories that a wearable device uses to classify external electronic devices e.g., categories 410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442 , 450, 451
  • the wearable device may identify a function common to the plurality of external electronic devices based on hierarchical categories.
  • each of the layered categories may represent a function commonly applicable to external electronic devices included in the category.
  • the wearable device selects the external electronic devices 121 and 122 of FIG. 4 into which each of the external electronic devices 121 and 122 is classified. Based on the categories 423 and 421, the first set and the second set of functions applicable to each of the external electronic devices 121 and 122 may be identified. The intersection of the first set and the second set may include functions commonly applicable to the external electronic devices 121 and 122 of FIGS. 1A and 1B as elements. According to one embodiment, the wearable device may display a screen for executing at least one function included in the intersection in response to the input.
  • the wearable device may identify the lowest category that includes all of the plurality of external electronic devices within the hierarchical categories.
  • the wearable device classifies each of the external electronic devices 121 and 122.
  • the upper category of each of the categories 423 and 421 of FIG. 4 can be identified. Referring to FIG.
  • the category 420 including all of the categories 423 and 421 may be the lowest category among the categories 410 and 420 including all of the categories 423 and 421. Based on the category 420, the wearable device may identify at least one function commonly applicable to the external electronic devices 121 and 122 selected by the input.
  • a wearable device may guide a user's selection based on the homogeneity of external electronic devices based on hierarchical categories. For example, in response to an input for selecting at least two external electronic devices, the wearable device selects the external electronic devices based on a union or higher category of categories corresponding to each of the external electronic devices selected by the input. It can guide the selection of different external electronic devices. As in the above example, in a state where an input indicating selection of all of the external electronic devices 121 and 122 of FIGS. 1A and 1B is received, the wearable device classifies each of the external electronic devices 121 and 122. Other external electronic devices included in the upper categories of each of the categories 423 and 421 of FIG. 4 may be identified.
  • the other external electronic device is, for example, an external electronic device included in the category 420, which is a higher category of the categories 421 and 423 in FIG. 4, such as the external electronic device 123 in FIGS. 1A and 1B. may include.
  • the wearable device may guide further selection of the external electronic device 123 of FIGS. 1A-1B.
  • the wearable device includes hierarchical categories (e.g. , categories (410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451) can be obtained. Based on the layered categories, the wearable device can identify at least one function commonly applicable to external electronic devices. For example, in addition to the function of turning on or off external electronic devices, the wearable device can identify other functions commonly applicable to external electronic devices. The wearable device may display a screen for executing the other functions, allowing the user to control a plurality of external electronic devices at once in addition to the function of turning them on or off.
  • hierarchical categories e.g. , categories (410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451) can be obtained.
  • the wearable device can identify at least one function commonly applicable to external electronic devices. For example, in addition to the function of turning on or off external electronic devices, the wearable
  • FIGS. 5A to 5C illustrate an example of an operation in which a wearable device receives an input indicating connection between an external electronic device and the wearable device, according to an embodiment.
  • the wearable device of FIGS. 5A to 5C may be an example of the wearable device 101 of FIGS. 1A to 1B and/or the wearable device of FIGS. 2 to 4 .
  • the wearable device 101 of FIG. 1 may include the wearable device of FIGS. 5A to 5C.
  • FoV 110 of FIGS. 5A to 5C may correspond to FoV 110 of FIGS. 1A to 1B.
  • a wearable device may use a camera (eg, camera 240 in FIG. 2) to identify one or more external electronic devices included in the FoV 110.
  • the wearable device may identify one or more external electronic devices included within FoV 110 based on object detection and/or object recognition.
  • the wearable device may extract one or more feature points from the image of the FoV 110 obtained from the camera. Based on the one or more characteristic points, the wearable device can identify the one or more external electronic devices.
  • the wearable device may identify the one or more external electronic devices using a neural network trained to identify the external electronic devices from the image.
  • the wearable device may receive an input for notifying the location of at least one external electronic device (eg, external electronic device 512) within the FoV 110.
  • a wearable device may obtain the location of an external electronic device from the user.
  • FIGS. 5A to 5C an operation in which a wearable device identifies the location of an external electronic device 512 based on a user input, according to an embodiment, will be described.
  • the wearable device may display a visual object 514 for receiving the location of an external electronic device 512 , overlaid within the FoV 110 .
  • the external electronic device 512 may be identified by the wearable device through state 510 and/or communication circuitry prior to state 510 (e.g., communication circuit 250 of FIG. 2 ).
  • the visual object 514 may be displayed in a display (eg, display 230 of FIG. 2) that at least partially overlaps the FoV 110.
  • the wearable device may display a translucent visual object 514 based on a specified alpha value. Within the visual object 514, the wearable device may display designated text (e.g., “take place”) to guide selection of the location of the external electronic device 512.
  • the visual object 514 may be referred to as an anchor for selecting an external electronic device or the location of an external electronic device.
  • a wearable device may receive an input for moving the visual object 514.
  • the wearable device may receive the input based on the user's motion, which will be described later with reference to FIGS. 6A and 6B.
  • the wearable device may receive the input based on the user's remarks, which will be described later with reference to FIGS. 7A and 7B.
  • the wearable device may receive input indicating moving a visual object 514 along a path 516 .
  • a user may move the visual object 514 so that the visual object 514 overlaps the external electronic device 512 included within the FoV 110 .
  • State 520 of FIG. 5B may be a state after the wearable device receives the input indicating moving the visual object 514.
  • the wearable device may display options 522, 524, and 526 for selecting the type of external electronic device 512.
  • options 522, 524, and 526 may be displayed by a wearable device to receive from a user a category of external electronic device 512 that overlaps visual object 514 within FoV 110. You can.
  • option 522 displays an icon for receiving input indicating that the external electronic device 512 is classified as a stand-alone lighting fixture (e.g., a lighting fixture classified as category 421 in FIG. 4). It can be included.
  • Option 524 may include an icon for receiving an input indicating that the external electronic device 512 is a lighting fixture fixed to the ceiling (eg, a lighting fixture classified into category 422 of FIG. 4 ).
  • Option 526 may include an icon for receiving input indicating that the external electronic device 512 is a light bulb (e.g., a lighting fixture classified into category 423 in FIG. 4 ).
  • the wearable device in response to an input indicating selection of one of the options 522, 524, and 526, may classify the external electronic device 512 into at least one of the hierarchical categories.
  • the wearable device receives an input indicating selection of option 522 from the user within state 520 of FIG. 5B.
  • State 530 of FIG. 5C is a screen for the wearable device to control the external electronic device 512 after identifying the external electronic device 512 based on the states 510 and 520 of FIGS. 5A and 5B. (534) may be displayed.
  • the wearable device may display a visual object 532 to indicate that the external electronic device 512 is selected in response to the input. It can be displayed.
  • FIG. 5C an example of a visual object 532 based on a rectangular line is shown, but the embodiment is not limited thereto.
  • the visual object 532 may have the shape of an outline of the external electronic device 512.
  • the visual object 532 may have a polygonal shape that at least partially overlaps the external electronic device 512.
  • the wearable device may display the screen 534 on at least a portion of the FoV 110 in response to an input indicating selection of the external electronic device 512.
  • the wearable device may display one or more functions applicable to the external electronic device 512 selected by the input.
  • One or more functions applicable to the external electronic device 512 may be identified based on metadata about the external electronic device 512 and/or one or more categories in which the external electronic device 512 is included.
  • the wearable device may display an icon 534-1 and/or text 534-2 to indicate the type of the external electronic device 512.
  • the wearable device may display a button 534-3 for toggling the external electronic device 512 between an active state or an inactive state.
  • the wearable device may display a visual object 534-4, such as a slider for adjusting the amount of light of the external electronic device 512.
  • the wearable device may display a visual object 534-5, such as a palette for adjusting the color of light output from the external electronic device 512.
  • the wearable device may display a visual object 534-6, such as a slider for adjusting color temperature.
  • the wearable device may control the external electronic device 512 in response to an input based on the screen 534. For example, the wearable device may transmit a signal representing the input to the external electronic device 512 in response to the input.
  • the wearable device may, similar to screen 534, select another external electronic device, similar to screen 534, based on an input that is visible through FoV 110 and indicates selection of another external electronic device that is different from external electronic device 512.
  • a screen for executing functions applicable to the electronic device can be displayed.
  • the wearable device may, in response to an input indicating selection of at least one of the visual objects 151, 152, and 153 overlapping on at least a portion of the FoV 110, select the at least one visual object selected by the input.
  • a screen for executing functions applicable to at least one external electronic device corresponding to the object may be displayed.
  • the wearable device may display a UI for controlling the external electronic device, such as the screen 534, based on an input indicating selection of the external electronic device.
  • the wearable device may transmit a signal for controlling the external electronic device.
  • the wearable device may change the UI to display functions commonly applicable to the external electronic devices selected by the user. Meanwhile, based on the homogeneity of external electronic devices selected by the user, the wearable device may guide the user in additional selection of external electronic devices.
  • FIGS. 6A and 6B illustrate an example of an operation in which the wearable device 101 receives an input indicating that at least one of external electronic devices is selected based on a user's motion, according to an embodiment.
  • the wearable device 101 of FIGS. 6A to 6B may be an example of the wearable device 101 of FIG. 1, FIGS. 2 to 4, and/or the wearable device of FIGS. 5A to 5C.
  • the wearable device 101 of FIG. 1 may include the wearable device 101 of FIGS. 6A to 6B.
  • the FoV 110 of FIGS. 6A to 6C may include the FoV 110 of FIGS. 1A to 1B.
  • States 610 and 620 of FIGS. 6A and 6B indicate that the wearable device enters a mode (e.g., multi-selection mode) for receiving an input indicating selection of one or more external electronic devices. It may be a state for a while. For example, a wearable device may use an input that presses the wearable device for more than a specified period of time (e.g., long-press), or an input that taps the wearable device a specified number of times (e.g., twice) within a specified period of time (e.g., double-tap). In response, the mode can be entered.
  • a specified period of time e.g., long-press
  • taps the wearable device a specified number of times e.g., twice
  • a specified period of time e.g., double-tap
  • FIG. 6A illustrates an example state 610 in which the wearable device 101 identifies motion of a user's body part (e.g., hand 612), according to one embodiment.
  • the wearable device 101 may acquire an image including the hand 612 using a camera (eg, camera 240 in FIG. 2). Based on changes in the position and/or size of the hand 612 within the acquired image, the wearable device 101 may obtain data representing the motion of the hand 612. The data may include the hand 612 and/or the path of the fingers included in the hand 612.
  • the wearable device 101 may receive an input indicating selection of one or more external electronic devices based on the path of a body part such as the hand 612.
  • wearable device 101 may display a visual object 614 within FoV 110 to indicate the path of the hand 612 .
  • the visual object 614 may represent a tracked path based on a line while the wearable device tracks the path of the hand 612 .
  • the wearable device 101 is based on identifying a path having the shape of a closed curve, such as a visual object 614, and external electronic devices 121 included in the path within the FoV 110. 122) can be selected.
  • the motion of the hand 612 moving along a path having the shape of a closed curve like the visual object 614 may be a gesture for selecting the external electronic devices 121 and 122.
  • FIG. 6B illustrates an example state 620 in which the wearable device 101 receives input indicating that at least one external electronic device is selected based on an external electronic device, such as a pointing device 622, according to one embodiment. shows.
  • the pointing device 622 may be connected to the wearable device 101 by wire or wirelessly in order to receive a gesture of a user wearing the wearable device 101.
  • the user can control the wearable device 101 by moving the pointing device 622 or pressing a button on the pointing device 622.
  • the pointing device 622 may be an electronic device for remotely controlling another electronic device (e.g., the wearable device 101) that is different from the pointing device 622, such as the category 450 of FIG. 4. .
  • the wearable device 101 is detected by the pointing device 622 and may receive an input indicating selection of at least one external electronic device.
  • the wearable device 101 may display a visual object 624 indicating the path of the pointing device 622. Based on the visual object 624 having the shape of a closed curve, the wearable device 101 receives an input indicating selection of external electronic devices 121, 122, and 131 included within the closed curve within the FoV 110. can do.
  • the wearable device 101 uses the pointing device 622 and/or the hand 612 to input at least one of a plurality of pre-selected external electronic devices as well as an input indicating selection of a plurality of external electronic devices. It can receive input indicating exclusion. For example, after receiving a first input indicating selection of the external electronic devices 121, 122, and 131, such as the visual object 624, the wearable device 101 selects the path of the visual object 626. The motion of the pointing device 622 moving along can be identified. Based on the motion of the pointing device 622 moving along the path of the visual object 626, the wearable device 101 excludes the external electronic device 131 specified by the path of the visual object 626. A second input indicating that After sequentially receiving the first input and the second input, the wearable device 101 may determine that the external electronic devices 121 and 122 have been selected by the user.
  • the wearable device 101 may receive an input indicating selection of one or more external electronic devices based on the motion of the user's hand 612. Based on identifying that a plurality of external electronic devices are selected by the input, the wearable device 101 may identify functions commonly applicable to the plurality of external electronic devices. The wearable device 101 may identify functions commonly applicable to the plurality of external electronic devices based on hierarchical categories (eg, categories in FIG. 4). The wearable device 101 may display identified functions in the FoV 110 to support the user in comprehensive control of a plurality of external electronic devices based on the functions.
  • Receiving an input indicating that the wearable device 101 selects external electronic devices is not limited to the example operations of FIGS. 6A-6B.
  • the wearable device 101 selects external electronic devices based on the motion of the wearable device 101 and/or the user's remarks. The operation of receiving input is described.
  • the wearable device 101 of FIG. 1 may include the wearable device 101 of FIGS. 7A to 7B.
  • the wearable device 101 of FIGS. 7A to 7B may be an example of the wearable device of FIGS. 2 to 4, 5A to 5C, and/or the wearable device 101 of FIGS. 6A to 6B.
  • the states 710 and 720 of FIGS. 7A and 7B are, similar to the states 610 and 620 of FIGS. 6A and 6B, for receiving an input indicating that the wearable device selects one or more external electronic devices. This may be the state while entering the mode.
  • the wearable device 101 includes a sensor (e.g., sensor 260 in FIG. 2) for tracking the eye gaze and/or head motion of the user wearing the wearable device 101. ) may include.
  • the wearable device 101 may include a microphone (eg, microphone 270 in FIG. 2) to receive an audio signal.
  • the wearable device 101 can extract the utterance 714 from the audio signal. Extracting the speech 714 from the audio signal by the wearable device 101 may be performed based on an algorithm for speech-to-text (STT) and/or a neural network.
  • STT speech-to-text
  • the wearable device 101 may identify a designated keyword from an audio signal. For example, wearable device 101 may identify a designated keyword within utterance 714.
  • the designated keyword may include a demonstrative pronoun, such as keyword 716 in FIG. 7A.
  • wearable device 101 may detect the motion of a user wearing wearable device 101 (e.g., user changes in gaze, and/or motion of the user's head) can be identified.
  • the wearable device in response to identifying a designated keyword (e.g., keyword 716) from an audio signal, the wearable device may: And/or based on the motion of the user's head, an input indicating selection of at least one external electronic device may be received. For example, within the time interval in which the keyword 716 is received, the wearable device 101 may acquire data representing the user's gaze and/or the motion of the wearable device 101. Based on the data acquired within the time interval, the wearable device 101 may display a visual object 712 overlaid within the FoV 110. For example, the visual object 712 may represent the path of the wearable device 101 due to the user's gaze and/or the motion of the user's head within the time interval.
  • a designated keyword e.g., keyword 716
  • the wearable device may: And/or based on the motion of the user's head, an input indicating selection of at least one external electronic device may be received. For example, within the time interval in which the keyword 716 is received, the wearable
  • the wearable device 101 receives an input indicating selection of one or more external electronic devices based on a visual object 712 representing motion received within the time interval in which the keyword 716 is received. You can receive it.
  • the wearable device 101 may include an external electronic device 121 included within a closed curve represented by a visual object 712 within the FoV 110, and an external electronic device corresponding to the visual object 153, It can be determined by external electronic devices selected by .
  • the wearable device 101 collectively selects external electronic devices selected by the keyword 716 in the statement 714 based on other keywords included in the statement 714 and different from the keyword 716. It can be controlled with .
  • the wearable device 101 in response to receiving an utterance 714 such as “turn all of those off,” the wearable device 101 enters a keyword (e.g., “turn all of those off”) for selecting external electronic devices within the utterance 714.
  • a keyword e.g., “turn off” for selecting a function to be commonly applied to the external electronic devices can be identified.
  • wearable device 101 may select external electronic devices (e.g., external electronic device 121, and visual objects) selected by keywords 716 in utterance 714.
  • external electronic devices e.g., external electronic device 121, and visual objects
  • External electronic devices corresponding to (153) can be turned off all at once.
  • FIG. 7B shows a function that the wearable device 101 executes based on keywords included in the utterance while identifying it (e.g., utterance 714 in FIG. 7A) from an audio signal, according to one embodiment.
  • An example of the timing diagram 720 shown is shown.
  • the wearable device 101 can obtain text from an audio signal based on STT.
  • wearable device 101 may execute the particular function. .
  • the wearable device 101 can obtain text representing a speech from an audio signal. For example, within the time interval 721 starting from time t1, the wearable device 101 may perform conversion (eg, STT) between speech and text.
  • conversion eg, STT
  • a designated keyword notifying the start of a voice command for controlling the wearable device 101 can be identified. For example, a designated keyword that signals the start of a voice command may be "Hi bixby", or may include text entered by the user (e.g., "Hi (text)").
  • the wearable device 101 can obtain text representing a continuous voice command after the designated keyword from time t2 onwards. there is. For example, within the time interval 723 after time t2, the wearable device 101 may obtain a voice command from an audio signal.
  • the time section 725 after time t2 may be a time section in which the wearable device 101 performs the operation indicated by the voice command.
  • the wearable device 101 can identify a keyword indicating selection of one or more external electronic devices, such as a demonstrative pronoun, from the text. there is.
  • the wearable device 101 may detect the user's motion, as described above with reference to FIG. 7A. Based on the detected motion, the wearable device 101 can identify one or more external electronic devices.
  • the wearable device 101 may identify a function to be executed by one or more external electronic devices selected by the time interval 724. For example, in response to identifying a designated keyword for deactivating an external electronic device, such as “turn off,” within the remaining time interval, wearable device 101 may activate one or more selected keywords based on time interval 724. External electronic devices can transmit a signal for deactivation. In response to the signal, the one or more external electronic devices may be collectively deactivated. The wearable device 101 may transmit the signal after time t5 within the time interval 725.
  • the wearable device 101 may control one or more external electronic devices connected to the wearable device 101 based on a Korean statement such as “Turn off the light over there!”
  • the wearable device 101 selects one or more external electronic devices and collectively controls the selected one or more external electronic devices using an audio signal and the user's motion. It can receive the input it represents. Based on the input, the wearable device 101 can control one or more external electronic devices in batches. Although the operation of the wearable device 101 to collectively deactivate external electronic devices based on a user's comment has been described, the embodiment is not limited thereto.
  • the wearable device 101 executes a function corresponding to a text corresponding to one of functions commonly applicable to a plurality of external electronic devices selected by the user from the user's utterance. A signal for doing so may be transmitted to the plurality of external electronic devices.
  • the wearable device 101 performs the user's motion described above with reference to FIGS. 6A to 6B, and/or FIGS. 7A to 7B, and/or An operation of guiding the selection of other external electronic devices similar to the external electronic devices selected by the user, based on external electronic devices selected based on an utterance, is described.
  • FIGS. 8A to 8C illustrate an example of an operation in which a wearable device displays a visual object to guide selection of at least one external electronic device, according to an embodiment.
  • the wearable device 101 of FIG. 1 may include the wearable device of FIGS. 8A to 8C.
  • the wearable device of FIGS. 8A to 8C may be an example of the wearable device of FIGS. 2 to 4, 5A to 5C, and/or the wearable device 101 of FIGS. 6A to 6B and 7A to 7B. .
  • FIG. 8A exemplarily illustrates a state 810 after the wearable device receives an input indicating selection of the external electronic device 121 within the FoV 110, according to an embodiment.
  • the input may be received based on processing of the user's motion and/or speech, as described above with reference to FIGS. 6A-6B and/or 7A-7B.
  • the wearable device may display a visual object 815 within the FoV 110, superimposed on the external electronic device 121.
  • An example in which a wearable device displays a visual object 815 in the form of an outline within the FoV 110 of the external electronic device 121 is shown, but the embodiment is not limited thereto.
  • the visual object 815 may have a shape and/or color to highlight the external electronic device 121 within the FoV 110 .
  • the wearable device may receive an input indicating selection of another external electronic device different from the external electronic device 121 corresponding to the visual object 815.
  • a wearable device may be an external electronic device other than the external electronic device 121 (e.g., external electronic devices 122, 123, 131, 132, 141, 142, 161, 171), and/or a visual object.
  • An input indicating selection of external electronic devices corresponding to each of the fields 151, 152, and 153 may be received.
  • State 820 of FIG. 8B may exemplarily illustrate a state after receiving an input indicating selection of a visual object 152 within state 810 of FIG. 8A.
  • the wearable device may visualize that the visual object 152 has been selected in response to an input indicating selection of the visual object 152. For example, by displaying the visual object 821 overlapping with the visual object 152, the wearable device may indicate that the visual object 152 has been selected.
  • the wearable device displays a plurality of external electronic devices selected by the user (e.g., external electronic device 121, and external electronic device 152 corresponding to the visual object 152). At least one visual object (eg, visual objects 822, 823, and 824) that guides the selection of another external electronic device similar to the device may be displayed. Based on identifying that a plurality of external electronic devices (e.g., external electronic device 121 and an external electronic device corresponding to the visual object 152) are selected by the user, the wearable device selects the plurality of external electronic devices Each category can be identified.
  • the wearable device may identify the category (e.g., category 421) of the external electronic device 121 in which the visual object 815 overlaps among the hierarchical categories of FIG. 4 .
  • the wearable device may identify the category (e.g., category 423) of the external electronic device over which the visual object 152 overlaps.
  • the wearable device may identify external electronic devices (e.g., external electronic devices of the same type as the external electronic devices selected by the user) within a category that includes all external electronic devices selected by the user.
  • the external electronic devices identified by the wearable device may be a union of categories into which each of the external electronic devices selected by the user is classified.
  • the external electronic devices identified by a wearable device may be identified based on a higher category that the categories have in common.
  • the wearable device is classified into different categories 421 and 423 of FIG. 4 .
  • External electronic devices can be identified.
  • the wearable device is another external electronic device classified into the same category as the external electronic device 121 selected by the user (e.g., an external electronic device corresponding to the visual object 153, and an external electronic device 122).
  • the wearable device may be an external electronic device corresponding to the visual object 152 selected by the user and another external electronic device classified into the same category (e.g., an external electronic device corresponding to the visual object 151, and an external electronic device Device 122) can be identified.
  • a wearable device may display a visual object representing another external electronic device similar to the external electronic devices selected by the user (e.g., an external electronic device of the same type as the external electronic devices selected by the user). there is.
  • the wearable device can display the visual object in conjunction with the other external electronic device.
  • the visual object is displayed based on a shape and/or color different from the visual objects 815 and 821 displayed in conjunction with external electronic devices selected by the user to guide selection of the other external electronic device. It can be.
  • the wearable device interacts with another external electronic device (e.g., an external electronic device corresponding to the visual object 153) classified into the same category as the external electronic device 121 selected by the user to create a visual object.
  • another external electronic device e.g., an external electronic device corresponding to the visual object 153 classified into the same category as the external electronic device 121 selected by the user to create a visual object.
  • the visual object 815 displayed in conjunction with the external electronic device 121 may be displayed based on the first type indicating that it is selected by the user.
  • the visual object 825 displayed in conjunction with the visual object 153 may be different from the first type and may be displayed based on the second type to guide the user's additional selection.
  • the wearable device is selected by the user and is classified into another external electronic device (e.g., external electronic device 122, and visual object) classified into the same category as the external electronic device corresponding to the visual object 152.
  • Visual objects 823 and 822 may be displayed by overlapping with the external electronic device corresponding to 151.
  • the wearable device displays the visual objects 822, 823, and 825 along with the visual objects 815 and 821 to display other external electronic devices similar to the external electronic devices selected by the user, It can be emphasized within FoV (110).
  • the wearable device may display a visual object 824 for selecting all of the other external electronic devices.
  • the visual object 824 may include designated text (eg, “Select the remaining objects”) to guide selection of all of the other external electronic devices.
  • State 830 of FIG. 8C may exemplarily illustrate a state after receiving an input indicating selection of a visual object 824 within state 820 of FIG. 8B.
  • the wearable device displays visual objects 822, 823, and 825 to guide the user's selection within state 820 of FIG. 8B, and visual objects to indicate that the selection has been made by the user. It can be replaced with (831, 832, 833).
  • the wearable device may determine that all of the external electronic devices 121 and 122 and the external electronic devices corresponding to the visual objects 151, 152 and 153 have been selected by the user. there is.
  • the wearable device displays first type visual objects 815 and 821 indicating that the plurality of external electronic devices are selected based on the input indicating selection of the plurality of external electronic devices. ) can be displayed. While displaying the visual objects 815 and 821 of the first type, the wearable device guides the selection of another external electronic device that is different from the first type and is identical to the plurality of external electronic devices. For, visual objects (e.g., visual objects 822, 823, 824, 825) can be displayed. The wearable device may use a visual object different from the first type to inform the user of another external electronic device that is the same as the plurality of external electronic devices, or to guide the user in selecting the other external electronic device.
  • visual objects e.g., visual objects 822, 823, 824, 825
  • the wearable device may use a visual object different from the first type to inform the user of another external electronic device that is the same as the plurality of external electronic devices, or to guide the user in selecting the other external electronic device.
  • a wearable device is used to execute functions commonly applicable to a plurality of external electronic devices selected by the user.
  • functions commonly applicable to a plurality of external electronic devices selected by the user An example of an operation for displaying a screen or visualizing data acquired from a plurality of external electronic devices is described.
  • FIGS. 9A and 9B illustrate an example of a screen displayed by a wearable device based on a category of an external electronic device selected by a user, according to an embodiment.
  • the wearable device 101 of FIG. 1 may include the wearable device of FIGS. 9A to 9B.
  • the wearable device of FIGS. 9A to 9B is the wearable device of FIGS. 2 to 4, 5A to 5C, and/or the wearable device 101 of FIGS. 6A to 6B, 7A to 7B, and 8A to 8C. ) may be an example of.
  • FIG. 9A illustrates a state 910 in which the wearable device displays a screen 911 in response to an external electronic device 121 and an input indicating selection of an external electronic device corresponding to a visual object 152. It is shown as The input may be received based on the user's motion, and/or speech, as described above with reference to FIGS. 6A-6B and/or 7A-7B.
  • the wearable device displays visual objects 901 to represent external electronic devices selected by the user (e.g., external electronic device 121 and external electronic device corresponding to visual object 152). 902) can be displayed in conjunction with the external electronic devices.
  • the wearable device can identify functions commonly applicable to external electronic devices selected by the user. For example, the wearable device may identify functions commonly applicable to the external electronic devices based on metadata of the external electronic devices selected by the user and/or categories of each of the external electronic devices. . According to one embodiment, the wearable device may display a screen 911 within the FoV 110 for executing functions commonly applicable to the external electronic devices.
  • the wearable device displays visual objects 912, 913, 914, and 915 within the screen 911 for executing functions commonly applicable to external electronic devices selected by the user. ) can be displayed.
  • the wearable device may display buttons for collectively activating or deactivating the external electronic devices on the screen 911.
  • the wearable device displays a visual object ( 913) can be displayed.
  • the wearable device may display a visual object 914 including a palette for adjusting the colors of all of the external electronic devices on the screen 911.
  • the wearable device may display a list of one or more colors commonly supported by the external electronic devices.
  • the wearable device may display a visual object 915 on the screen 911 for adjusting the color temperature of all of the external electronic devices.
  • the wearable device adjusts the light intensity, color, and color temperature.
  • Visual objects 913, 914, and 915 can be displayed for comprehensive adjustment.
  • the wearable device can control all external electronic devices selected by the user.
  • the wearable device requests the external electronic device to execute a function mapped to the visual object selected by the input.
  • the wearable device connects to the external electronic devices selected by the user (e.g., the external electronic device 121 and the visual object 152).
  • Signals indicating the amount of light adjusted by the input may be transmitted to a corresponding external electronic device.
  • the external electronic devices may operate based on the signals to have the amount of light adjusted by the user.
  • the wearable device may change the screen 911 based on identifying that the external electronic devices selected by the user have changed. For example, when the user additionally selects an external electronic device, the wearable device selects one of the visual objects 912, 913, 914, and 915 in the screen 911 based on the functions applicable to the added external electronic device. At least one display can be aborted. For example, when the user excludes the selection of a specific external electronic device, the wearable device may change the screen 911 based on functions commonly applicable to one or more external electronic devices finally selected by the user. there is.
  • a state 920 in which the wearable device changes the screen 911 is exemplarily shown. It shows.
  • the wearable device displays a visual object 921, superimposed on external electronic device 123, as seen through FoV 110. can be displayed.
  • Each of the visual objects 901, 902, and 921 may be displayed in conjunction with external electronic devices selected by the user.
  • the wearable device may display the screen 911 based on functions commonly applicable to external electronic devices corresponding to the visual objects 901, 902, and 921. As the number of external electronic devices selected by the user increases, the number of functions commonly applicable to the external electronic devices may decrease.
  • the wearable device may change the screen 911 based on changes in functions commonly applicable to the external electronic devices.
  • the wearable device adjusts the color and color temperature within the screen 911.
  • the display of visual objects 914 and 915 may be stopped.
  • the wearable device may maintain displaying other visual objects 912, 913 within the screen 911 that are different from visual objects 914, 915.
  • the wearable device includes a visual object 913 for controlling the amount of light within the screen 911, and a visual object (913) for controlling the power of external electronic devices corresponding to the visual objects 901, 902, and 921. 912) can be displayed.
  • the wearable device not only has the function of collectively turning on or off external electronic devices selected by the user, such as the visual object 912, but also has other functions commonly applicable to the external electronic devices.
  • Visual objects e.g., visual objects 913, 914, and 915
  • the wearable device lists functions commonly applicable to external electronic devices based on the metadata and/or categories of the external electronic devices, it is simplified for the user of the wearable device to collectively control external electronic devices. It can be.
  • FIGS. 10A to 10C an example of an operation in which a wearable device processes information received from external electronic devices selected by a user, according to an embodiment, is described.
  • FIGS. 10A to 10C illustrate an example of a screen displayed by a wearable device based on external electronic devices selected by a user, according to an embodiment.
  • the wearable device 101 of FIG. 1 may include the wearable device of FIGS. 10A to 10C.
  • the wearable device of FIGS. 10A to 10C is the wearable device of FIGS. 2 to 4, 5A to 5C, and 9A to 9B, and/or the wearable device of FIGS. 6A to 6B, 7A to 7B, and 8A to FIG. This may be an example of the wearable device 101 of 8c.
  • State 1010 of FIG. 10A is an example state in which the wearable device displays a screen 1011 based on input indicating selection of external electronic devices 141 and 142 for providing air-related functions. You can.
  • the wearable device may display a screen 1011 in the FoV 110 for interacting with the external electronic devices 141 and 142 selected by the input.
  • the wearable device may display a visual object 1012 including a button for collectively turning on or off the external electronic devices 141 and 142 selected by the input.
  • the wearable device may obtain data measured from each of the external electronic devices 141 and 142 in response to an input indicating selection of the external electronic devices 141 and 142.
  • the wearable device may display data acquired from the external electronic devices 141 and 142 on the screen 1011.
  • the wearable device may display visual objects 1014 and 1015 representing data (e.g., air quality) measured from an external electronic device 141, which is an air purifier, within the screen 1011.
  • data e.g., air quality
  • An example in which a wearable device displays visual objects 1014 and 1015 representing air quality measured at two points from an external electronic device 141 is shown, but the embodiment is not limited thereto.
  • the wearable device may display a combination of data measured by each of the external electronic devices 141 and 142 on the screen 1011. For example, based on receiving data representing the power consumption of each of the external electronic devices 141 and 142, the wearable device displays a visual object 1013 representing the combination of the power consumption on the screen 1011. can do.
  • the wearable device can display the combined power consumption of the external electronic devices 141 and 142 based on a unit of power such as watt.
  • the wearable device may output the combination of power consumption in the format of an electricity bill (e.g., “7,950 KRW” in the visual object 1013).
  • the operation performed by the wearable device based on an input indicating selection of a plurality of external electronic devices is not limited to the above-described comprehensive control of external electronic devices or visualization of data received from external electronic devices.
  • the wearable device may display a visual object for executing a collaborative function of a plurality of external electronic devices selected by the user.
  • the cooperative function may be executed, for example, based on individual control of a plurality of external electronic devices.
  • State 1020 of FIG. 10B is a state in which the wearable device displays the screen 1023 based on input indicating selection of the external electronic device 123, which is a lighting fixture, and the external electronic device 161, which is a game pad. exemplifies.
  • the wearable device may display visual objects 1021 and 1022 in conjunction with external electronic devices 123 and 161, respectively.
  • the wearable device may display a screen 1023 for visualizing functions commonly applicable to the external electronic devices 123 and 161 selected by the input.
  • the wearable device is assigned to a group of external electronic devices 123 and 161, along with a visual object 1024 for collectively turning on or off the external electronic devices 123 and 161.
  • a visual object 1025 for executing the specified function may be displayed.
  • the wearable device is associated with all of the external electronic devices 123 and 161 selected by input within the screen 1023 and displays a visual object 1025 for individually controlling the external electronic devices 123 and 161. ) can be displayed.
  • the wearable device may display a visual object 1025 for executing a function of controlling the light of an external electronic device 123, a lighting fixture, based on the external electronic device 161, which is a game pad.
  • the wearable device may transmit information for controlling the external electronic device 123 to the external electronic device 161.
  • an example state 1030 is shown in which the wearable device displays a screen 1034 based on an input indicating selection of external electronic devices 121, 123, and 171.
  • the wearable device responds to the input based on visual objects 1031, 1032, 1033 superimposed on external electronic devices 121, 123, 171 visible through FoV 110.
  • the external electronic devices 121, 123, and 171 selected can be highlighted.
  • the wearable device displays external electronic devices 121, 121, and 171 together with a visual object 1035 for collectively controlling the activation of the external electronic devices 121, 123, and 171 selected by the input.
  • Visual objects 1036 and 1037 for executing functions (e.g., scheduled lights off) assigned to the groups 123 and 171 may be displayed.
  • the wearable device may select, within the time interval identified by external electronic device 171, a watch, another external electronic device included within the group (e.g. , the function of controlling external electronic devices 121 and 123 can be executed.
  • the wearable device controls the amount of light of the external electronic devices 121 and 123 within a time interval identified by the external electronic device 171. The function can be executed.
  • the operation of the wearable device to control external electronic devices selected by the user is not limited to the above-described embodiment.
  • the wearable device may display the state of charge (SOC) of the battery included in each of the external electronic devices individually or in combination, based on an input for selecting external electronic devices including a battery. . 1A to 1B, in response to an input indicating selection of the external electronic device 131, which is a surveillance camera, and the external electronic device 132, which is a television, the wearable device selects the external electronic device 131, which is a surveillance camera.
  • a visual object for executing a function for displaying an image and/or video acquired by based on the external electronic device 132 may be displayed. If a function commonly applicable to the external electronic devices selected by the user is not identified, the wearable device may display a message indicating that there is no function commonly applicable to the external electronic devices in the FoV 110. there is.
  • FIG. 11 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • the wearable device of FIG. 11 may include the wearable device described based on the above-described drawings.
  • the operations of FIG. 11 may be performed by the wearable device 101 of FIGS. 1 and 2 and/or the processor 210 of FIG. 2 .
  • a wearable device may identify an input indicating selection of at least one of a plurality of external electronic devices.
  • the wearable device may identify an external electronic device based on metadata received from a server and/or an external electronic device. Based on the metadata, the wearable device may establish a communication link to transmit and/or receive signals with an external electronic device.
  • the wearable device may identify the input based on the motion of the user wearing the wearable device, as described above with reference to FIGS. 6A and 6B.
  • the wearable device may identify the input based on the user's utterance and/or the user's motion, as described above with reference to FIGS. 7A and 7B.
  • the wearable device may determine whether two or more external electronic devices are selected by the input. Based on operation 1110, if an input indicating selection of one external electronic device is received (1115-No), within operation 1120, according to one embodiment, the wearable device performs operation 1110.
  • a screen for interacting with an external electronic device selected by an input may be displayed. For example, like the screen 534 of FIG. 5C, the wearable device displays a screen for controlling one external electronic device selected by the input using the FoV of the wearable device (e.g., the FoV of FIGS. 1A to 1B ( 110))).
  • the wearable device selects the two external electronic devices selected by the input.
  • a category containing all of more than one external electronic device can be identified.
  • the wearable device may identify categories in which each of the external electronic devices is included based on metadata about the external electronic devices selected by the input. Based on the categories and/or their superordinate categories, the wearable device may identify a category that includes all of the external electronic devices selected by the input.
  • the wearable device uses one or more visual signals to distinguish external electronic devices included in the category of operation 1125 among a plurality of external electronic devices.
  • Objects can be displayed.
  • the one or more visual objects may be displayed within the FoV of the wearable device in conjunction with external electronic devices included in the category of operation 1125.
  • the one or more visual objects may include visual objects for indicating selection of external electronic devices by the input of the operation 1110, such as the visual objects 815 and 821 of FIG. 8B.
  • the one or more visual objects may include at least one visual object for representing an external electronic device similar to the external electronic devices selected by the user, such as the visual objects 822, 823, and 825 of FIG. 8B. .
  • the wearable device displays a screen based on functions commonly applicable to two or more external electronic devices selected by the input of operation 1110.
  • Functions commonly applicable to external electronic devices selected by the input may be identified based on metadata of the external electronic devices and/or categories in which the external electronic devices are included.
  • the screen may include the screens 911 and 921 of FIGS. 9A and 9B and/or the screens 1011, 1023, and 1034 of FIGS. 10A and 10C.
  • the wearable device can comprehensively control external electronic devices selected by the input of operation 1110.
  • FIGS. 12A and 12B show an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • the wearable device of FIGS. 12A to 12B may include the wearable device described based on the above-described drawings.
  • the operations of FIGS. 12A and 12B may be performed by the wearable device 101 of FIGS. 1 and 2 and/or the processor 210 of FIG. 2 .
  • the operations of FIGS. 12A-12B may be related to the operations of FIG. 11 .
  • a wearable device may acquire metadata indicating external electronic devices.
  • the wearable device can obtain the metadata through a server connected to the wearable device.
  • the wearable device may acquire the metadata based on direct communication between the external electronic device and the wearable device.
  • the metadata may include information for classifying external electronic devices based on the hierarchical categories described above with reference to FIG. 4 .
  • the wearable device may determine whether at least one virtual object mapped to at least one external electronic device has been identified. If the at least one virtual object is identified (1215 - Yes), within operation 1220 of FIG. 12A, according to one embodiment, the wearable device may display the identified at least one virtual object in the display. there is. The at least one virtual object may include the visual objects 151, 152, and 153 of FIG. 1B. If the at least one virtual object is not identified (1215-No), the wearable device may bypass the display of the at least one virtual object based on the operation 1220.
  • the wearable device receives input indicating selection of an external object, including at least one virtual object and/or external electronic devices. You can judge whether or not.
  • the input received based on operation 1225 of FIG. 12A may include the input of operation 1110 of FIG. 11.
  • the wearable device within operation 1230, may determine whether the external object selected by the input corresponds to at least one of external electronic devices. For example, the wearable device may determine whether the external object selected by the input is an external electronic device indicated by the metadata of the operation 1210. For example, the wearable device may determine whether the external object selected by the input corresponds to the displayed virtual object based on the operation 1220.
  • the wearable device determines that the external object is an external electronic device.
  • a visual object may be displayed indicating that it does not correspond to the object.
  • the wearable device may display a screen for identifying the external object selected by the input as an external electronic device.
  • the wearable device selects a plurality of It can be determined whether external electronic devices have been selected. Operation 1240 of FIG. 12B may be performed similarly to operation 1115 of FIG. 11. If one external electronic device is selected by the input (1240-No), within operation 1245, according to one embodiment, the wearable device displays a screen for interacting with the external electronic device selected by the input. You can. Operation 1245 of FIG. 12B may be performed similarly to operation 1120 of FIG. 11 .
  • the wearable device selects the plurality of external electronic devices selected by the input based on metadata.
  • a category containing all electronic devices can be identified. Identifying the category may be performed similarly to operation 1125 of FIG. 11 .
  • the category that the wearable device identifies based on the operation 1250 may further include not only a plurality of external electronic devices selected by the input, but also other external electronic devices connected to the wearable device.
  • the wearable device displays at least one visual object in conjunction with at least one virtual object included in a category and/or external electronic devices. It can be displayed.
  • the wearable device may display the virtual object selected by the input of operation 1225 and/or at least one visual object overlaid on the external electronic device. Since the category identified based on operation 1250 further includes not only a plurality of external electronic devices selected by the input of operation 1225, but also other external electronic devices connected to the wearable device, the wearable device may be connected to the other external electronic devices. Visual objects representing electronic devices may be further displayed. Operation 1255 of FIG. 12B may be performed similarly to operation 1130 of FIG. 11 .
  • the wearable device may display a screen based on functions applicable to all of a plurality of external electronic devices selected by input.
  • the functions displayed within the screen may be identified based on the category of operation 1125.
  • Operation 1260 of FIG. 12B may be performed similarly to operation 1135 of FIG. 11 .
  • FIG. 13 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • the wearable device of FIG. 13 may include the wearable device described based on the above-described drawings.
  • the operations of FIG. 13 may be performed by the wearable device 101 of FIGS. 1 and 2 and/or the processor 210 of FIG. 2 .
  • the operations of FIG. 13 may be related to the operations of FIGS. 11 and 12A-12B.
  • the operations of FIG. 13 are not inextricably linked to the operations of FIGS. 11 and 12A to 12B.
  • the wearable device may begin receiving an audio signal from the user using a microphone (e.g., microphone 270 in FIG. 2). .
  • the wearable device may begin receiving an audio signal based on a designated keyword indicating the start of a voice command, such as a keyword received through time interval 722 of FIG. 7B.
  • the wearable device starts receiving an audio signal based on operation 1310, it may include an operation of starting to acquire text representing the utterance included in the audio signal.
  • a wearable device may obtain a designated keyword for selecting one or more external electronic devices from an audio signal.
  • the designated keywords may be either a demonstrative pronoun to select a single external electronic device (e.g., “this”, and/or “that”), or a demonstrative pronoun to select a plurality of external electronic devices (e.g., “all of those”). , “these”, and/or “those”).
  • the wearable device detects a sensor (e.g., sensor 260 of FIG. 2) within the time interval in which the specified keyword of operation 1320 is received. , and data representing the user's motion can be obtained.
  • a wearable device can acquire data representing the user's gaze (eg, an image capturing the user's eyes).
  • a wearable device may detect the motion of the head of a user wearing the wearable device based on data representing the motion of the wearable device.
  • the wearable device may identify one or more external electronic devices selected by the user based on data obtained based on operation 1330. there is. Referring to the operations 1320 and 1330 of FIG. 13, the wearable device uses one or more external electronic devices based on the motion performed by the user within the time interval in which the user uttered the designated keyword of the operation 1320. Input indicating selection of devices may be received. The input may correspond to the input of operation 1110 of FIG. 11 and/or the input of operation 1225 of FIG. 12A. For example, based on one or more external electronic devices selected based on the operation 1340, the wearable device may perform at least one of the operations 1120, 1125, 1130, and 1140 of FIG. 11.
  • the wearable device performs at least one of the operations 1230, 1235, 1240, 1245, 1250, 1255, and 1260 of FIGS. 12A and 12B. You can do one.
  • Figure 14 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • the wearable device of FIG. 14 may include the wearable device described based on the above-described drawings.
  • the operations of FIG. 14 may be performed by the wearable device 101 of FIGS. 1 and 2 and/or the processor 210 of FIG. 2 .
  • the operations of FIG. 14 may be related to the operations of FIGS. 11 and 12A-12B.
  • the wearable device may receive an input indicating selection of a first external electronic device and a second external electronic device.
  • the input of FIG. 14 may include the input of operation 1110 of FIG. 11 and/or the input of operation 1225 of FIG. 12A.
  • the wearable device may identify third external electronic devices in a category that includes both the first external electronic device and the second external electronic device.
  • the third external electronic devices may include a first external electronic device and a second external electronic device in operation 1410.
  • the wearable device may identify the first category into which the first external electronic device is classified from the first metadata about the first external electronic device.
  • the wearable device may identify the second category into which the second external electronic device is classified from the second metadata about the second external electronic device. Based on the upper category including the first category and the second category, the wearable device can identify the third external electronic devices.
  • Operation 1420 of FIG. 14 may be related to operation 1125 of FIG. 11 and/or operation 1250 of FIG. 12B.
  • the wearable device displays a first visual object and a second visual object through a display (e.g., display 230 of FIG. 2).
  • the display can be displayed in conjunction with a first external electronic device and a second external electronic device.
  • the wearable device may perform operation 1430.
  • the wearable device may display the first visual object and the second visual object by overlapping each of the first external electronic device and the second external electronic device shown through the display.
  • the wearable device uses at least one of the third external electronic devices, which is different from the first external electronic device and the second external electronic device.
  • At least one third visual object can be displayed in conjunction with the fourth external electronic device.
  • the at least one fourth external electronic device may be an external electronic device other than the first external electronic device and the second external electronic device among the third external electronic devices.
  • the at least one third visual object may have a different shape and/or color than the first and second visual objects of operation 1430.
  • the wearable device may display a first external electronic device selected by the input of the operation 1410 based on the third visual object of the operation 1440, and an external electronic device similar to the second external electronic device (e.g., at least It can guide the selection of a fourth external electronic device).
  • At least one of the operations 1420, 1430, and 1440 of FIG. 14 may be related to operation 1130 of FIG. 11 and/or operation 1225 of FIG. 12A.
  • Figure 15 shows an example of a flowchart for explaining the operation of a wearable device, according to an embodiment.
  • the wearable device of FIG. 15 may include the wearable device described based on the above-described drawings.
  • the operations of FIG. 15 may be performed by the wearable device 101 of FIGS. 1 and 2 and/or the processor 210 of FIG. 2 .
  • the operations of Figure 15 may be related to the operations of Figures 11 and 12A-12B.
  • the wearable device may receive a first input indicating selection of one or more first external electronic devices among a plurality of external electronic devices. there is.
  • the first input similar to the input of operation 1110 of FIG. 11 and the input of operation 1225 of FIG. 12A, is received based on identification of the user's motion and/or the user's utterance by the wearable device. It can be.
  • the wearable device may identify one or more first functions applicable to one or more first external electronic devices.
  • the first functions may be identified based on a category that includes all of the one or more first external electronic devices.
  • the wearable device may identify the first functions based on metadata about one or more first external electronic devices.
  • the wearable device may display one or more visual objects for executing one or more first functions.
  • the wearable device may display the one or more visual objects in one area of the display, such as the screen 911 of FIG. 9A.
  • the wearable device displays the one or more visual objects using a portion other than the portion of the display where the one or more first external electronic devices selected by the first input of operation 1510 are shown. You can.
  • the at least one second external electronic device may be different from the one or more first external electronic devices of operation 1510. If the second input is not received (1540-No), the wearable device may control one or more first external electronic devices in response to a third input regarding one or more visual objects within operation 1570. there is. Before receiving the second input, the wearable device may maintain displaying one or more visual objects for execution of one or more first functions based on operation 1530.
  • the wearable device selects at least one second external electronic device.
  • At least one second function applicable to the device may be identified. Similar to operation 1520, the wearable device identifying the at least one second function includes metadata about the at least one second external electronic device, and/or the at least one second external electronic device. It can be performed based on the category.
  • the wearable device displays at least one visual object for a function different from the at least one second function, from among one or more visual objects. You can stop. For example, among the one or more visual objects displayed in the display based on the operation 1530, the display of at least one visual object that is different from the at least one second function of the operation 1550 may be interrupted by the wearable device. You can. By operation 1560, among the one or more visual objects of operation 1530, display of at least one visual object for execution of at least one second function of operation 1550 may be maintained.
  • the wearable device may guide the selection of external electronic devices of the same type among a plurality of external electronic devices connected to the wearable device.
  • the wearable device may recommend to the user another external electronic device similar to the plurality of external electronic devices.
  • the wearable device may display a screen for executing one or more functions commonly applicable to the plurality of external electronic devices.
  • a method may be required for a wearable device to provide a user interface for selecting at least one function applicable to a plurality of external electronic devices.
  • the wearable device 101 may include a display 230 and a processor 210.
  • the processor may be configured to receive an input indicating selection of a first external electronic device and a second external electronic device among a plurality of external electronic devices displayed through the display.
  • the processor may be configured to identify third external electronic devices in a category that includes both the first external electronic device and the second external electronic device, in response to the input.
  • the third external electronic devices may be configured to include the first external electronic device and the second external electronic device.
  • the processor displays a first visual object and a second visual object (e.g., visual objects 815 and 821) indicating that the first external electronic device and the second external electronic device are selected, respectively.
  • the processor may be configured to display in conjunction with the first external electronic device and the second external electronic device that are visible through the external electronic device.
  • the processor is configured to operate in conjunction with at least one fourth external electronic device, which is different from the first external electronic device and the second external electronic device, among the third external electronic devices. It may be configured to display at least one third visual object (eg, visual objects 822, 823, and 825) that guides selection of the device.
  • the processor may display the first visual object and the second visual object by superimposing them on the first external electronic device and the second external electronic device displayed through the display.
  • a wearable device provides a user with a UI (e.g., screens 534, 911, 1011, 1023, 1034)) can be provided.
  • a wearable device may provide a user interface for selecting at least one function applicable to a plurality of external electronic devices.
  • the processor may select the first metadata for the first external electronic device and the second metadata for the second external electronic device. 1 category, and may be configured to identify a second category of the second external electronic device.
  • the processor may be configured to display executable objects for controlling the first external electronic device and the second external electronic device based on the first category and the second category. there is.
  • the processor may include one or more functions commonly included in a first set of functions applicable to an external electronic device in the first category, and a second set of functions applicable to an external object in the second category. It can be configured to identify them.
  • the processor may be configured to display within the display the executable objects for executing the one or more functions.
  • the processor determines that the first category of the first external electronic device and the second category of the second external electronic device are superior to each other. Based on the category, it may be configured to identify the category in which the third external electronic devices are included.
  • the wearable device may further include a communication circuit 250.
  • the processor may be configured to obtain, through the communication circuit, metadata including the first metadata and the second metadata and indicating functions applicable to each of a plurality of external electronic devices.
  • the input may be a first input.
  • the processor in response to a second input indicating selection of one of the executable objects, sends the first external electronic device and the second external electronic device to the object selected by the second input.
  • the processor may be configured to receive first data acquired by the first external electronic device and second data acquired by the second external electronic device in response to the input. .
  • the processor may be configured to display, on the display, a fourth visual object based on a combination of the first data and the second data.
  • the input may be a first input.
  • the processor may be configured to identify one or more functions applicable to all of the third external electronic devices in response to a second input indicating selection of the at least one third visual object.
  • the processor may be configured to display, within the display, one or more fourth visual objects for executing the one or more functions.
  • the electronic device may include a sensor 260 for tracking the eye gaze of a user wearing the wearable device.
  • the electronic device may include a microphone 270 for receiving audio signals.
  • the processor may be configured to identify a designated keyword 716 from the audio signal received by the microphone.
  • the processor may be configured to, in response to identifying the designated keyword, receive the input based on the time interval 724 in which the designated keyword was identified and the gaze detected by the sensor.
  • the processor directs the first external electronic device and the second external electronic device to the other keyword. It can be configured to request execution of the function indicated by .
  • the method of the wearable device 101 includes a first method indicating selecting one or more first external electronic devices among a plurality of external electronic devices displayed through the display of the wearable device.
  • 1 May include an operation 1510 of receiving an input.
  • the method may include an operation 1520 of identifying one or more first functions applicable to the one or more first external electronic devices in response to the first input.
  • the method may include an operation 1530 of displaying one or more visual objects for execution of the one or more first functions within the display.
  • the method may, in response to a second input indicating selection of at least one second external electronic device, within a state in which the one or more visual objects are displayed, select at least one item applicable to the at least one second external electronic device. It may include an operation 1550 of identifying the second function.
  • the method may include an operation 1560 of ceasing display of at least one visual object among the one or more visual objects for a function that is different from the at least one second function.
  • a wearable device may provide a UI that responds to changes in the user's selection of external electronic devices.
  • the operation of displaying the one or more visual objects may include the operation of receiving a third input indicating selection of one of the one or more visual objects.
  • the operation of displaying the one or more visual objects may include, in response to the third input, executing, among the one or more first functions, a function corresponding to the visual object selected by the third input. It may include an operation requesting external electronic devices.
  • the method may include, based on the at least one second function identified in response to the second input, among the one or more visual objects, at least one corresponding to the at least one second function. May include actions that maintain the display of a visual object.
  • displaying one or more visual objects may include displaying a first visual object for controlling power of the one or more first external electronic devices.
  • the operation of displaying the one or more visual objects includes displaying one or more second visual objects that are different from the first visual object and correspond to the one or more first functions applicable to all of the first external electronic devices. Can include actions.
  • the operation of receiving the first input may include the operation of identifying a designated keyword from an audio signal identified through the microphone of the wearable device.
  • the operation of receiving the first input may include the operation of identifying the motion of a user wearing the wearable device using a sensor of the wearable device within a time interval in which the designated keyword is identified.
  • Receiving the first input may include selecting the one or more first external electronic devices among the plurality of external electronic devices based on the identified motion.
  • the method of the wearable device 101 includes selecting a first external electronic device and a second external electronic device among a plurality of external electronic devices displayed through the display of the wearable device. It may include an operation 1410 of receiving an input indicating that The method may include an operation 1420 of identifying third external electronic devices in a category that includes both the first external electronic device and the second external electronic device, in response to the input.
  • the third external electronic devices may include the first external electronic device and the second external electronic device.
  • the method includes displaying a first visual object and a second visual object indicating that the first external electronic device and the second external electronic device are selected, respectively, the first external electronic device displayed through the display, and the second external electronic device displayed through the display.
  • the method includes interoperating with at least one fourth external electronic device, which is different from the first external electronic device and the second external electronic device, among the third external electronic devices, It may include an operation 1440 of displaying at least one third visual object that guides the selection of the device.
  • the method may, in response to the input, select from first metadata for the first external electronic device and second metadata for the second external electronic device, 1 category, and may include an operation of identifying a second category of the second external electronic device.
  • the method may include displaying executable objects for controlling the first external electronic device and the second external electronic device based on the first category and the second category.
  • the act of displaying the executable objects may be common within a first set of functions applicable to external electronic devices in the first category, and a second set of functions applicable to external objects in the second category. It may include an operation of identifying one or more functions included. Displaying the executable objects may include displaying the executable objects for executing the one or more functions in the display.
  • the operation of displaying the executable objects may be based on identifying the second category that is different from the first category, the first category of the first external electronic device, and the second category of the second external electronic device.
  • the method may include identifying the category in which the third external electronic devices are included based on the upper category of each second category.
  • the displaying of the executable objects may include, based on identifying the category in which the third external electronic devices are included, displaying the executable objects based on the identified category.
  • the act of displaying the executable objects may be performed in response to a second input that is different from the input that is a first input and indicates selection of one of the executable objects,
  • the method may include requesting the electronic device and the second external electronic device to execute a function mapped to the object selected by the second input.
  • the method may include receiving first data obtained by the first external electronic device and second data obtained by the second external electronic device in response to the input. there is.
  • the method may include displaying, on the display, a fourth visual object based on a combination of the first data and the second data.
  • the operation of displaying the at least one third visual object may be performed in response to a second input indicating selection of the at least one third visual object, applicable to all of the third external electronic devices. It may include an operation to identify the above functions.
  • the operation of displaying the at least one third visual object may include the operation of displaying one or more fourth visual objects for executing the one or more functions on the display.
  • the operation of receiving the input may include the operation of identifying a designated keyword from an audio signal received by the microphone of the wearable device.
  • the operation of receiving the input is in response to identifying the designated keyword, the time interval in which the designated keyword is identified, and detected by the sensor of the wearable device, based on the gaze of the user wearing the wearable device. , may include an operation of receiving the input.
  • the operation of receiving the input may include, based on identifying another keyword received after the designated keyword from the audio signal, to the first external electronic device and the second external electronic device, It may include an action requesting execution of the function indicated by the other keyword.
  • the wearable device 101 may include a display 230 and a processor 210.
  • the processor may be configured to receive a first input indicating selection of one or more first external electronic devices among a plurality of external electronic devices displayed through the display.
  • the processor may be configured to identify at least one or more first functions applicable to the one or more first external electronic devices in response to the first input.
  • the processor may be configured to display one or more visual objects within the display for execution of the one or more first functions.
  • the processor selects at least one second external electronic device applicable to the at least one second external electronic device. It may be configured to identify the second function of.
  • the processor may be configured to stop displaying, among the one or more visual objects, at least one visual object for a different function than the at least one second function.
  • the processor may be configured to receive metadata about the one or more first external electronic devices through a communication circuit of the wearable device.
  • the processor may be configured to identify the one or more first functions based on the received metadata.
  • the processor may be configured to identify a category including all of the one or more first external electronic devices based on the received metadata.
  • the processor may be configured to identify the one or more first functions based on the identified category.
  • the processor may be configured to receive a third input indicating selection of one of the one or more visual objects.
  • the processor in response to the third input, requests the one or more first external electronic devices to execute, among the one or more first functions, a function corresponding to the visual object selected by the third input. , can be configured.
  • the processor may, based on the at least one second function identified in response to the second input, select at least one of the one or more visual objects corresponding to the at least one second function. It may be configured to maintain a representation of a visual object.
  • the processor may be configured to display a first visual object for adjusting power of the one or more first external electronic devices.
  • the processor may be configured to display one or more second visual objects that are different from the first visual object and correspond to the one or more first functions applicable to all of the first external electronic devices.
  • the wearable device may be configured to further include a sensor 260 and a microphone 270.
  • the processor may be configured to identify a designated keyword from an audio signal identified through the microphone.
  • the processor may be configured to identify the motion of a user wearing the wearable device using the sensor within a time interval in which the designated keyword is identified.
  • the processor may be configured to select the one or more first external electronic devices among the plurality of external electronic devices based on the identified motion.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and thus stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Abstract

일 실시예에 따른, 웨어러블 장치의 프로세서는, 웨어러블 장치의 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체를 표시하도록, 구성될 수 있다.

Description

분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법
아래의 설명들은 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법에 관한 것이다.
강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내에 있는 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glass)일 수 있다.
일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 디스플레이, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치를 식별할 수 있다. 상기 제3 외부 전자 장치들은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 포함할 수 있다. 상기 프로세서는, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치가 선택됨을 각각 나타내는 제1 시각적 객체, 및 제2 시각적 객체를, 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 연동하여 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체를 표시하도록, 구성될 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중, 하나 이상의 제1 외부 전자 장치를 선택함을 나타내는 제1 입력을 수신하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 입력에 응답하여, 상기 하나 이상의 제1 외부 전자 장치들에 적용가능한(applicable) 하나 이상의 제1 기능들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 디스플레이 내에서 상기 하나 이상의 제1 기능들의 실행을 위한 하나 이상의 시각적 객체들을 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 하나 이상의 시각적 객체들을 표시한 상태 내에서, 적어도 하나의 제2 외부 전자 장치를 선택함을 나타내는 제2 입력에 응답하여, 상기 적어도 하나의 제2 외부 전자 장치에 적용가능한 적어도 하나의 제2 기능을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 하나 이상의 시각적 객체들 중에서, 상기 적어도 하나의 제2 기능과 상이한 기능에 대한 적어도 하나의 시각적 객체의 표시를 중단하는 동작을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치는, 외부 전자 장치들에 대한 사용자의 선택의 변화에 반응하는 UI를 제공할 수 있다.
일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신하는 동작을 포함할 수 있다. 상기 방법은, 상기 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별하는 동작을 포함할 수 있다. 상기 제3 외부 전자 장치들은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 포함할 수 있다. 상기 방법은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치가 선택됨을 각각 나타내는 제1 시각적 객체, 및 제2 시각적 객체를, 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 연동하여 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체를 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 디스플레이, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중, 하나 이상의 제1 외부 전자 장치들을 선택함을 나타내는 제1 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 입력에 응답하여, 상기 하나 이상의 제1 외부 전자 장치들에 적용가능한(applicable) 적어도 하나 이상의 제1 기능들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 디스플레이 내에서 상기 하나 이상의 제1 기능들의 실행을 위한 하나 이상의 시각적 객체들을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 하나 이상의 시각적 객체들을 표시한 상태 내에서, 적어도 하나의 제2 외부 전자 장치를 선택함을 나타내는 제2 입력에 응답하여, 상기 적어도 하나의 제2 외부 전자 장치에 적용가능한 적어도 하나의 제2 기능을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 하나 이상의 시각적 객체들 중에서, 상기 적어도 하나의 제2 기능과 상이한 기능에 대한 적어도 하나의 시각적 객체의 표시를 중단하도록, 구성될 수 있다.
도 1a 내지 도 1b는, 일 실시예에 따른, 웨어러블 장치가 복수의 외부 전자 장치들에 기반하여 표시하는 UI(user interface)의 일 예를 도시한다.
도 2는, 일 실시예에 따른, 웨어러블 장치의 블록도의 일 예를 도시한다.
도 3a는, 일 실시예에 따른, 웨어러블 장치의 사시도(prospective view)의 일 예를 도시한다.
도 3b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다.
도 4는, 일 실시예에 따른, 웨어러블 장치가 메타 데이터에 기반하여 식별한, 외부 전자 장치들의 카테고리의 일 예를 도시한다.
도 5a 내지 도 5c는, 일 실시예에 따른, 웨어러블 장치가, 외부 전자 장치, 및 웨어러블 장치 사이를 연결함을 나타내는 입력을 수신하는 동작의 일 예를 도시한다.
도 6a 내지 도 6b는, 일 실시예에 따른, 웨어러블 장치가 사용자의 모션에 기반하여, 외부 전자 장치들 중 적어도 하나를 선택함을 나타내는 입력을 수신하는 동작의 일 예를 도시한다.
도 7a 내지 도 7b는, 일 실시예에 따른, 웨어러블 장치가 사용자의 모션, 및 발언(speech)에 기반하여, 외부 전자 장치들 중 적어도 하나를 선택함을 나타내는 입력을 수신하는 동작의 일 예를 도시한다.
도 8a 내지 도 8c는, 일 실시예에 따른, 웨어러블 장치가 적어도 하나의 외부 전자 장치의 선택을 가이드하기 위한 시각적 객체를 표시하는 동작의 일 예를 도시한다.
도 9a 내지 도 9b는, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 선택된 외부 전자 장치의 카테고리에 기반하여 표시하는 화면의 일 예를 도시한다.
도 10a 내지 도 10c는, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 선택된 외부 전자 장치들에 기반하여 표시하는 화면의 일 예를 도시한다.
도 11은, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
도 12a 내지 도 12b는, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
도 13은, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
도 14는, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
도 15는, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1a 내지 도 1b는, 일 실시예에 따른, 웨어러블 장치(101)가 복수의 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171)에 기반하여 표시하는 UI(user interface)의 일 예를 도시한다. 도 1a 및 도 1b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 사용자의 신체 부위(예, 머리) 상에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)의 하우징은 사용자의 머리의 일부분(예를 들어, 두 눈을 감싸는 얼굴의 일부분)에 밀착되는 형태를 가지는 고무, 및/또는 실리콘과 같은 유연성 소재(flexible material)를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)의 하우징은 사용자의 머리에 감길 수 있는(able to be twined around) 하나 이상의 스트랩들, 및/또는 상기 머리의 귀로 탈착 가능한(attachable to) 하나 이상의 템플들(temples)을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101) 내에 포함된 하드웨어의 일 예가 도 2를 참고하여 설명될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)의 구조의 일 예가 도 3a 내지 도 3b를 참고하여 설명될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 유선 네트워크, 및/또는 무선 네트워크를 통해, 웨어러블 장치(101)과 상이한 하나 이상의 외부 전자 장치들(예, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171))과 통신할 수 있다. 상기 유선 네트워크는, 인터넷, LAN(local area network), WAN(wide area network), 이더넷 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 상기 무선 네트워크는, LTE(long term evolution), 5g NR(new radio), WiFi(wireless fidelity), Zigbee, NFC(near field communication), Bluetooth, BLE(bluetooth low-energy) 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 하나 이상의 외부 전자 장치들과, 네트워크 내 서버를 통하여, 통신할 수 있다. 상기 웨어러블 장치(101), 및 상기 하나 이상의 외부 전자 장치들 사이에서 교환되는 신호, 및/또는 패킷이, 상기 서버에 의해 중계될 수 있다(relayed by). 예를 들어, 웨어러블 장치(101)는, 블루투스, BLE, NFC, 및/또는 WiFi direct(또는 WiFi P2P(peer-to-peer))를 이용하여, 상기 서버와 독립적으로, 상기 하나 이상의 외부 전자 장치들과 직접 연결될 수 있다. 예를 들어, 웨어러블 장치(101)는 네트워크 내 하나 이상의 라우터들, 및/또는 AP(access point)를 통해 간접적으로 연결될 수 있다.
도 1a 내지 도 1b의 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171)은, 웨어러블 장치(101)에 의해 접근 가능한(accessible by) 외부 전자 장치의 일 예일 수 있다. 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 사물 인터넷(internet of things, IoT) 장치와 같이, 웨어러블 장치(101)로부터 물리적으로 이격된(physically separated) 외부 전자 장치를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 상기 외부 전자 장치의 메타 데이터에 기반하여, 상기 외부 전자 장치를 식별할 수 있다. 웨어러블 장치(101)가 상기 외부 전자 장치를 식별하는 것은, 상기 메타 데이터에 기반하여, 상기 외부 전자 장치에 의해 지원 가능한(supportable) 적어도 하나의 기능을 식별하는 동작을 포함할 수 있다. 웨어러블 장치(101)가 상기 외부 전자 장치를 식별하는 것은, 상기 외부 전자 장치를 계층화된 카테고리들(hierarchical categories)에 기반하여 분류하는 동작을 포함할 수 있다. 이하에서, 카테고리는, 분류, 및/또는 범주로 참조될 수 있다. 상기 계층화된 카테고리들은, 복수의 외부 전자 장치들에 공통으로 적용가능한(commonly applicable) 적어도 하나의 기능들을 식별하기 위해, 이용될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 상기 계층화된 카테고리들에 기반하여, 웨어러블 장치(101)에 의해 접근 가능한 적어도 하나의 외부 전자 장치를 분류하는 동작이 도 4를 참고하여 설명된다.
도 1a를 참고하면, 웨어러블 장치(101)과 연결된 외부 전자 장치의 상이한 예시들이 도시된다. 도 1a를 참고하면, 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 외부 전자 장치들(121, 122, 123)과 같이, 웨어러블 장치(101)에 의하여 제어됨에 따라, 빛을 방사(emit)하는 조명 장치(예, 전구(bulb), 펜던트(pendant), 및/또는 조명 스탠드(light stand))를 포함할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 외부 전자 장치(131)와 같이, 카메라에 의해 캡쳐된 비디오를 포함하는 미디어 콘텐트를 송신하는 감시 카메라를 포함할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 외부 전자 장치(132)와 같이, 미디어 콘텐트를 출력하기 위한 디스플레이, 및/또는 스피커를 포함하는 텔레비전을 포함할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 외부 전자 장치(141)와 같이, 공기 청정기(air cleaner)를 포함할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 외부 전자 장치(142)와 같이, 에어컨(air conditioner)를 포함할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 외부 전자 장치(161)와 같이, 다른 외부 전자 장치를 제어하기 위한 리모트 컨트롤러(예, 게임 패드, 및/또는 TV 리모트 컨트롤러)를 포함할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)에 의해 접근 가능한 상기 외부 전자 장치는, 외부 전자 장치(171)와 같이, 시계를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 상기 외부 전자 장치와 연결하는 동작의 일 예가, 도 5a 내지 도 5c를 참고하여 설명된다. 상기 외부 전자 장치는, 상술한 예시에 제한되지 않으며, 센서에 기반하여 환경을 나타내는 정보를 획득하는 사물 인터넷 장치를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 증강 현실(augmented reality, AR)과 관련된 기능을 실행할 수 있다. 웨어러블 장치(101)는, 상기 증강 현실과 관련된 화면을 표시하기 위한 디스플레이를 포함할 수 있다. 디스플레이는 투명한 물질(transparent material)을 포함할 수 있다. 예를 들어, 상기 디스플레이 내에 포함된 상기 투명한 물질에 기반하여, 디스플레이의 일 면을 향하여 방사되는 빛이, 상기 일 면과 반대인 다른 면으로, 적어도 부분적으로(at least partially) 투과될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 상기 증강 현실에 기반하여, 디스플레이를 투과하여 사용자에게 보여지는, 외부 객체와 관련된 화면을, 상기 디스플레이 내에 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 상기 화면에 기반하여 상기 외부 객체와 관련된 정보를, 사용자에게 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 상기 화면을 이용하여 사용자에게, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171)과 같은 외부 객체를 제어하거나, 또는 상기 외부 객체로부터 전기적으로 수신된 정보를 표시할 수 있다.
도 1a 내지 도 1b를 참고하면, 웨어러블 장치(101)의 디스플레이를 통해 사용자에게 보여지는 FoV(field-of-view)(110)의 일 예가 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는, 객체 탐지(object detection), 및/또는 객체 인식(object recognition)에 기반하여, FoV(110) 내에 포함된 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171)을 식별할 수 있다. 상기 객체 탐지, 및/또는 상기 객체 인식을 수행하기 위하여, 웨어러블 장치(101)는 FoV(110)와 관련된 이미지, 및/또는 비디오를 캡쳐하기 위한 카메라를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 디스플레이를 이용하여 FoV(110) 내에 표시하는 화면은, 사용자에게 보여지는 환경에 기반하여 증강되거나(augmented), 또는 주해된(annotated) 정보를 포함할 수 있다.
도 1b는, 일 실시예에 따른, 웨어러블 장치(101)가 디스플레이를 이용하여 FoV(110) 내에 표시하는, 화면의 일 예를 도시한다. 일 실시예에 따른, 웨어러블 장치(101)는 디스플레이를 이용하여 FoV(110) 내에, 상이한 외부 전자 장치들을 나타내는 시각적 객체들(151, 152, 153)을 표시할 수 있다. 시각적 객체들(151, 152, 153)은, 웨어러블 장치(101)의 이동에 의한 FoV(110)의 변화와 독립적으로 외부 전자 장치의 선택, 및/또는 제어를 지원하기 위하여, 웨어러블 장치(101)에 의해 표시될 수 있다. 시각적 객체들(151, 152, 153)은, 사용자에 의해 추가될 수 있다. 시각적 객체들(151, 152, 153) 각각은, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 및/또는 FoV(110) 내에 포함되지 않은 다른 외부 전자 장치 중 어느 하나와 관련될 수 있다.
외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171)을 식별한 상태 내에서, 일 실시예에 따른, 웨어러블 장치(101)는 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 및 시각적 객체들(151, 152, 153) 중 적어도 하나를 선택함을 나타내는 입력을 수신할 수 있다. 상기 입력은, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171)과 같이, FoV(110)를 통해 보여지고, 실재하는(tangible) 외부 전자 장치를 선택하는 입력, 및/또는 시각적 객체들(151, 152, 153)과 같이 외부 전자 장치를 표현하는(represents) 시각적 객체를 이용하여, 외부 전자 장치를 선택함을 나타내는 다른 입력을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 사용자에게, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 시각적 객체들(151, 152, 153)에 대응하는 외부 전자 장치들 각각의 카테고리에 기반하는 동질성(homogeneity)을 이용하여, 상기 카테고리에 의해 구분되는(distinguished by) 외부 전자 장치들의 그룹을 선택하는 것을 가이드할 수 있다. 웨어러블 장치(101)가 상기 입력을 수신하는 예시적인 동작들이 도 6a 내지 도 6b, 및/또는 도 7a 내지 도 7b를 참고하여 설명된다.
일 실시예에서, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 시각적 객체들(151, 152, 153) 중 적어도 하나를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치(101)는, 상기 입력에 의해 선택된 적어도 하나의 외부 전자 장치와 상이하고, 상기 입력에 의해 선택된 적어도 하나의 외부 전자 장치와 유사한, 다른 외부 전자 장치의 선택을 가이드하기 위한 하나 이상의 시각적 객체들을 표시할 수 있다. 상기 다른 외부 전자 장치는, 웨어러블 장치(101)가 계층화된 카테고리들로 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 시각적 객체들(151, 152, 153)에 대응하는 외부 전자 장치들을 분류한 것에 기반하여 수행될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 계층화된 카테고리들에 기반하여, 상기 하나 이상의 시각적 객체들을 표시하는 동작의 일 예가, 도 8a 내지 도 8c를 참고하여 설명된다.
일 실시예에서, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 시각적 객체들(151, 152, 153) 중 적어도 하나를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치(101)는 입력에 의해 선택된 적어도 하나의 외부 전자 장치를 제어하기 위한 화면을 표시할 수 있다. 상기 입력에 의해 복수의 외부 전자 장치들이 선택된 상태 내에서, 웨어러블 장치(101)는 상기 입력에 의해 선택된 상기 복수의 외부 전자 장치들로 공통으로 적용가능한 기능들을 선택적으로, 및/또는 우선적으로(preferentially) 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 상기 상태 내에서 상기 기능들을 선택적으로 표시하는 동작의 일 예가, 도 9a 내지 도 9b, 및/또는 도 10a 내지 도 10c를 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 디스플레이를 통해 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 시각적 객체들(151, 152, 153)에 기반하여, 적어도 두 개의 외부 전자 장치들을 선택함을 나타내는 입력을 수신할 수 있다. 예를 들어, 웨어러블 장치(101)는 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신할 수 있다. 상기 입력에 응답하여, 웨어러블 장치(101)는, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별할 수 있다. 상기 제3 외부 전자 장치들은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 포함할 수 있다. 상기 제3 외부 전자 장치들은, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 및 시각적 객체들(151, 152, 153)과 관련된 다른 외부 전자 장치들 중에서 식별될 수 있다. 웨어러블 장치(101)는, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치가 선택됨을 각각 나타내는 제1 시각적 객체, 및 제2 시각적 객체를, 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 연동하여 표시할 수 있다. 웨어러블 장치(101)는, 상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, FoV(110)를 통해 보여지는, 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 및/또는 시각적 객체들(151, 152, 153)에 기반하는, 하나 이상의 외부 전자 장치들의 선택, 및/또는 제어를 지원할 수 있다. 복수의 외부 전자 장치를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치(101)는, 메타 데이터를 이용하여, 상기 복수의 외부 전자 장치들에 공통으로 적용가능한 기능들을 식별하거나, 또는 상기 복수의 외부 전자 장치들로부터 공통으로 수신가능한 정보를 식별할 수 있다. 공통으로 적용가능한 기능들에 기반하여, 웨어러블 장치(101)는 상기 복수의 외부 전자 장치들 전부를 제어할 수 있다. 공통으로 수신가능한 정보에 기반하여, 웨어러블 장치(101)는 상기 복수의 외부 전자 장치들 각각으로부터 수신된 정보를 적어도 부분적으로 결합할 수 있다. 웨어러블 장치(101)는 사용자에게 적어도 부분적으로 결합된 정보를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 복수의 외부 전자 장치들의 선택, 및/또는 제어와 관련된 사용자 경험을 개선할 수 있다.
이하에서는, 도 2를 참고하여, 일 실시예에 따른, 웨어러블 장치(101) 내에 포함된 하나 이상의 하드웨어들이 설명된다.
도 2는, 일 실시예에 따른, 웨어러블 장치(101)의 블록도의 일 예를 도시한다. 도 2의 웨어러블 장치(101)는 도 1a 내지 도 1b의 웨어러블 장치(101)의 일 예일 수 있다. 도 2를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 프로세서(210), 메모리(220), 디스플레이(230), 카메라(240), 통신 회로(250), 센서(260), 또는 마이크(270) 중 적어도 하나를 포함할 수 있다. 프로세서(210), 메모리(220), 디스플레이(230), 카메라(240), 통신 회로(250), 센서(260), 및 마이크(270)는 통신 버스(a communication bus)와 같은 전자 소자(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 특정 하드웨어가 다른 하드웨어에 의해 제어되거나, 및/또는 상기 다른 하드웨어가 상기 특정 하드웨어에 의해 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 웨어러블 장치(101)에 포함된 하드웨어들의 타입, 및/또는 개수는 도 2의 일 예에 제한되지 않는다.
일 실시예에 따른, 웨어러블 장치(101)의 프로세서(210)는 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), 및/또는 CPU(central processing unit)를 포함할 수 있다. 프로세서(210)의 개수는 하나 이상일 수 있다. 예를 들어, 프로세서(210)는 듀얼 코어(dual core), 쿼드 코어(quad core) 또는 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 메모리(220)는, 프로세서(210)로 입력되거나, 및/또는 프로세서(210)로부터 출력되는 데이터, 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(220)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory), 및/또는 ROM(read-only memory)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 상기 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 상기 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.
메모리(220) 내에서, 프로세서(210)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 예를 들어, 웨어러블 장치(101), 및/또는 프로세서(210)는, 운영체제, 펌웨어, 드라이버, 및/또는 어플리케이션 형태로 배포된 복수의 인스트럭션의 집합(set of a plurality of instructions)이 실행될 시에, 도 11 내지 도 15의 동작들 중 적어도 하나를 수행할 수 있다. 이하에서, 어플리케이션이 웨어러블 장치(101)에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 웨어러블 장치(101)의 메모리(220) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 웨어러블 장치(101)의 프로세서(210)에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 디스플레이(230)는 사용자에게 시각화된 정보(예를 들어, 도 5a 내지 도 5c, 도 6a 내지 도 6b, 도 7a 내지 도 7b, 도 8a 내지 도 8c, 도 9a 내지 도 9b, 및/또는 도 10a 내지 도 10c의 화면들 중 적어도 하나)를 출력할 수 있다. 예를 들어, 디스플레이(230)는, 프로세서(210)와 같은 컨트롤러(예, GPU(graphic processing unit))에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(230)는 FPD(flat panel display), 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 1a 내지 도 1b를 참고하여 상술한 바와 같이, 웨어러블 장치(101)의 디스플레이(230)의 적어도 일부분에서, 빛의 투과가 발생될 수 있다. 웨어러블 장치(101)는 사용자에게, 디스플레이(230)를 통해 출력하는 빛과, 상기 디스플레이(230)를 투과하는 빛의 결합을 제공하여, 증강 현실과 관련된 사용자 경험을 제공할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 카메라(240)는, 빛의 색상, 및/또는 밝기를 나타내는 전기 신호를 생성하는 광 센서(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)를 하나 이상 포함할 수 있다. 카메라(240)에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(240)는 복수의 광 센서들 각각의 전기 신호를 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하고, 2차원으로 배열된 복수의 픽셀들을 포함하는 이미지를 생성할 수 있다. 예를 들어, 카메라(240)를 이용하여 캡쳐한 사진 데이터는 카메라(240)로부터 획득한 하나의 이미지를 의미할 수 있다. 예를 들어, 카메라(240)를 이용하여 캡쳐한 비디오 데이터는 카메라(240)로부터 지정된 프레임율(frame rate)을 따라 획득한 복수의 이미지들의 시퀀스(sequence)를 의미할 수 있다. 일 실시예에 따른 웨어러블 장치(101)는, 카메라(240)가 빛을 수신하는 방향을 향하여 배치되고, 상기 방향으로 빛을 출력하기 위한 플래시 라이트를 더 포함할 수 있다. 일 실시예에 따른 웨어러블 장치(101)에 포함된 카메라(240)의 수는 하나 이상일 수 있다.
일 실시예에서, 카메라(240)의 FoV는, 카메라(240)의 렌즈가 빛을 수신 가능한 화각(view angle)에 기반하여 형성되는 영역으로, 카메라(240)에서 생성된 이미지에 대응하는 영역에 대응할 수 있다. 이하에서, 피사체는 카메라(240)의 FOV 내에 포함되고, 웨어러블 장치(101)와 구별되는 사물을 의미한다. 일 실시예에서, 카메라(240)의 FoV는, 도 1a 내지 도 1b의 FoV(110)와 같이, 디스플레이(230)를 통해 사용자에게 보여지는 환경과 적어도 부분적으로 일치할 수 있다.
비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 음성 신호(acoustic signal)를 출력하기 위한 스피커를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 통신 회로(250)는, 웨어러블 장치(101), 및 외부 전자 장치(290) 사이의 전기 신호의 송신, 및/또는 수신을 지원하기 위한 하드웨어를 포함할 수 있다. 예를 들어, 외부 전자 장치(290)는, 도 1a 내지 도 1b의 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171), 및/또는 시각적 객체들(151, 152, 153) 각각에 대응하는 외부 전자 장치들을 포함할 수 있다. 통신 회로(250)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(250)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio)와 같은 다양한 타입의 프로토콜에 기반하여, 전기 신호의 송신, 및/또는 수신을 지원할 수 있다.
도 2를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)가 네트워크(280)를 통하여 외부 전자 장치(290)와 통신하는 예시적인 케이스가 도시된다. 예를 들어, 웨어러블 장치(101)는 통신 회로(250)를 이용하여 네트워크(280) 내에서 외부 전자 장치(290)를 식별할 수 있다. 실시예가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 통신 회로(250)를 이용하여, 네트워크(280)와 독립적으로, 외부 전자 장치(290)와 직접적으로 연결될 수 있다.
상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 2에 도시된 하드웨어 컴포넌트 중 일부분(예, 프로세서(210), 메모리(220) 및 통신 회로(250)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 센서(260)는, 웨어러블 장치(101)와 관련된 비-전기적 정보(non-electronic information)로부터 프로세서(210), 및/또는 메모리(220)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 센서(260)에 의하여 생성된 상기 전기적 정보는, 메모리(220) 내에 저장되거나, 프로세서(210)에 의해 처리되거나, 및/또는 웨어러블 장치(101)와 구별되는 외부 전자 장치로 장치로 송신될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 센서(260)는, 웨어러블 장치(101)의 자세, 및/또는 웨어러블 장치(101)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 중력 센서, 가속도 센서, 및 자이로 센서 각각에서 측정된 상기 중력 가속도, 가속도, 및 각속도는, 프로세서(210)에 의해 처리되거나, 및/또는 메모리(220)에 저장될 수 있는 전기적 정보의 형태(format)로 출력될 수 있다. 중력 센서, 가속도 센서, 및 자이로 센서는, 지정된 주기에 기반하여, 중력 가속도, 가속도, 및 각속도를 반복적으로 출력할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)의 마이크(270)는, 대기의 진동을 표현하는 전기 신호를 출력할 수 있다. 예를 들어, 웨어러블 장치(101)는 마이크(270)를 이용하여 사용자의 발언(speech)을 포함하는 오디오 신호(audio signal)를 획득할 수 있다. 오디오 신호에 포함된 사용자의 발언은, 음성 인식 모델 및/또는 자연어 이해 모델에 기반하여, 웨어러블 장치(101)의 프로세서(210)에 의해 인식 가능한 포맷의 정보로 변환될 수 있다. 예를 들어, 웨어러블 장치(101)는 사용자의 발언을 인식하여, 웨어러블 장치(101)에 의해 제공 가능한 복수의 기능들 중에서 하나 이상의 기능들을 실행할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)가 마이크(270)를 통하여 수신한 발언에 기반하여 수행하는 동작의 일 예가 도 7a 내지 도 7b를 참고하여 설명된다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 증강 현실에 기반하는 사용자 경험을 제공하기 위한 하나 이상의 하드웨어들을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 통신 회로(250), 및/또는 카메라(240)를 이용하여, 디스플레이(230)를 통해 보여지는 외부 전자 장치(290)를 식별할 수 있다. 웨어러블 장치(101)는, 디스플레이(230) 내에서, 식별된 외부 전자 장치(290)를 선택, 및/또는 제어하기 위한 화면을 표시할 수 있다. 웨어러블 장치(101)는 외부 전자 장치(290)를 선택함을 나타내는 입력을, 센서(260), 마이크(270), 및/또는 통신 회로(250)에 기반하여 수신할 수 있다. 상기 입력에 의하여 복수의 외부 전자 장치들이 선택됨을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 복수의 외부 전자 장치들 각각으로 할당된(assigned to) 카테고리의 계층적 연결을 이용하여, 상기 복수의 외부 전자 장치들에 공통으로 적용가능한 적어도 하나의 기능을 식별할 수 있다. 웨어러블 장치(101)는, 상기 적어도 하나의 기능을 실행하기 위한 화면을 디스플레이(230)를 통해 사용자에게 표시하여, 복수의 외부 전자 장치들의 제어와 관련된 사용자 경험을 개선할 수 있다.
이하에서는, 도 3a 내지 도 3b를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)의 구조의 일 예가 설명된다.
도 3a는, 일 실시예에 따른, 웨어러블 장치(101)의 사시도(prospective view)의 일 예를 도시한다. 도 3b는, 일 실시예에 따른, 웨어러블 장치(101) 내에 배치된 하나 이상의 하드웨어들의 일 예를 도시한다. 도 3a 내지 도 3b의 웨어러블 장치(101)는, 도 1 내지 도 2의 웨어러블 장치(101)의 일 예일 수 있다. 도 3a를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는, 적어도 하나의 디스플레이(230), 및 적어도 하나의 디스플레이(230)를 지지하는 프레임(300)을 포함할 수 있다. 적어도 하나의 디스플레이(230)는, 도 2의 디스플레이(230)의 일 예일 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(101)는, 동작 인식 카메라(240-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 광학 장치(382, 384)에서 제공되는 가상 현실 영상을 적어도 하나의 디스플레이(230)에 표시할 수 있다.
일 실시예에 따르면, 적어도 하나의 디스플레이(230)는, 사용자에게 시각 정보를 제공할 수 있다. 예를 들면, 적어도 하나의 디스플레이(230)는, 투명 또는 반투명한 렌즈를 포함할 수 있다. 적어도 하나의 디스플레이(230)는, 제1 디스플레이(230-1) 및/또는 제1 디스플레이(230-1)로부터 이격된 제2 디스플레이(230-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(230-1), 및 제2 디스플레이(230-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.
도 3b를 참조하면, 적어도 하나의 디스플레이(230)는, 적어도 하나의 디스플레이(230)에 포함되는 렌즈를 통해 사용자에게 외부 광으로부터 전달되는 시각적 정보와, 상기 시각적 정보와 구별되는 다른 시각적 정보를 제공할 수 있다. 예를 들면, 적어도 하나의 디스플레이(230)는, 제1 면(surface)(331), 및 제1 면(331)에 반대인 제2 면(332)을 포함할 수 있다. 적어도 하나의 디스플레이(230)의 제2 면(332) 상에, 표시 영역이 형성될 수 있다. 사용자가 웨어러블 장치(101)를 착용하였을 때, 외부 광은 제1 면(331)으로 입사되고, 제2 면(332)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(230)는, 외부 광을 통해 전달되는 현실 화면에, 적어도 하나의 광학 장치(382, 384)에서 제공되는 가상 현실 영상이 결합된 증강 현실 영상을, 제2 면(332) 상에 형성된 표시 영역에 표시할 수 있다. 적어도 하나의 디스플레이(230)는, 적어도 하나의 광학 장치(382, 384)에서 송출된 광을 회절시켜, 사용자에게 전달하는, 적어도 하나의 웨이브가이드(waveguide)(333, 334)를 포함할 수 있다. 웨어러블 장치(101)는, 촬영 카메라(미도시)(예, 도 2의 카메라(240))를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(230)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(101)를 착용한 사용자는, 적어도 하나의 디스플레이(230)에 표시되는 영상을 시청할 수 있다.
일 실시예에 따르면, 프레임(300)은, 웨어러블 장치(101)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임(300)은, 사용자가 웨어러블 장치(101)를 착용하였을 때, 제1 디스플레이(230-1) 및 제2 디스플레이(230-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임(300)은, 적어도 하나의 디스플레이(230)를 지지할 수 있다. 예를 들면, 프레임(300)은, 제1 디스플레이(230-1) 및 제2 디스플레이(230-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.
도 3a를 참조하면, 프레임(300)은, 사용자가 웨어러블 장치(101)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(320)을 포함할 수 있다. 예를 들면, 프레임(300)의 사용자의 신체의 일부분과 접촉되는 영역(320)은, 웨어러블 장치(101)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임(300)은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(310)를 포함할 수 있다. 웨어러블 장치(101)가 사용자에 의해 착용될 시, 노즈 패드(310)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임(300)은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(304) 및 제2 템플(305)을 포함할 수 있다.
예를 들면, 프레임(300)은, 제1 디스플레이(230-1)의 적어도 일부를 감싸는 제1 림(rim)(301), 제2 디스플레이(230-2)의 적어도 일부를 감싸는 제2 림(302), 제1 림(301)과 제2 림(302) 사이에 배치되는 브릿지(bridge)(303), 브릿지(303)의 일단으로부터 제1 림(301)의 가장자리 일부를 따라 배치되는 제1 패드(311), 브릿지(303)의 타단으로부터 제2 림(302)의 가장자리 일부를 따라 배치되는 제2 패드(312), 제1 림(301)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플 (304), 및 제2 림(302)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(305)을 포함할 수 있다. 제1 패드(311), 및 제2 패드(312)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(304) 및 제2 템플(305)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플(304, 305)은, 힌지 유닛(306, 307)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(304)은, 제1 림(301)과 제1 템플(304)의 사이에 배치된 제1 힌지 유닛(306)을 통해, 제1 림(301)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(305)은, 제2 림(302)과 제2 템플(305)의 사이에 배치된 제2 힌지 유닛(307)을 통해 제2 림(302)에 대하여 회전 가능하게 연결될 수 있다.
일 실시예에 따르면, 웨어러블 장치(101)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 2의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(370), 안테나 모듈(375), 적어도 하나의 광학 장치(382, 384), 음향 출력 모듈(미도시), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(390)을 포함할 수 있다. 다양한 하드웨어들은, 프레임(300) 내에 배치될 수 있다.
일 실시예에 따르면, 적어도 하나의 광학 장치(382, 384)는, 다양한 이미지 정보를 사용자에게 제공하기 위하여, 적어도 하나의 디스플레이(230)에 가상 오브젝트를 투영할 수 있다. 예를 들면, 적어도 하나의 광학 장치(382, 384)는, 프로젝터일 수 있다. 적어도 하나의 광학 장치(382, 384)는, 적어도 하나의 디스플레이(230)에 인접하여 배치되거나, 적어도 하나의 디스플레이(230)의 일부로써, 적어도 하나의 디스플레이(230) 내에 포함될 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는, 제1 디스플레이(230-1)에 대응되는, 제1 광학 장치(382) 및 제2 디스플레이(230-2)에 대응되는, 제2 광학 장치(384)를 포함할 수 있다. 예를 들면, 적어도 하나의 광학 장치(382, 384)는, 제1 디스플레이(230-1)의 가장자리에 배치되는 제1 광학 장치(382) 및 제2 디스플레이(230-2)의 가장자리에 배치되는 제2 광학 장치(384)를 포함할 수 있다. 제1 광학 장치(382)는, 제1 디스플레이(230-1) 상에 배치된 제1 웨이브가이드(333)로 광을 송출할 수 있고, 제2 광학 장치(384)는, 제2 디스플레이(230-2) 상에 배치된 제2 웨이브가이드(334)로 광을 송출할 수 있다.
다양한 실시예들에서, 카메라(240)(예, 도 2의 카메라(240))는, 촬영 카메라, 시선 추적 카메라(eye tracking camera, ET CAM)(240-1), 및/또는 동작 인식 카메라(240-2)를 포함할 수 있다. 촬영 카메라, 시선 추적 카메라(240-1) 및 동작 인식 카메라(240-2)는, 프레임(300) 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다.
촬영 카메라는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치(예, 도 1a 내지 도 1b의 FoV(110))에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(230)로 제공할 수 있다. 적어도 하나의 디스플레이(230)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 적어도 하나의 광학 장치(382, 384)를 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(301) 및 제2 림(302) 사이에 배치되는 브릿지(303) 상에 배치될 수 있다.
시선 추적 카메라(240-1)는, 웨어러블 장치(101)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(230)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(101)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(230)에 표시할 수 있다. 시선 추적 카메라(240-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(240-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(240-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(240-1)는, 제1 림(301) 및/또는 제2 림(302) 내에서, 웨어러블 장치(101)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.
동작 인식 카메라(240-2)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(230)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(240-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(230)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(240-2)는, 제1 림(301) 및/또는 제2 림(302)상에 배치될 수 있다.
일 실시예에 따르면, 배터리 모듈(370)은, 웨어러블 장치(101)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(370)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(370)은, 복수의 배터리 모듈(370)들일 수 있다. 복수의 배터리 모듈(370)들은, 각각 제1 템플(304)과 제2 템플(305) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(370)은 제1 템플(304) 및/또는 제2 템플(305)의 단부에 배치될 수 있다.
안테나 모듈(375)은, 신호 또는 전력을 웨어러블 장치(101)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(375)은, 도 2의 통신 회로(250)와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(375)은, 제1 템플(304) 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(375)은, 제1 템플(304), 및/또는 제2 템플(305)의 일면에 가깝게 배치될 수 있다.
음향 출력 모듈(미도시)은, 음향 신호를 웨어러블 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 음향 출력 모듈은, 웨어러블 장치(101)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(304), 및/또는 제2 템플(305) 내에 배치될 수 있다. 예를 들면, 음향 출력 모듈은, 제1 템플(304) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 음향 출력 모듈, 및 제2 템플(305) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 음향 출력 모듈을 포함할 수 있다.
발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(101)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(101)가, 충전이 필요한 경우, 적색 광의 빛을 일정한 주기로 방출할 수 있다. 일 실시예에서, 발광 모듈(370)은, 제1 림(301) 및/또는 제2 림(302) 상에 배치될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 사용자의 머리, 및/또는 시선의 모션을 식별하거나, 또는 상기 사용자의 발언을 수신할 수 있다. 상기 모션, 및/또는 상기 발언에 응답하여, 웨어러블 장치(101)는 상기 사용자에 의해 요청된 기능을 실행할 수 있다. 웨어러블 장치(101)가 상기 모션, 및/또는 상기 발언에 기반하여 실행하는 기능은, 웨어러블 장치(101)과 상이한 외부 전자 장치(예, 도 2의 외부 전자 장치(290))를 제어하는 기능을 포함할 수 있다. 웨어러블 장치(101)가 상기 모션, 및/또는 상기 발언에 기반하여 실행하는 기능은, 상기 외부 전자 장치로부터 정보를 수신하는 기능을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 외부 전자 장치의 능력(capability)을 나타내는 메타 데이터를 이용하여, 상기 외부 전자 장치에 의해 지원 가능한 하나 이상의 기능들을 식별할 수 있다.
이하에서는, 도 4를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 메타 데이터에 기반하여 하나 이상의 외부 전자 장치들을 식별하는 동작의 일 예가 설명된다.
도 4는, 일 실시예에 따른, 웨어러블 장치가 메타 데이터에 기반하여 식별한, 외부 전자 장치들의 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451)의 일 예를 도시한다. 도 4의 웨어러블 장치는 도 1 내지 도 3의 웨어러블 장치(101)의 일 예일 수 있다.
일 실시예에 따른, 웨어러블 장치는, 통신 회로(예, 도 2의 통신 회로(250))를 통하여, 적어도 하나의 외부 전자 장치에 대한 메타 데이터를 획득할 수 있다. 메타 데이터는, XML(extensible markup language), 및/또는 JSON(javascript object notation)과 같은 포맷에 기반하여, 적어도 하나의 외부 전자 장치에 대한 데이터를 나타내는 하나 이상의 파일들을 포함할 수 있다. 예를 들어, 특정 외부 전자 장치에 대한 메타 데이터는, 지정된 확장자를 가지는 단일의(single) 파일 내에 저장될 수 있다.
일 실시예에서, 웨어러블 장치는, 네트워크(예, 도 2의 네트워크(280)) 내 서버와 통신하여, 상기 메타 데이터를 획득할 수 있다. 상기 서버는, 웨어러블 장치에 로그인된 사용자 계정에 기반하여, 상기 웨어러블 장치로 송신될 메타 데이터를 검색할 수 있다. 검색된 메타 데이터는, 예를 들어, 상기 사용자 계정에 기 등록된 외부 전자 장치와 관련될 수 있다. 상기 서버는 상기 검색된 메타 데이터를, 상기 웨어러블 장치로 송신할 수 있다.
일 실시예에서, 웨어러블 장치는, 상기 웨어러블 장치와 연결된 AP에 직접적으로 연결된 외부 전자 장치를 식별하는 것에 기반하여, 상기 식별된 외부 전자 장치로부터 메타 데이터를 획득할 수 있다. 웨어러블 장치는, QR(quick response) 코드와 같이 외부 전자 장치의 상에 부착된 마커에 기반하여, 상기 외부 전자 장치와 블루투스, WiFi, 및/또는 NFC에 기반하는 통신 링크를 수립할 수 있다. 상기 통신 링크를 이용하여 웨어러블 장치는 상기 외부 전자 장치로부터 메타 데이터를 획득할 수 있다.
일 실시예에 따른, 웨어러블 장치는 메타 데이터에 기반하여, 적어도 하나의 외부 전자 장치를 식별할 수 있다. 예를 들어, 메타 데이터는, 적어도 하나의 외부 전자 장치와 관련된 데이터를 포함할 수 있다. 예를 들어, 웨어러블 장치는 메타 데이터를 이용하여, 메타 데이터에 대응하는 외부 전자 장치의 타입, 벤더(vendor), 명칭, 네트워크 내 주소(예, IP 주소, 및/또는 MAC 주소), 위치(예, GPS 좌표) 중 적어도 하나를 식별할 수 있다. 예를 들어, 웨어러블 장치는 메타 데이터를 이용하여, 외부 전자 장치로 적용가능한 하나 이상의 기능들을 식별할 수 있다. 예를 들어, 웨어러블 장치는 메타 데이터를 이용하여, 외부 전자 장치로부터 획득 가능한(obtainable) 데이터를 식별할 수 있다. 예를 들어, 웨어러블 장치는 메타 데이터를 이용하여, 외부 전자 장치가 포함된 적어도 하나의 카테고리를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치는 메타 데이터에 기반하여, 계층화된 카테고리들 내에서 외부 전자 장치가 포함된 하나 이상의 카테고리들을 식별할 수 있다. 도 4의 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451)은, 상기 계층화된 카테고리들의 일 예일 수 있다. 도 4를 참고하면, 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451)이 트리 구조에 기반하여 연결된 일 예가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
도 4의 카테고리(410)는, 상기 계층화된 카테고리들의 최상위 카테고리이고, 웨어러블 장치로 연결 가능한 외부 전자 장치들의 전체 집합(universal set)을 나타낼 수 있다. 카테고리들(420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451)은, 최상위 카테고리인 카테고리(410)의 하위 카테고리로써, 카테고리(410)에 직집적으로, 또는 간접적으로 연결되어, 외부 전자 장치들의 부분 집합을 나타낼 수 있다. 일 실시예에 따른, 웨어러블 장치는 외부 전자 장치에 대한 메타 데이터에 기반하여, 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451) 내에서 상기 외부 전자 장치를 분류할 수 있다. 웨어러블 장치가 외부 전자 장치를 분류하는 것은, 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451) 중에서, 상기 외부 전자 장치가 포함된 최하위 카테고리를 선택하는 것을 의미할 수 있다. 상기 선택된 최하위 카테고리에 연쇄적으로 연결된 하나 이상의 상위 카테고리들에 기반하여, 웨어러블 장치는, 외부 전자 장치와 관련된 하나 이상의 카테고리들을 식별할 수 있다. 예를 들어, 상기 외부 전자 장치와 관련된 하나 이상의 카테고리들은, 최상위 카테고리인 카테고리(410)로부터 상기 선택된 최하위 카테고리 사이를 연결하는 하나 이상의 카테고리들을 포함할 수 있다.
도 4를 참고하면, 최상위 카테고리(410)에 연결된 카테고리(420)는, 조명과 관련된 기능을 제공하기 위한 외부 전자 장치들을 분류하기 위한 카테고리일 수 있다. 카테고리(420)로 분류된 외부 전자 장치들의 형태, 및/또는 기능에 기반하여, 카테고리들(421, 422, 423)이 카테고리(420) 내에 포함될 수 있다. 예를 들어, 카테고리(421)는, 플로어 램프(floor lamp)와 같이 독립형의(stand-alone) 조명 기구를 분류하기 위한 카테고리일 수 있다. 예를 들어, 카테고리(422)는, 펜던트 램프(pendant lamp)와 같이, 천장에 고정된 조명 기구를 분류하기 위한 카테고리일 수 있다. 예를 들어, 카테고리(423)는, 전구(bulb)와 같이, 소켓에 탈착 가능한 조명 기구를 분류하기 위한 카테고리일 수 있다. 비록, 카테고리(420)의 하위 카테고리로, 카테고리들(421, 422, 423) 만이 예시되지만, 실시예가 이에 제한되는 것은 아니다.
도 4를 참고하면, 카테고리(430)는, 비디오, 및/또는 이미지와 관련된 기능을 제공하기 위한 외부 전자 장치들을 분류하기 위한 카테고리일 수 있다. 카테고리(431)는, 카테고리(430)의 하위 카테고리이고, 비디오, 및/또는 이미지를 캡쳐하기 위한 외부 전자 장치들을 분류하기 위한 카테고리일 수 있다. 카테고리(433)는, 카테고리(431)의 하위 카테고리이고, 보안 카메라, 및/또는 폐쇄회로 카메라와 같은 감시 카메라를 분류하기 위한 카테고리일 수 있다. 카테고리(432)는, 카테고리(430)의 하위 카테고리이고, 비디오, 및/또는 이미지를 표시하기 위한 외부 전자 장치들을 분류하기 위한 카테고리일 수 있다. 카테고리(434)는, 텔레비전을 분류하기 위한 카테고리일 수 있다.
도 4를 참고하면, 카테고리(440)는, 공기와 관련된 기능을 제공하기 위한 외부 전자 장치들을 분류하기 위한 카테고리일 수 있다. 카테고리(441)는, 카테고리(440)의 하위 카테고리이고, 공조 장치(air conditioner)를 분류하기 위한 카테고리일 수 있다. 카테고리(442)는, 카테고리(440)의 하위 카테고리이고, 공기 청정기를 분류하기 위한 카테고리일 수 있다.
도 4를 참고하면, 카테고리(450)는, 외부 전자 장치의 제어를 위한 기능을 제공하기 위한 컨트롤러를 분류하기 위한 카테고리일 수 있다. 카테고리(451)는, 카테고리(450)의 하위 카테고리이고, 게임 패드와 같은 컨트롤러를 분류하기 위한 카테고리일 수 있다.
이하에서는, 도 4를 참고하여 상술된 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451)에 기반하여, 일 실시예에 따른, 웨어러블 장치가 도 1a 내지 도 1b의 외부 전자 장치들(121, 122, 123, 131, 132, 141, 142, 161, 171)을 분류하는 예시적인 동작이 설명된다.
예를 들어, 웨어러블 장치는 독립형의 조명 기구인 도 1a 내지 도 1b의 외부 전자 장치(121)를, 도 4의 카테고리(421)로 분류할 수 있다. 웨어러블 장치는, 소켓에 연결된 전구인 도 1a 내지 도 1b의 외부 전자 장치(122)를, 도 4의 카테고리(423)로 분류할 수 있다. 웨어러블 장치는 천장에 설치된 조명 기구인 도 1a 내지 도 1b의 외부 전자 장치(123)를, 도 4의 카테고리(422)로 분류할 수 있다. 예를 들어, 웨어러블 장치는, 도 1b의 시각적 객체들(151, 152)에 대응하는 외부 전자 장치들을, 도 4의 전구에 대응하는 위한 카테고리(423)로 분류할 수 있다. 웨어러블 장치는 도 1b의 시각적 객체(153)에 대응하는 외부 전자 장치를, 도 4의 독립형의 조명 기구에 대응하는 카테고리(421)로 분류할 수 있다. 도 1a 내지 도 1b의 외부 전자 장치들(121, 122, 123)은, 도 4의 카테고리(420) 내에서, 상이한 최하위 카테고리들(421, 422,423)로 분류될 수 있다.
예를 들어, 웨어러블 장치는, 감시 카메라인 도 1a 내지 도 1b의 외부 전자 장치(131)를, 도 4의 카테고리(433)로 분류할 수 있다. 웨어러블 장치는 텔레비전인 도 1a 내지 도 1b의 외부 전자 장치(132)를, 도 4의 카테고리(434)로 분류할 수 있다. 상이한 최하위 카테고리들(433, 434)로 분류되지만, 도 1a 내지 도 1b의 외부 전자 장치들(131, 132)은, 비디오, 및/또는 이미지와 관련된 기능을 제공하는 관점에서(in terms of), 카테고리(430)로 분류될 수 있다.
예를 들어, 웨어러블 장치는, 공기 청정기인 도 1a 내지 도 1b의 외부 전자 장치(141)를, 도 4의 카테고리(442)로 분류할 수 있다. 웨어러블 장치는 에어컨인 도 1a 내지 도 1b의 외부 전자 장치(142)를, 도 4의 카테고리(441)로 분류할 수 있다. 웨어러블 장치는 게임 패드인 도 1a 내지 도 1b의 외부 전자 장치(161)를, 도 4의 카테고리(451)로 분류할 수 있다.
일 실시예에 따른, 웨어러블 장치는 메타 데이터, 및/또는 계층화된 카테고리들(예, 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451))에 기반하여, 특정 외부 전자 장치에 의해 제공되는 적어도 하나의 기능을 식별할 수 있다. 예를 들어, 웨어러블 장치는 카테고리(423)에 기반하여, 전구인 도 1a 내지 도 1b의 외부 전자 장치(122)에 적용가능한 기능들의 제1 세트를 식별할 수 있다. 예를 들어, 웨어러블 장치는 카테고리(421)에 기반하여, 독립형의 조명 기구인 도 1a 내지 도 1b의 외부 전자 장치(121)에 적용가능한 기능들의 제2 세트를 식별할 수 있다. 예를 들어, 웨어러블 장치는, 특정 외부 전자 장치를 선택함을 나타내는 입력에 응답하여, 상기 특정 외부 전자 장치에 적용가능한 기능들의 실행을 위한 화면을 표시할 수 있다.
일 실시예에서, 웨어러블 장치는 복수의 외부 전자 장치들을 선택함을 나타내는 입력을 수신할 수 있다. 상기 입력에 의해 선택된 복수의 외부 전자 장치들과 상호작용하기 위하여, 웨어러블 장치는 계층화된 카테고리들을 이용할 수 있다. 예를 들어, 웨어러블 장치가 외부 전자 장치들을 분류하기 위해 이용하는 계층화된 카테고리들(예, 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451))은, 상기 외부 전자 장치들의 동질성을 식별하기 위해 이용될 수 있다. 예를 들어, 복수의 외부 전자 장치들을 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 계층화된 카테고리들에 기반하여, 상기 복수의 외부 전자 장치들에 공통된(common to) 기능을 식별할 수 있다. 예를 들어, 상기 계층화된 카테고리들 각각은, 카테고리에 포함된 외부 전자 장치들에 공통으로 적용가능한 기능을 나타낼 수 있다.
예를 들어, 도 1a 내지 도 1b의 외부 전자 장치들(121, 122) 전부를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 상기 외부 전자 장치들(121, 122) 각각이 분류된 도 4의 카테고리들(423, 421)에 기반하여, 상기 외부 전자 장치들(121, 122) 각각에 적용가능한 기능들의 상기 제1 세트, 및 상기 제2 세트를 식별할 수 있다. 상기 제1 세트, 및 상기 제2 세트의 교집합은, 도 1a 내지 도 1b의 외부 전자 장치들(121, 122)에 공통으로 적용가능한 기능들을, 원소로써 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치는 상기 입력에 응답하여, 상기 교집합에 포함된 적어도 하나의 기능의 실행을 위한 화면을 표시할 수 있다.
복수의 외부 전자 장치들 각각에 적용가능한 기능들의 세트들의 교집합에 기반하는 웨어러블 장치의 예시적인 동작이 설명되었지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 복수의 외부 전자 장치들을 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 상기 복수의 외부 전자 장치들 전부를 포함하는 최하위 카테고리를, 계층화된 카테고리들 내에서 식별할 수 있다. 상기 예시와 같이, 도 1a 내지 도 1b의 외부 전자 장치들(121, 122) 전부를 선택함을 나타내는 입력을 수신한 상태 내에서, 웨어러블 장치는 상기 외부 전자 장치들(121, 122) 각각이 분류된 도 4의 카테고리들(423, 421) 각각의 상위 카테고리를 식별할 수 있다. 도 4를 참고하면, 카테고리들(423, 421) 전부를 포함하는 카테고리(420)가, 카테고리들(423, 421) 전부를 포함하는 카테고리들(410, 420) 중에서, 최하위 카테고리일 수 있다. 웨어러블 장치는 상기 카테고리(420)에 기반하여, 상기 입력에 의해 선택된 상기 외부 전자 장치들(121, 122)에 공통으로 적용가능한 적어도 하나의 기능을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치는 계층화된 카테고리들에 기반하여 외부 전자 장치들의 동질성에 기반하는 사용자의 선택을 가이드할 수 있다. 예를 들어, 적어도 두 개의 외부 전자 장치들을 선택하는 입력에 응답하여, 웨어러블 장치는 상기 입력에 의해 선택된 외부 전자 장치들 각각에 대응하는 카테고리들의 합집합, 또는 상위 카테고리에 기반하여, 상기 외부 전자 장치들과 상이한 다른 외부 전자 장치의 선택을 가이드할 수 있다. 상기 예시와 같이, 도 1a 내지 도 1b의 외부 전자 장치들(121, 122) 전부를 선택함을 나타내는 입력을 수신한 상태 내에서, 웨어러블 장치는 상기 외부 전자 장치들(121, 122) 각각이 분류된 도 4의 카테고리들(423, 421) 각각의 상위 카테고리 내에 포함된 다른 외부 전자 장치를 식별할 수 있다. 상기 다른 외부 전자 장치는, 예를 들어, 도 1a 내지 도 1b의 외부 전자 장치(123)와 같이, 도 4의 카테고리들(421, 423)의 상위 카테고리인 카테고리(420) 내에 포함된 외부 전자 장치를 포함할 수 있다. 상기 예시 내에서, 웨어러블 장치는 도 1a 내지 도 1b의 외부 전자 장치(123)의 추가적인 선택을 가이드할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는, 상기 웨어러블 장치에 연결된 복수의 외부 전자 장치들에 대한 메타 데이터에 기반하여, 상기 복수의 외부 전자 장치들을 분류하기 위한 계층화된 카테고리들(예, 카테고리들(410, 420, 421, 422, 423, 430, 431, 432, 433, 434, 440, 441, 442, 450, 451))을 획득할 수 있다. 계층화된 카테고리들에 기반하여, 웨어러블 장치는, 외부 전자 장치들에 공통으로 적용가능한 적어도 하나의 기능을 식별할 수 있다. 예를 들어, 외부 전자 장치들을 켜거나, 끄는 기능 외에도, 웨어러블 장치는 외부 전자 장치들에 공통으로 적용가능한 다른 기능을 식별할 수 있다. 웨어러블 장치는 상기 다른 기능의 실행을 위한 화면을 표시하여, 사용자가 복수의 외부 전자 장치들을 켜거나, 끄는 기능 외에도, 복수의 외부 전자 장치들을 일괄적으로 제어하는 것을 지원할 수 있다.
이하에서는, 도 5a 내지 도 5c를 참고하여, 일 실시예에 따른, 웨어러블 장치가 외부 전자 장치를 추가함을 나타내는 입력을 수신하는 동작을 설명한다.
도 5a 내지 도 5c는, 일 실시예에 따른, 웨어러블 장치가, 외부 전자 장치, 및 웨어러블 장치 사이를 연결함을 나타내는 입력을 수신하는 동작의 일 예를 도시한다. 도 5a 내지 도 5c의 웨어러블 장치는, 도 1a 내지 도 1b의 웨어러블 장치(101), 및/또는 도 2 내지 도 4의 웨어러블 장치의 일 예일 수 있다. 예를 들어, 도 1의 웨어러블 장치(101)는 도 5a 내지 도 5c의 웨어러블 장치를 포함할 수 있다. 예를 들어, 도 5a 내지 도 5c의 FoV(110)는, 도 1a 내지 도 1b의 FoV(110)에 대응할 수 있다.
일 실시예에 따른, 웨어러블 장치는 카메라(예, 도 2의 카메라(240))를 이용하여, FoV(110) 내에 포함된 하나 이상의 외부 전자 장치들을 식별할 수 있다. 예를 들어, 웨어러블 장치는 객체 탐지, 및/또는 객체 인식에 기반하여, FoV(110) 내에 포함된 하나 이상의 외부 전자 장치들을 식별할 수 있다. 웨어러블 장치는, 카메라로부터 획득된 FoV(110)의 이미지로부터, 하나 이상의 특징점들을 추출할 수 있다. 상기 하나 이상의 특징점들에 기반하여, 웨어러블 장치는 상기 하나 이상의 외부 전자 장치들을 식별할 수 있다. 웨어러블 장치는 상기 이미지로부터 외부 전자 장치를 식별하도록 트레이닝된 뉴럴 네트워크를 이용하여, 상기 하나 이상의 외부 전자 장치들을 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치는 FoV(110) 내에서 적어도 하나의 외부 전자 장치(예, 외부 전자 장치(512))의 위치를 알리기 위한 입력을 수신할 수 있다. 예를 들어, 상기 객체 탐지, 및/또는 상기 객체 인식과 독립적으로, 웨어러블 장치는, 사용자로부터 외부 전자 장치의 위치를 획득할 수 있다. 이하에서는, 도 5a 내지 도 5c를 참고하여, 일 실시예에 따른, 웨어러블 장치가 사용자 입력에 기반하여 외부 전자 장치(512)의 위치를 식별하는 동작이 설명된다.
도 5a의 상태(510) 내에서, 웨어러블 장치는 FoV(110) 내에 중첩으로, 외부 전자 장치(512)의 위치를 수신하기 위한 시각적 객체(514)를 표시할 수 있다. 상기 외부 전자 장치(512)는 상태(510), 및/또는 상태(510) 이전에 통신 회로(예, 도 2의 통신 회로(250))를 통해 웨어러블 장치에 의해 식별될 수 있다. 시각적 객체(514)는, FoV(110)와 적어도 일부 중첩되는 디스플레이(예, 도 2의 디스플레이(230)) 내에 표시될 수 있다. 웨어러블 장치는, 지정된 알파 값에 기반하여 반투명의 시각적 객체(514)를 표시할 수 있다. 시각적 객체(514) 내에, 웨어러블 장치는 외부 전자 장치(512)의 위치를 선택할 수 있음을 가이드하기 위한 지정된 텍스트(예, "take place")를 표시할 수 있다. 시각적 객체(514)는, 외부 전자 장치를 선택하거나, 또는 외부 전자 장치의 위치를 선택하기 위한 앵커(anchor)로 참조될 수 있다.
일 실시예에 따른, 웨어러블 장치는, 시각적 객체(514)를 이동하는 입력을 수신할 수 있다. 예를 들어, 웨어러블 장치는, 도 6a 내지 도 6b를 참고하여 후술되는, 사용자의 모션에 기반하여, 상기 입력을 수신할 수 있다. 예를 들어, 웨어러블 장치는 도 7a 내지 도 7b를 참고하여 후술되는, 사용자의 발언에 기반하여, 상기 입력을 수신할 수 있다. 도 5a의 상태(510) 내에서, 웨어러블 장치는 경로(516)를 따라 시각적 객체(514)를 이동함을 나타내는 입력을 수신할 수 있다. 예를 들어, 시각적 객체(514)가 FoV(110) 내에 포함된 외부 전자 장치(512) 상에 중첩되도록, 사용자는 시각적 객체(514)를 이동시킬 수 있다.
도 5b의 상태(520)는, 웨어러블 장치가 시각적 객체(514)를 이동함을 나타내는 상기 입력을 수신한 이후의 상태일 수 있다. 도 5b를 참고하면, 상기 입력에 응답하여, 웨어러블 장치는 외부 전자 장치(512)의 타입을 선택하기 위한 옵션들(522, 524, 526)을 표시할 수 있다. 예를 들어, 옵션들(522, 524, 526)은, 사용자로부터 FoV(110) 내에서 시각적 객체(514)와 중첩된 외부 전자 장치(512)의 카테고리를 수신하기 위하여, 웨어러블 장치에 의해 표시될 수 있다.
도 5b를 참고하면, 옵션(522)은, 외부 전자 장치(512)가 독립형의 조명 기구(예, 도 4의 카테고리(421)로 분류되는 조명 기구)로 분류됨을 나타내는 입력을 수신하기 위한 아이콘을 포함할 수 있다. 옵션(524)은, 외부 전자 장치(512)가 천장에 고정된 조명 기구(예, 도 4의 카테고리(422)로 분류되는 조명 기구)임을 나타내는 입력을 수신하기 위한 아이콘을 포함할 수 있다. 옵션(526)은, 외부 전자 장치(512)가 전구(예, 도 4의 카테고리(423)로 분류되는 조명 기구)임을 나타내는 입력을 수신하기 위한 아이콘을 포함할 수 있다.
일 실시예에서, 옵션들(522, 524, 526) 중 어느 하나를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 외부 전자 장치(512)를 계층화된 카테고리들 중 적어도 하나로 분류할 수 있다. 이하에서는, 웨어러블 장치가 도 5b의 상태(520) 내에서 사용자로부터 옵션(522)을 선택함을 나타내는 입력을 수신한 것으로 가정한다.
도 5c의 상태(530)는, 도 5a 내지 도 5b의 상태들(510, 520)에 기반하여 외부 전자 장치(512)를 식별한 이후, 웨어러블 장치가 외부 전자 장치(512)를 제어하기 위한 화면(534)을 표시하는 상태일 수 있다. 예를 들어, 웨어러블 장치는 외부 전자 장치(512)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 상기 입력에 응답하여, 외부 전자 장치(512)가 선택됨을 나타내기 위한 시각적 객체(532)를 표시할 수 있다. 도 5c를 참고하면, 사각형의 라인에 기반하는 시각적 객체(532)의 일 예가 도시되지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 시각적 객체(532)는 외부 전자 장치(512)의 윤곽선의 형태를 가질 수 있다. 예를 들어, 시각적 객체(532)는 외부 전자 장치(512)와 적어도 일부 중첩되는 다각형의 형태를 가질 수 있다.
일 실시예에 따른, 웨어러블 장치는 외부 전자 장치(512)를 선택함을 나타내는 입력에 응답하여, FoV(110)의 적어도 일부분에 화면(534)을 표시할 수 있다. 화면(534) 내에서, 웨어러블 장치는 상기 입력에 의해 선택된 외부 전자 장치(512)에 적용가능한 하나 이상의 기능들을 표시할 수 있다. 외부 전자 장치(512)에 적용가능한 하나 이상의 기능들은, 외부 전자 장치(512)에 대한 메타 데이터, 및/또는 외부 전자 장치(512)가 포함된 하나 이상의 카테고리들에 기반하여 식별될 수 있다.
도 5c를 참고하면, 화면(534) 내에서, 웨어러블 장치는 외부 전자 장치(512)의 타입을 나타내기 위한 아이콘(534-1), 및/또는 텍스트(534-2)를 표시할 수 있다. 화면(534) 내에서, 웨어러블 장치는 외부 전자 장치(512)를 활성 상태, 또는 비활성 상태 사이에서 토글하기 위한 버튼(534-3)을 표시할 수 있다. 화면(534) 내에서, 웨어러블 장치는 외부 전자 장치(512)의 광량을 조절하기 위한 슬라이더와 같은 시각적 객체(534-4)를 표시할 수 있다. 화면(534) 내에서, 웨어러블 장치는 외부 전자 장치(512)로부터 출력되는 빛의 색상을 조절하기 위한 팔레트와 같은 시각적 객체(534-5)를 표시할 수 있다. 화면(534) 내에서, 웨어러블 장치는 색 온도를 조절하기 위한 슬라이더와 같은 시각적 객체(534-6)를 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치는 화면(534)에 기반하는 입력에 응답하여, 외부 전자 장치(512)를 제어할 수 있다. 예를 들어, 웨어러블 장치는 상기 입력에 응답하여, 외부 전자 장치(512)로 상기 입력을 나타내는 신호를 송신할 수 있다.
비록 외부 전자 장치(512)와 관련된 웨어러블 장치의 예시적인 동작이 설명되었지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치는, FoV(110)를 통해 보여지고, 외부 전자 장치(512)와 상이한 다른 외부 전자 장치를 선택함을 나타내는 입력에 기반하여, 화면(534)과 유사하게, 상기 다른 외부 전자 장치에 적용가능한 기능들을 실행하기 위한 화면을 표시할 수 있다. 예를 들어, 웨어러블 장치는 FoV(110)의 적어도 일부분 상에 중첩되는 시각적 객체들(151, 152, 153) 중 적어도 하나를 선택함을 나타내는 입력에 응답하여, 상기 입력에 의해 선택된 적어도 하나의 시각적 객체에 대응하는 적어도 하나의 외부 전자 장치에 적용가능한 기능들을 실행하기 위한 화면을 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 외부 전자 장치를 선택함을 나타내는 입력에 기반하여, 화면(534)과 같이 상기 외부 전자 장치를 제어하기 위한 UI를 표시할 수 있다. 상기 UI에 기반하는 입력에 응답하여, 웨어러블 장치는 상기 외부 전자 장치를 제어하기 위한 신호를 송신할 수 있다. 사용자에 의해 선택된 외부 전자 장치의 개수가 두 개 이상으로 증가되는 경우, 웨어러블 장치는 상기 UI를 변경하여, 사용자에 의해 선택된 외부 전자 장치들에 공통으로 적용가능한 기능들을 표시할 수 있다. 한편, 사용자에 의해 선택된 외부 전자 장치들의 동질성에 기반하여, 웨어러블 장치는 사용자에게 외부 전자 장치의 추가적인 선택을 가이드할 수 있다.
이하에서는, 도 6a 내지 도 6b, 및/또는 도 7a 내지 도 7b를 참고하여, 일 실시예에 따른, 웨어러블 장치가 두 개 이상의 외부 전자 장치들을 선택함을 나타내는 입력을 수신하는 예시적인 동작들이 설명된다.
도 6a 내지 도 6b는, 일 실시예에 따른, 웨어러블 장치(101)가 사용자의 모션에 기반하여, 외부 전자 장치들 중 적어도 하나를 선택함을 나타내는 입력을 수신하는 동작의 일 예를 도시한다. 도 6a 내지 도 6b의 웨어러블 장치(101)는, 도 1의 웨어러블 장치(101), 도 2 내지 도 4, 및/또는 도 5a 내지 도 5c의 웨어러블 장치의 일 예일 수 있다. 예를 들어, 도 1의 웨어러블 장치(101)는 도 6a 내지 도 6b의 웨어러블 장치(101)를 포함할 수 있다. 도 6a 내지 도 6c의 FoV(110)는, 도 1a 내지 도 1b의 FoV(110)를 포함할 수 있다.
도 6a 내지 도 6b의 상태들(610, 620)은, 웨어러블 장치가 하나 이상의 외부 전자 장치들을 선택함을 나타내는 입력을 수신하기 위한 모드(예, 멀티-선택 모드(multi-selection mode))로 진입한 동안의 상태일 수 있다. 예를 들어, 웨어러블 장치는, 웨어러블 장치를 지정된 기간을 초과하여 누르는 입력(예, 롱-프레스), 또는 웨어러블 장치를 지정된 기간 이내에 지정된 횟수(예, 2회) 두드리는 입력(예, 더블-탭)에 응답하여, 상기 모드로 진입할 수 있다.
도 6a는, 일 실시예에 따른, 웨어러블 장치(101)가 사용자의 신체 부위(예, 손(612))의 모션을 식별하는 예시적인 상태(610)를 도시한다. 웨어러블 장치(101)는 카메라(예, 도 2의 카메라(240))를 이용하여, 손(612)을 포함하는 이미지를 획득할 수 있다. 획득된 이미지 내에서, 손(612)의 위치, 및/또는 크기의 변화에 기반하여, 웨어러블 장치(101)는 손(612)의 모션을 나타내는 데이터를 획득할 수 있다. 상기 데이터는 손(612), 및/또는 손(612)에 포함된 손가락의 경로를 포함할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 손(612)과 같은 신체 부위의 경로에 기반하여 하나 이상의 외부 전자 장치들을 선택함을 나타내는 입력을 수신할 수 있다. 도 6a의 상태(610) 내에서, 웨어러블 장치(101)는 FoV(110) 내에, 손(612)의 경로를 나타내기 위한 시각적 객체(614)를 표시할 수 있다. 시각적 객체(614)는, 웨어러블 장치가 손(612)의 경로를 추적하는 동안, 선에 기반하여 추적된 경로를 나타낼 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 시각적 객체(614)와 같이 폐곡선의 형태를 가지는 경로를 식별하는 것에 기반하여, FoV(110) 내에서 상기 경로 내에 포함된 외부 전자 장치들(121, 122)을 선택할 수 있다. 예를 들어, 시각적 객체(614)와 같이 폐곡선의 형태를 가지는 경로를 따라 이동하는 손(612)의 모션이, 외부 전자 장치들(121, 122)을 선택하기 위한 제스쳐일 수 있다.
도 6b는, 일 실시예에 따른, 웨어러블 장치(101)가 포인팅 장치(622)와 같은 외부 전자 장치에 기반하여 적어도 하나의 외부 전자 장치를 선택함을 나타내는 입력을 수신하는 예시적인 상태(620)를 도시한다. 포인팅 장치(622)는, 웨어러블 장치(101)를 착용한 사용자의 제스쳐를 수신하기 위하여, 웨어러블 장치(101)와 유선으로, 또는 무선으로 연결될 수 있다. 사용자는 포인팅 장치(622)를 움직이거나, 포인팅 장치(622)의 버튼을 눌러, 웨어러블 장치(101)을 제어할 수 있다. 예를 들어, 포인팅 장치(622)는 도 4의 카테고리(450)와 같이, 포인팅 장치(622)와 상이한 다른 전자 장치(예, 웨어러블 장치(101))를 원격으로 제어하기 위한 전자 장치일 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 포인팅 장치(622)에 의해 탐지되고, 적어도 하나의 외부 전자 장치를 선택함을 나타내는 입력을 수신할 수 있다. 도 6b를 참고하면, 웨어러블 장치(101)는 포인팅 장치(622)의 경로를 나타내는 시각적 객체(624)를 표시할 수 있다. 폐곡선의 형태를 가지는 시각적 객체(624)에 기반하여, 웨어러블 장치(101)는 FoV(110) 내에서 상기 폐곡선 내에 포함된 외부 전자 장치들(121, 122, 131)을 선택함을 나타내는 입력을 수신할 수 있다.
웨어러블 장치(101)는, 포인팅 장치(622), 및/또는 손(612)을 이용하여, 복수의 외부 전자 장치들을 선택함을 나타내는 입력 뿐만 아니라, 기 선택된 복수의 외부 전자 장치들 중 적어도 하나를 제외함을 나타내는 입력을 수신할 수 있다. 예를 들어, 시각적 객체(624)와 같이 외부 전자 장치들(121, 122, 131)을 선택함을 나타내는 제1 입력을 수신한 이후, 웨어러블 장치(101)는, 시각적 객체(626)의 경로를 따라 이동하는 포인팅 장치(622)의 모션을 식별할 수 있다. 시각적 객체(626)의 경로를 따라 이동하는 포인팅 장치(622)의 모션에 기반하여, 웨어러블 장치(101)는 시각적 객체(626)의 경로에 의해 특정된(specified) 외부 전자 장치(131)를 제외함을 나타내는 제2 입력을 수신할 수 있다. 상기 제1 입력, 및 상기 제2 입력을 순차적으로 수신한 이후, 웨어러블 장치(101)는, 외부 전자 장치들(121, 122)이 사용자에 의해 선택된 것으로 결정할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 사용자의 손(612)의 모션에 기반하여 하나 이상의 외부 전자 장치들을 선택함을 나타내는 입력을 수신할 수 있다. 복수의 외부 전자 장치들이 상기 입력에 의해 선택됨을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 복수의 외부 전자 장치들에 공통으로 적용가능한 기능들을 식별할 수 있다. 웨어러블 장치(101)가 상기 복수의 외부 전자 장치들에 공통으로 적용가능한 기능들을 식별하는 것은, 계층화된 카테고리들(예, 도 4의 카테고리들)에 기반하여 수행될 수 있다. 웨어러블 장치(101)는 식별된 기능들을 FoV(110) 내에 표시하여, 사용자에게 상기 기능들에 기반하는 복수의 외부 전자 장치들의 일괄적인 제어를 지원할 수 있다.
웨어러블 장치(101)가 외부 전자 장치들을 선택함을 나타내는 입력을 수신하는 것은, 도 6a 내지 도 6b의 예시적인 동작들에 제한되지 않는다. 이하에서는 도 7a 내지 도 7b를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가, 웨어러블 장치(101)의 모션, 및/또는 사용자의 발언에 기반하여, 외부 전자 장치들을 선택함을 나타내는 입력을 수신하는 동작이 설명된다.
도 7a 내지 도 7b는, 일 실시예에 따른, 웨어러블 장치(101)가 사용자의 모션, 및 발언(speech)에 기반하여, 외부 전자 장치들 중 적어도 하나를 선택함을 나타내는 입력을 수신하는 동작의 일 예를 도시한다. 도 1의 웨어러블 장치(101)는 도 7a 내지 도 7b의 웨어러블 장치(101)를 포함할 수 있다. 도 7a 내지 도 7b의 웨어러블 장치(101)는, 도 2 내지 도 4, 도 5a 내지 도 5c의 웨어러블 장치, 및/또는 도 6a 내지 도 6b의 웨어러블 장치(101)의 일 예일 수 있다. 도 7a 내지 도 7b의 상태들(710, 720)은, 도 6a 내지 도 6b의 상태들(610, 620)과 유사하게, 웨어러블 장치가 하나 이상의 외부 전자 장치들을 선택함을 나타내는 입력을 수신하기 위한 모드로 진입한 동안의 상태일 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자의 시선(eye gaze), 및/또는 머리의 모션을 추적하기 위한 센서(예, 도 2의 센서(260))를 포함할 수 있다. 웨어러블 장치(101)는 오디오 신호를 수신하기 위한 마이크(예, 도 2의 마이크(270))를 포함할 수 있다. 웨어러블 장치(101)는 오디오 신호로부터, 발언(714)을 추출할 수 있다. 웨어러블 장치(101)가 오디오 신호로부터 발언(714)을 추출하는 것은, STT(speech-to-text)를 위한 알고리즘, 및/또는 뉴럴 네트워크에 기반하여 수행될 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 오디오 신호로부터 지정된 키워드를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 발언(714) 내에서 지정된 키워드를 식별할 수 있다. 상기 지정된 키워드는, 도 7a의 키워드(716)와 같이, 지시 대명사를 포함할 수 있다. 상기 지시 대명사와 같이, 하나 이상의 외부 전자 장치들을 선택하기 위한 단어를 발언(714)으로부터 식별하는 것에 응답하여, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자의 모션(예, 사용자의 시선의 변화, 및/또는 사용자의 머리의 모션)을 식별할 수 있다.
도 7a를 참고하면, 오디오 신호로부터 지정된 키워드(예, 키워드(716))를 식별하는 것에 응답하여, 웨어러블 장치는, 상기 지정된 키워드가 식별된 시간 구간, 및 상기 센서에 의해 탐지된 사용자의 시선, 및/또는 사용자의 머리의 모션에 기반하여, 적어도 하나의 외부 전자 장치를 선택함을 나타내는 입력을 수신할 수 있다. 예를 들어, 키워드(716)를 수신한 시간 구간 내에서, 웨어러블 장치(101)는 사용자의 시선, 및/또는 웨어러블 장치(101)의 모션을 나타내는 데이터를 획득할 수 있다. 상기 시간 구간 내에서 획득된 상기 데이터에 기반하여, 웨어러블 장치(101)는 FoV(110) 내에 중첩으로, 시각적 객체(712)를 표시할 수 있다. 예를 들어, 시각적 객체(712)는, 상기 시간 구간 내에서 사용자의 시선, 및/또는 사용자의 머리의 모션에 의한 웨어러블 장치(101)의 경로를 나타낼 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는, 키워드(716)를 수신한 시간 구간 내에서 수신된 모션을 나타내는 시각적 객체(712)에 기반하여, 하나 이상의 외부 전자 장치들을 선택함을 나타내는 입력을 수신할 수 있다. 예를 들어, 웨어러블 장치(101)는 FoV(110) 내에서 시각적 객체(712)에 의해 나타나는 폐곡선 내에 포함된 외부 전자 장치(121), 및 시각적 객체(153)에 대응하는 외부 전자 장치를, 사용자에 의해 선택된 외부 전자 장치들로써 결정할 수 있다.
일 실시예에 따른, 웨어러블 장치(101)는 발언(714) 내 키워드(716)에 의해 선택된 외부 전자 장치들을, 발언(714) 내에 포함되고, 키워드(716)와 상이한 다른 키워드에 기반하여 일괄적으로 제어할 수 있다. 도 7a를 참고하면, "turn all of those off"와 같은 발언(714)을 수신하는 것에 응답하여, 웨어러블 장치(101)는 발언(714) 내에서 외부 전자 장치들을 선택하기 위한 키워드(예, "all of those") 뿐만 아니라, 상기 외부 전자 장치들에 공통으로 적용될 기능을 선택하기 위한 키워드(예, "turn off")를 식별할 수 있다. 예를 들어, 발언(714)을 수신하는 것에 응답하여, 웨어러블 장치(101)는 발언(714) 내 키워드(716)에 의해 선택된 외부 전자 장치들(예, 외부 전자 장치(121), 및 시각적 객체(153)에 대응하는 외부 전자 장치)을 일괄적으로 끌 수 있다.
도 7b는, 일 실시예에 따른, 웨어러블 장치(101)가 오디오 신호로부터 발언(예, 도 7a의 발언(714))을 식별하는 동안, 상기 발언 내에 포함된 키워드들에 기반하여 실행하는 기능을 나타낸 타이밍 도(720)의 일 예를 도시한다. 웨어러블 장치(101)는 STT에 기반하여 오디오 신호로부터 텍스트를 획득할 수 있다. 상기 텍스트 내에서 특정 기능(예, 도 7a를 참고하여 상술된, 하나 이상의 외부 전자 장치들을 선택하는 기능)을 나타내는 키워드를 식별하는 것에 응답하여, 웨어러블 장치(101)는 상기 특정 기능을 실행할 수 있다.
도 7b를 참고하면, 시점 t1 부터, 웨어러블 장치(101)는 오디오 신호로부터 발언을 나타내는 텍스트를 획득할 수 있다. 예를 들어, 시점 t1 부터 시작되는 시간 구간(721) 내에서, 웨어러블 장치(101)는 발언, 및 텍스트 사이의 변환(예, STT)을 수행할 수 있다. 도 7b를 참고하면, 시점 t1 내지 시점 t2 사이의 시간 구간(722) 내에서, 웨어러블 장치(101)를 제어하기 위한 음성 명령의 시작을 알리는 지정된 키워드를 식별할 수 있다. 예를 들어, 음성 명령의 시작을 알리는 지정된 키워드는 "Hi bixby"이거나, 또는 사용자에 의해 입력된 텍스트를 포함할 수 있다(예, "Hi (텍스트)").
도 7b를 참고하면, 시간 구간(722) 내에서 상기 지정된 키워드를 식별하는 것에 기반하여, 웨어러블 장치(101)는 시점 t2 이후부터, 상기 지정된 키워드 이후에 연속되는 음성 명령을 나타내는 텍스트를 획득할 수 있다. 예를 들어, 시점 t2 이후의 시간 구간(723) 내에서, 웨어러블 장치(101)는 오디오 신호로부터 음성 명령을 획득할 수 있다. 시점 t2 이후의 시간 구간(725)은, 웨어러블 장치(101)는 상기 음성 명령에 의해 나타나는 동작을 수행하는 시간 구간일 수 있다.
도 7b를 참고하면, 시점 t3 내지 시점 t4 사이의 시간 구간(724) 내에서, 웨어러블 장치(101)는 지시 대명사와 같이, 하나 이상의 외부 전자 장치들을 선택함을 나타내는 키워드를, 텍스트로부터 식별할 수 있다. 시간 구간(724) 내에서, 웨어러블 장치(101)는, 도 7a를 참고하여 상술한 바와 같이, 사용자의 모션을 탐지할 수 있다. 탐지된 모션에 기반하여, 웨어러블 장치(101)는 하나 이상의 외부 전자 장치들을 식별할 수 있다.
도 7b를 참고하면, 음성 명령을 수신하는 시간 구간(723) 내에서, 지시 대명사를 수신한 시간 구간(724)을 제외한 나머지 시간 구간(예, 시점 t2 내지 시점 t3 사이의 시간 구간, 및 시점 t4 내지 시점 t5 사이의 시간 구간) 내에서 식별된 키워드에 기반하여, 웨어러블 장치(101)는 시간 구간(724)에 의해 선택된 하나 이상의 외부 전자 장치들에 의해 실행될 기능을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 나머지 시간 구간 내에서 "turn off"와 같이, 외부 전자 장치의 비활성화를 위한 지정된 키워드를 식별하는 것에 응답하여, 시간 구간(724)에 기반하여 선택된 하나 이상의 외부 전자 장치들로, 비활성화를 위한 신호를 송신할 수 있다. 상기 신호에 응답하여, 상기 하나 이상의 외부 전자 장치들이 일괄적으로 비활성화될 수 있다. 웨어러블 장치(101)가 상기 신호를 송신하는 것은, 시간 구간(725) 내에서 시점 t5 이후에 수행될 수 있다.
비록 영어의 발언을 식별하는 일 실시예가 설명되었지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치(101)는 "저기 있는 불 꺼!"와 같은 한국어의 발언에 기반하여, 웨어러블 장치(101)에 연결된 하나 이상의 외부 전자 장치들을 제어할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 오디오 신호, 및 사용자의 모션을 이용하여, 하나 이상의 외부 전자 장치들의 선택, 및 선택된 하나 이상의 외부 전자 장치들을 일괄적으로 제어함을 나타내는 입력을 수신할 수 있다. 상기 입력에 기반하여, 웨어러블 장치(101)는 하나 이상의 외부 전자 장치들을 일괄적으로 제어할 수 있다. 비록, 웨어러블 장치(101)가 사용자의 발언에 기반하여, 외부 전자 장치들을 일괄적으로 비활성화하는 동작이 설명되었지만, 실시예가 이에 제한되는 것은 아니다. 웨어러블 장치(101)는 사용자에 의해 선택된 복수의 외부 전자 장치들에 공통으로 적용가능한 기능들 중 어느 하나에 대응하는 텍스트를, 사용자의 발언으로부터 식별하는 것에 응답하여, 상기 텍스트에 대응하는 기능을 실행하기 위한 신호를, 상기 복수의 외부 전자 장치들로 송신할 수 있다.
이하에서는, 도 8a 내지 도 8c를 참고하여, 일 실시예에 따른, 웨어러블 장치(101)가 도 6a 내지 도 6b, 및/또는 도 7a 내지 도 7b를 참고하여 상술된 사용자의 모션, 및/또는 발언에 기반하여 선택된 외부 전자 장치들에 기반하여, 상기 사용자에 의해 선택된 외부 전자 장치들과 유사한 다른 외부 전자 장치의 선택을 가이드하는 동작이 설명된다.
도 8a 내지 도 8c는, 일 실시예에 따른, 웨어러블 장치가 적어도 하나의 외부 전자 장치의 선택을 가이드하기 위한 시각적 객체를 표시하는 동작의 일 예를 도시한다. 도 1의 웨어러블 장치(101)는 도 8a 내지 도 8c의 웨어러블 장치를 포함할 수 있다. 도 8a 내지 도 8c의 웨어러블 장치는, 도 2 내지 도 4, 도 5a 내지 도 5c의 웨어러블 장치, 및/또는 도 6a 내지 도 6b, 도 7a 내지 도 7b의 웨어러블 장치(101)의 일 예일 수 있다.
도 8a는, 일 실시예에 따른, 웨어러블 장치가 FoV(110) 내 외부 전자 장치(121)를 선택함을 나타내는 입력을 수신한 이후의 상태(810)를 예시적으로 도시한다. 상기 입력은, 도 6a 내지 도 6b, 및/또는 도 7a 내지 도 7b를 참고하여 상술된, 사용자의 모션, 및/또는 발언의 처리에 기반하여, 수신될 수 있다. 외부 전자 장치(121)를 선택함을 나타내는 상기 입력에 응답하여, 웨어러블 장치는 FoV(110) 내에서 외부 전자 장치(121)에 중첩으로, 시각적 객체(815)를 표시할 수 있다. 웨어러블 장치가 외부 전자 장치(121)의 FoV(110) 내 윤곽선의 형태를 가지는 시각적 객체(815)를 표시하는 일 예가 도시되지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 시각적 객체(815)는, FoV(110) 내에서 외부 전자 장치(121)를 강조하기 위한 형태, 및/또는 색상을 가질 수 있다.
도 8a의 시각적 객체(815)를 표시한 상태(810) 내에서, 웨어러블 장치는 시각적 객체(815)에 대응하는 외부 전자 장치(121)와 상이한 다른 외부 전자 장치를 선택함을 나타내는 입력을 수신할 수 있다. 예를 들어, 웨어러블 장치는, 외부 전자 장치(121)를 제외한 다른 외부 전자 장치(예, 외부 전자 장치들(122, 123, 131, 132, 141, 142, 161, 171), 및/또는 시각적 객체들(151, 152, 153) 각각에 대응하는 외부 전자 장치들)를 선택함을 나타내는 입력을 수신할 수 있다.
도 8b의 상태(820)는, 도 8a의 상태(810) 내에서, 시각적 객체(152)를 선택함을 나타내는 입력을 수신한 이후의 상태를 예시적으로 도시할 수 있다. 일 실시예에 따른, 웨어러블 장치는, 시각적 객체(152)를 선택함을 나타내는 입력에 응답하여, 시각적 객체(152)가 선택되었음을 시각화할 수 있다. 예를 들어, 시각적 객체(152)와 중첩된 시각적 객체(821)를 표시하여, 웨어러블 장치는, 시각적 객체(152)가 선택되었음을 나타낼 수 있다.
도 8b의 상태(820) 내에서, 일 실시예에 따른, 웨어러블 장치는 사용자에 의해 선택된 복수의 외부 전자 장치들(예, 외부 전자 장치(121), 및 시각적 객체(152)에 대응하는 외부 전자 장치)과 유사한 다른 외부 전자 장치의 선택을 가이드하는 적어도 하나의 시각적 객체(예, 시각적 객체들(822, 823, 824))를 표시할 수 있다. 복수의 외부 전자 장치들(예, 외부 전자 장치(121), 및 시각적 객체(152)에 대응하는 외부 전자 장치)이 사용자에 의해 선택되었음을 식별하는 것에 기반하여, 웨어러블 장치는 상기 복수의 외부 전자 장치들 각각의 카테고리를 식별할 수 있다. 예를 들어, 웨어러블 장치는 도 4의 계층화된 카테고리들 중에서, 시각적 객체(815)가 중첩된 외부 전자 장치(121)의 카테고리(예, 카테고리(421))를 식별할 수 있다. 웨어러블 장치는 시각적 객체(152)가 중첩된 외부 전자 장치의 카테고리(예, 카테고리(423))를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치들 모두를 포함하는 카테고리 내 외부 전자 장치들(예, 사용자에 의해 선택된 외부 전자 장치들과 동질의 외부 전자 장치)을 식별할 수 있다. 예를 들어, 웨어러블 장치에 의해 식별되는 상기 외부 전자 장치들은, 사용자에 의해 선택된 외부 전자 장치들 각각이 분류된 카테고리들의 합집합일 수 있다. 예를 들어, 웨어러블 장치에 의해 식별되는 상기 외부 전자 장치들은, 상기 카테고리들이 공통으로 가지는 상위 카테고리에 기반하여 식별될 수 있다.
외부 전자 장치(121), 및 시각적 객체(152)에 대응하는 외부 전자 장치가 사용자에 의해 선택된, 도 8b의 일 실시예에서, 웨어러블 장치는 도 4의 카테고리들(421, 423)로 분류된 다른 외부 전자 장치들을 식별할 수 있다. 예를 들어, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치(121)와 동일한 카테고리로 분류된 다른 외부 전자 장치(예, 시각적 객체(153)에 대응하는 외부 전자 장치, 및 외부 전자 장치(122))를 식별할 수 있다. 예를 들어, 웨어러블 장치는 사용자에 의해 선택된 시각적 객체(152)에 대응하는 외부 전자 장치와 동일한 카테고리로 분류된 다른 외부 전자 장치(예, 시각적 객체(151)에 대응하는 외부 전자 장치, 및 외부 전자 장치(122))를 식별할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 사용자에 의해 선택된 외부 전자 장치들과 유사한 다른 외부 전자 장치(예, 사용자에 의해 선택된 외부 전자 장치들과 동질의 외부 전자 장치)를 나타내는 시각적 객체를 표시할 수 있다. 웨어러블 장치는 상기 시각적 객체를, 상기 다른 외부 전자 장치와 연동하여 표시할 수 있다. 상기 시각적 객체는 상기 다른 외부 전자 장치의 선택을 가이드하기 위하여, 사용자에 의해 선택된 외부 전자 장치들과 연동하여 표시되는 시각적 객체들(815, 821)과 다른 형태, 및/또는 색상에 기반하여, 표시될 수 있다.
도 8b를 참고하면, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치(121)와 동일한 카테고리로 분류된 다른 외부 전자 장치(예, 시각적 객체(153)에 대응하는 외부 전자 장치)와 연동하여, 시각적 객체(825)를 표시할 수 있다. 외부 전자 장치(121)와 연동하여 표시된 시각적 객체(815)는 사용자에 의해 선택됨을 나타내는 제1 타입에 기반하여 표시될 수 있다. 한편, 시각적 객체(153)와 연동하여 표시된 시각적 객체(825)는, 상기 제1 타입과 상이하고, 사용자의 추가적인 선택을 가이드하기 위한, 제2 타입에 기반하여 표시될 수 있다.
도 8b를 참고하면, 웨어러블 장치는 사용자에 의해 선택되고, 시각적 객체(152)에 대응하는, 외부 전자 장치와 동일한 카테고리로 분류된 다른 외부 전자 장치(예, 외부 전자 장치(122), 및 시각적 객체(151)에 대응하는 외부 전자 장치)와 중첩하여, 시각적 객체들(823, 822)을 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치는 시각적 객체들(815, 821)과 함께, 시각적 객체들(822, 823, 825)을 표시하여, 사용자에 의해 선택된 외부 전자 장치들과 유사한 다른 외부 전자 장치들을, FoV(110) 내에서 강조할 수 있다. 일 실시예에 따른, 웨어러블 장치는 상기 다른 외부 전자 장치들 전부를 선택하기 위한 시각적 객체(824)를 표시할 수 있다. 상기 시각적 객체(824)는, 상기 다른 외부 전자 장치들 전부를 선택함을 가이드하기 위한 지정된 텍스트(예, "나머지 객체 선택하기")를 포함할 수 있다.
도 8c의 상태(830)는, 도 8b의 상태(820) 내에서 시각적 객체(824)를 선택함을 나타내는 입력을 수신한 이후의 상태를 예시적으로 도시할 수 있다. 상기 입력에 응답하여, 웨어러블 장치는 도 8b의 상태(820) 내에서 사용자의 선택을 가이드하기 위해 표시되던 시각적 객체들(822, 823, 825)을, 사용자에 의해 선택되었음을 나타내기 위한 시각적 객체들(831, 832, 833)로 교체할 수 있다. 도 8c의 상태(830) 내에서, 웨어러블 장치는 외부 전자 장치들(121, 122), 및 시각적 객체들(151, 152, 153)에 대응하는 외부 전자 장치들 전부가 사용자에 의해 선택된 것으로 결정할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 복수의 외부 전자 장치들을 선택함을 나타내는 입력에 기반하여, 상기 복수의 외부 전자 장치들이 선택됨을 나타내는 제1 타입의 시각적 객체들(815, 821)을 표시할 수 있다. 상기 제1 타입의 시각적 객체들(815, 821)을 표시함과 동시에, 웨어러블 장치는, 상기 제1 타입과 상이하고, 상기 복수의 외부 전자 장치들과 동질성의 다른 외부 전자 장치의 선택을 가이드하기 위한, 시각적 객체(예, 시각적 객체들(822, 823, 824, 825))를 표시할 수 있다. 웨어러블 장치는 상기 제1 타입과 상이한 시각적 객체를 이용하여, 사용자에게 상기 복수의 외부 전자 장치들과 동질성의 다른 외부 전자 장치를 알리거나, 또는 상기 다른 외부 전자 장치의 선택을 가이드할 수 있다.
이하에서는, 도 9a 내지 도 9b, 및/또는 도 10a 내지 도 10c를 참고하여, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 선택된 복수의 외부 전자 장치들에 공통으로 적용가능한 기능들의 실행을 위한 화면을 표시하거나, 또는 복수의 외부 전자 장치들로부터 획득된 데이터를 시각화하는 동작의 일 예가 설명된다.
도 9a 내지 도 9b는, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 선택된 외부 전자 장치의 카테고리에 기반하여 표시하는 화면의 일 예를 도시한다. 도 1의 웨어러블 장치(101)는 도 9a 내지 도 9b의 웨어러블 장치를 포함할 수 있다. 도 9a 내지 도 9b의 웨어러블 장치는, 도 2 내지 도 4, 도 5a 내지 도 5c의 웨어러블 장치, 및/또는 도 6a 내지 도 6b, 도 7a 내지 도 7b, 도 8a 내지 도 8c의 웨어러블 장치(101)의 일 예일 수 있다.
도 9a는, 외부 전자 장치(121), 및 시각적 객체(152)에 대응하는 외부 전자 장치를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치가 화면(911)을 표시하는 상태(910)를 예시적으로 도시한다. 상기 입력은, 도 6a 내지 도 6b, 및/또는 도 7a 내지 도 7b를 참고하여 상술된, 사용자의 모션, 및/또는 발언에 기반하여, 수신될 수 있다. 상기 입력에 응답하여, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치들(예, 외부 전자 장치(121), 및 시각적 객체(152)에 대응하는 외부 전자 장치)을 나타내기 위한 시각적 객체들(901, 902)을, 상기 외부 전자 장치들과 연동하여 표시할 수 있다.
도 9a의 상태(910) 내에서, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치들에 공통으로 적용가능한 기능들을 식별할 수 있다. 예를 들어, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치들의 메타 데이터, 및/또는 상기 외부 전자 장치들 각각의 카테고리들에 기반하여, 상기 외부 전자 장치들에 공통으로 적용가능한 기능들을 식별할 수 있다. 일 실시예에 따른, 웨어러블 장치는 FoV(110) 내에, 상기 외부 전자 장치들에 공통으로 적용가능한 기능들의 실행을 위한 화면(911)을 표시할 수 있다.
도 9a를 참고하면, 일 실시예에 따른, 웨어러블 장치는 화면(911) 내에, 사용자에 의해 선택된 외부 전자 장치들에 공통으로 적용가능한 기능들의 실행을 위한 시각적 객체들(912, 913, 914, 915)을 표시할 수 있다. 예를 들어, 시각적 객체(912)와 같이, 웨어러블 장치는 화면(911) 내에 상기 외부 전자 장치들을 일괄적으로 활성화하거나, 또는 비활성화기 위한 버튼을 표시할 수 있다. 사용자에 의해 선택된 외부 전자 장치들 전부가, 사용자에 의한 광량의 조절을 지원함에 기반하여, 웨어러블 장치는 화면(911) 내에 상기 외부 전자 장치들 전부의 광량을 조절하기 위한 슬라이더를 포함하는 시각적 객체(913)를 표시할 수 있다. 웨어러블 장치는 화면(911) 내에, 상기 외부 전자 장치들 전부의 색상을 조절하기 위한 팔레트를 포함하는 시각적 객체(914)를 표시할 수 있다. 시각적 객체(914) 내에서, 웨어러블 장치는, 상기 외부 전자 장치들이 공통으로 지원하는 하나 이상의 색상들의 리스트를 표시할 수 있다. 웨어러블 장치는 화면(911) 내에, 상기 외부 전자 장치들 전부의 색 온도를 조절하기 위한 시각적 객체(915)를 표시할 수 있다. 도 9a의 상태(910) 내에서, 사용자에 의해 선택된 외부 전자 장치들 전부가 광량, 색상, 및 색 온도를 조절하는 기능들을 지원함을 식별하는 것에 기반하여, 웨어러블 장치는 광량, 색상, 및 색 온도의 일괄적인 조절을 위한 시각적 객체들(913, 914, 915)을 표시할 수 있다.
도 9a의 상태(910) 내에서, 화면(911)과 관련된 입력에 기반하여, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치들 전부를 제어할 수 있다. 화면(911) 내 시각적 객체들(912, 913, 914, 915) 중 어느 하나에 대한 입력에 응답하여, 웨어러블 장치는 상기 입력에 의해 선택된 시각적 객체에 매핑된 기능을 실행할 것을, 외부 전자 장치로 요청할 수 있다. 예를 들어, 시각적 객체(913)에 기반하여 광량을 조절하는 입력을 수신하는 경우, 웨어러블 장치는 사용자에 의해 선택된 외부 전자 장치들(예, 외부 전자 장치(121), 및 시각적 객체(152)에 대응하는 외부 전자 장치)로, 상기 입력에 의해 조절된 광량을 나타내는 신호들을 송신할 수 있다. 상기 외부 전자 장치들은, 사용자에 의해 조절된 광량을 갖도록, 상기 신호들에 기반하여 동작할 수 있다.
도 9a의 상태(910) 내에서, 사용자에 의해 선택된 외부 전자 장치들이 변경됨을 식별하는 것에 기반하여, 웨어러블 장치는 화면(911)을 변경할 수 있다. 예를 들어, 사용자가 외부 전자 장치를 추가적으로 선택하는 경우, 웨어러블 장치는 추가된 외부 전자 장치에 적용가능한 기능들에 기반하여, 화면(911) 내 시각적 객체들(912, 913, 914, 915) 중 적어도 하나의 표시를 중단할 수 있다. 예를 들어, 사용자가 특정 외부 전자 장치의 선택을 제외하는 경우, 웨어러블 장치는 사용자에 의해 최종적으로 선택된 하나 이상의 외부 전자 장치들에 공통으로 적용가능한 기능들에 기반하여, 화면(911)을 변경할 수 있다.
도 9b를 참고하면, 도 9a의 상태(910) 내에서 외부 전자 장치(123)를 추가적으로 선택함을 나타내는 입력에 응답하여, 웨어러블 장치가 화면(911)을 변경한 상태(920)를 예시적으로 도시한다. 상태(920) 내에서, 외부 전자 장치(123)를 선택함을 나타내는 상기 입력에 응답하여, 웨어러블 장치는 FoV(110)를 통해 보여지는 외부 전자 장치(123)에 중첩으로, 시각적 객체(921)를 표시할 수 있다. 시각적 객체들(901, 902, 921) 각각은, 사용자에 의해 선택된 외부 전자 장치들과 연동하여 표시될 수 있다. 웨어러블 장치는 시각적 객체들(901, 902, 921)에 대응하는 외부 전자 장치들에 공통으로 적용가능한 기능들에 기반하여, 화면(911)을 표시할 수 있다. 사용자에 의해 선택된 외부 전자 장치들의 개수가 증가됨에 따라, 상기 외부 전자 장치들에 공통으로 적용가능한 기능들의 개수가 줄어들 수 있다. 웨어러블 장치는, 상기 외부 전자 장치들에 공통으로 적용가능한 기능들의 변화에 기반하여, 화면(911)을 변경할 수 있다.
도 9b의 일 예에서, 사용자에 의해 추가적으로 선택된 외부 전자 장치(123)가 색상, 및 색 온도를 조절하는 것을 지원하지 않는 경우, 웨어러블 장치는 화면(911) 내에서 색상, 및 색 온도를 조절하기 위한 시각적 객체들(914, 915)의 표시를 중단할 수 있다. 시각적 객체들(914, 915)의 표시를 중단하는 것과 독립적으로, 웨어러블 장치는 화면(911) 내에서 시각적 객체들(914, 915)과 상이한 다른 시각적 객체들(912, 913)을 표시하는 것을 유지할 수 있다. 예를 들어, 웨어러블 장치는, 화면(911) 내에 광량을 조절하기 위한 시각적 객체(913), 및 시각적 객체들(901, 902, 921)에 대응하는 외부 전자 장치들의 전원을 제어하기 위한 시각적 객체(912)를 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는 시각적 객체(912)와 같이 사용자에 의해 선택된 외부 전자 장치들을 일괄적으로 켜거나, 끄는 기능 외에도, 상기 외부 전자 장치들에 공통으로 적용가능한 다른 기능의 실행을 위한 시각적 객체(예, 시각적 객체들(913, 914, 915))를 표시할 수 있다. 웨어러블 장치가 외부 전자 장치들의 메타 데이터, 및/또는 카테고리들에 기반하여, 외부 전자 장치들에 공통으로 적용가능한 기능들을 열거하기 때문에, 웨어러블 장치의 사용자가 외부 전자 장치들을 일괄적으로 제어하는 것이 간소화될 수 있다.
이하에서는, 도 10a 내지 도 10c를 참고하여, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 선택된 외부 전자 장치들로부터 수신된 정보를 처리하는 동작의 일 예가 설명된다.
도 10a 내지 도 10c는, 일 실시예에 따른, 웨어러블 장치가 사용자에 의해 선택된 외부 전자 장치들에 기반하여 표시하는 화면의 일 예를 도시한다. 도 1의 웨어러블 장치(101)는 도 10a 내지 도 10c의 웨어러블 장치를 포함할 수 있다. 도 10a 내지 도 10c의 웨어러블 장치는, 도 2 내지 도 4, 도 5a 내지 도 5c, 도 9a 내지 도 9b의 웨어러블 장치, 및/또는 도 6a 내지 도 6b, 도 7a 내지 도 7b, 도 8a 내지 도 8c의 웨어러블 장치(101)의 일 예일 수 있다.
도 10a의 상태(1010)는, 공기와 관련된 기능을 제공하기 위한 외부 전자 장치들(141, 142)을 선택함을 나타내는 입력에 기반하여, 웨어러블 장치가 화면(1011)을 표시하는 예시적인 상태일 수 있다. 상태(1010) 내에서, 웨어러블 장치는 상기 입력에 의해 선택된 외부 전자 장치들(141, 142)과 상호작용하기 위한 화면(1011)을, FoV(110) 내에 표시할 수 있다. 화면(1011) 내에서, 웨어러블 장치는 상기 입력에 의해 선택된 외부 전자 장치들(141, 142)을 일괄적으로 켜거나, 또는 끄기 위한 버튼을 포함하는 시각적 객체(1012)를 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치는, 외부 전자 장치들(141, 142)을 선택함을 나타내는 입력에 응답하여, 외부 전자 장치들(141, 142) 각각에서 측정된 데이터를 획득할 수 있다. 웨어러블 장치는 화면(1011) 내에, 외부 전자 장치들(141, 142)로부터 획득된 데이터를 표시할 수 있다. 예를 들어, 웨어러블 장치는 화면(1011) 내에서, 공기 청정기인 외부 전자 장치(141)로부터 측정된 데이터(예, 공기 질)를 나타내는 시각적 객체들(1014, 1015)을 표시할 수 있다. 웨어러블 장치가 외부 전자 장치(141)로부터 두 지점들에서 측정된 대기 질을 나타내는 시각적 객체들(1014, 1015)을 표시하는 일 예가 도시되지만, 실시예가 이에 제한되는 것은 아니다.
일 실시예에 따른, 웨어러블 장치는 외부 전자 장치들(141, 142) 각각에서 측정된 데이터의 결합을, 화면(1011) 내에 표시할 수 있다. 예를 들어, 외부 전자 장치들(141, 142) 각각의 소비 전력을 나타내는 데이터를 수신하는 것에 기반하여, 웨어러블 장치는 상기 소비 전력의 결합을 나타내는 시각적 객체(1013)를, 화면(1011) 내에 표시할 수 있다. 도 10a를 참고하면, 웨어러블 장치는 외부 전자 장치들(141, 142)의 소비 전력의 결합을, 와트와 같은 전력량의 단위에 기반하여, 표시할 수 있다. 실시예가 이에 제한되는 것은 아니며, 예를 들어, 웨어러블 장치는 상기 소비 전력의 결합을, 전기 요금(예, 시각적 객체(1013) 내 "7,950 KRW")의 포맷으로 출력할 수 있다.
웨어러블 장치가, 복수의 외부 전자 장치들을 선택함을 나타내는 입력에 기반하여 수행하는 동작은, 상술된 외부 전자 장치들의 일괄적인 제어, 또는 외부 전자 장치들로부터 수신된 데이터의 시각화에 제한되지 않는다. 웨어러블 장치는 사용자에 의해 선택된 복수의 외부 전자 장치들의 협력적인 기능(collaborative function)을 실행하기 위한 시각적 객체를 표시할 수 있다. 상기 협력적인 기능은, 예를 들어, 복수의 외부 전자 장치들의 개별적인 제어에 기반하여 실행될 수 있다.
도 10b의 상태(1020)는, 조명 기구인 외부 전자 장치(123), 및 게임 패드인 외부 전자 장치(161)를 선택함을 나타내는 입력에 기반하여, 웨어러블 장치가 화면(1023)을 표시한 상태를 예시한다. 상태(1020) 내에서, 상기 입력에 응답하여, 웨어러블 장치는 외부 전자 장치들(123, 161) 각각과 연동하여, 시각적 객체들(1021, 1022)을 표시할 수 있다. 상태(1020) 내에서, 웨어러블 장치는 상기 입력에 의해 선택된 외부 전자 장치들(123, 161)에 공통으로 적용가능한 기능들을 시각화하기 위한 화면(1023)을 표시할 수 있다. 화면(1023) 내에서, 웨어러블 장치는 외부 전자 장치들(123, 161)을 일괄적으로 켜거나, 또는 끄기 위한 시각적 객체(1024)와 함께, 외부 전자 장치들(123, 161)의 그룹에 할당된 기능을 실행하기 위한 시각적 객체(1025)를 표시할 수 있다.
예를 들어, 웨어러블 장치는 화면(1023) 내에, 입력에 의해 선택된 외부 전자 장치들(123, 161) 전부와 관련되고, 외부 전자 장치들(123, 161)을 개별적으로 제어하기 위한 시각적 객체(1025)를 표시할 수 있다. 도 10b를 참고하면, 웨어러블 장치는 게임 패드인 외부 전자 장치(161)에 기반하여 조명 기구인 외부 전자 장치(123)의 빛을 제어하는 기능을 실행하기 위한 시각적 객체(1025)를 표시할 수 있다. 시각적 객체(1025)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 외부 전자 장치(161)로, 외부 전자 장치(123)를 제어하기 위한 정보를 송신할 수 있다.
도 10c를 참고하면, 외부 전자 장치들(121, 123, 171)을 선택함을 나타내는 입력에 기반하여, 웨어러블 장치가 화면(1034)을 표시한 예시적인 상태(1030)가 도시된다. 상태(1030) 내에서, 웨어러블 장치는 FoV(110)를 통해 보여지는 외부 전자 장치들(121, 123, 171) 상에 중첩된 시각적 객체들(1031, 1032, 1033)에 기반하여, 상기 입력에 의해 선택된 외부 전자 장치들(121, 123, 171)을 강조할 수 있다. 상태(1030) 내에서, 상기 입력에 의해 선택된 외부 전자 장치들(121, 123, 171)의 활성화를 일괄적으로 제어하기 위한 시각적 객체(1035)와 함께, 웨어러블 장치는 외부 전자 장치들(121, 123, 171)의 그룹에 할당된 기능(예, 예약 소등)을 실행하기 위한 시각적 객체들(1036, 1037)을 표시할 수 있다. 예를 들어, 시각적 객체(1036)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 시계인 외부 전자 장치(171)에 의해 식별된 시간 구간 내에서, 상기 그룹 내에 포함된 다른 외부 전자 장치(예, 외부 전자 장치들(121, 123))를 제어하는 기능을 실행할 수 있다. 예를 들어, 시각적 객체(1037)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는 외부 전자 장치(171)에 의해 식별된 시간 구간 내에서, 외부 전자 장치들(121, 123)의 광량을 제어하는 기능을 실행할 수 있다.
일 실시예에 따른, 웨어러블 장치가 사용자에 의해 선택된 외부 전자 장치들을 제어하는 동작은, 상술된 실시예에 제한되지 않는다. 예를 들어, 웨어러블 장치는 배터리를 포함하는 외부 전자 장치들을 선택하는 입력에 기반하여, 상기 외부 전자 장치들 각각에 포함된 배터리의 SOC(state of charge)를 개별적으로, 또는 결합하여 표시할 수 있다. 도 1a 내지 도 1b의 일 실시예에서, 감시 카메라인 외부 전자 장치(131), 및 텔레비전인 외부 전자 장치(132)를 선택함을 나타내는 입력에 응답하여, 웨어러블 장치는, 외부 전자 장치(131)에 의해 획득되는 이미지, 및/또는 비디오를 외부 전자 장치(132)에 기반하여 표시하기 위한 기능을 실행하기 위한 시각적 객체를 표시할 수 있다. 사용자에 의해 선택된 외부 전자 장치들에 공통으로 적용가능한 기능을 식별하지 못한 경우, 웨어러블 장치는 FoV(110) 내에 상기 외부 전자 장치들에 공통으로 적용가능한 기능이 존재하지 않음을 나타내는 메시지를 표시할 수 있다.
이하에서는 도 11 내지 도 15를 참고하여, 상술된 웨어러블 장치의 동작을 예시적인 흐름도들에 기반하여 설명한다.
도 11은, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 11의 웨어러블 장치는 상술된 도면들에 기반하여 설명된 웨어러블 장치를 포함할 수 있다. 예를 들어, 도 11의 동작들은 도 1 내지 도 2의 웨어러블 장치(101), 및/또는 도 2의 프로세서(210)에 의해 수행될 수 있다.
도 11을 참고하면, 동작(1110) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 외부 전자 장치들 중 적어도 하나를 선택함을 나타내는 입력을 식별할 수 있다. 웨어러블 장치는, 서버, 및/또는 외부 전자 장치로부터 수신된 메타 데이터에 기반하여, 외부 전자 장치를 식별할 수 있다. 웨어러블 장치는 상기 메타 데이터에 기반하여, 외부 전자 장치와 신호를 송신, 및/또는 수신하기 위한 통신 링크를 수립할 수 있다. 웨어러블 장치는 도 6a 내지 도 6b를 참고하여 상술된, 웨어러블 장치를 착용한 사용자의 모션에 기반하여, 상기 입력을 식별할 수 있다. 웨어러블 장치는 도 7a 내지 도 7b를 참고하여 상술된, 사용자의 발언, 및/또는 사용자의 모션에 기반하여, 상기 입력을 식별할 수 있다.
동작(1110)의 입력에 응답하여, 동작(1115) 내에서, 일 실시예에 따른, 웨어러블 장치는, 입력에 의해 두 개 이상의 외부 전자 장치들이 선택되었는지 여부를 판단할 수 있다. 동작(1110)에 기반하여, 하나의 외부 전자 장치를 선택함을 나타내는 입력을 수신한 경우(1115-아니오), 동작(1120) 내에서, 일 실시예에 따른, 웨어러블 장치는, 동작(1110)의 입력에 의해 선택된 외부 전자 장치와 상호 작용하기 위한 화면을 표시할 수 있다. 예를 들어, 도 5c의 화면(534)과 같이, 웨어러블 장치는, 상기 입력에 의해 선택된 하나의 외부 전자 장치를 제어하기 위한 화면을, 웨어러블 장치의 FoV(예, 도 1a 내지 도 1b의 FoV(110)) 내에 표시할 수 있다.
동작(1110)에 기반하여 복수의 외부 전자 장치들을 선택함을 나타내는 입력을 수신한 경우(1120-예), 동작(1125) 내에서, 일 실시예에 따른, 웨어러블 장치는, 입력에 의해 선택된 두 개 이상의 외부 전자 장치들 모두를 포함하는 카테고리를 식별할 수 있다. 웨어러블 장치는 상기 입력에 의해 선택된 외부 전자 장치들에 대한 메타 데이터에 기반하여, 상기 외부 전자 장치들 각각이 포함된 카테고리들을 식별할 수 있다. 상기 카테고리들, 및/또는 상기 카테고리들의 상위 카테고리에 기반하여, 웨어러블 장치는 입력에 의해 선택된 외부 전자 장치들 모두를 포함하는 카테고리를 식별할 수 있다.
도 11을 참고하면, 동작(1130) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 외부 전자 장치들 중에서, 동작(1125)의 카테고리 내에 포함된 외부 전자 장치들을 구분하기 위한 하나 이상의 시각적 객체들을 표시할 수 있다. 상기 하나 이상의 시각적 객체들은, 웨어러블 장치의 FoV 내에서, 동작(1125)의 카테고리 내에 포함된 외부 전자 장치들과 연동하여 표시될 수 있다. 상기 하나 이상의 시각적 객체들은, 도 8b의 시각적 객체들(815, 821)과 같이, 동작(1110)의 입력에 의한 외부 전자 장치들의 선택을 나타내기 위한 시각적 객체들을 포함할 수 있다. 상기 하나 이상의 시각적 객체들은, 도 8b의 시각적 객체들(822, 823, 825)과 같이, 사용자에 의해 선택된 외부 전자 장치들과 유사한 외부 전자 장치를 나타내기 위한 적어도 하나의 시각적 객체를 포함할 수 있다.
도 11을 참고하면, 동작(1135) 내에서, 일 실시예에 따른, 웨어러블 장치는, 동작(1110)의 입력에 의해 선택된 두 개 이상의 외부 전자 장치들에 공통으로 적용 가능한 기능들에 기반하는 화면을 표시할 수 있다. 상기 입력에 의해 선택된 외부 전자 장치들에 공통으로 적용가능한 기능들은, 상기 외부 전자 장치들의 메타 데이터, 및/또는 상기 외부 전자 장치들이 포함된 카테고리들에 기반하여 식별될 수 있다. 예를 들어, 상기 화면은, 도 9a 내지 도 9b의 화면들(911, 921), 및/또는 도 10a 내지 도 10c의 화면들(1011, 1023, 1034)을 포함할 수 있다. 상기 화면과 관련된 입력에 응답하여, 웨어러블 장치는 동작(1110)의 입력에 의해 선택된 외부 전자 장치들을 종합적으로 제어할 수 있다.
도 12a 내지 도 12b는, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 12a 내지 도 12b의 웨어러블 장치는 상술된 도면들에 기반하여 설명된 웨어러블 장치를 포함할 수 있다. 예를 들어, 도 12a 내지 도 12b의 동작들은 도 1 내지 도 2의 웨어러블 장치(101), 및/또는 도 2의 프로세서(210)에 의해 수행될 수 있다. 도 12a 내지 도 12b의 동작들은 도 11의 동작들과 관련될 수 있다.
도 12a를 참고하면, 동작(1210) 내에서, 일 실시예에 따른, 웨어러블 장치는, 외부 전자 장치들을 나타내는 메타 데이터를 획득할 수 있다. 웨어러블 장치는, 웨어러블 장치에 연결된 서버를 통하여 상기 메타 데이터를 획득할 수 있다. 웨어러블 장치는, 외부 전자 장치, 및 웨어러블 장치 사이의 직접적인 통신에 기반하여, 상기 메타 데이터를 획득할 수 있다. 상기 메타 데이터는, 도 4를 참고하여 상술된 계층화된 카테고리들에 기반하여, 외부 전자 장치들을 분류하기 위한 정보를 포함할 수 있다.
도 12a를 참고하면, 동작(1215) 내에서, 일 실시예에 따른, 웨어러블 장치는, 적어도 하나의 외부 전자 장치로 매핑된 적어도 하나의 가상 객체를 식별하였는지 여부를 판단할 수 있다. 상기 적어도 하나의 가상 객체를 식별한 경우(1215-예), 도 12a의 동작(1220) 내에서, 일 실시예에 따른, 웨어러블 장치는, 디스플레이 내에, 식별된 적어도 하나의 가상 객체를 표시할 수 있다. 상기 적어도 하나의 가상 객체는, 도 1b의 시각적 객체들(151, 152, 153)을 포함할 수 있다. 상기 적어도 하나의 가상 객체를 식별하지 않은 경우(1215-아니오), 웨어러블 장치는 동작(1220)에 기반하는 적어도 하나의 가상 객체의 표시를 바이패스할 수 있다.
도 12a를 참고하면, 동작(1225) 내에서, 일 실시예에 따른, 웨어러블 장치는, 적어도 하나의 가상 객체, 및/또는 외부 전자 장치들을 포함하는, 외부 객체를 선택함을 나타내는 입력을 수신하였는지 여부를 판단할 수 있다. 도 12a의 동작(1225)에 기반하여 수신되는 입력은, 도 11의 동작(1110)의 입력을 포함할 수 있다. 도 12a를 참고하면, 동작(1230) 내에서, 일 실시예에 따른, 웨어러블 장치는, 입력에 의해 선택된 외부 객체가, 외부 전자 장치들 중 적어도 하나에 대응하는 지 여부를 판단할 수 있다. 예를 들어, 웨어러블 장치는 입력에 의해 선택된 외부 객체가 동작(1210)의 메타 데이터에 의해 나타나는 외부 전자 장치인지 여부를 판단할 수 있다. 예를 들어, 웨어러블 장치는 입력에 의해 선택된 외부 객체가, 동작(1220)에 기반하여 표시된 가상 객체에 대응하는지 여부를 판단할 수 있다. 입력에 의해 선택된 외부 객체가, 어느 외부 전자 장치와 대응하지 않는 경우(1230-아니오), 도 12a의 동작(1235) 내에서, 일 실시예에 따른, 웨어러블 장치는, 외부 객체가, 외부 전자 장치들과 대응하지 않음을 나타내는 시각적 객체를 표시할 수 있다. 도 12a의 동작(1235) 내에서, 웨어러블 장치는 입력에 의해 선택된 외부 객체를, 외부 전자 장치로써 식별하기 위한 화면을 표시할 수 있다.
입력에 의해 선택된 외부 객체가 외부 전자 장치들 중 적어도 하나에 대응하는 경우(1230-예), 도 12b의 동작(1240) 내에서, 일 실시예에 따른, 웨어러블 장치는, 입력에 의해, 복수의 외부 전자 장치들이 선택되었는지 여부를 판단할 수 있다. 도 12b의 동작(1240)은, 도 11의 동작(1115)과 유사하게 수행될 수 있다. 입력에 의해 하나의 외부 전자 장치가 선택된 경우(1240-아니오), 동작(1245) 내에서, 일 실시예에 따른, 웨어러블 장치는, 입력에 의해 선택된 외부 전자 장치와 상호작용하기 위한 화면을 표시할 수 있다. 도 12b의 동작(1245)는, 도 11의 동작(1120)과 유사하게 수행될 수 있다.
입력에 의해 복수의 외부 전자 장치들이 선택된 경우(1240-예), 도 12b의 동작(1250) 내에서, 일 실시예에 따른, 웨어러블 장치는, 메타 데이터에 기반하여, 입력에 의해 선택된 복수의 외부 전자 장치들 전부를 포함하는 카테고리를 식별할 수 있다. 상기 카테고리를 식별하는 것은, 도 11의 동작(1125)와 유사하게 수행될 수 있다. 웨어러블 장치가 동작(1250)에 기반하여 식별하는 카테고리는, 입력에 의해 선택된 복수의 외부 전자 장치들 뿐만 아니라, 웨어러블 장치와 연결된 다른 외부 전자 장치를 더 포함할 수 있다.
도 12b를 참고하면, 동작(1255) 내에서, 일 실시예에 따른, 웨어러블 장치는, 카테고리 내에 포함된 적어도 하나의 가상 객체, 및/또는 외부 전자 장치들과 연동하여, 적어도 하나의 시각적 객체를 표시할 수 있다. 예를 들어, 웨어러블 장치는 동작(1225)의 입력에 의해 선택된 가상 객체, 및/또는 외부 전자 장치 상에 중첩으로 적어도 하나의 시각적 객체를 표시할 수 있다. 동작(1250)에 기반하여 식별하는 카테고리가, 동작(1225)의 입력에 의해 선택된 복수의 외부 전자 장치들 뿐만 아니라, 웨어러블 장치와 연결된 다른 외부 전자 장치를 더 포함하기 때문에, 웨어러블 장치는 상기 다른 외부 전자 장치를 나타내는 시각적 객체를 더 표시할 수 있다. 도 12b의 동작(1255)는, 도 11의 동작(1130)과 유사하게 수행될 수 있다.
도 12b를 참고하면, 동작(1260) 내에서, 일 실시예에 따른, 웨어러블 장치는, 입력에 의해 선택된 복수의 외부 전자 장치들 전부에 적용 가능한 기능들에 기반하는 화면을 표시할 수 있다. 상기 화면 내에 표시되는 상기 기능들은, 동작(1125)의 카테고리에 기반하여 식별될 수 있다. 도 12b의 동작(1260)은, 도 11의 동작(1135)과 유사하게 수행될 수 있다.
도 13은, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 13의 웨어러블 장치는 상술된 도면들에 기반하여 설명된 웨어러블 장치를 포함할 수 있다. 예를 들어, 도 13의 동작들은 도 1 내지 도 2의 웨어러블 장치(101), 및/또는 도 2의 프로세서(210)에 의해 수행될 수 있다. 도 13의 동작들은 도 11, 도 12a 내지 도 12b의 동작들과 관련될 수 있다. 도 13의 동작들은, 도 11, 도 12a 내지 도 12b의 동작들과 불가분적으로 연결된(inextricably linked) 것은 아니다.
도 13을 참고하면, 동작(1310) 내에서, 일 실시예에 따른, 웨어러블 장치는, 마이크(예, 도 2의 마이크(270))를 이용하여, 사용자로부터 오디오 신호의 수신을 개시할 수 있다. 예를 들어, 웨어러블 장치는 도 7b의 시간 구간(722)을 통하여 수신된 키워드와 같이, 음성 명령의 시작을 알리는 지정된 키워드에 기반하여, 오디오 신호의 수신을 개시할 수 있다. 웨어러블 장치가 동작(1310)에 기반하여 오디오 신호의 수신을 개시하는 것은, 오디오 신호에 포함된 발언을 나타내는 텍스트를 획득하는 것을 개시하는 동작을 포함할 수 있다.
도 13을 참고하면, 동작(1320) 내에서, 일 실시예에 따른, 웨어러블 장치는, 오디오 신호로부터, 하나 이상의 외부 전자 장치들을 선택하기 위한 지정된 키워드를 획득할 수 있다. 상기 지정된 키워드는 단일의 외부 전자 장치를 선택하기 위한 지시 대명사(예, "this", 및/또는 "that"), 또는 복수의 외부 전자 장치들을 선택하기 위한 지시 대명사(예, "all of those", "these", 및/또는 "those")를 포함할 수 있다.
도 13을 참고하면, 동작(1330) 내에서, 일 실시예에 따른, 웨어러블 장치는, 동작(1320)의 지정된 키워드가 수신된 시간 구간 내에서, 센서(예, 도 2의 센서(260))에 의해 탐지되고, 사용자의 모션을 나타내는, 데이터를 획득할 수 있다. 예를 들어, 웨어러블 장치는 사용자의 시선을 나타내는 데이터(예, 사용자의 눈을 캡쳐한 이미지)를 획득할 수 있다. 예를 들어, 웨어러블 장치는, 상기 웨어러블 장치의 모션을 나타내는 데이터에 기반하여, 상기 웨어러블 장치를 착용한 사용자의 머리의 모션을 탐지할 수 있다.
도 13을 참고하면, 동작(1340) 내에서, 일 실시예에 따른, 웨어러블 장치는, 동작(1330)에 기반하여 획득된 데이터에 기반하여, 사용자에 의해 선택된 하나 이상의 외부 전자 장치들을 식별할 수 있다. 도 13의 동작들(1320, 1330)을 참고하면, 웨어러블 장치는, 사용자가 동작(1320)의 지정된 키워드를 발언한 시간 구간 내에서, 상기 사용자에 의해 수행된 모션에 기반하여, 하나 이상의 외부 전자 장치들을 선택함을 나타내는 입력을 수신할 수 있다. 상기 입력은, 도 11의 동작(1110)의 입력, 및/또는 도 12a의 동작(1225)의 입력에 대응할 수 있다. 예를 들어, 동작(1340)에 기반하여 선택된 하나 이상의 외부 전자 장치들에 기반하여, 웨어러블 장치는 도 11의 동작들(1120, 1125, 1130, 1140) 중 적어도 하나를 수행할 수 있다. 예를 들어, 동작(1340)에 기반하여 선택된 하나 이상의 외부 전자 장치들에 기반하여, 웨어러블 장치는 도 12a 내지 도 12b의 동작들(1230, 1235, 1240, 1245, 1250, 1255, 1260) 중 적어도 하나를 수행할 수 있다.
도 14는, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 14의 웨어러블 장치는 상술된 도면들에 기반하여 설명된 웨어러블 장치를 포함할 수 있다. 예를 들어, 도 14의 동작들은 도 1 내지 도 2의 웨어러블 장치(101), 및/또는 도 2의 프로세서(210)에 의해 수행될 수 있다. 도 14의 동작들은 도 11, 도 12a 내지 도 12b의 동작들과 관련될 수 있다.
도 14를 참고하면, 동작(1410) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신할 수 있다. 도 14의 입력은, 도 11의 동작(1110)의 입력, 및/또는 도 12a의 동작(1225)의 입력을 포함할 수 있다.
도 14를 참고하면, 동작(1420) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 외부 전자 장치, 및 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별할 수 있다. 상기 제3 외부 전자 장치들은, 동작(1410)의 제1 외부 전자 장치, 및 제2 외부 전자 장치를 포함할 수 있다. 예를 들어, 웨어러블 장치는 제1 외부 전자 장치에 대한 제1 메타 데이터로부터, 제1 외부 전자 장치가 분류된 제1 카테고리를 식별할 수 있다. 웨어러블 장치는 제2 외부 전자 장치에 대한 제2 메타 데이터로부터, 제2 외부 전자 장치가 분류된 제2 카테고리를 식별할 수 있다. 상기 제1 카테고리, 및 상기 제2 카테고리를 포함하는 상위 카테고리에 기반하여, 웨어러블 장치는 상기 제3 외부 전자 장치들을 식별할 수 있다. 도 14의 동작(1420)은, 도 11의 동작(1125), 및/또는 도 12b의 동작(1250)과 관련될 수 있다.
도 14를 참고하면, 동작(1430) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제1 시각적 객체, 및 제2 시각적 객체를, 디스플레이(예, 도 2의 디스플레이(230))를 통해 보여지는 제1 외부 전자 장치, 및 제2 외부 전자 장치와 연동하여 표시할 수 있다. 동작(1410)의 입력에 응답하여, 웨어러블 장치는 동작(1430)을 수행할 수 있다. 웨어러블 장치는 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 각각과 중첩하여, 상기 제1 시각적 객체, 및 상기 제2 시각적 객체를 표시할 수 있다.
도 14를 참고하면, 동작(1440) 내에서, 일 실시예에 따른, 웨어러블 장치는, 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 적어도 하나의 제3 시각적 객체를 표시할 수 있다. 상기 적어도 하나의 제4 외부 전자 장치는, 상기 제3 외부 전자 장치들 중에서, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 제외한 다른 외부 전자 장치일 수 있다. 적어도 하나의 제3 시각적 객체는, 동작(1430)의 제1 시각적 객체, 및 제2 시각적 객체와 다른 형태, 및/또는 색상을 가질 수 있다. 예를 들어, 웨어러블 장치는 동작(1440)의 제3 시각적 객체에 기반하여, 동작(1410)의 입력에 의해 선택된 제1 외부 전자 장치, 및 제2 외부 전자 장치와 유사한 외부 전자 장치(예, 적어도 하나의 제4 외부 전자 장치)의 선택을 가이드할 수 있다. 도 14의 동작들(1420, 1430, 1440) 중 적어도 하나는 도 11의 동작(1130), 및/또는 도 12a의 동작(1225)과 관련될 수 있다.
도 15는, 일 실시예에 따른, 웨어러블 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 15의 웨어러블 장치는 상술된 도면들에 기반하여 설명된 웨어러블 장치를 포함할 수 있다. 예를 들어, 도 15의 동작들은 도 1 내지 도 2의 웨어러블 장치(101), 및/또는 도 2의 프로세서(210)에 의해 수행될 수 있다. 도 15의 동작들은 도 11, 도 12a 내지 도 12b의 동작들과 관련될 수 있다.
도 15를 참고하면, 동작(1510) 내에서, 일 실시예에 따른, 웨어러블 장치는, 복수의 외부 전자 장치들 중, 하나 이상의 제1 외부 전자 장치들을 선택함을 나타내는 제1 입력을 수신할 수 있다. 상기 제1 입력은, 도 11의 동작(1110)의 입력, 도 12a의 동작(1225)의 입력과 유사하게, 웨어러블 장치에 의한 사용자의 모션, 및/또는 사용자의 발언의 식별에 기반하여, 수신될 수 있다.
도 15를 참고하면, 동작(1520) 내에서, 일 실시예에 따른, 웨어러블 장치는, 하나 이상의 제1 외부 전자 장치들에 적용 가능한 하나 이상의 제1 기능들을 식별할 수 있다. 상기 제1 기능들은, 상기 하나 이상의 제1 외부 전자 장치들 전부를 포함하는 카테고리에 기반하여 식별될 수 있다. 웨어러블 장치는, 하나 이상의 제1 외부 전자 장치들에 대한 메타 데이터에 기반하여, 상기 제1 기능들을 식별할 수 있다.
도 15를 참고하면, 동작(1530) 내에서, 일 실시예에 따른, 웨어러블 장치는, 하나 이상의 제1 기능들의 실행을 위한 하나 이상의 시각적 객체들을 표시할 수 있다. 웨어러블 장치는 도 9a의 화면(911)과 같이, 디스플레이의 일 영역 내에, 상기 하나 이상의 시각적 객체들을 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치는, 동작(1510)의 제1 입력에 의해 선택된 하나 이상의 제1 외부 전자 장치들이 보여지는 디스플레이의 일부분을 제외한 다른 부분을 이용하여, 상기 하나 이상의 시각적 객체들을 표시할 수 있다.
동작(1530)의 하나 이상의 시각적 객체들을 표시한 동안, 동작(1540) 내에서, 일 실시예에 따른, 웨어러블 장치는, 적어도 하나의 제2 외부 전자 장치를 선택함을 나타내는 제2 입력을 수신하였는지 여부를 판단할 수 있다. 상기 적어도 하나의 제2 외부 전자 장치는, 동작(1510)의 하나 이상의 제1 외부 전자 장치들과 다를 수 있다. 상기 제2 입력을 수신하지 않은 경우(1540-아니오), 웨어러블 장치는 동작(1570) 내에서, 하나 이상의 시각적 객체들에 대한 제3 입력에 응답하여, 하나 이상의 제1 외부 전자 장치들을 제어할 수 있다. 상기 제2 입력을 수신하기 이전에, 웨어러블 장치는 동작(1530)에 기반하여 하나 이상의 제1 기능들의 실행을 위한 하나 이상의 시각적 객체들을 표시하는 것을 유지할 수 있다.
적어도 하나의 제2 외부 전자 장치를 선택함을 나타내는 제2 입력을 수신한 경우(1540-예), 동작(1550) 내에서, 일 실시예에 따른, 웨어러블 장치는, 적어도 하나의 제2 외부 전자 장치에 적용 가능한 적어도 하나의 제2 기능을 식별할 수 있다. 웨어러블 장치가 적어도 하나의 제2 기능을 식별하는 것은, 동작(1520)과 유사하게, 상기 적어도 하나의 제2 외부 전자 장치에 대한 메타 데이터, 및/또는 상기 적어도 하나의 제2 외부 전자 장치를 포함하는 카테고리에 기반하여 수행될 수 있다.
도 15를 참고하면, 동작(1560) 내에서, 일 실시예에 따른, 웨어러블 장치는, 하나 이상의 시각적 객체들 중에서, 상기 적어도 하나의 제2 기능과 상이한 기능에 대한 적어도 하나의 시각적 객체의 표시를 중단할 수 있다. 예를 들어, 동작(1530)에 기반하여 디스플레이 내에 표시되는 하나 이상의 시각적 객체들 중에서, 동작(1550)의 적어도 하나의 제2 기능과 상이한 적어도 하나의 시각적 객체의 표시가, 웨어러블 장치에 의해 중단될 수 있다. 동작(1560)에 의하여, 동작(1530)의 하나 이상의 시각적 객체들 중에서, 동작(1550)의 적어도 하나의 제2 기능의 실행을 위한 적어도 하나의 시각적 객체의 표시가 유지될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치는, 웨어러블 장치에 연결된 복수의 외부 전자 장치들 중에서, 동질성의 외부 전자 장치들의 선택을 가이드할 수 있다. 웨어러블 장치는 복수의 외부 전자 장치들을 선택함을 나타내는 입력에 응답하여, 상기 복수의 외부 전자 장치들과 유사한 다른 외부 전자 장치를, 사용자에게 추천할 수 있다. 웨어러블 장치는 상기 입력에 응답하여, 상기 복수의 외부 전자 장치들에 공통으로 적용 가능한 하나 이상의 기능들의 실행을 위한 화면을 표시할 수 있다.
일 실시예에 따른, 웨어러블 장치가 복수의 외부 전자 장치들로 적용가능한(applicable) 적어도 하나의 기능을 선택하기 위한 사용자 인터페이스(user interface)를 제공하기 위한 방안이 요구될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)(101)는, 디스플레이(230), 및 프로세서(210)를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별하도록, 구성될 수 있다. 상기 제3 외부 전자 장치들은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 포함하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치가 선택됨을 각각 나타내는 제1 시각적 객체, 및 제2 시각적 객체(예, 시각적 객체들(815, 821))를, 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 연동하여 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체(예, 시각적 객체들(822, 823, 825))를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 시각적 객체, 및 상기 제2 시각적 객체를 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 상에 중첩하여(superimposed on) 표시할 수 있다. 일 실시예에 따른, 웨어러블 장치는 사용자에게, 상기 사용자에 의해 선택된 외부 전자 장치들에 공통적으로 적용가능한(commonly applicable) 기능들을 실행하기 위한 UI(예, 화면들(534, 911, 1011, 1023, 1034))를 제공할 수 있다. 일 실시예에 따른, 웨어러블 장치는, 복수의 외부 전자 장치들로 적용가능한(applicable) 적어도 하나의 기능을 선택하기 위한 사용자 인터페이스(user interface)를 제공할 수 있다.
예를 들어, 상기 프로세서는, 상기 입력에 응답하여, 상기 제1 외부 전자 장치에 대한 제1 메타 데이터, 및 상기 제2 외부 전자 장치에 대한 제2 메타 데이터로부터, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리를 식별하도록, 구성될 수 있다. 예를 들어, 상기 프로세서는, 상기 제1 카테고리, 및 상기 제2 카테고리에 기반하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 제어하기 위한 실행 가능한 객체들을 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 카테고리 내 외부 전자 장치에 적용가능한 기능들의 제1 세트, 및 및 상기 제2 카테고리 내 외부 객체에 적용가능한 기능들의 제2 세트 내에 공통으로 포함된 하나 이상의 기능들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 하나 이상의 기능들을 실행하기 위한 상기 실행 가능한 객체들을, 상기 디스플레이 내에 표시하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제1 카테고리와 상이한 상기 제2 카테고리를 식별하는 것에 기반하여, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리 각각의 상위 카테고리에 기반하여, 상기 제3 외부 전자 장치들이 포함된 상기 카테고리를 식별하도록, 구성될 수 있다.
예를 들어, 상기 웨어러블 장치는, 통신 회로(250)를 더 포함할 수 있다. 상기 프로세서는, 상기 통신 회로를 통하여, 상기 제1 메타 데이터, 및 상기 제2 메타 데이터를 포함하고, 복수의 외부 전자 장치들 각각에 적용가능한 기능들을 나타내는 메타 데이터를 획득하도록, 구성될 수 있다.
예를 들어, 상기 입력은 제1 입력일 수 있다. 상기 프로세서는, 상기 실행 가능한 객체들 중 어느 한 객체를 선택함을 나타내는 제2 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치로, 상기 제2 입력에 의해 선택된 상기 객체에 매핑된 기능을 실행할 것을 요청하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 입력에 응답하여, 상기 제1 외부 전자 장치에 의하여 획득된 제1 데이터, 및 상기 제2 외부 전자 장치에 의하여 획득된 제2 데이터를 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 디스플레이 상에, 상기 제1 데이터, 및 상기 제2 데이터의 결합에 기반하는 제4 시각적 객체를 표시하도록, 구성될 수 있다.
예를 들어, 상기 입력은 제1 입력일 수 있다. 상기 프로세서는, 상기 적어도 하나의 제3 시각적 객체를 선택함을 나타내는 제2 입력에 응답하여, 상기 제3 외부 전자 장치들 전부에 적용가능한 하나 이상의 기능들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 하나 이상의 기능들을 실행하기 위한 하나 이상의 제4 시각적 객체들을, 상기 디스플레이 내에 표시하도록, 구성될 수 있다.
예를 들어, 상기 전자 장치는, 상기 웨어러블 장치를 착용한 사용자의 시선(eye gaze)을 추적하기 위한 센서(260)를 포함할 수 있다. 상기 전자 장치는, 및 오디오 신호를 수신하기 위한 마이크(270)를 포함할 수 있다. 상기 프로세서는, 상기 마이크에 의하여 수신된 상기 오디오 신호로부터 지정된 키워드(716)를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 지정된 키워드를 식별하는 것에 응답하여, 상기 지정된 키워드가 식별된 시간 구간(724), 및 상기 센서에 의해 탐지된 상기 시선에 기반하여, 상기 입력을 수신하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 오디오 신호로부터, 상기 지정된 키워드 이후에 수신된, 다른 키워드를 식별하는 것에 기반하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치로, 상기 다른 키워드에 의해 나타나는 기능을 실행할 것을 요청하도록, 구성될 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(101)의 방법은, 상기 웨어러블 장치의 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중, 하나 이상의 제1 외부 전자 장치를 선택함을 나타내는 제1 입력을 수신하는 동작(1510)을 포함할 수 있다. 상기 방법은, 상기 제1 입력에 응답하여, 상기 하나 이상의 제1 외부 전자 장치들에 적용가능한(applicable) 하나 이상의 제1 기능들을 식별하는 동작(1520)을 포함할 수 있다. 상기 방법은, 상기 디스플레이 내에서 상기 하나 이상의 제1 기능들의 실행을 위한 하나 이상의 시각적 객체들을 표시하는 동작(1530)을 포함할 수 있다. 상기 방법은, 상기 하나 이상의 시각적 객체들을 표시한 상태 내에서, 적어도 하나의 제2 외부 전자 장치를 선택함을 나타내는 제2 입력에 응답하여, 상기 적어도 하나의 제2 외부 전자 장치에 적용가능한 적어도 하나의 제2 기능을 식별하는 동작(1550)을 포함할 수 있다. 상기 방법은, 상기 하나 이상의 시각적 객체들 중에서, 상기 적어도 하나의 제2 기능과 상이한 기능에 대한 적어도 하나의 시각적 객체의 표시를 중단하는 동작(1560)을 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치는, 외부 전자 장치들에 대한 사용자의 선택의 변화에 반응하는 UI를 제공할 수 있다.
예를 들어, 상기 하나 이상의 제1 기능들을 식별하는 동작은, 상기 웨어러블 장치의 통신 회로를 통하여, 상기 하나 이상의 제1 외부 전자 장치들에 대한 메타 데이터를 수신하는 동작을 포함할 수 있다. 상기 하나 이상의 제1 기능들을 식별하는 동작은, 상기 수신된 메타 데이터에 기반하여, 상기 하나 이상의 제1 기능들을 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 하나 이상의 제1 기능들을 식별하는 동작은, 상기 수신된 메타 데이터에 기반하여, 상기 하나 이상의 제1 외부 전자 장치들 전부를 포함하는 카테고리를 식별하는 동작을 포함할 수 있다. 상기 하나 이상의 제1 기능들을 식별하는 동작은, 상기 식별된 카테고리에 기반하여, 상기 하나 이상의 제1 기능들을 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 하나 이상의 시각적 객체들을 표시하는 동작은, 상기 하나 이상의 시각적 객체들 중 어느 하나를 선택함을 나타내는 제3 입력을 수신하는 동작을 포함할 수 있다. 상기 하나 이상의 시각적 객체들을 표시하는 동작은, 상기 제3 입력에 응답하여, 상기 하나 이상의 제1 기능들 중에서, 상기 제3 입력에 의해 선택된 시각적 객체에 대응하는 기능을 실행할 것을, 상기 하나 이상의 제1 외부 전자 장치들에게 요청하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 제2 입력에 응답하여 식별된, 상기 적어도 하나의 제2 기능에 기반하여, 상기 하나 이상의 시각적 객체들 중에서, 상기 적어도 하나의 제2 기능에 대응하는 적어도 하나의 시각적 객체의 표시를 유지하는 동작을 포함할 수 있다.
예를 들어, 하나 이상의 시각적 객체들을 표시하는 동작은, 상기 하나 이상의 제1 외부 전자 장치들의 전력을 조절하기 위한 제1 시각적 객체를 표시하는 동작을 포함할 수 있다. 상기 하나 이상의 시각적 객체들을 표시하는 동작은, 상기 제1 시각적 객체와 상이하고, 상기 제1 외부 전자 장치들 전부에 적용가능한 상기 하나 이상의 제1 기능들에 대응하는 하나 이상의 제2 시각적 객체들을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 제1 입력을 수신하는 동작은, 상기 웨어러블 장치의 마이크를 통하여 식별된 오디오 신호로부터, 지정된 키워드를 식별하는 동작을 포함할 수 있다. 상기 제1 입력을 수신하는 동작은, 상기 지정된 키워드가 식별된 시간 구간 내에서, 상기 웨어러블 장치의 센서를 이용하여, 상기 웨어러블 장치를 착용한 사용자의 모션을 식별하는 동작을 포함할 수 있다. 상기 제1 입력을 수신하는 동작은, 상기 식별된 모션에 기반하여, 상기 복수의 외부 전자 장치들 중, 상기 하나 이상의 제1 외부 전자 장치들을 선택하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(101)의 방법은, 상기 웨어러블 장치의 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신하는 동작(1410)을 포함할 수 있다. 상기 방법은, 상기 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별하는 동작(1420)을 포함할 수 있다. 상기 제3 외부 전자 장치들은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 포함할 수 있다. 상기 방법은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치가 선택됨을 각각 나타내는 제1 시각적 객체, 및 제2 시각적 객체를, 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 연동하여 표시하는 동작(1430)을 포함할 수 있다. 상기 방법은, 상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체를 표시하는 동작(1440)을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 입력에 응답하여, 상기 제1 외부 전자 장치에 대한 제1 메타 데이터, 및 상기 제2 외부 전자 장치에 대한 제2 메타 데이터로부터, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 카테고리, 및 상기 제2 카테고리에 기반하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 제어하기 위한 실행 가능한 객체들을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 실행 가능한 객체들을 표시하는 동작은, 상기 제1 카테고리 내 외부 전자 장치에 적용가능한 기능들의 제1 세트, 및 및 상기 제2 카테고리 내 외부 객체에 적용가능한 기능들의 제2 세트 내에 공통으로 포함된 하나 이상의 기능들을 식별하는 동작을 포함할 수 있다. 상기 실행 가능한 객체들을 표시하는 동작은, 상기 하나 이상의 기능들을 실행하기 위한 상기 실행 가능한 객체들을, 상기 디스플레이 내에 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 실행 가능한 객체들을 표시하는 동작은, 상기 제1 카테고리와 상이한 상기 제2 카테고리를 식별하는 것에 기반하여, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리 각각의 상위 카테고리에 기반하여, 상기 제3 외부 전자 장치들이 포함된 상기 카테고리를 식별하는 동작을 포함할 수 있다. 상기 실행 가능한 객체들을 표시하는 동작은, 상기 제3 외부 전자 장치들이 포함된 상기 카테고리를 식별하는 것에 기반하여, 상기 식별된 카테고리에 기반하는 상기 실행 가능한 객체들을 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 실행 가능한 객체들을 표시하는 동작은, 제1 입력인 상기 입력과 상이하고, 상기 실행 가능한 객체들 중 어느 한 객체를 선택함을 나타내는, 제2 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치로, 상기 제2 입력에 의해 선택된 상기 객체에 매핑된 기능을 실행할 것을 요청하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 입력에 응답하여, 상기 제1 외부 전자 장치에 의하여 획득된 제1 데이터, 및 상기 제2 외부 전자 장치에 의하여 획득된 제2 데이터를 수신하는 동작을 포함할 수 있다. 상기 방법은, 상기 디스플레이 상에, 상기 제1 데이터, 및 상기 제2 데이터의 결합에 기반하는 제4 시각적 객체를 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 적어도 하나의 제3 시각적 객체를 표시하는 동작은, 상기 적어도 하나의 제3 시각적 객체를 선택함을 나타내는 제2 입력에 응답하여, 상기 제3 외부 전자 장치들 전부에 적용가능한 하나 이상의 기능들을 식별하는 동작을 포함할 수 있다. 상기 적어도 하나의 제3 시각적 객체를 표시하는 동작은, 상기 하나 이상의 기능들을 실행하기 위한 하나 이상의 제4 시각적 객체들을, 상기 디스플레이 내에 표시하는 동작을 포함할 수 있다.
예를 들어, 상기 입력을 수신하는 동작은, 상기 웨어러블 장치의 마이크에 의하여 수신된 오디오 신호로부터 지정된 키워드를 식별하는 동작을 포함할 수 있다. 상기 입력을 수신하는 동작은, 상기 지정된 키워드를 식별하는 것에 응답하여, 상기 지정된 키워드가 식별된 시간 구간, 및 상기 웨어러블 장치의 센서에 의해 탐지되고, 상기 웨어러블 장치를 착용한 사용자의 시선에 기반하여, 상기 입력을 수신하는 동작을 포함할 수 있다.
예를 들어, 상기 입력을 수신하는 동작은, 상기 오디오 신호로부터, 상기 지정된 키워드 이후에 수신된, 다른 키워드를 식별하는 것에 기반하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치로, 상기 다른 키워드에 의해 나타나는 기능을 실행할 것을 요청하는 동작을 포함할 수 있다.
상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(101)는, 디스플레이(230), 및 프로세서(210)를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중, 하나 이상의 제1 외부 전자 장치들을 선택함을 나타내는 제1 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 입력에 응답하여, 상기 하나 이상의 제1 외부 전자 장치들에 적용가능한(applicable) 적어도 하나 이상의 제1 기능들을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 디스플레이 내에서 상기 하나 이상의 제1 기능들의 실행을 위한 하나 이상의 시각적 객체들을 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 하나 이상의 시각적 객체들을 표시한 상태 내에서, 적어도 하나의 제2 외부 전자 장치를 선택함을 나타내는 제2 입력에 응답하여, 상기 적어도 하나의 제2 외부 전자 장치에 적용가능한 적어도 하나의 제2 기능을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 하나 이상의 시각적 객체들 중에서, 상기 적어도 하나의 제2 기능과 상이한 기능에 대한 적어도 하나의 시각적 객체의 표시를 중단하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 웨어러블 장치의 통신 회로를 통하여, 상기 하나 이상의 제1 외부 전자 장치들에 대한 메타 데이터를 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 수신된 메타 데이터에 기반하여, 상기 하나 이상의 제1 기능들을 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 수신된 메타 데이터에 기반하여, 상기 하나 이상의 제1 외부 전자 장치들 전부를 포함하는 카테고리를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 식별된 카테고리에 기반하여, 상기 하나 이상의 제1 기능들을 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 하나 이상의 시각적 객체들 중 어느 하나를 선택함을 나타내는 제3 입력을 수신하도록, 구성될 수 있다. 상기 프로세서는, 상기 제3 입력에 응답하여, 상기 하나 이상의 제1 기능들 중에서, 상기 제3 입력에 의해 선택된 시각적 객체에 대응하는 기능을 실행할 것을, 상기 하나 이상의 제1 외부 전자 장치들에게 요청하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 입력에 응답하여 식별된, 상기 적어도 하나의 제2 기능에 기반하여, 상기 하나 이상의 시각적 객체들 중에서, 상기 적어도 하나의 제2 기능에 대응하는 적어도 하나의 시각적 객체의 표시를 유지하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 하나 이상의 제1 외부 전자 장치들의 전력을 조절하기 위한 제1 시각적 객체를 표시하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 시각적 객체와 상이하고, 상기 제1 외부 전자 장치들 전부에 적용가능한 상기 하나 이상의 제1 기능들에 대응하는 하나 이상의 제2 시각적 객체들을 표시하도록, 구성될 수 있다.
예를 들어, 상기 웨어러블 장치는, 센서(260), 및 마이크(270)를 더 포함하도록, 구성될 수 있다. 상기 프로세서는, 상기 마이크를 통하여 식별된 오디오 신호로부터, 지정된 키워드를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 지정된 키워드가 식별된 시간 구간 내에서, 상기 센서를 이용하여 상기 웨어러블 장치를 착용한 사용자의 모션을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 식별된 모션에 기반하여, 상기 복수의 외부 전자 장치들 중, 상기 하나 이상의 제1 외부 전자 장치들을 선택하도록, 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 웨어러블 장치(wearable device)(101)에 있어서,
    디스플레이(230); 및
    프로세서(210)를 포함하고,
    상기 프로세서는,
    상기 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신하고;
    상기 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별하고, 상기 제3 외부 전자 장치들은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 포함함;
    상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치가 선택됨을 각각 나타내는 제1 시각적 객체, 및 제2 시각적 객체를, 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 연동하여 표시하고; 및
    상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체를 표시하도록, 구성되는,
    웨어러블 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 입력에 응답하여, 상기 제1 외부 전자 장치에 대한 제1 메타 데이터, 및 상기 제2 외부 전자 장치에 대한 제2 메타 데이터로부터, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리를 식별하고;
    상기 제1 카테고리, 및 상기 제2 카테고리에 기반하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 제어하기 위한 실행 가능한 객체들을 표시하도록, 구성되는,
    웨어러블 장치.
  3. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제1 카테고리 내 외부 전자 장치에 적용가능한 기능들의 제1 세트, 및 및 상기 제2 카테고리 내 외부 객체에 적용가능한 기능들의 제2 세트 내에 공통으로 포함된 하나 이상의 기능들을 식별하고;
    상기 하나 이상의 기능들을 실행하기 위한 상기 실행 가능한 객체들을, 상기 디스플레이 내에 표시하도록, 구성되는,
    웨어러블 장치.
  4. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제1 카테고리와 상이한 상기 제2 카테고리를 식별하는 것에 기반하여, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리 각각의 상위 카테고리에 기반하여, 상기 제3 외부 전자 장치들이 포함된 상기 카테고리를 식별하도록, 구성되는,
    웨어러블 장치.
  5. 전술한 항들 중 어느 한 항에 있어서, 통신 회로(250)를 더 포함하고,
    상기 프로세서는,
    상기 통신 회로를 통하여, 상기 제1 메타 데이터, 및 상기 제2 메타 데이터를 포함하고, 복수의 외부 전자 장치들 각각에 적용가능한 기능들을 나타내는 메타 데이터를 획득하도록, 구성되는,
    웨어러블 장치.
  6. 전술한 항들 중 어느 한 항에 있어서, 상기 입력은 제1 입력이고,
    상기 프로세서는,
    상기 실행 가능한 객체들 중 어느 한 객체를 선택함을 나타내는 제2 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치로, 상기 제2 입력에 의해 선택된 상기 객체에 매핑된 기능을 실행할 것을 요청하도록, 구성되는,
    웨어러블 장치.
  7. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 입력에 응답하여, 상기 제1 외부 전자 장치에 의하여 획득된 제1 데이터, 및 상기 제2 외부 전자 장치에 의하여 획득된 제2 데이터를 수신하고;
    상기 디스플레이 상에, 상기 제1 데이터, 및 상기 제2 데이터의 결합에 기반하는 제4 시각적 객체를 표시하도록, 구성되는,
    웨어러블 장치.
  8. 전술한 항들 중 어느 한 항에 있어서, 상기 입력은 제1 입력이고,
    상기 프로세서는,
    상기 적어도 하나의 제3 시각적 객체를 선택함을 나타내는 제2 입력에 응답하여, 상기 제3 외부 전자 장치들 전부에 적용가능한 하나 이상의 기능들을 식별하고;
    상기 하나 이상의 기능들을 실행하기 위한 하나 이상의 제4 시각적 객체들을, 상기 디스플레이 내에 표시하도록, 구성되는,
    웨어러블 장치.
  9. 전술한 항들 중 어느 한 항에 있어서,
    상기 웨어러블 장치를 착용한 사용자의 시선(eye gaze)을 추적하기 위한 센서(260); 및
    오디오 신호를 수신하기 위한 마이크(270)를 더 포함하고,
    상기 프로세서는,
    상기 마이크에 의하여 수신된 상기 오디오 신호로부터 지정된 키워드(716)를 식별하고;
    상기 지정된 키워드를 식별하는 것에 응답하여, 상기 지정된 키워드가 식별된 시간 구간(724), 및 상기 센서에 의해 탐지된 상기 시선에 기반하여, 상기 입력을 수신하도록, 구성되는,
    웨어러블 장치.
  10. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 오디오 신호로부터, 상기 지정된 키워드 이후에 수신된, 다른 키워드를 식별하는 것에 기반하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치로, 상기 다른 키워드에 의해 나타나는 기능을 실행할 것을 요청하도록, 구성되는,
    웨어러블 장치.
  11. 웨어러블 장치(wearable device)(101)의 방법에 있어서,
    상기 웨어러블 장치의 디스플레이를 통해 보여지는 복수의 외부 전자 장치들 중 제1 외부 전자 장치, 및 제2 외부 전자 장치를 선택함을 나타내는 입력을 수신하는 동작(1410);
    상기 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치 모두를 포함하는 카테고리 내 제3 외부 전자 장치들을 식별하는 동작(1420), 상기 제3 외부 전자 장치들은, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 포함함;
    상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치가 선택됨을 각각 나타내는 제1 시각적 객체, 및 제2 시각적 객체를, 상기 디스플레이를 통해 보여지는 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 연동하여 표시하는 동작(1430); 및
    상기 제3 외부 전자 장치들 중, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치와 다른, 적어도 하나의 제4 외부 전자 장치와 연동하여, 상기 적어도 하나의 제4 외부 전자 장치의 선택을 가이드하는 적어도 하나의 제3 시각적 객체를 표시하는 동작(1440)을 포함하는,
    방법.
  12. 제11항에 있어서,
    상기 입력에 응답하여, 상기 제1 외부 전자 장치에 대한 제1 메타 데이터, 및 상기 제2 외부 전자 장치에 대한 제2 메타 데이터로부터, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리를 식별하는 동작; 및
    상기 제1 카테고리, 및 상기 제2 카테고리에 기반하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치를 제어하기 위한 실행 가능한 객체들을 표시하는 동작을 포함하는,
    방법.
  13. 전술한 항들 중 어느 한 항에 있어서, 상기 실행 가능한 객체들을 표시하는 동작은,
    상기 제1 카테고리 내 외부 전자 장치에 적용가능한 기능들의 제1 세트, 및 및 상기 제2 카테고리 내 외부 객체에 적용가능한 기능들의 제2 세트 내에 공통으로 포함된 하나 이상의 기능들을 식별하는 동작;
    상기 하나 이상의 기능들을 실행하기 위한 상기 실행 가능한 객체들을, 상기 디스플레이 내에 표시하는 동작을 포함하는,
    방법.
  14. 전술한 항들 중 어느 한 항에 있어서, 상기 실행 가능한 객체들을 표시하는 동작은,
    상기 제1 카테고리와 상이한 상기 제2 카테고리를 식별하는 것에 기반하여, 상기 제1 외부 전자 장치의 제1 카테고리, 및 상기 제2 외부 전자 장치의 제2 카테고리 각각의 상위 카테고리에 기반하여, 상기 제3 외부 전자 장치들이 포함된 상기 카테고리를 식별하는 동작;
    상기 제3 외부 전자 장치들이 포함된 상기 카테고리를 식별하는 것에 기반하여, 상기 식별된 카테고리에 기반하는 상기 실행 가능한 객체들을 표시하는 동작을 포함하는,
    방법.
  15. 전술한 항들 중 어느 한 항에 있어서, 상기 실행 가능한 객체들을 표시하는 동작은,
    제1 입력인 상기 입력과 상이하고, 상기 실행 가능한 객체들 중 어느 한 객체를 선택함을 나타내는, 제2 입력에 응답하여, 상기 제1 외부 전자 장치, 및 상기 제2 외부 전자 장치로, 상기 제2 입력에 의해 선택된 상기 객체에 매핑된 기능을 실행할 것을 요청하는 동작을 포함하는,
    방법.
PCT/KR2023/005930 2022-07-08 2023-05-01 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법 WO2024010198A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0084682 2022-07-08
KR1020220084682A KR20240007562A (ko) 2022-07-08 2022-07-08 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2024010198A1 true WO2024010198A1 (ko) 2024-01-11

Family

ID=89453638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005930 WO2024010198A1 (ko) 2022-07-08 2023-05-01 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR20240007562A (ko)
WO (1) WO2024010198A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150143143A (ko) * 2014-06-13 2015-12-23 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스를 포함하는 조명 시스템
KR20180129478A (ko) * 2017-05-26 2018-12-05 삼성전자주식회사 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
KR20220009244A (ko) * 2020-07-15 2022-01-24 한국전력공사 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법
KR20220067128A (ko) * 2020-11-17 2022-05-24 삼성전자주식회사 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150143143A (ko) * 2014-06-13 2015-12-23 엘지전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스를 포함하는 조명 시스템
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
KR20180129478A (ko) * 2017-05-26 2018-12-05 삼성전자주식회사 외부 장치의 선택 및 제어를 위한 전자 장치와 그의 동작 방법
KR20220009244A (ko) * 2020-07-15 2022-01-24 한국전력공사 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법
KR20220067128A (ko) * 2020-11-17 2022-05-24 삼성전자주식회사 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치

Also Published As

Publication number Publication date
KR20240007562A (ko) 2024-01-16

Similar Documents

Publication Publication Date Title
WO2021040106A1 (ko) Ar 장치 및 그 제어 방법
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2017007101A1 (ko) 스마트 디바이스 및 이의 제어방법
WO2022065722A1 (ko) 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
WO2020141945A1 (en) Electronic device for changing characteristics of display according to external light and method therefor
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2024010198A1 (ko) 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법
WO2024029718A1 (ko) 적어도 하나의 외부 객체에 기반하여 적어도 하나의 외부 전자 장치를 선택하기 위한 전자 장치 및 그 방법
WO2024049178A1 (ko) 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한 전자 장치 및 방법
WO2024025076A1 (ko) 외부 객체로부터 출력된 소리 신호를 이용하여 볼륨을 조절하기 위한 전자 장치 및 그 방법
WO2019112201A1 (ko) 다수의 발광 소자들을 이용한 정보 제공 방법 및 전자 장치
WO2024076007A1 (ko) 렌즈의 투명도에 기반하여 디스플레이의 휘도를 조절하기 위한 웨어러블 장치 및 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2024048912A1 (ko) 전자 장치의 입력에 기반하여 웨어러블 장치를 제어하기 위한 전자 장치 및 그 방법
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2024085353A1 (ko) 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법
WO2024101683A1 (ko) 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
WO2024090844A1 (ko) 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법
WO2022124561A1 (ko) 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
WO2024063463A1 (ko) 디스플레이를 통해 보여지는 객체와 관련된 오디오 신호를 조절하기 위한 전자 장치 및 그 방법
WO2024101581A1 (ko) 가상 공간 내에 배치된 멀티미디어 콘텐트를 제어하기 위한 웨어러블 장치 및 그 방법
WO2024080579A1 (ko) 사용자의 자세를 가이드하기 위한 웨어러블 장치 및 그 방법
WO2024034825A1 (ko) Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치
WO2024025126A1 (ko) 웨어러블 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835667

Country of ref document: EP

Kind code of ref document: A1