WO2023003126A1 - 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 - Google Patents

증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
WO2023003126A1
WO2023003126A1 PCT/KR2022/004448 KR2022004448W WO2023003126A1 WO 2023003126 A1 WO2023003126 A1 WO 2023003126A1 KR 2022004448 W KR2022004448 W KR 2022004448W WO 2023003126 A1 WO2023003126 A1 WO 2023003126A1
Authority
WO
WIPO (PCT)
Prior art keywords
type wearable
wearable device
glasses
task
user
Prior art date
Application number
PCT/KR2022/004448
Other languages
English (en)
French (fr)
Inventor
신부선
김성만
김이빈
김지은
김현정
이보람
정재민
한아름
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22845998.8A priority Critical patent/EP4283377A1/en
Priority to US17/867,077 priority patent/US20230014774A1/en
Publication of WO2023003126A1 publication Critical patent/WO2023003126A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present disclosure relates to a glass-type wearable device providing an augmented reality guide and a control method thereof.
  • a glass-type wearable device is being used for educational purposes. For example, expressing a specific task being performed by a first user wearing a glasses-type wearable device as a virtual object on a real world viewed by a second user wearing a glasses-type wearable device.
  • a glass-type wearable device is being used for educational purposes.
  • such a conventional method may be an education method reflecting only the first user's point of view. In other words, if the first user is a user proficient in performing a specific task and the second user is a user who is not proficient in performing a specific task, the difference between the first user's task performance speed and the second user's task performance speed may be different.
  • an aspect of the present disclosure is based on a difference between a progress state of a first task (eg, a task currently being performed by a first user) and a progress state of a second task (eg, a task currently being performed by a second user).
  • a glasses-type wearable device capable of providing an augmented reality guide suitable for a task progress state of a second user wearing the glasses-type wearable device is provided.
  • Another aspect of the present disclosure is a glass-type wearable device capable of providing information about the location of an object required to perform a specific task using other devices (eg, a refrigerator, a smartphone) operatively connected to the glass-type wearable device.
  • a glass type wearable device includes a communication module, at least one camera, and at least one processor, and the at least one processor obtains a first surrounding image of the glasses-type wearable device using the at least one camera, and receiving a second peripheral image of the external electronic device acquired by the external electronic device through the communication module from an external electronic device operably connected to the glass-type wearable device, and displaying the first peripheral image while A first task being performed by the user of the glass-type wearable device is identified using the second peripheral image, and a second task being performed by the user of the external electronic device is identified using the second peripheral image, and the first task Identifying a difference between a current progress status of the second task and a current progress status of the second task, and based on the identified difference between the current progress status, the augmented reality corresponding to the second task with the external electronic device.
  • AR It can be configured to control the communication module to cause a guide to be provided.
  • a glass type wearable device includes a communication module, at least one camera, and at least one processor, wherein the at least one processor obtains a first peripheral image of the glasses-type wearable device through the at least one camera, and While there, a second peripheral image is obtained from a first external electronic device operatively connected to the glass-type wearable device, and a first image selected by a user of the first external electronic device is obtained using the acquired second peripheral image.
  • An object is identified, it is determined whether a second object corresponding to the identified first object is included in the first surrounding image, and the object corresponding to the identified first object is included in the first surrounding image.
  • a method for controlling a glass-type wearable device is provided.
  • a method of controlling a glasses-type wearable device while acquiring a first peripheral image of the glasses-type wearable device using at least one camera of the glasses-type wearable device, is connected to the glasses-type wearable device so as to be operable.
  • a process of controlling the communication module to provide a guide may be included.
  • a glasses-type wearable device capable of providing an augmented reality guide suitable for the task progress state of the second user wearing the glasses-type wearable device can be provided.
  • glasses capable of providing information about the location of an object required to perform a specific task using other devices (eg, a refrigerator, a smartphone) operatively connected to the glass-type wearable device.
  • other devices eg, a refrigerator, a smartphone
  • a type wearable device may be provided.
  • FIG. 1 is an exemplary diagram for explaining a glass-type wearable device according to an embodiment of the present disclosure.
  • FIG. 2 is an exemplary diagram for explaining the structure of a glass-type wearable device according to an embodiment of the present disclosure.
  • 3A, 3B, and 3C are exemplary diagrams for explaining a connection relationship of glass-type wearable devices according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram for a first user's glasses-type wearable device to provide an augmented reality guide corresponding to a second task based on a difference between current progress states of a first task and a second task according to an embodiment of the present disclosure. It is an exemplary diagram for explaining the function or operation of controlling the communication module for the purpose.
  • 5A is an example for explaining a function or operation in which a task progress of a second user is expressed as a virtual object through a glasses-type wearable device of the first user in the real world of the first user according to an embodiment of the present disclosure; it is a drawing
  • 5B is an example diagram for explaining a function or operation in which an augmented reality guide is expressed as a video through a second user's glasses-type wearable device according to an embodiment of the present disclosure.
  • 5C is an exemplary diagram for explaining a function or operation of an augmented reality guide expressed as a static visual element according to an embodiment of the present disclosure.
  • FIG. 6 is an exemplary diagram for explaining a function or operation of providing different augmented reality guides according to a task performance level of a second user according to an embodiment of the present disclosure.
  • FIG. 7A is an exemplary diagram for explaining an augmented reality guide provided to a second user's glasses-type wearable device when the second user's task performance level is relatively high, according to an embodiment of the present disclosure.
  • FIG. 7B is an exemplary diagram for explaining an augmented reality guide provided to a second user's glasses-type wearable device when the second user's task performance level is relatively low, according to an embodiment of the present disclosure.
  • FIG. 8 is an exemplary diagram for explaining a function or operation performed by a server in transmitting an augmented reality guide according to an embodiment of the present disclosure.
  • FIG. 9 is for explaining a function or operation of providing a location of an object necessary for performing a task according to an embodiment of the present disclosure by using an image acquired by a peripheral device connected to a glasses-type wearable device of a second user. This is an example drawing.
  • FIG. 10 is an exemplary diagram for explaining a function or operation of identifying an object selected by a first user by a second user's glasses-type wearable device according to an embodiment of the present disclosure.
  • 11A is a diagram of a second user's glasses-type wearable device according to an embodiment of the present disclosure, using an image acquired by a peripheral device connected to the second user's glasses-type wearable device to determine the location of an object required to perform a task. It is an exemplary diagram for explaining a function or operation provided by
  • FIG. 11B illustrates augmentation that is expressed when an object required to perform a task according to an embodiment of the present disclosure does not exist around a second user's glasses-type wearable device and a peripheral device connected to the second user's glasses-type wearable device. It is an exemplary diagram for explaining the reality guide.
  • FIG. 12 is a diagram for describing a function or operation of displaying a message indicating completion of a task through another device operably connected to a glasses-type wearable device when the performance of a task is completed according to an embodiment of the present disclosure; This is an example drawing.
  • FIG. 13 is an example diagram expressing the function or operation described in FIG. 12 according to an embodiment of the present disclosure from a user experience point of view.
  • FIG. 14 is an exemplary diagram for explaining a function or operation of providing an augmented reality guide based on a change in position and shape of a specific object in a process of performing a task according to an embodiment of the present disclosure.
  • 15a, 15b, 15c, 15d, 15e, 16, and 17 are exemplary diagrams expressing the function or operation described in FIG. 14 from a user experience point of view according to various embodiments of the present disclosure.
  • FIG. 18 is an exemplary diagram for explaining a function or operation of expressing an augmented reality guide indicating a progress state of a task according to an embodiment of the present disclosure.
  • 19A and 19B are exemplary diagrams expressing the function or operation described in FIG. 18 according to various embodiments of the present disclosure from a user experience point of view.
  • FIG. 20 is an exemplary diagram for explaining a function or operation of controlling an augmented reality guide expressed through a glasses-type wearable device of a second user based on a voice feedback of a first user according to an embodiment of the present disclosure.
  • FIG. 21 is an example diagram expressing the function or operation described in FIG. 20 according to an embodiment of the present disclosure from a user experience point of view.
  • FIG. 22 illustrates a function or operation of displaying a first augmented reality notification according to a first user's voice feedback and displaying a second augmented reality notification according to a first user's confirmation response according to an embodiment of the present disclosure. It is an example drawing for
  • FIG. 23 is an example diagram expressing the function or operation described in FIG. 22 according to an embodiment of the present disclosure from a user experience point of view.
  • FIG. 1 is an exemplary diagram for explaining a glass-type wearable device according to an embodiment of the present disclosure.
  • the glass type wearable device 100 or 310 is described as an example, but is not limited thereto.
  • various embodiments described in the present disclosure may be an accessory type (eg, a watch, a ring, a bracelet, an anklet, a necklace, glasses, contact lenses, or a head mounted device (HMD) or a head mounted display device ( head mounted display (HMD)), fabric or clothing integral type (eg, electronic clothing), body attachment type (eg, skin pad or tattoo), or bio-implantable circuitry.
  • HMD head mounted device
  • HMD head mounted display
  • fabric or clothing integral type eg, electronic clothing
  • body attachment type eg, skin pad or tattoo
  • the glass-type wearable devices 100 and 310 include a first camera 111, a second camera 112, a third camera 113, a processor 120, and a power management integrated circuit (PMIC). 130, battery 135, memory 140, display module 150, audio module 161, audio input device 162, audio output device 163, communication circuit 170, and sensor 180 ) may include at least one of
  • an image acquired through the first camera 111 may be used for hand gesture detection by a user, head tracking of the user, and/or spatial recognition.
  • the first camera 111 may include a global shutter (GS) camera.
  • the first camera 111 may perform a simultaneous localization and mapping (SLAM) operation through depth imaging.
  • the first camera 111 may perform spatial recognition for 6 degrees of freedom (DoF).
  • DoF degrees of freedom
  • an image acquired through the second camera 112 may be used for detection and tracking of the user's pupil.
  • the second camera 112 may include a GS camera.
  • the second cameras 112 may correspond to the left eye and the right eye, respectively, and the performance of the second cameras 112 may be the same or similar to each other.
  • the third camera 113 may include a higher resolution camera than the first camera 111 and the second camera 112 . According to an embodiment of the present disclosure, the third camera 113 may perform an auto-focusing (AF) function and a shake correction function. According to an embodiment of the present disclosure, the third camera 113 may include a GS camera or a rolling shutter (RS) camera. When worn by the first user, the first camera 111 according to an embodiment of the present disclosure may be set to capture the real world corresponding to the first user's gaze.
  • AF auto-focusing
  • RS rolling shutter
  • the processor 120 may include components of the glass-type wearable devices 100 and 310, for example, a first camera 111, a second camera 112, and a third camera ( 113), PMIC 130, memory 140, display module 150, audio module 161, communication circuit 170, and sensor 180 can be controlled, and various data processing or calculations can be performed.
  • the processor 120 according to an embodiment of the present disclosure, for example, executes software (eg, a program) to at least one other component (eg, of the glass-type wearable device 100 or 310 connected to the processor 120). e.g. hardware or software components), and can perform various data processing or calculations.
  • processor 120 transfers instructions or data received from other components (eg, sensor module 176 or communication circuitry 170) to volatile memory. , process commands or data stored in volatile memory, and store resultant data in non-volatile memory.
  • the processor 120 may include a main processor (eg, a central processing unit or an application processor) or a secondary processor (eg, a graphic processing unit, a neural network processing unit (NPU) that may operate independently of or together with the main processor) processing unit), image signal processor, sensor hub processor, or communication processor).
  • main processor eg, a central processing unit or an application processor
  • secondary processor eg, a graphic processing unit, a neural network processing unit (NPU) that may operate independently of or together with the main processor) processing unit
  • image signal processor e.g, sensor hub processor, or communication processor
  • the glasses-type wearable devices 100 and 310 include a main processor and an auxiliary processor
  • the auxiliary processor may use less power than the main processor or may be set to be specialized for a designated function.
  • a secondary processor may be implemented separately from, or as part of, the main processor.
  • the PMIC 130 converts the power stored in the battery 135 to have a current or voltage required by other components of the glass-type wearable device 100 or 310 to generate the glass-type wearable device 100 , 310) can be supplied to other components.
  • the memory 140 may store various data used by at least one component (eg, the processor 120 or the sensor 180) of the glass-type wearable device 100 or 310.
  • the memory 140 may include a volatile memory or a non-volatile memory.
  • the display module 150 may display a screen to be provided to the user.
  • the display module 150 may output data (eg, red green blue (RGB) data) for representing a virtual object (eg, an augmented reality guide).
  • the display module 150 includes a first display 251, a second display 252, one or more input optical members 253-1 and 253-2, and one or more transparent members 290-2. 1 and 290-2), and one or more screen display parts 254-1 and 254-2.
  • the audio module 161 is connected to the audio input device 162 and the audio output device 163, converts data input through the audio input device 162, and converts data input to the audio output device ( 163) can convert the data to be output.
  • the audio input device 162 may include at least one microphone, and the audio output device 163 may include at least one speaker and amplifier.
  • the communication circuit 170 may support establishment of a wireless communication channel with an external electronic device connected to the glasses-type wearable device 100 or 310 and communication through the established communication channel.
  • the sensor 180 according to an embodiment of the present disclosure may include a 6-axis sensor 181 , a magnetic sensor 182 , a proximity sensor 183 , and/or an optical sensor 184 .
  • FIG. 2 is an exemplary diagram for explaining a structure of a glass-type wearable device 100 or 310 according to an embodiment of the present disclosure.
  • the glass-type wearable devices 100 and 310 may include one or more light emitting elements 214-1 and 214-2.
  • the light emitting devices 214-1 and 214-2 may be different from a light source that radiates light to a screen output area of a display, which will be described later.
  • the light emitting devices 214-1 and 214-2 detect and track the user's pupils through one or more second cameras 212-1 and 212-2, Light may be irradiated to facilitate detection.
  • each of the light emitting devices 214-1 and 214-2 may include a light emitting diode (LED).
  • the light emitting devices 214-1 and 214-2 may emit light in the infrared region. According to an embodiment of the present disclosure, the light emitting devices 214-1 and 214-2 may be attached around the frames of the glass-type wearable devices 100 and 310. According to one embodiment of the present disclosure, the light emitting elements 214-1 and 214-2 are located around one or more first cameras 211-1 and 211-2, and the glass-type wearable devices 100 and 310 are dark. When used in an environment, it may assist with gesture detection, head tracking, and spatial recognition by one or more of the first cameras 211-1 and 211-2.
  • the light emitting devices 214-1 and 214-2 are located around one or more third cameras 213, and when the glass-type wearable devices 100 and 310 are used in a dark environment, one or more Image acquisition by the third camera 213 may be assisted.
  • the glass-type wearable devices 100 and 310 may include batteries 235-1 and 235-2.
  • the batteries 235 - 1 and 235 - 2 may store power for operating the remaining components of the glass type wearable devices 100 and 310 .
  • the glass-type wearable devices 100 and 310 include a first display 251, a second display 252, one or more input optical members 253-1 and 253-2, and one or more input optical members 253-1 and 253-2. It may include transparent members 290-1 and 290-2, and one or more screen display parts 254-1 and 254-2.
  • the first display 251 and the second display 252 may include, for example, a liquid crystal display (LCD), a digital mirror device (DMD), It may include a liquid crystal on silicon (LCoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • LCD liquid crystal display
  • DMD digital mirror device
  • LCD liquid crystal on silicon
  • OLED organic light emitting diode
  • micro LED micro light emitting diode
  • the glass-type wearable devices 100 and 310 may include a light source for radiating light to the screen output area of the display.
  • a glass type wearable The devices 100 and 310 may provide a relatively good quality virtual image to the user even without a separate light source.
  • one or more transparent members 290-1 and 290-2 may be disposed to face the user's eyes when the user wears the glass-type wearable device 100 or 310.
  • the one or more transparent members 290-1 and 290-2 may include at least one of a glass plate, a plastic plate, or a polymer.
  • a user may see the outside world through one or more transparent members 290-1 and 290-2 when wearing the glass-type wearable devices 100 and 310.
  • the one or more input optical members 253-1 and 253-2 may guide light generated by the first display 251 and the second display 252 to the eyes of the user. .
  • the first display 251 and the second display An image based on the light generated in step 252 is formed, and the user can see the image formed on one or more screen display parts 254-1 and 254-2.
  • the glass-type wearable devices 100 and 310 may include one or more optical waveguides (not shown).
  • the optical waveguide according to an embodiment of the present disclosure may transmit light generated by the first display 251 and the second display 252 to the user's eyes.
  • Each of the glass-type wearable devices 100 and 310 may include one optical waveguide corresponding to the left eye and the right eye.
  • the optical waveguide may include at least one of glass, plastic, or polymer.
  • the optical waveguide may include a nanopattern formed on an inner or outer surface, for example, a polygonal or curved grating structure.
  • the optical waveguide may include a free-form prism, and in this case, the optical waveguide may provide incident light to a user through a reflective mirror.
  • the optical waveguide includes at least one of at least one diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror), Display light emitted from a light source may be guided to the eyes of a user by using at least one diffractive element or reflective element included in the optical waveguide.
  • the diffractive element may include an input/output optical member.
  • the reflective element may include a member that causes total internal reflection.
  • the glass-type wearable devices 100 and 310 include one or more audio input devices 262-1, 262-2, and 262-3 and one or more audio output devices 263-1 and 263-1. 2) may be included.
  • the glass-type wearable devices 100 and 310 may include a first PCB 270-1 and a second PCB 270-2.
  • the first PCB 270-1 and the second PCB 270-2 include a first camera 111, a second camera 112, a third camera 113, a display module 150, and an audio module 161.
  • the sensor 180 may be configured to transmit electrical signals to components included in the glass-type wearable devices 100 and 310 .
  • the first PCB 270-1 and the second PCB 270-2 may include a flexible printed circuit board (FPCB).
  • the first PCB 270-1 and the second PCB 270-2 each include a first substrate, a second substrate, and an interface disposed between the first substrate and the second substrate. Posers may be included.
  • 3A to 3C are exemplary diagrams for explaining a connection relationship of glass-type wearable devices according to various embodiments of the present disclosure.
  • a first user's glasses-type wearable device 100 may be directly connected to a glasses-type wearable device 310 of a second user through a network 300 .
  • the network 300 includes a first network (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (eg, a legacy cellular network).
  • a first network eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network eg, a legacy cellular network
  • network eg, a fifth generation (5G) network, a next-generation communications network, the Internet, or a telecommunications network such as a computer network (such as a LAN or WAN).
  • 5G fifth generation
  • next-generation communications network such as a computer network (such as a LAN or WAN).
  • the first user's glasses-type wearable device 100 includes a second user's glasses-type wearable device 310 and a server ( 320) may be connected.
  • the server 320 may include an intelligent server using machine learning and/or neural networks.
  • the first user's glasses-type wearable device 100 and/or the second user's glasses-type wearable device 310 operate with peripheral devices (eg, IoT devices). can be connected to make it possible.
  • a peripheral device may include, for example, a refrigerator 312, a smart phone 314, a closed-circuit television (CCTV) 316, and/or a robot vacuum cleaner 318. .
  • FIG. 4 is a diagram for a first user's glasses-type wearable device to provide an augmented reality guide corresponding to a second task based on a difference between current progress states of a first task and a second task according to an embodiment of the present disclosure. It is an exemplary diagram for explaining the function or operation of controlling the communication module for the purpose.
  • 5A shows a function in which a task progress of a second user is expressed as a virtual object 510 through the glasses-type wearable device 100 of the first user in the real world of the first user according to an embodiment of the present disclosure; It is an exemplary diagram for explaining the operation.
  • FIG. 5B is an exemplary diagram for explaining a function or operation in which an augmented reality guide 520 is expressed as a video through a second user's glasses-type wearable device 310 according to an embodiment of the present disclosure.
  • first user may be used to mean an educator who conducts education to a second user
  • second user is used to mean a trainee who takes education to a first user. There may be cases.
  • the glasses-type wearable device 100 (eg, a first user's glasses-type wearable device) according to an embodiment of the present disclosure, in operation 410, includes at least one sensor (eg, a first camera ( 111) or the third camera 113) while acquiring the first peripheral image of the glasses-type wearable device 100, an external electronic device (eg: A second peripheral image of the external electronic device acquired by the external electronic device may be received from the second user's glasses-type wearable device 310 through a communication module (eg, the communication circuit 170 ).
  • a communication module eg, the communication circuit 170
  • the glasses-type wearable device 100 when obtaining a second surrounding image, converts the obtained second surrounding image into a virtual object (eg, the processor 120). 510) can be expressed as
  • the glasses-type wearable device 100 eg, the processor 120
  • the glasses-type wearable device 100 outputs data for the second peripheral image in order to represent the second peripheral image as the virtual object 510.
  • the display module 150 may be controlled to do so.
  • 5A illustrates a process of performing “cooking” as an operation.
  • FIG. 1 illustrates a process of performing “cooking” as an operation.
  • the first user exemplarily illustrates a process of performing a task in which the first user roasts sliced potatoes, and a second user performs a task in which the potato is sliced
  • the process is illustrated by way of example.
  • the virtual object 510 is illustrated as being expressed on a 2D plane, but this is exemplary and the virtual object 510 may be expressed as a 3D object.
  • the virtual object 510 and the augmented reality guide 520 may be disposed on the front or side of the field of view.
  • the glasses-type wearable device 100 (eg, the glasses-type wearable device of the first user) according to an embodiment of the present disclosure, in operation 420, uses a first surrounding image to allow the user of the glasses-type wearable device 100 to:
  • the first task being performed may be identified, and the second task being performed by the user of the external electronic device (eg, the second user's glasses-type wearable device 310) may be identified using the second peripheral image.
  • the first peripheral image and/or the second peripheral image are captured by an external electronic device operably connected to the glass-type wearable device 100 according to an embodiment of the present disclosure, It may be an image transmitted to the type wearable device 100 .
  • the glasses-type wearable device 100 does not receive the second surrounding image from the glasses-type wearable device 310 of the second user, but rather receives the second peripheral image. It may also be set to receive information on the current progress of the user (eg, “the second user is currently performing task 4”).
  • operation 420 may be performed by an external electronic device operably connected to the glass-type wearable device 100 according to an embodiment of the present disclosure (eg, tethered ( via a tethered) method).
  • the glasses-type wearable device 100 (eg, the processor 120) according to an embodiment of the present disclosure includes a reference image stored in the glasses-type wearable device 100 (eg, the memory 140) and a second By comparing each of the first surrounding image and the second surrounding image, it is possible to identify which task each user is currently performing. For example, when a reference image of cutting potatoes and a second peripheral image correspond to each other (eg, when a motion analysis result in the image is quantitatively included within the error range), the glass-type wearable device 100 It may be determined that the user is currently cutting potatoes. The function or operation to identify such a task may be learned by an artificial intelligence model.
  • Such learning may be performed, for example, in the glasses-type wearable device 100 itself or through a separate server (eg, the server 310).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • An artificial neural network according to an embodiment of the present disclosure includes a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), and a BRDNN. (bidirectional recurrent deep neural network), deep Q-networks, or a combination of two or more of the above, but is not limited to the above examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • Reference images according to an embodiment of the present disclosure may be stored separately for each at least one task constituting one operation.
  • the first user's operation according to an embodiment of the present disclosure may be classified according to at least one task and stored in the glasses-type wearable device 100 (eg, the memory 140). For example, "The first user pours water into a pot (Task 1), puts it on the induction cooktop (Task 2), rinses the potatoes (Task 3), slices the washed potatoes (Task 4), and cuts the potatoes.
  • roasting (task 5)" when one operation is performed, one operation is classified for each task in the glass-type wearable device 100 (eg, the memory 140), and information on each task (eg, memory 140) : Acquired images) may be stored according to the elapsed time sequence. For example, when an image of a user washing potatoes is identified (eg, task 3 is identified), images for task 1 and task 2 are displayed in the glass-type wearable device 100 (eg, the memory 140). It may be stored together with time information. According to an embodiment of the present disclosure, a criterion for how to classify tasks may be determined in advance.
  • a task in which the first user pours water into a pot and then puts it on the induction cooktop may be designated and stored as one task.
  • a function or operation for classifying such a task may be learned by an artificial intelligence model. Such learning may be performed, for example, in the glasses-type wearable device 100 itself or through a separate server (eg, the server 320).
  • the function or operation in which the operation of the first user is classified according to at least one task and stored in the glasses-type wearable device 100 (eg, the memory 140) is performed after operation 420 or can be performed simultaneously.
  • operation 420 may be performed according to a predetermined time period or according to a user's request.
  • the glasses-type wearable device 100 may identify a difference between a current progress state of the first task and a current progress state of the second task.
  • the glass-type wearable device 100 eg, processor 120
  • user 2 is cutting potatoes (eg, when it is determined that task 4 is being performed)
  • it may be determined that the task difference between each user is 1.
  • the glasses-type wearable device 100 determines a task performance state of user 1 and a task performance state of user 2 When there is no difference in (eg, when it is determined that potatoes are being sliced identically), it may be determined that there is no difference.
  • the glasses-type wearable device 100 in operation 440, based on the difference between the current progress state of the first task and the current progress state of the second task, selects an external electronic device (eg, a second task).
  • a communication module eg, the communication circuit 170
  • the glasses-type wearable device 100 eg, the processor 120
  • may perform task 4 eg, the current user 2 ) stored in the glasses-type wearable device 100 (eg, the memory 140).
  • the communication module (eg, the communication circuit 170) may be controlled to provide a guide image for a task being performed) to an external electronic device (eg, the second user's glasses-type wearable device 310).
  • the guide image may be a video of a first user performing task 4 or a pilot for task 4 captured by a camera (eg, the first camera 111 and/or the third camera 113).
  • (pilot) video e.g. pilot video
  • pilot video can be included.
  • the augmented reality guide 520 may be expressed as a virtual object through an external electronic device.
  • the augmented reality guide 520 according to an embodiment of the present disclosure includes a first guide message 522 related to a specific task, and the first guide message 522 is uttered while a first user performs a specific task.
  • a message corresponding to a spoken voice or a text message included in a pilot image may be included.
  • An image according to an embodiment of the present disclosure may include a video.
  • the augmented reality guide 520 may be expressed as a static visual element 530 and/or a second guide message 532 rather than a video.
  • the external electronic device eg, the glasses-type wearable device 310 of the second user
  • a command for expressing 532 may be received.
  • the external electronic device eg, the second user's glasses-type wearable device 310) transmits the static visual element 530 and/or the second guide message 532 from the glasses-type wearable device 100 of the first user.
  • the static visual element 530 and/or the second guide message 532 may be expressed as a virtual object.
  • the external electronic device receives a command for displaying the static visual element 530 and/or the second guide message 532 for spinach
  • the external electronic device identifies spinach from the obtained surrounding image.
  • the static visual element 530 and/or the second guide message 532 may be expressed around the spinach as a virtual object.
  • a function or operation of providing a static visual element 530 according to an embodiment of the present disclosure is, for example, a visual element having a specific color and shape around a specific object so that a specific object can be distinguished from other objects. It may refer to a function or operation that provides (visual element) in an augmented reality manner.
  • the description according to an embodiment of the present disclosure may be automatically generated by the processor 120 based on audio data (eg, a user's speech) and image data (eg, a video of a user eating spinach) included in an image.
  • a glass-type wearable device eg, the processor 120
  • FIG. 6 is an exemplary diagram for explaining a function or operation of providing different augmented reality guides according to a task performance level of a second user according to an embodiment of the present disclosure.
  • FIG. 7A is an exemplary diagram for explaining an augmented reality guide provided to a second user's glasses-type wearable device when the second user's task performance level is relatively high, according to an embodiment of the present disclosure.
  • FIG. 7B is an exemplary diagram for explaining an augmented reality guide provided to a second user's glasses-type wearable device when the second user's task performance level is relatively low, according to an embodiment of the present disclosure.
  • the glasses-type wearable device 100 from an external electronic device (eg, the glasses-type wearable device 310 of the second user), Information on a task performance level (eg, a task performance level of the second user) corresponding to may be obtained.
  • the glass-type wearable device 100 according to an embodiment of the present disclosure for example, includes "beginner”, “intermediate”, and "advanced". Information on any one selected level among the three levels may be transmitted from an external electronic device.
  • the glasses-type wearable device 100 in operation 620, sends an external electronic device (eg, the glasses-type wearable device 310 of the second user) according to the obtained information on the task performance level.
  • a communication module eg, the communication circuit 170
  • the glasses-type wearable device 100 may provide a pilot image corresponding to a current task of a second user as an augmented reality guide 520 .
  • a case in which the task performance level of the second user is “advanced” is illustrated as an example.
  • the pilot image is stored in a glasses-type wearable device (e.g., the memory 140) or an external memory (not shown) operatively connected to the glasses-type wearable device 100, and corresponds to the current task of the second user.
  • a pilot image corresponding to the “advanced” level among the pilot images to be displayed may be provided as the augmented reality guide 520 .
  • a pilot image of an advanced level may include a first guide message 522 related to a specific task suitable for the “advanced” level.
  • the glasses-type wearable device 100 may provide a pilot image corresponding to the current task of the second user as an augmented reality guide 520 .
  • a case in which the task performance level of the second user is “beginner” is illustrated as an example.
  • the pilot image is stored in a glasses-type wearable device (e.g., the memory 140) or an external memory (not shown) operatively connected to the glasses-type wearable device 100, and corresponds to the current task of the second user.
  • a pilot image corresponding to the “beginner” level among the pilot images to be played may be provided as the augmented reality guide 520 .
  • the beginner level pilot image may include a first guide message 522 related to a specific task suitable for the “beginner level” level.
  • the glasses-type wearable device 100 according to an embodiment of the present disclosure provides a pilot image corresponding to the next task as the augmented reality guide 520 without performing the current task according to the difficulty (eg, risk) of the task. It is possible to control the display module 150 so that a guide message to be provided as an augmented reality method.
  • the glass-type wearable device 100 according to an embodiment of the present disclosure or at least one external electronic device operatively connected to the glass-type wearable device 100 determines the degree of difficulty of the currently provided augmented reality guide 520. It is possible to perform a function or operation for determining.
  • FIG. 8 is an exemplary diagram for explaining a function or operation performed by a server in transmitting an augmented reality guide according to an embodiment of the present disclosure.
  • the glasses-type wearable device 100 in operation 810, obtains a first surrounding image.
  • An external electronic device eg, the second user's glasses-type wearable device 310) according to an embodiment of the present disclosure may transmit a second surrounding image to the server 320 in operation 820 .
  • the server 320 according to an embodiment of the present disclosure may transmit a second surrounding image to the glasses-type wearable device 100.
  • operation 830 may be omitted.
  • the glasses-type wearable device 100 according to an embodiment of the present disclosure may transmit the first and second surrounding images to the server 320.
  • an operation of the glasses-type wearable device 100 transmitting the second peripheral image to the server 320 may be omitted.
  • Server 320 according to an embodiment of the present disclosure, in operation 850, may identify a task.
  • the server 310 according to an embodiment of the present disclosure compares a reference image stored in the server 310 (eg, the memory 140) with each of the first surrounding image and the second surrounding image, so that each current image It is possible to identify which task the user of is performing. For example, when the reference image of cutting potatoes and the second surrounding image correspond to each other (eg, when the motion analysis result in the image is quantitatively included within the error range), the server 310 determines that the second user is currently It can be judged that it is slicing potatoes.
  • the server 320 in operation 860, may identify a difference in progress state.
  • the server 320 for example, when it is determined that user 1 is currently roasting sliced potatoes (eg, when it is determined that task 5 is being performed), and when it is determined that user 2 is cutting potatoes (eg, when it is determined that task 4 is being performed), it may be determined that the task difference between each user is 1.
  • the server 320 in operation 870, may transmit an identification result to the glasses-type wearable device 100.
  • the glasses-type wearable device 100 may request transmission of an augmented reality guide to the server 320.
  • the server 320 may transmit an augmented reality guide to the glasses-type wearable device 310 of the second user.
  • operations 870 and 880 may be omitted, and operation 890 may be performed immediately after operation 860.
  • the augmented reality guide 520 may be stored in the server 320 .
  • the server 320 may receive information on an image acquired by the glasses-type wearable device 100 from the glasses-type wearable device 100 in real time or at a specific point in time. can
  • FIG. 9 is for explaining a function or operation of providing a location of an object necessary for performing a task according to an embodiment of the present disclosure by using an image acquired by a peripheral device connected to a glasses-type wearable device of a second user. This is an example drawing.
  • FIG. 10 is an exemplary diagram for explaining a function or operation of identifying an object selected by a first user by a second user's glasses-type wearable device according to an embodiment of the present disclosure.
  • 11A is a diagram of a second user's glasses-type wearable device according to an embodiment of the present disclosure, using an image acquired by a peripheral device connected to the second user's glasses-type wearable device to determine the location of an object required to perform a task. It is an exemplary diagram for explaining a function or operation provided by
  • FIG. 11B illustrates augmentation that is expressed when an object required to perform a task according to an embodiment of the present disclosure does not exist around a second user's glasses-type wearable device and a peripheral device connected to the second user's glasses-type wearable device. It is an exemplary diagram for explaining the reality guide.
  • the second user's glasses-type wearable device 310 acquires a surrounding image through at least one sensor, and detects the second user's glasses.
  • a second peripheral image may be obtained from a first external electronic device (eg, the first user's glasses-type wearable device 100) connected to the type wearable device 310 to be operable.
  • the first user may have selected a knife as shown in FIG. 1 , and such an image may be obtained and transmitted to the second user's glasses-type wearable device 310 .
  • the first surrounding image transmitted to the second user's glasses-type wearable device 310 may be expressed through the second user's glasses-type wearable device 310 as a virtual object.
  • the second user's glasses-type wearable device 310 uses the acquired second peripheral image to display the first external electronic device (eg, the first user's glasses-type wearable device).
  • the first object selected by the user of (100)) may be identified.
  • the second user's glass-type wearable device 310 eg, the processor 120
  • a specific object is a certain object by using a learning algorithm/artificial intelligence model method or a method by extracting feature points from a specific object and comparing them with a pre-stored reference image. Awareness can be identified.
  • the second user's glasses-type wearable device 310 may, in operation 930, determine whether a second object corresponding to the identified first object is included in the first surrounding image. there is.
  • the second object according to an embodiment of the present disclosure may refer to an object (eg, a kitchen knife) of substantially the same type as the first object.
  • a second object corresponding to a first object identified using various image analysis techniques is a first It may be determined whether the image is included in the surrounding image.
  • the glasses-type wearable device 310 of the second user when a second object corresponding to the identified first object is not included in the first surrounding image, displays a second object. It may be determined whether the second object is included in the third peripheral image acquired by the second external electronic device operably connected to the user's glasses-type wearable device 310 . According to another embodiment of the present disclosure, based on object location information transmitted from a second external electronic device operably connected to the second user's glasses-type wearable device 310, the second user's glasses-type wearable device 310 ) may identify whether the second object is located inside the second external electronic device or around the second external electronic device.
  • the refrigerator 312 may know food information stored in the refrigerator 312, and when the object selected by the first user is spinach, the third Instead of transmitting the surrounding image to the second user's glasses-type wearable device 310, information on whether or not spinach is present in the refrigerator 312 (eg, object location information) is sent to the second user's glasses-type wearable device ( 310). Accordingly, the second user's glass-type wearable device 310 may check whether the object selected by the first user exists in the refrigerator 312 .
  • the second user's glasses-type wearable device 310 (eg, the processor 120) according to an embodiment of the present disclosure determines whether a second object corresponding to the identified first object is not included in the first surrounding image.
  • the identified first object and the second external electronic device operatively connected to the glass-type wearable device 310 of the second user to determine the location of the second object. Transmission of location information of the corresponding second object may be requested.
  • the second user's glasses-type wearable device 310 eg, the processor 120
  • the second user's glasses-type wearable device 310 includes a second object corresponding to the identified first object in the first peripheral image. If not, to a second external electronic device (eg, refrigerator 312, smart phone 314) operably connected to the glass-type wearable device 310 of the second user in order to determine the location of the second object For this, it is possible to request provision of an image (eg, a third peripheral image) acquired by the second external electronic device.
  • an image capturing the inside of the refrigerator 312 eg, an image obtained by a camera located inside the refrigerator
  • an image capturing the outside eg, an image obtained by a camera located inside the refrigerator
  • images acquired by a camera located outside the refrigerator may be transmitted to the second user's glass-type wearable device 310 .
  • the second external electronic device is a smart phone 314, at least one of images obtained by a front camera and a rear camera of the smart phone 314 is the second user's glasses-type wearable device 310 ) can be transmitted.
  • a confirmation request message confirming whether the second external electronic device is capturing an image is requested to provide an image (eg, a third peripheral image) obtained by the second external electronic device. You can send it before doing it.
  • the second user's glasses-type wearable device 310 when a message indicating that the second external electronic device is not capturing an image is received, the second user's glasses-type wearable device 310 according to an embodiment of the present disclosure automatically or according to the second user's selection, A message requesting capturing of an image may be transmitted to the second external electronic device.
  • the second user's glasses-type wearable device 310 may sequentially select a second external electronic device to request provision of an image according to the object type selected by the first user.
  • the second user's glasses-type wearable device 310 may preferentially select a search device according to the type of object to be searched.
  • a search device for example, when the object (eg, a search target object) selected by the first user is a kitchen knife, since kitchen knives are often located in kitchens, priority is given to the refrigerator 312 (eg, a search device) located in the kitchen. You can send a video provision request to .
  • the refrigerator 312 eg, a search device located in the kitchen is requested to provide images preferentially. can transmit.
  • information about the location of the second external electronic device is known in advance to the glass-type wearable device 310 of the second user, or a location provision request message for the second external electronic device is transmitted and You may know through the response to this.
  • the glass-type wearable device 310 of the second user transmits the image to another second external electronic device when there is no specific object (eg, a kitchen knife) in the image transmitted from the refrigerator 312 request can be sent.
  • the second user's glasses-type wearable device 310 may transmit a request message requesting that the second external electronic device determine whether a specific object exists.
  • the second user's glasses-type wearable device 310 may transmit information on a specific object to a second external electronic device (eg, the smart phone 314).
  • the second user's glasses-type wearable device 310 in operation 950, based on the determination result of operation 940, provides an augmented reality guide to the second user's glasses-type wearable device 310.
  • the second user's glasses-type wearable device 310 when a specific object exists in the image as a result of analyzing the image obtained from the second external electronic device, determines the object selected by the first user.
  • the augmented reality guide 520 indicating location information may be expressed as a virtual object.
  • a guide message (eg, “the knife is on the table”) along with the image acquired by the smart phone 314 It is possible to provide an augmented reality guide 520 including a.
  • the second user's glasses-type wearable device 310 determines that a specific object does not exist in the image as a result of analyzing the image acquired from the second external electronic device.
  • an augmented reality guide 520 including a guide message that a specific object does not exist.
  • a selection menu that can be selected through a virtual touch by the user or a touch by a touch pad provided by the glass-type wearable device 310 may be provided together.
  • FIG. 12 illustrates, when the task is completed according to an embodiment of the present disclosure, the task is completed through another device (eg, a smart phone 314) operatively connected to the glass-type wearable devices 100 and 310. It is an exemplary diagram for explaining a function or operation of displaying a message indicating that it has been done.
  • another device eg, a smart phone 314.
  • FIG. 13 is an example diagram expressing the function or operation described in FIG. 12 according to an embodiment of the present disclosure from a user experience point of view.
  • the glass-type wearable devices 100 and 310 in operation 1210, at least one sensor (eg, the first camera 111 and the third camera 113) Completion of the task may be identified using the surrounding image acquired using .
  • the glasses-type wearable device 100 or 310 eg, the processor 120
  • the glasses-type wearable device 100 or 310 may generate a reference image and a surrounding image stored in the glasses-type wearable device 100 or 310 (eg, the memory 140). By comparing, it is possible to identify whether the task currently being performed by each user has been completed, for example, the correspondence between a reference image of cutting potatoes and surrounding images (e.g., motion analysis results in images are quantitatively within the error range).
  • Such learning may be performed, for example, in the glasses-type wearable device 100 itself or through a separate server (eg, the server 310).
  • the glasses-type wearable devices 100 and 310 based on the identified task completion, an external electronic device (eg, an external electronic device operatively connected to the glasses-type wearable device 100). Information on the progress may be transmitted to the smart phone 314 .
  • the entire process (eg, a plurality of tasks) for a specific operation may be stored in the glasses-type wearable devices 100 and 310 (eg, the memory 140) according to an embodiment of the present disclosure. Alternatively, information on the entire process may be provided from another electronic device.
  • the task of cutting potatoes corresponds to 40% of the total operations (eg, the task of cutting potatoes is 5 tasks).
  • a second task among tasks composed of) information about this may be transmitted to an external electronic device (eg, the smart phone 314) operatively connected to the glasses-type wearable device 100 .
  • An external electronic device eg, the smart phone 314) according to an embodiment of the present disclosure may display information on the current progress (eg, “40% of the entire process has been completed”) based on the received information.
  • an image captured by an internal camera of a second external electronic device (eg, a refrigerator 312) connected to the second user's glass-type wearable device 310 is displayed as a glass-type wearable device of the first user. It may be transmitted to the wearable device 100 to recommend an alternative product.
  • the first user's glasses-type wearable device 100 may include a second external electronic device (eg, a smart phone 314 or a smartphone 314) connected to the second user's glasses-type wearable device 310 It can also be set to transmit designated images or information (eg, time required for cooking) to a smart watch).
  • the first user's glasses-type wearable device 100 includes a second external electronic device (eg, a smart phone 314) connected to the second user's glasses-type wearable device 310. or a smart watch) may be operably connected.
  • a second external electronic device eg, a smart phone 314
  • a smart watch e.g., a smart watch
  • FIG. 14 is an exemplary diagram for explaining a function or operation of providing an augmented reality guide based on a change in position and shape of a specific object in a process of performing a task according to an embodiment of the present disclosure.
  • 15A to 17 are exemplary diagrams expressing the function or operation described in FIG. 14 according to various embodiments of the present disclosure from a user experience point of view.
  • the second user's glasses-type wearable device 310 according to an embodiment of the present disclosure, from an external electronic device (eg, the first user's glasses-type wearable device 100) A visual emphasis effect on an object corresponding to an object in which a positional change is detected in the obtained image may be provided.
  • an external electronic device eg, the first user's glasses-type wearable device 100
  • FIGS. 15A and 15B diagrams in which a first user performs a task of cutting a flower while holding a specific object (eg, scissors 1510) are illustrated as examples.
  • a specific object eg, scissors 1510
  • an image captured by the glasses-type wearable device 310 of the second user through the glasses-type wearable device 100 of the first user may be provided as the augmented reality guide 520 .
  • an image captured by the first user's glasses-type wearable device 100 through the second user's glasses-type wearable device 310 may be provided as an augmented reality guide 520.
  • the second visual element 1530 is provided to the second user. may be provided through the glass-type wearable device 1530.
  • the second visual element 1530 according to an embodiment of the present disclosure is an object corresponding to an object whose location is detected in an image obtained from an external electronic device (eg, the first user's glasses-type wearable device 100). may be provided nearby.
  • the second user's glasses-type wearable device 310 while providing a visual emphasis effect, displays an external electronic device (eg, the first user's glasses-type wearable device 100). ), when a change in the shape of a specific object is detected in the acquired image, a virtual image of the specific object whose shape has changed may be provided.
  • an external electronic device eg, the first user's glasses-type wearable device 100
  • the second user's glasses-type wearable device 310 (eg, the processor 120) according to an embodiment of the present disclosure includes an external electronic device (eg, the first user's glasses-type wearable device (eg, the processor 120)). 100)), it is possible to identify an object (eg, a flower) in which a shape change has occurred in the obtained image.
  • the second user's glasses-type wearable device 310 may provide a second virtual image 1540 of a specific object whose shape has changed.
  • the second virtual image 1540 according to an embodiment of the present disclosure may include a virtual image in which a shape change is reflected.
  • a third object 1620a corresponding to the first object 1610 as a virtual object may be provided through the second user's glasses-type wearable device 310 .
  • the second object 1620 of the present disclosure may be substantially the same object as the first object 1610 .
  • the shape of the third object 1620a may be similarly applied and provided.
  • FIG. 17 an example in which a first user teaches a second user to knit according to an embodiment of the present disclosure is illustratively illustrated.
  • a third visual element 1710 may be provided with respect to a fourth object whose movement has occurred through the second user's glasses-type wearable device 310 .
  • an image acquired by the first user's glasses-type wearable device 100 may be provided as an augmented reality guide 520 through the glasses-type wearable device 310 of the second user.
  • FIG. 18 is an exemplary diagram for explaining a function or operation of expressing an augmented reality guide indicating a progress state of a task according to an embodiment of the present disclosure.
  • 19A and 19B are exemplary diagrams expressing the function or operation described in FIG. 18 according to various embodiments of the present disclosure from a user experience point of view.
  • the glasses-type wearable devices 100 and 310 in operation 1810, use at least one external electronic device (eg, the first user's glasses-type wearable device 100 or A peripheral image acquired by at least one external electronic device may be received from the second user's glasses-type wearable device 310 .
  • at least one external electronic device eg, the first user's glasses-type wearable device 100 or A peripheral image acquired by at least one external electronic device may be received from the second user's glasses-type wearable device 310 .
  • the glasses-type wearable devices 100 and 310 in operation 1820, use the received surrounding image to display at least one external electronic device (eg, the glasses-type wearable device 100 of the first user). ) or a task being performed by the user of the glasses-type wearable device 310 of the second user (eg, progress status) may be identified.
  • the glasses-type wearable devices 100 and 310 according to an embodiment of the present disclosure may use at least one external electronic device (eg, the first user's glasses-type wearable device 100 or A task being performed by the user of the glasses-type wearable device 310 of the second user (eg, progress status) may be identified.
  • the glasses-type wearable device 100 or 310 may display a current progress state as a virtual object using the identified task.
  • the first user's glasses-type wearable device 100 includes an indicator (eg, the first indicator 1942) indicating the current progress of each user's task.
  • the second indicator 1944, the third indicator 1946, and the fourth indicator 1948) may be provided as a virtual object.
  • the first user's glasses-type wearable device 100 according to an embodiment of the present disclosure includes images obtained from at least one external electronic device (eg, a first peripheral image 1910 and a second peripheral image 1920). ), the third peripheral image 1930) may be provided as a virtual object.
  • a guide image eg, a pilot image stored in the memory 140
  • the second glasses-type wearable device 310 may provide an augmented reality guide 520 (eg, a pilot image).
  • the second glasses-type wearable device 310 displays a status bar 1940 including at least one indicator (eg, a third indicator 1946 and a fourth indicator 1948), It can be provided as an object.
  • FIG. 20 is an exemplary diagram for explaining a function or operation of controlling an augmented reality guide expressed through a glasses-type wearable device of a second user based on a voice feedback of a first user according to an embodiment of the present disclosure.
  • FIG. 21 is an exemplary diagram expressing the function or operation described in FIG. 20 according to various embodiments of the present disclosure from a user experience point of view.
  • the second user's glasses-type wearable device 310 in operation 2010, transmits a message to an external electronic device (eg, the first user's glasses-type wearable device 100).
  • a first object eg, the fourth object 2110 selected by the user of the external electronic device may be identified using the first surrounding image obtained by the above.
  • the second user's glasses-type wearable device 310 may select a first object (eg, a fourth object 2110 selected by the user of the external electronic device using various methods described in the present disclosure). )) can be identified.
  • the second user's glasses-type wearable device 310 in operation 2020, obtains the second user's glasses-type wearable device (eg, the glasses-type wearable device 310 of the second user).
  • a second object (eg, the fifth object 2120) corresponding to the identified first object may be identified using the surrounding image.
  • the glasses-type wearable device 310 of the second user according to an embodiment of the present disclosure may display a virtual image of the identified second object (eg, the fifth object 2120).
  • the second user's glasses-type wearable device 310 provides an augmented reality guide 520 for an identified second object (eg, a fifth object 2120). can provide.
  • the second user's glasses-type wearable device 310 in operation 2040, transforms the first object (eg, the fourth object 2110) based on the first surrounding image. can be identified.
  • the glasses-type wearable device 310 of the second user changes the shape of the virtual image of the second object (eg, the fifth object 2120) to correspond to the identified deformation. can transform For example, as shown in FIG.
  • augmentation may also be provided after being deformed to correspond to the folding of the fourth object 2110 .
  • the second user's glasses-type wearable device 310 in a state in which the shape of the virtual image is deformed, displays an external electronic device (eg, the first user's glasses-type wearable device ( Voice feedback 2130 may be received from the user of 100)).
  • the second user's glasses-type wearable device 310 according to an embodiment of the present disclosure may, in operation 2070, re-transform the shape of the deformed virtual image based on the received voice feedback.
  • the second user's glasses-type wearable device 310 may receive, as voice feedback, “User B, fold it into thirds”. there is.
  • the second user's glasses-type wearable device 310 may generate and provide an augmented reality guide 520 by analyzing such voice feedback, or may use an external electronic device (eg, a server ( 320) or the information on the augmented reality guide 520 may be received and provided from the first user's glasses-type wearable device 100), and among the guides stored in the glasses-type wearable device 310 of the second user, voice A guide corresponding to the feedback may be selected and provided. As shown in FIG. 21 , the second user's glasses-type wearable device 310 according to an embodiment of the present disclosure may provide an augmented reality guide 520 corresponding to the user's voice feedback.
  • an external electronic device eg, a server ( 320) or the information on the augmented reality guide 520 may be received and provided from the first user's glasses-type wearable device 100
  • voice A guide corresponding to the feedback may be selected and provided.
  • the second user's glasses-type wearable device 310 may provide an augmented reality guide 520 corresponding to the user's
  • FIG. 22 illustrates a function or operation of displaying a first augmented reality notification according to a first user's voice feedback and displaying a second augmented reality notification according to a first user's confirmation response according to an embodiment of the present disclosure. It is an example drawing for FIG. 22 is an example diagram expressing the function or operation described in FIG. 21 from a user experience point of view.
  • the second user's glasses-type wearable device 310 in operation 2210, from an external electronic device (eg, the first user's glasses-type wearable device 100) Voice feedback can be received.
  • the second user's glasses-type wearable device 310 may display a first augmented reality notification based on the received voice feedback.
  • FIG. 23 is an example diagram expressing the function or operation described in FIG. 22 according to an embodiment of the present disclosure from a user experience point of view.
  • the second user's glasses-type wearable device 310 (eg, the processor 120) according to an embodiment of the present disclosure provides voice feedback (eg, “Important”) as voice data from the first user. "), it is possible to analyze the meaning of the voice feedback.
  • voice feedback eg, “Important”
  • the second user's glasses-type wearable device according to an embodiment of the present disclosure ( 310) (eg, the processor 120) may provide a first augmented reality notification 2342 around the virtual object 2340 for the seventh object 2320 corresponding to the sixth object 2310.
  • the glasses-type wearable device 310 of the second user while displaying the augmented reality notification, displays the glasses-type wearable device (eg, the second user's glasses-type wearable device ( 310) may transmit the acquired peripheral image to an external electronic device (eg, the first user's glasses-type wearable device 100).
  • the second user's glasses-type wearable device 310 may receive an acknowledgment from an external electronic device (eg, the first user's glasses-type wearable device 100). there is.
  • the second user's glasses-type wearable device 310 according to an embodiment of the present disclosure may display a second augmented reality notification based on reception of the confirmation response.
  • the second user's glasses-type wearable device 310 uses a glasses-type wearable device (eg, the second user's glasses-type wearable device) to receive confirmation from the first user.
  • the peripheral image acquired by (310)) may be transmitted to an external electronic device (eg, the first user's glasses-type wearable device 100).
  • the second user's glasses-type wearable device 310 receives a confirmation response from the first user's glasses-type wearable device 100
  • the second user's glasses-type wearable device 310 indicates that the first user's confirmation has been received.
  • An augmented reality notification 2344 may be provided.
  • first, second, or first or secondary may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited.
  • a (eg, first) component is said to be “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, and is interchangeably interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure are software (eg, including one or more instructions stored in a storage medium (eg, memory 140) readable by a machine (eg, the glass-type wearable device 100)). e.g. program).
  • a processor eg, the processor 140
  • a device eg, the glass-type wearable device 100
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • methods according to various embodiments disclosed in the present disclosure may be included in and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법이 제공된다. 글래스 타입 글래스 타입 웨어러블 디바이스는, 통신 회로, 카메라, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 연결된 외부 전자 장치로부터 상기 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하고, 상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하고, 상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 차이를 식별하고, 상기 식별된 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하도록 설정될 수 있다.

Description

증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법
본 개시는, 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법에 관한 것이다.
전자 장치, 예를 들어, 글래스 타입 웨어러블 디바이스와 같은 전자 장치를 통해 제공되는 다양한 서비스 및 부가 기능들이 점차 증가하고 있다. 이러한 전자 장치의 효용 가치를 높이고, 다양한 사용자들의 욕구를 만족시키기 위해서 통신 서비스 제공자 또는 전자 장치 제조사들은 다양한 기능들을 제공하고 다른 업체와의 차별화를 위해 전자 장치를 경쟁적으로 개발하고 있다. 이에 따라, 전자 장치를 통해서 제공되는 다양한 기능들도 점점 고도화 되고 있다.
상기 정보는 오직 본 개시의 이해를 돕기 위한 배경 정보로서 제공된다. 상기 내용의 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 판단이 이루어지지 않았으며, 주장도 이루어지지 않는다.
최근, 글래스 타입 웨어러블 디바이스가 교육의 목적으로 이용되고 있다. 예를 들어, 글래스 타입 웨어러블 디바이스를 착용한 제1 사용자가 수행 중인 특정한 태스크(task)를 글래스 타입 웨어러블 디바이스를 착용한 제2 사용자가 바라보고 있는 실제 세계(real world) 상에 가상 객체로서 표현하는 방식으로서 글래스 타입 웨어러블 디바이스가 교육의 목적으로 이용되고 있다. 그러나, 이와 같은 종래의 방식은, 제1 사용자의 관점만을 반영한 교육 방식일 수 있다. 다른 말로, 제1 사용자는 특정한 태스크의 수행에 능숙한 사용자이고, 제2 사용자가 특정한 태스크의 수행에 능숙하지 못한 사용자인 경우, 제1 사용자의 태스크 수행 속도와 제2 사용자의 태스크 수행 속도와의 차이는 상이할 수 있다. 이와 같은 경우에도, 제2 사용자에게 제1 사용자가 현재 수행 중인 태스크가 가상 객체로서 표현되도록 제1 사용자가 현재 수행 중인 태스크에 대한 정보를 제공한다면, 교육의 목적이 달성되기 어려울 수 있다. 또한, 이와 같은 종래의 방식은, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스들(예: 냉장고, 스마트폰)을 이용하여 현재 수행 중인 태스크(예: 교육)에 이용하는 기능 또는 동작을 전혀 제공하지 못하였다.
본 개시의 앙샹들은 적어도 위에서 언급된 문제 및/또는 단점을 해결하고 적어도 이하에서 설명되는 이점을 제공한다. 따라서, 본 개시의 양상은 제1 태스크(예: 제1 사용자가 현재 수행중인 태스크)의 진행 상태와 제2 태스크(예: 제2 사용자가 현재 수행 중인 태스크)의 진행 상태의 차이에 기반하여 제2 사용자의 글래스 타입 웨어러블 디바이스에 증강현실 가이드를 제공함으로써, 글래스 타입 웨어러블 디바이스를 착용한 제2 사용자의 태스크 진행 상태에 맞는 증강현실 가이드를 제공할 수 있는 글래스 타입 웨어러블 디바이스를 제공한다.
본 개시의 다른 양상은 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스들(예: 냉장고, 스마트폰)을 이용하여 특정한 태스크의 수행에 필요한 객체의 위치에 대한 정보를 제공할 수 있는 글래스 타입 웨어러블 디바이스를 제공한다.
부가적인 양상들은 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는, 설명으로부터 명백할 것이고 또는 제시된 실시예들의 실행에 의해 학습될 수 있다.
본 개시의 양상에 따르면 글래스 타입 웨어러블 디바이스가 제공된다. 글래스 타입 웨어러블 디바이스는 통신 모듈, 적어도 하나의 카메라, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하고, 상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하고, 상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하고, 상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하도록 설정될 수 있다.
본 개시의 다른 양상에 따르면 글래스 타입 웨어러블 디바이스가 제공된다. 글래스 타입 웨어러블 디바이스는, 통신 모듈, 적어도 하나의 카메라, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라를 통해 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 제1 외부 전자 장치로부터 제2 주변 영상을 획득하고, 상기 획득된 제2 주변 영상을 이용하여 상기 제1 외부 전자 장치의 사용자에 의하여 선택된 제1 객체를 식별하고, 상기 식별된 제1 객체와 대응하는 제2 객체가 상기 제1 주변 영상에 포함되어 있는지 여부를 판단하고, 상기 식별된 제1 객체와 대응하는 객체가 상기 제1 주변 영상에 포함되어 있지 않은 경우, 상기 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 제2 외부 전자 장치에 의하여 획득된 제3 주변 영상에 상기 제2 객체가 포함되어 있는지 여부를 판단하고, 상기 판단의 결과에 기반하여, 증강현실 가이드를 상기 글래스 타입 웨어러블 디바이스를 통해 제공하도록 설정될 수 있다.
본 개시의 다른 양상에 따르면, 글래스 타입 웨어러블 디바이스를 제어하는 방법이 제공된다. 글래스 타입 웨어러블 디바이스를 제어하는 방법은, 상기 글래스 타입 웨어러블 디바이스의 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 글래스 타입 웨어러블 디바이스의 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하는 과정과, 상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하는 과정과, 상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하는 과정과, 상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하는 과정을 포함할 수 있다.
본 개시의 일 실시예에 따르면, 제1 태스크(예: 제1 사용자가 현재 수행중인 태스크)의 진행 상태와 제2 태스크(예: 제2 사용자가 현재 수행 중인 태스크)의 진행 상태의 차이에 기반하여 제2 사용자의 글래스 타입 웨어러블 디바이스에 증강현실 가이드를 제공함으로써, 글래스 타입 웨어러블 디바이스를 착용한 제2 사용자의 태스크 진행 상태에 맞는 증강현실 가이드를 제공할 수 있는 글래스 타입 웨어러블 디바이스가 제공될 수 있다.
본 개시의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스들(예: 냉장고, 스마트폰)을 이용하여 특정한 태스크의 수행에 필요한 객체의 위치에 대한 정보를 제공할 수 있는 글래스 타입 웨어러블 디바이스가 제공될 수 있다.
본 개시의 다른 양상들, 이점들 및 두드러진 특징들은 첨부 도면과 함께 취해진 본 개시의 다양한 실시예들을 개시하는 이하의 상세한 설명으로부터 통상의 기술자에게 명백해질 것이다.
본 개시의 특정 실시예들의 상기 및 기타 양상들, 특징들 및 이점들은 첨부 도면과 함께 취해진 이하의 설명으로부터 더욱 명백해질 것이며, 여기에서:
도 1은, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스를 설명하기 위한 예시 도면이다.
도 2는, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스의 구조를 설명하기 위한 예시 도면이다.
도 3a, 도 3b, 및 도 3c는, 본 개시의 다양한 실시예들에 따른 글래스 타입 웨어러블 디바이스의 연결 관계를 설명하기 위한 예시 도면들이다.
도 4는, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스가 제1 태스크 및 제2 태스크의 현재 진행 상태의 차이에 기반하여 제2 태스크에 대응하는 증강현실 가이드를 제공하도록 하기 위하여 통신 모듈을 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5a는, 본 개시의 일 실시예에 따른 제1 사용자의 실제 세계 상에서 제1 사용자의 글래스 타입 웨어러블 디바이스를 통해 제2 사용자의 태스크 진행 상황이 가상 객체로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5b는, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 증강현실 가이드가 동영상으로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5c는, 본 개시의 일 실시예에 따른 증강현실 가이드가 정적인 시각 요소로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 6은, 본 개시의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨에 따라 서로 상이한 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 7a는, 본 개시의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 높은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 7b는, 본 개시의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 낮은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 8은, 본 개시의 일 실시예에 따른 증강현실 가이드의 전송이 서버에 의하여 수행되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 9는, 본 개시의 일 실시예에 따른 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 10은, 본 개시의 일 실시예에 따른 제1 사용자에 의하여 선택된 객체를 제2 사용자의 글래스 타입 웨어러블 디바이스가 식별하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11a는, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스가, 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11b는, 본 개시의 일 실시예에 따른 태스크의 수행에 필요한 객체가 제2 사용자의 글래스 타입 웨어러블 디바이스 및 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기 주변에 존재하지 않을 경우에 표현되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 12는, 본 개시의 일 실시예에 따른 태스크의 수행이 완료된 경우, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스를 통해 태스크의 수행이 완료되었음을 나타내는 메시지를 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 13은, 본 개시의 일 실시예에 따른 도 12에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 14는, 본 개시의 일 실시예에 따른 태스크를 수행하는 과정에서, 특정한 객체에 대한 위치 변화 및 형태 변화에 기반하여 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 15a, 도 15b, 도 15c, 도 15d, 도 15e, 도 16, 및 도 17은, 본 개시의 다양한 실시예들에 따른 도 14에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 18은, 본 개시의 일 실시예에 따른 태스크의 진행 상태를 나타내는 증강현실 가이드를 표현하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 19a 및 도 19b는, 본 개시의 다양한 실시예들에 따른 도 18에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 20은, 본 개시의 일 실시예에 따른 제1 사용자의 음성 피드백을 기반으로 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 표현된 증강현실 가이드를 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 21은, 본 개시의 실시예에 따른 도 20에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 22는, 본 개시의 일 실시예에 따른 제1 사용자의 음성 피드백에 따라 제1 증강현실 알림을 표시하고, 제1 사용자의 확인 응답에 따라 제2 증강현실 알림을 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 23은, 본 개시의 실시예에 따른 도 22에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도면들을 통해 동일한 번호들은 동일한 요소들을 표현하기 위하여 사용된다.
첨부된 도면을 참조한 이하의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시의 내용의 다양한 실시 양상들의 포괄적인 이해를 돕기위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 특정 세부 사항들이 포함되어 있지만, 이는 단지 예시적으로 간주되어야 한다. 따라서, 본 기술분야에서 통상의 지식을 가진 자는 본 개시 내용의 범위 및 사상을 벗어나지 않고 본 개시에 기재된 다양한 실시예들의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 수 있다. 또한, 명료함과 간결함을 위하여 잘 알려진 기능 및 구성에 대한 설명은 생략될 수 있다.
이하의 설명 및 청구범위에서 사용된 용어들 및 단어들은 문헌상의 의미에 국한되지 않으며, 본 개시의 명확하고 일관된 이해를 가능하게 하기 위하여 발명자가 사용한 것이 불과하다, 따라서, 본 개시의 다양한 실시예들에 대한 이하의 설명은 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시를 제한하기 위한 것이 아니라 단지 예시의 목적으로 제공된다는 것이 통상의 기술자에게 명백하다.
단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "컴포넌트 표면"에 대한 참조(reference)는 그러한 표면들 중 하나 이상에 대한 참조를 포함한다.
도 1은, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스를 설명하기 위한 예시 도면이다. 본 개시에서는 글래스 타입 웨어러블 디바이스(100, 310)를 예를 들어 설명하나 이에 한정되는 것은 아니다. 예컨대, 본 개시에서 설명되는 다양한 실시예들은 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head mounted device; HMD) 또는 머리 착용형 디스플레이 장치(head mounted display; HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나에 적용될 수 있다.
도 1을 참조하면, 글래스 타입 웨어러블 디바이스(100, 310)는, 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), 프로세서(120), 전력 관리 접적 회로(PMIC)(130), 배터리(135), 메모리(140), 디스플레이 모듈(150), 오디오 모듈(161), 음성 입력 장치(162), 음성 출력 장치(163), 통신 회로(170), 및 센서(180) 중 적어도 하나를 포함할 수 있다.
본 문서의 일 실시예에 따르면, 제1 카메라(111)를 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및/또는 공간 인식에 이용될 수 있다. 본 개시의 일 실시예에 따르면, 제1 카메라(111)는 GS(global shutter) 카메라를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 제1 카메라(111)는 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 본 개시의 일 실시예에 따르면, 제1 카메라(111)는 6DoF(degree of freedom)를 위한 공간 인식을 수행할 수 있다. 본 개시의 일 실시예에 따른 제1 카메라(111)는, 제1 사용자에게 착용된 경우, 제1 사용자의 시선에 대응하는 실제 세계(real world)를 촬영하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 제2 카메라(112)를 통하여 획득된 이미지는 사용자의 눈동자에 대한 검출 및 추적에 이용될 수 있다. 본 개시의 일 실시예에 따르면, 제2 카메라(112)는 GS 카메라를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 제2 카메라(112)는 각각 좌안 및 우안에 대응될 수 있고, 제2 카메라(112)들의 성능은 서로 동일 또는 유사할 수 있다.
본 개시의 일 실시예에 따르면, 제3 카메라(113)는 제1 카메라(111) 및 제2 카메라(112) 보다 고해상도의 카메라를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 제3 카메라(113)는 자동 포커싱(auto-focusing, AF) 기능과 떨림 보정 기능을 수행할 수 있다. 본 개시의 일 실시예에 따르면, 제3 카메라(113)는 GS 카메라를 포함하거나, RS(rolling shutter) 카메라를 포함할 수 있다. 본 개시의 일 실시예에 따른 제1 카메라(111)는, 제1 사용자에게 착용된 경우, 제1 사용자의 시선에 대응하는 실제 세계를 촬영하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 프로세서(120)는, 글래스 타입 웨어러블 디바이스(100, 310)의 구성요소들, 예를 들어, 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), PMIC(130), 메모리(140), 디스플레이 모듈(150), 오디오 모듈(161), 통신 회로(170), 및 센서(180)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 본 개시의 일 실시예에 따른 프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 글래스 타입 웨어러블 디바이스(100, 310)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 본 개시의 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 회로(170))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 본 개시의 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 글래스 타입 웨어러블 디바이스(100, 310)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
본 개시의 일 실시예에 따른 PMIC(130)는 배터리(135)에 저장된 전력을 글래스 타입 웨어러블 디바이스(100, 310)의 다른 구성요소들이 요구하는 전류 또는 전압을 갖도록 변환하여 글래스 타입 웨어러블 디바이스(100, 310)의 다른 구성요소들에 공급할 수 있다.
본 개시의 일 실시예에 따른 메모리(140)는, 글래스 타입 웨어러블 디바이스(100, 310)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 (180))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 본 개시의 일 실시예에 따른 메모리(140)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
본 개시의 일 실시예에 따른 디스플레이 모듈(150)은 사용자에게 제공할 화면을 표시할 수 있다. 본 개시의 일 실시예에 따른 디스플레이 모듈(150)은, 가상 객체(예: 증강현실 가이드)를 표현하기 위한 데이터(예: red green blue(RGB) 데이터)를 출력할 수 있다. 본 개시의 일 실시예에 따른 디스플레이 모듈(150)은 제1 디스플레이(251), 제2 디스플레이(252), 하나 이상의 입력 광학 부재(253-1, 253-2), 하나 이상의 투명 부재(290-1, 290-2), 및 하나 이상의 화면 표시 부분(254-1, 254-2)을 포함할 수 있다.
본 개시의 일 실시예에 따른 오디오 모듈(161)은 음성 입력 장치(162) 및 음성 출력 장치(163)에 연결되어, 음성 입력 장치(162)를 통하여 입력된 데이터를 변환하고, 음성 출력 장치(163)에 출력할 데이터를 변환할 수 있다. 본 개시의 일 실시예에 따른 음성 입력 장치(162)는 적어도 하나의 마이크를 포함할 수 있으며, 음성 출력 장치(163)는 적어도 하나의 스피커 및 증폭기를 포함할 수 있다. 본 개시의 일 실시예에 따른 통신 회로(170)는 글래스 타입 웨어러블 디바이스(100, 310)와 연결된 외부 전자 장치와의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 본 개시의 일 실시예에 따른 센서(180)는 6축 센서(181), 자기 센서(182), 근접 센서(183), 및/또는 광 센서(184)를 포함할 수 있다.
도 2는, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)의 구조를 설명하기 위한 예시 도면이다.
도 2를 참조하면, 글래스 타입 웨어러블 디바이스(100, 310)는 하나 이상의 발광 소자(214-1, 214-2)를 포함할 수 있다. 본 개시의 일 실시예에 따른 발광 소자(214-1, 214-2)는 디스플레이의 화면 출력 영역으로 빛을 조사하는, 후술할 광원과는 상이할 수 있다. 본 개시의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제2 카메라(212-1, 212-2)를 통하여 사용자의 눈동자를 검출하고 추적하는 경우에 있어서, 눈동자 검출을 용이하게 하기 위한 빛을 조사할 수 있다. 본 개시의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 각각 light emitting diode(LED)를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 적외선 영역의 빛을 조사할 수 있다. 본 개시의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 글래스 타입 웨어러블 디바이스(100, 310)의 프레임 주변에 부착될 수 있다. 본 개시의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제1 카메라(211-1, 211-2) 주변에 위치하고, 글래스 타입 웨어러블 디바이스(100, 310)가 어두운 환경에서 사용될 때 하나 이상의 제1 카메라(211-1, 211-2)에 의한 제스처 검출, 머리 추적, 및 공간 인식을 보조할 수 있다. 본 개시의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제3 카메라(213) 주변에 위치하고, 글래스 타입 웨어러블 디바이스(100, 310)가 어두운 환경에서 사용될 때 하나 이상의 제3 카메라(213)에 의한 이미지 획득을 보조할 수 있다.
본 개시의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 배터리(235-1, 235-2)를 포함할 수 있다. 배터리(235-1, 235-2)는 글래스 타입 웨어러블 디바이스(100, 310)의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다.
본 개시의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 제1 디스플레이(251), 제2 디스플레이(252), 하나 이상의 입력 광학 부재(253-1, 253-2), 하나 이상의 투명 부재(290-1, 290-2), 및 하나 이상의 화면 표시 부분(254-1, 254-2)을 포함할 수 있다. 본 개시의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)는 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 글래스 타입 웨어러블 디바이스(100, 310)는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 본 개시의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)가 자체적으로 빛을 발생시킬 수 있는 경우(예컨대, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우), 글래스 타입 웨어러블 디바이스(100, 310)는 별도의 광원을 포함하지 않더라도 사용자에게 상대적으로 양호한 품질의 가상 영상을 제공할 수 있다.
본 개시의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2)는 사용자가 글래스 타입 웨어러블 디바이스(100, 310)를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 본 개시의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 사용자는 글래스 타입 웨어러블 디바이스(100, 310)를 착용하였을 때 하나 이상의 투명 부재(290-1, 290-2)를 통하여 외부 세계를 볼 수 있다. 본 개시의 일 실시예에 따르면, 하나 이상의 입력 광학 부재(253-1, 253-2)는 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 본 개시의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2) 위의 하나 이상의 화면 표시 부분(254-1, 254-2) 위에 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분(254-1, 254-2) 위에 맺힌 상을 볼 수 있다.
본 개시의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 하나 이상의 광도파로(미도시)를 포함할 수 있다. 본 개시의 일 실시예에 따른 광도파로는 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 전달할 수 있다. 글래스 타입 웨어러블 디바이스(100, 310)는 좌안 및 우안에 대응하여 각각 하나씩의 광도파로를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 광도파로는 글래스, 플라스틱 또는 폴리머 중 적어도 하나를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 광도파로는 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 광도파로는 free-form형 프리즘을 포함할 수 있고, 이 경우, 광도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다. 본 개시의 일 실시예에 따르면, 광도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함하고, 광도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 본 개시의 일 실시예에 따르면, 회절 요소는 입력/출력 광학 부재를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 반사 요소는 전반사를 일으키는 부재를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 하나 이상의 음성 입력 장치(262-1, 262-2, 262-3) 및 하나 이상의 음성 출력 장치(263-1, 263-2)를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 제1 PCB(270-1) 및 제2 PCB(270-2)를 포함할 수 있다. 제1 PCB(270-1) 및 제2 PCB(270-2)는 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), 디스플레이 모듈(150), 오디오 모듈(161), 및 센서(180)와 같은, 글래스 타입 웨어러블 디바이스(100, 310)에 포함되는 구성 요소에 전기 신호를 전달하도록 설정될 수 있다. 본 개시의 일 실시예에 따르면, 제1 PCB(270-1) 및 제2 PCB(270-2)는 FPCB(flexible printed circuit board)를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 제1 PCB(270-1) 및 제2 PCB(270-2)는 각각 제1 기판, 제2 기판, 및 제1 기판과 상기 제2 기판 사이에 배치된 인터포저를 포함할 수 있다.
도 3a 내지 도 3c는, 본 개시의 다양한 실시예들에 따른 글래스 타입 웨어러블 디바이스의 연결 관계를 설명하기 위한 예시 도면들이다.
도 3a를 참조하면, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 네트워크(300)를 통해 직접 연결될 수 있다. 본 개시의 일 실시예에 따른 네트워크(300)는, 제1 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(예: 레거시 셀룰러 네트워크, 5세대(5G) 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 포함할 수 있다.
또는, 도 3b를 참조하면, 본 개시의 일 실시예에 따른 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 서버(320)를 통해 연결될 수도 있다. 본 개시의 일 실시예에 따른 서버(320)는 기계 학습 및/또는 신경망을 이용한 지능형 서버를 포함할 수 있다.
도 3c를 참조하면, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 및/또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 주변 디바이스(예: IoT 디바이스)와 동작 가능하도록 연결될 수 있다. 본 개시의 일 실시예에 따른 주변 디바이스는, 예를 들면, 냉장고(312), 스마트 폰(314), closed-circuit television(CCTV)(316) 및/또는 로봇 청소기(318)를 포함할 수 있다.
도 4는, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스가 제1 태스크 및 제2 태스크의 현재 진행 상태의 차이에 기반하여 제2 태스크에 대응하는 증강현실 가이드를 제공하도록 하기 위하여 통신 모듈을 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5a는, 본 개시의 일 실시예에 따른 제1 사용자의 실제 세계 상에서 제1 사용자의 글래스 타입 웨어러블 디바이스(100)를 통해 제2 사용자의 태스크 진행 상황이 가상 객체(510)로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5b는, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 증강현실 가이드(520)가 동영상으로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5c는, 본 개시의 일 실시예에 따른 증강현실 가이드(520)가 정적인 시각 요소로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다. 본 개시에서, "제1 사용자"는 제2 사용자에게 교육을 수행하는 교육자를 의미하도록 사용되는 경우가 있을 수 있으며, "제2 사용자"는 제1 사용자에게 교육을 수강하는 교육생을 의미하도록 사용되는 경우가 있을 수 있다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 제1 사용자의 글래스 타입 웨어러블 디바이스)는, 동작 410에서, 적어도 하나의 센서(예: 제1 카메라(111) 또는 제3 카메라(113))를 이용하여 글래스 타입 웨어러블 디바이스(100)의 제1 주변 영상을 획득하고 있는 동안에, 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로부터 통신 모듈(예: 통신 회로(170))을 통해, 외부 전자 장치에 의해 획득된 외부 전자 장치의 제2 주변 영상을 수신할 수 있다.
도 5a를 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 제2 주변 영상을 획득한 경우, 획득된 제2 주변 영상을 가상 객체(510)로서 표현할 수 있다. 이를 위하여 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 제2 주변 영상을 가상 객체(510)로서 표현하기 위하여 제2 주변 영상에 대한 데이터를 출력하도록 디스플레이 모듈(150)을 제어할 수 있다. 도 5a에서는, 오퍼레이션(operation)으로서 "요리"를 수행하는 과정을 예시적으로 도시하고 있다. 또한, 도 5a에서는, 오퍼레이션을 구성하는 태스크로서, 제1 사용자는 제1 사용자가 썬 감자를 볶고 있는 태스크를 수행하는 과정을 예시적으로 도시하고 있으며, 제2 사용자는 감자를 썰고 있는 태스크를 수행하는 과정을 예시적으로 도시하고 있다. 도 5a에서는, 설명의 편의상, 가상 객체(510)가 2차원 평면 상에서 표현되는 것으로 도시되었으나, 이는 예시적인 것으로서 가상 객체(510)는 3차원 객체로서 표현될 수도 있다. 또한, 가상 객체(510) 및 증강현실 가이드(520)는 시야의 정면 또는 측면에 배치될 수도 있다.
본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 제1 사용자의 글래스 타입 웨어러블 디바이스)는, 동작 420에서, 제1 주변 영상을 이용하여 글래스 타입 웨어러블 디바이스(100)의 사용자가 수행 중인 제1 태스크를 식별하고, 제2 주변 영상을 이용하여 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))의 사용자가 수행 중인 제2 태스크를 식별할 수 있다. 본 개시의 일 실시예에 따르면, 제1 주변 영상 및/또는 제2 주변 영상은 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외부 전자 장치에 의하여 촬영되어 글래스 타입 웨어러블 디바이스(100)로 전송된 영상일 수도 있다. 본 개시의 다른 실시예에 따르면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로부터 제2 주변 영상을 수신하는 것이 아니라, 제2 사용자의 현재 진행 상태에 대한 정보(예: "제2 사용자는 현재 태스크 4를 수행 중")를 수신하도록 설정될 수도 있다. 본 개시의 또 다른 실시예에 따르면, 동작 420은, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외부 전자 장치에 의해서 수행될 수도 있다(예: 테더드(tethered) 방식을 통해). 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장된 참조 영상(reference image)과 제1 주변 영상 및 제2 주변 영상 각각을 비교함으로써 현재 각각의 사용자가 수행 중인 태스크가 어떠한 태스크인지 여부를 식별할 수 있다. 예를 들어, 감자를 썰고 있는 참조 영상과 제2 주변 영상이 서로 대응되는 경우(예: 영상에서의 움직임 분석 결과가 정량적으로 오차 범위 내에 포함되는 경우), 글래스 타입 웨어러블 디바이스(100)는 제2 사용자가 현재 감자를 썰고 있다고 판단할 수 있다. 이와 같은 태스크를 식별하는 기능 또는 동작은 인공지능 모델에 의하여 학습될 수도 있다. 이와 같은 학습은, 예를 들어, 글래스 타입 웨어러블 디바이스(100) 자체에서 수행될 수도 있고 별도의 서버(예: 서버(310))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 본 개시의 일 실시예에 따른 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. 본 개시의 일 실시예에 따른 참조 영상은 하나의 오퍼레이션을 구성하는 적어도 하나의 태스크 별로 구분되어 각각 저장되어 있을 수 있다. 또한, 본 개시의 일 실시예에 따른 제1 사용자의 오퍼레이션도 적어도 하나의 태스크 별로 구분되어 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장될 수 있다. 예를 들어, "제1 사용자가 냄비에 물을 부은 후(태스크 1), 인덕션 쿡 탑 위에 올리고(태스크 2), 감자를 씻은 후(태스크 3), 씻은 감자를 썰고(태스크 4), 썬 감자를 볶는(태스크 5)" 하나의 오퍼레이션을 수행한 경우, 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에는 하나의 오퍼레이션이 각각의 태스크 별로 구분되어, 각각의 태스크에 대한 정보(예: 획득된 영상)가 경과된 시간 순서에 따라 저장될 수 있다. 예를 들면, 사용자가 감자를 씻는 영상이 식별된 경우(예: 태스크 3이 식별된 경우), 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에는 태스크 1 및 태스크 2에 대한 영상이 시간 정보와 함께 저장되어 있을 수 있다. 본 개시의 일 실시예에 따르면, 어떠한 방식으로 태스크를 구분할지 여부에 대한 기준은 미리 결정되어 있을 수 있다. 예를 들면, 오퍼레이션이 "요리"인 경우, 제1 사용자가 냄비에 물을 부은 후, 인덕션 쿡 탑 위에 올리는 태스크를 하나의 태스크로 지정하여 저장하도록 미리 지정되어 있을 수도 있다. 이와 같은 태스크를 구분하는 기능 또는 동작은 인공지능 모델에 의하여 학습될 수도 있다. 이와 같은 학습은, 예를 들어, 글래스 타입 웨어러블 디바이스(100) 자체에서 수행될 수도 있고 별도의 서버(예: 서버(320))를 통해 수행될 수도 있다. 본 개시의 일 실시예에 따르면, 제1 사용자의 오퍼레이션이 적어도 하나의 태스크 별로 구분되어 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장되는 기능 또는 동작은, 동작 420 이후에 또는 동시에 수행될 수 있다. 본 개시의 일 실시예에 따르면, 동작 420은, 미리 지정된 시간 주기에 따라, 또는 사용자의 요청에 따라 수행될 수 있다.
본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 430에서, 제1 태스크의 현재 진행 상태와 제2 태스크의 현재 진행 상태의 차이를 식별할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 예를 들어, 사용자 1이 현재 썬 감자를 볶고 있고(예: 태스크 5를 수행 중이라고 판단된 경우), 사용자 2가 감자를 썰고 있다고 판단된 경우(예: 태스크 4를 수행 중이라고 판단된 경우), 각각의 사용자의 태스크 차이는 1이라고 판단할 수 있다. 다른 말로, 사용자 1이 사용자 2보다 더 빠르게 태스크를 수행 중이라고 판단할 수 있다. 본 개시의 일 실시예에 따르면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 사용자 1의 태스크의 수행 상태와 사용자의 2의 태스크의 수행 상태의 차이가 없는 경우(예: 서로 동일하게 감자를 썰고 있다고 판단된 경우)에는, 차이가 없다고 판단할 수도 있다.
본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 440에서, 제1 태스크의 현재 진행 상태와 제2 태스크의 현재 진행 상태의 차이에 기반하여, 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로 제2 태스크에 대응하는 증강현실 가이드(520)가 제공되도록 하게 하기 위해 통신 모듈(예: 통신 회로(170))를 제어할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장된 태스크 4(예: 현재 사용자 2가 수행 중인 태스크)에 대한 가이드 영상이 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로 제공되도록 통신 모듈(예: 통신 회로(170))를 제어할 수 있다. 본 개시의 일 실시예에 따른 가이드 영상은, 카메라(예: 제1 카메라(111) 및/또는 제3 카메라(113))에 의해 촬영된 제1 사용자의 태스크 4 수행 영상 또는 태스크 4에 대한 파일럿(pilot) 영상(예: 시범 영상)을 포함할 수 있다.
도 5b를 참조하면, 본 개시의 일 실시예에 따른 증강현실 가이드(520)는, 외부 전자 장치를 통해 가상 객체로서 표현될 수 있다. 본 개시의 일 실시예에 따른 증강현실 가이드(520)는, 특정한 태스크와 관련된 제1 안내 메시지(522)를 포함하고, 제1 안내 메시지(522)는, 제1 사용자가 특정한 태스크의 수행 중에 발화하였던 음성에 대응하는 메시지, 또는 파일럿 영상에 포함된 텍스트 메시지를 포함할 수 있다. 본 개시의 일 실시예에 따른 영상은, 동영상을 포함할 수 있다.
도 5c를 참조하면, 본 개시의 일 실시예에 따른 증강현실 가이드(520)는, 동영상이 아닌 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)로서 표현될 수도 있다. 예를 들면, 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))는, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로부터 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 표현하기 위한 커맨드를 수신할 수 있다. 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))는, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로부터 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 표현하기 위한 커맨드를 수신한 경우, 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 가상 객체로서 표현할 수 있다. 예를 들어, 외부 전자 장치가 시금치에 대한 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 표현하기 위한 커맨드를 수신한 경우, 외부 전자 장치는 획득된 주변 영상에서 시금치를 식별한 후, 시금치 주변에 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 가상 객체로서 표현할 수 있다. 본 개시의 일 실시예에 따른 정적인 시각 요소(530)를 제공하는 기능 또는 동작은, 예를 들면, 특정한 객체를 다른 객체와 구분이 가능할 수 있도록 특정한 객체 주변에 특정한 색상 및 형상을 가지는 시각적 요소(visual element)를 증강 현실 방식으로 제공하는 기능 또는 동작을 의미할 수 있다. 본 개시의 일 실시예에 따르면, 외부 전자 장치는 외부 전자 장치의 메모리에 저장된 참조 영상에 기반하여 특정한 객체(예: 시금치)를 주변 영상에서 구분할 수 있다. 또는, 본 개시의 일 실시예에 따르면, 이와 같은 특정한 객체를 구분하는 기능 또는 동작은 학습 알고리즘 또는 인공지능 모델에 의하여 수행될 수도 있다. 커맨드를 외부 전자 장치로 전송하기 위하여 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)에는, 특정한 태스크에 대한 영상과 함께, 영상에 대한 디스크립션(description)(예: "감자를 썬 후, 시금치를 써는 영상")이 함께 저장되어 있을 수 있다. 본 개시의 일 실시예에 따른 디스크립션은 영상에 포함된 음성 데이터(예: 사용자의 발화), 이미지 데이터(예: 시금치를 써는 사용자의 영상)를 기반으로 프로세서(120)에 의해 자동으로 생성될 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(예: 프로세서(120))는, 영상에 대한 디스크립션을 기반으로 커맨드를 생성하여 외부 전자 장치로 전송할 수 있다.
도 6은, 본 개시의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨에 따라 서로 상이한 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 7a는, 본 개시의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 높은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 7b는, 본 개시의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 낮은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 6을 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 610에서, 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로부터, 외부 전자 장치에 대응하는 태스크 수행 레벨(예: 제2 사용자의 태스크 수행 레벨)에 대한 정보를 획득할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 예를 들면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, "초급", "중급", "고급"의 3단계로 구성되는 레벨 중 어느 하나의 선택된 레벨에 대한 정보를 외부 전자 장치로부터 전송 받을 수 있다.
본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 620에서, 획득된 태스크 수행 레벨에 대한 정보에 따라 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로 증강현실 가이드(520)가 제공될 수 있도록 통신 모듈(예: 통신 회로(170))를 제어할 수 있다.
도 7a를 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 증강현실 가이드(520)로서 제2 사용자의 현재 태스크에 대응하는 파일럿 영상을 제공할 수 있다. 도 7a에서는, 제2 사용자의 태스크 수행 레벨이 "고급"인 경우가 예시적으로 도시된다. 이 경우에는, 파일럿 영상으로서 글래스 타입 웨어러블 디바이스(예: 메모리(140)) 또는 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외장 메모리(미도시)에 저장된, 제2 사용자의 현재 태스크에 대응하는 파일럿 영상들 중에서 "고급" 레벨에 대응하는 파일럿 영상이 증강현실 가이드(520)로서 제공될 수 있다. 본 개시의 일 실시예에 따르면, 고급 레벨의 파일럿 영상은 "고급" 레벨에 맞는, 특정한 태스크와 관련된 제1 안내 메시지(522)를 포함할 수 있다.
도 7b를 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 증강현실 가이드(520)로서 제2 사용자의 현재 태스크에 대응하는 파일럿 영상을 제공할 수 있다. 도 7b에서는, 제2 사용자의 태스크 수행 레벨이 "초급"인 경우가 예시적으로 도시된다. 이 경우에는, 파일럿 영상으로서 글래스 타입 웨어러블 디바이스(예: 메모리(140)) 또는 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외장 메모리(미도시)에 저장된, 제2 사용자의 현재 태스크에 대응하는 파일럿 영상들 중에서 "초급" 레벨에 대응하는 파일럿 영상이 증강현실 가이드(520)로서 제공될 수 있다. 본 개시의 일 실시예에 따르면, 초급 레벨의 파일럿 영상은 "초급" 레벨에 맞는, 특정한 태스크와 관련된 제1 안내 메시지(522)를 포함할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 태스크의 난이도(예: 위험성)에 따라 현재 태스크를 수행하지 않고 다음 태스크에 대응하는 파일럿 영상이 증강현실 가이드(520)로서 제공되도록 하는 안내 메시지가 증강현실 방식으로서 제공되도록 디스플레이 모듈(150)을 제어할 수 있다. 이를 위하여, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100) 또는 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 적어도 하나의 외부 전자 장치는 현재 제공되는 증강현실 가이드(520)의 난이도를 판단하는 기능 또는 동작을 수행할 수 있다.
도 8은, 본 개시의 일 실시예에 따른 증강현실 가이드의 전송이 서버에 의하여 수행되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 8을 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 810에서, 제1 주변 영상을 획득할 수 있다. 본 개시의 일 실시예에 따른 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))는, 동작 820에서, 서버(320)로, 제2 주변영상을 전송할 수 있다. 본 개시의 일 실시예에 따른 서버(320)는, 동작 830에서, 글래스 타입 웨어러블 디바이스(100)로, 제2 주변영상을 전송할 수 있다. 본 개시의 다른 실시예에 따르면, 동작 830은 생략될 수도 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 840에서, 제1 주변영상 및 제2 주변영상을 서버(320)로 전송할 수 있다. 다만, 본 개시의 다른 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)가 제2 주변영상을 서버(320)로 전송하는 동작은 생략될 수도 있다. 본 개시의 일 실시예에 따른 서버(320)는, 동작 850에서, 태스크를 식별할 수 있다. 본 개시의 일 실시예에 따른 서버(310)는, 서버(310)(예: 메모리(140))에 저장된 참조 영상(reference image)과 제1 주변 영상 및 제2 주변 영상 각각을 비교함으로써 현재 각각의 사용자가 수행 중인 태스크가 어떠한 태스크인지 여부를 식별할 수 있다. 예를 들어, 감자를 썰고 있는 참조 영상과 제2 주변 영상이 서로 대응되는 경우(예: 영상에서의 움직임 분석 결과가 정량적으로 오차 범위 내에 포함되는 경우), 서버(310)는 제2 사용자가 현재 감자를 썰고 있다고 판단할 수 있다. 본 개시의 일 실시예에 따른 서버(320)는, 동작 860에서, 진행상태의 차이를 식별할 수 있다. 본 개시의 일 실시예에 따른 서버(320)는, 예를 들어, 사용자 1이 현재 썬 감자를 볶고 있고(예: 태스크 5를 수행 중이라고 판단된 경우), 사용자 2가 감자를 썰고 있다고 판단된 경우(예: 태스크 4를 수행 중이라고 판단된 경우), 각각의 사용자의 태스크 차이는 1이라고 판단할 수 있다. 본 개시의 일 실시예에 따른 서버(320)는, 동작 870에서, 식별의 결과를 글래스 타입 웨어러블 디바이스(100)로 전송할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 880에서, 서버(320)로 증강현실 가이드의 전송을 요청할 수 있다. 본 개시의 일 실시예에 따른 서버(320)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 증강현실 가이드를 전송할 수 있다. 다만, 본 개시의 다른 실시예에 따르면, 동작 870 및 880은 생략될 수 있으며, 동작 860 이후, 동작 890이 바로 수행될 수도 있다. 본 개시의 일 실시예에 따르면, 증강현실 가이드(520)는 서버(320)에 저장되어 있을 수 있다. 이를 위하여, 본 개시의 일 실시예에 따른 서버(320)는, 글래스 타입 웨어러블 디바이스(100)로부터, 글래스 타입 웨어러블 디바이스(100)에 의해 획득된 영상에 대한 정보를 실시간으로 또는 특정한 시점에 수신할 수 있다.
도 9는, 본 개시의 일 실시예에 따른 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 10은, 본 개시의 일 실시예에 따른 제1 사용자에 의하여 선택된 객체를 제2 사용자의 글래스 타입 웨어러블 디바이스가 식별하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11a는, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스가, 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11b는, 본 개시의 일 실시예에 따른 태스크의 수행에 필요한 객체가 제2 사용자의 글래스 타입 웨어러블 디바이스 및 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기 주변에 존재하지 않을 경우에 표현되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 9를 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 910에서, 적어도 하나의 센서를 통해 주변 영상을 획득하고 있는 동안에, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작이 가능하도록 연결된 제1 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 제2 주변 영상을 획득할 수 있다.
도 10을 참조하면, 제1 사용자는 도 1에 도시된 바와 같이 식칼을 선택하였을 수 있으며, 이와 같은 영상이 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 획득되어 전송될 수 있다. 본 개시의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송된 제1 주변 영상은 가상 객체로서 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 표현될 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 920에서, 획득된 제2 주변 영상을 이용하여 제1 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))의 사용자에 의하여 선택된 제1 객체를 식별할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 사용자의 손을 식별하고, 사용자의 손이 어느 물체와 접촉하였는지 및 접촉한 물체에 움직임이 있는지 여부를 기준으로 특정한 객체가 선택되었는지 여부를 식별할 수 있다. 또한, 본 개시의 일 실시예에 따르면, 특정한 객체는 학습 알고리즘/인공지능 모델에 의한 방식, 또는 특정한 객체로부터 특징점을 추출하고 미리 저장된 참조 영상과의 비교를 통한 방식을 이용하여 특정한 객체가 어떠한 객체인지 여부가 식별될 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 930에서, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있는지 여부를 판단할 수 있다. 본 개시의 일 실시예에 따른 제2 객체는 제1 객체와 실질적으로 동일한 유형의 객체(예: 식칼)을 의미할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 다양한 이미지 분석 기법을 이용하여 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있는지 여부를 판단할 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 940에서, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있지 않은 경우, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치에 의하여 획득된 제3 주변 영상에 제2 객체가 포함되어 있는지 여부를 판단할 수 있다. 본 개시의 다른 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치로부터 전송된 객체 위치 정보에 기반하여, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제2 객체가 제2 외부 전자 장치의 내부에 또는 제2 외부 전자 장치 주변에 위치하는지 여부를 식별할 수 있다. 예를 들어, 제2 외부 전자 장치가 냉장고(312)인 경우, 냉장고(312)는 냉장고(312)에 저장된 음식물 정보를 알고 있을 수 있으며, 제1 사용자에 의하여 선택된 객체가 시금치인 경우, 제3 주변 영상을 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송하는 것이 아니라, 시금치가 냉장고(312)에 존재하는지 여부에 대한 정보(예: 객체 위치 정보)를 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송할 수 있다. 이에 따라, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자에 의하여 선택된 객체가 냉장고(312)에 존재하는지 여부를 확인할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있지 않은 경우, 제2 객체의 위치를 확인하기 위하여, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치(예: 냉장고(312))에 대해서, 식별된 제1 객체와 대응하는 제2 객체의 위치 정보의 전송을 요청할 수 있다. 또한, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있지 않은 경우, 제2 객체의 위치를 확인하기 위하여, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치(예: 냉장고(312), 스마트 폰(314))에 대해서, 제2 외부 전자 장치에 의해 획득된 영상(예: 제3 주변 영상)의 제공을 요청할 수 있다. 예를 들어, 제2 외부 전자 장치가 냉장고(312)인 경우, 냉장고(312)의 내부를 촬영한 영상(예: 냉장고의 내부에 위치한 카메라에 의해 획득된 영상)과 외부를 촬영한 영상(예: 냉장고의 외부에 위치한 카메라에 의해 획득된 영상) 중 적어도 하나의 영상이 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송될 수 있다. 예를 들어, 제2 외부 전자 장치가 스마트 폰(314)인 경우, 스마트 폰(314)의 전면 카메라와 후면 카메라에 의하여 획득된 영상 중 적어도 하나의 영상이 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송될 수 있다. 본 개시의 일 실시예에 따르면, 제2 외부 전자 장치가 영상을 촬영하고 있는지 여부를 확인하는 확인 요청 메시지를 제2 외부 전자 장치에 의해 획득된 영상(예: 제3 주변 영상)의 제공을 요청하기 전에 전송할 수도 있다. 이 경우, 제2 외부 전자 장치가 영상을 촬영하고 있지 않다는 메시지가 수신되면 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제2 사용자의 선택에 따라 또는 자동적으로, 영상의 촬영을 요청하는 메시지를 제2 외부 전자 장치로 전송할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제1 사용자에 의하여 선택된 객체의 타입에 따라 영상의 제공을 요청할 제2 외부 전자 장치를 순차적으로 선택할 수 있다. 다른 말로, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 검색 대상인 객체의 종류에 따라 검색 장치를 우선적으로 선택할 수 있다. 예를 들어, 제1 사용자에 의하여 선택된 객체(예: 검색 대상인 객체)가 식칼인 경우, 식칼은 주방에 위치하는 경우가 많기 때문에, 주방에 위치한 냉장고(312)(예: 검색 장치)에 대해서 우선적으로 영상 제공 요청을 전송할 수 있다. 또는, 제1 사용자에 의하여 선택된 객체가 시금치인 경우, 시금치는 음식으로서 냉장고(312)에 위치하는 경우가 많기 때문에, 주방에 위치한 냉장고(312)(예: 검색 장치)에 대해서 우선적으로 영상 제공 요청을 전송할 수 있다. 본 개시의 일 실시예에 따르면, 제2 외부 전자 장치의 위치에 대한 정보는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)가 미리 알고 있거나, 제2 외부 전자 장치에 대한 위치 제공 요청 메시지의 전송 및 이에 대한 응답을 통해 알고 있을 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 냉장고(312)로부터 전송된 영상에 특정한 객체(예: 식칼)가 없는 경우, 다른 제2 외부 전자 장치로 영상 전송 요청을 전송할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제2 외부 전자 장치가 특정한 객체의 존재 여부를 판단하도록 요청하는 요청 메시지를 전송할 수도 있다. 이 경우, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 특정한 객체에 대한 정보를 제2 외부 전자 장치(예: 스마트 폰(314))로 전송할 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 950에서, 동작 940의 판단의 결과에 기반하여, 증강현실 가이드를 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제공할 수 있다. 본 개시의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제2 외부 전자 장치로부터 획득한 영상의 분석 결과 특정한 객체가 영상에 존재하는 경우, 제1 사용자가 선택한 객체에 대한 위치 정보를 나타내는 증강현실 가이드(520)를 가상 객체로서 표현할 수 있다.
도 11a를 참조하면, 스마트 폰(314)에 의하여 획득된 영상에 식칼이 포함되어 있는 경우, 스마트 폰(314)에 의하여 획득된 영상과 함께, 안내 메시지(예: "칼이 식탁 위에 있습니다")를 포함하는 증강현실 가이드(520)를 제공할 수 있다.
그러나, 도 11b를 참조하면, 본 개시의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제2 외부 전자 장치로부터 획득한 영상의 분석 결과 특정한 객체가 영상에 존재하지 않는 경우, 특정한 객체가 존재하지 않는다는 안내 메시지를 포함하는 증강현실 가이드(520)를 제공할 수 있다. 이 경우, 사용자에 의한 가상의 터치 또는 글래스 타입 웨어러블 디바이스(310)에 의해 제공되는 터치패드에 의한 터치를 통해 선택될 수 있는 선택 메뉴가 함께 제공될 수 있다.
도 12는, 본 개시의 일 실시예에 따른 태스크의 수행이 완료된 경우, 글래스 타입 웨어러블 디바이스(100, 310)와 동작 가능하도록 연결된 다른 디바이스(예: 스마트 폰(314)를 통해 태스크의 수행이 완료되었음을 나타내는 메시지를 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 13은, 본 개시의 일 실시예에 따른 도 12에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 12를 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1210에서, 적어도 하나의 센서(예: 제1 카메라(111), 제3 카메라(113))를 이용하여 획득된 주변 영상을 이용하여 태스크의 완료를 식별할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)(예: 프로세서(120)는, 글래스 타입 웨어러블 디바이스(100, 310)(예: 메모리(140))에 저장된 참조 영상과 주변 영상을 비교함으로써 현재 각각의 사용자가 수행 중인 태스크가 완료되었는지 여부를 식별할 수 있다. 예를 들어, 감자를 썰고 있는 참조 영상과 주변 영상의 대응(예: 영상에서의 움직임 분석 결과가 정량적으로 오차 범위 내에 포함되는 경우)이 완료된 후 지정된 시간이 경과한 경우, 지정된 시간이 경과하기 전에 감자를 써는 태스크가 완료되었다고 판단할 수 있다. 이와 같은 태스크의 완료를 식별하는 기능 또는 동작은 인공지능 모델에 의하여 학습될 수도 있다. 이와 같은 학습은, 예를 들어, 글래스 타입 웨어러블 디바이스(100) 자체에서 수행될 수도 있고 별도의 서버(예: 서버(310))를 통해 수행될 수도 있다.
본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1220에서, 식별된 태스크의 완료에 기반하여, 글래스 타입 웨어러블 디바이스(100)와 동작 가능하도록 연결된 외부 전자 장치(예: 스마트 폰(314))로 진행 과정에 대한 정보를 전송할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)(예: 메모리(140))에는, 특정한 오퍼레이션에 대한 전체 과정(예: 복수의 태스크들)이 저장되어 있을 수 있다. 또는, 다른 전자 장치로부터 전체 과정에 대한 정보를 제공받을 수도 있다.
도 13을 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)은, 감자를 써는 태스크가 전체 오퍼레이션의 40%에 해당된다면(예: 감자를 써는 태스크가 5개의 태스크들로 구성된 태스크들 중 2번째 태스크), 이에 대한 정보를 글래스 타입 웨어러블 디바이스(100)와 동작 가능하도록 연결된 외부 전자 장치(예: 스마트 폰(314))로 전송할 수 있다. 본 개시의 일 실시예에 따른 외부 전자 장치(예: 스마트 폰(314))은, 수신된 정보에 기반하여 현재 진행 과정에 대한 정보(예: "전체 과정 중 40% 완료 되었습니다")를 디스플레이 할 수 있다. 본 개시의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 연결된 제2 외부 전자 장치(예: 냉장고(312))의 내부 카메라에 의하여 촬영된 영상을 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로 전송하여 대체재를 추천 받을 수도 있다. 또한, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 연결된 제2 외부 전자 장치(예: 스마트 폰(314) 또는 스마트 워치)으로 지정된 영상 또는 정보(예: 조리에 필요한 시간)를 전송하도록 설정될 수도 있다. 이를 위하여, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 연결된 제2 외부 전자 장치(예: 스마트 폰(314) 또는 스마트 워치)와 동작 가능하도록 연결되어 있을 수 있다.
도 14는, 본 개시의 일 실시예에 따른 태스크를 수행하는 과정에서, 특정한 객체에 대한 위치 변화 및 형태 변화에 기반하여 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 15a 내지 도 17은, 본 개시의 다양한 실시예들에 따른 도 14에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 14를 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 1410에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 위치의 변화가 검출된 객체와 대응하는 객체에 대한 시각적 강조 효과를 제공할 수 있다.
도 15a 및 도 15b를 참조하면, 제1 사용자가 특정한 객체(예: 가위(1510))를 들고 꽃을 자르는 태스크를 수행하는 도면이 예시적으로 도시된다. 이 경우, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)를 통해, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)에 의해 촬영된 영상이 증강현실 가이드(520)로 제공될 수 있다.
도 15c 및 도 15d를 참조하면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제1 사용자의 글래스 타입 웨어러블 디바이스(100)에 의해 촬영된 영상이 증강현실 가이드(520)로 제공될 수 있다. 또한, 본 개시의 일 실시예에 따르면, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)에 의해 촬영된 영상이 증강현실 가이드(520)로서 제공되는 중에, 제2 시각 요소(1530)이 제2 사용자의 글래스 타입 웨어러블 디바이스(1530)를 통해 제공될 수 있다. 본 개시의 일 실시예에 따른 제2 시각 요소(1530)는 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 위치의 변화가 검출된 객체와 대응하는 객체 주변에 제공될 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 1420에서, 시각적 강조 효과를 제공하는 동안에, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 특정한 객체에 대한 형태 변화가 검출된 경우, 형태가 변화된 특정한 객체에 대한 가상 영상을 제공할 수 있다.
도 15e를 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 형태의 변화가 발생된 객체(예: 꽃)를 식별할 수 있다. 이 경우, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 형태가 변화된 특정한 객체에 대한 제2 가상 영상(1540)을 제공할 수 있다. 본 개시의 일 실시예에 따른 제2 가상 영상(1540)은, 형태의 변화가 반영된 가상 영상을 포함할 수 있다.
도 16을 참조하면, 본 개시의 일 실시예에 따른 제1 사용자가 제1 객체(1610)(예: 브로콜리)를 선택하면, 가상 객체로서 제1 객체(1610)에 대응하는 제3 객체(1620a)가 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제공될 수 있다. 본 개시의 제2 객체(1620)는 제1 객체(1610)와 실질적으로 동일한 객체일 수 있다. 본 개시의 일 실시예에 따라 제1 사용자가 제1 객체(1610)에 대해 형태의 변형을 가하게 되면, 제3 객체(1620a)의 형태에도 동일하게 변형이 적용되어 제공될 수 있다.
도 17에서는, 본 개시의 실시예에 따른 제1 사용자가 제2 사용자에게 뜨개질을 가르쳐주는 실시예가 예시적으로 도시된다.
도 17을 참조하면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해, 움직임이 발생된 제4 객체에 대해서 제3 시각 요소(1710)가 제공될 수 있다. 또한, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)에 의하여 획득된 영상이 증강현실 가이드(520)로서 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제공될 수 있다.
도 18은, 본 개시의 일 실시예에 따른 태스크의 진행 상태를 나타내는 증강현실 가이드를 표현하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 19a 및 도 19b는, 본 개시의 다양한 실시예들에 따른 도 18에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 18을 참조하면, 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1810에서, 적어도 하나의 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로부터, 적어도 하나의 외부 전자 장치에 의해 획득된 주변 영상을 수신할 수 있다.
본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1820에서, 수신된 주변 영상을 이용하여, 적어도 하나의 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310))의 사용자가 수행 중인 태스크(예: 진행 상황)를 식별할 수 있다. 본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 본 개시에서 상술한 다양한 방식들을 이용하여 적어도 하나의 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310))의 사용자가 수행 중인 태스크(예: 진행 상황)를 식별할 수 있다. 예를 들면, 글래스 타입 웨어러블 디바이스(310)(예: 메모리(140))에 저장된 오퍼레이션 수행 영상과 사용자의 현재 수행 영상을 비교하여 현재 사용자의 진행 상황이 어느 정도 되는지 여부를 판단하는 방식으로서 수행 중인 태스크(예: 진행 상황)를 식별할 수 있다.
본 개시의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1830에서, 식별된 태스크를 이용하여 현재 진행 상태를 가상 객체로서 표시할 수 있다.
도 19a를 참조하면, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 각각의 사용자의 태스크의 현재 진행 상황을 나타내는 인디케이터(예: 제1 인티케이터(1942), 제2 인디케이터(1944), 제3 인디케이터(1946), 제4 인디케이터(1948))를 포함하는 상태 바(1940)를 가상 객체로서 제공할 수 있다. 또한, 본 개시의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 적어도 하나의 외부 전자 장치로부터 획득한 영상(예: 제1 주변 영상(1910), 제2 주변 영상(1920), 제3 주변 영상(1930))을 가상 객체로서 제공할 수 있다. 본 개시의 일 실시예에 따르면, 상태 바(1940)에 대한 가상 터치 입력을 통해, 가이드 영상(예: 메모리(140)에 저장된 파일럿 영상)을 가상 객체로서 재생할 수도 있다.
도 19b를 참조하면, 본 개시의 일 실시예에 따른 제2 글래스 타입 웨어러블 디바이스(310)는, 증강현실 가이드(520)(예: 파일럿 영상)를 제공할 수 있다. 본 개시의 일 실시예에 따른 제2 글래스 타입 웨어러블 디바이스(310)는, 적어도 하나의 인디케이터(예: 제3 인디케이터(1946) 및 제4 인디케이터(1948))를 포함하는 상태 바(1940)를 가상 객체로서 제공할 수 있다.
도 20은, 본 개시의 일 실시예에 따른 제1 사용자의 음성 피드백을 기반으로 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 표현된 증강현실 가이드를 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 21은, 본 개시의 다양한 실시예들에 따른 도 20에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 20을 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2010에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))에 의하여 획득된 제1 주변 영상을 이용하여, 외부 전자 장치의 사용자에 의하여 선택된 제1 객체(예: 제4 객체(2110))를 식별할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 본 개시에서 설명된 다양한 방식들을 이용하여 외부 전자 장치의 사용자에 의하여 선택된 제1 객체(예: 제4 객체(2110))를 식별할 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2020에서, 글래스 타입 웨어러블 디바이스(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))에 의하여 획득된 제2 주변 영상을 이용하여, 식별된 제1 객체와 대응하는 제2 객체(예: 제5 객체(2120))를 식별할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2030에서, 식별된 제2 객체(예: 제5 객체(2120))에 대한 가상 영상을 표시할 수 있다.
도 21을 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 식별된 제2 객체(예: 제5 객체(2120))에 대한 증강현실 가이드(520)를 제공할 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2040에서, 제1 주변 영상을 기반으로, 제1 객체(예: 제4 객체(2110))에 대한 변형을 식별할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2050에서, 식별된 변형에 대응하도록 제2 객체(예: 제5 객체(2120))에 대한 가상 영상의 형상을 변형할 수 있다. 예를 들면, 도 21에 도시된 바와 같이, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자가 제4 객체(2110)를 접음을 식별하면, 증강현실 가이드(520)로서 제공된 가상 객체의 형상도 제4 객체(2110)의 접힘에 대응하도록 변형하여 제공할 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2060에서, 가상 영상의 형상이 변형된 상태에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))의 사용자로부터 음성 피드백(2130)을 수신할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2070에서, 수신된 음성 피드백을 기반으로, 변형된 가상 영상의 형상을 재 변형할 수 있다. 예를 들어, 도 21을 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 음성 피드백으로서 "사용자 B는 3등분해서 접으세요"라는 피드백을 수신할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 이와 같은 음성 피드백을 분석하여 증강현실 가이드(520)를 생성하여 제공할 수도 있고, 외부 전자 장치(예: 서버(320) 또는 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 증강현실 가이드(520)에 대한 정보를 수신하여 제공할 수도 있으며, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)에 저장된 가이드들 중에서 음성 피드백에 대응하는 가이드를 선택하여 제공할 수도 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 도 21에 도시된 바와 같이, 사용자의 음성 피드백에 대응하는 증강현실 가이드(520)를 제공할 수 있다.
도 22는, 본 개시의 일 실시예에 따른 제1 사용자의 음성 피드백에 따라 제1 증강현실 알림을 표시하고, 제1 사용자의 확인 응답에 따라 제2 증강현실 알림을 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 22는, 도 21에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 22를 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2210에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 음성 피드백을 수신할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2220에서, 수신된 음성 피드백을 기반으로 제1 증강현실 알림을 표시할 수 있다.
도 23은, 본 개시의 실시예에 따른 도 22에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 23을 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 제1 사용자로부터 음성 데이터로서 음성 피드백(예: "중요해요")을 수신하면, 음성 피드백의 의미를 분석할 수 있다. 본 개시의 일 실시예에 따른 음성 피드백의 의미가 중요함을 나타내는 의미이거나, 음성 피드백 자체가 미리 지정된 음성 데이터와 대응되는 경우, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 제6 객체(2310)와 대응하는 제7 객체(2320)에 대한 가상 객체(2340) 주변에 제1 증강현실 알림(2342)을 제공할 수 있다.
본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2230에서, 증강현실 알림을 표시한 상태에서, 글래스 타입 웨어러블 디바이스(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))에 의해 획득된 주변 영상을 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로 전송할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2240에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 확인 응답을 수신할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2250에서, 확인 응답의 수신에 기반하여, 제2 증강현실 알림을 표시할 수 있다. 도 23을 참조하면, 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자의 확인을 받기 위하여 글래스 타입 웨어러블 디바이스(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))에 의해 획득된 주변 영상을 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로 전송할 수 있다. 본 개시의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로부터 확인 응답을 수신하게 되면, 제1 사용자의 확인을 받았음을 나타내는 제2 증강현실 알림(2344)을 제공할 수 있다.
본 개시의 다양한 실시예들 및 이에 사용된 용어들은 본 개시에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 개시에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 글래스 타입 웨어러블 디바이스(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(140))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 글래스 타입 웨어러블 디바이스(100))의 프로세서(예: 프로세서(140))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 개시의 일 실시예에 따르면, 본 개시에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시 내용이 그의 특정 실시 양태를 참조하여 특히 도시되어 설명되었지만, 첨부된 클레임들 및 그들의 균등물에 의해 정의된 본 개시 내용의 사상 및 범위를 벗어나지 않고 형태 및 세부 사항의 다양한 변경이 이루어질 수 있다는 것이 통상의 기술자에 의하여 이해될 수 있을 것이다.

Claims (15)

  1. 글래스 타입 웨어러블 디바이스에 있어서,
    통신 회로;
    적어도 하나의 카메라, 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 통신 회로를 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하고,
    상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하고,
    상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하고,
    상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 회로를 제어하도록 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스.
  2. 제1항에 있어서,
    적어도 하나의 메모리를 더 포함하고,
    상기 적어도 하나의 메모리는, 상기 제1 태스크 및 상기 제2 태스크를 포함하는 오퍼레이션(operation)에 대한 정보를 저장하도록 설정되고,
    상기 오퍼레이션은, 복수의 태스크들로 구분되어 상기 적어도 하나의 메모리에 저장되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스.
  3. 제1항에 있어서,
    디스플레이를 더 포함하고,
    상기 적어도 하나의 프로세서는, 상기 제2 태스크에 대한 영상이 상기 글래스 타입 웨어러블 디바이스를 통해 가상 객체로서 표현되도록 하게 하기 위해 상기 디스플레이를 제어하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 증강현실 가이드에 대한 정보가 저장되어 있는 서버로부터 상기 증강현실 가이드에 대한 정보가 상기 외부 전자 장치로 전송되도록 하게 하기 위해, 상기 증강현실 가이드에 대한 정보의 전송 요청이 상기 서버로 전송되도록 상기 통신 회로를 제어하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스.
  5. 제1항에 있어서,
    상기 증강현실 가이드는, 상기 제2 태스크에 대한 파일럿(pilot) 영상을 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스.
  6. 제5항에 있어서,
    상기 파일럿 영상은, 상기 외부 전자 장치에 대응하는 태스크 수행 레벨에 따라 상이하게 상기 외부 전자 장치로 제공되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 통신 회로를 통해, 상기 외부 전자 장치로부터 상기 외부 전자 장치에 대응하는 상기 태스크 수행 레벨에 대한 정보를 수신하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스.
  8. 글래스 타입 웨어러블 디바이스를 제어하는 방법에 있어서,
    상기 글래스 타입 웨어러블 디바이스의 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 글래스 타입 웨어러블 디바이스의 통신 회로를 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하는 과정과,
    상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하는 과정과,
    상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하는 과정과,
    상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 회로를 제어하는 과정을 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
  9. 제8항에 있어서,
    상기 제1 태스크 및 상기 제2 태스크를 포함하는 오퍼레이션(operation)에 대한 정보를 상기 전자 장치의 적어도 하나의 메모리에 저장하는 동작을 포함하고,
    상기 오퍼레이션은, 복수의 태스크들로 구분되어 상기 적어도 하나의 메모리에 저장되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
  10. 제8항에 있어서,
    상기 글래스 타입 웨어러블 디바이스는, 디스플레이를 더 포함하고,
    상기 획득된 제2 태스크에 대한 영상이 상기 글래스 타입 웨어러블 디바이스를 통해 가상 객체로서 표현되도록 하게 하기 위해 상기 디스플레이를 제어하는 과정을 더 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
  11. 제8항에 있어서,
    상기 증강현실 가이드에 대한 정보가 저장되어 있는 서버로부터 상기 증강현실 가이드에 대한 정보가 상기 외부 전자 장치로 전송되도록 하게 하기 위해, 상기 증강현실 가이드에 대한 정보의 전송 요청이 상기 서버로 전송되도록 상기 통신 회로를 제어하는 과정을 더 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
  12. 제8항에 있어서,
    상기 증강현실 가이드는, 상기 제2 태스크에 대한 파일럿(pilot) 영상을 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
  13. 제12항에 있어서,
    상기 파일럿 영상은, 상기 외부 전자 장치에 대응하는 태스크 수행 레벨에 따라 상이하게 상기 외부 전자 장치로 제공되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
  14. 제13항에 있어서,
    상기 통신 회로를 통해, 상기 외부 전자 장치로부터 상기 외부 전자 장치에 대응하는 상기 태스크 수행 레벨에 대한 정보를 수신하는 과정을 더 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
  15. 프로세서에 의해 하나 이상의 동작들을 수행하도록 설정된 인스트럭션을 저장하는 컴퓨터 판독 가능한 비휘발성 기록 매체에 있어서, 상기 하나 이상의 동작들은,
    글래스 타입 웨어러블 디바이스의 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 글래스 타입 웨어러블 디바이스의 통신 회로를 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하는 동작과,
    상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하는 동작과,
    상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하는 동작과, 및
    상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 회로를 제어하는 동작을 포함하는 것을 특징으로 하는, 비휘발성 기록 매체.
PCT/KR2022/004448 2021-07-19 2022-03-29 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 WO2023003126A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22845998.8A EP4283377A1 (en) 2021-07-19 2022-03-29 Eyeglass-type wearable device providing augmented reality guide, and method for controlling same
US17/867,077 US20230014774A1 (en) 2021-07-19 2022-07-18 Glasses-type wearable device providing augmented reality guide and method for controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210094398A KR20230013532A (ko) 2021-07-19 2021-07-19 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법
KR10-2021-0094398 2021-07-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/867,077 Continuation US20230014774A1 (en) 2021-07-19 2022-07-18 Glasses-type wearable device providing augmented reality guide and method for controlling the same

Publications (1)

Publication Number Publication Date
WO2023003126A1 true WO2023003126A1 (ko) 2023-01-26

Family

ID=84980192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004448 WO2023003126A1 (ko) 2021-07-19 2022-03-29 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20230013532A (ko)
WO (1) WO2023003126A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041905A (ko) * 2014-08-15 2017-04-17 데크리, 엘엘씨 원격 전문가 시스템
KR20190035116A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
KR20190117415A (ko) * 2019-08-30 2019-10-16 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR20200109812A (ko) * 2019-03-14 2020-09-23 삼성전자주식회사 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
KR20200138925A (ko) * 2019-06-03 2020-12-11 삼성전자주식회사 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170041905A (ko) * 2014-08-15 2017-04-17 데크리, 엘엘씨 원격 전문가 시스템
KR20190035116A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
KR20200109812A (ko) * 2019-03-14 2020-09-23 삼성전자주식회사 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
KR20200138925A (ko) * 2019-06-03 2020-12-11 삼성전자주식회사 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치
KR20190117415A (ko) * 2019-08-30 2019-10-16 엘지전자 주식회사 Ar 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20230013532A (ko) 2023-01-26

Similar Documents

Publication Publication Date Title
US9213405B2 (en) Comprehension and intent-based content for augmented reality displays
EP3616050A1 (en) Apparatus and method for voice command context
WO2019231216A1 (ko) 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법
WO2019093646A1 (en) Electronic device capable of moving and operating method thereof
US20210264677A1 (en) Information processing apparatus, information processing method, and program
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2023003126A1 (ko) 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법
WO2022145888A1 (ko) 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022092762A1 (ko) 스테레오 매칭 방법 및 이를 수행하는 영상 처리 장치
WO2022108001A1 (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
CN111736692B (zh) 显示方法、显示装置、存储介质与头戴式设备
WO2023085847A1 (ko) 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법
WO2023090846A1 (ko) 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
EP4283377A1 (en) Eyeglass-type wearable device providing augmented reality guide, and method for controlling same
WO2023132744A1 (ko) 복수의 어플리케이션 실행 화면들을 그룹화하여 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2022154417A1 (ko) 감정 상태를 식별하는 전자 장치 및 그 운용 방법
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
WO2024071862A1 (ko) 응시점에 기반한 정보 제공을 위한 방법 및 이를 위한 전자 장치
WO2024090896A1 (ko) 휠을 포함하는 웨어러블 전자 장치
KR20230070990A (ko) 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2022196869A1 (ko) 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
WO2023055000A1 (ko) 증강 현실 장치가 콘텐트를 디스플레이하는 방법 및 콘텐트를 디스플레이하는 증강 현실 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22845998

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 22845998.8

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022845998

Country of ref document: EP

Effective date: 20230825

NENP Non-entry into the national phase

Ref country code: DE