KR20230013532A - 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 - Google Patents
증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20230013532A KR20230013532A KR1020210094398A KR20210094398A KR20230013532A KR 20230013532 A KR20230013532 A KR 20230013532A KR 1020210094398 A KR1020210094398 A KR 1020210094398A KR 20210094398 A KR20210094398 A KR 20210094398A KR 20230013532 A KR20230013532 A KR 20230013532A
- Authority
- KR
- South Korea
- Prior art keywords
- type wearable
- wearable device
- glasses
- user
- task
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 39
- 230000002093 peripheral effect Effects 0.000 claims description 61
- 239000011521 glass Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 54
- 238000010586 diagram Methods 0.000 description 44
- 244000061456 Solanum tuberosum Species 0.000 description 20
- 235000002595 Solanum tuberosum Nutrition 0.000 description 20
- 235000012015 potatoes Nutrition 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 16
- 238000005520 cutting process Methods 0.000 description 12
- 241000219315 Spinacia Species 0.000 description 10
- 235000009337 Spinacia oleracea Nutrition 0.000 description 10
- 230000003068 static effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010411 cooking Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 1
- 235000017647 Brassica oleracea var italica Nutrition 0.000 description 1
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법이 개시된다. 본 문서의 일 실시예에 따른 클래스 타입 글래스 타입 웨어러블 디바이스는, 통신 모듈, 적어도 하나의 카메라, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하고, 상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하고, 상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하고, 상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하도록 설정될 수 있다.
Description
본 문서는, 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법에 관한 것이다.
전자 장치, 예를 들어, 글래스 타입 웨어러블 디바이스와 같은 전자 장치를 통해 제공되는 다양한 서비스 및 부가 기능들이 점차 증가하고 있다. 이러한 전자 장치의 효용 가치를 높이고, 다양한 사용자들의 욕구를 만족시키기 위해서 통신 서비스 제공자 또는 전자 장치 제조사들은 다양한 기능들을 제공하고 다른 업체와의 차별화를 위해 전자 장치를 경쟁적으로 개발하고 있다. 이에 따라, 전자 장치를 통해서 제공되는 다양한 기능들도 점점 고도화 되고 있다.
최근, 글래스 타입 웨어러블 디바이스가 교육의 목적으로 이용되고 있다. 예를 들어, 글래스 타입 웨어러블 디바이스를 착용한 제1 사용자가 수행 중인 특정한 태스크(task)를 글래스 타입 웨어러블 디바이스를 착용한 제2 사용자가 바라보고 있는 실제 세계(real world) 상에 가상 객체로서 표현하는 방식으로서 글래스 타입 웨어러블 디바이스가 교육의 목적으로 이용되고 있다. 그러나, 이와 같은 종래의 방식은, 제1 사용자의 관점만을 반영한 교육 방식일 수 있다. 다른 말로, 제1 사용자는 특정한 태스크의 수행에 능숙한 사용자이고, 제2 사용자가 특정한 태스크의 수행에 능숙하지 못한 사용자인 경우, 제1 사용자의 태스크 수행 속도와 제2 사용자의 태스크 수행 속도와의 차이는 상이할 수 있다. 이와 같은 경우에도, 제2 사용자에게 제1 사용자가 현재 수행 중인 태스크가 가상 객체로서 표현되도록 제1 사용자가 현재 수행 중인 태스크에 대한 정보를 제공한다면, 교육의 목적이 달성되기 어려울 수 있다. 또한, 이와 같은 종래의 방식은, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스들(예: 냉장고, 스마트폰)을 이용하여 현재 수행 중인 태스크(예: 교육)에 이용하는 기능 또는 동작을 전혀 제공하지 못하였다.
본 문서의 일 실시예에 따르면, 제1 태스크(예: 제1 사용자가 현재 수행중인 태스크)의 진행 상태와 제2 태스크(예: 제2 사용자가 현재 수행 중인 태스크)의 진행 상태의 차이에 기반하여 제2 사용자의 글래스 타입 웨어러블 디바이스에 증강현실 가이드를 제공함으로써, 글래스 타입 웨어러블 디바이스를 착용한 제2 사용자의 태스크 진행 상태에 맞는 증강현실 가이드를 제공할 수 있는 글래스 타입 웨어러블 디바이스가 제공될 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스들(예: 냉장고, 스마트폰)을 이용하여 특정한 태스크의 수행에 필요한 객체의 위치에 대한 정보를 제공할 수 있는 글래스 타입 웨어러블 디바이스가 제공될 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스는, 통신 모듈, 적어도 하나의 카메라, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하고, 상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하고, 상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하고, 상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하도록 설정될 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스는, 통신 모듈, 적어도 하나의 카메라, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라를 통해 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 제1 외부 전자 장치로부터 제2 주변 영상을 획득하고, 상기 획득된 제2 주변 영상을 이용하여 상기 제1 외부 전자 장치의 사용자에 의하여 선택된 제1 객체를 식별하고, 상기 식별된 제1 객체와 대응하는 제2 객체가 상기 제1 주변 영상에 포함되어 있는지 여부를 판단하고, 상기 식별된 제1 객체와 대응하는 객체가 상기 제1 주변 영상에 포함되어 있지 않은 경우, 상기 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 제2 외부 전자 장치에 의하여 획득된 제3 주변 영상에 상기 제2 객체가 포함되어 있는지 여부를 판단하고, 상기 판단의 결과에 기반하여, 증강현실 가이드를 상기 글래스 타입 웨어러블 디바이스를 통해 제공하도록 설정될 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스를 제어하는 방법은, 상기 글래스 타입 웨어러블 디바이스의 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 글래스 타입 웨어러블 디바이스의 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하는 과정과, 상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하는 과정과, 상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하는 과정과, 상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하는 과정을 포함할 수 있다.
본 문서의 일 실시예에 따르면, 제1 태스크(예: 제1 사용자가 현재 수행중인 태스크)의 진행 상태와 제2 태스크(예: 제2 사용자가 현재 수행 중인 태스크)의 진행 상태의 차이에 기반하여 제2 사용자의 글래스 타입 웨어러블 디바이스에 증강현실 가이드를 제공함으로써, 글래스 타입 웨어러블 디바이스를 착용한 제2 사용자의 태스크 진행 상태에 맞는 증강현실 가이드를 제공할 수 있는 글래스 타입 웨어러블 디바이스가 제공될 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스들(예: 냉장고, 스마트폰)을 이용하여 특정한 태스크의 수행에 필요한 객체의 위치에 대한 정보를 제공할 수 있는 글래스 타입 웨어러블 디바이스가 제공될 수 있다.
다양한 실시예들에 따른 효과는 상기 기술된 효과로 제한되지 아니하며, 다양한 효과가 본 개시 상에 내재되어 있음은 통상의 기술자에게 자명하다.
도 1은, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스를 설명하기 위한 예시 도면이다.
도 2는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스의 구조를 설명하기 위한 예시 도면이다.
도 3a 내지 도 3c는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스의 연결 관계를 설명하기 위한 예시 도면들이다.
도 4는, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스가 제1 태스크 및 제2 태스크의 현재 진행 상태의 차이에 기반하여 제2 태스크에 대응하는 증강현실 가이드를 제공하도록 하기 위하여 통신 모듈을 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5a는, 본 문서의 일 실시예에 따른 제1 사용자의 실제 세계 상에서 제1 사용자의 글래스 타입 웨어러블 디바이스를 통해 제2 사용자의 태스크 진행 상황이 가상 객체로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5b는, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 증강현실 가이드가 동영상으로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5c는, 본 문서의 일 실시예에 따른 증강현실 가이드가 정적인 시각 요소로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 6은, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨에 따라 서로 상이한 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 7a는, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 높은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 7b는, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 낮은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 8은, 본 문서의 일 실시예에 따른 증강현실 가이드의 전송이 서버에 의하여 수행되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 9는, 본 문서의 일 실시예에 따른 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 10은, 본 문서의 일 실시예에 따른 제1 사용자에 의하여 선택된 객체를 제2 사용자의 글래스 타입 웨어러블 디바이스가 식별하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11a는, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스가, 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11b는, 본 문서의 일 실시예에 따른 태스크의 수행에 필요한 객체가 제2 사용자의 글래스 타입 웨어러블 디바이스 및 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기 주변에 존재하지 않을 경우에 표현되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 12는, 본 문서의 일 실시예에 따른 태스크의 수행이 완료된 경우, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스를 통해 태스크의 수행이 완료되었음을 나타내는 메시지를 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 13은, 본 문서의 일 실시예에 따른 도 12에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 14는, 본 문서의 일 실시예에 따른 태스크를 수행하는 과정에서, 특정한 객체에 대한 위치 변화 및 형태 변화에 기반하여 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 15a 내지 도 17은, 도 14에 설면된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 18은, 본 문서의 일 실시예에 따른 태스크의 진행 상태를 나타내는 증강현실 가이드를 표현하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 19a 및 도 19b는, 도 18에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 20은, 본 문서의 일 실시예에 따른 제1 사용자의 음성 피드백을 기반으로 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 표현된 증강현실 가이드를 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 21은, 도 20에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 22는, 본 문서의 일 실시예에 따른 제1 사용자의 음성 피드백에 따라 제1 증강현실 알림을 표시하고, 제1 사용자의 확인 응답에 따라 제2 증강현실 알림을 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 23은, 도 22에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 2는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스의 구조를 설명하기 위한 예시 도면이다.
도 3a 내지 도 3c는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스의 연결 관계를 설명하기 위한 예시 도면들이다.
도 4는, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스가 제1 태스크 및 제2 태스크의 현재 진행 상태의 차이에 기반하여 제2 태스크에 대응하는 증강현실 가이드를 제공하도록 하기 위하여 통신 모듈을 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5a는, 본 문서의 일 실시예에 따른 제1 사용자의 실제 세계 상에서 제1 사용자의 글래스 타입 웨어러블 디바이스를 통해 제2 사용자의 태스크 진행 상황이 가상 객체로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5b는, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 증강현실 가이드가 동영상으로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 5c는, 본 문서의 일 실시예에 따른 증강현실 가이드가 정적인 시각 요소로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 6은, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨에 따라 서로 상이한 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 7a는, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 높은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 7b는, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 낮은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스로 제공되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 8은, 본 문서의 일 실시예에 따른 증강현실 가이드의 전송이 서버에 의하여 수행되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 9는, 본 문서의 일 실시예에 따른 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 10은, 본 문서의 일 실시예에 따른 제1 사용자에 의하여 선택된 객체를 제2 사용자의 글래스 타입 웨어러블 디바이스가 식별하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11a는, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스가, 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 11b는, 본 문서의 일 실시예에 따른 태스크의 수행에 필요한 객체가 제2 사용자의 글래스 타입 웨어러블 디바이스 및 제2 사용자의 글래스 타입 웨어러블 디바이스에 연결된 주변 기기 주변에 존재하지 않을 경우에 표현되는 증강현실 가이드를 설명하기 위한 예시 도면이다.
도 12는, 본 문서의 일 실시예에 따른 태스크의 수행이 완료된 경우, 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 다른 디바이스를 통해 태스크의 수행이 완료되었음을 나타내는 메시지를 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 13은, 본 문서의 일 실시예에 따른 도 12에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 14는, 본 문서의 일 실시예에 따른 태스크를 수행하는 과정에서, 특정한 객체에 대한 위치 변화 및 형태 변화에 기반하여 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 15a 내지 도 17은, 도 14에 설면된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 18은, 본 문서의 일 실시예에 따른 태스크의 진행 상태를 나타내는 증강현실 가이드를 표현하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 19a 및 도 19b는, 도 18에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 20은, 본 문서의 일 실시예에 따른 제1 사용자의 음성 피드백을 기반으로 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 표현된 증강현실 가이드를 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 21은, 도 20에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 22는, 본 문서의 일 실시예에 따른 제1 사용자의 음성 피드백에 따라 제1 증강현실 알림을 표시하고, 제1 사용자의 확인 응답에 따라 제2 증강현실 알림을 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 23은, 도 22에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 1은, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)를 설명하기 위한 예시 도면이다. 본 문서에서는 글래스 타입 웨어러블 디바이스(100, 310)를 예를 들어 설명하나 이에 한정되는 것은 아니다. 예컨대, 본 문서에서 설명되는 다양한 실시예들은 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head mounted device; HMD) 또는 머리 착용형 디스플레이 장치(head mounted display; HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나에 적용될 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), 프로세서(120), PMIC(130), 배터리(135), 메모리(140), 디스플레이 모듈(150), 오디오 모듈(161), 음성 입력 장치(162), 음성 출력 장치(163), 통신 회로(170), 및 센서(180) 중 적어도 하나를 포함할 수 있다.
본 문서의 일 실시예에 따르면, 제1 카메라(111)를 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및/또는 공간 인식에 이용될 수 있다. 본 문서의 일 실시예에 따르면, 제1 카메라(111)는 GS(global shutter) 카메라를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 카메라(111)는 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 제1 카메라(111)는 6DoF를 위한 공간 인식을 수행할 수 있다. 본 문서의 일 실시예에 따른 제1 카메라(111)는, 제1 사용자에게 착용된 경우, 제1 사용자의 시선에 대응하는 실제 세계(real world)를 촬영하도록 설정될 수 있다.
본 문서의 일 실시예에 따르면, 제2 카메라(112)를 통하여 획득된 이미지는 사용자의 눈동자에 대한 검출 및 추적에 이용될 수 있다. 본 문서의 일 실시예에 따르면, 제2 카메라(112)는 GS 카메라를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제2 카메라(112)는 각각 좌안 및 우안에 대응될 수 있고, 제2 카메라(112)들의 성능은 서로 동일 또는 유사할 수 있다.
본 문서의 일 실시예에 따르면, 제3 카메라(113)는 제1 카메라(111) 및 제2 카메라(112) 보다 고해상도의 카메라를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제3 카메라(113)는 자동 포커싱(auto-focusing, AF) 기능과 떨림 보정 기능을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 제3 카메라(113)는 GS 카메라를 포함하거나, RS(rolling shutter) 카메라를 포함할 수 있다. 본 문서의 일 실시예에 따른 제1 카메라(111)는, 제1 사용자에게 착용된 경우, 제1 사용자의 시선에 대응하는 실제 세계를 촬영하도록 설정될 수 있다.
본 문서의 일 실시예에 따른 프로세서(120)는, 글래스 타입 웨어러블 디바이스(100, 310)의 구성요소들, 예를 들어, 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), PMIC(130), 메모리(140), 디스플레이 모듈(150), 오디오 모듈(161), 통신 회로(170), 및 센서(180)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 본 문서의 일 실시예에 따른 프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 글래스 타입 웨어러블 디바이스(100, 310)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 본 문서의 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 본 문서의 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 글래스 타입 웨어러블 디바이스(100, 310)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
본 문서의 일 실시예에 따른 PMIC(130)는 배터리(135)에 저장된 전력을 글래스 타입 웨어러블 디바이스(100, 310)의 다른 구성요소들이 요구하는 전류 또는 전압을 갖도록 변환하여 글래스 타입 웨어러블 디바이스(100, 310)의 다른 구성요소들에 공급할 수 있다.
본 문서의 일 실시예에 따른 메모리(140)는, 글래스 타입 웨어러블 디바이스(100, 310)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(180))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 본 문서의 일 실시예에 따른 메모리(140)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
본 문서의 일 실시예에 따른 디스플레이 모듈(150)은 사용자에게 제공할 화면을 표시할 수 있다. 본 문서의 일 실시예에 따른 디스플레이 모듈(150)은, 가상 객체(예: 증강현실 가이드)를 표현하기 위한 데이터(예: RGB 데이터)를 출력할 수 있다. 본 문서의 일 실시예에 따른 디스플레이 모듈(150)은 제1 디스플레이(251), 제2 디스플레이(252), 하나 이상의 입력 광학 부재(253-1, 253-2), 하나 이상의 투명 부재(290-1, 290-2), 및 하나 이상의 화면 표시 부분(254-1, 254-2)을 포함할 수 있다.
본 문서의 일 실시예에 따른 오디오 모듈(161)은 음성 입력 장치(162) 및 음성 출력 장치(163)에 연결되어, 음성 입력 장치(162)를 통하여 입력된 데이터를 변환하고, 음성 출력 장치(163)에 출력할 데이터를 변환할 수 있다. 본 문서의 일 실시예에 따른 음성 입력 장치(162)는 적어도 하나의 마이크를 포함할 수 있으며, 음성 출력 장치(163)는 적어도 하나의 스피커 및 증폭기를 포함할 수 있다. 본 문서의 일 실시예에 따른 통신 회로(170)는 글래스 타입 웨어러블 디바이스(100, 310)와 연결된 외부 전자 장치와의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 본 문서의 일 실시예에 따른 센서(180)는 6축 센서(181), 자기 센서(182), 근접 센서(183), 및/또는 광 센서(184)를 포함할 수 있다.
도 2는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)의 구조를 설명하기 위한 예시 도면이다.
도 2를 참조하면, 글래스 타입 웨어러블 디바이스(100, 310)는 하나 이상의 발광 소자(214-1, 214-2)를 포함할 수 있다. 본 문서의 일 실시예에 따른 발광 소자(214-1, 214-2)는 디스플레이의 화면 출력 영역으로 빛을 조사하는, 후술할 광원과는 상이할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제2 카메라(212-1, 212-2)를 통하여 사용자의 눈동자를 검출하고 추적하는 경우에 있어서, 눈동자 검출을 용이하게 하기 위한 빛을 조사할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 각각 LED를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 적외선 영역의 빛을 조사할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 글래스 타입 웨어러블 디바이스(100, 310)의 프레임 주변에 부착될 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제1 카메라(211-1, 211-2) 주변에 위치하고, 글래스 타입 웨어러블 디바이스(100, 310)가 어두운 환경에서 사용될 때 하나 이상의 제1 카메라(211-1, 211-2)에 의한 제스처 검출, 머리 추적, 및 공간 인식을 보조할 수 있다. 본 문서의 일 실시예에 따르면, 발광 소자(214-1, 214-2)는 하나 이상의 제3 카메라(213) 주변에 위치하고, 글래스 타입 웨어러블 디바이스(100, 310)가 어두운 환경에서 사용될 때 하나 이상의 제3 카메라(213)에 의한 이미지 획득을 보조할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 배터리(235-1, 235-2)를 포함할 수 있다. 배터리(235-1, 235-2)는 글래스 타입 웨어러블 디바이스(100, 310)의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 제1 디스플레이(251), 제2 디스플레이(252), 하나 이상의 입력 광학 부재(253-1, 253-2), 하나 이상의 투명 부재(290-1, 290-2), 및 하나 이상의 화면 표시 부분(254-1, 254-2)을 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)는 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 글래스 타입 웨어러블 디바이스(100, 310)는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 디스플레이(251) 및 제2 디스플레이(252)가 자체적으로 빛을 발생시킬 수 있는 경우(예컨대, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우), 글래스 타입 웨어러블 디바이스(100, 310)는 별도의 광원을 포함하지 않더라도 사용자에게 상대적으로 양호한 품질의 가상 영상을 제공할 수 있다.
본 문서의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2)는 사용자가 글래스 타입 웨어러블 디바이스(100, 310)를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 본 문서의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 사용자는 글래스 타입 웨어러블 디바이스(100, 310)를 착용하였을 때 하나 이상의 투명 부재(290-1, 290-2)를 통하여 외부 세계를 볼 수 있다. 본 문서의 일 실시예에 따르면, 하나 이상의 입력 광학 부재(253-1, 253-2)는 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 본 문서의 일 실시예에 따르면, 하나 이상의 투명 부재(290-1, 290-2) 위의 하나 이상의 화면 표시 부분(254-1, 254-2) 위에 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분(254-1, 254-2) 위에 맺힌 상을 볼 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 하나 이상의 광도파로(미도시)를 포함할 수 있다. 본 문서의 일 실시예에 따른 광도파로는 제1 디스플레이(251) 및 제2 디스플레이(252)에서 생성한 빛을 사용자의 눈으로 전달할 수 있다. 글래스 타입 웨어러블 디바이스(100, 310)는 좌안 및 우안에 대응하여 각각 하나씩의 광도파로를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 광도파로는 글래스, 플라스틱 또는 폴리머 중 적어도 하나를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 광도파로는 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 광도파로는 free-form형 프리즘을 포함할 수 있고, 이 경우, 광도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다. 본 문서의 일 실시예에 따르면, 광도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함하고, 광도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 본 문서의 일 실시예에 따르면, 회절 요소는 입력/출력 광학 부재를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 반사 요소는 전반사를 일으키는 부재를 포함할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 하나 이상의 음성 입력 장치(262-1, 262-2, 262-3) 및 하나 이상의 음성 출력 장치(263-1, 263-2)를 포함할 수 있다.
본 문서의 일 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100, 310)는 제1 PCB(270-1) 및 제2 PCB(270-2)를 포함할 수 있다. 제1 PCB(270-1) 및 제2 PCB(270-2)는 제1 카메라(111), 제2 카메라(112), 제3 카메라(113), 디스플레이 모듈(150), 오디오 모듈(161), 및 센서(180)와 같은, 글래스 타입 웨어러블 디바이스(100, 310)에 포함되는 구성 요소에 전기 신호를 전달하도록 설정될 수 있다. 본 문서의 일 실시예에 따르면, 제1 PCB(270-1) 및 제2 PCB(270-2)는 FPCB(flexible printed circuit board)를 포함할 수 있다. 본 문서의 일 실시예에 따르면, 제1 PCB(270-1) 및 제2 PCB(270-2)는 각각 제1 기판, 제2 기판, 및 제1 기판과 상기 제2 기판 사이에 배치된 인터포저를 포함할 수 있다.
도 3a 내지 도 3c는, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)의 연결 관계를 설명하기 위한 예시 도면들이다.
도 3a를 참조하면, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 네트워크(300)를 통해 직접 연결될 수 있다. 본 문서의 일 실시예에 따른 네트워크(300)는, 제1 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 포함할 수 있다. 또는, 본 문서의 일 실시예에 따른 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 서버(320)를 통해 연결될 수도 있다. 본 문서의 일 실시예에 따른 서버(320)는 기계 학습 및/또는 신경망을 이용한 지능형 서버를 포함할 수 있다. 도 3c를 참조하면, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 및/또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 주변 디바이스(예: IoT 디바이스)와 동작 가능하도록 연결될 수 있다. 본 문서의 일 실시예에 따른 주변 디바이스는, 예를 들면, 냉장고(312), 스마트 폰(314), CCTV(316) 및/또는 로봇 청소기(318)를 포함할 수 있다.
도 4는, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)가 제1 태스크 및 제2 태스크의 현재 진행 상태의 차이에 기반하여 제2 태스크에 대응하는 증강현실 가이드(520)를 제공하도록 하기 위하여 통신 모듈을 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 5a는, 본 문서의 일 실시예에 따른 제1 사용자의 실제 세계 상에서 제1 사용자의 글래스 타입 웨어러블 디바이스(100)를 통해 제2 사용자의 태스크 진행 상황이 가상 객체(510)로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 5b는, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 증강현실 가이드(520)가 동영상으로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 5c는, 본 문서의 일 실시예에 따른 증강현실 가이드(520)가 정적인 시각 요소로서 표현되는 기능 또는 동작을 설명하기 위한 예시 도면이다. 본 문서에서, "제1 사용자"는 제2 사용자에게 교육을 수행하는 교육자를 의미하도록 사용되는 경우가 있을 수 있으며, "제2 사용자"는 제1 사용자에게 교육을 수강하는 교육생을 의미하도록 사용되는 경우가 있을 수 있다.
도 4를 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 제1 사용자의 글래스 타입 웨어러블 디바이스)는, 동작 410에서, 적어도 하나의 센서(예: 제1 카메라(111) 또는 제3 카메라(113))를 이용하여 글래스 타입 웨어러블 디바이스(100)의 제1 주변 영상을 획득하고 있는 동안에, 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로부터 통신 모듈(예: 통신 회로(170))을 통해, 외부 전자 장치에 의해 획득된 외부 전자 장치의 제2 주변 영상을 수신할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 제2 주변 영상을 획득한 경우, 도 5a에 도시된 바와 같이, 획득된 제2 주변 영상을 가상 객체(510)로서 표현할 수 있다. 이를 위하여 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 제2 주변 영상을 가상 객체(510)로서 표현하기 위하여 제2 주변 영상에 대한 데이터를 출력하도록 디스플레이 모듈(150)을 제어할 수 있다. 도 5a에서는, 오퍼레이션(operation)으로서 "요리"를 수행하는 과정을 예시적으로 도시하고 있다. 또한, 도 5a에서는, 오퍼레이션을 구성하는 태스크로서, 제1 사용자는 제1 사용자가 썬 감자를 볶고 있는 태스크를 수행하는 과정을 예시적으로 도시하고 있으며, 제2 사용자는 감자를 썰고 있는 태스크를 수행하는 과정을 예시적으로 도시하고 있다. 도 5a에서는, 설명의 편의상, 가상 객체(510)가 2차원 평면 상에서 표현되는 것으로 도시되었으나, 이는 예시적인 것으로서 가상 객체(510)는 3차원 객체로서 표현될 수도 있다. 또한, 가상 객체(510) 및 증강현실 가이드(520)는 시야의 정면 또는 측면에 배치될 수도 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 제1 사용자의 글래스 타입 웨어러블 디바이스)는, 동작 420에서, 제1 주변 영상을 이용하여 글래스 타입 웨어러블 디바이스(100)의 사용자가 수행 중인 제1 태스크를 식별하고, 제2 주변 영상을 이용하여 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))의 사용자가 수행 중인 제2 태스크를 식별할 수 있다. 본 문서의 일 실시예에 따르면, 제1 주변 영상 및/또는 제2 주변 영상은 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외부 전자 장치에 의하여 촬영되어 글래스 타입 웨어러블 디바이스(100)로 전송된 영상일 수도 있다. 본 문서의 다른 실시예에 따르면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로부터 제2 주변 영상을 수신하는 것이 아니라, 제2 사용자의 현재 진행 상태에 대한 정보(예: "제2 사용자는 현재 태스크 4를 수행 중")를 수신하도록 설정될 수도 있다. 본 문서의 또 다른 실시예에 따르면, 동작 420은, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외부 전자 장치에 의해서 수행될 수도 있다(예: 테더드(tethered) 방식을 통해). 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장된 참조 영상(reference image)과 제1 주변 영상 및 제2 주변 영상 각각을 비교함으로써 현재 각각의 사용자가 수행 중인 태스크가 어떠한 태스크인지 여부를 식별할 수 있다. 예를 들어, 감자를 썰고 있는 참조 영상과 제2 주변 영상이 서로 대응되는 경우(예: 영상에서의 움직임 분석 결과가 정량적으로 오차 범위 내에 포함되는 경우), 글래스 타입 웨어러블 디바이스(100)는 제2 사용자가 현재 감자를 썰고 있다고 판단할 수 있다. 이와 같은 태스크를 식별하는 기능 또는 동작은 인공지능 모델에 의하여 학습될 수도 있다. 이와 같은 학습은, 예를 들어, 글래스 타입 웨어러블 디바이스(100) 자체에서 수행될 수도 있고 별도의 서버(예: 서버(310))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 본 문서의 일 실시예에 따른 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. 본 문서의 일 실시예에 따른 참조 영상은 하나의 오퍼레이션을 구성하는 적어도 하나의 태스크 별로 구분되어 각각 저장되어 있을 수 있다. 또한, 본 문서의 일 실시예에 따른 제1 사용자의 오퍼레이션도 적어도 하나의 태스크 별로 구분되어 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장될 수 있다. 예를 들어, "제1 사용자가 냄비에 물을 부은 후(태스크 1), 인덕션 위에 올리고(태스크 2), 감자를 씻은 후(태스크 3), 씻은 감자를 썰고(태스크 4), 썬 감자를 볶는(태스크 5)" 하나의 오퍼레이션을 수행한 경우, 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에는 하나의 오퍼레이션이 각각의 태스크 별로 구분되어, 각각의 태스크에 대한 정보(예: 획득된 영상)가 경과된 시간 순서에 따라 저장될 수 있다. 예를 들면, 사용자가 감자를 씻는 영상이 식별된 경우(예: 태스크 3이 식별된 경우), 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에는 태스크 1 및 태스크 2에 대한 영상이 시간 정보와 함께 저장되어 있을 수 있다. 본 문서의 일 실시예에 따르면, 어떠한 방식으로 태스크를 구분할지 여부에 대한 기준은 미리 결정되어 있을 수 있다. 예를 들면, 오퍼레이션이 "요리"인 경우, 제1 사용자가 냄비에 물을 부은 후, 인덕션 위에 올리는 태스크를 하나의 태스크로 지정하여 저장하도록 미리 지정되어 있을 수도 있다. 이와 같은 태스크를 구분하는 기능 또는 동작은 인공지능 모델에 의하여 학습될 수도 있다. 이와 같은 학습은, 예를 들어, 글래스 타입 웨어러블 디바이스(100) 자체에서 수행될 수도 있고 별도의 서버(예: 서버(320))를 통해 수행될 수도 있다. 본 문서의 일 실시예에 따르면, 제1 사용자의 오퍼레이션이 적어도 하나의 태스크 별로 구분되어 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장되는 기능 또는 동작은, 동작 420 이후에 또는 동시에 수행될 수 있다. 본 문서의 일 실시예에 따르면, 동작 420은, 미리 지정된 시간 주기에 따라, 또는 사용자의 요청에 따라 수행될 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 430에서, 제1 태스크의 현재 진행 상태와 제2 태스크의 현재 진행 상태의 차이를 식별할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 예를 들어, 사용자 1이 현재 썬 감자를 볶고 있고(예: 태스크 5를 수행 중이라고 판단된 경우), 사용자 2가 감자를 썰고 있다고 판단된 경우(예: 태스크 4를 수행 중이라고 판단된 경우), 각각의 사용자의 태스크 차이는 1이라고 판단할 수 있다. 다른 말로, 사용자 1이 사용자 2보다 더 빠르게 태스크를 수행 중이라고 판단할 수 있다. 본 문서의 일 실시예에 따르면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 사용자 1의 태스크의 수행 상태와 사용자의 2의 태스크의 수행 상태의 차이가 없는 경우(예: 서로 동일하게 감자를 썰고 있다고 판단된 경우)에는, 차이가 없다고 판단할 수도 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 440에서, 제1 태스크의 현재 진행 상태와 제2 태스크의 현재 진행 상태의 차이에 기반하여, 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로 제2 태스크에 대응하는 증강현실 가이드(520)가 제공되도록 하게 하기 위해 통신 모듈(예: 통신 회로(170))를 제어할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)(예: 프로세서(120))는, 글래스 타입 웨어러블 디바이스(100)(예: 메모리(140))에 저장된 태스크 4(예: 현재 사용자 2가 수행 중인 태스크)에 대한 가이드 영상이 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로 제공되도록 통신 모듈(예: 통신 회로(170))를 제어할 수 있다. 본 문서의 일 실시예에 따른 가이드 영상은, 카메라(예: 제1 카메라(111) 및/또는 제3 카메라(113))에 의해 촬영된 제1 사용자의 태스크 4 수행 영상 또는 태스크 4에 대한 파일럿(pilot) 영상(예: 시범 영상)을 포함할 수 있다. 본 문서의 일 실시예에 따른 증강현실 가이드(520)는, 도 5b에 도시된 바와 같이, 외부 전자 장치를 통해 가상 객체로서 표현될 수 있다. 본 문서의 일 실시예에 따른 증강현실 가이드(520)는, 특정한 태스크와 관련된 제1 안내 메시지(522)를 포함할 수 있다. 본 문서의 일 실시예에 따른 제1 안내 메시지(522)는, 제1 사용자가 특정한 태스크의 수행 중에 발화하였던 음성에 대응하는 메시지, 또는 파일럿 영상에 포함된 텍스트 메시지를 포함할 수 있다. 본 문서의 일 실시예에 따른 영상은, 동영상을 포함할 수 있다. 도 5c를 참조하면, 본 문서의 일 실시예에 따른 증강현실 가이드(520)는, 동영상이 아닌 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)로서 표현될 수도 있다. 예를 들면, 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))는, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로부터 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 표현하기 위한 커맨드를 수신할 수 있다. 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))는, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로부터 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 표현하기 위한 커맨드를 수신한 경우, 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 가상 객체로서 표현할 수 있다. 예를 들어, 외부 전자 장치가 시금치에 대한 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 표현하기 위한 커맨드를 수신한 경우, 외부 전자 장치는 획득된 주변 영상에서 시금치를 식별한 후, 시금치 주변에 정적인 시각 요소(530) 및/또는 제2 안내 메시지(532)를 가상 객체로서 표현할 수 있다. 본 문서의 일 실시예에 따른 정적인 시각 요소(530)를 제공하는 기능 또는 동작은, 예를 들면, 특정한 객체를 다른 객체와 구분이 가능할 수 있도록 특정한 객체 주변에 특정한 색상 및 형상을 가지는 시각적 요소(visual element)를 증강 현실 방식으로 제공하는 기능 또는 동작을 의미할 수 있다. 본 문서의 일 실시예에 따르면, 외부 전자 장치는 외부 전자 장치의 메모리에 저장된 참조 영상에 기반하여 특정한 객체(예: 시금치)를 주변 영상에서 구분할 수 있다. 또는, 본 문서의 일 실시예에 따르면, 이와 같은 특정한 객체를 구분하는 기능 또는 동작은 학습 알고리즘 또는 인공지능 모델에 의하여 수행될 수도 있다. 커맨드를 외부 전자 장치로 전송하기 위하여 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)에는, 특정한 태스크에 대한 영상과 함께, 영상에 대한 디스크립션(description)(예: "감자를 썬 후, 시금치를 써는 영상")이 함께 저장되어 있을 수 있다. 본 문서의 일 실시예에 따른 디스크립션은 영상에 포함된 음성 데이터(예: 사용자의 발화), 이미지 데이터(예: 시금치를 써는 사용자의 영상)를 기반으로 프로세서(120)에 의해 자동으로 생성될 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(예: 프로세서(120))는, 영상에 대한 디스크립션을 기반으로 커맨드를 생성하여 외부 전자 장치로 전송할 수 있다.
도 6은, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨에 따라 서로 상이한 증강현실 가이드(520)를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 7a는, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 높은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 제공되는 증강현실 가이드(520)를 설명하기 위한 예시 도면이다. 도 7b는, 본 문서의 일 실시예에 따른 제2 사용자의 태스크 수행 레벨이 상대적으로 낮은 경우에, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 제공되는 증강현실 가이드(520)를 설명하기 위한 예시 도면이다.
도 6을 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 610에서, 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로부터, 외부 전자 장치에 대응하는 태스크 수행 레벨(예: 제2 사용자의 태스크 수행 레벨)에 대한 정보를 획득할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 예를 들면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, "초급", "중급", "고급"의 3단계로 구성되는 레벨 중 어느 하나의 선택된 레벨에 대한 정보를 외부 전자 장치로부터 전송 받을 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 620에서, 획득된 태스크 수행 레벨에 대한 정보에 따라 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로 증강현실 가이드(520)가 제공될 수 있도록 통신 모듈(예: 통신 회로(170))를 제어할 수 있다. 도 7a를 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 증강현실 가이드(520)로서 제2 사용자의 현재 태스크에 대응하는 파일럿 영상을 제공할 수 있다. 도 7a에서는, 제2 사용자의 태스크 수행 레벨이 "고급"인 경우가 예시적으로 도시된다. 이 경우에는, 파일럿 영상으로서 글래스 타입 웨어러블 디바이스(예: 메모리(140)) 또는 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외장 메모리(미도시)에 저장된, 제2 사용자의 현재 태스크에 대응하는 파일럿 영상들 중에서 "고급" 레벨에 대응하는 파일럿 영상이 증강현실 가이드(520)로서 제공될 수 있다. 본 문서의 일 실시예에 따르면, 고급 레벨의 파일럿 영상은 "고급" 레벨에 맞는, 특정한 태스크와 관련된 제1 안내 메시지(522)를 포함할 수 있다.
도 7b를 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 증강현실 가이드(520)로서 제2 사용자의 현재 태스크에 대응하는 파일럿 영상을 제공할 수 있다. 도 7b에서는, 제2 사용자의 태스크 수행 레벨이 "초급"인 경우가 예시적으로 도시된다. 이 경우에는, 파일럿 영상으로서 글래스 타입 웨어러블 디바이스(예: 메모리(140)) 또는 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 외장 메모리(미도시)에 저장된, 제2 사용자의 현재 태스크에 대응하는 파일럿 영상들 중에서 "초급" 레벨에 대응하는 파일럿 영상이 증강현실 가이드(520)로서 제공될 수 있다. 본 문서의 일 실시예에 따르면, 초급 레벨의 파일럿 영상은 "초급" 레벨에 맞는, 특정한 태스크와 관련된 제1 안내 메시지(522)를 포함할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 태스크의 난이도(예: 위험성)에 따라 현재 태스크를 수행하지 않고 다음 태스크에 대응하는 파일럿 영상이 증강현실 가이드(520)로서 제공되도록 하는 안내 메시지가 증강현실 방식으로서 제공되도록 디스플레이 모듈(150)을 제어할 수 있다. 이를 위하여, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100) 또는 글래스 타입 웨어러블 디바이스(100)와 동작이 가능하도록 연결된 적어도 하나의 외부 전자 장치는 현재 제공되는 증강현실 가이드(520)의 난이도를 판단하는 기능 또는 동작을 수행할 수 있다.
도 8은, 본 문서의 일 실시예에 따른 증강현실 가이드(520)의 전송이 서버(320)에 의하여 수행되는 기능 또는 동작을 설명하기 위한 예시 도면이다.
도 8을 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 810에서, 제1 주변 영상을 획득할 수 있다. 본 문서의 일 실시예에 따른 외부 전자 장치(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))는, 동작 820에서, 서버(320)로, 제2 주변영상을 전송할 수 있다. 본 문서의 일 실시예에 따른 서버(320)는, 동작 830에서, 글래스 타입 웨어러블 디바이스(100)로, 제2 주변영상을 전송할 수 있다. 본 문서의 다른 실시예에 따르면, 동작 830은 생략될 수도 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 840에서, 제1 주변영상 및 제2 주변영상을 서버(320)로 전송할 수 있다. 다만, 본 문서의 다른 실시예에 따르면, 글래스 타입 웨어러블 디바이스(100)가 제2 주변영상을 서버(320)로 전송하는 동작은 생략될 수도 있다. 본 문서의 일 실시예에 따른 서버(320)는, 동작 850에서, 태스크를 식별할 수 있다. 본 문서의 일 실시예에 따른 서버(310)는, 서버(310)(예: 메모리(140))에 저장된 참조 영상(reference image)과 제1 주변 영상 및 제2 주변 영상 각각을 비교함으로써 현재 각각의 사용자가 수행 중인 태스크가 어떠한 태스크인지 여부를 식별할 수 있다. 예를 들어, 감자를 썰고 있는 참조 영상과 제2 주변 영상이 서로 대응되는 경우(예: 영상에서의 움직임 분석 결과가 정량적으로 오차 범위 내에 포함되는 경우), 서버(310)는 제2 사용자가 현재 감자를 썰고 있다고 판단할 수 있다. 본 문서의 일 실시예에 따른 서버(320)는, 동작 860에서, 진행상태의 차이를 식별할 수 있다. 본 문서의 일 실시예에 따른 서버(320)는, 예를 들어, 사용자 1이 현재 썬 감자를 볶고 있고(예: 태스크 5를 수행 중이라고 판단된 경우), 사용자 2가 감자를 썰고 있다고 판단된 경우(예: 태스크 4를 수행 중이라고 판단된 경우), 각각의 사용자의 태스크 차이는 1이라고 판단할 수 있다. 본 문서의 일 실시예에 따른 서버(320)는, 동작 870에서, 식별의 결과를 글래스 타입 웨어러블 디바이스(100)로 전송할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100)는, 동작 880에서, 서버(320)로 증강현실 가이드의 전송을 요청할 수 있다. 본 문서의 일 실시예에 따른 서버(320)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 증강현실 가이드를 전송할 수 있다. 다만, 본 문서의 다른 실시예에 따르면, 동작 870 및 880은 생략될 수 있으며, 동작 860 이후, 동작 890이 바로 수행될 수도 있다. 본 문서의 일 실시예에 따르면, 증강현실 가이드(520)는 서버(320)에 저장되어 있을 수 있다. 이를 위하여, 본 문서의 일 실시예에 따른 서버(320)는, 글래스 타입 웨어러블 디바이스(100)로부터, 글래스 타입 웨어러블 디바이스(100)에 의해 획득된 영상에 대한 정보를 실시간으로 또는 특정한 시점에 수신할 수 있다.
도 9는, 본 문서의 일 실시예에 따른 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스(310)에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 10은, 본 문서의 일 실시예에 따른 제1 사용자에 의하여 선택된 객체를 제2 사용자의 글래스 타입 웨어러블 디바이스(310)가 식별하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 11a는, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)가, 태스크의 수행에 필요한 객체의 위치를 제2 사용자의 글래스 타입 웨어러블 디바이스(310)에 연결된 주변 기기에 의해 획득된 영상을 이용하여 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 11b는, 본 문서의 일 실시예에 따른 태스크의 수행에 필요한 객체가 제2 사용자의 글래스 타입 웨어러블 디바이스(310) 및 제2 사용자의 글래스 타입 웨어러블 디바이스(310)에 연결된 주변 기기 주변에 존재하지 않을 경우에 표현되는 증강현실 가이드(520)를 설명하기 위한 예시 도면이다.
도 9를 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 910에서, 적어도 하나의 센서를 통해 주변 영상을 획득하고 있는 동안에, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작이 가능하도록 연결된 제1 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 제2 주변 영상을 획득할 수 있다. 도 10을 참조하면, 제1 사용자는 도 1에 도시된 바와 같이 식칼을 선택하였을 수 있으며, 이와 같은 영상이 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 획득되어 전송될 수 있다. 본 문서의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송된 제1 주변 영상은 가상 객체로서 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 표현될 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 920에서, 획득된 제2 주변 영상을 이용하여 제1 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))의 사용자에 의하여 선택된 제1 객체를 식별할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 사용자의 손을 식별하고, 사용자의 손이 어느 물체와 접촉하였는지 및 접촉한 물체에 움직임이 있는지 여부를 기준으로 특정한 객체가 선택되었는지 여부를 식별할 수 있다. 또한, 본 문서의 일 실시예에 따르면, 특정한 객체는 학습 알고리즘/인공지능 모델에 의한 방식, 또는 특정한 객체로부터 특징점을 추출하고 미리 저장된 참조 영상과의 비교를 통한 방식을 이용하여 특정한 객체가 어떠한 객체인지 여부가 식별될 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 930에서, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있는지 여부를 판단할 수 있다. 본 문서의 일 실시예에 따른 제2 객체는 제1 객체와 실질적으로 동일한 유형의 객체(예: 식칼)을 의미할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 다양한 이미지 분석 기법을 이용하여 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있는지 여부를 판단할 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 940에서, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있지 않은 경우, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치에 의하여 획득된 제3 주변 영상에 제2 객체가 포함되어 있는지 여부를 판단할 수 있다. 본 문서의 다른 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치로부터 전송된 객체 위치 정보에 기반하여, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제2 객체가 제2 외부 전자 장치의 내부에 또는 제2 외부 전자 장치 주변에 위치하는지 여부를 식별할 수 있다. 예를 들어, 제2 외부 전자 장치가 냉장고(312)인 경우, 냉장고(312)는 냉장고(312)에 저장된 음식물 정보를 알고 있을 수 있으며, 제1 사용자에 의하여 선택된 객체가 시금치인 경우, 제3 주변 영상을 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송하는 것이 아니라, 시금치가 냉장고(312)에 존재하는지 여부에 대한 정보(예: 객체 위치 정보)를 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송할 수 있다. 이에 따라, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자에 의하여 선택된 객체가 냉장고(312)에 존재하는지 여부를 확인할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있지 않은 경우, 제2 객체의 위치를 확인하기 위하여, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치(예: 냉장고(312))에 대해서, 식별된 제1 객체와 대응하는 제2 객체의 위치 정보의 전송을 요청할 수 있다. 또한, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 식별된 제1 객체와 대응하는 제2 객체가 제1 주변 영상에 포함되어 있지 않은 경우, 제2 객체의 위치를 확인하기 위하여, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 동작 가능하도록 연결된 제2 외부 전자 장치(예: 냉장고(312), 스마트 폰(314))에 대해서, 제2 외부 전자 장치에 의해 획득된 영상(예: 제3 주변 영상)의 제공을 요청할 수 있다. 예를 들어, 제2 외부 전자 장치가 냉장고(312)인 경우, 냉장고(312)의 내부를 촬영한 영상(예: 냉장고의 내부에 위치한 카메라에 의해 획득된 영상)과 외부를 촬영한 영상(예: 냉장고의 외부에 위치한 카메라에 의해 획득된 영상) 중 적어도 하나의 영상이 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송될 수 있다. 예를 들어, 제2 외부 전자 장치가 스마트 폰(314)인 경우, 스마트 폰(314)의 전면 카메라와 후면 카메라에 의하여 획득된 영상 중 적어도 하나의 영상이 제2 사용자의 글래스 타입 웨어러블 디바이스(310)로 전송될 수 있다. 본 문서의 일 실시예에 따르면, 제2 외부 전자 장치가 영상을 촬영하고 있는지 여부를 확인하는 확인 요청 메시지를 제2 외부 전자 장치에 의해 획득된 영상(예: 제3 주변 영상)의 제공을 요청하기 전에 전송할 수도 있다. 이 경우, 제2 외부 전자 장치가 영상을 촬영하고 있지 않다는 메시지가 수신되면 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제2 사용자의 선택에 따라 또는 자동적으로, 영상의 촬영을 요청하는 메시지를 제2 외부 전자 장치로 전송할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제1 사용자에 의하여 선택된 객체의 타입에 따라 영상의 제공을 요청할 제2 외부 전자 장치를 순차적으로 선택할 수 있다. 다른 말로, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 검색 대상인 객체의 종류에 따라 검색 장치를 우선적으로 선택할 수 있다. 예를 들어, 제1 사용자에 의하여 선택된 객체(예: 검색 대상인 객체)가 식칼인 경우, 식칼은 주방에 위치하는 경우가 많기 때문에, 주방에 위치한 냉장고(312)(예: 검색 장치)에 대해서 우선적으로 영상 제공 요청을 전송할 수 있다. 또는, 제1 사용자에 의하여 선택된 객체가 시금치인 경우, 시금치는 음식으로서 냉장고(312)에 위치하는 경우가 많기 때문에, 주방에 위치한 냉장고(312)(예: 검색 장치)에 대해서 우선적으로 영상 제공 요청을 전송할 수 있다. 본 문서의 일 실시예에 따르면, 제2 외부 전자 장치의 위치에 대한 정보는 제2 사용자의 글래스 타입 웨어러블 디바이스(310)가 미리 알고 있거나, 제2 외부 전자 장치에 대한 위치 제공 요청 메시지의 전송 및 이에 대한 응답을 통해 알고 있을 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 냉장고(312)로부터 전송된 영상에 특정한 객체(예: 식칼)가 없는 경우, 다른 제2 외부 전자 장치로 영상 전송 요청을 전송할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제2 외부 전자 장치가 특정한 객체의 존재 여부를 판단하도록 요청하는 요청 메시지를 전송할 수도 있다. 이 경우, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 특정한 객체에 대한 정보를 제2 외부 전자 장치(예: 스마트 폰(314))로 전송할 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 950에서, 동작 940의 판단의 결과에 기반하여, 증강현실 가이드를 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제공할 수 있다. 본 문서의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제2 외부 전자 장치로부터 획득한 영상의 분석 결과 특정한 객체가 영상에 존재하는 경우, 제1 사용자가 선택한 객체에 대한 위치 정보를 나타내는 증강현실 가이드(520)를 가상 객체로서 표현할 수 있다. 예를 들어, 도 11a에 도시된 바와 같이, 스마트 폰(314)에 의하여 획득된 영상에 식칼이 포함되어 있는 경우, 스마트 폰(314)에 의하여 획득된 영상과 함께, 안내 메시지(예: "칼이 식탁 위에 있습니다")를 포함하는 증강현실 가이드(520)를 제공할 수 있다. 그러나, 본 문서의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는 제2 외부 전자 장치로부터 획득한 영상의 분석 결과 특정한 객체가 영상에 존재하지 않는 경우, 특정한 객체가 존재하지 않는다는 안내 메시지를 포함하는 증강현실 가이드(520)를 제공할 수 있다. 이 경우, 사용자에 의한 가상의 터치 또는 글래스 타입 웨어러블 디바이스(310)에 의해 제공되는 터치패드에 의한 터치를 통해 선택될 수 있는 선택 메뉴가 함께 제공될 수 있다.
도 12는, 본 문서의 일 실시예에 따른 태스크의 수행이 완료된 경우, 글래스 타입 웨어러블 디바이스(100, 310)와 동작 가능하도록 연결된 다른 디바이스(예: 스마트 폰(314)를 통해 태스크의 수행이 완료되었음을 나타내는 메시지를 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 13은, 본 문서의 일 실시예에 따른 도 12에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 12를 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1210에서, 적어도 하나의 센서(예: 제1 카메라(111), 제3 카메라(113))를 이용하여 획득된 주변 영상을 이용하여 태스크의 완료를 식별할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)(예: 프로세서(120)는, 글래스 타입 웨어러블 디바이스(100, 310)(예: 메모리(140))에 저장된 참조 영상과 주변 영상을 비교함으로써 현재 각각의 사용자가 수행 중인 태스크가 완료되었는지 여부를 식별할 수 있다. 예를 들어, 감자를 썰고 있는 참조 영상과 주변 영상의 대응(예: 영상에서의 움직임 분석 결과가 정량적으로 오차 범위 내에 포함되는 경우)이 완료된 후 지정된 시간이 경과한 경우, 지정된 시간이 경과하기 전에 감자를 써는 태스크가 완료되었다고 판단할 수 있다. 이와 같은 태스크의 완료를 식별하는 기능 또는 동작은 인공지능 모델에 의하여 학습될 수도 있다. 이와 같은 학습은, 예를 들어, 글래스 타입 웨어러블 디바이스(100) 자체에서 수행될 수도 있고 별도의 서버(예: 서버(310))를 통해 수행될 수도 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1220에서, 식별된 태스크의 완료에 기반하여, 글래스 타입 웨어러블 디바이스(100)와 동작 가능하도록 연결된 외부 전자 장치(예: 스마트 폰(314))로 진행 과정에 대한 정보를 전송할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)(예: 메모리(140))에는, 특정한 오퍼레이션에 대한 전체 과정(예: 복수의 태스크들)이 저장되어 있을 수 있다. 또는, 다른 전자 장치로부터 전체 과정에 대한 정보를 제공받을 수도 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)은, 감자를 써는 태스크가 전체 오퍼레이션의 40%에 해당된다면(예: 감자를 써는 태스크가 5개의 태스크들로 구성된 태스크들 중 2번째 태스크), 이에 대한 정보를 글래스 타입 웨어러블 디바이스(100)와 동작 가능하도록 연결된 외부 전자 장치(예: 스마트 폰(314))로 전송할 수 있다. 본 문서의 일 실시예에 따른 외부 전자 장치(예: 스마트 폰(314))은, 수신된 정보에 기반하여 현재 진행 과정에 대한 정보(예: "전체 과정 중 40% 완료 되었습니다")를 디스플레이 할 수 있다. 본 문서의 일 실시예에 따르면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 연결된 제2 외부 전자 장치(예: 냉장고(312))의 내부 카메라에 의하여 촬영된 영상을 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로 전송하여 대체재를 추천 받을 수도 있다. 또한, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 연결된 제2 외부 전자 장치(예: 스마트 폰(314) 또는 스마트 워치)으로 지정된 영상 또는 정보(예: 조리에 필요한 시간)를 전송하도록 설정될 수도 있다. 이를 위하여, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)와 연결된 제2 외부 전자 장치(예: 스마트 폰(314) 또는 스마트 워치)와 동작 가능하도록 연결되어 있을 수 있다.
도 14는, 본 문서의 일 실시예에 따른 태스크를 수행하는 과정에서, 특정한 객체에 대한 위치 변화 및 형태 변화에 기반하여 증강현실 가이드를 제공하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 15a 내지 도 17은, 도 14에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 14를 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 1410에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 위치의 변화가 검출된 객체와 대응하는 객체에 대한 시각적 강조 효과를 제공할 수 있다. 도 15a 및 도 15b를 참조하면, 제1 사용자가 특정한 객체(예: 가위)를 들고 꽃을 자르는 태스크를 수행하는 도면이 예시적으로 도시된다. 이 경우, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)를 통해, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)에 의해 촬영된 영상이 증강현실 가이드(520)로 제공될 수 있다. 도 15c 및 도 15d를 참조하면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제1 사용자의 글래스 타입 웨어러블 디바이스(100)에 의해 촬영된 영상이 증강현실 가이드(520)로 제공될 수 있다. 또한, 본 문서의 일 실시예에 따르면, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)에 의해 촬영된 영상이 증강현실 가이드(520)로서 제공되는 중에, 제2 시각 요소(1530)이 제2 사용자의 글래스 타입 웨어러블 디바이스(1530)를 통해 제공될 수 있다. 본 문서의 일 실시예에 따른 제2 시각 요소(1530)는 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 위치의 변화가 검출된 객체와 대응하는 객체 주변에 제공될 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 1420에서, 시각적 강조 효과를 제공하는 동안에, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 특정한 객체에 대한 형태 변화가 검출된 경우, 형태가 변화된 특정한 객체에 대한 가상 영상을 제공할 수 있다. 도 15e를 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 획득된 영상에서 형태의 변화가 발생된 객체(예: 꽃)를 식별할 수 있다. 이 경우, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 형태가 변화된 특정한 객체에 대한 제2 가상 영상(1540)을 제공할 수 있다. 본 문서의 일 실시예에 따른 제2 가상 영상(1540)은, 형태의 변화가 반영된 가상 영상을 포함할 수 있다.
도 16을 참조하면, 본 문서의 일 실시예에 따른 제1 사용자가 제1 객체(1610)(예: 브로콜리)를 선택하면, 가상 객체로서 제1 객체(1610)에 대응하는 제3 객체(1620a)가 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제공될 수 있다. 본 문서의 제2 객체(1620)는 제1 객체(1610)와 실질적으로 동일한 객체일 수 있다. 본 문서의 일 실시예에 따라 제1 사용자가 제1 객체(1610)에 대해 형태의 변형을 가하게 되면, 제3 객체(1620a)의 형태에도 동일하게 변형이 적용되어 제공될 수 있다.
도 17에서는, 제1 사용자가 제2 사용자에게 뜨개질을 가르쳐주는 실시예가 예시적으로 도시된다. 도 17을 참조하면, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해, 움직임이 발생된 제4 객체(1710)에 대해서 제3 시각 요소(1710)가 제공될 수 있다. 또한, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)에 의하여 획득된 영상이 증강현실 가이드(520)로서 제2 사용자의 글래스 타입 웨어러블 디바이스(310)를 통해 제공될 수 있다.
도 18은, 본 문서의 일 실시예에 따른 태스크의 진행 상태를 나타내는 증강현실 가이드를 표현하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 19a 및 도 19b는, 도 18에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면들이다.
도 18을 참조하면, 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1810에서, 적어도 하나의 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310))로부터, 적어도 하나의 외부 전자 장치에 의해 획득된 주변 영상을 수신할 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1820에서, 수신된 주변 영상을 이용하여, 적어도 하나의 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310))의 사용자가 수행 중인 태스크(예: 진행 상황)를 식별할 수 있다. 본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 본 문서에서 상술한 다양한 방식들을 이용하여 적어도 하나의 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100) 또는 제2 사용자의 글래스 타입 웨어러블 디바이스(310))의 사용자가 수행 중인 태스크(예: 진행 상황)를 식별할 수 있다. 예를 들면, 글래스 타입 웨어러블 디바이스(310)(예: 메모리(140))에 저장된 오퍼레이션 수행 영상과 사용자의 현재 수행 영상을 비교하여 현재 사용자의 진행 상황이 어느 정도 되는지 여부를 판단하는 방식으로서 수행 중인 태스크(예: 진행 상황)를 식별할 수 있다.
본 문서의 일 실시예에 따른 글래스 타입 웨어러블 디바이스(100, 310)는, 동작 1830에서, 식별된 태스크를 이용하여 현재 진행 상태를 가상 객체로서 표시할 수 있다. 도 19a를 참조하면, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 각각의 사용자의 태스크의 현재 진행 상황을 나타내는 인디케이터(예: 제1 인티케이터(1942), 제2 인디케이터(1944), 제3 인디케이터(1946), 제4 인디케이터(1948))를 포함하는 상태 바(1940)를 가상 객체로서 제공할 수 있다. 또한, 본 문서의 일 실시예에 따른 제1 사용자의 글래스 타입 웨어러블 디바이스(100)는, 적어도 하나의 외부 전자 장치로부터 획득한 영상(예: 제1 주변 영상(1910), 제2 주변 영상(1920), 제3 주변 영상(1930))을 가상 객체로서 제공할 수 있다. 본 문서의 일 실시예에 따르면, 상태 바(1940)에 대한 가상 터치 입력을 통해, 가이드 영상(예: 메모리(140)에 저장된 파일럿 영상)을 가상 객체로서 재생할 수도 있다. 도 19b를 참조하면, 본 문서의 일 실시예에 따른 제2 글래스 타입 웨어러블 디바이스(310)는, 증강현실 가이드(520)(예: 파일럿 영상)를 제공할 수 있다. 본 문서의 일 실시예에 따른 제2 글래스 타입 웨어러블 디바이스(310)는, 적어도 하나의 인디케이터(예: 제3 인디케이터(1946) 및 제4 인디케이터(1948))를 포함하는 상태 바(1940)를 가상 객체로서 제공할 수 있다.
도 20은, 본 문서의 일 실시예에 따른 제1 사용자의 음성 피드백을 기반으로 제2 사용자의 글래스 타입 웨어러블 디바이스를 통해 표현된 증강현실 가이드를 제어하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 21은, 도 20에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 20을 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2010에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))에 의하여 획득된 제1 주변 영상을 이용하여, 외부 전자 장치의 사용자에 의하여 선택된 제1 객체(예: 제4 객체(2110))를 식별할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 본 문서에서 설명된 다양한 방식들을 이용하여 외부 전자 장치의 사용자에 의하여 선택된 제1 객체(예: 제4 객체(2110))를 식별할 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2020에서, 글래스 타입 웨어러블 디바이스(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))에 의하여 획득된 제2 주변 영상을 이용하여, 식별된 제1 객체와 대응하는 제2 객체(예: 제5 객체(2120))를 식별할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2030에서, 식별된 제2 객체(예: 제5 객체(2120))에 대한 가상 영상을 표시할 수 있다. 예를 들면, 도 21에 도시된 바와 같이, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 식별된 제2 객체(예: 제5 객체(2120))에 대한 증강현실 가이드(520)를 제공할 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2040에서, 제1 주변 영상을 기반으로, 제1 객체(예: 제4 객체(2110))에 대한 변형을 식별할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2050에서, 식별된 변형에 대응하도록 제2 객체(예: 제5 객체(2120))에 대한 가상 영상의 형상을 변형할 수 있다. 예를 들면, 도 21에 도시된 바와 같이, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자가 제4 객체(2110)를 접음을 식별하면, 증강현실 가이드(520)로서 제공된 가상 객체의 형상도 제4 객체(2110)의 접힘에 대응하도록 변형하여 제공할 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2060에서, 가상 영상의 형상이 변형된 상태에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))의 사용자로부터 음성 피드백을 수신할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2070에서, 수신된 음성 피드백을 기반으로, 변형된 가상 영상의 형상을 재 변형할 수 있다. 예를 들어, 도 21을 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 음성 피드백으로서 "사용자 B는 3등분해서 접으세요"라는 피드백을 수신할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 이와 같은 음성 피드백을 분석하여 증강현실 가이드(520)를 생성하여 제공할 수도 있고, 외부 전자 장치(예: 서버(320) 또는 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 증강현실 가이드(520)에 대한 정보를 수신하여 제공할 수도 있으며, 제2 사용자의 글래스 타입 웨어러블 디바이스(310)에 저장된 가이드들 중에서 음성 피드백에 대응하는 가이드를 선택하여 제공할 수도 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 도 21에 도시된 바와 같이, 사용자의 음성 피드백에 대응하는 증강현실 가이드(520)를 제공할 수 있다.
도 22는, 본 문서의 일 실시예에 따른 제1 사용자의 음성 피드백에 따라 제1 증강현실 알림을 표시하고, 제1 사용자의 확인 응답에 따라 제2 증강현실 알림을 표시하는 기능 또는 동작을 설명하기 위한 예시 도면이다. 도 22는, 도 21에 설명된 기능 또는 동작을 사용자 경험 관점에서 표현한 예시 도면이다.
도 22를 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2210에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 음성 피드백을 수신할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2220에서, 수신된 음성 피드백을 기반으로 제1 증강현실 알림을 표시할 수 있다. 도 23을 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 제1 사용자로부터 음성 데이터로서 음성 피드백(예: "중요해요")을 수신하면, 음성 피드백의 의미를 분석할 수 있다. 본 문서의 일 실시예에 따른 음성 피드백의 의미가 중요함을 나타내는 의미이거나, 음성 피드백 자체가 미리 지정된 음성 데이터와 대응되는 경우, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)(예: 프로세서(120))는, 제6 객체(2310)와 대응하는 제7 객체(2320)에 대한 가상 객체(2340) 주변에 제1 증강현실 알림(2342)을 제공할 수 있다.
본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2230에서, 증강현실 알림을 표시한 상태에서, 글래스 타입 웨어러블 디바이스(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))에 의해 획득된 주변 영상을 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로 전송할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2240에서, 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로부터 확인 응답을 수신할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 동작 2250에서, 확인 응답의 수신에 기반하여, 제2 증강현실 알림을 표시할 수 있다. 도 23을 참조하면, 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자의 확인을 받기 위하여 글래스 타입 웨어러블 디바이스(예: 제2 사용자의 글래스 타입 웨어러블 디바이스(310))에 의해 획득된 주변 영상을 외부 전자 장치(예: 제1 사용자의 글래스 타입 웨어러블 디바이스(100))로 전송할 수 있다. 본 문서의 일 실시예에 따른 제2 사용자의 글래스 타입 웨어러블 디바이스(310)는, 제1 사용자의 글래스 타입 웨어러블 디바이스(100)로부터 확인 응답을 수신하게 되면, 제1 사용자의 확인을 받았음을 나타내는 제2 증강현실 알림(2344)을 제공할 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 글래스 타입 웨어러블 디바이스(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(140))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 글래스 타입 웨어러블 디바이스(100))의 프로세서(예: 프로세서(140))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 문서의 일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
Claims (20)
- 글래스 타입 웨어러블 디바이스에 있어서,
통신 모듈;
적어도 하나의 카메라, 및
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
상기 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하고,
상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하고,
상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하고,
상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하도록 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제1항에 있어서,
상기 글래스 타입 웨어러블 디바이스는, 적어도 하나의 메모리를 더 포함하고,
상기 적어도 하나의 메모리는, 상기 제1 태스크 및 상기 제2 태스크를 포함하는 오퍼레이션(operation)에 대한 정보를 저장하도록 설정되고,
상기 오퍼레이션은, 복수의 태스크들로 구분되어 상기 적어도 하나의 메모리에 저장되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제1항에 있어서,
상기 글래스 타입 웨어러블 디바이스는, 디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 획득된 제2 태스크에 대한 영상이 상기 글래스 타입 웨어러블 디바이스를 통해 가상 객체로서 표현되도록 하게 하기 위해 상기 디스플레이를 제어하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제1항에 있어서,
상기 적어도 하나의 프로세서는, 상기 증강현실 가이드에 대한 정보가 저장되어 있는 서버로부터 상기 증강현실 가이드에 대한 정보가 상기 외부 전자 장치로 전송되도록 하게 하기 위해, 상기 증강현실 가이드에 대한 정보의 전송 요청이 상기 서버로 전송되도록 상기 통신 모듈을 제어하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제1항에 있어서,
상기 증강현실 가이드는, 상기 제2 태스크에 대한 파일럿(pilot) 영상을 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제5항에 있어서,
상기 파일럿 영상은, 상기 외부 전자 장치에 대응하는 태스크 수행 레벨에 따라 상이하게 상기 외부 전자 장치로 제공되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제6항에 있어서,
상기 적어도 하나의 프로세서는, 상기 통신 모듈을 통해, 상기 외부 전자 장치로부터 상기 외부 전자 장치에 대응하는 상기 태스크 수행 레벨에 대한 정보를 수신하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 글래스 타입 웨어러블 디바이스에 있어서,
통신 모듈;
적어도 하나의 카메라, 및
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
상기 적어도 하나의 카메라를 통해 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 제1 외부 전자 장치로부터 제2 주변 영상을 획득하고,
상기 획득된 제2 주변 영상을 이용하여 상기 제1 외부 전자 장치의 사용자에 의하여 선택된 제1 객체를 식별하고,
상기 식별된 제1 객체와 대응하는 제2 객체가 상기 제1 주변 영상에 포함되어 있는지 여부를 판단하고,
상기 식별된 제1 객체와 대응하는 객체가 상기 제1 주변 영상에 포함되어 있지 않은 경우, 상기 글래스 타입 웨어러블 디바이스와 동작 가능하도록 연결된 제2 외부 전자 장치에 의하여 획득된 제3 주변 영상에 상기 제2 객체가 포함되어 있는지 여부를 판단하고,
상기 판단의 결과에 기반하여, 증강현실 가이드를 상기 글래스 타입 웨어러블 디바이스를 통해 제공하도록 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제8항에 있어서,
상기 적어도 하나의 프로세서는, 상기 제2 객체의 타입에 따라 상기 제2 외부 전자 장치를 선택하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제9항에 있어서,
상기 적어도 하나의 프로세서는, 상기 제2 외부 전자 장치에 상기 제2 객체가 존재하지 않는 경우, 상기 글래스 타입 웨어러블 디바이스와 연결된 다른 외부 전자 장치를 선택하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제8항에 있어서,
상기 글래스 타입 웨어러블 디바이스는, 디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 제3 주변 영상에 상기 제2 객체가 포함되어 있다고 판단된 경우, 상기 제3 주변 영상 상에 상기 제2 객체의 위치를 표시하여 상기 글래스 타입 웨어러블 디바이스를 통해 증강현실로서 표현되도록 상기 디스플레이를 제어하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제8항에 있어서,
상기 글래스 타입 웨어러블 디바이스는, 디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 제3 주변 영상에 상기 제2 객체가 포함되어 있지 않다고 판단된 경우, 상기 제2 객체와 대체 가능한 객체에 대한 정보가 상기 글래스 타입 웨어러블 디바이스를 통해 증강현실로서 표현되도록 상기 디스플레이를 제어하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 제8항에 있어서,
상기 글래스 타입 웨어러블 디바이스는, 디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 획득된 제2 주변 영상을 증강현실로서 표현하기 위하여 상기 디스플레이를 제어하도록 더 설정된 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스. - 글래스 타입 웨어러블 디바이스를 제어하는 방법에 있어서,
상기 글래스 타입 웨어러블 디바이스의 적어도 하나의 카메라를 이용하여 상기 글래스 타입 웨어러블 디바이스의 제1 주변 영상을 획득하고 있는 동안에, 상기 글래스 타입 웨어러블 디바이스와 동작이 가능하도록 연결된 외부 전자 장치로부터 상기 글래스 타입 웨어러블 디바이스의 통신 모듈을 통해 상기 외부 전자 장치에 의해 획득된 상기 외부 전자 장치의 제2 주변 영상을 수신하는 과정과,
상기 제1 주변 영상을 이용하여 상기 글래스 타입 웨어러블 디바이스의 사용자가 수행 중인 제1 태스크(task)를 식별하고, 상기 제2 주변 영상을 이용하여 상기 외부 전자 장치의 사용자가 수행 중인 제2 태스크를 식별하는 과정과,
상기 제1 태스크의 현재 진행 상태(current progress status)와 상기 제2 태스크의 현재 진행 상태의 차이를 식별하는 과정과,
상기 식별된 현재 진행 상태의 차이에 기반하여, 상기 외부 전자 장치로 상기 제2 태스크에 대응하는 증강현실(AR) 가이드가 제공되도록 하게 하기 위해 상기 통신 모듈을 제어하는 과정을 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법. - 제14항에 있어서,
상기 글래스 타입 웨어러블 디바이스는, 적어도 하나의 메모리를 더 포함하고,
상기 적어도 하나의 메모리는, 상기 제1 태스크 및 상기 제2 태스크를 포함하는 오퍼레이션(operation)에 대한 정보를 저장하도록 설정되고,
상기 오퍼레이션은, 복수의 태스크들로 구분되어 상기 적어도 하나의 메모리에 저장되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법. - 제14항에 있어서,
상기 글래스 타입 웨어러블 디바이스는, 디스플레이를 더 포함하고,
상기 획득된 제2 태스크에 대한 영상이 상기 글래스 타입 웨어러블 디바이스를 통해 가상 객체로서 표현되도록 하게 하기 위해 상기 디스플레이를 제어하는 과정을 더 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법. - 제14항에 있어서,
상기 증강현실 가이드에 대한 정보가 저장되어 있는 서버로부터 상기 증강현실 가이드에 대한 정보가 상기 외부 전자 장치로 전송되도록 하게 하기 위해, 상기 증강현실 가이드에 대한 정보의 전송 요청이 상기 서버로 전송되도록 상기 통신 모듈을 제어하는 과정을 더 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법. - 제14항에 있어서,
상기 증강현실 가이드는, 상기 제2 태스크에 대한 파일럿(pilot) 영상을 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법. - 제18항에 있어서,
상기 파일럿 영상은, 상기 외부 전자 장치에 대응하는 태스크 수행 레벨에 따라 상이하게 상기 외부 전자 장치로 제공되는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법. - 제19항에 있어서,
상기 통신 모듈을 통해, 상기 외부 전자 장치로부터 상기 외부 전자 장치에 대응하는 상기 태스크 수행 레벨에 대한 정보를 수신하는 과정을 더 포함하는 것을 특징으로 하는, 글래스 타입 웨어러블 디바이스를 제어하는 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210094398A KR20230013532A (ko) | 2021-07-19 | 2021-07-19 | 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 |
| EP22845998.8A EP4283377A4 (en) | 2021-07-19 | 2022-03-29 | GLASSES-TYPE WEARABLE DEVICE WITH AUGMENTED REALITY GUIDANCE AND METHOD FOR CONTROLLING THE SAME |
| PCT/KR2022/004448 WO2023003126A1 (ko) | 2021-07-19 | 2022-03-29 | 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 |
| US17/867,077 US12039096B2 (en) | 2021-07-19 | 2022-07-18 | Glasses-type wearable device providing augmented reality guide and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210094398A KR20230013532A (ko) | 2021-07-19 | 2021-07-19 | 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230013532A true KR20230013532A (ko) | 2023-01-26 |
Family
ID=84980192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210094398A KR20230013532A (ko) | 2021-07-19 | 2021-07-19 | 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230013532A (ko) |
| WO (1) | WO2023003126A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665985B2 (en) * | 2014-08-15 | 2017-05-30 | Daqri, Llc | Remote expert system |
| KR102560689B1 (ko) * | 2017-09-26 | 2023-07-28 | 삼성전자주식회사 | Ar 객체를 표시하기 위한 장치 및 방법 |
| KR102583682B1 (ko) * | 2019-03-14 | 2023-10-04 | 삼성전자주식회사 | 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법 |
| KR102579700B1 (ko) * | 2019-06-03 | 2023-09-18 | 삼성전자주식회사 | 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치 |
| US11270114B2 (en) * | 2019-08-30 | 2022-03-08 | Lg Electronics Inc. | AR device and method for controlling the same |
-
2021
- 2021-07-19 KR KR1020210094398A patent/KR20230013532A/ko active Search and Examination
-
2022
- 2022-03-29 WO PCT/KR2022/004448 patent/WO2023003126A1/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023003126A1 (ko) | 2023-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9213405B2 (en) | Comprehension and intent-based content for augmented reality displays | |
| EP3008567B1 (en) | User focus controlled graphical user interface using an head mounted device | |
| KR102300390B1 (ko) | 착용식 식품 영양 피드백 시스템 | |
| US20130007668A1 (en) | Multi-visor: managing applications in head mounted displays | |
| US12039096B2 (en) | Glasses-type wearable device providing augmented reality guide and method for controlling the same | |
| CN105009039A (zh) | 使用imu的直接全息图操纵 | |
| JP2017513093A (ja) | 注視の検出を介した遠隔デバイスの制御 | |
| US11947728B2 (en) | Electronic device for executing function based on hand gesture and method for operating thereof | |
| EP4430464A1 (en) | Dynamic content presentation for extended reality systems | |
| KR20220067964A (ko) | 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치 | |
| US20220280037A1 (en) | Ophthalmic imaging using a head-worn device | |
| KR20230013532A (ko) | 증강현실 가이드를 제공하는 글래스 타입 웨어러블 디바이스 및 그 제어 방법 | |
| KR20240009984A (ko) | 전자 안경류 디바이스로부터 맥락에 맞는 시각 및 음성 검색 | |
| WO2022187824A1 (en) | Ophthalmic imaging using a head-worn device | |
| US20240143267A1 (en) | Electronic device for using external device in metaverse and method thereof | |
| KR20230070990A (ko) | 트리거 이벤트에 따라 적어도 하나의 상대방 디바이스와 통신을 수행하는 웨어러블 디바이스 및 그 제어 방법 | |
| US20240203067A1 (en) | Wearable device, method, and non-transitory computer readable storage medium providing graphic region | |
| US20240134492A1 (en) | Digital assistant interactions in extended reality | |
| KR20240030881A (ko) | 가상 컨텐츠 출력 방법 및 이를 지원하는 전자장치 | |
| US12111463B2 (en) | Head-mounted display apparatus and operating method thereof | |
| KR20240062980A (ko) | 메타버스에서 외부 장치를 사용하는 전자 장치 및 이의 제어 방법 | |
| US20220374040A1 (en) | Wearable electronic device and external electronic device accommodating wearable electronic device | |
| KR20240025383A (ko) | 증강 현실 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치 | |
| KR20230065049A (ko) | 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법 | |
| KR20240028880A (ko) | 원격 제어 장치를 이용하여 외부 전자 장치를 제어하기 위한 방법 및 이를 지원하는 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |