KR20210069281A - Xr 디바이스 및 그 제어 방법 - Google Patents

Abstract

본 발명은 XR 디바이스 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI (Artificial Intelligence) 기술 분야에도 모두 적용 가능하다.

Description

XR 디바이스 및 그 제어 방법{EXTENDED REALITY DEVICE AND METHOD FOR CONTROLLING THE SAME}

본 발명은 XR 디바이스 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI (Artificial Intelligence) 기술 분야에도 모두 적용 가능하다.

VR (Virtual Reality) 기술은 현실 세계의 객체나 배경 등을 CG (Computer Graphic) 영상으로만 제공하고, AR (Augmented Reality) 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR (Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 전술한 VR, AR, MR 등을 모두 간단히 XR (extended reality) 기술로 지칭하기도 한다.

특히, 최근에는 XR 기술을 이용하여 사용자에게 가상의 서비스를 적용하고 있다. 예를 들어, 매장이나 집에 설치된 XR 디바이스는 스크린에 가상 아바타를 디스플레이 한다.

그러나, 매장에 설치된 XR 디바이스의 스크린은 대형 화면인데, 가상의 아바타 생성을 위해 사용되는 카메라는 상기 스크린의 일측면에 설치된다. 따라서, XR 디바이스의 스크린에 설치된 카메라만으로는 사용자의 얼굴을 여러 각도에서 촬영하는 것이 불가능하였다. 또한, 사용자의 얼굴을 정확하게 캡쳐하지 못하면, 가상 아바타의 얼굴이 실제 사용자와 많이 달라진다는 문제점이 있었다.

물론, 여러대의 카메라를 사용하거나 화각이 넓은 카메라를 사용하는 것도 고려할 수 있으나, 비용이 기하급수적으로 증가하는 문제가 있었다.

본 발명의 일실시예는, XR 디바이스의 스크린의 사이즈와 관계 없이 사용자의 얼굴을 정확하게 인식하는 기술을 제공한다.

본 발명의 다른 일실시예는, XR 디바이스의 임의에 위치에 설치된 하나의 카메라만으로 사용자의 얼굴을 다각도로 촬영할 수 있는 기술을 제공한다.

그리고, 본 발명의 또 다른 일실시예는, XR 디바이스에서 가상 아바타를 생성하는 과정에서 발생할 수 있는 에러 가능성을 최소화 하고자 한다.

다만, 전술한 목적만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 목적으로 본 발명의 권리범위가 확장될 수 있다.

전술한 목적 등을 달성하기 위한 본 발명의 일실시예에 의한 적어도 하나의 가상 아바타를 제공하는 XR 디바이스의 제어 방법은, 카메라를 이용하여 상기 XR 디바이스의 주변에 위치한 사용자를 인식하는 단계와, 상기 XR 디바이스 주변의 적어도 하나의 실제 오브젝트(real object) 및 제1 가상 아바타(virtual avatar)를 디스플레이 하는 단계와, 제2 가상 아바타 생성을 위한 인디케이터를 생성하는 단계와, 상기 생성된 인디케이터를 상기 XR 디바이스의 스크린내 제1위치에서 디스플레이 하는 단계와, 상기 인디케이터를 상기 제1위치에서 제2위치로 이동시키는 단계(상기 제2위치는 상기 제1위치와 다르며, 상기 스크린내 카메라 주변에 위치하는 것을 특징으로 함)와, 상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 카메라를 이용하여 상기 사용자를 촬영하는 단계와, 그리고 상기 촬영된 결과에 기초하여, 상기 적어도 하나의 실제 오브젝트 및 상기 제2 가상 아바타를 디스플레이 하는 단계를 포함한다.

그리고, 본 발명의 일실시예에 의한 적어도 하나의 가상 아바타를 제공하는 XR 디바이스는, 상기 XR 디바이스의 주변에 위치한 사용자를 인식하는 카메라와, 상기 XR 디바이스 주변의 적어도 하나의 실제 오브젝트(real object) 및 제1 가상 아바타(virtual avatar)를 디스플레이 하는 디스플레이 모듈과, 그리고 상기 카메라 및 상기 디스플레이 모듈을 제어하는 컨트롤러를 포함한다.

예를 들어, 상기 컨트롤러는, 제2 가상 아바타 생성을 위한 인디케이터를 생성하고, 상기 생성된 인디케이터를 상기 XR 디바이스의 스크린내 제1위치에서 디스플레이 하도록 제어하고, 상기 인디케이터를 상기 제1위치에서 제2위치로 이동시키고(상기 제2위치는 상기 제1위치와 다르며, 상기 스크린내 카메라 주변에 위치하는 것을 특징으로 함), 상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 카메라를 이용하여 상기 사용자를 촬영하도록 제어하고, 그리고 상기 촬영된 결과에 기초하여, 상기 적어도 하나의 실제 오브젝트 및 상기 제2 가상 아바타를 디스플레이 하도록 제어한다.

본 발명의 다양한 실시예들 중 일실시예에 따르면, XR 디바이스의 스크린의 사이즈와 관계 없이 사용자의 얼굴을 정확하게 인식하는 기술을 제공할 수 있다.

본 발명의 다른 일실시예에 의하면, XR 디바이스의 임의에 위치에 설치된 하나의 카메라만으로 사용자의 얼굴을 다각도로 촬영할 수 있는 기술을 제공하는 장점이 있다.

그리고, 본 발명의 또 다른 일실시예에 의하면, XR 디바이스에서 가상 아바타를 생성하는 과정에서 발생할 수 있는 에러 가능성을 최소화 하는 기술적 효과가 있다.

다만, 전술한 기술적 효과만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 기술적 효과로 본 발명의 권리범위가 확장될 수 있다.

도 1은 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다.
도 2는 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다.
도 3은 본 발명의 일실시예를 의류 관련 기기에 적용한 경우를 도시하고 있다.
도 4는 본 발명의 일실시예에 의한 XR 디바이스를 제어하는 프로세스를 도시한 플로우 차트의 일예를 도시하고 있다.
도 5는 본 발명의 일실시예에 의한 XR 디바이스 및 설치된 카메라의 외관을 도시하고 있다.
도 6은 본 발명의 일실시예에 의한 XR 디바이스가 하나의 이미지로 가상 아바타의 얼굴을 생성하는 과정을 도시하고 있다.
도 7은 본 발명의 일실시예에 의한 XR 디바이스가 다양한 각도에서 획득한 복수개의 이미지들을 도시하고 있다.
도 8은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 얼굴 자세를 유도하는 프로세스를 도시하고 있다.
도 9는 본 발명의 일실시예에 의한 XR 디바이스가 도 8에서 획득한 복수개의 이미지들로 가상 아바타의 얼굴을 생성하는 과정을 도시하고 있다.
도 10은 본 발명의 일실시예에 의한 XR 디바이스로부터 이격한 사용자의 위치에 따른 문제점을 도시하고 있다.
도 11은 도 10에서 도시된 문제점을 해결하기 위한 솔루션의 일예를 도시하고 있다.
도 12는 도 10에서 도시된 문제점을 해결하기 위한 솔루션의 다른 일예를 도시하고 있다.
도 13은 도 10에서 도시된 문제점을 해결하기 위한 솔루션의 또 다른 일예를 도시하고 있다.
도 14는 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선을 유도하는 프로세스를 도시하고 있다.
도 15는 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선이 유도된 방향과 달라진 경우의 문제점을 해결하기 위한 프로세스를 도시하고 있다.
도 16은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선을 일정한 시간 이상 유도하기 위한 프로세스를 도시하고 있다.
도 17은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선과 상반신이 향하는 방향이 일치하지 않는 경우의 문제점을 해결하기 위한 프로세스를 도시하고 있다.
도 18은 본 발명의 일실시예에 의한 XR 디바이스가 생성된 아바타의 얼굴을 확인하는 프로세스를 도시하고 있다.
도 19는 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 얼굴내 특정 부위를 보다 상세하게 캡쳐하기 위한 프로세스를 도시하고 있다.
도 20은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 얼굴내 특정 부위를 보다 정확하게 캡쳐하기 위한 프로세스를 도시하고 있다.
그리고, 도 21은 본 발명의 일실시예에 의한 XR 디바이스를 제어하는 프로세스를 도시한 플로우 차트의 일예를 도시하고 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되며, 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

당해 명세서에서 설명하는 확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.

MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.

XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.

다만, 최근에는 VR, AR, MR 기술을 명확히 구별하기 보다는 XR (extended Reality) 기술로 부르기도 한다. 따라서, 본 발명의 실시예들은 VR, AR, MR, XR 기술 모두에 적용 가능하다.

한편, VR, AR, MR, XR 기술에 적용되는 하드웨어(HW) 관련 요소 기술로서, 예를 들어 유/무선 통신 기술, 입력 인터페이스 기술, 출력 인터페이스 기술 및 컴퓨팅 장치 기술 등이 존재한다. 또한, 소프트웨어(SW) 관련 요소 기술로서, 예를 들어 추적 및 정합 기술, 음성 인식 기술, 상호 작용 및 사용자 인터페이스 기술, 위치기반 서비스 기술, 검색 기술, AI (Artificial Intelligence) 기술 등이 존재한다.

특히, 본 발명의 실시예들은, 전술한 HW/SW 관련 요소 기술 등을 이용하여, 다른 디바이스와의 통신 문제, 효율적인 메모리 사용 문제, 불편한 UX/UI로 인한 데이터 처리 속도가 낮아지는 문제, 영상 문제, 음향 문제, 멀미 현상 또는 기타 문제 중 적어도 하나를 해결하고자 한다.

도 1은 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다. 후술할 다양한 실시예들은 도 1에 도시된 HMD 타입으로 구현할 수도 있다.

도 1에 도시된 HMD 타입의 XR 디바이스(100a)는, 커뮤니케이션 유닛(110), 컨트롤 유닛(120), 메모리 유닛(130), I/O 유닛(140a), 센서 유닛(140b), 그리고 파워 공급 유닛(140c) 등을 포함한다. 특히, XR 디바이스(10a)내 커뮤니케이션 유닛(110)은 모바일 터미날(100b)과 유무선 통신이 이루어 진다.

그리고, 도 2는 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다. 후술할 다양한 실시예들은 도 2에 도시된 AR 글래스 타입으로 구현할 수도 있다.

도 2에 도시된 바와 같이, AR 글래스는 프레임, 제어부(200) 및 광학 디스플레이부(300)를 포함할 수 있다.

프레임은 도 2에 도시된 바와 같이, 사용자(10)의 신체 중 안면에 착용되는 안경 형태를 가질 수 있으나, 이에 반드시 한정되는 것은 아니고, 사용자(10)의 안면에 밀착되어 착용되는 고글 등의 형태를 가질 수도 있다.

이와 같은 프레임은 전면 프레임(110)과 제1, 2 측면 프레임을 포함할 수 있다.

전면 프레임(110)은 적어도 하나의 개구부를 구비하고, 제1 수평 방향(x)으로 연장될 수 있으며, 제1, 2 측면 프레임은 전면 프레임(110)과 교차하는 제2 수평 방향(y)으로 연장되어 서로 나란하게 연장될 수 있다.

제어부(200)는 사용자(10)에게 보여질 이미지 또는 이미지가 연속되는 영상을 생성할 수 있다. 이와 같은 제어부(200)에는 이미지를 발생시키는 이미지 소스와 이미지 소스에서 발생된 빛을 확산 및 수렴하는 복수의 렌즈 등을 포함할 수 있다. 이와 같이 제어부(200)에서 생성되는 이미지는 제어부(200)와 광학 디스플레이부(300) 사이에 위치하는 가이드 렌즈(P200)을 통해 광학 디스플레이부(300)로 출사될 수 있다.

이와 같은 제어부(200)는 제1, 2 측면 프레임 중 어느 하나의 측면 프레임에 고정될 수 있다. 일례로, 제어부(200)는 어느 하나의 측면 프레임 내측 또는 외측에 고정되거나, 어느 하나의 측면 프레임의 내부에 내장되어 일체로 형성될 수 있다.

광학 디스플레이부(300)는 제어부(200)에서 생성된 이미지가 사용자(10)에게 보여지도록 하는 역할을 수행할 수 있으며, 이미지가 사용자(10)에게 보여지도록 하면서, 개구부를 통하여 외부 환경을 볼 수 있도록 하기 위하여, 반투명 재질로 형성될 수 있다.

이와 같은 광학 디스플레이부(300)는 전면 프레임(110)에 포함된 개구부에 삽입되어 고정되거나, 개부구의 배면[즉 개구부와 사용자(10) 사이]에 위치하여, 전면 프레임(110)에 고정되어 구비될 수 있다. 본 발명에서는 일례로, 광학 디스플레이부(300)가 개구부의 배면에 위치하여, 전면 프레임(110)에 고정된 경우를 일예로 도시하였다.

이와 같은 XR 디바이스는 도 2에 도시된 바와 같이, 제어부(200)에서 이미지에 대한 이미지를 광학 디스플레이부(300)의 입사 영역(S1)으로 입사시키면, 이미지광이 광학 디스플레이부(300)를 통하여, 광학 디스플레이부(300)의 출사 영역(S2)으로 출사되어, 제어부(200)에서 생성된 이미지를 사용자(10)에게 보여지도록 할 수 있다.

이에 따라, 사용자(10)는 프레임(100)의 개구부를 통하여 외부 환경을 보면서 동시에 제어부(200)에서 생성된 이미지를 함께 볼 수 있다.

도 3은 본 발명의 일실시예를 의류 관련 기기에 적용한 경우를 도시하고 있다.

당해 명세서의 실시예들은 XR 디바이스 뿐만 아니라 다양한 의류 관련 기기들에도 적용할 수가 있다.

본 발명의 일실시예와 관련하여 추가 설명 하면, 도 3에 도시된 바와 같이, 사용자(100)가 의류 관련 기기(ex: 스타일러, 에어 드레서 등)에 접근하면, 의류 관련 기기에 설치된 카메라 또는 센서를 통해 사용자의 접근을 인식한다.

그리고, 의류 관련 기기의 전면에 설치된 디스플레이(200)는 인식된 사용자 관련 아바타를 표시하고, 사용자(100)가 원하는 의상, 모자등을 가상으로 입어본 형태의 그래픽이 추가적으로 표시된다. 도 3에 도시된 바와 같이, 실제 사용자(100)는 모자를 쓰지 않았으나, 디스플레이(200)에 표시된 아바타는 가상의 모자를 쓰고 있음을 확인할 수 있다. 나아가, 상기 디스플레이(200)는 사용자 인식이 안된 경우에는 거울로서 동작하는 것도 가능하다.

마지막으로, 도 3에서는 디스플레이(200)가 의류 관련 기기의 전면에 노출되어 있는 것으로 가정하였으나, 사용자가(100)가 의류 관련 기기의 문을 열었을 때 내부에 디스플레이가 위치하도록 설계하는 것도 본 발명의 권리범위에 속한다.

한편, 당해 명세서는 XR 디바이스 및 다양한 멀티미디어 디바이스를 예로 설명하고 있지만, 본 발명은 디스플레이 기능이 있는 디바이스면 충분하다.

도 4는 본 발명의 일실시예에 의한 XR 디바이스를 제어하는 프로세스를 도시한 플로우 차트의 일예를 도시하고 있다.

도 4에 도시된 바와 같이, 본 발명의 일실시예에 따라, 적어도 하나의 가상 아바타를 제공하는 XR 디바이스는 다음과 같은 순서로 동작한다. 물론, 당업자의 필요에 따라 일부 스텝이 변경, 추가 또는 삭제되는 것도 가능하다.

XR 디바이스는, 카메라를 이용하여 상기 XR 디바이스의 주변에 위치한 사용자를 인식한다(S510). 상기 XR 디바이스는 예를 들어 옷이 판매되는 오프라인 매장에 설치될 수 있으나, 다른 장소에도 설치 가능하다.

상기 XR 디바이스는 상기 XR 디바이스 주변의 적어도 하나의 실제 오브젝트(real object) 및 제1 가상 아바타(virtual avatar)를 디스플레이 한다(S520). 다만, 여기서의 제1 가상 아바타는, 예를 들어 XR 디바이스 주변의 사용자 얼굴이 반영되지 않은 상태를 의미한다.

상기 XR 디바이스는, 제2 가상 아바타 생성을 위한 인디케이터를 생성하고(S530), 상기 생성된 인디케이터를 상기 XR 디바이스의 스크린내 제1위치에서 디스플레이 한다(S540).

상기 XR 디바이스는, 상기 인디케이터를 상기 제1위치에서 제2위치로 이동시킨다(S550). 상기 제2위치는 상기 제1위치와 다르며, 상기 스크린내 카메라 주변에 위치하는 것을 특징으로 한다. 이와 관련하여 이하 도 8 등을 참조하여 상세히 후술하겠다.

상기 XR 디바이스는, 상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 카메라를 이용하여 상기 사용자를 촬영하고(S560), 그리고 상기 촬영된 결과에 기초하여, 상기 적어도 하나의 실제 오브젝트 및 상기 제2 가상 아바타를 디스플레이 한다(S570). 다만, 여기서의 제2 가상 아바타는, 전술한 제1 가상 아바타와 다르다. 상기 제2 가상 아바타는, 예를 들어 XR 디바이스 주변의 사용자 얼굴이 반영된 상태를 의미한다.

도 4에 도시하지는 않았으나, XR 디바이스는 상기 사용자가 상기 XR 디바이스로부터 기설정된 일정 거리 이상 이격하였는지 여부를 판단한다. 나아가, 상기 판단 결과 상기 기설정된 거리 이상 이격한 경우, 상기 제1 가상 아바타와 함께 기준 위치 관련 그래픽 이미지를 디스플레이 한다. 상기 제1 가상 아바타는 상기 사용자의 움직임에 따라 이동하는 것을 특징으로 한다. 이와 관련해서는, 이하 도 10 내지 도 12를 참조하여 후술하도록 하겠다.

상기 기설정된 일정 거리는, 예를 들어 상기 XR 디바이스의 스크린 사이즈에 따라 변경되는 것을 특징으로 한다.

나아가, 상기 XR 디바이스는, 상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 사용자의 눈 또는 얼굴이 상기 인디케이터를 향하고 있는지 여부를 판단하고, 상기 판단 결과 상기 사용자의 눈 또는 얼굴이 상기 인디케이터를 향하고 있지 않은 경우, 상기 인디케이터의 사이즈 또는 칼라를 변경한다. 이와 관련해서는 이하 도 15를 참조하여 후술한다.

나아가, 상기 XR 디바이스는, 상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 얼굴 스캔에 필요한 시간 정보 또는 상태 정보를 디스플레이 한다. 이와 관련해서는 이하 도 16을 참조하여 보다 상세히 후술한다.

또한, 상기 XR 디바이스는, 상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 상기 사용자의 얼굴 기준의 제1벡터와 상기 사용자의 상반신 기준의 제2벡터를 비교한다. 나아가, 상기 XR 디바이스는, 상기 제1벡터와 상기 제2벡터가 기설정된 각도 이상 차이가 나는 경우에 한하여, 상기 사용자의 상반신을 움직이도록 가이드 하는 메시지를 디스플레이 한다. 이와 관련해서는 이하 도 17을 참조하여 후술한다.

또한, 상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 상기 XR 디바이스는 상기 사용자의 얼굴내 분석되는 특정 부분에 대응하는 그래픽 이미지를 디스플레이 한다. 상기 특정 부분은, 예를 들어, 상기 사용자의 눈, 코 또는 입 중 적어도 하나를 포함한다. 이와 관련해서는 이하 도 19에서 보다 상세히 후술하겠다.

또한, 상기 얼굴내 특정 부분에 대한 분석에 실패한 경우의 상기 그래픽 이미지의 최외곽선의 칼라와, 상기 얼굴내 특정 부분에 대한 분석에 성공한 경우의 상기 그래픽 이미지의 최외곽선의 칼라는 서로 다른 것을 특징으로 한다. 이와 관련해서는, 이하 도 20을 참조하여 후술한다.

한편, 도 4에서는 방법 발명에 대하여 설명하였으나, 장치 발명으로도 구현할 수가 있다. 본 발명의 일실시예에 의한 XR 디바이스는, 이전 도 1 및 도 2등에서 전술한 바와 같이, 카메라, 디스플레이 모듈 및 컨트롤러를 포함한다.

상기 카메라는, 상기 XR 디바이스의 주변에 위치한 사용자를 인식한다.

상기 디스플레이 모듈은, 상기 XR 디바이스 주변의 적어도 하나의 실제 오브젝트(real object) 및 제1 가상 아바타(virtual avatar)를 디스플레이 한다.

그리고, 상기 컨트롤러는, 상기 카메라 및 상기 디스플레이 모듈을 제어한다.

보다 구체적으로 예를 들면, 상기 컨트롤러는, 제2 가상 아바타 생성을 위한 인디케이터를 생성하고, 상기 생성된 인디케이터를 상기 XR 디바이스의 스크린내 제1위치에서 디스플레이 하도록 제어하고, 상기 인디케이터를 상기 제1위치에서 제2위치로 이동시키고(상기 제2위치는 상기 제1위치와 다르며, 상기 스크린내 카메라 주변에 위치하는 것을 특징으로 함), 상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 카메라를 이용하여 상기 사용자를 촬영하도록 제어하고, 그리고 상기 촬영된 결과에 기초하여, 상기 적어도 하나의 실제 오브젝트 및 상기 제2 가상 아바타를 디스플레이 하도록 제어한다.

도 5는 본 발명의 일실시예에 의한 XR 디바이스 및 설치된 카메라의 외관을 도시하고 있다.

도 5에 도시된 바와 같이, 본 발명의 일실시예에 의한 XR 디바이스(600)는 하나의 카메라(610)를 측면에 구비하고 있으며, 상기 카메라(610)를 이용하여 주변 사용자(620)를 인식한다. 이를 통해, 상기 사용자(620)의 얼굴과 유사한 가상 아바타를 생성하는 것이 가능하다.

다만, XR 디바이스(600)의 스크린 사이즈가 클수록, 상기 카메라(610)가 스크린의 중심점으로부터 물리적으로 상당히 멀리 떨어져 있을 수 밖에 없다. 상기 사용자(620)는 통상적으로 XR 디바이스(600)의 스크린 중앙을 응시하기 때문에, 상기 하나의 카메라(610)만으로 상기 사용자(620)의 정면 및 다양한 각도를 촬영할 수 없다는 문제점이 있었다. 이와 같은 상황에서는, 상기 사용자(620)의 얼굴을 정확하게 디텍트할 수 없고, 이로 인하여 가상 아바타의 얼굴이 실제 사용자(620) 얼굴과 많이 달라지는 문제점이 대두되었다.

도 6은 본 발명의 일실시예에 의한 XR 디바이스가 하나의 이미지로 가상 아바타의 얼굴을 생성하는 과정을 도시하고 있다.

예를 들어, 도 6의 (a)에 도시된 바와 같이, 사용자의 정면 얼굴을 촬영한 것으로 가정한다. 도 6의 (a)에 도시된 이미지를 이용하여, 도 6의 (b)에 도시된 바와 같이, 3D 얼굴 모델을 생성하고 렌더링 작업을 수행한다. 그 결과, 도 6의 (c)에 도시된 바와 같이, 가상 아바타 얼굴이 생성된다.

다만, 사용자의 실제 얼굴과 가장 근접한 가상 아바타를 생성하기 위해서는, 사용자의 정면 얼굴을 캡쳐하는 것이 매우 중요하고, 가능한 다양한 각도의 얼굴을 캡쳐하는 것 또한 중요하다.

도 7은 본 발명의 일실시예에 의한 XR 디바이스가 다양한 각도에서 획득한 복수개의 이미지들을 도시하고 있다.

도 7은 XR 디바이스의 측면에 카메라가 설치되어 있는 것을 가정한다(이전 도 5 참조). 따라서, 사용자가 XR 디바이스의 스크린 중심점을 응시하는 경우, 도 7의 (a)에 도시된 이미지를 획득하며, 사용자가 XR 디바이스의 측면에 설치된 카메라를 응시해야만 도 7의 (b)에 도시된 이미지를 획득하는 것이 가능하다. 본 발명의 일실시예에 의한 XR 디바이스는 도 7에 도시된 다양한 이미지들을 가능한 빠른 시간내에, 보다 정확하게 그리고 사용자의 거부감 없이 획득하는 솔루션을 제안한다. 이와 관련하여 이하 도 8에서 보다 상세히 후술한다.

도 8은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 얼굴 자세를 유도하는 프로세스를 도시하고 있다.

도 8에 도시된 바와 같이, 특정 인디케이터(ex: Red Dot)를 이용하여 XR 디바이스 주변에 위치한 사용자 얼굴의 각도를 제어한다. 사용자의 얼굴과 근접한 가상 아바타를 생성하기 위하여, XR 디바이스 주변에 위치한 사용자의 얼굴 자세를 자연스럽게 유도하고자 한다.

우선, 도 8의 (a)에 도시된 바와 같이, 본 발명의 일실시예에 의한 XR 디바이스는 카메라(930)를 이용하여 주변 사용자(901)가 존재하는지 여부를 판단한다. 물론, 카메라가 아닌 다른 물체 근접 센서를 이용하여 이 기능을 구현할 수도 있다.

주변 사용자(901)가 존재하는 것으로 인식된 경우, XR 디바이스는 제1 가상 아타바(900) 및 제1 위치에서 인디케이터(920)를 표시한다. 다만, 상기 제1 가상 아바타(900)는 메모리에 기저장된 임의의 그래픽 이미지로, 사용자(901)의 얼굴이 반영되지 않은 상태를 의미한다.

나아가, 사용자의 얼굴이 자연스럽게 움직일 수 있는 가이드 메시지(910)가 디스플레이 된다.

그리고, XR 디바이스는 상기 인디케이터를 제2 위치(921)로 천천히 이동시키고, 상기 사용자(901)의 얼굴도 자연스럽게 이동한다. 특히, 상기 제2 위치는 상기 카메라(930) 주변에 위치하도록 설계함으로써, 카메라(930)는 사용자(901)의 정면 얼굴을 캡쳐하는 것이 가능하다.

도 8의 (a)는 카메라(930)가 XR 디바이스의 왼쪽 측면에 위치한 것을 가정하였으나, 도 8의 (b)에 도시된 바와 같이, 카메라(950)가 XR 디바이스의 오른쪽 측면에 위치하는 경우에도 본 발명의 일실시예를 적용할 수가 있다.

도 8의 (b)에 도시된 바와 같이, 인디케이터가 최초 표시되는 위치(940)는 도 8의 (a)와 동일하지만, 최종 이동되는 지점(941)은 도 8의 (a)와 다르다. 즉, XR 디바이스에 설치된 카메라(950)의 위치인 XR 디바이스의 스크린내 오른쪽 중간 지점(941)까지 인디케이터가 이동하고, 따라서 사용자의 얼굴 정면을 캡쳐하는 것이 가능하다.

나아가, 도 8의 (a)는 카메라(930)가 XR 디바이스의 왼쪽 측면에 위치한 것을 가정하였으나, 도 8의 (c)에 도시된 바와 같이, 카메라(970)가 XR 디바이스의 중앙 상단에 위치하는 경우에도 본 발명의 일실시예를 적용할 수가 있다.

도 8의 (c)에 도시된 바와 같이, 인디케이터가 최초 표시되는 위치(960)는 도 8의 (a)와 동일하지만, 최종 이동되는 지점(961)은 도 8의 (a)와 다르다. 즉, XR 디바이스에 설치된 카메라(970)의 위치인 XR 디바이스의 스크린내 중앙 상단 지점(961)까지 인디케이터가 이동하고, 따라서 사용자의 얼굴 정면을 캡쳐하는 것이 가능하다.

도 9는 본 발명의 일실시예에 의한 XR 디바이스가 도 8에서 획득한 복수개의 이미지들로 가상 아바타의 얼굴을 생성하는 과정을 도시하고 있다.

도 8에 도시된 바와 같이, 사용자의 얼굴 방향이 서서히 변경되면, XR 디바이스는 도 9의 (a)에 도시된 바와 같이, 사용자의 다양한 얼굴 방향에서의 이미지를 캡쳐하는 것이 가능하다.

따라서, 도 9의 (b)에 도시된 바와 같이, 더욱 자세한 얼굴 텍스쳐(texture) 정보를 획득하는 것이 가능하며, 렌더링 프로세스를 통해 도 9의 (c)에 도시된 3D 가상 아바타 얼굴을 생성한다.

다만, 이전에 설명한 실시예들은, XR 디바이스 주변에 위치한 사용자와 상기 XR 디바이스간 거리가 일정한 것을 가정하였다. 그러나, 실제로는 XR 디바이스와 상기 사용자간 거리가 달라질 수가 있다. 이와 같은 경우에도, 인디케이터가 표시되는 위치가 동일하다면, 다양한 각도에서의 사용자 얼굴 및 정면에서의 사용자 얼굴을 획득할 수 없는 문제점이 발생한다. 관련 문제점들의 구체적인 시나리오는 이하 도 10에서 후술하고, 이를 해결하기 위한 다양한 솔루션들에 대해서는 이하 도 11 내지 도 13에서 보다 상세히 후술하도록 하겠다.

도 10은 본 발명의 일실시예에 의한 XR 디바이스로부터 이격한 사용자의 위치에 따른 문제점을 도시하고 있다.

도 10에 도시된 바와 같이, 임의의 사용자들은 XR 디바이스(1100)와 다양한 거리에 서 있을 수 있다.

예를 들어, 사용자가 XR 디바이스(1100)와 매우 근거리에 위치한 경우 및 매우 원거리에 위치한 경우에는, 다양한 각도에서 사용자 얼굴을 정확하게 캡쳐하는 것이 불가능하다. 특히, 사용자가 XR 디바이스(1100)로부터 멀리 떨어진 곳에 위치한 경우, XR 디바이스의 스크린내 인디케이터 움직임만으로는 사용자의 얼굴을 다양한 각도에서 캡쳐하는 것이 불가능하다.

이를 해결하기 위한 2가지 솔루션을 제시한다. 도 11 및 도 12에서 제시한 솔루션은, 사용자가 일정한 위치로 이동하도록 가이드 하는 방법이고, 도 13에서 제시한 솔루션은 사용자가 XR 디바이스의 스크린 밖 실제 오브젝트 중 특정 오브젝트를 바라볼 수 있도록 가이드 하는 방법이다.

도 11은 도 10에서 도시된 문제점을 해결하기 위한 솔루션의 일예를 도시하고 있다.

도 11의 (a)에 도시된 바와 같이, XR 디바이스(1200)와 사용자(1210)가 멀리 떨어져 있는 경우, XR 디바이스(1200)의 스크린내 인디케이터의 움직임 및 이에 대응하는 사용자 얼굴의 동작만으로는 다양한 각도에서의 사용자 얼굴을 캡쳐할 수가 없다.

따라서, 도 11의 (a)에 도시된 문제점을 해결하기 위해서는, 사용자가 먼거리에 있는 제1지점(1230)에서 XR 디바이스와 보다 근접한 제2지점(1231)으로 이동시키는 솔루션이 요구된다. 이와 관련된 구체적인 방법은, 이하 도 12에서 후술한다.

도 12는 도 10에서 도시된 문제점을 해결하기 위한 솔루션의 다른 일예를 도시하고 있다.

도 12에 도시된 아바타는 이전에도 설명한 제1 아바타에 대응하는 개념으로서, 사용자 얼굴이 아직 반영되지 않은 상태이다.

다만, 사용자가 최초 인식된 지점(1310)에 대응하여 제1 아바타 역시 특정 지점(1320)에서 디스플레이 된다. 그리고, 사용자의 움직임에 따라 제1 아바타 역시 XR 디바이스의 스크린내에서 움직인다.

따라서, 사용자가 최초 인식된 지점(1310)에서 전술한 인디케이터의 동작만으로 사용자의 다양한 얼굴을 캡쳐하는 것이 불가능한 경우, 제1 아바타는 기준 위치(1321)로 이동한다. 따라서, 사용자 역시 타겟 지점(1311)으로 움직이도록 가이드 하는 것이 가능하다.

다만, 도 11 및 도 12의 솔루션은 사용자가 기준 위치로 이동해야만 한다는 한계를 가지고 있고, 사용자가 정확한 기준 위치로 이동하지 않을 가능성도 존재한다. 이와 같은 문제점을 해결하기 위한 솔루션은 이하 도 13에서 후술한다.

도 13은 도 10에서 도시된 문제점을 해결하기 위한 솔루션의 또 다른 일예를 도시하고 있다.

우선, XR 디바이스는 사용자가 XR 디바이스를 바라 보는 방향에서의 특정 사진 정보를 가지고 있는 것으로 가정한다.

특히, 사용자가 XR 디바이스로부터 원격에 위치하고 있어서, XR 디바이스의 스크린내 특정 지점을 바라 보는 것만으로는 다양한 각도에서의 사용자를 촬영할 수 없는 경우, XR 디바이스(1400)는 전술한 특정 사진 정보(1410)를 디스플레이 한다.

따라서, 유저는 XR 디바이스의 스크린내 인디케이터를 응시하는 것이 아니라, 대응하는 지점의 실제 오브젝트(1420)를 바라 보게 된다. 이를 통해, 사용자의 얼굴을 보다 다양한 각도에서 촬영하는 것이 가능하다.

전술한 실시예들에 따르면, XR 디바이스의 스크린내 인디케이터의 움직임에 따라, 사용자의 얼굴도 움직이게 된다. 다만, 사용자의 얼굴 움직임과 다르게, 사용자의 시선이 움직일 가능성도 존재한다.

이를 해결하기 위한 솔루션에 대해서는 이하 도 14 및 도 15를 참조하여 후술한다.

도 14는 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선을 유도하는 프로세스를 도시하고 있다.

도 14에 도시된 바와 같이, XR 디바이스(1500)는 사용자(1510)의 존재 여부를 인식한 경우, 제1 가상 아바타(1520)를 표시하고 인디케이터(ex: red dot)의 움직임으로 사용자의 얼굴이 움직이도록 가이드 한다.

다만, 사용자의 시선이 카메라를 향할 수 있도록 부가적인 메시지(1530)를 표시함으로써, 사용자의 얼굴 방향에 적합한 사용자의 눈을 정확하게 캡쳐 하는 것이 가능하다.

그러나, 도 14의 실시예는 사용자가 카메라를 보는 경우에만 얼굴 방향과 시선 방향이 맞게 되는 문제점이 있다. 이를 해결하기 위한 솔루션은 이하 도 15에서 후술한다.

도 15는 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선이 유도된 방향과 달라진 경우의 문제점을 해결하기 위한 프로세스를 도시하고 있다.

도 15에 도시된 XR 디바이스는 아이 트래킹(eye tracking) 기능이 적용되어 있는 것으로 가정한다.

도 15의 (a)에 도시된 바와 같이, 인디케이터(1610)의 움직임에 따라 사용자의 시선(1600)도 일정 오차 범위 내에서 위치하고 있다. 나아가, 사용자의 시선(1600)을 XR 디바이스의 스크린내에 표시함으로써 사용자에게 피드백 효과를 주는 것도 본 발명의 권리범위에 속한다.

그러나, 도 15의 (b)에 도시된 바와 같이, 사용자 시선(1601)이 인디케이터(1611)로부터 기설정된 오차 범위를 벗어난 경우, 도 15의 (c)에 도시된 바와 같이, 인디케이터 사이즈를 크게 변경한다(1621). 따라서, 가능한 짧은 시간 이내에, 사용자 시선이 다시 인디케이터를 향할 수 있도록 유도하는 것이 가능하다. 물론, 도 15의 (c)에서는 인디케이터의 사이즈를 확대하는 것으로 예시하였으나, 인디케이터의 칼라를 변경하거나 워닝 오디오를 출력하는 것도 본 발명의 권리범위에 속한다.

다만, 사용자의 정면 얼굴을 촬영하는 순간 사용자의 얼굴이 정상적인 상태가 아닌 경우가 존재할 수 있는데, 이를 해결하기 위한 솔루션은 이하 도 16에서 후술한다.

도 16은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선을 일정한 시간 이상 유도하기 위한 프로세스를 도시하고 있다.

XR 디바이스 주변의 사용자가 눈을 깜빡이거나 할 수 있기 때문에 기설정된 시간(3초)동안 여러 장을 촬영하고, 표정 변화가 없는 한 장의 사진으로 가상 아바타를 생성하도록 설계한다.

도 16의 (a)에 도시된 바와 같이, 인디케이터가 카메라 주변에 위치한 경우, 표정을 유지하도록 가이드 하는 카운팅 넘버(1710)가 표시된다. 따라서, 유저는 해당 넘버의 초 동안 표정을 유지해야 함을 인식할 수 있다.

나아가, 얼굴 스캔 상태를 표시하는 바를 원형(1720) 타입으로 표시하는 것도 본 발명의 일실시예의 권리범위에 속한다.

따라서, XR 디바이스는 해당 시간 동안 캡쳐된 다수의 이미지들(도 16의 (b), (c), (d)) 중에서 표정 변화가 가장 없는 정상적인 상태의 이미지(도 16의 (d))에 기반하여 가상 아바타를 생성하는 것이 가능하다.도 17은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 시선과 상반신이 향하는 방향이 일치하지 않는 경우의 문제점을 해결하기 위한 프로세스를 도시하고 있다.

도 17의 (a)에 도시된 바와 같이, 인디케이터가 XR 디바이스의 카메라 근처에 위치하는 경우, 사용자의 시선도 인디케이터를 향하고 있으므로 정면 얼굴을 캡쳐하는 것이 가능하다.

그러나, 사용자 시선과 달리, 사용자의 상반신은 인디케이터를 향하지 않고 있을 가능성이 존재하고, 이 경우 가상 아바타 역시 사용자의 실제 모습과는 달라지는 문제점이 존재한다.

따라서, 사용자의 얼굴 방향과 사용자의 상반신 방향이 일치하지 않는 경우, 사용자의 상반신을 얼굴 방향과 일치하도록 가이드 하는 그래픽 이미지(1800)를 디스플레이 한다.

이를 판단하기 위한 솔루션은 도 17의 (b) 및 (c)에 도시되어 있다.

도 17의 (b)에 도시된 바와 같이, 본 발명의 일실시예에 의한 XR 디바이스는 사용자 얼굴 기준의 제1벡터(1810)와 상기 사용자의 상반신 기준의 제2 벡터(1820)를 비교한다. 상기 제1벡터와 상기 제2벡터가 기설정된 각도(예를 들어, 15도) 이상 차이가 나는 경우에 한하여, 도 17의 (a)에 도시된 그래픽 이미지(1800) 또는 사용자의 상반신을 움직이도록 가이드 하는 메시지를 디스플레이 하도록 설계한다.

반면, 도 17의 (c)에 도시된 바와 같이, 사용자 얼굴 기준의 제1벡터와 상기 사용자의 상반신 기준의 제2 벡터가 일치하거나 또는 적어도 상기 기설정된 각도 미만으로만 차이가 나는 경우에는, 도 17의 (a)에 도시된 그래픽 이미지(1800)를 디스플레이 하지 않는다.

전술한 바와 같이, 다양한 각도에서 촬영 및 캡쳐된 사용자의 이미지 정보에 기초하여, 제2 가상 아바타를 디스플레이 하는 것이 가능하다. 제1 가상 아바타와 달리, 제2 가상 아바타는 사용자의 얼굴 정보가 반영되어 있음은 전술한 바 있다. 그러나, 전술한 실시예들에도 불구하고 제2 가상 아바타와 사용자의 실제 얼굴에 차이가 나는 경우가 존재할 수 있는데, 이를 확인하는 방법에 대해서는 이하 도 18에서 후술한다,.

도 18은 본 발명의 일실시예에 의한 XR 디바이스가 생성된 아바타의 얼굴을 확인하는 프로세스를 도시하고 있다.

전술한 실시예들에 따라 생성된 제2 가상 아바타가, 도 18에 도시된 바와 같이 디스플레이 된다.

나아가, 사용자(1900)의 얼굴 회전에 따라 제2 가상 아바타(1910) 역시 동일한 방향으로 회전된다.

사용자(1900)는 제2 가상 아바타(1910)의 정면 뿐만 아니라 옆모습을 모두 확인 후, 자신과 유사하다고 확인 한 경우 가상 아바타를 적용하겠다는 옵션(1940)을 선택한다. 이는, 사용자의 제스쳐 기반으로 선택될 수 있으며, XR 디바이스는 모션 디텍션 기능이 있는 것으로 가정한다.

반면, 상기 사용자(1900)는 제2 가상 아바타(1910)의 정면 뿐만 아니라 옆모습을 모두 확인 후, 자신과 유사하지 않다고 확인 한 경우 가상 아바타를 적용하지 않고 다시 촬영을 시도하겠다는 옵션(1930)을 선택한다. 이는, 사용자의 제스쳐 기반으로 선택될 수 있으며, XR 디바이스는 모션 디텍션 기능이 있는 것으로 가정한다.

도 19는 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 얼굴내 특정 부위를 보다 상세하게 캡쳐하기 위한 프로세스를 도시하고 있다.

도 19의 (a)에 도시된 바와 같이, 사용자는 XR 디바이스의 카메라 주변 인디케이터(2010)를 응시함으로써, 상기 XR 디바이스가 사용자의 정면 얼굴을 캡쳐하는 것이 가능함은 전술한 바 있다. 그러나, XR 디바이스가 사용자 얼굴 내 어떤 부분을 캡쳐하는지 사용자에게 피드백을 제공하지 않으면, 사용자는 얼굴 전체에 힘을 주어 신경을 쓸 수 밖에 없다.

이를 해결하기 위하여, 도 19의 (b)에 도시된 바와 같이, 사용자의 얼굴 외곽선(2020)을 디텍션 한다는 가이드 메시지를 제1 단계에서 표시한다. 따라서, 이 때 사용자는 얼굴내 부위를 편하게 움직여도 문제가 없다.

나아가, 도 19의 (c)에 도시된 바와 같이, 사용자의 눈을 디텍션 한다는 가이드 메시지를 제2 단계에서 표시한다. 따라서, 이 때 사용자는 눈을 제대로 뜬 상태를 유지해야 하지만, 눈을 제외한 얼굴내 다른 부위는 편하게 움직여도 된다.

마지막으로, 도 19의 (d)에 도시된 바와 같이, 사용자의 입을 디텍션 한다는 가이드 메시지를 제3 단계에서 표시한다. 따라서, 이 때 사용자는 입을 다문 상태를 유지해야 하지만, 입을 제외한 얼굴내 다른 부위는 편하게 움직여도 된다.

다만, 도 19의 실시예만으로는 사용자가 어느 정도 시간 동안 해당 표정을 유지해야 하는지 알 수 없다는 문제점이 있다. 이를 해결하기 위한 솔루션은 이하 도 20에서 후술한다.도 20은 본 발명의 일실시예에 의한 XR 디바이스가 사용자의 얼굴내 특정 부위를 보다 정확하게 캡쳐하기 위한 프로세스를 도시하고 있다.

도 20의 (a)에 도시된 바와 같이, 사용자의 얼굴내 특정 부위에 대한 인식에 성공한 경우, 제1 칼라의 외곽선(2110)으로 상기 특정 부위에 대응하는 그래픽 이미지를 디스플레이 한다.

반면, 도 20의 (b)에 도시된 바와 같이, 사용자의 얼굴내 특정 부위에 대한 인식에 실패한 경우(또는 눈을 찌푸린 경우), 제2 칼라의 외곽선(2120)으로 상기 특정 부위에 대응하는 그래픽 이미지를 디스플레이 한다.

그리고, 도 21은 본 발명의 일실시예에 의한 XR 디바이스를 제어하는 프로세스를 도시한 플로우 차트의 일예를 도시하고 있다.

본 발명의 일실시예에 의한 XR 디바이스는 인디케이터가 최종 타겟 위치인 제2 위치에 위치하고 있는지 여부를 판단한다(S2210). 전술한 바와 같이, 상기 제2 위치는, 예를 들어 XR 디바이스의 스크린내 카메라 주변에 해당한다.

상기 판단 결과, 상기 인디케이터가 상기 제2 위치에 위치하고 있는 경우, XR 디바이스는 사용자의 얼굴 기준의 제1벡터와 상기 사용자의 상반신 기준의 제2벡터를 비교한다(S2220).

또한, XR 디바이스는 제1벡터와 제2벡터가 기설정된 각도 이상 차이가 발생하였는지 여부를 판단하고(S2230), 기설정된 각도 이상인 경우에 한하여 가이드 메시지를 디스플레이 한다(S2240). 이와 관련해서는 이전 도 17에서 상술한 바 있다.

110: Communication unit
120: Control unit
130: Memory unit
140a: I/O unit
140b: Sensor unit
140c: Power supply unit

Claims (20)

1. 적어도 하나의 가상 아바타를 제공하는 XR 디바이스의 제어 방법에 있어서,
   카메라를 이용하여 상기 XR 디바이스의 주변에 위치한 사용자를 인식하는 단계;
   상기 XR 디바이스 주변의 적어도 하나의 실제 오브젝트(real object) 및 제1 가상 아바타(virtual avatar)를 디스플레이 하는 단계;
   제2 가상 아바타 생성을 위한 인디케이터를 생성하는 단계;
   상기 생성된 인디케이터를 상기 XR 디바이스의 스크린내 제1위치에서 디스플레이 하는 단계;
   상기 인디케이터를 상기 제1위치에서 제2위치로 이동시키는 단계-상기 제2위치는 상기 제1위치와 다르며, 상기 스크린내 카메라 주변에 위치하는 것을 특징으로 함-;
   상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 카메라를 이용하여 상기 사용자를 촬영하는 단계; 그리고
   상기 촬영된 결과에 기초하여, 상기 적어도 하나의 실제 오브젝트 및 상기 제2 가상 아바타를 디스플레이 하는 단계
   를 포함하는 XR 디바이스의 제어 방법.
2. 제1항에 있어서,
   상기 사용자가 상기 XR 디바이스로부터 기설정된 일정 거리 이상 이격하였는지 여부를 판단하는 단계; 그리고
   상기 판단 결과 상기 기설정된 거리 이상 이격한 경우, 상기 제1 가상 아바타와 함께 기준 위치 관련 그래픽 이미지를 디스플레이 하는 단계-상기 제1 가상 아바타는 상기 사용자의 움직임에 따라 이동함-
   를 포함하는 XR 디바이스의 제어 방법.
3. 제2항에 있어서,
   상기 기설정된 일정 거리는 상기 XR 디바이스의 스크린 사이즈에 따라 변경되는 것을 특징으로 하는 XR 디바이스의 제어 방법.
4. 제3항에 있어서,
   상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 사용자의 눈 또는 얼굴이 상기 인디케이터를 향하고 있는지 여부를 판단하는 단계; 그리고
   상기 판단 결과 상기 사용자의 눈 또는 얼굴이 상기 인디케이터를 향하고 있지 않은 경우, 상기 인디케이터의 사이즈 또는 칼라를 변경하는 단계
   를 포함하는 XR 디바이스의 제어 방법.
5. 제4항에 있어서,
   상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 얼굴 스캔에 필요한 시간 정보 또는 상태 정보를 디스플레이 하는 단계
   를 포함하는 XR 디바이스의 제어 방법.
6. 제5항에 있어서,
   상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 상기 사용자의 얼굴 기준의 제1벡터와 상기 사용자의 상반신 기준의 제2벡터를 비교하는 단계
   를 포함하는 XR 디바이스의 제어 방법.
7. 제6항에 있어서,
   상기 제1벡터와 상기 제2벡터가 기설정된 각도 이상 차이가 나는 경우에 한하여,
   상기 사용자의 상반신을 움직이도록 가이드 하는 메시지를 디스플레이 하는 단계
   를 포함하는 XR 디바이스의 제어 방법.
8. 제7항에 있어서,
   상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 상기 사용자의 얼굴내 분석되는 특정 부분에 대응하는 그래픽 이미지를 디스플레이 하는 단계
   를 포함하는 XR 디바이스의 제어 방법.
9. 제8항에 있어서,
   상기 특정 부분은,
   상기 사용자의 눈, 코 또는 입 중 적어도 하나를 포함하는 XR 디바이스의 제어 방법.
10. 제9항에 있어서,
    상기 얼굴내 특정 부분에 대한 분석에 실패한 경우의 상기 그래픽 이미지의 최외곽선의 칼라와, 상기 얼굴내 특정 부분에 대한 분석에 성공한 경우의 상기 그래픽 이미지의 최외곽선의 칼라는 서로 다른 것을 특징으로 하는 XR 디바이스의 제어 방법.
11. 적어도 하나의 가상 아바타를 제공하는 XR 디바이스에 있어서,
    상기 XR 디바이스의 주변에 위치한 사용자를 인식하는 카메라;
    상기 XR 디바이스 주변의 적어도 하나의 실제 오브젝트(real object) 및 제1 가상 아바타(virtual avatar)를 디스플레이 하는 디스플레이 모듈; 그리고
    상기 카메라 및 상기 디스플레이 모듈을 제어하는 컨트롤러를 포함하되,
    상기 컨트롤러는,
    제2 가상 아바타 생성을 위한 인디케이터를 생성하고,
    상기 생성된 인디케이터를 상기 XR 디바이스의 스크린내 제1위치에서 디스플레이 하도록 제어하고,
    상기 인디케이터를 상기 제1위치에서 제2위치로 이동시키고-상기 제2위치는 상기 제1위치와 다르며, 상기 스크린내 카메라 주변에 위치하는 것을 특징으로 함-,
    상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 카메라를 이용하여 상기 사용자를 촬영하도록 제어하고, 그리고
    상기 촬영된 결과에 기초하여, 상기 적어도 하나의 실제 오브젝트 및 상기 제2 가상 아바타를 디스플레이 하도록 제어하는 것을 특징으로 하는 XR 디바이스.
12. 제11항에 있어서,
    상기 컨트롤러는,
    상기 사용자가 상기 XR 디바이스로부터 기설정된 일정 거리 이상 이격하였는지 여부를 판단하고, 그리고
    상기 판단 결과 상기 기설정된 거리 이상 이격한 경우, 상기 제1 가상 아바타와 함께 기준 위치 관련 그래픽 이미지를 디스플레이 하도록 제어하며,
    상기 제1 가상 아바타는 상기 사용자의 움직임에 따라 이동하는 것을 특징으로 하는 XR 디바이스.
13. 제12항에 있어서,
    상기 기설정된 일정 거리는 상기 XR 디바이스의 스크린 사이즈에 따라 변경되는 것을 특징으로 하는 XR 디바이스.
14. 제13항에 있어서,
    상기 컨트롤러는,
    상기 인디케이터가 상기 제1위치에서 상기 제2위치로 이동하는 동안, 상기 사용자의 눈 또는 얼굴이 상기 인디케이터를 향하고 있는지 여부를 판단하고, 그리고
    상기 판단 결과 상기 사용자의 눈 또는 얼굴이 상기 인디케이터를 향하고 있지 않은 경우, 상기 인디케이터의 사이즈 또는 칼라를 변경하는 것을 특징으로 하는 XR 디바이스.
15. 제14항에 있어서,
    상기 컨트롤러는,
    상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 얼굴 스캔에 필요한 시간 정보 또는 상태 정보를 디스플레이 하도록 제어하는 것을 특징으로 하는 XR 디바이스.
16. 제15항에 있어서,
    상기 컨트롤러는,
    상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 상기 사용자의 얼굴 기준의 제1벡터와 상기 사용자의 상반신 기준의 제2벡터를 비교하는 것을 특징으로 하는 XR 디바이스.
17. 제16항에 있어서,
    상기 컨트롤러는,
    상기 제1벡터와 상기 제2벡터가 기설정된 각도 이상 차이가 나는 경우에 한하여,
    상기 사용자의 상반신을 움직이도록 가이드 하는 메시지를 디스플레이 하도록 제어하는 것을 특징으로 하는 XR 디바이스.
18. 제17항에 있어서,
    상기 컨트롤러는,
    상기 인디케이터가 상기 제2위치에 위치한 동안에 한하여, 상기 사용자의 얼굴내 분석되는 특정 부분에 대응하는 그래픽 이미지를 디스플레이 하도록 제어하는 것을 특징으로 하는 XR 디바이스.
19. 제18항에 있어서,
    상기 특정 부분은,
    상기 사용자의 눈, 코 또는 입 중 적어도 하나를 포함하는 XR 디바이스.
20. 제19항에 있어서,
    상기 얼굴내 특정 부분에 대한 분석에 실패한 경우의 상기 그래픽 이미지의 최외곽선의 칼라와, 상기 얼굴내 특정 부분에 대한 분석에 성공한 경우의 상기 그래픽 이미지의 최외곽선의 칼라는 서로 다른 것을 특징으로 하는 XR 디바이스.

Images