KR20240028892A

KR20240028892A - 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법 및 증강 현실 장치

Info

Publication number: KR20240028892A
Application number: KR1020220126514A
Authority: KR
Inventors: 강석영; 유진선; 이좌영; 국승빈
Original assignee: 삼성전자주식회사
Priority date: 2022-08-25
Filing date: 2022-10-04
Publication date: 2024-03-05

Abstract

증강 현실 장치의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성하는 단계, 생성된 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보를 획득하는 단계, 획득된 매핑 위치 정보에 기초하여, 가상 이미지를 매핑시켜 렌더링하는 단계, 및 증강 현실 장치의 디스플레이에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계를 포함하는 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법이 개시된다.

Description

디지털 아이템에 대응되는 가상 이미지를 제공하는 방법 및 증강 현실 장치{METHOD AND AUGMENTED REALITY DEVICE FOR PROVIDING VIRTUAL IMAGES CORRESPONDING DIGITAL ITEM}

디지털 아이템에 대응되는 가상 이미지를 제공하는 방법 및 증강 현실 장치에 관한 것이다.

증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다.

증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는, 프로젝션 형태의 가상 이미지의 팝업을 통해 현실 장면과 가상 이미지를 함께 볼 수 있게 한다.

본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법이 제공된다. 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 증강 현실 장치의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성하는 단계를 포함한다. 또한, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 생성된 가상 이미지를 매핑(mapping)시킬 현실 객체의 매핑 위치 정보를 획득하는 단계를 포함한다. 또한, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 획득된 매핑 위치 정보에 기초하여, 가상 이미지를 매핑시켜 렌더링하는 단계를 포함한다. 또한, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 증강 현실 장치의 디스플레이에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계를 포함한다.

본 개시의 일 실시예에 따르면, 전술한 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 증강 현실 장치가 제공된다. 디지털 아이템에 대응되는 가상 이미지를 제공하는 증강 현실 장치는 하나 이상의 인스트럭션을 저장하는 메모리, 프로세서, 카메라, 디스플레이 엔진부, 디스플레이, 및 시선 추적 센서를 포함한다. 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부를 제어하여, 증강 현실 장치의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 카메라와 시선 추적 센서를 이용하여, 생성된 가상 이미지를 매핑(mapping)시킬 현실 객체의 매핑 위치 정보를 획득한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부를 제어하여, 획득된 매핑 위치 정보에 기초하여, 가상 이미지를 매핑시켜 렌더링한다. 또한, 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시한다.

도 1은 본 개시의 일 실시예에 따른 증강 현실 장치를 착용한 사용자가 디지털 아이템에 대응되는 가상 이미지를 증강 현실 장치를 통해 확인하는 모습을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 디지털 아이템에 대응되는 가상 이미지를 생성하는 단계에 대한 상세 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 가상 이미지의 프로토타입 리스트를 제공하는 단계에 대한 상세 흐름도이다.
도 5는 본 개시의 일 실시예에 따라 디지털 아이템의 리스트에서 선택된 디지털 아이템으로부터 추출된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 제공하는 일 예를 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따라 디지털 아이템의 리스트에서 선택된 디지털 아이템의 속성에 기초하여 생성된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 제공하는 일 예를 나타낸 도면이다.
도 7은 본 개시의 일 실시예에 따른 사용자로부터 선택된 프로토타입에 따라 가상 이미지를 생성하는 단계에 대한 상세 흐름도이다.
도 8은 본 개시의 일 실시예에 따라 사용자로부터 선택된 프로토타입이 3차원 형태인 경우, 증강 현실 피팅 라이브러리를 호출하여 3차원 형태의 가상 이미지를 생성하여 가상 캐릭터에 착용시켜 보는 일 예를 나타낸 도면이다.
도 9는 본 개시의 일 실시예에 따른 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보를 획득하는 단계에 대한 상세 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 현실 객체에 대응되는 현실 객체 모델을 획득하는 단계에 대한 상세 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 가상 이미지를 매핑시켜 렌더링하는 단계에 대한 상세 흐름도이다.
도 12는 본 개시의 일 실시예에 따라 현실 객체의 매핑 위치 정보를 획득하고, 획득된 매핑 위치 정보에 기초하여 배치된 가상 이미지를 사용자의 입력에 따라 조정하는 일 예를 나타낸 도면이다.
도 13은 본 개시의 일 실시예에 따른 증강 현실 장치의 디스플레이에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계에 대한 상세 흐름도이다.
도 14는 본 개시의 일 실시예에 따라 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴에서 사용자 입력에 따른 공개 설정 정보를 획득하여, 렌더링된 가상 이미지를 획득된 공개 설정 정보에 따라 표시하는 일 예를 나타낸 도면이다.
도 15는 본 개시의 일 실시예에 따른 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버로 전송하거나 서버로부터 수신하는 단계에 대한 상세 흐름도이다.
도 16은 본 개시의 일 실시예에 따른 증강 현실 장치의 구성을 설명하기 위한 블록도이다.
도 17은 본 개시의 일 실시예에 따른 증강 현실 장치에 증강 현실 서비스를 제공하는 서버의 구성을 설명하기 위한 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다. 본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 "a", "b", "c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 본 개시의 일 실시예에 따른 증강 현실 장치(100)를 착용한 사용자가 디지털 아이템에 대응되는 가상 이미지를 증강 현실 장치(100)를 통해 확인하는 모습을 나타낸 도면이다.

본 개시에서, 증강 현실 장치(100)는 증강 현실(Augmented Reality)을 표현할 수 있는 장치이다. '증강 현실'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체(real world object)와 가상 이미지를 함께 보여주는 것을 의미한다. 증강 현실 장치(100)는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses)나, 헤드 마운트 디스플레이 장치(HMD: Head Mounted Display Apparatus) 또는 증강 현실 헬멧(Augmented Reality Helmet) 형태일 수 있다.

서버(200)는 증강 현실 장치(100)에 증강 현실 서비스를 제공한다. 서버(200)는 증강 현실 장치(100)로부터 증강 현실 서비스에 관련된 정보를 수신하고, 증강 현실 장치(100)에 증강 현실 서비스에 관련된 정보를 송신할 수 있다, 서버(200)는 증강 현실 서비스를 위한 플랫폼을 제공하며, 증강 현실 서비스에 등록되어 있거나 증강 현실 서비스를 구독 중인 사용자의 증강 현실 장치(100)에 증강 현실 서비스를 제공한다. 증강 현실 장치(100)들은 서버(200)를 통해 서로 정보를 주고 받을 수 있으며, 소정의 범위 내에 있는 증강 현실 장치(100)들은 상호 간에 직접적인 통신을 통해 서로 연결될 수 있다.

도 1을 참고하면, 증강 현실 장치(100)를 착용한 사용자들이 만나, 공개가 허용된 가상 이미지를 증강 현실 장치(100)를 통해 서로 확인함으로써, 서로가 소유하고 있는 디지털 아이템을 확인하는 장면을 볼 수 있다. '디지털 아이템'은 다양한 온라인 플랫폼에서 구매 또는 거래가 가능한 디지털 자산이다. 예를 들어, 디지털 아이템은 메타버스와 같은 가상세계 플랫폼에서 가상통화로 거래가 가능한 상품이나 UGC(User Generated Content), 온라인 게임 플랫폼에서 구매한 아이템, 아트 NFT(Non-fungible token), 프로필 NFT, 캐릭터 NFT 등일 수 있다. 특정 플랫폼에 종속되어 있는 디지털 아이템을 증강 현실 플랫폼에서 가상 이미지화하여 제공함으로써, 증강 현실 서비스를 이용하는 사용자들 간에 각자가 소유한 디지털 자산을 타인에게 공개하거나 홍보할 수 있고, 자신의 소속이나 신분 등을 나타내거나 과시하는 수단으로서 활용할 수 있다.

도 1에 도시된 내용을 살펴보면, 제1 사용자(User 1)는 증강 현실 장치(100)를 통해 제2 사용자(User 2)가 소유한 디지털 아이템에 대응되는 가상 이미지를 확인할 수 있다. 제2 사용자(User 2)가 소유한 디지털 아이템은 명칭이 'little duck', 타입은 '노래', 가격은 '$2000', 포맷은 'mp3'이고, 판매 중이며, 제2 사용자(User 2)의 머리 위에 해당 디지털 아이템에 대응되는 가상 이미지가 표시됨을 알 수 있다. 제2 사용자(User 2)는 증강 현실 장치(100)를 통해 제1 사용자(User 1)가 소유한 디지털 아이템에 대응되는 가상 이미지를 확인할 수 있다. 제1 사용자(User 1)가 소유한 디지털 아이템은 명칭이 'Cloud', 가격은 '$1000'이고, 해당 디지털 아이템은 캐릭터 NFT로서 인증된 것이며, 제1 사용자(User 1)의 상의에 해당 디지털 아이템에 대응되는 가상 이미지가 표시됨을 알 수 있다.

이하, 증강 현실 장치(100)를 통해 보이는 증강 현실의 현실 객체에 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법 및 이를 수행하는 증강 현실 장치(100)에 대해 설명한다.

도 2는 본 개시의 일 실시예에 따른 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법을 설명하기 위한 흐름도이다.

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성할 수 있다.(S210). 증강 현실 장치(100)의 사용자는 증강 현실 서비스를 이용하여, 다양한 플랫폼에서 소유했던 디지털 아이템들에 대한 정보를 가져올 수 있다. 증강 현실 장치(100)는 증강 현실 장치(100)의 사용자가 소유한 디지털 아이템들에 대한 정보에 기초하여, 디지털 아이템에 대응되는 가상 이미지를 생성할 수 있다. 이하, 도 3 내지 도 8을 참고하여, 상세히 설명한다.

도 3은 본 개시의 일 실시예에 따른 디지털 아이템에 대응되는 가상 이미지를 생성하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자가 소유한 디지털 아이템의 리스트를 제공할 수 있다.(S310) 증강 현실 장치(100)는 다양한 온라인 플랫폼에서 각각 소유하였던 디지털 아이템들을 리스트화하여 가상 이미지의 형태로 사용자에게 보여줄 수 있다. 예를 들어, 디지털 아이템의 리스트에는 특정 플랫폼에서 이용 가능한 아이템, 사용자가 구매한 컨텐츠, 게임 아이템, 다양한 종류의 NFT 등이 포함될 수 있다.

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자로부터 선택된 디지털 아이템의 속성을 분석할 수 있다.(S320) 증강 현실 장치(100)는 디지털 아이템의 리스트에서 사용자가 선택한 디지털 아이템을 확인하고, 해당 아이템의 속성을 분석할 수 있다. 사용자는 시선, 모션, 터치, 음성 중 적어도 하나의 방법을 통해, 디지털 아이템의 리스트에서 특정 디지털 아이템을 선택할 수 있다.

증강 현실 장치(100)는 분석된 속성에 기초하여, 가상 이미지의 프로토타입 리스트를 제공할 수 있다.(S330) 증강 현실 장치(100)는 사용자가 선택한 디지털 아이템의 메타데이터를 이용하여, 타입, 포맷 등을 확인할 수 있고, 디지털 아이템이 이미지를 포함하고 있는지 확인할 수 있다. 가상 이미지의 프로토타입은 가상 이미지를 실제 생성하기 전에, 이미지의 핵심 특징만 나타낸 맛보기 이미지를 의미한다. 이하, 도 4 내지 도 6을 참고하여, 상세히 설명한다.

도 4는 본 개시의 일 실시예에 따른 가상 이미지의 프로토타입 리스트를 제공하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자로부터 선택된 디지털 아이템에 추출할 이미지가 있는지 판단할 수 있다.(S410) 디지털 아이템은 해당 아이템에 관련된 이미지, 예를 들어, 사진, 동영상, 3D 영상 형태의 컨텐츠나 아이콘 또는 썸네일과 같은 대표 이미지를 포함할 수 있다.

증강 현실 장치(100)는 선택된 디지털 아이템에 추출할 이미지가 있는 경우, 선택된 디지털 아이템에서 이미지를 추출할 수 있다.(S420) 증강 현실 장치(100)는 선택된 디지털 아이템으로부터 이미지의 일부 요소를 추출하거나, 크롭된 이미지, 한 장면에 해당하는 이미지, 영상의 일부, 전체 이미지나 전체 영상을 추출할 수 있다.

증강 현실 장치(100)는 선택된 디지털 아이템에 추출할 이미지가 없는 경우, 선택된 디지털 아이템의 속성에 기초한 이미지를 생성할 수 있다.(S430) 예를 들어, 디지털 아이템이 텍스트 또는 음원 형태인 경우, 디지털 아이템으로부터 추출할 이미지가 없을 수 있다. 이와 같은 경우, 증강 현실 장치(100)는 해당 디지털 아이템을 시각화하는 작업을 수 행할 수 있다. 예를 들어, 디지털 아이템의 메타데이터 정보에 기초하여, 증강 현실 장치(100)는 해당 디지털 아이템의 종류를 상징적으로 나타내는 심볼 이미지나 추상적으로 나타내는 심볼 이미지를 해당 디지털 아이템의 이미지로서 생성할 수 있다. 또는, 증강 현실 장치(100)는 디지털 아이템의 명칭이나 형식에 대한 정보를 이용하여, 해당 정보를 반영한 2D 또는 3D의 이미지를 해당 디지털 아이템의 이미지로서 생성할 수 있다.

증강 현실 장치(100)는 추출된 이미지 또는 생성된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 제공할 수 있다.(S440) 이와 관련하여, 도 5 및 도 6의 예시들을 참조하여 설명한다.

도 5는 본 개시의 일 실시예에 따라 디지털 아이템의 리스트에서 선택된 디지털 아이템으로부터 추출된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 제공하는 일 예를 나타낸 도면이다.

도 5를 참고하면, 디지털 아이템의 리스트에는 3개의 제1 플랫폼(platform 1)의 아이템, 2개의 제2 플랫폼(platform 2)의 아이템, 및 4개의 NFT가 포함되어 있다. 증강 현실 장치(100)의 사용자는 이 중 첫 번째 캐릭터 NFT를 선택함으로써, 이에 대한 분석을 증강 현실 장치(100)에 요청할 수 있다.

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자가 선택한 캐릭터 NFT를 분석하여, 타입이 '2D 이미지', 포맷은 'JPG', 명칭은 'Monkey', 모자와 안경을 쓴 원숭이 모양의 이미지에 대한 그래픽 정보 등을 확인할 수 있다. 증강 현실 장치(100)는 사용자가 선택한 캐릭터 NFT에 '모자와 안경을 쓴 원숭이' 모양의 이미지가 포함되어 있음을 확인할 수 있다. 증강 현실 장치(100)는 해당 캐릭터 NFT로부터 '모자와 안경을 쓴 원숭이' 모양의 이미지를 추출하여, 오리지날 이미지, 패턴화한 이미지, 음원이 삽입된 이미지, 3D 형태의 이미지 등을 포함한 프로토타입 리스트를 제공할 수 있다.

도 6은 본 개시의 일 실시예에 따라 디지털 아이템의 리스트에서 선택된 디지털 아이템의 속성에 기초하여 생성된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 제공하는 일 예를 나타낸 도면이다.

도 6을 참고하면, 디지털 아이템의 리스트에는 3개의 제1 플랫폼(platform 1)의 아이템, 2개의 제2 플랫폼(platform 2)의 아이템, 및 4개의 NFT가 포함되어 있다. 증강 현실 장치(100)의 사용자는 이 중 세 번째 음원 NFT를 선택함으로써, 이에 대한 분석을 증강 현실 장치(100)에 요청할 수 있다.

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자가 선택한 음원 NFT를 분석하여, 타입이 '노래', 포맷은 'mp3', 명칭은 'little duck'이고, 음원 NFT에서 추출할 이미지가 없음을 알 수 있다. 증강 현실 장치(100)는 해당 음원 NFT의 메타데이터 또는 속성에 기초하여, 노래 아이콘, 노래 악보를 추상적으로 나타낸 이미지, 작은 오리 모양을 반영한 2D 또는 3D 형태의 이미지 등을 포함한 프로토타입 리스트를 제공할 수 있다.

다시 도3을 참고하면, 증강 현실 장치(100)는 증강 현실 장치(100)의 사용자로부터 선택된 프로토타입에 따라 가상 이미지를 생성할 수 있다.(S340) 이하, 도 7 및 도 8을 참조하여, 설명한다.

도 7은 본 개시의 일 실시예에 따른 사용자로부터 선택된 프로토타입에 따라 가상 이미지를 생성하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자로부터 선택된 프로토타입이 3차원 형태인지 판단할 수 있다.(S710) 프로토타입 리스트에 포함된 3차원 형태의 이미지는 2차원 형태의 이미지와 달리, 증강 현실 피팅 라이브러리를 호출하여 이용할 수 있다.

증강 현실 장치(100)는 선택된 프로토타입이 3차원 형태이면, 증강 현실 피팅 라이브러리를 호출할 수 있다.(S720) 증강 현실 피팅 라이브러리는 3차원 형태의 가상 이미지를 사용자에게 보여주고, 3차원 형태의 가상 이미지를 생성하는데 사용될 수 있다.

증강 현실 장치(100)는 증강 현실 피팅 라이브러리를 이용하여 3차원 형태의 가상 이미지를 생성할 수 있다.(S730) 증강 현실 장치(100)는 3차원 형태의 가상 이미지를 사용자가 경험할 수 있도록, 미러 모드 또는 가상 캐릭터 모드를 제공할 수 있다. 예를 들어, 3차원 형태의 가상 이미지가 안경 또는 모자와 같이, 안면부나 두부에 착용하는 것이면, 사용자가 증강 현실 장치(100)를 통해 자신의 모습을 보는 것이 제한적이기 때문에, 미러 모드 또는 가상 캐릭터 모드가 제공될 수 있다. 미러 모드는 증강 현실 장치(100)에 구비된 카메라를 통해 거울에 비친 사용자의 모습을 3D 스캔하여 제공하는 방식이다. 가상 캐릭터 모드는 사용자에 대응되는 아바타와 같은 가상 캐릭터를 제공하는 방식이다. 증강 현실 장치(100)는 미러 모드 또는 가상 캐릭터 모드를 통해, 3차원 형태의 가상 이미지를 거울로 보이는 사용자 또는 가상 캐릭터에게 착용시켜 볼 수 있다. 이와 같이, 미러 모드 또는 가상 캐릭터 모드를 통해 3차원 형태의 가상 이미지를 거울로 보이는 사용자 또는 가상 캐릭터에게 착용시켜 보는 경우, 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보를 획득할 수 있으므로, 현실 객체의 매핑 위치 정보를 획득하는 과정을 대신할 수 있다.

증강 현실 장치(100)는 선택된 프로토타입이 3차원 형태가 아니면, 선택된 프로토타입에 따른 2차원 형태의 가상 이미지를 생성할 수 있다.(S740) 증강 현실 장치(100)는 프로토타입 리스트에서 선택된 프로토타입, 예를 들어, 오리지날 이미지, 패턴화한 이미지, 음원이 삽입된 이미지, 아이콘 이미지 등에 따라 2차원 형태의 가상 이미지를 생성할 수 있다.

도 8은 본 개시의 일 실시예에 따라 사용자로부터 선택된 프로토타입이 3차원 형태인 경우, 증강 현실 피팅 라이브러리를 호출하여 3차원 형태의 가상 이미지를 생성하여 가상 캐릭터에 착용시켜 보는 일 예를 나타낸 도면이다.

도 8을 참고하면, 앞서 살펴본 도 5의 예에서, 프로토타입 리스트 중 3차원 이미지를 사용자가 선택한 경우, 증강 현실 장치(100)가 가상 캐릭터 모드를 통해, 3차원 형태의 가상 이미지를 가상 캐릭터에게 착용시켜보는 과정을 나타내고 있다.

증강 현실 장치(100)는 사용자에 대응되는 아바타와 같은 가상 캐릭터를 3차원 형태의 가상 이미지로 제공할 수 있다. 증강 현실 장치(100)는 사용자가 선택한 캐릭터 NFT로부터 추출되는 이미지를 이용하여, '모자와 안경을 쓴 원숭이', '모자', '안경', '원숭이' 모양 등의 3차원 형태의 이미지 리스트를 제공할 수 있다. 사용자는 3차원 형태의 이미지 리스트에서 '모자'를 선택하고, 가상 캐릭터에 착용시킬 위치를 선택할 수 있다. 증강 현실 장치(100)는 사용자의 선택에 따라, 가상 캐릭터의 두부에 3차원 형태의 모자를 씌운 가상 캐릭터를 보여줄 수 있다.

다시 도 2를 참고하면, 증강 현실 장치(100)는 생성된 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보를 획득할 수 있다.(S220) 현실 객체는 사용자의 신체 일부나 사용자가 착용하고 있는 복장 또는 소지품이 될 수 있다. 이하, 도 9 및 도 10을 참고하여, 상세히 설명한다.

도 9는 본 개시의 일 실시예에 따른 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보를 획득하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)의 사용자는 자신이 소유한 디지털 아이템에 대응되는 가상 이미지를 생성하는 과정을 거친 후, 생성된 가상 이미지를 현실 객체의 어느 곳에 위치시킬 것인지 결정하여야 한다. 증강 현실 장치(100)의 사용자는 시선, 모션, 터치, 음성 중 적어도 하나에 따라, 현실 객체 및 가상 이미지를 매핑시킬 부분을 특정할 수 있다.

도 9를 참고하면, 증강 현실 장치(100)는 현실 객체에 대응되는 현실 객체 모델을 획득할 수 있다.(S910) 예를 들어, 증강 현실 장치(100)의 사용자는 가상 이미지가 생성된 후, 생성된 가상 이미지를 매핑시킬 현실 객체의 특정 부분을 바라볼 수 있다. 사용자의 시선에 의해, 현실 객체의 일부분이 특정되면, 증강 현실 장치(100)는 특정된 현실 객체에 대응되는 현실 객체 모델을 획득할 수 있다.

증강 현실 장치(100)에 이미 저장되어 있는 현실 객체 모델이 있는 경우, 증강 현실 장치(100)는 사용자가 특정한 현실 객체에 대응되는 현실 객체 모델을 불러올 수 있다. 증강 현실 장치(100)에 사용자가 특정한 현실 객체에 대응되는 현실 객체 모델이 없는 경우, 증강 현실 장치(100)는 외부로부터 현실 객체 모델을 수신하거나, 사용자가 특정한 현실 객체에 대응되는 현실 객체 모델을 생성하는 과정을 진행할 수 있다. 이하, 도 10에서는 현실 객체 모델을 생성하는 일 예에 대해 상세히 설명한다.

도 10은 본 개시의 일 실시예에 따른 현실 객체에 대응되는 현실 객체 모델을 획득하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)는 현실 객체를 증강 현실 장치(100)를 이용하여 스캔할 수 있다.(S1010) 예를 들어, 증강 현실 장치(100)는 카메라를 이용하여 현실 객체를 스캔할 수 있다. 증강 현실 장치(100)는 스캔된 이미지로부터 깊이 정보를 획득할 수 있다. 증강 현실 장치(100)는 촬영된 복수의 이미지들과 깊이 정보를 포함하는 깊이 맵을 이용하여, 현실 객체에 대한 3차원 스캔 결과를 획득할 수 있다. 다른 예를 들어, 증강 현실 장치(100)는 미러 모드를 실행하여, 거울에 비친 사용자의 모습을 3차원 스캔하거나, 가상 캐릭터 모드를 실행하여, 사용자에 대해 촬영된 복수의 이미지들을 이용하여 3차원 모델링한 가상 캐릭터를 3차원 스캔 결과로 획득할 수 있다.

증강 현실 장치(100)는 스캔된 현실 객체로부터 특징 정보를 추출할 수 있다.(S1020) 예를 들어, 증강 현실 장치(100)는 3차원 스캔 결과에서 특징 벡터들을 추출할 수 있다.

증강 현실 장치(100)는 추출된 특징 정보에 기초한, 현실 객체의 분류 정보 및 외형 정보에 따라, 현실 객체 모델을 생성할 수 있다.(S1030) 예를 들어, 증강 현실 장치(100)는 특징 벡터들을 DNN(Deep Neural Network), CNN(Convolution Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 형태의 이미지 분류 모델, 객체 지역화(localization) 모델, 객체 검출 모델 등에 입력하여, 대상 분류, 외형 정보 측정, 객체 검출 등을 수행할 수 있다. 증강 현실 장치(100)는 이미지 분류에 따라 현실 객체를 분류하고, 현실 객체를 바운딩 박스로 지역화하여 외형 정보를 계측할 수 있다. 증강 현실 장치(100)는 현실 객체를 검출하고 모델링하여, 현실 객체 모델을 생성할 수 있다.

다시 도 9를 참조하면, 증강 현실 장치(100)는 획득된 현실 객체 모델에 대응되는 소정의 마커 위치에 가상 이미지를 배치할 수 있다.(S920) 현실 객체 모델은 적어도 하나의 마커를 가질 수 있다. 마커는 현실 객체 모델의 특징이 될 만한 부분에 위치할 수 있다. 예를 들어, 현실 객체 모델의 중앙부나 돌출 부분 등에 마커가 위치할 수 있다. 증강 현실 장치(100)는 현실 객체 모델에 적어도 하나의 마커를 설정해 두고, 사용자의 입력에 따라, 가상 이미지를 매핑시킬 위치가 정해지면, 현실 객체의 매핑 위치 정보를 획득할 수 있다. 예를 들어, 증강 현실 장치(100)를 착용한 사용자가 증강 현실 장치를 통해 보는 현실 객체의 특정 부분을 선택하거나 생성된 가상 이미지를 현실 객체의 특정 부분에 드래그 앤 드롭함으로써, 현실 객체의 매핑 위치정보를 획득할 수 있다.

다시 도 2를 참고하면, 증강 현실 장치(100)는 획득된 매핑 위치 정보에 기초하여, 가상 이미지를 매핑시켜 렌더링할 수 있다.(S230) 이하, 도 11을 참고하여, 상세히 설명한다.

도 11은 본 개시의 일 실시예에 따른 가상 이미지를 매핑시켜 렌더링하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)는 획득된 매핑 위치 정보에 기초하여 배치된 가상 이미지를 사용자의 입력에 따라 조정할 수 있다.(S1110) 증강 현실 장치(100)는 획득된 매핑 위치 정보에 기초하여 현실 객체 모델의 소정의 마커 위치에 가상 이미지를 배치할 수 있다. 증강 현실 장치(100)를 착용한 사용자는 현실 객체에 가상 이미지가 더욱 완벽하게 매핑되도록, 1차적으로 배치된 가상 이미지의 위치를 상세하게 조정하거나 가상 이미지의 크기를 조정할 수 있다.

증강 현실 장치(100)는 획득된 매핑 위치 정보의 좌표 변화에 따라, 상세 위치나 크기가 조정된 가상 이미지를 재조정할 수 있다.(S1120) 현실 객체가 움직이면, 획득된 매핑 위치 정보의 좌표도 현실 객체의 움직임을 반영하여 변화되어야 한다. 증강 현실 장치(100)는 현실 객체의 움직임을 추적하여, 움직임 파라미터를 획득할 수 있다. 증강 현실 장치(100)는 움직임 파라미터를 3차원 모델링된 현실 객체 모델에 적용할 수 있다. 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보의 좌표도 변화하게 되므로, 증강 현실 장치는 매핑 위치 정보의 좌표 변환에 따라, 가상 이미지를 재조정할 수 있다.

도 12는 본 개시의 일 실시예에 따라 현실 객체의 매핑 위치 정보를 획득하고, 획득된 매핑 위치 정보에 기초하여 배치된 가상 이미지를 사용자의 입력에 따라 조정하는 일 예를 나타낸 도면이다.

도 12를 참고하면, 증강 현실 장치(100)를 착용한 사용자가 디지털 아이템에 대응되는 가상 이미지를 매핑시킬 현실 객체의 매핑 위치를 특정하고, 해당 위치에 배치된 가상 이미지를 핑커 인터랙션으로 조정하는 모습을 나타내고 있다.

증강 현실 장치(100)는 카메라를 이용하여, 사용자가 바라보는 방향의 현실 객체를 스캔할 수 있다. 도 12를 보면, 증강 현실 장치(100)를 착용한 사용자가 경험할 수 있는 증강 현실 뷰는 사용자의 팔, 상의 전면, 하의 전면, 신발 전면 등의 현실 객체들이 포함된다. 증강 현실 장치(100)는 증강 현실 뷰에 포함된 현실 객체들 중 사용자가 선택한 상의 전면에 대한 현실 객체 모델을 획득할 수 있다. 또는, 증강 현싱 장치(100)는 증강 현실 뷰에 포함된 현실 객체들 각각에 대응되는 현실 객체 모델을 획득한 후, 사용자가 선택한 상의 전면에 대응되는 현실 객체 모델을 획득할 수 있다.

증강 현실 장치(100)는 상의 전면에 대한 현실 객체 모델을 획득하고, 상의 전면 중앙부에 위치한 소정의 마커 위치를 매핑 위치 정보로서 획득할 수 있다. 증강 현실 장치(100)는 획득된 매핑 위치 정보에 패턴화된 형태의 가상 이미지를 배치할 수 있다. 증강 현실 장치(100)는 획득된 매핑 위치 정보에 기초하여 배치된 가상 이미지를 사용자의 핑거 인터랙션에 따라 크기와 위치를 조정한 후 고정시킬 수 있다. 도 12에 도시된 바와 같이, 증강 현실 장치(100)는 매핑 위치 정보에 기초하여 '모자와 안경을 쓴 원숭이' 모양의 패턴화된 이미지를 상의 전면 중앙부에 배치한 후, 사용자의 핀치 아웃 제스쳐에 따라, 패턴화된 이미지를 확대할 수 있다.

다시 도 2를 참고하면, 증강 현실 장치(100)는 증강 현실 장치(100)의 디스플레이에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시할 수 있다.(S240) 이하, 도 13 및 도 14를 참고하여, 상세히 설명한다.

도 13은 본 개시의 일 실시예에 따른 증강 현실 장치(100)의 디스플레이에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)는 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴를 표시할 수 있다.(S1310) '공개 설정 정보'는 렌더링된 가상 이미지에 대응되는 디지털 아이템의 메타 데이터 항목들 중 공개할 항목, 렌더링된 가상 이미지를 공개할 조건, 렌더링된 가상 이미지에 대한 접근 권한 중 적어도 하나를 포함할 수 있다.

증강 현실 장치(100)는 사용자 입력에 따른 공개 설정 정보를 획득할 수 있다.(S1320) 증강 현실 장치(100)는 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴에서, 사용자 입력에 따른 공개할 항목, 공개할 지역적 조건, 공개할 시간적 조건, 공개한 가상 이미지에 대한 접근 권한을 가지는 자 등에 대한 정보를 획득할 수 있다.

다만, S1310 단계 및 S1320 단계는 디지털 아이템에 대응되는 가상 이미지를 생성하여 증강 현실 장치(100)에 표시하기 직전 뿐만 아니라, 사전에 미리 수행될 수 있다. 예를 들어, 증강 현실 장치(100)의 사용자는 자신이 소유한 디지털 아이템에 대응되는 모든 가상 이미지에 대해, 공개 설정 정보를 미리 등록해 둘 수 있다.

증강 현실 장치(100)는 렌더링된 가상 이미지를 획득된 공개 설정 정보에 따라 표시할 수 있다.(S1330) 예를 들어, 증강 현실 장치(100)는 공개 설정 정보에 기초하여, 증강 현실 장치(100)를 착용한 일부 사용자에 대해서만 렌더링된 가상 이미지가 표시되도록 하거나, 특정 지역이나 특정 시간에서만 렌더링된 가상 이미지가 표시되도록 할 수 있으며, 디지털 아이템의 메타데이터 중 일부에 대해서만 가상 이미지와 함께 표시되도록 할 수 있다.

도 14는 본 개시의 일 실시예에 따라 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴에서 사용자 입력에 따른 공개 설정 정보를 획득하여, 렌더링된 가상 이미지를 획득된 공개 설정 정보에 따라 표시하는 일 예를 나타낸 도면이다.

도 14에 도시된 '공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴'를 보면, 디지털 아이템의 메타 데이터 항목들을 일반 정보와 민감 정보로 구분하여 표시하고, 공개할 항목들과 비공개할 항목들을 선정하는 체크 메뉴를 포함한다. 도 14를 보면, 일반 정보에는 '원본 이미지', '작품명', '크리에이터/커뮤니티', '디스크립션', '확장자(포맷)', '특성/속성'이 포함되고, 민감 정보에는 '가격', '가격 히스토리', 'URL'이 포함되나, 이제 제한되는 것은 아니다. '공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴'는 공개 권한 설정에 관한 체크 메뉴, 지역 설정에 관한 체크 메뉴, 시간 설정에 관한 체크 메뉴, 기타 설정에 관한 체크 메뉴를 더 포함할 수 있다. 도 14를 보면, 증강 현실 장치(100)를 착용한 모든 사용자가 가상 이미지를 볼 수 있도록 모두에게 공개된 것임을 알 수 있고, 집과 직장에서 오전 시간에만 가상 이미지가 표시됨을 알 수 있다. 또한, 가상 이미지에 대응되는 디지털 아이템의 거래를 위해, '판매용(For sale)'임을 가상 이미지와 함께 표시함을 알 수 있다.

도 15는 본 개시의 일 실시예에 따른 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로 전송하거나 서버(200)로부터 수신하는 단계에 대한 상세 흐름도이다.

증강 현실 장치(100)의 사용자는 다른 사용자와 디지털 아이템에 대응되는 가상 이미지에 대한 정보를 서로 공유할 수 있다. 이를 위해, 증강 현실 장치(100)는 증강 현실 서비스를 제공하는 서버(200)와 통신을 수행하여, 가상 이미지에 대한 정보를 송수신할 수 있다.

도 15를 참고하면, 증강 현실 장치(100)는 증강 현실 서비스를 제공하는 서버(200)에 전송 또는 증강 현실 서비스를 제공하는 서버(200)로부터 수신할 렌더링된 가상 이미지가 있는지 판단할 수 있다.(S1510) 증강 현실 장치(100)는 증강 현실 장치(100)에서 가상 이미지의 렌더링이 완료된 경우, 증강 현실 장치(100)로부터 소정의 범위 이내에 다른 증강 현실 장치(100)가 진입한 경우, 서버(200)에 다른 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지에 대한 정보가 수신된 경우, 또는, 일정한 주기가 반복되는 경우 등 소정의 이벤트가 발생할 때, S1510 단계를 수행할 수 있다.

증강 현실 서비스를 제공하는 서버(200)에 전송할 렌더링된 가상 이미지가 있는 경우, 증강 현실 장치(100)는 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로 전송할 수 있다.(S1520) 렌더링된 가상 이미지에 대한 정보는 가상 이미지의 그래픽 정보 및 현실 객체의 매핑 위치 정보를 포함할 수 있다. 예를 들어, 디지털 아이템에 대응되는 가상 이미지의 렌더링이 완료된 경우, 증강 현실 장치(100)는 렌더링된 가상 이미지의 그래픽 정보 및 현실 객체의 매핑 위치 정보를 증강 현실 서비스를 제공하는 서버(200)로 전송할 수 있다. 렌더링된 가상 이미지의 그래픽 정보는 디지털 아이템에 기초하여 추출 또는 생성된 이미지의 그래픽 정보와 디지털 아이템의 메타데이터 정보 및 공개 설정 정보를 포함할 수 있다. 현실 객체의 매핑 위치 정보는 카메라 및/또는 사용자의 시선 정보에 따라 정해진 현실 객체의 현실 객체 모델에 대응되는 소정의 마크 위치 및 사용자 입력 또는 현실 객체의 움직임에 따라 변화되는 조정된 위치를 나타내는 정보일 수 있다.

증강 현실 서비스를 제공하는 서버(200)로부터 수신할 렌더링된 가상 이미지가 있는 경우, 증강 현실 장치(100)는 다른 증강 현실 장치(100)에서 렌더링된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로부터 수신할 수 있다.(S1530) 예를 들어, 증강 현실 장치(100)는 다른 사용자가 소유한 디지털 아이템에 대응되는, 렌더링된 가상 이미지에 대한 정보를 수신할 수 있다.

증강 현실 장치(100)는 수신된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보에 기초하여, 디스플레이에 다른 현실 객체에 관련된 가상 이미지를 표시할 수 있다.(S1540) 예를 들어, 증강 현실 장치(100)는 수신된, 렌더링된 가상 이미지의 그래픽 정보 및 다른 현실 객체의 매핑 위치 정보를 이용하여, 증강 현실 장치(100)를 착용한 사용자의 시점에 맞게 변환된 가상 이미지를 다른 현실 객체의 매칭 위치에 표시할 수 있다.

증강 현실 장치(100)는 서버(200)로 전송이 완료되거나, 서버(200)로부터 수신이 완료되거나, 전송 또는 수신할 렌더링된 가상 이미지가 없는 경우, 증강 현실 장치(100)를 종료할지 판단할 수 있다.(S1550)

증강 현실 장치(100)는 증강 현실 장치(100)의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 추가할 것인지 여부를 판단할 수 있다.(S1560) 증강 현실 장치(100)의 사용자가 소유한 다른 디지털 아이템에 대응되는 가상 이미지를 추가하고자 하는 경우, 증강 현실 장치(100)는 도2의 S210 단계부터 다시 진행할 수 있다. 반면, 더 이상 추가하고자 하는 가상 이미지가 없는 경우, 증강 현실 장치(100)는 S1510 단계부터 다시 진행할 수 있다.

도 16은 본 개시의 일 실시예에 따른 증강 현실 장치(100)의 구성을 설명하기 위한 블록도이다. 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법에 관하여 이상에서 설명한 내용은 이하 생략된 내용이라하더라도, 증강 현실 장치(100)에 대해서도 그대로 적용될 수 있다.

도 16을 참조하면, 증강 현실 장치(100)는 메모리(110), 프로세서(120), 카메라(130), 디스플레이 엔진부(140), 디스플레이(150), 시선 추적 센서(160), 통신 인터페이스 모듈(170), 입력부(180)를 포함할 수 있다. 그 외에도 증강 현실 장치(100)의 위치를 감지하는 위치 센서나 증강 현실 장치(100)에 전원을 공급하는 전원부와 같은 구성들도 더 포함할 수 있으며, 본 개시의 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 16에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.

메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(110)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(110)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.

메모리(110)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(120)에 의해 실행됨으로써, 증강 현실 장치(100)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 프로세서(120)에 의해 가상 이미지 생성 모듈, 매핑 위치 결정 모듈, 렌더링 모듈 등이 실행될 수 있으나, 이에 한정되는 것은 아니며, 다른 소프트웨어 모듈을 더 포함할 수 있다.

프로세서(120)는 메모리(110)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 증강 현실 장치(100)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(120)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.

프로세서(120)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 처리 장치(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 애플리케이션 프로세서(Application Processor), 신경망 처리 장치(Neural Processing Unit) 또는 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다. 프로세서(120)를 구성하는 각 프로세서는 소정의 기능을 수행하기 위한 전용 프로세서일 수 있다.

카메라(130)는 현실 세계의 장면을 촬영하는 장치로써, 스테레오 영상을 획득하는 스테레오 카메라이거나 단일 카메라일 수 있다. 카메라(130)는 렌즈들을 포함하는 렌즈 모듈, AF(Auto Focus) 액추에이터, 이미지 센서, 이미지 신호 프로세서를 포함할 수 있다. 렌즈 모듈은 경통부 내에 복수 개의 렌즈들이 배치된 구조를 가지며, 외부로부터 입사되는 광이 배치된 렌즈들을 통과하도록 할 수 있다. AF 액추에이터는 선명한 화질의 영상을 획득하기 위해, 렌즈들을 최적의 초점 위치로 이동시킬 수 있다. 이미지 신호 프로세서는 이미지 센서에서 변환된 전기적 신호를 이미지 신호로 변환할 수 있다. 또한, 카메라(130)는 뎁스 정보를 감지하기 위한 뎁스 카메라를 더 포함할 수 있다.

증강 현실 장치(100)는 각 기능에 대응되는 카메라(130)를 복수 개 구비할 수 있다. 예를 들어, 사용자의 시선 정보에 대응되는 방향을 촬영하는 제1 카메라, 특정 각도의 방향을 촬영하는 제2 카메라, 깊이 정보를 획득하는 제3 카메라, 현실 객체를 3D 스캔하기 위한 제4 카메라를 구비할 수 있다.

증강 현실 장치(100)는 디스플레이 엔진부(140)와 디스플레이(150)를 통해 가상 이미지를 렌더링하여 표시할 수 있다. 가상 이미지는 광학 엔진을 통해 생성될 수 있으며, 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 사용자가 증강 현실 장치(100)를 통해서 보는 현실 세계의 장면 즉, 현실 장면(real scene)과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 이미지 또는 증강 현실 장치(100)의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.

디스플레이 엔진부(140)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(150)까지 안내하는 가이드부를 포함할 수 있다. 디스플레이(150)는 증강 현실 장치(100)의 좌안 렌즈 및/또는 우안 렌즈에 내재된 시스루 형태의 웨이브가이드(Waveguide)을 포함할 수 있다. 디스플레이(150)는 현실 객체에 매핑되는 가상 이미지 또는 증강 현실 장치(100)의 동작에 대한 정보나 제어 메뉴를 나타내는 가상 이미지를 디스플레이할 수 있다.

디스플레이(150)는 복수의 뎁스 레이어를 포함하는 형태로 구현될 수 있다. 디스플레이(150)는 현실 객체 모델에 대응되는 뎁스 레이어에 가상 이미지를 제공함으로써, 증강 현실에서 현실 객체에 일체화된 가상 이미지를 볼 수 있는 사용자 경험을 제공할 수 있다.

디스플레이(150)를 통해 가상 이미지가 표시되는 경우, 증강 현실 장치(100)를 착용한 사용자는 가상 이미지를 조작하기 위해 카메라(130)나 시선 추적 센서(160), 또는 입력부(180)를 통해 가상 이미지를 조작할 수 있다.

시선 추적 센서(160)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 예를 들어, 시선 추적 센서(160)는 적외선 광을 사용자의 눈에 조사하여 반사된 광을 수신함으로써 촬영된 영상으로부터 동공을 검출하여 그 움직임을 추적할 수 있다. 프로세서(120)는 시선 추적 센서(160)에서 검출된 사용자의 시선 정보에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(160)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시점에서 다른 응시점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다.

증강 현실 장치(100)의 프로세서(120)는 시선 추적 센서(160)를 이용하여 사용자의 응시점이나 사용자의 시선 이동을 판단하여, 증강 현실 장치(100)의 제어에 이용할 수 있다. 프로세서(120)는 시선 추적 센서(160)에 의해 판단되는 응시점이나 시선 이동에 따라서 카메라(130)를 제어하여, 적어도 하나의 영상을 획득할 수 있다.

통신 인터페이스 모듈(170)은 증강 현실 장치(100)의 외부에 위치한 장치와 연결되어, 증강 현실 장치(100)에서 획득하거나 생성된 정보를 외부에 위치한 장치에 전송하거나, 외부에 위치한 장치로부터 여러 가지 종류의 정보를 수신할 수 있다. 예를 들어, 외부에 위치한 장치는 서버(200)나 사용자 단말(미도시)일 수 있다. 통신 인터페이스 모듈(170)은 다른 장치 또는 네트워크와 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 모듈(170)은 다양한 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다.

입력부(180)는 증강 현실 장치(100)의 사용자의 입력을 수신할 수 있다. 예를 들어, 입력부(180)는 터치 스크린, 사용자의 음성을 수신하는 마이크로폰, 또는 사용자의 모션을 감지하는 모션 센서일 수 있으나, 이에 제한되는 것은 아니다. 일 실시예에 따르면, 카메라(130)와 시선 추적 센서(140)를 이용하여 사용자의 입력을 수신함으로써, 입력부(180)가 대체될 수 있다. 예를 들어, 프로세서(120)는 시선 추적 센서(160)를 이용하여 회득된 시선 정보에 기초하여, 시선 좌표를 획득할 수 있다. 프로세서(120)는 카메라(130)를 통해 촬영된 영상에 기초하여, 시선 좌표에 대응되는 현실 객체를 특정하고, 현실 객체에 매핑될 가상 이미지를 불러오는 제스처를 인식할 수 있다.

상기한 구성에 따라, 본 개시의 일 실시예에 따른 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 증강 현실 장치(100)가 디지털 아이템에 대응되는 가상 이미지를 제공하기 위한 전반적인 동작들을 제어할 수 있다.

본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제1 프로세서는 가상 이미지 생성 모듈을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 증강 현실 장치(100)의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제1 프로세서는 디스플레이 엔진부(140)를 제어하여, 디지털 아이템의 리스트를 디스플레이(150)를 통해 제공할 수 있다. 프로세서(120) 또는 제1 프로세서는 디지털 아이템의 리스트에서 사용자로부터 선택된 디지털 아이템의 속성을 분석할 수 있다. 프로세서(120) 또는 제1 프로세서는 디스플레이 엔진부(140)를 제어하여, 분석된 속성에 기초하여, 가상 이미지의 프로토타입 리스트를 디스플레이(150)를 통해 제공할 수 있다. 예를 들어, 프로세서(120) 또는 제1 프로세서는 사용자로부터 선택된 디지털 아이템에 추출할 이미지가 있는지 판단할 수 있다. 프로세서(120) 또는 제1 프로세서는 추출할 이미지가 있는 경우, 선택된 디지털 아이템에서 이미지를 추출하고, 추출할 이미지가 없는 경우, 선택된 디지털 아이템의 속성에 기초한 이미지를 생성할 수 있다. 프로세서(120) 또는 제1 프로세서는 디스플레이 엔진부(140)를 제어하여, 추출된 이미지 또는 생성된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 디스플레이(150)를 통해 제공할 수 있다. 프로세서(120) 또는 제1 프로세서는 디스플레이 엔진부(140)를 제어하여, 프로토타입 리스트에서 사용자로부터 선택된 프로토타입에 따라 가상 이미지를 생성할 수 있다. 예를 들어, 프로세서(120) 또는 제1 프로세서는 사용자로부터 선택된 프로토타입이 3차원 형태인지 판단할 수 있다. 프로세서(120) 또는 제1 프로세서는 선택된 프로토타입이 3차원 형태이면, 디스플레이 엔진부(140)를 제어하여, 증강 현실 피팅 라이브러리를 이용하여 3차원 형태의 가상 이미지를 생성할 수 있다. 프로세서(120) 또는 제1 프로세서는 선택된 프로토타입이 3차원 형태가 아니면, 디스플레이 엔진부(140)를 제어하여, 선택된 프로토타입에 따른 2차원 형태의 가상 이미지를 생성할 수 있다.

본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제2 프로세서는 매핑 위치 결정 모듈을 실행함으로써, 카메라(130)와 시선 추적 센서(160)를 이용하여, 생성된 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보를 획득할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제2 프로세서는 카메라(130)와 시선 추적 센서(160)를 이용하여, 현실 객체에 대응되는 현실 객체 모델을 획득하고, 획득된 현실 객체 모델에 대응되는 소정의 마커 위치에 가상 이미지를 배치함으로써 현실 객체의 매핑 위치 정보를 획득할 수 있다. 일 실시예에 따른 프로세서(120) 또는 제2 프로세서는 현실 객체를 카메라(130)를 이용하여 스캔하고, 스캔된 현실 객체로부터 특징 정보를 추출할 수 있다. 프로세서(120) 또는 제2 프로세서는 추출된 특징 정보에 기초한, 현실 객체의 분류 정보 및 외형 정보에 따라, 현실 객체 모델을 생성할 수 있다. 현실 객체의 분류 정보는 인식된 대상이 사용자의 신체 일부인지, 상의인지 하의인지, 신발인지, 사용자의 소지품인지 등으로 분류되는 정보를 의미한다. 현실 객체의 외형 정보는 인식된 대상을 계측함으로써 획득한 길이, 너비, 두께, 색상, 소재 등의 정보를 의미한다. 프로세서(120) 또는 제2 프로세서는 현실 객체의 분류 정보 및 외형 정보에 기초하여, 인식된 대상에 대한 목록을 생성하고, 현실 객체에 대응되는 현실 객체 모델을 생성할 수 있다. 현실 객체 모델은 현실 객체 모델 내의 위치를 특정하는 적어도 하나의 마커를 포함하고 있다. 증강 현실 장치(100)는 사용자의 입력에 따라, 소정의 마커 위치에 가상 이미지를 배치함으로써 현실 객체의 매핑 위치 정보를 획득할 수 있다.

본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제3 프로세서는 렌더링 모듈을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 획득된 매핑 위치 정보에 기초하여, 가상 이미지를 매핑시켜 렌더링하고, 디스플레이(150)에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시할 수 있다.

일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 디스플레이 엔진부(140)를 제어하여, 획득된 매핑 위치 정보에 기초하여 배치된 가상 이미지를 사용자의 입력에 따라 조정할 수 있다. 프로세서(120) 또는 제3 프로세서는 현실 객체가 움직이는 경우, 디스플레이 엔진부(140)를 제어하여, 획득된 매핑 위치 정보의 좌표 변화에 따라, 조정된 가상 이미지를 재조정함으로써, 가상 이미지의 렌더링을 수행할 수 있다. 일 실시예에 따른 프로세서(120) 또는 제3 프로세서는 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴를 디스플레이(150)에 표시하고, 사용자 입력에 따른 공개 설정 정보를 획득할 수 있다. 프로세서(120) 또는 제3 프로세서는 렌더링된 가상 이미지를 획득된 공개 설정 정보에 따라 디스플레이(150)에 표시할 수 있다. 공개 설정 정보는 렌더링된 가상 이미지에 대응되는 디지털 아이템의 메타 데이터 항목들 중 공개할 항목, 렌더링된 가상 이미지를 공개할 조건, 렌더링된 가상 이미지에 대한 접근 권한 중 적어도 하나를 포함할 수 있다.

본 개시의 일 실시예에 따른 프로세서(120) 또는 프로세서(120)를 구성하는 제4 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 통신 인터페이스 모듈(170)을 통해, 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로 전송할 수 있다. 렌더링된 가상 이미지에 대한 정보는 가상 이미지의 그래픽 정보 및 현실 객체의 매핑 위치 정보를 포함할 수 있다. 프로세서(120) 또는 제4 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 통신 인터페이스 모듈(170)을 통해, 다른 증강 현실 장치에서 렌더링된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로부터 수신할 수 있다. 프로세서(120) 또는 제4 프로세서는 수신된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보에 기초하여, 디스플레이(150)에 다른 현실 객체에 관련된 가상 이미지를 표시할 수 있다.

도 17은 본 개시의 일 실시예에 따른 증강 현실 장치(100)에 증강 현실 서비스를 제공하는 서버(200)의 구성을 설명하기 위한 블록도이다.

도 17를 참조하면, 서버(200)는 메모리(210), 프로세서(220), 통신 인터페이스 모듈(230), 스토리지(240)를 포함한다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 17에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.

도 17의 블록도의 각 구성요소는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.

메모리(210)는 프로세서(220)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.

프로세서(220)는 메모리(210)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(220)는 서버(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스 모듈(230)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(240)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보로부터 제2 외부 장치에서 이용되는 정보를 획득하거나, 수신되는 정보를 가공하는 행위를 수행할 수 있다. 또한, 프로세서(220)는 제1 외부 장치로부터 수신되는 정보를 제2 외부 장치로 전달할 수 있다.

통신 인터페이스 모듈(230)는 증강 현실 장치(100)와 같은 외부 장치와 통신을 수행할 수 있다. 예를 들어, 서버(200)는 증강 현실 장치(100)로부터 가상 이미지에 대한 정보를 수신할 수 있고, 다른 증강 현실 장치(100)에 가상 이미지에 대한 정보를 전달할 수 있다.

스토리지(240)는 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(240)는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 증강 현실 서비스를 제공하는데 이용되는 각종 데이터 또는 정보를 저장할 수 있다. 서버(200)는 소정의 범위 내에 있는 증강 현실 장치(100)들 간의 정보를 서로 교환하도록 중개 장치의 역할을 수행할 수 있다. 이를 위해, 서버(200)는 사용자 별로 증강 현실 장치(100)에 대한 정보를 스토리지(240)에 미리 등록하고, 증강 현실 서비스에 관련된 정보를 업데이트할 수 있다. 서버(200)는 증강 현실 장치(100)로부터 수신된 가상 이미지에 대한 정보를 어느 증강 현실 장치(100)로 전달할 것인지 결정할 수 있다. 가상 이미지에 대한 정보는 렌더링된 가상 이미지의 그래픽 정보 및 현실 객체의 매핑 위치 정보를 포함한다.

한편, 본 개시의 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.

또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법이 제공된다. 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 증강 현실 장치의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성하는 단계(S210)를 포함한다. 또한, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 생성된 가상 이미지를 매핑(mapping)시킬 현실 객체의 매핑 위치 정보를 획득하는 단계(S220)를 포함한다. 또한, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 획득된 매핑 위치 정보에 기초하여, 가상 이미지를 매핑시켜 렌더링하는 단계(S230)를 포함한다. 또한, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 증강 현실 장치의 디스플레이에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계(S240)를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 가상 이미지를 생성하는 단계(S210)는 디지털 아이템의 리스트를 제공하는 단계(S310)를 포함한다. 또한, 가상 이미지를 생성하는 단계(S210)는 사용자로부터 선택된 디지털 아이템의 속성을 분석하는 단계(S320)를 포함한다. 또한, 가상 이미지를 생성하는 단계(S210)는 분석된 속성에 기초하여, 가상 이미지의 프로토타입 리스트를 제공하는 단계(S330)를 포함한다. 또한, 가상 이미지를 생성하는 단계(S210)는 사용자로부터 선택된 프로토타입에 따라 가상 이미지를 생성하는 단계(S340)를 포함한다.

또한, 프로토타입 리스트를 제공하는 단계(S330)는 선택된 디지털 아이템에 추출할 이미지가 있는지 판단하는 단계(S410)를 포함한다. 또한, 프로토타입 리스트를 제공하는 단계(S330)는 추출할 이미지가 있는 경우, 선택된 디지털 아이템에서 이미지를 추출하고, 추출할 이미지가 없는 경우, 선택된 디지털 아이템의 속성에 기초한 이미지를 생성하는 단계(S420, S430)를 포함한다. 또한, 프로토타입 리스트를 제공하는 단계(S330)는 추출된 이미지 또는 생성된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 제공하는 단계(S440)를 포함한다.

또한, 가상 이미지를 생성하는 단계(S340)는 사용자로부터 선택된 프로토타입이 3차원 형태인지 판단하는 단계(S710)를 포함한다. 또한, 가상 이미지를 생성하는 단계(S340)는 선택된 프로토타입이 3차원 형태이면, 증강 현실 피팅 라이브러리를 이용하여 3차원 형태의 가상 이미지를 생성하고, 선택된 프로토타입이 3차원 형태가 아니면, 선택된 프로토타입에 따른 2차원 형태의 가상 이미지를 생성하는 단계(S720, S730, S740)를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 매핑 위치 정보를 획득하는 단계(S220)는 현실 객체에 대응되는 현실 객체 모델을 획득하는 단계(S910)를 포함한다. 또한, 매핑 위치 정보를 획득하는 단계(S220)는 획득된 현실 객체 모델에 대응되는 소정의 마커 위치에 가상 이미지를 배치하는 단계(S920)를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 가상 이미지를 매핑시켜 렌더링하는 단계(S230)는 획득된 매핑 위치 정보에 배치된 가상 이미지를 사용자의 입력에 따라 조정하는 단계(S1110)를 포함한다. 또한, 가상 이미지를 매핑시켜 렌더링하는 단계(S230)는 획득된 매핑 위치 정보의 좌표 변화에 따라, 조정된 가상 이미지를 재조정하는 단계(S1120)를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계(S240)는 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴를 표시하는 단계(S1310)를 포함한다. 또한, 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계(S240)는 사용자 입력에 따른 공개 설정 정보를 획득하는 단계(S1320)를 포함한다. 또한, 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계(S240)는 렌더링된 가상 이미지를 획득된 공개 설정 정보에 따라 표시하는 단계(S1330)를 포함한다. 이때, 공개 설정 정보는 렌더링된 가상 이미지에 대응되는 디지털 아이템의 메타 데이터 항목들 중 공개할 항목, 렌더링된 가상 이미지를 공개할 조건, 렌더링된 가상 이미지에 대한 접근 권한 중 적어도 하나를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버로 전송하는 단계(S1520)를 더 포함한다. 이때, 렌더링된 가상 이미지에 대한 정보는, 가상 이미지의 그래픽 정보 및 현실 객체의 매핑 위치 정보를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 다른 증강 현실 장치에서 렌더링된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버로부터 수신하는 단계(S1530)를 더 포함한다. 또한, 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법은 수신된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보에 기초하여, 증강 현실 장치의 디스플레이에 다른 현실 객체에 관련된 가상 이미지를 표시하는 단계(S1540)를 더 포함한다.

본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 증강 현실 장치(100)가 제공된다. 디지털 아이템에 대응되는 가상 이미지를 제공하는 증강 현실 장치는 하나 이상의 인스트럭션을 저장하는 메모리(110), 프로세서(120), 카메라(130), 디스플레이 엔진부(140), 디스플레이(150), 및 시선 추적 센서(160)를 포함한다. 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 증강 현실 장치(100)의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성하한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 카메라(130)와 시선 추적 센서(160)를 이용하여, 생성된 가상 이미지를 매핑시킬 현실 객체의 매핑 위치 정보를 획득한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 획득된 매핑 위치 정보에 기초하여, 가상 이미지를 매핑시켜 렌더링한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이(150)에 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시한다.

또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 디지털 아이템의 리스트를 디스플레이(150)를 통해 제공한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 사용자로부터 선택된 디지털 아이템의 속성을 분석한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 분석된 속성에 기초하여, 가상 이미지의 프로토타입 리스트를 디스플레이(150)를 통해 제공한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 사용자로부터 선택된 프로토타입에 따라 가상 이미지를 생성한다.

또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 선택된 디지털 아이템에 추출할 이미지가 있는지 판단하고, 추출할 이미지가 있는 경우, 상기 선택된 디지털 아이템에서 이미지를 추출하고, 추출할 이미지가 없는 경우, 상기 선택된 디지털 아이템의 속성에 기초한 이미지를 생성한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 추출된 이미지 또는 생성된 이미지에 기초하여, 가상 이미지의 프로토타입 리스트를 디스플레이(150)를 통해 제공한다.

또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 사용자로부터 선택된 프로토타입이 3차원 형태인지 판단한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 선택된 프로토타입이 3차원 형태이면, 증강 현실 피팅 라이브러리를 이용하여 3차원 형태의 가상 이미지를 생성하고, 선택된 프로토타입이 3차원 형태가 아니면, 선택된 프로토타입에 따른 2차원 형태의 가상 이미지를 생성한다.

또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 카메라(130)와 시선 추적 센서(160)를 이용하여, 현실 객체에 대응되는 현실 객체 모델을 획득하고, 획득된 현실 객체 모델에 대응되는 소정의 마커 위치에 가상 이미지를 배치함으로써 현실 객체의 매핑 위치 정보를 획득한다.

또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 현실 객체를 카메라(130)를 이용하여 스캔한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 스캔된 현실 객체로부터 특징 정보를 추출하고, 추출된 특징 정보에 기초한, 현실 객체의 분류 정보 및 외형 정보에 따라, 현실 객체 모델을 생성한다.

또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 엔진부(140)를 제어하여, 획득된 매핑 위치 정보에 배치된 가상 이미지를 사용자의 입력에 따라 조정하고, 획득된 매핑 위치 정보의 좌표 변화에 따라, 조정된 가상 이미지를 재조정함으로써, 가상 이미지의 렌더링을 수행한다.

또한, 본 개시의 일 실시예에 따르면, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴를 디스플레이(150)에 표시하고, 사용자 입력에 따른 공개 설정 정보를 획득하고, 렌더링된 가상 이미지를 획득된 공개 설정 정보에 따라 디스플레이(150)에 표시한다. 이때, 공개 설정 정보는 렌더링된 가상 이미지에 대응되는 디지털 아이템의 메타 데이터 항목들 중 공개할 항목, 렌더링된 가상 이미지를 공개할 조건, 렌더링된 가상 이미지에 대한 접근 권한 중 적어도 하나를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 증강 현실 장치(100)는 통신 인터페이스 모듈(170)을 더 포함한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 통신 인터페이스 모듈(170)을 통해, 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로 전송한다. 이때, 렌더링된 가상 이미지에 대한 정보는 가상 이미지의 그래픽 정보 및 현실 객체의 매핑 위치 정보를 포함한다.

또한, 본 개시의 일 실시예에 따르면, 디지털 아이템에 대응되는 가상 이미지를 제공하는 증강 현실 장치(100)는 통신 인터페이스 모듈(170)을 더 포함한다.또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 통신 인터페이스 모듈(170)을 통해, 다른 증강 현실 장치에서 렌더링된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로부터 수신한다. 또한, 프로세서(120)는 하나 이상의 인스트럭션을 실행함으로써, 수신된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보에 기초하여, 디스플레이(150)에 다른 현실 객체에 관련된 가상 이미지를 표시한다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims

디지털 아이템에 대응되는 가상 이미지를 제공하는 방법에 있어서,
증강 현실 장치의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성하는 단계(S210);
상기 생성된 가상 이미지를 매핑(mapping)시킬 현실 객체의 매핑 위치 정보를 획득하는 단계(S220);
상기 획득된 매핑 위치 정보에 기초하여, 상기 가상 이미지를 매핑시켜 렌더링하는 단계(S230); 및
상기 증강 현실 장치의 디스플레이에 상기 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계(S240);
를 포함하는, 방법.
제1 항에 있어서,
상기 가상 이미지를 생성하는 단계(S210)는,
상기 디지털 아이템의 리스트를 제공하는 단계(S310);
상기 사용자로부터 선택된 디지털 아이템의 속성을 분석하는 단계(S320);
상기 분석된 속성에 기초하여, 상기 가상 이미지의 프로토타입 리스트를 제공하는 단계(S330); 및
상기 사용자로부터 선택된 프로토타입에 따라 상기 가상 이미지를 생성하는 단계(S340)를 포함하는, 방법.
제1 항 또는 제2 항에 있어서,
상기 프로토타입 리스트를 제공하는 단계(S330)는,
상기 선택된 디지털 아이템에 추출할 이미지가 있는지 판단하는 단계(S410);
추출할 이미지가 있는 경우, 상기 선택된 디지털 아이템에서 이미지를 추출하고, 추출할 이미지가 없는 경우, 상기 선택된 디지털 아이템의 속성에 기초한 이미지를 생성하는 단계(S420, S430); 및
상기 추출된 이미지 또는 상기 생성된 이미지에 기초하여, 상기 가상 이미지의 프로토타입 리스트를 제공하는 단계(S440)를 포함하는, 방법.
제1 항 내지 제3 항 중 어느 한 항에 있어서,
상기 가상 이미지를 생성하는 단계(S340)는,
상기 사용자로부터 선택된 프로토타입이 3차원 형태인지 판단하는 단계(S710); 및
상기 선택된 프로토타입이 3차원 형태이면, 증강 현실 피팅 라이브러리를 이용하여 3차원 형태의 가상 이미지를 생성하고, 상기 선택된 프로토타입이 3차원 형태가 아니면, 상기 선택된 프로토타입에 따른 2차원 형태의 가상 이미지를 생성하는 단계(S720, S730, S740)를 포함하는, 방법.
제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 매핑 위치 정보를 획득하는 단계(S220)는,
상기 현실 객체에 대응되는 현실 객체 모델을 획득하는 단계(S910); 및
상기 획득된 현실 객체 모델에 대응되는 소정의 마커 위치에 상기 가상 이미지를 배치하는 단계(S920)를 포함하는 방법.
제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 가상 이미지를 매핑시켜 렌더링하는 단계(S230)는,
상기 획득된 매핑 위치 정보에 기초하여 배치된 상기 가상 이미지를 상기 사용자의 입력에 따라 조정하는 단계(S1110); 및
상기 획득된 매핑 위치 정보의 좌표 변화에 따라, 상기 조정된 가상 이미지를 재조정하는 단계(S1120)를 포함하는, 방법.
제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는 단계(S240)는,
상기 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴를 표시하는 단계(S1310);
상기 사용자 입력에 따른 상기 공개 설정 정보를 획득하는 단계(S1320); 및
상기 렌더링된 가상 이미지를 획득된 공개 설정 정보에 따라 표시하는 단계(S1330)를 포함하고,
상기 공개 설정 정보는,
상기 렌더링된 가상 이미지에 대응되는 상기 디지털 아이템의 메타 데이터 항목들 중 공개할 항목, 상기 렌더링된 가상 이미지를 공개할 조건, 상기 렌더링된 가상 이미지에 대한 접근 권한 중 적어도 하나를 포함하는, 방법.
제1 항 내지 제7 항 중 어느 한 항에 있어서,
상기 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버로 전송하는 단계(S1520)를 더 포함하고,
상기 렌더링된 가상 이미지에 대한 정보는,
상기 가상 이미지의 그래픽 정보 및 상기 현실 객체의 매핑 위치 정보를 포함하는, 방법.
제1 항 내지 제8 항 중 어느 한 항에 있어서,
다른 증강 현실 장치에서 렌더링된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버로부터 수신하는 단계(S1530); 및
상기 수신된, 상기 다른 현실 객체에 관련된 가상 이미지에 대한 정보에 기초하여, 상기 디스플레이에 상기 다른 현실 객체에 관련된 가상 이미지를 표시하는 단계(S1540)를 더 포함하는, 방법.
제1 항 내지 제9 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
디지털 아이템에 대응되는 가상 이미지를 제공하는 증강 현실 장치(100)에 있어서,
하나 이상의 인스트럭션을 저장하는 메모리(110);
프로세서(120);
카메라(130);
디스플레이 엔진부(140);
디스플레이(150); 및
시선 추적 센서(160)를 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 디스플레이 엔진부(140)를 제어하여, 상기 증강 현실 장치(100)의 사용자가 소유한 디지털 아이템에 대응되는 가상 이미지를 생성하고,
상기 카메라(130)와 상기 시선 추적 센서(160)를 이용하여, 상기 생성된 가상 이미지를 매핑(mapping)시킬 현실 객체의 매핑 위치 정보를 획득하고,
상기 디스플레이 엔진부(140)를 제어하여, 상기 획득된 매핑 위치 정보에 기초하여, 상기 가상 이미지를 매핑시켜 렌더링하고,
상기 디스플레이(150)에 상기 렌더링된 가상 이미지를 공개 설정 정보에 따라 표시하는, 증강 현실 장치(100).
제11 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 디스플레이 엔진부(140)를 제어하여, 상기 디지털 아이템의 리스트를 상기 디스플레이(150)를 통해 제공하고,
상기 사용자로부터 선택된 디지털 아이템의 속성을 분석하고,
상기 디스플레이 엔진부(140)를 제어하여, 상기 분석된 속성에 기초하여, 상기 가상 이미지의 프로토타입 리스트를 상기 디스플레이(150)를 통해 제공하고,
상기 디스플레이 엔진부(140)를 제어하여, 상기 사용자로부터 선택된 프로토타입에 따라 상기 가상 이미지를 생성하는, 증강 현실 장치(100).
제11 항 또는 제12 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 선택된 디지털 아이템에 추출할 이미지가 있는지 판단하고,
추출할 이미지가 있는 경우, 상기 선택된 디지털 아이템에서 이미지를 추출하고, 추출할 이미지가 없는 경우, 상기 선택된 디지털 아이템의 속성에 기초한 이미지를 생성하고,
상기 디스플레이 엔진부(140)를 제어하여, 상기 추출된 이미지 또는 상기 생성된 이미지에 기초하여, 상기 가상 이미지의 프로토타입 리스트를 상기 디스플레이(150)를 통해 제공하는, 증강 현실 장치(100).
제11 항 내지 제13 항 중 어느 한 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 사용자로부터 선택된 프로토타입이 3차원 형태인지 판단하고,
상기 디스플레이 엔진부(140)를 제어하여, 상기 선택된 프로토타입이 3차원 형태이면, 증강 현실 피팅 라이브러리를 이용하여 3차원 형태의 가상 이미지를 생성하고, 상기 선택된 프로토타입이 3차원 형태가 아니면, 상기 선택된 프로토타입에 따른 2차원 형태의 가상 이미지를 생성하는, 증강 현실 장치(100).
제11 항 내지 제14 항 중 어느 한 항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 카메라(130)와 상기 시선 추적 센서(160)를 이용하여, 상기 현실 객체에 대응되는 현실 객체 모델을 획득하고, 상기 획득된 현실 객체 모델에 대응되는 소정의 마커 위치에 상기 가상 이미지를 배치함으로써 상기 현실 객체의 매핑 위치 정보를 획득하는, 증강 현실 장치(100).
제11 항 내지 제15 항 중 어느 한 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 현실 객체를 상기 카메라(130)를 이용하여 스캔하고,
상기 스캔된 현실 객체로부터 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초한, 상기 현실 객체의 분류 정보 및 외형 정보에 따라, 상기 현실 객체 모델을 생성하는, 증강 현실 장치(100).
제11 항 내지 제16 항 중 어느 한 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 디스플레이 엔진부(140)를 제어하여, 상기 획득된 매핑 위치 정보에 기초하여 배치된 상기 가상 이미지를 상기 사용자의 입력에 따라 조정하고, 상기 획득된 매핑 위치 정보의 좌표 변화에 따라, 상기 조정된 가상 이미지를 재조정함으로써, 상기 가상 이미지의 렌더링을 수행하는, 증강 현실 장치.
제11 항 내지 제17 항 중 어느 한 항에 있어서,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 공개 설정 정보에 대한 사용자 입력을 수신하는 메뉴를 상기 디스플레이(150)에 표시하고, 상기 사용자 입력에 따른 상기 공개 설정 정보를 획득하고, 상기 렌더링된 가상 이미지를 상기 획득된 공개 설정 정보에 따라 상기 디스플레이(150)에 표시하고,
상기 공개 설정 정보는,
상기 렌더링된 가상 이미지에 대응되는 상기 디지털 아이템의 메타 데이터 항목들 중 공개할 항목, 상기 렌더링된 가상 이미지를 공개할 조건, 상기 렌더링된 가상 이미지에 대한 접근 권한 중 적어도 하나를 포함하는, 증강 현실 장치(100).
제11 항 내지 제18 항 중 어느 한 항에 있어서,
통신 인터페이스 모듈(170)을 더 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 통신 인터페이스 모듈(170)을 통해, 상기 렌더링된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로 전송하고,
상기 렌더링된 가상 이미지에 대한 정보는,
상기 가상 이미지의 그래픽 정보 및 상기 현실 객체의 매핑 위치 정보를 포함하는, 증강 현실 장치(100).
제11 항 내지 제19 항 중 어느 한 항에 있어서,
통신 인터페이스 모듈(170)을 더 포함하고,
상기 프로세서(120)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 통신 인터페이스 모듈(170)을 통해, 다른 증강 현실 장치에서 렌더링된, 다른 현실 객체에 관련된 가상 이미지에 대한 정보를 증강 현실 서비스를 제공하는 서버(200)로부터 수신하고,
상기 수신된, 상기 다른 현실 객체에 관련된 가상 이미지에 대한 정보에 기초하여, 상기 디스플레이(150)에 상기 다른 현실 객체에 관련된 가상 이미지를 표시하는, 증강 현실 장치(100).