KR102424123B1 - 사용자의 모션 제스처 및 3d ui 기반의 메타버스 제어 서버, 방법 및 프로그램 - Google Patents

Abstract

본 개시는 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버에 관한 것으로, 사용자의 모션 제스처가 아바타의 동작 신호인지 메타버스 내 환경설정을 위한 가상 도형의 제어 신호인지 구분하여 정확한 프로세스를 진행할 수 있는 효과가 있다.

Description

사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버, 방법 및 프로그램 {Metaverse control server, method and program based on user's motion gesture and 3D UI}

본 개시는 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버에 관한 것이다.

최근 들어, 메타버스에 대한 관심도가 크게 증가하고 있으며, 실제로 메타버스를 구현하는 많은 시도가 진행되고 있다.

하지만, 공통적으로 나타나는 문제점이 메타버스 내 환경설정을 위한 UI에 대한 것이다.

대표적으로, 사용자가 가상현실 장치를 이용하여 서버에 접속하고, 가상현실 장치를 작동시켜 메타버스 내 가상의 아바타를 동작시키는 과정에서 아바타에 대한 동작 입력과 환경설정에 대한 동작 입력을 구분하는 방법, 메타버스 영상과 환경설정 UI를 분리하고 사용자의 시인성, 시야를 확보하며 제공하는 방법 등 다양한 문제점이 있다.

하지만, 현재로서는 이러한 문제점을 해결할 수 있는 기술이 공개되어 있지 않은 실정이다.

대한민국 공개특허공보 제10-2020-0051937호, (2020.05.14)

본 개시에 개시된 실시예는 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버를 제공하는데 그 목적이 있다.

본 개시에 개시된 실시예는 사용자의 모션 제스처가 아바타의 동작 신호인지 메타버스 내 환경설정을 위한 가상 도형의 제어 신호인지 구분하여 정확한 프로세스를 진행하고자 한다.

본 개시에 개시된 실시예는 사용자의 모션 제스처가 가상 도형에 대한 호출 동작에 해당되는 경우, 메타버스 영상 내에 가상 도형을 랜더링하고, 사용자가 가상 도형을 이용하여 환경설정을 할 수 있도록 하고자 한다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버는, 현실세계에 대하여 획득된 영상을 수신하고, 상기 현실세계에 대한 디지털 트윈으로 생성된 메타버스 영상을 가상현실 장치로 제공하는 통신부; 상기 수신된 현실세계 영상 내에서 적어도 하나의 현실 오브젝트를 인식하고, 상기 인식된 현실 오브젝트의 현실세계 정보를 로딩하는 오브젝트 인식부; 상기 현실 오브젝트 인식 결과 및 상기 인식된 현실 오브젝트에 대하여 로딩된 현실세계 정보를 기반으로 가상 오브젝트를 생성하여 상기 메타버스 영상을 랜더링하는 랜더링부; 복수의 면 각각에 상기 메타버스 내 환경설정에 대한 서로 다른 제어 명령이 할당된 3D UI (3-Dimensional User Interface) 기반의 가상 도형이 저장된 저장부; 상기 가상현실 장치의 사용자의 모션 제스처(또는 좁게 손 제스처)를 기반으로 상기 메타버스 내 가상 아바타 캐릭터의 동작 및 상기 가상 도형의 제어 명령 중 적어도 하나를 결정하는 판단부; 및 상기 결정 결과를 기반으로 상기 가상 아바타 캐릭터가 동작되도록 상기 메타버스 영상을 랜더링하거나, 상기 메타버스 내 환경설정이 이루어지도록 제어하는 프로세서를 포함한다.

또한, 상기 판단부는, 상기 가상현실 장치의 동작 좌표를 기반으로 상기 아바타의 상기 메타버스 내 동작을 결정하고, 상기 프로세서는, 상기 모션 제스처가 상기 메타버스 내 아바타의 동작에 해당되지 않고 상기 가상 도형에 대한 호출 동작에 해당되는 경우, 상기 가상현실 장치로 제공되는 상기 메타버스 영상 내에 상기 가상 도형이 표시되도록 상기 메타버스 영상을 랜더링할 수 있다.

또한, 상기 가상 도형은, 상기 가상현실 장치의 동작에 의해 적어도 하나의 축을 기준으로 상기 메타버스 내에서 회전 가능하며, 기 설정된 서로 다른 복수의 회전 상태마다 상기 가상 도형에 포함된 각각의 면에 서로 다른 제어신호의 설정이 가능하고, 상기 프로세서는, 상기 아바타의 시점에서 보이는 면에 상기 가상 도형의 현재 제어 모드가 표시되도록 랜더링하는 것을 할 수 있다.

또한, 상기 프로세서는, 상기 가상현실 장치의 모션 제스처가 상기 메타버스 영상 내에 표시된 상기 가상 도형의 특정 면에 대하여 입력되는 제어신호에 해당되지 않고, 상기 가상 도형의 회전에 해당된다고 판단되는 경우, 상기 가상현실 장치의 모션 제스처에 포함된 동작 방향, 범위 및 동작 가속도를 기반으로 상기 가상 도형의 회전 방향, 회전 정도를 결정하고, 상기 결정된 회전 방향 및 회전 강도에 따라 상기 메타버스 영상 내 상기 가상 도형을 랜더링할 수 있다.

또한, 상기 프로세서는, 상기 호출 동작의 좌표 및 상기 아바타의 시점과 연동되어 상기 가상현실 장치에 제공되고 있는 상기 메타버스 영상 내 포함된 적어도 하나의 가상 오브젝트 위치를 기반으로, 상기 메타버스 영상 내 상기 가상 도형의 랜더링 위치를 결정할 수 있다.

또한, 상기 프로세서는, 상기 메타버스 영상 내 적어도 하나의 인스턴스(Instance)가 표시되고 있는 경우, 상기 표시되고 있는 인스턴스와 오버랩되지 않는 위치 중에서 상기 가상 도형의 랜더링 위치를 결정할 수 있다.

또한, 상기 프로세서는, 상기 메타버스 영상 내에서 상기 사용자의 아바타와 상호작용 중인 적어도 하나의 다른 아바타가 존재하는 경우, 상기 존재하는 적어도 하나의 다른 아바타와 오버랩되지 않는 위치 중에서 상기 가상 도형의 랜더링 위치를 결정할 수 있다.

또한, 상기 저장부는 상기 메타버스 내 포함된 각각의 가상 오브젝트마다 설정된 상기 메타버스 내 중요도가 저장되어 있고, 상기 프로세서는 상기 메타버스 영상 내에서 표시되고 있는 가상 오브젝트 중에서 기 설정된 중요도 이상의 가상 오브젝트와 오버랩되지 않는 위치 중에서 상기 가상 도형의 랜더링 위치를 결정할 수 있다.

상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 방법은, 현실세계에 대하여 획득된 영상을 수신하는 단계; 상기 수신된 현실세계 영상 내에서 적어도 하나의 현실 오브젝트를 인식하고, 상기 인식된 현실 오브젝트의 현실세계 정보를 로딩하는 오브젝트 인식 단계; 상기 현실 오브젝트 인식 결과 및 상기 인식된 현실 오브젝트에 대하여 로딩된 현실세계 정보를 기반으로 가상 오브젝트를 생성하여 메타버스 영상을 랜더링하는 단계; 상기 현실세계에 대한 디지털 트윈으로 생성된 메타버스의 영상을 사용자의 가상현실 장치로 제공하는 단계; 가상현실 장치의 사용자 모션 제스처를 기반으로 메타버스 내 가상 아바타 캐릭터의 동작 및 가상 도형의 제어 명령 중 적어도 하나를 결정하는 단계; 및 상기 결정 결과를 기반으로, 상기 가상 아바타가 동작되도록 상기 메타버스 영상을 랜더링하거나, 상기 메타버스 내 환경설정이 이루어지도록 제어하는 단계를 포함하고, 상기 서버는 복수의 면 각각에 상기 메타버스 내 환경설정에 대한 서로 다른 제어 명령이 할당된 3D UI (3-Dimensional User Interface) 기반의 가상 도형이 저장된 것을 특징으로 한다.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

본 개시의 전술한 과제 해결 수단에 의하면, 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버를 제공하는 효과를 제공한다.

본 개시의 전술한 과제 해결 수단에 의하면, 사용자의 모션 제스처가 아바타의 동작 신호인지 메타버스 내 환경설정을 위한 가상 도형의 제어 신호인지 구분하여 정확한 프로세스를 진행할 수 있는 효과가 있다.

본 개시의 전술한 과제 해결 수단에 의하면, 사용자의 모션 제스처가 가상 도형에 대한 호출 동작에 해당되는 경우, 메타버스 영상 내에 가상 도형을 랜더링함으로써, 사용자가 가상 도형을 이용하여 환경설정을 할 수 있게 된다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 시스템의 개략도이다.
도 2는 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 시스템의 블록도이다.
도 3은 서버가 메타버스를 구현하기 위해 포함하는 세부 구성을 예시한 블록도이다.
도 4는 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 방법의 흐름도이다.
도 5는 사용자가 가상현실 장치를 착용하고 특정 모션을 취하는 것을 예시한 도면이다.
도 6은 사용자의 모션이 가상 도형 호출 동작에 해당되어 메타버스 영상 내에 환경 설정을 위한 가상 도형을 랜더링한 것을 예시한 도면이다.
도 7은 가상 도형의 서로 다른 회전 상태마다 가상 도형에 포함된 각각의 면에 서로 다른 제어신호가 설정된 것을 예시한 도면이다.
도 8은 메타버스 내 인스턴스와 오버랩되지 않는 위치에 가상 도형을 랜더링한 것을 예시한 도면이다.
도 9는 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 방법의 흐름도이다.
도 10은 메타버스 내 등록된 인스턴스들이 가상세계 내에서 표시되는 것을 예시한 도면이다.
도 11은 현실세계 내에 표시되고 있는 현실세계 정보를 예시한 도면이다.
도 12는 메타버스 내에 표시되고 있는 인스턴스를 예시한 도면이다.
도 13은 메타버스 내 접속된 아바타에게 타겟형 인스턴스가 표시되는 것을 예시한 도면이다.
도 14는 도 8에서 아바타의 시점 이동에 따라서 인스턴스의 표시 각도가 변화하는 것을 예시한 도면이다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.

도 1은 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 시스템(10)의 개략도이다.

도 1을 참조하면, 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 시스템(10)의 개략적인 구성이 도시되어 있다.

도 1과 같이 서버(100)는 현실세계에 대한 디지털 트윈으로 메타버스를 생성하고, 서버(100)에 접속한 사용자들에게 메타버스 영상을 제공하게 된다.

상세하게는, 서버(100)는 서버(100)에 접속된 사용자의 가상현실 장치(30)로 메타버스 영상을 제공하게 되며, 가상현실 장치(30)의 제어에 따라 메타버스 내 아바타(60), 캐릭터의 움직임을 제어하게 된다.

본 개시의 실시예에서 서버(100)가 현실세계에 대한 디지털 트윈으로 메타버스를 생성하는 것을 개시하였으나, 몇몇 실시예에서 서버(100)는 자산 관리, 인스턴스 관리 기능을 수행하고, 메타버스를 구현하는 등과 같은 기능은 부가적으로 포함된 서버(100) 장치를 통해 수행할 수도 있다.

도 2는 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 시스템(10)의 블록도이다.

도 2를 참조하면, 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 시스템(10)은 서버(100) 및 가상현실 장치(30)를 포함한다.

서버(100)는 프로세서(110), 통신부(120), 오브젝트 인식부(130), 랜더링부(140), 저장부(150), 가치산출 모델(160), 통계부(170), 판단부(180) 및 입출력부(190)를 포함한다.

다만, 몇몇 실시예에서 시스템(10), 서버(100)는 도 2에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

예를 들어, 서버(100) 또는 자산 관리 시스템(10)은 별도의 클라우드 저장소를 더 포함할 수 있다.

통신부(120)는 현실세계에 대하여 획득된 영상을 수신하고, 랜더링부(140)를 통해 현실세계에 대하여 디지털 트윈으로 생성된 메타버스의 영상을 사용자의 가상현실 장치(30)로 제공한다.

또한, 통신부(120)는 서버(100)에 접속한 사용자의 가상현실 장치(30)와 실시간 통신하여 메타버스 영상을 제공하는 것은 물론, 가상현실 장치(30)로 입력되는 제어신호를 수신하여 프로세서(110)가 메타버스 영상 내 사용자의 아바타(60), 캐릭터를 제어하거나 메타버스에 대한 환경 설정을 제어하도록 할 수 있다.

오브젝트 인식부(130)는 통신부(120)를 통해 수신된 현실세계 영상 내에서 적어도 하나의 현실 오브젝트(40)를 인식하고, 인식된 현실 오브젝트(40)의 현실세계 정보를 로딩한다.

구체적으로, 프로세서(110)는 현실세계에 존재하는 오브젝트의 정보를 로딩하고, 이를 저장부(150)에 저장할 수 있다.

이때, 오브젝트 정보는 오브젝트의 외형 정보, 특징 정보, 가격, 시세 중 적어도 하나를 포함할 수 있으며, 외형 정보는 오브젝트의 형상, 크기, 위치 중 적어도 하나를 포함할 수 있다.

예를 들어, 통신부(120)를 통해 수신된 영상 내에 특정 건물이 오브젝트로 인식되는 경우, 오브젝트 인식부(130)는 해당 건물의 위치, 크기(면적, 높이, 층 등), 시세 중 적어도 하나를 포함하는 현실세계 정보를 로딩할 수 있다.

본 개시의 실시예에서 현실 오브젝트(40)는 건물, 조형물, 나무, 산, 정류장 등과 같이 현실세계에 존재하는 모든 물체가 대상이 될 수 있다.

이때, 오브젝트 인식부(130)는 현실세계 영상 내에서 현실 오브젝트(40)를 인식하고, 인식 결과를 생성할 수 있으며, 이때 현실 오브젝트(40) 인식 결과는 현실 오브젝트(40)의 위치, 크기, 형상 중 적어도 하나를 포함할 수 있다.

랜더링부(140)는 현실 오브젝트(40) 인식 결과 및 인식된 현실 오브젝트(40)에 대하여 로딩된 현실세계 정보를 기반으로 가상 오브젝트(50)를 생성하여 메타버스 영상을 랜더링할 수 있다.

오브젝트 인식부(130)가 현실세계 영상 내에서 인식한 현실 오브젝트(40) 인식 결과는 실제 정보와 상이한 점이 존재할 수 있으므로, 현실 오브젝트(40) 인식 결과와 현실세계 정보를 기반으로 현실 오브젝트(40)와 대응되는 가상 오브젝트(50)를 생성하여 메타버스 영상을 랜더링할 수 있다.

저장부(150)는 현실세계 내 적어도 하나의 현실 오브젝트(40)에 대한 현실가치 정보 및 가치산출 모델(160)이 저장되어 있다.

또한, 저장부(150)는 복수의 면 각각에 메타버스 내 환경설정에 대한 서로 다른 제어 명령이 할당된 3D UI (3-Dimensional User Interface) 기반의 가상 도형이 저장되어 있다.

서버(100)는 가상현실 장치(30)를 이용하여 서버(100)에 접속한 사용자에게 3D UI 기반의 가상 도형을 이용한 환경설정에 대한 튜토리얼을 제공할 수 있다.

서버(100)는 서로 다른 복수의 가상 도형에 대한 정보를 제공하고 사용자에게 적어도 하나의 가상 도형을 사용하여 환경설정을 위한 커스터마이징을 진행하도록 요청할 수 있다.

예를 들어, 사용자가 선호하는 가상 도형을 선택하도록 할 수 있다. (예: 정육면체, 직육면체, 정사면체 등)

상술한 실시예에서 다면체의 가상 도형을 예로 들었으나, 본 개시의 실시예에서 가상 도형은 다면체로 한정되지 않으며 "구"와 같이 면이 없는 형태의 가상 도형도 적용 가능하다.

가치산출 모델(160)은 현실 오브젝트(40)에 대한 현실가치 정보를 기반으로 메타버스에 적용하기 위한 가상가치 정보를 산출할 수 있다.

통계부(170)는 서버(100)에서 발생되는 각종 데이터에 대한 통계 정보를 생성할 수 있다.

구체적으로, 통계부(170)는 메타버스 내 복수/다수 개의 구획된 영역들 각각에 대하여 메타버스 내 아바타(60)의 유동 정보를 산출하고, 영역/구역별 사용자 통계 정보를 산출할 수 있다.

판단부(180)는 가상현실 현실 장치를 착용한 사용자의 모션 제스처를 기반으로 메타버스 내 가상 아바타(60) 캐릭터의 동작 및 가상 도형의 제어 명령 중 적어도 하나를 결정/판단할 수 있다.

입출력부(190)는 서버(100)에 대한 제어신호를 입력받거나 생성된 정보를 출력할 수 있는 수단으로, 입력부와 출력부가 구분될 수도 있다.

본 개시의 실시예에서 프로세서(110)는 서버(100) 내 구성들의 제어를 담당하며, 메모리, 저장부(150)에 저장된 명령어, 알고리즘을 실행하여 자산 관리 방법을 실행할 수 있다.

또한, 프로세서(110)는 인공지능 모델, 가치산출 모델(160)을 이용하여 자산관리 서버(100)를 인공지능 기반으로 작동시키고 메타버스 내 가상 오브젝트(50)들의 가치를 산출함으로써 메타버스 내 가상 오브젝트(50)들의 거래를 중개하고, 시세를 관리할 수 있다.

프로세서(110)는 가치산출 모델(160)을 이용하여 가상 오브젝트(50)의 버추얼 에셋(Virtual Asset)에 대한 가상가치 정보를 산출할 수 있다.

전술한 바와 같이, 본 개시의 실시예에서 현실 오브젝트(40)는 현실세계에 존재하는 모든 물체가 대상이 될 수 있으며, 프로세서(110)가 가상가치 정보를 산출하는 버추얼 에셋(Virtual Asset)은 메타버스 내에서 가치를 가질 수 있는 가상 오브젝트(50)라면 무엇이든 적용이 가능하다.

또한, 프로세서(110)는 산출된 가상가치 정보를 기반으로 가상 오브젝트(50)의 버추얼 에셋에 대한 매매의 중개를 제어할 수 있다.

도 4는 본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 방법의 흐름도이다.

서버(100)가 통신부(120)를 통해 현실세계에 대하여 획득된 영상을 수신한다. (S100)

프로세서(110)가 S100에서 수신된 현실세계 영상 내에서 적어도 하나의 현실 오브젝트(40)를 인식한다. (S200)

프로세서(110)가 S200에서 인식된 현실 오브젝트(40)의 현실세계 정보를 로딩한다. (S300)

프로세서(110)가 현실 오브젝트(40)에 대응되는 가상 오브젝트(50)를 생성하여 메타버스 영상을 랜더링한다. (S400)

프로세서(110)가 메타버스 영상을 서버(100) 사용자의 가상현실 장치(30)로 제공한다. (S500)

가상현실 장치(30)의 사용자 모션 제스처를 기반으로 메타버스 내 가상 아바타(60)의 동작 및 가상 도형의 제어 명령 중 적어도 하나를 결정한다. (S700)

S700의 결정 결과에 따라 메타버스 내 가상 아바타(60)가 동작되도록 메타버스 영상을 랜더링하거나 또는 메타버스 내 환경설정이 이루어지도록 제어한다. (S800)

도 5는 사용자가 가상현실 장치(30)를 착용하고 특정 모션을 취하는 것을 예시한 도면이다.

도 5를 참조하면, 가상현실 장치(30)를 착용한 사용자가 모션 제스처를 취하는 것이 예시되어 있으며, 판단부(180)는 통신부(120)를 통해 수신된 가상현실 장치(30)의 동작 신호를 분석하여 사용자의 모션 제스처를 판단할 수 있다.

이때, 도 5에서 가상현실 장치(30)를 사용자가 손에 착용하거나 소지한 상태에서 모션 제스처를 취하는 것을 예시하였으나, 이에 한정되는 것은 아니다.

다른 예로, 사용자의 신체 또는 손을 촬영하여 손 제스처를 인식하거나, AR 글래스, HMD, 조이스틱과 같은 구성이 가상현실 장치(30)에 포함되어 사용자의 모션 제스처를 인식할 수도 있다.

판단부(180)는 가상현실 장치(30)의 사용자의 모션 제스처를 기반으로, 사용자의 모션 제스처가 메타버스 내 가상 아바타(60) 캐릭터의 동작을 제어하는 신호인지, 또는 메타버스 환경설정을 위한 3D UI 기반의 가상 도형에 대하여 입력하는 제어 신호인지 판단/결정할 수 있다.

구체적으로, 판단부(180)는 가상현실 장치(30)의 동작 좌표를 기반으로 아바타(60)의 메타버스 내 동작을 결정할 수 있다.

그리고, 프로세서(110)는 사용자의 모션 제스처가 메타버스 내 아바타(60)의 동작에 해당되지 않고, 가상 도형에 대한 호출 동작에 해당되는 경우, 사용자의 가상현실 장치(30)로 제공되는 메타버스 영상 내에 가상 도형이 표시되도록 메타버스 영상을 랜더링할 수 있다.

본 개시의 실시예에서 사용자의 모션 제스처 인식/판단은 아래와 같은 방법이 적용될 수 있으며, 이외에도 사용자의 모션 제스처를 인식/판단할 수 있는 방법이라면 무엇이든 적용이 가능하다.

① 서버(100)가 사용자가 착용한 가상현실 장치(30)로부터 사용자의 모션 제스처에 따른 동작 좌표 또는 동작 신호를 수신하고, 이를 분석하여 사용자의 모션 제스처를 인식하고 판단함

② 가상현실 장치(30)에서 사용자의 모션 제스처에 따른 동작 좌표를 기반으로 사용자의 동작 제스처를 판단하고, 판단된 동작 제스처 결과를 서버(100)로 제공함

③ 서버(100)가 사용자의 모션 제스처가 촬영된 영상 데이터를 수신하고, 수신된 영상 데이터를 분석하여 사용자의 모션 제스처를 분석함

본 개시의 실시예에서 메타버스 내 환경설정에 대한 서로 다른 제어 명령이 할당된 3D UI 기반의 가상 도형은 환경 설정을 제어하지 않는 일반적인 상태에서는 메타버스 영상에 표시되지 않도록 하고, 사용자의 호출 동작이 있을 때에만 메타버스 영상에 표시되도록 랜더링할 수 있다.

일 실시예로, 서버(100)는 미리 결정되어 있는 가상 도형 호출 동작을 사용자에게 안내할 수 있다.

하지만, 이에 한정되는 것은 아니며, 서버(100)는 사용자 각자가 가상 도형 호출 동작을 커스터마이징으로 생성하여 저장하도록 하는 기능을 제공할 수도 있다.

도 6은 사용자의 모션이 가상 도형 호출 동작에 해당되어 메타버스 영상 내에 환경 설정을 위한 가상 도형을 랜더링한 것을 예시한 도면이다.

일 실시예로, 프로세서(110)는 현재 메타버스 영상 내에서 사용자의 모션 제스처가 특정 가상 오브젝트(50)에 대하여 취하는 모션 제스처가 아니라고 판단되는 동시에 기 설정된 가상 도형 호출 동작에 해당되는 경우 메타버스 영상에 가상 도형이 표시되도록 랜더링할 수 있다.

이는, 사용자의 모션 제스처가 가상 도형 호출 동작에 해당된다고 판단되더라도 메타버스 내 특정 가상 오브젝트(50)에 대하여 취하는 모션일 수도 있으므로, 판단 정확도를 극대화시키기 위해서 특정 가상 오브젝트(50)에 대항 취하는 모션이 아니라는 확신이 있는 경우에만, 해당 모션 제스처가 가상 도형 호출 동작이 확실하다고 판단하는 것을 의미한다.

일 실시예로, 가상 도형은 가상현실 장치(30)의 동작에 의해 적어도 하나의 축을 기준으로 메타버스 내에서 회전이 가능하다.

따라서, 프로세서(110)는 사용자의 모션 제스처가 가상 도형의 특정 축을 기준으로 하는 회전 동작에 해당되는 경우, 판단부(180)의 판단 결과에 따라 랜더링부(140)를 제어하여 메타버스 영상 내 가상 도형이 회전하도록 랜더링할 수 있다.

도 7은 가상 도형의 서로 다른 회전 상태마다 가상 도형에 포함된 각각의 면에 서로 다른 제어신호가 설정된 것을 예시한 도면이다.

도 7을 참조하면, 가상 도형은 기 설정된 서로 다른 복수의 회전 상태마다 가상 도형에 포함된 각각의 면에 서로 다른 제어신호의 설정이 가능하다.

일 실시예로, 프로세서(110)는 사용자의 모션 제스처가 메타버스 영상 내에 표시된 가상 도형의 특정 면에 대하여 입력되는 제어신호에 해당되지 않고, 가상 도형의 회전에 해당된다고 판단되는 경우, 모션 제스처에 포함된 동작 방향, 동작 범위 및 동작 가속도 중 적어도 하나를 기반으로 가상 도형의 회전 방향 및 회전 정도 중 적어도 하나를 결정할 수 있다.

그리고, 프로세서(110)는 결정된 회전 방향 및 회전 강도 중 적어도 하나를 기반으로, 메타버스 영상 내 가상 도형을 랜더링할 수 있다.

이때, 프로세서(110)는 모션 제스처에 포함된 동작 가속도가 기 설정된 가속도 이상이고, 메타버스 영상에서 동작 방향에 공백이 존재하는 경우, 가상 도형을 공백이 있는 해당 위치로 이동되도록 메타버스 영상을 랜더링할 수 있다.

예를 들어, 사용자가 가상현실 장치(30)를 제어하여 메타버스 내 아바타(60)를 이동시키는 도중에 가상 도형이 사용자의 시야를 가린다고 판단되는 경우가 발생할 수 있다.

이 경우, 프로세서(110)는 상술한 바와 같이 사용자가 가상 도형을 다른 위치로 옮기는 것과 같은 모션 제스처라고 판단되는 경우, 해당되는 공백의 위치로 가상 도형이 이동된 것처럼 메타버스 영상을 랜더링하는 것을 의미한다.

이때, 메타버스 영상에서 공백이란 가상 오브젝트(50)가 존재하지 않는 영역을 의미할 수 있다.

프로세서(110)는 메타버스 영상 내에서 공백의 위치를 고려하여 가상 도형을 표시하며, 공백의 크기를 고려하여 가상 도형의 표시 크기를 결정할 수 있다.

또한, 본 개시의 실시예에서 가상 도형에 포함된 각각의 면에 서로 다른 제어신호의 설정이 가능한 것으로 설명하였으나, 각각의 면에 하나의 제어신호가 설정되는 것으로 한정되는 것은 아니다.

즉, 가상 도형에 포함된 각각의 면에는 하나 이상의 제어신호가 설정 가능하다.

예를 들어, 정육면체인 가상 도형의 우측면에 손바닥을 위로 쓸어올리는 동작, 아래로 쓸어내리는 동작, 그리고 우측면을 손바닥으로 터치하는 동작과 같이 3개의 서로 다른 동작에 서로 다른 제어신호를 설정할 수 있다.

구체적인 예로, 정육면체를 가상 도형으로 사용하는 사용자가 정육면체의 각각의 면에 2개씩의 제어신호를 설정하는 경우, 총 6개의 제어모드 x 5개 면 x 2개씩의 제어신호 = 총 60개의 서로 다른 제어신호의 설정이 가능하게 된다.

본 개시의 실시예에 따른 사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버(100)는 이와 같은 구성을 통해서 가상 도형을 이용하여 다수의 제어신호를 설정하고 메타버스 내에서 환경설정에 이용할 수 있는 효과가 있다.

도 8은 메타버스 내 인스턴스와 오버랩되지 않는 위치에 가상 도형을 랜더링한 것을 예시한 도면이다.

도 8을 참조하면, 프로세서(110)는 가상 도형 호출 동작의 좌표 및 아바타(60)의 시점과 연동되어 가상현실 장치(30)로 제공되고 있는 메타버스 영상 내 포함된 적어도 하나의 가상 오브젝트(50)의 위치를 기반으로, 메타버스 영상 내 가상 도형의 랜더링 위치 및 랜더링 크기 중 적어도 하나를 결정할 수 있다.

또한, 프로세서(110)는 메타버스 영상 내 적어도 하나의 인스턴스(Instance)가 표시되고 있는 경우, 표시되고 있는 인스턴스와 오버랩되지 않는 위치 중에서 가상 도형의 랜더링 위치를 결정할 수 있다.

본 개시의 실시예에서 인스턴스는 메타버스 내 아바타(60)들에게 출력하기 위한 일종의 광고인데, 가상 도형이 인스턴스를 가리도록 랜더링되는 경우, 광고 효과가 떨어질 수 있으므로, 상술한 바와 같이 동작하여 광고 효과가 유지되도록 할 수 있다.

일 실시예로, 프로세서(110)는 메타버스 영상 내에서 사용자의 아바타(60)와 상호작용 중인 적어도 하나의 다른 아바타(60)가 존재하는 경우, 존재하는 적어도 하나의 다른 아바타(60)와 오버랩되지 않는 위치 중에서 가상 도형의 랜더링 위치를 결정할 수 있다.

추가적으로, 본 개시의 실시예에서 각각의 가상 오브젝트(50)는 중요도가 산출되어 저장 및 관리될 수 있다.

이때, 중요도는 복수의 등급으로 설정될 수 있다.

프로세서(110)는 현실 오브젝트(40)의 현실세계 정보를 기반으로 해당 현실 오브젝트(40)의 현실세계 내에서의 제1 중요도를 산출할 수 있다.

그리고, 프로세서(110)는 산출된 제1 중요도를 기반으로, 대응되는 가상 오브젝트(50)의 제2 중요도를 산출할 수 있다.

이때, 프로세서(110)는 가상 오브젝트(50)의 버추얼 에셋에 대한 가상가치 정보와 해당 가상 오브젝트(50)에 대응되는 현실 오브젝트(40)의 제1 중요도를 기반으로, 제2 중요도를 산출할 수 있다.

따라서, 프로세서(110)는 메타버스 내 포함된 각각의 가상 오브젝트(50)마다 설정된 메타버스 내 중요도를 산출하고, 이를 저장부(150)에 저장할 수 있다.

또한, 프로세서(110)는 메타버스 영상 내에서 표시되고 있는 가상 오브젝트(50) 중에서 기 설정된 중요도 이상의 가상 오브젝트(50)와 오버랩되지 않는 위치 중에서 가상 도형의 랜더링 위치를 결정할 수 있다.

이러한 구성을 통해서, 프로세서(110)는 메타버스 영상 내에서 가상 도형 호출 동작에 따라 가상 도형을 메타버스 영상에 랜더링하여 사용자가 아바타(60)를 이용하여 메타버스 내 환경설정을 진행할 수 있도록 하며, 가상 도형이 메타버스 영상 내에서 중요한 오브젝트의 시야를 가리지 않도록 하는 효과가 있다.

아래에서는 본 개시의 실시예에 대한 추가적인 설명을 하도록 한다.

S500 다음으로, 아래와 같은 구성들이 더 포함될 수 있다.

프로세서(110)가 가상 오브젝트(50)의 버추얼 에셋(Virtual Asset)에 대한 가상가치 정보를 산출한다. (S600)

본 개시의 실시예에서 가치산출 모델(160)은 현실 오브젝트(40)의 현실가치 정보를 기반으로 메타버스 내에 현실 오브젝트(40)와 대응되는 가상 오브젝트(50)를 생성할 수 있다.

구체적으로, 가치산출 모델(160)은 현실 오브젝트(40)의 현실가치 정보, 현실세계 내에서 현실 오브젝트(40)로부터 기 설정된 거리 내 유동인구 정보, 메타버스 내에서 가상 오브젝트(50)가 속한 구역에 대한 시간대별 평균 사용자 정보 중 적어도 하나를 기반으로 해당 가상 오브젝트(50)에 대한 가상가치 정보를 산출할 수 있다.

이때, 현실 오브젝트(40)의 현실가치 정보는 해당 현실 오브젝트(40)의 시세, 예측되는 시세 등이 포함될 수 있다.

또한, 본 개시의 실시예에서 가상 오브젝트(50)를 직접적으로 이용하거나 간접적으로 이용하여 메타버스 내에서 아바타(60)들에게 인스턴스(광고)를 제공하기 때문에, 현실 오브젝트(40)로부터 기 설정된 거리 내 유동인구 정보, 메타버스 내에서 가상 오브젝트(50)로부터 기 설정된 거리 내 아바타(60)의 유동 정보, 시간대별 평균 사용자 정보와 같은 조건들을 고려하여 해당 가상 오브젝트(50)에 대한 가상가치 정보를 산출하게 된다.

따라서, 가상가치 정보는 가상 오브젝트(50)에 대한 버추얼 에셋에 대한 가상가치 정보를 포함하는 것 이외에도, 메타버스 내에서 예상되는 광고 효과를 포함할 수 있다.

일 실시예로, 프로세서(110)는 메타버스 내에서 가상 오브젝트(50)로부터 기 설정된 거리 내 아바타(60)의 유동 정보 및 메타버스 내에서 가상 오브젝트(50)가 속한 구역에 대한 시간대별 평균 사용자 정보를 기 설정된 시간마다 체크하여 제1 변화량을 산출할 수 있다.

그리고, 프로세서(110)는 기 설정된 시간마다 제1 변화량 및 메타버스 내에서 가상 오브젝트(50)의 수요에 대한 제2 변화량을 기반으로 해당 가상 오브젝트(50)의 버추얼 에셋에 대한 가상가치 정보를 재산출할 수 있다.

현실세계에서도 도시의 발전, 사람들의 관심도 변화 등 다양한 조건에 따라서 현실 오브젝트(40, 대표적인 예: 건물)의 가치가 변화할 수 있기 때문에, 본 개시에서는 이러한 특징을 메타버스 내에서도 구현하기 위해 위와 같은 구성을 이용하고 있다.

따라서, 본 개시의 실시예에 따른 서버(100)는 전술한 구성들을 통해서, 가상 오브젝트(50)의 메타버스 내 가치를 효과적으로 산출하게 되며, 가상 오브젝트(50)의 가치 변화를 반영하여 재산출까지 할 수 있게 되는 효과가 있다.

도 10은 메타버스 내 등록된 인스턴스들이 가상세계 내에서 표시되는 것을 예시한 도면이다.

일 실시예로, 프로세서(110)는 메타버스 내 인스턴스(Instance) 등록이 요청되는 경우, 인스턴스에 대한 요청 정보를 기반으로 메타버스 내 인스턴스의 표시 위치 및 표시 단가 중 적어도 하나를 포함하는 인스턴스 계약 정보를 생성한다.

그리고, 프로세서(110)는 생성된 인스턴스 계약 정보에 대한 계약이 완료되면, 인스턴스 계약 정보에 따라 등록 요청된 인스턴스를 도 5와 같이 메타버스 내에 표시한다.

본 개시의 실시예에서 인스턴스는 메타버스 내에서 시각 또는 청각 중 적어도 하나의 감각을 통해 전달될 수 있는 콘텐츠를 출력하는 것을 의미하며, 현실세계의 광고 영상, 광고 음성과 대응될 수 있다.

본 개시의 실시예에서 인스턴스 요청 정보는 인스턴스의 종류, 인스턴스 출력을 위한 데이터(예: 음성, 영상 데이터 등), 요청 크기, 요청 위치(예: 구체적 위치 또는 대략적인 지역 등), 인스턴스 출력 시간, 인스턴스 출력 유지 기간 중 적어도 하나를 포함할 수 있다.

[인스턴스 표시 단가 산출 알고리즘]

① 인스턴스 직접 출력 방식

본 개시의 실시예에서 인스턴스 직접 출력 방식은 특정 가상 오브젝트(50)를 이용하여 인스턴스를 출력하는 방식을 의미하며, 현실세계에서 광고판, 전광판을 통해 광고를 출력하는 것과 대응될 수 있다.

프로세서(110)는 인스턴스 요청 정보에 포함된 인스턴스 출력 요청 위치가 특정 가상 오브젝트(50)를 이용한 직접 출력인 경우, 해당 가상 오브젝트(50)에 대하여 산출된 가상가치 정보를 기반으로 인스턴스 표시 단가를 산출할 수 있다.

② 인스턴스 간접 출력 방식

본 개시의 실시예에서 인스턴스 간접 출력 방식은 직접 출력 방식이 아닌 방식으로 인스턴스를 출력하는 것을 의미한다.

프로세서(110)는 인스턴스 요청 정보에 포함된 인스턴스 출력 요청 위치가 적어도 하나의 가상 오브젝트(50)의 간접 영향을 받는 간접 출력인 경우, 출력 요청 위치에 관여되는 적어도 하나의 가상 오브젝트(50)를 추출한다.

그리고, 프로세서(110)는 추출된 적어도 하나의 가상 오브젝트(50)의 가상가치 정보, 출력 요청 위치의 인스턴스 출력 시간의 아바타(60) 유동정보를 기반으로 인스턴스 표시 단가를 산출할 수 있다.

[인스턴스 표시 가능 위치 도출 알고리즘]

도 11은 현실세계 내에 표시되고 있는 현실세계 정보를 예시한 도면이다.

도 12는 메타버스 내에 표시되고 있는 인스턴스를 예시한 도면이다.

본 개시의 실시예에서 현실세계에서 현실 정보를 표시한다고 언급하는 내용은 현실세계에서 광고정보를 표시하는 것을 의미할 수 있다.

현실세계에서 도심 지역, 길거리에서 광고가 이뤄지는 것은 일반적으로 광고를 할 수 있는 전광판, 표지판과 같은 수단을 통해서 진행된다.

따라서, 현실세계에서 도심 지역, 길거리에서 광고를 할 수 있는 위치는 한정적이다.

이에 반해, 가상세계에 해당되는 메타버스에서는 현실세계에서 광고를 표시/출력하고 있는 위치가 아니더라도 광고(인스턴스)를 표시할 수 있는 위치가 존재할 수 있으며, 본 개시의 실시예에서는 이러한 점을 활용하게 된다.

① 제1 인스턴스 표시 가능 위치

일 실시예로, 프로세서(110)는 현실세계에서 현실 오브젝트(40)를 이용하여 표시되고 있는 현실 정보의 표시 현황을 기반으로 메타버스 내에서 현실 정보에 상응하는 제1 인스턴스 표시 가능 위치를 도출하여 저장부(150)에 저장할 수 있다.

프로세서(110)는 현실 오브젝트(40)의 현실 정보의 가치를 가치산출 모델(160)에 입력하여 제1 인스턴스 표시 단가를 산출하고, 이를 저장부(150)에 저장할 수 있다.

상세하게는, 프로세서(110)는 제1 인스턴스 표시 가능 위치로부터 기 설정된 거리 이내 적어도 하나의 가상 오브젝트(50)의 버추얼 에셋에 대한 가상가치 정보, 해당 구역/지역 내 아바타(60)들의 유동 정보, 평균 접속 정보를 기반으로 제1 인스턴스 표시 단가를 산출할 수도 있다.

이와 같이 추출된 ① 제1 인스턴스 표시 가능 위치는 ① 인스턴스 직접 출력 방식에 대응될 수 있다.

② 제2 인스턴스 표시 가능 위치

일 실시예로, 프로세서(110)는 메타버스 내 가상 오브젝트(50) 배치 정보 및 메타버스 내 아바타(60)들의 유동 정보를 기반으로, 현실세계에서 현실 정보(광고)가 표시되고 있지 않지만, 메타버스 내에서 인스턴스가 표시 가능한 것으로 판단되는 적어도 하나의 제2 인스턴스 표시 가능 위치를 도출하고, 이를 저장부(150)에 저장할 수 있다.

도 11 및 도 12를 비교하면, 프로세서(110)는 도 11의 현실세계에 표시되지 않았던 위치에 도 12의 메타버스에서는 인스턴스(51, 52, 53 등)가 표시/출력하고 있다.

도 13은 메타버스 내 접속된 아바타(60)에게 타겟형 인스턴스가 표시되는 것을 예시한 도면이다.

도 14는 도 13에서 아바타(60)의 시점 이동에 따라서 인스턴스의 표시 각도가 변화하는 것을 예시한 도면이다.

이때, 제2 인스턴스 표시 가능 위치는 고정된 위치에 한정되지 않으며, 제2 인스턴스 표시 가능 위치는 그 위치가 유동적으로 설정되어 위치가 실시간으로 이동하거나, 회전할 수 있다.

도 12를 참조하면, 프로세서(110)가 메타버스 내에서 이동 중인 아바타(60)의 앞으로 아바타(60)의 시선에 맞게 인스턴스(52, 53)를 표시하는 것이 예시되어 있다.

도 13 및 도 14를 비교하면, 프로세서(110)가 메타버스 내 아바타(60)의 이동과 시선에 따라 인스턴스의 표시/출력 각도를 회전시키는 것이 예시되어 있다.

일 실시예로, 프로세서(110)는 메타버스 내 특정 아바타(60)가 메타버스 내에 표시되고 있는 특정 인스턴스를 기 설정된 시간 이상 쳐다보는 경우, 해당 인스턴스가 해당 아바타(60)의 시선에 유지되도록 해당 아바타(60)의 가상현실 장치(30)로 제공되고 있는 메타버스 영상 내 해당 인스턴스가 회전되도록 랜더링할 수 있다.

몇몇 실시예에서, 프로세서(110)는 해당 인스턴스를 회전시키는 것은 물론, 표시/출력 크기도 조절되도록 랜더링할 수 있다.

이와 같이 추출된 ② 제2 인스턴스 표시 가능 위치는 ② 인스턴스 간접 출력 방식에 대응될 수 있다.

추가적으로, 본 개시의 실시예에서 각각의 가상 오브젝트(50)는 중요도가 산출되어 저장 및 관리될 수 있다.

이때, 중요도는 복수의 등급으로 설정될 수 있다.

프로세서(110)는 현실 오브젝트(40)의 현실세계 정보를 기반으로 해당 현실 오브젝트(40)의 현실세계 내에서의 제1 중요도를 산출할 수 있다.

그리고, 프로세서(110)는 산출된 제1 중요도를 기반으로, 대응되는 가상 오브젝트(50)의 제2 중요도를 산출할 수 있다.

이때, 프로세서(110)는 가상 오브젝트(50)의 버추얼 에셋에 대한 가상가치 정보와 해당 가상 오브젝트(50)에 대응되는 현실 오브젝트(40)의 제1 중요도를 기반으로, 제2 중요도를 산출할 수 있다.

프로세서(110)는 기 설정된 제2 중요도 이하에 해당되는 가상 오브젝트(50)를 삭제하고 해당 위치를 제2 인스턴스 표시 가능 위치로 설정할 수 있다.

예를 들어, 63빌딩, 롯데월드 타워 등과 같은 랜드마크에 해당되는 가상 오브젝트(50)는 1등급의 제2 중요도가 산출될 수 있으며, 가로수, 환풍기 등과 같은 가상 오브젝트(50)는 5등급의 제2 중요도가 산출될 수 있다. (제2 중요도가 1등급 ~ 5등급인 것으로 가정함)

이러한 경우, 프로세서(110)는 몇몇 개의 5등급의 제2 중요도를 갖는 가상 오브젝트(50)를 제2 인스턴스 표시 가능 위치로 설정하고, 인스턴스가 계약되는 경우 해당 위치에 인스턴스를 표시할 수 있다.

구체적으로, 프로세서(110)는 제2 인스턴스 표시 가능 위치에 해당되는 가로수를 삭제하고, 인스턴스(51)를 표시하고 있다.

일 실시예로, 프로세서(110)는 기 설정된 시간마다 현실 오브젝트(40) 각각의 실제가치 정보를 수신하고, 각각의 현실 오브젝트(40)에 대한 실제가치에 대한 제1 시세 추이를 산출할 수 있다.

프로세서(110)는 각각의 가상 오브젝트(50)에 대한 버추얼 에셋의 가상가치 정보에 대한 제2 시세 추이를 산출하고, 해당 현실 오브젝트(40)와 가상 오브젝트(50)에 대하여 산출된 제1 시세 추이와 제2 시세 추이를 비교하고, 비교 결과를 가치산출 모델(160)에 입력하여 버추얼 에셋에 대한 가상가치 정보를 업데이트할 수 있다.

가치산출 모델(160)은 제1 시세 추이와 제2 시세 추이의 차이값에 기 설정된 임계치를 초과하는 차이가 발생되는 경우, 상기 차이값을 만회하도록 하는 기 설정된 보정계수를 적용하여 해당 가상 오브젝트(50)의 버추얼 에셋에 대한 가상가치 정보를 산출할 수 있다.

프로세서(110)는 제1 시세 추이와 제2 시세 추이를 비교하여 선제적으로 시세가 변화하는 시세 추이를 선택하고, 기 설정된 시간마다 선택된 시세 추이의 시세를 기반으로 나머지 시세의 예상값을 산출할 수 있다.

이를 통해서 본 개시의 실시예에 따른 서버(100)는 메타버스 내 가상 오브젝트(50)의 시세가 먼저 상승한 후 현실 오브젝트(40)의 시세가 상승하는 추세라고 판단되는 경우, 가상 오브젝트(50)의 시세 추이를 기반으로 향후 현실 오브젝트(40)의 시세 변화를 예측할 수 있으며, 반대의 예시도 동일하게 적용 가능하다.

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 메타버스 제어 시스템
30: 가상현실 장치
40: 현실 오브젝트
50: 가상 오브젝트
60: 아바타
100: 서버
110: 프로세서
120: 통신부
130: 오브젝트 인식부
140: 랜더링부
150: 저장부
160: 가치산출 모델
170: 통계부
180: 판단부
190: 입출력부

Claims (10)

1. 현실세계에 대하여 획득된 영상을 수신하고, 상기 현실세계에 대한 디지털 트윈으로 생성된 메타버스 영상을 가상현실 장치로 제공하는 통신부;
   상기 수신된 현실세계 영상 내에서 적어도 하나의 현실 오브젝트를 인식하고, 상기 인식된 현실 오브젝트의 현실세계 정보를 로딩하는 오브젝트 인식부;
   상기 현실 오브젝트 인식 결과 및 상기 인식된 현실 오브젝트에 대하여 로딩된 현실세계 정보를 기반으로 가상 오브젝트를 생성하여 상기 메타버스 영상을 랜더링하는 랜더링부;
   복수의 면 각각에 상기 메타버스 내 환경설정에 대한 서로 다른 제어 명령이 할당된 3D UI (3-Dimensional User Interface) 기반의 가상 도형이 저장된 저장부;
   상기 가상현실 장치의 사용자의 모션 제스처를 기반으로 상기 메타버스 내 가상 아바타 캐릭터의 동작 및 상기 가상 도형의 제어 명령 중 적어도 하나를 결정하는 판단부; 및
   상기 결정 결과를 기반으로 상기 가상 아바타 캐릭터가 동작되도록 상기 메타버스 영상을 랜더링하거나, 상기 메타버스 내 환경설정이 이루어지도록 제어하는 프로세서를 포함하고,
   상기 프로세서는,
   상기 판단부를 통해 상기 가상현실 장치의 동작 좌표를 기반으로 상기 아바타의 상기 메타버스 내 동작을 결정하고,
   상기 모션 제스처가 상기 메타버스 내 아바타의 동작에 해당되지 않고 상기 가상 도형에 대한 호출 동작에 해당되는 경우, 상기 가상현실 장치로 제공되는 상기 메타버스 영상 내에 상기 가상 도형이 표시되도록 상기 메타버스 영상을 랜더링하고,
   상기 저장부는 상기 현실세계 내 적어도 하나의 현실 오브젝트에 대한 현실가치 정보, 상기 현실 오브젝트에 대한 상기 현실가치 정보를 기반으로 상기 메타버스에 적용하기 위한 가상가치 정보를 산출하는 가치산출 모델 및 상기 메타버스 내 포함된 각각의 가상 오브젝트마다 설정된 상기 메타버스 내 중요도가 저장되어 있고,
   상기 프로세서는,
   상기 가치산출 모델을 이용하여 상기 가상 오브젝트의 버추얼 에셋(Virtual Asset)에 대한 가상가치 정보를 산출하고,
   상기 인식된 현실 오브젝트의 현실세계 정보를 반영하여 상기 인식된 현실 오브젝트의 상기 현실세계 내에서의 제1 중요도를 산출하고,
   상기 가상 오브젝트에 대하여 산출된 상기 가상가치 정보 및 상기 가상 오브젝트에 대응되는 상기 현실 오브젝트에 대하여 산출된 상기 제1 중요도를 기반으로 상기 가상 오브젝트의 제2 중요도를 산출하고,
   상기 산출된 제2 중요도를 상기 가상 오브젝트의 상기 메타버스 내 상기 중요도로 상기 저장부에 저장하는,
   상기 메타버스 영상 내에서 표시되고 있는 가상 오브젝트 중에서 기 설정된 중요도 이상의 가상 오브젝트와 오버랩되지 않는 위치 중에서 상기 가상 도형의 랜더링 위치를 결정하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버.
   
2. 제1항에 있어서,
   상기 판단부는,
   상기 가상현실 장치의 동작 좌표를 기반으로 상기 아바타의 상기 메타버스 내 동작을 결정하고,
   상기 프로세서는,
   상기 모션 제스처가 상기 메타버스 내 아바타의 동작에 해당되지 않고 상기 가상 도형에 대한 호출 동작에 해당되는 경우, 상기 가상현실 장치로 제공되는 상기 메타버스 영상 내에 상기 가상 도형이 표시되도록 상기 메타버스 영상을 랜더링하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버.
   
3. 제2항에 있어서,
   상기 가상 도형은,
   상기 가상현실 장치의 동작에 의해 적어도 하나의 축을 기준으로 상기 메타버스 내에서 회전 가능하며,
   기 설정된 서로 다른 복수의 회전 상태마다 상기 가상 도형에 포함된 각각의 면에 서로 다른 제어신호의 설정이 가능하고,
   상기 프로세서는,
   상기 아바타의 시점에서 보이는 면에 상기 가상 도형의 현재 제어 모드가 표시되도록 랜더링하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버.
   
4. 제3항에 있어서,
   상기 프로세서는,
   상기 가상현실 장치의 모션 제스처가 상기 메타버스 영상 내에 표시된 상기 가상 도형의 특정 면에 대하여 입력되는 제어신호에 해당되지 않고, 상기 가상 도형의 회전에 해당된다고 판단되는 경우,
   상기 가상현실 장치의 모션 제스처에 포함된 동작 방향, 범위 및 동작 가속도를 기반으로 상기 가상 도형의 회전 방향, 회전 정도를 결정하고,
   상기 결정된 회전 방향 및 회전 강도에 따라 상기 메타버스 영상 내 상기 가상 도형을 랜더링하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버.
   
5. 제2항에 있어서,
   상기 프로세서는,
   상기 호출 동작의 좌표 및 상기 아바타의 시점과 연동되어 상기 가상현실 장치에 제공되고 있는 상기 메타버스 영상 내 포함된 적어도 하나의 가상 오브젝트 위치를 기반으로,
   상기 메타버스 영상 내 상기 가상 도형의 랜더링 위치를 결정하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버.
   
6. 제5항에 있어서,
   상기 프로세서는,
   상기 메타버스 영상 내 적어도 하나의 인스턴스(Instance)가 표시되고 있는 경우, 상기 표시되고 있는 인스턴스와 오버랩되지 않는 위치 중에서 상기 가상 도형의 랜더링 위치를 결정하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버.
   
7. 제5항에 있어서,
   상기 프로세서는,
   상기 메타버스 영상 내에서 상기 사용자의 아바타와 상호작용 중인 적어도 하나의 다른 아바타가 존재하는 경우,
   상기 존재하는 적어도 하나의 다른 아바타와 오버랩되지 않는 위치 중에서 상기 가상 도형의 랜더링 위치를 결정하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 서버.
   
8. 삭제
9. 서버에 의해 수행되는 방법으로,
   현실세계에 대하여 획득된 영상을 수신하는 단계;
   상기 수신된 현실세계 영상 내에서 적어도 하나의 현실 오브젝트를 인식하고, 상기 인식된 현실 오브젝트의 현실세계 정보를 로딩하는 오브젝트 인식 단계;
   상기 현실 오브젝트 인식 결과 및 상기 인식된 현실 오브젝트에 대하여 로딩된 현실세계 정보를 기반으로 가상 오브젝트를 생성하여 메타버스 영상을 랜더링하는 단계;
   상기 현실세계에 대한 디지털 트윈으로 생성된 메타버스의 영상을 사용자의 가상현실 장치로 제공하는 단계;
   가상현실 장치의 사용자 모션 제스처를 기반으로 메타버스 내 가상 아바타 캐릭터의 동작 및 가상 도형의 제어 명령 중 적어도 하나를 결정하는 단계; 및
   상기 결정 결과를 기반으로, 상기 가상 아바타가 동작되도록 상기 메타버스 영상을 랜더링하거나, 상기 메타버스 내 환경설정이 이루어지도록 제어하는 단계를 포함하고,
   상기 서버는 복수의 면 각각에 상기 메타버스 내 환경설정에 대한 서로 다른 제어 명령이 할당된 3D UI (3-Dimensional User Interface) 기반의 가상 도형이 저장되어 있고,
   상기 서버는,
   상기 가상 아바타 캐릭터의 동작을 결정할 때, 상기 가상현실 장치의 동작 좌표를 기반으로 상기 아바타의 상기 메타버스 내 동작을 결정하고,
   상기 모션 제스처가 상기 메타버스 내 아바타의 동작에 해당되지 않고 상기 가상 도형에 대한 호출 동작에 해당되는 경우, 상기 가상현실 장치로 제공되는 상기 메타버스 영상 내에 상기 가상 도형이 표시되도록 상기 메타버스 영상을 랜더링하고,
   상기 현실세계 내 적어도 하나의 현실 오브젝트에 대한 현실가치 정보, 상기 현실 오브젝트에 대한 상기 현실가치 정보를 기반으로 상기 메타버스에 적용하기 위한 가상가치 정보를 산출하는 가치산출 모델 및 상기 메타버스 내 포함된 각각의 가상 오브젝트마다 설정된 상기 메타버스 내 중요도가 저장되어 있고,
   상기 가치산출 모델을 이용하여 상기 가상 오브젝트의 버추얼 에셋(Virtual Asset)에 대한 가상가치 정보를 산출하고,
   상기 인식된 현실 오브젝트의 현실세계 정보를 반영하여 상기 인식된 현실 오브젝트의 상기 현실세계 내에서의 제1 중요도를 산출하고,
   상기 가상 오브젝트에 대하여 산출된 상기 가상가치 정보 및 상기 가상 오브젝트에 대응되는 상기 현실 오브젝트에 대하여 산출된 상기 제1 중요도를 기반으로 상기 가상 오브젝트의 제2 중요도를 산출하고,
   상기 산출된 제2 중요도를 상기 가상 오브젝트의 상기 메타버스 내 상기 중요도로 저장하는,
   상기 메타버스 영상 내에서 표시되고 있는 가상 오브젝트 중에서 기 설정된 중요도 이상의 가상 오브젝트와 오버랩되지 않는 위치 중에서 상기 가상 도형의 랜더링 위치를 결정하는 것을 특징으로 하는,
   사용자의 모션 제스처 및 3D UI 기반의 메타버스 제어 방법.
   
10. 하드웨어인 컴퓨터와 결합되어, 제9항의 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.

Images