KR102612321B1

KR102612321B1 - 멀티모달 기반 메타버스 상 npc동작 구현 시스템, 방법,및 컴퓨터-기록가능 매체

Info

Publication number: KR102612321B1
Application number: KR1020230083217A
Authority: KR
Inventors: 황보택근; 오기성; 김제현; 정원준; 최형선; 한일겸; 김동석
Original assignee: 가천대학교 산학협력단
Priority date: 2023-06-28
Filing date: 2023-06-28
Publication date: 2023-12-08

Abstract

본 발명은 멀티모달 기반 메타버스 상 NPC동작 구현 시스템, 방법, 및 컴퓨터-기록가능 매체에 관한 것으로서, 더욱 상세하게는, 구상하는 메타버스에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스에 대한 공간이미지를 도출하고, 3D모델링DB로부터 상기 공간이미지가 포함하는 구성요소에 대한 3D모델링 파일을 추출하고 배치하여 메타버스를 구현하고, 수신한 동작텍스트에 기초하여 메타버스 상 NPC아바타의 동작요소를 구현하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템, 방법, 및 컴퓨터-기록가능 매체에 관한 것이다.

Description

멀티모달 기반 메타버스 상 NPC동작 구현 시스템, 방법, 및 컴퓨터-기록가능 매체 {System, method, and computer-recordable medium for implementing NPC actions on a multimodal-based metaverse}

메타버스 기술이란 가상 자아인 아바타를 통해 경제, 사회, 문화, 정치 활동 등을 이어가는 4차원 가상 시공간이라 할 수 있다. 상기 메타버스 기술은 가상현실, 증강현실, 거울세계 및 라이프로깅을 포함하는 개념이다. 이러한 메타버스 기술은 게임, 교육, 쇼핑, 의료 및 관광 등 다양한 기술분야와 접목되어 활용되고 있고, 구체적으로 메타버스에서 구현한 게임, 교육, 쇼핑, 의료 및 관광 등의 플랫폼을 아바타를 통해 체험할 수 있다.

메타버스를 구현하기 위해서는, 메타버스에 대한 구상, 구상에 따른 메타버스 공간 환경 구현 단계를 거칠 수 있다. 메타버스에 대한 구상을 하고, 구상에 맞는 3D모델링을 만들어 배치하여 메타버스 공간 환경을 구현하기 위해서는 많은 시간이 소모되고 있다.

이에 따라서, 보다 쉽게 메타버스에 대한 구상을 하고, 메타버스 공간 환경을 신속하게 구현할 수 있는 발명이 필요하다.

한편, 메타버스에서 NPC아바타는 사용자의 음성이나 제스처에 반응하거나, 사용자의 위치나 상황에 따라 다른 대화나 표정을 보여주거나, 사용자에게 정보나 도움을 제공하거나, 사용자와 함께 게임이나 미션을 수행하거나, 사용자와 거래나 교환을 하거나 등등의 동작할 수 있다.

NPC아바타를 동작시키기 위해서는 동작 하나하나를 모두 설정하는 방법이 있는데, 이는 오랜 시간과 노력이 든다. 따라서, 보다 쉽게 NPC아바타를 동작시킬 수 있는 방법이 필요한 실정이다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 서비스서버 및 3D모델링DB를 포함하는 멀티모달 기반 메타버스 상 NPC동작 구현 시스템으로서, 상기 3D모델링DB에는, 메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있고, 상기 서비스서버는, 구상하는 메타버스의 복수의 구성요소를 포함하는 공간 환경에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출하는 공간이미지도출부; 상기 공간이미지가 포함하는 구성요소에 대한 복수의 객체를 추출하는 객체추출부; 상기 환경텍스트가 포함하는 구성요소에 대한 복수의 키워드를 추출하는 키워드추출부; 상기 객체 및 상기 키워드에 기초하여, 상기 3D모델링으로부터 해당하는 구성요소에 대한 3D모델링을 추출하는 모델링추출부; 상기 모델링추출부에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현하는 모델링배치부; 및 상기 모델링배치부에서 구현된 메타버스에 NPC아바타가 포함되는 경우, NPC아바타에 대한 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는, NPC아바타에 대한 동작요소를 구현하는 아바타동작부;를 포함하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템을 제공한다.

본 발명의 일 실시예에서는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템은, 복수의 동작요소 각각에 대해, 해당 동작요소를 NPC아바타가 구현하기 위해서 거쳐야하는 1 이상의 세부동작이 매칭되어 있는 세부동작DB; 및 복수의 세부동작 각각에 대한 애니메이션클립이 저장되어 있는 애니클립DB;을 더 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 아바타동작부는, 상기 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는 동작요소를 추출한 추출동작요소를 생성하는 동작요소추출단계; 상기 추출동작요소 각각에 대해서, 상기 세부동작DB가 포함하는 동작요소와 매칭하여, 해당 동작요소에 대한 세부동작을 추출하는 세부동작추출단계; 상기 세부동작추출단계에서 추출한 세부동작에 대해서, 상기 애니클립DB로부터 해당 세부동작에 대한 애니메이션클립을 추출하는 클립추출단계; 및 NPC아바타에 상기 클립추출단계에서 추출한 애니메이션클립을 적용하여 상기 동작텍스트가 포함하는 동작요소를 구현하는 동작구현단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 세부동작추출단계는, 상기 세부동작DB가 포함하는 복수의 동작요소 각각을 임베딩한 임베딩동작요소를 도출하는 제1동작요소처리단계; 상기 동작요소추출단계에서 추출한 복수의 추출동작요소 각각을 임베딩한 임베딩추출동작요소를 도출하는 제2동작요소처리단계; 상기 임베딩추출동작요소 각각에 대해서, 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도를 도출하는 동작요소유사도도출단계; 및 상기 동작요소유사도도출단계에서 도출한 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도 중 최상의 유사도에 대한 임베딩동작요소에 해당하는 동작요소를 해당 추출동작요소와 매칭하는 동작요소매칭단계;를 포함하는 할 수 있다.

본 발명의 일 실시예에서는, 상기 멀티모달 기반 메타버스 상 NPC동작 구현 시스템은 상기 환경텍스트를 도출하는 환경텍스트도출부를 더 포함하고, 상기 환경텍스트도출부는, 구상하는 메타버스의 환경정보를 인공지능 기반 언어모델에 입력하는 환경정보입력단계; 및 상기 환경정보입력단계에서 상기 구상하는 메타버스의 환경정보가 입력된 인공지능 기반 언어모델에 상기 구상하는 메타버스의 구성요소에 대한 텍스트를 입력하여, 해당 텍스트가 상기 환경정보에 기초하여 구체화된 환경텍스트를 도출하는 구체화단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 3D모델링DB에 저장되어 있는 복수의 3D모델링 파일 각각은 해당하는 구성 요소에 대한 1 이상의 키워드에 따라 분류되어 있고, 상기 모델링추출부는, 상기 키워드추출부에서 추출한 상기 복수의 키워드 각각을 임베딩한 임베딩키워드를 도출하는 제1전처리단계; 어느 객체에 대한 특징정보를 추출하고, 상기 특징정보를 임베딩한 임베딩특징정보를 도출하는 제2전처리단계; 상기 임베딩특징정보 및 상기 복수의 키워드 각각의 임베딩키워드에 대한 유사도를 도출하는 유사도도출단계; 및 상기 유사도도출단계에서 도출한 상기 복수의 키워드 각각에 대한 유사도에 기초하여, 기설정된 기준유사도에 해당하는 키워드의 3d모델링을 추출하는 키워드매칭단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 상기 공간이미지도출부에서 1 이상의 공간이미지가 도출되고, 상기 모델링배치부는, 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치위치를 도출하는 위치도출단계; 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치방향을 도출하는 배치방향도출단계; 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치크기를 도출하는 크기도출단계: 및 상기 위치도출단계, 상기 배치방향도출단계, 및 상기 크기도출단계 각각에서 도출한 상기 배치위치, 상기 배치방향, 및 상기 배치크기에 정합하게 해당 3D모델링을 메타버스 상에 배치하는 정합배치단계;를 수행할 수 있다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예는, 서비스서버 및 3D모델링DB를 포함하는 멀티모달 기반 메타버스 상 NPC동작 구현 시스템에서 수행하는 멀티모달 기반 메타버스 상 NPC동작 구현 방법으로서, 상기 3D모델링DB에는, 메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있고, 상기 서비스서버는, 구상하는 메타버스의 복수의 구성요소를 포함하는 공간 환경에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출하는 공간이미지도출단계; 상기 공간이미지가 포함하는 구성요소에 대한 복수의 객체를 추출하는 객체추출단계; 상기 환경텍스트가 포함하는 구성요소에 대한 복수의 키워드를 추출하는 키워드추출단계; 상기 객체 및 상기 키워드에 기초하여, 상기 3D모델링으로부터 해당하는 구성요소에 대한 3D모델링을 추출하는 모델링추출단계; 및 상기 모델링추출단계에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현하는 모델링배치단계; 및 상기 모델링배치단계에서 구현된 메타버스에 NPC아바타가 포함되는 경우, NPC아바타에 대한 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는, NPC아바타에 대한 동작요소를 구현하는 아바타동작단계;를 수행하는, 멀티모달 기반 메타버스 상 NPC동작 구현 방법을 제공한다.

본 발명의 일 실시예에서는멀티모달 기반 메타버스 상 NPC동작 구현 방법은, 복수의 동작요소 각각에 대해, 해당 동작요소를 NPC아바타가 구현하기 위해서 거쳐야하는 1 이상의 세부동작이 매칭되어 있는 세부동작DB; 및 복수의 세부동작 각각에 대한 애니메이션클립이 저장되어 있는 애니클립DB;을 더 포함하고, 상기 아바타동작단계는, 상기 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는 동작요소를 추출한 추출동작요소를 생성하는 동작요소추출단계; 상기 추출동작요소 각각에 대해서, 상기 세부동작DB가 포함하는 동작요소와 매칭하여, 해당 동작요소에 대한 세부동작을 추출하는 세부동작추출단계; 상기 세부동작추출단계에서 추출한 세부동작에 대해서, 상기 애니클립DB로부터 해당 세부동작에 대한 애니메이션클립을 추출하는 클립추출단계; 및 NPC아바타에 상기 클립추출단계에서 추출한 애니메이션클립을 적용하여 상기 동작텍스트가 포함하는 동작요소를 구현하는 동작구현단계;를 수행할 수 있다.

본 발명의 일 실시예에서는, 세부동작추출단계는, 상기 세부동작DB가 포함하는 복수의 동작요소 각각을 임베딩한 임베딩동작요소를 도출하는 제1동작요소처리단계; 상기 동작요소추출단계에서 추출한 복수의 추출동작요소 각각을 임베딩한 임베딩추출동작요소를 도출하는 제2동작요소처리단계; 상기 임베딩추출동작요소 각각에 대해서, 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도를 도출하는 동작요소유사도도출단계; 및 상기 동작요소유사도도출단계에서 도출한 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도 중 최상의 유사도에 대한 임베딩동작요소에 해당하는 동작요소를 해당 추출동작요소와 매칭하는 동작요소매칭단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 멀티모달 기반 메타버스 상 NPC동작 구현 방법은 상기 환경텍스트를 도출하는 환경텍스트도출단계를 더 포함하고, 상기 환경텍스트도출단계는, 구상하는 메타버스의 환경정보를 인공지능 기반 언어모델에 입력하는 환경정보입력단계; 및 상기 환경정보입력단계에서 상기 구상하는 메타버스의 환경정보가 입력된 인공지능 기반 언어모델에 상기 구상하는 메타버스의 구성요소에 대한 텍스트를 입력하여, 해당 텍스트가 상기 환경정보에 기초하여 구체화된 환경텍스트를 도출하는 구체화단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 공간이미지도출단계에서 1 이상의 공간이미지가 도출되고, 상기 모델링배치단계는, 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치위치를 도출하는 위치도출단계; 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치방향을 도출하는 배치방향도출단계; 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치크기를 도출하는 크기도출단계: 및 상기 위치도출단계, 상기 배치방향도출단계, 및 상기 크기도출단계 각각에서 도출한 상기 배치위치, 상기 배치방향, 및 상기 배치크기에 정합하게 해당 3D모델링을 메타버스 상에 배치하는 정합배치단계;를 포함할 수 있다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅시스템에서 서비스서버에 의하여 수행되는 멀티모달 기반 메타버스 상 NPC동작 구현 방법을 구현하기 위한 컴퓨터-기록가능 매체로서, 상기 컴퓨터-기록가능 매체는, 상기 컴퓨팅시스템으로 하여금 이하의 단계들을 수행하도록 하는 컴퓨터 실행가능 명령어들을 포함하고, 상기 컴퓨팅시스템은 3D모델링DB를 포함하고, 상기 3D모델링DB에는, 메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있고, 상기 이하의 단계들은: 구상하는 메타버스의 복수의 구성요소를 포함하는 공간 환경에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출하는 공간이미지도출단계; 상기 공간이미지가 포함하는 구성요소에 대한 복수의 객체를 추출하는 객체추출단계; 상기 환경텍스트가 포함하는 구성요소에 대한 복수의 키워드를 추출하는 키워드추출단계; 상기 객체 및 상기 키워드에 기초하여, 상기 3D모델링으로부터 해당하는 구성요소에 대한 3D모델링을 추출하는 모델링추출단계; 및 상기 모델링추출단계에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현하는 모델링배치단계; 및 상기 모델링배치단계에서 구현된 메타버스에 NPC아바타가 포함되는 경우, NPC아바타에 대한 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는, NPC아바타에 대한 동작요소를 구현하는 아바타동작단계;를 포함하는, 컴퓨터-기록매체 를 제공한다.

본 발명의 일 실시예에 따르면, 3D모델링DB에는 메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있으므로, 신속하게 메타버스를 구현할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 다르면, 환경텍스트도출부는 입력받은 텍스트로부터 해당 메타버스에 대해 구체화된 환경텍스트를 도출할 수 있으므로, 사용자는 구현하고자 하는 메타버스에 대해 구성하는 시간을 절약할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 공간이미지도출부는 레퍼런스이미지 및 환경텍스트에 기초하여 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출하므로, 구상하는 메타버스에 대한 아이디어 도출 및 프로토타입을 만드는 데에 노력 및 시간을 아낄 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 공간이미지로부터 객체를 추출하고, 추출한 객체에 상응하는 키워드를 도출하여, 해당 키워드에 매칭된 3D모델링을 추출하므로, 복수의 3D모델링 중 공간이미지에 상응하는 3D모델링 추출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 환경텍스트 및 레퍼런스이미지로부터 공간이미지를 도출하고, 공간이미지에 상응하는 3D모델링을 추출하여 배치하므로, 일관된 컨셉의 메타버스를 구현할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 수신한 동작텍스트에 기초하여 NPC아바타의 동작요소를 구현할 수 있으므로, NPC아바타에 대한 동작을 텍스트만으로 쉽게 구현할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 애니클립DB에 세부동작에 대한 복수의 애니메이션클립이 기저장되어 있으므로, 신속하게 NPC아바타에 대한 동작을 구현할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 동작요소를 복수의 세부동작으로 구현하므로, 다양한 동작요소를 경제적으로 구현할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 멀티모달 기반 메타버스 환경 구현 시스템, 방법, 및 컴퓨터-기록매체를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 3D모델링DB를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 환경텍스트도출부를 개략적으로 도시한다.
도 4은 본 발명의 일 실시예에 따른 공간이미지도출부를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 객체추출부를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 키워드추출부를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 모델링추출부를 도시한 도면에 해당한다.
도 8은 본 발명의 일 실시예에 따른 모델링배치부를 도시한 도면에 해당한다.
도 9은 본 발명의 일 실시예에 따른 아바타동작부를 개략적으로 도시한다.
도 10는 본 발명의 일 실시예에 따른 세부동작DB 및 애니클립DB를 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 아바타동작부를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 세부동작추출단계의 세부단계를 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나 이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

1. 멀티모달 기반 메타버스 환경 구현 시스템, 방법, 및 컴퓨터-기록매체

도 1은 본 발명의 일 실시예에 따른 멀티모달 기반 메타버스 환경 구현 시스템, 방법, 및 컴퓨터-기록매체를 개략적으로 도시한다.

본 발명은, 구상하고 있는 메타버스를 더욱 쉽게 구현할 수 있도록, 구상하는 메타버스 관련 텍스트 및 레퍼런스이미지에 상응하는 3D모델링을 도출하고, 상기 3D모델링을 배치하여 메타버스를 구현할 수 있다.

이를 구현하기 위해서, 상기 멀티모달 기반 메타버스 환경 구현 시스템은 환경텍스트도출부(1100), 공간이미지도출부(1200), 객체추출부(1300), 키워드추출부(1400), 모델링추출부(1500) 및 모델링배치부(1600)를 포함하는 서비스서버(1000) 및 3D모델링DB(2000)를 포함할 수 있다.

서비스서버(1000)는 상기 멀티모달 기반 메타버스 환경 구현 시스템을 구현하기 위한 구현하기 위한 명령어들이 기록된 컴퓨터 프로그램이 상기 서비스서버(1000)에 구비되어 있고, 상기 사용자단말(컴퓨터, 스마트폰, 태블릿 등)에 구비된 웹 브라우저 혹은 애플리케이션을 통해 서비스서버(1000)로 상기 컴퓨터 프로그램을 요청하여 상기 웹 브라우저 혹은 애플리케이션에 의해 표시되는 웹 페이지 상에서 멀티모달 기반 메타버스 환경 구현 방법이 수행될 수도 있다.

개략적으로, 환경텍스트도출부(1100)는 사용자가 입력하는 메타버스 관련 텍스트로부터 상기 텍스트가 더욱 구체화된 환경텍스트를 도출할 수 있다.

공간이미지도출부(1200)는 상기 환경텍스트도출부(1100)에서 도출한 환경텍스트 및 구상하고 있는 메타버스에 대한 레퍼런스이미지에 기초하여, 메타버스 공간 환경에 대한 공간이미지를 도출할 수 있다.

객체추출부(1300)는 상기 공간이미지로부터 상기 공간이미지가 포함하는, 메타버스의 구성요소에 관한 객체들을 추출할 수 있다.

키워드추출부(1400)는 상기 환경텍스트로부터 메타버스의 구성요소에 관한 키워드를 추출할 수 있다.

모델링추출부(1500)는 3D모델링DB(2000)로부터 상기 객체 및 상기 키워드에 상응하는 3D모델링을 추출할 수 있다.

모델링배치부(1600)는 상기 모델링추출부(1500)에서 추출한 3D모델링을 상기 공간이미지에 기초하여 메타버스 상에 배치할 수 있다.

각각의 부의 구체적인 내용에 대해서는 해당하는 도면에 따라 후술하도록 한다.

또한, 도 1의 아바타동작부(1700) 및 세부동작DB(3000), 애니클립DB은 하기의 '2. 멀티모달 기반 메타버스 상 NPC동작 구현 시스템, 방법 및 컴퓨터-기록가능 매체'에서 서술하도록 한다.

도 2는 본 발명의 일 실시예에 따른 3D모델링DB(2000)를 개략적으로 도시한다.

도 2에 도시된 바와 같이, 3D모델링DB(2000)에는, 메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있을 수 있고, 상기 3D모델링DB(2000)에 저장되어 있는 복수의 3D모델링 파일 각각은 해당하는 구성 요소에 대한 1 이상의 키워드에 따라 분류되어 있다.

3D모델링DB(2000)는 메타버스와 관련된 복수의 3D모델링을 포함할 수 있다.

구체적으로, 메타버스는 3D로 구현된 세계로, 복수의 구성요소를 포함할 수 있다. 즉, 복수의 구성요소 각각은 3D모델링에 의해서 구현될 수 있다. 이에 따라, 본 발명은 메타버스를 보다 쉽게 구현하기 위해서 복수의 3D모델링을 기 저장해 두었다가, 필요한 3D모델링을 추출하여 사용할 수 있도록 3D모델링DB(2000)를 포함하였다.

3D모델링DB(2000)는 특정 구성요소에 대해서 1 이상의 특징, 종류, 크기 등에 따른 3D모델링이 저장되어 있을 수 있다. 예를 들어, 구성요소가 소나무인 경우, 어린소나무, 잎이 무성한 소나무, 잎이 앙상한 소나무에 대한 3D모델링이 저장되어 있을 수 있다.

3D모델링DB(2000)에 저장된 3D모델링은 1 이상의 키워드에 의해 분류되어 있을 수 있고, 상기 키워드는 해당 3D모델링의 구성요소에 대한 명칭, 해당 3D모델링에 대한 특징, 종류, 크기 등에 해당할 수 있다. 예를 들어, 잎이 무성한 소나무에 대한 3D모델링의 키워드는 무성, 풍성, 소나무 등이 포함될 수 있다. 즉, 상기 1 이상의 키워드는 해당 3D모델링DB(2000)에 대한 특징, 종류 크기 등에 대한 동의어를 포함할 수 있다.

도 3은 본 발명의 일 실시예에 따른 환경텍스트도출부(1100)를 개략적으로 도시한다.

도 3에 도시된 바와 같이, 멀티모달 기반 메타버스 환경 구현 시스템은 환경텍스트를 도출하는 환경텍스트도출부(1100)를 더 포함하고, 상기 환경텍스트도출부(1100)는, 구상하는 메타버스의 환경정보를 인공지능 기반 언어모델에 입력하는 환경정보입력단계; 및 상기 환경정보입력단계에서 상기 구상하는 메타버스의 환경정보가 입력된 인공지능 기반 언어모델에 상기 구상하는 메타버스의 구성요소에 대한 텍스트를 입력하여, 해당 텍스트가 상기 환경정보에 기초하여 구체화된 환경텍스트를 도출하는 구체화단계;를 수행할 수 있다.

해당 구성요소에 대한 세부사항이 추가된

서비스서버(1000)의 공간이미지도출부(1200)에는 메타버스의 복수의 구성요소에 대한 환경텍스트가 입력될 수 있는데, 상기 환경텍스트는 환경텍스트도출부(1100)에 의해서 도출될 수 있다.

구체적으로, 환경텍스트도출부(1100)에는 1 이상의 학습된 인공신경반 기반 언어모델이 포함될 수 있다. 상기 언어모델에는 메타버스에 대한 환경정보가 기 입력(학습)되어 있을 수 있다. 상기 환경정보는 메타버스의 디자인, 컨샙, 테마, 세계관 등을 포함할 수 있다. 이에 따라, 상기 언어모델에 텍스트를 입력하면, 상기 텍스트를 바탕으로 상기 환경정보에 따라 구체화되고 심화된 환경텍스트를 출력할 수 있다.

상기 언어모델은 방대한 텍스트 데이터를 학습하여 자연어 처리를 할 수 있는 모델이고, 챗GPT와 같은 LLM(Large Language Model)을 포함할 수 있다.

사용자는 구상하는 메타버스에 대한 구성요소를 포함하고 해당 메타버스 및 해당 구성요소에 대한 개략적인 설명을 포함하는 텍스트를 서비스서버(1000)에 입력할 수 있다. 상기 서비스서버(1000)는 입력받은 상기 텍스트를 환경텍스트도출부(1100)의 언어모델에 입력할 수 있고, 언어모델은 환경텍스트를 출력할 수 있다.

예를 들어, 환경정보가 '힐링콘텐츠'이고, 언어모델에 '바다에서 휴식'의 텍스트를 입력한 경우, 상기 언어모델은 '바다가 근처에는 바다를 바라볼 수 있는 밴치가 있고, 밴치 옆에는 그늘을 만들어주는 나무가 있으며, 가까운 곳에는 호텔이 있다'와 같은 환경텍스트를 출력할 수 있다.

다른 예로, 환경정보가 '바다에서 휴식'이고, 언어모델에 '밴치'의 텍스트를 입력한 경우, 상기 언어모델은 '밴치는 갈색 나무로 만들어져 있고, 표면은 매끄럽게 깎아져 있습니다. 밴치는 네 개의 다리와 하나의 넓은 판으로 이루어져 있습니다. 밴치의 앞쪽과 뒤쪽에는 등받이가 있고, 양쪽에는 팔걸이가 있습니다. 등받이와 팔걸이는 밴치와 같은 나무로 만들어져 있고, 곡선을 이루고 있습니다. 밴치의 색깔은 갈색으로 해변가의 풍경과 잘 어울림' 등을 출력할 수 있다.

즉, 상기 구체화는 텍스트가 포함하는 구성요소의 세부사항, 특징 등을 부가하는 것에 해당할 수 있다.

도 4은 본 발명의 일 실시예에 따른 공간이미지도출부(1200)를 개략적으로 도시한다.

도 4에 도시된 바와 같이, 공간이미지도출부(1200)는 구상하는 메타버스의 복수의 구성요소를 포함하는 공간 환경에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출할 수 있다.

공간이미지도출부(1200)는 1 이상의 학습된 인공신경망 기반 추론모델을 포함할 수 있고, 상기 추론모델은 레퍼런스이미지 및 환경텍스트 중 1 이상을 입력하면 해당 레퍼런스이미지 및 해당 환경텍스트에 대한 공간이미지를 출력할 수 있다.

상기 추론모델은 STABLE diffusion과 같이, text-to-image 및 image-to-image 인공지능 모델에 해당할 수 있다. 즉, 상기 추론모델은 입력된 텍스트 혹은/및 이미지에 기초하여 이미지를 생성하는 모델에 해당할 수 있다.

상기 레퍼런스이미지는 구상하는 메타버스에 대한 레퍼런스로, 상기 레퍼런스이미지는 구상하는 메타버스가 포함하는 구성요소를 포함할 수 있고, 구체적으로 구성요소에 대한 종류, 디자인, 컨샙, 테마, 특징 등을 포함할 수 있다.

공간이미지는 환경텍스트 및 레퍼런스이미지가 결합되어 재생성된 이미지에 해당할 수 있다. 즉, 공간이미지는 환경텍스트 및 레퍼런스이미지 각각이 포함하는 구성요소 및 해당 구성요소에 대한 종류, 디자인, 컨샙, 테마, 특징 등이 종합되어 이미지로 표현된 형태에 해당할 수 있다.

예를 들어, 상기 환경텍스트에 '바다를 바라보는 밴치'가 포함되어 있고, 상기 레퍼런스이미지가 '유럽풍 밴치' 이미지인 경우, 공간이미지는 '바다를 바라보는 유럽풍 밴치'를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 추론모델에는 복수의 레퍼런스이미지 및 복수의 환경텍스트가 입력될 수 있고, 상기 추론모델은 각각의 레퍼런스이미지 및 각각의 환경텍스트가 포함하는 복수의 구성요소 각각에 대한 혹은/및 1 이상의 구성요소를 포함하는 공간이미지를 출력할 수 있어, 추론모델은 1 이상의 공간이미지를 출력할 수 있다.

도 5는 본 발명의 일 실시예에 따른 객체추출부(1300)를 개략적으로 도시한다.

도 5에 도시된 바와 같이, 객체추출부(1300)는 상기 공간이미지가 포함하는 구성요소에 대한 복수의 객체를 추출할 수 있다.

서비스서버(1000)는 이미지로부터 객체를 추출할 수 있는 객체추출부(1300)를 포함할 수 있다.

객체추출부(1300)는 공간이미지가 포함하는 1 이상의 구성요소에 대한 객체를 추출할 수 있다.

도 5에서와 같이, 공간이미지는 1 이상의 구성요소(건물, 밴치, 나무)를 포함할 수 있고, 객체추출부(1300)는 각각의 구성요소에 대한 객체(객체 #1 내지 #3)를 추출할 수 있다.

공간이미지는 하나의 메타버스(구상하는 메타버스)에 대한 이미지에 해당하므로, 같은 객체에 대해서 서로 다른 각도에서의 이미지(도 5에서의 공간이미지#1 및 #2)를 포함할 수 있으므로, 상기 객체추출부(1300)는 객체#2와 같이 서로 다른 공간이미지로부터 같은 객체를 추출할 수 있다.

또한, 객체추출부(1300)는 상기 객체는 해변에 해당하는 객체#4와 같이, 메타버스를 이루는 환경에 대한 요소도 포함할 수 있다. 즉, 객체추출부(1300)는 3D모델링으로 구현해야 하는 모든 것에 대해 객체를 추출할 수 있다.

본 발명의 일 실시예에 따르면, 서로 다른 공간이미지로부터 같은 객체를 추출할 수 있으므로, 같은 객체를 서로 다른 구성요소로 인식하지 않아 불필요한 데이터 처리를 피할 수 있는 효과를 발휘할 수 있다.

도 6은 본 발명의 일 실시예에 따른 키워드추출부(1400)를 개략적으로 도시한다.

도 6에 도시된 바와 같이, 키워드추출부(1400)는 상기 환경텍스트가 포함하는 구성요소에 대한 복수의 키워드를 추출할 수 있다.

환경텍스트는 구상하는 메타버스에 대한 1 이상의 구성요소를 포함할 수 있어, 키워드추출부(1400)는 각각의 구성요소에 대한 키워드를 추출할 수 있다.

상기 키워드는 구성요소를 지칭하는 단어에 해당할 수 있고, 해당 구성요소에 대해서 서술, 묘사, 수식하는 단어도 포함할 수 있다.

상기 키워드는 3D모델링DB(2000)에 저장된 3D모델링에 대한 키워드와 상응한 형태에 해당할 수 있다.

도 7은 본 발명의 일 실시예에 따른 모델링추출부(1500)를 도시한 도면에 해당한다.

도 7에 도시된 바와 같이, 모델링추출부(1500)는 상기 모델링매칭부에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현할 수 있고, 상기 모델링추출부(1500)는, 상기 키워드추출부(1400)에서 추출한 상기 복수의 키워드 각각을 임베딩한 임베딩키워드를 도출하는 제1전처리단계; 어느 객체에 대한 특징정보를 추출하고, 상기 특징정보를 임베딩한 임베딩특징정보를 도출하는 제2전처리단계; 상기 임베딩특징정보 및 상기 복수의 키워드 각각의 임베딩키워드에 대한 유사도를 도출하는 유사도도출단계; 및 상기 유사도도출단계에서 도출한 상기 복수의 키워드 각각에 대한 유사도에 기초하여, 기설정된 기준유사도에 해당하는 키워드의 3d모델링을 추출하는 키워드매칭단계;를 수행할 수 있다.

모델링추출부(1500)는 제1전처리단계, 제2전처리단계, 유사도도출단계, 및 키워드매칭단계를 수행하여, 객체추출부(1300)가 추출한 객체 및 키워드추출부(1400)가 추출한 키워드에 기초하여 각각의 객체에 대한 3D모델링을 추출할 수 있다.

구체적으로, 모델링추출부(1500)는 제1전처리단계에서, 객체에 대한 특징정보를 추출할 수 있고, 상기 특징정보를 키워드와 비교하기 위하여 임베딩한 임베딩특징정보를 도출할 수 있다. 이는 복수의 객체 각각에 대해서 수행될 수 있다.

상기 특징정보는 해당 객체를 식별할 수 있는 텍스트 정보로, 해당 객체에 대한 디자인, 컨샙, 테마, 세부사항 등이 포함될 수 있다.

모델링추출부(1500)는 제2전처리단계에서, 후술할 객체에 대한 특징정보와 비교하기 위하여 키워드추출부(1400)에서 환경텍스트로부터 추출한 키워드를 임베딩한 임베딩키워드를 도출할 수 있다. 이는 복수의 키워드 각각에 대해서 수행될 수 있다. 바람직하게는, 제1전처리단계는 텍스트 데이터를 임베딩할 수 있는 임베딩추론모델에 의해서 구현될 수 있다.

모델링추출부(1500)는 제2전처리단계를 수행하기 위해서, 이미지로부터 특징정보를 추출할 수 있는 특징정보추론모델, 및 특정정보를 임베딩할 수 있는 상기 임베딩추론모델을 포함할 수 있다. 바람직하게는, 상기 특징정보는 텍스트데이터를 포함할 수 있다.

모델링추출부(1500)는 유사도도출단계에서, 복수의 객체 중 어느 하나의 객체에 대한 임베딩특징정보에 대해서, 복수의 키워드 각각에 대한 임베딩키워드와 유사도를 도출할 수 있다. 모델링추출부(1500)는 코사인 유사도, 자키드 유사도 등의 방법을 통해서 유사도를 도출할 수 있다.

모델링추출부(1500)는 키워드매칭단계에서, 상기 유사도도출단계에서 도출한 해당 객체의 임베딩특징정보 및 복수의 키워드 각각에 대한 유사도에 기초하여, 3D모델링DB(2000)로부터 해당 객체의 3D모델링을 추출할 수 있다.

구체적으로, 해당 객체의 임베딩특징정보 및 복수의 키워드 각각에 대한 유사도 중 기설정된 기준유사도 이상인 키워드 혹은 최고유사도인 키워드에 의해서 분류된 3D모델링을 3D모델링DB(2000)로부터 추출할 수 있다.

예를 들어, 도 7에서와 같이, 키워드매칭단계에서는, 객체#1에 대해서 복수의 키워드(키워드#1 내지 #3)에 대한 각각의 유사도(유사도#1 내지 #3)가 도출될 수 있고, 상기 유사도#1 내지 #3 중에서 기준에 부합하는 유사도가 유사도#1인 경우에, 유사도#1이 도출된 키워드#1에 대한 3D모델링#1이 상기 객체#1에 대한 3D모델링으로 추출될 수 있다.

모델링추출부(1500)는 제2전처리단계, 유사도도출단계, 키워드매칭단계를 각각의 객체에 대해서 수행할 수 있어, 모든 객체에 대해 유사도에 따른 3D모델링을 추출할 수 있다.

도 8은 본 발명의 일 실시예에 따른 모델링배치부(1600)를 도시한 도면에 해당한다.

도 8에 도시된 바와 같이, 모델링배치부(1600)는, 상기 모델링추출부(1500)에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현할 수 있고, 상기 모델링배치부(1600)는, 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치위치를 도출하는 위치도출단계; 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치방향을 도출하는 배치방향도출단계; 상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치크기를 도출하는 크기도출단계: 및 상기 위치도출단계, 상기 배치방향도출단계, 및 상기 크기도출단계 각각에서 도출한 상기 배치위치, 상기 배치방향, 및 상기 배치크기에 정합하게 해당 3D모델링을 메타버스 상에 배치하는 정합배치단계;를 수행할 수 있다.

모델링배치부(1600)는 위치도출단계, 배치방향도출단계, 크기도출단계, 및 정합배치단계를 수행하여, 모델링추출부(1500)에서 추출한 3D모델링을 배치하여 메타버스를 구현할 수 있다.

모델링배치부(1600)는 위치도출단계를 수행하여, 공간이미지로부터 각각의 구성요소에 대한 배치위치를 도출할 수 있다.

위치도출단계는, 1 이상의 공간이미지가 포함하는 복수의 구성요소(객체) 중 제1기준구성요소를 선정하는 제1기준선정단계; 및 1 이상의 공간이미지가 포함하는 복수의 구성요소 각각에 대해서, 상기 제1기준선정단계에서 선정된 제1기준구성요소와의 상대적 위치에 기초하여 배치위치를 도출하는 개별배치위치도출단계;를 포함할 수 있다.

즉, 모델링배치부(1600)에서는 기준이 되는 구성요소의 위치에 따른 상대적인 위치로 나머지 구성요소에 대한 배치위치를 도출할 수 있다.

모델링배치부(1600)는 배치방향도출단계를 수행하여, 공간이미지로부터 각각의 구성요소에 대한 배치방향을 도출할 수 있다.

배치방향도출단계는, 1 이상의 공간이미지가 포함하는 복수의 구성요소(객체) 중 제2기준구성요소를 선정하는 제2기준선정단계; 및 1 이상의 공간이미지가 포함하는 복수의 구성요소 각각에 대해서, 상기 제2기준선정단계에서 선정된 제2기준구성요소와의 상대적 방향에 기초하여 배치방향을 도출하는 개별배치방향도출단계;를 포함할 수 있다.

즉, 모델링배치부(1600)에서는 기준이 되는 구성요소의 방향에 따른 상대적인 방향으로 나머지 구성요소에 대한 배치방향을 도출할 수 있다.

모델링배치부(1600)는 크기도출단계를 수행하여, 공간이미지로부터 각각의 구성요소에 대한 크기를 도출할 수 있다.

배치방향도출단계는, 1 이상의 공간이미지가 포함하는 복수의 구성요소(객체) 중 제3기준구성요소를 선정하는 제3기준선정단계; 및 1 이상의 공간이미지가 포함하는 복수의 구성요소 각각에 대해서, 상기 제3기준선정단계에서 선정된 제3기준구성요소와의 상대적 크기에 기초하여 배치크기를 도출하는 개별배치크기도출단계;를 포함할 수 있다.

즉, 모델링배치부(1600)에서는 기준이 되는 구성요소의 크기에 따른 상대적인 크기로 나머지 구성요소에 대한 배치크기를 도출할 수 있다.

본 발명의 일 실시예에 따르면, 제1기준선정단계, 제2기준선정단계, 및 제3기준선정단계 각각에서 선정된 제1기준구성요소, 제2기준구성요소, 및 제3기준구성요소는 서로 같을 수 있다.

모델링배치부(1600)는 정합배치단계를 수행하여, 3D모델링을 메타버스 상에 배치할 수 있다.

정합배치단계에서는, 상기 위치도출단계, 상기 배치방향도출단계, 및 상기 크기도출단계 각각에서 도출한, 구성요소(객체) 각각에 대한 배치위치, 배치방향, 배치크기에 기초하여 3D모델링을 메타버스에 배치할 수 있다.

구체적으로, 상기 정합배치단계에서는, 상기 제1기준선정단계, 제2기준선정단계, 및 제3기준선정단계에서 선정된 기준구성요소에 대한 3D모델링을 먼저 배치한 뒤, 나머지 구성요소에 대한 3D모델링을 상기 배치위치, 배치방향, 배치크기에 따라 배치할 수 있다.

즉, 정합배치단계에서는, 모델링배치부(1600)에서는 기준이 되는 구성요소를 배치한 뒤, 상대적인 위치, 방향, 및 크기로 나머지 구성요소를 배치할 수 있다.

2. 멀티모달 기반 메타버스 상 NPC동작 구현 시스템, 방법 및 컴퓨터-기록가능 매체

상술한 바와 같이 본 발명의 서비스서버(1000)는 메타버스에 관한 텍스트 및 이미지에 기초하여 3D모델링DB로부터 구상하는 메타버스 각각에 대한 구성요소의 3D모델링을 배치하여 메타버스를 구현할 수 있다. 이하에서는 발명의 구현한 메타버스 내에 NPC아바타가 있는 경우에, NPC아바타의 동작을 구현하는 시스템에 대해서 설명하도록한다.

도 9은 본 발명의 일 실시예에 따른 아바타동작부(1700)를 개략적으로 도시한다.

도 9에 도시된 바와 같이, 서비스서버(1000) 및 3D모델링DB를 포함하는 멀티모달 기반 메타버스 상 NPC동작 구현 시스템은, 상기 모델링배치부에서 구현된 메타버스에 NPC아바타가 포함되는 경우, NPC아바타에 대한 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는, NPC아바타에 대한 동작요소를 구현하는 아바타동작부(1700);를 포함할 수 있다.

멀티모달 기반 메타버스 상 NPC동작 구현 시스템을 구현하기 위해서 서비스서버(1000)는 아바타동작부(1700)를 포함할 수 있고, 상기 시스템은 세부동작DB(3000) 및 애니클립DB(4000)를 포함할 수 있다.

메타버스에는 사용자의 조작이 아닌 자동으로 움직이는 NPC아바타가 포함될 수 있고, 상기 아바타동작부(1700)는 동작텍스트가 포함하는 NPC아바타의 동작요소를 구현할 수 있다. 이에 대한 자세한 사항은 후술하도록 한다.

상기 세부동작DB(3000)에는 동작요소를 구성하는 세부동작이 기저장되어 있을 수 있고, 상기 애니클립DB(4000)에는 세부동작에 대한 애니메이션클립이 기저장되어 있을 수 있다. 이에 대한 자세한 사항은 후술하도록한다.

본 발명의 일 실시예에 따르면, 동작텍스트가 포함하는 동작요소를 NPC아바타가 구현할 수 있으므로, 메타버스 관리자는 텍스트만으로 NPC아바타를 움직이게 설정할 수 있는 효과를 발휘할 수 있다.

도 10는 본 발명의 일 실시예에 따른 세부동작DB(3000) 및 애니클립DB(4000)를 개략적으로 도시한다.

도 10에 도시된 바와 같이, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템은, 복수의 동작요소 각각에 대해, 해당 동작요소를 NPC아바타가 구현하기 위해서 거쳐야하는 1 이상의 세부동작이 매칭되어 있는 세부동작DB(3000); 및 복수의 세부동작 각각에 대한 애니메이션클립이 저장되어 있는 애니클립DB(4000);을 더 포함할 수 있다.

세부동작DB(3000)에는 복수의 동작요소가 기저장되어 있을 수 있고, 각각의 동작요소에는 1 이상의 세부동작이 매칭되어 저장되어 있을 수 있다.

상기 동작요소는 NPC아바타가 수행할 수 있는 큰 단위의 동작에 해당할 수 있다. 즉, 상기 동작요소는 동작의 명칭을 의미할 수 있다. 상기 세부동작은, 동작요소를 수행하기 위한 작은 단위의 동작에 해당할 수 있다. 즉, 상기 세부동작은 동작요소가 포함하는 세부적인 동작을 의미할 수 있다.

예를 들어, 동작요소가 '점프'인 경우에는, 세부동작은 '양 무릎을 굽힘', '발목을 펴 도약', 및 '양 무릎을 핌'를 포함할 수 있고, 상기 세부동작은 동작요소를 수행하기 위해 순서가 고려되어 저장되어 있을 수 있다.

애니클립DB(4000)에는 복수의 애니메이션클립이 기저장되어 있을 수 있고, 각각의 애니메이션클립은 상기 세부동작DB(3000)에 저장되어 있는 세부동작 모두에 대해 저장되어 있을 수 있다.

상기 애니메이션클립은 NPC아바타에 적용할 수 있고, NPC아바타에 적용되는 경우, NPC아바타는 해당 세부동작을 수행할 수 있다.

도 11은 본 발명의 일 실시예에 따른 아바타동작부(1700)를 개략적으로 도시한다.

도 11에 도시된 바와 같이, 상기 아바타동작부(1700)는, 상기 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는 동작요소를 추출한 추출동작요소를 생성하는 동작요소추출단계; 상기 추출동작요소 각각에 대해서, 상기 세부동작DB(3000)가 포함하는 동작요소와 매칭하여, 해당 동작요소에 대한 세부동작을 추출하는 세부동작추출단계; 상기 세부동작추출단계에서 추출한 세부동작에 대해서, 상기 애니클립DB(4000)로부터 해당 세부동작에 대한 애니메이션클립을 추출하는 클립추출단계; NPC아바타에 상기 클립추출단계에서 추출한 애니메이션클립을 적용하여 상기 동작텍스트가 포함하는 동작요소를 구현하는 동작구현단계;를 수행할 수 있다.

아바타동작부(1700)는 동작요소추출단계, 세부동작추출단계, 클립추출단계 및 동작구현단계를 수행하여, NPC아바타의 동작요소를 구현할 수 있다.

아바타동작부(1700)는, 메타버스 관리자로부터 NPC아바타에 대한 동작텍스트를 수신할 수 있다. 상기 동작텍스트는 NPC아바타가 수행해야 하는 1 이상의 동작요소를 포함한 텍스트에 해당할 수 있다.

아바타동작부(1700)는 동작요소추출단계에서, 상기 동작텍스트에 기초하여, 해당 동작텍스트가 포함하는 동작요소를 추출한 추출동작요소를 생성할 수 있다. 상기 동작요소추출단계에서는 동작텍스트가 포함하는 모든 추출동작요소를 추출할 수 있다. 즉, 동작텍스트로부터 1 이상의 추출동작요소를 추출할 수 있다.

이어서, 아바타동작부(1700)는 세부동작추출단계에서, 상기 동작요소추출단계에서 추출한 추출동작요소를, 세부동작DB(3000)에 기초하여, 세부동작DB(3000)에 검색해서, 해당 추출동작요소와 상응하는 동작요소를 도출하고, 해당 동작요소에 대한 세부동작을 추출할 수 있다. 이는 동작요소추출단계에서 추출한 1 이상의 추출동작요소 각각에 대해서 수행될 수 있다.

아바타동작부(1700)는 클립추출단계에서, 상기 세부동작추출단계에서 추출한 세부동작을 애니클립DB(4000)에 기초하여, 애니클립DB(4000)에 검색하여, 해당 세부동작에 대한 애니메이션클립을 추출할 수 있다. 이는 세부동작추출단계에서 추출한 1 이상의 세부동작 각각에 대해서 수행될 수 있다.

아바타동작부(1700)는 동작구현단계에서, 상기 클립추출단계에서 추출한 애니메이션클립을 순서대로 NPC아바타에 적용하여, 해당 동작요소를 구현할 수 있다.

본 발명의 일 실시예에 따르면, 동작요소추출단계에서 추출되는 복수의 추출동작요소에 대해서 동시동작 혹은 순차동작을 결정할 수 있다. 즉, 아바타동작부(1700)는 동작텍스트에 포함되어 있는 텍스트를 분석하여, 해당 동작텍스트로부터 추출한 복수의 추출동작요소에 대한 순서를 정할 수 있고, 상기 순서는 동시동작 혹은 순차동작을 포함할 수 있다.

도 12는 본 발명의 일 실시예에 따른 세부동작추출단계의 세부단계를 개략적으로 도시한다.

도 12에 도시된 바와 같이, 세부동작추출단계는, 상기 세부동작DB(3000)가 포함하는 복수의 동작요소 각각을 임베딩한 임베딩동작요소를 도출하는 제1동작요소처리단계(S100); 상기 동작요소추출단계에서 추출한 복수의 추출동작요소 각각을 임베딩한 임베딩추출동작요소를 도출하는 제2동작요소처리단계(S110); 상기 임베딩추출동작요소 각각에 대해서, 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도를 도출하는 동작요소유사도도출단계(S120); 및 상기 동작요소유사도도출단계(S120)에서 도출한 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도 중 최상의 유사도에 대한 임베딩동작요소에 해당하는 동작요소를 해당 추출동작요소와 매칭하는 동작요소매칭단계(S130);를 포함할 수 있다.

세부동작추출단계는 제1동작요소처리단계(S100), 제2동작요소처리단계(S110), 동작요소유사도도출단계(S120), 및 동작요소매칭단계(S130)를 포함하여, 세부동작DB(3000)로부터 추출동작요소와 동작요소를 매칭할 수 있다.

세부동작DB(3000)에 기저장되어 있는 동작요소는 텍스트로 저장되어 있을 수 있다.

제1동작요소처리단계(S100)에서는, 세부동작DB(3000)가 포함하는 동작요소 각각을, 상기 추출동작요소와 비교하기 위하여, 임베딩하여 임베딩동작요소를 도출할 수 있다.

제2동작요소처리단계(S110)에서는, 동작요소추출단계에서 추출한 복수의 추출동작요소를, 상기 세부동작DB(3000)의 동작요소와 비교하기 위해, 임베딩하여 임베딩추출동작요소를 도출할 수 있다.

동작요소유사도도출단계(S120)에서는, 상기 임베딩추출동작요소에서 도출한 복수의 임베딩추출동작요소 각각에 대해서 상기 제1동작요소처리단계(S100)에서 도출한 복수의 임베딩동작요소와의 유사도를 도출할 수 있다. 상기 유사도는 코사인 유사도, 자키드 유사도 등의 방법을 통해서 유사도를 도출할 수 있다.

동작요소매칭단계(S130)에서는, 상기 동작요소유사도도출단계(S120)에서 도출한 유사도에 대해서 최상위 유사도에 대한 임베딩동작요소를 도출하고, 해당 임베딩동작요소에 대한 동작요소를, 해당 추출동작요소(최상위 유사도가 도출된 임베딩추출동작요소에 대한 추출동작요소)와 매칭할 수 있다. 상기 동작요소매칭단계(S130)는 복수의 임베딩추출동작요소 각각에 대해서 수행될 수 있다.

도 13은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

상술한 도 1에 도시된 서비스서버(1000)는 상기 도 13에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.

도 13에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 1에 도시된 서비스서버(1000)에 해당될 수 있다.

메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 13의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 13에 도시된 일부 컴포넌트가 생략되거나, 도 13에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 13에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 서비스서버(1000) 혹은 사용자단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 서비스서버 혹은 사용자단말의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

서비스서버 및 3D모델링DB를 포함하는 멀티모달 기반 메타버스 상 NPC동작 구현 시스템으로서,
상기 3D모델링DB에는,
메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있고,
상기 서비스서버는,
구상하는 메타버스의 복수의 구성요소를 포함하는 공간 환경에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출하는 공간이미지도출부;
상기 공간이미지가 포함하는 구성요소에 대한 복수의 객체를 추출하는 객체추출부;
상기 환경텍스트가 포함하는 구성요소에 대한 복수의 키워드를 추출하는 키워드추출부;
상기 객체 및 상기 키워드에 기초하여, 상기 3D모델링으로부터 해당하는 구성요소에 대한 3D모델링을 추출하는 모델링추출부;
상기 모델링추출부에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현하는 모델링배치부; 및
상기 모델링배치부에서 구현된 메타버스에 NPC아바타가 포함되는 경우, NPC아바타에 대한 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는, NPC아바타에 대한 동작요소를 구현하는 아바타동작부;를 포함하고,
상기 공간이미지도출부에서 1 이상의 공간이미지가 도출되고,
상기 모델링배치부는,
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치위치를 도출하는 위치도출단계;
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치방향을 도출하는 배치방향도출단계;
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치크기를 도출하는 크기도출단계: 및
상기 위치도출단계, 상기 배치방향도출단계, 및 상기 크기도출단계 각각에서 도출한 상기 배치위치, 상기 배치방향, 및 상기 배치크기에 정합하게 해당 3D모델링을 메타버스 상에 배치하는 정합배치단계;를 수행하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템.
청구항 1에 있어서,
멀티모달 기반 메타버스 상 NPC동작 구현 시스템은,
복수의 동작요소 각각에 대해, 해당 동작요소를 NPC아바타가 구현하기 위해서 거쳐야하는 1 이상의 세부동작이 매칭되어 있는 세부동작DB; 및
복수의 세부동작 각각에 대한 애니메이션클립이 저장되어 있는 애니클립DB;을 더 포함하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템.
청구항 2에 있어서,
상기 아바타동작부는,
상기 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는 동작요소를 추출한 추출동작요소를 생성하는 동작요소추출단계;
상기 추출동작요소 각각에 대해서, 상기 세부동작DB가 포함하는 동작요소와 매칭하여, 해당 동작요소에 대한 세부동작을 추출하는 세부동작추출단계;
상기 세부동작추출단계에서 추출한 세부동작에 대해서, 상기 애니클립DB로부터 해당 세부동작에 대한 애니메이션클립을 추출하는 클립추출단계; 및
NPC아바타에 상기 클립추출단계에서 추출한 애니메이션클립을 적용하여 상기 동작텍스트가 포함하는 동작요소를 구현하는 동작구현단계;를 수행하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템.
청구항 3에 있어서,
세부동작추출단계는,
상기 세부동작DB가 포함하는 복수의 동작요소 각각을 임베딩한 임베딩동작요소를 도출하는 제1동작요소처리단계;
상기 동작요소추출단계에서 추출한 복수의 추출동작요소 각각을 임베딩한 임베딩추출동작요소를 도출하는 제2동작요소처리단계;
상기 임베딩추출동작요소 각각에 대해서, 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도를 도출하는 동작요소유사도도출단계; 및
상기 동작요소유사도도출단계에서 도출한 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도 중 최상의 유사도에 대한 임베딩동작요소에 해당하는 동작요소를 해당 추출동작요소와 매칭하는 동작요소매칭단계;를 포함하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템.
청구항 1에 있어서,
상기 멀티모달 기반 메타버스 상 NPC동작 구현 시스템은 상기 환경텍스트를 도출하는 환경텍스트도출부를 더 포함하고,
상기 환경텍스트도출부는,
구상하는 메타버스의 환경정보를 인공지능 기반 언어모델에 입력하는 환경정보입력단계; 및
상기 환경정보입력단계에서 상기 구상하는 메타버스의 환경정보가 입력된 인공지능 기반 언어모델에 상기 구상하는 메타버스의 구성요소에 대한 텍스트를 입력하여, 해당 텍스트가 상기 환경정보에 기초하여 구체화된 환경텍스트를 도출하는 구체화단계;를 수행하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템.
청구항 1에 있어서,
상기 3D모델링DB에 저장되어 있는 복수의 3D모델링 파일 각각은 해당하는 구성 요소에 대한 1 이상의 키워드에 따라 분류되어 있고,
상기 모델링추출부는,
상기 키워드추출부에서 추출한 상기 복수의 키워드 각각을 임베딩한 임베딩키워드를 도출하는 제1전처리단계;
어느 객체에 대한 특징정보를 추출하고, 상기 특징정보를 임베딩한 임베딩특징정보를 도출하는 제2전처리단계;
상기 임베딩특징정보 및 상기 복수의 키워드 각각의 임베딩키워드에 대한 유사도를 도출하는 유사도도출단계; 및
상기 유사도도출단계에서 도출한 상기 복수의 키워드 각각에 대한 유사도에 기초하여, 기설정된 기준유사도에 해당하는 키워드의 3d모델링을 추출하는 키워드매칭단계;를 수행하는, 멀티모달 기반 메타버스 상 NPC동작 구현 시스템.
삭제
서비스서버 및 3D모델링DB를 포함하는 멀티모달 기반 메타버스 상 NPC동작 구현 시스템에서 수행하는 멀티모달 기반 메타버스 상 NPC동작 구현 방법으로서,
상기 3D모델링DB에는,
메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있고,
상기 서비스서버는,
구상하는 메타버스의 복수의 구성요소를 포함하는 공간 환경에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출하는 공간이미지도출단계;
상기 공간이미지가 포함하는 구성요소에 대한 복수의 객체를 추출하는 객체추출단계;
상기 환경텍스트가 포함하는 구성요소에 대한 복수의 키워드를 추출하는 키워드추출단계;
상기 객체 및 상기 키워드에 기초하여, 상기 3D모델링으로부터 해당하는 구성요소에 대한 3D모델링을 추출하는 모델링추출단계; 및
상기 모델링추출단계에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현하는 모델링배치단계; 및
상기 모델링배치단계에서 구현된 메타버스에 NPC아바타가 포함되는 경우, NPC아바타에 대한 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는, NPC아바타에 대한 동작요소를 구현하는 아바타동작단계;를 수행하고,
상기 공간이미지도출단계에서 1 이상의 공간이미지가 도출되고,
상기 모델링배치단계는,
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치위치를 도출하는 위치도출단계;
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치방향을 도출하는 배치방향도출단계;
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치크기를 도출하는 크기도출단계: 및
상기 위치도출단계, 상기 배치방향도출단계, 및 상기 크기도출단계 각각에서 도출한 상기 배치위치, 상기 배치방향, 및 상기 배치크기에 정합하게 해당 3D모델링을 메타버스 상에 배치하는 정합배치단계;를 포함하는, 멀티모달 기반 메타버스 상 NPC동작 구현 방법.
청구항 8에 있어서,
멀티모달 기반 메타버스 상 NPC동작 구현 방법은,
복수의 동작요소 각각에 대해, 해당 동작요소를 NPC아바타가 구현하기 위해서 거쳐야하는 1 이상의 세부동작이 매칭되어 있는 세부동작DB; 및
복수의 세부동작 각각에 대한 애니메이션클립이 저장되어 있는 애니클립DB;을 더 포함하고,
상기 아바타동작단계는,
상기 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는 동작요소를 추출한 추출동작요소를 생성하는 동작요소추출단계;
상기 추출동작요소 각각에 대해서, 상기 세부동작DB가 포함하는 동작요소와 매칭하여, 해당 동작요소에 대한 세부동작을 추출하는 세부동작추출단계;
상기 세부동작추출단계에서 추출한 세부동작에 대해서, 상기 애니클립DB로부터 해당 세부동작에 대한 애니메이션클립을 추출하는 클립추출단계; 및
NPC아바타에 상기 클립추출단계에서 추출한 애니메이션클립을 적용하여 상기 동작텍스트가 포함하는 동작요소를 구현하는 동작구현단계;를 수행하는, 멀티모달 기반 메타버스 상 NPC동작 구현 방법.
청구항 9에 있어서,
세부동작추출단계는,
상기 세부동작DB가 포함하는 복수의 동작요소 각각을 임베딩한 임베딩동작요소를 도출하는 제1동작요소처리단계;
상기 동작요소추출단계에서 추출한 복수의 추출동작요소 각각을 임베딩한 임베딩추출동작요소를 도출하는 제2동작요소처리단계;
상기 임베딩추출동작요소 각각에 대해서, 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도를 도출하는 동작요소유사도도출단계; 및
상기 동작요소유사도도출단계에서 도출한 임베딩추출동작요소 및 복수의 임베딩동작요소 각각에 대한 유사도 중 최상의 유사도에 대한 임베딩동작요소에 해당하는 동작요소를 해당 추출동작요소와 매칭하는 동작요소매칭단계;를 포함하는, 멀티모달 기반 메타버스 상 NPC동작 구현 방법.
청구항 8에 있어서,
상기 멀티모달 기반 메타버스 상 NPC동작 구현 방법은 상기 환경텍스트를 도출하는 환경텍스트도출단계를 더 포함하고,
상기 환경텍스트도출단계는,
구상하는 메타버스의 환경정보를 인공지능 기반 언어모델에 입력하는 환경정보입력단계; 및
상기 환경정보입력단계에서 상기 구상하는 메타버스의 환경정보가 입력된 인공지능 기반 언어모델에 상기 구상하는 메타버스의 구성요소에 대한 텍스트를 입력하여, 해당 텍스트가 상기 환경정보에 기초하여 구체화된 환경텍스트를 도출하는 구체화단계;를 포함하는, 멀티모달 기반 메타버스 상 NPC동작 구현 방법.
삭제
1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅시스템에서 서비스서버에 의하여 수행되는 멀티모달 기반 메타버스 상 NPC동작 구현 방법을 구현하기 위한 컴퓨터-기록가능 매체로서, 상기 컴퓨터-기록가능 매체는, 상기 컴퓨팅시스템으로 하여금 이하의 단계들을 수행하도록 하는 컴퓨터 실행가능 명령어들을 포함하고,
상기 컴퓨팅시스템은 3D모델링DB를 포함하고,
상기 3D모델링DB에는,
메타버스에 대한 복수의 구성요소 각각에 대한 3D모델링 파일이 저장되어 있고,
상기 이하의 단계들은:
구상하는 메타버스의 복수의 구성요소를 포함하는 공간 환경에 대한 레퍼런스이미지 및 환경텍스트에 기초하여, 상기 구상하는 메타버스의 공간 환경에 대한 공간이미지를 도출하는 공간이미지도출단계;
상기 공간이미지가 포함하는 구성요소에 대한 복수의 객체를 추출하는 객체추출단계;
상기 환경텍스트가 포함하는 구성요소에 대한 복수의 키워드를 추출하는 키워드추출단계;
상기 객체 및 상기 키워드에 기초하여, 상기 3D모델링으로부터 해당하는 구성요소에 대한 3D모델링을 추출하는 모델링추출단계; 및
상기 모델링추출단계에서 추출한 3D모델링을 상기 공간이미지에 기초하여 배치하여 메타버스를 구현하는 모델링배치단계; 및
상기 모델링배치단계에서 구현된 메타버스에 NPC아바타가 포함되는 경우, NPC아바타에 대한 동작텍스트에 기초하여, 상기 동작텍스트가 포함하는, NPC아바타에 대한 동작요소를 구현하는 아바타동작단계;를 포함하고,
상기 공간이미지도출단계에서 1 이상의 공간이미지가 도출되고,
상기 모델링배치단계는,
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치위치를 도출하는 위치도출단계;
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치방향을 도출하는 배치방향도출단계;
상기 1 이상의 공간이미지에 기초하여, 메타버스 상의 해당 3D모델링에 대한 배치크기를 도출하는 크기도출단계: 및
상기 위치도출단계, 상기 배치방향도출단계, 및 상기 크기도출단계 각각에서 도출한 상기 배치위치, 상기 배치방향, 및 상기 배치크기에 정합하게 해당 3D모델링을 메타버스 상에 배치하는 정합배치단계;를 포함하는, 컴퓨터-기록매체.
청구항 13에 있어서,
상기 멀티모달 기반 메타버스 상 NPC동작 구현 방법은 상기 환경텍스트를 도출하는 환경텍스트도출단계를 더 포함하고,
상기 환경텍스트도출단계는,
구상하는 메타버스의 환경정보를 인공지능 기반 언어모델에 입력하는 환경정보입력단계; 및
상기 환경정보입력단계에서 상기 구상하는 메타버스의 환경정보가 입력된 인공지능 기반 언어모델에 상기 구상하는 메타버스의 구성요소에 대한 텍스트를 입력하여, 해당 텍스트가 상기 환경정보에 기초하여 구체화된 환경텍스트를 도출하는 구체화단계;를 포함하는, 컴퓨터-기록매체.
삭제