KR102592310B1 - 인공지능 기반 가상현실 서비스 시스템 및 방법 - Google Patents

Abstract

본 발명은 가상현실 서비스 시스템을 개시한다. 보다 상세하게는, 본 발명은 이전에 존재하였으나 현재는 그렇지 않은 실존인물 또는 애완동물 등을 가상공간상에서 구현함으로써 언제나 다시 만나볼 수 있도록 하는 새로운 개념의 서비스를 제공하는 인공지능 기반 가상현실 서비스 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따르면, 인물, 동물 등 실존했거나 실존하는 개체의 특성을 추출할 수 있는 다양한 형태의 로우 데이터를 수집하여 데이터화가 가능하도록 분류하여 속성 데이터를 도출하고, 기계학습을 통해 실존 개체에 대응하는 가상 개체를 생성하여 그와의 의사소통에 기반한 콘텐츠를 제공함으로써, 사용자가 마치 해당 인물 또는 애완동물과 직접 소통하는 느낌의 실감나는 체험을 할 수 있고, 이에 기초한 다양한 응용 콘텐츠를 제공함으로써 사용자의 흥미를 유발할 수 있는 효과가 있다.

Description

인공지능 기반 가상현실 서비스 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING VIRTUAL REALITY SERVICE BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 가상현실 서비스 시스템에 관한 것으로, 특히 이전에 존재하였으나 현재는 그렇지 않은 실존인물 또는 애완동물 등을 가상공간상에서 구현함으로써 언제나 다시 만나볼 수 있도록 하고, 현실세계에서 일상생활에 가상공간의 개체를 밀접하게 적용하여 그 경계를 느슨하게 하는 새로운 개념의 서비스를 제공하는 인공지능 기반 가상현실 서비스 시스템 및 방법에 관한 것이다.

인류 역사에 비추어 볼 때, 인간은 무한한 발전을 하고 있다. 역사는 기록의 산물이며 후대를 거치면서 기술의 발전을 보여주고 있다. 최근 부각되고 있는 인공지능 기술 역시 마찬가지로 인간의 지능 수준에 이르고 있다.

오랜기간 동안 인간은 그들이 살아온 역사에 대하여 누군가의 글, 그림, 사진, 영상물속에 기록되어 왔으나, 실제로 그들을 만나보고 그 환경을 직접 체험할 수는 없을 것이다.

특히, 인생에서 오랜 시간 함께 해왔던 가족, 친지, 친구나, 애완동물이 갑작스럽게 세상을 떠나는 경우, 남아 있는 이들은 떠난 이를 그리워하면서 힘든 시간을 보낼 수 있다.

이러한 문제를 극복하기 위해, 공개특허공보 제10-2021-0015977호는 이른 나이에 사망에 이른 사망자의 습관 등의 데이터와 인공지능을 활용하여 현재 사망자가 현재 살아있었을 경우를 가정하여 음성 및 영상을 구현하여 사용자가 마치 사망자가 현재까지 살아있는 것과 같은 느낌으로 가상의 사망자와 대화를 나눌 수 있도록 하는 사망자와의 대화 구현 장치를 개시하고 있다.

전술한 종래기술에 의하면, 사망자의 생전 음성을 나이에 매칭시킨 사망자 음성을 사용자가 사용하는 사용자 단말로부터 수신하는 사망자 음성 수신부 및 사망자의 생전 음성을 음절 단위로 분할한 분할 데이터를 생성하는 분할 데이터 생성부를 구비하고, 사람들의 나이에 따른 음성 데이터를 학습 데이터로 하여 머신 러닝 알고리즘으로 상기 사망자가 살아있을 경우의 사망자의 현재 나이에 맞추어 사망자의 분할 데이터의 음성을 에이징화한 에이징 음성 데이터를 생성하는 내용을 개시하고 있다.

그러나, 이러한 선행기술에 의하면 사망자의 한정된 단어 및 영상만을 제한적인 형태로 제공하는 것으로 추모를 위한 영상일 뿐이라는 한계가 있다.

최근에는 가상현실 기술(Virtual Reality), 증강현실 기술(Augmented Reality) 등, 실제로 존재하지 않는 가상의 공간에 방문하거나, 가상의 인물과 만나서 교류하는 등의 다양한 가상체험 서비스가 연구되고 있으며, 본 발명은 이러한 최신의 가상현실 기술에 기반하여, 현재는 존재하지 않으나 과거 실존했던 인물, 동물 등과 소통할 수 있도록 함과 아울러, 현실세계에서의 일상생활에서 필요한 활동을 가상공간에 존재하는 개체를 통해 수행할 수 있도록 하는 서비스를 구현하고자 한다.

공개특허공보 제10-2021-0015977호(공개일자: 2021년02월10일)

본 발명은 전술한 한계를 극복하고, 새로운 경험의 서비스를 제공하기 위해 안출된 것으로, 인공지능 기술이 나날이 발전하고 있는 현재의 시점에서 인간을 데이터화하여 저장하고, 인공지능 기술과 융합하여 앞으로 영원히 누군가의 기억속에서 감정을 느끼고 체험할 수 있도록 하는 새로운 개념의 서비스를 제공하는 데 과제가 있다.

또한, 본 발명은 과거 또는 현재까지 실존했거나 실존하는 인물, 동물 등의 실존 개체에 관한 다양한 정보를 데이터 베이스하고, 인공지능 기술을 활용하여 축적된 데이터에 기초하여 과거 또는 현재 실존하는 개체와 가장 근접하게 구현된, 가상 개체와의 의사소통을 수행할 수 있고, 그 의사소통에 기반한 다양하면서도 실생활에서 유용한 서비스를 제공하는 데 과제가 있다.

전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템은, 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하고, 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 데이터 센터 서버 및, 사용자 단말의 요청에 따라, 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하고, 상기 사용자 단말을 통해 사용자와 가상 개체간 의사소통에 기반한 콘텐츠를 제공하는 콘텐츠 제공 서버를 포함할 수 있다.

상기 데이터 센터 서버는, 하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 데이터 수집부, 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 개체 등록부, 상기 데이터 수집부에 의해 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 데이터 분류부 및, 상기 속성 데이터를 개체별로 저장하는 데이터 저장소를 포함할 수 있다.

상기 데이터 수집 단말은, 실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함할 수 있다.

상기 데이터 센터 서버는, 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 데이터 제공부를 더 포함할 수 있다.

상기 콘텐츠 제공 서버는, 상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 데이터 이관부, 상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 가상 개체 구현부, 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 개체 행위 생성부, 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 서비스 결정부 및, 상기 사용자 단말의 요청에 따라, 상기 콘텐츠를 사용자 단말에 제공하는 서비스 제공부를 포함할 수 있다.

상기 콘텐츠 제공 서버는, 다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터 서버에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 학습데이터 DB 및, 하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하는 기계 학습부를 포함하고, 상기 가상 개체 구현부 및 개체 행위 생성부는, 상기 기계 학습부로부터 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영할 수 있다.

상기 가상 개체는, VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것일 수 있다.

상기 콘텐츠 제공 서버는, 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 회원 관리부를 더 포함하고, 상기 데이터 이관부는, 상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하고, 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 것일 수 있다.

상기 콘텐츠는, 사용자 단말에서 사용자와 가상 개체간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체간 게임 기능 중, 하나 이상을 제공하는 것일 수 있다.

또한, 전술한 과제를 해결하기 위한 본 발명의 다른 양태의 실시예에 따른 인공지능 기반 가상현실 서비스 방법은, (a) 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계, (b) 상기 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계, (c) 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계 및, (d) 상기 콘텐츠 제공 서버가 상기 사용자 단말을 통해 사용자와 가상 개체간 의사소통에 기반한 콘텐츠를 제공하는 단계를 포함할 수 있다.

상기 (a) 단계는, 상기 데이터 센터 서버가 하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 단계 및, 상기 데이터 센터 서버가 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 단계를 포함하고, 상기 (b) 단계는, 상기 데이터 센터 서버가 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 단계 및, 상기 속성 데이터를 개체별로 저장하는 단계를 포함할 수 있다.

상기 데이터 수집 단말은, 실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함할 수 있다.

상기 (c) 단계 이전에, 상기 데이터 센터 서버가 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 단계를 더 포함할 수 있다.

상기 (c) 단계는, (c1) 상기 콘텐츠 제공 서버가 상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 단계, (c2) 상기 콘텐츠 제공 서버가 상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 단계, (c3) 상기 콘텐츠 제공 서버가 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 단계 및, (c4) 상기 콘텐츠 제공 서버가 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 단계를 포함할 수 있다.

상기 (c2) 단계 및 (c3) 단계는, 상기 콘텐츠 제공 서버가 다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 단계, 상기 콘텐츠 제공 서버가 하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하는 단계 및, 상기 콘텐츠 제공 서버가 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하는 단계를 포함할 수 있다.

상기 가상 개체는, VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것일 수 있다.

상기 (c1) 단계 이전에, 상기 콘텐츠 제공 서버가 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 단계를 더 포함하고, 상기 (c1) 단계는, 상기 콘텐츠 제공 서버가 상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하는 단계 및, 상기 콘텐츠 제공 서버가 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 단계를 포함할 수 있다.

상기 콘텐츠는, 사용자 단말에서 사용자와 가상 개체간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체간 게임 기능 중, 하나 이상을 제공하는 것일 수 있다.

본 발명의 실시예에 따르면, 인물, 동물 등 실존했거나 실존하는 개체의 특성을 추출할 수 있는 다양한 형태의 로우 데이터를 수집하여 데이터화가 가능하도록 분류하여 속성 데이터를 도출하고, 기계학습을 통해 실존 개체에 대응하는 가상 개체를 생성하여 그와의 의사소통에 기반한 콘텐츠를 제공함으로써, 사용자가 마치 해당 인물 또는 애완동물과 직접 소통하는 느낌의 실감나는 체험을 할 수 있고, 이에 기초한 다양한 응용 콘텐츠를 제공함으로써 사용자의 흥미를 유발할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따르면, 개인이 기억하고자 하는 가족이나 지인을 비롯하여 체험형 서비스를 제공하고자 하는 인플러언서, 공인 등에 대한 외형, 대화, 습관 등 다양한 관점의 정보를 데이터 베이스화하고, 인공 기능을 기술을 적용하여 가상 공간상의 가상 개체로 구현함으로써, 이후 고객의 요청에 따라 가상 개체와의 대화를 비롯하여 일정관리, 비서 등 가상 개체로부터 파생되는 다양한 형태의 서비스를 제공할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 각 구성요소간 절차로 나타낸 도면이다.
도 6 내지 도 9는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스에서 제공되는 화면을 예시한 도면이다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)" 및 "...시스템(System)" 등의 용어는 하나 또는 그 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한 "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용될 수 있다.

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현되거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)" 및 "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 프로그램에서 실행되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.

이하의 설명에서, 본 발명의 "인공지능 기반 가상현실 서비스 시스템"을 가리키는 용어는, 설명의 편의상 "가상현실 서비스 시스템" 또는 "시스템"으로 약식 표기될 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템 및 방법을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 전체 구조를 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 서비스 시스템은, 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하고, 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 데이터 센터 서버(100) 및, 사용자 단말(50)의 요청에 따라, 데이터 센터 서버(100)에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하고, 사용자 단말(50)을 통해 사용자와 가상 개체간 의사소통에 기반한 콘텐츠를 제공하는 콘텐츠 제공 서버(200)를 포함할 수 있다.

사용자 단말(50)은 본 발명의 시스템을 통해 이전에 실존했거나 현재 실존하고 있는 가족, 친지, 친구와 같은 지인 뿐만 아니라, 가수, 배우, 희극인 등의 유명인을 가상 공간상에서 행동하는 가상 개체로 구현하여 사용자가 의사소통을 수행할 수 있도록 하는 단말 장치이다.

여기서, 본 발명의 실시예에 따른 가상 개체로는 인간뿐만 아니라, 애완동물 및 가상의 존재(ex. 공룡, 만화 캐릭터 등)을 포함할 수 있다.

사용자는 자신이 소지하거나 이용하는 사용자 단말(50)을 콘텐츠 제공 서버(200)에 회원 등록하고, 자신의 소통하고자 하는 가상 개체에 기반한 콘텐츠를 콘텐츠 제공 서버(200)에 요청할 수 있다. 전술한 가상 개체는 VR 영상, AR 영상, 2D 또는 3D 영상 또는 음성으로 구현될 수 있고, 사용자 단말(50)은 콘텐츠 제공 서버(200)로부터 스트리밍 되는 VR 영상 등을 실시간으로 재생하여 사용자와의 소통을 구현할 수 있다.

이러한 사용자 단말(50)로는 적어도 하나의 프로세싱 유닛 및 메모리를 포함하는 컴퓨팅 장치일 수 있다. 여기서, 프로세싱 유닛은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 사용자 단말(50)로는 추가적인 스토리지를 포함할 수 있다. 스토리지는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다.

또한, 사용자 단말(50)로는 깊이정보를 표현할 수 있는 디스플레이가 탑재된 VR 헤드 마운트 장치, 실제 배경과 가상 개체를 중첩하여 표시할 수 있는 고글형 AR 장치 등이 이용될 수 있고, 공지의 스마트폰 또는 태블릿PC 등이 이용될 수도 있고, 복수의 장치가 서로 연동을 통해 가상 개체 또는 공간을 실제와 같이 느끼도록 지원할 수 있다.

데이터 센터 서버(100)는 가상 개체의 구현을 위한 소스인 속성 데이터를 저장, 관리하는 데이터 센터에서 운용하는 서버 장치로서, 실존 인물 및 애완 동물에 관하여 전반적인 특징, 패턴 등을 데이터 베이스화하여 저장할 수 있다.

이러한 데이터 센터 서버(100)는 클라우드 방식으로 구축될 수 있고, 정보통신망을 통해 데이터화의 대상이 되는 실존 개체에 대한 다양한 로우 데이터를 제공받아 분류 및 체계화하여 서비스 기간동안 저장할 수 있으며, 해당 데이터의 사용 권한을 갖는 사용자에게 제공할 수 있다.

특히, 본 발명의 실시예에 따르면, 데이터 센터 서버(100)는 협약에 따라 연계된 콘텐츠 제공 서버(200)에 사용자의 요청에 따라 보관하고 있는 실존 개체에 대한 속성 데이터를 제공할 수 있다. 이러한 속성 데이터는 해당 실존 개체의 외모뿐만 아니라, 목소리, 대화습관, 억양, 버릇 등과, 그의 실제 행동 패턴, 성격 등을 체계화하여 분류한 데이터로서, 이러한 속성 데이터는 콘텐츠 제공 서버(200)에 의해 가상 개체를 생성하는 데 이용될 수 있다.

상세하게는, 본 발명의 인공지능 기반 가상현실 서비스 시스템은 인공지능 기술을 활용하여 인간이나 동물 등이 태어나고 죽어도 영원히 그들의 목소리 데이터를 통해 대화 습관, 사투리 및 억양 등, 음성분석 기술을 이용하여 재생 가능한 목소리를 구현할 수 있으며, 데이터 센터 서버(100)는 이러한 목소리에 대한 로우 데이터를 수집할 수 있다.

이러한 가상현실 서비스는 증강현실 또는 혼합현실을 사용자에게 제공하는 일종의 메타버스(metabus) 서비스로 볼 수 있다. 메타버스는 가공, 추상을 의미하는 '메타(Meta)'와 현실세계를 의미하는 '유니버스(Universe)'의 합성어로 3차원 가상 세계를 의미한다. 메타버스는 기존의 가상현실 환경(Virtual reality environment)이라는 용어보다 진보된 개념으로서, 웹과 인터넷 등의 가상세계가 현실세계에 흡수된 증강 현실 환경을 제공할 수 있다.

또한, 구현된 목소리를 갖는 가상 개체와의 대화시 다양한 감정표현에 대하여, 데이터 센터 서버(100)는 실존 개체의 실제 얼굴을 3차원 스캐너 기술로 스캐닝한 로우 데이터를 수집할 수 있으며, 만약 실존 개체가 과거의 사망자와 같이 얼굴에 대한 3차원 스캔이 곤란한 상황인 경우에는 그 대상자의 기록사진 등을 로우 데이터로 수집하고 추후 콘텐츠 제공 서버(200)에 의해 3D 모델링 데이터 제작에 활용될 수 있도록 한다.

이러한 스캐닝 기술과 3D 모델링 기술이 도입됨에 따라, 본 발명의 시스템은 사용자의 사망한 가족, 친지 및 친구 등이 평소에 즐겨 입던 의상이나 액세서리 등도 함께 3차원 모델링 서비스를 통해 제작 대여할 수 있다.

또한, 가상 개체가 연예인인 경우, 해당 실존 연예인에 페이스 트래킹(face tracking) 기술을 통해 얼굴을 인식하여 행위 데이터를 추출하고 가상 개체의 감정표현을 구현하는 데 이용할 수 있고, 음성분석 기술을 통해 실존 연예인과 동일한 목소리를 갖는 가상 개체를 구현할 수도 있다.또한, 본 발명의 데이터 센터 서버(100)는 실존 인물이나 동물 등의 평소 습관, 표정, 걸음걸이 등 다양한 습관 등을 데이터 베이스화함으로써 후술하는 콘텐츠 제공 서버(200)에 의해 얼굴 표정이나 동작 패턴들의 학습에 따른 인공지능 기술로 가상 개체가 살아 생전의 기억들을 유지하도록 함과 더불어 이후의 사용자와의 대화를 통해 새로운 기억들을 추가 및 데이터 센터 서버(100)에 새로운 로우 데이터로서 기록 서비스를 제공함으로써, 사용자와 대상자 간에 메타버스 시대의 새로운 가상세계의 공간에서 함께 살아가는 형태의 서비스를 구현할 수 있도록 한다.

특히, 본 발명의 일 실시예에 따른 데이터 센터 서버(100)는 전술한 실존 인물을 데이터 베이스화 함에 있어서, 현재 기술수준에서 보다 자연스러운 인물 구현을 위해 두 단계로 가상 개체를 구체화 할 수 있다.

먼저, 가상 개체를 생성하고자 하는 대상에 대하여 생전의 정면 사진을 촬영하여 얼굴 정보를 획득한다.

다음으로, 해당 인물의 대역을 준비하고 대역의 대화모습을 촬영하여 입모양, 표정뿐만 아니라 제스처 등 대화 상황에서 화자가 취할 수 있는 행동을 영상으로 준비하고, 이를 기계 학습 모델을 통해 가상 개체의 3D 모델링에 적용함으로써 사용자와 가상 개체와의 대화를 구현할 수 있다. 이때, 대역 인물은 대화를 구현하기 위한 음성을 30초 이상 녹음하여 학습 데이터를 준비할 수 있다.

또한, 데이터 센터 서버(100)는 다양한 상황에 대응하는 감성 데이터를 저장하고 있고, 감정 데이터는 가상 개체의 3D 모델링에 랩핑됨에 따라 보다 인터렉티브한 콘텐츠를 제공할 수 있다.또한, 본 발명의 일 실시예에 따르면, 타인이 아닌 사용자 자신에 대한 가상 개체와의 대화 콘텐츠 서비스를 제공할 수 있다. 이러한 서비스는 사용자와, 그 자신의 클론(clone)과의 대화를 구현한 것으로, 사용자는 미리 자신의 기억 및 추억 등의 기타 기억정보를 데이터 베이스 센터(100)에 등록하고 전술한 방식으로 가상 객체를 생성할 수 있다.

여기서, 기억정보를 데이터 베이스 센터(100)에 등록시, 예상되는 질문 및 답변에 대한 질문 리스트를 제공하고, 텍스트로 변환하여 저장할 수 있으며, 사용자의 기억정보를 기반으로 이에 등장하는 친척, 친구 등의 타인과의 대화내용을 수집하고 이를 클론과의 대화 내용에 반영할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 전술한 가상 개체와의 대화 서비스는 자신의 부모, 증조부 등 조상 레벨까지 확장되어 제공될 수 있다.

콘텐츠 제공 서버(200)는 가상 개체를 구현하고, 그 가상 개체와의 의사소통에 기반한 다양한 콘텐츠를 사용자 단말(50)에 제공하는 서비스 제공 서버 장치로서, 사용자 단말(50)의 요청에 따라 특정 인물, 동물에 대응하는 가상 개체를 생성하고, 그에 기반하는 콘텐츠를 제공할 수 있다. 이러한 콘텐츠는 가상 개체와의 단순 대화로부터 일정관리, 가상 개체와 함께 하는 쇼핑, 게임 등 다양한 장르로 구현될 수 있고, 정보통신망을 통해 사용자 단말(50)에 제공될 수 있다.

이를 위해, 콘텐츠 제공 서버(200)는 협약된 데이터 센서 서버(100)로부터, 사용자에 의해 요청된 특정 개체에 대한 속성 데이터를 제공받고, 탑재된 인공지능 기반 기계학습 모듈을 이용하여 실제 개체와 가장 근접한, 외모, 목소리 및 성격을 갖고 그에 따라 가상 공간에서 행동을 취하는 가상 개체를 생성하고, 사용자 단말(50)에서 재생할 수 있는 적절한 형태로 콘텐츠 화하여 제공할 수 있다.

특히, 콘텐츠 제공 서버(200)는 연예인을 대상으로 하는 가상 개체의 얼굴, 체형 등 외모를 구현하기 위해, 데이터 센터 서버(100)로부터 저장된 연예인 모델링 소스를 제공받아, 골격 및 관절에 대한 정보를 추출하여 폴리곤 레이어를 생성하고, 폴리곤 레이어상에 텍스쳐를 맵핑하여 해당 연예인에 대응하는 3D 가상 개체를 생성할 수 있다.

또한, 본 발명은 이러한 데이터 베이스를 바탕으로 인공지능 딥러닝 기술을 이용하여 대상자의 모든 행동을 따라 할 수 있는 알고리즘을 통해 사용자에게 제공할 수 있다.

또한, 본 발명의 실시예에 따르면, 콘텐츠 제공 서버(200)는 음성합성 AI 엔진 딥러닝 기술, 대화자(사용자)와의 대화 분석 기술 및, AI 가상 개체와의 대화 문장에 대한 분석 알고리즘을 통해, 가상 개체의 표정변화 및 신체의 움직임을 통한 감정 표현을 구현할 수 있도록 한다.

또한, 콘텐츠 제공 서버(200)는 사용자와 가상 개체와의 반복된 일상 대화의 음성을 실시간으로 녹음하고, 목소리 분석 알고리즘을 통해 변환된 텍스트 정보를 컴퓨터 코드로 변환하여 데이터 센터 서버(100)에 암호화하여 저장할 수 있도록 한다.

전술한 구조에 따라, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템은, 인류 역사상 최초로 생명의 존재가 죽어도 사라지지 않고 가상 공간에서 실존했던 인물이 비록 가상의 존재이지만 그의 모습과 목소리, 습관 및 다양한 기억을 이용해 그들은 사망한다 해도 영원히 존재할 수 있게 되며, 사용자와의 만남을 통해 대화하고 감정을 교감하며 함께 웃고 고민하고 기뻐해줄 수 있는 새로운 메타버스의 세상에 대한 신개념의 비즈니스 모델을 제시할 수 있다.

즉, 인간과의 대화를 구현할 수 있는 딥 러닝 인공지능 기술과 3차원 얼굴 스캔기술, 표정인식기술 및 감정인식 기술 등을 접목한 비즈니스 서비스 모델을 통해 가상현실에서 생명체를 개념적으로 영원히 보관하고 종속시킬 수 있다.

또한, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템은 인터넷 클라우드 기술에 기반하여 데이터를 관리, 운용하며, 이에 기초하여 생성한 가상 생명체와의 만남 및 대화가 가능하도록 한다. 특히, 가상 생명체와의 만남에서는 실시간 물리적 접촉 피드백이 가능한 상호작용 그래픽 엔진 연동기술을 이용할 수 있다.

또한, 사용자는 자신이 등록한 실존 개체인 가족 또는 친인척이 등록한 가족에 대해서, 데이터 센터 서버(100)에서 공개 또는 비공개 권한을 설정할 수 있고, 특정 인원에게만 공개되도록 설정할 수도 있다. 이에 따라, 데이터 센터 서버를 통한 데이터 베이스를 통해 가족, 친척, 친구 등을 검색할 수 있도록 하고, 이후 가상 개체의 형태로 만남을 진행할 수 있도록 한다. 이때, 가상 개체의 등록시 사용권한은 전체 공개, 비공개 및 특정인 공개 등으로 구분될 수 있다. 이를 위해 사용자는, 개인의 가족이거나 반려동물 또는 자신이 좋아하는 연예인 등 제3자의 초상권의 사용승인을 획득한 이후 본 만남 서비스에 대한 권한을 설정할 수 있다.

또한, 본 발명의 실시예에 따르면, 시스템은 가상 개체에게 가상 쇼핑 솔루션 카테고리를 통해 의류, 악세사리, 가구 집과 같은 실제 생명체들과 동일한 환경을 만들어 주기도 할 수 있고, 때로는 음식 등을 제공하는 콘텐츠를 제공할 수 있다. 이때, 가상 개체는 선물 받은 의료 악세사리를 착용하기도 하고 제공받은 음식을 먹을 수도 있다.

또한, 가상현실 공간을 통해 이미 죽었거나 살아있는 가족 간의 모임을 언제든 가질 수 있고, 서비스 이용에 대한 비용에 대해서는 블록체인 기술을 적용하여 발행된 암호화폐를 통해 결제하거나, 현금지불 수단을 통해 비용을 지불할 수 있도록 설정될 수 있다.

그리고, 서비스 운영자는 본 발명의 서비스를 통해 개인이 등록한 가상 개체의 데이터에 대한 관리, 운영과, 가상 개체에 의한 콘텐츠 제공을 통합 관리함으로써, 사용자에게 공개, 비공개 등 서비스 계약 요건에 따라 정보를 제공할 수 있도록 한다.

한편, 본 발명의 실시예에 따르면, 현재 살아 있거나, 과거 죽은 사람 또는 죽게 되는 사람, 그리고 반려동물이 서비스 대상이 될 수 있고, 이에 대한 데이터 베이스의 구축을 통해 사용자가 언제든 그들의 모습을 가상현실에서 인공지능 기술을 통해 더욱 실제와 같은 의사소통을 구현할 수 있도록 한다.

또한, 특정 연예인 등과 같은 사람 또는 그러한 초상권, 저작권을 보유한 기업 등은 본 발명의 B2B비즈니스 모델을 통해 유명인들의 가상인물 만남 서비스를 제공해 수익을 발생시킬 수 있다. 상세하게는, 이러한 유명 연예인 또는 공인들에 대한 가상 개체에 대한 관련 데이터 베이스를 데이터 센터에 등록하거나, 가상인물 만남 서비스를 콘텐츠화 하여 제공하는 경우, 비공개가 아닌 전체공개 또는 일부 허용된 권한을 가진 전세계의 팬들에게 자신이 좋아하는 연예인을 사용자 단말을 통해 가상 공간에 접속하여 VR환경, 모바일 환경 등에서 만날 수 있는 형태의 유료 또는 무료 콘텐츠를 제공할 수 있다.

한편, 본 발명의 서비스의 확장 형태로서, 네트워크상에서 검색기능을 제공하여 등록된 친구를 찾거나 가족을 찾아 가상 공간에서 각자의 실제 얼굴이 반영된 가상 개체를 통해 원격지에서 상대방과의 상호 만남을 시도하는 콘텐츠를 제공할 수 있다.

또한, 데이터 센터로의 혈족 간의 가계 계보도 등록 또는 삭제 서비스를 제공할 수 있으며, 데이터 센터의 데이터 저장, 관리에 대한 운영 비용은 월정액 형태로 결제되도록 할 수 있다.

그리고, 모든 데이터 베이스는 블록체인 암호화 분산장부 저장, 증명 기술과 KYC 본인인증 보안 기술을 적용할 수 있다.

특히, 본 발명의 일 실시예에 따르면, 데이터 베이스는 '대체 불가능한 토큰(NFT)'에 규격에 따라 토큰화되어 블록체인 메인넷과 연계되어 기록될 수 있다.

NFT는 블록체인을 기반으로 하고 있어, 데이터의 소유권 등의 관련 정보가 모두 블록체인에 저장되며, 따라서 데이터 소유자를 언제든 확인할 수 있어 위조 등이 불가능하다. 또한, 공지의 암호화폐 등의 가상자산이 발행처에 따라 균등한 조건을 가지고 있는 반면, NFT는 별도의 고유한 인식 값을 담고 있어 서로 교환할 수 없다는 특징을 갖고 있으며, 각 가상개체에 대한 데이터를 대체 불가능한 형태로 관리, 활용할 수 있도록 한다.

또한, 블록체인 메인넷은 가상개체에 대한 데이터가 생성되면 그 데이터에 대한 NFT를 발행하고, 그 NFT 및 메타 데이터를 분산원장에 기록할 수 있다. 본 발명의 실시예에 적용되는 NFT는 ERC-721, ERC-1155 등의 이더리움 규격에 대응할 수 있고, 생성된 NFT 토큰에 관한 정보는 데이터 센터 서버와 연계된 블록체인 메인넷을 이루는 각 노드의 분산원장에 기록될 수 있다.

또한, 본 발명의 서비스 계약 시, 사업자는 계약자에게 방문하거나 계약자가 시설이 있는 곳에 방문하여 특정 인물의 복원을 위해 모든 데이터 베이스를 기록하는 서비스를 제공할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버를 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버의 구조를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 데이터 센터 서버(100)는, 하나 이상의 데이터 수집 단말(30)로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 데이터 수집부(110), 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 개체 등록부(120), 데이터 수집부(110)에 의해 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 데이터 분류부(130) 및, 속성 데이터를 개체별로 저장하는 데이터 저장소(140), 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 속성 데이터를 온라인을 통해 제공하는 데이터 제공부(150)를 포함할 수 있다.

데이터 수집부(110)는 정보통신망을 통해 다양한 경로로 데이터 베이스화의 대상이 되는 실존 개체에 대한 다양한 로우 데이터를 수집할 수 있다. 본 발명의 실시예에 따르면, 데이터 센터 서버(100)는 가상현실 서비스의 대상이 되는 실존 개체에 대하여 다양한 관점에서 도출되는 특징, 패턴 등을 수집하여 이를 데이터 베이스하여 개체별로 저장할 수 있다.

이러한 데이터 수집부(110)에 의해 수집되는 로우 데이터로는 실존 개체의 외관 내지 외모, 목소리 등과 같은 외적 요소와, 성격, 성향 등의 내적 요소와, 등이 포함될 수 있고, 온라인을 통해 다양한 방식으로 수집될 수 있다.

특히, 데이터 수집 단말(30)은 실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함할 수 있다.

개체 등록부(120)는 본 발명의 시스템을 통해 가상 개체에 기반한 서비스를 이용하고자 하는 사용자의 요청에 따라 데이터화 대상인 실존 개체를 지정받아 등록할 수 있다.

여기서, 사용자는 해당 실존 개체의 얼굴, 목소리뿐만 아니라, 업적 등의 정보를 사용할 수 있는 권한을 가진 자로 제한되며, 개체 등록부(120)는 실존 개체의 등록시 이러한 사용권한을 확인 후 등록절차를 수행하고, 등록절차가 완료되면 데이터 저장소(140)는 해당 개체에 대한 개체 테이블을 생성할 수 있다.

데이터 분류부(130)는 데이터 수집부(110)으로부터 수집되는 등록된 실존 개체에 대한 다양한 로우 데이터를 해당 데이터의 속성에 따라 소정개로 분류할 수 있다. 본 발명의 실시예에 따르면, 실존 개체를 가상 개체로 구현함에 있어서, 외모 및 목소리 등을 반영하여 표시되거나 출력되는 외관을 결정하게 되며, 성격, 습관, 태도를 가상 객체에 반영하여 대화 방식, 행동 등을 결정하게 된다.

이를 위해, 데이터 분류부(130)는 실존 개체별 로우 데이터를 그 속성에 따라 분류하여 데이터 저장소(140)에 저장하게 되며, 외모, 목소리와 같이 외부에서 인식 가능한 형태의 데이터는 외적 데이터(D1)로 분류할 수 있고, 성격, 감정, 태도 등에 관한 데이터는 내적 데이터(D2)로 분류할 수 있다. 또한, 평소 실존 개체의 행동, 걸음걸이, 식사습관 등에 관한 데이터는 행동 데이터(D3)로 분류할 수 있고, 실존 개체의 생전 직업, 학력 및 바이오그래피 등에 관한 데이터를 아카이브 데이터(D4)로 분류할 수 있다.

데이터 저장소(140)는 전술한 데이터 분류부(130)에 의해 분류된 데이터들을 속성 데이터로서 각 개체별로 정의된 개체 테이블(141, 142)에 저장할 수 있다. 등록된 실존 개체는 개체별 독립된 테이블이 형성 및 할당될 수 있고, 개체 테이블(141, 142)에는 분류된 속성 데이터들이 순차적으로 저장되게 된다. 전술한 바와 같이 각 개체 테이블(141, 142)에는 적어도 외적 데이터(D1), 내적 데이터(D2), 행동 데이터(D3) 및 아카이브 데이터(D4)의 축적을 위한 저장공간이 할당될 수 있고, 기타 가상 개체를 구현하기 위한 다른 분류의 데이터가 더 저장될 수도 있다.

데이터 제공부(150)는 협약된 콘텐츠 제공 서버(200)의 요청에 따라 데이터 저장소(140)에 저장된 개체별 속성 데이터를 요청받아 데이터 저장소(140)에서 추출 및 회신할 수 있다.

본 발명의 실시예에 따르면, 데이터 센터 서버(100)는 보관중인 개체별 속성 데이터를 가상현실 서비스를 위해 콘텐츠 제공 서버(200)에 제공할 수 있다. 콘텐츠 제공 서버(200)는 권한을 갖는 사용자의 요청에 따라 해당 개체에 대한 속성 데이터를 요청할 수 있고, 이에 데이터 제공부(150)는 요청건에 대하여, 사용자 및 콘텐츠 제공 서버(200)에 해당 개체의 데이터에 대한 사용 권한이 존재하는 지 확인하고, 확인된 요청건의 해당 개체에 대한 개체 테이블을 검색하고 요청된 속성 데이터를 추출하여 콘텐츠 제공 서버(200)에 전송할 수 있다.

또한, 본 발명의 데이터 센터 서버는, 다수의 실존 했거나 현재 존재하는 인물, 동물 등의 개체에 대한 데이터를 저장, 관리하는 데이터 센터에서 운용하는 서버로서, 본 발명의 콘텐츠 제공 서버(200) 이외에도 개체의 특성에 따른 빅데이터가 필요한 대학, 연구소 등에도 축적된 데이터를 제공할 수 있다. 물론, 외부로 제공되는 데이터는 사전에 데이터 사용이 승인되었거나, 개인의 승인이 없어도 관련 법규가 허락하는 형태로 개인정보가 마스킹된 상태로 변조된 형태로만 제공될 수 있다.

전술한 구조에 따라, 데이터 센터 서버(100)는 가상현실 서비스를 제공하기 위한 데이터를 수집 및 관리하고, 필요시 제공할 수 있으며, 이하 도면을 참조하여 이러한 속성 데이터를 이용하여 가상현실 서비스를 제공하는 콘텐츠 제공 서버(200)의 구조를 상세히 설명한다.

이하, 도면을 참조하여 본 발명의 실시예예 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버를 상세히 설명한다.

도 3은 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버의 구조를 나타낸 도면이다.

도 3을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템의 콘텐츠 제공 서버(200)는, 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 데이터 이관부(210), 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 가상 개체 구현부(220), 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 개체 행위 생성부(230), 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 서비스 결정부(240), 사용자 단말(50)의 요청에 따라, 콘텐츠를 사용자 단말(50)에 제공하는 서비스 제공부(250), 다수의 샘플 개체로부터 추출된 학습 데이터 및, 데이터 센터 서버(100)에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 학습 데이터DB(260) 및 하나 이상의 미리 정의된 학습 모델에 학습 데이터를 적용하여 기계학습을 수행하는 기계 학습부(270), 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 회원 관리부(280) 및 등록된 회원정보를 저장하는 회원DB(285)를 포함할 수 있다.

데이터 이관부(210)는 사용자 단말(50)의 가상현실 서비스 요청에 따라 데이터 센서 서버(100)에 해당 인물, 동물 등에 대한 속성 데이터를 요청하고, 회신 받는 역할을 한다. 데이터 이관부(210)는 외부의 데이터 센터에 저장된 서비스 대상인 개체에 대한 데이터 이관을 요청할 수 있고, 데이터 센터 서버(100)는 정당한 이관 요청에 응답하여 해당 개체의 속성 데이터를 회신할 수 있다.

특히, 데이터 이관부(210)는 사용자 단말(50)로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하고, 사용 권한 범위 내에서 데이터 센터 서버(100)에 속성 데이터의 제공을 요청하게 된다. 속성 데이터는 민감한 개인정보를 포함할 수 있으며, 이에 속성 데이터에 대한 정당한 사용권한을 갖는 사용자만이 그 데이터를 가상현실 서비스에 활용할 수 있으며, 데이터 이관부(210)는 이러한 사용자가 보유한 사용 권한에 대한 확인 절차를 수행하게 된다.

가상 개체 구현부(220)는 제공받은 개체의 속성 데이터를 이용하여 가상 개체를 구현할 수 있다. 가상 개체 구현부(220)는 외적 데이터를 이용하여 2D 또는 3D 모델링을 수행하여 가상 개체의 외관을 구체화할 수 있고, 이는 사용자 단말(50)에서 표시 가능한 형태로 제공될 수 있다.

또한, 가상 개체 구현부(220)는 내적 데이터를 이용하여 구축된 대화 내용을 생성한 가상 개체와 사용자와의 소통시 입력되는 사용자의 발화(發話) 내용에 대한 응답에 반영할 수 있다.

또한, 가상 개체 구현부(220)는 행동 데이터를 이용하여 결정되는, 사용자 단말(50)의 화면상에서 가상 개체의 출력시에 보여지는 행동에 반영할 수 있고, 아카이브 데이터를 이용하여 결정된 대화 주제, 내용 등을 응답에 반영할 수 있다.

이러한 가상 개체는, VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 사용자 단말(50)에 표시될 수 있고, 실시간 대화 기능을 제공할 수 있다.

개체행위 생성부(230)는 사용자 단말(50)의 화면상에 표시되는 가상 공간 내 가상 객체의 말, 제스처 등에 대한 행위정보를 생성하고 이를 가상 개체 구현부(220)에 제공할 수 있다.

사용자 단말(50) 상에서 표시되는 가상 개체는 사용자의 발화에 대응하여 응답하는 것뿐만 아니라, 자율적인 행동을 취할 수 있으며, 표정, 손짓 및 몸짓 등뿐만 아니라, 가상 공간 내에서 자유롭게 이동하거나, 물건을 집는 등의 행위를 수행할 수 있고, 가상 개체 구현부(220)는 개체 행위 생성부(230)로부터 실시간으로 제공되는 행위정보를 전달받아 가상 개체에 반영할 수 있다.

특히, 본 발명의 실시예에 따르면, 가상 개체는 사용자에 의해 설정된 콘텐츠의 종류에 따라 그 행위가 결정될 수 있다. 일례로서, 콘텐츠가 고인과의 대화일 경우, 가상 개체는 화면상에 서 있거나 앉아 있는 상태에서 사용자와 대화하거나, 또는 가상 공간을 걸으며 나누는 대화 행위를 수행할 수 있다. 또한, 가상 공간은 시스템에서 임의로 설정한 공간이거나, 혹은 사용자에 의해 설정된 고인과의 추억 있는 장소를 가상으로 재현한 공간일 수 있다.

또한, 콘텐츠가 연예인의 가상 비서일 경우, 가상 개체는 사용자가 대화로 전달한 일정을 저장하고, 일정에 따라 화면상에 등장하여 일정내용을 해당 연예인의 음성으로 전달하는 행위를 수행할 수 있다.

전술한 바와 같이, 개체행위 생성부(230)는 현재 콘텐츠의 종류에 따라 사용자의 의도에 적절한 가상 개체의 행위정보를 생성함으로써 서비스시의 가상 개체가 수행하는 행위가 결정되도록 한다.

전술한 가상 개체 구현부(220) 및 개체 행위 생성부(230)는 후술하는 기계 학습부(270)로부터 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하게 된다.

서비스 결정부(240)는 사용자의 설정에 따라 가상 개체를 기반으로 하는 콘텐츠 종류를 결정할 수 있다. 전술한 바와 같이, 본 발명의 실시예에 따른 시스템은 가상 개체와 의사소통을 기반으로 하는 다양한 콘텐츠를 제공할 수 있다. 이러한 콘텐츠로는 사용자 단말(50)에서 사용자와 가상 개체간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체간 게임 기능 중, 하나 이상을 제공하는 것일 수 있다.

또한, 본 발명의 가상현실 서비스가 제공하는 콘텐츠의 일례로서, 가상 공간에서 의류를 인앱 결제 방식으로 구입하면, 가상 개체가 해당 의류를 착용하는 콘텐츠를 제공할 수 있다.

서비스 제공부(250)는 정보통신망을 통해 사용자 단말(50)과 연결되어 사용자의 요청에 따라 데이터 센터로부터 해당 가상 개체에 대한 속성 데이터를 이관 받아 가상 개체를 구현하도록 하고, 아울러 사용자로부터 콘텐츠 종류를 설정받아 이에 대응하도록 가상 공간을 준비하고 가상 개체를 등장시켜 가상현실 서비스를 사용자 단말(50)에 제공하도록 한다.

상기의 가상현실 서비스는 사용자의 회원정보에 따라 그 가상 개체 대상 및 서비스 범위가 결정될 수 있고, 서비스 제공부(250)는 회원DB(285)에 저장된 회원정보를 참조하여 대상 개체 및 서비스 범위를 확인하고, 서비스 결정부(240)에 의해 결정된 콘텐츠를 사용자 단말(50)에 제공할 수 있다. 이러한 콘텐츠는 그 종류에 실시간 2D, 3D 영상의 스트리밍 방식으로 제공될 수도 있고, 가상 개체의 음성만이 제공될 수도 있으며, 대화 내용이 텍스트 형태 또는 SMS 문자 형태로 제공될 수도 있다.

학습 데이터DB(260)는 전술한 가상 개체의 모델링 및 그 행위를 생성하는 데 반영되는 기계학습을 위한 다양한 학습 데이터를 저장할 수 있다. 본 발명의 실시예에 따르면, 학습 데이터는 시스템 운영측에서 입력, 저장될 수도 있고, 또는 하나 이상의 데이터 센터로부터 공급받아 저장될 수도 있다. 이러한 학습 데이터는 속성 데이터의 각 데이터와 동일한 포맷일 수 있고, 가상 개체의 외모, 음성, 행위 등을 학습하는 데 이용될 수 있다. 또한 학습 데이터DB(260)는 사용자와 가상 개체간 대화발생 결과 또한 학습 데이터로서 축적 저장하여 기계학습에 활용될 수 있도록 한다.

특히, 학습데이터DB(260)는 가상 개체에 대응하는 실존 인물 별로 할당된 저장공간에 저장될 수 있고, 실존 인물의 습관, 표정 및 제스처를 기계학습을 통해 학습시켜 추후 사용자 단말(50)에서 미리 제작된 것이 아닌, 상황별로 즉흥적으로 동작을 취하는 애니메이션을 구현할 수 있도록 한다.

기계 학습부(270)는 학습 데이터DB(260)에 저장된 다수의 학습 데이터를 이용하여 가상 개체 모델링, 대화에 대한 응답 생성 및 행위 생성에 활용할 수 있다.

기계 학습부(270)는 학습 데이터DB(260)에 수집 저장되는 학습 데이터를 활용하여 딥 러닝 확률 추론 모델을 구축할 수 있다. 이렇게 구축된 모델(205)은 고정되어 완성된 것이 아닌, 다수의 사용자와 가상 개체간의 대화 및 교류가 축적되면, 이로부터 피드백을 받아서 재차 반복적으로 학습이 이루어지면서 보완될 수 있다.

또한, 본 발명의 실시예에 따른 기계 학습부(270)는 대화의 경우 시퀀스-투-시퀀스 프레임워크, 인코더-디코더 모델에 기반할 수 있다. S2S 모델은 은 두 개의 순환 신경망(Recurrent Neural Network; RNN)으로 구성될 수 있고, 첫 번째 RNN은 한 문장을 단어단위로 쪼개어 하나의 벡터로 인코딩하고, 두 번째 RNN은 인코딩된 벡터를 하나의 단어씩 디코딩하여 최종적으로 하나의 문장을 구성하는 방식의 학습 모델일 수 있다.

또한, 응답 생성의 경우, 기계 학습부(270)는 사용자의 발화 내용을 프리트레인드 워드 임베딩 모델(pre-trained word embedding)로 처리할 수 있다. 이는 인공 신경망으로서 두 개의 층으로 구성될 수 있고, 입력되는 발화 내용을 텍스트화하여 입력으로 전달받아 텍스트의 단어를 벡터로 표현하는 방법을 찾게 된다. 여기서, 벡터의 값은 텍스트의 단어가 가지는 의미나 역할을 잘 표현해주는 값이어야 하며, 이렇게 단어의 의미와 맥락을 고려하여 단어를 벡터로 표현하게 된다. 이러한 워드 임베딩 모델은 심층 신경망(deep neural network)의 전처리 단계로 쓰일 수 있다.

즉, 기계 학습부(270)는 각 단어마다 단어에 해당하는 벡터를 구하고, 이 벡터를 다시 심층 신경망(deep neural network)에 입력하여 추가적인 일을 할 수도 있고 단어의 유사성 등 관계를 파악할 수 있다.

또한, 기계 학습부(270)는 문장을 이해하기 위하여 단어간 유사성을 구할 수 있다. 워드 임베딩은 유사한 단어일수록 가까운 거리에 위치하도록 각 단어에 해당하는 벡터 값을 찾는 것으로, 이러한 학습은 사람이 관여하지 않으며 텍스트 데이터만을 사용할 수도 있다.

한편, 데이터의 양이 충분하면 워드 임베딩은 단어의 의미를 꽤 정확하게 파악할 수 있으므로, 이를 이용하면 단어의 뜻뿐만 아니라 여러 단어의 관계를 알아낼 수 있다. 단어뿐만 아니라 더 큰 단위의 문장이나 문서를 분류하는 데에도 워드 임베딩 모델이 사용될 수 있다. 또한, 충분한 데이터가 주어지면, 학습 데이터의 기계학습을 통해, 특정 단어에 대해서 유사도가 높은 것으로 미리 정해져 있는 단어를 추론할 수도 있다.

또한, 기계 학습부(270)는 딥 러닝에 사용되는 신경망과의 연결을 통해, 입력한 문장에 있는 단어와 인접 단어의 관계를 이용해 단어의 의미를 학습할 수 있다. 주변 단어가 만드는 맥락을 이용해 타겟 단어를 예측할 수도 있고, 한 단어를 기준으로 주변에 올 수 있는 단어를 예측할 수도 있다.

또한, 본 발명의 실시예에 따르면, 기계 학습부(270)는 사용자 단말(50)로부터 입력되는 발화자, 즉 사용자에 대한 카메라 이미지 정보를 활용한 시각 대화를 제시할 수도 있다. 일반적인 가상 개체와의 대화에서는 대화쌍을 다수 제시하고, 대화의 각 문장을 형태소 단위로 분해하고 그로부터 적절한 벡터를 만들고 그 의미를 파악하여 응답을 도출하는 방식이나, 이와 더불어 그에 부가하여 대화하는 사용자의 얼굴 표정에 따른 정보를 추가로 제공하여 대화를 행할 수도 있고, 가상 개체 자신의 얼굴 표정에 반영할 수도 있다.

즉, 시각적인 정보를 학습 데이터뿐만 아니라 사용자의 실시간 입력정보로 추가하여 그 정확성을 더욱 개선할 수 있다. 이러한 시각적인 정보는 공지의 안면 인식 기술, 표정 인식 기술에 의해 얻을 수 있고, 표정에 따른 감정을 고려하여 대화를 이어나갈 수 있도록 한다.

또한, 본 발명의 실시예에 따르면, 기계 학습부(270)는 사용자와 가상 개체간의 발생한 대화, 활동 등의 축적에 따라 사용자와 가상 개체간의 '관계'를 재정립하고 가상 개체를 성장시키는 개념을 적용할 수 있다.

일례로서, 사용자가 일정 시간 이상 가상 개체와의 교류와 관련된 서비스를 이용함에 따라, 대화, 행동 등에 대한 데이터가 축적됨에 따라 가상 개체는 각 상황에서 최초 지정된 대사, 표정, 행동을 동일하게 반복 수행하는 것이 아닌, 데이터 축적에 따라 기계 학습을 통해 각 사용자에게 적합한 행동을 취하도록 지속적으로 업데이트 될 수 있다.

회원 관리부(280)는 회원 등록된 사용자의 회원 정보를 저장하고, 사용자 단말(50)의 로그인 절차를 수행하거나, 사용자 권한을 설정 및 인증하는 역할을 한다.

특히, 회원 관리부(280)는 사용자의 회원 등록시, 가상 개체를 등록하고, 콘텐츠를 이용하고자 하는 사용자가 가상 개체에 대한 속성 데이터의 사용 권한 보유 여부를 인증하는 절차를 수행함으로써, 이후 가상 개체를 이용하고자 하는 사용자 단말(50)의 요청시 해당 사용자의 권한을 확인된 경우에만 데이터 이관부(210)에 속성 데이터의 이관을 요청할 수 있도록 한다.

회원DB(285)는 시스템에 회원 등록된 사용자의 회원 정보를 저장할 수 있다. 본 발명의 콘텐츠 제공 서버(200)가 저장 및 관리하는 회원 정보는 사용자의 이름, 계정명, 패스워드 및 사용자가 사용권한을 갖는 가상 개체의 식별자를 포함할 수 있고, 사용자 단말(50)의 로그인, 가상 개체의 생성 및 콘텐츠 제공시 해당 사용자와 가상 개체를 식별하고, 로그인을 승인하거나 콘텐츠 제공을 승인할 수 있다.

전술한 구조에 따라, 본 발명의 실시예에 따른 콘텐츠 제공 서버(200)는 사용자 단말(50)에 의해 사용자와 가상 개체간 의사소통을 기반으로 하는 다양한 형태의 콘텐츠를 제공할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 상세히 설명한다.

도 4는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 나타낸 도면이다. 이하의 설명에서, 각 단계별 실행 주체는 별도의 기재가 없더라도 전술한 본 발명의 시스템 및 그 구성부가 된다.

도 4를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법은, 인공지능 기반 가상현실 서비스 방법으로서, 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계(S100), 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계(S110), 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계(S120) 및, 콘텐츠 제공 서버가 상기 사용자 단말을 통해 사용자와 가상 개체간 의사소통에 기반한 콘텐츠를 제공하는 단계(S130)를 포함할 수 있다.

상세하게는, 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계(S100)에서는, 본 발명의 시스템 운영측과 협의된 데이터 센터에서 운용하는 데이터 센터 서버에서 등록된 실존 개체에 대한 로우 데이터를 수집한다.

여기서, 실존 개체가 인간인 경우 실존 개체가 소지한 스마트폰 또는 그의 생활 주변에 설치된 센서 등으로 이루어지는 데이터 수집 단말로부터 직접적인 방식으로 로우 데이터를 수집할 수도 있고, 또는 실존 개체의 주변사람이 소지한 데이터 수집 단말을 통해 간접적으로 입력되는 방식으로 로우 데이터를 수집할 수도 있다.

또한, 실존 개체가 애완동물인 경우, 실존 개체를 등록한 소유자가 자신의 스마트폰 등으로부터 로우 데이터를 수집할 수 있다.

다음으로, 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계(S110)에서는 데이터 센터가 해당 실존 개체에 대한 다양한 로우 데이터를 그 데이터의 속성에 따라 개체별로 분류한다. 로우 데이터에는 해당 실존 개체의 외모, 음성 등, 외관에 대한 데이터뿐만 아니라, 주변사람에 의해 입력되는 성격, 습관 등의 데이터도 포함될 수 있다. 데이터 센터 서버는 각 데이터를 데이터의 속성에 따라 분류하고 개체별로 누적 저장하여 데이터 센터를 구축하게 된다.

다음으로, 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계(S120)에서는, 먼저 콘텐츠 제공 서버가 시스템에 등록된 실존 개체에 대한 가상현실 서비스를 사용자 단말로부터 요청 받음에 따라 서비스를 요청한 사용자의 권한을 확인하고, 해당 실존 개체를 식별한 후 데이터 센터 서버에 그 실존 개체의 속성 데이터를 요청한다.

이에 따라, 데이터 센터 서버가 실존 개체의 속성 데이터를 제공하면, 콘텐츠 제공 서버는 속성 데이터에 대응하여 실존 개체에 대한 가상 개체를 생성하고, 사용자 단말에 제공하게 된다.

그리고, 콘텐츠 제공 서버가 사용자 단말을 통해 사용자와 가상 개체간 의사소통에 기반한 콘텐츠를 제공하는 단계(S130)에서는, 콘텐츠 제공 서버가 이관 받은 다수의 속성 데이터를 이용하여 가상 개체를 구현하고, 사용자가 설정한 콘텐츠의 종류에 따라 가상 개체를 포함하는 콘텐츠를 제공하게 된다.

이하, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 시스템을 구성하는 각 구성부간의 절차 흐름을 나타내는 도면을 통해 본 발명의 기술적 사상을 상세히 설명한다.

도 5는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법을 각 구성요소간 절차로 나타낸 도면이다.

도 5를 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스 방법에 의하면, 먼저 가상 개체로의 구현의 대상이 되는 실존 개체에 대하여, 데이터 수집 단말(30)이 다양한 관점에서 로우 데이터를 감지하고, 감지한 데이터를 데이터 센터 서버(100)에 제공한다(S200).

그리고, 데이터 센터 서버(100)는 수집되는 로우 데이터를 개체별로 저장소에 저장한다(S210). 이때, 저장되는 로우 데이터는 속성에 따라 분류되어 개체 테이블에 나누어 저장된다.

이후, 사용자가 자신의 사용자 단말(50)을 이용하여 콘텐츠 제공 서버(200)에 접속하여 회원 등록 절차를 수행하고, 등록된 개체를 기반으로 하는 가상현실 서비스를 요청할 수 있다(S220). 여기서, 등록된 개체는 사용자와 직접 관련이 있는 가족, 친지, 친구일 수도 있고, 애완동물 일 수도 있다. 또는 서비스 종류에 따라, 가수, 배우 등 연예인일 수도 있다. 가족과 같이 실존 개체와 관련이 있는 경우에는 미리 사용자가 데이터 센터 서버(100)에 실존 개체에 대한 등록을 수행해야 하며, 자신과 직접적인 관련이 없는 연예인의 경우에는 해당 소속사 또는 연예인 본인에 대한 개체 데이터의 등록을 설정하고, 가상 개체의 사용을 위한 권한을 사용자에게 부여한 이후에나 서비스가 가능하게 된다.

이어서, 콘텐츠 제공 서버(200)는 사용자에 의한 실존 개체의 사용 권한이 정상적으로 확인되면, 데이터 센터 서버(100)에 해당 실존 개체에 대한 속성 데이터의 제공을 요청한다(S240).

이에 따라, 데이터 센터 서버(100)는 서비스를 요청한 사용자의 실존 개체의 데이터에 대한 사용 권한을 확인하고(S250), 확인이 완료된 실존 개체에 대하여 개체 테이블을 검색하여 속성 데이터를 추출 및 콘텐츠 제공 서버(200)에 회신한다(S260).

이어서, 실존 개체의 속성 데이터를 이관 받은 콘텐츠 제공 서버(200)는 속성 데이터를 이용하여 실존 개체에 대응하는 가상 공간의 가상 개체를 생성한다(S270). 이러한 가상 개체는 기계 학습에 기반하여 그 재현도가 향상될 수 있고, 가상 개체의 외모, 음성뿐만 아니라, 대화 내용 및 행동이 결정되어 사용자와 보다 자연스러운 의사소통이 가능하게 된다.

가상 개체가 생성되면, 콘텐츠 제공 서버(200)는 사용자가 설정한 콘텐츠의 형태에 따라 가상 개체에 기반한 가상현실 콘텐츠를 사용자 단말(50)에 제공하게 된다. 이러한 가상현실 콘텐츠는 VR, AR 또는 일반 영상 형태로 사용자 단말(50)에서 재생될 수 있고, 사용자의 발화에 대응하여 응답을 출력하는 방식으로 의사소통이 가능한 콘텐츠일 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스에서 제공되는 화면의 일례를 통해 본 발명의 시스템이 제공하는 콘텐츠의 형태를 상세히 설명한다.

도 6 내지 도 9는 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스에서 제공되는 화면을 예시한 도면이다.

도 6을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 가상현실 서비스는 현재 실존하거나 과거에 실존했던 인물, 동물 등을 가상 공간상에 가상 개체로 구현하고, 사용자와의 의사소통을 기반으로 하는 콘텐츠로 구성될 수 있고, 이러한 콘텐츠를 TV, PC 등을 비롯하여 HMD, AR 글라스 등에서 가상 개체의 모습을 보면서 대화를 수행할 수 있는 것을 특징으로 한다.

여기서, 실존 및 가상개체로는 사용자의 지인 뿐만 아니라, 연예인, 역사적 위인 등이 될 수 있다. 특히, 본 발명의 실시예에 따르면, 외관 데이터를 이용하여 모델링된 가상 개체의 3D 외모 및 목소리뿐만 아니라, 말투, 성격 및 습관까지 가상 개체의 말, 행동에 반영됨에 따라, 사용자는 실제 고인을 만나는 듯한 경험을 할 수 있다.

만약, 가상 개체가 사용자와 평소 가까이 지냈던 고인인 겨우, 사용자는 현재 만나볼 수 없는 그 사람과 가상 공간에서 다시 만나 안부를 묻는 등의 대화를 나누는 행위를 경험 할 수 있다.

또한, 가상 개체가 현존하거나 과거에 존재했던 가수인 경우, 사용자는 자신이 좋아하는 가수와 직접 만나 일대일 대화를 나누는 체험을 해볼 수 있고, 해당 가수가 등장하는 가상의 콘서트를 관람할 수 있다.

또한, 가상 개체가 과거에 존재했던 역사적 위인인 경우, 그가 존재했던 시대 및 배경으로 가상의 유적지에서 그의 업적을 함께 이야기할 수 있고, 구체적 사실에 대한 설명을 마치 당사자에게 직접 듣는 것과 같은 체험을 할 수 있다.

특히, 본 발명의 실시예에 따른 가상 현실 서비스는, 사용자 단말로서 VR 및 AR 등 체감형 단말을 이용하는 경우, 사용자는 보다 현실적인 상황을 경험할 수 있다.

도 7을 참조하면, 본 발명의 실시예에 따른 가상 현실 서비스는 가상 개체와의 의사 소통에 있어서, 구현된 가상 개체에 적용된 아카이브 데이터에 의해 과거 실제 있었던 추억 또는 사건을 주제로 하는 대화를 구현할 수 있다. 시스템은 데이터 수집 단말을 통해 실제 발생했던 히스토리를 입력받아 사용자와 실존 개체간 실제 있었던 일을 가상 개체와의 대화를 통해 구현할 수 있다.

사용자는 대화 중 미리 제공된 히스토리 데이터에 포함된 과거 어느 한 시점에 대하여 질의 할 수 있고, 이에 가상 개체는 시스템에서 추출한 해당 시점에서 발생한 일 들을 대화의 형태로 응답할 수 있다.

이에 따라, 본 발명의 가상 현실 서비스에서는 가상 개체가 사용자의 지인이며 현재 고인인 경우, 사용자는 과거 자신과 지인과의 추억을 회상하며 현재 시점을 기준으로 일상과 같은 대화를 경험할 수 있다. 이때, 가상 개체는 인공지능으로 구현된 표정, 말투, 습관 및 행동 등을 수행할 수 있다.

도 8을 참조하면, 본 발명의 실시예에 따른 가상 현실 서비스는 VR, AR 등과 같은 가상 현실 전용 장치뿐만 아니라, 누구나 소지하고 있는 스마트 폰과 같은 모바일 장치에서도 이용 가능하며, 일상 대화 콘텐츠 뿐만 아니라, 일정관리 기능인 가상 비서 콘텐츠를 이용할 수 있다.

예를 들면, 사용자는 가상 비서 콘텐츠로서, 자신이 좋아하는 서비스 등록된 연예인을 가상 개체로 하는 일정관리 콘텐츠를 선택하고, 스마트 폰에 날짜별 할일, 알림, 기념일 등의 일정을 입력 및 저장하면, 해당 시점에 연예인의 외모를 갖는 가상 개체가 화면상에 등장하여 일정을 알려주거나, 사용자가 화면상의 가상 개체에게 특정 시점의 일정을 질의하면, 가상 개체가 저장된 기록을 추출하여 해당 연예인의 목소리로 응답하게 된다.

또한, 본 발명의 실시예에 따르면, 현실세계에서 가상 개체와의 다양한 커뮤니케이션이 가능하며, 전술한 가상 개체에 의한 가상 비서 콘텐츠 뿐만 아니라, 일상생활에서도 흔히 일어날 수 있는 자연스러운 커뮤니케이션을 구현할 수 있다.

상세하게는, 다양한 주제에 따른 대화 콘텐츠로서, 코믹, 상식, 과학 및 기술 등의 분야에 대한 퀴즈 콘텐츠, 상용화된 외부DB, 일례로서 구글, 위키피디아를 기반으로 하는 정보 제공 콘텐츠 등을 AI 자연어를 기반으로 하는 가상 개체와의 대화를 제공할 수 있다.

또한, 쇼핑 기능으로서, 대화 형식으로 가상 개체에 요청시, 가상 개체는 사용자의 로그인 정보를 바탕으로 특정 온라인 쇼핑몰에 대한 자동 로그인 및 상품 주문 등을 대리로 처리할 수 있다.

또한, 확장된 대화 기능으로서, 사용자가 대화 형식으로 가상 개체에게 자신의 과거 특정 시점에서의 일화를 전달하면, 가상 개체는 그 내용을 프라이빗 정보로 데이터 베이스에 저장할 수 있고, 이후 생애기억금고 서비스에 활용될 수 있다.

또한, 전술한 기억 저장 기능은 다양하고 유용한 서비스로 응용될 수 있다. 예를 들어, 언제든 특정 시점에 대한 기억을 되돌아 볼 수 있도록 하는 나의 인생 기억 콘텐츠, 유언, 비밀번호 등 중요정보를 저장해두는 중요 정보 저장 콘텐츠 등으로 확장될 수 있다.

이때, 전술한 프라이빗 정보, 중요정보 등은 보안등급이 최상급임에 따라, 생체 데이터 확인 등의 보안기술이 적용될 수 있으며, 사용자에 의해 부모, 자녀 등의 접근권한이 설정될 수 있다.도 9를 참조하면, 본 발명의 실시예에 따른 가상 현실 서비스는, 가상 개체와 함께 하는 게임 형식의 콘텐츠를 제공할 수 있다. 사용자는 자신의 스마트폰을 이용하여 가상 개체를 실행하고 가상 공간에서 사용자와 함께 진행하는 게임 콘텐츠를 사용할 수 있다.

일 예로서, 사용자는 가상 개체와 실력을 겨루는 체스 게임을 실행할 수 있고, 가상 개체는 상대편으로서 사용자와 함께 게임을 즐길 수 있다. 게임 콘텐츠의 실행시 화면상에는 체스말이 놓여진 체스판이 가상 개체와 함께 표시될 수 있고, 사용자는 가상 개체와 마주보는 시점에서 체스를 즐길 수 있다. 여기서, 체스말을 사용자의 터치 패널에 대한 입력을 통해 이동할 수 있고, 사용자와 가상 개체는 각각 자신의 턴이 돌아오면 체스말을 이동시켜 체스 게임을 즐길 수 있다. 특히, 체스와 같은 게임 콘텐츠는 사용자가 가상 개체와 마주보는 시점에서 진행됨에 따라 사용자는 혼자서 게임을 진행하는 것이 아닌, 상대방과 함께하는 기분으로 체스게임을 즐길 수 있게 된다. 이때, 가상 개체는 설정된 성격, 습관 등에 따라, 현재 게임이 진행되는 상황에 대응하는 표정, 손짓 및 몸짓 등의 행위를 수행할 수 있고, 이는 사용자 단말상에서 실시간으로 반영 및 표시될 수 있다.

또한, 도시되어 있지는 않지만 본 발명의 실시예에 따른 가상 현실 서비스는, 가상 공간상에 가상 개체와의 인터렉티브(interactive)를 위한 다양한 콘텐츠를 제공할 수 있다.

일례로서, 가상 개체가 등장하는 가상공간 상에는 마치 현실 세계에 존재하는 쇼핑몰, 식당, 카페 등이 존재하며, 사용자는 가상공간의 쇼핑몰을 선택하고 가상의 옷, 액세서리 등을 구입하여 가상 개체에게 선물할 수도 있다.

여기서, 상품의 결제는 사용자 단말에 설정된 결제 수단이 이용될 수 있고, 시스템은 결제가 완료되면 해당 상품을 가상 객체에게 지급 처리 하며, 이에 가상 개체는 그래픽으로 처리된 상품을 착용하거나 사용할 수 있다.

또한, 유용한 기능으로서, 네비게이션 솔루션과의 연동을 통해, 사용자로부터 대화형식으로 목적지를 입력받아 운전을 위한 가상 지도를 제공하는 네비게이션 서비스를 제공할 수 있다.

기타, 상기에 기재되어 있지는 않으나, 시스템은 사용자와 가상 개체간에 다양한 형태의 인터렉티브 구현을 위한 콘텐츠를 제공할 수 있다.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.

30 : 데이터 수집 단말 50 : 사용자 단말
100 : 데이터 센터 서버 110 : 데이터 수집부
120 : 개체 등록부 130 : 데이터 분류부
140 : 데이터 저장소 141 : 데이터 테이블
150 : 데이터 저장소 200 : 콘텐츠 제공 서버
210 : 데이터 이관부 220 : 가상 개체 구현부
230 : 개체 행위 생성부 240 : 서비스 결정부
250 : 서비스 제공부 260 : 학습 데이터DB
270 : 기계 학습부 280 : 회원 관리부
285 : 회원DB

Claims (18)

1. 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하고, 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 데이터 센터 서버; 및
   사용자 단말의 요청에 따라, 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하고, 상기 사용자 단말을 통해 사용자와 가상 개체간 의사소통에 기반한 콘텐츠를 제공하는 콘텐츠 제공 서버를 포함하고,
   상기 데이터 센터 서버는,
   하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 데이터 수집부;
   사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 개체 등록부;
   상기 데이터 수집부에 의해 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적, 생전 직업, 학력 및 바이오그래피에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 데이터 분류부;
   상기 속성 데이터를 개체별로 저장하는 데이터 저장소; 및
   등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가 받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 확인된 요청건의 해당 개체에 대한 개체 테이블을 검색하고 요청된 속성 데이터를 온라인을 통해 상기 콘텐츠 제공 서버에 전송하는 데이터 제공부를 포함하고,
   상기 데이터 센터 서버는,
   블록체인 메인넷과 연계하여 가상개체에 대한 데이터가 생성되면 생성된 해당 데이터에 대한 NFT를 발행하고, 발행된 NFT와 해당 속성 데이터를 분산원장에 기록하고,
   상기 콘텐츠 제공 서버는,
   상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 데이터 이관부;
   상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 가상 개체 구현부;
   가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 개체 행위 생성부;
   사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 서비스 결정부; 및
   상기 사용자 단말의 요청에 따라, 상기 콘텐츠를 사용자 단말에 제공하는 서비스 제공부를 포함하고,
   상기 개체 행위 생성부는, 사용자에 의해 설정된 콘텐츠의 종류에 따라 가상 개체의 행위를 결정하고,
   상기 콘텐츠는, 사용자 단말에서 사용자와 가상 개체간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체간 게임 기능 중 하나 이상을 제공하고,
   상기 개체 행위 생성부는, 상기 콘텐츠가 고인과의 대화일 경우 가상 개체가 화면 상에 서 있거나 앉아 있는 행위 또는 가상 공간을 걷는 행위를 수행하도록 결정하고, 상기 콘텐츠가 연예인의 가상 비서인 경우 가상 개체가 대화로 전달한 일정을 저장하고 일정에 따라 화면 상에 가상 개체가 등장하여 일정 내용을 해당 연예인의 음성으로 전달하는 행위를 결정하고,
   상기 콘텐츠 제공 서버는,
   다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터 서버에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 학습데이터 DB; 및
   하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하고, 상기 학습 데이터 DB에 저장된 다수의 학습 데이터를 이용하여 가상 개체 모델링, 대화에 대한 응답 생성 및 행위 생성을 위한 기계학습을 수행하는 기계 학습부를 포함하고,
   상기 가상 개체 구현부 및 상기 개체 행위 생성부는,
   상기 기계 학습부로부터 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하고,
   상기 기계 학습부는, 대화의 경우 시퀀스-투-시퀀스 프레임워크 모델 및 인코더-디코더 모델에 기반하여 기계학습을 수행하고,
   상기 시퀀스-투-시퀀스 프레임워크 모델은, 두 개의 순환 신경망(Recurrent Neural Network; RNN)으로 구성되며, 첫 번째 RNN은 한 문장을 단어단위로 쪼개어 하나의 벡터로 인코딩하고, 두 번째 RNN은 인코딩된 벡터를 하나의 단어씩 디코딩하여 최종적으로 하나의 문장을 구성하고,
   상기 기계 학습부는, 응답 생성의 경우 사용자의 발화 내용을 프리트레인드 워드 임베딩 모델(pre-trained word embedding)로 처리하고,
   상기 프리트레인드 워드 임베딩 모델은 입력되는 발화 내용을 텍스트화하여 입력으로 전달받아 텍스트의 단어를 벡터로 표현하는 인공지능 기반 가상현실 서비스 시스템.
2. 삭제
3. 제 1 항에 있어서,
   상기 데이터 수집 단말은,
   실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함하는 인공지능 기반 가상현실 서비스 시스템.
4. 삭제
5. 삭제
6. 삭제
7. 제 1 항에 있어서,
   상기 가상 개체는,
   VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것인, 인공지능 기반 가상현실 서비스 시스템.
8. 제 1 항에 있어서,
   상기 콘텐츠 제공 서버는,
   실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 회원 관리부를 더 포함하고,
   상기 데이터 이관부는,
   상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하고, 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 것인, 인공지능 기반 가상현실 서비스 시스템.
9. 삭제
10. 인공지능 기반 가상현실 서비스 방법으로서,
    (a) 데이터 센터 서버가 가상화의 대상이 되는 실존 개체에 대하여 복수의 관점에서 추출되는 데이터화가 가능한 복수의 로우 데이터를 수집하는 단계;
    (b) 상기 데이터 센터 서버가 수집된 로우 데이터를 데이터 속성에 따라 개체별로 분류 및 저장하는 단계;
    상기 데이터 센터 서버가 등록된 실존 개체의 속성 데이터에 대하여, 데이터 사용에 관한 권한을 갖는 사용자 또는, 권한을 갖는 사용자로부터 사용을 허가받은 타 사용자의 사용자 단말의 요청에 따라, 사용 권한을 확인하고 확인된 요청건의 해당 개체에 대한 개체 테이블을 검색하고 요청된 속성 데이터를 온라인을 통해 콘텐츠 제공 서버에 전송하는 단계;
    (c) 상기 콘텐츠 제공 서버가 사용자 단말의 요청에 따라 상기 데이터 센터 서버에 저장된 개체별 다수의 속성 데이터를 이용하여 실존 개체에 대응하는 가상 개체를 구현하는 단계; 및
    (d) 상기 콘텐츠 제공 서버가 상기 사용자 단말을 통해 사용자와 가상 개체간 의사소통에 기반한 콘텐츠를 제공하는 단계를 포함하고,
    상기 (a) 단계는,
    상기 데이터 센터 서버가 하나 이상의 데이터 수집 단말로부터 실존 개체에 대한 직접적 또는 간접적으로 획득되는 로우 데이터를 수집하는 단계; 및
    상기 데이터 센터 서버가 사용자 단말로부터 데이터화 하고자 하는 대상인 실존 개체를 등록받는 단계를 포함하고,
    상기 (b) 단계는,
    상기 데이터 센터 서버가 수집된 로우 데이터를, 외모 및 언행을 포함하는 외적 성향을 나타내는 외적 데이터와, 실존 개체의 성격 및 습관을 포함하는 내적 성향을 설명하는 내적 데이터와, 실존 개체의 행동에 대한 행동 데이터와, 실존 개체의 생존시 수행한 업적, 생전 직업, 학력 및 바이오그래피에 대한 아카이브 데이터로 분류하여 속성 데이터를 도출하는 단계; 및
    상기 속성 데이터를 개체별로 저장하는 단계를 포함하고,
    상기 데이터 센터 서버는
    블록체인 메인넷과 연계하여 가상개체에 대한 데이터가 생성되면 생성된 해당 데이터에 대한 NFT를 발행하고, 발행된 NFT와 해당 속성 데이터를 분산원장에 기록하고,
    상기 (c) 단계는,
    (c1) 상기 콘텐츠 제공 서버가 상기 데이터 센터 서버로부터 등록된 실존 개체에 대한 하나 이상의 속성 데이터를 제공받는 단계;
    (c2) 상기 콘텐츠 제공 서버가 상기 속성 데이터를 이용하여 실존 개체에 대응하며 가상 공간상에서 활동하는 가상 개체를 구현하는 단계;
    (c3) 상기 콘텐츠 제공 서버가 가상 개체의 속성 데이터에 따라, 실행중인 가상 개체의 행동을 설정하는 단계; 및
    (c4) 상기 콘텐츠 제공 서버가 사용자에 의한 설정 내용에 따라, 가상 개체의 제공 형태를 결정하는 단계를 포함하고,
    상기 (c3) 단계는, 사용자에 의해 설정된 콘텐츠의 종류에 따라 가상 개체의 행위를 결정하고,
    상기 콘텐츠는, 사용자 단말에서 사용자와 가상 개체간 대화 기능, 사용자가 설정한 시점에 사용자 단말에 일정 알림을 표시하는 일정관리 기능 및, 사용자와 가상 개체간 게임 기능 중 하나 이상을 제공하고,
    상기 (c3) 단계는, 상기 콘텐츠가 고인과의 대화일 경우 가상 개체가 화면 상에 서 있거나 앉아 있는 행위 또는 가상 공간을 걷는 행위를 수행하도록 결정하고, 상기 콘텐츠가 연예인의 가상 비서인 경우 가상 개체가 대화로 전달한 일정을 저장하고 일정에 따라 화면 상에 가상 개체가 등장하여 일정 내용을 해당 연예인의 음성으로 전달하는 행위를 결정하고,
    상기 (c2) 단계 및 (c3) 단계는,
    상기 콘텐츠 제공 서버가 다수의 샘플 개체로부터 추출된 학습 데이터 및, 상기 데이터 센터에 저장된 공개 가능한 속성 데이터로부터 일정 부분 변조되어 생성된 학습 데이터를 저장하는 단계;
    상기 콘텐츠 제공 서버가 하나 이상의 미리 정의된 학습 모델에 상기 학습 데이터를 적용하여 기계학습을 수행하는 단계; 및
    상기 콘텐츠 제공 서버가 도출된 학습결과를 각각 가상 개체 구현 및 가상 개체 행위 생성에 반영하는 단계를 포함하고,
    상기 기계학습을 수행하는 단계는, 대화의 경우 시퀀스-투-시퀀스 프레임워크 모델 및 인코더-디코더 모델에 기반하여 기계학습을 수행하고,
    상기 시퀀스-투-시퀀스 프레임워크 모델은, 두 개의 순환 신경망(Recurrent Neural Network; RNN)으로 구성되며, 첫 번째 RNN은 한 문장을 단어단위로 쪼개어 하나의 벡터로 인코딩하고, 두 번째 RNN은 인코딩된 벡터를 하나의 단어씩 디코딩하여 최종적으로 하나의 문장을 구성하고,
    상기 기계학습을 수행하는 단계는, 응답 생성의 경우 사용자의 발화 내용을 프리트레인드 워드 임베딩 모델(pre-trained word embedding)로 처리하고,
    상기 프리트레인드 워드 임베딩 모델은 입력되는 발화 내용을 텍스트화하여 입력으로 전달받아 텍스트의 단어를 벡터로 표현하는 인공지능 기반 가상현실 서비스 방법.
11. 삭제
12. 제 10 항에 있어서,
    상기 데이터 수집 단말은,
    실존 개체가 소지하거나, 실존 개체에 대한 로우 데이터의 획득이 가능한 이미지 센서 또는 마이크 센서를 포함하는 컴퓨팅 장치 또는, 타 사용자에 의한 텍스트 입력이 가능한 컴퓨팅 장치를 포함하는 인공지능 기반 가상현실 서비스 방법.
13. 삭제
14. 삭제
15. 삭제
16. 제 10 항에 있어서,
    상기 가상 개체는,
    VR 영상, 증강 영상, 2D 영상 및 음성 중, 어느 하나 또는 둘 이상의 조합으로 상기 사용자 단말에 표시되는 것인, 인공지능 기반 가상현실 서비스 방법.
17. 제 10 항에 있어서,
    상기 (c1) 단계 이전에, 상기 콘텐츠 제공 서버가 실존 개체에 대한 속성 데이터의 사용 권한을 갖는 사용자의 요청에 따라 회원 가입 절차를 수행하고, 회원 등록된 사용자의 로그인 절차를 수행하는 단계를 더 포함하고,
    상기 (c1) 단계는,
    상기 콘텐츠 제공 서버가 상기 사용자 단말로부터 가상 개체 콘텐츠 요청시, 해당 사용자에게 실존 개체의 속성 데이터의 사용 권한을 확인하는 단계; 및
    상기 콘텐츠 제공 서버가 사용 권한 범위 내에서 상기 데이터 센터 서버에 상기 속성 데이터의 제공을 요청하는 단계
    를 포함하는 인공지능 기반 가상현실 서비스 방법.
18. 삭제

Images