KR102035841B1 - 가상현실 이벤트 제공방법, 장치 및 프로그램 - Google Patents

Abstract

컴퓨터에 의하여 수행되는 방법으로서, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계를 포함하는, 가상현실 이벤트 제공방법이 개시된다.

Description

가상현실 이벤트 제공방법, 장치 및 프로그램 {METHOD, APPARATUS AND PROGRAM FOR PROVIDING VIRTUAL REALITY EVENT}

본 발명은 가상현실 이벤트 제공방법, 장치 및 프로그램에 관한 것이다.

가상현실(Virtual Reality)은 어떤 특정한 환경이나 상황을 인위적으로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황 및 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 말한다. 가상현실이란 말은 인공현실(artificial reality), 사이버 공간(cyberspace), 가상세계(virtual worlds), 가상환경(virtual environment), 합성환경(synthetic environment), 인공환경(artificial environment), 증강현실(augmented reality), 혼합현실(mixed reality) 등의 용어로 혼용되기도 한다.

가상현실의 사용 목적은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주는 것으로서, 그 응용분야는 교육, 원격조작, 원격위성 표면탐사, 탐사자료분석, 과학적 시각화(scientific visualization) 등이다.

MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다.

공개특허공보 제10-2018-0062045호, 2018.06.08 공개

본 발명이 해결하고자 하는 과제는 가상현실 이벤트 제공방법, 장치 및 프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실 이벤트 제공방법은, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계(S101), 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계(S102), 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계(S103), 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계(S104) 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계(S105)를 포함한다.

또한, 상기 배경정보를 획득하는 단계는, 하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106)를 포함하고, 상기 단계(S104)는, 상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107)를 포함할 수 있다.

또한, 상기 단계(S104)는, 상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하는 단계(S108) 및 상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109)를 포함할 수 있다.

또한, 상기 단계(S105)는, 상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110) 및 상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111)를 포함할 수 있다.

또한, 상기 단계(S104)는, 상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112), 상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113) 및 상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114)를 포함하고, 상기 단계(S114)에서, 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정될 수 있다.

또한, 상기 단계(S103)는, 실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115)를 포함하고, 상기 단계(S104)는, 상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116)를 포함할 수 있다.

또한, 상기 단계(S116)는, 상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117), 상기 단계(S117)에서 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118), 상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119), 상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120), 상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121) 및 상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122)를 포함하고, 상기 단계(S105)는, 상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123), 상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124), 상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125), 상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126), 상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127) 및 상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128)를 포함할 수 있다.

또한, 상기 단계(S128)는, 상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129), 상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130), 상기 추출된 텍스트를 번역하는 단계(S131), 상기 번역된 텍스트를 음성으로 변환하는 단계(S132), 상기 변환된 음성을 상기 제2 아바타에 대응하는 제1 참여자 단말에 전달하는 단계(S133), 상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134), 상기 말풍선 이미지를 상기 제1 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135), 상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136), 상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137) 및 상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제1 참여자 단말에 제공하는 단계(S138)를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 가상현실 이벤트 제공장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계 및 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계를 수행할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 가상현실 이벤트 제공방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 가상현실을 이용하여 대규모 회의 등 MICE 서비스를 제공함으로써, 사용자들의 접근성을 높이고 비용을 절약할 수 있으며, 시간과 공간의 제약 없이 자유로운 MICE 서비스를 제공할 수 있도록 하는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따른 가상현실 이벤트 참여방법을 도시한 도면이다.
도 3은 일 실시 예에 따른 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따른 유니크 베뉴를 배경으로 하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따라 아바타를 포함하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.
도 6은 일 실시 예에 따른 가상현실 이벤트의 시점 처리방법을 도시한 흐름도이다.
도 7은 일 실시 예에 따라 참관자 아바타를 생성하는 방법을 도시한 흐름도이다.
도 8은 일 실시 예에 따라 실제 이벤트에 기반한 가상현실 이벤트를 제공하는 방법을 도시한 흐름도이다.
도 9는 일 실시 예에 따라 아바타 간의 인터렉션을 처리하는 방법을 도시한 흐름도이다.
도 10은 일 실시 예에 따라 가상현실 이벤트를 보조하는 방법을 도시한 흐름도이다.
도 11은 일 실시 예에 따른 장치의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

본 명세서에서, 가상현실 및 가상현실 영상은 VR(Virtual Reality) 및 VR 영상에 제한되는 것이 아니고, 가상현실(VR, Virtual Reality)과 가상현실 영상, 증강현실(AR, Augmented Reality)과 증강현실 영상, 혼합현실(MR, Mixed Reality)과 혼합현실 영상 및 일반 영상을 모두 포함하며, 또한 이에 제한되지 않고 현실, 가상 및 현실과 가상이 혼합된 모든 종류의 영상을 포함하는 의미로 사용된다.

또한, 본 명세서에 개시된 가상현실 장비를 활용하는 방법에 대한 실시 예들은 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality) 및 일반 영상 모두에 적용가능함은 본 기술분야의 통상의 기술자라면 자명하게 이해할 수 있다.

본 명세서에서, 가상현실 및 가상현실 영상은 VR(Virtual Reality) 및 VR 영상에 제한되는 것이 아니고, 가상현실(VR, Virtual Reality)과 가상현실 영상, 증강현실(AR, Augmented Reality)과 증강현실 영상, 혼합현실(MR, Mixed Reality)과 혼합현실 영상 및 일반 영상을 모두 포함하며, 또한 이에 제한되지 않고 현실, 가상 및 현실과 가상이 혼합된 모든 종류의 영상을 포함하는 의미로 사용된다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.

도 1을 참조하면, 하나 이상의 사용자(10, 20 및 30)와 각 사용자의 가상현실 단말(12, 22, 및 32), 그리고 각 사용자의 사용자 단말(14, 24 및 34)이 각각 도시되어 있다.

일 실시 예에서, 가상현실 단말(12, 22 및 32)은 HMD(Head Mount Display)형태로 구성될 수 있으나, 이에 제한되는 것은 아니다.

일 실시 예에서, 사용자 단말(14, 24 및 34)은 스마트폰일 수 있으나, 이에 제한되지 않으며, 적어도 하나의 프로세서를 포함하는 모든 종류의 컴퓨팅 장치를 포함할 수 있다.

도 1을 참조하면, 서버(100)가 도시되어 있다. 서버(100)는 클라우드 서버일 수도 있다.

일 실시 예에서, 각각의 사용자(10, 20 및 30)는 서버(100)를 통하여 가상현실 이벤트를 제공받는다. 일 실시 예에서, 가상현실 이벤트는 가상 공간에서 제공되는 모든 종류의 이벤트를 포함할 수 있으며, 실시 예에 따라 가상 공간에서 제공되는 다양한 MICE 행사를 포함할 수 있다.

MICE는 기업회의(Meeting), 포상관광(Incentive trip), 컨벤션(Convention), 전시박람회와 이벤트(Exhibition&Event) 등의 영문 앞 글자를 딴 용어로, 좁은 의미에서는 국제회의와 전시회를 주축으로 한 유망 산업을 뜻하며, 광의적 개념으로는 참여자 중심의 보상관광과 메가 이벤트 등을 포함하는 융복합산업을 뜻한다.

일 실시 예에서, 가상현실 이벤트는 가상 공간에서만 이루어지는 이벤트일 수도 있고, 현실 공간에서 이루어지는 이벤트와 함께 진행될 수도 있다. 이 경우, 가상 공간은 현실 공간의 이벤트 현장에 기초하여 생성될 수 있다.

일 실시 예에서, 사용자(10, 20 및 30) 의 적어도 일부는 가상현실 이벤트를 통해 제공되는 가상현실 공간에서 서로의 아바타를 확인할 수 있다. 아바타는 각 사용자와 같은 형상을 할 수도 있으나, 특정 캐릭터나 타인의 형상 등 다양한 형상을 취할 수 있다.

일 실시 예에서, 가상현실 이벤트는 가상현실 공간에서 진행되는 컨퍼런스를 의미할 수 있다. 이 경우, 가상현실 이벤트는 컨퍼런스에 직접 참여하는 참여자와, 컨퍼런스를 참관하는 참관자를 포함할 수 있다.

일 실시 예에서, 사용자들(10, 20 및 30) 중 적어도 일부는 참여자가 될 수 있고, 나머지 일부는 참관자가 될 수 있다. 일 실시 예에서, 가상현실 공간 내에는 참여자 및 참관자의 아바타가 모두 표시될 수 있다. 하지만, 가상현실 공간에서 대규모 컨퍼런스가 진행되는 경우, 참관자의 수가 매우 많을(예를 들어, 수백, 수천명 이상) 수 있다. 따라서, 이 경우 가상현실 공간에는 참여자만이 표시되고, 참관자는 원하는 시점 또는 지정된 시점에서 해당 가상현실 공간에서 진행되는 이벤트를 참관할 수 있다.

일 실시 예에서, 사용자 단말(14, 24 및 34)은 서버(100)로부터 가상현실 이벤트에 대응하는 가상현실 영상을 수신하고, 수신된 가상현실 영상을 가상현실 기기(12, 22 및 32)를 이용하여 표시할 수 있다.

일 실시 예에서, 가상현실 이벤트가 제공되는 가상현실 공간의 배경은 다양한 유니크 베뉴(Unique Vanue)로 구성될 수 있다. 유니크 베뉴는 '유니크(unique: 독특한)'와 '베뉴(vanue: 장소)'의 합성어로, 고유 지역의 문화, 특색을 테마로 한 고택, 박물관, 마을 등의 장소를 의미하고, 예를 들어 유명 관광지 등을 포함할 수 있다.

단, 유니크 베뉴의 정의는 상술한 바에 제한되는 것은 아니고, 각 지역의 일상적인 배경이나 풍경 등을 포함할 수 있다. 또한, 유니크 베뉴는 현대뿐 아니라 각 지역의 과거의 시대상이나 역사적 배경을 반영한 가상의 배경을 포함할 수 있다. 또한, 유니크 베뉴는 이외에도 각 지역의 도시계획에 따라 예상되는 미래의 배경을 포함할 수 있고, 또한 상상에 의하여 창조된 다양한 가상의 배경들을 포함할 수 있으며, 특정한 종류에 제한되지 않는다.

국제 컨퍼런스의 경우, 회의 외에도 해당 지역에 대한 외국 인사들을 위한 관광이나 기타 MICE 행사가 포함되는 경우가 많다. 단, 국제 컨퍼런스를 가상현실 공간에서 진행하는 경우, 해당 지역을 실제로 방문할 필요가 없어지므로, 전체 일정이 가상현실로 대체될 수 있다. 이 경우, 가상현실을 이용한 회의 중에 배경에 다양한 유니크 베뉴들을 표시하면, 해당 지역에 실제로 방문하지 않더라도 간접 체험이 가능하도록 할 수 있다.

또한, 배경은 특정 지역 외에도 다양하게 설정될 수 있으며, 가상현실로 전 일정이 대체되는 경우 동선상의 문제가 해소되므로, 거리나 동선과 무관하게 선호도만을 기초로 하여 장소들을 선택하여 그룹핑하고, 해당 장소들을 가상현실 영상의 배경에 표시함으로써 구성원들이 선호하는 많은 장소들을 간접적으로 방문하는 효과를 줄 수 있다.

일 실시 예에서, 실제 MICE 행사의 일부가 가상현실 이벤트로 대체될 수도 있다.

예를 들어, MICE 행사는 하나 이상의 행사 및 이에 대응하는 장소를 포함하는 그룹으로 구성될 수 있으며, 컴퓨터는 그룹에 포함된 하나 이상의 장소 중 적어도 일부에 대한 가상현실 대체여부를 결정할 수 있다.

예를 들어, MICE 행사가 직원에 대한 포상 관광일 때, 특정 관광지가 공사중이거나 입장이 불가능한 경우가 있을 수 있고, 구성원의 선호도가 높은 장소이나 동선이나 시간관계상 방문이 어려울 수 있다. 이 경우, 컴퓨터는 해당 장소를 가상현실로 대체할 것을 결정할 수 있다.

또한, 국제회의를 주최하고자 하는 경우 참가인원이 너무 많거나, 서로 멀리 떨어져 있는 경우, 예산이 부족한 경우 등에 회의를 가상현실로 대체하는 방안을 고려할 수 있다. 이 경우, 굳이 해당 국가에 방문할 필요가 없으므로, 전체 일정이 가상현실로 대체될 수 있다.

또한, 관광 중에 가상현실 서비스를 이용하여 방문하여야 하는 일정이 포함되어 있는 경우, 해당 일정은 이동 중(버스 안 등) 또는 일정을 마무리한 후 숙소 등에서 디스플레이 장치를 이용하여 가상현실 서비스로서 제공될 수 있다. 또한, 컴퓨터는 해당 장소에서 구매할 수 있는 특산품이나 기념품을 구매할 수 있는 페이지를 제공하며, 주문한 상품은 주문자의 숙소로 배송하도록 할 수 있다.

또한, 컴퓨터는 상기 선택된 그룹에 대한 정보 및 상기 가상현실 서비스에 대한 정보를 포함하는 MICE 패키지 정보를 생성할 수 있다.

예를 들어, 상술한 방법에 의하여 하나 이상의 행사 및 장소가 그룹핑되고, 세부사항이 설정되며, 가상현실 대체여부 등이 설정된 정보를 포함하는 MICE 패키지가 생성될 수 있다. 컴퓨터는 각 설정을 저장하여 추후에 재활용하거나, 다른 사용자에게도 추천할 수 있다.

또한, 컴퓨터는 상기 MICE 패키지 정보를 게시할 수 있으며, 예를 들어 컴퓨터는 쇼핑몰이나 게시판과 같은 온라인상 공간에서 네트워크를 통해 MICE 패키지 정보를 게시할 수 있고, 신청을 통해 각 MICE 패키지에 대한 신청 및 예약을 받을 수 있다.

또한, 가상현실 일정이 포함되거나, 전 일정이 가상현실로 구성된 MICE 패키지의 경우, 가상현실로 구성된 일부 일정에 대해서만 신청 및 예약을 받을 수도 있으며, 인원수의 제한 없이(예를 들어, 1명부터 다수까지 모두 가능) 신청 및 예약을 받을 수도 있다.

대규모 국제회의의 경우 수천, 수만 명의 참가자가 있을 수도 있으며, 전 산업분야에 걸쳐서 주제별 연간 수천, 수만 건의 회의가 개최될 수 있다. 따라서, 개시된 실시 예에 따른 컴퓨터는 기 설정된 MICE 패키지에 기초하여 다양한 실제 및 가상현실 MICE 서비스를 중개, 판매 및 제공할 수 있는 플랫폼 서비스를 제공할 수 있다.

일 실시 예에서, 가상현실 이벤트는 실제 MICE 행사의 사전답사에도 이용될 수 있다.

예를 들어, MICE 행사를 위한 각 장소에 대한 예약 및 기획단계 이전에, 사용자는 가상현실 영상을 통해 각 장소에 실제로 가지 않고도 필요한 정보를 수집할 수 있다.

예를 들어, 컴퓨터는 가상현실을 통해 MICE 행사에 포함된 장소들을 가상으로 방문 및 체험할 수 있도록 하고, 실시간 정보를 반영하여 가상현실 영상을 업데이트할 수 있다. 예를 들어, 특정 장소가 공사중이거나, 도로가 통제중이거나, 식당이 휴업 또는 폐업하였거나, 호텔의 예약사항이 변경되는 경우 등 변동사항을 실시간으로 수집 및 반영하여, 사용자가 최신의 정보를 획득할 수 있도록 함으로써 실제 답사를 대체할 수 있도록 하는 서비스를 제공할 수 있다.

일 실시 예에서, 가상현실 공간에서 컨퍼런스가 진행되는 경우, 해당 컨퍼런스를 통해 교류되는 정보는 인공지능에 의하여 정리 및 기록될 수 있고, 실시 예에 따라 컨퍼런스의 내용이 외부의 참관자들에 공개될 수도 있다. 예를 들어, 실제 컨퍼런스의 경우 참가인원이 제한될 수 있으나, 가상현실을 이용한 컨퍼런스의 경우 참가자 외의 참관자들이나 수행원들이 해당 공간에서 진행되는 컨퍼런스 영상을 시청할 수 있다.

일 실시 예에서, 서버(100)는 가상현실 이벤트를 제공하는 주체에 의하여 관리될 수도 있으며, 가상현실 이벤트를 제공하기 위한 플랫폼이나 솔루션을 제공하는 주체에 의하여 관리될 수도 있다.

서버(100)가 가상현실 이벤트를 제공하는 주체에 의하여 관리되는 경우, 가상현실 이벤트를 제공하는 주체는 참여자들 및 참관자들에게 가상현실 이벤트 참여를 위한 요금의 지불을 요청할 수 있다. 요금의 지불방식은 제한되지 않으며, 실시 예에 따라 참여자 및 참관자의 가상현실 기기 혹은 사용자 단말에서 서버(100)에 대하여 결제를 수행하도록 구성될 수도 있다.

요금 지불방식은 제한되지 않으나, 예를 들어 가상현실 이벤트의 세션별로 요금이 책정될 수도 있고, 날짜별로 요금이 책정될 수도 있으며, 접속시간 및 횟수에 기초하여 요금이 책정될 수도 있다.

서버(100)가 가상현실 이벤트를 제공하기 위한 플랫폼이나 솔루션을 제공하는 주체에 의하여 관리되는 경우, 가상현실 이벤트를 제공하는 주체는 상술한 실시 예와 마찬가지로 참여자 및 참관자들에게 요금을 받을 수 있으나, 그 일부 혹은 기 계약된 금액을 플랫폼 사용에 따른 수수료로써 서버(100)를 관리하는 주체에 지급할 수도 있다.

도 2는 일 실시 예에 따른 가상현실 이벤트 참여방법을 도시한 도면이다.

도 2를 참조하면, 가상현실 이벤트를 제공하는 시스템은 서버(100)와, 참여자(200) 및 참관자(300)를 포함할 수 있다. 예를 들어, 상술한 바와 같이 가상현실 컨퍼런스 이벤트에 있어서, 참여자(200)는 가상현실 영상에 표시되며, 참관자(300)는 가상현실 영상에 표시되지는 않지만, 특정 시점 혹은 임의의 시점에서 가상현실 컨퍼런스를 참관할 수 있다.

일 실시 예에서, 참여자(200)중 일부가 참관자(300)로 전환될 수도 있고, 참관자(300)중 일부가 참여자(200)로 전환될 수도 있다.

참여자(200)가 참관자(300)로 전환되는 경우, 전환되는 사용자(400)는 가상현실 공간에 더 이상 표시되지 않는다.

반대로 참관자(300)가 참여자(200)로 전환되는 경우, 전환되는 사용자(400)는 가상현실 공간에 표시된다.

예를 들어, 회의 참여자나 강연자가 담당한 부분을 마치고 참관자로 돌아갈 수 있으며, 참관자 중 일부가 질문을 하거나 회의에 참여할 수도 있고, 참관자로서 컨퍼런스를 참관하며 대기하던 참관자(300)가 자신의 차례에서 강연을 위해 참여자(200)로 전환되어 강연을 수행할 수도 있다.

일 실시 예에서, 가상현실 이벤트를 통해 강연이나 프레젠테이션을 제공할 수 있으며, 이를 위한 별도의 공간이 생성될 수도 있다.

예를 들어, 기존의 가상현실 컨퍼런스에서 강연자가 참여자들 중 하나로서 가상현실 공간에 마련된 무대에 올라 강연을 할 수도 있으나, 강연이나 프레젠테이션을 위하여 특화된 별도의 공간에서 강연을 진행할 수도 있다.

예를 들어, 강연자는 강연을 위한 별도의 가상현실 공간을 생성할 수 있으며, 해당 공간이 생성되었음을 가상현실 컨퍼런스의 참여자들 및 참관자들에게 알릴 수 있고, 실시 예에 따라 가상현실 컨퍼런스에 참여하고 있지 않은 외부인들에게도 네트워크를 통해 가상현실 공간의 생성사실을 알릴 수 있다.

알림을 수신한 사용자들 중 가상현실 공간에 입장할 것을 선택한 사용자의 가상현실 기기에는 가상현실 공간이 표시되며, 강연자는 해당 가상현실 공간에서 강연을 수행할 수 있다. 가상현실 공간에는 강연자의 아바타만이 표시될 수 있으며, 청중들은 표시되지 않을 수 있으나, 실시 예에 따라 청중들의 아바타 또한 표시될 수 있으며, 도 2와 관련하여 설명한 바와 같이 질문을 하거나 강연에 참여하는 청중의 경우 일시적으로 아바타가 표시될 수 있다.

강연은 실시간으로 진행될 수도 있으나, 이미 녹화된 강연이 가상현실 공간에서 표시될 수도 있다. 상술한 실시 예에서 설명된 강연의 종류는 제한되지 않으며, 강의, 강연, 프레젠테이션, 투자설명, IR 등 다양한 종류의 강연이 가상현실 공간을 통해 제공될 수 있다.

각 가상현실 공간의 구조 및 배경은 강연자에 의하여 생성 및 수정될 수 있으며, 실시 예에 따라 강연의 내용에 기초하여 적합한 구조 및 배경이 자동으로 생성될 수도 있다.

이하에서는, 상술한 시스템에 기초하여 각 실시 예의 구체적인 구성을 도면을 참조하여 설명한다.

도 3은 일 실시 예에 따른 가상현실 이벤트 제공방법을 도시한 흐름도이다.

도 3 내지 도 10에 도시된 방법들은 도 1에 도시된 서버(100)에서 수행될 수 있으나, 이에 제한되지 않는다. 이하에서는 각 단계들이 컴퓨터에 의하여 수행되는 것으로 설명하나, 각 단계들의 일부 또는 전부가 다른 주체에 의하여 수행되는 것도 가능하다.

단계 S101에서, 컴퓨터는 하나 이상의 가상현실 단말로부터 사용자 정보를 수신한다.

일 실시 예에서, 사용자 정보는 도 1 및 도 2에 도시된 바와 같이 참여자와 참관자를 포함할 수 있다.

단계 S102에서, 컴퓨터는 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류한다.

단계 S103에서, 컴퓨터는 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함한다.

일 실시 예에서, 배경정보는 가상현실 영상의 배경이 될 이미지 또는 이미지를 생성하기 위한 정보를 포함할 수 있다.

또한, 인물정보는 가상현실 영상에 포함될 인물들, 즉 참여자에 대한 정보를 포함할 수 있다.

또한, 객체정보는 가상현실 영상에 포함될 객체들에 대한 정보를 포함할 수 있다.

단계 S104에서, 컴퓨터는 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성한다.

일 실시 예에서, 컴퓨터는 가상현실 공간에 배경을 설정하고, 인물 및 객체를 배치함으로써 가상현실 영상을 생성한다. 생성된 가상현실 영상은 다양한 시점으로 관찰될 수 있으며, 가상현실 영상에 포함된 배경, 인물 및 객체의 변화를 실시간으로 반영한다.

단계 S105에서, 컴퓨터는 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공한다.

도 4는 일 실시 예에 따른 유니크 베뉴를 배경으로 하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.

상술한 단계(S103)의 배경정보를 획득하는 단계에서, 컴퓨터는 하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106)를 수행할 수 있다.

상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107)를 수행할 수 있다.

일 실시 예에서, 컴퓨터는 상술한 바와 같이 다양한 종류의 유니크 베뉴를 배경으로 하는 가상현실 이벤트를 제공할 수 있다.

도 5는 일 실시 예에 따라 아바타를 포함하는 가상현실 이벤트 제공방법을 도시한 흐름도이다.

상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하는 단계(S108)를 수행할 수 있다.

또한, 컴퓨터는 상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109)를 수행할 수 있다.

아바타의 종류는 제한되지 않으며, 컴퓨터는 가상현실 영상에 표시되어야 하는 참여자들에 대응하는 아바타를 생성하여, 각 참여자의 위치에 아바타를 배치할 수 있다.

도 6은 일 실시 예에 따른 가상현실 이벤트의 시점 처리방법을 도시한 흐름도이다.

상술한 단계(S105)에서, 컴퓨터는 상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110)를 수행할 수 있다.

또한, 컴퓨터는 상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111)를 수행할 수 있다.

일 실시 예에서, 각 참여자의 시점은 혼동을 막기 위하여 실제로 각 참여자의 아바타가 배치된 위치로 고정될 수 있다. 구체적으로, 아바타가 인간형이나 동물형, 캐릭터형 등으로 눈을 포함하는 경우, 아바타의 눈의 위치로 시점이 고정될 수 있으며, 다만 아바타의 눈의 위치가 이동하는 경우 시점 또한 이에 따라 이동할 수 있다.

각 참여자에 대해서는 고정된 시점에 기초한 가상현실 영상이 제공된다.

또한, 참관자의 경우 가상현실 영상에 표시되지 않으므로, 원하는 시점에서 가상현실 이벤트를 참관할 수 있다. 실시 예에 따라서, 참관자의 시점은 범위로서 제한될 수도 있으며, 시점을 배치할 수 없는 위치의 범위 또한 설정될 수 있다.

예를 들어, 컴퓨터는 외부인에게 공개되기 어려운 정보를 바라볼 수 있는 시점의 범위를 산출하고, 해당 범위에 대한 참관자의 시점이동을 금지할 수 있다. 또한, 컴퓨터는 가상현실 영상 생성 및 시청의 부하를 줄이기 위하여 가상현실 이벤트 진행에 불필요한 부분에 대한 렌더링을 하지 않을 수 있으며, 해당 부분을 바라볼 수 있는 시점의 범위를 산출하고, 해당 범위에 대한 참관자의 시점이동을 금지할 수 있다.

또한, 각 참관자에게는 각 참관자의 권한별로 상이한 가상현실 영상이 제공될 수 있다. 예를 들어, 권한이 큰 참관자에게 제공되는 가상현실 영상일수록 더 넓은 시점범위의 선택권한이 주어질 수 있고, 특정 정보에 대한 접근권한이 없는 사용자에 대해서는 해당 정보가 블라인드 처리되거나, 해당 정보를 바라볼 수 있는 시점범위가 차단된 가상현실 영상이 제공될 수 있다.

도 7은 일 실시 예에 따라 참관자 아바타를 생성하는 방법을 도시한 흐름도이다.

상술한 단계(S104)에서, 컴퓨터는 상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112)를 수행할 수 있다.

또한, 컴퓨터는 상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113)를 수행할 수 있다.

또한, 컴퓨터는 상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114)를 수행할 수 있다.

상술한 단계(S114)에서, 컴퓨터는 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정될 수 있다.

즉, 도 2에서 설명한 바와 같이 일부 참관자가 참여자로 변경될 수 있으며, 이 경우 참여자로 변경된 사용자의 아바타가 생성되어, 가상현실 영상에 표시될 수 있다.

이 경우, 참관자는 기존 시점위치에서 가상현실 영상 내에 아바타가 표시될 위치로 즉시 이동하고, 참관자의 시점 또한 즉시 이동할 수 있다. 다른 실시 예에서, 참관자의 시점은 기존 시점위치에서 이동목표 위치로 이동할 수 있고, 참관자의 시점이 기 설정된 범위(예를 들어, 무대 위 혹은 강단 등)에 진입하는 경우 해당 참관자의 아바타를 생성하고, 생성된 아바타를 해당 참관자의 시점위치에 표시할 수 있다. 이후, 아바타는 참관자의 시점위치를 따라 이동할 수 있다. 참관자가 기 설정된 범위를 벗어나는 경우, 참관자의 아바타는 가상현실 영상에서 제거될 수 있다.

도 8은 일 실시 예에 따라 실제 이벤트에 기반한 가상현실 이벤트를 제공하는 방법을 도시한 흐름도이다.

상술한 단계(S103)에서, 컴퓨터는 실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115)를 수행할 수 있다.

상술한 단계(S104)에서, 컴퓨터는 상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116)를 수행할 수 있다.

일 실시 예에서, 컴퓨터는 실제 이벤트 현장에서 촬영된 360도 영상을 획득할 수 있다. 컴퓨터는 360도 영상에 기초하여 가상현실 영상의 구축을 위한 3D 렌더링을 수행하여, 3D 가상현실 공간을 구축할 수 있다.

다른 실시 예에서, 컴퓨터는 실제 촬영된 360도 영상을 배경이자 원경으로 하고, 각 가상현실 영상의 시청자 시점 및 시청자의 주변 객체 및 인물을 근경에 포함하는 가상현실 영상을 생성할 수도 있다.

즉, 컴퓨터는 가상현실 공간에서, 실제 진행되는 이벤트에 가상의 객체 및 인물을 추가한 혼합현실 영상을 생성하고, 생성된 영상을 제공할 수 있다. 이 경우, 실제로 진행되는 이벤트를 가상현실을 이용하여 참여할 수 있다.

이 경우, 실제 이벤트를 진행하는 사용자의 경우에도 증강현실 기기를 착용하여 가상 공간에서 진행되는 이벤트 정보를 획득할 수 있고, 가상 공간의 참여자 및 참관자와 인터렉션을 수행할 수 있다.

도 9는 일 실시 예에 따라 아바타 간의 인터렉션을 처리하는 방법을 도시한 흐름도이다.

상술한 단계(S116)에서, 컴퓨터는 상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117)를 수행할 수 있다.

상술한 단계(S117)에서, 컴퓨터는 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118)를 수행할 수 있다. 즉, 컴퓨터는 촬영된 실제 이벤트 영상으로부터 3D 가상공간 모델링을 위한 정보를 획득하고, 3D 가상공간을 모델링할 수 있다.

또한, 컴퓨터는 상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119)를 수행할 수 있다. 컴퓨터는 영상분석을 활용하여, 실제 이벤트의 현장에서 이벤트에 참여중인 참여자를 식별할 수 있다.

또한, 컴퓨터는 상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120)를 수행할 수 있다. 즉, 컴퓨터는 실제 현장참여자에 대응하는 아바타를 생성하고, 해당 아바타를 가상현실 영상에 표시할 수 있다. 현장참여자가 증강현실 장비를 이용하여 가상현실 이벤트를 확인하는 경우, 시점은 제1 아바타의 시점으로 고정될 수 있다.

또한, 컴퓨터는 상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121)를 수행할 수 있다.

또한, 컴퓨터는 상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122)를 수행할 수 있다.

상술한 단계(S105)에서, 컴퓨터는 상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123)를 수행할 수 있다.

또한, 컴퓨터는 상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124)를 수행할 수 있다.

즉, 컴퓨터는 촬영된 영상을 분석하여 촬영된 영상에 포함된 현장참여자의 동작을 인식하고, 판단할 수 있다.

또한, 컴퓨터는 상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125)를 수행할 수 있다.

또한, 컴퓨터는 상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126)를 수행할 수 있다.

즉, 컴퓨터는 가상현실 기기 사용자의 리액션을 분석함으로써, 가상현실 공간에 표시되는 제2 아바타의 동작을 결정할 수 있다.

또한, 컴퓨터는 상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127)를 수행할 수 있다.

또한, 컴퓨터는 상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128)를 수행할 수 있다.

예를 들어, 제1 아바타와 제2 아바타가 접촉하거나, 서로 손을 들어 질문하거나, 서로 대화를 하는 등 인터렉션이 판단되는 경우, 이에 따른 효과를 가상현실 영상에 부여할 수 있다.

일 예로, 제1 아바타와 제2 아바타가 접촉하는 경우, 가상현실 영상에서 접촉부위가 빛나도록 표시할 수 있다.

다른 예로, 제1 아바타와 제2 아바타가 대화를 하는 경우, 제1 아바타와 제2 아바타를 빛나도록 표시하고, 제1 아바타와 제2 아바타의 목소리의 출력을 높일 수 있다.

또한, 실시 예에 따라 제1 아바타의 움직임에 따라 상기 제1 아바타가 지목하는 특정 참관자를 선택하고, 해당 참관자가 이에 동작이나 음성 등으로 응답하는 경우, 해당 참관자를 참여자로 전환하여 아바타를 생성하고, 가상현실 영상에 표시할 수 있다.

도 10은 일 실시 예에 따라 가상현실 이벤트를 보조하는 방법을 도시한 흐름도이다.

상술한 단계(S128)에서, 컴퓨터는 상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129)를 수행할 수 있다.

또한, 컴퓨터는 상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130)를 수행할 수 있다.

또한, 컴퓨터는 상기 추출된 텍스트를 번역하는 단계(S131)를 수행할 수 있다.

또한, 컴퓨터는 상기 번역된 텍스트를 음성으로 변환하는 단계(S132)를 수행할 수 있다.

또한, 컴퓨터는 상기 변환된 음성을 상기 제2 아바타에 대응하는 제1 참여자 단말에 전달하는 단계(S133)를 수행할 수 있다.

즉, 컴퓨터는 현장 참여자의 음성을 번역하여 가상현실 이벤트의 참여자에게 전달할 수 있다.

또한, 컴퓨터는 상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134)를 수행할 수 있다.

또한, 컴퓨터는 상기 말풍선 이미지를 상기 제1 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135)를 수행할 수 있다.

즉, 컴퓨터는 가상현실 공간 상에서 제1 참여자가 말하는 내용을 번역하여 가상현실 영상에 표시함으로써, 발화주체의 인식을 용이하게 하고, 언어의 문제없이 그 내용을 파악할 수 있도록 한다.

또한, 컴퓨터는 상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136)를 수행할 수 있다.

예를 들어, 컴퓨터는 번역된 텍스트로부터 하나 이상의 키워드를 추출할 수도 있고, 자연어처리(NLP)를 이용하여 번역된 텍스트의 내용을 판단할 수 있다.

또한, 컴퓨터는 상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137)를 수행할 수 있다. 예를 들어, 컴퓨터는 번역된 텍스트에 포함된 키워드에 기초하여 응답을 생성하거나, 번역된 텍스트에 포함된 질문이 인식되는 경우, 이에 대응하는 응답을 생성할 수 있다.

또한, 컴퓨터는 상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제1 참여자 단말에 제공하는 단계(S138)를 수행할 수 있다.

일 실시 예에서, 컴퓨터는 발화내용에 포함된 키워드에 대한 의미 또는 관련 이슈 등 정보를 검색하여 가상현실 영상에 표시할 수 있다.

즉, 컴퓨터는 가상공간이나 현실공간 내 발화자의 발화내용을 번역 및 표시하며, 가상현실 공간에 이에 대응하는 응답 또한 표시할 수 있다. 컴퓨터는 표시된 응답 중 적어도 하나에 대한 선택 입력이 수신되는 경우, 해당 응답을 번역하여 발화자에게 전달할 수 있다.

도 11은 일 실시 예에 따른 장치의 구성도이다.

프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 3 내지 도 10과 관련하여 설명된 방법을 수행한다.

예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 하나 이상의 가상현실 단말로부터 사용자 정보를 수신하고, 상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하고, 가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하고, 상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하고, 상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공한다.

한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10, 20 및 30 : 사용자
12, 22 및 32 : 가상현실 단말
14, 24 및 34 : 사용자 단말
100 : 서버

Claims (10)

1. 컴퓨터에 의하여 수행되는 방법으로서,
   하나 이상의 가상현실 단말로부터 사용자 정보를 수신하는 단계(S101);
   상기 하나 이상의 가상현실 단말을 하나 이상의 참여자 단말 및 하나 이상의 참관자 단말로 분류하는 단계(S102);
   가상현실 영상을 생성하기 위한 배경정보, 인물정보 및 객체정보를 획득하되, 상기 인물정보는 상기 하나 이상의 참여자 단말로부터 수신된 사용자 정보를 포함하는, 단계(S103);
   상기 획득된 배경정보, 인물정보 및 객체정보를 이용하여 가상현실 영상을 생성하는 단계(S104); 및
   상기 생성된 가상현실 영상을 상기 하나 이상의 가상현실 단말에 제공하는 단계(S105); 를 포함하고,
   상기 단계(S104)는,
   상기 하나 이상의 참여자 단말에 각각 대응하는 아바타를 생성하고, 상기 하나 이상의 참관자 단말에 각각 대응하는 아바타를 생성하지 않는 단계(S108); 및
   상기 생성된 아바타를 포함하는 가상현실 영상을 생성하는 단계(S109); 를 포함하고,
   상기 단계(S105)는,
   상기 하나 이상의 참여자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참여자 단말에 제공되는 가상현실 영상의 시점은, 상기 하나 이상의 참여자 단말에 각각 대응하는 상기 아바타의 위치로 고정되는, 단계(S110); 및
   상기 하나 이상의 참관자 단말에 상기 가상현실 영상을 제공하되, 상기 하나 이상의 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 하나 이상의 참관자 단말에 대응되는 하나 이상의 사용자에 의하여 변경될 수 있도록 설정되는, 단계(S111); 를 포함하고,
   상기 하나 이상의 참관자 단말에 제공되는 가상 현실 영상의 시점은, 상기 하나 이상의 참관자 단말에 대응되는 참관자의 권한별로 상이하게 설정되고, 특정 정보에 대한 접근 권한이 없는 참관자에 대하여는 상기 특정 정보가 블라인드 처리되거나 상기 특정 정보를 바라볼 수 있는 시점 범위가 차단되는 것을 특징으로 하고,
   상기 단계(S104)는,
   상기 하나 이상의 참관자 단말 중 하나인 제1 참관자 단말이 기 설정된 조건을 만족하는 경우, 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 단계(S112);
   상기 제1 참관자 단말에 대응하는 아바타를 포함하는 가상현실 영상을 생성하는 단계(S113); 및
   상기 단계(S113)에서 생성된 가상현실 영상을 상기 하나 이상의 사용자 단말에 제공하는 단계(S114); 를 포함하고,
   상기 단계(S114)에서, 상기 제1 참관자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참관자 단말에 대응하는 아바타의 위치로 고정되고,
   상기 단계(S104)는,
   상기 하나 이상의 참여자 단말 중 하나인 제1 참여자 단말이 기 설정된 조건을 만족하는 경우, 상기 단계(S108)에서 생성된 상기 제1 참여자 단말에 대응하는 아바타에 대한 정보를 획득하는 단계; 및
   상기 단계(S109)에서 생성된 가상현실 영상 중, 상기 제1 참여자 단말에 대응하는 아바타를 표시하지 않는 단계; 를 포함하고,
   상기 단계(S103)는,
   실제로 진행되는 이벤트에 대한 정보를 획득하되, 상기 이벤트에 대한 정보는 상기 실제로 진행되는 이벤트 현장에서 촬영된 영상을 포함하는, 단계(S115); 를 포함하고,
   상기 단계(S104)는,
   상기 촬영된 영상을 포함하는 가상현실 영상을 생성하는 단계(S116); 를 포함하고,
   상기 단계(S116)는,
   상기 촬영된 영상에 포함된 배경, 인물 및 객체에 대한 정보를 획득하는 단계(S117);
   상기 단계(S117)에서 획득된 배경, 인물 및 객체에 대한 정보에 기초하여 상기 배경, 인물 및 객체를 모델링하는 단계(S118);
   상기 촬영된 영상에 포함된 인물 중 상기 이벤트의 현장참여자를 식별하는 단계(S119);
   상기 모델링된 인물에 대한 정보에 기초하여, 상기 단계(S119)에서 식별된 현장참여자에 대응하는 제1 아바타를 생성하는 단계(S120);
   상기 하나 이상의 참여자 단말에 각각 대응하는 제2 아바타를 생성하는 단계(S121); 및
   상기 모델링된 배경, 객체, 인물과 상기 제1 아바타 및 상기 제2 아바타를 포함하는 가상현실 영상을 생성하는 단계(S122); 를 포함하고,
   상기 단계(S105)는,
   상기 촬영된 영상으로부터 상기 제1 아바타에 대응하는 제1 현장참여자의 동작정보를 획득하는 단계(S123);
   상기 획득된 동작정보에 기초하여 상기 제1 아바타의 동작을 판단하는 단계(S124);
   상기 하나 이상의 참여자 단말로부터 가상현실 영상에 대한 리액션 정보를 획득하는 단계(S125);
   상기 리액션 정보에 기초하여 상기 제2 아바타의 동작을 판단하는 단계(S126);
   상기 제1 아바타 및 상기 제2 아바타의 동작에 기초하여 상기 제1 아바타 및 상기 제2 아바타의 인터렉션을 판단하는 단계(S127); 및
   상기 인터렉션에 기초하여 상기 가상현실 영상에 기 설정된 효과를 부여하는 단계(S128); 를 포함하고,
   상기 단계(S128)는,
   상기 제1 현장참여자의 단말로부터 상기 제1 현장참여자의 음성을 획득하는 단계(S129);
   상기 제1 현장참여자의 음성으로부터 텍스트를 추출하는 단계(S130);
   상기 추출된 텍스트를 번역하는 단계(S131);
   상기 번역된 텍스트를 음성으로 변환하는 단계(S132);
   상기 변환된 음성을 상기 제2 아바타에 대응하는 제2 참여자 단말에 전달하는 단계(S133);
   상기 번역된 텍스트를 포함하는 말풍선 이미지를 생성하는 단계(S134);
   상기 말풍선 이미지를 상기 제2 참여자 단말에 제공되는 가상현실 영상에 표시하는 단계(S135);
   상기 번역된 텍스트에 대응하는 정보를 검색하는 단계(S136);
   상기 검색된 정보에 기초하여 상기 번역된 텍스트에 대한 하나 이상의 응답을 생성하는 단계(S137); 및
   상기 검색된 정보 및 상기 하나 이상의 응답을 상기 제2 참여자 단말에 제공하는 단계(S138); 를 포함하고,
   상기 가상현실 영상은 360도 영상에 기초하여 가상현실 영상의 구축을 위한 3D 렌더링을 수행하여 생성된 3D 가상현실 영상이고,
   상기 제1 참여자 단말에 제공되는 가상현실 영상의 시점은 상기 제1 참여자 단말에 대응되는 사용자에 의하여 변경될 수 있도록 설정되고,
   상기 기 설정된 조건은 상기 하나 이상의 참여자 단말의 사용자가 참여자에서 참관자로 변경되는 조건 또는 상기 하나 이상의 참관자 단말의 사용자가 참관자에서 참여자로 변경되는 조건인 것을 특징으로 하고,
   상기 가상현실 영상은 강연을 위한 컨퍼런스에 대한 가상현실 영상이되, 상기 참여자 단말은 강연을 수행하는 강연자에 대응되는 단말이고, 상기 제1 참관자 단말은 강연에 참여하는 청중에 대응되는 단말이고, 상기 제1 참관자 단말에 대응되는 청중이 상기 가상현실 영상 내에서 강연자에게 질문하는 경우, 상기 단계(S112)에 의해 상기 제1 참관자 단말에 대응하는 아바타를 생성하는 것을 특징으로 하는,
   가상현실 이벤트 제공방법.
2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈

   제1 항에 있어서,
   상기 배경정보를 획득하는 단계는,
   하나 이상의 유니크 베뉴에 대한 정보를 획득하는 단계(S106); 를 포함하고,
   상기 단계(S104)는,
   상기 하나 이상의 유니크 베뉴 중 적어도 하나를 배경으로 하는 가상현실 영상을 생성하는 단계(S107); 를 포함하는,
   가상현실 이벤트 제공방법.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1항의 방법을 수행하는 장치.
10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images