KR102125865B1

KR102125865B1 - 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치

Info

Publication number: KR102125865B1
Application number: KR1020170078933A
Authority: KR
Inventors: 김용완; 김용선; 김홍기; 전우진; 조동식; 김기홍
Original assignee: 한국전자통신연구원
Priority date: 2017-06-22
Filing date: 2017-06-22
Publication date: 2020-06-23
Also published as: KR20190000069A; CN109116977A

Abstract

가상 체험 콘텐츠 제공 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 방법은 사용자와 원거리에 위치하는 실세계 공간에 대한 실시간 3차원 가시화 데이터를 생성하고, 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험 공간에 상응하게 3차원 가상 공간을 생성하고, 체험 공간에 구비된 복수개의 센서들을 기반으로 체험 공간에서의 사용자 움직임을 측정하여 사용자 객체 데이터를 획득하고, 3차원 가상 공간과 실시간 3차원 가시화 데이터를 정합하여 3차원 체험 공간을 생성하고, 사용자 객체 데이터, 3차원 체험 공간 및 체험 공간을 이용하여 사용자에게 실세계 공간에 상응하는 실시간 가상 체험 콘텐츠를 제공하는 단계를 포함한다.

Description

가상 체험 콘텐츠 제공 방법 및 이를 위한 장치 {METHOD FOR PROVIDING VIRTUAL EXPERIENCE CONTENTS AND APPARATUS USING THE SAME}

본 발명은 가상 체험 콘텐츠 제공 기술에 관한 것으로, 특히 실제 환경과 가상 환경을 통일한 공간 내에 공존하게 하여 실제 환경 내에서는 경험해보기 어려운 체험을 가능케 하기 위한 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치에 관한 것이다.

기존의 HMD(Head Mounted Display)를 이용한 체험형 콘텐츠의 경우는 앉거나 서서 즐기는 형태가 주를 이루고 있으며, 걷는 동작을 지원하더라도 제한된 구조물이 없는 개방된 허공에서 체험을 하는 형태에 해당하므로 사용자가 느끼는 사실감이나 존재감 측면에서는 수준이 상당히 떨어지는 측면이 많다.

또한, 기존의 HMD 형태의 가상현실 콘텐츠는 상당부분이 시각적인 부분에 의존하고 있어서 실 체험 환경과는 동떨어져 괴리감이 상당 부분 존재하고 있다.

따라서, 기존 HMD 콘텐츠는 상당수의 유저들에 의해 콘텐츠 초기에는 신기함에 반응이 좋으나, 반복해서 체험하였을 경우에는 현실적인 부분과의 괴리감 때문에 쉽게 식상해하고 실망하는 평이 많았다.

한국 공개 특허 제10-2016-0127695호, 2016년 11월 04일 공개(명칭: 실감데이터를 이용한 가상 골프 게임 제공시스템 및 방법)

본 발명의 목적은 사용자 간의 시간적, 공간적 제약을 뛰어넘어 원격지에 존재하는 사용자가 동일한 공간에 존재하는 듯한 체험을 제공하는 것이다.

또한, 본 발명의 목적은 지능적 아바타 등과 어울려 실감 상호작용할 수 있는 실제와 가상의 공간이 공존하는 융합형 가상현실 시스템을 제공하는 것이다.

또한, 본 발명의 목적은 현실 공간을 콘텐츠에 맞게 자유롭게 구성할 수 있고, 현실 공간에 맞게 가상 공간을 재구성하여 실제와 가상이 공존하는 듯한 체험을 제공할 수 있는 시스템을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 가상 체험 콘텐츠 제공 방법은 사용자와 원거리에 위치하는 실세계 공간에 대한 실시간 3차원 가시화 데이터를 생성하는 단계; 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험 공간에 상응하게 3차원 가상 공간을 생성하는 단계; 상기 체험 공간에 구비된 복수개의 센서들을 기반으로 상기 체험 공간에서의 사용자 움직임을 측정하여 사용자 객체 데이터를 획득하는 단계; 및 상기 3차원 가상 공간과 상기 실시간 3차원 가시화 데이터를 정합하여 3차원 체험 공간을 생성하고, 상기 사용자 객체 데이터, 상기 3차원 체험 공간 및 상기 체험 공간을 이용하여 상기 사용자에게 상기 실세계 공간에 상응하는 실시간 가상 체험 콘텐츠를 제공하는 단계를 포함한다.

이 때, 사용자 객체 데이터, 상기 3차원 체험 공간 및 상기 체험 공간은 시간적, 공간적 및 시각적으로 동기화될 수 있다.

이 때, 제공하는 단계는 상기 사용자가 착용하는 착용형 디스플레이를 통해 상기 3차원 체험 공간을 출력하되, 상기 사용자 객체 데이터를 기반으로 상기 3차원 체험 공간 중 상기 사용자의 위치 및 시선 중 적어도 하나를 고려한 영역을 상기 착용형 디스플레이에 출력하는 단계를 포함할 수 있다.

이 때, 제공하는 단계는 상기 사용자 객체 데이터를 기반으로 상기 사용자의 성향을 분석하는 단계; 및 상기 사용자의 성향에 상응하는 얼굴 표정 및 전신 모션 중 적어도 하나에 상응하는 아바타를 생성하여 상기 3차원 체험 공간에 출력하는 단계를 더 포함할 수 있다.

이 때, 제공하는 단계는 적어도 하나의 특징점에 상응하는 좌표를 일치시키는 방식으로 상기 3차원 가상 공간과 상기 3차원 가시화 데이터를 정합하는 단계를 포함할 수 있다.

이 때, 실시간 3차원 가시화 데이터를 생성하는 단계는 상기 실세계 공간을 캡처한 이미지에서 배경과 사람을 분리하는 단계; 및 상기 배경에 상응하는 3차원 배경 가시화 데이터를 생성하고, 상기 사람에 상응하는 3차원 사람 가시화 데이터를 포인트 클라우드(Point Cloud) 데이터의 형태로 생성하는 단계를 포함할 수 있다.

이 때, 정합하는 단계는 상기 좌표를 기반으로 상기 3차원 체험 공간에 상기 3차원 배경 가시화 데이터를 적용하는 단계; 및 상기 포인트 클라우드 데이터를 기반으로 상기 사람에 상응하는 사람 객체를 상기 3차원 체험 공간에 생성하는 단계를 포함할 수 있다.

이 때, 복수개의 구조물들은 인간형 목조 구조물, 평면형 모듈, 이동식 회전형 모듈 타입 프레임, 터널 타입 분리형 투명 프레임 및 상기 사용자 움직임에 따라 움직일 수 있는 수동식 모션 플랫폼과 능동식 모션 플랫폼 중 적어도 하나를 포함할 수 있다.

이 때, 제공하는 단계는 상기 체험 시나리오를 고려하여 상기 3차원 체험 공간을 기반으로 적어도 하나의 햅틱 이벤트를 생성하는 단계; 및 상기 사용자 움직임을 기반으로 상기 햅틱 이벤트를 실행하는 경우에 복수개의 구조물들을 이용하여 상기 사용자에게 촉각적인 피드백을 제공하는 단계를 더 포함할 수 있다.

이 때, 체험 공간은 상기 실세계 공간에 상응하게 설계되는 체험 시나리오에 따라 형태 및 구조를 변경 가능할 수 있다.

또한, 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 장치는, 사용자와 원거리에 위치하는 실세계 공간에 대한 실시간 3차원 가시화 데이터를 생성하고, 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험 공간에 상응하게 3차원 가상 공간을 생성하는 생성부; 상기 체험 공간에 구비된 복수개의 센서들을 기반으로 상기 체험 공간에서의 사용자 움직임을 측정하여 사용자 객체 데이터를 획득하는 센서부; 및 상기 3차원 가상 공간과 상기 실시간 3차원 가시화 데이터를 정합하여 3차원 체험 공간을 생성하고, 상기 사용자 객체 데이터, 상기 3차원 체험 공간 및 상기 체험 공간을 이용하여 상기 사용자에게 상기 실세계 공간에 상응하는 실시간 가상 체험 콘텐츠를 제공하는 제어부를 포함한다.

이 때, 제어부는 상기 사용자가 착용하는 착용형 디스플레이를 통해 상기 3차원 체험 공간을 출력하되, 상기 사용자 객체 데이터를 기반으로 상기 3차원 체험 공간 중 상기 사용자의 위치 및 시선 중 적어도 하나를 고려한 영역을 상기 착용형 디스플레이에 출력할 수 있다.

이 때, 제어부는 상기 사용자 객체 데이터를 기반으로 상기 사용자의 성향을 분석하고, 상기 사용자의 성향에 상응하는 얼굴 표정 및 전신 모션 중 적어도 하나에 상응하는 아바타를 생성하여 상기 3차원 체험 공간에 출력할 수 있다.

이 때, 제어부는 적어도 하나의 특징점에 상응하는 좌표를 일치시키는 방식으로 상기 3차원 가상 공간과 상기 3차원 가시화 데이터를 정합할 수 있다.

이 때, 생성부는 상기 실세계 공간을 캡처한 이미지에서 배경과 사람을 분리하고, 상기 배경에 상응하는 3차원 배경 가시화 데이터를 생성하고, 상기 사람에 상응하는 3차원 사람 가시화 데이터를 포인트 클라우드(Point Cloud) 데이터의 형태로 생성할 수 있다.

이 때, 제어부는 상기 좌표를 기반으로 상기 3차원 체험 공간에 상기 3차원 배경 가시화 데이터를 적용하고, 상기 포인트 클라우드 데이터를 기반으로 상기 사람에 상응하는 사람 객체를 상기 3차원 체험 공간에 생성할 수 있다.

이 때, 제어부는 상기 체험 시나리오를 고려하여 상기 3차원 체험 공간을 기반으로 적어도 하나의 햅틱 이벤트를 생성하고, 상기 사용자 움직임을 기반으로 상기 햅틱 이벤트를 실행하는 경우에 복수개의 구조물들을 이용하여 상기 사용자에게 촉각적인 피드백을 제공할 수 있다.

본 발명에 따르면, 사용자 간의 시간적, 공간적 제약을 뛰어넘어 원격지에 존재하는 사용자가 동일한 공간에 존재하는 듯한 체험을 제공할 수 있다.

또한, 본 발명은 지능적 아바타 등과 어울려 실감 상호작용할 수 있는 실제와 가상의 공간이 공존하는 융합형 가상현실 시스템을 제공할 수 있다.

또한, 본 발명은 현실 공간을 콘텐츠에 맞게 자유롭게 구성할 수 있고, 현실 공간에 맞게 가상 공간을 재구성하여 실제와 가상이 공존하는 듯한 체험을 제공할 수 있는 시스템을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 방법을 나타낸 동작 흐름도이다.
도 2 내지 도 7은 본 발명에 따른 체험 공간과 3차원 체험 공간을 통해 가상 체험 콘텐츠를 제공하는 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 가상 체험 콘텐츠를 통해 실세계 공간에 위치하는 다른 사용자를 출력해주는 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 아바타를 제공하는 일 예를 나타낸 도면이다.
도 10은 본 발명에 따른 햅틱 이벤트를 통해 촉각적 피드백을 제공하는 일 예를 나타낸 도면이다.
도 11 내지 도 19는 본 발명에 따른 체험 공간을 구성하는 복수개의 구조물들의 일 예를 나타낸 도면이다.
도 20 내지 도 40은 본 발명에 따른 체험 시나리오의 일 예를 나타낸 도면이다.
도 41은 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 장치를 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 방법을 나타낸 동작 흐름도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 방법은 사용자와 원거리에 위치하는 실세계 공간에 대한 실시간 3차원 가시화 데이터를 생성한다(S110).

이 때, 실시간 3차원 가시화 데이터는 로컬이나 원격지에 존재하는 실제의 공간을 가상 환경과 하나의 공간으로 정합하기 위해서 생성하는 것일 수 있다. 예를 들어, 중국의 진시황릉에 있는 병마용갱에 대해서 실시간 3차원 가시화 데이터를 생성하고, 병마용갱과는 멀리 떨어진 한국에 설치된 체험 공간에 해당 데이터를 가시화함으로써 체험 공간을 이용하는 사용자가 마치 실제로 병마용갱에 있는 듯한 느낌을 받을 수 있다.

이 때, 실세계 공간을 실시간으로 캡처한 이미지에서 배경과 사람을 분리하고, 배경에 상응하는 3차원 배경 가시화 데이터를 생성하고, 사람에 상응하는 3차원 사람 가시화 데이터를 포인트 클라우드(Point Cloud) 데이터의 형태로 생성할 수 있다.

상기의 예를 들어, 병마용갱에 대해 실시간 3차원 가시화 데이터를 생성하기 위해서는 병마용갱을 실시간으로 캡처한 이미지에서 병마용갱을 실제로 체험하다가 캡처된 사람과 배경을 분리할 수 있다. 이 때, 분리된 사람에 상응하는 이미지 영역을 3차원 정보를 포함하고 있는 포인트 클라우드(Point Cloud) 데이터 형태로 획득할 수 있다.

이 때, 실제 병마용갱에 설치된 가상 콘텐츠 제공 장치에서 포인트 클라우드 데이터를 생성하여 체험 공간에 위치한 또 다른 가상 콘텐츠 제공 장치 또는 별도의 서버로 전송할 수 있다. 따라서, 본 발명에 따른 가상 콘텐츠 제공 장치는 실세계 공간과 체험 공간에 각각 설치될 수 있다.

또한, 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 방법은 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험 공간에 상응하게 3차원 가상 공간을 생성한다(S120).

이 때, 복수개의 구조물들은 체험 시나리오나 가상 체험 콘텐츠의 기획에 따라 현실에 해당하는 체험 공간에 구현되는 실제 구조물에 상응할 수 있다.

이 때, 복수개의 구조물들은 인간형 목조 구조물, 평면형 모듈, 이동식 회전형 모듈 타입 프레임, 터널 타입 분리형 투명 프레임 및 사용자 움직임에 따라 움직일 수 있는 수동식 모션 플랫폼과 능동식 모션 플랫폼 중 적어도 하나를 포함할 수 있다.

이 때, 수동식 모션 플랫폼이나 능동식 모션 플랫폼 등은 동적인 사용자 입력에 따라 움직이는 구조물에 상응하는 것으로 사용자가 보다 극적인 체험을 하도록 할 수 있다.

이 때, 체험 공간은 실세계 공간에 상응하게 설계되는 체험 시나리오에 따라 형태 및 구조를 변경 가능할 수 있다.

이 때, 체험 공간에 해당하는 실제 환경을 기반으로 추후 사용자가 착용하는 착용형 디스플레이에서 가상 체험 콘텐츠를 제공하여야 하기 때문에 체험 공간에 해당하는 실제 환경을 3D 공간으로 생성하여 3차원 가상 공간을 생성할 수 있다.

또한, 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 방법은 체험 공간에 구비된 복수개의 센서들을 기반으로 체험 공간에서의 사용자 움직임을 측정하여 사용자 객체 데이터를 획득한다(S130).

이 때, 체험 공간은 사용자가 실제로 이동하거나 움직이는 공간이기 때문에 사용자의 움직임을 3차원 가상 공간에 반영하기 위해서 체험 공간에 복수개의 센서들을 구비할 수 있다. 예를 들어, 복수개의 센서들은 움직임 센서, 터치 센서, 압력 센서, 방향 센서 등 사용자의 움직임이나 시선방향 등을 측정할 수 있는 다양한 센서들에 상응할 수 있다.

또한, 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 방법은 3차원 가상 공간과 실시간 3차원 가시화 데이터를 정합하여 3차원 체험 공간을 생성하고, 사용자 객체 데이터, 3차원 체험 공간 및 체험 공간을 이용하여 사용자에게 실세계 공간에 상응하는 실시간 체험 콘텐츠를 제공한다(S140).

이 때, 사용자 객체 데이터, 3차원 체험 공간 및 체험 공간은 시간적, 공간적 및 시각적으로 동기화될 수 있다. 이와 같은 동기화를 수행함으로써 사용자의 움직임에 대한 이벤트, 사용자의 위치에 따라 제공되는 가상 화면, 사용자가 체험하는 시점에 해당하는 실세계 공간의 상태 등을 사용자에게 실감나게 제공할 수 있다.

즉, 사용자는 착용형 디스플레이를 착용하고 3차원 체험 공간을 시각적으로 관찰하되, 체험 공간을 이동하면서 시각적 피드백과 일치하는 청각, 후각, 촉각 등 다양한 감각을 제공받을 수 있기 때문에 실제로 체험 시나리오에 해당하는 실세계 공간에 있는 것처럼 느낄 수 있다.

이 때, 사용자가 착용하는 착용형 디스플레이를 통해 3차원 체험 공간을 출력하되, 사용자 객체 데이터를 기반으로 3차원 체험 공간 중 사용자의 위치 및 시선 중 적어도 하나를 고려한 영역을 착용형 디스플레이에 출력할 수 있다.

예를 들어, 체험 공간에 설치된 복수개의 센서들과 착용형 디스플레이에 설치된 별도의 센서를 이용하여 사용자의 현재 위치와 시선 방향을 검출하고, 사용자의 위치에서 사용자의 시선 방향에 해당하는 3차원 체험 공간의 데이터를 출력하도록 할 수 있다.

이 때, 착용형 디스플레이는 본 발명에 따른 가상 체험 콘텐츠 제공 장치와 연동되어 가상 체험 콘텐츠를 위한 데이터를 유선 또는 무선으로 송수신할 수 있다.

이 때, 사용자 객체 데이터를 기반으로 사용자의 성향을 분석하고, 사용자의 성향에 상응하는 얼굴 표정 및 전신 모션 중 적어도 하나에 상응하는 아바타를 생성하여 3차원 체험 공간에 출력할 수 있다.

예를 들어, 사용자가 착용형 디스플레이를 착용하고 체험을 시작한 이후 사용자의 움직임에 대한 데이터를 수집하여 사용자의 성향을 분석할 수 있다. 즉, 활동적으로 움직이면서 체험하는 사용자에게는 그에 어울리게 활동적이고 모션이나 제스처가 많은 아바타를 출력할 수 있고, 비교적 차분하게 체험하는 사용자에게는 모션이나 제스처가 크지 않은 아바타를 출력하도록 할 수도 있다.

이 때, 아바타는 사용자가 체험 시나리오에 맞게 체험을 하기 위해 도움을 줄 수 있다. 예를 들어, 동선을 안내하거나 현재 위치에서 제공되고 있는 이벤트에 대한 정보 등을 알려줌으로써 사용자가 체험 시나리오에 의한 다양한 체험을 할 수 있도록 유도할 수 있다.

이 때, 적어도 하나의 특징점에 상응하는 좌표를 일치시키는 방식으로 3차원 가상 공간과 실시간 3차원 가시화 데이터를 정합할 수 있다. 예를 들어, 3차원 가상 공간과 실시간 3차원 가시화 데이터에서 공통되는 특징점에 대한 좌표들을 획득하고, 각각의 좌표들을 일치시키는 방식으로 정합을 수행할 수 있다.

이 때, 좌표를 기반으로 3차원 체험 공간에 3차원 배경 가시화 데이터를 적용하고, 포인트 클라우드 데이터를 기반으로 사람에 상응하는 사람 객체를 3차원 체험 공간에 생성할 수 있다. 즉, 3차원 체험 공간에 배경과 분리하여 실제로 실세계 공간에 위치하는 체험자 및 사용자를 출력하여 보여줄 수 있다.

이 때, 체험 시나리오를 고려하여 3차원 체험 공간을 기반으로 적어도 하나의 햅틱 이벤트를 생성하고, 사용자 움직임을 기반으로 햅틱 이벤트를 실행하는 경우에 복수개의 구조물들을 이용하여 사용자에게 촉각적인 피드백을 제공할 수 있다.

이와 같은 햅틱 이벤트를 제공함으로써, 시각적인 부분에 치중해 있는 가상의 체험에 더불어 사용자가 직접 느낄 수 있는 체감각적인 체험도 제공할 수 있어 체험에 의한 사실적 존재감을 강화시킬 수 있다.

이 때, 사용자의 신체와 햅틱 이벤트를 제공하는 복수개의 구조물들 사이의 피드백이 시각적인 정보와 일치되도록 햅틱 이벤트를 실행시킬 수 있다.

예를 들어, 사용자가 벽화 동굴을 체험하는 체험 시나리오에서는 사용자가 벽화를 만졌을 때에 벽화의 내용이 애니메이션으로 보여지도록 햅틱 이벤트를 생성할 수 있다.

다른 예를 들어, 사용자가 3차원 체험 공간에서 특정 인물에 해당하는 인간형 목조 구조물을 만졌을 경우에 미세하게 움직이도록 햅틱 이벤트를 생성할 수도 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 가상 콘텐츠 제공 방법은 상술한 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장한다.

이와 같은 가상 체험 콘텐츠 제공 방법을 통해. 사용자 간의 시간적, 공간적 제약을 뛰어넘어 원격지에 존재하는 사용자가 동일한 공간에 존재하는 듯한 체험을 제공할 수 있다.

또한, 지능적 아바타와 어울려 실감 상호작용할 수 있는 실제와 가상의 공간이 공존하는 융합형 가상현실 시스템을 제공할 수 있다.

또한, 현실 공간을 콘텐츠에 맞게 자유롭게 구성할 수 있고, 현실 공간에 맞게 가상 공간을 재구성하여 실제와 가상이 공존하는 듯한 체험을 제공할 수도 있다.

도 2 내지 도 7은 본 발명에 따른 체험 공간과 3차원 체험 공간을 통해 가상 체험 콘텐츠를 제공하는 일 예를 나타낸 도면이다.

도 2 내지 도 7을 참조하면, 본 발명에 따른 체험 공간과 3차원 체험 공간을 통해 가상 체험 콘텐츠를 제공하는 것으로, 실제 공간에 구성된 조립형 실제 구조물 프레임들에 의한 동선 구조와 프레임들의 조립 예시를 확인할 수 있다.

예를 들어, 도 2 내지 도 3에 도시된 구조물들에 의한 공간이 본 발명의 일실시예에 따른 체험 공간에 상응할 수 있다. 이 때, 도 2와 같이 복수개의 구조물들을 이용하여 체험 시나리오에 따른 동선을 구성할 수 있다.

따라서, 도 4에 도시된 것처럼 가상 체험 콘텐츠를 이용하는 사용자(400)가 체험 공간에서 복수개의 구조물들에 의해 구성된 동선대로 이동하면서 착용형 디스플레이로(410)는 3차원 체험 공간을 시각적으로 제공받을 수 있다.

이 때, 도 5에 도시된 것과 같이 여러 사용자들이 동시에 체험 공간을 이용할 수 있으며, 각 사용자들 간에 동선의 겹침이 발생하지 않도록 각각의 착용형 디스플레이를 통해 출력되는 3차원 체험 공간에는 다른 사용자들을 가상으로 출력해 줄 수도 있다.

이 때, 도 6과 같이 사용자가 착용형 디스플레이를 착용하고 체험 공간을 이동하는 경우에, 사용자에게는 도 7과 같은 3차원 체험 공간을 시각적으로 디스플레이 해줄 수 있다. 따라서, 사용자는 착용형 디스플레이를 통해 출력되는 3차원 체험 공간을 통해 시각적인 체험을 하면서 동시에 복수개의 구조물들에 의해 느껴지는 공간적 또는 촉각적 체험을 할 수 있어서 실제로 체험하는 공간에 있는 듯한 느낌을 받을 수 있다.

도 8은 본 발명에 따른 가상 체험 콘텐츠를 통해 실세계 공간에 위치하는 다른 사용자를 출력해주는 일 예를 나타낸 도면이다.

도 8을 참조하면, 본 발명에 따른 가상 체험 콘텐츠는 실시간으로 원거리에 위치하는 실세계 공간을 가시화하여 제공하기 때문에, 실제로 사용자와는 원거리에서 실세계 공간을 체험하고 있는 다른 사용자들을 출력해줄 수도 있다.

이 때, 실세계 공간에 위치하는 사용자의 신체에 대한 정보는 포인트 클라우드(Point Cloud) 데이터로 전송되어 3차원 체험 공간에 가시화될 수 있다. 이를 통해 본 발명에 따른 가상 체험 콘텐츠를 체험하는 사용자는 체험 공간이 아닌 원거리에 위치하는 실세계 공간에 자신이 존재하는 듯한 느낌을 다른 사용자와 공유할 수 있다.

예를 들어, 도 8에 도시된 것처럼, 체험 공간에서 착용형 디스플레이를 착용하고 3차원 체험 공간을 시각적으로 체험하는 사용자는 3차원 객체의 형상으로 다른 사용자를 시각적으로 확인할 수 있다.

도 9는 본 발명에 따른 아바타를 제공하는 일 예를 나타낸 도면이다.

도 9를 참조하면, 본 발명에 따른 아바타는 착용형 디스플레이를 착용하고 체험하는 사용자의 성향에 따라서 생성될 수 있다.

예를 들어, 이동이 활발한 사용자일 경우에는 아바타의 얼굴 표정이나 모션 및 제스처도 사용자에 상응하게 밝고 활발하게 표현할 수 있다.

다른 예를 들어, 체험 공간을 천천히 이동하면서 꼼꼼하게 체험하는 사용자일 경우에는 아바타의 얼굴 표정을 차분하게 표현하고, 모션이나 제스처도 크지 않게 나타낼 수도 있다.

이 때, 본 발명에 따른 아바타는 사용자가 체험하는 동안에 체험에 도움을 주거나 체험 시나리오의 진행에 도움이 되는 역할을 수행할 수도 있다.

예를 들어, 사용자의 다음 동선을 안내하거나, 사용자가 체험하고 있는 공간에 대한 설명을 제공할 수도 있다.

도 10은 본 발명에 따른 햅틱 이벤트를 통해 촉각적 피드백을 제공하는 일 예를 나타낸 도면이다.

도 10을 참조하면, 본 발명에 따른 햅틱 이벤트는 사용자가 3차원 체험 공간에 출력되는 가상의 구조물과 동일한 실제 체험 공간에 구비된 구조물을 만지거나 접촉하였을 경우에 실행될 수 있다.

따라서, 본 발명에 따른 가상 체험 콘텐츠에서는 3차원 체험 공간에 출력되는 가상의 구조물과 체험 공간에 위치하는 실제 구조물을 정확히 동기화하고, 시각적, 공간적, 시간적 변화에 상응하게 햅틱 반응을 제시하여 사용자가 느끼는 사실감을 극대화 할 수 있다.

예를 들어, 도 10에 도시된 것과 같이 사용자가 햅틱 이벤트에 상응하는 구조물에 손을 접촉하면, 사용자의 손에 느껴질 수 있는 진동이나 촉각적 피드백을 제공함으로써 사용자가 시각적인 체험뿐만 아니라 촉각적인 체험을 경험하도록 할 수 있다.

도 11 내지 도 19는 본 발명에 따른 체험 공간을 구성하는 복수개의 구조물들의 일 예를 나타낸 도면이다.

도 11 내지 도 19를 참조하면, 본 발명에 따른 체험 공간은 도 11에 도시된 것과 같이 다양한 구조물들로 동선을 생성하는 방식으로 구성될 수 있다.

이 때, 도 11에 포함된 각 구조물들은 사용자가 체험 공간을 이동하면서 체험할 때 보다 사실감을 극대화 해주는 용도로 이용될 수도 있다.

예를 들어, 도 12 내지 도 13에 도시된 것과 같은 모션 플랫폼들은 사용자가 해당 플랫폼으로 이동하거나 만지는 등의 입력과 연동되어 있어서, 입력이 감지되는 경우 유압실린더(1210, 1310)를 통해 특정한 모션으로 움직일 수 있다. 즉, 도 11에 도시된 흔들리는 다리나 절벽 바닥 등에 모션 플랫폼을 설치하면, 사용자들이 해당 위치로 이동하였을 경우에 모션 플랫폼이 움직이면서 사용자에게 보다 감각적인 피드백을 제공할 수 있으며, 이를 통해 사용자는 보다 사실적인 체험을 할 수 있다.

다른 예를 들어, 도 14 내지 도 15에 도시된 이동식 회전형 모듈 타입 프레임들은 사용자가 직접 회전시키거나 또는 체험 시나리오에 따라 회전하도록 설치될 수 있다. 즉, 도 11에 도시된 회전벽과 같은 위치에 이동식 회전형 모듈 타입 프레임들을 설치하면, 사용자가 마치 막혀 있던 벽이 회전하면서 새로운 길이 만들어지는 것과 같은 체험을 하도록 할 수 있다.

또 다른 예를 들어, 도 16 내지 도 19에 도시된 터널 타입 분리형 투명 프레임들은 체험 시나리오에 따라 동굴이나 좁은 공간을 표현하기 위해 설치될 수 있다. 즉, 착용형 디스플레이를 통해 시각적으로만 동굴 체험을 하는 것 보다는 터널 타입 분리형 투명 프레임으로 사용자가 이동하도록 하여 보다 실감나는 체험을 하도록 할 수 있다.

이 때, 도 12 내지 도 19에 도시된 것과 같은 다양한 구조물들은 체험 시나리오에 따라 재배치할 수 있고, 재배치된 경우에는 3차원 체험 공간에 상응하게 자동적으로 정합될 수도 있다.

도 20 내지 도 40은 본 발명에 따른 체험 시나리오의 일 예를 나타낸 도면이다.

도 20 내지 도 40을 참조하면, 본 발명에 따른 체험 시나리오를 통해 체험의 전체적인 스토리나 동선 및 구조물들을 설계할 수 있다.

이 때, 도 20 내지 도 40에서는 진시황릉의 병마용갱 안에서 벌어지는 스토리에 대한 체험 시나리오를 나타내고 있다. 이 때, 사용자는 지하에 있는 미로를 탐험하는 형태의 가상 체험 콘텐츠를 체험할 수 있다.

예를 들어, 지하로 내려가는 병마용갱 열차는 사용자 입력에 따른 모션 플랫폼을 통해 동기화할 수 있으며, 미로 같은 지하석굴의 요소 중 벽, 문, 터널 등은 이동식 회전형 모듈 타입 프레임, 평면형 프레임, 터널 타입 분리형 투명 프레임 등을 배치하여 정합할 수 있다. 또한, 미로를 탐험하는 중에 이벤트적 요소로서 실제로 병마용갱을 체험하고 있는 사용자가 홀로그램의 형태로 특정 장소에 출현할 수도 있다. 또한, 사용자가 벽화를 만질 경우에는 벽이 살아 움직이는 듯이 벽화의 내용이 애니메이션 식으로 출현될 수도 있으며, 이에 따라 햅틱적인 요소도 동기화하여 체험에 있어서 극적인 요소를 극대화 할 수 있다.

도 41은 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 장치를 나타낸 블록도이다.

도 41을 참조하면, 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 장치는 통신부(4110), 생성부(4120), 센서부(4130), 제어부(4140) 및 저장부(4150)를 포함한다.

통신부(4110)는 네트워크와 같은 통신망을 통해 가상 체험 콘텐츠 제공을 위해 필요한 정보 및 데이터를 송수신하는 역할을 할 수 있다. 특히, 본 발명의 일실시예에 따른 통신부(4110)는 실세계 공간에 대한 캡처 이미지나 캡처 이미지를 통해 생성된 포인트 클라우드 데이터를 송수신할 수 있다.

생성부(4120)는 사용자와 원거리에 위치하는 실세계 공간에 대한 실시간 3차원 가시화 데이터를 생성하고, 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험 공간에 상응하게 3차원 가상 공간을 생성한다.

센서부(4130)는 체험 공간에 구비된 복수개의 센서들을 기반으로 체험 공간에서의 사용자 움직임을 측정하여 사용자 객체 데이터를 획득한다.

제어부(4140)는 3차원 가상 공간과 실시간 3차원 가시화 데이터를 정합하여 3차원 체험 공간을 생성하고, 사용자 객체 데이터, 3차원 체험 공간 및 체험 공간을 이용하여 사용자에게 실세계 공간에 상응하는 실시간 체험 콘텐츠를 제공한다.

저장부(4150)는 상술한 바와 같이 본 발명의 일실시예에 따른 가상 체험 콘텐츠 제공 과정에서 발생되는 다양한 정보를 저장한다.

실시예에 따라, 저장부(4150)는 가상 체험 콘텐츠 제공 장치와 독립적으로 구성되어 가상 체험 콘텐츠 제공을 위한 기능을 지원할 수 있다. 이 때, 저장부(4150)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

한편, 가상 체험 콘텐츠 제공 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 가상 체험 콘텐츠 제공 장치를 이용함으로써. 사용자 간의 시간적, 공간적 제약을 뛰어넘어 원격지에 존재하는 사용자가 동일한 공간에 존재하는 듯한 체험을 제공할 수 있다.

이상에서와 같이 본 발명에 따른 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

400: 사용자
410: 착용형 디스플레이
1210, 1310: 유압실린더
4110: 통신부
4120: 생성부
4130: 센서부
4140: 제어부
4150: 저장부

Claims

가상 체험 콘텐츠 제공 장치가, 사용자와 원거리에 위치하는 실세계 공간에 대한 실시간 3차원 가시화 데이터를 생성하는 단계;
상기 가상 체험 콘텐츠 제공 장치가, 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험 공간에 상응하게 3차원 가상 공간을 생성하는 단계;
상기 가상 체험 콘텐츠 제공 장치가, 상기 체험 공간에 구비된 복수개의 센서들을 기반으로 상기 체험 공간에서의 사용자 움직임을 측정하여 사용자 객체 데이터를 획득하는 단계; 및
상기 가상 체험 콘텐츠 제공 장치가, 상기 3차원 가상 공간과 상기 실시간 3차원 가시화 데이터를 정합하여 3차원 체험 공간을 생성하고, 상기 사용자 객체 데이터, 상기 3차원 체험 공간 및 상기 체험 공간을 이용하여 상기 사용자에게 상기 실세계 공간에 상응하는 실시간 가상 체험 콘텐츠를 제공하는 단계
를 포함하고,
상기 제공하는 단계는
상기 체험 시나리오를 고려하여 상기 3차원 체험 공간을 기반으로 적어도 하나의 햅틱 이벤트를 생성하는 단계; 및
상기 사용자 움직임을 기반으로 상기 햅틱 이벤트를 실행하는 경우에 상기 복수개의 구조물들의 움직임을 기반으로 상기 사용자에게 촉각적인 피드백을 제공하는 단계를 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
청구항 1에 있어서,
상기 사용자 객체 데이터, 상기 3차원 체험 공간 및 상기 체험 공간은 시간적, 공간적 및 시각적으로 동기화되는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
청구항 2에 있어서,
상기 제공하는 단계는
상기 사용자가 착용하는 착용형 디스플레이를 통해 상기 3차원 체험 공간을 출력하되, 상기 사용자 객체 데이터를 기반으로 상기 3차원 체험 공간 중 상기 사용자의 위치 및 시선 중 적어도 하나를 고려한 영역을 상기 착용형 디스플레이에 출력하는 단계를 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
청구항 3에 있어서,
상기 제공하는 단계는
상기 사용자 객체 데이터를 기반으로 상기 사용자의 성향을 분석하는 단계; 및
상기 사용자의 성향에 상응하는 얼굴 표정 및 전신 모션 중 적어도 하나에 상응하는 아바타를 생성하여 상기 3차원 체험 공간에 출력하는 단계를 더 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
청구항 1에 있어서,
상기 제공하는 단계는
적어도 하나의 특징점에 상응하는 좌표를 일치시키는 방식으로 상기 3차원 가상 공간과 상기 실시간 3차원 가시화 데이터를 정합하는 단계를 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
청구항 5에 있어서,
상기 실시간 3차원 가시화 데이터를 생성하는 단계는
상기 실세계 공간을 실시간으로 캡처한 이미지에서 배경과 사람을 분리하는 단계; 및
상기 배경에 상응하는 3차원 배경 가시화 데이터를 생성하고, 상기 사람에 상응하는 3차원 사람 가시화 데이터를 포인트 클라우드(Point Cloud) 데이터의 형태로 생성하는 단계를 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
청구항 6에 있어서,
상기 정합하는 단계는
상기 좌표를 기반으로 상기 3차원 체험 공간에 상기 3차원 배경 가시화 데이터를 적용하는 단계; 및
상기 포인트 클라우드 데이터를 기반으로 상기 사람에 상응하는 사람 객체를 상기 3차원 체험 공간에 생성하는 단계를 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
청구항 1에 있어서,
상기 복수개의 구조물들은
인간형 목조 구조물, 평면형 모듈, 이동식 회전형 모듈 타입 프레임, 터널 타입 분리형 투명 프레임 및 상기 사용자 움직임에 따라 움직일 수 있는 수동식 모션 플랫폼과 능동식 모션 플랫폼 중 적어도 하나를 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
삭제
청구항 1에 있어서,
상기 체험 공간은
상기 실세계 공간에 상응하게 설계되는 체험 시나리오에 따라 형태 및 구조를 변경 가능한 것을 특징으로 하는 가상 체험 콘텐츠 제공 방법.
사용자와 원거리에 위치하는 실세계 공간에 대한 실시간 3차원 가시화 데이터를 생성하고, 체험 시나리오를 기반으로 복수개의 구조물들을 이용하여 구성된 체험 공간에 상응하게 3차원 가상 공간을 생성하는 생성부;
상기 체험 공간에 구비된 복수개의 센서들을 기반으로 상기 체험 공간에서의 사용자 움직임을 측정하여 사용자 객체 데이터를 획득하는 센서부; 및
상기 3차원 가상 공간과 상기 실시간 3차원 가시화 데이터를 정합하여 3차원 체험 공간을 생성하고, 상기 사용자 객체 데이터, 상기 3차원 체험 공간 및 상기 체험 공간을 이용하여 상기 사용자에게 상기 실세계 공간에 상응하는 실시간 가상 체험 콘텐츠를 제공하는 제어부
를 포함하고,
상기 제어부는
상기 체험 시나리오를 고려하여 상기 3차원 체험 공간을 기반으로 적어도 하나의 햅틱 이벤트를 생성하고, 상기 사용자 움직임을 기반으로 상기 햅틱 이벤트를 실행하는 경우에 복수개의 구조물들의 움직임을 기반으로 상기 사용자에게 촉각적인 피드백을 제공하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
청구항 11에 있어서,
상기 사용자 객체 데이터, 상기 3차원 체험 공간 및 상기 체험 공간은 시간적, 공간적 및 시각적으로 동기화되는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
청구항 12에 있어서,
상기 제어부는
상기 사용자가 착용하는 착용형 디스플레이를 통해 상기 3차원 체험 공간을 출력하되, 상기 사용자 객체 데이터를 기반으로 상기 3차원 체험 공간 중 상기 사용자의 위치 및 시선 중 적어도 하나를 고려한 영역을 상기 착용형 디스플레이에 출력하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
청구항 13에 있어서,
상기 제어부는
상기 사용자 객체 데이터를 기반으로 상기 사용자의 성향을 분석하고, 상기 사용자의 성향에 상응하는 얼굴 표정 및 전신 모션 중 적어도 하나에 상응하는 아바타를 생성하여 상기 3차원 체험 공간에 출력하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
청구항 11에 있어서,
상기 제어부는
적어도 하나의 특징점에 상응하는 좌표를 일치시키는 방식으로 상기 3차원 가상 공간과 상기 3차원 가시화 데이터를 정합하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
청구항 15에 있어서,
상기 생성부는
상기 실세계 공간을 실시간으로 캡처한 이미지에서 배경과 사람을 분리하고, 상기 배경에 상응하는 3차원 배경 가시화 데이터를 생성하고, 상기 사람에 상응하는 3차원 사람 가시화 데이터를 포인트 클라우드(Point Cloud) 데이터의 형태로 생성하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
청구항 16에 있어서,
상기 제어부는
상기 좌표를 기반으로 상기 3차원 체험 공간에 상기 3차원 배경 가시화 데이터를 적용하고, 상기 포인트 클라우드 데이터를 기반으로 상기 사람에 상응하는 사람 객체를 상기 3차원 체험 공간에 생성하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
청구항 11에 있어서,
상기 복수개의 구조물들은
인간형 목조 구조물, 평면형 모듈, 이동식 회전형 모듈 타입 프레임, 터널 타입 분리형 투명 프레임 및 상기 사용자 움직임에 따라 움직일 수 있는 수동식 모션 플랫폼과 능동식 모션 플랫폼 중 적어도 하나를 포함하는 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.
삭제
청구항 11에 있어서,
상기 체험 공간은
상기 실세계 공간에 상응하게 설계되는 체험 시나리오에 따라 형태 및 구조를 변경 가능한 것을 특징으로 하는 가상 체험 콘텐츠 제공 장치.