KR20170081456A

KR20170081456A - 가상현실 기반 개인형 체험요소 공유 시스템 및 그 방법

Info

Publication number: KR20170081456A
Application number: KR1020160000528A
Authority: KR
Inventors: 김항기; 김기홍; 이기석
Original assignee: 한국전자통신연구원
Priority date: 2016-01-04
Filing date: 2016-01-04
Publication date: 2017-07-12

Abstract

가상현실 기반 개인형 체험요소 공유 시스템 및 그 방법이 개시된다. 일 실시 예에 따른 가상현실 기반 개인형 체험요소 공유방법은, 체험장소에서 개인형 가상현실 데이터 획득장치의 기능에 따라 파노라마 데이터 또는 3D 공간 데이터 방식으로 가상현실 데이터를 획득하는 단계와, 획득된 가상현실 데이터를 네트워크를 통해 가상현실 서버에 전송하여 저장하는 단계와, SNS 브라우저에서 일반 미디어 데이터와 함께 가상현실 데이터를 구분하여 리스트 형태로 표현하는 단계와, 사용자로부터 선택된 가상현실 데이터를 사용자의 가상현실 체험장치의 종류에 따라 구분하여 가상현실 기반 개인형 체험요소를 공유하는 단계를 포함한다.

Description

가상현실 기반 개인형 체험요소 공유 시스템 및 그 방법 {Personal experience sharing system based on virtual reality that supports multi-platform}

본 발명은 가상현실 기술에 관한 것이다.

가상현실(Virtual Reality)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스를 의미한다.

소셜 네트워크 서비스(Social Networking Service: SNS, 이하 SNS라 칭함)는 온라인 상에서 사용자들이 인맥을 새롭게 쌓거나 기존 인맥과의 관계를 강화할 수 있도록 미디어를 공유하는 서비스다.

일 실시 예에 따라, 가상현실에 기반하여 사용자 간에 개인형 체험요소를 공유할 수 있는 가상현실 기반 개인형 체험요소 공유 시스템 및 그 방법을 제안한다.

일 실시 예에 따른 가상현실 기반 개인형 체험요소 공유방법은, 체험장소에서 개인형 가상현실 데이터 획득장치의 기능에 따라 파노라마 데이터 또는 3D 공간 데이터 방식으로 가상현실 데이터를 획득하는 단계와, 획득된 가상현실 데이터를 네트워크를 통해 가상현실 서버에 전송하여 저장하는 단계와, SNS 브라우저에서 일반 미디어 데이터와 함께 가상현실 데이터를 구분하여 리스트 형태로 표현하는 단계와, 사용자로부터 선택된 가상현실 데이터를 사용자의 가상현실 체험장치의 종류에 따라 구분하여 가상현실 기반 개인형 체험요소를 공유하는 단계를 포함한다.

일 실시 예에 따르면, SNS에서 공유하는 미디어 데이터를 텍스트, 사진, 동영상 등의 일반 데이터에서 벗어나 가상현실 데이터를 활용함에 따라 개인형 체험요소 공유로 확장할 수 있다. 이러한 개인형 체험요소는 가상현실 데이터 획득장치의 기능 차이에 따라 구분하여 다양하게 획득할 수 있다. 또한, 별도의 SNS 브라우저를 사용하지 않고도 일반 브라우저에서 함께 가상현실 데이터 리스트를 보고 선택할 수 있다. 나아가, 선택한 가상현실 데이터를 사용자 단말의 기능에 따라 구분하여 표현함으로써 멀티 플랫폼을 지원할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 가상현실 기반 개인형 체험요소 공유 시스템의 구성도,
도 2는 본 발명의 다양한 실시 예에 따른 가상현실 체험장치의 예를 도시한 예시도,
도 3은 본 발명의 다른 실시 예에 따른 가상현실 기반 개인형 체험요소 공유 시스템의 구성도,
도 4는 본 발명의 일 실시 예에 따른 가상현실 기반 개인형 체험요소 공유방법을 도시한 흐름도이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 가상현실 기반 개인형 체험요소 공유 시스템의 구성도이다.

도 1을 참조하면, 가상현실 기반 개인형 체험요소 공유 시스템(1)은 가상현실 데이터 획득장치(100), 가상현실 서버(102), SNS 브라우저(104) 및 가상현실 체험장치(106)를 포함한다.

가상현실 기반 개인형 체험요소 공유 시스템(1)은 SNS를 제공하는 멀티 플랫폼에서 가상현실 데이터를 획득하고 이를 저장, 공유, 브라우징 및 선택하여 최종적으로 가상현실에 기반하여 개인형 체험요소를 사용자 간에 공유할 수 있도록 한다. 이를 위해, 가상현실 데이터 획득장치(100)의 다양한 기능을 고려하여 가상현실 데이터를 획득하고, SNS 서비스에 가상현실 체험요소를 브라우징 및 선택한다. 또한, 가상현실 체험장치(106)의 다양성을 고려하여 멀티 플랫폼 지원형 가상현실 체험을 지원한다.

이하, 도 1을 참조로 하여 가상현실 기반 개인형 체험요소 공유 시스템(1)의 각 구성요소에 대해 상세히 후술한다.

가상현실 데이터 획득장치(100)는 사용자의 체험 장소에서 개인형 가상현실 데이터를 획득한다. 사용자가 일상생활 또는 특별한 경험(여행, 행사 등)을 기록하거나 공유하고 싶은 상황이 발생할 때, 가상현실 데이터 획득장치(100)를 이용해서 가상현실 데이터를 획득한다. 획득되는 가상현실 데이터는 일반적인 정적 2D 사진이나 동영상에서 확장되어, 사용자가 데이터 획득 당시의 느낌을 더욱 더 생생하게 체험할 수 있는 데이터이다. 예를 들어, 가상현실 데이터는 파노라마 가상현실 데이터, 3D 가상현실 공간 데이터이다.

파노라마 가상현실 데이터의 획득 예를 들면, 가상현실 데이터 획득장치(100)의 카메라가 2D 영상만 획득 가능한 경우, 일반 2D 영상을 조금씩 이동하며 연속적으로 찍어 중첩되는 영역을 기반으로 이어 붙여서(Stitching) 360도 파노라마 가상현실 데이터를 획득할 수 있다. 이러한 이어붙이기를 자동으로 해 주거나 여러 개의 카메라를 동시 촬영하여 촬영과 함께 이어붙여 만들어 내는 방식으로 파노라마 가상현실 데이터를 획득할 수 있다.

다수 개의 카메라로 촬영하여 양안 시차를 이용한 입체형태로 데이터를 획득할 수 있다. 이러한 양안 카메라를 이용하면 파노라마 영상 역시 입체로 만들 수 있고, 차후에 가상현실 체험자의 입장에서 입체 파노라마를 체험할 수 있다. 이때, GPS 등을 이용하여 사용자의 전역 위치(Global Position)를 가상현실 데이터 획득장치(100)가 알 수 있다면 이동경로 정보를 같이 획득할 수 있다.

3D 가상현실 공간 데이터의 획득 예를 들면, RGB-D, 즉 깊이(depth)까지 동시 획득이 가능한 센서를 이용하여 3D 가상현실 공간 데이터를 획득할 수 있다. 이러한 공간 데이터는 컬러(color)뿐만 아니라 깊이(depth)를 이용한 3차원 공간(Mesh 등) 데이터를 대응되는 컬러와 함께 획득될 수 있다. 공간 데이터는 한 자리에 머무르며 획득할 수도 있지만, 국소공간의 데이터를 이동하면서 획득하고, 데이터를 연결하여 전체 공간으로 구성할 수도 있다. 3D 가상현실 공간 데이터는 정적 공간뿐만 아니라 움직이는 객체에 대해서도 실시간으로 3D 캡쳐하여 획득할 수 있다. 3D 가상현실 공간 데이터와 함께 사용자의 전역 위치(Global Position)를 알 수 있다면 이동 경로를 같이 획득할 수 있다.

가상현실 서버(102)는 가상현실 데이터 획득장치(100)를 통해 획득된 가상현실 데이터를 저장 및 공유한다. 가상현실 데이터는 네트워크를 통하여 가상현실 서버(102)에 전송되어 가상현실 서버(102)에 저장될 수 있다. 이때 저장될 미디어 데이터가 어떠한 형태의 데이터로 되어 있는지를 파악하고 이를 구분하여 저장한다. 데이터 종류는 앞서 기술한 획득 방식에 의해 결정될 수 있는데, 2D 파노라마 스타일의 가상현실 데이터일 수 있고, 3D 공간 형태의 가상현실 데이터일 수도 있다. 이러한 데이터는 서비스 질과 서버 용량에 따라 압축(손실 또는 무손실 압축)되어 저장되거나, 필요에 따라 품질(영상, 동영상의 해상도, 메쉬 수, 손실 압축시 손실률 등)을 낮춰 저장됨에 따라, 저장소의 용량 부담을 덜 수 있다.

가상현실 서버(102)에 저장된 가상현실 데이터는 SNS 브라우저(104)에 의해서 다른 형태의 미디어(2D 또는 동영상 등)와 함께 리스트 형태로 브라우징된다. 이때, 어떤 것이 가상현실 데이터이고, 어떤 것이 일반 미디어 데이터인지 구분하는 것이 필요하다. 일반 미디어 데이터가 사진이면 사진의 축소 영상(썸네일)을 리스트에 보여주고, 동영상이면 동영상의 초기 대표 프레임을 사진 형태로 보여준 후 가운데에 재생 버튼 형태의 아이콘을 그려주는 형태로 구분되어 있다.

일 실시 예에 따른 SNS 브라우저(104)는 가상현실 데이터를 리스트로 표현할 때, 가상현실 데이터를 대표하여 보여줄 수 있는 스크린 샷(screen shot)을 2D 사진 형태로 보여주고, 그 위에 가상현실 데이터라는 것을 구분할 수 있도록 가상현실 아이콘을 표시하여 다른 미디어 데이터와 구분한다. 가상현실 아이콘은 가상현실 로고 또는 HMD 영상 등 기존의 동영상 재생 버튼과는 다른 형태의 아이콘일 수 있다. 사용자는 SNS 브라우저(104)의 리스트에서 소정의 가상현실 데이터를 선택할 수 있다.

가상현실 체험장치(106)는 사용자로부터 선택된 가상현실 체험요소를 사용자가 체험할 수 있도록 제공한다. 이때, 가상현실 체험장치(106)의 다양한 기능에 따라 체험할 수 있도록 하는 멀티 플랫폼 지원형 가상현실 체험 기술을 제공한다.

도 2는 본 발명의 다양한 실시 예에 따른 가상현실 체험장치의 예를 도시한 예시도이다.

도 1 및 도 2를 참조하면, 가상현실 체험장치(106)는 HMD(106-1), 프로젝션 월(106-2), 모바일 단말(106-3), PC(106-4), TV(106-5) 등일 수 있다.

HMD(Head Mounted Display)(106-1)는 일반적으로 두 가지 방식(2D 파노라마 방식 및 3D 공간 렌더링 방식)의 가상현실 가시화 모두를 지원하므로, 입력된 데이터의 종류에 따라서 재생한다. HMD가 아닌 다른 경우에도 각 디스플레이의 특성에 따라 데이터를 표현할 수 있다. HMD가 위치이동이 없을 경우 제자리에서 방향만 바꿔 보여줄 수 있고, 획득시 저장된 이동 경로가 저장되었다면 이를 따라서 이동하며 체험할 수 있다.

프로젝션 월(projection wall)(106-2)은 벽면에 영상을 출력하는 방식이다. 예를 들어, 일반 가정에서 1개 이상의 벽면에 화면을 출력하여 가상현실 데이터의 체험이 가능하다. 2D 파노라마 데이터는 구면 환경 맵핑(Spherical Environment Mapping)을 이용한 렌더링으로 표현될 수 있다. 3D 공간 데이터는 사용자의 위치에 동기화되는 3D 렌더링 카메라를 이용하여 영상 출력될 수 있다. 사용자의 머리 또는 눈의 위치/방향에 따라서 가상현실 데이터의 렌더링 카메라의 위치와 방향을 조절하여 줌으로써 사용자의 몰입감을 높일 수 있다.

스마트폰과 같은 모바일 단말(106-3)을 이용하여 SNS를 이용하는 경우, 모바일 단말(106-3)이 HMD 틀에 장착되어 가상현실 기능을 지원하면, 사용자가 HMD 출력 방식과 동일하게 가상현실을 체험할 수 있다. 단순히 액정 화면만 있을 경우 내부의 자이로스코프 기능과 가속센서 기능을 이용하여 사용자가 보고 있는 방향에 따라 구면 환경 맵핑 방식 및 3D 공간 렌더링 방식으로 표현함에 따라, 사용자가 실감나는 영상을 체험할 수 있다.

사용자가 PC(106-4)나 TV(106-5)로 SNS를 이용하는 경우, 방향을 제어할 수 있는 TV 리모컨을 이용하여 카메라를 제어하면서, 구면 환경 맵핑 방식을 이용한 2D 파노라마 렌더링 화면 또는 3D 공간 렌더링 화면을 볼 수 있다. 이러한 방향 제어 기능이 없다면 단순 회전, 랜덤 워킹, 또는 초기 획득시 저장된 이동 경로를 따라서 화면을 표현할 수 있다. 입체 파노라마/3D 공간 방식의 체험 데이터는 입체 TV를 통해 양쪽 눈의 위치에 따라 카메라를 조절하여 출력함으로써 사용자에 입체감을 줄 수 있다.

도 3은 본 발명의 다른 실시 예에 따른 가상현실 기반 개인형 체험요소 공유 시스템의 구성도이다.

도 3을 참조하면, 가상현실 기반 개인형 체험요소 공유 시스템(1)은 사용자 단말(108)과 가상현실 서버(102)를 포함한다. 사용자 단말(108)은 도 1을 참조로 하여 전술한 가상현실 데이터 획득장치(100), SNS 브라우저(104) 및 가상현실 체험장치(106) 중 적어도 일부를 포함한다. 이때, 하나의 물리적 장치에 위치할 수 있고, 소프트웨어적으로 해당 기능을 수행할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 가상현실 기반 개인형 체험요소 공유방법을 도시한 흐름도이다.

도 1 및 도 4를 참조하면, 가상현실 데이터 획득장치(100)가 체험장소에서 개인형 가상현실 데이터를 획득한다(400). 이때, 개인형 가상현실 데이터 획득장치(100)의 기능에 따라 파노라마 데이터 또는 3D 공간 데이터 방식으로 가상현실 데이터를 획득할 수 있다.

이어서, 가상현실 데이터 획득장치(100)는 획득된 가상현실 데이터를 네트워크를 통해 가상현실 서버(102)에 전송하여 저장한다(410). 이어서, SNS 브라우저(104)에서 일반 미디어 데이터와 함께 가상현실 데이터를 구분하여 리스트 형태로 표현한다(420). 그리고 사용자로부터 선택된 가상현실 데이터를 사용자의 가상현실 체험장치(106)의 종류에 따라 구분하여 가상현실 기반 개인형 체험요소를 공유한다(430).

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1: 가상현실 기반 개인형 체험요소 공유 시스템
100: 가상현실 데이터 획득장치
102: 가상현실 서버
104: SNS 브라우저
106: 가상현실 체험장치
106-1: HMD
106-2: 프로젝션 월
106-3: 모바일 단말
106-4: PC
106-5: TV
108: 사용자 단말

Claims

체험장소에서 개인형 가상현실 데이터 획득장치의 기능에 따라 파노라마 데이터 또는 3D 공간 데이터 방식으로 가상현실 데이터를 획득하는 단계;
획득된 가상현실 데이터를 네트워크를 통해 가상현실 서버에 전송하여 저장하는 단계;
소셜 네트워크 서비스 브라우저에서 일반 미디어 데이터와 함께 가상현실 데이터를 구분하여 리스트 형태로 표현하는 단계; 및
사용자로부터 선택된 가상현실 데이터를 사용자의 가상현실 체험장치의 종류에 따라 구분하여 가상현실 기반 개인형 체험요소를 공유하는 단계;
를 포함하는 것을 특징으로 하는 가상현실 기반 개인형 체험요소 공유방법.