KR20180120456A - 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법 - Google Patents

Abstract

본 발명의 일 실시예는, 체험 공간 또는 몰입 가시화 영상 장치에 위치한 적어도 하나 이상의 센서들로부터 상기 체험 공간과 현장 사용자에 상응하는 센서 정보를 수집하는 정보 수집부; 상기 센서 정보를 이용하여 상기 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성하는 현실-가상 정합부; 상기 현실-가상 연계 콘텐츠를 파노라마 영상으로 렌더링하고, 상기 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링하는 영상 렌더링부; 및 사용자들에 의한 상호작용의 효과를 반영하는 상호작용 처리부를 포함하는, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치를 제공한다.

Description

파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법 {APPARATUS FOR PROVIDING VIRTUAL REALITY CONTENTS BASED ON PANORAMIC IMAGE AND METHOD FOR THE SAME}

본 발명은 현실 공간과 가상 공간이 융합된 가상현실 체험 공간에서의 콘텐츠 체험을 파노라마 영상을 기반으로 원격 체험을 제공하는 장치 및 그 방법에 관한 것이다.

지금까지 360도 파노라마 영상들은 다수의 카메라로부터 취득된 영상들을 조합하여 생성하는 실사 기반이 대부분이었다. 현재 VR 산업의 발전에 따라 HMD(Head Mount Display)가 점차 보급되면서 방송 및 영화 등에서 다양하게 활용 예가 등장하고 있는 상황이다. 이와 함께 실사가 아닌 모델링으로 생성된 가상 콘텐츠만으로 360도 영상을 추출하여 활용하는 시도가 이루어져 왔으나, 가상 콘텐츠만을 영상에 담아 제공하는 것은 사용자가 직접 콘텐츠를 구동하여 체험하는 것에 비하여 활용도가 높지는 않았다.

원격으로 가상현실 체험을 체험하기 위한 사례로는 블루 스크린으로 구성된 실 공간에서의 체험과 가상 콘텐츠를 크로마키 처리를 이용한 합성으로 영상을 제작하여 사용자의 체험 내용을 설명하기 위해 활용하는 것을 들 수 있다.

가상현실 콘텐츠를 체험 중인 사용자 즉, HMD를 착용하고 행동하고 있는 사용자의 체험 내용은 해당 사용자 외에는 외부에서 관찰할 수 없기 때문에 콘텐츠를 홍보하거나 체험을 공유하기는 어렵다. 이를 확장하여 현실-가상 정합 환경에서의 체험의 경우 대용량의 현실 공간 정보를 함께 전송해야 하여 더욱 공유가 쉽지 않았으며, 복잡한 가상현실 체험 시스템이 갖추어진 환경 내에서만 사용자가 가상현실 콘텐츠를 체험할 수 있었다.

이러한 문제들을 극복하여 원격으로 가상현실 콘텐츠를 체험하기 위해서는 정합된 현실 및 가상 콘텐츠를 기반으로 360도 파노라마 영상을 생성하고, 임의의 시점에서 가상현실 콘텐츠를 제공할 필요가 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

국내 등록특허공보 제10-1637553호

본 발명의 목적은 가상현실 콘텐츠의 현장감을 높이기 위해 가상 콘텐츠와 실사 콘텐츠를 합성하여 보다 사실적인 간접 체험이 가능하도록 하는 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법을 제공하는 것이다.

또한, 본 발명의 목적은 파노라마 영상 기반으로 현실 공간과 가상 공간이 융합된 가상현실 콘텐츠를 제공하고 공유하여 상호작용할 수 있도록 하는 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법을 제공하는 것이다.

본 발명의 일 실시예는, 체험 공간 또는 몰입 가시화 영상 장치에 위치한 적어도 하나 이상의 센서들로부터 상기 체험 공간과 현장 사용자에 상응하는 센서 정보를 수집하는 정보 수집부; 상기 센서 정보를 이용하여 상기 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성하는 현실-가상 정합부; 상기 현실-가상 연계 콘텐츠를 파노라마 영상으로 렌더링하고, 상기 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링하는 영상 렌더링부; 및 사용자들에 의한 상호작용의 효과를 반영하는 상호작용 처리부를 포함하는, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치를 제공한다.

이때, 상기 영상 렌더링부는 상기 몰입 가시화 영상 장치에서 출력하기 위한 상기 현장 사용자의 시점에 상응하는 체험 영상과 원격 사용자들에 공유하기 위한 공유 영상들을 렌더링할 수 있다.

이때, 상기 영상 렌더링부는 상기 체험 영상 또는 상기 공유 영상들에 중에서 시점 변경 요청이 발생한 대상 영상을, 상기 파노라마 영상을 이용하여 상기 시점 변경 요청에 상응하는 변경될 시점에 따라 렌더링할 수 있다.

이때, 상기 영상 렌더링부는 상기 현장 사용자 위치로부터 일정 거리 이내에 위치하거나 별도의 인식 및 추적이 이루어지는 현실-가상 연계 객체들은 실사 객체들로 렌더링할 수 있다.

이때, 상기 영상 렌더링부는 상기 실사 객체들로 렌더링할 때, 상기 출력 영상들에 상응하는 시점들로부터 가까운 순서대로 상기 센서 정보의 비중을 달리 반영할 수 있다.

이때, 상기 영상 렌더링부는 외부 서버군 자원을 이용하여 분산 처리를 통해 상기 파노라마 영상으로부터 상기 공유 영상들을 렌더링할 수 있다.

이때, 상기 현실-가상 정합부는 상기 현장 사용자에 상응하는 현장 사용자 위치를 계산하고, 상기 현장 사용자 위치를 기반으로 상기 센서 정보로부터 객체들을 추출하여 상기 가상 콘텐츠와 매핑할 수 있다.

이때, 상기 현실-가상 정합부는 상기 센서 정보로부터 상기 현장 사용자 위치로부터 일정 거리 이내의 객체들을 추출하여 상기 가상 콘텐츠와 매핑할 수 있다.

이때, 상기 현실-가상 정합부는 상기 체험 공간을 단일 좌표계에 매핑하고 상기 가상 콘텐츠와 매핑할 수 있다.

본 발명의 다른 일 실시예는, 체험 공간 또는 몰입 가시화 영상 장치에 위치한 적어도 하나 이상의 센서들로부터 상기 체험 공간과 현장 사용자에 상응하는 센서 정보를 수집하는 단계; 상기 센서 정보를 이용하여 상기 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성하는 단계; 상기 현실-가상 연계 콘텐츠를 파노라마 영상으로 렌더링하고, 상기 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링하는 단계; 및 사용자들에 의한 상호작용의 효과를 반영하는 단계를 포함하는, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법을 제공한다.

이때, 상기 출력 영상들을 렌더링하는 단계는 상기 몰입 가시화 영상 장치에서 출력하기 위한 상기 현장 사용자의 시점에 상응하는 체험 영상을 렌더링하는 단계; 및 원격 사용자들에 공유하기 위한 공유 영상들을 렌더링하는 단계를 포함할 수 있다.

이때, 상기 출력 영상들을 렌더링하는 단계는 상기 체험 영상 또는 상기 공유 영상들에 중에서 시점 변경 요청이 발생한 대상 영상을, 상기 파노라마 영상을 이용하여 상기 시점 변경 요청에 상응하는 변경될 시점에 따라 렌더링하는 단계를 더 포함할 수 있다.

이때, 상기 출력 영상들을 렌더링하는 단계는 상기 현장 사용자 위치로부터 일정 거리 이내에 위치하거나 별도의 인식 및 추적이 이루어지는 현실-가상 연계 객체들은 실사 객체들로 렌더링할 수 있다.

이때, 상기 출력 영상들을 렌더링하는 단계는 상기 실사 객체들로 렌더링할 때, 상기 출력 영상들에 상응하는 시점들로부터 가까운 순서대로 상기 센서 정보의 비중을 달리 반영할 수 있다.

이때, 상기 출력 영상들을 렌더링하는 단계는 외부 서버군 자원을 이용하여 분산 처리를 통해 상기 파노라마 영상으로부터 상기 공유 영상들을 렌더링할 수 있다.

이때, 상기 현실-가상 연계 콘텐츠를 생성하는 단계는 상기 현장 사용자에 상응하는 현장 사용자 위치를 계산하는 단계; 및 상기 현장 사용자 위치를 기반으로 상기 센서 정보로부터 객체들을 추출하여 상기 가상 콘텐츠와 매핑하는 단계를 포함할 수 있다.

이때, 상기 현실-가상 연계 콘텐츠를 생성하는 단계는 상기 센서 정보로부터 상기 현장 사용자 위치로부터 일정 거리 이내의 객체들을 추출하여 상기 가상 콘텐츠와 매핑할 수 있다.

이때, 상기 현실-가상 연계 콘텐츠를 생성하는 단계는 상기 체험 공간을 단일 좌표계에 매핑하고 상기 가상 콘텐츠와 매핑할 수 있다.

본 발명의 다른 일 실시예는, 체험 공간에 설치된 센서들; 상기 체험 공간에 설치된 센서들로부터 상기 체험 공간과 상기 현장 사용자에 상응하는 센서 정보를 수집하고, 상기 센서 정보를 이용하여 상기 체험 공간과 상기 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성하고, 상기 현실-가상 연계 콘텐츠를 파노라마 영상으로 렌더링하고, 상기 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링하고, 사용자들에 의한 상호작용의 효과를 반영하는 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치; 및 상기 출력 영상들 중에서 상기 현장 사용자에 상응하는 체험 영상을 출력하는 몰입 가시화 영상 장치를 포함하는, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 시스템을 제공한다.

이때, 상기 몰입 가시화 영상 장치는 하나 이상의 센서들을 포함하고, 상기 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치는 상기 몰입 가시화 영상 장치에 포함된 상기 센서들로부터 정보를 수집하여 상기 현실-가상 연계 콘텐츠를 생성할 때 이용할 수 있다.

본 발명에 따르면, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법에 의해, 가상현실 콘텐츠의 현장감을 높이기 위해 가상 콘텐츠와 실사 콘텐츠를 합성함으로써, 보다 사실적이고 현장감있는 간접 체험이 가능하다.

또한, 본 발명은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법에 의해, 파노라마 영상 기반으로 현실 공간과 가상 공간이 융합된 가상현실 콘텐츠를 제공하고 공유하여 상호작용할 수 있도록 함으로써, 여러 사람들이 가상현실 콘텐츠를 공유하여 함께 체험하고 상호작용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 시스템(1)의 구성을 나타낸 도면이다.
도 2는 도 1에 도시된 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)의 일 예를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법을 나타낸 동작 흐름도이다.
도 4는 도 3에 도시된 가상 연계 콘텐츠를 생성하는 단계(S303)의 일 예를 나타낸 동작 흐름도이다.
도 5는 도 3에 도시된 출력 영상들을 렌더링하는 단계(S307)의 일 예를 나타낸 동작 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성되어 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 시스템(1)의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 시스템(1)에서 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 체험 공간 센서들(210) 및 몰입 가시화 영상 장치(220)와 상호 연결된다.

또한, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 시스템(1)에서 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 추가적으로 외부 서버군(230)과 상호 연결될 수 있다.

본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 가상현실 콘텐츠를 체험할 체험 공간에 설치된 체험 공간 센서들(210)로부터 체험 공간에 상응하는 센서 정보를 수집하거나 몰입 가시화 영상 장치(220)에 설치된 센서들(225)로부터 체험 공간에 상응하는 센서 정보를 수집하고, 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 정합을 실시하고, 정합된 공간을 360도 파노라마 영상으로 생성하여 출력하기 위한 시점에 따른 출력 영상들을 렌더링하고, 출력 영상들에 대해 현장 사용자 또는 원격 사용자의 상호작용에 의한 효과를 반영하여 몰입 가시화 영상 장치(220)에서 출력되도록 하는 것을 특징으로 한다.

여기서, 체험 공간은 가상현실 콘텐츠를 체험하기 위한 공간으로 내부에 체험 공간 센서들(210)가 설치되어 있으며, 체험 공간 내부에 존재하는 객체들과 현장 사용자는 가상 콘텐츠와 매핑된다.

이때, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 체험 공간 센서들(210)과 몰입 가시화 영상 장치(220)에 설치된 센서들(225)로부터 수집한 센서 정보들을 조합하여 체험 공간과 현장 사용자에 상응하는 정보를 획득할 수 있다.

선택적 실시예에서, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 파노라마 영상으로부터 몰입 가시화 영상 장치에서 출력하기 위한 현장 사용자의 시점에 상응하는 체험 영상과 원격 사용자들에 공유하기 위한 공유 영상들을 포함하는 출력 영상들을 렌더링할 수 있다.

예컨대, 현장 사용자는 몰입 가시화 영상 장치를 이용하여 자신의 위치와 시점에 따른 출력 영상을 제공 받고, 원격 사용자들은 현장 사용자가 제공 받는 출력 영상과 동일한 출력 영상뿐만 아니라 여러 위치와 시점에 따른 상이한 출력 영상들을 제공 받을 수 있다.

이에 따라, 현장 사용자와 원격 사용자들마다 각각 상이한 출력 영상을 제공 받아 가상현실 콘텐츠를 체험할 수 있다.

선택적 실시예에서, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 출력 영상들 중에서 시점 변경 요청이 발생한 대상 영상에 대해서, 파노라마 영상을 이용하여 시점 변경 요청에 상응하는 변경될 시점에 따라 대상 영상을 렌더링할 수 있다.

예컨대, 현장 사용자가 자신의 위치와 시점에 따른 1인칭 체험 영상을 제공받고 있었지만, 3인칭 시점으로 변환하기 위한 시점 변경 요청에 따라 체험 영상의 시점을 3인칭으로 변경할 수 있다. 또한, 원격 사용자가 특정 시점에 따른 공유 영상을 제공받고 있었지만, 시점 변경 요청에 따라 공유 영상의 시점을 시점 변경 요청에 상응하는 시점으로 변경할 수 있다.

즉, 파노라마 영상을 이용함에 따라 출력 영상들에 대해서 자유로운 시점 변환이 가능하므로 사용자들에 보다 자유도 높은 가상현실 콘텐츠를 제공할 수 있다. 또한, 원격 사용자들에 제공되는 공유 영상들이 현장 사용자에 제공되는 체험 영상과 동일하도록 강제되지 않으므로 더욱 자유도 높은 가상현실 콘텐츠의 체험 및 활용이 가능하다.

선택적 실시예에서, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 현장 사용자에 상응하는 위치를 계산하고, 그 위치를 기반으로 센서 정보로부터 객체들을 추출하여 가상 콘텐츠와 매핑할 수 있다.

이때, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 센서 정보로부터 현장 사용자에 상응하는 위치로부터 일정 거리 이내의 객체들을 추출하여 가상 콘텐츠와 매핑할 수 있다.

이때, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 센서 정보를 이용하여 체험 공간을 단일 좌표계로 매핑하고, 체험 공간을 가상 콘텐츠와 매핑할 수 있다.

이에 따라, 체험 공간에 있는 객체와 가상 콘텐츠를 매핑할 때, 현장 사용자를 기준으로 매핑하여 정확도를 높이고 불필요한 연산을 줄여 효율을 높일 수 있다.

선택적 실시예에서, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 출력 영상들을 렌더링할 때 현장 사용자에 상응하는 위치로부터 인접하거나 별도의 인식 및 추적이 이루어지는 현실-가상 연계 객체들을 실사 객체들로 렌더링할 수 있다.

이때, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 실사 객체들로 렌더링할 때, 출력 영상들에 상응하는 시점들로부터 가까운 순서대로 센서 정보의 비중을 달리 반영하여 렌더링할 수 있다.

이에 따라, 출력 영상들에 포함된 현실-가상 연계 객체들 중에서 현장 사용자의 주요 관심사가 될 수 있는 객체들을 실사 객체들로 렌더링하여, 보다 실감나고 생동감 넘치는 가상현실 콘텐츠 체험 환경을 제공할 수 있다. 또한, 각 출력 영상들에 상응하는 시점에 가까운 순서대로 센서 정보의 비중을 달리 반영함에 따라 실사 객체들의 품질을 높일 수 있다.

선택적 실시예에서, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 외부 서버군(230)의 자원을 이용하여 분산 처리를 통해 파노라마 영상으로부터 공유 영상들을 렌더링할 수 있다.

예컨대, 체험 영상은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)의 자원을 이용하여 렌더링하고, 공유 영상들은 외부 서버군(230)의 자원을 이용하여 렌더링할 수 있다.

이에 따라, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)가 과부화되는 것을 방지하고 다수의 공유 영상들을 동시에 렌더링할 수 있다.

체험 공간 센서들(210)은 가상현실 콘텐츠를 제공하기 위한 체험 공간에 설치된 센서들을 의미한다.

이때, 센서들은 체험 공간의 구조를 고려하여 현장 사용자에 의한 음영이 적고 넓은 영역의 정보를 획득하고 표현할 수 있는 위치에 설치될 수 있다.

예컨대, 체험 공간 센서들(210)은 카메라, 깊이 카메라, 깊이 센서, LIDAR(Light Detection and Ranging) 등을 포함할 수 있다.

몰입 가시화 영상 장치(220)는 현장 사용자에게 현실-가상 연계 콘텐츠를 몰입 가시화하여 3차원 렌더링 혹은 360도 파노라마 영상을 제공하기 위한 장치를 의미한다.

예컨대, 몰입 가시화 영상 장치(220)는 헤드 마운트 디스플레이(Head Mount Display)일 수 있다.

이때, SLAM(Simultaneous Localization and Mapping) 기반으로 콘텐츠 활용을 위하여 몰입 가시화 영상 장치(220)에 센서들(225)가 설치되어 있을 수 있다.

예컨대, 몰입 가시화 영상 장치(220)에 설치된 센서들(225)은 카메라, 깊이 카메라, 깊이 센서, LIDAR 등을 포함할 수 있다.

외부 서버군(230)은 영상 렌더링 분산 처리를 위한 연산 자원을 제공하는 장치를 의미한다.

예컨대, 외부 서버군(230)은 다수의 통상적인 컴퓨터들일 수 있다.

이에 따라, 현실 공간과 가상 공간이 융합된 가상현실 체험 공간에서의 콘텐츠 체험을 실사 획득 정보를 이용하여 보다 현장감있게 만들 수 있으며, 현장 사용자 외에 원격지에 위치하는 원격 사용자들에게도 체험 내용을 전달할 수 있으며, 단순한 형태의 상호작용까지 가능하도록 한다.

본 발명을 통해 네트워크를 통해 공간적 제한을 초월하여 다수의 사람들에게 원격 체험을 제공하거나 상호작용할 수 있도록 제공하여 원격 협업, 원격지 실감 체험, VR 방송, 콘텐츠 홍보 등에 다양하게 활용이 가능해진다.

또한, VR 콘텐츠를 다양한 형태로 파생시켜 보다 다양하게 활용할 수 있는 방법을 제공하는 높은 산업적 파급효과도 기대된다.

도 2는 도 1에 도시된 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)의 일 예를 나타낸 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)는 제어부(110), 통신부(120), 메모리(130), 정보 수집부(140), 현실-가상 정합부(150), 영상 렌더링부(160) 및 상호작용 처리부(170) 등을 포함한다.

상세히, 제어부(110)는 일종의 중앙처리장치로서 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 과정 전체를 제어한다. 즉, 제어부(110)는 정보 수집부(140), 현실-가상 정합부(150), 영상 렌더링부(160) 및 상호작용 처리부(170) 등을 제어하여 다양한 기능을 제공할 수 있다.

여기서, 제어부(110)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신부(120)는 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)와 체험 공간 센서들(210), 몰입 가시화 영상 장치(220) 및 외부 서버군(230) 간의 송수신 신호를 전송하는데 필요한 통신 인터페이스를 제공한다.

여기서, 통신부(120)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(130)는 제어부(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

정보 수집부(140)는 가상현실 콘텐츠가 표현되는 체험 공간에 설치된 센서들(210) 또는 몰입 가시화 영상 장치(220)에 설치된 센서들(225) 중 적어도 하나 이상으로부터 체험 공간과 현장 사용자에 상응하는 센서 정보를 수집한다.

예컨대, 센서 정보는 카메라로부터 수집된 영상 정보, 깊이 카메라로부터 수집된 깊이 영상 정보, 깊이 센서로부터 수집된 깊이 정보, LIDAR로부터 수집된 LIDAR 정보 등을 포함할 수 있다.

이때, SLAM 기반으로 콘텐츠가 운영되는 경우에는 체험 공간 내에서 센서가 획득하는 정보를 기준으로 업데이트를 실시하며, 센싱이 되지 않는 범위는 캐쉬된 정보를 이용하여 처리할 수 있다.

이를 통해, 체험 공간 내의 다양한 변화를 감지하여 콘텐츠에 반영하기 위한 입력으로 사용할 수 있다.

현실-가상 정합부(150)는 센서 정보를 이용하여 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성한다.

이때, 현실-가상 정합부(150)는 현장 사용자에 상응하는 현장 사용자 위치를 계산하고, 현장 사용자 위치를 기반으로 상기 센서 정보로부터 객체들을 추출하여 상기 가상 콘텐츠와 매핑할 수 있다.

여기서, 센서 정보를 이용하여 취득 되는 정보 중 대표적인 것은 현장 사용자의 시점을 구하기 위한 현장 사용자에 상응하는 현장 사용자 위치 정보이며, 현장 사용자 위치 정보는 몰입 영상 생성을 위한 가장 기본이 되는 정보이다.

예컨대, 현장 사용자 위치는 마커나 이미지 패턴, 칼라 마킹, 수광부 등을 이용하여 두 개 이상의 센서로부터의 수집된 정보를 기반으로 계산될 수 있다. 이는, 컴퓨터 비전에서 활용되는 다양한 패턴 기반의 연관점 분석에 기반하여 수행되거나 여러 개의 발광부에서 방출한 신호를 수광부가 획득하여 삼각 측량을 실시하는 방식으로 구현될 수 있다.

이때, 현실-가상 정합부(150)는 센서 정보로부터 현장 사용자 위치로부터 일정 거리 이내의 객체들을 추출하여 가상 콘텐츠와 매핑할 수 있다.

이는, 현장 사용자의 신체를 포함하여 현장 사용자의 근거리에 존재하는 객체들의 3차원 획득 정보와 관련해서, 체험 공간 내의 센서들(도 1의 210 참조)로부터 확보된 점 구름(Point Cloud)에서 현장 사용자 위치 정보를 이용하여 인접한 객체들만을 추출하여 활용할 수 있다.

이때, 현실-가상 정합부(150)는 체험 공간을 단일 좌표계에 매핑하고, 체험 공간을 가상 콘텐츠와 매핑할 수 있다.

이를 위하여 다수의 센서들에 대해 하나의 체험공간 내에서 각각의 센서들의 로컬 좌표계들을 찾아내고 켈리브레이션하여 여러 개의 센서들의 정보들을 연계하여 활용할 수 있도록, 체험 이전에 사전 처리를 통한 설치가 필요할 수 있다. 이때, 영상 기반의 센서들을 이용하는 경우에는 핀홀 카메라 모델을 이용하여 각 카메라의 intrinsic 파라메터와 extrinsic 파라메터를 구해 이를 조합할 수 있다.

그리고, 제작된 가상 체험 콘텐츠 내의 세 개 이상의 매핑 객체들에 부가정보를 부여하고 체험 공간 내에서 획득된 일치점을 찾아 일치시키는 형태로서, 정합을 위한 세 개 이상의 공간 특징의 일치를 통하여 체험 공간과 가상 콘텐츠를 매핑할 수 있다.

영상 렌더링부(160)는 현실-가상 연계 콘텐츠를 360도 파노라마 영상으로 렌더링하고, 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링한다. 즉, 현실-가상 정합부(150)에서 생성된 현실-가상 연계 콘텐츠를 360도 파노라마 영상으로 렌더링하고, 360도 파노라마 영상을 이용하여 3차원 영상으로 렌더링을 실시하여 사용자에게 제공할 수 있다.

이때, 파노라마 영상 생성 시점에서 양안 영상을 제공하기 위해 눈의 위치에 맞도록 가상의 카메라를 360도를 커버하도록 나누고 여러 번 회전시켜 렌더링된 영상들을 취득하고, 이를 조합하여 파노라마를 생성할 수 있다. 그리고, 양안이므로 좌/우안 각각을 위해 이를 2회 실시할 수 있다.

여기서, 기존의 정합된 콘텐츠에서는 현실 세계 정보로 얻어낸 객체들의 표현은 대부분 3D 아바타를 생성한 후 센서에서 들어온 정보를 따라 객체들를 조작하는 방법을 이용해 왔는데, 이는 실사 영상이 아니므로 현장감 및 사실감이 떨어진다. 따라서 본 발명에서는 다수의 센서에서 들어온 정보를 결합하여 취득된 점 구름과 칼라 정보를 이용하여 3차원 모델을 생성하고, 이를 현실-가상 연계 콘텐츠와 혼합하여 합성하는 방식으로 보다 높은 현장감을 부여할 수 있다.

그리고, 콘텐츠를 정합하는데 있어서 실사 기반 3차원 모델도 깊이 정보가 있기 때문에 가상 콘텐츠와 자연스럽게 가려짐 현상이 발생하게 되고, 부분적인 가려짐 가능 여부는 콘텐츠에 따라 정의하여 제공할 수 있다.

이때, 영상 렌더링부(160)는 몰입 가시화 영상 장치(도 1의 220 참조)에서 출력하기 위한 현장 사용자의 시점에 상응하는 체험 영상과 원격 사용자들에 공유하기 위한 공유 영상들을 렌더링할 수 있다.

예컨대, 영상 렌더링부(160)에서 렌더링된 체험 영상과 공유 영상들을 이용하여, 현장 사용자는 몰입 가시화 영상 장치(도 1의 220 참조)를 이용하여 자신의 위치와 시점에 따른 출력 영상을 제공 받도록 하고, 원격 사용자들은 현장 사용자가 제공 받는 출력 영상과 동일한 출력 영상뿐만 아니라 여러 위치와 시점에 따른 상이한 출력 영상들을 제공 받도록 할 수 있다.

즉, 원격 사용자들은 현장 사용자에 제공되는 체험 영상과 동일한 공유 영상 영상을 제공 받을 수도 있지만, 체험 영상과 상이한 공유 영상들을 제공 받을 수도 있다.

이때, 영상 렌더링부(160)는 체험 영상 또는 공유 영상들 중에서 시점 변경 요청이 발생한 대상 영상에 대해서, 파노라마 영상을 이용하여 시점 변경 요청에 상응하는 변경될 시점에 따라 대상 영상을 렌더링할 수 있다. 즉, 기본적으로 체험중인 현장 사용자의 1인칭 시점에서 영상을 생성할 수 있지만 가상 카메라의 위치를 변경하여 임의의 시점에서도 영상 생성이 가능하다.

예컨대, 현장 사용자가 자신의 위치와 시점에 따른 1인칭 체험 영상을 제공받고 있었지만, 3인칭 시점으로 변환하기 위한 시점 변경 요청에 따라 체험 영상의 시점을 3인칭으로 변경한 체험 영상을 렌더링할 수 있다. 또한, 원격 사용자가 특정 시점에 따른 공유 영상을 제공받고 있었지만, 시점 변경 요청에 따라 공유 영상의 시점을 시점 변경 요청에 상응하는 시점으로 변경한 공유 영상을 렌더링할 수 있다.

이때, 영상 렌더링부(160)는 현장 사용자 위치로부터 일정 거리 이내에 위치하거나 별도의 인식 및 추적이 이루어지는 현실-가상 연계 객체들은 실사 객체들로 렌더링할 수 있다. 그리고, 그 외의 객체들은 가상 콘텐츠로 렌더링할 수 있다.

여기서, 정합된 가상 콘텐츠 내에서 변화가 없는 배경 객체들로 판단된 것들은 현실-가상 정합에 있어 가상 콘텐츠 정보를 반영할 수 있다.

이때, 영상 렌더링부(160)는 실사 객체들로 렌더링할 때, 출력 영상들에 상응하는 시점들로부터 가까운 순서대로 상기 센서 정보의 비중을 달리 반영할 수 있다.

즉, 여러 개의 센서들로부터 가장 최적의 합성 영상을 얻기 위해서 파노라마 제공 시점 위치와 인접한 센서 정보들을 우선적으로 반영하여 실사 객체 영상의 품질을 향상시킬 수 있다.

이때, 영상 렌더링부(160)는 외부 서버군(도 1의 230 참조)의 자원을 이용하여 분산 처리를 통해 파노라마 영상으로부터 공유 영상들을 렌더링할 수 있다.

즉, 다수의 원격 사용자들과 연결하여 서비스할 때 성능 향상을 위해 별도의 외부 서버군(도 1의 230 참조)에 연결되어 분산 처리할 수 있도록 구성될 수 있다. 하나의 정합된 환경에 대해 다수의 시점을 지원하기 위해서 네트워크를 통한 분산된 영상 생성을 위해 다수의 PC 에 가상 콘텐츠가 공유되고 센서에서 취득된 정보를 브로드캐스팅하여 전송받아 각각의 시점으로 렌더링을 실시하도록 하여, 여러 시점에서 영상을 생성하고 서비스할 수 있도록 구성될 수 있다.

예컨대, 체험 영상은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)의 자원을 이용하여 렌더링하고, 공유 영상들은 외부 서버군(도 1의 230 참조)의 자원을 이용하여 렌더링할 수 있다.

상호작용 처리부(170)는 사용자들의 조작에 의해 현실-가상 연계 콘텐츠의 변화를 반영하거나 원격 사용자가 제시한 메타 데이터를 표시하는 등의 상호작용의 효과를 반영한다.

이때, 현장 사용자 위치에서 근거리에서 존재하는 객체들의 변화를 반영할 수 있다. 그리고, 현장 사용자의 움직임에 따른 신체 표현이나 체험 공간의 객체들의 조작들을 반영하며, 만일 현실-가상 연계 콘텐츠 내에서 변화가 없는 배경 객체들로 정의된 객체들은 실세계 정보를 반영하지 않을 수 있다.

여기서, 배경 객체와 분리된 객체의 경우 사전에 정의된 객체로서 인식을 수행하여 콘텐츠에 활용할 수 있는데, 객체 인식은 점 구름 정보를 기반으로 해쉬화를 통해 가속화된 ICP(Iterative Closest Point)기법 등을 이용하여 수행할 수 있다. 이렇게 사전에 정의된 객체들을 인식하고 적절한 명령을 부여하여 가상현실 콘텐츠 진행을 위한 인터페이스로도 활용이 가능하다.

예컨대, 상호작용 처리부(170)는 현장 사용자에 의한 현실-가상 연계 객체들을 움직이는 것 등을 포함하는 상호작용에 의한 효과를 반영할 수 있다. 또한, 상호작용 처리부(170)는 원격 사용자에 의한 관심 객체의 지시 또는 강조 등을 포함하는 상호작용에 의한 효과도 반영할 수 있다.

즉, 원격 사용자와의 상호 작용을 수행하기 위해서는 현장 사용자의 체험 영상을 합성된 360도 파노라마 영상으로 전송하고, 이를 관찰 중인 원격 사용자에게 HMD 화면 내에 커서 조작과 같은 방식으로 관심 객체 지시 등의 정보를 네트워크를 통해 파노라마 이미지 좌표계 정보로 전송하는 방식으로 협업을 수행하도록 구현될 수 있다. 이렇게 HMD 화면 내에 특정 위치를 지시하는 방식으로는 HMD 시선의 중심점을 대상으로하고 머리를 움직여 맞추는 방식과 손가락 등을 인식하여 지시하는 위치를 찾아내는 방식들을 버튼 인터페이스 등과 함께 조합하여 이용할 수 있다. 이와 더불어 음성 데이터를 주고 받는 형태의 인터페이스를 함께 이용하여 활용도를 높일 수 있다.

특히, 원격 사용자가 네트워크를 통하여 임의의 위치에서의 파노라마 영상을 요청하는 경우, 영상 렌더링부(160)에 공유 영상의 렌더링 시점을 변경하도록 요청하고 생성된 공유 영상을 전달하는 과정으로 임의 시점을 지원을 위한 상호작용을 수행할 수 있다.

이에 따라, 파노라마 영상을 이용하여 출력 영상들에 대해서 자유로운 시점 변환이 가능하므로 사용자들에 보다 자유도 높은 가상현실 콘텐츠를 제공할 수 있다. 또한, 원격 사용자들에 제공되는 공유 영상들이 현장 사용자에 제공되는 체험 영상과 동일하도록 강제되지 않으므로 더욱 자유도 높은 가상현실 콘텐츠의 체험 및 활용이 가능하다.

또한, 체험 공간에 있는 객체와 가상 콘텐츠를 매핑할 때, 현장 사용자를 기준으로 매핑하여 정확도를 높이고 불필요한 연산을 줄여 효율을 높일 수 있다.

그리고, 출력 영상들에 포함된 현실-가상 연계 객체들 중에서 현장 사용자의 주요 관심사가 될 수 있는 객체들을 실사 객체들로 렌더링하여, 보다 실감나고 생동감 넘치는 가상현실 콘텐츠 체험 환경을 제공할 수 있다. 또한, 각 출력 영상들에 상응하는 시점에 가까운 순서대로 센서 정보의 비중을 달리 반영함에 따라 실사 객체들의 품질을 높일 수 있다.

특히, 외부 서버군(도 1의 230 참조)의 자원을 이용하여 분산 처리를 함에 따라 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)가 과부화되는 것을 방지하고 다수의 공유 영상들을 동시에 렌더링할 수 있다.

그리고, 본 발명의 구체적인 활용 예시는 다음을 포함할 수 있다.

첫째로, 가상현실 테마파크 공간 내에 다수의 센서가 장착되어 있고 체험을 위해 제작된 가상 콘텐츠가 정합된 환경에서, 사용자는 체험을 실시하며 체험 도중에 실사로 구성된 사용자 행동 및 실 아이템들과 가상 콘텐츠 환경이 합성되어 저장되고, 네트워크를 통하여 360도 파노라마 영상 콘텐츠로서 마치 게임 방송과 같은 서비스를 실시할 수 있다.

둘째로, See-close HMD의 경우에는 착용 후에 자신의 신체나 주변 환경이 보이지 않으므로 매우 답답함을 느끼게 된다. 이러한 문제를 해소하고자 콘텐츠가 구동되기 전까지 사용자 주변에 실사 정보를 가시화하여 조이스틱 등의 인터페이스를 잡거나 이동을 하는 등의 유틸리티로 활용할 수 있다.

셋째로, SLAM과 같이 사용자 몰입 가시화 장치에 장착된 센서로만 의존하는 경우 현장 사용자 시점에서의 현장 정보가 네트워크를 통해 원격 사용자에게 360도 가시화되고 제시된 영상 내에 특정 위치의 객체를 선택하고 음성으로 정보를 전달하거나 함께 관찰하는 등의 서비스를 제공할 수 있다. 이를 통해 신속한 접근을 통한 협업이 필요한 정비, 사고 대처, 학습 지도 등에 활용이 가능하다.

넷째로, 제작된 VR 체험 콘텐츠에 광고를 하고자 하는 실사 아이템들을 넣어 합성하여 기존의 UCC와 같은 360도 VR 방송 콘텐츠를 생성하여 광고 제작에 이용 가능하다.

다섯째로, 다수의 센서 정보를 하나의 공간에 매핑하고 임의의 시점에서 360도 관찰이 가능하므로 다수의 모니터를 쓰는 현재의 보안 관제 시스템을 하나의 정합된 공간으로 가시화하는데 활용할 수 있다.

도 3은 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법을 나타낸 동작 흐름도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(도 1의 100 참조)가, 가상현실 콘텐츠가 표현되는 체험 공간에 설치된 센서들(도 1의 210 참조) 또는 몰입 가시화 영상 장치(도 1의 220 참조)에 설치된 센서들(도 1의 225 참조) 중 적어도 하나 이상으로부터 체험 공간과 현장 사용자에 상응하는 센서 정보를 수집한다(S301).

예컨대, 센서 정보는 카메라로부터 수집된 영상 정보, 깊이 카메라로부터 수집된 깊이 영상 정보, 깊이 센서로부터 수집된 깊이 정보, LIDAR로부터 수집된 LIDAR 정보 등을 포함할 수 있다.

이때, SLAM 기반으로 콘텐츠가 운영되는 경우에는 체험 공간 내에서 센서가 획득하는 정보를 기준으로 업데이트를 실시하며, 센싱이 되지 않는 범위는 캐쉬된 정보를 이용하여 처리할 수 있다.

또한, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(도 1의 100 참조)가, 센서 정보를 이용하여 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성한다(S303).

또한, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(도 1의 100 참조)가, 현실-가상 연계 콘텐츠를 360도 파노라마 영상으로 렌더링한다(S305).

또한, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(도 1의 100 참조)가, 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링한다(S307).

즉, 현실-가상 연계 콘텐츠를 360도 파노라마 영상으로 렌더링하고, 360도 파노라마 영상을 이용하여 3차원 영상으로 렌더링을 실시하여 사용자에게 제공할 수 있다.

여기서, 출력 영상들에는 현장 사용자에게 제공되는 체험 영상과 원격 사용자들에게 제공되는 공유 영상들이 포함된다.

이때, 현장 사용자 위치로부터 일정 거리 이내에 위치하거나 별도의 인식 및 추적이 이루어지는 현실-가상 연계 객체들은 실사 객체들로 렌더링할 수 있다. 그리고, 그 외의 객체들은 가상 콘텐츠로 렌더링할 수 있다.

여기서, 정합된 가상 콘텐츠 내에서 변화가 없는 배경 객체들로 판단된 것들은 현실-가상 정합에 있어 가상 콘텐츠 정보를 반영할 수 있다.

이때, 실사 객체들로 렌더링할 때, 출력 영상들에 상응하는 시점들로부터 가까운 순서대로 상기 센서 정보의 비중을 달리 반영할 수 있다.

즉, 여러 개의 센서들로부터 가장 최적의 합성 영상을 얻기 위해서 파노라마 제공 시점 위치와 인접한 센서 정보들을 우선적으로 반영하여 실사 객체 영상의 품질을 향상시킬 수 있다.

이때, 외부 서버군(도 1의 230 참조)의 자원을 이용하여 분산 처리를 통해 파노라마 영상으로부터 공유 영상들을 렌더링할 수 있다.

예컨대, 체험 영상은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(100)의 자원을 이용하여 렌더링하고, 공유 영상들은 외부 서버군(도 1의 230 참조)의 자원을 이용하여 렌더링할 수 있다.

또한, 본 발명의 일 실시예에 따른 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법은 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치(도 1의 100 참조)가, 사용자들의 조작에 의해 현실-가상 연계 콘텐츠의 변화를 반영하거나 원격 사용자가 제시한 메타 데이터를 표시하는 등의 상호작용의 효과를 반영한다(S309).

이때, 현장 사용자 위치에서 근거리에서 존재하는 객체들의 변화를 반영할 수 있다. 그리고, 현장 사용자의 움직임에 따른 신체 표현이나 체험 공간의 객체들의 조작들을 반영하며, 만일 현실-가상 연계 콘텐츠 내에서 변화가 없는 배경 객체들로 정의된 객체들은 실세계 정보를 반영하지 않을 수 있다.

예컨대, 현장 사용자에 의한 현실-가상 연계 객체들을 움직이는 것 등을 포함하는 상호작용에 의한 효과를 반영할 수 있다. 또한, 원격 사용자에 의한 관심 객체의 지시 또는 강조 등을 포함하는 상호작용에 의한 효과도 반영할 수 있다.

특히, 원격 사용자가 네트워크를 통하여 임의의 위치에서의 파노라마 영상을 요청하는 경우, 공유 영상의 렌더링 시점을 변경하도록 요청하고 생성된 공유 영상을 전달하는 과정으로 임의 시점을 지원을 위한 상호작용을 수행할 수 있다.

이에 따라, 파노라마 영상을 이용하여 출력 영상들에 대해서 자유로운 시점 변환이 가능하므로 사용자들에 보다 자유도 높은 가상현실 콘텐츠를 제공할 수 있다. 또한, 원격 사용자들에 제공되는 공유 영상들이 현장 사용자에 제공되는 체험 영상과 동일하도록 강제되지 않으므로 더욱 자유도 높은 가상현실 콘텐츠의 체험 및 활용이 가능하다.

그리고, 출력 영상들에 포함된 현실-가상 연계 객체들 중에서 현장 사용자의 주요 관심사가 될 수 있는 객체들을 실사 객체들로 렌더링하여, 보다 실감나고 생동감 넘치는 가상현실 콘텐츠 체험 환경을 제공할 수 있다. 또한, 각 출력 영상들에 상응하는 시점에 가까운 순서대로 센서 정보의 비중을 달리 반영함에 따라 실사 객체들의 품질을 높일 수 있다.

선택적 실시예에서, 상기 단계들(S301, S303, S305, S307 및 S309)에 있어서, 출력 영상들을 렌더링하는 단계(S307)와 상호작용 효과를 반영하는 단계(S309)는 병렬적으로 수행될 수 있다.

도 4는 도 3에 도시된 가상 연계 콘텐츠를 생성하는 단계(S303)의 일 예를 나타낸 동작 흐름도이다.

도 4를 참조하면, 도 3에 도시된 가상 연계 콘텐츠를 생성하는 단계(S303)는, 현장 사용자에 상응하는 현장 사용자 위치를 계산한다(S401).

또한, 도 3에 도시된 가상 연계 콘텐츠를 생성하는 단계(S303)는, 현장 사용자 위치를 기반으로 상기 센서 정보로부터 객체들을 추출하여 상기 가상 콘텐츠와 매핑한다(S403)

이때, 센서 정보로부터 현장 사용자 위치로부터 일정 거리 이내의 객체들을 추출하여 가상 콘텐츠와 매핑할 수 있다.

특히, 체험 공간을 단일 좌표계에 매핑하고, 체험 공간을 가상 콘텐츠와 매핑할 수 있다.

그리고, 제작된 가상 체험 콘텐츠 내의 세 개 이상의 매핑 객체들에 부가정보를 부여하고 체험 공간 내에서 획득된 일치점을 찾아 일치시키는 형태로서, 정합을 위한 세 개 이상의 공간 특징의 일치를 통하여 체험 공간과 가상 콘텐츠를 매핑할 수 있다.

이에 따라, 체험 공간에 있는 객체와 가상 콘텐츠를 매핑할 때, 현장 사용자를 기준으로 매핑하여 정확도를 높이고 불필요한 연산을 줄여 효율을 높일 수 있다.

선택적 실시예에서, 도 3에 도시된 가상 연계 콘텐츠를 생성하는 단계(S303)는 현장 사용자 위치를 계산하는 단계(S401)와 가상 콘텐츠를 매핑하는 단계(S403)가 병렬적으로 수행될 수 있다.

도 5는 도 3에 도시된 출력 영상들을 렌더링하는 단계(S307)의 일 예를 나타낸 동작 흐름도이다.

도 5를 참조하면, 도 3에 도시된 출력 영상들을 렌더링하는 단계(S307)는, 몰입 가시화 영상 장치(도 1의 220 참조)에서 출력하기 위한 현장 사용자의 시점에 상응하는 체험 영상을 렌더링한다(S501).

또한, 도 3에 도시된 출력 영상들을 렌더링하는 단계(S307)는, 원격 사용자들에 공유하기 위한 공유 영상들을 렌더링한다(S503).

예컨대, 현장 사용자는 몰입 가시화 영상 장치(도 1의 220 참조)를 이용하여 자신의 위치와 시점에 따른 체험 영상을 제공 받도록 하고, 원격 사용자들은 현장 사용자가 제공 받는 체험 영상과 동일한 공유 영상뿐만 아니라 여러 위치와 시점에 따른 상이한 공유 영상들을 제공 받도록 할 수 있다.

또한, 도 3에 도시된 출력 영상들을 렌더링하는 단계(S307)는, 시점 변경 요청이 발생한 대상 영상에 대해서, 파노라마 영상을 이용하여 시점 변경 요청에 상응하는 변경될 시점에 따라 대상 영상을 렌더링한다(S505).

예컨대, 현장 사용자가 자신의 위치와 시점에 따른 1인칭 체험 영상을 제공받고 있었지만, 3인칭 시점으로 변환하기 위한 시점 변경 요청에 따라 체험 영상의 시점을 3인칭으로 변경한 체험 영상을 렌더링할 수 있다. 또한, 원격 사용자가 특정 시점에 따른 공유 영상을 제공받고 있었지만, 시점 변경 요청에 따라 공유 영상의 시점을 시점 변경 요청에 상응하는 시점으로 변경한 공유 영상을 렌더링할 수 있다.

이에 따라, 파노라마 영상을 이용하여 자유로운 시점 변환이 가능한 렌더링을 수행함으로써, 사용자들은 특정 시점에 구애 받지 않고 원하는 시점에 따라 가상현실 콘텐츠를 체험할 수 있다.

선택적 실시예에서, 상기 단계들(S501, S503 및 S505)에 있어서, 체험 영상을 렌더링하는 단계(S501)와 공유 영상들을 렌더링하는 단계(S503)는 병렬적으로 수행될 수 있다.

선택적 실시예에서, 상기 단계들(S501, S503 및 S505)에 있어서, 공유 영상들을 렌더링하는 단계(S503)가 먼저 수행되고, 체험 영상을 렌더링하는 단계(S501)가 수행될 수 있다.

선택적 실시예에서, 상기 단계들(S501, S503 및 S505)에 있어서, 체험 영상을 렌더링하는 단계(S501)와 시점 변경 요청에 따른 대상 영상 렌더링 단계(S505)는 병렬적으로 수행될 수 있다.

선택적 실시예에서, 상기 단계들(S501, S503 및 S505)에 있어서, 공유 영상들을 렌더링하는 단계(S503)와 시점 변경 요청에 따른 대상 영상 렌더링 단계(S505)는 병렬적으로 수행될 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치
110: 제어부 120: 통신부
130: 메모리 140: 정보 수집부
150: 현실-가상 정합부 160: 영상 렌더링부
170: 상호작용 처리부
210: 체험 공간 센서들
220: 몰입 가시화 영상 장치
230: 외부 서버군

Claims (20)

1. 체험 공간 또는 몰입 가시화 영상 장치에 위치한 적어도 하나 이상의 센서들로부터 상기 체험 공간과 현장 사용자에 상응하는 센서 정보를 수집하는 정보 수집부;
   상기 센서 정보를 이용하여 상기 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성하는 현실-가상 정합부;
   상기 현실-가상 연계 콘텐츠를 파노라마 영상으로 렌더링하고, 상기 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링하는 영상 렌더링부; 및
   사용자들에 의한 상호작용의 효과를 반영하는 상호작용 처리부
   를 포함하는, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
2. 청구항 1에 있어서,
   상기 영상 렌더링부는
   상기 몰입 가시화 영상 장치에서 출력하기 위한 상기 현장 사용자의 시점에 상응하는 체험 영상과 원격 사용자들에 공유하기 위한 공유 영상들을 렌더링하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
3. 청구항 2에 있어서,
   상기 영상 렌더링부는
   상기 체험 영상 또는 상기 공유 영상들에 중에서 시점 변경 요청이 발생한 대상 영상을, 상기 파노라마 영상을 이용하여 상기 시점 변경 요청에 상응하는 변경될 시점에 따라 렌더링하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
4. 청구항 3에 있어서,
   상기 영상 렌더링부는
   상기 현장 사용자 위치로부터 일정 거리 이내에 위치하거나 별도의 인식 및 추적이 이루어지는 현실-가상 연계 객체들은 실사 객체들로 렌더링하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
5. 청구항 4에 있어서,
   상기 영상 렌더링부는
   상기 실사 객체들로 렌더링할 때, 상기 출력 영상들에 상응하는 시점들로부터 가까운 순서대로 상기 센서 정보의 비중을 달리 반영하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
6. 청구항 5에 있어서,
   상기 영상 렌더링부는
   외부 서버군 자원을 이용하여 분산 처리를 통해 상기 파노라마 영상으로부터 상기 공유 영상들을 렌더링하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
7. 청구항 6에 있어서,
   상기 현실-가상 정합부는
   상기 현장 사용자에 상응하는 현장 사용자 위치를 계산하고, 상기 현장 사용자 위치를 기반으로 상기 센서 정보로부터 객체들을 추출하여 상기 가상 콘텐츠와 매핑하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
8. 청구항 7에 있어서,
   상기 현실-가상 정합부는
   상기 센서 정보로부터 상기 현장 사용자 위치로부터 일정 거리 이내의 객체들을 추출하여 상기 가상 콘텐츠와 매핑하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
9. 청구항 8에 있어서,
   상기 현실-가상 정합부는
   상기 체험 공간을 단일 좌표계에 매핑하고 상기 가상 콘텐츠와 매핑하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치.
10. 체험 공간 또는 몰입 가시화 영상 장치에 위치한 적어도 하나 이상의 센서들로부터 상기 체험 공간과 현장 사용자에 상응하는 센서 정보를 수집하는 단계;
    상기 센서 정보를 이용하여 상기 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성하는 단계;
    상기 현실-가상 연계 콘텐츠를 파노라마 영상으로 렌더링하고, 상기 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링하는 단계; 및
    사용자들에 의한 상호작용의 효과를 반영하는 단계
    를 포함하는, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
11. 청구항 10에 있어서,
    상기 출력 영상들을 렌더링하는 단계는
    상기 몰입 가시화 영상 장치에서 출력하기 위한 상기 현장 사용자의 시점에 상응하는 체험 영상을 렌더링하는 단계; 및
    원격 사용자들에 공유하기 위한 공유 영상들을 렌더링하는 단계
    를 포함하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
12. 청구항 11에 있어서,
    상기 출력 영상들을 렌더링하는 단계는
    상기 체험 영상 또는 상기 공유 영상들에 중에서 시점 변경 요청이 발생한 대상 영상을, 상기 파노라마 영상을 이용하여 상기 시점 변경 요청에 상응하는 변경될 시점에 따라 렌더링하는 단계
    를 더 포함하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
13. 청구항 12에 있어서,
    상기 출력 영상들을 렌더링하는 단계는
    상기 현장 사용자 위치로부터 일정 거리 이내에 위치하거나 별도의 인식 및 추적이 이루어지는 현실-가상 연계 객체들은 실사 객체들로 렌더링하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
14. 청구항 13에 있어서,
    상기 출력 영상들을 렌더링하는 단계는
    상기 실사 객체들로 렌더링할 때, 상기 출력 영상들에 상응하는 시점들로부터 가까운 순서대로 상기 센서 정보의 비중을 달리 반영하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
15. 청구항 14에 있어서,
    상기 출력 영상들을 렌더링하는 단계는
    외부 서버군 자원을 이용하여 분산 처리를 통해 상기 파노라마 영상으로부터 상기 공유 영상들을 렌더링하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
16. 청구항 15에 있어서,
    상기 현실-가상 연계 콘텐츠를 생성하는 단계는
    상기 현장 사용자에 상응하는 현장 사용자 위치를 계산하는 단계; 및
    상기 현장 사용자 위치를 기반으로 상기 센서 정보로부터 객체들을 추출하여 상기 가상 콘텐츠와 매핑하는 단계
    를 포함하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
17. 청구항 16에 있어서,
    상기 현실-가상 연계 콘텐츠를 생성하는 단계는
    상기 센서 정보로부터 상기 현장 사용자 위치로부터 일정 거리 이내의 객체들을 추출하여 상기 가상 콘텐츠와 매핑하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
18. 청구항 17에 있어서,
    상기 현실-가상 연계 콘텐츠를 생성하는 단계는
    상기 체험 공간을 단일 좌표계에 매핑하고 상기 가상 콘텐츠와 매핑하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 방법.
19. 체험 공간에 설치된 센서들;
    상기 체험 공간에 설치된 센서들로부터 상기 체험 공간과 상기 현장 사용자에 상응하는 센서 정보를 수집하고, 상기 센서 정보를 이용하여 상기 체험 공간과 가상 콘텐츠를 매핑하여 현실-가상 연계 콘텐츠를 생성하고, 상기 현실-가상 연계 콘텐츠를 파노라마 영상으로 렌더링하고, 상기 파노라마 영상으로부터 출력하기 위한 시점들에 상응하는 출력 영상들을 렌더링하고, 사용자들에 의한 상호작용의 효과를 반영하는 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치; 및
    상기 출력 영상들 중에서 상기 현장 사용자에 상응하는 체험 영상을 출력하는 몰입 가시화 영상 장치
    를 포함하는, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 시스템.
20. 청구항 19에 있어서,
    상기 몰입 가시화 영상 장치는
    하나 이상의 센서들을 포함하고,
    상기 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치는
    상기 몰입 가시화 영상 장치에 포함된 상기 센서들로부터 정보를 수집하여 상기 현실-가상 연계 콘텐츠를 생성할 때 이용하는 것인, 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 시스템.

Images