KR20200025022A

KR20200025022A - 가상 현실 체험 서비스 제공 방법, 장치 및 사용자 단말

Info

Publication number: KR20200025022A
Application number: KR1020180101749A
Authority: KR
Inventors: 김우연; 남윤지; 천왕성; 허윤범
Original assignee: 주식회사 케이티
Priority date: 2018-08-29
Filing date: 2018-08-29
Publication date: 2020-03-10

Abstract

제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법은 상기 제 1 공간에 대한 제 1 파노라믹 영상, 상기 제 2 공간에 대한 제 2 파노라믹 영상 및 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득하는 단계, 상기 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 상기 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 상기 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성하는 단계, 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 상기 제 2 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성하는 단계 및 상기 제 1 가상 공간 콘텐츠, 상기 제 2 가상 공간 콘텐츠, 상기 제 3 가상 공간 콘텐츠, 상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보를 사용자 단말로 제공하는 단계를 포함한다.

Description

가상 현실 체험 서비스 제공 방법, 장치 및 사용자 단말{METHOD, APPARATUS AND USER DEVICE FOR PROVIDING VIRTUAL REALITY EXPERIENCE SERVICE}

본 발명은 가상 현실 체험 서비스 제공 방법, 장치 및 사용자 단말에 관한 것이다.

가상 현실(VR, Virtual Reality)이란 특정한 환경이나 상황을 컴퓨터 작업을 통해 만든 가상 세계로서, 사용자는 가상 세계를 통해 마치 실제 주변 상황 및 환경과 상호작용을 하고 있는 것과 같은 체험을 할 수 있다.

즉, 가상 현실은 사람들이 일상적으로 경험하기 어려운 환경을 보여주고 조작할 수 있도록 하는 기술로, 예를 들어, 탱크, 항공기 조종법 훈련, 가구의 배치 설계, 수술 실습, 게임 등과 같이 다양한 분야에서 이용되고 있다.

이러한 가상 현실 기술과 관련하여 선행기술인 한국공개특허 2017-0115390호는 3차원 가상현실 구현 시스템을 개시하고 있다.

종래의 가상 현실 서비스는 가상 현실 이미지를 겹쳐가며 다음 이미지를 보여주는 형태로 다중 시점의 가상 현실 이미지를 제공하였다. 그러나 가상 현실의 각 이미지 간의 자연스러운 연결을 위해 이미지 간의 위치 및 회전을 고려해야 하므로, 후처리 작업에 많은 시간이 소요된다는 단점을 가지고 있다.

연속된 공간에서 촬영된 가상 현실 영상을 이미지 간의 유사성을 고려하여 연결함으로써, 사용자가 실제 공간을 이동하듯이 가상 현실 영상을 감상할 수 있도록 하는 가상 현실 체험 서비스 제공 방법, 장치 및 사용자 단말을 제공하고자 한다.

다양한 장소에서 촬영한 가상 현실 영상들 간의 시점을 정렬시킴으로써, 자연스러운 다중 시점의 가상 현실 영상을 제공할 수 있는 가상 현실 체험 서비스 제공 방법, 장치 및 사용자 단말을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 상기 제 1 공간에 대한 제 1 파노라믹 영상, 상기 제 2 공간에 대한 제 2 파노라믹 영상 및 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득하는 단계, 상기 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 상기 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 상기 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성하는 단계, 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 상기 제 2 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성하는 단계 및 상기 제 1 가상 공간 콘텐츠, 상기 제 2 가상 공간 콘텐츠, 상기 제 3 가상 공간 콘텐츠, 상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보를 사용자 단말로 제공하는 단계를 포함하는 가상 현실 체험 서비스 제공 방법을 제공할 수 있다.

본 발명의 다른 실시예는, 상기 제 1 공간에 대한 제 1 파노라믹 영상, 상기 제 2 공간에 대한 제 2 파노라믹 영상 및 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득하는 파노라믹 영상 획득부, 상기 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 상기 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 상기 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성하는 가상 콘텐츠 생성부, 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 상기 제 2 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성하는 로테이션 메타 정보 생성부 및 상기 제 1 가상 공간 콘텐츠, 상기 제 2 가상 공간 콘텐츠, 상기 제 3 가상 공간 콘텐츠, 상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보를 사용자 단말로 제공하는 제공부를 포함하는 가상 현실 체험 서비스 제공 장치를 제공할 수 있다.

본 발명의 또 다른 실시예는, 가상 현실 체험 서비스 제공 장치로부터 상기 제 1 공간에 대한 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 상기 제 2 공간에 대한 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 수신하는 가상 공간 콘텐츠 수신부, 상기 가상 현실 체험 서비스 제공 장치로부터 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 상기 제 2 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 수신하는 로테이션 메타 정보 수신부 및 상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보에 기초하여 상기 제 1 가상 공간 콘텐츠, 상기 제 2 가상 공간 콘텐츠 및 상기 제 3 가상 공간 콘텐츠를 출력하는 출력부를 포함하는 사용자 단말을 제공할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 연속된 공간에서 촬영된 가상 현실 영상을 이미지 간의 유사성을 고려하여 연결함으로써, 사용자가 실제 공간을 이동하듯이 가상 현실 영상을 감상할 수 있도록 하는 가상 현실 체험 서비스 제공 방법, 장치 및 사용자 단말을 제공할 수 있다.

다양한 장소에서 촬영한 가상 현실 영상들 간의 시점을 정렬시킴으로써, 자연스러운 다중 시점의 가상 현실 영상을 제공할 수 있는 가상 현실 체험 서비스 제공 방법, 장치 및 사용자 단말을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 가상 현실 체험 서비스 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 가상 현실 체험 서비스 제공 장치의 구성도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 제 1 파노라믹 영상, 제 2 파노라믹 영상 및 제 3 파노라믹 영상을 도시한 예시적인 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보를 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 가상 현실 체험 서비스 제공 장치에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 7은 본 발명의 일 실시예에 따른 사용자 단말에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 가상 현실 체험 서비스 제공 시스템의 구성도이다. 도 1을 참조하면, 가상 현실 체험 서비스 제공 시스템(1)은 가상 현실 체험 서비스 제공 장치(110) 및 사용자 단말(120)을 포함할 수 있다. 가상 현실 체험 서비스 제공 장치(110) 및 사용자 단말(120)은 가상 현실 체험 서비스 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.

도 1의 가상 현실 체험 서비스 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(120)은 가상 현실 체험 서비스 제공 장치(110)와 동시에 또는 시간 간격을 두고 연결될 수 있다.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

가상 현실 체험 서비스 제공 장치(110)는 제 1 공간에 대한 제 1 파노라믹 영상, 제 2 공간에 대한 제 2 파노라믹 영상 및 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득할 수 있다.

가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성할 수 있다.

가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 제 2 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성할 수 있다. 여기서, 로테이션 값은 피치(pitch), 요(yaw) 및 롤(roll)을 포함할 수 있다.

가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상과 제 3 파노라믹 영상을 구(sphere) 표면에 입히고, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치하는 프레임을 도출할 수 있다. 예를 들어, 가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상과 제 3 파노라믹 영상에서 배경을 추출하고, 배경을 블록화하고, 제 1 파노라믹 영상과 제 3 파노라믹 영상의 배경 블록 간의 거리의 차에 기초하여 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치하는 프레임을 도출할 수 있다.

가상 현실 체험 서비스 제공 장치(110)는 구의 중심에 위치한 가상 카메라의 시야각(FoV: Field of View)을 제 1 방향으로 설정하고, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치되도록 제 1 파노라믹 영상과 제 3 파노라믹 영상 중 적어도 하나의 로테이션 값을 변경할 수 있다. 여기서, 제 1 방향은 제 1 공간에서 제 2 공간을 바라보는 방향일 수 있다.

가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상과 제 3 파노라믹 영상의 프로젝션 방법을 큐브맵 프로젝션(Cubemap Projection) 방법으로 변경하고, 각 큐브들을 기설정된 순서로 스티칭할 수 있다.

가상 현실 체험 서비스 제공 장치(110)는 제 1 가상 공간 콘텐츠, 제 2 가상 공간 콘텐츠, 제 3 가상 공간 콘텐츠, 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보를 사용자 단말(120)로 제공할 수 있다. 이 때, 가상 현실 체험 서비스 제공 장치(110)는 증강 객체가 배치된 제 1 가상 공간 콘텐츠, 제 2 가상 공간 콘텐츠 및 제 3 가상 공간 콘텐츠를 사용자 단말(120)로 제공할 수도 있다. 증강 객체는 예를 들어, 육면체, 평면, 원형 등의 기본 도형 템플릿을 통해 크기와 위치가 조정되어 배치될 수 있다.

사용자 단말(120)은 서버 또는 가상 현실 체험 서비스 제공 장치(110)로부터 가상 현실 체험 서비스를 제공받을 수 있다. 예를 들어, 사용자 단말(120)은 예를 들어, 가상 투어 애플리케이션을 실행시켜 맵을 표시할 수 있다. 맵은 예를 들어, 복수의 거점 지역(카메라가 설치되어 영상이 촬영된 위치)을 표시할 수 있다. 예를 들어, 사용자가 복수의 거점 지역 중 어느 하나의 거점 지역을 선택하면, 사용자 단말(120)은 선택된 거점 지역과 관련된 파노라믹 영상을 제공받을 수 있다.

사용자 단말(120)은 가상 현실 체험 서비스 제공 장치(110)로부터 제 1 공간에 대한 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 제 2 공간에 대한 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 수신할 수 있다.

사용자 단말(120)은 가상 현실 체험 서비스 제공 장치(110)로부터 제 1 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 제 2 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 수신할 수 있다.

사용자 단말(120)은 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보에 기초하여 제 1 가상 공간 콘텐츠, 제 2 가상 공간 콘텐츠 및 제 3 가상 공간 콘텐츠를 출력할 수 있다.

사용자 단말(120)은 제 1 가상 공간 콘텐츠가 출력되는 중 사용자로부터 제 2 가상 공간 콘텐츠 또는 제 3 가상 공간 콘텐츠 중 어느 하나에 해당하는 출력 시점의 변경을 입력받을 수 있다. 이 때, 사용자 단말(120)은 제 1 공간에 대한 제 1 파노라믹 영상과 제 1 공간과 제 2 공간을 연결하는 이동 경로에 해당하는 제 3 파노라믹 영상이 구(sphere) 표면에 입혀지고, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치됨으로써 도출된 프레임을 출력할 수 있다. 예를 들어, 사용자 단말(120)은 구의 중심에 위치한 가상 카메라의 시야각을 변경된 출력 시점에 대응하는 방향으로 설정하고, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치되도록 제 1 파노라믹 영상과 제 3 파노라믹 영상 중 적어도 하나의 로테이션 값을 변경하여 출력할 수 있다.

도 2는 본 발명의 일 실시예에 따른 가상 현실 체험 서비스 제공 장치의 구성도이다. 도 2를 참조하면, 가상 현실 체험 서비스 제공 장치(110)는 파노라믹 영상 획득부(210), 가상 콘텐츠 생성부(220), 로테이션 메타 정보 생성부(230) 및 제공부(240)를 포함할 수 있다.

파노라믹 영상 획득부(210)는 제 1 공간에 대한 제 1 파노라믹 영상, 제 2 공간에 대한 제 2 파노라믹 영상을 획득할 수 있다. 여기서, 제 1 파노라믹 영상 및 제 2 파노라믹 영상은 제 1 공간과 제 2 공간이라는 고정된 장소에서 촬영된 거점 영상을 의미하며, 거점 영상은 여러 개의 경로 영상과 연결될 수 있다. 예를 들어, 제 1 공간은 거실이고, 제 2 공간은 거실과 연결된 안방이 될 수 있다. 다른 예를 들면, 제 1 공간은 로비이고, 제 2 공간은 로비와 연결된 객실이 될 수 있다.

파노라믹 영상 획득부(210)는 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득할 수 있다. 여기서, 제 3 파노라믹 영상은 고정된 장소인 제 1 공간과 제 2 공간을 이동하면서 촬영한 경로 영상일 수 있다. 경로 영상은 제 1 공간으로부터 제 2 공간으로 이동하는 정방향 이동 경로 영상과 제 2 공간으로부터 제 1 공간으로 이동하는 역방향 이동 경로 영상을 포함할 수 있다. 역방향 이동 경로 영상을 별도로 촬영하지 않을 경우, 파노라믹 영상 획득부(210)는 정방향 이동 경로 영상을 역재생하여 역방향 이동 경로에 대한 영상을 획득할 수 있다.

가상 콘텐츠 생성부(220)는 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성할 수 있다.

로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 제 2 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성할 수 있다. 여기서, 로테이션 값은 피치(pitch), 요(yaw) 및 롤(roll)을 포함할 수 있다.

이하에서는, 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보를 생성하는 과정에 대해 설명하도록 한다.

로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상과 제 3 파노라믹 영상을 가상의 구(sphere) 표면에 입힐 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 거점 영상에 해당하는 제 1 파노라믹 영상을 가상의 구의 표면에 입힐 수 있다. 로테이션 메타 정보 생성부(230)는 구의 중심을 원점으로 하는 3차원 공간을 구성할 수 있다. 이 때, 로테이션 메타 정보 생성부(230)는 각각 직교하는 3개의 축을 정의하고, 각 축을 기준으로 구를 0~360°의 범위로 회전시킬 수 있게 된다.

로테이션 메타 정보 생성부(230)는 가상의 구에 입혀진 제 1 파노라믹 영상의 재생 형상을 설정할 수 있다. 예를 들어, 가상의 구 표면에 입혀진 제 1 파노라믹 영상은 구의 중심에 위치하는 가상의 카메라가 상/하/좌/우의 4방향으로 돌려가며 보여질 수 있으므로, 로테이션 메타 정보 생성부(230)는 구 표면에 입혀진 제 1 공간에 대한 제 1 파노라믹 영상이 이동 경로에 대한 제 3 파노라믹 영상과 연결되는 것처럼 보이기 위해 제 1 파노라믹 영상이 구 표면에 입혀질 때의 재생 형상과 카메라 간의 관계를 설정할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 동/서/남/북의 4방향이 있는 공간에 가상의 구가 위치하고, 가상의 구의 중심에 가상의 카메라가 위치한 경우, 정북 방향을 가상의 카메라가 바라볼 때의 구에 입혀진 제 1 파노라믹 영상에 대한 시야각을 설정할 수 있다. 또한, 로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상의 로테이션 값의 조정을 통해 가상의 카메라의 조작에 따라 제 1 파노라믹 영상의 시야각이 어느 영역이 될지를 설정할 수 있다.

로테이션 메타 정보 생성부(230)는 거점 영상인 제 1 공간에 대한 제 1 파노라믹 영상과 이동 경로에 대한 영상인 제 3 파노라믹 영상을 가상의 구의 표면에 겹치도록 입힐 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 로테이션 값을 설정한 제 1 파노라믹 영상의 위에 제 3 파노라믹 영상이 겹치도록 가상의 구의 표면에 입힐 수 있다. 이 때, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 겹쳐진 경우, 로테이션 메타 정보 생성부(230)는 각각의 파노라믹 영상이 함께 보여질 수 있도록 각 영상의 투명도를 조절할 수 있다.

로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치하는 프레임을 도출할 수 있다. 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 이유는 제 1 파노라믹 영상이 고정된 장소에서 촬영된 거점 영상이고, 제 3 파노라믹 영상이 고정된 장소들을 이동하는 중에 촬영한 경로 영상이므로, 거점 영상과 경로 영상 간의 일치되는 시점을 찾아야 하는 작업이 필요하기 때문이다.

이하에서는, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 과정에 대해 상세히 설명하도록 한다.

로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상 및 제 3 파노라믹 영상의 프로젝션 방법을 등장방형도법(Equirectangular projection)으로 적용하고, 제 1 파노라믹 영상과 제 3 파노라믹 영상을 비교할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 중점이 최대한으로 일치된 제 1 파노라믹 영상과 제 3 파노라믹 영상을 등장방형도법을 통해 웹 브라우져의 캔버스에 렌더링하고, 제 3 파노라믹 영상의 프레임을 변경하면서, 제 1 파노라믹 영상과 제 3 파노라믹 영상을 비교하여 유사 프레임을 도출할 수 있다.

이후, 로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상과 제 3 파노라믹 영상의 프로젝션 방법을 큐브맵 프로젝션(Cubemap Projection) 방법으로 변경시키고 각 큐브들을기설정된 순서로 스티칭할 수 있다. 이는, 등장방형도법으로 표현되는 제 1 파노라믹 영상과 제 3 파노라믹 영상은 상하 영역이 왜곡됨으로 인해 객체의 정상적인 형체를 판단하기 어렵고, 하늘, 바닥, 삼각대와 같이 비슷한 패턴의 이미지가 프레임간에 반복되는 경우 특정 영역으로 판단하기 어려워지기 때문이다. 따라서, 로테이션 메타 정보 생성부(230)는 등장방형도법으로 표현된 제 1 파노라믹 영상과 제 3 파노라믹 영상을 정육면체의 모양을 한 큐브맵 프로젝션 방법으로 변경할 수 있다.

이를 위해, 로테이션 메타 정보 생성부(230)는 큐브맵 프로젝션의 평면을 선택할 수 있다. 로테이션 메타 정보 생성부(230)는 큐브맵 프로젝션으로 변형된 정육면체에서 상/하 두 개의 면을 제외하고, 전/후/좌/우의 4개 면을 이용할 수 있다. 로테이션 메타 정보 생성부(230)는 4개의 면을 전/좌/후/우/전의 5개의 순서가 연속되도록 하나의 이미지로 스티칭할 수 있다. 이 때, 우측면과 전면을 마지막으로 붙여 5개의 이어붙인 면의 형태로 만드는 이유는 우측면과 전면으로 나뉘어 렌더링되는 경계면에 위치한 배경 또는 객체를 온전한 형태로 판단하기 위함이다.

이 때, 로테이션 메타 정보 생성부(230)는 큐브맵 프로젝션 방법으로 변경된 제 1 파노라믹 영상과 제 3 파노라믹 영상로부터 특징점을 검출할 수 있다. 로테이션 메타 정보 생성부(230)는 큐브맵 프로젝션 방법으로 변경된 제 1 파노라믹 영상과 제 3 파노라믹 영상에 대해 엣지(edge), 코너(corner), 윤곽선 검출(edge detection)을 수행할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 캐니 엣지 검출기(Canny Edge Detector), 해리스 검출기(Harris Detector), LOG(Laplacian of Gaussian)과 같은 특징점 검출 알고리즘을 이용하여 모서리, 코너, 윤곽선, 경계 영역 등을 검출할 수 있다. 이 때, 문턱값 조절을 통해 필요한 수의 특징점이 검출될 수 있다.

로테이션 메타 정보 생성부(230)는 검출된 제 1 파노라믹 영상의 특징점과 제 3 파노라믹 영상의 특징점을 매칭할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 SIFT(Scale Invariant Feature Transform), SURF(Speeded-up Robust Feature) 알고리즘을 이용하여 특징점 간의 유사성을 판단하여 특징점을 매칭할 수 있다. 이 때, 매칭된 특징점은 쌍으로 값이 저장될 수 있다.

로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상과 제 3 파노라믹 영상의 배경을 판단하기 위해 키 프레임을 추출할 수 있다. 이를 위해, 거점 영상인 제 1 파노라믹 영상과 경로 영상인 제 3 파노라믹 영상이 같은 장소에서 촬영된 것을 판단하기 위해 제 1 파노라믹 영상과 제 3 파노라믹 영상에 포함된 배경을 비교할 수 있다. 이 때, 로테이션 메타 정보 생성부(230)는 각 영상의 배경을 추출하기 위해 각 영상의 영상 인코딩에 사용되는 프레임들 중 키 프레임을 선정할 수 있다. 이는, 화질이 좋은 키 프레임을 이용함으로써, 배경과 객체를 명확히 구분할 수 있고, 키 프레임 간의 시간 차로 인해 움직이는 객체를 보다 명확하게 판단할 수 있으며, 이후에 이용되는 GMM(Gaussian Mixture Model) 알고리즘의 연산량을 감소시키기 위함이다.

로테이션 메타 정보 생성부(230)는 거점 영상인 제 1 파노라믹 영상으로부터 추출된 키 프레임을 이용하여 GMM(Gaussian Mixture Model) 알고리즘을 수행할 수 있다. 여기서, GMM 알고리즘은 본 발명에서 적용 가능한 알고리즘의 일 실시예에 불과하므로, 본 발명의 다양한 실시예들에 따라 다양한 알고리즘이 적용될 수도 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 거점 영상인 제 1 파노라믹 영상으로부터 추출된 키 프레임에 대해 GMM 알고리즘을 이용하여 배경 영역을 검출할 수 있다. 이 때, GMM 알고리즘에서 배경을 판단하는 문턱값은 추출된 키 프레임의 수에 비례하도록 설정될 수 있다. 이는, 키 프레임 수가 적을수록 움직임 객체로 판단된 픽셀 영역 하나가 전체 픽셀 영역에 주는 영향이 커지기 때문이다.

이 때, 로테이션 메타 정보 생성부(230)는 경로 영상인 제 3 파노라믹 영상과 해당 프레임의 전/후 키 프레임 간의 특징점을 검출하여, 특징점 매칭을 수행할 수 있다. 이 때, 로테이션 메타 정보 생성부(230)는 특징점을 검출할 이미지를 생성하고, 특징점을 검출한 이후에 특징점을 매칭할 수 있다. 로테이션 메타 정보 생성부(230)는 경로 영상인 제 3 파노라믹 영상의 특징점을 선별할 수 있다. 이를 위해, 검출된 특징점들을 동일한 이미지 평면에 겹치도록 하고, 매칭된 특징점들 간의 벡터값을 측정할 수 있다. 이 때, 추출된 경로 영상인 제 3 파노라믹 영상의 프레임의 특징점들이 전/후 키 프레임에서 어디에 위치하였는지에 대한 벡터값으로 저장될 수 있다.

로테이션 메타 정보 생성부(230)는 로테이션 메타 생성에 사용할 특징점을 선택할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 경로 영상인 제 3 파노라믹 영상으로부터 추출된 프레임의 특징점들을 기준으로 어느 영역에 위치한 특징점을 이용할 것인지 그리고 특징점이 전/후 키프레임에서 어디에 위치했는지를 판단하는 벡터 값이 어떤 값을 이용할 것인지를 조합하여 특징점을 선택할 수 있다.

로테이션 메타 정보 생성부(230)는 특징점들 간의 가상의 구 표면의 벡터 값을 산출할 수 있다. 예를 들어, 가상의 구에 거점 영상인 제 1 파노라믹 영상과 경로 영상인 제 3 파노라믹 영상의 프레임을 겹치도록 하여 렌더링하고, 매칭된 특징점들 중 선택된 특징점들 간의 벡터값을 산출할 수 있다.

로테이션 메타 정보 생성부(230)는 특징점들 간의 벡터 합을 산출할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 산출된 매칭된 특징점들 중 선택된 특징점들 간의 벡터값을 합하여 하나의 벡터값으로 산출할 수 있다.

로테이션 메타 정보 생성부(230)는 구의 중심을 원점으로 하는 3차원 좌표 평면의 각 축을 중심으로 회전하는 방향을 방향성으로 갖는 3개의 성분 벡터로 정의하고, 산출된 벡터합을 3 개의 성분 벡터의 벡터 합으로 치환할 수 있다. 이 때, 각 성분 벡터가 갖는 값을 변환함으로써, 로테이션 값이 산출될 수 있다.

로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상과 제 3 파노라믹 영상에서 배경을 추출하여 배경을 블록화할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 거점 영상인 제 1 파노라믹 영상에서 배경으로 판단된 영역을 블록화하여 분할할 수 있다.

로테이션 메타 정보 생성부(230)는 거점 영상인 제 1 파노라믹 영상과 경로 영상인 제 3 파노라믹 영상 간의 유사한 배경 블록을 검출할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 거점 영상인 제 1 파노라믹 영상의 배경 블록과 경로 영상인 제 3 파노라믹 영상으로부터 추출된 이미지의 특징점 영역을 찾는 SIFT(Scale Invariant Feature Transform)을 수행하여 유사한 배경 블록을 추정할 수 있다.

로테이션 메타 정보 생성부(230)는 제 1 파노라믹 영상과 제 3 파노라믹 영상의 배경 블록 간의 거리의 차에 기초하여 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치하는 프레임을 도출할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 거점 영상인 제 1 파노라믹 영상의 배경 블록 간의 거리와 경로 영상인 제 3 파노라믹 영상의 배경 블록 간의 거리의 차가 키 프레임 중 최소인 프레임을 검출할 수 있다. 이 때, 거리의 차가 최소라는 것은 특징점들로 이루어진 배경들이 공간상에 유사한 거리만큼 떨어져 있다는 것을 의미하고, 이는 거점 영상과 경로 영상이 유사하다는 것을 의미한다.

로테이션 메타 정보 생성부(230)는 배경 블록 간의 거리 차가 전체 프레임 중 최소인 프레임을 검출할 수 있다. 예를 들어, 로테이션 메타 정보 생성부(230)는 경로 영상의 프레임의 시간상 전후 프레임과 거점 영상의 배경 블록의 특징점 영역을 찾는 SIFT를 재차 수행하고, 배경 블록 간의 거리 차가 낮아지는 방향으로 프레임을 이동시키면서 배경 블록 간의 거리 차가 전체 중 최소인 프레임을 검출할 수 있다. 이는 경로 영상의 해당 프레임이 거점 영상과 가장 유사한 위치에서 촬영된 순간으로 판단될 수 있다.

로테이션 메타 정보 생성부(230)는 구의 중심에 위치한 가상 카메라의 시야각(FoV: Field of View)을 제 1 방향으로 설정하고, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치되도록 제 1 파노라믹 영상과 제 3 파노라믹 영상 중 적어도 하나의 로테이션 값을 변경할 수 있다.

로테이션 값을 변경하는 이유는 구 표면에 입혀진 경로 영상에 해당하는 제 3 파노라믹 영상을 회전시킴으로써, 거점 영상에 해당하는 제 1 파노라믹 영상과 일치되도록 하기 위함이다. 여기서, 제 1 방향은 제 1 공간에서 제 2 공간을 바라보는 방향일 수 있다.

예를 들어, 로테이션 메타 정보 생성부(230)는 최종으로 일치된 제 3 파노라믹 영상의 프레임과 제 1 파노라믹 영상의 프레임을 가상의 구 표면에 입힌 상태에서 제 3 파노라믹 영상을 통해 구의 중심에 위치한 가상 카메라가 제 1 방향을 바라보도록 시야각을 설정하고, 설정된 시야각에서 제 1 파노라믹 영상과 제 3 파노라믹 영상이 최대한 일치되도록 제 3 파노라믹 영상의 로테이션 값을 변경시킬 수 있다. 이러한 과정을 통해 사용자 단말에서 제 1 파노라믹 영상을 재생하는 도중 사용자로부터 제 3 파노라믹 영상으로의 이동 명령을 받게 될 때, 구의 중심에 위치한 가상의 카메라가 해당 시야각을 보여주도록 이동한 후 제 3 파노라믹 영상이 렌더링됨으로써, 제 1 파노라믹 영상에서 제 3 파노라믹 영상으로 변경될 때 이질감이 최소화되어 사용자가 연속된 공간을 이동하는 것과 같은 느낌을 받을 수 있다.

이후, 로테이션 메타 정보 생성부(230)는 제 3 파노라믹 영상와 제 2 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성할 수 있다.

예를 들어, 로테이션 메타 정보 생성부(230)는 제 3 파노라믹 영상을 그대로 둔 채로 제 2 파노라믹 영상을 구의 표면에 입힐 수 있다. 제 3 파노라믹 영상은 경로 영상으로 시작과 끝이 존재하므로, 제 1 공간(시작)에 대한 제 1 파노라믹 영상과 제 2 공간(끝)에 대한 제 2 파노라믹 영상이 연결될 수 있다.

이와 같이, 로테이션 메타 정보 생성부(230)는 거점 영상에 해당하는 제 2 공간에 대한 제 2 파노라믹 영상과 경로 영상에 해당하는 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성한다. 이 때, 제 2 로테이션 메타 정보를 생성하는 과정은 제 1 로테이션 메타 정보를 생성하는 과정과 동일하다.

제공부(240)는 제 1 가상 공간 콘텐츠, 제 2 가상 공간 콘텐츠, 제 3 가상 공간 콘텐츠, 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보를 사용자 단말(120)로 제공할 수 있다.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 제 1 파노라믹 영상, 제 2 파노라믹 영상 및 제 3 파노라믹 영상을 도시한 예시적인 도면이다.

도 3a는 본 발명의 일 실시예에 따른 제 1 공간, 제 2 공간 및 제 1 공간과 제 2 공간을 연결하는 이동 경로를 도시한 예시적인 도면이다. 도 3a를 참조하면, 가상 현실 컨텐츠 제작자는 가상 현실 체험 서비스를 제공하기 위해 촬영의 대상이 되는 현실 공간(300)을 카메라를 통해 촬영할 수 있다.

카메라는 가상 현실 서비스로 제공될 복수의 공간에 고정되어 현실 공간(300)을 촬영할 수 있다. 예를 들어, 카메라는 제 1 공간(301)에 고정되어 촬영할 수 있다. 또한, 카메라는 제 2 공간(302)에 고정되어 촬영될 수 있다.

카메라는 고정되어 촬영한 제 1 공간(301)과 제 2 공간(302)을 연결시키기 위해 제 1 공간(301)과 제 2 공간(302)을 연결하는 이동 경로(303)를 이동하면서 촬영할 수 있다. 이 때, 이동 경로(303)를 이동하면서 촬영하는 경우, 고정 장소에서 촬영한 영상들과 이동 경로(303)에서 촬영한 영상을 연결시키기 위해 최대한 고정 장소에서 촬영한 높이와 각도를 동일하게 하여 촬영해야 한다.

도 3b는 본 발명의 일 실시예에 따른 제 1 파노라믹 영상, 제 2 파노라믹 영상 및 제 3 파노라믹 영상을 도시한 예시적인 도면이다.

도 3a 및 도 3b를 참조하면, 가상 현실 체험 서비스 제공 장치(110)는 제 1 공간(301)에 카메라가 고정되어 촬영된 제 1 파노라믹 영상(310)을 획득할 수 있다. 또한, 가상 현실 체험 서비스 제공 장치(110)는 제 2 공간(302)에서 카메라가 고정되어 촬영된 제 2 파노라믹 영상(312)을 획득할 수 있다.

가상 현실 체험 서비스 제공 장치(110)는 제 1 공간(301)으로부터 제 2 공간(302)까지를 연결하는 이동 경로(303)를 촬영한 제 3 파노라믹 영상(311)을 획득할 수 있다.

예를 들어, 사용자 단말(120)에서 제 1 파노라믹 영상(310)이 출력되는 중 사용자로부터 제 2 파노라믹 영상(312)이 촬영된 지점으로 이동하는 명령을 입력받은 경우, 사용자 단말(120)은 제 1 파노라믹 영상(310)->제 3 파노라믹 영상(311)->제 2 파노라믹 영상(312)의 순으로 파노라믹 영상을 출력할 수 있다. 이 때, 사용자는 제 1 공간(301)으로부터 제 2 공간(302)으로 이동함으로써, 가상 현실을 통해 현실 공간(300)을 감상할 수 있게 된다.

도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보를 생성하는 과정을 설명하기 위한 예시적인 도면이다.

도 4a는 본 발명의 일 실시예에 따른 제 1 파노라믹 영상과 제 3 파노라믹 영상을 그대로 스티칭한 경우의 화면을 도시한 예시적인 도면이다. 도 4a를 참조하면, 제 1 파노라믹 영상(400)과 제 3 파노라믹 영상(410)을 등장방형도법을 적용하지 않고 그대로 스티칭한 경우, 가상의 구의 중심에 위치하는 카메라가 보여주는 시야각에 따라 동일한 지점에서 촬영된 부분이 서로 다른 이미지로 보여지는 것을 알 수 있다.

도 4b는 본 발명의 일 실시예에 따른 제 1 파노라믹 영상과 제 3 파노라믹 영상의 프레임이 일치된 화면을 도시한 예시적인 도면이다. 도 4b를 참조하면, 가상 현실 체험 서비스 제공 장치(110)는 거점 영상인 제 1 공간에 대한 제 1 파노라믹 영상(400)을 기준으로 경로 영상인 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상(410)의 로테이션 값(yaw, pitch, roll)을 조정하여 제 1 파노라믹 영상(400)과 제 3 파노라믹 영상(410)이 최대한 일치되어 보이도록 하는 로테이션 값을 찾을 수 있다. 이 때, 가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상(400)과 제 3 파노라믹 영상(410)이 최대한으로 일치되어 보이도록 하는 로테이션 값을 제 1 로테이션 메타 정보로 저장할 수 있다.

도 4c는 본 발명의 일 실시예에 따른 제 1 파노라믹 영상과 제 3 파노라믹 영상이 스티칭된 경우의 특정 시야각을 도시한 예시적인 도면이다. 도 4c를 참조하면, 가상 현실 체험 서비스 제공 장치(110)는 가상의 구에 거점 영상인 제 1 파노라믹 영상과 경로 영상인 제 3 파노라믹 영상을 함께 겹쳐서 렌더링할 수 있다. 특정 시야각 화면(420)을 통해 도시된 바와 같이, 제 1 파노라믹 영상(400)과 제 3 파노라믹 영상(410)이 이질감 없이 스티칭된 것을 확인할 수 있다. 이 때, 제 1 파노라믹 영상(400)에서 제 3 파노라믹 영상(410)으로 교체되는 경우, 이질감이 발생되지 않도록 제 3 파노라믹 영상의 로테이션 값(yaw, pitch, roll)이 조정될 수 있다.

도 5는 본 발명의 일 실시예에 따른 가상 현실 체험 서비스 제공 장치에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법의 순서도이다. 도 5에 도시된 가상 현실 체험 서비스 장치(110)에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법은 도 1 내지 도 4c에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4c에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 장치(110)에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법에도 적용된다.

단계 S510에서 가상 현실 체험 서비스 제공 장치(110)는 제 1 공간에 대한 제 1 파노라믹 영상, 제 2 공간에 대한 제 2 파노라믹 영상 및 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득할 수 있다.

단계 S520에서 가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성할 수 있다.

단계 S530에서 가상 현실 체험 서비스 제공 장치(110)는 제 1 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 제 2 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성할 수 있다.

단계 S540에서 가상 현실 체험 서비스 제공 장치(110)는 제 1 가상 공간 콘텐츠, 제 2 가상 공간 콘텐츠, 제 3 가상 공간 콘텐츠, 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보를 사용자 단말(120)로 제공할 수 있다.

상술한 설명에서, 단계 S510 내지 S540은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.

도 6은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 6을 참조하면, 사용자 단말(120)은 가상 공간 콘텐츠 수신부(610), 로테이션 메타 정보 수신부(620), 출력부(630) 및 입력부(640)를 포함할 수 있다.

가상 공간 콘텐츠 수신부(610)는 가상 현실 체험 서비스 제공 장치(110)로부터 제 1 공간에 대한 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 제 2 공간에 대한 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 수신할 수 있다.

로테이션 메타 정보 수신부(620)는 가상 현실 체험 서비스 제공 장치(110)로부터 제 1 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 제 2 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 수신할 수 있다.

출력부(630)는 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보에 기초하여 제 1 가상 공간 콘텐츠, 제 2 가상 공간 콘텐츠 및 제 3 가상 공간 콘텐츠를 출력할 수 있다.

출력부(630)는 제 1 로테이션 메타 정보에 기초하여 제 1 파노라믹 영상과 제 3 파노라믹 영상의 로테이션 값을 정렬시킬 수 있다. 또한, 출력부(630)는 제 2 로테이션 메타 정보에 기초하여 제 2 파노라믹 영상과 제 3 파노라믹 영상의 로테이션 값을 정렬시킬 수 있다.

예를 들어, 출력부(630)는 제 1 파노라믹 영상과 제 3 파노라믹 영상을 구(sphere) 표면에 입힐 수 있다.

또한, 출력부(630)는 구의 중심에 위치한 가상 카메라의 시야각을 사용자의 시점에 대응하는 방향으로 설정하고, 제 1 파노라믹 영상과 제 3 파노라믹 영상이 일치되도록 제 1 파노라믹 영상과 제 3 파노라믹 영상 중 적어도 하나의 로테이션 값을 변경할 수 있다.

출력부(630)는 로테이션 값이 변경된 제 1 파노라믹 영상과 제 3 파노라믹 영상을 출력할 수 있다.

입력부(640)는 제 1 공간에 대한 제 1 가상 공간 콘텐츠가 출력되는 중 사용자로부터 제 2 가상 공간 콘텐츠 또는 제 3 가상 공간 콘텐츠 중 어느 하나에 해당하는 출력 시점의 변경을 입력받을 수 있다. 이때, 출력부(630)는 제 2 가상 공간 콘텐츠 또는 제 3 가상 공간 콘텐츠를 출력한다. 여기서, 제 2 가상 공간 콘텐츠 또는 제 3 가상 공간 콘텐츠는 로테이션 값이 변경된 것으로서, 사용자는 영상이 변경될 때, 이질감을 느끼지 않는다.

도 7은 본 발명의 일 실시예에 따른 사용자 단말에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법의 순서도이다. 도 7에 도시된 사용자 단말(120)에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법은 도 1 내지 도 6에 도시된 실시예에 따른 가상 현실 체험 서비스 제공 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 6에 도시된 실시예에 따른 사용자 단말(120)에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법에도 적용된다.

단계 S710에서 사용자 단말(120)은 가상 현실 체험 서비스 제공 장치(110)로부터 제 1 공간에 대한 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 제 2 공간에 대한 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 제 1 공간과 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 수신할 수 있다.

단계 S720에서 사용자 단말(120)은 가상 현실 체험 서비스 제공 장치(110)로부터 제 1 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 제 2 파노라믹 영상과 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 수신할 수 있다.

단계 S730에서 사용자 단말(120)은 제 1 로테이션 메타 정보 및 제 2 로테이션 메타 정보에 기초하여 제 1 가상 공간 콘텐츠, 제 2 가상 공간 콘텐츠 및 제 3 가상 공간 콘텐츠를 출력할 수 있다.

상술한 설명에서, 단계 S710 내지 S730은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.

도 1 내지 도 7을 통해 설명된 가상 현실 체험 서비스 제공 장치 및 사용자 단말에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 7을 통해 설명된 가상 현실 체험 서비스 제공 장치 및 사용자 단말에서 제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 가상 현실 체험 서비스 제공 장치
120: 사용자 단말
210: 파노라믹 영상 획득부
220: 가상 콘텐츠 생성부
230: 로테이션 메타 정보 생성부
240: 제공부
610: 가상 공간 콘텐츠 수신부
620: 로테이션 메타 정보 수신부
630: 출력부
640: 입력부

Claims

제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 방법에 있어서,
상기 제 1 공간에 대한 제 1 파노라믹 영상, 상기 제 2 공간에 대한 제 2 파노라믹 영상 및 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득하는 단계;
상기 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 상기 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 상기 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성하는 단계;
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 상기 제 2 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성하는 단계; 및
상기 제 1 가상 공간 콘텐츠, 상기 제 2 가상 공간 콘텐츠, 상기 제 3 가상 공간 콘텐츠, 상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보를 사용자 단말로 제공하는 단계
를 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
제 1 항에 있어서,
상기 로테이션 값은 피치(pitch), 요(yaw) 및 롤(roll)을 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
제 1 항에 있어서,
상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보를 생성하는 단계는
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 구(sphere) 표면에 입히는 단계; 및
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 단계
를 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
제 3 항에 있어서,
상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보를 생성하는 단계는
상기 구의 중심에 위치한 가상 카메라의 시야각(FoV: Field of View)을 제 1 방향으로 설정하는 단계; 및
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치되도록 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상 중 적어도 하나의 로테이션 값을 변경하는 단계
를 더 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
제 4 항에 있어서,
상기 제 1 방향은 상기 제 1 공간에서 상기 제 2 공간을 바라보는 방향인 것인, 가상 현실 체험 서비스 제공 방법.
제 3 항에 있어서,
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 단계는
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상의 프로젝션 방법을 큐브맵 프로젝션(Cubemap Projection) 방법으로 변경하는 단계; 및
큐브맵 프로젝션에 있어서의 각 큐브들을 기설정된 순서로 스티칭하는 단계
를 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
제 6 항에 있어서,
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 단계는
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상에서 배경을 추출하는 단계;
상기 배경을 블록화하는 단계; 및
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상의 배경 블록 간의 거리의 차에 기초하여 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 단계
를 더 포함하는 것인, 가상 현실 체험 서비스 제공 방법.
제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 장치에 있어서,
상기 제 1 공간에 대한 제 1 파노라믹 영상, 상기 제 2 공간에 대한 제 2 파노라믹 영상 및 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상을 획득하는 파노라믹 영상 획득부;
상기 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 상기 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 상기 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 생성하는 가상 콘텐츠 생성부;
상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 상기 제 2 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 생성하는 로테이션 메타 정보 생성부; 및
상기 제 1 가상 공간 콘텐츠, 상기 제 2 가상 공간 콘텐츠, 상기 제 3 가상 공간 콘텐츠, 상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보를 사용자 단말로 제공하는 제공부
를 포함하는 것인, 가상 현실 체험 서비스 제공 장치.
제 8 항에 있어서,
상기 로테이션 값은 피치(pitch), 요(yaw) 및 롤(roll)을 포함하는 것인, 가상 현실 체험 서비스 제공 장치.
제 9 항에 있어서,
상기 로테이션 메타 정보 생성부는 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 구(sphere) 표면에 입히고, 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 것인, 가상 현실 체험 서비스 제공 장치.
제 10 항에 있어서,
상기 로테이션 메타 정보 생성부는 상기 구의 중심에 위치한 가상 카메라의 시야각(FoV: Field of View)을 제 1 방향으로 설정하고, 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치되도록 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상 중 적어도 하나의 로테이션 값을 변경하는 것인, 가상 현실 체험 서비스 제공 장치.
제 11 항에 있어서,
상기 제 1 방향은 상기 제 1 공간에서 상기 제 2 공간을 바라보는 방향인 것인, 가상 현실 체험 서비스 제공 장치.
제 10 항에 있어서,
상기 로테이션 메타 정보 생성부는 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상의 프로젝션 방법을 큐브맵 프로젝션(Cubemap Projection) 방법으로 변경하고, 큐브맵 프로젝션에 있어서의 각 큐브들을 기설정된 순서로 스티칭하는 것인, 가상 현실 체험 서비스 제공 장치.
제 13 항에 있어서,
상기 로테이션 메타 정보 생성부는 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상에서 배경을 추출하고, 상기 배경을 블록화하고, 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상의 배경 블록 간의 거리의 차에 기초하여 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치하는 프레임을 도출하는 것인, 가상 현실 체험 서비스 제공 장치.
제 1 공간 및 제 2 공간을 포함하는 현실 공간을 통해 가상 현실 체험 서비스를 제공하는 사용자 단말에 있어서,
가상 현실 체험 서비스 제공 장치로부터 상기 제 1 공간에 대한 제 1 파노라믹 영상에 대응하는 제 1 가상 공간 콘텐츠, 상기 제 2 공간에 대한 제 2 파노라믹 영상에 대응하는 제 2 가상 공간 콘텐츠 및 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 대한 제 3 파노라믹 영상에 대응하는 제 3 가상 공간 콘텐츠를 수신하는 가상 공간 콘텐츠 수신부;
상기 가상 현실 체험 서비스 제공 장치로부터 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 1 로테이션 메타 정보 및 상기 제 2 파노라믹 영상과 상기 제 3 파노라믹 영상을 일치시키는 로테이션 값을 포함하는 제 2 로테이션 메타 정보를 수신하는 로테이션 메타 정보 수신부; 및
상기 제 1 로테이션 메타 정보 및 상기 제 2 로테이션 메타 정보에 기초하여 상기 제 1 가상 공간 콘텐츠, 상기 제 2 가상 공간 콘텐츠 및 상기 제 3 가상 공간 콘텐츠를 출력하는 출력부
를 포함하는 것인, 사용자 단말.
제 15 항에 있어서,
상기 제 1 가상 공간 콘텐츠가 출력되는 중 상기 제 2 가상 공간 콘텐츠 또는 상기 제 3 가상 공간 콘텐츠 중 어느 하나에 해당하는 출력 시점의 변경을 입력받는 입력부를 더 포함하는 것인, 사용자 단말.
제 16 항에 있어서,
상기 출력부는 상기 제 1 공간에 대한 상기 제 1 파노라믹 영상과 상기 제 1 공간과 상기 제 2 공간을 연결하는 이동 경로에 해당하는 상기 제 3 파노라믹 영상을 구(sphere) 표면에 입히는 것인, 사용자 단말.
제 17 항에 있어서,
상기 출력부는 상기 제 1 로테이션 메타 정보에 기초하여 상기 구의 중심에 위치한 가상 카메라의 시야각을 상기 변경된 출력 시점에 대응하는 방향으로 설정하고, 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상이 일치되도록 상기 제 1 파노라믹 영상과 상기 제 3 파노라믹 영상 중 적어도 하나의 로테이션 값을 변경하여 출력하는 것인, 사용자 단말.