KR101801100B1 - 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법 - Google Patents

Abstract

본 발명은 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법에 관한 것으로, 상기 장치는 제1 결합 리그에 결합되어, 서로 상이한 촬영 시점을 가지는 다수의 전방위 영상들을 획득 및 제공하는 다수의 제1 카메라들; 제2 결합 리그에 상기 제1 카메라들과 함께 결합되어, 상기 전방위 영상들보다 높은 해상도를 가지는 메인 영상을 획득하는 제2 카메라; 상기 제1 카메라들에 대한 캘리브레이션과, 상기 제1 카메라들과 제2 카메라에 대한 캘리브레이션을 수행하여, 상기 제1 카메라들간 위치 관계, 및 상기 제1 카메라들과 제2 카메라간 위치 관계를 파악하는 캘리브레이션 수행부; 상기 제1 카메라들간 위치 관계를 기반으로 상기 전방위 영상들을 정합하여 파노라마 영상을 생성하는 파노라마 영상 생성부; 상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상을 정합하여 다면 영상을 생성하는 다면 영상 생성부; 및 상기 메인 영상, 상기 파노라마 영상 및 상기 다면 영상을 포함하는 영상 콘텐츠를 생성하여 제공하는 영상 콘텐츠 제공부를 포함한다.

Description

몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법{Video providing apparatus and method for supporting production of immersive contents}

본 발명은 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법에 관한 것으로, 특히 몰입형 콘텐츠를 보다 효율적으로 제작할 수 있도록 일반 영상, 다면 영상, 가상현실 영상을 동시 획득 및 제공할 수 있도록 하는 영상 제공 장치 및 방법에 관한 것이다.

스크린 엑스(ScreenX), 바코 이스케이프 시스템(the Barco Escape System) 등과 같은 멀티프로젝션 기반 몰입형 영화 관람 플랫폼의 성장과 함께 가상현실 시장의 확대 및 가상현실 콘텐츠 제작 활성화로 인한 몰입형 플랫폼 에기반한 차세대 콘텐츠 시장이 확대되고 있다.

그리고 다양한 VR(Virtual Reality) 콘텐츠 재생 환경이 확산됨과 더불어 전 방향 고화질을 요하는 환경, 중앙 화면에 초점을 맞추고 주위의 분위기를 조성하는 환경이 동시 발전되고 있다.

이러한 와중에 많은 시각 정보를 제공하는 콘텐츠의 전면 영상의 중요성은 여전히 유효한 특징이 있다.

몰입형 콘텐츠의 경우 여러 대의 고품질 카메라로 콘텐츠를 제작하거나, 360도 파노라마 카메라로 콘텐츠를 제작할 때 트레이드 오프가 필연적으로 발생하게 된다.

다시 말해, 여러 대의 고품질 카메라로 콘텐츠를 제작하는 경우에는 고품질 영상의 획득 가능하나 현장 및 후반 작업의 효율이 떨어지는 문제가 있으며, 360ㅀ 파노라마 카메라로 콘텐츠를 제작하는 경우에는 현장 작업 효율은 높으나 정면 콘텐츠의 고품질화가 불가능하며 기존 촬영 문법의 활용이 불가능한 문제가 있다.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 고품질 영상 획득이 가능한 카메라와 전방위 카메라를 결합하여 일반 고품질 영상, 상세 및 상황 영상이 조합되는 다면 영상, 그리고 파노라마 영상을 동시 획득 및 제공함으로써, 몰입형 콘텐츠를 보다 효율적으로 제작할 수 있도록 하는 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법을 제공하고자 한다.

또한 기존 촬영 문법을 그대로 활용함으로써, 현장 및 후반 작업의 효율을 높일 수 있도록 하는 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법을 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 몰입형 콘텐츠 제작 지원용 영상 제공 장치는 제1 결합 리그에 결합되어, 서로 상이한 촬영 시점을 가지는 다수의 전방위 영상들을 획득 및 제공하는 다수의 제1 카메라들; 제2 결합 리그에 상기 제1 카메라들과 함께 결합되어, 상기 전방위 영상들보다 높은 해상도를 가지는 메인 영상을 획득하는 제2 카메라; 상기 제1 카메라들에 대한 캘리브레이션과, 상기 제1 카메라들과 제2 카메라에 대한 캘리브레이션을 수행하여, 상기 제1 카메라들간 위치 관계, 및 상기 제1 카메라들과 제2 카메라간 위치 관계를 파악하는 캘리브레이션 수행부; 상기 제1 카메라들간 위치 관계를 기반으로 상기 전방위 영상들을 정합하여 파노라마 영상을 생성하는 파노라마 영상 생성부; 상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상을 정합하여 다면 영상을 생성하는 다면 영상 생성부; 및 상기 메인 영상, 상기 파노라마 영상 및 상기 다면 영상을 포함하는 영상 콘텐츠를 생성하여 제공하는 영상 콘텐츠 제공부를 포함한다.

상기 다면 영상 생성부는 상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상의 초기 정렬을 진행하는 초점 매칭부; 상기 파노라마 영상과 상기 메인 영상 각각의 특징점을 구하고, 특징점간의 대응점을 구하는 특징점 매칭부; 상기 특징점간의 대응점을 사용하여 상기 파노라마 영상과 상기 메인 영상의 중첩 부분을 접합하는 스티칭부; 및 상기 접합된 두 영상을 와핑한 후 단일화하여 출력하는 와핑 및 단일화 작업부를 포함하는 것을 특징으로 한다.

또한 상기 다면 영상 생성부는 상기 파노라마 영상과 상기 메인 영상에 대한 색상 매칭 동작을 수행하는 색상 매칭부를 더 포함하는 것을 특징으로 한다.

그리고 상기 다면 영상 생성부는 상기 메인 영상은 상세 영상으로 이용하고, 상기 파노라마 영상은 상황 영상으로 이용하는 다면 영상을 생성 및 제공하는 것을 특징으로 한다.

상기 다수의 제1 카메라는 상기 제1 결합 리그의 정면, 후면, 우측면, 좌측면, 윗면, 및 아랫면 중 적어도 두 개 이상에 결합되는 것을 특징으로 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 서로 상이한 촬영 시점을 가지는 다수의 전방위 영상들을 획득하는 다수의 제1 카메라들과 상기 전방위 영상들보다 높은 해상도를 가지는 메인 영상을 획득하는 제2 카메라를 구비하는 영상 제공 장치의 몰입형 콘텐츠 제작 지원용 영상 제공 방법은, 상기 제1 카메라들에 대한 캘리브레이션과, 상기 제1 카메라들과 제2 카메라에 대한 캘리브레이션을 수행하여 상기 제1 카메라들간 위치 관계, 및 상기 제1 카메라들과 제2 카메라간 위치 관계를 파악하는 단계; 상기 제1 카메라들과 상기 제2 카메라를 이용하여, 상기 다수의 전방위 영상과 상기 메인 영상을 동시 획득하는 단계; 상기 제1 카메라들간 위치 관계를 기반으로 상기 전방위 영상들을 정합하여 파노라마 영상을 생성하는 단계; 상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상을 정합하여 다면 영상을 생성하는 단계; 상기 메인 영상, 상기 파노라마 영상 및 상기 다면 영상을 포함하는 영상 콘텐츠를 생성하여 제공하는 단계를 포함한다.

본 발명은 고품질 영상 획득이 가능한 카메라와 전방위 카메라를 결합하여 일반 고품질 영상, 상세 및 상황 영상이 조합되는 다면 영상, 그리고 파노라마 영상을 동시 획득 및 제공할 수 있도록 하고, 이와 동시에 기존 촬영 문법을 활용하여 현장 및 후반 작업의 효율을 높일 수 있도록 해준다.

또한 사전 / 현장 촬영 단계 분리를 통한 현장 효율이 향상될 수 있도록 한다.

그리고 다양한 위치 관계를 가지는 카메라 모두에 대한 캘리브레이션 동작을 수행할 수 있도록 함으로써, 보다 신뢰성 있는 다면 영상, 및 파노라마 영상 생성 작업이 진행될 수 있도록 한다.

도1은 본 발명의 일 실시예에 따른 몰입형 콘텐츠 제작 지원용 영상 제공 장치를 도시한 도면이다.
도2는 본 발명의 일 실시예에 따른 제1 카메라들과 제2 카메라의 설치 방법의 일예를 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 제1 캘리브레이션 수행부의 상세 구성을 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 제2 캘리브레이션 수행부의 상세 구성을 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 다면 영상 생성부의 상세 구성을 도시한 도면이다.
도6은 본 발명의 일 실시예에 따른 몰입형 콘텐츠 제작 지원용 영상 제공 방법을 설명하기 위한 도면이다.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도1은 본 발명의 일 실시예에 따른 몰입형 콘텐츠 제작 지원용 영상 제공 장치를 도시한 도면이다.

도1을 참고하면, 본 발명의 영상 제공 장치는 제1 결합 리그(13)에 결합된 다수의 제1 카메라들(11), 제2 결합 리그(14)에 제1 카메라들(11)과 함께 결합된 제2 카메라(12), 캘리브레이션 수행부(20), 파노라마 영상 생성부(30), 다면 영상 생성부(40), 영상 콘텐츠 제공부(50) 등을 포함할 수 있다.

다수의 제1 카메라들(11)은 서로 상이한 촬영 시점을 가지는 다수의 전방위 영상들을 획득 및 제공하도록 한다. 이와 같은 제1 카메라들(11) 모두는 동일 스펙의 카메라로 구현되는 것이 바람직한데, 이는 제1 카메라들(11)을 통해 획득되는 전방위 영상 모두가 동일 화각 및 동일 해상도를 가져 차후 수행되는 캘리브레이션 및 영상 정합 동작이 보다 용이하게 수행될 수 있도록 하기 위함이다.

제2 카메라(12)는 자신이 결합된 제2 결합 리그(14)의 정면을 촬영한 메인 영상을 획득 및 제공하도록 한다. 다만, 제2 카메라(12)는 고품질의 메인 영상을 획득하기 위한 카메라이므로, 제1 카메라(11) 보다 높은 해상도의 영상을 획득 및 제공할 수 있도록 한다.

제1 결합 리그(13)는 다수의 제1 카메라들(11) 각각이 결합 및 지지될 수 있도록 하고, 제2 결합 리그(14)는 다수의 제1 카메라들(11)들이 부착된 제1 결합 리그(13)가 결합 및 지지될 수 있도록 함과 동시에 제2 카메라(12) 또한 결합 및 지지될 수 있도록 한다.

예를 들어, 본 발명의 제1 결합 리그(13)는 도2의 (a)에서와 같이, 제1 카메라들이 정면, 후면, 우측면, 좌측면, 윗면, 및 아랫면에 부착 및 지지될 수 있도록 하는 수단을 구비하여, 제1 결합 리그(13)에 부착된 제1 카메라들이 정면 방향, 후면 방향, 우측면 방향, 좌측면 방향, 윗면 방향, 및 아랫면 방향 각각에 대응되는 6개의 전방위 영상을 동시 획득하여 제공할 수 있도록 한다. 그리고 본 발명의 제2 결합 리그(14)는 도2의 (b)에서와 같이, 이기종 카메라 결합 리그로 구현되어, 제1 결합 리그(13)와 함께 제2 카메라(12)가 부착 및 지지될 수 있도록 하는 이기종 카메라 결합 리그로 구현될 수 있도록 한다.

캘리브레이션 수행부(20)는 제1 캘리브레이션 수행부(21)와 제2 캘리브레이션 수행부(22)를 구비하여, 제1 결합 리그(13)에 제1 카메라들(11)들에 대한 캘리브레이션을 수행하여 제1 카메라들(11)간 위치 관계를 파악하고, 제1 카메라들(11)과 제2 카메라(12)간 캘리브레이션을 수행하여 제1 카메라들(11)과 제2 카메라(12)간 위치 관계를 파악하도록 한다.

보다 상세하게는, 제1 캘리브레이션 수행부(21)는 도3에서와 같이, 패턴 분석부(211), 카메라 파라메터 계산부(212), 및 카메라 파라메터 최적화부(213) 등을 포함하여, 이하와 같은 방식으로 제1 캘리브레이션 동작을 수행할 수 있다.

먼저, 체스보드와 같은 규격화된 패턴 이미지를 출력하여 제1 결합 리그에 위치한 제1 카메라들(11)에게 보이도록 들고 동시에 동영상 촬영하도록 한다. 특히 본 발명에서는 제1 카메라들(11) 사이의 중첩 영역 안에 패턴 이미지가 반드시 들어가도록 하며, 정확도 향상을 위해 카메라부터의 거리를 달리하며 패턴 이미지를 반복 촬영하도록 한다.

그러면 패턴 분석부(211)는 제1 카메라(11) 각각으로 촬영된 동영상을 분석하여 패턴 이미지를 검출하고, 프레임 정보 및 동시에 보이는 카메라 정보를 기반으로 매칭 정보를 생성한다.

그리고 카메라 파라메터 계산부(212)는 매칭 정보를 기반으로 인접한 두대의 카메라 사이의 상대적인 카메라 파라미터들을 계산하고, 카메라 파라메터 최적화부(213)는 카메라 파라메터 계산부(212)를 통해 계산된 모든 제1 카메라의 파라미터들을 매칭 정보를 기반으로 비-선형 최적화를 통해 개선한 후, 이들 모두의 정보를 포함하는 제1 캘리브레이션 정보를 생성하도록 한다. 즉, 제1 카메라들(11)간 위치 관계에 대한 정보를 가지는 제1 캘리브레이션 정보를 생성하도록 한다.

또한 제2 캘리브레이션 수행부(22)는 도4에서와 같이, 패턴 분석부(221), 영상 정렬부(222) 등을 포함하여, 이하와 같은 방식으로 제2 캘리브레이션 동작을 수행할 수 있다.

먼저, 체스보드와 같은 규격화된 패턴 이미지를 출력하여 제1 카메라들(11)과 제2 카메라(12)를 통해 동시 촬영하도록 한다. 물론 이때에도 제1 카메라들(11)과 제2 카메라(12) 사이의 중첩 영역 안에 패턴 이미지가 반드시 들어가도록 한다.

그러면 패턴 분석부(221)는 제1 카메라들(11)과 제2 카메라(12) 각각이 촬영한 동영상을 분석하여 패턴 이미지를 검출하고, 프레임 정보 및 동시에 보이는 카메라 정보를 기반으로 매칭 정보를 생성한다.

그리고 영상 정렬부(222)는 제1 캘리브레이션 정보를 기반으로 다른 두 영상의 정렬을 진행하고, 이로부터 제1 카메라들(11)과 제2 카메라(12)간 위치 관계에 대한 정보를 가지는 제2 캘리브레이션 정보를 생성하도록 한다.

파노라마 영상 생성부(30)는 제1 캘리브레이션 수행부(21)를 통해 획득된 제1 카메라들(11)간 위치 관계를 기반으로 제1 카메라들(11)을 통해 획득된 전방위 영상들을 하나의 영상으로 정합하여 파노라마 영상을 생성하도록 한다.

다면 영상 생성부(40)는 제2 캘리브레이션 정보를 기반으로 파노라마 영상과 제2 영상을 정합하여, 파노라마 영상은 상황(context) 영상으로 이용하고 제2 영상은 상세(focus) 영상으로 이용하는 다면 영상을 생성하도록 한다.

보다 상세하게는, 다면 영상 생성부(40)는 도5에서와 같이, 초점 매칭부(410), 색상 매칭부(420), 특징점 매칭부(430), 스티칭부(440), 와핑부(450) 및 랜더링부(460) 등을 포함하여, 이하와 같은 방식으로 다면 영상을 생성할 수 있다.

먼저, 초점 매칭부(410)는 제1 및 제2 캘리브레이션 동작을 통해 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 메인 영상과 파노라마 영상의 초기 정렬을 진행하며, 색상 매칭부(420)는 메인 영상과 파노라마 영상의 색상을 보정하도록 한다. 그리고 특징점 매칭부(430)는 특징점 추출 알고리즘을 각 영상내 특징점을 구하고, 특징점에 대한 디스크립터로 이미지 특징점간의 대응점을 찾도록 한다. 이때, 특징점 추출 알고리즘으로는 공지된 기술에 따른 모든 알고리즘이 적용될 수 있을 것이다.

스티칭부(440)는 특징점 매칭부(430)를 통해 획득된 특징점간의 대응점을 사용하여 메인 영상과 파노라마 영상의 중첩 부분을 접합하고, 와핑부(450)는 접합된 두 영상을 자연스럽게 만들기 위해 픽셀의 위치를 이동시키는 기하학적 처리를 진행하도록 한다.

그리고 영상 단일화부(460)는 사용자 등에 의해 입력되는 콤포지션 정보를 기반으로 두 영상의 단일화 작업을 수행함으로써, 고품질의 메인 영상은 상세 영상으로 이용하고 파노라마 영상은 상황 영상으로 이용하는 다면 영상을 생성 및 출력하도록 한다.

영상 콘텐츠 제공부(50)는 제2 카메라(12), 파노라마 영상 생성부(30), 및 다면 영상 생성부(40) 각각을 통해 획득되는 메인 영상, 파노라마 영상, 및 다면 영상에 대한 정보 모두를 포함하는 영상 콘텐츠를 생성하여 제공하도록 한다.

도6은 본 발명의 일 실시예에 따른 몰입형 콘텐츠 제작 지원용 영상 제공 방법을 설명하기 위한 도면이다.

만약, 영상 촬영을 위한 제1 카메라들(11)과 제2 카메라(12)가 제1 및 제2 결합 리그(13, 14)를 통해 설치 완료되면, 제1 카메라들(11)에 대한 캘리브레이션과 제1 카메라들(11)과 제2 카메라(12)에 대한 캘리브레이션을 각각 수행하여 제1 카메라들간, 제1 카메라들과 제2 카메라간 위치 관계 각각을 파악하도록 한다(S1).

카메라 캘리브레이션이 완료되면, 제1 카메라들(11)과 제2 카메라(12)를 통해 다수의 전방위 영상과 메인 영상을 동시에 획득하도록 한다(S2).

그러면 제1 카메라들간 위치 관계를 기반으로 다수의 전방위 영상을 기반으로 정합하여 하나의 파노라마 영상을 생성하도록 한다(S3).

그리고 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 파노라마 영상과 메인 영상을 정합하여, 고품질의 메인 영상은 상세 영상으로 이용하고 파노라마 영상은 상황 영상으로 이용하는 다면 영상을 생성하도록 한다(S4).

파노라마 영상과 다면 영상이 생성 완료되면, 파노라마 영상과 다면 영상, 그리고 메인 영상을 포함하는 영상 콘텐츠를 생성하여, 외부의 장치에 제공하거나 내부의 데이터베이스에 저장하도록 한다(S5).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

1. 제1 결합 리그에 결합되어, 서로 상이한 촬영 시점을 가지는 다수의 전방위 영상들을 획득 및 제공하는 다수의 제1 카메라들;
   제2 결합 리그에 상기 제1 카메라들과 함께 결합되어, 상기 전방위 영상들보다 높은 해상도를 가지는 메인 영상을 획득하는 제2 카메라;
   상기 제1 카메라들에 대한 캘리브레이션과, 상기 제1 카메라들과 제2 카메라에 대한 캘리브레이션을 수행하여, 상기 제1 카메라들간 위치 관계, 및 상기 제1 카메라들과 제2 카메라간 위치 관계를 파악하는 캘리브레이션 수행부;
   상기 제1 카메라들간 위치 관계를 기반으로 상기 전방위 영상들을 정합하여 파노라마 영상을 생성하는 파노라마 영상 생성부;
   상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상을 정합하여 다면 영상을 생성하는 다면 영상 생성부; 및
   상기 메인 영상, 상기 파노라마 영상 및 상기 다면 영상을 포함하는 영상 콘텐츠를 생성하여 제공하는 영상 콘텐츠 제공부를 포함하며,
   상기 다면 영상 생성부는
   상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상의 초기 정렬을 진행하는 초점 매칭부;
   상기 파노라마 영상과 상기 메인 영상 각각의 특징점을 구하고, 특징점간의 대응점을 구하는 특징점 매칭부;
   상기 특징점간의 대응점을 사용하여 상기 파노라마 영상과 상기 메인 영상의 중첩 부분을 접합하는 스티칭부; 및
   상기 접합된 두 영상을 와핑한 후 단일화하여 출력하는 와핑 및 단일화 작업부를 포함하는 것을 특징으로 하는 몰입형 콘텐츠 제작 지원용 영상 제공 장치.
2. 삭제
3. 제1항에 있어서, 상기 다면 영상 생성부는
   상기 파노라마 영상과 상기 메인 영상에 대한 색상 매칭 동작을 수행하는 색상 매칭부를 더 포함하는 것을 특징으로 하는 몰입형 콘텐츠 제작 지원용 영상 제공 장치.
4. 제1항에 있어서, 상기 다면 영상 생성부는
   상기 메인 영상은 상세 영상으로 이용하고, 상기 파노라마 영상은 상황 영상으로 이용하는 다면 영상을 생성 및 제공하는 것을 특징으로 하는 몰입형 콘텐츠 제작 지원용 영상 제공 장치.
5. 제1항에 있어서, 상기 다수의 제1 카메라는
   상기 제1 결합 리그의 정면, 후면, 우측면, 좌측면, 윗면, 및 아랫면 중 적어도 두 개 이상에 결합되는 것을 특징으로 하는 몰입형 콘텐츠 제작 지원용 영상 제공 장치.
6. 서로 상이한 촬영 시점을 가지는 다수의 전방위 영상들을 획득하는 다수의 제1 카메라들과 상기 전방위 영상들보다 높은 해상도를 가지는 메인 영상을 획득하는 제2 카메라를 구비하는 영상 제공 장치의 몰입형 콘텐츠 제작 지원용 영상 제공 방법에 있어서,
   상기 제1 카메라들에 대한 캘리브레이션과, 상기 제1 카메라들과 제2 카메라에 대한 캘리브레이션을 수행하여 상기 제1 카메라들간 위치 관계, 및 상기 제1 카메라들과 제2 카메라간 위치 관계를 파악하는 단계;
   상기 제1 카메라들과 상기 제2 카메라를 이용하여, 상기 다수의 전방위 영상과 상기 메인 영상을 동시 획득하는 단계;
   상기 제1 카메라들간 위치 관계를 기반으로 상기 전방위 영상들을 정합하여 파노라마 영상을 생성하는 단계;
   상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상을 정합하여 다면 영상을 생성하는 단계;
   상기 메인 영상, 상기 파노라마 영상 및 상기 다면 영상을 포함하는 영상 콘텐츠를 생성하여 제공하는 단계를 포함하며,
   상기 다면 영상을 생성하는 단계는
   상기 제1 카메라들과 제2 카메라간 위치 관계를 기반으로 상기 파노라마 영상과 상기 메인 영상의 초기 정렬을 진행하는 단계;
   상기 파노라마 영상과 상기 메인 영상 각각의 특징점을 구하고, 특징점간의 대응점을 구하는 단계;
   상기 특징점간의 대응점을 사용하여 상기 파노라마 영상과 상기 메인 영상의 중첩 부분을 접합하는 단계; 및
   상기 접합된 두 영상을 와핑한 후 단일화하여 출력하는 단계를 포함하는 것을 특징으로 하는 몰입형 콘텐츠 제작 지원용 영상 제공 방법.

Images