KR20210128203A

KR20210128203A - 볼륨메트릭 3ｄ 동영상 제공 시스템 및 방법

Info

Publication number: KR20210128203A
Application number: KR1020200046106A
Authority: KR
Inventors: 박영수; 김이길; 소영준; 이재영; 정종원; 최강현
Original assignee: 주식회사 케이티
Priority date: 2020-04-16
Filing date: 2020-04-16
Publication date: 2021-10-26

Abstract

볼륨메트릭 3D 동영상 제공 시스템 및 방법이 개시된다.
본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 시스템은, 촬영 객체를 서로 다른 시점에서 촬영한 복수의 시점 동영상 중 제1 시점에서 촬영된 제1 시점 동영상으로서, 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상에 비해 저해상도 및 고주사율로 촬영된 제1 시점 동영상을 획득하는 제1 시점 동영상 획득부; 상기 복수의 시점 동영상 중 상기 제1 시점 동영상에 비해 고해상도 및 저주사율로 촬영된 상기 제2 시점 동영상을 획득하는 제2 시점 동영상 획득부; 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제1 시점 동영상보다 해상도가 높아진 고해상도 제1 시점 동영상을 생성하는 해상도 변환부; 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제2 시점 동영상보다 주사율이 높아진 고주사율 제2 시점 동영상을 생성하는 주사율 변환부; 및 상기 고해상도 제1 시점 동영상과 상기 고주사율 제2 시점 동영상을 3차원 공간으로 매핑하여 3D 동영상을 생성하는 3D 동영상 생성부를 포함한다.

Description

볼륨메트릭 3Ｄ 동영상 제공 시스템 및 방법{System and method for providing volumetric 3D video}

본 발명은 볼륨메트릭 3D 동영상 제공 시스템 및 방법에 관한 것으로서, 더 상세하게는, 촬영 객체를 중심으로 상기 촬영 객체의 주위에 전방위적으로 배치된 복수의 카메라를 통해 각각 서로 다른 시점에서 촬영된 복수의 시점 동영상을 획득하여, 상기 촬영 객체에 관한 볼륨메트릭 3D 동영상을 제공하는 볼륨메트릭 3D 동영상 제공 시스템 및 방법에 관한 것이다.

일반적으로, 볼륨메트릭 3D 동영상(volumetric three dimensional video)은 촬영 객체의 360도 전방향에서 상기 촬영 객체를 촬영한 다수의 2D 동영상들을 이용하여 생성한 3D 동영상을 말한다. 최근, 컴퓨터 하드웨어와 컴퓨터 하드웨어를 이용한 그래픽을 처리 기술의 발전에 따라, 고품질의 볼륨메트릭 3D 동영상을 제공하는 기술에 대한 관심과 요청이 급증하고 있다.

그러나, 한국 등록특허공보 제10-2082132호에 개시된 바와 같이, 2D 동영상들을 이용하여 볼륨메트릭 3D 동영상을 생성하기 위해서는 촬영 객체 주위의 다수의 시점에서 촬영한 2D 동영상들을 획득하여 처리해야 하기 때문에, 동영상 데이터의 저장, 전송, 처리 등을 위한 컴퓨터 시스템을 구축하는데 높은 비용이 요구되는 문제점이 있다. 또한, 기존 기술은 볼륨메트릭 3D 동영상 제작용 컴퓨터 시스템의 저장 공간이나 전송 용량을 감소시키기 위해, 촬영되는 동영상들의 해상도(resolution)를 높이는 대신 주사율(frame rate)을 낮추거나, 주사율을 높이는 대신 해상도를 낮추는 방식을 채택하고 있기 때문에, 최종 생성되는 3D 동영상의 품질이 저하되는 문제점이 있다.

본 발명이 해결하고자 하는 기술적 과제는, 볼륨메트릭 3D 동영상 생성에 적용되는 컴퓨터 시스템의 데이터 저장 공간이나 데이터 전송 용량을 확장하지 않고도 고품질의 볼륨메트릭 3D 동영상을 제공하는 볼륨메트릭 3D 동영상 제공 시스템 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 시스템은, 촬영 객체를 중심으로 상기 촬영 객체의 주위에 전방위적으로 배치된 복수의 카메라를 통해 각각 서로 다른 시점에서 촬영된 복수의 시점 동영상을 획득하여, 상기 촬영 객체에 관한 볼륨메트릭 3D 동영상을 제공하는 시스템이며, 상기 복수의 시점 동영상 중 제1 시점에서 촬영된 제1 시점 동영상으로서 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상에 비해 저해상도 및 고주사율로 촬영된 제1 시점 동영상을 획득하는 제1 시점 동영상 획득부; 상기 복수의 시점 동영상 중 상기 제1 시점 동영상에 비해 고해상도 및 저주사율로 촬영된 상기 제2 시점 동영상을 획득하는 제2 시점 동영상 획득부; 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제1 시점 동영상보다 해상도가 높아진 고해상도 제1 시점 동영상을 생성하는 해상도 변환부; 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제2 시점 동영상보다 주사율이 높아진 고주사율 제2 시점 동영상을 생성하는 주사율 변환부; 및 상기 고해상도 제1 시점 동영상과 상기 고주사율 제2 시점 동영상을 3차원 공간으로 매핑하여 3D 동영상을 생성하는 3D 동영상 생성부를 포함한다.

일 실시예에 있어서, 상기 복수의 카메라는, 제1 타입 카메라와 제2 타입 카메라를 복수 개씩 포함하고, 상기 제1 타입 카메라와 상기 제2 타입 카메라는, 상기 촬영 객체의 주위에 상호 교번하여 배치되고, 상기 제1 타입 카메라는, 상기 제2 타입 카메라에 비해 상기 촬영 객체를 저해상도 및 고주사율로 촬영하도록 구성된다.

일 실시예에 있어서, 상기 해상도 변환부는, 상기 제1 시점 동영상의 화소 값들에 대한 보간을 통해 상기 제1 시점 동영상의 해상도를 상대적으로 고해상도로 변환하여 제1 변환 동영상을 생성하고, 상기 제2 시점 동영상의 시점을 상기 제1 시점 동영상에 대응하는 시점으로 변환하여 제2 변환 동영상을 생성하고, 상기 제1 변환 동영상의 화소 값들과 상기 제2 변환 동영상의 화소 값들을 참조하여 상기 고해상도 제1 시점 동영상을 생성하도록 구성된다.

일 실시예에 있어서, 상기 해상도 변환부는, 상기 고해상도 제1 시점 동영상의 각 프레임을, 상기 제2 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H1 영역과, 상기 촬영 객체의 에지(edge)를 나타내는 E 영역과, 텍스처(texture)를 나타내는 T 영역으로 구분하고, 상기 H 영역에는 상기 제1 변환 동영상의 화소 값을 반영하고 상기 E 영역에는 상기 제1 변환 동영상 또는 상기 제2 변환 동영상의 화소 값을 반영하고 상기 T 영역에는 상기 제2 변환 동영상의 화소 값을 반영하여, 상기 고해상도 제1 시점 동영상을 생성하도록 구성된다.

일 실시예에 있어서, 상기 주사율 변환부는, 상기 제2 시점 동영상의 프레임들에 대한 보간을 통해 상기 제2 시점 동영상의 주사율을 상대적으로 고주사율로 변환하여 제3 변환 동영상을 생성하고, 상기 제1 시점 동영상의 시점을 상기 제2 시점 동영상에 대응하는 시점으로 변환하여 제4 변환 동영상을 생성하고, 상기 제3 변환 동영상의 프레임들과 상기 제4 변환 동영상의 프레임들을 참조하여 상기 고주사율 제2 시점 동영상을 생성하도록 구성된다.

일 실시예에 있어서, 상기 주사율 변환부는, 상기 고주사율 제2 시점 동영상의 각 프레임을, 상기 제3 변환 동영상에서 블러(blur)가 발생한 영역에 대응하는 B 영역과, 상기 제4 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H2 영역과, 상기 B 영역과 H2 영역을 제외한 나머지 영역인 G 영역으로 구분하고, 상기 B 영역에는 상기 제4 변환 동영상의 화소 값을 반영하고 상기 H2 영역에는 상기 제3 변환 동영상의 화소 값을 반영하고 상기 G 영역에는 상기 제3 변환 동영상 또는 상기 제4 변환 동영상의 화소 값을 반영하여 상기 고주사율 제2 시점 동영상을 생성하도록 구성된다.

일 실시예에 있어서, 상기 3D 동영상 생성부는, 상기 고해상도 제1 시점 동영상의 프레임과 해당 프레임에 대응하는 상기 고주사율 제2 시점 동영상의 프레임을 3차원 공간으로 매핑하여 3D 프레임을 생성하고, 생성된 3D 프레임들을 시계열적으로 연결하여 상기 3D 동영상을 생성하도록 구성된다.

본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 방법은, 컴퓨터 시스템이 촬영 객체를 중심으로 상기 촬영 객체의 주위에 전방위적으로 배치된 복수의 카메라를 통해 각각 서로 다른 시점에서 촬영된 복수의 시점 동영상을 획득하여, 상기 촬영 객체에 관한 볼륨메트릭 3D 동영상을 제공하는 방법이며, 상기 복수의 시점 동영상 중 제1 시점에서 촬영된 제1 시점 동영상으로서 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상에 비해 저해상도 및 고주사율로 촬영된 제1 시점 동영상을 획득하는 (a1) 단계; 상기 복수의 시점 동영상 중 상기 제1 시점 동영상에 비해 고해상도 및 저주사율로 촬영된 상기 제2 시점 동영상을 획득하는 (a2) 단계; 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제1 시점 동영상보다 해상도가 높아진 고해상도 제1 시점 동영상을 생성하는 (b) 단계; 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제2 시점 동영상보다 주사율이 높아진 고주사율 제2 시점 동영상을 생성하는 (c) 단계; 및 상기 고해상도 제1 시점 동영상과 상기 고주사율 제2 시점 동영상을 3차원 공간으로 매핑하여 3D 동영상을 생성하는 (d) 단계를 포함한다.

일 실시예에 있어서, 상기 (b) 단계는, 상기 제1 시점 동영상의 화소 값들에 대한 보간을 통해 상기 제1 시점 동영상의 해상도를 상대적으로 고해상도로 변환하여 제1 변환 동영상을 생성하는 (b1) 단계; 상기 제2 시점 동영상의 시점을 상기 제1 시점 동영상에 대응하는 시점으로 변환하여 제2 변환 동영상을 생성하는 (b2) 단계; 및 상기 제1 변환 동영상의 화소 값들과 상기 제2 변환 동영상의 화소 값들을 참조하여 상기 고해상도 제1 시점 동영상을 생성하는 (b3) 단계를 포함한다.

일 실시예에 있어서, 상기 (b3) 단계는, 상기 고해상도 제1 시점 동영상의 각 프레임을, 상기 제2 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H1 영역과, 상기 촬영 객체의 에지(edge)를 나타내는 E 영역과, 텍스처(texture)를 나타내는 T 영역으로 구분하고, 상기 H 영역에는 상기 제1 변환 동영상의 화소 값을 반영하고 상기 E 영역에는 상기 제1 변환 동영상 또는 상기 제2 변환 동영상의 화소 값을 반영하고 상기 T 영역에는 상기 제2 변환 동영상의 화소 값을 반영하여, 상기 고해상도 제1 시점 동영상을 생성하는 단계를 포함한다.

일 실시예에 있어서, 상기 (c) 단계는, 상기 제2 시점 동영상의 프레임들에 대한 보간을 통해 상기 제2 시점 동영상의 주사율을 상대적으로 고주사율로 변환하여 제3 변환 동영상을 생성하는 (c1) 단계; 상기 제1 시점 동영상의 시점을 상기 제2 시점 동영상에 대응하는 시점으로 변환하여 제4 변환 동영상을 생성하는 (c2) 단계; 및 상기 제3 변환 동영상의 프레임들과 상기 제4 변환 동영상의 프레임들을 참조하여 상기 고주사율 제2 시점 동영상을 생성하는 (c3) 단계를 포함한다.

일 실시예에 있어서, 상기 (c3) 단계는, 상기 고주사율 제2 시점 동영상의 각 프레임을, 상기 제3 변환 동영상에서 블러(blur)가 발생한 영역에 대응하는 B 영역과, 상기 제4 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H2 영역과, 상기 B 영역과 H2 영역을 제외한 나머지 영역인 G 영역으로 구분하고, 상기 B 영역에는 상기 제4 변환 동영상의 화소 값을 반영하고 상기 H2 영역에는 상기 제3 변환 동영상의 화소 값을 반영하고 상기 G 영역에는 상기 제3 변환 동영상 또는 상기 제4 변환 동영상의 화소 값을 반영하여 상기 고주사율 제2 시점 동영상을 생성하는 단계를 포함한다.

일 실시예에 있어서, 상기 (d) 단계는, 상기 고해상도 제1 시점 동영상의 프레임과 해당 프레임에 대응하는 상기 고주사율 제2 시점 동영상의 프레임을 3차원 공간으로 매핑하여 3D 프레임을 생성하는 단계; 및 생성된 3D 프레임들을 시계열적으로 연결하여 상기 3D 동영상을 생성하는 단계를 포함한다.

본 발명에 따른 실시예들은, 상술한 동작 또는 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 기록매체에 기록되는 컴퓨터 프로그램을 이용하여 구현될 수 있다.

본 발명에 따르면, 촬영 객체를 ‘저해상도’ 및 ‘고주사율’로 촬영한 동영상들과 상기 촬영 객체를 ‘고해상도’ 및 ‘저주사율’로 촬영한 동영상들을 이용하여 상기 촬영 객체에 관한 볼륨메트릭 3D 동영상을 생성함으로써, 볼륨메트릭 3D 동영상 생성에 적용되는 컴퓨터 시스템의 데이터 저장 공간이나 데이터 전송 용량을 확장하지 않고도 고품질의 볼륨메트릭 3D 동영상을 제공할 수 있다.

또한, 제1 시점에서 저해상도 및 고주사율로 촬영된 제1 시점 동영상과 상기 제1 시점에 이웃한 제2 시점에서 고해상도 및 저주사율로 촬영된 제2 시점 동영상을 상호 참조하여 고해상도 및 고주사율의 시점 동영상들을 생성하고, 이러한 고해상도 및 고주사율의 시점 동영상들을 이용하여 3D 동영상을 생성함으로써, 3D 동영상의 화질을 개선함과 동시에 사실적인 동작 표현을 가능하게 한다.

나아가, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면, 본 발명에 따른 다양한 실시예들이 상기 언급되지 않은 여러 기술적 과제들을 해결할 수 있음을 이하의 설명으로부터 자명하게 이해할 수 있을 것이다.

도 1은 본 발명에 적용 가능한 동영상 촬영 카메라 배치 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 방법을 나타낸 흐름도이다.
도 4는 제1 시점 동영상의 해상도를 저해상도에서 고해상도로 변환하는 프로세스를 나타낸 도면이다.
도 5는 제2 시점 동영상의 주사율을 저주사율에서 고주사율로 변환하는 프로세스를 나타낸 도면이다.

이하, 본 발명의 기술적 과제에 대한 해결 방안을 명확화하기 위해 첨부도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련 공지기술에 관한 설명이 오히려 본 발명의 요지를 불명료하게 하는 경우 그에 관한 설명은 생략하기로 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이들은 설계자, 제조자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 후술되는 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1에는 본 발명에 적용 가능한 동영상 촬영 카메라 배치 구조를 나타낸 도면이다.

도 1에 도시된 바와 같이, 볼륨메트릭 3Ｄ 동영상을 생성하기 위해서는 촬영 객체(O)를 중심으로 촬영 객체(O)의 주위에 전방위적으로 동영상 촬영이 가능한 다수의 카메라(10a, 10b)를 배치하고, 이러한 카메라들을 통해 서로 다른 시점(viewpoint)에서 촬영된 다수의 시점 동영상을 획득하여야 한다.

이때, 여러 시점에서 획득되는 시점 동영상들은 각각 많은 데이터양을 가지기 때문에, 이러한 시점 동영상들을 저장, 전송, 처리할 수 있는 충분한 사양의 컴퓨터 시스템이나 통신 시스템을 구축하는 데에는 높은 비용이 요구된다.

따라서, 본 발명에서는 두 가지 타입의 카메라들을 통해 촬영된 시점 동영상들이 이용된다. 즉, 본 발명에 따른 볼륨메트릭 3Ｄ 동영상 제공 시스템에서 이용되는 시점 동영상들은 촬영 객체(O)의 주위에 전방위적으로 배치된 복수의 카메라를 통해 제공되며, 이러한 복수의 카메라는 제1 타입 카메라(10a)와 제2 타입 카메라(10b)를 각각 복수 개씩 포함할 수 있다. 이 경우, 상기 제1 타입 카메라(10a)와 제2 타입 카메라(10b)는 일정 간격을 두고 촬영 객체(O)의 주위에 상호 교번하여 배치될 수 있다.

또한, 제1 타입 카메라(10a)는 제2 타입 카메라(10b)에 비해 촬영 객체(O)를 저해상도 및 고주사율로 촬영하도록 구성될 수 있다. 즉, 제1 타입 카메라(10a)는 상대적으로 저해상도 및 고주사율의 동영상을 촬영하는 카메라로 구성되고, 제2 타입 카메라(10b)는 상대적으로 고해상도 및 저주사율의 동영상을 촬영하는 카메라로 구성될 수 있다. 예컨대, 제1 타입 카메라(10a)는 Full-HD급의 저해상도와 60 fps(frame per second)의 고주사율을 가진 동영상을 촬영하도록 구성되고, 제2 타입 카메라(10b)는 4K UHD급의 고해상도와 30 fps의 저주사율을 가진 동영상을 촬영하도록 구성될 수 있다.

도 2에는 본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 시스템(100)이 블록도로 도시되어 있다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 시스템(100)은, 1 또는 2 이상의 컴퓨터나 서버로 구성될 수 있으며, 통신부(101), 입력부(102), 저장부(104), 출력부(103) 및 제어부(105) 등을 포함할 수 있다.

통신부(101)는, 촬영 객체를 촬영하는 카메라들 또는 상기 카메라들을 통해 촬영된 동영상들을 저장하는 컴퓨터나 서버, 그 밖에 다른 통신 장치 등으로부터 유·무선 통신 네트워크를 통해 전송된 데이터를 수신하여 제어부(105)에 전달하거나, 제어부(105)에서 처리된 제어 신호나 데이터를 유·무선 통신 네트워크를 통해 촬영 객체를 촬영하는 카메라들 또는 상기 카메라들을 통해 촬영된 동영상들을 저장하는 컴퓨터나 서버, 그 밖에 다른 통신 장치로 전송하도록 구성된다. 이를 위해, 통신부(101)는 유·무선 통신을 수행하는 통신 모뎀을 포함할 수 있다. 이 경우, 통신부(101)는 원거리 무선 통신을 수행하는 LTE 통신 모듈, 5G 통신 모듈 등과, 근거리 무선 통신을 수행하는 블루투스 통신 모듈, 지그비 통신 모듈, 와이파이 통신 모듈 등을 포함할 수 있다. 또한, 통신부(101)는 USB 포트, 유선랜 포트 또는 그 밖의 데이터 전송 케이블이 연결되는 다양한 통신 포트 등을 포함할 수 있다.

입력부(102)는, 시스템 사용자 또는 관리자의 명령이나 데이터를 입력받도록 구성된다. 이를 위해, 입력부(102)는 키보드, 조작 버튼 또는 터치 패널 등과 같은 입력 장치를 포함할 수 있다.

저장부(103)는, 볼륨메트릭 3D 동영상 제공 시스템(100)의 동작에 필요한 데이터들을 저장하여 관리하도록 구성된다. 이를 위해, 저장부(103)는 ROM, RAM, EEPROM, 레지스터, 플래시 메모리, CD-ROM, 자기 테이프, 하드 디스크, 플로피디스크, 광 데이터 기록장치 등의 다양한 저장 매체들을 선택적으로 포함할 수 있다.

출력부(104)는, 제어부(105)를 통해 처리된 데이터나 정보를 시각적 또는 청각적으로 출력하도록 구성된다. 이를 위해, 출력부(103)는 모니터, 디스플레이 패널 또는 터치 스크린 등과 같은 시각적 출력 장치를 포함할 수 있다. 또한, 출력부(103)는 스피커 등과 같은 음향 발생 장치를 더 포함할 수 있다.

제어부(105)는, 볼륨메트릭 3Ｄ 동영상 제공 시스템(100)의 전반적인 동작을 제어하도록 구성된다. 이를 위해, 제어부(105)는 제어 로직을 실행하기 위한 프로세서, ASIC(application-specific integrated circuit), 그 밖의 다른 칩셋, 논리 회로, 레지스터, 메모리 등의 하드웨어들을 선택적으로 포함할 수 있다. 한편, 제어부(105)는 하드웨어와 소프트웨어의 결합으로 구성될 수 있다. 즉, 제어부(105)의 제어 로직은 컴퓨터 프로그램으로 구성되어 제어부(105)의 자체 메모리나 저장부(104)에 저장되고, 저장된 컴퓨터 프로그램은 제어부(105)의 하드웨어를 통해 실행되도록 구성될 수 있다.

한편, 제어부(105)는 촬영 객체 주위에 전방위적으로 배치된 다수의 카메라를 통해 서로 다른 시점에서 촬영된 저해상도 및 고주사율의 시점 동영상들과 고해상도 및 저주사율의 시점 동영상들을 이용하여, 고품질의 볼륨메트릭 3D 동영상을 제공하도록 구성된다. 이를 위해, 제어부(105)는 기능적으로 구분되는 구성요소들로서 제1 시점 동영상 획득부(110), 제2 시점 동영상 획득부(120), 해상도 변환부(130), 주사율 변환부(140) 및 3D 동영상 생성부(150)를 포함한다. 이러한 제어부(105)의 구성요소들은 어느 한 구성요소가 다른 구성요소와 통합되거나 제어 로직의 단계적 실행을 위해 하위 구성요소들로 세분화될 수 있다. 제어부(105)의 구성요소들이 통합 또는 세분화되더라도 기능의 동일성이 인정된다면 통합 또는 세분화된 구성요소들도 본 발명의 범위 내에 있다고 해석되어야 할 것이다.

상기 제1 시점 동영상 획득부(110)는, 촬영 객체의 주위에 전방위적으로 배치된 복수의 카메라를 통해 각각 서로 다른 시점(viewpoint)에서 촬영된 복수의 시점 동영상 중 제1 시점에서 촬영된 제1 시점 동영상으로서, 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상에 비해 저해상도 및 고주사율로 촬영된 제1 시점 동영상을 획득하도록 구성된다. 이 경우, 상기 제1 시점 동영상은 도 1에 도시된 제1 타입 카메라(10a)를 통해 획득될 수 있다.

상기 제2 시점 동영상 획득부(120)는, 상기 복수의 시점 동영상 중 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상으로서, 상기 제1 시점 동영상에 비해 고해상도 및 저주사율로 촬영된 상기 제2 시점 동영상을 획득할 수 있다. 이 경우, 상기 제2 시점 동영상은 도 1에 도시된 제2 타입 카메라(10b)로서 상기 제1 시점 동영상을 촬영한 제1 타입 카메라(10a)와 이웃하게 배치된 제2 타입 카메라(10b)를 통해 획득될 수 있다.

상기 해상도 변환부(130)는, 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제1 시점 동영상보다 해상도가 높아진 고해상도 제1 시점 동영상(R)을 생성하도록 구성된다.

이를 위해, 해상도 변환부(130)는 상기 제1 시점 동영상의 화소 값들에 대한 보간(interpolation)을 통해 상기 제1 시점 동영상의 해상도를 상대적으로 고해상도로 변환하여 제1 변환 동영상(P)을 생성한다. 이 경우, 해상도 변환부(130)는 영상의 화소 값을 공간적으로 보간하는 수퍼 레졸루션(super resolution) 기법을 적용하여 상기 제1 변환 동영상(P)을 생성할 수 있다.

또한, 해상도 변환부(130)는 상기 제2 시점 동영상의 시점을 상기 제1 시점 동영상에 대응하는 시점으로 변환하여 제2 변환 동영상(Q)을 생성한다. 이 경우, 해상도 변환부(130)는 컴퓨터 비전(computer vision) 기술을 기반으로 3D 공간 구성하고 제2 시점 동영상을 상기 제1 시점 동영상의 시점에 대응하는 위치로 투영하여 상기 제2 변환 동영상(Q)을 생성할 수 있다.

그 다음, 해상도 변환부(130)는 상기 제1 변환 동영상(P)의 화소 값들과 상기 제2 변환 동영상(Q)의 화소 값들을 참조하여 고해상도 및 고주사율 특성을 가진 상기 고해상도 제1 시점 동영상(R)을 생성할 수 있다. 이 경우, 해상도 변환부(130)는 생성될 고해상도 제1 시점 동영상의 각 프레임을, 상기 제2 변환 동영상(Q)에서 홀(hole)이 발생한 영역에 대응하는 H1 영역과, 촬영 객체의 에지(edge)를 나타내는 E 영역과, 텍스처(texture)를 나타내는 T 영역으로 구분하고, 상기 H 영역에는 상기 제1 변환 동영상(P)의 화소 값을 반영하고 상기 E 영역에는 상기 제1 변환 동영상(P) 또는 상기 제2 변환 동영상(Q)의 화소 값을 반영하고 상기 T 영역에는 상기 제2 변환 동영상(Q)의 화소 값을 반영하여, 상기 고해상도 제1 시점 동영상(R)을 생성할 수 있다.

상기 주사율 변환부(140)는, 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제2 시점 동영상보다 주사율이 높아진 고주사율 제2 시점 동영상(L)을 생성하도록 구성된다.

이를 위해, 주사율 변환부(140)는 상기 제2 시점 동영상의 프레임들에 대한 보간을 통해 상기 제2 시점 동영상의 주사율을 상대적으로 고주사율로 변환하여 제3 변환 동영상(M)을 생성한다. 이 경우, 주사율 변환부(140)는 시간적으로 이웃하는 두 개의 프레임을 이용하여 상기 두 개의 프레임 사이의 중간 프레임을 예측하는 프레임 인터폴레이션(frame interpolation) 또는 프레임 더블링(frame doubling) 기법을 적용하여 제3 변환 동영상(M)을 생성할 수 있다.

또한, 주사율 변환부(140)는 상기 제1 시점 동영상의 시점을 상기 제2 시점 동영상에 대응하는 시점으로 변환하여 제4 변환 동영상(N)을 생성한다. 이 경우, 주사율 변환부(140)는 컴퓨터 비전(computer vision) 기술을 기반으로 3D 공간 구성하고 제1 시점 동영상을 상기 제2 시점 동영상의 시점에 대응하는 위치로 투영하여 상기 제4 변환 동영상(N)을 생성할 수 있다.

그 다음, 주사율 변환부(140)는 상기 제3 변환 동영상(M)의 프레임들과 상기 제4 변환 동영상(N)의 프레임들을 참조하여 상기 고주사율 제2 시점 동영상(L)을 생성할 수 있다. 이 경우, 주사율 변환부(140)는 생성될 고주사율 제2 시점 동영상의 각 프레임을, 상기 제3 변환 동영상(M)에서 블러(blur)가 발생한 영역에 대응하는 B 영역과, 상기 제4 변환 동영상(N)에서 홀(hole)이 발생한 영역에 대응하는 H2 영역과, 상기 B 영역과 H2 영역을 제외한 나머지 영역인 G 영역으로 구분하고, 상기 B 영역에는 상기 제4 변환 동영상(N)의 화소 값을 반영하고 상기 H2 영역에는 상기 제3 변환 동영상(M)의 화소 값을 반영하고 상기 G 영역에는 상기 제3 변환 동영상(M) 또는 상기 제4 변환 동영상(N)의 화소 값을 반영하여 상기 고주사율 제2 시점 동영상(L)을 생성할 수 있다.

상기 3D 동영상 생성부(150)는, 상기 고해상도 제1 시점 동영상(R)과 상기 고주사율 제2 시점 동영상(L)을 3차원 공간으로 매핑하여 3D 동영상을 생성하도록 구성된다. 이 경우, 3D 동영상 생성부(150)는 상기 고해상도 제1 시점 동영상(R)의 프레임과 해당 프레임에 대응하는 상기 고주사율 제2 시점 동영상(L)의 프레임을 3차원 공간으로 매핑하여 3D 프레임을 생성하고, 생성된 3D 프레임들을 시계열적으로 연결하여 상기 3D 동영상을 생성할 수 있다.

도 3에는 본 발명의 일 실시예에 따른 볼륨메트릭 3D 동영상 제공 방법이 흐름도로 도시되어 있다. 도 3을 참조하여, 볼륨메트릭 3D 동영상 제공 시스템(100)을 세부 동작들을 시계열적으로 설명한다.

도 3에 도시된 바와 같이, 상기 볼륨메트릭 3Ｄ 동영상 제공 시스템(100)은 촬영 객체 주위에 전방위적으로 배치된 다수의 카메라를 통해 서로 다른 시점에서 촬영된 저해상도 및 고주사율의 시점 동영상들과 고해상도 및 저주사율의 시점 동영상들을 이용하여, 고품질의 볼륨메트릭 3D 동영상을 제공한다.

우선, 객체 주위에 전방위적으로 배치된 다수의 카메라를 통해 서로 다른 시점(viewpoint)에서 각각 시점 동영상이 촬영되면(S300), 상기 시스템(100)의 제1 시점 동영상 획득부(110)는 촬영된 복수의 시점 동영상 중 제1 시점에서 촬영된 제1 시점 동영상으로서, 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상에 비해 저해상도 및 고주사율로 촬영된 제1 시점 동영상을 획득한다(S310). 이 경우, 상기 제1 시점 동영상은 도 1에 도시된 제1 타입 카메라(10a)를 통해 획득될 수 있다.

한편, 상기 시스템(100)의 제2 시점 동영상 획득부(120)는, 상기 복수의 시점 동영상 중 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상으로서, 상기 제1 시점 동영상에 비해 고해상도 및 저주사율로 촬영된 상기 제2 시점 동영상을 획득한다(S320). 이 경우, 상기 제2 시점 동영상은 도 1에 도시된 제2 타입 카메라(10b)로서 상기 제1 시점 동영상을 촬영한 제1 타입 카메라(10a)와 이웃하게 배치된 제2 타입 카메라(10b)를 통해 획득될 수 있다.

그 다음, 상기 시스템(100)의 해상도 변환부(130)는, 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제1 시점 동영상보다 해상도가 높아진 고해상도 제1 시점 동영상(R)을 생성한다(S330). 이를 위해, 해상도 변환부(130)는 상기 제1 시점 동영상의 화소 값들에 대한 보간(interpolation)을 통해 상기 제1 시점 동영상의 해상도를 상대적으로 고해상도로 변환하여 제1 변환 동영상(P)을 생성할 수 있다. 이 경우, 해상도 변환부(130)는 영상의 화소 값을 공간적으로 보간하는 수퍼 레졸루션(super resolution) 기법을 적용하여 상기 제1 변환 동영상(P)을 생성할 수 있다.

도 4에는 제1 시점 동영상의 해상도를 저해상도에서 고해상도로 변환하는 프로세스가 도시되어 있다.

도 4에 도시된 바와 같이, 해상도 변환부(130)는, 저해상도 및 고주사율로 촬영된 제1 시점 동영상(V1)과 고해상도 및 저주사율로 촬영된 제2 시점 동영상(V2)을 기반으로 상기 제1 시점 동영상(V1)보다 해상도가 높아진 고해상도 제1 시점 동영상(R)을 생성할 수 있다.

예컨대, 해상도 변환부(130)는 상기 제1 시점 동영상(V1)의 화소 값들에 대해 수퍼 레졸루션(super resolution) 기법을 적용하여 상기 제1 시점 동영상(V1)의 해상도를 상대적으로 고해상도로 변환하여 제1 변환 동영상(P)을 생성한다.

또한, 해상도 변환부(130)는 컴퓨터 비전(computer vision) 기술을 기반으로 3D 공간 구성하고 제2 시점 동영상을 상기 제1 시점 동영상의 시점에 대응하는 위치로 투영하여, 상기 제2 시점 동영상(V2)의 시점을 상기 제1 시점 동영상에 대응하는 시점으로 변환한 제2 변환 동영상(Q)을 생성한다.

이 경우, 상기 제1 변환 동영상(P)과 제2 변환 동영상(Q)은 모두 화면 품질의 측면에서 단점이 발생한다. 즉, 저해상도의 제1 시점 동영상(V1)으로부터 고해상도로 변환된 제1 변환 동영상(P)은 보간 과정에서 발생할 수 있는 블러(blur) 현상이나 특정 알고리즘의 적용에 따른 링잉(ringing) 효과와 같은 artifacts가 발생하여 화질이 떨어지게 된다.

반면, 고해상도의 제2 시점 동영상(V2)으로부터 시점이 변환된 제2 변환 동영상(Q)은 occlusion/disocclusion으로 인하여 화질 열화의 원인이 되는 홀(hole) 영역이 발생하게 된다.

따라서, 해상도 변환부(130)는 winner takes all 알고리즘에 따라 상기 제1 변환 동영상(P)의 화소 값들과 상기 제2 변환 동영상(Q)의 화소 값들을 참조하여 고해상도 및 고주사율 특성을 가진 고해상도 제1 시점 동영상(R)을 생성할 수 있다.

즉, 해상도 변환부(130)는 생성될 고해상도 제1 시점 동영상의 각 프레임을, 상기 제2 변환 동영상(Q)에서 홀(hole)이 발생한 영역에 대응하는 H1 영역과, 촬영 객체의 에지(edge)를 나타내는 E 영역과, 텍스처(texture)를 나타내는 T 영역으로 구분한다. 그리고 해상도 변환부(130)는 상기 H 영역에 상기 제1 변환 동영상(P)의 화소 값을 반영하고, 상기 E 영역에 상기 제1 변환 동영상(P) 또는 상기 제2 변환 동영상(Q)의 화소 값을 반영한다. 예컨대, 해상도 변환부(130)는 상기 제1 변환 동영상(P)의 에지 영역에 대응하는 화소 값을 상기 E 영역에 반영할 수 있다. 다만, 제1 변환 동영상(P)의 에지나 윤곽선 자체에도 blur 현상이 발생할 수 있기 때문에, 제1 변환 동영상(P)의 에지가 e_P이고, 제2 변환 동영상(Q)의 에지가 e_Q라면, 최종 동영상(R)의 에지인 e 는 e = e_P ∩ e_Q로 결정되고, 최종 동영상(R)의 e_P - e 영역에 해당하는 화소 값은 제2 변환 동영상(Q)의 화소 값을 반영할 수 있다. 한편, 해상도 변환부(130)는 상기 T 영역에 상기 제2 변환 동영상(Q)의 화소 값을 반영할 수 있다. 상술한 과정들을 통해, 고해상도와 고주사율 특징을 가진 고품질의 시점 동영상(R)이 생성될 수 있다.

다시 도 3을 참조하면, 상기 시스템(100)의 주사율 변환부(140)는, 상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제2 시점 동영상보다 주사율이 높아진 고주사율 제2 시점 동영상(L)을 생성한다(S340). 이를 위해, 주사율 변환부(140)는 상기 제2 시점 동영상의 프레임들에 대한 보간을 통해 상기 제2 시점 동영상의 주사율을 상대적으로 고주사율로 변환하여 제3 변환 동영상(M)을 생성한다. 이 경우, 주사율 변환부(140)는 시간적으로 이웃하는 두 개의 프레임을 이용하여 상기 두 개의 프레임 사이의 중간 프레임을 예측하는 프레임 인터폴레이션(frame interpolation) 또는 프레임 더블링(frame doubling) 기법을 적용하여 제3 변환 동영상(M)을 생성할 수 있다.

도 5에는 제2 시점 동영상의 주사율을 저주사율에서 고주사율로 변환하는 프로세스가 도시되어 있다.

도 5에 도시된 바와 같이, 주사율 변환부(140)는, 저해상도 및 고주사율로 촬영된 제1 시점 동영상(V1)과 고해상도 및 저주사율로 촬영된 제2 시점 동영상(V2)을 기반으로 상기 제2 시점 동영상(V2)보다 주사율이 높아진 고주사율 제2 시점 동영상(L)을 생성할 수 있다.

예컨대, 주사율 변환부(140)는 시간적으로 이웃하는 두 개의 프레임(V21, V22)을 이용하여 상기 두 개의 프레임 사이의 중간 프레임을 예측하는 프레임 인터폴레이션(frame interpolation) 또는 프레임 더블링(frame doubling) 기법을 상기 제2 시점 동영상(V2)에 적용하여 제3 변환 동영상(M)을 생성할 수 있다.

또한, 주사율 변환부(140)는 컴퓨터 비전(computer vision) 기술을 기반으로 3D 공간 구성하고 상기 제1 시점 동영상(V1)을 상기 제2 시점 동영상(V2)의 시점에 대응하는 위치로 투영하여 제4 변환 동영상(N)을 생성할 수 있다.

이 경우, 상기 제3 변환 동영상(M)과 제4 변환 동영상(N)은 모두 화면 품질의 측면에서 단점이 발생한다. 즉, 저주사율의 제2 시점 동영상(V2)으로부터 고주사율로 변환된 제3 변환 동영상(M)은 프레임 보간 과정에서 발생할 수 있는 모션 블러(motion blur) 현상이 발생하여 화질이 떨어지게 된다.

반면, 고주사율의 제1 시점 동영상(V1)으로부터 시점이 변환된 제4 변환 동영상(N)은 occlusion/disocclusion으로 인하여 화질 열화의 원인이 되는 홀(hole) 영역이 발생하게 된다.

따라서, 해상도 변환부(130)는 winner takes all 알고리즘에 따라 상기 제3 변환 동영상(M)의 화소 값들과 상기 제4 변환 동영상(N)의 화소 값들을 참조하여 고해상도 및 고주사율 특성을 가진 고주사율 제2 시점 동영상(L)을 생성할 수 있다.

즉, 주사율 변환부(140)는 생성될 고주사율 제2 시점 동영상의 각 프레임을, 상기 제3 변환 동영상(M)에서 블러(blur)가 발생한 영역에 대응하는 B 영역과, 상기 제4 변환 동영상(N)에서 홀(hole)이 발생한 영역에 대응하는 H2 영역과, 상기 B 영역과 H2 영역을 제외한 나머지 영역인 G 영역으로 구분한다. 그리고 주사율 변환부(140)는 블러가 발생하지 않은 제4 변환 동영상(N)의 화소 값을 상기 B 영역에 반영하고, 홀이 상기 제3 변환 동영상(M)의 화소 값을 상기 H2 영역에 반영하고, 상기 G 영역에 상기 제3 변환 동영상(M) 또는 상기 제4 변환 동영상(N)의 화소 값을 반영한다. 이 경우, 주사율 변환부(140)는 제3 변환 동영상(M)과 제4 변환 동영상(N)의 프레임들 확인하여 상기 G 영역에 대응하는 영역의 sharpness 정도가 가까운 동영상의 화소 값을 상기 G 영역에 반영할 수 있다. 상술한 과정들을 통해, 고해상도와 고주사율 특징을 가진 고품질의 시점 동영상(L)이 생성될 수 있다.

다시 도 3을 참조하면, 상기 시스템(100)의 3D 동영상 생성부(150)는, 상기 고해상도 제1 시점 동영상(R)과 상기 고주사율 제2 시점 동영상(L)을 3차원 공간으로 매핑하여 3D 동영상을 생성한다(S350).

이 경우, 3D 동영상 생성부(150)는 상기 고해상도 제1 시점 동영상(R)의 프레임과 해당 프레임에 대응하는 상기 고주사율 제2 시점 동영상(L)의 프레임을 3차원 공간으로 매핑하여 3D 프레임을 생성하고, 생성된 3D 프레임들을 시계열적으로 연결하여 상기 3D 동영상을 생성할 수 있다. 이러한 과정은 기존 photogrammetry 생성 과정과 유사하게 진행되며, 2D 시점 동영상들의 시간적 동기화 과정에서 예측 값 오차로 인한 3D 영상 복원 오차를 방지하기 위하여 RANSAC(Random Sample Consensus) 등의 방법을 통해 이상치(outlier)를 제외하고, 나머지 값들을 3D 영상 복원 계산에 사용할 수 있다. 그리고 각 시점 동영상의 프레임들로 만들어진, 3D photogrammetry를 확장하여 시간적 흐름에 따라 움직임을 표현할 수 있는 3D videogrammetry를 생성할 수 있다.

한편, 본 발명에 따른 실시예들은 컴퓨터 시스템과 이러한 컴퓨터 시스템을 구동하는 컴퓨터 프로그램으로 구현될 수 있다. 본 발명의 실시예들이 컴퓨터 프로그램으로 구현되는 경우, 본 발명의 구성요소들은 해당 컴퓨터 시스템을 통해 해당 동작이나 작업을 실행하는 프로그램 세그먼트들이다. 이러한 컴퓨터 프로그램 내지 프로그램 세그먼트들은 컴퓨터로 판독 가능한 다양한 기록매체에 저장될 수 있다. 컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 기록하는 모든 종류의 매체가 포함된다. 예컨대, 컴퓨터로 판독 가능한 기록매체에는 ROM, RAM, EEPROM, 레지스터, 플래시 메모리, CD-ROM, 자기 테이프, 하드 디스크, 플로피디스크, 또는 광 데이터 기록장치 등이 포함될 수 있다. 또한, 이러한 기록매체는 다양한 네트워크로 연결된 컴퓨터 시스템들에 분산 배치되어 프로그램 코드들을 분산 방식으로 저장하거나 실행시킬 수 있다.

상술한 바와 같이, 본 발명에 따르면, 촬영 객체를 ‘저해상도’ 및 ‘고주사율’로 촬영한 동영상들과 상기 촬영 객체를 ‘고해상도’ 및 ‘저주사율’로 촬영한 동영상들을 이용하여 상기 촬영 객체에 관한 볼륨메트릭 3D 동영상을 생성함으로써, 볼륨메트릭 3D 동영상 생성에 적용되는 컴퓨터 시스템의 데이터 저장 공간이나 데이터 전송 용량을 확장하지 않고도 고품질의 볼륨메트릭 3D 동영상을 제공할 수 있다.

나아가, 본 발명에 따른 실시예들은, 당해 기술 분야는 물론 관련 기술 분야에서 본 명세서에 언급된 내용 이외의 다른 여러 기술적 과제들을 해결할 수 있음은 물론이다.

지금까지 본 발명에 대해 구체적인 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 기술적 범위에서 다양한 변형 실시예들이 구현될 수 있음을 명확하게 이해할 수 있을 것이다. 그러므로 앞서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 할 것이다. 즉, 본 발명의 진정한 기술적 사상의 범위는 청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.

110 : 제1 시점 동영상 획득부 120 : 제2 시점 동영상 획득부
130 : 해상도 변환부 140 : 주사율 변환부
150 : 3D 동영상 생성부

Claims

촬영 객체를 중심으로 상기 촬영 객체의 주위에 전방위적으로 배치된 복수의 카메라를 통해 각각 서로 다른 시점에서 촬영된 복수의 시점 동영상을 획득하여, 상기 촬영 객체에 관한 볼륨메트릭 3D 동영상을 제공하는 볼륨메트릭 3D 동영상 제공 시스템에 있어서,
상기 복수의 시점 동영상 중 제1 시점에서 촬영된 제1 시점 동영상으로서, 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상에 비해 저해상도 및 고주사율로 촬영된 제1 시점 동영상을 획득하는 제1 시점 동영상 획득부;
상기 복수의 시점 동영상 중 상기 제1 시점 동영상에 비해 고해상도 및 저주사율로 촬영된 상기 제2 시점 동영상을 획득하는 제2 시점 동영상 획득부;
상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제1 시점 동영상보다 해상도가 높아진 고해상도 제1 시점 동영상을 생성하는 해상도 변환부;
상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제2 시점 동영상보다 주사율이 높아진 고주사율 제2 시점 동영상을 생성하는 주사율 변환부; 및
상기 고해상도 제1 시점 동영상과 상기 고주사율 제2 시점 동영상을 3차원 공간으로 매핑하여 3D 동영상을 생성하는 3D 동영상 생성부를 포함하는 볼륨메트릭 3D 동영상 제공 시스템.
제1항에 있어서,
상기 복수의 카메라는, 제1 타입 카메라와 제2 타입 카메라를 복수 개씩 포함하고,
상기 제1 타입 카메라와 상기 제2 타입 카메라는, 상기 촬영 객체의 주위에 상호 교번하여 배치되고,
상기 제1 타입 카메라는, 상기 제2 타입 카메라에 비해 상기 촬영 객체를 저해상도 및 고주사율로 촬영하도록 구성된 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 시스템.
제1항에 있어서,
상기 해상도 변환부는, 상기 제1 시점 동영상의 화소 값들에 대한 보간을 통해 상기 제1 시점 동영상의 해상도를 상대적으로 고해상도로 변환하여 제1 변환 동영상을 생성하고, 상기 제2 시점 동영상의 시점을 상기 제1 시점 동영상에 대응하는 시점으로 변환하여 제2 변환 동영상을 생성하고, 상기 제1 변환 동영상의 화소 값들과 상기 제2 변환 동영상의 화소 값들을 참조하여 상기 고해상도 제1 시점 동영상을 생성하도록 구성된 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 시스템.
제3항에 있어서,
상기 해상도 변환부는, 상기 고해상도 제1 시점 동영상의 각 프레임을, 상기 제2 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H1 영역과, 상기 촬영 객체의 에지(edge)를 나타내는 E 영역과, 텍스처(texture)를 나타내는 T 영역으로 구분하고, 상기 H 영역에는 상기 제1 변환 동영상의 화소 값을 반영하고 상기 E 영역에는 상기 제1 변환 동영상 또는 상기 제2 변환 동영상의 화소 값을 반영하고 상기 T 영역에는 상기 제2 변환 동영상의 화소 값을 반영하여, 상기 고해상도 제1 시점 동영상을 생성하도록 구성된 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 시스템.
제1항에 있어서,
상기 주사율 변환부는, 상기 제2 시점 동영상의 프레임들에 대한 보간을 통해 상기 제2 시점 동영상의 주사율을 상대적으로 고주사율로 변환하여 제3 변환 동영상을 생성하고, 상기 제1 시점 동영상의 시점을 상기 제2 시점 동영상에 대응하는 시점으로 변환하여 제4 변환 동영상을 생성하고, 상기 제3 변환 동영상의 프레임들과 상기 제4 변환 동영상의 프레임들을 참조하여 상기 고주사율 제2 시점 동영상을 생성하도록 구성된 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 시스템.
제5항에 있어서,
상기 주사율 변환부는, 상기 고주사율 제2 시점 동영상의 각 프레임을, 상기 제3 변환 동영상에서 블러(blur)가 발생한 영역에 대응하는 B 영역과, 상기 제4 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H2 영역과, 상기 B 영역과 H2 영역을 제외한 나머지 영역인 G 영역으로 구분하고, 상기 B 영역에는 상기 제4 변환 동영상의 화소 값을 반영하고 상기 H2 영역에는 상기 제3 변환 동영상의 화소 값을 반영하고 상기 G 영역에는 상기 제3 변환 동영상 또는 상기 제4 변환 동영상의 화소 값을 반영하여 상기 고주사율 제2 시점 동영상을 생성하도록 구성된 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 시스템.
제1항에 있어서,
상기 3D 동영상 생성부는, 상기 고해상도 제1 시점 동영상의 프레임과 해당 프레임에 대응하는 상기 고주사율 제2 시점 동영상의 프레임을 3차원 공간으로 매핑하여 3D 프레임을 생성하고, 생성된 3D 프레임들을 시계열적으로 연결하여 상기 3D 동영상을 생성하도록 구성된 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 시스템.
컴퓨터 시스템이 촬영 객체를 중심으로 상기 촬영 객체의 주위에 전방위적으로 배치된 복수의 카메라를 통해 각각 서로 다른 시점에서 촬영된 복수의 시점 동영상을 획득하여, 상기 촬영 객체에 관한 볼륨메트릭 3D 동영상을 제공하는 볼륨메트릭 3D 동영상 제공 방법에 있어서,
상기 복수의 시점 동영상 중 제1 시점에서 촬영된 제1 시점 동영상으로서, 상기 제1 시점과 이웃한 제2 시점에서 촬영된 제2 시점 동영상에 비해 저해상도 및 고주사율로 촬영된 제1 시점 동영상을 획득하는 (a1) 단계;
상기 복수의 시점 동영상 중 상기 제1 시점 동영상에 비해 고해상도 및 저주사율로 촬영된 상기 제2 시점 동영상을 획득하는 (a2) 단계;
상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제1 시점 동영상보다 해상도가 높아진 고해상도 제1 시점 동영상을 생성하는 (b) 단계;
상기 제1 시점 동영상과 상기 제2 시점 동영상을 기반으로 상기 제2 시점 동영상보다 주사율이 높아진 고주사율 제2 시점 동영상을 생성하는 (c) 단계; 및
상기 고해상도 제1 시점 동영상과 상기 고주사율 제2 시점 동영상을 3차원 공간으로 매핑하여 3D 동영상을 생성하는 (d) 단계를 포함하는 볼륨메트릭 3D 동영상 제공 방법.
제8항에 있어서,
상기 복수의 카메라는, 제1 타입 카메라와 제2 타입 카메라를 복수 개씩 포함하고,
상기 제1 타입 카메라와 상기 제2 타입 카메라는, 상기 촬영 객체의 주위에 상호 교번하여 배치되고,
상기 제1 타입 카메라는, 상기 제2 타입 카메라에 비해 상기 촬영 객체를 저해상도 및 고주사율로 촬영하도록 구성된 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 방법.
제8항에 있어서,
상기 (b) 단계는,
상기 제1 시점 동영상의 화소 값들에 대한 보간을 통해 상기 제1 시점 동영상의 해상도를 상대적으로 고해상도로 변환하여 제1 변환 동영상을 생성하는 (b1) 단계;
상기 제2 시점 동영상의 시점을 상기 제1 시점 동영상에 대응하는 시점으로 변환하여 제2 변환 동영상을 생성하는 (b2) 단계; 및
상기 제1 변환 동영상의 화소 값들과 상기 제2 변환 동영상의 화소 값들을 참조하여 상기 고해상도 제1 시점 동영상을 생성하는 (b3) 단계를 포함하는 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 방법.
제10항에 있어서,
상기 (b3) 단계는, 상기 고해상도 제1 시점 동영상의 각 프레임을, 상기 제2 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H1 영역과, 상기 촬영 객체의 에지(edge)를 나타내는 E 영역과, 텍스처(texture)를 나타내는 T 영역으로 구분하고, 상기 H 영역에는 상기 제1 변환 동영상의 화소 값을 반영하고 상기 E 영역에는 상기 제1 변환 동영상 또는 상기 제2 변환 동영상의 화소 값을 반영하고 상기 T 영역에는 상기 제2 변환 동영상의 화소 값을 반영하여, 상기 고해상도 제1 시점 동영상을 생성하는 단계를 포함하는 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 방법.
제8항에 있어서,
상기 (c) 단계는,
상기 제2 시점 동영상의 프레임들에 대한 보간을 통해 상기 제2 시점 동영상의 주사율을 상대적으로 고주사율로 변환하여 제3 변환 동영상을 생성하는 (c1) 단계;
상기 제1 시점 동영상의 시점을 상기 제2 시점 동영상에 대응하는 시점으로 변환하여 제4 변환 동영상을 생성하는 (c2) 단계; 및
상기 제3 변환 동영상의 프레임들과 상기 제4 변환 동영상의 프레임들을 참조하여 상기 고주사율 제2 시점 동영상을 생성하는 (c3) 단계를 포함하는 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 방법.
제12항에 있어서,
상기 (c3) 단계는, 상기 고주사율 제2 시점 동영상의 각 프레임을, 상기 제3 변환 동영상에서 블러(blur)가 발생한 영역에 대응하는 B 영역과, 상기 제4 변환 동영상에서 홀(hole)이 발생한 영역에 대응하는 H2 영역과, 상기 B 영역과 H2 영역을 제외한 나머지 영역인 G 영역으로 구분하고, 상기 B 영역에는 상기 제4 변환 동영상의 화소 값을 반영하고 상기 H2 영역에는 상기 제3 변환 동영상의 화소 값을 반영하고 상기 G 영역에는 상기 제3 변환 동영상 또는 상기 제4 변환 동영상의 화소 값을 반영하여 상기 고주사율 제2 시점 동영상을 생성하는 단계를 포함하는 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 방법.
제8항에 있어서,
상기 (d) 단계는,
상기 고해상도 제1 시점 동영상의 프레임과 해당 프레임에 대응하는 상기 고주사율 제2 시점 동영상의 프레임을 3차원 공간으로 매핑하여 3D 프레임을 생성하는 단계; 및
생성된 3D 프레임들을 시계열적으로 연결하여 상기 3D 동영상을 생성하는 단계를 포함하는 것을 특징으로 하는 볼륨메트릭 3D 동영상 제공 방법.
제8항 내지 제14항 중 어느 한 항에 따른 방법을 컴퓨터를 통해 실행하는 컴퓨터 프로그램으로서 컴퓨터로 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.