KR101920113B1 - 임의시점 영상생성 방법 및 시스템 - Google Patents

Abstract

임의시점 영상생성 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 임의시점 영상생성 방법은, 다시점 영상들 중 어느 한 종류의 다시점 영상을 입력받아, 입력되는 다시점 영상에 따라 알고리즘을 선택적으로 적용하여 임의시점 영상들을 생성한다. 이에 의해, 장면 변화, 획득 시스템 변화, 방송 환경 변화 등에 모두 적응적으로 대응하여, 보다 효과적으로 임의시점 영상을 생성을 가능하게 하는 방법 및 시스템을 제공함에 있다.

Description

임의시점 영상생성 방법 및 시스템{Arbitrary View Image Generation Method and System}

본 발명은 영상생성 기술에 관한 것으로, 더욱 상세하게는 입력 영상을 이용하여 새로운 임의시점의 영상들을 생성하는 방법 및 시스템에 관한 것이다.

최근 들어 방송에서의 촬영 환경은 다변화되고 있고, 다시점 3DTV가 상용화 되면서 기존의 단일 카메라나 스테레오 카메라 등을 이용한 영상 획득 대신에 많은 수의 카메라들을 이용해서 컨텐츠를 획득하는 경우가 증가하고 있다.

다시점으로 컨텐츠를 획득하는 경우, 임의시점으로의 변환이 필요할 수 있고, 또한 적은 수의 카메라로 더 많은 수의 시점을 생성하는 중간영상 합성의 필요성도 크게 증가하고 있다.

현재 영상 합성은 기본적으로 다수의 RGB 영상이 주어졌을 때 대응점 탐색을 통해서 변이(disparity) 맵을 만들고 이를 통해서 3차원 점들을 구한 후에 이 점들을 새로운 시점으로 투영(projection)하는 방식에 의하고 있다.

하지만 대응점 탐색이 어려운 장면의 경우 3차원 점들이 정확하게 구해지지 않아서 임의시점 영상의 정확도가 떨어지게 되는 단점이 있으며, 또한 정확하게 대응점 탐색을 하기 위해서는 계산량이 많아지기 때문에 실시간으로 임의시점을 생성하는 어플리케이션에는 적용하기가 힘들다.

따라서 현재의 영상 합성 기술로는 다양한 장면 변화, 획득 시스템 변화, 방송 환경의 변화 등에 적응적으로 대응하기 힘들다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 장면 변화, 획득 시스템 변화, 방송 환경 변화 등에 모두 적응적으로 대응하여, 보다 효과적으로 임의시점 영상을 생성을 가능하게 하는 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 임의시점 영상생성 방법은, 다시점 영상들 중 어느 한 종류의 다시점 영상을 입력받는 단계; 및 입력되는 다시점 영상에 따라 알고리즘을 선택적으로 적용하여, 임의시점 영상들을 생성하는 단계;를 포함한다.

그리고, 입력되는 다시점 영상은, 영상 획득 시스템, 영상 특성, 방송 환경 중 적어도 하나를 기초로 결정될 수 있다.

또한, 상기 생성 단계는, 상기 입력되는 다시점 영상이 컬러 영상만으로 구성된 다시점 영상인 경우, 인터폴레이션 모듈을 포함하는 알고리즘을 이용하여 상기 임의시점 영상들을 생성할 수 있다.

그리고, 상기 생성 단계는, 상기 입력되는 다시점 영상이 컬러 영상과 Disparity로 구성된 다시점 영상인 경우, Division Calculation, Disparity Division 및 Hole Filling 모듈을 포함하는 알고리즘을 이용하여 상기 임의시점 영상들을 생성할 수 있다.

또한, 상기 생성 단계는, 상기 입력되는 다시점 영상이 컬러 영상과 Depth로 구성된 다시점 영상인 경우, 3D Reconstruction 및 3D Projection 모듈을 포함하는 알고리즘을 이용하여 상기 임의시점 영상들을 생성할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 임의시점 영상생성 시스템은, 다시점 영상들 중 어느 한 종류의 다시점 영상을 입력받는 입력부; 및 입력되는 다시점 영상에 따라 알고리즘을 선택적으로 적용하여, 임의시점 영상들을 생성하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다시점이나 초다시점 컨텐츠를 적은 수의 카메라와 깊이 카메라만을 이용해서 제작할 수 있게 되어서 기존의 다시점/초다시점 컨텐츠의 촬영 환경적 제약을 최대한으로 줄일 수 있다.

또한 본 발명의 실시예들에 따르면, 임의시점 생성기술을 통해서 이미 촬영을 마친 컨텐츠에 대해서도 카메라의 임의적인 위치 변화를 가능케 함으로써 컨텐츠 촬영 시간을 획기적으로 줄일 수 있으며, 추후 인터랙티브한 디스플레이 장치가 상용화되었을 때 시청자의 위치 변화에 따라서 실제 컨텐츠의 시점이 변화하는 효과를 줄 수 있다.

아울러 본 발명의 실시예들에 따르면, 방송 환경에 따른 제작 시간과 컨텐츠의 제작 퀄러티 간의 트레이드 오프 관계를 조정함으로써 라이브 방송이 필요한 환경에서는 영상의 화질은 조금 저하되지만 실시간으로 임의영상을 생성할 수 있도록 하고, 오프라인으로 충분히 제작 시간이 확보되는 경우에는 획득된 RGB 영상과 깊이 데이터에 기반해서 최적화된 3차원 정보를 생성하고 이를 통해 고화질의 임의영상을 생성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 임의시점 영상생성 방법의 설명에 제공되는 도면,
도 2는 3D Reconstruction의 개념 설명에 제공되는 도면,
도 3은 3D Projection의 개념 설명에 제공되는 도면, 그리고,
도 4는 본 발명의 다른 실시예에 따른 임의시점 영상생성 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 임의시점 영상생성 방법의 설명에 제공되는 도면이다.

본 발명의 실시예에 따른 영상생성 방법에서는, 다시점 혹은 초다시점(이하, '(초)다시점'으로 표기) 영상을 기반으로 가상의 임의시점 영상들을 생성하되, (초)다시점 입력 영상의 종류에 따라 각기 다른 알고리즘을 적용하여, 최종적으로 Y개의 임의시점 영상들을 생성한다.

본 발명의 실시예에서는, (초)다시점 입력 영상의 종류로 다음의 4가지를 상정한다.

(1) RGB (초)다시점 영상들

(2) RGB + Disparity (초)다시점 영상들

(3) RGB + Depth (초)다시점 영상들

(4) 3차원 Point Cloud

(초)다시점 영상은 한 공간에서 다양한 위치에 존재하는 수십 대의 RGB 카메라로 획득한 영상들을 의미하고, 임의시점 영상은 그 공간의 임의의 가상 위치에서 획득한 가상의 RGB 영상을 의미한다.

따라서 (초)다시점 영상 기반의 임의시점 합성이란, 한 공간에서 다양한 위치에 존재하는 수십 대의 카메라로 획득한 영상들을 이용해서, 그 공간에서 가상 위치에서의 영상들을 생성해내는 기술을 말한다.

1. RGB (초)다시점 영상들을 이용한 임의시점 영상 생성

RGB (초)다시점 영상들만을 이용해서 임의시점을 합성하는 방법은 도 1의 우측에 도시된 바와 같이, RGB 영상을 Edge-preserving Image Interpolation(Super Resolution) 알고리즘을 이용해서 해상도를 올리는 방식이다.

따라서 완전한 임의시점 영상은 생성이 불가능하고 카메라의 Principal Axis에 존재하는 시점만 합성이 가능하다.

또한 합성하려고 하는 영상들의 장면이 front-parallel한 경우가 아니라면 깊이 정보에 따른 Projective 특성 때문에 사용이 불가능하다. 하지만, 적절한 조건하에서는 RGB 영상들만으로도 가장 빠르게 그리고 필요에 의해 임의시점 영상을 합성할 수 있는 장점이 있다.

2. RGB + Disparity (초)다시점 영상들을 이용한 임의시점 영상 생성

(초)다시점 영상들의 Disparity를 이용하여 임의시점을 합성하는 방법도, 완전한 임의시점 영상은 생성이 불가능하고, 카메라 사이의 중간시점을 합성해내는데 사용가능하다.

도 1의 좌측에 도시된 바와 같이, 이 방법은 생성하려고 하는 중간시점의 위치가 그 양쪽 카메라 사이 어디에 존재하는지를 비례적으로 계산해서(Division Calculation), 중간시점 영상의 Disparity를 그 비례식으로 양쪽 카메라의 Disparity로부터 구하고 이렇게 구한 Disparity의 RGB 값을 양쪽 카메라의 RGB 영상으로부터 가져오는(Disparity Division) 방법이다.

다음, 이와 같이 생성한 중간시점 영상에 존재하는 홀들을 채우기 위해 Spatio-Temporal Hole Filling(Hole Filling) 알고리즘을 이용한다. 생성된 영상이 중간시점이기 때문에, Edge-preserving Image Interpolation(Super Resolution) 알고리즘을 필요로 하지 않는다.

이 방법은 중간시점만 가능하다는 단점이 있지만, 복잡하지 않은 장면에 대해서 정확한 결과를 얻을 수 있고, RGB 카메라만으로 얻은 깊이 정보(Multi-view Matching)를 활용하여 합성이 가능하다는 장점이 있으며, 특히 실시간으로 계산이 가능하기 때문에 속도에 민감한 임의시점 확장 응용에서 반드시 필요하다.

한편, (초)다시점 영상들의 Disparity로부터 Depth를 구하여 (초)다시점 영상의 각 RGB 영상마다 3차원 Point Cloud를 구하는 방식(Single-view 3D Reconstruction)을 이용할 수도 있다.

3. RGB + Depth (초)다시점 영상들을 이용한 임의시점 영상 생성

(초)다시점 영상들의 Depth를 이용하여 임의시점을 합성(Depth Image based Rendering)하는 방법은 완전한 임의시점 영상생성이 가능하다.

도 1의 중앙에 도시된 바와 같이, 이 방법은 먼저, 주어진 Depth 정보를 이용하여 3차원 Point Cloud를 구한다. 이는, 주어진 (초)다시점 영상의 각 RGB 영상마다 3차원 Point Cloud를 구하는 방식(Single-view 3D Reconstruction)과 동일 3차원 Point를 색출해내어 전체 (초)다시점 영상들의 단일 3차원 Point Cloud를 구하는 방식(Multi-view 3D Reconstruction)으로 구분될 수 있다.

다음, 구해진 3차원 Point Cloud를 주어진 임의시점 위치(Y Arbitrary Poses)로 3차원 Projection(3D Projection with Depth Buffering) 시킨다.

3D Reconstruction은 도 2에 도시된 바와 같이, 2D 영상을 Depth를 이용해서 3차원으로 Reprojection 시키는 것을 의미한다. 그리고, 3D Projection은 도 3에 도시된 바와 같이, 3차원 Point를 2D 영상으로 Projection 시키는 것을 의미한다.

여기서 임의시점 영상의 동일 위치에 2개 이상의 3차원 Point가 Projection 되었을 때 가까운 Point를 택하는 Depth Buffering 기법을 활용한다.

(초)다시점 영상의 각 RGB 영상마다 3차원 Point Cloud를 구하는 방식에서는, 각 RGB 영상마다 3D Projection 영상들이 만들어지기 때문에, 여러 개의 RGB 영상을 한 개의 RGB 영상으로 합치는 Multi-view Blending 알고리즘을 사용하고 그렇게 만들어진 1개의 임의시점 영상의 홀을 채우기 위해, Spatio-Temporal Hole Filling(Hole Filling) 알고리즘을 이용한다. 또한 해상도가 낮다면 Edge-preserving Image Interpolation(Super Resolution)을 이용하여 해상도를 올린다.

이 방법은 임의시점 합성이 가능하고, 주어진 Depth가 정확하다면 정확한 임의시점 영상을 얻을 수 있는 장점이 있다. 또한, (초)다시점 영상들의 Visibility Check 및 글로벌 3차원 Point Cloud가 입력으로 주어지거나 이용이 가능하고 바로 적용이 가능하다는 장점이 있다. 하지만 1개의 임의시점 영상을 합성하는데 상당한 시간을 필요로 하는 단점이 있다.

4. 3차원 Point Cloud를 이용한 임의시점 영상 생성

만일 단일 3차원 Point Cloud가 입력으로 주어지면 3D Reconstruction은 필요하지 않다. 구해진 3차원 Point Cloud를 주어진 임의시점 위치(Y Arbitrary Poses)로 3차원 Projection(3D Projection with Depth Buffering) 시킨다.

5. 임의시점 영상생성 시스템

도 4는 본 발명의 다른 실시예에 따른 임의시점 영상생성 시스템의 블럭도이다. 본 발명의 다른 실시예에 따른 임의시점 영상생성 시스템은, 도 4에 도시된 바와 같이, 영상 입력부(110), 프로세서(120), 영상 출력부(130) 및 저장부(140)를 포함한다.

영상 입력부(110)는 (초)다시점 입력 영상 또는 3차원 Point Cloud를 입력 받아 프로세서(120)에 인가한다.

프로세서(120)는 입력 영상에 대해 도 1에 제시된 각기 다른 알고리즘을 적용하여 최종적으로 임의시점 영상들을 생성한다. 도 1에 제시된 각각의 알고리즘 모듈들을 다중 병렬 처리할 수 있도록, 프로세서(120)는 다수의 GPU들을 포함한다.

이에 따라 1개의 임의시점 영상을 합성하기 위한 다수의 (초)다시점 영상들을 병렬 처리할 수 있고, 혹은 Y개의 임의시점 영상 합성을 병렬 처리할 수 있다. 나아가, 조건에 따라 각각의 모듈을 다른 GPU 혹은 동일 GPU에서 처리하도록, 필요에 의해 변경이 가능하다.

저장부(140)는 프로세서(120)가 모듈들을 처리함에 있어 필요한 저장 공간을 제공한다. 영상 출력부(130)는 프로세서(120)에서 생성된 임의시점 영상들을 출력한다.

6. 응용

위에서 다양한 임의시점 합성 방법을 제시하였는데, 위의 내용처럼 각각 상황별 조건별 장단점이 존재한다. 따라서, 상황과 조건에 따라 다른 (초)다시점 입력 영상을 이용하여 유연하게 사용이 가능하다.

또한, (초)다시점 입력 영상을 다른 입력 영상 종류로 변경이 가능하여 주어진 입력 영상에 상관없이 필요에 따라 변형적으로 각각의 알고리즘을 적용할 수 있다.

지금까지, (초)다시점의 영상 또는 3차원 Point Cloud를 이용해서 다양한 임의시점에서의 영상을 생성하는 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

본 발명의 실시예에 따른 임의시점 영상생성 방법 및 시스템은, 현재의 영상과 깊이 영상을 획득하는 시스템, 촬영되는 장면, 그리고, 컨텐츠 제작환경(실시간, 준실시간, 오프라인)에 적응적으로 대응할 수 있는 임의시점 영상생성이 가능한 기술을 제시하였다.

이를 위해, 본 발명의 실시예에 따른 임의시점 영상생성 방법은, RGB 영상과 깊이 정보를 서로 다른 형태의 깊이 정보로 변환해주는 모듈을 포함하고 있으며, 라이브 방송이나 오프라인 처리 등의 컨텐츠 제작시간 변화에 대응이 가능한 임의시점 영상생성 방법에 필요한 모듈들을 모두 포함하고 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Edge-preserving Image Interpolation
Division Calculation
Disparity Division
Spatio-Temporal Hole Filling
Single-view 3D Reconstruction
Multi-view 3D Reconstruction
3D Projection with Depth Buffering
Multi-view Blending

Claims (6)

1. 다시점 영상들 중 어느 한 종류의 다시점 영상을 입력받는 단계; 및
   입력되는 다시점 영상에 따라 알고리즘을 선택적으로 적용하여, 임의시점 영상들을 생성하는 단계;를 포함하고,
   생성 단계는,
   촬영 장면 및 제작환경을 기초로 알고리즘을 선택적으로 적용하며,
   제작환경은,
   실시간, 준실시간 및 오프라인 제작환경을 포함하며,
   상기 생성 단계는,
   상기 입력되는 다시점 영상이 컬러 영상과 Depth로 구성된 다시점 영상인 경우, 3D Reconstruction 및 3D Projection 모듈을 포함하는 알고리즘을 이용하여 상기 임의시점 영상들을 생성하고,
   상기 입력되는 다시점 영상이 컬러 영상과 Disparity로 구성된 다시점 영상인 경우, Disparity로부터 Depth를 구하여 컬러 영상 마다 3차원 Point Cloud를 구한 후에, 상기 3차원 Point Cloud를 이용하여 상기 임의시점 영상들을 생성하는 것을 특징으로 하는 임의시점 영상생성 방법.
   
2. 삭제
3. 청구항 1에 있어서,
   상기 생성 단계는,
   상기 입력되는 다시점 영상이 컬러 영상만으로 구성된 다시점 영상인 경우, 인터폴레이션 모듈을 포함하는 알고리즘을 이용하여 상기 임의시점 영상들을 생성하는 것을 특징으로 하는 임의시점 영상생성 방법.
   
4. 청구항 1에 있어서,
   상기 생성 단계는,
   상기 입력되는 다시점 영상이 컬러 영상과 Disparity로 구성된 다시점 영상인 경우, Division Calculation, Disparity Division 및 Hole Filling 모듈을 포함하는 알고리즘을 이용하여 상기 임의시점 영상들을 생성하는 것을 특징으로 하는 임의시점 영상생성 방법.
   
5. 삭제
6. 다시점 영상들 중 어느 한 종류의 다시점 영상을 입력받는 입력부; 및
   입력되는 다시점 영상에 따라 알고리즘을 선택적으로 적용하여, 임의시점 영상들을 생성하는 프로세서;를 포함하고,
   상기 프로세서는,
   촬영 장면 및 제작환경을 기초로 알고리즘을 선택적으로 적용하며,
   제작환경은,
   실시간, 준실시간 및 오프라인 제작환경을 포함하며,
   상기 프로세서는,
   상기 입력되는 다시점 영상이 컬러 영상과 Depth로 구성된 다시점 영상인 경우, 3D Reconstruction 및 3D Projection 모듈을 포함하는 알고리즘을 이용하여 상기 임의시점 영상들을 생성하고,
   상기 입력되는 다시점 영상이 컬러 영상과 Disparity로 구성된 다시점 영상인 경우, Disparity로부터 Depth를 구하여 컬러 영상 마다 3차원 Point Cloud를 구한 후에, 상기 3차원 Point Cloud를 이용하여 상기 임의시점 영상들을 생성하는 것을 특징으로 하는 임의시점 영상생성 시스템.
   

Images