KR20190072742A - 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템 - Google Patents

Abstract

영상 획득 시스템을 경량화 하고 Depth 센서를 사용했을 때 발생하는 제약을 벗어나 야외 환경에서 촬영된 영상으로도 초다시점 영상을 생성할 수 있도록 하기 위한 방안으로, 초다시점 3D 디스플레이의 콘텐츠 생성을 위한 초다시점 중간시점 영상 합성 시스템으로 캘리브레이션된 멀티 카메라 어레이로부터 RGB 영상만을 입력으로 하여 깊이 추정과 초다시점 중간시점 영상 합성을 수행하는 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 중간시점 영상 합성 방법은 멀티 카메라 시스템으로부터 정합된 다시점 컬러영상을 입력받는 단계; 다시점 컬러영상으로부터 깊이 정보를 추정하는 단계; 추정된 깊이 정보를 바탕으로, 카메라 시점 사이의 중간시점 영상을 합성하는 단계;를 포함한다.
이에 의해, 다시점 RGB 카메라 어레이로부터 획득한 영상을 입력으로 3D 콘텐츠를 생성함으로 스튜디오를 벗어나 야외 환경에서 획득된 영상을 입력으로 3D 콘텐츠 제작을 가능하게 한다.

Description

캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템{Calibrated Multi-Camera based Real-time Super Multi-View Image Synthesis Method and System}

본 발명은 3D 영상 기술에 관한 것으로, 더욱 상세하게는멀티 카메라 기반으로 3D 콘텐츠 생성을 위한 초다시점 중간시점 영상들을 합성하는 방법 및 시스템에 관한 것이다.

초다시점 중간시점 영상 합성을 위한 입력으로 MVD(Multiple Video plus Depth) 영상을 필요로 한다. 컬러 영상에 상응하는 깊이 영상의 추정은 중간시점 영상 합성에 필수적이며, 이를 위해 종래에는 RGB 카메라 뿐만 아니라 별도의 Depth 센서를 사용하기도 했으나 이러한 방법은 컬러 카메라와 상응하는 깊이 맵을 추출하기 위해 RGB 카메라와 Depth 센서 사이의 캘리브레이션을 필요로 하고 또한 시점의 차이에서 기인하는 폐색영역이 발생하기도 한다. 이러한 부가적인 Depth 센서는 획득 시스템을 대형화 하며, 야외에서는 사용하기 어려운 한계를 가진다.

또한 MVD 데이터는 RGB 영상에 상응하는 깊이 맵 정보가 추가되어야함으로 초다시점 중간시점 영상 합성을 위한 입력데이터의 크기를 깊이 맵 정보만큼 더 필요로 한다.

이는 Host(CPU)와 Device(GPU) 사이의 메모리 카피를 필요로 하는 GPU 프로그래밍에서 데이터 처리를 지연 시키는 요인이 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 영상 획득 시스템을 경량화 하고 Depth 센서를 사용했을 때 발생하는 제약을 벗어나 야외 환경에서 촬영된 영상으로도 초다시점 영상을 생성할 수 있도록 하기 위한 방안으로, 초다시점 3D 디스플레이의 콘텐츠 생성을 위한 초다시점 중간시점 영상 합성 시스템으로 캘리브레이션된 멀티 카메라 어레이로부터 RGB 영상만을 입력으로 하여 깊이 추정과 초다시점 중간시점 영상 합성을 수행하는 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 중간시점 영상 합성 방법은 멀티 카메라 시스템으로부터 정합된 다시점 컬러영상을 입력받는 단계; 다시점 컬러영상으로부터 깊이 정보를 추정하는 단계; 추정된 깊이 정보를 바탕으로, 카메라 시점 사이의 중간시점 영상을 합성하는 단계;를 포함한다.

추정 단계는, 단일 스트리밍 구조로 깊이 정보를 추정하고, 합성 단계는, 단일 스트리밍 구조로 중간시점 영상을 합성하는 것일 수 있다.

추정 단계는, 다시점 컬러영상을 Down-sampling 하는 단계; 다시점 컬러영상에 대한 스테레오 매칭 계산을 수행하는 단계; 다시점 컬러영상을 Up-sampling 하는 단계;를 포함할 수 있다.

Down-sampling 단계 및 Up-sampling 단계는, 선택적으로 수행되는 것일 수 있다.

합성단계는, Depth to Disparity LUT을 이용하여, 컬러영상을 중간시점으로 3D Warping 하는 단계; 중간시점 영상을 Hole-Filling 하는 단계;를 포함할 수 있다.

Depth to Disparity LUT는, 카메라 캘리브레이션 파라미터를 기반으로 생성되는 것일 수 있다.

합성단계는, z-buffer 메모리를 할당하고 Atomic 함수를 사용하여 Thread에서 z-buffer 메모리를 확인한 이후 가장 전경에 위치한 컬러영상부터 처리하는 것일 수 있다.

한편, 본 발명의 다른 실시예에 따른, 중간시점 영상 합성 시스템은 멀티 카메라 시스템으로부터 정합된 다시점 컬러영상을 입력받는 입력부; 및 다시점 컬러영상으로부터 깊이 정보를 추정하고, 추정된 깊이 정보를 바탕으로 카메라 시점 사이의 중간시점 영상을 합성하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다시점 RGB 카메라 어레이로부터 획득한 영상을 입력으로 3D 콘텐츠를 생성함으로 스튜디오를 벗어나 야외 환경에서 획득된 영상을 입력으로 3D 콘텐츠 제작을 가능하게 한다.

또한, 본 발명의 실시예들에 따르면, Depth 맵의 추정을 초다시점 중간시점 영상 합성과 통합하여 콘텐츠 생성을 위한 입력 데이터를 경량화 하고 데이터 송수신으로 발생하는 Latency를 최소화 할 수 있다.

도 1은 영상 획득 및 초다시점 중간시점 영상 합성 전체 시스템 구성도,
도 2는 다시점 영상 기반 깊이 추정 프로세스,
도 3은 초다시점 중간시점 영상 합성 프로세스, 그리고,
도 4는 본 발명의 다른 실시예에 따른 초다시점 중간시점 영상 합성 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는, 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템을 제시한다.

본 발명의 실시예에 따른 실시간 초다시점 중간시점 영상 합성 시스템은, 멀티 카메라 시스템으로부터 정합된 다시점 컬러영상의 입력을 기반으로 깊이 정보를 추정하며, 추정된 깊이 정보를 바탕으로 카메라 시점 사이의 중간시점 영상을 합성한다.

본 발명의 실시예에 따른 실시간 초다시점 중간시점 영상 합성 시스템은, 정합된 다시점 RGB 영상을 기반으로 깊이 추정과 초다시점 중간시점 영상 합성을 수행하여 영상 합성을 위한 입력 데이터를 경량화한다.

또한, 본 발명의 실시예에 따른 실시간 초다시점 중간시점 영상 합성 시스템은, 깊이 추정과 초다시점 중간시점 영상 합성을 단일 스트리밍 구조로 하여 데이터 송.수신 Latency를 최소화한다.

1. 단일 스트리밍 구조의 깊이 추정 및 초다시점 중간시점 영상 합성

단일 스트리밍 구조의 깊이 추정 및 초다시점 중간시점 영상 합성은 다시점 RGB 영상을 입력으로 스테레오 매칭 기반 깊이 추정 알고리즘을 통합한 초다시점 중간시점 영상 합성 방법이다.

이러한 단일 스트리밍 구조로 영상 합성을 수행할 경우 다시점 RGB 데이터를 Device에 한번 로드하면, 깊이 추정과 중간시점 영상 합성은 Device와 Host 혹은 Device와 Device 사이의 별도의 데이터 전송 없이 영상 합성을 수행할 수 있다.

도 1은 영상 획득 및 초다시점 중간시점 영상 합성 전체 시스템의 구성 및 모듈 사이의 데이터 흐름을 나타낸다.

먼저 Multi-view Depth Estimation 단계에서 입력은 카메라 Array로부터 획득한 다시점 RGB 영상과 Multi-view Rectification 데이터이다. Multi-view Rectification 데이터는 스테레오 매칭을 위해 Vertical Mismatch를 제거하기 위해 입력 영상의 Rectification을 수행한다.

Super Multi-view Synthesis 단계에서의 입력은 다시점 RGB 영상과 Multi-view Depth Estimation 단계에서 획득한 Depth 맵과 카메라 Calibration 파라미터이며, 카메라 Calibration 파라미터는 고속의 영상 합성을 위해 Depth to Disparity 변환 LUT(Look-up Table)을 구성 하는데 사용된다.

2. 다시점 영상 기반 깊이 추정

다시점 영상 기반 깊이 추정은 입력 시점의 증가에 따라 보다 일반적인 2-View 기반의 스테레오 매칭에 비해 보다 정밀한 Depth 추정이 가능하나 처리할 데이터의 크기가 시점 수만큼 증가하게 된다. 따라서 보다 빠른 Depth 추정을 위해 영상을 Down-sampling 하고 내부적인 스테레오 매칭 계산을 수행한 후 다시 Image Up-sampling을 수행한다.

도 2는 다시점 영상 기반 깊이 추정 프로세스를 나타낸다. 입력영상의 Down-sampling과 Up-sampling은 내부적인 스테레오 매칭 알고리즘의 가속화를 위한 단계로서 On/Off가 가능하며, 깊이 추정 모듈 내의 모든 데이터 및 알고리즘은 GPU 내부에서 동작한다.

모듈의 최종 결과물로서 RGB 영상에 상응하는 깊이 맵을 생성하고, 입력된 RGB영상과 생성된 깊이 맵은 초다시점 중간시점 영상 합성의 입력 데이터로 전달된다.

3. 초다시점 중간시점 영상 합성

입력된 MVD 데이터에 대해 DIBR(Depth Image Based Rendering) 기술을 사용하여 초다시점 중간시점 영상 합성을 수행하며, 영상 합성 모듈 내부의 모든 데이터 및 알고리즘은 GPU 내부에서 동작한다.

고속의 중간시점 영상 합성을 위해 중간시점으로의 3D Warping은 입력된 카메라 Calibration 파라미터를 기반으로 Depth to Disparity LUT을 생성하여 합성한다.

도 3은 초다시점 중간시점 영상 합성 프로세스의 전체 흐름을 나타내며, 크게 3D Warping 파트와 Hole-Filling 파트로 나누어 진다. 영상 합성을 위한 3D Warping은 Depth to Disparity LUT을 사용하는데 LUT의 생성 방법은 다음과 같다.

먼저, 카메라의 내부, 외부 파라미터를 알고 있을 때, World 상의 3차원 Point는 카메라의 Image Plane의 어디에 투영될지 아래와 같이 결정된다.

(1)

식 (1)에서 M은 World 상의 좌표이며, m은 투영될 영상에서의 좌표이다. P는 카메라 파라미터로서 내부 파라미터 A와 외부파라미터 [R|t]로 구성된다. 역으로 영상에서 픽셀에 해당하는 깊이 정보를 알고 있을 때 영상의 포인트 m은 아래 식 (2)와 같이 World상의 3차원 포인트로 변환된다.

(2)

인접한 두 카메라(1번 카메라와 2번 카메라로 명명함) 사이의 관계 즉 내부, 외부 파라미터를 알고 있을 때, 1번 카메라에서 World 상의 3차원 포인트로 변환된 포인트 M은 아래와 같이 1번 카메라의 영상 좌표로 투영된다.

(3)

식 (3)을 통해서 각 식(2)에서의 깊이 정보 d(m) 값이 1번 카메라의 영상좌표로부터 2번 카메라의 영상좌표로 어떻게 변환되는지 관계를 알 수 있으며, 아래 식 (4)와 같이 Depth to Disparity LUT을 구성할 수 있다.

(4)

위와 같이 구성된 LUT는 중간시점 영상 합성에서 Depth값에 따라 영상을 shift 함으로 간단하게 3D Warping을 구현하도록 한다.

GPU를 사용하여 중간시점 영상 합성을 수행할 때 고려해야할 사항은 바로 GPU Thread Race Condition 문제이다. GPU의 커널 함수는 블록 사이즈 만큼 생성된 Tread를 통해 각각의 데이터에 접근하게 되고 계산을 수행하는데, 만약 같은 메모리 공간을 각각의 다른 Thread가 동시에 접근한다면, Thread의 순서에 따라 다른 결과가 나타나게 된다. 이러한 문제가 바로 Race condition 문제이며, 중간시점 영상 합성의 경우 이러한 문제로 인해 출력 결과에 영향을 미치게 된다. 이러한 문제를 해결하기 위해 CUDA에서는 별도의 Atomic 함수를 제공하여 원자적 접근에 대한 여러 가지 함수를 제공한다.

이러한 문제를 해결하기 위해서 일종의 z-buffering 기술을 사용하는데, 먼저 z-buffer 메모리를 할당하고 Atomic 함수를 사용하여 Thread에서 z-buffer 메모리를 확인한 이후 가장 전경에 위치한 영상 값이 출력되도록 한다.

(5)

위 식(5)에서 A(d)는 z-buffer 메모리 이며, D(s)값은 Thread에서 처리하는 Depth 값이다. 만약 이 값이 기존의 z-buffer메모리에 있는 값보다 크다면 CUDA의 AtomicMax 함수는 기존의 A(d)값을 D(s)값으로 변경한다.

(6)

식(6)은 Thread에서 처리하고 있는 데이터 값을 z-buffer 메모리와 비교하는 조건문으로, 만약 두 값이 같지 않다면 Thread는 더 이상 Warping을 처리하지 않는다. 이렇게 함으로서 가장 전경에 위치한 영상 값을 출력한다. 이렇게 최종적으로 생성된 초다시점 중간시점 영상들은 3D 디스플레이의 속성에 맞게 Multiplexing되고 3D 디스플레이에 출력된다.

4. 초다시점 중간시점 영상 합성 시스템

도 4는 본 발명의 다른 실시예에 따른 초다시점 중간시점 영상 합성 시스템의 블럭도이다.

본 발명의 실시예에 따른 초다시점 중간시점 영상 합성 시스템은, 도 4에 도시된 바와 같이, 영상 입력부(110), 프로세서(120), 영상 출력부(130) 및 저장부(140)를 포함한다.

영상 입력부(110)는 멀티 카메라 시스템으로부터 정합된 다시점 컬러영상을 입력받아 프로세서(120)에 전달한다.

프로세서(120)는, 영상 입력부(110)를 통해 입력되는 다시점 컬러영상에 대해 도 2에 도시된 방법에 따라 깊이 정보를 추정하고, 추정된 깊이 정보를 바탕으로 도 3에 도시된 방법에 따라 카메라 시점 사이의 중간시점 영상을 합성한다.

프로세서(120)는 CPU와 CPU들로 구현된다. 저장부(140)는 프로세서(120)가 동작함에 있어 필요한 저장공간을 제공한다.

영상 출력부(130)는 프로세서(120)에 의해 합성된 중간시점 영상들을 출력한다.

5. 변형예

지금까지, 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.

본 발명의 실시예에 따른 초다시점 중간시점 영상 합성 방법 및 시스템은, 다시점 RGB 영상만 사용하여 깊이 추정과 중간시점 영상 합성을 수행함으로 영상 획득 단계에서 카메라 시스템을 경량화 하고 깊이 추정과 영상 합성을 단일 스트리밍 구조로 처리함으로 데이터 경량화 및 대용량 데이터 송수신으로 발생하는 Latency를 감소시킨다.

또한, 본 발명의 실시예에 따른 초다시점 중간시점 영상 합성 방법 및 시스템은, 고속의 중간시점 영상 합성을 위해 Depth to Disparity LUT를 구성하여 3D warping을 수행하며, GPU 프로그래밍을 통한 중간시점 영상 합성에서 발생할 수 있는 Race condition문제를 CUDA의 Atomic 함수와 z-buffer 메모리를 사용하여 해결할 수 있다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 영상 입력부
120 : 프로세서
130 : 영상 출력부
140 : 저장부

Claims (8)

1. 멀티 카메라 시스템으로부터 정합된 다시점 컬러영상을 입력받는 단계;
   다시점 컬러영상으로부터 깊이 정보를 추정하는 단계;
   추정된 깊이 정보를 바탕으로, 카메라 시점 사이의 중간시점 영상을 합성하는 단계;를 포함하는 것을 특징으로 하는 중간시점 영상 합성 방법.
   
2. 청구항 1에 있어서,
   추정 단계는,
   단일 스트리밍 구조로 깊이 정보를 추정하고,
   합성 단계는,
   단일 스트리밍 구조로 중간시점 영상을 합성하는 것을 특징으로 하는 중간시점 영상 합성 방법.
   
3. 청구항 1에 있어서,
   추정 단계는,
   다시점 컬러영상을 Down-sampling 하는 단계;
   다시점 컬러영상에 대한 스테레오 매칭 계산을 수행하는 단계;
   다시점 컬러영상을 Up-sampling 하는 단계;를 포함하는 것을 특징으로 하는 중간시점 영상 합성 방법.
   
4. 청구항 3에 있어서,
   Down-sampling 단계 및 Up-sampling 단계는,
   선택적으로 수행되는 것을 특징으로 하는 중간시점 영상 합성 방법.
   
5. 청구항 1에 있어서,
   합성단계는,
   Depth to Disparity LUT을 이용하여, 컬러영상을 중간시점으로 3D Warping 하는 단계;
   중간시점 영상을 Hole-Filling 하는 단계;를 포함하는 것을 특징으로 하는 중간시점 영상 합성 방법.
   
6. 청구항 5에 있어서,
   Depth to Disparity LUT는,
   카메라 캘리브레이션 파라미터를 기반으로 생성되는 것을 특징으로 하는 중간시점 영상 합성 방법.
   
7. 청구항 6에 있어서,
   합성단계는,
   z-buffer 메모리를 할당하고 Atomic 함수를 사용하여 Thread에서 z-buffer 메모리를 확인한 이후 가장 전경에 위치한 컬러영상부터 처리하는 것을 특징으로 하는 중간시점 영상 합성 방법.
   
8. 멀티 카메라 시스템으로부터 정합된 다시점 컬러영상을 입력받는 입력부; 및
   다시점 컬러영상으로부터 깊이 정보를 추정하고, 추정된 깊이 정보를 바탕으로 카메라 시점 사이의 중간시점 영상을 합성하는 프로세서;를 포함하는 것을 특징으로 하는 중간시점 영상 합성 시스템.
   

Images