KR101876007B1 - 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법 - Google Patents

Abstract

분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3D 콘텐츠 합성 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 영상 합성 시스템은, 입력되는 다시점 영상 데이터들을 분배하는 분배부, 다수의 GPU들을 이용하여 분배된 다시점 영상 데이터들을 기반으로 중간 시점 영상들을 합성하는 다수의 합성부들 및 합성된 중간 시점 영상들을 출력하는 제공부를 포함한다. 이에 의해, 실시간 초다시점 3D 콘텐츠를 생성하기 위해 입력과 생성해야할 데이터를 Multi-GPU 기반으로 실시간 분산 및 합성하여, 10 시점 이상 다중 입력 기반의 실시간 초다시점 영상 합성이 가능하여, 초다시점 3D 콘텐츠 제작을 촉진할 수 있다.

Description

분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3D 콘텐츠 합성 시스템 및 방법{Real-time Super Multiview 3D Content Synthesis System and Method based on Distributed Parallel Programming}

본 발명은 영상 생성 기술에 관한 것으로, 더욱 상세하게는 초다시점 3D 디스플레이를 위한 3D 콘텐츠 실시간 합성 시스템 및 방법에 관한 것이다.

종래 기술은 다시점 3D 콘텐츠 합성을 위해 2~3 시점의 MVD(Multi-view Video plus Depth) 데이터를 입력으로 3D 디스플레이에 맞는 3D 콘텐츠를 생성하여 제공한다.

최근 100 시점 이상을 제공하는 초다시점 3D 디스플레이가 출현함에 따라, 10~20 시점 이상의 MVD 입력을 실시간으로 처리하여 100 시점 이상의 초다시점 3D 콘텐츠를 생성할 것이 요구되고 있다.

종래 기술은 10~20 시점 이상의 MVD 입력과 100 시점 이상의 초다시점 중간 시점 영상 합성을 실시간으로 처리하기에는 데이터의 양와 알고리즘의 복잡도 측면에서 성능이 따라가지 못하는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실시간 초다시점 3D 콘텐츠를 생성하기 위해 입력과 생성해야할 데이터를 Multi-GPU 기반으로 실시간 분산 및 합성하는 시스템 및 방법을 제공함에 있다.

또한, 본 발명의 다른 목적은, 입-출력 인터페이스에 맞추어 영상 획득, 영상 합성, 다중화, 디스플레이 등의 전체 3D 콘텐츠 생성 흐름에서 독립된 영상 합성 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 합성 시스템은, 입력되는 다시점 영상 데이터들을 분배하는 분배부; 다수의 GPU들을 이용하여, 상기 분배부에 의해 분배된 다시점 영상 데이터들을 기반으로 중간 시점 영상들을 합성하는 다수의 합성부들; 및 상기 합성부들에 의해 합성된 중간 시점 영상들을 출력하는 제공부;를 포함한다.

그리고, 상기 커널 함수는, 가장 전방에 있는 객체의 픽셀 값을 전역 메모리에서 쓰는 방식으로 메모리 영역을 참조할 수 있다.

또한, 상기 합성부는, 합성된 중간 시점 영상의 Hole pixel p에 대한 가상의 Depth d^{^}를, p를 포함하는 특정 윈도우 내에서 가장 작은 Depth로 설정할 수 있다.

그리고, 상기 합성부는, 다음의 수학식을 이용하여 상기 p의 컬러 값 C(p,d^{^})을 결정하며,

여기서, Ω는 윈도우, ω_HF는 가중치, a(q)는 p의 주변 Pixel에 해당하는 값으로 Hole일 경우 0으로, 그렇지 않으면 1일 수 있다.

또한, 상기 가중치 ω_HF는, 다음의 수학식으로 표현되며,

σ_d와 σ_r은, Spatial Filter와 Range Filter의 표준 편차일 수 있다.

한편, 본 발명의 다른 실시예에 따른, 영상 합성 방법은, 입력되는 다시점 영상 데이터들을 분배하는 단계; 다수의 GPU들을 이용하여, 상기 분배단계에 의해 분배된 다시점 영상 데이터들을 기반으로 중간 시점 영상들을 합성하는 단계; 및 상기 합성단계에 의해 합성된 중간 시점 영상들을 출력하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 실시간 초다시점 3D 콘텐츠를 생성하기 위해 입력과 생성해야할 데이터를 Multi-GPU 기반으로 실시간 분산 및 합성하여, 10 시점 이상 다중 입력 기반의 실시간 초다시점 영상 합성이 가능하여, 초다시점 3D 콘텐츠 제작을 촉진할 수 있다.

또한, 본 발명의 실시예들에 따르면, 입-출력 인터페이스에 맞추어 영상 획득, 영상 합성, 다중화, 디스플레이 등의 전체 3D 콘텐츠 생성 흐름에서 독립된 단일 시스템 레벨로 제공하여, 전체 3D 콘텐츠 제작에 파트로써 시스템 도입을 가능하게 한다.

도 1은 Multi-GPU 기반 초다시점 중간 시점 영상 합성 시스템의 블록도,
도 2는 레이스 컨디션 문제가 발생한 이미지,
도 3은 레이스 컨디션 문제를 해결한 이미지,
도 4는 홀 발생 이미지, 그리고,
도 5는 홀 채움(Hole filling)이 수행된 이미지이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

1. 분산 및 병렬 프로그래밍 기반의 초다시점 3D 콘텐츠 중간 시점 영상 합성 시스템

'분산 및 병렬 프로그래밍 기반의 초다시점 3D 콘텐츠 중간 시점 영상 합성 시스템'(이하, '초다시점 중간 시점 영상 합성 시스템'으로 약칭)은 100 시점 이상의 초다시점 3D 디스플레이를 위한 3D 컨텐츠를 합성한다.

초다시점 중간 시점 영상 합성 시스템은 입력으로 10 시점 이상의 MVD(Multi-view Video plus Depth) 데이터를 입력으로 받는다. 그리고 시스템에 의해 합성된 결과 영상을 MDP(Multiplexing Data Provider)에 의해 다중화(Muxer) 시스템에 전달한다.

초다시점 중간 시점 영상 합성 시스템은 이러한 입력과 출력을 전체적으로 관리하고 실시간으로 처리하기 위해 각각의 GPU Device에 최적화된 방법으로 분산하여 처리한다.

도 1은 본 발명의 일 실시예에 따른 Multi-GPU 기반 초다시점 중간 시점 영상 합성 시스템의 전체 블록도이다. 본 발명의 실시예에 따른 초다시점 영상 합성 시스템은, IVS(Intermediate View Synthesis) Distributor, 다수의 GPU 디바이스, 다수의 VSM(View Synthesis Module) 및 MDP(Multiplexing Data Provider)를 포함한다.

IVS Distributor는 다중의 입력을 관리하고 분배하고, VSM은 실제 영상 합성 알고리즘 모듈이며, MDP는 다중화 시스템에 합성된 결과 영상을 제공한다.

Multi-GPU 기반 프로그래밍에 있어 성능 향상을 위해 중요한 부분은 단일 CPU 쓰레드에서 처리할 수 있는 GPU의 개수를 확장하는 것이고, 각각 개별 GPU의 사용량을 최대화 하도록 커널 함수를 작성하는 것이다.

IVS Distributor는 VSM에 M/N 개수의 Input을 각각의 GPU Device에 전달한다. VSM 모듈은 각각의 GPU 사용량을 최대화하여 사용할 수 있는 구조로 커널 함수를 작성한다. 즉 Input에 상응하는 Output 메모리를 각각의 GPU에 할당하고 한 번의 커널함수를 호출함으로 CUDA API의 중복 호출을 피하고 GPU Device swiching으로 인한 Time consuming을 회피한다.

MDP는 다중화(Muxer) 시스템에 전달할 합성 영상을 관리하며, GPU Device 메모리의 레퍼런스를 전달함으로 데이터의 중복을 최소화 하고 Copy로 인한 리소스 사용을 최소화 한다.

2. Optimized Parallel View Synthesis 알고리즘 개발

도 1에 제시된 VSM(View Synthesis Module)은 중간 시점 영상 합성 알고리즘을 수행하는 단위 모듈로 내부적으로는 CUDA 커널 함수로 작성된다. 최적의 병렬 영상 합성 알고리즘을 위해 커널 함수는 Pixel 레벨의 Thread가 개시된다. 이때 발생 할 수 있는 알고리즘 상의 문제는 크게 각각의 Thread가 동시에 같은 주소의 전역 메모리를 참조하면서 발생하는 레이스 컨디션 문제와 합성된 영상의 Hole 영역을 어떻게 채우는가 하는 문제이다.

먼저 레이스 컨디션 문제의 발생 원인은 다음과 같다. 중간 시점 영상 합성 알고리즘은 각 Pixel이 가지고 있는 Depth 값을 사용하여 Disparity를 계산하고 계산된 Disparity 만큼 RGB 영상을 Shift하게 되는데, 이때 계산된 Disparity에 따라 각각의 Thread가 참조 할 수 있는 전역 메모리의 주소가 동일 할 수 있게 된다.

이러한 경우 만약 전경부의 Pixel이 먼저 전역메모리를 참조하고 이후 배경부의 Pixel이 전역메모리를 참조하게 되었을 때, 도 2와 같이 전경과 배경이 바뀌는 현상이 발생 할 수 있다.

이를 개선하기 위해 CUDA 커널은 가장 전방에 있는 객체에 해당하는 Pixel값을 전역 메모리에서 쓰도록 exclusive 하게 메모리 영역을 참조하도록 하여, 도 3에 나타난 바와 같이 레이스 컨디션 문제를 해결한다.

또한 중간 시점 영상 합성에서 홀의 발생원인은 Depth 값에 따른 RGB 영상의 Shift, 즉 영상의 Warping에 따른 invisible 영역이 새로운 시점에서 나타나면서 발생하게 된다. 이러한 홀을 효과적으로 채우기 위해서 Optimized view synthesis Algorithm은 Shifted depth map을 이용한 Modified Joint Bilateral Filter를 사용한다.

영상 합성 시 각각 구한 Shift depth map과 Hole mask 그리고 Synthesis image는 Hole filling 알고리즘의 입력이 되며 Hole Pixel에 대하여 아래와 같은 절차를 통해 Hole filling 알고리즘이 수행된다.

Hole pixel p의 가상의 Depth를 결정하는 식 (1)으로 윈도우 Ω에서 가장 작은 q 값을 홀에 해당하는 p값 d^{^}으로 결정한다.

(식 1)

다음으로 합성된 중간 시점 영상 C의 Hole p에 해당하는 Pixel의 컬러 값을 결정하기 위하여 Modified Bilateral Filter를 수행한다. 아래 식 (2)에서 a(q) 값은 p의 주변 Pixel에 해당하는 값으로 Hole 일 경우 0으로, 그렇지 않으면 1로 설정한다.

(식 2)

이때 새로운 C(p) 값을 결정하는 가중치 ω_HF는 아래와 같다.

(식 3)

위 식에서 σ_d와 σ_r값은 Spatial Filter와 Range Filter의 표준 편차로 미리 설정 되어 있다.

도 4에 제시된 홀 발생 이미지에 대해 위에서 제시한 방법으로 효과적으로 Hole filling 이 수행한 결과를 도 5에 제시하였다.

3. 응용

Multi-GPU 기반 초다시점 중간 시점 영상 합성 시스템은 IVS Distributor를 통해 최적화된 데이터 분배 및 알고리즘 호출을 수행하고 병렬 프로그래밍 방식으로 중간 시점 영상을 합성할 때 발생할 수 있는 문제를 해결한 VSM을 통해 영상합성을 수행하고 MDP를 통해 Device 리소스 사용을 최적화하여 전체적인 초다시점 중간 시점 영상 합성을 수행한다.

본 시스템은 단일의 시스템으로 제공되며, 영상 획득, 영상 합성, 다중화 등의 전체적인 3D 콘텐츠 생성 시퀀스에서 독립된 시스템으로 제공될 수 있다. 이로 인해 3D 콘텐츠 제작을 촉진하여 3D 디스플레이 시장 및 그 저변을 확대하는데 기여할 것으로 예상된다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

IVS(Intermediate View Synthesis) Distributor
GPU Device
VSM(View Synthesis Module)
MDP(Multiplexing Data Provider)

Claims (6)

1. 입력되는 다시점 영상 데이터들을 분배하는 분배부;
   다수의 GPU들을 이용하여, 상기 분배부에 의해 분배된 다시점 영상 데이터들을 기반으로 중간 시점 영상들을 합성하는 다수의 합성부들; 및
   상기 합성부들에 의해 합성된 중간 시점 영상들을 출력하는 제공부;를 포함하고,
   상기 합성부는,
   합성된 중간 시점 영상의 Hole pixel p에 대한 가상의 Depth d^를, p를 포함하는 특정 윈도우 내에서 가장 작은 Depth로 설정하는 것을 특징으로 하는 영상 합성 시스템.
   
2. 청구항 1에 있어서,
   상기 합성부는,
   가장 전방에 있는 객체의 픽셀 값을 전역 메모리에서 쓰는 방식으로 메모리 영역을 참조하는 것을 특징으로 하는 영상 합성 시스템.
   
3. 삭제
4. 청구항 1에 있어서,
   상기 합성부는,
   다음의 수학식을 이용하여 상기 p의 컬러 값 C(p,d^{^})을 결정하며,
   

   

   
   여기서, Ω는 윈도우, ω_HF는 가중치, a(q)는 p의 주변 Pixel에 해당하는 값으로 Hole일 경우 0으로, 그렇지 않으면 1인 것을 특징으로 하는 영상 합성 시스템.
   
5. 청구항 4에 있어서,
   상기 가중치 ω_HF는, 다음의 수학식으로 표현되며,
   

   

   
   σ_d와 σ_r은, Spatial Filter와 Range Filter의 표준 편차인 것을 특징으로 하는 영상 합성 시스템.
   
6. 입력되는 다시점 영상 데이터들을 분배하는 단계;
   다수의 GPU들을 이용하여, 상기 분배단계에 의해 분배된 다시점 영상 데이터들을 기반으로 중간 시점 영상들을 합성하는 단계; 및
   상기 합성단계에 의해 합성된 중간 시점 영상들을 출력하는 단계;를 포함하고,
   상기 합성단계는,
   합성된 중간 시점 영상의 Hole pixel p에 대한 가상의 Depth d^를, p를 포함하는 특정 윈도우 내에서 가장 작은 Depth로 설정하는 것을 특징으로 하는 영상 합성 방법.
   

Images