KR101192313B1 - 깊이 영상의 시간적 상관도 향상 방법 - Google Patents

Abstract

본 발명은 깊이 영상의 시간적 상관도 향상 방법에 관한 것으로, 상세하게는 기존의 정합함수에 이전 프레임에서 탐색한 깊이값을 고려하는 가중치 함수를 적용하여, 깊이맵(깊이영상) 탐색 과정에서 발생하는 시간적 상관도의 저하 문제를 해결한 방법에 관한 것이다.
본 발명의 깊이 영상의 시간적 상관도 향상 방법은 현재 프레임의 중간 영상과 이전 프레임의 중간 영상을 비교하여 현재 프레임의 중간 영상을 배경 영역과 움직이는 객체 영역으로 분리하는 단계와, 배경 영역에 해당되는 각 화소에 대해서는 기존의 정합 함수에 이전 프레임에서 탐색한 깊이값을 고려하는 가중치 함수를 적용하여 깊이값을 탐색하고 반면, 움직이는 객체 영역에 대해서는 기존의 정합 함수를 이용하여 깊이값을 탐색하는 단계를 포함하여 이루어진다.

Description

깊이 영상의 시간적 상관도 향상 방법{Method for Temporal Consistency Enhancement of Depth Map}

3차원 TV에서 실감나는 3차원 장면을 재현하기 위해서는 깊이맵(depth map)이 필수적이다.

본 발명은 깊이 영상의 시간적 상관도 향상 방법에 관한 것으로, 상세하게는 기존의 정합함수에 이전 프레임에서 탐색한 깊이값을 고려하는 가중치 함수를 적용하여, 깊이맵(깊이영상) 탐색 과정에서 발생하는 시간적 상관도의 저하 문제를 해결한 방법에 관한 것이다. 여기서, 깊이맵 일명, 깊이 영상은 색상 정보가 아닌, 카메라로부터 촬영대상물이 얼마나 떨어져 있는지를 나타내는 깊이값으로 이루어진 영상이다.

3차원 비디오는 2차원 비디오와는 달리 사용자에게 영상에 깊이감을 제공하여 보다 실감나는 영상을 제공한다. 사용자가 입체감을 느끼는 기본 원리는 서로 약간의 차이가 있는 좌우 영상을 두 눈으로 받아서 뇌가 3차원으로 인식하는 것이다. 이러한 원리를 이용하여 ISO/IEC 산하의 MPEG에서는 3차원 비디오 시스템을 정의하고 표준화 작업을 진행하고 있다.

3차원 비디오 시스템은 N 대의 다시점 카메라를 이용하여 획득한 색상 영상과, 깊이값 예측이나 깊이 카메라를 이용하여 얻은 깊이 영상을 동시에 압축하여 전송한다. 수신단으로 전송된 색상 영상과 깊이 영상은 디스플레이 장치에 따라 여러 가지 방법으로 재생될 수 있다. 기본적으로 전송된 N 시점 중에서 원하는 시점의 2차원 영상을 자유롭게 선택하여 기존에 사용하던 2차원 재생 장치에서 시청할 수 있다. 또한, 다양한 종류의 3차원 디스플레이 장치를 이용하여 재생할 수도 있다. 전송된 N 시점 영상보다 적은 M 시점의 3차원 디스플레이 장치로 여러 시점의 입체 영상을 재생하거나, 시청자의 위치를 파악하여 시청자의 위치에 맞는 시점의 입체 영상을 재생하는 장치(head-tracked stereo display)를 이용해서 시청할 수 있다.

다시점 영상을 이용한 3차원 텔레비전(Three-dimensional Television; 3DTV)은 현실 세계를 재구성한 컨텐츠로 현실감 있는 느낌을 사용자에게 제공할 수 있기 때문에 차세대 방송기술 시스템으로 각광받고 있다. 다시점 영상이란 기존의 단일 카메라를 이용하여 평면적인 장면을 획득하는 방법과는 달리, 동일 시간, 여러 시점에 위치한 다수의 카메라로 3차원 장면, 혹은 센서를 이용하여 얻은 깊이 정보를 포함하는 입체적인 영상을 말한다. 우리는 다시점 영상을 이용하여 사용자가 원하는 시점에서의 영상을 선택적으로 재생하거나, 인접한 시점의 두 영상 혹은 다시점 영상 전체를 이용하여 3차원 입체 모니터나 다시점 모니터를 통해 사용자에게 현실감 있는 3차원 영상을 제공할 수 있다.

다시점 영상을 이용한 자연스러운 3차원 컨텐츠 제작을 위해서는 가상시점 영상 생성 방법(intermediate view reconstruction, IVR)이 필수적이다. 가상시점 영상이란 실제 다시점 카메라 사이에 위치하는 가상 카메라에서의 영상을 말한다. 주변영상을 이용하여 가상시점 영상을 생성함으로써 사용자의 시각적인 피로도를 줄일 수 있기 때문에 우리는 자연스러운 시점 변화를 통해 양질의 3차원 컨텐츠를 사용자에게 제공할 수 있다. 또한, 가상시점 영상을 생성하기 위해서는 카메라와 객체 간의 거리 정보를 가지는 깊이맵을 이용해야 한다. 고화질의 깊이맵을 얻기 위해 많은 다양한 연구가 진행되어오고 있다.

국제 표준화 그룹인 Moving Picture Experts Group(MPEG) 내의 3차원 비디오 부호화 그룹에서는 다시점 비디오 및 깊이 영상의 부호화의 중요성을 인지하여, 깊이 영상을 탐색할 수 있는 소프트웨어 개발을 논의하였다.

깊이 탐색 관련 기술은 주어진 스테레오/다시점 영상으로부터 입력 시점들에 대한 깊이 영상을 스테레오 정합 기법을 이용하여 계산하는 기술이다. 이에 속하는 기술로서 현재 기준 스프트웨어(Reference SW)로 사용되고 있는 기술은 일본 나고야 대학에 의해 제안된 기술로서 창틀 기반 초기 변이 추정 및 그래프 컷(graph cut) 기반의 전역 변이 추정 기법을 사용하고 있다. 나고야 대학의 깊이 탐색 기법은 세 개의 평행하게 배열된 카메라 영상을 입력으로 하여 가운데 카메라 영상에 대한 변이를 구하기 위해 좌측-가운데, 가운데-우측 영상 간에 일정한 크기의 창틀 내에서 밝기 차이의 절대값을 비교하고, 이 중 차이가 작은 쪽의 절대값을 최적화할 전역적 오차 함수의 항으로 선택한 다음, 이웃화소들과의 관련도 항과 결합하여 변이 계산을 위한 전체 오차 함수(error function) 일명, 정합 함수로 정의한다(참고 문헌 1: ISO/IEC JTC1/SC29/WG11,“Multi-view Depth Map of Rena and Akko & Kayo,”M14888, Oct. 2007.).

이러한 깊이 탐색 소프트웨어는 몇 번의 회의를 거치면서, 부화소(sub-pixel) 단위 탐색 기법이 추가되었다(참고 문헌 2: ISO/IEC JTC1/SC29/WG11, “Reference Software of Depth Estimation and View Synthesis for FTV/3DV,” M15836, Oct. 2008.).

기존의 깊이 탐색 소프트웨어는 다시점 영상의 시점간 상관 관계를 이용하여 깊이를 탐색한다. 이 기술은 가운데 시점 영상과 좌우 시점 영상의 화소값을 이용하여 화소의 위치를 탐색한 후 깊이 정보를 획득하는 방법을 이용한다. 또한, 이 기술은 변이를 탐색할 때 1/2 화소 단위 혹은 1/4 화소 단위로 변위를 탐색한다.

그러나, 기존의 깊이 탐색 소프트웨어는 비교적 좋은 화질의 깊이 영상을 제공하지만, 경계 불일치, 단조로운 배경 영역, 폐색 영역 처리 문제 등 기존의 스테레오 정합 알고리즘에서 발견되었던 여러 문제점을 지니고 있다. 특히, 기존의 깊이 탐색 소프트웨어는 매 프레임마다 독립적으로 깊이영상을 탐색하기 때문에 깊이영상의 시간적 상관도가 낮은 것을 확인할 수 있다. 도 1을 보면 알 수 있듯이, 여러 프레임에 걸쳐 동일한 영역임에도 불구하고 다른 깊이값을 가지는 것을 볼 수 있다. 이러한 문제점은 깊이영상을 이용하여 중간영상을 합성했을 때, 장면이 흔들리는 잡음을 발생시켜 사용자의 시각적 피로도를 증가시킨다.

본 발명은 깊이맵 탐색 과정에서 발생하는 시간적 상관도 저하 문제를 해결하도록 한 깊이 영상의 시간적 상관도 향상 방법을 제공함을 목적으로 한다.

구체적으로, 본 발명은 깊이맵 탐색시 기존의 정합함수에 이전 프레임에서 탐색한 깊이값을 고려하는 가중치 함수를 추가한다. 또한, 가중치 함수가 움직이지 않는 배경에 대해서만 유효하도록 배경 영역과 움직이는 객체 분리 과정을 수행한 다음, 배경 영역에 대해서만 시간적 상관도를 향상시킨다. 이와 같은 방법들을 이용하여, 시간적 상관도가 향상된 깊이맵을 탐색하고, 중간영상의 떨림 현상을 제거하는데 그 목적이 있다.

본 발명의 깊이 영상의 시간적 상관도 향상 방법은 현재 프레임의 중간 영상과 이전 프레임의 중간 영상을 비교하여 현재 프레임의 중간 영상을 배경 영역과 움직이는 객체 영역으로 분리하는 단계와, 배경 영역에 해당되는 각 화소에 대해서는 기존의 정합 함수에 이전 프레임에서 탐색한 깊이값을 고려하는 가중치 함수를 적용하여 깊이값을 탐색하고 반면, 움직이는 객체 영역에 대해서는 기존의 정합 함수를 이용하여 깊이값을 탐색하는 단계를 포함하여 이루어진다.

여기서, 프레임은 다시점 카메라(좌측, 중앙 및 우측 카메라)가 각각 촬영한 다시점 영상(좌영상, 중간영상, 우영상)을 의미한다.

대부분의 깊이맵 탐색 방법은 매 프레임마다 배경과 움직이는 객체 구분없이, 깊이 정보를 독립적으로 탐색하기 때문에 깊이영상의 시간적 상관도가 많이 떨어진다. 즉, 동일한 영역임에도 불구하고 다른 시간대에 다른 깊이값을 가지게 되는데, 이러한 시간적 상관도 저하 문제는 중간시점 영상을 합성했을 때 떨림 현상을 발생시켜 사용자의 시각적 피로도를 증가시키게 된다.

본 발명은 상기 목적을 달성하기 위하여 기존의 정합 함수에 이전 프레임의 깊이값을 고려하는 가중치 함수를 추가하였고, 고스트 현상을 발생시키는 움직이는 객체를 제외하기 위해 블록 기반의 객체 탐색 방법을 사용한 후, 배경 영역에 대해서만 시간적 상관도를 향상시켰다. 제안하는 방법을 이용하면, 임의의 시점을 합성할 때 화면의 떨림 현상을 줄일 수 있기 때문에 시각적인 피로도를 줄일 수 있다.

도 1은 깊이 영상을 나타내는 도면이다.
도 2는 기존의 정합 함수와 시간적 상관도가 향상된 정합 함수를 나타내는 도면이다.
도 3은 고스트 현상이 발생한 깊이영상과 가상시점 영상을 나타내고 있다.
도 4는 움직이는 객체 영역의 탐색 결과를 나타낸다.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 깊이 영상의 시간적 상관도 향상 방법에 대해서 상세하게 설명한다.

상기 목적을 달성하기 위하여 본 발명의 깊이영상의 시간적 상관도 향상 방법은 현재 프레임의 깊이영상을 탐색할 때, 이전 프레임의 깊이값을 참조하는 새로운 정합 함수를 사용하여 깊이영상의 시간적 상관도를 향상시킨다. 새로운 정합 함수에는 이전 프레임에서의 깊이값을 고려하는 가중치 함수가 추가된다. 시간적 상관도를 고려한 새로운 정합 함수는 다음 수학식 1과 같이 정의될 수 있으며, 각 항은 다음 수학식 2와 같이 정의될 수 있다.

여기서, λ는 가중치 함수의 기울기를 나타내고,

는 이전 프레임에서의 깊이값을 나타낸다.

한편, I_C는 중간 영상의 밝기값, I_L은 좌 영상의 밝기값, I_R은 우영상의 밝기값을 의미하며, d는 중간 영상과 우영상 또는 중간영상과 좌영상 간에 밝기 값의 차이가 가장 적은 즉, 정합 오차가 가장 적은 포인트(x,y 좌표)를 찾기 위한 쉬프트(shift) 값이다. 이 쉬프트 값의 범위는 미리 정해지게 된다.

도 2는 기존의 정합 함수와 시간적 상관도가 향상된 정합 함수를 나타낸다.

도면 2에서 점선은 기존의 정합 함수를 나타내고 1점 쇄선은 이전 프레임의 깊이값을 고려한 가중치 함수를 나타낸다. 또한, 실선은 기존의 방법에 가중치 함수를 적용한 새로운 정합 함수를 나타낸다. 도 2에서 알 수 있듯이, 이전 프레임의 깊이값이 70인 경우, 현재 프레임의 깊이값 또한 70이 될 확률이 높다. 그러므로 이전 프레임의 깊이값 주변의 정합 오차는 그대로 두는 한편, 이전 프레임의 깊이값과의 차이가 커질수록 정합오차를 선형적으로 증가시키는 가중치 함수를 적용한다. 이렇게 함으로써, 현재 프레임의 깊이값을 탐색하는 과정에서 이전 프레임과 상관도가 높은 깊이값이 탐색되기 때문에 깊이맵의 시간적인 상관도가 높아질 뿐만 아니라, 매 프레임마다 독립적으로 깊이맵을 탐색할 때 발생하는 정합오차 또한 줄일 수 있게 된다.

나고야 대학에서 배포한 기존의 깊이 탐색 소프트웨어에 시간적 상관도 향상 방법을 적용하면, 깊이영상에서 고스트 현상이 발생하는 것을 확인할 수 있다.

도 3은 고스트 현상이 발생한 깊이영상과 가상시점 영상을 나타내고 있다. 이러한 문제점은 화소 단위로 깊이영상을 탐색하는 과정에서 이전 프레임의 깊이값이 잘못 전파되어 발생하는 것으로, 움직이는 객체 주변에서 특히 많이 발생하며 합성된 영상의 화질을 떨어뜨린다.

앞서 언급한 가중치 함수는 이전 프레임의 정확히 같은 위치에서의 깊이값을 참조하기 때문에 움직임이 없는 배경 영역에 대해서만 유효하다. 따라서, 본 발명의 깊이 영상의 시간적 상관도 향상 방법은 움직이는 객체를 탐색한 다음, 이를 제외한 영역에 대해서 가중치 함수를 적용한다. 대부분의 사용자들은 움직임이 있는 영역에서는 떨림 현상을 쉽게 느끼지 않고 배경 영역에 대해서 이를 느낄 수 있기 때문에, 배경 영역에 대해서만 가중치 함수를 추가하여도 무방하다. 본 발명의 깊이 영상의 시간적 상관도 향상 방법은 움직이는 객체 분리를 위해서 영상 내의 16x16 크기의 블록에 대해서 mean absolute difference(MAD)를 계산한 다음, 임계치를 이용하여 해당 블록이 움직임이 있는지 없는지 여부를 판단한다. 그러므로 앞서 언급한 가중치 함수의 λ는 다음 수학식 3과 같이 정의될 수 있다.

여기서 MAD _k 는 좌표 (x,y)를 포함하는 k번째 블록의 MAD를 나타내고 Th는 임계치를 나타낸다. 도 4는 움직이는 객체 영역의 탐색 결과를 나타낸다.

본 발명의 깊이 영상의 시간적 상관도 향상 방법은 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.

Claims (4)

1. 다시점 영상(좌측 영상, 중간 영상 및 우측 영상) 정보를 가지는 프레임마다 깊이 영상을 탐색하여 프레임별 깊이 영상의 시간적 상관도를 향상시키는 방법에 있어서,
   현재 프레임의 중간 영상과 상기 현재 프레임보다 시간적으로 이전 프레임의 중간 영상을 비교하여 현재 프레임의 중간 영상을 움직임이 없는 배경 영역과 움직임이 있는 객체 영역으로 분리하는 단계; 및
   상기 배경 영역에 대해서는 그래프 컷 기반의 정합 함수의 항에 상기 이전 프레임에서 탐색한 깊이값을 고려하는 가중치 함수를 추가하여 상기 배경 영역의 깊이값을 탐색하고, 상기 객체 영역에 대해서는 상기 정합 함수를 이용하여 상기 객체 영역의 깊이값을 탐색하는 단계를 포함하여 이루어진 것을 특징으로 하는 깊이 영상의 시간적 상관도 향상 방법.
2. 제 1 항에 있어서, 상기 가중치 함수는,
   

   

   (상기

   

   는 가중치 함수의 기울기를 나타내고, 상기

   

   는 이전 프레임에서의 깊이값을 나타내며, 상기

   

   는 중간 영상과 우영상 및 중간영상과 좌영상 간에 밝기값의 차이가 가장 적은 포인트(x,y 좌표)를 찾기 위한 쉬프트(shift) 값을 나타내는 것임)에 의해 결정되는 것임을 특징으로 하는 깊이 영상의 시간적 상관도 향상 방법.
3. 제 2 항에 있어서, 상기

   

   는,
   상기 배경 영역에서는 '1'의 값을 갖고, 상기 객체 영역에서는 '0'의 값을 갖는 것임을 특징으로 하는 깊이 영상의 시간적 상관도 향상 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항의 깊이 영상의 시간적 상관도 향상 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.

Images