KR20060045798A - 다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및장치 - Google Patents

Abstract

본 발명은 다시점 동영상 서비스 모델에서 계층적 깊이 영상 기반 부호화의 압축 효율을 높이기 위한 선형 역상관 방법을 제안한다. 본 발명의 일실시예에 따른 계층적 깊이 영상 부호화 방법은, 깊이 정보를 갖는 다시점 동영상에 대하여 각 시점의 색상 및 깊이 정보를 이용하여 계층적 깊이 영상을 생성하는 단계와, 상기 생성된 계층적 깊이 영상에 대하여 선형적 역상관을 수행하는 단계와, 상기 선형적 역상관이 수행된 계층적 깊이 영상내에서 동일한 계층의 데이터를 모으는 단계와, 상기 모여진 데이터를 부호화하는 단계를 포함한다. 상기 선형적 역상관을 수행하는 단계는, 상기 계층적 깊이 영상의 모든 화소 각각에 대하여, 이전의 두 화소를 잇는 직선과 현재 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체하는 단계를 포함할 수 있다. 또한, 상기 선형적 역상관을 수행하는 단계는, 상기 선형적 역상관이 수행될 화소의 깊이 값이 존재하지 않는 경우에, 상기 화소의 이전 두 화소 깊이의 평균값을 상기 화소의 깊이 값으로 이용하는 단계를 더 포함할 수 있다.

계층적 깊이 영상, 다시점 동영상 부호화, 선형 역상관

Description

다시점 동영상의 계층적 깊이 영상 부호화를 위한 방법 및 장치{Method and system for coding multi-view video based on layered -depth image}

도 1은 전형적인 계층적 깊이 영상의 구조를 도시한다.

도 2는 본 발명의 일실시예에 따른 계층적 깊이 영상 기반 다시점 동영상 서비스 시스템을 개략적으로 도시한다.

도 3은 깊이 영상으로부터 계층적 깊이 영상을 생성하는 과정을 나타낸다.

도 4는 본 발명의 일실시예에 따라 계층적 깊이 영상의 화소가 있는 곳에서의 거리 계산을 나타낸다.

도 5는 본 발명의 일실시예에 따라 계층적 깊이 영상의 화소가 없는 곳에서의 거리 계산을 나타낸다.

도 6은 본 발명의 일실시예에 따른 선형 역상관 프로세스를 흐름도로 도시한다.

본 발명은 계층적 깊이 영상(Layered Depth Image: LDI)의 부호화 및 복호화를 수행하는 데 있어 압축 효율을 높이기 위하여 계층적 깊이 영상의 확률 분포를 변환하는 선형 역상관(Linear de correlator) 방법 및 그 장치에 관한 것이다.

다시점 동영상(Multiview video)은 보다 현실감있는 서비스를 제공하기 위하여 다양한 응용분야에서 사용되고 있으나, 방대한 양의 데이터를 요구하므로 이를 전송하기 위해서는 막대한 대역폭이 필요하다. 따라서 이를 해결하고자 상대적으로 적은 대역폭을 필요로 하는 계층적 깊이 영상 기법을 활용할 수 있다.

계층적 깊이 영상은 일반적으로 메쉬를 이용하여 3차원 모델을 표현하는 방식과 달리 단일 카메라 위치에서 보여지는 화소의 배열을 사용해서 객체를 표현하는 방법으로, 각 화소는 색상, 화소에서 카메라까지의 거리를 나타내는 깊이 정보, 기타 랜더링을 지원하는 몇 가지 다른 특성 정보들로 표현된다. 즉, 계층적 깊이 영상은 일반적인 2차원 영상과 비슷하게 화소들로 이루어지지만, 각 화소는 색상 정보 뿐만 아니라 깊이 정보 및 렌더링에 사용되는 부가 정보를 갖는다. 따라서, 한 시점에서 구성된 LDI를 이용하여 일정한 시야각 내에 있는 임의 시점의 영상을 손쉽게 생성할 수 있다. 구체적으로 LDI를 구성하는 정보는 Y, Cb, Cr, Alpha의 색상 정보, 카메라와 물체사이의 거리를 나타내는 깊이 정보, 그리고 렌더링시에 화소의 크기를 결정하는데 사용되는 스플랫 테이블 인덱스(splat table index)를 포함한다. 하나의 LDI 화소는 이 모든 정보를 포함하기 위해 총 63bit를 사용하므로, 한 장의 LDI는 적게는 수 MB에서 많게는 수십 MB에 달하는 데이터를 포함한다

이때, 어떤 화소는 깊이 정보(Depth information)를 갖지만 어떤 화소는 깊이 정보를 갖지 않으며, 특히 계층의 수가 늘어나 계층의 후미로 갈수록 이러한 현상이 두드러진다. 즉, 계층이 늘어날수록 화소 및 깊이 정보의 분포가 희소해지는 특성이 나타난다.

제이. 듀안(J.Duan) 및 제이. 라이(J. Li)의 계층적 깊이 이미지 압축(" compression of the layered depth image", IEEE TRANSACTIONS OF IMAGE PROCESSING, VOL., 12, NO.3, 2003/3) 논문은 전술한 계층적 깊이 영상의 특징을 이용하여 압축하기 이전의 전처리 과정으로 데이터 모으기 기법을 사용하고 있는 방법을 개시한다. 데이터 모으기 기법은 후미 계층으로 갈수록 화소의 밀도가 낮아지는 계층적 깊이 영상의 특징을 이용하여 산재해 있는 화소들을 한 방향으로 모으는 작업을 수행하는 것이다. 그러나, 계층적 깊이 정보의 상관성을 고려하지 않는 단순 데이터 모으기로 인하여 압축 효율성은 떨어지는 문제점이 있다.

상관성이 높은 데이터 집합에서 잉여(중복) 정보를 제거하고 상관성이 없는 데이터로 변환한 후에 이를 부호화함으로써 압축 부호화율을 향상시킬 필요가 있다.

따라서, 본 발명은 데이터 모으기를 수행하기 이전에 깊이 정보의 잉여 정보를 제거하는 새로운 전처리 과정인 선형 역상관 방법을 제안하는 것을 목적으로 한다. 본 발명은 선형 역상관을 통해 계층적 깊이 영상 데이터의 깊이 정보의 분포를 중간값 근처로 몰리게(highly skewed)하여 계층적 깊이 영상기반 부호화시에 압축율을 향상시키는데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명은 다시점 동영상 서비스 모델에서 계 층적 깊이 영상의 부호화/복호화 방법 및 장치와, 이에 따른 다시점 동영상 서비스 시스템을 제공한다.

구체적으로, 본 발명의 일 특징에 따르면, 계층적 깊이 영상을 부호화하기 위한 방법이 제공된다. 상기 방법은, 깊이 정보를 갖는 다시점 동영상에 대하여 각 시점의 색상 및 깊이 정보를 이용하여 계층적 깊이 영상을 생성하는 단계와, 상기 생성된 계층적 깊이 영상에 대하여 선형적 역상관을 수행하는 단계와, 상기 선형적 역상관이 수행된 계층적 깊이 영상내에서 동일한 계층의 데이터를 모으는 단계와, 상기 모여진 데이터를 부호화하는 단계를 포함한다. 상기 선형적 역상관을 수행하는 단계는, 상기 계층적 깊이 영상의 모든 화소 각각에 대하여, 이전의 두 화소를 잇는 직선과 현재 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체하는 단계를 포함할 수 있다. 또한, 상기 선형적 역상관을 수행하는 단계는, 상기 선형적 역상관이 수행될 화소의 깊이 값이 존재하지 않는 경우에, 상기 화소의 이전 두 화소 깊이의 평균값을 상기 화소의 깊이 값으로 이용하는 단계를 더 포함할 수 있다. 일실시예에서, 상기 깊이 값이 존재하지 않는 화소가 계층적 깊이 영상의 첫 번째 화소인 경우에, 상기 첫 번째 화소의 깊이 값을 0으로 채운다. 또한, 상기 깊이 값이 존재하지 않는 화소가 계층적 깊이 영상의 두 번째 화소인 경우에, 첫 번째 화소의 깊이 값을 복사하여 이용할 수 있다.

본 발명의 다른 특징에 따르면, 전술한 방법에 의해 부호화된 계층적 깊이 영상을 서비스하는 방법이 제공된다. 상기 방법은, 상기 부호화된 계층적 깊이 영상을 복호화하는 단계와, 상기 복호화된 계층적 깊이 영상과 원래의 깊이 영상간의 차이정보를 이용하여 사용자가 원하는 시점 영상을 생성하는 단계를 포함한다.

본 발명의 또 다른 특징에 따르면, 계층적 깊이 영상을 부호화하기 위한 장치가 제공되고, 상기 장치는, 깊이 정보를 갖는 다시점 동영상에 대하여 각 시점의 색상 및 깊이 정보를 이용하여 계층적 깊이 영상을 생성하기 위한 계층적 깊이 영상 생성 수단과, 상기 생성된 계층적 깊이 영상에 대하여 선형적 역상관을 수행하는 선형적 역상관 수단과, 상기 선형적 역상관이 수행된 계층적 깊이 영상내에서 동일한 계층의 데이터를 모으는 데이터 모으기 수단과, 상기 데이터 모으기 수단에 의해 모여진 데이터를 부호화하기 위한 수단을 포함한다.

이하, 도면을 참조하여 본원발명에 따른 실시예를 설명하며, 이러한 실시예에 관한 설명은 단지 예시적인 목적으로 기재된 것이며, 본 발명의 범위를 제한하려는 의도는 아님을 밝힌다.

도 1은 전형적인 계층적 깊이 영상의 구조를 도시한다. 계층적 깊이 영상은 시각 위치에 따라 가능한 다수의 계층과 더불어 단일 카메라 위치에서 보여지는 화소의 배열로 이루어져 있다. 도 1에서 도시된 바와 같이, 광선들이 카메라 위치 P에서 투과한다면, 광선은 객체와 다수의 점에서 교차하게 되는데, 그 점들은 앞에서 뒤쪽으로 정렬된다. 모든 광선 중에서 첫번째 교차점은 첫번째 계층을 이루게 되며, 두 번째 교차점은 두 번째 계층을 이루게 되고 나머지 계층도 이와 같은 방식으로 이루어지게 된다. 또한, 계층적 깊이 영상의 각 계층은 개별적인 구성요소인 휘도성분, 색상 성분, 투명도 및 깊이 정보로 분리되며, 각 계층의 구성 요소 영상은 독립적으로 압축되는데, 압축율을 높이기 위해 같은 계층의 데이터가 조밀한 분포를 갖도록 데이터 모으기를 수행한다.

도 2는 본 발명의 일실시예에 따른 계층적 깊이 영상 기반 다시점 동영상 서비스 시스템을 개략적으로 도시한다. 도시된 바와 같이, 시스템은, 계층적 깊이 영상 생성부(210), 선형 역상관부(220), 데이터 모으기부(230), LDI 부호화부(240), LDI 복호화부(250) 및 다시점 영상 생성부(260)를 포함한다.

계층적 깊이 영상 생성부(210)는 깊이 정보를 갖는 다시점 동영상에 대하여 각 시점 영상의 색상과 깊이 정보를 이용하여 임의의 시점으로 3D 워핑(Warping)을 통해 계층적 깊이 영상을 생성한다. 일 예로, 도 3에 도시된 바와 같이 카메라 시점 C₂와 C₃의 위치에 있는 깊이 정보를 갖는 영상을 공통 시점 C₁으로 워핑하는 동안 두 개 이상의 화소 값이 같은 계층으로 매핑되면, 그 두개의 화소 위치에서 각 화소의 깊이 정보를 비교하여 그 값이 초기에 설정한 기준 값보다 크게 되면 각각의 화소에 대해 그 화소 위치에 다른 계층이 더해진다. 그렇지 않을 경우, 두개 화소 값의 평균값을 갖는 하나의 계층을 만들고, 평균값은 그 계층의 깊이 정보를 대표한다. 후자의 경우가 도 3에서의 c와 d이다. c와 d의 화소는 입력 카메라에서 공통의 카메라 시점인 C₁으로 워핑되는데 두개의 깊이 정보값이 거의 일치한다. 계층적 깊이 영상을 생성하기 위한 알고리즘들이 해당 기술분야에 이미 공지되어 있으므로 본 명세서에서 이에 대한 상세한 설명은 생략한다.

부호화 효율의 향상을 위해 본 발명에서 제안하는 선형 역상관부(220)는 기존 LDI 데이터 모으기의 전처리 과정으로서 계층적 깊이 영상의 깊이 정보를 중간값으로 몰리게 함으로써 깊이 정보의 분산을 줄이는 기능을 수행한다. 구체적으로, 선형 역상관부(220)는 계층적 깊이 영상의 모든 화소에 대해 계층별로 깊이 정보가 존재하지 않는 경우와 그렇지 않을 경우로 나누어 선형 역상관을 수행한다. 도 4에 도시된 바와 같이, 모든 화소에 대해 계층별로 깊이 정보가 존재하는 경우에는 이전 두 화소를 연결하는 직선과 현재 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 계산된 최단 거리로 대체한다. 한편, 도 5에 도시된 바와 같이, 계층적 깊이 영상의 일부 화소에 대해 계층별로 깊이 값이 존재하지 않을 경우에는 이전 두 화소의 깊이 평균값을 현재 화소의 깊이 값으로 이용한다. 이를 이용하여, 마찬가지로 이전 두 화소를 잇는 직선과 현재 깊이 값 사이의 최단 거리를 계산하여 해당 화소의 깊이 값을 최단 거리로 대체할 수 있다. 그러나, 이전의 두 화소를 연결하는 직선을 구할 수 없는 경우가 있다. 예를 들어, 첫번째 화소에 깊이 값이 존재하지 않는 경우에는 첫번째 화소의 깊이 값을 "0"으로 채우고, 두번째 화소에 깊이 값이 존재하지 않는 경우에는, 첫번째 화소의 깊이 값으로 채운다. 그러면, 세 번째 화소의 깊이 값은 이전 두 화소의 깊이 평균값으로 채울 수 있다. 그런 후에, 이 평균값을 현재 화소의 깊이 값으로 사용하여 최단 거리를 계산한다. 즉, 계층별로 깊이 값을 모두 채우고 난 후, 최단거리 계산을 수행하게 된다. 이때, 최단거리 d는 이전 두 화소 A=(x₀, z₀)와 B=(x₁,z₁)를 잇는 직선과 현재 화소 C=(x₂, z₂)사이의 최단 거리를 나타낸다. 최단 거리를 구하는 식은 다음과 같다.

여기서,(A)^⊥는 (-z₀, x₀)을 나타내며, C의 위치에는 깊이 값이 존재하지 않으므로, 상기 기술된 바와 같이, 이전 두 깊이 값의 평균값을 z₂에 넣어준다. 이를 통하여 깊이 값의 분산 분포를 줄일 수 있다.

다음, 데이터 모으기부(230)는 선형 역상관부(220)에 의해 깊이 값의 분산 분포가 줄어든 이후에 데이터 모으기를 수행함으로써 압축 효율을 더욱 향상시킬 수 있다.

LDI 부호화/복호화부(240, 250)는 데이터 모으기를 통해 공간상에서 일정 방향으로 모여진 데이터를 부호화 및 복호화 하는 모듈로서, 기존에 존재하는 부호화 및 복호화 방식을 사용할 수 있다.

다시점 영상 생성부(260)는 원 깊이 영상과 압축/복원된 깊이 영상간의 차이(residual texture) 정보 및 상기 복호화부(250)에 의해 복호화된 계층적 깊이 영상 데이터로부터 사용자가 원하는 시점 영상을 생성한다.

도 6은 본 발명의 일실시예에 따른 선형적 역상관 프로세스의 흐름도를 도시한다. 도시된 바와 같이, 단계(610)에서, 계층적 깊이 영상의 모든 화소에 대하 여 깊이 값이 존재하는지를 판단한다. 모든 화소에 대하여 깊이 값이 존재하지 않는 경우에는, 단계(620)에서 첫 번째 화소의 깊이 값이 존재하지 않는지를 판단하고, 그렇다면 그 값을 "0"으로 채운다(단계 630). 다음, 단계(630)에서, 두 번째 화소의 깊이 값이 존재하지 않는지를 판단하고, 그렇다면, 그 값을 첫 번째 화소의 깊이 값으로 채운다(단계 650). 첫 번째 및 두 번째 화소가 아닌 다른 화소의 깊이 값이 존재하지 않는 경우에는 이전 두화소의 깊이의 평균값으로 해당 화소의 깊이 값을 채운다(단계 660). 따라서, 일부 화소들에 대한 깊이 값이 존재하지 않는 경우에, 단계(620) 내지 단계(660)를 수행함으로써, 해당 화소들에 대한 깊이 값을 채우게 된다.

다음, 단계(670)에서, 이전의 두 화소를 연결하는 직선과 현재 화소의 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체한다.

본 발명은 하나 이상의 제조물상에 구현된 하나 이상의 컴퓨터 판독가능 매체로서 제공될 수 있다. 제조물은, 플로피 디스크, 하드 디스크, CD ROM, 플래시 메모리 카드,PROM, RAM, ROM, 또는 자기 테이프를 들 수 있다. 일반적으로, 컴퓨터 판독가능 프로그램은 임의의 프로그래밍 언어로 구현될 수 있다. 사용될 수 있는 언어의 일부 예에는 C, C++, 또는 JAVA가 포함된다.

이상에서, 특정 실시예와 관련하여 본 발명을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어 나지 않는 범위 내에서, 여러 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

본 발명에서 제안하는 선형 역상관 방법을 이용함으로써, 계층적 깊이 영상 부호화시에 압축 효율을 높일 수 있다.

Claims (14)

1. 계층적 깊이 영상을 부호화하기 위한 방법에 있어서,

   깊이 정보를 갖는 다시점 동영상에 대하여 각 시점의 색상 및 깊이 정보를 이용하여 계층적 깊이 영상을 생성하는 단계와,

   상기 생성된 계층적 깊이 영상에 대하여 선형적 역상관을 수행하는 단계와, 상기 선형적 역상관이 수행된 계층적 깊이 영상내에서 동일한 계층의 데이터를 모으는 단계와,

   상기 모여진 데이터를 부호화하는 단계

   를 포함하는 계층적 깊이 영상의 부호화 방법.
2. 제1항에 있어서, 상기 계층적 깊이 영상의 모든 화소 각각에 대하여, 이전의 두 화소를 잇는 직선과 현재 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체하는 단계를 포함하는 계층적 깊이 영상의 부호화 방법.
3. 제2항에 있어서, 상기 선형적 역상관을 수행하는 단계는, 상기 선형적 역상관이 수행될 화소의 깊이 값이 존재하지 않는 경우에, 상기 화소의 이전 두 화소 깊이의 평균값을 상기 화소의 깊이 값으로 이용하는 단계를 더 포함하는 계층적 깊이 영상의 부호화 방법.
4. 제3항에 있어서, 상기 깊이 값이 존재하지 않는 화소가 계층적 깊이 영상의 첫 번째 화소인 경우에, 상기 첫 번째 화소의 깊이 값을 0으로 채우는 단계를 더 포함하는 계층적 깊이 영상의 부호화 방법.
5. 제3항에 있어서, 상기 깊이 값이 존재하지 않는 화소가 계층적 깊이 영상의 두 번째 화소인 경우에, 첫 번째 화소의 깊이 값을 복사하는 단계를 더 포함하는 계층적 깊이 영상의 부호화 방법.
6. 제1항에 따른 방법에 의해 부호화된 계층적 깊이 영상을 서비스하는 방법에 있어서,

   상기 부호화된 계층적 깊이 영상을 복호화하는 단계와,

   상기 복호화된 계층적 깊이 영상과 원래의 깊이 영상간의 차이정보를 사용자가 원하는 시점 영상을 생성하는 단계

   를 포함하는 계층적 깊이 영상의 서비스 방법.
7. 계층적 깊이 영상을 부호화하기 위한 장치에 있어서,

   깊이 정보를 갖는 다시점 동영상에 대하여 각 시점의 색상 및 깊이 정보를 이용하여 계층적 깊이 영상을 생성하기 위한 계층적 깊이 영상 생성 수단과,

   상기 생성된 계층적 깊이 영상에 대하여 선형적 역상관을 수행하는 선형적 역상관 수단과,

   상기 선형적 역상관이 수행된 계층적 깊이 영상내에서 동일한 계층의 데이터를 모으는 데이터 모으기 수단과,

   상기 데이터 모으기 수단에 의해 모여진 데이터를 부호화하기 위한 수단

   을 포함하는 계층적 깊이 영상 부호화 장치.
8. 제7항에 있어서, 상기 선형적 역상관 수단은, 상기 계층적 깊이 영상의 모든 화소 각각에 대하여, 이전의 두 화소를 잇는 직선과 현재 깊이 값 사이의 최단 거리를 계산하여 현재 화소의 깊이 값을 최단 거리로 대체하기 위한 수단을 포함하는 계층적 깊이 영상 부호화 장치.
9. 제8항에 있어서, 상기 선형적 역상관 수단은, 상기 선형적 역상관이 수행될 화소의 깊이 값이 존재하지 않는 경우에, 상기 화소의 이전 두 화소 깊이의 평균값을 상기 화소의 깊이 값으로 이용하는 계층적 깊이 영상 부호화 장치.
10. 제9항에 있어서, 상기 깊이 값이 존재하지 않는 화소가 계층적 깊이 영상의 첫 번째 화소인 경우에, 상기 첫 번째 화소의 깊이 값을 0으로 채우는 계층적 깊이 영상 부호화 장치.
11. 제9항에 있어서, 상기 선형적 역상관 수단은 상기 깊이 값이 존재하지 않는 화소가 계층적 깊이 영상의 두 번째 화소인 경우에, 첫 번째 화소의 깊이 값을 복 사하는 계층적 깊이 영상 부호화 장치.
12. 계층적 깊이 영상 기반 다시점 동영상 서비스 시스템에 있어서,

    깊이 정보를 갖는 다시점 동영상에 대하여 각 시점의 색상 및 깊이 정보를 이용하여 계층적 깊이 영상을 생성하기 위한 계층적 깊이 영상 생성 수단과,

    상기 생성된 계층적 깊이 영상에 대하여 선형적 역상관을 수행하는 선형적 역상관 수단과,

    상기 선형적 역상관이 수행된 계층적 깊이 영상내에서 동일한 계층의 데이터를 모으는 데이터 모으기 수단과,

    상기 데이터 모으기 수단에 의해 모여진 데이터를 부호화하기 위한 수단과,

    상기 부호화 수단에 의해 부호화된 데이터로부터 상기 계층적 깊이 영상을 복호화하기 위한 복호화 수단과,

    상기 복호화된 계층적 깊이 영상 데이터로부터 사용자가 원하는 시점 영상을 생성하기 위한 다시점 영상 생성 수단

    를 포함하는 다시점 동영상 서비스 시스템.
13. 제12항에 있어서, 상기 다시점 영상 생성 수단은 원 깊이 영상과 압축/복원된 깊이 영상간의 차이(residual texture) 정보에 기반하여 상기 복호화된 계층적 깊이 영상 데이터로부터 사용자가 원하는 시점 영상을 생성하는 다시점 동영상 서비스 시스템.
14. 제1항 내지 제5항중 어느 하나의 항에 따른 방법을 수행하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.

Images