KR100275542B1 - 스테레오 영상 압축방법 - Google Patents

Abstract

본 발명은 개선된 디스패리티 추정방법을 이용한 효율적인 스테레오 영상 압축방법에 관한 것이다. 그 목적은 스테레오 영상 부호화에서 많이 사용되고 있는 동적 프로그래밍에 의한 디스패리티 벡터 추출방법을 개선한 디스패리티 추정방법을 이용하여 스테레오 영상 압축방법을 제공하는 데에 있다. 그 특징은 좌영상에 대한 디스패리티 벡터를 구하는 제 1 단계와, 우영상에 대한 디스패리티 벡터를 구하는 제 2 단계와, 가려진 영역을 제외한 블록들만을 대상으로 다시 디스패리티를 추정하는 제 3 단계와, 그 디스패리티 벡터들를 이용하여 각 블록들을 예측 부호화하는 제 4 단계 및 가려진 영역에 대해서는 원래의 입력영상 신호를 그래로 부호화하는 제 5 단계로 이루어지는 데에 있다. 그 효과는 불필요한 벡터전송으로 인한 데이터 양의 증가를 막고 전체 디스패리티 추정의 정확성도 높이는 데에 있다.

Description

스테레오 영상 압축방법

본 발명은 스테레오 영상 압축방법에 관한 것으로서, 특히 개선된 디스패리티 추정방법을 이용한 효율적인 스테레오 영상 압축방법에 관한 것이다.

일반적으로, 좌우 두 개의 영상으로 구성된 스테레오 영상은 공간적으로 많은 중복성을 지니고 있다. 따라서 이러한 중복성을 효과적으로 제거함으로써 전송시 데이터 양을 줄이려는 연구가 계속되어 왔는데 좌우 영상간에 존재하는 유사성을 찾는 것을 디스패리티 추정(Disparity estimation)이라고 한다. 실제적인 스테레오 영상에서는 어느 한 쪽 영상에는 나타나는 영역이 나머지 다른 영상에서는 나타나지 않는 가려진 영역이 생기게 된다. 이러한 가려진 영역이 디스패리티 추정의 정확성을 떨어뜨리고 전체적인 부호화 효율도 저하시키므로 이에 대한 별도의 처리과정이 필요하다.

인간의 시각특성에 입체감을 느끼게 하는 스테레오 영상은 다양한 전송매체를 통해 전송시 의료영상, 비디오 게임 등에 응용이 가능하다. 그러나, 통신 채널이나 저장매체가 제공하는 전송용량은 제한되어 있으므로 효율적인 전송로 이용을 위해서는 신호압축 기법을 사용하게 되었다. 동일한 대상을 수평으로 배열된 두 개의 카메라로 촬영하므로써 얻어지는 스테레오 영상은 좌우 두 개의 영상으로 구성된다. 이렇게 얻어진 좌우 영상은 서로 간에 많은 유사성을 가지고 있으므로 전송매체를 통해 전송시 두 영상간의 공간적인 상관관계를 이용하게 되면 두 영상을 독립적으로 보내는 것에 비해 많은 데이터 양 감축을 얻을 수 있다. 이를 위해 일반적으로 좌우 영상 중 한 쪽 영상(예를 들어, 우영상)을 기준영상으로 하여 적절한 부호화 방법으로 압축하여 보내고 나머지 영상(예를 들어, 좌영상)의 각 지점은 앞서 부호화한 우영상에서 가장 유사한 부분을 찾아 두 지점간의 차신호와 상대적 디스패리티 정보만을 보내고 있다. 이렇게 구해진 두 지점간의 상대적 디스패리티 를 디스패리티(disparity) 라고 하고, 디스패리티 를 수치로 나타낸 값을 디스패리티 벡터(disparity vector)라고 한다. 추정된 디스패리티 벡터값에 오류가 많을 경우에는 자연히 차신호의 데이터 양이 증가하게 되고 결국 전체적인 부호화 효율도 저하된다. 따라서, 효율적인 데이터 양의 감축을 위해서는 부호화하고자 하는 영상의 지점과 가장 유사한 부분을 기준 영상에서 찾아내는 디스패리티 추정 과정의 정확성을 높이는 것이 필수적이다.

도 1은 변환 부호화 방식에 기반한 전형적인 스테레오 영상 부호화 방법의 블록 구성도이다. 도 1을 참조하여 변환 부호화 방식에 기반한 전형적인 스테레오 영상 부호화 방법을 설명한다.

설명의 편의를 위해 우영상을 기준영상으로 하고 좌영상을 부호화하고자 하는 영상이라고 가정한다. 먼저, 기준영상은 DCT(Discrete Cosine Transform)(1), 양자화기(Quantization)(2), VLC(Variable Length Coding)(3)를 거쳐 압축되어 출력된다. 좌영상은 공간적 중복성을 제거하기 위해 디스패리티 추정기(6)를 거친다. 디스패리티 추정기(6)는 좌우 입력영상을 받아들여 우영상의 탐색범위 내에 있는 모든 지점에 대해 부호화하고자 하는 영상의 현재 지점과의 정합 코스트(matching cost)를 계산하여 정합 코스트가 최소가 되는 지점을 찾아 디스패리티 벡터값을 출력한다. 좌영상의 각 지점에 대해 디스패리티 벡터가 구해지면, 예측기(Predictor)(7)에서는 복호화된 우영상과 디스패리티 벡터를 이용해서 좌영상의 현재 지점값을 예측한다. 이렇게 예측된 값과 실제 좌영상 지점값과의 차이를 변환 부호화해서 보내면 수신단에서는 전송된 차신호와 디스패리티 벡터, 부호화된 우영상 신호를 이용해서 좌영상을 복원할 수 있다.

종래의 기술에서 공간적인 상관관계를 이용한 디스패리티 추정을 위해 대표적으로 사용되는 방법으로 블록정합이 있다. 블록정합에도 계산량과 정확도를 고려하여 여러 가지 알고리듬들이 제시되어 있으나, 기본적으로는 기준영상의 탐색범위 내에 있는 모든 지점에 대해 부호화하고자 하는 영상의 현재 지점과의 정합 코스트를 계산하여 정합 코스트가 최소가 되는 지점을 찾아 디스패리티 벡터 값을 산출한다. 본 방법은 비교적 간단하다는 장점은 있으나 대응 지점간의 국부적 유사성에만 의존하므로 균일한 영역이나 어느 한 쪽 영상에서는 가려진 부분에서 추정의 정확도가 현격히 떨어지는 문제점이 있다. 이를 개선하기 위해 동적 프로그래밍(dynamic programming)이라는 최적화 알고리듬을 토대로 영상의 수평 방향 한 라인 전체 화소에 대한 정합 코스트가 최소가 되는 방향으로 디스패리티 벡터값을 추정해 내는 방법이 최근 제안되었다. 이 방법은 기존 블록정합 방법보다는 좀 더 정확한 디스패리티 벡터를 산출하는 효과는 있으나 가려진 지점에 대한 정합 코스트가 여전히 전체 코스트 산출에 적용되므로 벡터값의 정확도를 떨어뜨리는 문제점이 있었다.

상기 문제점을 해결하기 위한 본 발명은 스테레오 영상 부호화에서 많이 사용되고 있는 동적 프로그래밍에 의한 디스패리티 벡터 추출방법을 개선한 디스패리티 추정방법을 이용하여 스테레오 영상 압축방법을 제공하는 데에 그 목적이 있다.

본 발명의 목적은 스테레오 영상 전송시 데이터 양을 줄이기 위해 사용되는 디패리티 추정 방법이 좌우영상 중 어느 한 쪽에서 가려진 영역에서는 정확성이 현저히 떨어지므로 가려진 영역과 그렇지 않은 영역에 대한 처리 방법을 달리 함으로써 전체적인 부호화 효율을 개선할 수 있다.

본 발명은 이러한 단점을 개선하여 수평방향 라인 전체 화소나 블록에 대한 디스패리티 추정시 가려진 영역으로 인해 발생하는 추정 오류를 줄임으로써 전체 디스패리티 벡터의 정확도를 높이고 부호화 효율도 개선할 수 있다.

상기 목적을 달성하기 위한 본 발명의 특징은 좌영상에 대한 디스패리티 벡터를 구하는 제 1 단계와, 우영상에 대한 디스패리티 벡터를 구하는 제 2 단계와, 가려진 영역을 제외한 블록들만을 대상으로 다시 디스패리티를 추정하는 제 3 단계와, 그 디스패리티 벡터들를 이용하여 각 블록들을 예측 부호화하는 제 4 단계 및 가려진 영역에 대해서는 원래의 입력영상 신호를 그래로 부호화하는 제 5 단계로 이루어지는 데에 있다. 여기서, 제 1 단계, 제 2 단계 및 제 3 단계에서는 동적 프로그래밍을 이용하여 디스패리티 벡터를 구한다.

도 1은 변환 부호화 방식에 기반한 전형적인 스테레오 영상 부호화 방법의 블록 구성도.

도 2는 본 발명에서 제시한 디스패리티 벡터 추출방법을 사용하여 스테레오 입력 영상을 압축하는 방법에 대한 블록 구성도.

도 3은 본 발명이 구성 작용하는 흐름도.

도 4는 기존 방식과 제시한 방법에 의해 예측한 영상의 비교도.

첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 2는 본 발명에서 제시한 디스패리티 벡터 추출방법을 사용하여 스테레오 입력 영상을 압축하는 방법에 대한 블록 구성도이다. 도 2를 참조하여 본 발명에서 제시한 디스패리티 벡터 추출방법을 사용하여 스테레오 입력 영상을 압축하는 방법을 설명한다.

기존 방식과의 차이점은 디스패리티 추정과정 및 가려진 영역에 대한 처리방법에 있다. 제안된 방식에서는 디스패리티 추정시 좌우영상 디스패리티 벡터의 일관성 검사기법을 이용한 가려진 영역 검출기능을 추가하였다. 또한, 가려진 영역에 대한 정보를 이용해서 가려지지 않은 영역에 대해서만 디스패리티 재추정을 수행하였다. 가려진 영역으로 판정된 지점은 디스패리티 벡터를 추정하는 것이 의미가 없으므로, 원래의 입력신호를 전송함으로써 불필요한 벡터전송으로 인한 데이터 양의 증가를 막고 전체 디스패리티 추정의 정확성도 높이는 효과가 있다.

도 3은 본 발명의 구성·작용의 흐름도이다. 도 3을 참조하여, 본 발명의 구성·작용을 설명한다.

부호화하고자 하는 좌영상의 기본 부호화 단위는 블록(N화소 × N화소)이며, 도면에서와 같이 블록열을 하나의 슬라이스(slice)라고 부른다. 따라서, 슬라이스는 다수개(도면에서는 W/N개)의 블록으로 구성되며 디스패리티 추정은 하나의 슬라이스 내에 있는 블록들을 대상으로 수행된다. 좌영상의 한 슬라이스 내 j번째 블록을 기준영상의 동일 슬라이스 내의 m번째 디스패리티 벡터 후보에 할당하는 경우에 노드 (j, m)이 갖는 코스트를 C(j,m)이라 할 때에 기존의 방법의 정합 코스트 함수 P(j,m)는 다음의 수학식 1과 같이 표현된다.

P(j,m) = min_t{C(j,m) + P(j+1,t) + α × dc(t,m)}

여기서, C(j,m)는 좌영상의 j번째 블록을 기준영상에서 m번째 디스패리티 벡터만큼 이동시켰을 때에 두 블록간의 코스트로서 통상 MAD(Mean absolute difference)나 MSD(Mean squared difference)를 적용한다. P(j+1,t)는 먼저 계산된 바로 뒷블록의 t번째 디스패리티 벡터에 대한 정합 코스트 값을 나타낸다. dc(t,m)은 m번째 벡터와 t번째 벡터간의 차를 나타내는데, 주변 벡터와의 차가 클수록 정합 코스트도 증대하게 된다. α는 조정 파라미터로서 실험적으로 정해진다. m과 t는 디스패리티 벡터 후보를 나타내는 인덱스로서 탐색범위에 의해 값의 범위가 정해진다. 탐색범위의 최대값을 v_m이라 하면, m과 t는 -v_m에서 v_m사이의 값을 갖는다. 정합 코스트 함수 계산은 슬라이스의 마지막 블록에서부터 시작되므로 초기 P값은 C항과 동일한 값을 갖는다. 노드(j,m)에서 선택가능한 2×v_m+1개의 후보벡터 중 코스트 값이 최소가 되는 벡터가 선택되는 것이다. 한 슬라이스 내의 모든 블록에 대한 정합 코스트 계산이 완료되면, 각 노드와 인접노드 사이에는 하나의 경로만 남게 된다. 따라서, 슬라이스의 첫번째 블록에서 2*v_m+1개의 노드 중 최소값을 갖는 노드로부터 출발해서 다음번 블록으로 진행해 나가면 전체블록에 대한 디스패리티 벡터들이 구해진다.

이러한 기존 방식에서는 정합 코스트 계산시 가려진 블록도 포함하는 데에 반해, 본 발명에서는 좌우영상에서 각각 디스패리티 벡터를 구한 후, 해당되는 두 벡터값의 차이가 일정 크기를 초과하면 가려진 영역으로 판단하여 2단계 디스패리티 추정시에는 해당 블록을 제외하고 실시한다. 좌우 두 개의 영상으로 구성된 스테레오 영상에서는 어느 한 쪽 영상에만 나타나는 물체의 영역을 나머지 다른 쪽 영상에서는 정확하게 추정해 낼 수가 없기 때문에 가려진 영역에 대해 추정된 벡터는 별 의미가 없는 정보이다. 따라서, 이러한 가려진 블록에서 생성되는 오류성 코스트 값이 전체 정합 코스트 산출시 포함되지 않도록 해 줌으로써 추정된 전체 디스패리티 벡터의 정확도가 향상될 수 있는 것이다. 2단계 추정에서는 수학식 2와 같이 수정된 코스트 함수를 사용한다.

C'(j,m) = (1-θ_j)^-1× C(j,m)

여기서, θ_j는 가려진 블록의 경우에는 1의 값을 갖고, 가려지지 않은 경우에는 0의 값을 갖는다. 수정된 코스트 함수를 수학식 1에 대입하여 정합 코스트를 계산하면 가려진 블록을 제외한 나머지 블록만 대상으로 디스패리티 벡터를 추정하는 것이 가능하게 된다.

본 발명에서 제시한 방법에 의한 성능 개선 효과를 검증하기 위해 도 3과 같은 방법으로 컴퓨터 시뮬레이션을 수행하여 기존의 동적 프로그래밍에 의한 방식과 제안된 방식의 결과를 비교하였다. 두 종류의 스테레오 영상 (192×256 화소, 296×176 화소)에 대해 각각 디스패리티 추정과 예측과정을 거친 후, 원래의 입력영상과의 차신호를 변환 부호화하였다. 객관적인 비교를 위해 산출한 각각의 전송 비트율 값은 다음의 표 1과 같다.

두 종류의 시험 영상에 대한 시뮬레이션 결과

영상	시험방법	DV 전송율	가려짐 정보 전송율	차신호 전송율	총 전송율
floating	기존 방법	2010	0	37788	39798
	제안된 방법	1140	814	36621	38575
breakfast	기존 방법	2202	0	27242	29444
	제안된 방법	1060	768	24373	26201

여기서, DV 전송율은 블록당 하나씩 할당되는 디스패리티 벡터를 DPCM (Differential PCM)에 의해 전송시 소요 비트수이며, 가려짐 정보 전송율은 가려진 블록 여부를 1비트로 표시하여 전송할 경우에 소요 비트수를 나타낸다. 차신호 전송율은 예측된 신호와 원래의 입력신호와의 차를 부호화했을 때에 소요되는 비트수이다. 위의 표 1에 의하면 제안된 방식으로 동일한 스테레오 영상을 전송시에 기존의 방식보다 전송효율이 개선됨을 알 수 있다. 또한, 디스패리티 벡터 추정의 비교를 위해 예측된 영상을 도 4에 나타내었다.

도 4는 기존 방식과 제시한 방법에 의해 예측한 영상의 비교도이다. 도 4를 참조하여 기존 방식과 제시한 방법에 의해 예측한 영상을 비교한다.

(a)는 기존 방식에 의해 추정된 벡터를 이용해서 예측한 영상이고, (b)는 제안된 방식에 의해 추정된 벡터를 이용해서 예측한 영상이다. (b)에서 가려진 영역으로 판단된 블록은 흰 실선으로 표시되어 있으며 이 부분은 원래의 입력영상 값으로 채워져 있다. 두 영상의 비교를 통해 제안된 방식은 훨씬 선명한 경계선을 보여주고 특히 물체 경계 부근에서 뭉그러짐이 개선된 것을 알 수 있다.

따라서, 본 발명은 불필요한 벡터전송으로 인한 데이터 양의 증가를 막고 전체 디스패리티 추정의 정확성도 높이는 데에 그 효과가 있다.

Claims (2)

1. 좌영상에 대한 디스패리티 벡터를 구하는 제 1 단계;

   우영상에 대한 디스패리티 벡터를 구하는 제 2 단계;

   가려진 영역을 제외한 블록들만을 대상으로 다시 디스패리티를 추정하는 제 3 단계;

   그 디스패리티 벡터들를 이용하여 각 블록들을 예측 부호화하는 제 4 단계; 및

   가려진 영역에 대해서는 원래의 입력영상 신호를 그래로 부호화하는 제 5 단계로 이루어지는 것을 특징으로 하는 스테레오 영상 압축방법.
2. 제 1 항에 있어서,

   상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계에서 동적 프로그래밍을 이용하여 디스패리티 벡터를 구하는 것을 특징으로 하는 스테레오 영상 압축방법.

Images