KR101545514B1 - 분산 동영상 코딩의 다중 보조 정보 생성 방법 및 그를 이용한 동영상 단말기 - Google Patents

Abstract

1. 청구 범위에 기재된 발명이 속한 기술분야

본 발명은 Slepian과 Wolf 그리고 Wyner와 Ziv의 정보 이론에 기반을 둔 새로운 동영상 압축 패러다임인 분산 동영상 코딩 (Distributed Video Coding: 이하 DVC)의 복호화기측 알고리즘 개발에 관한 것임

2. 발명이 해결하려고 하는 기술적 과제

본 발명은 전송프레임(Wyner-Ziv 프레임: 이하 WZ 프레임)을 압축하기 위하여 DVC의 복호화기가 WZ 프레임에 대한 예측 정보인 예측 프레임(보조 정보 프레임)을 만들 때 보조 정보를 다양하게 생성하고, 유용한 정보를 선택하는 방법을 고안하여 압축 성능을 증진하는데 목적을 둔다.

3. 발명의 해결방법의 요지

DVC의 복호화기는 메모리에 확보된 복호화된 프레임들 중 WZ 프레임과 시간적으로 가까운 프레임(참조 프레임)들을 이용하여 WZ 프레임에 대한 보조 정보 프레임을 구한다. 본 발명은 WZ 프레임들 간의 움직임을 구하는 방법을 다양하고, 좀더 정확하게 보간된 블록을 선택하는 방법을 고안하여, 같은 량의 전송 정보(WZ 프레임의 텍스처 정보인 양자화 인덱스와 관련된 코세트 인덱스의 패리티 비트)를 가지고 복호화가 성공할 확률을 높인다.

4. 발명의 중요한 용도

DVC는 기존의 동영상 부호화/복호화 방식과 압축 성능을 비슷하게 유지하면 서 복호화기의 복잡도를 키우더라도 부호화기의 복잡도를 줄이는 것이 유리한 응용기기 들에 이용되기 위한 것이다. 본 발명은 복호화기 측에서 ME(Motion Estimation)횟수를 늘림으로써 복호화기의 복잡도를 키우는 대신 부호화기의 복잡도를 변화 시키지 않고도 압축 성능을 개선한다.

Description

분산 동영상 코딩의 다중 보조 정보 생성 방법 및 그를 이용한 동영상 단말기{Method for multiple side information generation in Distributed Video Coding and its using apparatus}

본 발명은 동영상 코딩에 관한 것으로, 보다 구체적으로 분산 동영상 코딩의 다중 보조 정보를 생성하는 방법과 이를 이용한 동영상 단말기에 관한 것이다.

분산 동영상 코딩 (Distributed Video Coding, DVC)은 Slepian과 Wolf 그리고 Wyner와 Ziv의 정보 이론에 기반을 둔 새로운 동영상 압축 패러다임이다. 수신측의 보조정보(Side Information, SI)를 이용하는 분산 동영상 코딩은 계산의 복잡도를 복호화기쪽으로 옮김으로써, 부호화기쪽에서는 적은 연산량으로 동영상 부호화를 가능하게 한다.

도 1은 분산 코딩(Distributed coding)의 원리를 나타낸다(도 1의 도면에 대한 상세한 설명은 J. D. Slepian와 J. K. Wolf에 의한 "Noiseless coding of correlated information sources,"(IEEE Transactions on information Theory, vol. IT-19, pp. 471-480, July 1973.)에 기술되어 있으며, 상기 논문의 내용은 참조에 의하여 본 명세서에 완전히 결합된다). 도 1에 표시되어 있는 두 개의 시퀀스 들(X와 Y) 중 하나인 'X'는 전송정보이고 다른 하나 'Y'는 보조정보(Side Information)라고 한다. 보조정보는 복호화기가 만들어 낸 정보로서 전송정보인 X와 통계적 의존성을 가진다. Rx, Ry를 X, Y에 대한 비트율, H(X)와 H(Y)를 각각에 대한 엔트로피라고 할 때 X와 Y가 상호 의존적이라면 Rx≥H(X|Y), Ry≥H(Y|X)가 되어 Rx+Ry ≥ H(X,Y)가 되며 H(X)+H(Y)≥H(X,Y)이므로 상관성을 이용하여 압축할 수 있는 여지가 생긴다.

도 2는 일반적인 DVC 구조를 보여 주는 블록도로서, 기존 표준 코덱의 인트라 프레임 인코더(232: COnventional Intra Frame Encoder)와 결합된 구조로 되어 있다. 일반적인 DVC 구조에 대한 상세한 설명은 B. Girod와 A. Aaron, 그리고 S. Rane과 D. R. Monedero에 의한 "Distributed video coding," (IEEE, vol. 93, pp 447-460, Jan. 2005)에 상세히 기술되어 있으며, 본 논문의 내용은 참조에 의하여 본 명세서에 완전히 결합된다. 도 2에서 'K'는 key 프레임으로서 기존의 인트라 프레임 인코더(232)로 코딩되어 수신측에 전달된다. 'X'는 DVC로 코딩되어 전달되는 프레임(이하, WZ 프레임)이며, 'Y'는 복호화기가 key 프레임을 비롯한 메모리에 확보된 프레임들로 만들어낸 정보로서 'X' 에 대한 예측 프레임(이하, 보조 정보 프레임)이다.

도 2를 참조하면, DVC 부호화기(210: Encoder)는 움직임 보상과 같은 큰 계산량을 필요로 하는 알고리듬을 수행하지 않고, 대신 전송하려는 프레임에 대한 패리티 비트를 채널 코딩 방식으로 생성하여 전송하는 간단한 작업만을 수행한다. 이를 위하여, DVC 부호화기(210)는 비트평면 인코더(212: Bitplane ENcoder), 패리티비트 인코더(214: Parity bit Encoder), 및 비트율 제어기(216: Bitrate Controller)를 포함한다.

DVC 복호화기(220: Decoder)는 보조 정보 프레임 'Y'를 생성하고 부호화기 측에 WZ 프레임과 보조 정보 프레임 간 비트 에러율(BER)을 DVC 부호화기(210)에 보고한다(Information of BER). DVC 부호화기(210)는 DVC 복호화기(220)로부터 보고 받은 비트 에러율(BER)에 따라 적절한 양의 패리티 비트(Parity Bits)를 전송한다(ParityBits of Coset Index of X). 패리티 비트를 수신한 DVC 복호화기(220)는 복호화기 내의 채널 복호화기로 X에 대한 일부 정보인 코세트 인덱스(도 3 참조)를 복호한다. 이 과정을 위해 보조 정보 프레임 Y의 코세트 인덱스는 WZ 프레임 X의 코세트 인덱스에 비트 에러가 발생한 것으로 인식되어 수신된 패리티 비트와 함께 채널 복호화기에 입력된다. 채널 복호화기의 출력이 되는 X에 대한 코세트 인덱스는 보조 정보 프레임 Y를 참조하여 X의 비트열 전체를 복호하는데 이용된다. 이를 위하여 DVC 복호화기(220)는 BER 보고기(222: BER Reporter), 패리티비트 디코더(224: Paritybit Decoder), 비트평면 디코더(226: Bitplane Decoder), 비트평면 인코더(228: Bitplane Encoder), 및 다중 움직임추정 움직임보상 보간(229: Motion Estimation Motion Conpensation Interpolation, MEMCI) 유닛을 포함한다.

도 3은 패리티 코딩의 대상이 되는 코세트 인덱스의 개념 및 용도를 나타낸다. 도 3에서 전송 정보 U(WZ 프레임의 주파수 계수 혹은 픽셀 값에 대한 양자화 인덱스)의 최하위 비트 '0'의 전송은 복호화기에게 최하위 비트에 따라 설정된 두 개의 U의 후보 값들에 대한 집합(이하, 코세트)들 S₀={000, 010, 100, 110}, S₁={001, 011, 101, 111} 중 U가 S₀에 포함되어 있음을 알려준다. 여기서 전송된 비 트 0은 두 개의 코세트들 중 전송 정보가 속한 것이 어떤 것인지 명시하는 코세트 인덱스가 된다. 만일 U에 대응되는 보조 정보가 Y₁이면 S₀의 원소들 중 Y₁과 가장 가까운 U₁을 선택함으로써 올바른 값이 복호화된다. 반면 보조 정보가 Y₂이면 U₂₁를 선택하게 되어 잘못된 값이 복호화된다. 이 경우 U₂₁는 보조 정보인 Y₂보다 전송정보 U와의 오차가 더 크기 때문에 정보를 전송 하고도 오히려 품질을 떨어뜨리는 결과를 초래한다. 이러한 상황을 피하려면 추가 코세트 인덱스(그 다음의 하위 비트) '0'의 전송이 요구된다. 추가 코세트 인덱스 전송으로 복호화기는 S₀에서 파생된 코세트인 S₀₀={000, 100}, S₀₁={010, 110} 중 S₀₀를 선택하게 되고 S₀₀의 원소 중 Y2와 가장 오차가 적은 U₂₂가 선택되어 올바른 값이 복호화된다.

DVC의 복호화기는 보조 정보 프레임 Y가 WZ 프레임 X와 가까운 값을 가질수록 적은 량의 코세트 인덱스에 대한 패리티 비트 전송만으로 X를 복호할 수 있다. 보조정보 프레임은 메모리에 저장된 시간적으로 가까운 프레임들 간의 움직임을 측정하고 그로부터 현재 프레임에 대한 움직임을 예측하여 보간함으로써 획득될 수 있다. 즉, 1번과 3번 프레임 간의 움직임 벡터를 구한 후, 구한 움직임 벡터의 크기를 반으로 줄여 1번과 2번 프레임 간의 움직임을 예측함으로써 2번 프레임에 대한 보조 정보 프레임을 획득하는 방식으로 보조 정보가 획득될 수 있다.

또는, 도 4에 도시된 바와 같이, 이전 프레임 F_T-1과 이 후 프레임 F_T+1로 현재 프레임 F_T에 대한 보조 정보를 만들 때, 예측 하려는 블록 B_T의 위치 (x, y)를 중심으로 F_T-1과 F_T+1 내 대칭되는 위치((x-m_x, y-m_y), (x+m_x, y+m_y))의 블록들 간 노이즈를 측정함으로써, 보조 정보가 획득될 수도 있다. 즉 서로에 대한 노이즈가 최소일 때의 블록들 C_T-1, C_T+1은 블록 B_T에 대한 F_T-1과F_T+1로부터의 예측 블록들이 된다.

본 발명의 목적은 DVC의 복호기에서 한정된 참조프레임들(이전에 복호화된 프레임들)로 다양한 보조 정보 프레임들을 생성하여 압축 성능을 높이는 것이다. 다양한 보조 정보 프레임들은 복호화기가 한정된 송신측으로부터의 정보만으로 더 많은 양의 블록들을 복호할 수 있도록 한다.

상기 목적을 달성하기 위한 본 발명의 방법은 종래의 움직임 측정 방법에 변화를 주어 한 쌍의 참조 픽처 간 하나의 재구성된 예측 프레임이 아닌 여러 개의 재구성된 예측 프레임들 즉 보조 정보 프레임들을 생성함으로써 복호화기가 WZ 프레임에 대한 하나 하나의 블록을 복호할 때 보조 정보 블록 선택의 폭을 늘림으로써 같은 전송 비트율에 대하여 복호화 성공 확률을 높이는 기술이다.

본 발명의 복호화기는 피드백을 통한 반복적인 복호화로 전송률을 낮추는 것이 가능하다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

도 5는 본 발명의 일 실시예에 따른 DVC 복호화기의 구조 및 DVC 복호화 절 차를 보여 주는 블록도이다. 본 발명의 일 실시예에 따른 DVC 복호화 절차의 흐름은 다음과 같다.

① 이전에 복호화된 프레임들(512: Previously Decoded frames) 중 이번에 복호 하려는 프레임과 시간적으로 가까운 프레임들을 이용하여 본 발명의 범주에 속하는 다중 움직임 추정 기법(510: 도면에는 '인터 보조정보 생성기(Inter Side Information Generator)'로 표시되어 있으며, 이에 대해서는 후술한다)으로 한 개 이상의 다양한 보조정보 프레임들(예컨대, 참조번호 512의 Side Information List)을 만들어 낸다.

② 패리티 비트 복호화기(530: Parity bit Decoder)는 ①의 과정을 통하여 생성된 보조정보 프레임(512)들을 이용하여 WZ 프레임에 대한 각각의 양자화 인덱스 Q_X가 포함된 코세트를 명시하는 코세트 인덱스 C_X를 복호해 낸다. 본 발명의 범주에 속하는 터보 복호화기의 비트에러 판단 기법(도면에는 참조 번호 540의 '코세트 인덱스 판단기(Coset Index Checker)'로 표시되어 있다)은 패리티 비트 복호기의 출력이 되는 각각의 보조 정보 블록들 내 양자화 인덱스들에 대한 코세트 인덱스 C'_X들 중 올바른 값의 코세트 인덱스 C_X 선택을 도움으로써 결과적으로 복호기로 하여금 송신측으로부터의 한정된 코세트 인덱스에 대한 패리티 비트들로 더 많은 량의 올바른 코세트 인덱스를 복호하게 한다.

③ 비트 평면 복호화기(20, Bitplane Decoder)는 ②의 과정을 통하여 생성된 코세트 인덱스 C_X로 ①의 과정을 통하여 생성된 보조 정보들의 양자화 인덱스 Q_Y를 이용하여 C_X를 제외한 나머지 잔여 비트들 L_X를 예측(도 3 참조)해 낸다. 본 발명의 범주에 속하는 CRC를 통한 잔여 비트 에러 판단 기법(550: 잔여 비트 에러 판단기(Left bit Checker))은 비트 평면 복호화기의 출력이 보조 정보 프레임 수만큼의 WZ 프레임에 대한 예측 양자화 인덱스 Q'_X들 중 올바른 값의 양자화 인덱스 Q_X 선택(모든 예측 블록들이 선택되지 않을 수도 있다. 이러한 경우에 해당하는 블록을 복호화 실패 블록이라고 한다)을 도움으로써 결과적으로 복호화기로 하여금 송신측에서 정한 한정된 개수의 코세트 인덱스들로 더 많은 량의 올바른 양자화 인덱스들을 복호화하게 한다.

④ 복호화기는 ③에서 생성된 WZ 프레임에 대한 양자화 인덱스 Q_X로 X'을 복호화하고 복호화된 프레임에 대하여 복호화 실패 블록이 발생하였는지 판단 후 발생하지 않은 경우 전송프레임에 대한 복호화 작업을 종료한다. 그렇지 않을 경우 복호화기는 본 발명의 범주에 속하는 송신측으로의 추가 정보 요구 기법인 장기(長期) 피드백(562: Long Term Feedback)을 통하여 추가 정보를 전송 받거나 또 다른 기법인 단기(短期) 피드백(564: Short Term Feedback)으로 복호화 실패 블록의 복호화 성공확률을 높인다. 장기 피드백과 달리 단기 피드백은 송신측으로 추가 정보를 요구하지 않는 방법이므로서 비트율을 절약할 수 있는 방법이 된다. 그러므로 단기 피드백을 시도한 후 장기 피드백을 하는 것이 효율적이다. ⑤는 단기 피드백을 설명한다.

⑤ 복호화기는 모든 블록의 복호화에 실패한 부분적으로 복호화된 전송프레임 내 복호화 실패 블록들을 프레임 내 주위 블록 값을 이용하여 보간한다. 본 발명의 범주에 속하는 복호화 실패 블록 보간 기법(570: 인트라 보조정보 생성기(Intra Side Information Generator))은 다양한 보간 기법을 통해 부분적으로 복호화된 WZ 프레임으로 또 다른 보조 정보들을 생성한다. 본 과정 ⑤는 ①로 대체되어 ②에서 ④를 반복한다.

이하에서는 위의 과정에서 소개된 본 발명의 범주에 속하는 기법

- 다중 움직임 추정기법

- 터보 복호화기의 비트에러 판단 기법

- CRC를 통한 미전송 비트 에러 판단 기법

- 장기 피드백 기법

- 단기 피드백 기법

들을 소개하고 관련된 세부 기술들을 제안한다.

1. 다중 움직임 추정 기법

일반적으로 MEMCI는 일정한 크기의 블록으로 참조프레임들을 나누고, 각각의 블록을 중심으로 대칭적으로 움직임 벡터를 구하여 전송 프레임 내 블록들을 보간(도 4 참조)한다. 블록의 보간이 잘되는지 여부는 블록의 특성과 매우 관련이 높다. 예를 들어, 블록내에 에지(특성이 다른 부위의 경계선)가 선명하면 올바른 움직임을 찾기 쉽다. 그러므로 본 발명에서는 움직임 단위 블록의 위치나 크기를 다양하게 설정함으로써 에지가 선명하면서도 블록내 모든 픽셀이 하나의 움직임을 갖는 블록이 등장할 확률을 높인다. 도 6은 참조 프레임 내 움직임 단위 블록의 위치 를 다양하게 하는 예를 보인다.

이 방법은 움직임 단위 블록의 위치에 변화를 줌으로써 복호화기가 WZ 프레임에 대하여 다양한 보조 정보 프레임들을 만들어 내는 것을 가능하게 한다. 보조 정보 프레임이 다양할수록 하나의 블록에 대한 예측 블록 후보들이 많아져서 작은 비트율의 패리티로도 블록 단위의 복호화가 성공할 확률이 높아지므로 전체 DVC 시스템의 효율을 높이는데 도움이 된다. 도 6의 가장 좌측 그림(도 6의 (a))은 (0, 0) 픽셀부터 블록을 취하는 방법으로서 단위 블록의 움직임을 찾을 때 취하는 기존의 일반적인 방식이다.

본 발명에서는 도 6의 (b), (c), 및 (d)에 도시된 바와 같이, 단위 블록을 취하는 위치를 "(0, 0) 픽셀부터"로 고정하지 않을 것을 제안한다. 그림의 좌측으로부터 각각 두 번째, 세 번째, 및 네 번째 그림인 도 6의 (b), (c), 및 (d)는 블록을 취하는 위치를 "(0, 0) 픽셀부터"로 고정하지 않은 예들이다. 도 6을 참조하면, 블록의 크기를 NxN이라 할 때, 도 6의 (b), (c), 및 (d)는 각각 첫 번째 블록의 위치를 각각 (1/2N, 0), (0, 1/2N), (1/2N, 1/2N) 픽셀로 취하였음을 나타낸다. 이러한 방식은 하나의 프레임에 대하여 다양한 정보의 움직임 벡터 단위 블록들을 만들어 낸다. 본 발명에서는 이러한 방법을 다중 움직임 추정 및 보상 보간(이하, 다중 MEMCI)법이라고 한다.

도 7은 도 6과 같이 움직임 추정을 위한 단위 블록을 취하고 네 번의 MEMCI를 하여 만들어낸 네 개의 보조 정보 프레임을 나타내는 것으로서, 도 7의 도면에 표시된 '1', '2', '3', 및 '4'는 각각 도 6의 (a), (b), (c), 및 (d)의 방법으로 단위 블록을 취한 경우에 대응된다.

도 7을 참조하면, 각 보조 정보 프레임의 정확도는 전체 프레임에 대해서는 비슷하지만 블록단위로 보면 위치에 따라 다르다. 예를 들어, 귀 부분은 1번 보조 정보 프레임이 정확한 편인 반면, 입 부분은 4번 보조 정보 프레임이 정확한 편이다. 그러므로 위치에 따라 적절한 블록을 선택(도 5의 coset index checker 혹은 left bit checker에 의한)한다면 같은 조건에서 더 정확한 복호화가 가능하다. 다중 MEMCI를 할 때 블록을 취하는 위치에 의해 발생하는 공백(도 7의 왼쪽의 2, 3, 4번으로 표시된 예측 프레임의 가장자리에 있는 검은 부분)에 대해서는 Nx(1/2N) 혹은 (1/2N)xN 크기의 움직임 단위 블록을 적용하거나 공백이 발생하지 않는 보조 정보 프레임(도 7의 왼쪽의 1번 예측 프레임)의 값을 공백이 발생하는 보조 정보 프레임들의 공백에 픽셀 단위로 복사할 수도 있다. 도 7의 오른쪽 그림들은 이러한 방법에 따라서 공백을 메운 경우를 보여 준다.

본 실시예의 일 측면에 의하면, 움직임 단위 블록의 위치 이동은 더 세밀하게 조정될 수 있다. 도 8은 각각의 단위 블록의 위치를 (0, 0), (1/4N, 0), (1/2N, 0), (3/4N, 0), (0, 1/4N), (1/4N, 1/4N), (1/2N, 1/4N), (3/4N, 1/4N), (0, 1/2N), (1/4N, 1/2N), (1/2N, 1/2N), (3/4N, 1/2N), (0, 3/4N), (1/4N, 3/4N), (1/2N, 3/4N), (3/4N, 3/4N)만큼 이동시키는 방법을 적용하는 16번의 MEMCI에 의한 16개의 보조 정보 프레임들을 나타낸다. 보조 정보 프레임의 수를 늘릴수록 복잡도가 증가하지만 그 만큼 복호화기가 이용할 수 있는 자원이 많아지므로 한정된 송신측으로부터의 정보에 대한 블록단위의 복호화 성공 확률이 높아진다.

도 9는 도 8의 각각의 보조 정보 프레임들에 대한 패리티 복호화와 비트 평면 복호화 과정을 거친 후보 프레임들이다. 각 후보 프레임의 각 블록은 각 최종 블록에 대한 후보 블록들이 된다. 각 최종 블록의 후보 블록들 중 최종 블록 선택은 도 5를 참조하여 설명한 과정으로 수행된다. 더 세밀한 움직임 단위 블록 위치 조정을 통한 더 많은 수의 MEMCI 수행은 더 많은 수의 보조 정보 프레임들을 만들어내어 결과적으로 더 많은 수의 후보 블록들을 만들어낸다. 즉, 최종 블록 선택 시 선택 사항이 많아지므로 최종 블록으로서 가치가 있는 블록이 후보 블록들 중 등장할 확률이 높아진다.

도 10은 언급된 바와 같이 MEMCI의 횟수를 증가 시킬수록 최종 블록 선택 실패(검은 블록들) 확률이 낮아짐을 보여준다. 도 10에서는 복호화의 대상이 되는 프레임(Frame to be decoded)와 MEMCI의 횟수에 따른 복호화된 프레임을 보여 주는데, MEx1, MEx4, MEx16, MEx64, MEx256은 MEMCI를 수행하는 횟수, 즉 생성되는 보조 정보 프레임의 갯수를 나타낸다.

2. 터보 복호화기의 비트에러 판단 기법

DVC 시스템에서 터보 복호화기는 부호화기로부터 수신한 WZ 프레임의 코세트 인덱스에 대한 패리티 비트와 복호화기에서 생성한 보조 정보 프레임의 코세트 인덱스를 입력으로 하여 WZ 프레임의 코세트 인덱스를 복호하는 역할을 담당한다. 터보 복호화기는 반복적으로 복호화를 수행할 수 있으며 수행 횟수가 증가할수록 오류를 정정할 확률이 높아진다. 첫 번째 복호화 수행은 부호화기로부터 수신한 패리 티 비트와 복호화기에서 생성한 보조 정보 프레임의 코세트 인덱스이며 출력은 WZ 프레임의 코세트 인덱스를 구성하는 각 비트에 대한 0과 1의 확률이다. 두 번째 수행부터는 패리티 비트와 보조정보 프레임의 코세트 인덱스 외에 이전 수행의 각 비트에 대한 0과 1의 확률이 입력되고 갱신된 0과 1에 대한 확률이 출력된다. 올바르게 복호화되는 비트의 경우 수행이 반복됨에 따라 0과 1의 확률 중 하나의 값에 대한 확률이 점점 커지게 된다.

본 발명은 터보 복호화 수행이 반복될 때마다 0과 1에 대한 확률이 한쪽으로 수렴되지 않고 진동하는 비트를 신뢰도가 낮은 비트로 간주하고, 이러한 비트가 포함된 비율을 후보 블록의 선택에 있어서 지표로 사용하는 방법을 제안한다. 이 방법은 CRC와 같은 별도의 정보를 부호화기로부터 요구하지 않으므로 비트율을 줄이는데 도움이 된다. CRC의 경우에는 완전하게 복호되었는지 여부만을 판단할 수 있지만, 이 경우에는 복호화 정확도를 정량적으로 예측할 수 있게 한다. 또한 이 방법은 터보코드에서 인터리빙을 일정한 방향으로 하면 복호화가 잘 안되는 지역을 찾아내는 방법으로 이용될 수도 있다.

일 실시 예로, 도 11의 (a)인 비트 평면 a에 대해서는 수평방향으로 같은 위치에 있는 블록들의 비트들끼리 인터리빙을 하고, 도 11의 (b)인 비트 평면 b에 대해서는 수직방향으로 같은 위치에 있는 블록들끼리 인터리빙을 하였다고 하자. 만일, 두 번째 블록 행과 세 번째 블록 열에서 진동하는 비트가 많이 발생하였다고 하면, 두 번째 블록 행과 세 번째 블록 열에 동시에 포함되는 블록의 그룹이 제대로 복호화되지 않았을 가능성이 크다. 즉, 도 11의 (c)에서 상대적으로 검게 표시 된 부분에서 후보를 교체하여 다시 테스트를 함으로써, 복호화 속도와 정확도를 높일 수 있다.

3. CRC를 통한 잔여 비트 에러 판단 기법

DVC 복호화기는 복호화기에서 생성한 모든 후보 블록들을 이용하여 블록 단위로 복호화를 한 후에, 그 중 복호화하려는 프레임의 블록과 가장 가까운 값을 가지는 블록을 최종 블록으로서 선택한다. 원(source) 프레임을 가지고 있지 않은 복호화기는 최종 블록을 선택하는 과정에서 복호하려는 WZ 프레임에 대한 최소한의 정보를 부호화기로부터 요구할 수 밖에 없다(최종 블록을 선택하는 과정은 후보 블록들의 양자화 인덱스에 대한 신뢰도를 판단하는 과정으로서 패리티 코딩의 대상인 코세트 인덱스만의 신뢰도를 판단할 수 있는 터보 복호화기의 에러 판단 기법이 적용되지 않는다).

R. Puri와 K. Ramchandran에 의한 "PRISM: A new robust video coding architecture based on distributed compression principles," (in Proc. Allerton Conference on Communication, Control, and Computing, Allerton, IL, Oct. 2002.)에서는 이 '최소한의 정보'를 CRC 형태로 전송하는 방법을 제안하였다. 본 발명에서는 부호화기에서 CRC 비트를 일부 중요 정보에 대해서만 생성하여 전송하고 복호화기 또한 일부 중요 정보에 대해서만 오류 검사하는 방법을 제안한다. 언급된 '일부 중요 정보'는 DC를 포함한 저주파 주파수 계수에 대한 양자화 인덱스의 잔여 비트들(양자화 인덱스에서 코세트 인덱스를 제외한 나머지 비트들)이며, 이 방법은 CRC의 비트량을 줄일 수 있을 뿐만 아니라 최종 블록 선택 과정에서 상대적으로 중요성이 떨어지는 고주파에서의 노이즈를 허용 함으로써 더 많은 수의 블록을 최종 블록으로서 선택할 수 있게 한다. 즉 변환 블록 당 CRC가 적용되는 주파수 계수의 수를 조절 함으로써 오류 검사의 수위가 조절되는 효과가 발생하게 되는 것이다.

도 12는 16번의 MEMCI를 통해 얻어진 16개의 보조 정보 프레임들(도 8 참조)에 수신한 패리티 비트를 적용하여 하나의 블록당 16개의 후보 블록들(도 9 참조)을 만든 후 CRC로 최종 블록을 선택하여 만들어진 프레임을 나타낸 것이다.

'CRC 15/64'라고 표시되어 있는 도 12의 왼쪽 그림은, 8x8의 변환 블록 내의 64개의 주파수 계수들 중 저주파 15개에 대해서만 CRC한 것이고, 'CRC 3/64'라고 표시되어 있는 오른쪽 그림은 64개의 주파수 계수들 중에서 3개에 대해서만 CRC를 함으로써 오류 검사의 정도를 낮춘 것이다. 검게 표시된 블록들은 16개의 후보 블록들 중 CRC 검사를 통과한 블록이 하나도 없었음을 의미한다. 그림에서 알 수 있듯이 오류 검사의 정도를 낮추면 우측의 프레임과 같이 최종 블록 선택 실패 확률이 줄어들지만 원으로 표시된 부분과 같이 최종 블록으로서 적절하지 못한 블록을 선택할 확률 또한 높아진다. 그러므로 목표 화질에 따라 CRC 대상 주파수 계수의 수 조절에 따른 적절한 오류 검사의 정도를 조절하여야 한다.

또한, 본 발명은 하나의 CRC에 대한 대상을 하나의 변환 블록으로 고정하지 않을 것을 제안한다. 즉 한 개 이상의 변환 블록들의 저주파 계수들에 대해 하나의 CRC를 생성함으로써 CRC에 대한 전송량을 줄일 수 있다. 그러나 복호화기측의 오류 검사에 실패할 경우 하나의 CRC 대상인 하나 이상의 변환 블록들 모두 최종 블록으로서 선택되지 않게 되므로 목표 화질에 따라 적절한 변환 블록의 수를 결정하여야 한다.

4. 송신측으로부터 추가 정보를 요구하는 장기 피드백 기법

전술한 "PRISM: A new robust video coding architecture based on distributed compression principles,"에서는 복호가 실패한 블록들에 대해서 블록 위치의 피드백을 통해 추가 패리티 비트를 요구하는 방법을 제시하였다. 본 발명에서는 부호화기로부터의 추가 정보로서 인트라 예측 모드 혹은 움직임 벡터를 구하고 전송하는 방법을 제시한다. 이 방법은 복호화기로부터 피드백받은 복호 실패 블록 위치 정보를 바탕으로 그 블록에 대한 인트라 예측 모드 혹은 움직임 벡터를 부호화기에서 구해내야 하므로 이미 만들어져 저장된 패리티 비트를 추가 전송하는 기존의 방법에 비해 많은 연산을 필요로 한다. 그러나 경우에 따라 기존의 방법 보다 적은량의 추가 정보 전송으로 복호 성공 확률을 높일 수 있다.

5. 송신측으로부터 추가 정보를 요구하지 않는 단기 피드백 기법

전술한 논문 "PRISM: A new robust video coding architecture based on distributed compression principles," 는 복호 실패 블록들에 대하여 블록의 위치를 부호화기 측으로 피드백 함으로써 추가 패리티 비트를 요구하는 방법을 제안하였다. 본 발명에서는 이러한 블록들에 대하여 추가 정보를 요구하는 대신 주변 블 록의 픽셀 값을 활용하는 인트라 예측 기법을 적용한다. 인트라 예측에는 주변 블록의 픽셀 값을 활용하는 방법에 따라 수 개의 모드들이 있으며 (H.264/AVC의 경우 8x8 블록 모드에 대하여 9가지의 인트라 예측 모드) 기존 코덱의 부호화기의 경우 각 모드들을 적용한 후 실제 블록의 값을 가장 잘 예측하는 모드를 선택한다.

도 13은 도 5에 대한 설명 ①에서 ④과정을 거쳐 생성된 복호화 프레임(좌·상)내 복호화 실패 블록들에 H.264/AVC의 9가지 8x8 블록 인트라 모드를 적용한 것을 나타낸다. 본 발명은 그림과 같이 복호화 실패 블록들에 대하여 하나의 인트라 예측 모드를 적용하고 잔여 비트 복호화 →CRC 검사 한 후 CRC 검사에 통과하지 못한 경우 다른 인트라 예측 모드를 적용하여 잔여 비트 복호화 →CRC 검사 과정을 반복함으로써 결과적으로 최적의 인트라 예측 모드 선택에 의한 올바른 값의 블록을 복호화하게 한다.

도 14는 인트라 예측을 위한 이웃 블록들과 각 이웃 블록 내에서 인트라 예측에 이용되는 픽셀들을 나타낸 것이다. H.264/AVC의 경우(도 14의 왼쪽 그림의 경우) 현재 블록 이전에 스캔 순서에 따라 처리된 블록들 중 공간적으로 가장 가까운 블록들인 네 개의 블록들(도 14의 왼쪽 그림에 표시된 블록 A, B, C, D)이 현재 블록에 대한 인트라 예측에 사용된다. 인트라 예측이 DVC에 활용되는 경우(도 14의 오른쪽 그림의 경우) 예측하려는 블록의 우측과 하단에도 복호화된 블록이 존재할 수 있으므로 예측을 위한 이웃 블록의 수를 4개로 제한할 필요가 없다. 본 발명은 다중 보조 정보를 이용한 복호화가 실패한 블록들에 인트라 예측을 적용할 때 해당 블록의 주위 8개의 블록들을 인트라 예측에 활용하여 2차 복호화 성공 확률을 높인다.

이상에서 설명한 본 발명의 실시예에 따른 복호화 방법에 의하면, 피드백을 통한 반복적인 복호화로 전송률을 낮추는 것이 가능하다. 즉, 1차 복호화 후 복호화가 실패한 블록들(이러한 블록들은 송신 측에서 대역폭 절약을 목적으로 전송률을 낮추었을 때 발생한다)에 대하여 2차 복호화를 하고 2차 복호화가 실패한 경우 3차 복호하를 시도할 수 있다. 혹은, 2차 복호화에서 WZ 프레임의 양자화 인덱스에 대한 무손실 복호를 포기함으로써 2차 복호화에서 복호화 수행을 종료할 수도 있다. 2차 복호화에서 복호 수행을 종료할 경우 가능한 시나리오의 예는 다음과 같다.

① 다중 MEMCI →코세트 인덱스 복호 →잔여 비트 복호 (→복호화 실패 블록이 없을 경우 종료) →송신 측으로 복호화 실패 블록의 추가 코세트 인덱스 정보에 대한 패리티 비트 요청 →코세트 인덱스 복호 →잔여 비트 복호 →종료

② 다중 MEMCI →코세트 인덱스 복호 →잔여 비트 복호 (→복호화 실패 블록이 없을 경우 종료) →송신 측으로 복호화 실패 블록의 최적 인트라 모드 요청 및 적용 →코세트 인덱스 복호 →잔여 비트 복호 →종료

③ 다중 MEMCI →코세트 인덱스 복호 →잔여 비트 복호 (→복호화 실패 블록이 없을 경우 종료) →송신 측으로 복호화 실패 블록의 움직임 벡터 요청 및 적용 →코세트 인덱스 복호 →잔여 비트 복호 →종료

①에서 ③은 모두 부호화기로부터 추가 정보를 요구하는 장기 피드백 후 2차 복호화 하는 시나리오이며, 이 경우 복호화된 블록들은 송신측으로부터의 추가 정보에 의한 것으로서 CRC가 성공하지 않더라도 어느 정도의 정확성이 있는 값이므로 양자화 인덱스에 대한 오차를 허용할 경우 최종 값으로 선택될 수 있다. 반면, 단기 피드백 후 2차 복호화를 할 경우에, 복호화된 블록의 정확도에 대한 판단 기준이 CRC 뿐이므로 복호화 실패 블록이 다시 등장할 수 있게 되어 2차 복호화에서 수행을 종료할 수 없게 된다. 본 장에서는 2차 복호화에서 수행을 완료하는 ①에서 ③ 중에서 ②의 과정을 적용하였을 때, 고정된 비트율의 코세트 인덱스의 패리티를 수신하는 상황에서 MEMCI의 수행 횟수가 화질에 미치는 영향을 보인다.

도 15의 위쪽 그림은 순서대로 ME 수행 횟수를 1회, 4회, 16회, 64회, 256회로 하였을 때 발생하는 1차 복호화 실패 블록들을 나타내며, 도 16의 아래쪽 그림은 순서대로 Long Term 피드백을 통하여 송신측으로부터 획득한 복호화 실패 블록들의 최적 인트라 모드를 각각의 복호화 실패 블록들에 적용 후 잔여 비트 복호 과정을 통하여 얻어진 최종 프레임들이다. 1차 복호화는 양자화 인덱스에 대한 무손실 복호인 반면 2차 복호는 최적 인트라 모드를 요청 및 적용 후 작업을 종료하는 양자화 인덱스에 대한 손실 복호화이다. 그러므로 1차 복호에서 복호화가 성공한 블록의 수가 많을수록 양자화 인덱스에 대해 손실이 발생한 경우가 줄어들어 최종 프레임의 화질은 좋아진다.

도 16은 도 15의 아래쪽 그림의 PSNR을 나타낸다. 물론 2차 복호에서도 CRC 를 적용하는 무손실 복호를 할 수 있다. 이 경우 1차 복호화가 실패한 블록이 많을수록 2차 복호화에서도 복호화가 실패할 확률이 높아지므로 더 많은 횟수의 피드백 및 추가 정보가 요구된다. 그러므로 1차 복호화를 할 때 MEMCI 횟수를 충분히 하여 1차 복호화가 실패할 확률을 줄이는 것이 중요하다.

도 1은 보조 정보를 이용하는 분산 코딩의 원리를 보여 주는 블록도이다.

도 2는 DVC의 구조를 보여 주는 블록도이다.

도 3은 코세트 인덱스와 보조 정보를 구하는 과정을 보여 주는 도면이다.

도 4는 보조정보 프레임의 생성 방법의 일례를 설명하기 위한 도면이다.

도 5는 본 발명의 일 실시예에 따른 DVC 복호화기의 구조 및 DVC 복호화 방법을 보여 주는 블록도이다.

도 6은 다중 MEMCI를 위한 움직임 단위 블록 설정의 예를 보여 주는 도면이다.

도 7은 다중 MEMCI로 만들어진 다양한 보조 정보 프레임의 예를 보여 주는 도면이다.

도 8은 16 번의 MEMCI로 만들어진 16개의 보조 정보 프레임의 예를 보여 주는 도면이다.

도 9는 도 8의 각각의 보조 정보 프레임들을 이용하여 복호한 후보 프레임들을 보여 주는 도면이다.

도 10은 MEMCI의 횟수와 최종 블록 선택 실패의 관계를 보여 주는 도면이다.

도 11은 인터리빙 단위 설정을 이용한 신뢰도가 낮은 블록 찾기를 보여 주는 도면이다.

도 12는 CRC 대상 주파수 계수의 개수와 최종 블록 선택 실패의 관계를 보여 주는 도면이다.

도 13은 복호 실패 블록에 H.264/AVC의 9가지 8x8 블록 인트라 모드를 적용한 예를 보여 주는 도면이다.

도 14는 인트라 예측을 위해 필요한 이웃 블록들과 예측에 관여되는 픽셀들을 보여 주는 도면이다.

도 15는 ME 수행 횟수에 따른 1차 복호화 프레임과 2차 복호화 프레임을 각각 보여 주는 도면이다.

도 16은 도 15의 2차 복호화 프레임의 PSNR을 보여 주는 도면이다.

Claims (16)

1. 분산 동영상 코딩(DVC: Distributed Video Coding) 시스템에서의 동영상 복호화 방법에 있어서,

   송신측으로부터 수신되는 전송 프레임 중 현재 프레임에 대한 참조 프레임에 대하여 단위 블록이 시작되는 픽셀의 위치를 변경하면서 취하는 다중 움직임 추정 움직임보상 보간(다중 MEMCI)을 통해 적어도 하나의 보조 정보 프레임을 생성하는 보조 정보 프레임 생성 단계; 및

   상기 적어도 하나의 보조 정보 프레임을 이용하여 상기 현재 프레임을 복호화하는 복호화 단계를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
2. 제1항에 있어서, 상기 적어도 하나의 보조 정보 프레임들을 이용하여 생성되는 복수의 후보 프레임을 생성할 때 상기 단위 블록의 크기도 변경하는 것을 특징으로 하는 동영상 복호화 방법.
3. 제1항에 있어서, 다중 움직임 추정 움직임보상 보간(다중 MEMCI)을 수행할 때, 상기 단위 블록을 취하는 위치에 의해 발생하는 공백은 특정 크기의 움직임 단위 블록을 적용하거나 공백이 발생하지 않는 보조 정보 프레임의 값을 공백이 발생하는 보조 정보 프레임들의 공백에 픽셀 단위로 복사하여 처리하는 것을 특징으로 하는 동영상 복호화 방법.
4. 제1항에 있어서, 상기 복호화 단계는

   상기 보조 정보 프레임을 이용하여 현재 프레임에 대한 각각의 양자화 인덱스가 포함된 코세트를 명시하는 코세트 인덱스를 복호화하기 위한 패리티 비트 복호화 단계를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
5. 제4항에 있어서, 상기 패리티 비트 복호화 단계는 상기 현재 프레임의 코세트 인덱스에 대한 패리티 비트와 상기 보조 정보 프레임의 코세트 인덱스를 입력하고 터보 복호화 기법의 비트 에러 판단 기법을 이용하여, 상기 패리티 비트 복호화 단계의 출력이 되는 각각의 보조 정보 프레임 내에서 현재 블록에 대응하는 후보 블록들 내 양자화 인덱스들에 대한 코세트 인덱스들 중 올바른 값의 코세트 인덱스 선택을 지원하는 단계를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
6. 제 5 항에 있어서, 상기 터보 복호화 기법의 비트 에러 판단 기법을 이용한 복호화를 반복적으로 수행하면서 출력되는 확률 값이 어느 한쪽으로 수렴되지 않고 진동하는 경우 신뢰도가 낮은 비트로 간주하고, 상기 신뢰도가 낮은 비트가 포함된 비율을 기반으로 후보 블록을 선택하는 동영상 복호화 방법.
7. 제4항에 있어서, 상기 복호화 단계는 상기 패리티 비트 복호화 단계에서 생성된 상기 코세트 인덱스와 상기 보조 정보 프레임 생성 단계에서 생성된 양자화 인덱스를 이용하여 잔여 비트들을 예측하는 비트 평면 복호화 단계를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
8. 제7항에 있어서, 상기 비트 평면 복호화 단계에서, 상기 적어도 하나의 보조 정보 프레임 내에서 현재 블록에 대응하는 후보 블록을 이용하여 블록 단위로 복호화를 수행하여 상기 현재 블록과 가장 가까운 값을 갖는 블록을 최종 블록으로 선택할 때, 상기 현재 프레임에 대한 중요 정보를 상기 송신측에 요구하되, 상기 중요 정보는 DC를 포함한 저주파 주파수 계수에 대한 양자화 인덱스의 잔여 비트들과 관련된 정보인 것을 특징으로 하는 동영상 복호화 방법.
9. 제8항에 있어서, 상기 비트 평면 복호화 단계는

   상기 중요 정보에 대해서만 오류 검사를 수행하는 단계를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
10. 제7항에 있어서,

    상기 비트 평면 복호화 단계를 통해 생성된 현재 프레임에 대한 양자화 인덱스로 현재 프레임을 복호화하고, 복호화된 프레임에 대해 복호화 실패 블록의 발생 여부를 판단 후, 판단 결과를 기반으로 상기 송신측으로부터의 추가 정보를 요구하는 장기 피드백 또는 상기 송신측으로부터의 추가 정보를 요구하지 않는 단기 피드백을 통해 추가 복호화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 동영상 복호화 방법.
11. 제10항에 있어서,

    상기 장기 피드백을 수행하는 경우, 상기 복호화 실패 블록의 위치 정보를 상기 송신측으로 전송하고, 상기 송신측으로부터 추가 정보로 인트라 예측 모드 정보 또는 움직임 벡터 관련 정보를 수신하는 것을 특징으로 하는 동영상 복호화 방법.
12. 제10항에 있어서,

    상기 단기 피드백을 수행하는 경우, 현재 블록의 주변 블록의 픽셀 값을 활용하는 인트라 예측 기법을 적용하여 추가 복호화를 수행하는 것을 특징으로 하는 동영상 복호화 방법.
13. 분산 동영상 코딩(DVC: Distributed Video Coding) 시스템에서의 동영상 복호화 장치에 있어서,

    송신측으로부터 수신한 현재 프레임에 대한 참조 프레임들에 대하여 단위 블록이 시작되는 픽셀의 위치를 변경하면서 수행되는 다중 움직임 추정 움직임보상 보간(다중 MEMCI)을 통해 적어도 하나의 보조 정보 프레임을 생성하는 보조 정보 프레임 생성부; 및

    상기 생성된 적어도 하나의 보조 정보 프레임을 이용하여 상기 현재 프레임을 복호화하는 복호화부를 포함하는 동영상 복호화 장치.
14. 분산 동영상 코딩(DVC: Distributed Video Coding) 시스템에 있어서,

    DVC 복호화 장치로 부호화된 전송 프레임을 전송하는 DVC 부호화 장치; 및

    상기 DVC 부호화 장치로부터 수신한 전송 프레임 중 현재 프레임에 대한 참조 프레임들에 대하여 단위 블록이 시작되는 픽셀의 위치를 변경하면서 수행되는 다중 움직임 추정 움직임보상 보간(다중 MEMCI)을 통해 적어도 하나의 보조 정보 프레임을 생성하여, 상기 생성된 적어도 하나의 보조 정보 프레임을 이용하여 상기 현재 프레임을 복호화하는 DVC 복호화 장치를 포함하는 것을 특징을 하는 분산 동영상 코딩 시스템.
15. 제14항에 있어서,

    상기 DVC 복호화 장치가 상기 적어도 하나의 보조 정보 프레임 내에서 현재 블록에 대응하는 후보 블록을 이용하여 블록 단위로 복호화를 수행하여 상기 현재 블록과 가장 가까운 값을 갖는 블록을 최종 블록으로 선택할 때, 상기 DVC 복호화 장치는 상기 현재 프레임에 대한 중요 정보를 상기 DVC 부호화 장치에 요구하되,

    상기 DVC 부호화 장치는 상기 중요 정보 요구에 대한 응답으로 CRC 비트를 일부 중요 정보에 대해서만 생성하여 DVC 복호화 장치로 전송하는 것을 특징으로 하는 분산 동영상 코딩 시스템.
16. 제15항에 있어서,

    상기 일부 중요 정보는 DC를 포함한 저주파 주파수 계수에 대한 양자화 인덱스의 잔여 비트들과 관련된 정보인 것을 특징으로 하는 분산 동영상 코딩 시스템.

Images