KR20060024396A - 서브대역-비디오 복호화 방법 및 디바이스 - Google Patents

Abstract

본 발명은 연속적인 프레임들의 그룹들(GOF들)로 분할되고, 서브대역 비디오 코딩 방법에 의해 코딩된 원본 비디오 시퀀스에 대응하는 입력 코딩된 비트스트림의 압축해제를 위한 비디오 복호화 방법에 관한 것이다. 이 복호화 방법은 한편으로, 상기 현재 GOF의 프레임들의 상기 제 1 커플의 재구성을 위한 서브단계들, 및 다른 한편으로, 현재 GOF의 프레임들의 상기 다른 (n-1) 커플들의 재구성을 위하여, 수 개의 특정 규칙들에 따라 코딩된 비트스트림의 새로운 현재 서브-비트스트림과 이전 서브-샘플링된 부분을 조합함으로써 현재 서브대역들을 복호화하는 서브 단계들을 포함하며, 상기 복호화 방법은 이에 따라, 현재 GOF의 프레임들의 각 커플을 연속적으로 최종의 것까지 재구성하도록 적용된다.

서브대역-비디오 복호화, 서브대역 비디오 코딩, 비트스트림, 의미 정보, 시공간적 서브대역

Description

서브대역-비디오 복호화 방법 및 디바이스{Subband-video decoding method and device}

본 발명은 일반적으로 비디오 압축 및 압축해제 분야에 관한 것으로, 특히, 프레임들의 연속적 그룹들(GOF들)로 분할되고, 서브대역 비디오 코딩 방법에 의해 코딩된 원본 비디오 시퀀스에 대응하는 입력 코딩된 비트스트림의 압축해제를 위한 비디오 복호화 방법에 관한 것이며, 서브대역 비디오 코딩 방법은 상기 시퀀스의 각 GOF에서 적어도,

- 프레임들의 각 연속적 커플상에 수행되는 시간적 필터링 단계;

- 상기 필터링된 시퀀스상에 수행되는 공간적 분석 단계;

- 상기 분석되고 필터링된 시퀀스상에 수행되는 엔트로피 코딩 단계를 포함하고, 이렇게 생성된 코딩된 비트스트림은 각각 현재 GOF의 프레임들의 제 1 커플, 그리고, 연속적으로, 프레임들의 다른 (n-1) 커플들을 재구성하도록 복호화측에서 사용되는 서브대역들에 각각 대응하는 n 서브-비트스트림들로 조직화된다.

또한, 본 발명은 상기 복호화 방법을 수행하기 위한 복호화 디바이스에 관한 것이다.

MPEG-1으로부터 H.264까지, 표준 비디오 압축 체계들은 소위 혼성 해법들에 기초한다(혼성 비디오 부호기는 입력 비디오 시퀀스의 각 프레임이 주어진 기준 프레임으로부터 시간적으로 예측되고, 상기 프레임과 그 예측 사이의 차이에 의해 결과적으로 얻어진 예측 에러가, 예로서, 공간적 리던던시들의 장점을 취득하기 위하여 이차원 DCT 변환에 의해 공간적으로 변환되는 예측 체계를 사용한다). 보다 최근에 제안된 다른 접근법은 [이차원 또는 2D+t] 구조라고도 지칭되는 삼차원 또는 3D 구조로서 프레임들의 그룹(GOF)을 처리하고, 낮은 주파수들에서 에너지를 축약시키기 위해 상기 GOF를 시공간적으로 필터링하는 것으로 구성된다(예로서, 씨. 아이. 포딜척(C.I. Podilchuk) 등의 "비디오의 삼차원 서브대역 코딩(Three-dimensional subband coding of video)", IEEE Transactions on Image Processing, Vol.4, n^o2, 1995년 2월, pp. 125-139)"에 기술된 바와 같이). 그 후, 이런 3D 서브대역 압축해제 체계에서 움직임 보상 단계의 도입은 전체적 코딩 효율을 향상시키고, 도 1에 도시된 바와 같이, 서브대역 트리의 도움으로 시공간적 다중해상도(계층적) 표현을 도출할 수 있게 한다.

상기 도 1에 예시된, 움직임 보상을 갖는 3D 웨이브릿 분해(wavelet decomposition)는 유사하게 프레임들의 연속적 그룹들(GOF들)에 적용된다. 예시된 경우에는 8개 프레임들 F1 내지 F8을 포함하는 입력 비디오의 각 GOF는 큰 움직임을 갖는 시퀀스들을 처리하기 위해 먼저 움직임 보상되고(MC), 그 후, 하알 웨이브릿들(Harr wavelet)을 사용하여 시간적으로 필터링된다(TF)(점선 화살표들은 고역-통과 시간적 필터링에 대응하며, 다른 것들은 저역-통과 시간적 필터링에 대응한 다). 압축해제의 3개 연속적 스테이지들이 도시되어 있다(L 및 H = 제 1 스테이지; LL 및 LH = 제 2 스테이지; LLL 및 LLH = 제 3 스테이지). 각 시간적 레벨의 고 주파수 서브대역들(상기 예에서 H, LH 및 LLH) 및 가장 깊은 것(LLL)의 저 주파수 서브대역(들)은 웨이브릿 필터를 통해 공간적으로 분석된다. 그 후, 엔트로피 부호기는 시공간적 압축해제로부터 초래하는 웨이브릿 계수들을 부호화하게 한다(예를 들면, 시공간적 압축해제 구조에 관한 최종 계수 비트플레인들을 효과적으로 부호화하기 위해, 현재의 3D 웨이브릿 압축해제에 대한, 에이. 세이드(A. Said) 및 더블유. 에이. 피어맨(W. A. Pearlman)에 의해, "계층적 트리들의 세트 파티셔닝에 기초한 새로운 신속하고 효율적인 이미지 코덱(A new, fast, and efficient image codec based on set partitioning in hierarchical trees)", IEEE Transactions on Circuits and Systems for Video Technology, vol. n^o3, 1996년 6월, pp. 243-250)"에서 근본적으로 제안된 2D-SPIHT의 확장에 의해).

그러나, 모든 3D 서브대역 해법들은 하기의 단점들을 갖고 있다 : 전체 GOF가 한번에 처리되기 때문에, 현재 GOF내의 모든 화상들이 시공간적 분석 및 부호화 이전에 저장되어야만 한다. 이 문제점은 주어진 GOF의 모든 프레임들이 함께 복호화되는 복호기측에서도 동일하다. 상기 문제점에 대한 소위 "로우 메모리(low memory)" 해법이 본 출원인에 의해 출원되고, 제 WO2004/004355 호(PHFR020065)로 개시된 국제 특허 출원에 기술되어 있다. 이 "로우 메모리" 해법에 따라, 전체 GOF의 재구성 대신, 시퀀스의 GOF의 프레임들의 점진적 브렌치 단위 재구성이 수행 된다. GOF의 프레임들 F1 내지 F8이 4개 프레임들의 커플들 C0 내지 C3로 그룹화되는 도 2(도면의 단순화를 위해 8개 프레임들의 GOF의 경우에)에 예시된 바와 같이, 전송된 서브대역들의 전체 세트가 블랙 라인으로 둘러싸여지며, 생성된 코딩된 비트스트림은 상기 도 2의 기저에 표시되어 있다(참조번호 21 및 22는 상기 코딩된 비트스트림을 획득할 수 있게 하는 엔트로피 코더 및 산술 코더를 지시한다). 그 후, 상기 해법에 따라 수행되는 동작들은 하기와 같다. 현재 GOF에 대응하는 코딩된 비트스트림의 부분이 먼저 복호화되지만, 상기 비트 스트림내에서 프레임들의 제 1 커플(C0) 두 개의 제 1 프레임들(F1 및 F2)-즉, 서브대역들(H0, LH0, LLL0, LLH0)-에 대응하는 코딩된 부분만이 사실 저장 및 복호화된다). 최초 2개 프레임들(F1, F2)이 복호화되었을 때, H0로 표시된 최초 H 서브대역이 무용해지며, 그 메모리 공간이 복호화될 차순위 서브대역을 위해 사용될 수 있다. 따라서, 두 번째로, H1으로 표시된 두 번째 H 서브대역을, 그리고, 프레임들의 차순위 커플(C1)(F3, F4)을 복호화하기 위해 코딩된 비트스트림이 판독된다. 이 두 번째 복호화 단계가 수행되었을 때, 상기 서브대역(H1)은 무용해지며, 최초 LH 서브대역(LH0로 표시됨)도 마찬가지이다. 이들은 결과적으로 삭제되고, 차순위 H 및 LH 서브대역들(각각 H2 및 LH1으로 표시됨)로 대체되며, 이는 현재 GOF의 프레임들의 각 커플에 대하여, 동일한 입력 코딩된 비트스트림의 제 3 복호화의 도움으로 얻어지게 되는 등등이다.

GOF내의 프레임들의 커플 당 반복을 포함하는 이 다경로 복호화 해법을 도 3 내지 도 6을 참조로 상세히 설명한다. 제 1 반복 동안, 복호화 측에서 수신된 코 딩된 비트스트림(CODB)은 산술 복호기(31)에 의해 복호화되지만, 프레임들의 제 1 커플(C0)에 대응하는 복호화된 부분들, 즉, 서브대역들(LLL0, LLH0, LH0, H0)만이 저장된다(도 3 참조). 상기 서브대역들에서, 그 후 역방향 동작들(도 1에 예시된 것들에 관하여)이 수행된다 :

- 복호화된 서브대역들(LLL0, LLH0)이 서브대역(LL0)을 합성하기 위해 사용된다;

- 상기 합성된 서브대역(LL0) 및 복호화된 서브대역(LH0)은 서브대역(L0)을 합성하기 위해 사용된다;

- 상기 합성된 서브대역(L0)과 복호화된 서브대역(H0)은 프레임들의 커플(C0)의 두 개의 프레임들(F1, F2)을 재구성하기 위해 사용된다.

이 제 1 복호화 단계가 달성될 때, 제 2 복호화 단계가 시작될 수 있다. 코딩된 비트스트림이 2회차로 판독되고, 이제, 프레임들의 제 2 커플(C1)에 대응하는 복호화된 부분들만이 저장된다 : 서브대역들(LLL0, LLH0, LH0, H1)(도 4 참조). 사실, 도 4의 점선표시된 정보(LL0, LLH0, LL0, LH0)는 제 1 복호화 단계로부터 재사용될 수 있다(이는 특히, 산술 복호화 이후, 비트스트림 정보에 대하여 그러하며, 그 이유는 이 압축된 정보를 버퍼링하는 것은 실제로우 메모리를 소비하지 않기 때문이다). 이들 서브대역들에서, 이제, 하기의 역방향 동작들이 수행된다.

- 복호화된 서브대역 LLL0 및 LLH0이 서브대역 LL0을 합성하기 위해 사용된다;

- 상기 합성된 서브대역 LL0 및 복호화된 서브대역 LH0이 서브대역 L1을 합 성하기 위해 사용된다;

- 상기 합성된 서브대역 L1 및 복호화된 서브대역 H1이 프레임들의 커플(C1)의 두 개의 프레임들(F3, F4)을 재구성하기 위해 사용된다.

이 제 2 복호화 단계가 달성되었을 때, 제 3 복호화 단계가 유사하게 시작될 수 있다. 코딩된 비트스트림은 3회차 판독되고, 이제, 프레임들의 제 3 커플(C2)에 대응하는 복호화된 부분들만이 저장된다: 서브대역들 LLL0, LLH0, LH1 및 H2(도 5 참조). 이전과 같이, 도 5의 점선표시된 정보(LLL0, LLH0)는 제 1(또는 제 2) 복호화 단계로부터 재사용될 수 있다. 하기의 역방향 동작들이 수행된다 :

- 복호화된 서브대역 LLL0 및 LLH0이 서브대역 LL1을 합성하기 위해 사용된다;

- 상기 합성된 서브대역 LL1 및 복호화된 서브대역 LH1이 서브대역 L2를 합성하기 위해 사용된다;

- 상기 합성된 서브대역 L2 및 복호화된 서브대역 H2가 프레임들의 커플(C2)의 두 개의 프레임들(F5, F6)을 재구성하기 위해 사용된다.

이 제 3 복호화 단계가 달성되었을 때, 제 4 복호화 단계가 유사하게 시작될 수 있다. 코딩된 비트스트림은 4회차 판독되고(프레임들의 4개 커플들의 GOF에 대하여 최종 회차), 프레임들의 제 4 커플(C3)에 대응하는 복호화된 부분들만이 저장된다 : 서브대역들 LLL0, LLH0, LH1 및 H3(도 6 참조). 유사하게, 도 6의 점선표시된 정보(LLL0, LLH0, LL1, LH1)는 제 3 복호화 단계로부터 재사용될 수 있다. 하기의 역방향 동작들이 수행된다 :

- 복호화된 서브대역 LLL0 및 LLH0이 서브대역 LL1을 합성하기 위해 사용된다;

- 상기 합성된 서브대역 LL1 및 복호화된 서브대역 LH1이 서브대역 L3을 합성하기 위해 사용된다;

- 상기 합성된 서브대역 L3 및 복호화된 서브대역 H3가 프레임들의 커플(C3)의 두 개의 프레임들(F7, F8)을 재구성하기 위해 사용된다.

이 절차는 비디오 시퀀스의 모든 연속적 GOF들에 대하여 반복된다. 이 절차에 따라 코딩된 비트스트림을 복호화할 때, 전체 GOF 대신, 최대 두 개의 프레임들(예로서 : F1, F2) 및 4개 서브대역들(동일한 예에서 : H0, LH0, LLH0, LLL0)이 동시에 저장되어야 한다. 그러나, 로우 메모리 해법의 단점은 그 복잡성이다 : 동일한 입력 비트스트림은 전체 GOF를 복호화하기 위해 7회 복호화되어야 한다(GOF내의 프레임들의 커플들의 수와 같은 횟수).

이 문제점에 대한 해법이 본 출원인에 의해 출원되고, 공개 번호 제 WO 2004/008771 호(PHFR020073)로 공개된 국제 특허 출원에 개시되었다. 이 문서에서, 하기의 원리가 적용된다 : 입력 비트스트림은 최초 2개 프레임들을 복호화하기 위해 필요한 비트들이 비트스트림의 시작부에 존재하고, 프레임들의 제 3 커플을 복호화하기 위해 필요한 잉여 비트들이 이어지는 등의 방식으로 코딩측에서 재조직된다. 이 해법은 n=3 분해 레벨들의 경우에 대하여, 도 7에 예시되어 있지만, 상기 해법은 이들 레벨들의 수(n)가 어떻든 분명하게 적용할 수 있다. 엔트로피 코더(21)의 출력에서, 가용 비트들(b)이 이제, 각각 이하에 대응하는 비트스트림들 (BS0, BS1, BS2, BS3)로 조직화된다 :

- 복호화측에서, 프레임들의 커플 C0을 재구성하기 위해 유용한 서브대역들(LLL0, LLH0, LH0, H0);

- 프레임들의 커플 C1을 재구성하기 위해 유용한(비트스트림내에 이미 도입된 서브대역들(LLL0, LLH0, LH0, H0)과 연계하여) 잉여 서브대역(H1);

- 프레임들의 커플 C2를 재구성하기 위해 유용한(비트스트림내에 이미 도입된 서브대역들(LLL0, LLH0)과 연계하여) 잉여 서브대역들(LH1, H2);

- 프레임들의 커플 C3을 재구성하기 위해 유용한(비트스트림내에 이미 도입된 서브대역들(LLL0, LLH0, LH1)과 연계하여) 잉여 서브대역(H3).

표시된 바와 같이, 이들 원소 비트스트림들(BS0 내지 BS3)은 그 후 전송될 포괄 비트스트림(BS)을 구성하기 위해 결부된다. 상기 비트스트림(BS)에서, 이는 부분 BS1(예로서)이 프레임들 F3, F4를 재구성하기에 충분하거나, 심지어 연계된 서브대역 H1을 복호화하기에 충분하다는 것을 의미하지는 않는다. 이는 단지 비트스트림의 부분 BS0로, 최초 2개 프레임들(F1, F2)(커플 C0)을 복호화하기 위해 필요한 정보의 최소량이 가용해지고, 그 후, 상기 부분 BS0 및 부분 BS1 및 BS2로, 프레임들의 후속 커플(C2)이복호화될 수 있으며, 그 후, 상기 부분들 BS0, BS1, BS2 및 부분 BS3으로, 프레임들의 최종 커플(C3)이 복호화될 수 있다는 것을 의미한다(GOF의 프레임들의 2ⁿ 커플들의 일반적 경우에는 이 방식으로 계속된다).

이 재조직된 비트스트림에서, 전술된 바와 같은 다경로 복호화 해법은 더 이 상 필요하지 않다. 코딩된 비트스트림이 복호화측에서, 모든 새롭게 복호화된 비트가 현 프레임들의 재구성에 관련되는 방식으로 조직화된다. 이 비디오 코딩 방법의 구현이 도 8 내지 도 10의 흐름도에 예시되어 있다. 도 8에 참조 번호들 81 내지 85로 예시된 바와 같이, 현재 GOF(81)는 N=2ⁿ 프레임들(A0, A1, A2,...,A(N-1))을 포함하며, 이들은 프레임들의 연속적 커플들(또는 GOF들)(C0=(A0,A1), C1=(A2,A3), ..., C((N/2)-1) = (A(N-2),A(N-1)))로 조직화된다(단계 82). 제 1 시간적 레벨(TL1)에서, 시간적 필터링 단계(TF)가 프레임들의 각 커플상에 최초로 수행되며(단계 TFCOF 84), 이는 출력들(TF(C0) = (L[1,0], H[1,0]), TF(C1) = (L[1,1], H[1,1]), ..., TF(C((N/2)-1) = (L[1,(N/2)-1], H[1,(N/2)-2]))을 초래하고, 여기서, L[.] 및 H[.]는 이렇게 얻어진 저주파수 및 고주파수 시간적 서브대역들을 나타낸다. 그 후, 갱신 단계(85)는 프레임들의 각 커플(C0, C1 등), 및 프레임들의 관련 커플상에 소정의 정보를 포함하는 각 서브대역 사이의 연결의 논리적 표시를 저장할 수 있게 한다. 프레임들의 주어진 커플과 주어진 서브대역 사이의 이들 연결들은 하기의 유형의 논리적 관계들에 의해 표시된다 :

L[1,0]_IsLinkedWith_C0=TRUE

H[1,0]_IsLinkedWith_C0=TRUE

L[1,1]_IsLinkedWith_C1=TRUE

H[1,1]_IsLinkedWith_C1=TRUE

등등....

(상기 논리적 관계들은 단계 INIT(83)에서 이미 초기화되어 있다 : "모든 시간적 서브대역들(S)에 대하여, 모든 커플들(C)에 대하여, S_IsLinkedWith_C=FALSE").

도 9에 참조 번호들 91 내지 98로 예시된 바와 같이, 그 후, jt=1(=제 1 시간적 분해 레벨의 시작)이라 지칭되는 동작(91) 및 jt=jt+1(=도 9에 표시된 피드백 연결에 따른 후속 시간적 분해 레벨의 제어이며, 테스트 96 이후에만 활성화되고, jt는 각 GOF내의 프레임들의 수와 상관된 사전결정된 값(jt_max) 보다 작음)라 지칭되는 동작(95) 사이에서, 서브대역 분해가 이루어질 수 있다. 각 시간적 분해 레벨에서, 하기의 관계들에 따른 L 서브대역들로, 새로운 커플들 K가 형성되며(단계 KFORM 92) :

K0 = (L[jt,0], L[jt,1])

K1 = (L[jt,2], L[jt,3])

.... ...... ......

시간적 필터링 단계(TF)는 이들 새로운 K 커플들상에 한번 더 수행된다(단계 TFILT 93) :

TF(K0) = (L[jt+1,0], H[jt+1,0])

TF(K1) = (L[jt+1,1], H[jt+1,1])

.... ...... ......

그후, 프레임들의 원본 커플들과 이렇게 얻어진 서브대역들 각각 사이의 연결을 확립하기 위해, 즉, 현재 GOF의 프레임들의 주어진 커플의 재구성시 복호화측 에서 주어진 서브대역이 수반되는지 아닌지의 여부를 판정하기 위해, 갱신 단계 94(UPDAT)가 제공된다. 시간적 분해의 종점에서, 전송될 서브대역들에 대응하는 하기의 서브대역들 :

n=0 내지 N/2^jt에 대하여, L(jt_max, n),

jt=1 내지 jt_max 및 n=0 내지 N/(2^jt)에 대하여, H(jt,n)

이 추출된다(단계 EXTRAC 97). 이 앙상블은 후속 설명 부분에서 T라 지칭된다. 상기 서브대역들의 공간적 복호화가 그 후 수행되며(단계 SDECOMP 98), 결과적인 서브대역들은 출력 코딩된 비트스트림(BS)(도 7에 도시된 바와 같은)이 최종적으로 얻어지는 방식으로, 도 10의 흐름도에 따라 최종적으로 부호화된다.

엔트로피 코딩 단계 110(ENC) 이후, 비트 예산 레벨의 제어(단계 BUDLEV 111)가 부호기의 출력부에서 수행된다. 비트 예산이 도달되지 않은 경우, 현 출력 비트(b)가 고려되고(단계 112), n이 초기화되며(단계 113), 앙상블(T)로부터 고려된 서브대역(S)상에 테스트(115)가 수행된다(단계 114). b가 S에 대한 소정의 정보를 포함하는 경우(단계 BINFS 115) 및 S가 커플(Cn)과 링크되는 경우, 관련 비트(b)는 비트스트림(BSn)(도 1 내지 도 7을 참조로 앞서 주어진 예에서, n=0, 1, 2, 3)에 첨부되고(단계 BAPP 117), 후속 출력 비트(b)가 고려된다(즉, 단계들 111 내지 117의 반복이 수행된다). b가 S에 대한 어떠한 정보도 포함하지 않는 경우, 또는 S가 커플(Cn)과 링크되지 않은 경우, 차순위 서브대역(S)이 고려된다(단계 NEXTS 118). 아직 T내의 모든 서브대역들이 고려되지 않은 경우(단계 ALLS 119), 동작들(단계들 115 내지 118)이 더 수행된다. 모든 상기 서브대역들이 해석된 경우, n의 값은 1만큼 증분되고(단계 120), 동작들(단계들 114 내지 120)은 차순위 프레임들의 원본 커플에 대해 추가로 수행된다(n의 최종 값까지 이러하다). 코딩 단계(110)의 출력에서, 비트 예산이 도달된 경우, 어떠한 더 이상의 출력(b)도 고려되지 않는다.

마지막으로, 모든 출력 비트들이 고려되었을 때, 또는, 비트 예산이 도달되었을 때(단계 111), 전체 코딩 단계가 달성된 것으로 간주되며, 얻어진 개별 비트스트림(BSn)이 최종 비트스트림(BS)으로 이어진다(단계 CCAT(130))(n=0으로부터 그 최대값까지). 복호화측에서, 복호화 단계는 도 11을 참조하여 여기에 설명되는 바와 같이 수행되며, 여기서, "상태0"(1, 2, ..., n)은 엔트로피 부호기의 기능이 고유 커플, 본 예시된 예에서 n= 0 내지 3인 현재의 경우에 C0(일반적 경우에는 C0, C1, C2,..., Cn)의 재구성에 의해 속박받는다는 것을 의미한다. 실제로, 코딩된 비트스트림의 비트(b)가 수신 및 복호화될 때, 이는 주어진 시공간적 서브대역의 화소에(또는, 이런 서브대역들의 세트의 다수 화소들에) 관련된 소정의 화소 의미(또는 세트 의미) 정보를 포함하는 것으로서 해석된다. 이들 서브대역들 중 어떠한 것도 프레임들의 현 커플(Cn)(예시된 예에서는 C0)의 재구성에 기여하지 않는 경우에, 비트(b)는 재해석되어야 하며, 엔트로피 복호기(DEC)는 b가 Cn(본 경우에는 C0)의 재구성에 기여하는 것으로 해석될 때까지 그 차순위 상태로 점프한다. 현재 서브 비트스트림이 완전히 복호화될 때까지 차순위 비트에 대하여 마찬가지로 처리된다.

따라서, 제 1 커플(C0)(상태 "0")의 복호화의 상술된 기능은 상기 설명들에서 매우 단순하며, 도 11은 프레임들의 커플(C0)의 3D 서브대역 시공간적 합성을 명백히 보여주며: 제 3 합성 레벨(jt=3)에서, 서브대역들(LLL0, LLH0)은 제 2 분해 레벨(jt=2)의 적절한 서브대역(LL0)을 합성하기 위해, 움직임 보상(곡선 화살표들에 의해 예시됨)과 조합되며(점선 화살표들), 상기 서브대역(LL0) 및 서브대역(LH0)은 순차적으로, 제 1 분해 레벨(jt=1)의 적절한 서브대역(L0)을 합성하기 위해 움직임 보상과 순차적으로 조합되며, 상기 서브대역(L0) 및 서브대역(H0)은 순차적으로, 프레임들의 관련된 커플(C0)(jt=0)을 합성하기 위해 움직임 보상과 조합된다. 보다 일반적으로, 완전한 GOF의 크기가 N=2ⁿ일 때, 시간적 (n+1) 서브대역들(하나의 저주파수 시간적 서브대역들 및 n개의 고주파수 시간적 서브대역들)이 복호화되어야 하며, (n-1) 저주파수 시간적 서브대역들이 재구성되어야 하며, 이는 한번에 전체 GOF를 복호화 및 재구성하는 경우에 관하여 현저한 메모리 공간의 감소에 대응한다. 예시된 경우에, 각 단계에서, 보다 낮은 시간적 레벨(예로서, LL0, jt=2에서)의 재구성된 저주파수 서브대역이 소실된 이전의 것(예로서, LLL0, jt=3에서) 위에 기록된다.

이런 해법에서, 시간적 (n+1) 서브대역들보다 많이 메모리에 저장되는 일이 없다. 그러나, 소실된 서브대역들 중 일부는 그럼에도 불구하고, 프레임들의 차순위 커플을 재구성하기 위해 사용할 수 있으며, 따라서, 다시 합성되어야 하고, 이는 특히, 움직임 보상이 수반될 때, 소정의 증가된 복잡성을 초래한다.

따라서, 본 발명의 제 1 목적은 이 단점을 피할 수 있게 하는 복호화 방법을 제안하는 것이다.

이를 위해, 본 발명은 설명의 서두에 규정된 바와 같은 비디오 코딩 방법에 관련하고, 이는,

- 한편으로, 상기 현재 GOF의 프레임들의 상기 제 1 커플의 재구성을 위해,

- 상기 코딩된 비트스트림의 현재 서브-비트스트림의 각 현재 비트(b)를 복호화하는 서브단계;

- 주어진 시공간적 서브대역 또는 이런 서브대역들의 세트내의 하나 또는 다수의 화소들에 관련된 의미 정보(significance information)를 포함하는 것으로서, 각 복호화된 비트를 해석하는 서브단계;

- 프레임들의 상기 제 1 커플의 재구성에 대한 상기 서브대역(들)의 기여도를 테스트하고, 프레임들의 제 1 커플의 프레임들 이외의 다른 프레임들에 관련된 정보를 포함하는 복호화된 비트들만을 저장하는 서브단계로서, 상기 저장된 비트들이 소위 비트스트림의 서브-샘플링된 부분을 형성하는, 상기 테스트 및 저장 서브단계, 및

- 프레임들의 상기 제 1 커플을 재구성하는 서브단계를 포함하고,

- 다른 한편으로, 현재 GOF의 프레임들의 다른 (n-1) 커플들의 재구성을 위해, 상기 복호화 서브단계는 하기의 규칙들:

- 상기 이전에 서브-샘플링된 부분의 복호화 서브-단계는 유일하게 새롭게 복호화된 서브대역(들)에 관한 관련된 정보를 검색하기 위해서만 수행되는 규칙;

- 비트(b)를 복호화할 때, 유일하게 새롭게 복호화된 서브대역(들)에 대한 정보를 포함하는 것으로서 해석되는 경우, 코딩된 비트스트림의 상기 새로운 현재 서브-비트스트림내의 차순위 비트에 스위칭 동작에 의해, 저장되고, 대체되는 규칙;

- 상기 새로운 현재 서브-비트스트림의 비트들의 복호화를 지속할 때, 상기 새로운 현재 서브-비트스트림의 비트가 새롭게 복호화된 것들 이외의 다른 서브대역들에 대한 정보를 포함하는 것으로서 판단되자마자, 이전에 서브 샘플링된 부분 및 그 최종 비복호화된 저장 비트로 다시 스위칭되는 규칙; 및

- 더 이상 필요하지 않을 상기 비트들을 포함하지 않고, 상기 새로운 현 서브 비트스트림과 상기 이전의 서브 샘플링된 부분의 비트들의 조합인 비트스트림의 차순위 서브-샘플링된 부분을 동시에 저장하는 규칙에 따라, 상기 코딩된 비트스트림의 새로운 현재 서브 비트스트림과 이전에 서브-샘플링된 부분을 조합함으로써 상기 현재 서브대역들을 복호화하는 서브단계를 포함하고,

상기 복호화 방법은 이에 따라 현재 GOF의 프레임들의 각 커플을 최종 커플까지 연속적으로 재구성하기 위해 적용된다.

또한, 본 발명의 목적은, 상기 복호화 방법의 수행을 위한 복호화 디바이스를 제안하는 것이다.

도 1은 8 개 프레임들의 그룹에 대한 현재 경우에 수행되는 3D 서브대역 분해를 예시하는 도면.

도 2는 상기 분해에 의해 얻어진 서브대역들 중 전송되는 서브대역들, 및 이렇게 형성된 비트스트림을 도시하는 도면.

도 3 내지 도 6은 본 출원인에 의해 이미 제안된 복호화 방법에서, 입력 코딩된 비트스트림을 복호화하기 위해 반복적으로 수행되는 동작들을 예시하는 도면.

도 7은 본 출원인에 의해 이미 제안된 비디오 코딩 방법의 기본 원리를 예시하는 도면.

도 8 내지 도 10은 도 7에 예시된 비디오 코딩 방법의 구현을 예시하는 흐름도의 3개의 연속적 부분들을 각각 도시하는 도면.

도 11은 도 7 내지 도 10의 코딩 방법에 대응하는 복호화 방법을 예시하는 도면.

도 12는 프레임들의 커플이 디스플레이를 위해 재구성될 때, 일부 서브대역들이 더 이상 필요하지 않다는 사실을 예시하는 도면.

도 13은 이미 스캐닝된 비트스트림의 부분들의 서브 샘플링된 비트스트림이 얻어질 수 있는 방식을 도시하는 도면.

도 14는 전송된 비트스트림(BS)의 현재 부분(BS1)과 이전 서브 샘플링된 부분(BS'0)이 현재 서브대역들을 복호화하고 프레임들의 차순위 커플을 재구성하기 위해 조합되는 방식을 예시하는 도면.

도 15 및 도 16은 비트스트림의 현재 부분과 이전 서브 샘플링된 부분을 조 합하고 차순위 서브 샘플링된 비트스트림을 구성하는 방식을 예시하는 도면.

이제, 본 발명을 여기에 첨부하는 도면들을 참조하여 예로서 설명될 것이다.

커플(도 11의 예에서, C0)의 프레임들이 재구성될 때, 도 12에 예시된 바와 같이, 제 1 시간적 분해 레벨의 대응하는 두 개의 시간적 서브대역들(L0, H0)이 더 이상 필요하지 않다. 대응하는 메모리 공간은 프레임들의 차순위 커플(커플 C1의 경우에, L1 및 H1)의 재구성을 가능하게 하는 두 개의 시간적 서브대역들(L, H)에 할당될 수 있으며 : L1은 차순위 시간적 레벨에서 LL0 및 LH0(유지되어 있는)으로부터 합성될 수 있으며, H1은 비트스트림(BS1)의 차순위 부분으로부터 복호화되어야 한다. 그러나, 이 비트스트림의 부분은, 이전 부분들로부터 일부 엘리먼트들을 필요로 하기 때문에 자체적으로 복호화될 수 없다.

그 후, 본 발명의 원리가 이어진다 : 현재 비트스트림을 정확하게 복호화하기 위해 여전히 필요한 비트들만을 포함하는 이전 부분들의 소위 "서브 샘플링된" 버전을 유지할 것이 제안된다 : 실제로, 이는 정보가 아직 재구성되지 않은 프레임들에도 관련된 경우 각 복호화된 비트(b)가 버퍼내에 저장된다는 것을 의미한다. 도 13에 예시된 바와 같이, 이전 부분, 본 경우에는 BS0은 이전에 삭제된 서브대역들(이들은 도 13에 십자 표시로 표시되어 있음)에만 관한 정보를 갖는 비트들 및 다른 서브대역들에 대한 정보를 갖는 비트들을 포함하며 : 후자의 것들은 현재 서브대역들을 복호화하기 위해 비트스트림의 현재 부분과 조합되기 위해 저장되어 있다. 후속하는 설명은 도 14를 참조하여 전송된 비트스트림의 이런 이전 부분 및 현재 부분이 상기 현재 서브대역들을 복호화하기 위해 조합되는 방식을 나타낸다. 도 14에서, 새로운 서브대역(H)을 복호화하기 위해 조합될 관련된 부분들은 참조번호들(BS'0, BS1)로 표시되어 있다.

먼저, (BS0)인 경우, 그러나, "상태 1"인 규칙들로, 서브 샘플링된 비트스트림(BS'0)이 비트단위로 복호화된다("상태 n"은 엔트로피 부호기의 일반적 기능이 고유 커플 Cn의 재구성에 의해 제약을 받고 있음을 의미하며 : 실제로, 비트(b)가 복호화될 때, 이는 주어진 시공간적 서브대역내의 화소에, 또는 각각 이런 서브대역들내의 다수 화소들에 관련된 일부 화소 의미 정보-또는 세트 의미 정보-를 포함하는 것으로 해석되며, 이들 서브대역들 중 어떠한 것도 프레임들의 현재 커플(Cn)의 재구성에 기여하지 않는 경우, 상기 비트(b)는 재해석되어야 하며, 엔트로피 복호는 결국 (b)가 (Cn)의 재구성에 기여하는 것으로서 해석될 때까지 그 차순위 상태로 점프한다). 그러나, 주된 차이점들은 이하와 같다 :

- BS'0은 "상태 1"의 규칙들을 따르며, 비트(b)는 이미 삭제된 서브대역에, 또는 배타적으로 이런 서브대역들만을 포함하는 세트에 속하는 것("상태 0")으로 해석될 수 없다;

- BS'0의 복호화는 새롭게 복호화된 서브대역(들)에 관한 세트 의미 정보를 각 비트평면에서 구하기 위해서만 유용하다(화소 의미-또는 비의미-정보는 물리적으로 기록되지 않으며, 그 이유는 대응 서브대역들이 이미 복호화되어 저장되어 있기 때문이다);

- 배타적으로 새롭게 복호화된 서브대역들에 대한 정보를 포함하는 것으로서 복호기에 의해 해석된 비트(b)의 복호화시, 이 비트(b)는 스위칭에 의해, 새로운 부분(BS1)의 차순위 비트(제 1 스위치인 경우에, BS1의 제 1 비트에 의해)로 대체됨으로써 그 순간에 대하여 저장된다.

이 스위치의 도움으로, 서브 샘플링된 비트스트림(BS'0)의 비트들은 새롭게 복호화된 서브대역들에 전혀 기록되지 않을 수 있다. 유사하게, BS1내의 비트들의 복호화를 계속하면, 비트가 새롭게 복호화된 것들 이외의 다른 서브대역들에 대한 정보를 포함하는 것으로서 판단되자마자, 이는 BS'0 및 그 최종 비복호화된 비트(저장되어 있는 것)로 다시 스위칭된다. 요약하면, BS'0은 "상태 0"과 "상태 1"의 교차부에 있는 중간 상태(S')를 사용하여 복호화되고, BS1은 "상태 1"의 나머지를 사용하여 복호화된다(하나의 부분의 비트가 다른 것의 상태에 속하는 것으로 판단되자마자 스위칭이 이루어진다).

차순위 서브 샘플링된 비트스트림은 동시에 발생된다 : 이는 스위치들을 따르는, 그리고, 더 이상 필요하지 않은 비트들을 포함하지 않는 BS'0과 BS1의 조합이다. 이는 두 개의 부분들을 조합하고, 새롭게 서브 샘플링된 비트스트림을 구성하는 방식을 도시하는 도 15 및 도 16을 참조하여 설명된다 :

(a) 단계 1(도 15)

- 이전 서브 샘플링된 비트스트림(BS'0)이 복호화되고, 그 비트 중 하나가 새롭게 복호화된 서브대역들에 속하는 것으로 해석된다 : 그 후, 복호화 프로세스를 지속하기 위해, 비트스트림의 현재 부분(BS1)의 적절한 부분으로의 스위칭이 존재한다;

- 동시에, 유용한 모든 복호화된 비트가 다시 새롭게 서브 샘플링된 비트스트림(BS'1)에 첨부된다.

(b) 단계 2(도 16) : 현재 부분(BS1)이 여기서 복호화되며, 그 비트들 중 하나는 다른 서브대역들에 속하는 것으로 해석된다 : 그 후, 이전에 서브 샘플링된 비트스트림(BS'0)내의 적절한 비트(이전에 저장된)로의 스위치가 존재한다.

이 프로세스는 단계들 1 및 2 사이에서 유사하게 이어진다. 두 개의 비트스트림들(BS'0, BS1)을 갖는 도 6의 예에서, 현재 비트스트림(BS1)은 제 1 시간적 분해 레벨의 고주파수 서브대역에 대해서만 정보를 포함한다. 따라서, 그 비트들 중 어떠한 것도 세이브되지 않으며, 따라서, 새롭게 서브 샘플링된 비트스트림(BS'1)은 단지 BS'0의 서브 샘플링된 버전이다. 그러나, 일반적 경우에, 비트스트림의 차순위 부분들에 대하여, BS'(n+1)은 BS'(n)과 BS(n+1)의 조합의 실제 서브 샘플링된 부분일 수 있다. 커플(V1)이 합성된 이후, 다수의 서브대역들(보다 정확하게, 레벨들 jt=1 및 2에서 모든 서브대역들)은 더 이상 유용하지 않으며, 소실될 수 있다 : 차순위 비트스트림 부분 복호화시, 프레임들의 차순위 커플을 재구성하기 위해 다른 서브대역들이 그들을 대체하는 등이다.

Claims (2)

1. 연속적인 프레임들의 그룹들(GOF들)로 분할되어, 서브대역 비디오 코딩 방법에 의해 코딩되는 원본 비디오 시퀀스에 대응하는 입력 코딩된 비트스트림의 압축해제를 위한 비디오 복호화 방법에 있어서,

   상기 코딩 방법은, 상기 시퀀스의 각 GOF에서, 적어도

   - 각 연속적 프레임들의 커플상에 수행되는 시간적 필터링 단계,

   - 상기 필터링된 시퀀스상에 수행되는 공간적 분석 단계,

   - 상기 분석되고 필터링된 시퀀스상에 수행되는 엔트로피 코딩 단계를 포함하고,

   이렇게 생성된 코딩된 비트스트림은 n 서브-비트 스트림들로 조직화되며, 상기 n 서브비트-스트림들은 현재 GOF의 프레임들의 제 1 커플과, 연속적으로, 프레임들의 다른 (n-1) 커플들을 재구성하기 위해 복호화측에서 유용한 서브대역들에 각각 대응하며,

   상기 복호화 방법은,

   - 한편으로, 상기 현재 GOF의 프레임들의 상기 제 1 커플의 재구성을 위해,

   - 상기 코딩된 비트스트림의 현재 서브-비트스트림의 각 현재 비트(b)를 복호화하는 서브단계;

   - 주어진 시공간적 서브대역 또는 이런 서브대역들의 세트내의 하나 또는 다수의 화소들에 관련된 의미 정보를 포함하는 것으로서, 각 복호화된 비트를 해석하는 서브단계;

   - 프레임들의 상기 제 1 커플의 재구성에 대한 상기 서브대역(들)의 기여도를 테스트하고, 프레임들의 제 1 커플의 프레임들 이외의 다른 프레임들에 관련된 정보를 포함하는 복호화된 비트들만을 저장하는 서브단계로서, 상기 저장된 비트들이 소위 비트스트림의 서브-샘플링된 부분을 형성하는, 상기 테스트 및 저장 서브단계; 및

   - 프레임들의 상기 제 1 커플을 재구성하는 서브단계를 포함하고,

   - 다른 한편으로, 상기 현재 GOF의 프레임들의 상기 다른 (n-1) 커플들의 재구성을 위해, 상기 복호화 서브단계는 하기의 규칙들:

   - 상기 이전에 서브-샘플링된 부분의 상기 복호화 서브-단계는 유일하게 새롭게 복호화된 서브대역(들)에 관한 상기 관련된 정보를 검색하기 위해서만 수행되는 규칙;

   - 비트(b)를 복호화할 때, 유일하게 새롭게 복호화된 서브대역(들)에 대한 정보를 포함하는 것으로서 해석되는 경우, 상기 코딩된 비트스트림의 상기 새로운 현재 서브-비트스트림내의 차순위 비트에 스위칭 동작에 의하여, 저장되고, 대체되는 규칙;

   - 상기 새로운 현재 서브-비트스트림의 비트들의 복호화를 지속할 때, 상기 새로운 현재 서브-비트스트림의 비트가 새롭게 복호화된 것들 이외의 다른 서브대역들에 대한 정보를 포함하는 것으로서 판단되자마자, 상기 이전에 서브 샘플링된 부분 및 그 최종 비복호화된 저장 비트로 다시 스위칭되는 규칙; 및

   - 더 이상 필요하지 않을 상기 비트들을 포함하지 않고, 상기 새로운 현 서브 비트스트림과 상기 이전의 서브 샘플링된 부분의 비트들의 조합인 비트스트림의 차순위 서브-샘플링된 부분을 동시에 저장하는 규칙에 따라, 상기 코딩된 비트스트림의 새로운 현재 서브 비트스트림과 이전에 서브-샘플링된 부분을 조합함으로써 상기 현재 서브대역들을 복호화하는 서브단계를 포함하고,

   상기 복호화 방법은 이에 따라 상기 현재 GOF의 프레임들의 각 커플을 최종 커플까지 연속적으로 재구성하기 위해 적용되는 것을 특징으로 하는, 비디오 복호화 방법.
2. 제 1 항의 복호화 방법의 구현을 위한 비디오 복호화 디바이스.

Images