KR101345073B1

KR101345073B1 - 각 그룹이 인트라 인코딩된 픽처와 둘 이상의 예측 인코딩된 픽처를 포함하는, 비디오 시퀀스의 픽처들의 그룹들을 인코딩하기 위한 방법 및 장치

Info

Publication number: KR101345073B1
Application number: KR1020097004781A
Authority: KR
Inventors: 추칭 첸; 지보 첸; 시아오동 구
Original assignee: 톰슨 라이센싱
Priority date: 2006-09-07
Filing date: 2006-09-07
Publication date: 2013-12-26
Also published as: US20110044386A1; WO2008031263A1; JP5190059B2; US8335252B2; CN101601297B; CN101601297A; JP2010503296A; KR20090064375A; EP2060120A4; EP2060120A1

Abstract

공지된 비디오 코딩 표준에는 기본적으로 세 타입, 즉 I, P 및 B 픽처가 존재한다. 비디오 시퀀스들은 일반적으로 픽처의 그룹(GOP_i) 구조로 코딩되는데, 복수의 P 또는 B 픽처는 하나의 I 픽처 다음에 코딩된다. 그러나 이 GOP 구조는 에러 복원 및 저장 매체 기록에 관하여 몇 가지 단점이 있다. P 픽처가 예를 들어 전송 채널 에러로 인해 손실되는 경우, 그 다음 P 픽처들은 정확하게 복원될 수 없고, 그러한 에러는 일시적으로 지속되어 몇몇 불유쾌한 아티팩트를 야기한다. 이 GOP 구조는 포워드 플레이에 대해서만 설계되어 있고, 리버스 플레이 동작을 복잡하게 한다. 본 발명에 따르면, 가역 GOP 구조가 비디오 인코딩 및 디코딩에 대하여 이용된다. RGOP 구조는 포워드 인코딩 체인과 백워드 인코딩 체인 둘 다를 포함한다. RGOP 구조에 있는 각 픽처는 이러한 체인들 중 하나에만 할당되고, 인접한 RGOP 체인들의 비디오 픽처들은 인터리빙된다.

비디오 코딩, 비디오 시퀀스, 픽처, 인코딩, 디코딩

Description

각 그룹이 인트라 인코딩된 픽처와 둘 이상의 예측 인코딩된 픽처를 포함하는, 비디오 시퀀스의 픽처들의 그룹들을 인코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING GROUPS OF PICTURES OF A VIDEO SEQUENCE, EACH OF SAID GROUPS INCLUDING AN INTRA ENCODED PICTURE AND MORE THAN TWO PREDICTED ENCODED PICTURES}

본 발명은 비디오 시퀀스의 픽처(picture)들의 그룹들을 인코딩하기 위한 방법 및 장치에 관한 것으로서, 상기 그룹 각각은, 인트라 인코딩된 픽처와, 포워드 예측뿐만 아니라 백워드 예측을 이용하는 둘 이상의 예측 인코딩된 픽처를 포함한다.

공지된 MPEG/H.26x 비디오 코딩 표준(예컨대, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, H.263, VC-1)에는 기본적으로 세 가지 타입의 픽처, 즉 I(인트라프레임 코딩된) 픽처, P(인터프레임 코딩된) 픽처 및 B(양방향으로 예측된) 픽처가 존재한다. I 픽처는 다른 픽처를 참조(reference)로서 이용하지 않으므로 에러가 발생할 수 있는(error-prone) 비디오 전송에서의 재동기화(re-synchronization) 포인트로서 이용할 수 있다. 또한, 비디오 편집 및 고속 포워드/백워드 플레이(play) 시 랜덤 액세스 포인트로서 이용할 수 있다. P 픽처는 하나 이상의 이전 픽처를 참조로서 이용할 수 있으므로 예측에 기인한 코딩 효율을 증가시킨다. B 픽처는 예측을 위하여 이전 및 다음 픽처를 이용할 수 있고, 코딩 효율을 더욱 개선한다.

비디오 시퀀스들은 일반적으로 픽처의 그룹(GOP: Group of Picture) 구조로 코딩되는데, 도 1에 도시하는 바와 같이 복수의 P(P1, P2, P3) 및/또는 B 픽처는 하나의 I 픽처 다음에 코딩된다. 그러나 이 GOP 구조는 특히 다음과 같은 두 가지 종류의 애플리케이션에서 몇 가지 단점이 있다.

a) 에러 복원(Error Resilience)

픽처 P1이 예컨대 전송 채널 에러로 인해 손실되는 경우, 그 다음 P 픽처들은 정확하게 복원될 수 없고, 그러한 에러는 일시적으로 지속되어 몇몇 불유쾌한 아티팩트(artifact)를 야기한다. 디코더 측에서 에러 은폐(error concealment)를 이용할 수 있지만, 몇몇 중요한 정보가 손실되어 있기 때문에 아티팩트를 매우 잘 제거할 수는 없다.

b) 예를 들어 DVD 또는 VCR DVD(digital versatile disc) 또는 VCR(video cassette recorder)상의 저장 매체 기록은 일반적으로 포워드(forward), 백워드(backward), 스톱(stop), 포즈(pause), 고속 포워드(fast forward), 고속 백워드(fast backward) 및 랜덤 액세스와 같은 기능을 필요로 한다. 그러나 공지된 MPEG GOP 구조는 포워드 플레이에 대해서만 설계되어 있고, 리버스 플레이(reverse play) 동작을 복잡하게 한다. 간단한 고속 백워드 플레이는 단지 I 픽처들을 백워드 방향으로 액세스함으로써 이룰 수 있지만, 더욱 유연한 픽처 대 픽처 리버스 플 레이를 원하는 경우에는 훨씬 많은 복잡도, 대역폭 및/또는 저장 버퍼가 필요하다. 예를 들어, 현재 프레임까지의 GOP를 디코딩할 수 있고, 그리고나서 다시 그 GOP의 선두부터 디스플레이되는 그 다음 프레임까지 다시 디코딩할 수 있다. 그러나 이는 처리량의 높은 대역폭을 필요로 한다. 그렇지 않으면, 비트 스트림이 한 번만 디코딩되는 것으로 예상되는 경우, 수많은 저장 버퍼가 필요하다.

상술한 문제점들을 해결하기 위하여 몇몇 상이한 GOP 구조가 제안되었다. 에러 복원에 대하여, 비디오 리던던시 코딩 방법은 S. Wenger, G. Knorr, J. Ott, F. Kossentini가 "Error Resilience Support in H.263+", IEEE Transactions on Circuits and Systems for Video Technology, Vol.8, No.7, November 1998, for H.263+ codec applications에서 개시하였다. 이 방법은 비디오 시퀀스들을 둘 이상의 체인으로 분리하는데, 그와 같은 방식에서 각 픽처는 체인들 중 하나에 할당된다. 각 체인은 독립적으로 코딩된다. 두 개의 예측 체인을 이용하는 GOP 구조가 도 2에 도시되어 있다. 패킷 손실로 인해 이러한 체인들 중 하나가 손상되는 경우, 남아있는 체인들은 손상되지 않은 채 그대로이고, 디코딩 및 디스플레이될 수 있다. 손상되지 않은 다른 체인에서의 정보를 이용함으로써 손상된 체인의 디코딩을 계속하거나 어떤 에러 은폐를 하는 것이 가능한데, 이는 약간의 주관적인 품질 저하만을 야기한다. 또한, 손상된 체인의 디코딩을 중지하는 것이 가능한데, 이는 다른 에러 아티팩드보다 주관적인 품질에 대하여 훨씬 적게 영향을 미치는 프레임 속도(frame rate)의 저하를 야기할 뿐이다. 두 경우에서는 그 결과에 따른 에러 복원 성능이 도 1의 GOP 예측 구조의 경우보다 더욱 양호하다. 그러나 이 구 조는 리버스-플레이의 기능을 지원하지 않는다.

리버스 리플레이(reverse replay)에 대하여, C. W. Lin, J. Zhou, J. Youn, M. T. Sun은 "MPEG Video Streaming with VCR Functionality", IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, No.3, March 2001에서 리버스-인코딩된 비트 스트림을 서버, 즉 인코딩 프로세스에 추가하는 것을 제안하였다. 인코딩을 끝마치고, 비디오 시퀀스의 마지막 픽처에 도달 시, 비디오 픽처들은 리버스-인코딩된 비트 스트림을 생성하도록 역순으로 인코딩되어 있다. 서버가 포워드 인코딩된 비트 스트림만을 포함하는 경우(즉, 오리지널 시퀀스가 이용 불가능함), 포워드 비트 스트림은 역방향으로(즉, 마지막 GOP부터 첫 번째 GOP로) 매번 두 개의 GOP까지 디코딩될 수 있고, 그리고나서 비디오 시퀀스는 역순으로 재인코딩된다. 리버스-인코딩된 비트 스트림의 생성은 오프-라인에서 수행된다. 그러나 각 픽처는 두 번 인코딩되고, 따라서 비트 스트림 크기는 거의 두 배가 된다.

T. Fang, L. P. Chau는 "An error-resilient GOP structure for robust video transmission", IEEE Transactions on Multimedia, Vol.7, No.6, December 2005에서 에러 복원과 VCR 리버스-플레이 둘 다를 고려하는 새로운 GOP 구조를 제안하였다. I 픽처(I_n)를 각 GOP의 중간에 놓음으로써, 예측 P 픽처들은 두 부분으로 분할되는데, 도 3에서 대응하는 GOP 구조(B 픽처들은 없음)로 도시하는 바와 같이, 예측 P 픽처들 중 반(P_n _-1, ..., P_m _+i+1)은 백워드-예측 인코딩되고, 예측 P 픽처들 중 반(P_n ₊₁, ..., P_n _+j)은 포워드-예측 인코딩된다. 아래 첨자(subscript)는 오리 지널 비디오 시퀀스에 있는 픽처의 시간상의 번호(temporal number)인데, 아래 첨자는 i>1, n-1>m+i+1, j>1 및 k-1>n+j+1처럼 단조롭게 증가한다. B 픽처들이 포함되는 경우, 그 구조는 사실상 영향을 받지 않는다. 명백하게도, 한 P 픽처가 손상되는 경우에는 기껏해야 GOP의 반에만 영향을 미치는 반면, 픽처 I_n의 다른 측에 배열되어 있는 GOP의 다른 반은 영향을 받지 않는다. 실제로, 이 GOP 구조는 한 체인은 포워드이고 다른 한 체인은 백워드인 두 예측 체인의 또 다른 형태이다.

한편, 이 GOP 구조는 GOP 내 P 프레임들의 어떤 반은 이미 리버스-인코딩되어 있으므로 리버스-플레이를 부분적으로 쉽게 한다. 다른 한편, 이 GOP 구조는 에러 복원과 리버스-플레이 둘 다에 여전히 단점이 있다. P_m ₊₁이 손실되는 경우, P_m+1 내지 P_m _+i가 손상되고, 이 시간 주기에서 에러 아티팩트가 인지된다. 픽처 체인 P_n _-1 내지 P_m _+i+1이 정확하게 수신될 수도 있지만, 이는 P_m ₊₁부터 P_m _+i까지의 시간 주기의 픽처들을 디코딩하는 데 도움을 제공하지는 못한다. 그러므로 이 GOP 구조는 도 2에 도시한 GOP 구조 정도로 에러 복원 성능을 제공할 수 없다. 또한, 이 GOP 구조는 연속적인 P 프레임들의 반이 여전히 포워드 인코딩되어 있기 때문에 연속적인 리버스-플레이 기능을 제공할 수 없다. 상세하게, 리버스-플레이를 위한 프로세싱 순서는 I_k→P_k _-1→...→P_n _+j+1→I_n→P_n _-1→...→P_m _+i+1→I_m...이다. 따라서, P_n _+j 내지 P_n ₊₁과 P_m _+i 내지 P_m ₊₁ 동안 갭이 존재하여, 리버스 플레이 시 큰 지터(jitter)를 야기한다. P_n _+j 내지 P_n ₊₁ 그리고 P_m _+i 내지 P_m ₊₁까지의 픽처가 실제로 디스플레이될 필요가 있는 경우, 정규 멀티패스 디코딩 또는 큰 버퍼링이 필요한데, 이는 표준 GOP 구조에서와 마찬가지로 동일한 문제점이다.

상술한 문제점은, 비디오 전송에 대한 에러 복원을 증가시키고, 유연한 리버스-플레이 기능을 용이하게 하는 GOP 구조를 제공하는 본 발명을 통해 해결된다. 상술한 문제점은 청구항 1 및 3에 개시한 방법을 통해 해결된다. 이러한 방법들을 이용하는 장치들은 청구항 2 및 4에 개시되어 있다.

본 발명에 따르면, 가역 GOP(RGOP) 구조가 비디오 인코딩 및 디코딩에 대하여 이용된다. RGOP 구조는 포워드 인코딩 체인과 백워드 인코딩 체인 둘 다를 포함한다. RGOP 구조에 있는 각 픽처는 이러한 체인들 중 하나에만 할당되고, 두 개 체인의 비디오 픽처들은 인터리빙된다.

한 예측 체인은 손상되고, 다른 예측 체인은 그대로인 경우, 후술하는 바와 같이, 비디오 시퀀스는 어떤 눈에 띄는 아티팩드 없이 유연하게 디코딩 및 디스플레이될 수 있기 때문에, 이 RGOP 구조는 에러 복원을 개선한다. 또한, 이 RGOP 구조는 애플리케이션을 기록하기 위한 쉽고 유연한 리버스-플레이 기능을 제공한다.

본 발명에 따른 프로세싱의 부가적인 희생은 가장 가까운 프레임을 이용하지 않는 인코딩에서의 예측에 기인한 인코딩 효율의 약간의 감소이다.

원칙적으로, 본 발명에 따른 인코딩 방법은 비디오 시퀀스의 픽처들의 그룹들을 인코딩하는 데 적합한데, 상기 그룹 각각은 인트라 인코딩된 픽처 및 둘 이상의 예측 인코딩된 픽처를 포함하고, 상기 예측 인코딩된 픽처들의 한 부분은 상기 인트라 인코딩된 픽처부터 시작하여 백워드 예측 인코딩되고, 상기 예측 인코딩된 픽처들의 다른 부분은 상기 인트라 인코딩된 픽처부터 시작하여 포워드 예측 인코딩되고, 이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 생략되고, 이로 인해 상기 비디오 시퀀스의 두 개의 인접한 픽처들의 그룹들끼리는 중복되는 방식으로 배열되어, 현재 픽처들의 그룹에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 분실한 픽처들이 상기 인접한 중복되는 픽처들의 그룹들 중 하나에 인터리빙 방식으로 포함된다.

원칙적으로, 본 발명에 따른 인코딩 장치는 비디오 시퀀스의 픽처들의 그룹들을 인코딩하는 데 적합한데, 상기 그룹 각각은 인트라 인코딩된 픽처 및 둘 이상의 예측 인코딩된 픽처를 포함하고, 상기 장치는, 상기 예측 인코딩된 픽처들의 한 부분을 상기 인트라 인코딩된 픽처부터 시작하여 백워드 예측 인코딩하고, 상기 예측 인코딩된 픽처들의 다른 부분을 상기 인트라 인코딩된 픽처부터 시작하여 포워드 예측 인코딩하기 위하여 적응되어 있는 수단을 포함하고, 이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 생략되고, 이로 인해 상기 비디오 시퀀스의 두 개의 인접한 픽처들의 그룹들끼리는 중복되는 방식으로 배열되어, 현재 픽처들의 그룹에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 분실한 픽처들이 상기 인접한 중복되는 픽처들의 그룹들 중 하나에 인터리빙 방식으로 포함된다.

원칙적으로, 본 발명에 따른 디코딩 방법은 비디오 시퀀스의 픽처들의 그룹들을 디코딩하는 데 적합한데, 상기 그룹 각각은 인트라 인코딩된 픽처 및 둘 이상의 예측 인코딩된 픽처를 포함하고, 상기 예측 인코딩된 픽처들의 한 부분은 상기 인트라 인코딩된 픽처부터 시작하여 백워드 예측 인코딩되었고, 상기 예측 인코딩된 픽처들의 다른 부분은 상기 인트라 인코딩된 픽처(I_n)부터 시작하여 포워드 예측 인코딩되었고, 상기 픽처들의 상기 디코딩은 대응하는 순서로 수행되고, 이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 생략되었고, 이로 인해 상기 비디오 시퀀스의 두 개의 인접한 픽처들의 그룹들끼리는 중복되는 방식으로 배열되어, 현재 픽처들의 그룹에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 분실한 픽처들이 상기 인접한 중복되는 픽처들의 그룹들 중 하나에 인터리빙 방식으로 포함되었고, 상기 디코딩 시 대응하게 디코딩된 픽처들은 상기 디코딩된 출력 신호를 위하여 상기 비디오 시퀀스의 오리지널 픽처 순서대로 조합된다.

원칙적으로, 본 발명에 따른 디코딩 장치는 비디오 시퀀스의 픽처들의 그룹들을 디코딩하는 데 적합한데, 상기 그룹 각각은 인트라 인코딩된 픽처 및 둘 이상의 예측 인코딩된 픽처를 포함하고, 상기 예측 인코딩된 픽처들의 한 부분은 상기 인트라 인코딩된 픽처부터 시작하여 백워드 예측 인코딩되었고, 상기 예측 인코딩된 픽처들의 다른 부분은 상기 인트라 인코딩된 픽처부터 시작하여 포워드 예측 인코딩되었고, 이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 생략되었고, 이로 인해 상기 비디오 시퀀스의 두 개의 인접한 픽처들의 그룹들끼리는 중복되는 방식으로 배열되어, 현재 픽처들의 그룹에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 분실한 픽처들이 상기 인접한 중복되는 픽처들의 그룹들 중 하나에 인터리빙 방식으로 포함되었고, 상기 장치는, 상기 픽처들의 그룹들의 픽처들을 대응하는 순서대로 디코딩하고, 대응하게 디코딩된 픽처들을 상기 디코딩된 출력 신호를 위하여 상기 비디오 시퀀스의 오리지널 픽처 순서대로 조합하기 위하여 적응되어 있는 수단을 포함한다.

본 발명의 추가 실시예들의 장점은 각각의 종속 청구항에 개시되어 있다.

본 발명의 예시적인 실시예는 첨부한 도면을 참조하여 기술한다.

도 1은 전형적인 MPEG GOP 구조를 도시한다.

도 2는 두 개의 예측 체인을 구비한 공지된 GOP 구조를 도시한다.

도 3은 I 픽처가 GOP의 중간에 배치되어 있는 공지된 GOP 구조를 도시한다.

도 4는 본 발명에 따른 RGOP 구조를 도시한다.

도 5는 본 발명에 따른 RGOP 구조의 또 다른 예를 도시한다.

도 6은 불균일한 인터리빙(uneven interleaving)이 있는 본 발명에 따른 RGOP 구조를 도시한다.

도 7은 B 픽처들이 포함되어 있는 본 발명에 따른 RGOP 구조를 도시한다.

도 8은 본 발명에 따른 인코더의 예를 도시한다.

도 9는 본 발명에 따른 디코더의 예를 도시한다.

RGOP 구조에서, 시간상 연속적인 픽처들의 그룹은 두 개의 예측 체인으로 인 터리빙 재스케줄된다. 즉, 픽처들의 반은 이전 I 픽처로부터의 예측에 의해 초기에 포워드 인코딩되는 반면, 픽처들의 나머지는 나중 I 픽처로부터의 예측에 의해 초기에 백워드 인코딩된다. 바람직하게도, 리버스 픽처들의 비트 스트림은 포워드 인코딩된 픽처들의 비트 스트림 다음에 송신되어, 새로운 RGOP를 형성한다.

전형적인 RGOP 구조가 도 4에 도시되어 있다. 픽처 I_m, P_m ₊₁, P_m ₊₂, P_m ₊₃, P_m+4,..., P_n _-2, P_n _-1, I_n, P_n ₊₁, P_n ₊₂, P_n ₊₃, P_n ₊₄,..., P_k _-2, P_k _-1, I_k,...를 포함하고, 두 개 GOP의 길이를 갖는 오리지널 비디오 시퀀스에서, 픽처 P_m ₊₂, P_m ₊₄,..., P_n _-1은 픽처 I_n부터 백워드 방향으로 시작하는 리버스 예측 인코딩 체인을 위하여 선택되는 반면, 픽처 P_n ₊₁, P_n ₊₃,..., P_k _-2는 픽처 I_n부터 포워드 방향으로 시작하는 포워드 예측 인코딩 체인을 위하여 선택된다. 이러한 두 체인은 서로 새로운 RGOP_i를 구성한다.

상응하게, 픽처 P_m ₊₁, P_m ₊₃,..., P_n _-2는 이전 RGOP_i _-1에서 포워드 예측 인코딩된 체인을 형성하는 반면, 픽처 P_n ₊₂, P_n ₊₄,..., P_k _-1은 다음 RGOP_i ₊₁에서 백워드 예측 인코딩된 체인을 형성하는데, 각 RGOP는 백워드 예측 인코딩 체인과 포워드 예측 인코딩 체인을 포함한다. 이웃한 RGOP들과 그 픽처들은 인터리빙되는데, 즉 비디오 시퀀스의 GOP 길이 섹션 내에서 모든 두 번째 픽처는 현재 RGOP_i에 속하고, 중간 픽처들은 대응하는 인접한 RGOP_i _-1 또는 RGOP_i ₊₁에 속한다.

각 RGOP의 비트 스트림은 I 픽처, 백워드 예측 인코딩된 체인 및 포워드 예 측 인코딩된 체인을 포함한다. 이는 {I, {백워드 예측 인코딩된 체인}, {포워드 예측 인코딩된 체인}}으로서 표기할 수 있다. 도 4의 경우에 대하여, 전송 순서는 {RGOP_i-2}, {I_m, {...}, {P_m ₊₁, P_m ₊₃,..., P_n _-2}}, {I_n, {P_n _-1,..., P_m ₊₄, P_m ₊₂}, {P_n ₊₁, P_n+3,..., P_k _-2}}, {I_k, {P_k _-1,..., P_n ₊₄, P_n ₊₂}, {...}}, {PGOP_i ₊₂}이다.

에러 복원 또는 복구에 대하여, 한 예측 체인에 있는 한 픽처(예컨대, P_m+1)가 손실되면, 다음 GOP에 있는 다음 I 픽처(예컨대, I_n)로 되돌아가고, 그리고나서 백워드 또는 리버스 디코딩한다. 따라서, P_n _-1,..., P_m ₊₄, P_m ₊₂가 정확하게 디코딩될 수 있다. 이러한 정확하게 디코딩된 픽처들을 이용함으로써, 픽처 {P_m ₊₁, P_m ₊₃,..., P_n-2}는 에러 은폐 또는 보간(interpolation) 방식에 의해 양호하게 복원될 수 있다. 에러 은폐 알고리즘이 이용되지 않는 경우이더라도, 훨씬 귀찮은 아티팩트를 제공하지 않는 대신 더 낮은 프레임 속도 시퀀스 {P_m ₊₂, P_m ₊₄,..., P_n _-1}이 디스플레이될 수 있다.

더욱이, 이 RGOP 구조는 무선 전송에서 광범위하게 출현하는 버스트 에러(burst error)를 극복하는 양호한 능력이 있다. 시간 방향으로 연속적인 픽처 P_m+1, P_m ₊₂, P_m ₊₃, P_m ₊₄,..., P_n _-2, P_n _-1이 서로 다른 RGOP에 할당되어, {P_m ₊₁, P_m ₊₃,..., P_n-2}의 전송과 {P_n _-1,..., P_m ₊₄, P_m ₊₂}의 전송 사이의 지연이 존재한다. 버스트 에러가 한 예측 체인에 발생하는 경우, 다른 체인은 일반적으로 그대로이고, 따라서 디 코딩된 비디오 시퀀스의 품질은 거의 유지될 수 있다.

또한, 본 발명에 따른 RGOP 구조는 포워드 예측 체인과 백워드 예측 체인을 포함하기 때문에 포워드 플레이뿐만 아니라 리버스 플레이도 쉽게 제공한다.

도 5는 도 4에 도시한 것과 동일한 특징을 갖는 본 발명에 따른 RGOP 구조의 제2 실시예를 도시한다. 픽처 {P_m ₊₂, P_m ₊₄,..., P_n _-1} 및 {P_n ₊₂, P_n ₊₄,..., P_k _-1}은 포워드 예측 인코딩되어 포워드 예측 체인을 형성하는 반면, 픽처 {P_n _-2,..., P_m ₊₃, P_m ₊₁} 및 {P_k _-2,..., P_n ₊₃, P_n ₊₁}은 리버스 예측 인코딩되어 백워드 예측 체인을 형성한다. 전송 순서는 {RGOP_i _-2}, {I_m, {...}, {P_m ₊₂, P_m ₊₄,..., P_n _-1}}, {I_n, {P_n _-2,..., P_m ₊₃, P_m+1}, {P_n ₊₂, P_n ₊₄,..., P_k _-1}}, {I_k, {P_k _-2,..., P_n ₊₃, P_n ₊₁}, {...}}, {RGOP_i ₊₂}이다.

도 6은 인터리빙이 불균일한 본 발명에 따른 RGOP 구조를 도시한다. 즉, 포워드 예측 체인에 있는 픽처들의 수는 백워드 예측 체인에 있는 픽처들의 수보다 높다. 픽처 {P_m ₊₁, P_m ₊₂, P_m ₊₄, P_m ₊₅,..., P_k _-3, P_k _-2}는 포워드 예측 인코딩되어 포워드 예측 체인을 형성하는 반면, 픽처 {P_k _-1,..., P_m ₊₆, P_m ₊₃}은 리버스 예측 인코딩되어 백워드 예측 체인을 형성한다. 이 구조는 리버스 플레이보다 포워드 플레이에 이롭다. 포워드 인코딩된 픽처 대 리버스 인코딩된 픽처의 비율은 애플리케이션 요구조건에 따라 변할 수 있다.

복수의 참조 프레임은 포워드 예측 및 백워드 예측 체인들의 각각에 이용될 수 있다. 그러나 포워드 예측 체인에 있는 픽처들은 백워드 예측 체인 픽처들로부 터 예측할 수 없고, 그 반대도 또한 마찬가지이다.

본 발명에 따른 RGOP 구조는 비디오 시퀀스가 B 픽처들을 포함하는 경우에 일반화될 수 있다. 예는 도 7에 도시되어 있다. 이는 에러 복원 비디오 코딩 및 DVD와 VCR 애플리케이션에 유용하다. 픽처 {P_m ₊₁, B_m ₊₃, P_m ₊₅, B_m ₊₇, P_m ₊₉,..., P_k _-2}는 포워드 예측 인코딩되어 포워드 예측 체인을 형성하는 반면, 픽처 {P_k _-1,..., P_m ₊₁₀, B_m+8, P_m ₊₆, B_m ₊₄, P_m ₊₂}는 리버스 예측 인코딩되어 백워드 예측 체인을 형성한다. 또한, 체인들은 대응 B 픽처들을 이용하여 시작 및/또는 종료할 수 있다.

도 8에 있는 픽셀 블록 인코더의 비디오 데이터 입력 신호 IE는 인코딩을 위한 매크로블록 데이터를 포함한다. 픽처들은 도 6 또는 7에서 기술한 방식에 대응하는 방식으로 처리된다. 인트라프레임(intraframe) 비디오 데이터의 경우, 감산기(subtractor) SUB는 이러한 데이터를 간단하게 통과하게 한다. 이러한 데이터는 변환 수단 T 및 양자화 수단 Q에서 처리되고, 인코더 출력 신호 OE를 출력하는 엔트로피 인코더 ECOD에 공급된다. ECOD는 예를 들어 계수(coefficient)들에 대하여 허프만 코딩(Huffman coding)을 수행할 수 있고, 헤더 정보 및 모션 벡터 데이터를 추가할 수 있다. 인터프레임(interframe) 비디오 데이터의 경우, 예측 블록 또는 매크로블록 데이터 PMD는 감산기 SUB에서 입력 신호 IE로부터 감산되고, 그 차이 데이터는 변환 수단 T 및 양자화 수단 Q를 통해 엔트로피 인코더 ECOD에 공급된다. 또한, Q의 출력 신호는 역양자화 수단 Q_E ^-1에서 처리되고, 그 출력 신호는 역변환 수단 T_E ^-1을 통해 조합기(combiner) ADDE에 복원된 블록 또는 매크로블록 차이 데이터 RMDD의 형태로 공급된다. ADDE의 출력 신호는 모션 평가 및 보상 수단 FS_MC_E에 있는 프레임 저장부에 버퍼-저장되는데, FS_MC_E는 도 6 또는 7에서 기술한 바와 같은 방향으로 복원된 블록 또는 매크로블록 데이터에 대하여 모션 보상을 수행하고, 이러한 방식으로 예측된 블록 또는 매크로블록 데이터 PMD를 SUB의 감산 입력으로 그리고 조합기 ADDE의 다른 입력으로 출력한다. 양자화 수단 Q 및 역양자화 수단 Q_E ^-1은 인코더 버퍼 ENCB의 점유 레벨(occupancy level)을 통해 제어할 수 있다. ADDE의 출력 신호는 인코더 COD가 복원된 프레임 데이터 REC로서 출력한다. SUB의 출력 신호는 인코더 COD가 잔여 프레임 데이터 RES로서 출력한다.

도 9에서, 인코딩된 픽셀 데이터 입력 신호 ID는 엔트로피 디코더 수단 EDEC, 역양자화 수단 Q_D ^-1 및 역변환 수단 T_D ^-1을 통해 조합기 ADDD에 잔여 프레임 데이터 RES로서 공급되고, 조합기 ADDD는 복원된 픽셀 데이터 출력 신호 OD를 출력한다. 픽처들은 도 6 또는 7에서 기술한 방식과 대응하는 방식으로 처리된다. EDEC는 예를 들어 계수들에 대하여 허프만 디코딩을 수행할 수 있고, 헤더 정보 및 모션 벡터 데이터를 디코딩 및/또는 평가할 수 있다. Q_E ^-1, Q_D ^-1, T_E ^-1, T_D ^-1 및 EDEC는 Q, T 및 ECOD의 기능의 역에 대응하는 기능을 갖는다. ADDD의 출력 신호는 모션 보상 수단 FS_MC_D에 있는 프레임 저장부에 버퍼-저장된다. FS_MC_D는 도 6 또는 7에서 기술한 바와 같은 방향으로 복원된 블록 또는 매크로블록 데이터에 대한 모션 보상에 영향을 미친다. FS_MC_D에서 예측된 블록 또는 매크로블록 데이터 PMD는 인터프레임-디코딩된 블록 또는 매크로블록 데이터의 경우에는 조합기 ADDE의 두 번째 입력으로 전달된다. 인트라프레임-디코딩된 블록 또는 매크로블록 데이터의 경우, 조합기 ADDD는 T_D ^-1로부터의 출력 신호를 간단하게 통과시킨다. 이 경우, 에러 신호 ES는 백워드 또는 포워드 예측 체인에 있는 픽처(즉, 적어도 하나의 픽처)가 정확하게 수신되지 않았음을 나타내고, 대응하는 예측 체인에 있는 나머지 픽처들은 디코딩될 수 있는 것이 아니라, 인접한 픽처들의 그룹으로부터의 대응하는 인터리빙 디코딩된 픽처들을 이용하여 은폐 또는 보간되어 상기 비디오 시퀀스(IE)의 분실한 출력 픽처들을 생성할 수 있고, 또는 대응하는 예측 체인에 있는 나머지 픽처들은 디코딩되지 않지만, 디코딩은 다음 인트라 인코딩된 픽처를 이용하여 계속되고, 현재 체인 출력 신호 OD는 그 프레임 속도에 대응하게 적응될 수 있다.

도 8 및 9에서의 변환 및 역변환은 각각 DCT 또는 역 DCT일 수 있다.

Claims

비디오 시퀀스(IE)의 픽처들의 그룹들(RGOP_i)을 인코딩하기 위한 방법으로서,

상기 그룹들의 각각은 인트라 인코딩된 픽처(I) 및 2개보다 많은 예측 인코딩된 픽처들(P)을 포함하고,

상기 예측 인코딩된 픽처들 중의 한 부분은 상기 인트라 인코딩된 픽처(I_n)부터 시작하여 백워드 예측 인코딩되고, 상기 예측 인코딩된 픽처들 중의 다른 부분은 상기 인트라 인코딩된 픽처(I_n)부터 시작하여 포워드 예측 인코딩되고,

이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 누락되고,

또한, 이로 인해 상기 비디오 시퀀스의 매 두 개마다의 인접한 픽처들의 그룹들(RGOP_i-1, RGOP_i; RGOP_i, RGOP_i+1)은 중복되는 방식으로 배열되어, 현재 픽처들의 그룹들(RGOP_i)에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 누락된 픽처들이 상기 인접한 중복되는 픽처들의 그룹들(RGOP_i-1; RGOP_i+1) 중 하나에 인터리빙 방식으로 포함되는

인코딩 방법.
비디오 시퀀스(IE)의 픽처들의 그룹들(RGOP_i)을 디코딩하기 위한 방법으로서,

상기 그룹들의 각각은 인트라 인코딩된 픽처(I) 및 2개보다 많은 예측 인코딩된 픽처들(P)을 포함하고,

상기 예측 인코딩된 픽처들 중의 한 부분은 상기 인트라 인코딩된 픽처(I_n)부터 시작하여 백워드 예측 인코딩되었고, 상기 예측 인코딩된 픽처들 중의 다른 부분은 상기 인트라 인코딩된 픽처(I_n)부터 시작하여 포워드 예측 인코딩되었고,

상기 픽처들의 디코딩은 대응하는 순서로 수행되고,

이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 누락되었고,

또한, 이로 인해 상기 비디오 시퀀스의 매 두 개마다의 인접한 픽처들의 그룹들(RGOP_i-1, RGOP_i; RGOP_i, RGOP_i+1)은 중복되는 방식으로 배열되어, 현재 픽처들의 그룹들(RGOP_i)에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 누락된 픽처들이 상기 인접한 중복되는 픽처들의 그룹들(RGOP_i-1; RGOP_i+1) 중 하나에 인터리빙 방식으로 포함되었고,

상기 디코딩 시에 대응하여 디코딩된 픽처들은 상기 비디오 시퀀스(IE)의 오리지널 픽처 순서대로 상기 디코딩된 출력 신호(OD)를 이루도록 조합되는

디코딩 방법.
제1항에 있어서,

상기 인터리빙은 불균일한 인코딩 방법.
제1항에 있어서,

상기 포워드 및 백워드 예측 인코딩된 픽처 체인들은 양방향으로 예측 인코딩된 픽처들(B)을 포함하는 인코딩 방법.
제2항에 있어서,

상기 백워드 또는 포워드 예측 인코딩된 픽처 체인들에 있는 적어도 하나의 픽처가 에러들과 함께 수신되는 경우, 대응하는 예측 체인에 있는 나머지 픽처들은 디코딩되지 않지만, 상기 디코딩은 후속 인트라 인코딩된 픽처(I_n, I_k)로 계속하는 디코딩 방법.
제2항에 있어서,

상기 디코딩된 출력 신호(OD)의 프레임 속도는 대응하여 적응되는 디코딩 방법.
제2항에 있어서,

상기 백워드 또는 포워드 예측 인코딩된 픽처 체인들에 있는 적어도 하나의 픽처가 에러들(ES)과 함께 수신되는 경우, 대응하는 예측 체인에 있는 나머지 픽처들은 디코딩되는 것이 아니라, 인접한 픽처들의 그룹(RGOP_i)으로부터의 대응하는 인터리빙 디코딩된 픽처들을 이용하여 은폐(CONC) 또는 보간되는 디코딩 방법.
비디오 시퀀스(IE)의 픽처들의 그룹들(RGOP_i)을 인코딩하기 위한 장치로서,

상기 그룹들의 각각은 인트라 인코딩된 픽처(I) 및 2개보다 많은 예측 인코딩된 픽처들(P)을 포함하고,

상기 장치는, 상기 예측 인코딩된 픽처들 중의 한 부분을 상기 인트라 인코딩된 픽처(I_n)부터 시작하여 백워드 예측 인코딩하고 또한 상기 예측 인코딩된 픽처들 중의 다른 부분을 상기 인트라 인코딩된 픽처(I_n)부터 시작하여 포워드 예측 인코딩하도록 적응된 수단(SUB, T, Q, Q_E ^-1, T_E ^-1, ADDE, FS_MC_E, ECOD)을 포함하고,

이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 누락되고,

또한, 이로 인해 상기 비디오 시퀀스의 매 두 개마다의 인접한 픽처들의 그룹들(RGOP_i-1, RGOP_i; RGOP_i, RGOP_i+1)은 중복되는 방식으로 배열되어, 현재 픽처들의 그룹들(RGOP_i)에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 누락된 픽처들이 상기 인접한 중복되는 픽처들의 그룹들(RGOP_i-1; RGOP_i+1) 중 하나에 인터리빙 방식으로 포함되는

인코딩 장치.
비디오 시퀀스(IE)의 픽처들의 그룹들(RGOP_i)을 디코딩하기 위한 장치로서,

상기 그룹들의 각각은 인트라 인코딩된 픽처(I) 및 2개보다 많은 예측 인코딩된 픽처들(P)을 포함하고,

상기 예측 인코딩된 픽처들 중의 한 부분은 상기 인트라 인코딩된 픽처(I_n)로부터 시작하여 백워드 예측 인코딩되었고, 상기 예측 인코딩된 픽처들 중의 다른 부분은 상기 인트라 인코딩된 픽처(I_n)로부터 시작하여 포워드 예측 인코딩되었고,

이로 인해 픽처들은 이러한 포워드 및 백워드 예측 인코딩된 픽처 체인들에서 누락되었고,

또한, 이로 인해 상기 비디오 시퀀스의 매 두 개마다의 인접한 픽처들의 그룹들(RGOP_i-1, RGOP_i; RGOP_i, RGOP_i+1)은 중복되는 방식으로 배열되어, 현재 픽처들의 그룹들(RGOP_i)에서의 포워드 및 백워드 예측 인코딩된 픽처 체인들에 있는 상기 누락된 픽처들이 상기 인접한 중복되는 픽처들의 그룹들(RGOP_i-1; RGOP_i+1) 중 하나에 인터리빙 방식으로 포함되었고,

상기 장치는, 상기 픽처들의 그룹들의 픽처들을 대응하는 순서대로 디코딩하고 또한 대응하여 디코딩된 픽처들을 상기 비디오 시퀀스(IE)의 오리지널 픽처 순서대로 상기 디코딩된 출력 신호(OD)를 이루도록 조합하도록 적응되는 수단(EDEC, Q_D ^-1, T_D ^-1, ADDD, FS_MC_D)을 포함하는

디코딩 장치.
제8항에 있어서,

상기 인터리빙은 불균일한 인코딩 장치.
제8항에 있어서,

상기 포워드 및 백워드 예측 인코딩된 픽처 체인들은 양방향으로 예측 인코딩된 픽처들(B)을 포함하는 인코딩 장치.
제9항에 있어서,

상기 백워드 또는 포워드 예측 인코딩된 픽처 체인들에 있는 적어도 하나의 픽처가 에러들과 함께 수신되는 경우, 대응하는 예측 체인에 있는 나머지 픽처들은 디코딩되지 않지만, 상기 디코딩은 후속 인트라 인코딩된 픽처(I_n, I_k)로 계속하는 디코딩 장치.
제9항에 있어서,

상기 디코딩된 출력 신호(OD)의 프레임 속도는 대응하여 적응되는 디코딩 장치.
제9항에 있어서,

상기 백워드 또는 포워드 예측 인코딩된 픽처 체인들에 있는 적어도 하나의 픽처가 에러들(ES)과 함께 수신되는 경우, 대응하는 예측 체인에 있는 나머지 픽처들은 디코딩되는 것이 아니라, 인접한 픽처들의 그룹(RGOP_i)으로부터의 대응하는 인터리빙 디코딩된 픽처들을 이용하여 은폐(CONC) 또는 보간되는 디코딩 장치.
저장 매체로서,

제1항의 방법에 따라 인코딩된 디지털 비디오 신호를 포함하거나, 저장하거나 또는 기록하는 저장 매체.