KR101012149B1

KR101012149B1 - 비디오 부호화

Info

Publication number: KR101012149B1
Application number: KR1020107004274A
Authority: KR
Inventors: 미스카 한눅세라
Original assignee: 노키아 코포레이션
Priority date: 2000-05-15
Filing date: 2001-05-11
Publication date: 2011-02-07
Also published as: ES2339743T3; EP2124456B1; AU2001256354A1; CN100388796C; PT1287705E; HK1097977A1; GB0011597D0; EP1287705B1; HUP0301966A2; JP4982024B2; CN1856111A; WO2001089227A1; EE200200641A; CA2409499C; KR20100037162A; US6968005B2; CN101252696A; HUP0301966A3; CN1856111B; EP2124456A3

Abstract

일련의 화상들을 나타내는 비디오 신호를 부호화하는 방법으로서, 상기 방법은 비-시간적(non-temporal) 예측 및 시간적(temporal) 예측 양자를 채용하는 방법에 있어서, 다른 하나의 화상의 시간적 예측에 대한 참조 화상을 형성하는 각 화상에 대해, 상기 부호화된 비디오 신호내의 다른 참조 화상들에 관하여 상기 부호화된 비디오 신호내의 상기 참조 화상의 시간적 순서를 나타내는 표시자를 각각의 그러한 화상과 연관시키는 단계를 포함하는 것을 특징으로 하는 방법이 제공된다.

Description

비디오 부호화{Video coding}

본 발명은 비디오 부호화에 관한 것이다.

비디오 시퀀스는 일련의 정지 화상들 또는 프레임들로 구성된다. 비디오 압축 방법들은 비디오 시퀀스들의 중복되고 인식에 무관한 부분들을 줄이는데 기초를 둔다. 비디오 시퀀스들에 있어서 중복(redundancy)은 스펙트럼의(spectral), 공간적 및 시간적 중복으로 분류될 수 있다. 스펙트럼의 중복은 동일 화상의 상이한 컬러 성분들간의 유사성을 나타낸다. 공간적 중복은 화상내의 이웃하는 픽셀들간의 유사성에서 기인한다. 시간적 중복은 이전 이미지에서 나타나는 객체들이 현재 이미지에도 또한 나타날 것 같기 때문에 존재한다. 압축은 이러한 시간적 중복을 이용하고 앵커(anchor) 또는 참조 화상으로 지칭되는 다른 화상으로부터 현재 화상을 예측함으로써 달성될 수 있다. 추가 압축은 현재 화상 및 이전 화상간의 움직임을 기술하는 움직임 보상 데이터를 생성함으로써 달성된다.

그러나, 충분한 보상은 보통 시퀀스의 고유한 중복을 감소시키는 것만으로는 달성될 수 없다. 따라서, 비디오 부호기들은 또한 본질적으로 덜 중요한 비디오 시퀀스의 부분들의 품질을 감소시키려고 한다. 더욱이, 부호화된 비트-스트림의 중복은 압축 매개변수들 및 계수들의 효율적인 무손실 부호화에 의하여 감소된다. 주요한 기술은 가변 길이 부호들을 사용하는 것이다.

비디오 압축 방법들은 전형적으로 시간적 중복 감소를 이용하는 화상들 및 시간적 중복 감소를 이용하지 않는 화상들간을 구별한다. 시간적 중복 감소 방법들을 이용하지 않는 압축 화상들은 보통 인트라(INTRA) 또는 I-프레임들(I-frames) 또는 I-화상들(I-pictures)로 지칭된다. 시간적으로 예측되는 이미지들은 보통 현재 화상 이전에 발생하는 화상으로부터 순방향으로 예측되고 인터(INTER) 또는 P-프레임들로 지칭된다. 인터 프레임의 경우에 있어서, 예측된 움직임-보상된 화상은 좀처럼 충분히 정확하지 않고 따라서 공간적으로 압축된 예측 에러 프레임이 각 인터 프레임에 연관된다. 인터 화상들은 인트라-부호화된 영역들을 포함할 수 있다.

많은 비디오 압축 방식들이 또한 시간적으로 양방향으로 예측된 프레임들을 사용하는데, 이것은 보통 B-화상들 또는 B-프레임들로서 지칭된다. B-화상들은 I- 및/또는 P-프레임들의 앵커 화상 쌍들 사이에 삽입되고 이들 앵커 화상들 중에서 하나 또는 양자로부터 예측된다. B-화상들은 보통 순방향-예측된 화상들과 비교하여 증가된 압축을 제공한다. B-화상들은 앵커 화상들로서 사용되지 않는다. 즉, 다른 화상들은 B-화상들로부터 예측되지 않는다. 따라서 B-화상들은 미래 화상들의 화상 품질에 강한 영향을 주지 않으면서 (고의로 또는 무심코) 폐기될 수 있다. B-화상들이 P-화상들과 비교하여 압축 성능을 개선할 수 있지만, B-화상들을 생성하는 것은 계산이 더 복잡하고 메모리를 더 많이 사용할 것을 필요로 하고 추가 지연들을 도입한다. 이것은 비디오 스트리밍과 같은 비-실시간 응용들에서는 문제가 아닐 수 있지만 화상-회의와 같은 실시간 응용들에서는 문제들을 야기할 수 있다.

압축된 비디오 클립(clip)은 전형적으로 일련의 화상들로 구성되고, 상기 화상들은 시간적으로 독립한 인트라 화상들 및 시간적으로 차이가 나게 부호화된 인터 화상들로 대략 분류될 수 있다. 인트라 화상들에서의 압축 효율이 보통 인터 화상들에서 보다 더 낮기 때문에, 인트라 화상들은 드물게, 특히 낮은 비트-율 응용들에서 사용된다.

비디오 시퀀스는 다수의 화면(scene)들 또는 샷(shot)들로 구성될 수 있다. 화상 내용들은 화면마다 매우 상이할 수 있고, 따라서 한 화면의 제1 화상은 전형적으로 인트라-부호화된다. 텔레비전 및 영화물에서는 잦은 화면 변화들이 있지만, 화상 회의에서는 화면 컷(cut)들이 비교적 드물다. 더욱이, 인트라 화상들은 전형적으로 재구성된 비디오 신호의 재전송 에러들의 시간적 전파를 정지시키고 비디오 비트-스트림에 랜덤 액세스 포인트들을 제공하기 위해 삽입된다.

압축된 비디오는 주로 2가지 이유로 전송 에러들에 의해 쉽게 손상된다. 첫째로, 시간적 예측 차분 부호화(인터 프레임들)의 이용으로 인하여, 공간적으로 그리고 시간적으로 에러가 전파된다. 실제로 이것은 일단 에러가 발생하는 경우, 에러는 인간의 눈에 비교적 긴 시간동안 쉽게 보여질 수 있다는 것을 의미한다. 특히 극히 소수의 인트라-부호화된 프레임들이 있는 경우 낮은 비트-율들로 전송이 가능하고, 따라서 시간적 에러 전파는 어떤 시간 동안 중지되지 않는다. 둘째로, 가변 길이 부호들의 사용은 에러들에 대한 가능성을 증가시킨다. 비트 에러가 부호워드를 변경시키는 경우, 복호기는 부호워드 동기를 잃을 것이고 또한 다음의 동기(또는 시작) 부호까지 (몇 개의 비트들을 포함하는) 다음의 에러없는 부호워드들을 부정확하게 복호화할 것이다. 동기 부호는 다른 부호워드들의 어떤 법적 조합으로부터 발생될 수 없는 비트 패턴이고 그러한 부호들은 재동기화를 가능하게 하기 위한 간격들에서 비트 스트림에 추가된다. 더욱이, 전송동안 데이터가 손실되는 경우 에러들이 발생한다. 예를 들어, IP 네트워크들에서 신뢰할 수 없는 UDP 전송 프로토콜을 사용하는 비디오 응용들에서, 네트워크 요소들은 부호화된 비디오 비트-스트림의 부분들을 폐기할 수 있다.

수신기가 전송 경로에 도입된 손상을 어드레스하는 많은 방식들이 있다. 일반적으로, 신호의 수신시에, 먼저 전송 에러들이 검출되고 그 다음 수신기에 의해 정정되거나 은폐된다. 에러 정정은 처음부터 에러가 도입되지 않았던 것처럼 잘못된 데이터를 완전하게 복구하는 과정을 말한다. 에러 은폐는 전송 에러들이 재구성된 비디오 시퀀스에 거의 보이지 않도록 전송 에러들의 영향들을 은폐하는 과정을 말한다. 전형적으로 에러 검출, 정정 및 은폐를 돕기 위하여 어떤 양의 중복이 소스 또는 전송 부호화에 의해 추가된다. 에러 은폐 기법들은 대략 3가지 카테고리들로 분류될 수 있다: 순방향 에러 은폐, 후처리에 의한 에러 은폐 및 상호작용(interactive) 에러 은폐. "순방향 에러 은폐(forward error concealment)"라는 용어는 전송측이 부호화된 데이터의 에러 허용성(resilience)을 확장하기 위하여 전송된 데이터에 중복을 추가하는 기법을 말한다. 후처리에 의한 에러 은폐는 복호기에서 수신된 신호들의 특성들에 응답하는 동작들을 말한다. 이들 방법들은 잘못 수신된 데이터의 올바른 표현을 예측한다. 상호작용 에러 은폐에 있어서, 전송기 및 수신기는 전송 에러들의 영향을 최소화하기 위하여 협력한다. 이들 방법들은 수신기에 의해 제공된 피드백 정보를 많이 이용한다. 후처리에 의한 에러 은폐는 또한 수동 에러 은폐로 지칭될 수 있는 반면에, 다른 2개의 카테고리들은 능동 에러 은폐의 형태들을 나타낸다.

다수의 공지된 은폐 알고리즘들이 있고, 그것들의 개요가 와이. 왕 및 큐. 에프. 추(Y. Wang and Q. -F. Zhu)에 의한 "비디오 통신용 에러 제어 및 은폐 : 개요(Error Control and Concealment for Video Communication : A Review)"(IEEE 회보, Vol. 86, No. 5, 1998년 5월, 974 - 997 페이지)에서 주어지고, 피. 살라마, 엔. 비. 쉬로프, 및 이. 제이. 델프(P. Salama, N. B. Shroff, and E. J. Delp)에 의한 "부호화된 비디오에서의 에러 은폐(Error Concealment in Encoded Video)"(통신에서 선택된 영역들에 대한 IEEE 간행물에 제출된) 기사에서 주어진다.

현재 비디오 부호화 표준들은 자기-충분한(self-sufficient) 비디오 비트-스트림에 대한 구문(syntax)을 정의한다. 기록시에 가장 인기있는 표준들은 ITU-T 추천 H.263, "낮은 비트 율 통신을 위한 비디오 부호화(Video coding for low bit rate communication)", (1998년 2월); ISO/IEC 14496-2, "오디오-비주얼 객체들의 일반 부호화. 파트 2: 비주얼(Generic Coding of Audio-Visual Objects. Part 2: Visual)", (1999년)(MPEG-4로서 알려진); 및 ITU-T 추천 H.262(ISO/IEC 13818-2)(MPEG-2로서 알려진)이다. 이들 표준들은 비트-스트림들에 대한 계층 및 대응하여 이미지 시퀀스들 및 이미지들에 대한 계층을 정의한다.

H.263에서, 상기 구문은 4개의 층들을 갖는 계층적 구조를 갖는다: 화상, 화상 세그먼트, 매크로블록, 및 블록 층. 상기 화상 층 데이터는 상기 화상 데이터의 복호화 및 전체 화상 영역에 영향을 주는 매개변수들을 포함한다. 이 데이터의 대부분은 소위 화상 헤더에 배열된다.

화상 세그먼트 층은 일군의 블록 층 또는 슬라이스(slice) 층일 수 있다. 디폴트로, 각 화상은 블록들의 그룹들로 분할된다. 일군의 블록(GOB; group of blocks)은 전형적으로 16개의 연속 픽셀 라인들을 포함한다. 각 GOB에 대한 데이터는 매크로블록들에 대한 데이터에 의해 뒤따르는 옵션의 GOB 헤더로 구성된다. 옵션의 슬라이스 구조 모드가 사용되는 경우, 각 화상은 GOB들 대신에 슬라이스들로 분할된다. 하나의 슬라이스는 스캔-순서로 다수의 연속하는 매크로블록들을 포함한다. 각 슬라이스에 대한 데이터는 매크로블록들에 대한 데이터에 의해 뒤따르는 슬라이스 헤더로 구성된다.

각 GOB 또는 슬라이스는 매크로블록들로 분할된다. 매크로블록은 16 x 16 픽셀들(또는 2 x 2 블록들)의 휘도 및 공간적으로 대응하는 8 x 8 픽셀들(또는 블록)의 크로미넌스(chrominance) 성분들에 관련된다. 하나의 블록은 8 x 8 픽셀들의 휘도 또는 크로미넌스에 관련된다.

블록 층 데이터는 지그재그 순서로 스캐닝되고, 런 길이 부호기(run-length encoder)를 가지고 처리되며, 가변 길이 부호들을 가지고 부호화되는 균일 양자화 이산 코사인 변환 계수들로 구성된다. MPEG-2 및 MPEG-4 층 계층들은 H.263에서의 층 계층과 유사하다.

디폴트로, 이들 표준들은 일반적으로 움직임 보상에 대한 참조로서 시간적으로 이전 참조 화상(I 또는 P)(또한 앵커 화상으로 알려진)을 사용한다. 이 부분의 정보는 전송되지 않는다. 즉, 비트-스트림은 참조 화상을 식별하는 정보를 포함하지 않는다. 따라서, 복호기들은 참조 화상이 손실되는지를 검출하기 위한 수단을 구비하지 않는다. 비록 많은 전송 부호기들이 비디오 데이터를 패킷들내에 위치시키고 시퀀스 번호를 상기 패킷들과 연관시킨다 하더라도, 이들 시퀀스 번호들은 비디오 비트-스트림에 관련되지 않는다. 예를 들어, 비디오 비트-스트림의 한 섹션이 P-화상 P1, B-화상 B2, P-화상 P3, 및 P-화상 P4를 포함할 수 있고, 이 순서로 캡쳐될 수 있다(그리고 디스플레이될 수 있다). 그러나, B2가 부호화되거나 복호화될 수 있기 전에 P1 및 P3 양자를 필요로 하기 때문에 이 섹션은 다음 순서로 압축되고, 전송되며, 복호화될 것이다: P1, P3, B2, P4. 화상마다 하나의 패킷이 있고, 각 패킷은 시퀀스 번호를 포함하며, B2를 운반하는 패킷이 손실되었다고 가정하면, 수신기는 패킷 시퀀스 번호들로부터 손실된 이 패킷을 검출할 수 있다. 그러나, 상기 수신기는 P4에 대한 움직임 보상 참조 화상을 손실했는지 또는 B-화상을 손실했는지를 검출하기 위한 수단을 구비하지 않고, 이 경우에 상기 수신기는 정상적으로 복호화를 계속할 수 있다.

복호기는 따라서 보통 송신기에 인트라 요청을 전송하고 디스플레이상의 화상을 정지시킨다. 그러나, 상기 송신기는 이 요청에 바로 응답하지 않을 수 있다. 예를 들어 비-실시간 비디오 스트리밍 응용에 있어서, 상기 송신기는 디코더로부터의 인트라 요청에 응답할 수 없다. 따라서, 상기 복호기는 다음 인트라 프레임이 수신될 때까지 상기 화상을 정지시킨다. 화상-회의와 같은 실시간 응용에 있어서, 송신기는 응답할 수 없을 수 있다. 예를 들어, 다중-당사자 회의에서, 부호기는 개별적인 요청들에 응답할 수 없을 수 있다. 또 상기 복호기는 상기 송신기에 의해 인트라 프레임이 출력될 때까지 화상을 정지시킨다.

일련의 화상들을 나타내는 비디오 신호를 부호화하는 방법으로서, 상기 방법은 비-시간적(non-temporal) 예측 및 시간적(temporal) 예측 양자를 채용하는 방법에 있어서, 다른 하나의 화상의 시간적 예측에 대한 참조 화상을 형성하는 각 화상에 대해, 상기 부호화된 비디오 신호내의 다른 참조 화상들에 관하여 상기 부호화된 비디오 신호내의 상기 참조 화상의 시간적 순서를 나타내는 표시자를 각각의 그러한 화상과 연관시킨다.

본 발명의 제1 태양에 따라, 일련의 화상들을 나타내는 비디오 신호를 부호화하는 방법으로서, 상기 방법은 비-시간적(non-temporal) 예측 및 시간적(temporal) 예측 양자를 채용하는 방법에 있어서, 다른 하나의 화상의 시간적 예측에 대한 참조 화상을 형성하는 각 화상에 대해, 상기 부호화된 비디오 신호내의 다른 참조 화상들에 관하여 상기 부호화된 비디오 신호내의 상기 참조 화상의 시간적 순서를 나타내는 표시자를 각각의 그러한 화상과 연관시키는 단계를 포함하는 것을 특징으로 하는 방법이 제공된다.

따라서 각 참조 화상(예를 들어 I-프레임들 및 P-프레임들)은 시퀀스 번호와 연관된다. 바람직하기로는 참조 화상이 부호화될 때마다 상기 표시자가 증가된다. 보다 바람직하기로는 참조 화상이 부호화될 때마다 상기 표시자는 1씩 증가된다. 따라서 상기 표시자는 이전 참조 화상으로부터 1씩 증가된다.

다중-층 부호화가 사용되는 경우, 바람직하기로는 이 표시자는 동일 확장 층내의 이전 참조 화상으로부터 1씩 증가된다.

이 표시자를 포함한다는 것은 복호기가 참조 화상이 손실되었는지를 결정할 수 있고 가능한 경우 적합한 동작을 취할 수 있다는 것을 의미한다. 비록 전송 프로토콜이 전송되는 패킷들에 대한 시퀀스 정보를 포함하지 않거나 송신기가 가변 캡슐화 방법을 사용한다 하더라도 이것은 사실이다. 예를 들어, 송신기가 가변 수의 GOB들을 하나의 패킷내에 캡슐화하는 경우, 비록 수신기들이 패킷 시퀀스 번호들로부터 패킷 손실들을 검출할 수 있다 하더라도 수신기들은 얼마나 많은 GOB들 또는 전체 화상들이 손실되었는지를 신뢰할 수 있게 알 수 없다.

본 발명은 또한 복호기로 하여금 B 화상 손실들을 참조 화상 손실들로부터 구별할 수 있게 한다. 따라서, 복호기들은 B 화상 손실 이후에 다음 인트라 화상을 기다리는 대신에 복호화를 계속할 수 있다.

더욱이 상위 확장 층에서의 참조 화상이 손실되는 경우 복호기는 하위 확장 층들의 복호화를 계속할 수 있다.

전체 화상 또는 화상의 부분에 대한 참조 화상 순서 번호(RPON; reference picture order number)가 있을 수 있다. 전자의 경우, 전형적으로 참조 화상 순서 번호는 화상 헤더에 포함된다. 본 발명의 바람직한 구현에 있어서, 비디오 신호는 H.263 표준에 따라 부호화되고 표시자는 보충 확장 정보(Supplemental Enhancement Information)에 포함된다. 상기 RPON이 한 화상의 부분에 관한 것인 경우, 참조 화상 순서 번호는 부호화된 화상의 매크로블록 헤더들 또는 화상 세그먼트 헤더들에 포함될 수 있다.

본 발명의 제2 태양에 따라, 일련의 화상들을 나타내는 부호화된 비디오 신호를 복호화하는 방법에 있어서, 부호화된 비디오 신호를 수신하는 단계; 각 수신된 화상을 복호화하는 단계; 다른 화상에 대한 참조 화상을 형성하는 복호화되는 각 화상에 대해 참조 프레임의 시간적 순서를 나타내는 표시자를 검사하는 단계; 및 상기 표시자가 바로 이전 복호화된 참조 프레임으로부터 연속하여 뒤따르지 않는 경우, 손실된 참조 프레임을 검출하는 단계를 포함하는 것을 특징으로 하는 방법이 제공된다.

바람직하기로는, 상기 복호기는 상기 표시자가 바로 이전 복호화된 참조 프레임으로부터 연속하여 뒤따르지 않는 경우 비-시간적 방식으로 화상을 부호화하기 위한 요청을 송신기에 전송한다.

본 발명의 제3 태양에 따라, 부호화된 비디오 신호에 있어서, 다른 하나의 화상의 시간적 예측에 대한 참조 화상을 형성하는 각 화상에 대해, 상기 부호화된 비디오 스트림내의 상기 참조 화상들의 시간적 순서를 나타내는 표시자가 각각의 그러한 참조 화상과 연관되는 것을 특징으로 하는 부호화된 비디오 신호가 제공된다.

본 발명의 제4 태양에 따라, 일련의 화상들을 나타내는 비디오 신호를 수신하기 위한 입력을 포함하고 부호화된 화상들을 발생시키기 위한 비디오 부호기로서, 상기 부호기는 비-시간적 예측 및 시간적 예측 양자를 채용하도록 정해지는 비디오 부호기에 있어서, 다른 하나의 화상의 시간적 예측에 대한 참조 화상을 형성하는 각 화상에 대해, 상기 부호화된 비디오 신호내의 다른 참조 화상들에 관하여 상기 부호화된 비디오 신호내의 상기 참조 화상의 시간적 순서를 나타내는 표시자를 각각의 참조 화상과 연관시키도록 정해지는 것을 특징으로 하는 비디오 부호기가 제공된다.

바람직하기로는, 참조 화상이 부호화될 때마다 상기 표시자는 증가된다.

본 발명의 제5 태양에 따라, 일련의 화상들을 나타내는 부호화된 비디오 신호를 수신하기 위한 입력을 포함하는 비디오 복호기로서, 상기 복호기는 각 수신된 화상을 복호화하기 위한 비디오 복호기에 있어서, 다른 화상에 대한 참조 화상을 형성하는 복호화되는 각 화상에 대해 참조 프레임의 시간적 순서를 나타내는 표시자를 검사하도록 정해지고, 상기 표시자가 바로 이전 복호화된 참조 프레임으로부터 연속하여 뒤따르지 않는 경우, 손실된 참조 프레임을 검출하도록 정해지는 것을 특징으로 하는 비디오 복호기가 제공된다.

본 발명은 또한 기술되는 바와 같은 부호기 및/또는 복호기를 포함하는 휴대용 무선 통신 장치에 관련이 있다.

본 발명의 바람직한 일 실시예로서, 부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 방법은 부호화된 비디오 신호 내의 참조 화상들의 부호화 순서를 각각의 시퀀스 표시자 값들과 함께 표시하는 단계를 포함하고, 상기 시퀀스 표시자 값들은 부호화 순의 연속 참조 화상들이 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수에 관계없이 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 할당되는 독립적인 넘버링 구조를 지닌다.

바람직하게, 상기 시퀀스 표시자 값들은 연속적으로 부호화된 참조 화상들 간에서 1씩 증가되는 단계를 포함한다.

바람직하게, 화상 헤더 내에 시퀀스 표시자 값을 포함하는 단계를 포함한다.

바람직하게, H.263 표준에 따라 상기 비디오 신호를 부호화하는 단계 및 H.263 비트스트림의 보충 확장 정보(Supplemental Enhancement Information) 내에 각각의 시퀀스 표시자 값들을 포함하는 단계를 포함한다.

바람직하게, 시퀀스 표시자 값과 화상 전체를 관련시키는(associate) 단계를 포함한다.

바람직하게, 시퀀스 표시자 값과 화상의 일부를 관련시키는 단계를 포함한다.

바람직하게, 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더 내에 시퀀스 표시자 값을 포함한다.

바람직하게, 복수개의 계층들에 부호화된 비디오 신호를 생성하기 위해 멀티-계층 코딩을 이용하여 상기 비디오 신호를 부호화하는 단계 및 상기 멀티-계층 코딩된 비디오 신호의 사이 복수의 계층들 각각에 대해 각각의 시퀀스 표시자 값들을 제공하는 단계를 포함한다.

본 발명의 바람직한 일 실시예로서, 화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하는 방법은 복호화된 참조 화상들에 할당된 각각의 시퀀스 표시자 값들 내의 차이를 식별하여 부호화 순으로 상기 복호화된 참조 화상들을 검사하는 단계로서, 상기 시퀀스 표시자 값들은 부호화 순의 연속 참조 화상들이 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수에 관계없이 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 할당되는 독립적인 넘버링 구조를 지니는, 검사단계; 및 참조 화상의 손실을 검출하기 위해 상기 기설정된 양을 지닌 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하는 단계;를 포함한다.

바람직하게, 상기 식별된 차이가 상기 기설정된 양과 다른 경우 비-시간적 예측 방식으로 부호화된 화상을 제공하라는 인코더에 대한 요청을 전송하는 단계;를 더 포함한다.

바람직하게, 상기 시퀀스 식별자 값들이 인코딩 순의 연속 참조 화상들에 1 씩 다르게 할당될 때, 상기 비교단계에서 기설정된 양으로 1 값을 이용하는 단계를 포함한다.

바람직하게, 화상 헤더에서 시퀀스 표시자 값을 획득하는 단계를 포함한다.

바람직하게, H.263 표준에 따라 부호화된 상기 비디오 신호를 수신하는 단계 및 H.263 비트 스트림의 보충 확장 정보(Supplemental Enhancement Information)로부터 시퀀스 표시자 값을 획득하는 단계를 포함한다.

바람직하게, 시퀀스 표시자 값은 화상 전체와 관련이 있다.

바람직하게, 시퀀스 표시자 값은 화상의 일부와 관련이 있다.

바람직하게, 시퀀스 표시자 값은 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더로부터 획득되는 단계를 포함한다.

바람직하게, 복수개의 계층들을 포함하는 부호화된 비디오 신호의 각 계층에 제공되는 시퀀스 표시자 값들에서 식별되는(identified) 차이점을 상기 계층들 내의 참조 화상들의 손실을 검출하기 위해 검사하는 단계를 포함한다.

본 발명의 바람직한 일 실시예로서, 부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 인코더는 부호화된 비디오 신호 내의 참조 화상들의 인코딩 순서를 각각의 시퀀스 표시자 값들과 함께 표시하고, 상기 시퀀스 표시자 값들은 부호화 순의 연속 참조 화상들이 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수에 관계없이 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 할당되는 독립적인 넘버링 구조를 지닌다.

바람직하게, 상기 인코더는 상기 시퀀스 표시자 값들을 연속적으로 부호화된 참조 화상들 간에서 1씩 증가시키는 것을 특징으로 한다.

바람직하게, 상기 인코더는 화상 헤더 내의 시퀀스 표시자 값을 포함한다.

바람직하게, H.263 표준에 따라 상기 비디오 신호를 부호화하고 H.263 비트스트림의 보충 확장 정보(Supplemental Enhancement Information) 내에 각각의 시퀀스 표시자 값들을 포함한다.

바람직하게, 상기 인코더는 시퀀스 표시자 값과 화상 전체를 관련시키는 것을 특징으로 한다.

바람직하게, 상기 인코더는 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더 내에 시퀀스 표시자 값을 포함한다.

바람직하게, 상기 인코더는 복수의 계층들에 부호화된 비디오 신호를 제공하기 위해 멀티-계층 코딩을 이용하는 상기 비디오 신호를 부호화하고 상기 멀티-계층 코딩된 비디오 신호의 각각의 상기 복수의 계층에 대해 각각의 시퀀스 표시자 값들을 제공한다.

본 발명의 바람직한 일 실시예로서, 화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하는 디코더는 복호화된 참조 화상들에 할당된 각각의 시퀀스 표시자 값들 내의 차이를 식별하여 부호화 순으로 상기 복호화된 참조 화상들을 검사하고, 상기 시퀀스 표시자 값들은 부호화 순의 연속 참조 화상들이 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수에 관계없이 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 할당되는 독립적인 넘버링 구조를 지니며, 그리고 참조 화상의 손실을 검출하기 위해 상기 기설정된 양을 지닌 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하는 것을 특징으로 한다.

바람직하게, 상기 디코더는 또한 상기 식별된 차이가 상기 기설정된 양과 다른 경우 비-시간적 예측 방식으로 부호화된 화상을 제공하라는 인코더에 대한 요청을 전송하는 것을 특징으로 한다.

바람직하게, 상기 디코더는 상기 시퀀스 식별자 값들이 인코딩 순의 연속 참조 화상들에 1 씩 다르게 할당될 때, 상기 비교시 기설정된 양으로 1 값을 이용하는 것을 특징으로 한다.

바람직하게, 상기 디코더는 화상 헤더에서 시퀀스 표시자 값을 획득하는 것을 특징으로 한다.

바람직하게, 상기 디코더는 H.263 표준에 따라 부호화된 상기 비디오 신호를 수신하고 H.263 비트 스트림의 보충 확장 정보(Supplemental Enhancement Information)로부터 시퀀스 표시자 값을 획득하는 것을 특징으로 한다.

바람직하게, 시퀀스 표시자 값은 화상 전체와 관련이 있는 것을 특징으로 한다.

바람직하게, 시퀀스 표시자 값은 화상의 일부와 관련이 있는 것을 특징으로 한다.

바람직하게, 상기 디코더는 시퀀스 표시자 값을 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더로부터 획득하는 것을 특징으로 한다.

바람직하게, 상기 디코더는 복수의 계층들을 포함하는 부호화된 비디오 신호의 각 계층에 제공되는 시퀀스 표시자 값들에서 식별된 차이들을 상기 계층들 내의 참조 화상들의 손실을 검출하기 위해 검사하는 것을 특징으로 한다.

본 발명의 바람직한 일 실시예로서, 이상에 기술한 인코더 또는 디코더를 포함하는 휴대용 무선 통신 기기를 포함한다.

본 발명의 바람직한 일 실시예로서, 이상에 기술한 인코더 또는 디코더를 포함하는 멀티미디어 단말 기기를 포함한다.

본 발명의 바람직한 일 실시예로서, 부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 장치로서, 상기 장치는 부호화된 비디오 신호 내의 참조 화상들의 인코딩 순서를 각각의 시퀀스 표시자 값들과 함께 표시하고, 상기 시퀀스 표시자 값들은 부호화 순의 연속 참조 화상들이 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수에 관계없이 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 할당되는 독립적인 넘버링 구조를 지니는 것을 특징으로 한다.

본 발명의 바람직한 일 실시예로서, 화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하는 장치는 복호화된 참조 화상들에 할당된 각각의 시퀀스 표시자 값들 내의 차이를 식별하여 부호화 순으로 상기 복호화된 참조 화상들을 검사하고, 상기 시퀀스 표시자 값들은 부호화 순의 연속 참조 화상들이 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수에 관계없이 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 할당되는 독립적인 넘버링 구조를 지니며, 그리고 참조 화상의 손실을 검출하기 위해 상기 기설정된 양을 지닌 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하는 것을 특징으로 한다.

본 발명의 바람직한 일 실시예로서, 화상들 시퀀스의 참조 화상들의 부호화 순을 표시하기 위해 각 시퀀스 표시자 값들을 포함하는 상기 화상들 시퀀스의 부호화된 표현물(representation)은 상기 시퀀스 표시자 값들은 부호화 순의 연속 참조 화상들이 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수에 관계없이 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 할당되는 독립적인 넘버링 구조를 지닌다.

본 발명의 바람직한 일 실시예로서, 화상들 시퀀스의 참조 화상들의 부호화 순을 표시하기 위해 각 시퀀스 표시자 값들을 포함하는 상기 화상들 시퀀스의 부호화된 표현물(representation)인 것을 특징으로 한다.

바람직하게, 연속적으로 부호화된 참조 화상들 간의 상기 시퀀스 표시자 값은 1씩 증가되는 것을 특징으로 한다.

바람직하게, 상기 시퀀스 표시자 값은 화상 헤더에 포함되는 것을 특징으로 한다.

바람직하게, H.263 비디오 코딩 표준에 따라 부호화되고 H.263 비트스트림의 보충 확장 정보(Supplemental Enhancement Information) 내에 상기 시퀀스 표시자 값이 포함되는 것을 특징으로 한다.

바람직하게, 상기 시퀀스 표시자 값은 화상 전체와 관련되는 것을 특징으로 한다.

바람직하게, 상기 시퀀스 표시자 값은 화상의 일부와 관련되는 것을 특징으로 한다.

바람직하게, 상기 시퀀스 표시자 값은 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더내에 포함되어 있는 것을 특징으로 한다.

바람직하게, 화상들 시퀀스의 부호화된 표현물은 연속적으로 부호화된 참조 화상들의 상기 시퀀스 표시자 값들은 1씩 증가되는 차이가 있는 것을 특징으로 한다.

본 발명은 비-시간적(non-temporal) 예측 및 시간적(temporal) 예측 양자를 채용하여 일련의 화상들을 나타내는 비디오 신호를 부호화한다.

도 1은 멀티미디어 이동 통신 시스템을 나타낸다.
도 2는 멀티미디어 단말기의 멀티미디어 구성요소들의 예를 나타낸다.
도 3은 비디오 코덱의 예를 나타낸다.
도 4는 본 발명의 제1 실시예에 따른 비디오 부호기의 제1 구현의 동작을 나타낸다.
도 5는 본 발명의 제1 실시예에 따른 비디오 부호기의 제2 구현의 동작을 나타낸다.
도 6은 H.263에 따라 알려진 비트 스트림의 구문을 나타낸다.
도 7은 본 발명에 따른 부호기에 의해 출력되는 비트 스트림의 제1 예를 나타낸다.
도 8은 본 발명에 따른 부호기에 의해 출력되는 비트 스트림의 제2 예를 나타낸다.
도 9는 본 발명에 따른 부호기에 의해 출력되는 비트 스트림의 제3 예를 나타낸다.
도 10은 SNR 스케일러빌리티(scalability)에 대한 비디오 부호화에서 사용되는 확장 층들을 나타낸다.
도 11은 공간 스케일러빌리티에 대한 비디오 부호화에서 사용되는 확장 층들을 나타낸다.

도 1은 전형적인 멀티미디어 이동 통신 시스템을 나타낸다. 제1 멀티미디어 이동 단말기(1)는 이동 통신 네트워크(4)로의 무선 링크(3)를 경유하여 제2 멀티미디어 이동 단말기(2)와 통신한다. 멀티미디어 데이터뿐만 아니라 제어 데이터도 상기 2개의 단말기(1, 2)간에 전송된다.

도 2는 단말기(1)의 전형적인 멀티미디어 구성요소들을 나타낸다. 상기 단말기는 비디오 코덱(10), 오디오 코덱(20), 데이터 프로토콜 관리자(30), 제어 관리자(40), 멀티플렉서/디멀티플렉서(50) 및 모뎀(60)(필요한 경우)을 포함한다. 상기 비디오 코덱(10)은 상기 단말기의 비디오 캡쳐 장치(미도시)(예를 들어 카메라)로부터의 부호화를 위한 신호들을 수신하고 단말기(1)에 의한 디스플레이(70)상에 디스플레이를 위한 원격 단말기(2)로부터의 복호화를 위한 신호들을 수신한다. 상기 오디오 코덱(20)은 상기 단말기(1)의 마이크로폰(미도시)으로부터의 부호화를 위한 신호들을 수신하고 상기 단말기(1)의 스피커(미도시)에 의한 재생을 위해 원격 단말기(2)로부터의 복호화를 위한 신호들을 수신한다.

상기 제어 관리자(40)는 상기 비디오 코덱(10), 상기 오디오 코덱(20) 및 상기 데이터 프로토콜 관리자(30)의 동작을 제어한다. 그러나, 본 발명은 상기 비디오 코덱(10)의 동작에 관련되기 때문에, 상기 오디오 코덱(20) 및 프로토콜 관리자(30)에 대한 추가 검토는 제공되지 않을 것이다.

도 3은 본 발명에 따른 비디오 코덱(10)의 예를 나타낸다. 상기 비디오 코덱은 부호기 부분(100) 및 복호기 부분(200)을 포함한다. 상기 부호기 부분(100)은 상기 단말기(1)의 카메라 또는 비디오 소스(미도시)로부터 비디오 신호를 수신하기 위한 입력(101)을 포함한다. 스위치(102)는 부호화의 인트라-모드 및 인터-모드 사이에서 상기 부호기를 스위칭한다.

인트라-모드(INTRA-mode)에 있어서, 상기 입력(101)으로부터의 비디오 신호는 DCT 변환기(103)에 의해 DCT 계수들로 변환된다. 상기 DCT 계수들은 그 다음 상기 계수들을 양자화하는 양자화기(104)에 전달된다. 상기 스위치(102) 및 상기 양자화기(104) 양자는 상기 비디오 코덱의 부호화 제어 관리자(105)에 의해 제어된다. 상기 부호화 제어 관리자(105)는 또한 상기 제어 관리자(40)에 의하여 상기 수신 단말기(2)로부터 피드백 제어를 수신한다.

인터-모드(INTER-mode)에 있어서, 상기 스위치(102)는 상기 입력(101)으로부터의 신호 및 화상 저장부(107)에 저장된 이전 화상간의 차이를 감산기(106)로부터 받아들이도록 동작된다. 상기 감산기(106)로부터 출력된 차이 데이터는 현재 화상 및 상기 화상 저장부(107)에 저장된 이전 화상간의 예측 에러를 나타낸다. 상기 화상 저장부(107)내의 데이터는 상기 양자화기에 의해 출력된 데이터를 역 양자화기(108)를 통해 통과시키고 상기 역-양자화된 데이터에 역 DCT 변환(109)을 인가함으로써 생성된다. 그 결과 데이터는 가산기(110)에 의해 상기 화상 저장부(107)의 내용들에 추가된다. 움직임 예측기(111)는 종래의 방식으로 상기 화상 저장부(107)내의 데이터로부터 움직임 보상 데이터를 생성할 수 있다.

상기 부호화 제어 관리자(105)는 인트라 부호화를 적용할지 또는 인터 부호화를 적용할지를 결정하거나 수신 복호기의 수신된 피드백 제어 데이터에 응답하여 또는 상기 감산기(106)의 출력을 기초로 하여 프레임을 부호화할지를 결정한다. 피드백 제어 데이터에 응답하지 않는 경우, 상기 부호기는 전형적으로 부호화의 시작시에만(다른 모든 프레임들이 P-프레임들이다) 또는 규칙적인 간격으로, 예를 들어 5초마다, 또는 상기 감산기의 출력이 임계값을 초과하는 경우, 즉 현재 화상 및 상기 화상 저장부(107)에 저장된 화상이 거의 유사하지 않은 경우 인트라-프레임으로서 프레임을 부호화한다. 상기 부호기는 또한 특정 규칙 순서로, 예를 들어 I B B P B B P B B P B B P B B I B B P 등으로 프레임들을 부호화하도록 프로그래밍될 수 있다. 더욱이 상기 부호화 제어 관리자는 수신된 프레임을 전혀 부호화하지 않도록 결정할 수 있다. 이것은 현재 프레임 및 참조 프레임간의 유사성이 너무 높아서 부호기가 현재 프레임을 부호화하지 않도록 결정하는 경우 발생한다. 상기 부호화 제어 관리자는 그에 따라서 상기 스위치를 동작한다.

상기 비디오 코덱은 양자화된 DCT 계수들(112a), 양자화 인덱스(112b)(즉, 사용된 양자화기의 상세), 수행되는 부호화의 모드를 나타내는 인트라/인터 플래그(112c)(I 또는 P/B), 부호화되는 프레임의 수를 나타내는 전송 플래그(112d) 및 부호화되는 화상을 위한 움직임 벡터들(112e)을 출력한다. 이들은 다른 멀티미디어 신호들과 함께 상기 멀티플렉서(50)에 의해 함께 멀티플렉싱된다.

상기 비디오 코덱(10)의 상기 복호기 부분(200)은 역 양자화기(120), 역 DCT 변환기(121), 움직임 보상기(122), 화상 저장부(123) 및 제어기(124)를 포함한다. 상기 제어기(124)는 부호화된 멀티미디어 스트림으로부터 상기 디멀티플렉서(50)에 의해 디멀티플렉싱된 비디오 코덱 제어 신호들을 수신한다. 실제로 상기 부호기의 제어기(105) 및 상기 복호기의 제어기(124)는 동일한 프로세서일 수 있다.

본 발명에 따른 부호기의 동작이 이하 기술될 것이다. 상기 비디오 코덱(10)은 부호화될 비디오 신호를 수신한다. 상기 비디오 코덱의 상기 부호기(100)는 DCT 변환, 양자화 및 움직임 보상을 수행함으로써 상기 비디오 신호를 부호화한다. 상기 부호화된 비디오 데이터는 그 다음 상기 멀티플렉서(50)에 출력된다. 상기 멀티플렉서(50)는 상기 비디오 코덱(10)으로부터의 비디오 데이터 및 상기 제어 관리자(40)로부터의 제어 데이터(뿐만 아니라 적합한 경우 다른 신호들)를 멀티미디어 신호에 멀티플렉싱한다. 상기 단말기(1)는 상기 모뎀(60)(필요한 경우)을 경유하여 수신 단말기(2)에 상기 멀티미디어 신호를 출력한다.

본 발명의 제1 실시예에 있어서, 부호기가 다음 프레임에 대한 참조 프레임을 형성할 수 있는 프레임을 부호화할 때마다, 상기 부호화 제어 관리자(105)는 소위 참조 화상 순서 번호(RPON; Reference Picture Order Number)를 상기 프레임과 연관시킨다. 예를 들어, RPON은 비디오 신호의 모든 I 또는 P 프레임과 연관되지만 B-프레임과는 연관되지 않는다. 연속하는 참조 화상이 부호화될 때마다 상기 RPON 값은 바람직하기로는 1씩 증가된다.

상기 부호화 제어 관리자(105)는 부호화된 프레임과 연관된 참조 화상 순서 번호를 나타내는 RPON 부호워드를 출력(112f)상에 출력한다. 이것은 멀티플렉서에 의해 비디오 비트스트림으로 멀티플렉싱된다.

도 4는 부호기의 동작을 나타낸다. 이 실시예에서, 상기 부호기는 부호화되는 프레임 및 참조 프레임간의 유사성이 제1 임계값보다 더 작은 경우, 즉 상기 감산기(106)로부터의 출력이 제1 임계값보다 더 큰 경우 I-프레임을 출력하도록 정해진다. 그렇지 않은 경우 상기 부호기는 P-프레임들을 출력한다. 도 4의 제1 라인은 캡쳐 입력 장치로부터 수신되고 입력(101)상에 상기 비디오 부호기에 입력된 데이터의 프레임들을 나타낸다. 도 4의 제2 라인은 부호기가 부호화하기로 결정한 입력 신호의 프레임들 및 각 프레임을 부호화하는데 사용되는 부호화 모드를 나타낸다. 상술된 바와 같이, 부호화 제어 관리자는 프레임이 부호화되지 않을 것을 결정할 수 있다: 이것은 도 4에서 프레임들(2, 3 및 11)이 부호화되지 않는다는 사실에 의해 예시된다.

프레임 1은 인트라-모드로 부호화된다; 프레임 4는 프레임 1을 참조하여 P-프레임으로서 부호화된다; 프레임 5는 프레임 4를 참조하여 P-프레임으로서 부호화된다; 프레임 6은 프레임 5를 참조하여 P-프레임으로서 부호화된다; 프레임 7은 프레임 6을 참조하여 P-프레임으로서 부호화된다; 프레임 8은 I-프레임으로서 부호화된다; 프레임 9는 프레임 8을 참조하여 P-프레임으로서 부호화된다; 프레임 10은 프레임 9를 참조하여 P-프레임으로서 부호화된다; 프레임 12는 프레임 10을 참조하여 P-프레임으로서 부호화된다.

이 실시예에 있어서 부호화된 프레임들의 모두(최종은 제외)는 더 나중 프레임에 대한 참조 프레임으로서 역할을 한다. 따라서 도 4의 제3 라인에 표시된 바와 같이, RPON은 부호화되는 모든 프레임들과 연관된다. 볼 수 있는 바와 같이, 상기 RPON은 매번 1씩 증가된다.

도 4의 제4 라인은 부호화된 프레임의 시간적 참조(TR; Temporal Reference)를 나타낸다. 이것은 H.263에 포함되는 필드이고, TR의 값은 시간적으로 이전 참조 화상 헤더의 값을 이전 전송된 화상 이후로 생략된(skipped) 또는 비-참조(non-reference) 화상들의 수 더하기 1만큼 증가시킴으로써 형성된다. 따라서 도 4에 도시된 예에 있어서 각 프레임에 대해 표시된 TR은 스위치(102)에 입력된 원래 신호의 원래 번호와 동일하다.

도 5는 본 발명에 따른 부호기의 제2 실시예를 나타낸다. 이 실시예에 있어서, 상기 부호기는 규칙적인 순서 I B B P B B P B B P B B P B B I B B P에 따라 프레임들을 부호화하도록 정해진다. 도 5의 제1 라인은 입력 프레임들을 나타내고 제2 라인은 부호화된 프레임들 및 그들의 부호화 모드(I, P 또는 B)를 나타낸다.

프레임들은 1, 2, 3, 4, 5, 6 등의 순서로 비디오 캡쳐 장치로부터 수신되고 이 순서로 디스플레이된다. 즉 복호화된 프레임들은 I1, B2, B3, P4, B5, B6, P7 등의 순서로 디스플레이된다. 그러나 비디오 비트 스트림은 다음 순서, I1, P4, B2, B3, P7, B5, B6 등의 순서로 압축되고 전송되며 복호화된다. 이것은 각 B-프레임이 부호화/복호화될 수 있기 전에 각 B-프레임은 이전 및 다음 참조 프레임들을 필요로 하기 때문이다. 즉, 프레임(B2)이 부호화/복호화될 수 있기 전에 프레임(B2)은 프레임(I1 및 P4)이 부호화/복호화되는 것을 필요로 한다.

상술된 바와 같이, B-프레임들은 I- 및/또는 P-프레임들의 앵커 화상 쌍들 사이에 삽입되고 이들 앵커 화상들 중의 하나 또는 양자로부터 예측된다. 따라서 도 5에 제공된 예에 있어서, 프레임 1은 인트라-모드로 부호화된다; 프레임 4는 프레임 1 및/또는 6을 참조하여 B-프레임으로서 부호화된다; 프레임 5는 프레임 1 및/또는 6을 참조하여 B-프레임으로서 부호화된다; 프레임 6은 프레임 1을 참조하여 P-프레임으로서 부호화된다; 프레임 7은 프레임 6 및/또는 9를 참조하여 B-프레임으로서 부호화된다; 프레임 8은 프레임 6 및/또는 9를 참조하여 B-프레임으로서 부호화된다; 프레임 9는 프레임 6을 참조하여 P-프레임으로서 부호화된다; 프레임 10은 프레임 9 및/또는 13(미도시)을 참조하여 B-프레임으로서 부호화된다; 프레임 11은 프레임 9 및/또는 13을 참조하여 B-프레임으로서 부호화된다; 등.

이 실시예에 있어서, 부호화된 시퀀스의 각 I-프레임 및 P-프레임은 다른 프레임에 대한 참조 프레임으로서 역할을 한다. 그러나 B-프레임은 어떤 다른 프레임에 대한 참조 화상으로서 역할을 하지 않는다. 따라서 도 5의 제3 라인에 표시된 바와 같이, RPON은 모든 I-프레임들 및 P-프레임들과 연관된다. 볼 수 있는 바와 같이, 상기 RPON은 매번 1씩 증가된다. 따라서 프레임 1(I-프레임)은 1인 RPON을 갖고, 프레임 4(P-프레임)는 2인 RPON을 가지며, 프레임 9(P-프레임)는 3인 RPON을 갖는다.

도 5의 제4 라인은 부호화된 프레임의 시간적 참조(TR)를 나타낸다. 도 4에 도시된 예에서와 같이, 각 프레임에 대해 표시된 TR은 비디오 코덱(10)에 입력된 원래 신호의 발생 순서와 동일하다.

단말기(1)를 단말기(2)로부터 부호화된 비디오 데이터를 수신하는 것으로 고려하는 경우, 그 복호화 역할에 관련하여 비디오 코덱(10)의 동작이 이하 기술될 것이다. 단말기(1)는 전송 단말기(2)로부터 멀티미디어 신호를 수신한다. 디멀티플렉서(50)는 멀티미디어 신호를 디멀티플렉싱하고 비디오 데이터를 비디오 코덱(10)에 그리고 제어 데이터를 제어 관리자(40)에 전달한다. 상기 비디오 코덱의 복호기(200)는 부호화된 비디오 데이터를 역 양자화하고 역 DCT 변환하며 움직임 보상함으로써 상기 부호화된 비디오 데이터를 복호화한다. 상기 복호기의 제어기(124)는 수신된 데이터의 완전성(integrity)을 체크하고, 에러가 검출되는 경우, 후술되는 방식으로 에러를 은폐하려고 시도한다. 복호화되고 정정되며 은폐된 비디오 데이터는 그 다음 수신 단말기(1)의 디스플레이(70)에 재생을 위해 출력된다.

비디오 데이터에서의 에러들은 화상 레벨로, GOB 레벨로 또는 매크로블록 레벨로 발생할 수 있다. 에러 체크는 이들 레벨들 중의 어느 하나 또는 모두로 수행될 수 있다.

우선 도 4에 도시된 바와 같은 신호를 고려해보면, 본 발명에 따른 복호기가 이 신호를 수신하는 경우 상기 신호의 각 프레임은 종래의 방식으로 복호화되고 그 다음 디스플레이 수단에 디스플레이된다. 복호화된 프레임은 종래의 방식으로 에러가 정정될 수 있고 에러가 은폐될 수 있다. 하나의 프레임이 복호화될 때마다, 상기 복호기는 상기 프레임이 디스플레이 될 때를 결정하기 위하여 TR 필드를 검사한다. TR들이 연속적이지 않은 경우(예를 들어 복호기는 TR=1을 갖는 프레임을 수신하고 그 다음 TR=4를 갖는 프레임을 수신한다), 상기 복호기는 종래와 같이, 보통 프레임 간격의 3배 동안 디스플레이 상에서 프레임 1을 유지한다. 상기 복호기는 또한 수신된 프레임들의 RPON을 검사한다. 도 4에 도시된 경우에 있어서, 상기 복호기는 프레임 1을 수신하고 이 프레임이 RPON=1을 가진 것을 발견한다; 상기 복호기는 그 다음 TR=4 및 RPON=2를 갖는 프레임을 수신한다. 복호기는 현재 수신된 프레임의 RPON을 이전에 수신된 프레임의 RPON과 비교하고 RPON 값들간의 차이를 계산한다. 이 경우에 그 차이가 1이고 복호기는 따라서 현재 프레임 및 이전에 복호화된 참조 프레임간에 어떠한 참조 화상들도 손실되지 않았다는 것을 알게 된다. 복호기는 따라서 종래의 방식으로 상기 신호를 복호화하는 것을 계속한다.

이하 복호기가 프레임 5를 재구성할 수 없고(이것은 크게 손상되거나 완전히 손실된 데이터에 기인할 수 있다) 복호기에 의해 수신되고 복호화되는 다음 프레임은 프레임 6이라고 가정해보자. 복호기는 현재 수신된 프레임(프레임 6)의 RPON을 이전에 수신되고 복호화된 참조 프레임(프레임 4)의 RPON과 비교하고 RPON 값들간의 차이를 계산한다. 이 경우에 그 차이가 2이고 복호기는 따라서 현재 프레임의 전송 및 이전 프레임의 전송 사이에 참조 화상이 손실되었다는 것을 알게 된다. 복호기가 전송 비디오 부호기에 제어 피드백 데이터를 전송하는 기능을 구비하는 경우 상기 복호기는 전송 비디오 부호기에 인트라-프레임으로서 프레임을 부호화하도록 하는 요청을 전송할 수 있고 따라서 프레임 4를 참조하여 복호화되는 프레임 6으로부터 기인하는 시간적 에러 전파를 중지시킬 수 있다.

이제 도 5에 도시된 바와 같은 신호를 고려해보면, 본 발명에 따른 복호기는 이 신호를 수신하는 경우 상기 신호의 각 프레임은 종래의 방식으로 복호화되고 그 다음 디스플레이 수단에 디스플레이된다. 복호화된 프레임은 종래의 방식으로 에러가 정정될 수 있고 에러가 은폐될 수 있다. 하나의 프레임이 복호화될 때마다, 상기 복호기는 상기 프레임이 디스플레이 될 때를 결정하기 위하여 TR 필드를 검사한다. 복호기는 또한 수신된 프레임들의 RPON을 검사한다.

도 5에 도시된 경우에 있어서, 복호기는 프레임 1을 수신하고 이 프레임이 RPON=1을 갖는 것을 발견한다. 복호기는 이 프레임을 종래의 인트라-모드 방식으로 복호화한다. 그 다음 복호기에 의해 수신된 다음 프레임은 프레임 6이고, TR=6 및 RPON=2를 갖는다. 복호기는 현재 수신된 프레임(프레임 6)의 RPON을 이전에 수신되고 복호화된 참조 프레임(프레임 1)의 RPON과 비교하고 RPON간의 차이를 계산한다. 이 경우에 그 차이는 1이고 복호기는 따라서 현재 프레임의 전송 및 이전 복호화된 참조 프레임의 전송 사이에 어떠한 참조 화상들도 손실되지 않았다는 것을 알게 된다. 복호기는 그 다음 프레임 1을 참조하여 프레임 6을 복호화한다.

복호기는 그 다음 TR=4를 갖지만 RPON은 없는 프레임을 수신한다. 이 경우에 복호기는 RPON을 추가로 이용하지 않고 복호화된 프레임들(1 및 6)을 참조하여 프레임 4를 복호화한다.

이제 복호기가 프레임 5를 재구성할 수 없다고 가정해보자(이것은 크게 손상되거나 완전히 손실된 데이터에 기인할 수 있다). B-프레임 5가 손실되었다는 사실은 B-프레임은 어떤 다른 프레임에 대한 참조 화상을 형성하지 않기 때문에 복호기에 중요하지 않다. 따라서 그 손실은 어떤 시간적 에러 전파를 도입하지 않을 것이다.

수신되는 다음 프레임은 프레임 9이다. 그러나, 이제 복호기가 P-프레임인 프레임 9를 재구성할 수 없다고 가정해보자(이것은 크게 손상되거나 완전히 손실된 데이터에 기인할 수 있다). 복호기는 따라서 프레임들(7, 8, 10, 또는 12)중에서 어느 것도 성공적으로 복호화할 수 없을 수 있는데, 이것은 이들 프레임들은 모두, 적어도 부분적으로 프레임 9를 참조하여 예측될 수 있기 때문이다. 전형적으로, 이 경우에, 복호기는 디스플레이되는 화상을 정지시킬 것이다.

복호기에 의해 수신되고 복호화되는 다음 프레임은 프레임 13이다. 복호기는 현재 수신된 참조 프레임(프레임 13)의 RPON을 이전에 수신되고 복호화된 참조 프레임(프레임 6)의 RPON과 비교하고 RPON간의 차이를 계산한다. 이 경우에, 그 차이는 2이고 복호기는 따라서 현재 프레임 및 이전에 복호화된 참조 프레임 사이에 참조 화상이 손실되었다는 것을 알게 된다. 복호기가 전송 비디오 부호기에 제어 피드백 데이터를 전송하는 기능을 구비하는 경우 상기 복호기는 전송 비디오 부호기에 인트라-프레임으로서 프레임을 부호화하도록 하는 요청을 전송할 수 있고 따라서 프레임 6을 참조하여 복호화되는 프레임 13으로부터 기인하는 시간적 에러 전파를 중지시킬 수 있다.

이제 참조 화상 순서 번호가 부호화된 신호에 포함될 수 있는 방법이 H.263 비디오 부호화 표준을 참조하여 언급될 것이다.

도 6은 H.263에 따라 알려진 바와 같은 비트 스트림의 구문을 나타낸다. 다음 구현은 GOB 형식을 기술하지만 본 발명은 또한 슬라이스 형식으로 구현될 수 있다는 것이 당업자에게 명백할 것이다.

상술된 바와 같이, 비트 스트림은 4개의 층들을 구비한다: 화상 층, 화상 세그먼트 층, 매크로블록 층 및 블록 층. 상기 화상 층은 화상 헤더, 그 다음 블록들의 그룹에 대한 데이터, 마지막으로 그 다음 어떤 옵션의 시퀀스 끝(end-of-sequence) 부호 및 채워넣기(stuffing) 비트들을 포함한다.

선행기술 H.263 비트 스트림은 도 6에 도시된 바와 같은 형식을 갖는다. 각 부분에 대한 서술자(descriptor)는 이하 제공된다:

PSC 화상 시작 부호(PSC; picture start code)는 화상의 시작을 나타낸다.

TR 시간적 참조(TR; Temporal Reference)는 시간적으로 이전 참조 화상 헤더의 값을 이전에 전송된 것 이후에 생략되거나 비-참조된 화상들의 수 더하기 1만큼을 증가시킴으로써 형성된다.

PTYPE 다른 것들 중에서, PTYPE은 화상 부호화 유형의 상세, 즉 인트라 또는 인터를 포함한다.

PQUANT 어떤 다음의 양자화기 정보에 의해 갱신될 때까지 화상에 대해 사용되는 양자화기를 나타내는 부호워드.

CPM 옵션의 계속 존재 다중점 및 비디오 멀티플렉스(CPM) 모드의 사용을 신호하는 부호워드.

PSBI 화상 서브-비트 스트림 표시자 - CPM이 세팅되는 경우에만 존재

TR_B 프레임이 양방향으로 예측된 프레임인 경우에 존재(PB-프레임으로 알려진)

DBQUANT 양방향 프레임인 경우 존재

PEI 이것은 여분의 삽입 정보에 관한 것이고 다음의 옵션의 데이터 필드들(PSUPP 및 PEI)의 존재를 나타내기 위하여 "1"로 세팅된다. PSUPP 및 PEI는 함께 보충 확장 정보로 알려져 있고, 추가로 H.263의 부록 L에 정의된다.

GOBS 현재 화상에 대한 블록들의 그룹에 대한 데이터이다.

ESTF EOS 전에 바이트 정렬을 달성하기 위해 제공되는 채워넣기 부호워드.

EOS 화상의 데이터 시퀀스의 끝을 나타내는 부호워드.

PSTUF 다음 화상 시작 부호(PSC)의 바이트 정렬을 허용하기 위한 채워넣기 부호워드.

도 4에 도시된 구조는 옵션의 PLUSTYPE 데이터 필드를 포함하지 않는다. PSBI는 CPM에 의해 표시되는 경우에만 존재한다. TR_B 및 DBQUANT는 PTYPE이 소위 PB 프레임 모드의 사용을 나타내는 경우에만 존재한다(그렇지 않은 경우 PLUSTYPE 필드가 존재하고 DBQUANT의 사용이 그 안에 표시된다). 이들 논점들은 H.263 사양에 더 상세하게 언급된다.

다음 단락들은 본 발명의 제1 태양에 따른 부호기에 의한 비트-스트림 출력의 가능한 구현들을 약술한다.

참조 화상 순서 번호는 다음과 같이 H.263 비트 스트림에 포함될 수 있다. 도 7은 본 발명의 제1 구현에 따른 부호기에 의해 출력되는 비트 스트림의 예를 나타낸다. 도 7에 도시된 바와 같이, 비트 스트림은 참조 화상 순서 번호를 나타내는 부호워드인 추가의 부호워드 RPON를 포함한다. 이것은 상술된 바와 같이 본 발명에 따른 부호기에 의해 삽입된다.

*대안으로, 참조 화상 순서 번호는 보충 확장 정보(PSUPP)(H.263의 부록 L 및 도 4를 참조)에 포함될 수 있다. 상기 보충 정보는 비록 복호기가 상기 보충 정보를 사용하거나 또는 적합하게 해석하기 위한 확장된 능력을 제공할 수 없다 하더라도 비트 스트림에 존재할 수 있다. 필요한 능력을 제공하기 위한 요건이 송신기 및 수신기에 의해 협의되지 않은 경우에 복호기들에 의해 간단히 상기 보충 정보를 폐기하는 것이 허용 가능하다.

PEI가 "1"로 세팅되는 경우, 8비트의 데이터(PSUPP) 및 그 다음 추가 9비트들이 뒤따르는지를 나타내기 위한 다른 하나의 PEI 비트로 구성된 9비트들이 뒤따른다.

PSUPP 데이터는 4비트 기능 유형 표시(FTYPE), 그 다음 4비트 매개변수 데이터 크기 상세(DSIZE), 그 다음 기능 매개변수 데이터의 DSIZE 옥텟(octets), 옵션으로 그 다음 다른 하나의 FTYPE 등으로 구성된다. 다음과 같은 다양한 경우들을 신호하기 위해 이 PSUPP 부호워드를 사용하는 것이 알려져 있다: 재크기조정(resizing)을 갖거나 갖지 않는 전체-화상 또는 부분-화상 정지 또는 정지-해제 요청을 나타내기 위하여; 외부 사용을 위한 비디오 스트림내의 특정 화상들 또는 연속된 화상들을 태그하기 위하여; 또는 비디오 합성을 위한 크로마(chroma) 키 정보를 운반하기 위하여.

보충 확장 정보를 사용하는 본 발명을 구현하기 위하여, 추가의 FTYPE이 참조 화상 순서 번호(Reference Picture Order Number)로서 정의된다.

도 8은 매개변수(RPON)가 화상 헤더의 SEI에 포함되는 경우의 예를 나타낸다. FTYPE은 RPON으로서 정의된다. DSIZE는 매개변수의 크기를 명시하고 다음 옥텟은 매개변수 데이터, 즉 RPON의 값이다. 이 값으로부터 수신 복호기는 참조 화상이 손실되었는지를 결정할 수 있다.

대안으로, 상기 정보는 "신규 부록 W의 초안: 추가 보충 확장 정보 사양(Draft of new Annex W: Additional Supplementary Enhancement Information Specification)"(P. Ning and S. Wenger, ITU-T 스터디 그룹 16 논점(Question) 15 문서 Q15-I-58, 1999년 11월)에 명시된 바와 같은 추가 보충 확장 정보에 포함될 수 있다.

이 초안 제안에 있어서, FTYPE 14는 "화상 메시지"로서 정의된다. 이 FTYPE이 세팅되는 경우, 화상 메시지 기능은 메시지 데이터를 나타내는 하나 이상의 옥텟들의 존재를 나타낸다. 상기 메시지 데이터의 제1 옥텟은 도 9에 도시된 구조를 갖는 메시지 헤더, 즉 CONT, EBIT 및 MTYPE이다. DSIZE는 제1 옥텟 메시지 헤더를 포함하는, 화상 메시지 기능에 대응하는 메시지 데이터 내의 옥텟들의 수와 동일하다.

계속 필드(CONT)가 1과 동일한 경우 화상 메시지와 연관된 메시지 데이터가 다음 화상 메시지 기능과 연관된 메시지 데이터와 같은 논리 메시지의 부분이라는 것을 나타낸다. 엔드 비트 위치 필드(EBIT; End Bit Position field)는 최종 메시지 옥텟에서 무시될 최하위 비트들의 수를 명시한다. 이들 필드들의 추가 상세는 상기 언급된 부록 W의 초안에서 발견될 수 있다.

필드 MTYPE은 메시지 유형을 나타낸다. 다양한 유형들의 메시지가 부록 W의 초안에 제시된다. 본 발명에 따라 일 유형, 예를 들어 MTYPE 12는 RPON 또는 화상 번호로서 정의된다. 상기 메시지는 10비트 화상 번호를 운반하는 2개의 데이터 바이트들을 포함한다. 따라서, DSIZE는 3일 것이고, CONT는 0일 것이며, EBIT는 6일 것이다. 화상 번호는 10비트 모듈로(modulo) 연산에서 각 부호화된 그리고 전송된 I 또는 P 화상 또는 PB 또는 개선된 PB 프레임에 대해 1씩 증가될 것이다. EI 및 EP 화상들에 대해, 화상 번호는 동일 스케일러빌리티(scalability) 확장 층내에서 각 EI 또는 EP에 대해 증가될 것이다. B 화상들에 대해, 화상 번호는 비트스트림 순서로 B 화상에 앞서는 B 화상의 참조 층의 가장 최근 비-B(non-B) 화상의 값에 관하여 증가될 것이다(시간적으로 B 화상 다음에 있는 화상). 동일 확장 층에서 인접 화상들이 동일 시간적 참조를 갖는 경우, 그리고 참조 화상 선택 모드(부록 N 참조)가 사용중인 경우, 복호기는 이 발생을 대략 동일한 화면 내용의 중복 사본들이 전송되었다는 표시로서 여길 것이고, 모든 이들 화상들은 동일 화상 번호를 공유할 것이다. 동일 확장 층의 2개의 연속하여 수신된 비-B 화상들의 화상 번호들의 차이(모듈로 1024)가 1이 아닌 경우, 그리고 화상들이 상술된 바와 같은 대략 동일한 화면을 나타내지 않는 경우, 데이터의 손상 또는 화상의 손실이 복호기에 의해 추측될 수 있다. RPON의 값은 메시지 헤더를 따르는 옥텟에 정의된다.

특정한 예에 있어서, 이 메시지는 1 데이터 바이트를 포함한다. 즉 DSIZE는 2이고, CONT는 0이며, EBIT는 0이다.

참조 화상 순서 번호는 이전 부호화된 참조 화상의 해당 번호에 1만큼 증가된다. 증가 결과의 최하위 8비트들이 이 메시지와 연관된 데이터 바이트에 놓여진다.

본 발명은 또한 H.263의 부록 U에 따라 구현될 수 있다.

상기 설명은 양방향으로 예측되는 화상들(B-화상들)이 부호화되는 부호화된 비디오 스트림들에 참조했다. 상술된 바와 같이, B-화상들은 결코 참조 화상들로서 사용되지 않는다. B-화상들은 미래 화상들의 화상 품질에 큰 영향을 주지 않고 폐기될 수 있기 때문에, 그들은 시간적인 스케일러빌리티(scalability)를 제공한다. 스케일러빌리티는 하나 보다 많은 품질 레벨에서 압축된 비디오 시퀀스의 복호화를 허용한다. 다시 말하면, 스케일러블 멀티미디어 클립은 상이한 데이터 율들을 갖는 채널상에서 스트리밍될 수 있고 또한 실시간으로 복호화되며 재생될 수 있도록 압축될 수 있다.

따라서 비디오 스트림은 상이한 복호기들에 의해 상이한 방식들로 복호화될 수 있다. 예를 들어, 복호기가 신호의 I- 및 P- 화상들만을 복호화하도록 결정할 수 있는데, 이것이 상기 복호기가 달성할 수 있는 복호화의 최대 율인 경우이다. 그러나, 복호기가 능력을 갖는 경우, B-화상들을 또한 복호화할 수 있고 따라서 화상 디스플레이 율을 증가시킬 수 있다. 따라서 디스플레이되는 화상의 인식되는 화상 품질은 I- 및 P-화상들만을 복호화하는 복호기보다 확장될 것이다.

스케일러블 멀티미디어는 전형적으로 데이터의 계층적 층들이 있도록 순서가 정해진다. 기저 층은 멀티미디어 클립의 기본 표현을 포함하고 반면 확장 층들은 하위 층들의 위에 세련(refinement) 데이터를 포함한다. 따라서, 확장 층들은 클립의 품질을 개선한다.

스케일러빌리티는 이종 및 에러가 있는 환경들에 대해 바람직한 특성이다. 이 특성은 비트 율, 디스플레이 해상도, 네트워크 처리율, 및 복호기 복잡도에 대한 제한과 같은 제한들에 대항하기 위해 바람직하다.

스케일러빌리티는 층을 갖는 부호화가 전송 우선순위와 결합되는 전송 시스템에서 에러 허용성을 개선하는데 사용될 수 있다. 여기서 전송 우선순위(transport prioritisation)라는 용어는 상이한 에러/손실 율들을 갖는 상이한 채널들을 제공하기 위하여, 균등하지 않은 에러 보호를 포함하는, 전송에서의 서비스의 상이한 품질들을 제공하는 다양한 메커니즘들을 지칭한다. 그 본성에 의존하여, 데이터는 상이하게 할당된다. 예를 들어, 기저 층은 높은 정도의 에러 보호를 갖는 채널을 통해 전달될 수 있고, 확장 층들은 보다 많은 에러가 있는 채널들을 통해 전송될 수 있다.

일반적으로, 스케일러블 멀티미디어 부호화는 비-스케일러블(non-scalable) 부호화보다 더 나쁜 압축 효율로 손해를 본다. 다시 말하면, 확장 층들을 갖는 스케일러블 멀티미디어 클립으로서 부호화되는 멀티미디어 클립은 동일한 품질을 갖는 비-스케일러블 단일-층 클립으로서 부호화되는 경우보다 더 큰 대역폭을 요구한다. 그러나, 이 일반적인 규칙에 예외들이 존재하는데, 예를 들어 비디오 압축에서 시간적인 스케일러블 B-프레임들이다.

본 발명은 다른 스케일러블 비디오 압축 시스템들에 적용될 수 있다. 예를 들어, H.263 부록 O에는, 2가지 다른 형태의 스케일러빌리티가 정의된다: 신호-대-잡음(SNR) 스케일러빌리티 및 공간 스케일러빌리티.

공간 스케일러빌리티 및 SNR 스케일러빌리티는 밀접하게 관련되고, 유일한 차이점은 증가된 공간 해상도는 공간 스케일러빌리티에 의해 제공된다는 것이다. SNR 스케일러블 화상들의 예는 도 10에 도시된다. SNR 스케일러빌리티는 멀티-율 비트 스트림들의 생성을 내포한다. 그것은 부호화 에러들, 또는 원래 화상 및 그 재구성간의 차이들의 복구를 허용한다. 이것은 확장 층에서의 상이한 화상들을 부호화하기 위해 더 좋은 양자화기를 사용함으로써 달성된다. 이 부가적인 정보는 전체 재구성된 화상의 SNR을 증가시킨다.

공간 스케일러빌리티는 다양한 디스플레이 요건들 및/또는 제한들을 충족시키기 위해 다중-해상도 비트 스트림들의 생성을 허용한다. 공간적인 스케일러빌리티 구조는 도 11에 도시된다. 이것은 본질적으로 공간적 확장 층이 재구성된 참조 층 화상의 업-샘플링된 버전 및 원래 화상의 상위 해상도 버전간의 부호화 손실을 복구하려고 시도한다는 것을 제외하고는 SNR 스케일러빌리티에서와 동일하다. 예를 들어, 참조 층이 4분의 1 공통 중간 형식(QCIF) 해상도를 갖고, 확장 층이 공통 중간 형식(CIF) 해상도를 갖는 경우, 참조 층 화상은 따라서 확장 층이 그것으로부터 예측될 수 있도록 스케일링되어야 한다. 상기 QCIF 표준은 단일 확장 층에 대해 수직 방향만, 수평 방향만, 또는 수직 및 수평 양방향으로 2의 팩터에 의해 해상도가 증가되도록 허용한다. 다중 강화 층들이 있을 수 있고, 그 각각은 이전 층의 것보다 화상 해상도를 증가시킨다. 참조 층 화상을 업-샘플링하는데 사용되는 보간 필터들은 H.263 표준에 명시적으로 정의된다. 확장 층에 참조로부터 업-샘플링 과정이외에, 공간적 스케일링된 화상의 처리 및 구문은 SNR 스케일링된 화상의 처리 및 구분과 동일하다.

SNR 또는 공간 스케일러빌리티 중 어느 하나에 있어서, 확장 층 화상들은 EI- 또는 EP-화상들로 지칭된다. 확장 층 화상이 참조 층의 화상보다 상위로 예측되는 경우, 확장 층 화상은 확장-I(EI; Enhancement-I) 화상으로 지칭된다. 이러한 유형의 스케일러빌리티에 있어서, 참조 층은 현재 확장 층 "아래(below)" 층을 의미한다. 몇몇 경우들에 있어서, 참조 층 화상들이 나쁘게 예측되는 경우, 화상의 정적 부분들의 과도-부호화는 불필요하게 과도한 비트 율을 야기하면서, 확장 층에서 발생할 수 있다. 이러한 문제를 피하기 위해, 순방향 예측이 확장 층에서 허용된다. 이전 확장 층 화상으로부터 순방향으로 예측되거나 대안으로 참조 층 화상으로부터 상위로 예측될 수 있는 화상은 확장-P(EP; Enhancement-P) 화상으로 지칭된다. 상위로 및 순방향으로 예측되는 화상들의 평균을 계산하는 것은 EP-화상들에 대한 양방향 예측을 제공할 수 있다는 것을 주목한다. EI- 및 EP-화상들에 대해, 참조 층 화상으로부터 상위 예측은 움직임 벡터들이 요구되지 않는다는 것을 내포한다. EP-화상들에 대한 순방향 예측의 경우에 있어서, 움직임 벡터들은 요구된다.

본 발명에 따라, 부호기가 다중-층 부호화를 할 수 있는 경우(예를 들어 H.263의 부록 O에 논의되는 바와 같은), 각 층의 참조 화상들에는 연속적인 참조 화상 순서 번호들이 주어진다. 이들은 현재 화상의 확장 층 번호(ELNUM; enhancement layer number)와 연관될 수 있다. 참조 화상 순서 번호는 동일 확장 층의 이전 부호화된 참조 화상의 대응하는 번호로부터 1만큼 증가된다.

도 10 및 도 11에 도시된 바와 같이, 확장 층의 화상들은 확장 층의 이전 화상으로부터 및/또는 기저 층의 균등 I- 또는 P-화상으로부터 예측될 수 있다. 확장 층은 참조 층의 B-화상으로부터 예측될 수 없다.

동일 확장 층의 인접 화상들이 동일한 시간적 참조를 갖는 경우, 그리고 H.263의 부록 N 또는 부록 U가 사용되는 경우, 복호기는 바람직하기로는 이 발생을 대략 동일한 화면 내용의 중복 사본들이 전송되었고, 이들 화상들 모두는 동일 RPON을 공유한다는 것을 나타내는 것으로서 여긴다.

본 발명에 따른 복호기는 상술된 바와 같은 다중-층 신호를 수신하는 경우, 종래의 방식으로 상기 신호를 복호화하려고 시도한다. 각 층에 있어서, 참조 화상이 복호화될 때마다, 복호기는 복호화된 화상의 RPON을 검사한다. 복호기는 참조 화상이 확장 층으로부터 손실되었다고 결정하는 경우, 복호기는 EI-화상이 수신될 때까지 확장 층으로부터의 화상들을 디스플레이하는 것을 중지한다. 복호기는 상술된 바와 같이 기저 층의 복호화를 계속한다.

본 발명은 상술된 비디오 부호화 프로토콜들에 제한되는 것으로 의도되지 않는다: 이들은 단지 예로서 의도된다. 본 발명은 시간적 예측이 사용될 수 있는 어떠한 비디오 부호화 프로토콜에 응용가능하다. 상술된 바와 같은 정보의 추가는 수신 복호기로 하여금 참조 화상이 손실되었다는 것을 결정하고 적합한 동작을 취하도록 허용한다.

Claims

부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 방법으로서, 상기 방법은 독립적인 넘버링 구조를 이용하여 하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이의 부호화되지 않은 화상들의 개수와 관계없이, 기설정된 양만큼 서로 다른 시퀀스 표시자 값들을 부호화 순서의 연속 참조 화상들에 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 상기 시퀀스 표시자 값을 연속적으로 부호화된 참조 화상들 간에서 1씩 증가시키는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 대응되는 화상 헤더 내의 특정 화상에 대해 상기 시퀀스 표시자 값을 제공하는 단계;를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, H.263 비디오 코딩 표준에 따라 상기 비디오 신호를 부호화하는 단계 및 H.263 비트스트림의 대응되는 보충 확장 정보(Supplemental Enhancement Information) 내의 특정 화상에 대한 상기 시퀀스 표시자 값을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 시퀀스 표시자 값과 화상 전체를 관련시키는(associate) 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 시퀀스 표시자 값과 화상의 일부를 관련시키는 단계를 포함하는 것을 특징으로 하는 방법.
제 6 항에 있어서, 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더 내에 시퀀스 표시자 값을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 복수개의 계층들에 부호화된 비디오 신호를 생성하기 위해 멀티-계층 코딩을 이용하여 상기 비디오 신호를 부호화하는 단계 및 상기 멀티-계층 코딩된 비디오 신호의 사이 복수의 계층들 각각에 대해 각각의 시퀀스 표시자 값들을 제공하여 는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 고정된 값을 상기 기설정된 양으로 이용하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, RPON(reference picture order numbers, 참조 화상 순서 번호들)인 시퀀스 표시자 값들을 이용하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서, 참조 화상들은 I-화상 포맷(I-picture format) 또는 P-화상 포맷으로 부호화되는 것을 특징으로 하는 방법.
제 1 항에 있어서, 비참조 화상들은 B-화상 포맷으로 부호화되는 것을 특징으로 하는 방법.
화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하는 방법으로서, 상기 방법은
복호화된 참조 화상들에 할당된 각각의 시퀀스 표시자 값들 내의 차이를 식별하기 위해 부호화 순으로 복호화된 참조 화상들을 검사하는 단계;
하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이에서 부호화되지 않은 화상들의 개수에 관계없이, 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 부호화 순의 연속 참조 화상들에 할당되는 독립적인 넘버링 구조에 기초한 상기 기설정된 양과 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하는 단계; 및
상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이가 상기 기설정된 양보다 큰 경우 참조 화상이 손실 또는 손상된 것으로 검출하는 단계;를 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서, 상기 식별된 차이가 상기 기설정된 양과 다른 경우 비-시간적 예측 방식으로 부호화된 화상을 제공하라는 인코더에 대한 요청을 전송하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서, 부호화 순의 연속 참조 화상들에 할당된 상기 시퀀스 표시자 값들을 1씩 다르게 할 때 상기 비교하는 단계에서 기설정된 양으로 1 값을 이용하는 단계를 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서, 대응되는 화상 헤더로부터 특정 화상에 대한 상기 시퀀스 표시자 값을 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서, H.263 비디오 코딩 표준에 따라 부호화된 비디오 신호를 수신하는 단계 및 H.263 비트 스트림의 대응되는 보충 확장 정보(Supplemental Enhancement Information)에서 특정 화상에 대한 상기 시퀀스 표시자 값을 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서, 시퀀스 표시자 값은 화상 전체와 관련이 있는 것을 특징으로 하는 방법.
제 13 항에 있어서, 시퀀스 표시자 값은 화상의 일부와 관련이 있는 것을 특징으로 하는 방법.
제 19 항에 있어서, 상기 시퀀스 표시자 값은 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더로부터 획득되는 단계를 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서,
복수개의 계층들을 포함하는 부호화된 비디오 신호의 각 계층에 제공되는 시퀀스 표시자 값들에서 식별되는(identified) 차이점을 상기 계층들 내의 참조 화상들의 손실 또는 손상을 검출하기 위해 검사하는 단계;를 포함하는 것을 특징으로 하는 방법.
제 13 항에 있어서, 상기 기설정된 양은 고정된 값인 것을 특징으로 하는 방법.
제 13 항에 있어서, 상기 시퀀스 표시자는 RPON(참조 화상 순서 번호)인 것을 특징으로 하는 방법.
제 13 항에 있어서, 참조 화상들은 I-화상 포맷(I-picture format) 또는 P-화상 포맷으로 부호화되는 것을 특징으로 하는 방법.
제 13 항에 있어서, 비참조 화상들은 B-화상 포맷으로 부호화되는 것을 특징으로 하는 방법.
부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 장치로서, 상기 장치는 독립적인 넘버링 구조를 이용하여 하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이의 부호화되지 않은 화상들의 개수와 관계없이, 기설정된 양만큼 서로 다른 각각의 시퀀스 표시자 값들을 부호화 순서의 연속 참조 화상들에 할당하도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 상기 시퀀스 표시자 값들을 연속적으로 부호화된 참조 화상들 간에서 1씩 증가시키도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 대응되는 화상 헤더 내의 특정 화상에 대해 상기 시퀀스 표시자 값을 제공하도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, H.263 비디오 코딩 표준에 따라 상기 비디오 신호를 부호화하도록 구현되고 H.263 비트스트림의 대응되는 보충 확장 정보(Supplemental Enhancement Information) 내에 특정 화상에 대한 상기 시퀀스 표시자 값들을 제공하는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 시퀀스 표시자 값과 화상 전체를 관련시키도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 시퀀스 표시자 값과 화상의 일부를 관련시키도록 구현되는 것을 특징으로 하는 장치.
제 31 항에 있어서, 상기 장치는 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더 내에 상기 시퀀스 표시자 값을 제공하도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 복수의 계층들에 부호화된 비디오 신호를 생성하기 위해 멀티-계층 코딩을 이용하는 상기 비디오 신호를 부호화하고 상기 멀티-계층 코딩된 비디오 신호의 상기 복수의 계층 각각에 대해 각각의 시퀀스 표시자 값들을 제공하는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 상기 기설정된 양으로 고정된 값을 이용하도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 RPON(reference picture order numbers, 참조 화상 순서 번호들)인 시퀀스 표시자 값들을 이용하도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 I-화상 포맷 또는 P-화상 포맷으로 참조 화상들을 부호화하도록 구현되는 것을 특징으로 하는 장치.
제 26 항에 있어서, 상기 장치는 B-화상 포맷으로 비-참조 화상들을 부호화하도록 구현되는 것을 특징으로 하는 장치.
화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하는 장치로서, 상기 장치는
복호화된 참조 화상들에 할당된 각 시퀀스 표시자 값들의 차이를 식별하기 위해 부호화 순으로 복호화된 참조 화상들을 검사하고,
하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이에서 부호화되지 않은 화상들의 개수에 관계없이, 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 부호화 순의 연속 참조 화상들에 할당되는 독립적인 넘버링 구조에 기초한 상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하며, 그리고,
상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이가 상기 기설정된 양보다 크면 참조 화상이 손실 또는 손상된 것으로 검출하는 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 장치는 또한 상기 식별된 차이가 상기 기설정된 양과 다른 경우 비-시간적 예측 방식으로 부호화된 화상을 제공하라는 인코더에 대한 요청을 전송하도록 구현되는 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 장치는 상기 시퀀스 식별자 값들이 부호화 순의 연속 참조 화상들에 1 씩 다르게 할당될 때, 상기 비교시 기설정된 양으로 1 값을 이용하도록 구현되는 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 장치는 대응되는 화상 헤더로부터 특정 화상에 대한 상기 시퀀스 표시자 값을 획득하도록 구현되는 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 장치는 H.263 비디오 코딩 표준에 따라 부호화된 비디오 신호를 수신하고 H.263 비트 스트림의 대응되는 보충 확장 정보(Supplemental Enhancement Information)로부터 특정 화상에 대한 시퀀스 표시자 값을 획득하도록 구현되는 것을 특징으로 하는 장치.
제 38 항에 있어서, 시퀀스 표시자 값은 화상 전체와 관련이 있는 것을 특징으로 하는 장치.
제 38 항에 있어서, 시퀀스 표시자 값은 화상의 일부와 관련이 있는 것을 특징으로 하는 장치.
제 44 항에 있어서, 상기 장치는 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더로부터 상기 시퀀스 표시자 값을 획득하도록 구현되는 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 장치는 복수의 계층들을 포함하는 부호화된 비디오 신호의 각 계층들 내의 참조 화상들의 손실 또는 손상을 검출하기 위해 상기 복수의 계층들을 포함하는 부호화된 비디오 신호의 각 계층에 제공되는 시퀀스 표시자 값들에서 식별된 차이들을 검사하도록 구현되는 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 기설정된 양은 고정된 값인 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 시퀀스 표시자는 RPON(reference picture order number, 참조 화상 순서 번호)인 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 장치는 I-화상 포맷 또는 P-화상 포맷으로 부호화된 참조 화상들을 복호화하도록 구현되는 것을 특징으로 하는 장치.
제 38 항에 있어서, 상기 장치는 B-화상 포맷으로 부호화된 비-참조 화상들을 복호화하도록 구현되는 것을 특징으로 하는 장치.
제 26 항 내지 제 37 항 중 어느 한 항에 따른 비디오 신호를 부호화하기 위한 장치를 포함하는 휴대용 무선 통신 장치.
제 38 항 내지 제 50 항 중 어느 한 항에 따른 부호화된 비디오 신호를 복호화하기 위한 장치를 포함하는 휴대용 무선 통신 장치.
제 24 항 내지 제 37 항 중 어느 한 항에 따른 비디오 신호를 부호화를 위한 장치를 포함하는 멀티미디어 단말 장치.
제 38 항 내지 제 50 항 중 어느 한 항에 따른 부호화된 비디오 신호를 복호화하기 위한 장치를 포함하는 멀티미디어 단말 장치.
부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 인코더로서, 상기 인코더는 독립적인 넘버링 구조를 이용하여 하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이의 부호화되지 않은 화상들의 개수와 관계없이, 기설정된 양만큼 서로 다른 각각의 시퀀스 표시자 값들을 부호화 순서의 연속 참조 화상들에 할당하도록 구현되는 것을 특징으로 하는 인코더.
화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하는 디코더로서, 상기 디코더는
복호화된 참조 화상들에 할당된 각각의 시퀀스 표시자 값들 내의 차이를 식별하기 위해 부호화 순으로 상기 복호화된 참조 화상들을 검사하고,
하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 간의 부호화되지 않은 화상들의 개수에 관계없이, 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 부호화 순의 연속 참조 화상들에 할당되는 독립적인 넘버링 구조에 기초한 상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하며, 그리고,
상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이가 상기 기설정된 양보다 큰 경우 참조 화상이 손실 또는 손상된 것으로 검출하도록 구현되는 것을 특징으로 하는 디코더.
부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하는 인코더로서, 상기 인코더는
독립적인 넘버링 구조를 이용하여, 하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이에서 부호화되지 않은 화상들의 개수와 관계없이, 기설정된 양만큼 서로 다른 각각의 시퀀스 표시자 값들을 부호화 순의 연속 참조 화상들에 할당하는 수단을 포함하는 것을 특징으로 하는 인코더.
화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하는 디코더로서, 상기 디코더는
복호화된 참조 화상들에 할당된 각각의 시퀀스 표시자 값들 내의 차이를 식별하기 위해 부호화 순으로 복호화된 참조 화상들을 검사하는 검사수단;
하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이에서 부호화되지 않은 화상들의 개수와 관계없이, 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 부호화 순의 연속 참조 화상들에 할당되는 독립적인 넘버링 구조에 기초한 상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하는 비교수단; 및
상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이가 상기 기설정된 양보다 큰 경우 참조 화상이 손실 또는 손상된 것으로 검출하는 검출수단;을 포함하는 것을 특징으로 하는 디코더.
부호화된 비디오 신호를 형성하도록 화상들의 시퀀스를 나타내는 비디오 신호를 부호화하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로서, 상기 컴퓨터 프로그램은
독립적인 넘버링 구조를 이용하여, 하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이에서 부호화 되지 않은 화상들의 개수와 관계없이, 기설정된 양만큼 서로 다른 시퀀스 표시자 값들을 부호화 순의 연속 참조 화상들에 할당하는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은 연속적으로 부호화된 참조 화상들 간에서 상기 시퀀스 표시자 값들을 1씩 증가시키는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은
대응되는 화상 헤더 내의 특정 화상에 대해 상기 시퀀스 표시자 값을 제공하는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은
H.263 비디오 코딩 표준에 따라 상기 비디오 신호를 부호화하는 컴퓨터 프로그램 코드 및 H.263 비트스트림의 대응되는 보충 확장 정보(Supplemental Enhancement Information) 내의 특정 화상에 대한 상기 시퀀스 표시자 값을 제공하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은 시퀀스 표시자 값과 화상 전체를 관련시키기(associate) 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은 시퀀스 표시자 값과 화상의 일부를 관련시키는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 64 항에 있어서, 상기 컴퓨터 프로그램은 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더 내에 상기 시퀀스 표시자 값을 제공하는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은
복수개의 계층들에 부호화된 비디오 신호를 생성하기 위해 멀티-계층 코딩을 이용하여 상기 비디오 신호를 부호화하기 위한 컴퓨터 프로그램 코드 및 상기 멀티-계층 코딩된 비디오 신호의 복수의 계층들 각각에 대해 각각의 시퀀스 표시자 값들을 제공하는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 고정된 값을 상기 기설정된 양으로 이용하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 표시자는 RPON(reference picture order numbers, 참조 화상 순서 번호들)인 시퀀스 표시자 값들을 이용하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은 참조 화상들을 I-화상 포맷 또는 P-화상 포맷으로 부호화하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 59 항에 있어서, 상기 컴퓨터 프로그램은 비-참조 화상들을 B-화상 포맷으로 부호화하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
화상들의 시퀀스를 나타내는 복호화된 비디오 신호를 형성하기 위해 부호화된 비디오 신호를 복호화하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로서, 상기 컴퓨터 프로그램은
복호화된 참조 화상들에 할당된 각각의 시퀀스 표시자 값들 내의 차이를 식별하기 위하여 부호화 순으로 상기 복호화된 참조 화상들을 검사하기 위한 컴퓨터 프로그램 코드;
하나 이상의 연속 참조 화상들 사이에서 부호화된 비-참조 화상들의 개수 및 연속 참조 화상들 사이에서 부호화되지 않은 화상들의 개수에 관계없이, 기설정된 양만큼 서로 다른 시퀀스 표시자 값들이 부호화 순의 연속 참조 화상들에 할당되는 독립적인 넘버링 구조에 기초한 상기 기설정된 양과 각각의 시퀀스 표시자 값들에서 상기 식별된 차이를 비교하기 위한 컴퓨터 프로그램 코드; 및
상기 각각의 시퀀스 표시자 값들에서 상기 식별된 차이가 상기 기설정된 양보다 큰 경우 참조 화상이 손실 또는 손상된 것으로 검출하기 위한 컴퓨터 프로그램 코드;를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 컴퓨터 프로그램은
상기 식별된 차이가 상기 기설정된 양과 다른 경우 비-시간적 예측 방식으로 부호화된 화상을 제공하라는 인코더에 대한 요청을 전송하기 위한 컴퓨터 프로그램 코드;를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 컴퓨터 프로그램은
부호화 순의 연속 참조 화상들에 할당된 상기 시퀀스 표시자 값들을 1씩 다르게 할 때 상기 비교시 기설정된 양으로 1 값을 이용하는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 컴퓨터 프로그램은
대응되는 화상 헤더로부터 특정 화상에 대한 상기 시퀀스 표시자 값을 획득하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, H.263 비디오 코딩 표준에 따라 부호화된 비디오 신호를 수신하기 위한 컴퓨터 프로그램 코드 및 H.263 비트 스트림의 대응되는 보충 확장 정보(Supplemental Enhancement Information)에서 특정 화상에 대한 상기 시퀀스 표시자 값을 획득하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 시퀀스 표시자 값은 화상 전체와 관련이 있는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 시퀀스 표시자 값은 화상의 일부와 관련이 있는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 77 항에 있어서, 상기 컴퓨터 프로그램은 부호화된 화상의 매크로블록 헤더 또는 화상 세그먼트 헤더로부터 상기 시퀀스 표시자 값을 획득하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 컴퓨터 프로그램은
복수개의 계층들을 포함하는 부호화된 비디오 신호의 각 계층에 제공되는 시퀀스 표시자 값들에서 식별되는(identified) 차이점을 상기 계층들 내의 참조 화상들의 손실 또는 손상을 검출하기 위해 검사하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 기설정된 양은 고정된 값인 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 시퀀스 표시자는 RPON(참조 화상 순서 번호)인 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 컴퓨터 프로그램은 I-화상 포맷 또는 P-화상 포맷으로 부호화된 참조 화상들을 복호화하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
제 71 항에 있어서, 상기 컴퓨터 프로그램은 B-화상 포맷으로 부호화된 비-참조 화상들을 복호화하기 위한 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.