KR20080104060A

KR20080104060A - 비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치

Info

Publication number: KR20080104060A
Application number: KR1020087024886A
Authority: KR
Inventors: 자니 라이네마
Original assignee: 노키아 코포레이션
Priority date: 2002-04-23
Filing date: 2003-04-23
Publication date: 2008-11-28
Also published as: WO2003092297A1; RU2350040C1; EP1497990A4; KR20040106378A; EP1497990A1; JP2005524304A; US8175148B2; IL164176A; WO2004025943A2; CN1647541A; EP1497990B1; KR100973216B1; CN100380980C; HK1117320A1; AU2003226585A1; AU2003285850A1; AU2003285850A8; JP4571489B2; RU2004133964A; IL164176A0

Abstract

디지털 비디오 시퀀스를 부호화하기 위한 방법 및 장치로서, 여기에서 양자화 변수(QP)의 표시가 복호화 프로세스를 위해 부호화된 비트-스트림에 제공된다. QP 관련 정보는 시퀀스 레벨 양자화 변수 값 SQP를 도입하는 것에 의해 나타난다. 보다 구체적으로 보면, 픽쳐/슬라이스 QP들의 절대값을 부호화하는 대신에, 시퀀스 레벨 양자화 변수 SQP와 픽쳐/슬라이스 QP 사이의 차이 △QP의 표시가 제공된다. 이는 모든 픽쳐/슬라이스에 대해 전체 QP를 송신할 필요를 제거하고, 통계적으로 보다 작은 차이 값이 송신되는 것을 가능하게 한다. 따라서, 비트-전송률이 감소된다. 이러한 차이 값은 그 후 픽쳐/슬라이스 QP를 재생하기 위해 대응하는 복호기에서도 사용된다.

Description

비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치{Method and device for indicating quantizer parameters in a video coding system}

본 발명은 디지털 비디오의 부호화를 위한 방법, 부호기, 복호기 및 장치에 관한 것이다. 특히, 본 발명은 비디오 부호화 시스템에서 양자화 변수 (quantization parameter: QP) 값의 표시에 관한 것이다.

필름에 녹화된 일반적인 영화들과 같은 디지털 비디오 시퀀스들은 정지된 이미지들의 시퀀스를 포함하고, 상기 이미지들은 일반적으로 초당 15 내지 30 프레임들의 비율로 차례 차례 디스플레이되면 움직이는 것처럼 보이게 된다.

압축되지 않은 디지털 비디오 시퀀스의 각각의 프레임은 이미지 픽셀들의 배열을 포함한다. 1/4 공용 교환 포맷(Quarter Common Interchange Format: QCIF)이라고 알려진, 일반적으로 사용되는 디지털 비디오 포맷에서는, 프레임은 176 x 144 픽셀들(예를 들어, 25,344픽셀들)의 배열을 포함한다. 차례로, 각각의 픽셀은 일정한 수의 비트들에 의해 표시되고, 이들은 상기 픽셀에 대응하는 이미지 영역에 관한 휘도(luminance) 및/또는 색에 대한 정보를 운반한다. 일반적으로, 이른바 YUV 색 모델은 이미지의 휘도 및 색차(chrominance) 컨텐츠를 표시하는데 사용된다. 휘 도 또는 Y 컴포넌트는 이미지의 강도(밝기)를 표시하는 반면, 이미지의 색 컨텐츠는 U 및 V로 라벨된 두 개의 색차 또는 색 차이(colour difference) 컴포넌트들에 의해 표시된다.

이미지 컨텐츠의 휘도/색차 표시를 기반으로 하는 색 모델들은 주된 색들(빨강, 초록 및 청색, 즉 RGB)을 포함하는 표시를 기반으로 하는 색 모델들과 비교하여 일정한 이점들을 제공한다. 사람의 시각 시스템은 색의 변화들보다는 세기 변화에 더 민감하므로 YUV 색 모델들은 휘도 컴포넌트(Y) 보다는 색차 컴포넌트들(U, V)에 대해 보다 낮은 공간 해상도(resolution)을 사용하는 것에 의해 이러한 속성을 활용한다. 이러한 방식으로, 어떤 이미지에 있는 색 정보를 부호화하는데 필요한 정보량이 감소될 수 있다. 이 경우 이미지의 품질도 감소하는데 이는 수용할만한 정도이다.

색차 컴포넌트들에 관한 보다 낮은 공간 해상도은 일반적으로 서브-샘플링에 의해 얻어진다. 일반적으로, 비디오 시퀀스의 각각의 프레임은 이른바 "매크로블록들"에 의해 분할되어 있는데, 그것들은 휘도(Y) 정보 및 공간적으로 서브-샘플된 관련 휘도(U, V) 정보를 포함한다. 도 1은 매크로블럭들이 형성될 수 있는 하나의 방식을 도시한다. 도 1에서 도시된 바와 같이, 비디오 시퀀스의 프레임은 YUV 색 모델을 사용하여 표시되고, 각각의 컴포넌트는 동일한 공간 해상도을 가진다. 매크로블럭들은 원본 이미지들 내에 있는 16 x 16 이미지 픽셀들의 영역을 휘도 정보의 네 개의 블록들로서 표시하는 것에 의해 형성된다. 각각의 휘도 블록은 휘도(Y) 값 8 x 8 배열 및 두 개의, 공간적으로 대응하는, 색차 컴포넌트들(U 및 V)을 포함하 는데, 상기 컴포넌트들은 수평 및 수직 방향들의 요소들에 의해 서브-샘플되어, 8 x 8 색차(U, V) 값들의 대응하는 배열들을 만든다.

국제 원격 통신 협회(International Telecommunications Union: ITU-T) 권고 H.26L과 같은 소정의 비디오 부호화 권고들(recommendations)에 따르면, 매크로브록들 내에서 사용되는 블록의 크기는 예를 들면, 4 x 8 또는 4 x 4와 같이(T. Wiegand "조인트 모델 넘버 1" Doc. JVT-A003, ISO/IEC MPEG 및 ITU-T VCEG의 조인트 비디오 팀(JVT), 2002년 1월, 섹션들 2.2 및 2.3 참조), 8 x 8가 아닐 수 있다. 또한 ITU-T 권고 H.26L은 매크로블록들이 이른바 "슬라이스들(slices)"을 형성하기 위해 함께 조직화되는 것이 가능하도록 한다.

보다 구체적으로, 각각의 슬라이스는 부호화 순서에 따라 연속되는 다수의 매크로블록들로부터 형성되고 동일한 프레임의 어떤 슬라이스를 참조함이 없이 독립적으로 복호화될 수 있는 방식으로 부호화된다. 이러한 배열들로 인해, 송신 에러들에 기인하여 발생할 수 있는 복호화된 비디오에서의 아티팩트들(artefacts)의 확산이 제한되는 경향을 보이므로, 이러한 배열들은 유익하다. 슬라이스들이 구성되는 방식 상에 구체적인 제한이 없긴 하지만, 하나의 간단한 방식으로 프레임의 단독 열에 있는 모든 매크로블록들을 함께 하나의 슬라이스로서 그룹화하는 것이 있다. 이러한 배열은, QCIF 포맷 이미지를 16 x 16 매크로블록들로 분할하는 것과 함께, 도 2에서 도시된다.

도 2에서 볼 수 있는 바와 같이, QCIF 이미지는 11 x 9 매크로블록들(이 경우에서는 11개의 연속되는 매크로블록들이 각각 9개의 슬라이스들로 그룹화 된다) 을 포함한다. 만일 휘도 블록들 및 색차 블록들이 8 비트 해상도(즉, 0에서 255의 범위에서의 숫자들에 의해)으로 표시된다면, 매크로블록 당 필요한 비트들의 전체 숫자는 (16 x 16 x 8) + 2 x (8 x 8 x 8) = 3072 비트들이다. 따라서, QCIF 포맷에서 비디오 프레임을 표시하기 위해 필요한 비트들의 수는 99 x 3072 = 304,128 비트들이다. 이는, YUV 색 모델을 사용하여 표시되는, QCIF 포맷에서 압축되지 않은 비디오 시퀀스를, 초 당 30 프레임들의 비율로, 송신/기록/디스플레이하기 위해 필요한 데이터의 수는 9Mbps(초 당 백만 비트들)보다 크다는 것을 의미한다. 이것은 매우 높은 데이터 전송률에 해당하고, 매우 큰 저장 용량, 송신 채널 용량 및 요구되는 하드웨어 성능으로 인해 비디오 레코딩, 송신 및 어플리케이션들의 디스플레이에 있어 사용하는데 비실용적이다.

만일 비디오 데이터가 종합 정보 통신망(Intergrated Services Digital Network: ISDN) 또는 전통적인 공중 회선 전화 통신망(Public Switched Telephone Network: PSTN)과 같은 고정된 유선 네트워크 상에서 실시간으로 송신될 수 있다면, 이용 가능한 데이터 송신 대역폭은 일반적으로 64kbits/s의 단위이다. 이동 비디오전화에 있어서, 무선 통신 링크 상에서 적어도 부분적으로 송신이 발생하고, 이용 가능한 대역폭은 20kbits/s보다 낮을 수 있다. 이는 낮은 대역폭 통신 네트워크들 상에서 디지털 비디오 시퀀스들을 송신하는 것을 가능하게 하기 위해서는, 비디오 데이터를 표시하기 위해 사용되는 정보의 양이 상당히 감소되어야 한다는 것을 의미한다. 이러한 이유로, 수용할만한 정도의 이미지 품질을 유지하면서 송신되는 정보의 양을 감소하는 비디오 압축 기술들이 발전해 오고 있다.

비디오 압축 방법들은 비디오 시퀀스들의 리던던시(redundancy) 및 지각적으로(perceptually) 무관계한 부분들을 감소하는 것을 기반으로 한다. 비디오 시퀀스들에 있어서의 리던던시는 공간적, 시간적 및 스펙트럴(spectral) 리던던시로 분류될 수 있다. "공간적 리던던시"는 한 프레임 내의 이웃하는 픽셀들 사이에 상관관계(유사성)를 기술하는데 사용되는 용어이다. "시간적 리던던시"라는 용어는 시퀀스의 하나의 프레임에서 나타나는 오브젝트들은 서브시퀀트 프레임들에서 나타날 것이라는 사실을 표현하는 반면, "스펙트럴(spectral) 리던던시"는 동일한 이미지의 서로 다른 색 컴포넌트들 사이의 상관 관계를 가리키는 말이다.

디지털 비디오 시퀀스의 각각의 프레임을 만들어 내는 픽셀들 사이에서는 상당한 양의 공간적 리던던시가 종종 존재한다. 다시 말하면, 시퀀스의 프레임 내에 있는 어떤 픽셀의 값은 그것의 바로 옆에 있는 다른 픽셀들의 값과 실질적으로 동일하다는 것이다. 비디오 부호화 시스템들은 "블록-기반의 변환(transform) 부호화"로 알려진 기술을 사용하여 공간적 리던던시를 감소하는 것이 일반적인데, 여기에서는 2차원 이산 여현 변환(Discrete Cosine Transform: DCT)과 같은 수학적 변환이 이미지 픽셀들의 블록들에 적용된다. 이는 이미지 데이터를 픽셀들을 포함하는 표시로부터 공간적 주파수 컴포넌트들을 표시하는 일련의 계수를 포함하는 형식으로 변환한다. 이미지 데이터에 관한 이러한 대안적 표시는 공간적 리던던시를 상당히 감소하고 이로써 이미지 데이터의 보다 간결한 표시를 산출한다.

당해 시퀀스 내에 어떤 다른 프레임들을 참조함이 없이, 블록-기반의 변환 부호화를 사용하여 압축된 비디오 시퀀스의 프레임들은 인트라-부호화된 또는 I-프 레임들로서 언급된다.

일반적으로, 비디오 부호화 시스템들은 비디오 시퀀스의 개별적인 프레임들 내의 공간적 리던던시만을 감소하는 것이 아니라, "모션-보상 예측"으로 알려진 기술을 사용하여 시퀀스에 있는 시간적 리던던시도 감소시킨다. 모션-보상 예측을 사용하여, 디지털 비디오 시퀀스에 있는 프레임들의 일정한(종종 많은) 이미지 컨텐츠는, "참조" 프레임들로 알려진, 시퀀스 내의 하나 이상의 다른 프레임들로부터 "예측된다". 이미지 컨텐츠의 예측은 부호화될(압축될) 프레임과 "모션 벡터들"을 사용하는 참조 프레임(들) 사이의 이미지의 영역들 또는 오브젝특들의 모션을 추적하는 것에 의해 달성된다. 인트라-부호화의 경우에서처럼, 비디오 프레임의 모션 보상된 예측은 일반적으로 매크로블록마다 수행된다.

모션-보상된 예측을 사용하여 압축된 비디오 시퀀스의 프레임들은 일반적으로 인터(INTER)-부호화된 또는 P-프레임들로서 언급된다. 모션-보상된 예측만으로는 비디오 프레임의 이미지 컨텐츠에 대해 충분히 정밀한 표시를 거의 제공할 수 없다. 그러므로 각각의 인터-부호화된 프레임과 함께 이른바 "예측 에러"(PE) 프레임을 제공하는 것이 일반적으로 필요하다. 예측 에러 프레임은 인터-부호화된 프레임의 복호화된 버전과 부호화될 프레임의 이미지 컨텐츠와의 사이에 존재하는 차이를 표시한다. 보다 구체적으로는, 예측 에러 프레임은 부호화될 프레임에 있는 픽셀 값들과 문제의 프레임의 예측된 버전을 기초로 형성된 대응하는 재생 픽셀 값들과의 사이의 차이를 표시하는 값을 포함한다. 결과적으로, 예측 에러 프레임은 정지 이미지에 유사한 특성을 지니며 블록-기반의 변환 부호화는 그것의 공간 리던던 시 및 그것을 표시하기 위해 필요한 데이터(비트들의 수)의 양을 감소하기 위해 적용될 수 있다.

보다 더 자세하게 비디오 부호화 시스템의 오퍼레이션을 예시하기 위해서, 이제부터 도 3 및 도 4를 참조하고자 한다. 도 3은 압축된(부호화된) 비디오 비트-스트림을 생산하기 위해서 인트라- 및 인터-부호화의 결합을 사용하는 일반적인 비디오 부호기의 개략적인 블록도이다. 대응하는 복호기는 도 4에서 예시되고 당해 출원서에서 설명될 것이다.

비디오 부호기(100)는 카메라 또는 다른 비디오 소스(도시되지 않음)로부터 디지털 비디오 신호를 수신하기 위한 입력(101)을 포함한다. 또한 블록-기반의 이산 여현 변환(DCT)을 수행하기 위해 배열된 변환유닛(104), 양자화부(106), 역양자화부(108), 역의 블록-기반의 이산 여현 변환(IDCT)를 수행하기 위해 배열된 역변환유닛(110), 결합부들(112 및 116), 및 프레임 저장부(120)를 포함한다. 부호기는 모션 예측기(130), 모션 필드 코더(140) 및 모션 보상 예측기(150)를 더 포함한다. 스위치들(102 및 114)은 비디오 부호화의 인트라-모드 및 비디오 부호화의 인터-모드 사이에서 부호기를 스위치하는 제어 관리기(160)에 의해 함께-동작하도록 작동된다. 또한 부호기(100)는, 원격 수신 단말기로 더 송신하거나 예를 들어, 컴퓨터 하드 드라이브(도시되지 않음)와 같은 매스(mass) 저장 매체 상에서 저장하기 위해, 부호기(100)에 의해 생산된 정보의 다양한 유형들로부터 단독 비트-스트림을 형성하는 비디오 멀티플렉스 코더(170)를 포함한다.

부호기(100)는 다음과 같이 작동한다. 비디오 소스로부터 입력(101)으로 제 공된 압축되지 않은 비디오의 프레임 각각은, 바람직하게는 래스터(raster)-스캔 순서로, 매크로블록마다 수신되고 처리된다. 새로운 비디오 시퀀스의 부호화를 시작하면, 부호화될 첫 번째 프레임은 인트라-부호화된 프레임으로서 부호화된다. 그 후에, 다음의 조건들 중 하나가 만족되지 않는다면, 부호기는 인터-부호화된 포맷으로 각각의 프레임을 부호화하기 위해 프로그램된다.

1) 코드화될 프레임의 현재 매크로블록이 그것의 예측에서 사용된 참조 프레임에서의 픽셀 값들과 너무도 달라 초과하는 예측 에러 정보가 나오는 것으로 판단되고, 현재 매크로블록은 인트라-부호화된 포맷으로 부호화되거나;

2) 예측된 인트라 프레임 반복 간격의 유효기간이 만료되거나; 또는

3) 인트라-부호화된 포맷에서 제공될 프레임에 대한 요구를 가리키는 수신 단말기로부터 피드백이 수신되는 것으로 판단된다.

인트라-부호화 모드에 있는 부호기(100)의 오퍼레이션이 이하에서 설명될 것이다. 인트라-부호화 모드에서, 제어 관리기(160)는 입력 라인(118)으로부터의 비디오 입력을 받아들이기 위해 스위치(102)를 작동한다. 비디오 신호 입력은 매크로블록마다 수신되고 각각의 매크로블록을 만드는 휘도 및 색차 값들의 블록들은 DCT 변환 블록(104)으로 전달된다. 여기서 2-차원 이산 여현 변환이 수행되고 DCT 계수들의 2차원 배열이 각각의 블록을 대해 형성된다.

각각의 블록에 대한 DCT 계수들은 양자화부(106)로 전달되고, 거기에서 그것들은 양자화 변수 QP를 사용하여 양자화된다. 양자화 변수 QP의 선택은 제어 라인(115)을 통해 제어 관리기(160)에 의해 제어된다.

보다 상세하게, DCT 계수들의 양자화는 양자화 변수 QP에 의해 각각의 계수 값을 분할하는 것에 의해 수행되고 가장 가까운 정수에 결과를 반올림한다. 이러한 방식으로 양자화 프로세스는 DCT 변환 블록(104)에 의해 본래 생성된 계수 값들과 비교하여 감소된 수적 정확도를 가지는 일련의 양자화된 계수 값들을 산출한다. 따라서, 일반적으로 양자화된 DCT계수들 각각은 양자화 전에 대응하는 계수를 나타내기 위해 필요한 것보다 더 적은 수의 데이터 비트들에 의해 표시될 것이다.

더욱이, 일정한 DCT계수들은 양자화 프로세스에 의해 0으로 감소되고, 따라서 코드화되어야 하는 계수들의 수가 감소된다. 이러한 효과들 양자 모두로 인해 이미지 블록을 위한 DCT 계수들을 표시하기 위해 필요한 데이터(예를 들어 데이터 비트들) 양에서의 감소가 얻어진다. 따라서, 양자화는 비디오 시퀀스의 각각의 이미지를 나타내기에 필요한 데이터 양이 감소될 수 있는 메카니즘을 제공한다. 또한 이것은 정보에 관해 변경할 수 없는 손실을 내고, 그것은 이미지 품질에 있어서 상응하는 감소로 이어진다.

이미지 품질에서의 이러한 감소는 항상 바람직한 것은 아니고, DCT 계수 값들의 양자화는, 예를 들어 부호화된 시퀀스의 송신에 이용 가능한 대역폭 또는 부호화된 비디오의 바람직한 품질을 고려하여 비디오 시퀀스를 부호화하기 위해 필요한 비트들의 수를 조절할 가능성을 제공한다. 보다 구체적으로, DCT 계수들을 양자화하기 위해 사용된 QP의 값을 증가하는 것에 의해, 보다 낮은 품질, 그러나 비디오 시퀀스의 보다 치밀한 표시가 만들어질 수 있다. 역으로, QP의 값을 감소하는 것에 의해, 보다 높은 품질, 그러나 보다 덜 압축된 부호화된 비트-스트림이 형성 될 수 있다.

각각의 블록에 대한 양자화된 DCT 계수들은, 도 1에서 라인(125)에 의해 도시된 것과 같이, 양자화부(106)로부터 비디오 멀티플렉스 부호기(170)로 전달된다. 비디오 멀티플렉스 부호기(170)는 지그재그 스캐닝 절차를 사용하여 각각의 블록에 대한 양자화된 변환 계수들의 순위를 정하고, 이로써 양자화된 변환 계수 값들의 2차원 배열을 일차원 배열로 변환한다. 일반적으로, 비디오 멀티플렉스 부호기(170)는 일차원 배열에서의 0이 아닌 양자화 계수 각각을, 레벨(level) 및 런(run)으로 언급되는 한 쌍의 값들에 의해 표시하는데, 여기에서 레벨은 양자화된 계수의 값이고, 런은 문제의 계수를 선행하는 것으로서 0이 아닌 값으로 연속되는 계수들의 수이다. 런 및 레벨 값들은 나아가 엔트로피(entropy) 부호화를 사용하여 압축된다. 예를 들어, 가변 길이 부호화(variable length coding: VLC)과 같은 방법은 각각의 (런, 레벨) 쌍을 표시하는 일련의 가변 길이 코드워드들을 산출하는데 사용될 수 있다.

일단 (런, 레벨) 쌍들이 엔트로피(예를 들어, 가변 길이) 부호화되면, 비디오 멀티플렉스 부호기(170)는 제어 정보와 함께 그것들을 더 결합하는데, 여기서 제어 정보 역시, 코드화된 이미지 정보(135)에 관한 단독 압축된 비트-스트림을 형성하기 위해, 예를 들어 문제의 정보의 종류에 대해 적절한 가변 길이 부호화 방법을 사용하여, 엔트로피 부호화된 것이다. 그것은 이러한 비트스트림으로서, 부호기로부터 송신된 DCT 계수들을 양자화하기 위해 사용된 양자화 변수 QP에, 다른 것들 중에서, 관련된 제어 정보 및 (런, 레벨) 쌍을 표시하는 가변 길이 코드워드들을 포함한다.

또한 매크로블록의 국부적으로 부호화된 버전은 부호기(100)에서 형성된다. 이는 각각의 블록에 대한 양자화된 변환 계수들을 통과하는 것에 의해 수행되는데, 양자화부(106)에 의한 출력은 역양자화부(108)를 지나서 역변환블록(110)에 있는 역DCT 변환을 사용한다. 역양자화는 양자화부(106)에서 수행되는 양자화 오퍼레이션을 역으로 수행하는 것에 의해 수행된다.

보다 구체적으로 보면, 역양자화부(108)는 각각의 양자화된 DCT 계수 값에 양자화 변수 QP를 곱하는 것에 의해서 지정된 이미지 블록에 대한 본래 DCT 계수 값들을 회복하고자 하는 것이다. 양자화부(106)에서 양자화 프로세스의 일부로서 수행된 반올림 오퍼레이션 때문에, 본래 DCT 계수 값들을 정확히 회복하는 것은 일반적으로 가능하지 않게 된다. 이로 인해, 회복된 DCT 계수 값들과 DCT 변환 블록(104)에 의해 본래 산출된 것들과의 사이에 불일치가 발생하게 된다(앞서 언급된 변경할 수 없는 정보의 손실).

역양자화부(108) 및 역변환블록(110)에 의해 수행된 오퍼레이션들은 매크로블록의 각 블록에 대한 픽셀 값들의 재생된 배열을 산출한다. 결과적인 복호화된 이미지 데이터는 결합부(112)의 입력이 된다. 인트라-부호화 모드에서, 스위치(114)는 스위치(114)를 통한 결합부(112)의 입력이 1이 되도록 설정된다. 이러한 방식으로, 결합부(112)에 의해 수행된 오퍼레이션은 복호화된 이미지 데이터가 변경되지 않은 상태로 통과되는 것과 등가적이다.

현재 프레임의 서브시퀀트 매크로블록들은 수신되고, 앞서 설명된 블록 들(104, 106, 108, 110 및 112)에서의 국부 복호화 및 부호화 단계를 거치고, 인트라-부호화된 프레임의 복호화된 버전은 프레임 저장부(120)에서 만들어진다. 현재 프레임의 마지막 매크로블록이 인트라-부호화되고 이어서 복호화될 때, 프레임 저장부(120)는 완전히 복호화된 프레임을 포함하게 되는데, 이러한 프레임은 계속 수신된 비디오 프레임을 인터-부호화된 포맷으로 부호화하는데 있어 예측 참조 프레임으로서 사용 가능하다. 인트라 또는 인터-코드 포맷을 가리키는 플래그(flag)는 라인(122)에서 제공된다.

인터-부호화 모드에서의 부호기(100) 오퍼레이션이 이하에서 설명된다. 인터-부호화 모드에서, 제어 관리기(160)는 스위치(102)를 작동하여 결합부(116)의 출력을 포함하는, 라인(117)으로부터 그것의 입력을 수신한다. 결합부(116)는 입력(101)로부터 매크로블록마다 비디오 입력 신호를 수신한다. 결합부(116)가 매크로블록을 만드는 휘도 및 색차 값들의 블록들을 수신할 때에, 그것은 예측 에러 정보에 관한 대응하는 블록들을 형성한다. 예측 에러 정보는 문제의 블록 및 모션 보상 예측 블록(150)에서 산출된 그것의 예측 사이의 차이를 나타낸다. 보다 구체적으로는, 매크로블록에 관한 각각의 블록에 대한 예측 에러 정보는 값들의 2차원 배열을 포함하는데, 그것의 각각은, 이하에서 설명되는 절차에 따라, 부호화된 휘도 또는 색차 정보의 블록에서의 픽셀 값과 블록에 대한 모션-보상 예측을 형성하는 것에 의해 얻어진 복호화된 픽셀 값 사이의 차이를 나타낸다.

매크로블록의 각각의 블록에 대한 예측 에러 정보는 DCT 변환 블록(104)으로 전달되고, 그것은 각각의 블록에 대한 DCT 변환 계수들의 2차원 배열을 생성하기 위해 예측 에러 값들의 각각의 블록 상에서 2차원 이산 여현 변환을 수행한다.

각각의 예측 에러 블록에 대한 변환 계수들은 양자화부(106)로 전달되는데, 양자화부에서 계수들은. 인트라-부호화 모드에서의 부호기 오퍼레이션과 관련하여 상기에서 설명된 것과 유사한 방식으로 양자화 변수 QP를 사용하여 양자화된다. 다시, 양자화 변수 QP의 선택은 제어 라인(115)을 통해 제어 관리기(160)에 의해 제어된다. 예측 에러 부호화의 정확도는 이용 가능한 대역폭 및/또는 부호화된 비디오의 필요한 품질에 따라 조절될 수 있다. 전형적인 이산 여현 변환(DCT) 기반의 시스템에서, 이것은 DCT 계수들을 특정 정확도로 양자화 하는데 사용되는 양자화 변수(QP)를 다양화하는 것에 의해 수행된다.

매크로블록의 각각의 블록에 대한 예측 에러 정보를 나타내는 양자화된 DCT 계수들은, 도 1에서 라인(125)에 의해 표시된 것처럼, 양자화부(106)를 통과하여 비디오 멀티플렉스 부호기(170)로 전달된다. 인트라-부호화 모드에서처럼, 비디오 멀티플렉스 부호기(170)는 지그재그 스캐닝 절차를 사용하여 각각의 예측 에러 블록에 대한 변환 계수들의 순위를 정하고, (런, 레벨) 쌍으로서 0이 아닌 양자화된 계수를 표시한다. 그것은 더 나아가 인트라-부호화 모드와 관련하여 상기에서 설명된 것과 유사한 방식으로 엔트로피 부호화를 사용하여 (런, 레벨) 쌍들을 압축한다.

또한 비디오 멀티플렉스 부호기(170)는 라인(126)을 통하여 모션 필드 부호화 블록(140)으로부터 모션 벡터 정보(다음에서 설명된) 및 제어 관리기(160)로부터 제어 정보(예를 들어, 양자화 변수 QP의 표시를 포함하는)를 수신한다. 그것은 모션 벡터 정보 및 제어 정보를 엔트로피 부호화하고 부호화된 이미지 정보의 단독 비트-스트림을 형성하는데, 이는 엔트로피 부호화된 모션 벡터, 예측 에러 및 제어 정보를 포함한다(135). 양자화 변수(QP)의 표시, qz는 라인(124)를 통해 멀티플렉스 부호기(170)으로 제공된다.

매크로블록의 각각의 블록에 대한 예측 에러 정보를 나타내는 양자화된 DCT 계수들 역시 양자화부(106)으로부터 역양자화부(108)로 전달된다. 여기에서 그것들은 인트라-부호화 모드에서의 부호기 오퍼레이션과 관련하여 앞서 설명된 것과 유사한 방식으로 역양자화된다. 인터-부호화 모드에서, 부호화된 비디오 비트-스트림의 품질 및 비디오 시퀀스를 나타내는데 필요한 비트들의 수는 예측 에러 정보를 나타내는 DCT 계수들에 적용될 양자화의 등급을 다양화하는 것에 의해 조절될 수 있다.

역양자화된 DCT 계수들의 결과적인 블록들은 역DCT 변환 블록(110)에 적용되고, 여기에서 그것들은 역DCT 변환을 거쳐 예측 에러 값들의 국부적으로 부호화된 블록들을 산출한다. 예측 에러 값들의 국부적으로 복호화된 블록들은 결합부(112)로 입력된다. 인터-부호화 모드에서, 스위치(114)는 결합부(112) 역시 매크로블록의 각각의 블록에 대한, 모션-보상 예측 블록(150)에 의해 생성된, 예측 픽셀 값들을 수신하도록 설정된다. 결합부(112)는 재생된 이미지 블록들을 산출하고 프레임 저장부(120)에 그것들을 저장하기 위해, 예측 에러 값들의 국부적으로 복호화된 블록들 각각을 예측 픽셀 값들의 대응하는 블록과 결합한다.

비디오 신호의 이어지는 매크로블록들은 비디오 소스로부터 수신되고, 앞서 설명된 블록들(104, 106, 108, 110 및 112)에서의 복호화 및 부호화 단계를 거치고, 프레임의 복호화된 버전은 프레임 저장부(120)에서 만들어진다. 프레임의 마지막 매크로블록이 처리되면, 프레임 저장부(120)는 완전히 복호화된 프레임을 포함하게 되는데, 이러한 프레임은 계속 수신된 비디오 프레임을 인터-부호화된 포맷으로 부호화하는데 있어 예측 참조 프레임으로서 사용 가능하다.

현재 프레임의 매크로블록에 대한 예측의 구성이 이하에서 설명될 것이다. 인터-부호화된 포맷으로 부호화된 어떤 프레임도 모션-보상 예측에 대한 참조 프레임을 필요로 한다. 이것은 비디오 시퀀스를 부호화할 때, 부호화되는 첫 번째 프레임이 시퀀스의 첫 번째 프레임이든지 아니면 다른 프레임이든지 간에 인트라-부호화된 포맷으로 부호화되는 것이 필수적이라는 것을 의미한다. 이는 비디오 부호기(100)가 제어 관리지(160)에 의해 인터-부호화 모드로 스위치될 때, 미리 부호화된 프레임을 국부적으로 복호화하는 것에 의해 형성된, 완전한 참조 프레임은 이미 부호기의 프레임 저장부(120)에서 사용 가능하다는 것을 의미한다.

일반적으로, 참조 프레임은 인트라-부호화된 프레임 또는 인터-부호화된 프레임 중 하나를 국부적으로 복호화하는 것에 의해 형성된다.

현재 프레임의 매크로블록에 대한 예측을 형성하는 첫 번째 단계는 모션 측정 블록(130)에 의해 수행된다. 모션 측정 블록(130)은 부호화될 프레임의 현재 매크로블록을 만들어 내는 위도 및 색차 값들의 블록들을 라인(128)을 통해 수신한다. 그리고, 현재 매크로블록에 실질적으로 대응하는 참조 프레임 내의 영역을 식별하기 위해서 블록 매칭 오퍼레이션을 수행한다.

블록 매칭 오퍼레이션을 수행하기 위해서, 모션 측정 블록은 프레임 저장부(120)에 저장된 참조 프레임 데이터를 라인(127)을 통해 액세스한다. 보다 구체적으로, 모션 예측 블록(130)은, 검사 중인 매크로블록과 프레임 저장부(120)에 저장된 참조 프레임으로부터의 픽셀들의 후보 최상-매칭 영역들 사이에서의 픽셀 값들의 차이를 나타내는 차이 값들(예를 들어 절대값 차이들의 합)을 계산하는 것에 의해 블록-매칭을 수행한다. 차이 값은, 참조 프레임에 관한 미리 정해진 탐색 영역 범위 내의 가능한 모든 위치들에서의 후보 지역들에 대해 산출되고, 모션 예측 블록(130)은 계산된 가장 작은 차이 값을 결정한다. 현재 프레임에서의 매크로블록과 가장 작은 차이 값을 내는 참조 프레임에서의 픽셀 값들의 후보 블록 사이의 오프셋은 문제의 매크로블록에 대한 모션 벡터를 정의한다.

일단 모션 예측 블록(130)이 매크로블록에 대한 모션 벡터를 산출해 내면, 그것은 모션 필드 부호화 블록(140)으로 모션 벡터를 출력한다. 모션 필드 부호화 블록(140)은 일련의 기초 함수들 및 모션 계수들을 포함하는 모션 모델을 사용하여 모션 예측 블록(130)으로부터 수신된 모션 벡터의 근사치를 구한다. 보다 구체적으로는, 모션 필드 부호화 블록(140)은, 상기 기초 함수들에 의해 곱해졌을 때 모션 벡터의 근사치를 형성하는 일련의 모션 계수 값들로 모션 벡터를 나타낸다. 일반적으로, 두 개의 모션 계수들 및 기초 함수들을 가지는 변환(translational) 모션 모델이 사용되지만 보다 복잡한 모션 모델들 역시 사용될 수 있다.

모션 계수들은 모션 필드 부호화 블록(140)으로부터 모션 보상 예측 블록(150)으로 전달된다. 또한 모션 보상 예측 블록(150)은 모션 예측 블록(130)에 의해 식별된 픽셀 값들의 최상-매칭 후보 영역을 프레임 저장부(120)로부터 수신한다. 참조 프레임으로부터의 최상-매칭 후보 영역의 픽셀 값들 및 모션 필드 부호화 블록(140)에 의해 생성된 모션 벡터의 근사적(approximate) 표시를 사용하여, 모션 보상 예측 블록(150)은 매크로블록의 각각의 블록에 대한 예측 픽셀 값들의 배열을 생성한다. 예측 픽셀 값들의 각각의 블록은 결합부(116)로 전달되어 가서, 거기에서 예측 픽셀 값들은 현재 매크로블록의 대응하는 블록에서의 실제(입력) 픽셀 값들로부터 뺄셈되고, 이로써 당해 매크로블록에 대한 일련의 예측 에러 블록들을 형성한다.

도 2에서 도시된 비디오 복호기(200)의 오퍼레이션이 이하에서 설명될 것이다.

복호기(200)는 비디오 멀티플렉스 복호기(270)을 포함하고, 이러한 복호기는 부호기(100)로부터 부호화된 비디오 비트-스트림(135)을 수신하고 그것을 디멀티플렉스하여 복호기의 구성 부분들에게로 보낸다. 이러한 구성 부분들에는 역양자화부(210), 역DCT변환부(220), 모션 보상예측블록(240), 프레임저장부(250), 결합부(230), 제어관리기(260) 및 출력(280)이 있다.

제어 관리기(260)는 인트라- 또는 인터-부호화된 프레임 중 어떤 것이 부호화된 것인지에 따라 복호기(200)의 오퍼레이션을 제어한다. 복호기가 복호화 모드들 간에 스위치 하도록 하는 인트라/인터 트리거 제어 신호는 예를 들어, 부호기로부터 수신된 각각의 압축된 비디오 프레임과 관련한 픽쳐 (picture) 유형 정보로부터 파생된다. 인트라/인터 트리거 제어 신호는 비디오 멀티플렉스 복호기(270)에 의해 부호화된 비디오 비트-스트림으로부터 추출되고 제어 라인(215)를 통해 제어 관리기(260)로 전달되어 간다.

인트라-부호화된 프레임의 복호화는 매크로블록마다 수행된다. 비디오 멀티플렉스 부호기(270)는 문제의 매크로블록과 관련되는 적절한 제어 정보로부터 매크로블록의 블록들에 대해 부호화된 정보를 분리한다. 인트라-부호화된 매크로블록의 각각의 블록에 대해 부호화된 정보는 블록의 0이 아닌 양자화 DCT 계수들에 대한 VLC 부호화 레벨 및 런 값을 나타내는 가변 길이 코드워드들을 포함한다.

비디오 멀티플렉스 복호기(270)는 부호기(100)에서 사용된 부호화 방법에 대응하는 가변 길이 복호화 방법을 사용하여 가변 길이 코드워드들을 복호화하고, 이로써 (런, 레벨) 쌍들을 회복한다. 그리고, 매크로블록의 각각의 블록에 대한 양자화 변환 계수 값들의 배열을 재생하고 그것들을 역양자화부(210)로 전달한다. 또한 매크로블록에 관련하는 어떤 제어 정보는 적절한 복호화 방법을 사용하여 비디오 멀티플렉스 복호기에서 복호화되고 제어 관리기(260)로 전달된다. 특히, 변환 계수들(예를 들어 양자화 변수(QP))에 적용되는 양자화의 레벨에 관련한 정보는 비디오 멀티플렉스 복호기(270)에 의해 부호화된 비트-스트림으로부터 추출되고 제어 라인(217)을 통해 제어 관리기(260)로 제공된다. 제어 관리기는 이러한 정보를 제어 라인(218)을 통해 역양자화부(210)로 전달한다. 역양자화부(210)는 양자화 변수 QP에 관련한 제어 정보에 따라 매크로블록의 각각의 블록에 대한 양자화된 DCT 계수들을 역 양자화하고, 역DCT변환부(220)로 역양자화된 DCT 계수들을 제공한다. 역양자화부(210)에 의해 수행된 역양자화 오퍼레이션은 부호기에서의 역양자화부(108) 에 의해 수행된 것과 일치한다.

역DCT변환부(220)는 재생된 픽셀 값들을 포함하는 이미지 정보의 복호화된 블록을 형성하기 위해, 매크로블록의 각각의 블록에 대한 역양자화된 DCT 계수들 상에서 역 DCT 변환을 수행한다. 매크로블록의 각각의 블록에 대한 재생된 픽셀 값들은 결합부(230)를 통해 복호기의 비디오 출력(280)으로 전달되고, 여기에서 그것들은 예를 들어, 디스플레이 장치(도시되지 않음)로 제공될 수 있다. 또한 매크로블록의 각각의 블록에 대한 재생된 픽셀 값들은 프레임 저장부(250)에 저장된다.

모션-보상 예측이 인트라 부호화된 매크로블록들의 부호화/복호화에서 사용되지 않기 때문에, 제어 관리기(260)는 결합부(230)가 픽셀 값들의 각각의 블록을 비디오 출력(280) 및 프레임 저장부(250)과 같은 곳으로 전달하도록 제어한다. 인트라-부호화된 프레임의 이어지는 매크로블록들이 복호화되고 저장됨에 따라, 복호화된 프레임은 프레임 저장부(250)에서 점진적으로 모이고, 따라서 연속적으로 수신된 인터-부호화된 프레임들과 함께 모션 보상 예측에 대한 참조 프레임으로서 사용할 수 있게 된다.

또한 인터-부호화된 프레임들은 매크로블록 마다 복호화된다. 비디오 멀티플레스 부호기(270)는 부호화된 비디오 비트-스트림(135)을 수신하고, 문제의 매크로블록과 관련되는 적절한 제어 정보 및 부호화된 모션 벡터로부터 인터-부호화된 매크로블록의 각각의 블록들에 대한 부호화된 예측 에러 정보를 분리한다. 앞서 설명된 것과 같이, 매크로블록의 각각의 블록에 대해 부호화된 예측 에러 정보는 일반적으로 문제의 예측 에러 블록의 0이 아닌 양자화 변환 계수들에 대한 레벨 및 런 값을 나타내는 가변 길이 코드워드들을 포함한다.

비디오 멀티플렉스 복호기(270)는 부호기(100)에서 사용된 부호화 방법에 대응하는 가변 길이 복호화 방법을 사용하여 가변 길이 코드워드들을 복호화하고, 이로써 (런, 레벨) 쌍들을 회복한다. 그리고, 각각의 예측 에러 블록에 대한 양자화 변환 계수 값들의 배열을 재생하고 그것들을 역양자화부(210)로 전달한다. 또한 인터-부호화된 매크로블록에 관련하는 제어 정보는 적절한 복호화 방법을 사용하여 비디오 멀티플렉스 복호기(270)에서 복호화되고 제어 관리기(260)로 전달된다.

예측 에러 블록들의 변환 계수들에 적용되는 양자화(QP)의 레벨에 관련한 정보는 부호화된 비트-스트림으로부터 추출되고 제어 라인(217)을 통해 제어 관리기(260)로 제공된다. 제어 관리기는 이러한 정보를 제어 라인(218)을 통해 역양자화부(210)로 전달한다. 역양자화부(210)는 양자화 변수 QP에 관련한 제어 정보에 따라 매크로블록의 각각의 블록에 대한 양자화된, 예측 에러 정보를 나타내는 DCT 계수들을 역 양자화하고, 역DCT변환부(220)로 역양자화된 DCT 계수들을 제공한다. 다시, 역양자화부(210)에 의해 수행된 역양자화 오퍼레이션은 부호기에서의 역양자화부(108)에 의해 수행된 것과 일치한다. 인트라/인터 플래그는 라인(215)에서 제공된다.

각각이 블록에 대한 예측 에러 정보를 나타내는 역양자화된 DCT 계수들은 DCT 변환부(220)에서 변환되어 매크로블록의 각각의 블록에 대한 재생된 예측 에러 값들의 배열을 산출한다.

매크로블록과 관련된 부호화된 모션 벡터 정보는 비디오 멀티플렉스 복호 기(270)에 의해 부호화된 비디오 비트-스트림(135)으로부터 추출되고 복호화된다. 그렇게 얻어진 복호화된 모션 벡터 정보는 제어 라인(225)을 통해 모션 보상 예측 블록(240)으로 전달되고, 그것은 부호기(100)에서 인터-부호화된 매크로블록을 부호화하는데 사용되었던 것과 동일한 모션 모델을 사용하여 매크로블록에 대한 모션 벡터를 재생한다. 재생 모션 벡터는 부호기의 모션 예측 블록(130)에 의해 본래 결정된 모션 벡터를 근사화한다.

복호기의 모션 보상 예측 블록(240)은 재생 모션 벡터를 사용하여 프레임 저장부(250)에 저장된 예측 참조 프레임에서의 재생 픽셀들 영역의 위치를 식별한다. 재생 모션 벡터에 의해 지시되는 픽셀들의 영역은 문제의 매크로블록에 대한 예측을 형성하는데 사용된다. 보다 구체적으로는, 모션 보상 예측 블록(240)은 참조 프레임에서 식별된 픽셀들 영역으로부터 대응하는 픽셀 값들을 복사하는 것에 의해 매크로블록의 각각의 블록에 대한 픽셀 값들의 배열을 형성한다.

참조 프레임에서 파생된, 픽셀 값들의 이러한 블록들은 모션 보상 예측 블록(240)으로부터 결합부(230)으로 전달되고, 거기에서 그것들은 복호화된 예측 에러 정보와 결합된다. 실제로는, 각각의 예측 블록의 픽셀 값들이 역DCT변환부(220)에 의한 대응하는 재생 예측 에러 값들 출력에 더해진다. 이러한 방식으로, 매크로블록의 각각의 블록에 대한 재생 픽셀 값들의 배열이 얻어진다. 재생 픽셀 값들은 복호기의 비디오 출력(280)으로 전달되고 또한 프레임 저장부(250)에서 저장된다.

인터-부호화된 프레임의 이어지는 매크로블록은 복호화되고 저장된다. 복호화된 프레임은 점진적으로 프레임 저장부(250)에 모이고, 따라서 다른 인터-부호화 된 프레임들의 모션 보상 예측에 대한 참조 프레임으로서 사용할 수 있게 된다.

상기에서 설명한 대로, 일반적인 비디오 부호화 및 복호화 시스템들(비디오 코덱들이라 통상적으로 언급되는)은 모션 보상 예측 및 예측 에러 부호화를 기반으로 한다. 모션 보상 예측은 비디오 프레임들 사이의 모션을 분석하고 부호화하는 것 및 모션 정보를 사용하여 이미지 세그먼트들을 재생하는 것에 의해 얻어진다.

예측 에러 부호화는 모션 보상 이미지 세그먼트들과 본래 이미지의 대응하는 세그먼트들 사이의 차이를 부호화하는데 사용된다. 예측 에러 부호화의 정확성은 부호화된 비디오의 요구되는 품질 및 이용 가능한 대역폭에 따라 조절될 수 있다. 일반적인 이산 여현 변환(DCT) 기반의 시스템에서는 특정 정확도로 DCT 계수들을 양자화하는데 사용되는 양자화 변수(QP)를 다양화하는 것에 의해 이것이 수행된다.

부호기와 동기된 상태로 있기 위해서는 복호기는 부호화된 비디오 시퀀스에서 사용되는 QP의 정확한 값을 알아야 한다는 것에 주목해야 한다. 일반적으로, QP 값은 슬라이스 당 한번씩 송신되는데, 이는 이미지를 부호화하는데 필요한 비트들의 수를 증가시킨다.(앞서 설명한 대로, 슬라이스는 이미지의 부분을 담고 있고, 픽쳐 내의 가능한 송신 에러들의 확산을 피하기 위해 다른 슬라이스들과 독립적으로 부호화된다) 예를 들어, 만일 단독의 QP 값의 부호화에 6 비트들과 20 이미지들이 필요하고, 각각은 10 슬라이스들로 분할되고, 매초마다 송신된다면, QP 정보만에 대해서도 1.2kbps가 사용된다.

종래 기술 해결책들(예를 들어, 2002년 1월 Doc. JVT-A003, ISO/IEC MPEG 및 ITU-T VCEG, T. Wiegand "조인트 모델 넘버 1"에 의한 문서에서 제시된 H.26L 비디 오 부호화 권고)은 고정된 또는 가변 길이 코드와는 독립적으로 픽쳐/슬라이스 QP 변수들을 부호화한다. 이것은 상기에서 설명된 것과 같이, 증가된 송신 비트율을 발생시킨다. 보다 구체적으로, H.26L 조인트 모델 넘버 1에 따르면, DCT 계수 값들을 양자화하는데 사용되는 양자화 변수 값 QP는 일반적으로 각각의 픽쳐의 시작점에 있어서 부호화된 비트-스트림에서 표시된다(T. Wiegand "조인트 모델 넘버 1" Doc. JVT-A003, ISO/IEC MPEG 및 ITU-T VCEG의 조인트 비디오 팀(JVT), 2002년 1월, 섹션들 3.1 참조).

만일 프레임 범위 내에 있는 매크로블록들이 슬라이스들로 배열된다면, QP 값 역시 프레임의 각각의 슬라이스의 시작점에서 표시된다(예를 들어, 부호화된 비트-스트림의 선택적인 슬라이스 헤더 부분). 양자 모두의 경우에서, QP 값은 그와 같이 표시되거나 적절한 가변 길이 부호화 방식을 사용하여 부호화된다. 상기에서 언급된 대로, 이러한 방식은 양자화 변수 정보를 나타내는데 필요한 비트수들의 관점에서 매우 값비싸다는 것, 특히, 프레임들이 많은 슬라이스들로 분할되고/거나 부호화된 비디오 시퀀스의 송신에 이용 가능한 대역폭이 낮은 경우에 그러하다는 것을 알아야 한다. 이는 부호화된 비트-스트림이 무선 통신 링크 상에서 송신되는 이동 비디오 어플리케이션들에서 특히 중요한 문제이다. 이러한 상황에서는, 부호화된 비디오 비트-스트림의 송신에 이용 가능한 대역폭은 20kbits/s만큼 낮을 수 있고, 비트-스트림에 포함된 QP 정보는 전체적으로 이용 가능한 대역폭의 중요한 부분을 나타낼 것이다.

더욱이, H.26L에 따르면, QP의 값은 문제의 매크로블록을 나타내는 부호화된 비트-스트림의 부분에 양자화 변화 변수(Dquant)를 삽입하는 것에 의해 매크로블록 레벨에서 선택적으로 다양화될 것이다(T. Wiegand "조인트 모델 넘버 1" Doc. JVT-A003, ISO/IEC MPEG 및 ITU-T VCEG의 조인트 비디오 팀(JVT), 2002년 1월, 섹션들 3.4.7 참조). 이것은 QP 관련된 정보의 지시에 사용되는 부호화된 비트-스트림에서 정보량의 증가를 발생케 한다.

앞서 말한 것의 관점에서 볼 때, 비디오 부호화 시스템들에서는 양자화 변수 값들에 관련한 정보의 표시를 위한 개선된 방식이 중요하게 요구되고 있다는 것이 이해되어야 한다.

본 발명은, 상기에서 설명된 것과 같은, 양자화 변수 값들에 관련한 정보의 표시를 위한 개선된 방식을 제공할 수 있는 비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치를 제공한다.

본 출원은 2002년 4월 23일에 출원된 U.S. 가출원 제60/374,667호를 기반으로 하고, 상기 가출원에 대해 우선권을 주장한다.

본 발명은 시퀀스 레벨 QP를 도입하는 것에 의해 QP 관련 정보를 표시하는 종래 기술의 해결 방안들을 개선한 것이다. 본 발명은 부호기 어플리케이션으로 하여금 픽쳐/슬라이스 QP들의 부호화에서 사용될 참조 QP에 따른 비디오 시퀀스를 결정하게 한다. 이제는, 본 발명에 따라, 픽쳐/슬라이스 QP들의 절대 값들을 부호화하는 대신에, 참조 시퀀스 QP와 실제 사용된 픽쳐/슬라이스 QP 간의 차이를 부호화하는 것으로 충분하다. 이러한 방식에서는 모든 픽쳐/슬라이스에 대한 전체 QP를 송신할 필요가 없고, 통계상으로 보다 작은 차이 값이 전송되어 픽쳐/슬라이스 QP를 재생하는데 사용된다. 따라서, 송신 비트-전송률이 감소하게 된다.

비트-전송률의 감소는 상수 QP의 경우에 있어 가장 명백하다. 이러한 경우에는, 슬라이스를 복호화할 때 시퀀스 QP가 사용된다는 것을 표시하기 위해 슬라이스 당 단지 1 비트만을 송신하는 것으로 충분하다. 예를 들어, 앞서 설명한 예에 있어서, QP에 대한 비트-전송률은 1.2kbps에서 0.2kbps(이제 각각의 슬라이스에 대해 6 비트 대신에 1 비트만을 보내면 된다)로 감소된 것이다.

본 발명의 첫 번째 국면에 따르면, 디지털 비디오 시퀀스를 부호화하는 방법이 제공되는데, 상기 방법은 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비디오 비트-스트림을 생성하는 비디오 부호화 어플리케이션에서 사용된다. 상기 디지털 비디오 시퀀스 다수의 프레임들을 포함하고, 상기 시퀀스의 각각의 프레임은 픽셀들(pixels)의 배열을 포함하고 복수개의 블록들로 분할되고, 각각의 블록은 소정 개수의 상기 픽셀들을 포함한다. 상기 방법은 픽셀들의 블록들에 모션 보상 예측을 적용하는 것에 의해 상기 디지털 비디오 시퀀스의 프레임을 부호화하고, 이로써 예측 에러 값들의 대응하는 블록들을 생성한다. 변환 부호화 기술은 예측 에러 값들의 상기 블록을 나타내는 일련의 변환 계수 값들을 생성하기 위하여, 예측 에러 값들의 상기 블록들에 적용되고, 양자화의 레벨은 일련의 양자화된 변환 계수 값들을 산출하기 위해 상기 일련의 변환 계수 값들에 적용된다. 본 발명에 따르면, 상기 방법은 나아가, 상기 일련의 변환 계수 값들을 양자화 하기 위하여, 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 디폴트 레벨을 정의하는 단계를 더 포함한다.

또한 본 발명의 첫 번째 국면에 따른 방법은, 인터-부호화 모드에서 부호화되는 프레임들을 위해 생성된 예측 에러 값들을 나타내는 일련의 변환 계수 값들을 양자화하기 위해 사용되는 양자화 변수 값들을 표시하기 위해 상기에서 설명된 방식과 유사한 방식으로, 인트라-부호화 모드에서 부호화된 프레임들을 위해 생성된 픽셀 값들의 블록들을 나타내는 일련의 변환 계수 값들을 양자화하기 위해 사용되 는 양자화 변수(QP) 값들을 표시하는데 사용되는 것이 유익하다.

디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 상기 디폴트 레벨이 부호화된 비디오 시퀀스에 특유한(specific) 것이 유익하다. 선택적으로, 양자화의 디폴트 레벨은 비디오 부호화 어플리케이션에 특유하다.

디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 상기 디폴트 레벨의 표시가 제공되는 것이 바람직하다. 양자화의 상기 디폴트 레벨의 표시가 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 제공되는 것이 보다 바람직하다. 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 상기 디폴트 레벨의 표시를 포함하는 상기 부호화된 비트-스트림은 비디오 복호화 장치로 송신되는 것이 유익하다.

일련의 변환 계수 값들을 양자화하기 위해 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 상기 디폴트 레벨은 상기 디지털 비디오 시퀀스의 부호화 과정 동안 갱신될 수 있고, 나아가 양자화의 상기 갱신된 디폴트 레벨을 나타내는 표시가 제공되는 것이 유익하다.

양자화의 상기 갱신된 디폴트 레벨의 표시는 비디오 복호화 장치로 송신되는 것이 바람직하고, 상기 디지털 비디오 시퀀스를 나타내는 복호화된 비트-스트림에서 송신되는 것이 유익하다.

상기 일련의 변환 계수 값들에 적용될 양자화의 상기 레벨은 조절될 수 있어, 상기 일련의 변환 계수 값들에 적용되는 양자화의 실제 레벨이 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 상기 디폴트 레벨과 다르게 되는 것이 유익하다. 적용될 양자화의 실제 레벨은 양자화의 상기 디폴트 레벨과 관련한 차이로서 나타내는 것이 바람직하다. 양자화의 상기 디폴트 레벨에 관련한 상기 차이의 표시는 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 포함되는 것이 유익하다.

본 발명의 첫 번째 국면에 따른 비디오 부호화 방법의 구현예에서, 상기 일련의 변환 계수 값들에 적용될 양자화의 레벨은 상기 디지털 비디오 시퀀스의 하나의 프레임에서부터 또 다른 것까지 조절되어, 상기 디지털 비디오 시퀀스의 특정 프레임에 대한 상기 일련의 변환 계수들에 적용될 양자화의 실제 레벨이 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 상기 디폴트 레벨과 서로 다르게 된다.

이러한 구현예에서는, 특정 프레임에서 사용될 양자화의 상기 실제 레벨이 양자화의 상기 디폴트 레벨과 관련한 차이로서 나타나고, 양자화의 상기 디폴트와 관련한 차이의 표시는 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 제공되는 것이 바람직하다.

본 발명의 첫 번째 국면에 따른 비디오 부호화 방법의 선택적인 구현예에서, 상기 디지털 비디오 시퀀스의 프레임이 분할되는 복수개의 블록들은 하나 이상의 세그먼트들로 그룹화되고, 상기 일련의 변환 계수 값들에 적용되는 양자화의 레벨은 프레임의 하나의 세그먼트에서부터 또 다른 것까지 조절될 수 있고, 프레임의 특정 세그먼트에 대한 일련의 변환 계수들에 적용되는 양자화의 실제 레벨이 상기 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 상기 디폴트 레벨과 서 로 다르게 된다. 이러한 선택적인 구현예에서, 특정 세그먼트에서 사용될 양자화의 상기 실제 레벨이 양자화의 상기 디폴트 레벨과 관련한 차이로서 나타나고, 양자화의 상기 디폴트와 관련한 차이의 표시는 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 제공되는 것이 바람직하다.

만일 양자화의 상기 디폴트 레벨이 상기 디지털 비디오 시퀀스에서 모든 일련의 변환 계수 값들을 양자화하는데 사용된다면, 양자화의 상기 디폴트 레벨의 표시는, 상기 디폴트 레벨이 상기 디지털 비디오 시퀀스에서 모든 일련의 변환 계수 값들을 양자화하는데 사용된다는 표시와 함께 제공되는 것이 바람직하다.

본 발명의 두 번째 국면에 따르면, 부호화된 디지털 비디오 시퀀스를 복호화하는 방법이 제공된다. 상기 방법은 복호화된 디지털 비디오 시퀀스를 생성하는 비디오 복호화 어플리케이션에 적용된다. 상기 디지털 비디오 시퀀스는 다수의 프레임들을 포함하고, 상기 시퀀스의 각각의 프레임은 복수개의 블록들로 분할된 픽셀들(pixels)의 배열을 포함하고, 각각의 블록은 소정 개수의 상기 픽셀들을 포함한다. 상기 디지털 비디오 시퀀스의 프레임들은 대응하는 예측 에러 값들의 블록들을 생성하기 위해 모션 보상 예측을 픽셀들의 블록들에 적용하는 단계, 예측 에러 값들의 상기 블록들을 나타내는 일련의 변환 계수 값들을 생성하기 위해 변환 부호화 기술을 예측 에러 값들의 상기 블록들에 적용하는 단계, 및 예측 에러 값들의 상기 블록을 나타내는 일련의 양자화된 변환 계수 값들을 산출하기 위해 양자화의 레벨을 상기 일련의 변환 계수 값들에 적용하는 단계에 의해 부호화된다. 본 발명에 따르면, 복호화 방법은 상기 일련의 양자화된 변환 계수 값들을 역 양자화하기 위해 부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용될 역 양자화의 디폴트 레벨을 정의하는 단계를 포함한다.

역 양자화의 디폴트 레벨은 비디오 시퀀스의 부호화 동안 일련의 변환 계수 값들을 양자화하기 위해 사용된 양자화의 디폴트 레벨과 동일한 것이 유익하다.

부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용되기 위해 정의된 역 양자화의 디폴트 레벨은 복호화된 부호화 비디오 시퀀스에 특유한 것이 유익하다. 선택적으로, 역 양자화의 디폴트 레벨은 비디오 복호화 어플리케이션에 특유한 것이 유익하다.

복호화 방법은, 바람직하게는, 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 역 양자화의 디폴트 레벨의 표시를 검색하는 단계를 포함하는 것이 유익하다.

역 양자화의 디폴트 레벨은 디지털 비디오 시퀀스의 복호화 동안 갱신될 수 있다. 역 양자화의 디폴트 레벨의 갱신은, 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 검색되는, 비디오 시퀀스의 부호화 동안 사용된 역 양자화의 갱신된 디폴트 레벨의 표시에 응하여 수행되는 것이 바람직하다. 선택적으로, 역 양자화의 디폴트 레벨은, 비디오 부호화 장치로부터 송신된, 비디오 시퀀스의 부호화 동안 사용된 양자화의 갱신된 디폴트 레벨의 표시에 응하여 갱신된다.

일련의 양자화된 변환 계수 값들에 적용될 역 양자화의 레벨은 조절될 수 있어, 일련의 양자화된 변환 계수 값들에 적용되는 역 양자화의 실제 레벨이 부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용될 역 양자화의 디폴트 레벨과 다 를 수 있는 것이 유익하다. 이러한 경우에, 역 양자화의 실제 레벨은 역 양자화의 디폴트 레벨에 차이 값을 더하는 것에 의해 결정되는데, 상기 차이 값은 역 양자화의 디폴트 레벨과 적용될 역 양자화의 실제 레벨 사이의 차이를 나타낸다. 차이 값의 표시는 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 검색되는 것이 바람직하다.

본 발명이 두 번째 국면에 따른 비디오 복호화 방법의 구현예에 있어서, 일련의 양자화된 변환 계수 값들에 적용된 역 양자화의 레벨은 디지털 비디오 시퀀스의 하나의 프레임으로부터 또 다른 것까지 조절되어, 디지털 비디오 시퀀스의 특정 프레임에 대한 일련의 양자화된 변환 계수들에 적용될 역 양자화의 실제 레벨이 부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용되는 역 양자화의 디폴트 레벨과 다를 수 있다.

이러한 구현예에서는, 특정 프레임에서 사용될 역 양자화의 실제 레벨은 역 양자화의 디폴트 레벨에 프레임-특정 차이 값을 더하는 것에 의해 결정되는 것이 바람직하고, 상기 프레임-특정 차이 값은 역 양자화의 디폴트 레벨과 특정 프레임에서 사용될 역 양자화의 실제 레벨 사이의 차이를 나타낸다. 상기 프레임-특정 차이 값은 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 검색되는 것이 바람직하다.

본 발명의 두 번째 국면에 따른 비디오 복호화 방법의 선택적인 구현예에 있어서, 상기 디지털 비디오 시퀀스의 프레임이 분할되는 복수개의 블록들은 하나 이상의 세그먼트들로 그룹화되고, 일련의 양자화된 변환 계수 값들에 적용된 역 양자 화의 레벨은 프레임의 하나의 세그먼트로부터 또 다른 것까지 조절되어, 프레임의 특정 세그먼트에 대한 일련의 양자화된 변환 계수들에 적용되는 역 양자화의 실제 레벨이 부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용되는 역 양자화의 디폴트 레벨과 다를 수 있다.

이러한 선택적인 구현예에서는 특정 세그먼트에서 사용될 역 양자화의 실제 레벨은 역 양자화의 디폴트 레벨에 세그먼트-특정 차이 값을 더하는 것에 의해 결정되는 것이 바람직하고, 상기 세그먼트-특정 차이 값은 역 양자화의 디폴트 레벨과 특정 프레임에서 사용될 역 양자화의 실제 레벨 사이의 차이를 나타낸다. 상기 세그먼트-특정 차이 값은 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 검색되는 것이 바람직하다.

본 발명의 세 번째 국면에 따르면, 디지털 비디오 시퀀스를 부호화하는 부호기가 제공되는데, 이는 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비디오 비트-스트림을 생성하기 위한 것이다. 상기 디지털 비디오 시퀀스 다수의 프레임들을 포함하고, 상기 시퀀스의 각각의 프레임은 픽셀들(pixels)의 배열을 포함하고 복수개의 블록들로 분할되고, 각각의 블록은 소정 개수의 상기 픽셀들을 포함한다. 본 발명의 세 번째 국면에 따르는 상기 비디오 부호기는 픽셀들의 블록들에 모션 보상 예측을 적용하는 것에 의해 상기 디지털 비디오 시퀀스의 프레임을 부호화도록 배열하고, 이로써 예측 에러 값들의 대응하는 블록들을 생성한다.

나아가, 상기 비디오 부호기는 예측 에러 값들의 상기 블록을 나타내는 일련의 변환 계수 값들을 생성하기 위하여, 예측 에러 값들의 상기 블록들에 변환 부호 화 기술을 적용하고, 일련의 양자화된 변환 계수 값들을 산출하기 위해 상기 일련의 변환 계수 값들에 양자화의 레벨이 적용되도록 배열한다. 본 발명에 따르면, 나아가 상기 비디오 부호기는 상기 일련의 변환 계수 값들을 양자화 하기 위하여, 상기 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 디폴트 레벨을 정의하도록 배열한다.

또한 본 발명의 세 번째 국면에 따른 부호기는, 인터-부호화 모드에서 부호화되는 프레임들을 위해 생성된 예측 에러 값들을 나타내는 일련의 변환 계수 값들을 양자화하기 위해 사용되는 양자화 변수 값들을 표시하기 위해 상기에서 설명된 방식과 유사한 방식으로, 인트라-부호화 모드에서 부호화된 프레임들을 위해 생성된 픽셀 값들의 블록들을 나타내는 일련의 변환 계수 값들을 양자화하기 위해 사용되는 양자화 변수(QP) 값들을 표시하도록 배열하는 것이 유익하다.

상기 비디오 부호기에 의해 정의된 양자화의 상기 디폴트 레벨은 부호화된 비디오 시퀀스에 특유한(specific) 것이 유익하다.

상기 비디오 부호기는 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 양자화의 상기 디폴트 레벨의 표시를 제공하도록 배열하는 것이 유익하다. 이에 대응하는 비디오 복호기로 상기 부호화된 비트-스트림을 송신하도록 배열하는 것이 보다 더 유익하다.

상기 비디오 부호기는 상기 디지털 비디오 시퀀스의 부호화 동안 양자화의 상기 디폴트 레벨을 갱신하고, 양자화의 상기 갱신된 디폴트 레벨의 표시를 제공하도록 배열하는 것이 유익하다. 또한 부호기는 대응하는 비디오 복호기로 갱신된 디 폴트 레벨의 표시를 송신하도록 배열하는 것이 바람직하다. 부호기는 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 양자화의 갱신된 디폴트 레벨의 표시를 포함하는 것이 유익하다.

양자화의 디폴트 레벨과 서로 다른 양자화의 실제 레벨이 적용되도록 배열하는 것이 바람직하다. 비디오 부호기는 양자화의 실제 레벨을 양자화의 상기 디폴트 레벨과 관련한 차이로서 나타내고, 양자화의 상기 디폴트 레벨에 관련한 상기 차이의 표시를 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 제공하도록 배열하는 것이 바람직하다.

본 발명의 세 번째 국면에 따른 비디오 부호기의 한 구현예에 있어서, 비디오 부호기는 일련의 변환 계수 값들에 적용될 양자화의 레벨을 디지털 비디오 시퀀스의 하나의 프레임에서부터 또 다른 것으로까지 조절하도록 배열한다. 이러한 방식으로, 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 디폴트 레벨과 서로 다른, 특정 프레임에 대한 일련의 변환 계수들에 양자화의 실제 레벨을 적용하도록 배열한다. 이러한 구현예에 따른 비디오 부호기는 양자화의 디폴트 레벨에 관련한 차이로서 특정 프레임에서 사용될 양자화의 실제 레벨을 나타내고, 양자화의 상기 디폴트 레벨에 관련한 상기 차이의 표시를 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 제공하도록 배열하는 것이 바람직하다.

본 발명의 세 번째 국면에 따른 비디오 부호기의 선택적인 구현예에서, 본 발명은 상기 디지털 비디오 시퀀스의 프레임이 분할되는 복수개의 블록들을 하나 이상의 세그먼트들로 그룹화하고, 상기 일련의 변환 계수 값들에 적용되는 양자화 의 레벨을 프레임의 하나의 세그먼트에서부터 또 다른 것까지 조절할 수 있도록 배열하는 것이 바람직하다. 이러한 방식으로, 디지털 비디오 시퀀스의 부호화 과정에서 사용될 양자화의 디폴트 레벨과 서로 다른, 특정 프레임이 세그먼트에 대한 일련의 변환 계수들에 양자화의 실제 레벨을 적용하도록 배열한다. 이러한 구현예에 따른 비디오 부호기는 양자화의 디폴트 레벨에 관련한 차이로서 특정 세그먼트에서 사용될 양자화의 실제 레벨을 나타내고, 양자화의 상기 디폴트 레벨에 관련한 상기 차이의 표시를 상기 디지털 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 제공하도록 배열하는 것이 바람직하다.

특정 구현예에 있어서, 비디오 부호기는 디지털 비디오 시퀀스 과정에서 모든 일련의 변환 계수 값들을 양자화하기 위해 디폴트 레벨이 사용된다는 표시 및 양자화의 디폴트 레벨의 표시를 제공하도록 배열한다.

본 발명의 세 번째 국면에 따른 비디오 부호기는 멀티미디어 단말기에 제공되는 것이 유익하다. 비디오 부호기는 무선 원격 통신 장치에서 구현되는 것이 보다 더 바람직하다.

본 발명의 네 번째 국면에 따르면, 복호화된 디지털 비디오 시퀀스를 생성하기 위해 부호화된 디지털 비디오 시퀀스를 복호화하기 위한 복호기가 제공된다. 디지털 비디오 시퀀스는 다수의 프레임들을 포함하고, 상기 시퀀스의 각각의 프레임은 복수개의 블록들로 분할된 픽셀들(pixels)의 배열을 포함하고, 각각의 블록은 소정 개수의 상기 픽셀들을 포함한다. 상기 디지털 비디오 시퀀스의 프레임들은, 대응하는 예측 에러 값들의 블록들을 생성하기 위해 모션 보상 예측을 픽셀들의 블 록들에 적용하는 단계, 예측 에러 값들의 상기 블록들을 나타내는 일련의 변환 계수 값들을 생성하기 위해 변환 부호화 기술을 예측 에러 값들의 상기 블록들에 적용하는 단계, 및 예측 에러 값들의 상기 블록을 나타내는 일련의 양자화된 변환 계수 값들을 산출하기 위해 양자화의 레벨을 상기 일련의 변환 계수 값들에 적용하는 단계에 의해 부호화된다.

본 발명에 따르면, 비디오 복호기는 상기 일련의 양자화된 변환 계수 값들을 역 양자화하기 위해 부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용될 역 양자화의 디폴트 레벨을 정의하도록 배열한다.

역 양자화의 디폴트 레벨은 비디오 시퀀스의 부호화 동안 일련의 변환 계수 값들을 양자화하기 위해 사용된 양자화의 디폴트 레벨과 동일한 것이 바람직하다.

부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용되기 위해 정의된 역 양자화의 디폴트 레벨은 복호화된 부호화 비디오 시퀀스에 특유한 것이 유익하다.

비디오 복호기는 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 역 양자화의 디폴트 레벨의 표시를 검색하도록 배열하는 것이 유익하다.

비디오 복호기는 디지털 비디오 시퀀스 동안, 바람직하게는 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 양자화의 갱신된 디폴트 레벨의 표시를 검색하는 것에 의해, 역 양자화의 디폴트 레벨을 갱신하도록 배열되는 것이 유익하다. 선택적으로, 비디오 복호기는, 비디오 부호화 장치로부터 송신된, 양자화의 갱신된 디폴트 레벨의 표시를 수신하도록 배열한다.

비디오 복호기는 일련의 양자화된 변환 계수 값들에 적용될 역 양자화의 레 벨을 조절하고, 역 양자화의 디폴트 레벨과 서로 다른, 일련의 양자화된 변환 계수 값들에 역 양자화의 실제 레벨을 적용하도록 배열하는 것이 바람직하다. 복호기는 역 양자화의 실제 레벨을 역 양자화의 디폴트 레벨에 차이 값을 더하는 것에 의해 결정하도록 배열하는 것이 유익하고, 상기 차이 값은 역 양자화의 디폴트 레벨과 적용될 역 양자화의 실제 레벨 사이의 차이를 나타낸다. 비디오 복호기는 차이 값의 표시를 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 검색하도록 배열하는 것이 바람직하다.

본 발명의 네 번째 국면에 따른 비디오 복호기의 구현예에 있어서, 비디오 복호기는 일련의 양자화된 변환 계수 값들에 적용될 역 양자화의 레벨을 디지털 비디오 시퀀스의 하나의 프레임으로부터 또 다른 것까지 조절하고, 부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용되는 역 양자화의 디폴트 레벨과 서로 다른, 디지털 비디오 시퀀스의 특정 프레임에 대한 일련의 양자화된 변환 계수들에 역 양자화의 실제 레벨을 적용하도록 배열하는 것이 바람직하다. 복호기는 특정 프레임에 사용되는 역 양자화의 실제 레벨을 역 양자화의 디폴트 레벨에 프레임-특정 차이 값을 더하는 것에 의해 결정하도록 배열하는 것이 유익하고, 상기 프레임-특정 차이 값은 역 양자화의 디폴트 레벨과 특정 프레임에서 사용될 역 양자화의 실제 레벨 사이의 차이를 나타낸다. 비디오 복호기는 특정-프레임 차이 값의 표시를 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 검색하도록 배열하는 것이 바람직하다.

본 발명의 네 번째 국면에 따른 비디오 복호기의 구현예에 있어서, 비디오 복호기는 상기 디지털 비디오 시퀀스의 프레임이 분할되는 복수개의 블록들이 하나 이상의 세그먼트들로 그룹화되는 부호화된 비디오 시퀀스를 복호화하도록 배열하고, 일련의 양자화된 변환 계수 값들에 적용될 역 양자화의 레벨을 디지털 비디오 시퀀스의 프레임의 하나의 세그먼트로부터 또 다른 것까지 조절하고, 부호화된 디지털 비디오 시퀀스의 복호화 과정에서 사용되는 역 양자화의 디폴트 레벨과 서로 다른, 디지털 비디오 시퀀스의 프레임의 특정 세그먼트에 대한 일련의 양자화된 변환 계수들에 역 양자화의 실제 레벨을 적용하도록 배열한다. 복호기는 세그먼트 프레임에 사용되는 역 양자화의 실제 레벨을 역 양자화의 디폴트 레벨에 세그먼트-특정 차이 값을 더하는 것에 의해 결정하도록 배열하는 것이 바람직하고, 상기 세그먼트-특정 차이 값은 역 양자화의 디폴트 레벨과 특정 프레임에서 사용될 역 양자화의 실제 레벨 사이의 차이를 나타낸다. 비디오 복호기는 세그먼트-프레임 차이 값의 표시를 부호화된 디지털 비디오 시퀀스를 나타내는 비트-스트림으로부터 검색하도록 배열하는 것이 바람직하다.

본 발명의 다섯 번째 국면에 따르면, 본 발명의 세 번째 국면에 따르는 부호기를 포함하는 멀티미디어 단말기를 제공한다.

본 발명의 여섯 번째 국면에 따르면, 본 발명의 네 번째 국면에 따르는 복호기를 포함하는 멀티미디어 단말기를 제공한다.

본 발명의 상기 다섯 번째 및/또는 여섯 번째 국면에 따르는 멀티미디어 단말기는 무선 커넥션을 통해 이동 원격 통신 네트워크와 통신하도록 배열된 이동 멀티미디어 단말기인 것이 바람직하다.

본 발명의 보다 바람직한 구현예에 있어서, 비디오 시퀀스 특정 양자화 변수(QP)는 송신되고 실제 픽쳐/슬라이스 양자화 변수들을 부호화 및 복호화할 때 참조로서 사용된다. 이러한 방식에서는 모든 픽쳐/슬라이스에 대한 전체 QP를 송신할 필요가 없지만, 통계상으로 보다 작은 차이 값이 송신되고 픽쳐/슬라이스 QP를 재생하는데 사용된다. 이는 송신 비트-전송률에서의 감소를 가져온다.

본 발명의 구현예는 도 5 내지 도 8을 참조하여 이하에서 설명될 것이다.

도 5는 본 발명의 보다 바람직한 구현예에 따라 구현된 비디오 부호기(600)의 개략적인 블록도이다. 도 5에서 도시된 비디오 부호기의 구조는 도 3에서 도시된 종래 기술의 비디오 부호기의 구조와 실질적으로 동일하고, 다만 비디오 부호화 프로세스에서 사용된 양자화 변수(QP) 값들의 시그널링 및 DCT 변환 계수들의 양자화에 관련한 오퍼레이션들을 수행하는 부호기의 부분들에 대해 적절하게 변경하였다.

앞서 설명된 종래 기술의 비디오 부호기에 일치하는 방식으로 작동하고 함수들을 구현하는 비디오 부호기의 모든 부분들은 동일한 참조 번호들로서 식별된다. 본 발명이 슬라이스 또는 프레임 레벨에서 양자화 변수(QP) 값들의 시그널링에 특히 관계됨에 따라, 이어지는 설명에서는, 본 발명의 보다 바람직한 구현예에 따른 비디오 부호기(600)는 구체적으로 비디오 부호화 방법을 적용하도록 적응되는데, 이러한 방법에서 부호화될 비디오 시퀀스의 프레임들은 매크로블록들로 분할되고 매크로블록들은 슬라이스들로 그룹화되고, 양자화 변수의 표시는 프레임 내의 각각 의 새로운 슬라이스의 시작점 및 각각의 프레임의 시작점에서 제공된다는 것이 전제된다. 그와 같은 비디오 부호화 방법의 예로는 상기에서 인용된, 2002년 1월, Doc. JVT-A003, ISO/IEC MPEG 및 ITU-T VCEG의 조인트 비디오 팀(JVT) T. Wiegand "조인트 모델 넘버 1"에서 설명된 것과 같은 ITU-T H.26L 비디오 부호화 권고가 있다.

선택적으로, 상기 방법은 양자화 변수의 표시가 프레임의 시작점에서만 주어지는 비디오 부호화 시스템에서 적용될 수 있다. 다음의 상세한 설명은 슬라이스 레벨 양자화 변수들의 표시 및 시그널링에 있어 본 발명에 따른 방법의 어플리케이션을 예시하는 것이 구체적으로 기록되지만, 상기 방법은 프레임(픽쳐) 레벨 양자화 변수들의 표시에 정확하게 유사한 방식으로 적용될 수 있음도 이해되어야 할 것이다.

비디오 부호기(600)의 오퍼레이션이 이하에서 상세하게 고찰될 것이다. 디지털 비디오 시퀀스가 부호화될 때, 부호기(600)는 인트라-부호화된 및 인터-부호화된 압축 비디오 프레임들을 생성하는 도 3과 관련하여 앞서 설명된 것과 유사한 방식으로 작동한다. 본 출원서에서 미리 설명된 대로, 인트라-부호화 모드에서는, 변환 계수 값들의 대응하는 2차원 배열을 생성하기 위해서, 이산 여현 변환(DCT)이 이미지 데이터(픽셀 값들)의 각각의 블록에 적용될 것이다. DCT 오퍼레이션은 변환 블록(104)에서 수행되고 생성된 계수들은 연속적으로 양자화부(106)로 전달되고, 거기에서 계수들은 양자화된다. 인터-부호화 모드에서, 블록(104)에서 수행된 DCT 변환은 예측 에러 값들의 블록들에 적용된다. 이러한 오퍼레이션의 결과로서 생성 된 변환 계수들 역시 양자화부(106)로 전달되고, 거기에서 그 계수들 역시 양자화된다.

본 발명에 따르면, 새로운 비디오 시퀀스를 부호화하기 시작할 때, 부호기(600)는 비디오 시퀀스의 부호화 동안 양자화부(106)에서 생성된 DCT 계수 값들을 양자화하기 위해 사용될 양자화의 참조 레벨 또는 디폴트를 결정한다. 다음의 설명 내내, 이러한 디폴트 또는 양자화의 참조 레벨에 대해서는 "시퀀스 레벨 양자화 변수" 또는 축약해서 SQP라는 용어로 사용될 것이다. 지정된 비디오 시퀀스에 대한 SQP의 선택은 제어 관리기(660)에 의해 제어되고, 예를 들어 부호기에 의해 생성된 부호화된 비트-스트림의 송신을 위해 이용 가능한 대역폭 및 부호화될 시퀀스의 속성들의 고찰을 기반으로 할 것이다.

본 발명의 보다 바람직한 구현예에 있어서, 부호기(600)는 인터-부호화 모드에서, 예를 들어 변환 블록(104)에서 생성된 DCT 계수들이 예측 에러 값들을 나타내는 상황에서, 동작할 때 사용될 양자화의 참조 레벨 또는 디폴트로서 SQP를 결정한다.

본 발명에 따른 방법 역시, 어떠한 공간 예측도 사용하지 않는 전통적인 인트라-부호화 모드에서 생성된 DCT 계수 값들의 양자화에 적용될 수 있을 것이라는 점이 이해되어야 할 것이다. 그러나, 인트라- 및 인터-부호화 모드들에서 변환 계수들의 서로 다른 기점들(origins)이 주어지면(인트라-부호화 모드에서 생성된 DCT 계수들은 픽셀 값들로부터 파생되고, 반면에 인터-부호화 모드에서 생성된 것들은 예측 에러 값들에 DCT 변환을 적용하는 것에 의해 생성된다), 인트라- 및 인터-부 호화 모드들 양자 모두에서의 DCT 계수들의 양자화를 위한 최적의 단독 SQP 값이 결정되지 않을 것이다. 따라서 본 발명에 따른 방법이 인트라- 및 인터-부호화 모드 양자 모두에서 사용되는 구현예에서는, 두 개의 SQP 값들이 사용되는 것이 바람직한데, 여기서 그 하나는 인트라-부호화 모드에서 QP 값 정보의 가장 효율적인 표시를 제공하고, 또 다른 하나는 인터-부호화 동안 사용된 QP 값들의 가장 효율적인 표시를 제공한다.

모든 다른 점들에서, 본 발명에 따른 방법은 인트라- 및 인터-부호화 모드들 양자 모두에서 직접적으로 유사한 방식이 적용될 것이다. 물론, 선택적인 구현예에서는, 단독의 SQP 값은 정의되고 인트라- 및 인터-부호화된 프레임들 양자 모두에 대한 시퀀스 레벨 양자화 변수로서 사용될 것이다. 이것은 2002년 1월, Doc. JVT-A003, ISO/IEC MPEG 및 ITU-T VCEG의 조인트 비디오 팀(JVT) T. Wiegand "조인트 모델 넘버 1"에서 설명된 것과 같이, 특별히 현대 비디오 부호화 시스템들에서 실용적인 접근 방식이다. 여기에서 공간 예측은 DCT로 인트라 예측 에러를 부호화하기 전에 인트라 부호화된 매크로블록들에 적용된다.

일반적인 비디오 시퀀스에 있는 다수의 프레임들은 인터 프레임들로 부호화되므로, 본 발명에 따른 방법을 인터-부호화 모드에서 QP 값들을 표시하는 것에 적용하면 비트-전송률을 크게 절감한다는 것에 주목해야 할 것이다. 따라서, 본 발명의 보다 바람직한 구현예에 있어서는, 단독 SQP 값이 사용되고, 이러한 값은 인터-부호화 모드에서 예측 에러 값들을 표시하는 DCT 계수들을 양자화 하는데 사용되는 양자화의 참조 값 또는 디폴트를 가리키는 것이다.

시퀀스에 대해 사용될 SQP 값을 결정하면, 제어 관리기(660)는 제어 라인(122)를 통해 선택된 SQP 값의 표시를 비디오 멀티플렉스 부호기(670)로 제공할 것이다. 비디오 멀티플렉스 부호기는, 차례로, 비디오 시퀀스를 나타내는 부호화된 이미지 정보의 비트-스트림(635)으로 SQP 값의 표시를 삽입한다. 이러한 표시는 부호화된 비디오 비트-스트림(635)의 시퀀스 헤더 부분에서 제공되는 것이 바람직하다.

그 후, 비디오 부호기(600)는 비디오 시퀀스를 부호화하기 시작한다. 도 3에서 예시된 종래 기술의 비디오 부호기(100)에 관한 설명과 관련하여 기술된 것처럼, 부호화될 시퀀스의 첫 번째 프레임은 인트라-포맷으로 부호화된다. 본 발명의 보다 바람직한 구현예에 따라 정의된 SQP 값은 인터-부호화 모드에서 만들어내는 DCT 계수 값들의 양자화에 대한 특유한 값이다. 인트라-부호화 모드에서의 부호기(600)의 오퍼레이션은 종래 기술의 비디오 부호기(100)의 오퍼레이션과 완전히 유사하므로 여기에서 더 이상 상세하게 고찰하지 않을 것이다.

일단 첫 번째 프레임의 부호화가 완성되면, 제어 관리기(600)는 비디오 부호기(600)를 인터-부호화 모드로 스위치 한다. 인터-부호화 모드에서, 스위치(102)는 라인(117)으로부터 입력을 수신하도록 작동하는데, 이러한 입력은 결합부(116)의 출력을 포함한다. 결합부(116)는 입력(101)으로부터 매크로블록 마다 비디오 입력 신호를 수신하고 매크로블록의 각각의 블록에 대한 예측 에러 정보의 블록을 구성한다. 각각의 블록에 대한 예측 에러 정보는 DCT 변환부(104)로 전달되고, DCT 변환부는 예측 에러 값들의 각각의 블록에 대해 2차원 이산 여현 변환을 수행하여 문 제의 블록에 대한 DCT 변환 계수의 2차원 배열을 만들어 낸다. 그 후, 각각의 예측 에러 블록에 대한 변환 계수들은 양자화부(106)로 전달되고, 앞서 설명된 것과 같이 그곳에서 양자화 변수(QP)를 사용하여 양자화된다. 인터-부호화 프로세스의 나머지 부분은 종래 기술의 비디오 부호기(100)와 관련하여 설명된 것과 같이 진행된다.

각각의 매크로블록이 수신될 때, 제어 관리기(660)는 현재 처리되는 매크로블록이 슬라이스의 첫 번째 매크로블록인지를 결정한다. 만일 첫 번째 매크로블록이라면, 제어 관리기는 양자화 변수 값 QP를 결정하는데, 이러한 변수 값은 DCT 변환부(104)에서 생성된 DCT 계수 값들을 양자화하는데 사용될 것이다. 아마도 이전의 프레임에 있는 슬라이스들을 위해 사용된 비트들, 이전의 슬라이스들 또는 동일한 프레임에서 이미 사용된 비트들, 프레임에 대해 허용된 비트-예산을 기반으로 하는 QP에 대해 예측할 수 있다는 사실을 주목해야 할 것이다. 이러한 과정을 수행한 후, 제어 관리기(660)는 이전에 정의한 시퀀스 레벨 양자화 변수 값 SQP와 문제의 슬라이스에 대해 사용될 실제 QP 값 사이의 차이(△QP)를 결정한다.

그 후, 제어 라인(624)를 통해 이러한 차이에 대한 표시를 비디오 멀티플렉스 부호기(670)로 전달하고, 비디오 멀티플렉스 부호기는 비트-스트림(635)에 있는 차이 값 △QP의 표시를 더 포함한다. 이러한 표시는 문제의 슬라이스에 대해 특유한 제어 정보를 가지는 부호화된 비디오 비트-스트림(635)의 슬라이스 헤더 부분에 제공되는 것이 바람직하다. 이러한 프로세스는 현재 프레임의 모든 슬라이스들이 인터-부호화된 포맷으로 부호화될 때까지 반복되고, 그 시점에서 비디오 부호기는 비디오 시퀀스의 다음 프레임을 부호화하기 시작한다.

이하에서는 본 발명의 보다 바람직한 구현예에 따라 구현된 비디오 복호기(700)에 대해 도 6을 참조하여 설명하고자 한다. 도 6에서 예시된 비디오 복호기의 구조는 도 4에서 도시된 종래 기술의 비디오 복호기의 구조와 실질적으로 동일하고, 다만 DCT 프랜스폼 계수들의 역 양자화에 관련한 오퍼레이션들을 수행하는 복호기의 부분들에 대해서는 적절하게 변경하였다. 앞서 설명된 종래 기술의 비디오 복호기에 일치하는 방식으로 작동하고 함수들을 구현하는 비디오 복호기의 모든 부분들은 동일한 참조 번호들로서 식별된다.

도 6의 비디오 복호기는 도 5와 관련하여 설명된 부호기에 대응하는 것으로 전제하므로, 부호기(600)에 의해 송신된 비트-스트림(635)을 수신하고 복호화할 수 있다. 앞서 설명한 것처럼, 본 발명의 보다 바람직한 구현예에서, 부호기(600)는 인터-부호화 모드에서 사용될 시퀀스 레벨 양자화 변수 SQP를 결정한다. 이에 대응하여, 복호기(700)는 이러한 SQP 값의 표시를 수신하고 역 양자화 변수들의 결정에 있어 상기 시퀀스 레벨 양자화 변수 SQP를 사용하는데, 이러한 역 양자화 변수들은 인터-부호화 프레임들에 대한 부호화된 비트-스트림에서 수신된 양자화 프랜스폼 계수 값들(예측 에러 값들을 나타내는)의 블록들에 사용되는 것이다. 본 발명의 선택적인 구현예에 있어서, 인트라-부호화된 프레임들에 대한 비트-스트림으로부터 추출된 양자화 변환 계수 값들에 동일한 프로세스가 적용될 수 있다. 상기에서 설명된 대로, 이러한 선택적인 구현예에서는, 두 개의 SQP 값들의 표시가 제공될 수 있는데, 그 하나는 시퀀스의 인트라-부호화 프레임들이고 또 하나는 인터-부호화 프레임들이다. 한층 더 나아간 선택적인 구현예에서는, 단독 시퀀스 레벨 양자화 변수는 인트라- 및 인터-부호화 모드 양자 모두에서 부호화된 프레임들을 가리킬 수 있다.

본 발명의 보다 바람직한 구현예에 따른 비디오 복호기의 오퍼레이션을 이하에서 상세히 설명하고자 한다. 복호기(700)는 비트-스트림(635)을 수신하고 그것을 그것의 구성 부분들로 분리한다. 이러한 오퍼레이션은 비디오 멀티플렉스 복호기(770)에 의해 수행된다.

새로운 시퀀스를 복호화하기 시작할 때, 비디오 멀티플렉스 복호기(770)는 수신된 비트-스트림(635)의 시퀀스 헤더 부분으로부터 전체적으로 시퀀스에 관련한 변수 및 정보들을 우선 추출한다. 부호기(600)의 설명과 관련하여 상기에서 설명한 대로, 본 발명의 보다 바람직한 구현예에 따르면, 비트-스트림의 시퀀스 헤더 부분은 시퀀스 레벨 양자화 변수 SQP를 포함하도록 변경되는데, 이러한 SQP는 인터-부호화 모드에서 만들어내는 DCT 계수 값들의 양자화에 사용된다. 비디오 멀티플렉스 복호기는 비트-스트림으로부터 SQP 값의 표시를 추출하는데, 만일 그것이, 예를 들어 가변 길이 부호화를 사용하여 부호화되었다면, SQP 값을 회복하기 위해 적절한 복호화를 적용한다. 그 후, 복호기의 제어 관리기(760)으로 SQP 값을 전달하고, 제어 관리기는 그것을 복호기의 메모리에 저장한다.

그 후, 비디오 복호기(700)는 비디오 시퀀스의 부호화 프레임들을 복호화하기 시작하는데, 비디오 복호기가 비디오 비트-스트림(635)에 있는 프레임에 관련한 정보를 수신함과 동시에 각각의 프레임의 복호화를 개시한다. 비디오 멀티플렉스 복호기(770)는 부호화된 비트-스트림(635)에서 수신된 각각의 압축 비디오 프레임과 관련된 픽쳐 유형 정보로부터 인트라/인터 트리거 제어 신호를 추출하고 제어 라인(215)를 통해 제어 관리기(760)로 전달한다. 제어 관리기(760)는 인트라/인터 트리거 제어 신호에 응하여 복호기의 오퍼레이션을 제어하여 복호기를 정확한 복호화 모드로 스위치한다.

본 발명의 보다 바람직한 구현예에 있어서, 인트라-포맷으로 부호화된 프레임들의 복호화는 종래 기술의 비디오 복호기(200)의 오퍼레이션에 관련하여 앞서 설명된 것과 유사한 방식으로 수행한다.

복호화될 다음 프레임이, 비디오 멀티플렉스 복호기(770)가 수신한 비트-스트림으로부터 추출된, 인터-부호화된 프레임이라는 표시가 수신되었을 때, 제어 관리기(760)는 복호기(700)를 인터-모드로 스위치한다. 부호기(600)에 관한 설명과 관련하여 기술한 것처럼, 본 발명의 보다 바람직한 구현예에 따르면, 각각의 프레임의 매크로블록은 슬라이스들로 그룹화되고, 부호화된 비트-스트림(635)은 소정의 슬라이스-특정 제어 정보를 포함하고, 상기 비트-스트림은, 시퀀스 레벨 양자화 변수 SQP와 관련하여 차이 값 △QP로 표시되는, 슬라이스-특정 QP값의 표시를 포함한다.

구체적으로 각각의 슬라이스와 관련된 제어 정보는 문제의 슬라이스에 특유한 헤더 부분으로서 비트-스트림에 제공된다. 그와 같은 비트-스트림의 부분을 수신하자마자, 비디오 멀티플렉스 복호기는 슬라이스-특정 제어 정보를 비트-스트림의 슬라이스 헤더 부분으로부터 추출하고, 상기 비트-스트림으로부터 검색된, 당해 슬라이스에 대한 △QP의 표시를 제어 라인(717)를 통해 제어 관리기(760)으로 전달한다.

다음으로, 제어 관리기(760)는 슬라이스에서 매크로블록들의 양자화 DCT 계수들에 적용될 역 양자화의 레벨을 결정한다. 이러한 결정은 슬라이스에 대한 △QP값과, 복호기의 메모리에 미리 수신되고 저장된, 시퀀스 특정 양자화 변수 SQP를 결합하는 것에 의해 이루어진다. 본 출원서에서 이미 설명된 것처럼, 복호기에서 수행되는 역 양자화 오퍼레이션은 각각의 양자화된 DCT 계수에 본래 적용될 양자화 레벨에 등가인 값 즉, DCT 계수들을 양자화하기 위해 대응하는 부호기에서 사용된 QP값을 곱하는 단계를 포함한다. 따라서, 본 발명의 보다 바람직한 구현예에 따르면, 제어 관리기(760)는 슬라이스에 대해 수신된 △QP 값을 SQP에 더하는 것에 의해 슬라이스의 매크로블록에 대한 역 양자화의 레벨을 결정한다. 그 후, 이러한 값을 제어 라인(218)을 통해 역양자화부(210)로 전달한다.

슬라이스의 각각의 매크로블록에 대한 부호화 정보가 비트-스트림(635)에서 수신될 때, 비디오 멀티플렉스 복호기(770)는 부호화된 모션 벡터 정보로부터 매크로블록의 각각의 블록에 대한 부호화된 예측 에러 정보를 분리한다. 멀티플렉스 부호기는 각각의 블록에 대한 예측 에러 값들을 나타내는 양자화 DCT 변환 계수들을 재생하고 그것들을 역양자화부(210)으로 전달한다. 그 후 역양자화부(210)는 △QP 및 SQP 값들로부터 구성된 슬라이스 QP에 따라 양자화 DCT 계수들을 제어 관리기(760)에 의해 역 양자화한다. 그 후, 역양자화부는 역DCT변환부(220)로 역 양자화된 DCT 계수들을 제공한다. 복호화 프로세스의 나머지는 종래 기술의 비디오 복 호기(200)와 관련하여 앞서 설명된 대로 진행된다.

슬라이스-특정 △QP 값을 수신하고, △QP와 SQP를 결합하고, 슬라이스 범위 내에 있는 매크로블록들의 각각의 블록에 대한 양자화된 DCT 계수들을 역 양자화하는 단계들은, 현재 인터-부호화된 프레임의 모든 슬라이스들이 복호화될 때까지, 프레임의 각각의 슬라이스에 대해 반복된다. 그 시점에서, 비디오 부호기(700)는 부호화된 비디오 시퀀스의 다음 프레임을 복호화하기 시작한다.

도 7은 본 발명의 보다 바람직한 구현예에 따라 슬라이스-특정 QP 값들이 재생된 방식을 도시한다. 도에서 도시되는 것처럼, 이러한 고정은 다음의 단계로 구성된다.

1. 시퀀스 레벨 양자화 변수(SQP)를 검색하는 단계;

2. 픽쳐 또는 슬라이스 레벨 차이 양자화 변수(△QP)를 검색하는 단계;

3. 픽쳐 또는 슬라이스에 대한 양자화 변수들을 얻기 위해 시퀀스 레벨 양자화 변수에 다른 양자화 변수들을 더하는 단계;

4. 상기 픽쳐 또는 슬라이스 양자화 변수를 이용하여 수신된 예측 에러-부호화 계수들을 구성하는 단계.

도 8은 본 발명에 따라 작동하는 비디오 부호화 및 복호화 장치를 포함하는 단말기 장치를 제시한다. 보다 정확하게는, 상기 도는 ITU-T 권고 H.324에 따라 구현된 멀티미디어 단말기(80)를 예시한다. 상기 단말기는 멀티미디어 송수신기 장치로서 간주될 수 있다. 단말기는 멀티미디어 컨텐츠를 수신하고, 디-멀티플렉스하고, 복호화하고, 디스플레이하는 구성요소들 뿐만 아니라, 통신 네트워크을 통해 송신하기 위한 멀티미디어 데이터 스트림들을 캡쳐하고, 부호화하고, 멀티플렉스하는 구성요소들도 포함한다. ITU-T 권고 H.324는 단말기의 전체적인 오퍼레이션을 정의하고, 그것의 다양한 구성 부분들의 오퍼레이션을 제어하는 다른 권고들을 참조한다. 이러한 종류의 멀티미디어 단말기는 대화용 비디오전화와 같은 실시간 어플리케이션, 또는 예를 들어 인터넷에 있는 멀티미디어 컨텐츠 서버로부터 비디오 클립들의 검색 및/또는 스트리밍과 같은 비 실시간 어플리케이션들에서 사용될 수 있다.

본 발명의 출원서에 있어, 도 8에서 도시된 H.324 단말기는 본 발명 방법의 어플리케이션에 적합한 다수의 선택적인 멀티미디어 단말기 구현예들 중 단지 하나라는 사실을 이해하여야 할 것이다. 또한, 단말기 장치의 위치 및 구현에 관련하여 수많은 대안들이 존재한다는 사실을 주목해야 할 것이다. 도 8에서 예시된 것과 같이, 멀티미디어 단말기는 아날로그 PSTN(공중 회선 전화 통신망)과 같은 고정된 유선 전화 네트워크에 연결된 통신 장비에 위치할 수 있다. 이러한 경우에, 당해 멀티미디어 단말기에는 ITU-T 권고 V.8, V.34 및 선택적으로 V.8bis에 따르는 모뎀 91이 장착된다.

선택적으로, 멀티미디어 단말기는 외부의 모뎀에 연결될 수 있다. 모뎀은 멀티미디어 단말기에 의해 생성된 제어 신호들 및 멀티플렉스된 디지털 데이터를 PSTN상에서 송신하기에 적합한 아날로그 형식으로 변환할 수 있다. 또한, 모뎀은 멀티미디어 단말기가 PSTN으로부터 아날로그 형식으로 데이터 및 제어 신호들을 수신할 수 있도록 하고, 단말기가 적절한 방식으로 디멀티플렉스하고 처리할 수 있는 디지털 데이터 스트림으로 그것들을 변환할 수 있다.

또한 H.324 멀티미디어 단말기는 ISDN(종합 정보 통신망)과 같은 디지털 고정 유선 네트워크에 직접적으로 연결되는 방식으로 구현될 수 있다. 이러한 경우에, 모뎀 91은 ISDN 사용자 네트워크 인터페이스로 대체된다. 도 8에서는, 이러한 ISDN 사용자 네트워크 인터페이스는 선택적인 블록(92)으로 표시된다.

또한 H.324 멀티미디어 단말기는 이동 통신 어플리케이션들에서 사용할 수 있다. 만일 무선 통신 링크와 함께 사용하는 경우에는 모뎀 91은 도 8에서 선택적인 블록(93)으로 표시되는 적절한 무선 인터페이스에 의해 대체될 수 있다. 예를 들어, H.324/M 멀티미디어 단말기는 현재 2^nd 세대 GSM 이동 전화 네트워크, 또는 제안된 3^rd 세대 UMTS(범용 이동 통신 시스템)에 연결할 수 있는 무선 송수신기를 포함할 수 있다.

비디오 데이터의 송신 및 수신을 위한, 쌍방향 통신을 위해 설계된 멀티미디어 단말기들에서는, 본 발명에 따라 구현된 비디오 부호기 및 비디오 복호기가 모두 제공되는 것이 유익하다. 그와같은 부호기 및 복호기 쌍은 종종 단독의 결합된 기능적 유닛으로 구현되는데, 이를 가리켜 "코덱(codec)"이라 한다.

도 8을 참조하여 이하에서 일반적인 H.324 멀티미디어 단말기를 보다 상세히 설명하고자 한다.

멀티미디어 단말기(80)는 "단말기 장치"라고 불리는 다양한 구성요소들을 포함한다. 단말기는 비디오, 오디오 및 텔레마틱(telematic) 장치들을 포함하는데, 이들은 각각 참조 번호(81, 82 및 83)에 의해 일반적으로 표시되었다. 비디오 장치(81)는 예를 들어, 비디오 이미지들을 캡쳐하기 위한 비디오 카메라, 수신된 비디오 컨텐츠를 디스플레이하기 위한 모니터 및 임의의 비디오 프로세싱 장치를 포함한다. 오디오 장치(82)는 일반적으로 예컨대 음성 메시지들을 캡쳐링하기 위한 마이크로폰 및 수신된 오디오 컨텐츠를 재생하기 위한 확성기를 포함한다. 또한 오디오 장치는 부가적인 오디오 프로세싱 유닛들을 포함한다. 텔레마틱 장치(83)는 데이터 단말기, 키보드, 전자식 칠판 또는 팩스 유닛과 같은 정지 이미지 송수신기를 포함할 수 있다.

비디오 장치(81)는 비디오 코덱(85)에 연결된다. 비디오 코덱(85)은 본 발명(도 5 및 도 6 참조)에 따라 구현된 비디오 부호기(600) 및 대응하는 비디오 복호기(700)를 포함한다. 비디오 코덱(85)은 통신 링크 상으로 송신을 위해 캡쳐된 비디오 데이터를 적절한 형식으로 부호화하는 것과 통신 네트워크로부터 수신된 압축 비디오 컨텐츠를 복호화하는 것을 담당한다. 도 8에서 예시된 예에서, 비디오 코덱은 ITU-T 권고 H.26L에 따라 구현되고, 다만 비디오 코덱의 부호기 및 복호기에 있어서는 본 발명에 따른 방법을 구현하기 위한 적절한 변경들이 가해졌다.

단말기의 오디오 장치는 참조 번호(86)에 의해 도 8에서 표시된 오디오 코덱에 연결된다. 비디오 코덱과 같이, 오디오 코덱은 부호기/복호기 쌍을 포함한다. 비디오 코덱은 단말기의 오디오 장치에 의해 캡쳐된 오디오 데이터를 통신 링크 상으로 송신하기에 적합한 형태로 변환하고, 네트워크로부터 수신된 부호화된 오디오 데이터를, 예를 들어 단말기의 확성기에서 재생하기에 적합한 형태로 다시 변환한 다. 오디오 코덱의 출력은 지연 블록(87)으로 전달된다. 이는 비디오 부호화 프로세스에 의해 도입된 지연들을 보상하여 오디오 및 비디오 컨텐츠의 동기화를 보장한다.

멀티미디어 단말기의 시스템 제어 블록(84)은, 송신 및 수신 단말기 사이의 오퍼레이션의 공통 모드를 성립시키기 위해, 적절한 제어 프로토콜(시그널링 블록(88))을 사용하여 단-대-네트워크(end-to-network) 시그널링을 제어한다. 시그널링 블록(88)은 송신 및 수신 단말기들의 부호화 및 복호화 성능들에 관한 정보를 교환하고 비디오 부호기의 다양한 부호화 모드들을 가능하게 하는데 사용될 수 있다. 또한 시스템 제어 블록(84)은 데이터 암호의 사용을 제어할 수 있다. 데이터 송신에서 사용되는 암호화의 유형과 관련한 정보는 암호화 블록(89)로부터 멀티플렉서/디-멀티플렉서(MUX/DMUX 유닛)(90)로 전달된다.

멀티미디어 단말기로부터의 데이터 송신 동안, MUX/DMUX 유닛(90)은 단일한 비트-스트림을 구성하기 위해, 부호화되고 동기화된 비디오 및 오디오 스트림들과 텔레마틱 장치(83)로부터의 데이터 입력 및 가능한 제어 데이터를 결합한다. 암호화 블록(89)에 의해 제공된, 비트-스트림에 (만일 있다면)적용될 데이터 암호화의 유형과 관련한 정보는 암호화 모드를 선택하는데 사용될 수 있다. 이에 대응하여, 멀티플렉스되고 혹시(possibly) 암호화된 멀티미디어 비트-스트림이 수신될 때, MUX/DMUX 유닛(90)은 비트-스트림을 해독을 담당하고, 그것의 구성 멀티미디어 컴코넌트들로 그것을 분할하고, 그러한 컴포넌트들을 적절한 코덱(들) 및/또는 복호화 및 재생을 위한 단말기 장치에 전달한다.

만일 멀티미디어 단말기(80)가 이동 단말기라면, 즉, 만일 무선 송수신기(93)가 장착된 경우라면, 당해 기술 분야에서 숙련된 사람은 당해 단말기가 부가적인 구성 요소들을 포함할 수 있다는 사실을 이해할 것이다. 하나의 구현예에서, 단말기는 디스플레이 및 키보드를 가지는 사용자 인터페이스를 포함하고, 이것은 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 및 디지털 카메라, 멀티미디어 단말기의 여러 함수들을 담당하는 블록들을 제어하는 마이크로프로세서와 같은 중앙 처리 장치, 사용자에 의한 멀티미디어 단말기(80)의 오퍼레이션을 가능하게 한다.

멀티미디어 단말기(80)의 기본 함수들에 대응하는 프로그램 코드인 마이크로프로세서의 작동 명령들은 읽기 전용 메모리(ROM)에 저장되고, 마이크로프로세서에 의해, 예를 들어 사용자의 제어 하에서 필요할 때 실행될 수 있다. 프로그램 코드에 따라, 마이크로프로세서는 무선 송수신기(93)를 사용하여 이동 통신 네트워크와의 연결을 형성하고, 멀티미디어 단말기(80)가 무선 경로 상에서 이동 통신 네트워크로부터 정보를 수신하고 정보를 송신하게 한다.

마이크로프로세서는 사용자 인터페이스의 상태를 모니터하고 디지털 카메라를 제어한다. 사용자 명령에 응답하여, 마이크로프로세서는 카메라에게 디지털 이미지들을 RAM에 기록할 것을 명령한다. 일단 이미지들이 캡쳐되면, 또는 선택적으로 캡쳐링 프로세스 동안, 마이크로프로세서는 이미지를 이미지 세그먼트들로(예를 들어, 매크로블록들) 세그먼트화하고 부호기를 사용하여 세그먼트들의 모션 보상 부호화를 수행하는데, 이는 앞서 설명한 바와 같이, 압축 이미지 시퀀스를 생성하 기 위한 것이다.

사용자는 멀티미디어 단말기(80)가 그것의 디스플레이 상에 캡쳐된 이미지들을 디스플레이 하거나, 무선 송수신기(93)를 사용하여 또 다른 멀티미디어 단말기로 상기 압축 이미지 시퀀스를 보내도록 명령할 수 있다. 이 경우, 다른 멀티미디어 단말기로는 고정된 유선 네트워크(PSTN)에 연결된 비디오 전화기 또는 그 외 소정의 통신 장치가 있다. 보다 바람직한 구현예에 있어서, 이미지 데이터의 송신은 첫 번째 세그먼트들이 부호화됨과 동시에 시작되어 수신자는 이와 대응하는 복호화 프로세스를 최소화된 지연상태로 시작할 수 있다.

특별한 구현예들에 관한 본 출원서에서의 설명에도 불구하고, 당해 기술에서 숙련된 사람에게는 이러한 설명들에 대한 다수의 변경들 및 다양한 변화들이 가능하다는 것이 분명할 것이다. 따라서, 본 발명이 하나 이상의 보다 바람직한 구현예들에 관하여 도시되고 설명되었지만, 당해 기술에서 숙련된 사람은 상기에서 설명한 본 발명의 범위 및 사상에 벗어남이 없이 일정한 변경들 또는 변화들이 만들어질 수 있다는 것을 이해할 수 있을 것이다.

특히, 본 발명의 두 번째 가능한 구현예에 따르면, 시퀀스 QP이 송신되지 않고 시퀀스 QP 대신에 어플리케이션 특정 상수가 사용될 수 있다.

본 발명의 세 번째 가능한 구현예에 있어서, 만일 새로운 시퀀스 QP를 송신하는 신뢰할 만한 방법이 이용 가능하다면, 시퀀스 QP는 비디오 시퀀스의 변화 특성들에 따라 갱신될 수 있다. 갱신된 SQP 값은 비디오 시퀀스를 나타내는 부호화된 비트-스트림에 포함되거나, 관련된 제어 채널에서 부호기로부터 복호기로 직접 송 신될 수 있다.

본 발명의 네 번째 가능한 구현예에 있어서, 만일 QP가 전체 비디오 시퀀스에 대한 상수이라면, 시퀀스 QP의 값만이 정보와 함께 송신되고, 이는 모든 픽쳐들/슬라이스들에 대한 QP로서 사용되어야 한다.

도 1은 종래 기술에 따른 16 x 16 매크로블록의 구성을 도시한다.

도 2는 QCIF 픽쳐를 16 x 16 매크로블록들로 분할하고 연속되는 매크로블록들을 슬라이스들로 그룹화하는 것을 도시한다.

도 3은 종래 기술에 따른 일반적인 비디오 부호기의 개략적인 블록도를 도시한다.

도 4는 종래 기술에 따르고, 도 3에서 도시된 부호기에 대응하는 일반적인 비디오 복호기의 개략적인 블록도를 도시한다.

도 5는 본 발명의 구현예에 따른 비디오 부호기의 개략적인 블록도를 도시한다.

도 6은 본 발명의 구현예에 다르고, 도 5에서 도시한 부호기에 대응하는 비디오 복호기의 개략적인 블록도를 도시한다.

도 7은 본 발명의 가능한 하나의 구현예에 따른 복호화 프로세스를 도시한다. 각각의 슬라이스에 대한 양자화 변수들(QP)은 슬라이스 특정 차이 QP 값들(QPn)에 시퀀스 QP(SQP)를 더하는 것에 의해 획득된다.

도 8은 본 발명에 따른 방법이 구현될 수 있는 멀티미디어 통신 단말기의 개략적인 블록도를 도시한다.

Claims

부호화된 비디오 시퀀스를 복호화하는 방법으로서,

상기 부호화된 비디오 데이터는 하나의 시퀀스 계층 (layer) 그리고 픽쳐 (picture) 또는 슬라이스 계층의 적어도 하나의 계층적인 (hierarchical) 구조를 포함하며,

상기 방법은,

상기 시퀀스 계층에서 양자화 변수를 수신하는 단계;

상기 픽쳐 계층 또는 슬라이스 계층의 어느 하나에서, 상기 시퀀스 계층 양자화 변수가 픽쳐 계층 또는 슬라이스 계층에 속한 복수의 블록들 모두를 복호화하는데 사용되었는가의 여부를 나타내는 표시를 수신하는 단계; 및

상기 수신한 시퀀스 계층 양자화 변수를 사용하여 상기 복수의 블록들 중의 하나의 블록의 양자화 변환 계수들의 세트 상에서 역 양자화 오퍼레이션을 실행하는 단계;를 포함하는, 복호화 방법.
부호화된 비디오 시퀀스를 복호화하는 방법으로서,

상기 부호화된 비디오 데이터는 하나의 시퀀스 계층 (layer) 그리고 픽쳐 (picture) 또는 슬라이스 계층의 적어도 하나의 계층적인 (hierarchical) 구조를 포함하며,

상기 방법은,

상기 시퀀스 계층에서 양자화 변수를 수신하는 단계;

상기 픽쳐 계층 또는 슬라이스 계층의 어느 하나에서, 상기 시퀀스 계층 양자화 변수와 픽쳐 또는 슬라이스 계층 양자화 변수 사이의 차이에 대한 표시를 수신하는 단계;

상기 픽쳐 또는 슬라이스 계층 양자화 변수를 얻기 위해 상기 시퀀스 계층 양자화 변수에 상기 차이를 더하는 단계; 및

상기 픽쳐 또는 슬라이스 계층 양자화 변수를 기반으로 하여, 상기 픽쳐 계층 또는 슬라이스 계층의 어느 하나에 속한 복수의 블록의 양자화 변환 계수들의 세트 상에서 역 양자화 오퍼레이션을 실행하는 단계;를 포함하는, 복호화 방법.
부호화된 비디오 시퀀스를 복호화하는 비디오 복호기로서,

상기 부호화된 비디오 데이터는 하나의 시퀀스 계층 (layer) 그리고 픽쳐 (picture) 또는 슬라이스 계층의 적어도 하나의 계층적인 (hierarchical) 구조를 포함하며,

상기 복호기는,

상기 시퀀스 계층에서 양자화 변수를 수신하며, 그리고

상기 픽쳐 계층 또는 슬라이스 계층의 어느 하나에서, 상기 시퀀스 계층 양자화 변수가 픽쳐 계층 또는 슬라이스 계층에 속한 복수의 블록들 모두를 복호화하는데 사용되었는가의 여부를 나타내는 표시를 수신하는, 디멀티플렉서; 및

상기 수신한 시퀀스 계층 양자화 변수를 사용하여 상기 복수의 블록들 중의 하나의 블록의 양자화 변환 계수들의 세트 상에서 역 양자화 오퍼레이션을 실행하는 양자화부;를 포함하는, 비디오 복호기.
부호화된 비디오 시퀀스를 복호화하는 비디오 복호기로서,

상기 부호화된 비디오 데이터는 하나의 시퀀스 계층 (layer) 그리고 픽쳐 (picture) 또는 슬라이스 계층의 적어도 하나의 계층적인 (hierarchical) 구조를 포함하며,

상기 복호기는,

상기 시퀀스 계층에서 양자화 변수를 수신하며, 그리고

상기 픽쳐 계층 또는 슬라이스 계층의 어느 하나에서, 상기 시퀀스 계층 양자화 변수와 픽쳐 또는 슬라이스 계층 양자화 변수 사이의 차이에 대한 표시를 수신하는, 디멀티플렉서;

상기 픽쳐 또는 슬라이스 계층 양자화 변수를 얻기 위해 상기 시퀀스 계층 양자화 변수에 상기 차이를 더하는 제어 관리기; 및

상기 픽쳐 또는 슬라이스 계층 양자화 변수를 기반으로 하여, 상기 픽쳐 계층 또는 슬라이스 계층의 어느 하나에 속한 복수의 블록의 양자화 변환 계수들의 세트 상에서 역 양자화 오퍼레이션을 실행하는 양자화부;를 포함하는, 비디오 복호기.