KR100941641B1

KR100941641B1 - 비디오 코딩 방법

Info

Publication number: KR100941641B1
Application number: KR1020047001642A
Authority: KR
Inventors: 세실 듀포우어; 궤넬 말퀀트; 스테판 이. 발렌테
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-08-02
Filing date: 2002-07-18
Publication date: 2010-02-11
Also published as: KR20040030914A; US20030043921A1; US8548050B2; WO2003013147A1; EP1415479A1; JP2004537932A; CN1537391A; CN100380983C

Abstract

본 발명은 하나의 휘도 매트릭스와 두 개의 색차 매트릭스들에 의해 표시되는 프레임들의 시퀀스로 구성되는 입력 신호(IS)에 적용되는 비디오 코딩 방법에 관한 것이다. 이 방법은 코딩된 비트스트림(CB)을 발생하고 여기서 각각의 데이터 아이템은 어떤 디코더가 상기 비트스트림의 컨텐츠의 모든 세그먼트들을 인식하고 디코딩하도록 하는 비트스트림 신택스로 기술된다. 예를 들어 MPEG 및 ITU-H.26X 계들의 비디오 압축 표준들 내의 응용들을 발견하는 본 발명에 따르면, 이 신택스는 상기 코딩된 비트스트림 내에 색차 성분들의 존재 여부를 높은 레벨 설명으로 나타내는 플래그를 포함하고 따라서 어떤 색차 설명 요소들이 디코딩되어야 하는지 아닌지에 따른 정보를 디코딩 측에서 분배하는 것을 허용한다.

비트스트림, 색차 성분, 플래그, 디코딩, 인코딩, 신택스

Description

비디오 코딩 방법{Video coding method}

본 발명은 비디오 압축의 분야에 관한 것이며, 예를 들어, 특히 MPEG계(MPEG-1, MPEG-2, MPEG-4)과 ITU-H.26X계(H.261, H.263 및 확장들, H.26L)의 비디오 표준들에 관한 것이다. 본 발명은 비디오 프레임들의 시퀀스에 적용되고 코딩된 비트스트림을 발생하는 비디오 코딩 방법에 관한 것으로, 각각의 데이터 아이템은 어떤 디코더라도 상기 비트스트림의 컨텐츠의 모든 세그먼트들을 인식하고 디코딩하도록 하는 비트스트림의 신택스로 기술되며, 상기 프레임들의 각각은 휘도 매트릭스 및 두 개의 색차 매트릭스들인 3개의 직사각 매트릭스들로 구성된다.

또한, 본 발명은 상기 코딩 방법을 수행하는 장치, 그러한 코딩 장치에 의해 분배되는 전송가능 비디오 신호, 상기 전송가능 신호를 디코딩하는 비디오 디코딩 방법, 및 대응하는 디코딩 장치에 관한 것이다.

제 1 비디오 표준들에서, 비디오는 직사각이고 하나의 휘도 채널과 두 개의 색차 채널들인 3개의 분리 채널들의 견지에서 기술된다고 가정된다. 휘도 신호는 비트들의 주어진 양 N(예를 들어 8비트들)상에 변화하는 블랙 및 화이트 정보를 운반한다. 상기 두 개의 색차 채널들의 각각은 비트들의 주어진 양 M(예를 들어 8비트들:8비트들 상에 그러한 표시로, 신호의 값들은 0-255사이에서 변화할 수 있음)상에 색차 표시에 의해 정의된 범위에 포함되는 값과 동일한 디지털 신호를 포함한다. 단지 블랙 및 화이트 신호의 경우에, 색차 채널들의 각각은 상수값 2^M-1에 동일한 플렛 신호(flat signal)를 포함한다. 그러나, 위에 나열한 표준들로, 신호들이 항상 전송되어야한다고 기술하는 신택스들은 비디오가 "칼라"라고 가정한다. 비록 블랙 및 화이트인 많은 비디오 컨텐츠들이 있다해도, 상기 신택스들은 필요한 것이 아닌 색차 설명 요소들의 전송을 강요한다.

이러한 유연성의 부족의 결과는 비트들의 낭비이며, 예를 들어 표준들 MPEG-4 및 H.26L의 경우에 입증된 코딩 효율의 손실로 이어진다:

(a) 표준 MPEG-4 : MPEG-4 문서 w3056의 페이지 134에 정의된 바와 같이, 또한 ISO/IEC JTC1/SC29/WG11, Maui, USA,December 1999, "Information Technology-Coding of audio-visual objects - Part 2: Visual"로 참조되는 바와 같이, dct_dc_size_chrominance로 불리는 가변 길이 코드는 모든 인트라 매크로블록들의 블록들내에 마지막 디코딩된 색차 DC 계수를 업데이트하고 따라서 그의 현재 값을 얻기 위해 전송된 또는 저장된 비트스트림으로부터 판독될 수 있는 차이값의 사이즈를 인코딩하는 설명 요소(descriptive element)로 사용된다. 색차 신호가 상수값일 때 0과 같은 이 차이값은 "판독될 차이값이 없음"(즉 dct_dc_size_chrominance=0)으로 인코딩되고, 이는 상기 문서의 페이지 343 테이블 B-14의 제 1 라인에 보이는 바와 같이 I-화상들에서 색차 채널 당 및 매크로블록 당 2 비트들의 코드워드의 결과가 된다. 396 매크로블록들을 포함하는 사이즈 352x288픽셀들의 CIF I-화상에 대해, 이것은 결과적으로 적어도 396x2채널들 x 2비트들 =1584 비트들의 비트들의 낭비로 이어진다(적어도 왜냐면 사실 다른 신택스적 요소들이 코딩 효율을 더 열화시킬 수 있으며 또한 이 평가를 고려해야하기 때문임).

(b) 표준 H.26L : ITU-통신 표준화 섹터, 11회 회의, 포트랜드, 오리건, 미국, 2000년 8월 22-25일 "H.26L Test Model Long Term Number 5(TML-5)-Draft 0"의 H.26L 문서 Q15-K-59의 페이지 16에 정의된 바와 같이, 소위 코딩된 블록 패턴(CBP)이 (휘도와 색차에 대한) 8x8블록들이 변형 계수들을 포함하는 어떤 주어진 16x16 픽셀들 매크로블록에 대해 나타내기 위해 사용되며, 즉, 사실 어떤 8x8 휘도 블록들이 (4 비트들 상에) 비트스트림으로 인코딩되었고, 색차 계수들이 2 비트들 상에 코딩된 3 가능성들로 인코딩되었는지의 여부를 나타내는 정보의 두 종류를 나타내기 위해 사용된다. 그러면 이 CBP 요소는 가변 길이 코드들에 의해 더 인코딩된다: 휘도 및 색차 블록 패턴들은 칼러화된 시퀀스들에 대해 최적화된 VLC 테이블을 사용하여 결합적으로 엔트로피-코딩된다. 그러나, 이 테이블은 블랙 및 화이트 시퀀스들에 대해 최적화되지 않는다: 48 중 단지 16 CBP 값들이 실제로 사용되고, 가장 짧은 VLC 워드들은 결코 직면하지 않는 CBP 값들에 대해 예약된다. 이와 같은 비트들의 낭비를 정확하게 정량화하는 것이 어렵지만, 이것은 명확히 존재하는 것이다.

따라서, 본 발명의 목적은 그러한 비트들의 낭비를 피하도록 하고 따라서 코딩 효율을 개선하는 비디오 코딩 방법을 제안하는 것이다.

이러한 목적을 위해, 본 발명은 명세서의 개요부분에서 정의된 바와 같은 방법에 관한 것이며 특히 이것은 상기 신택스가 높은 설명 레벨로 색차 성분들의 존재 여부를 나타내는 플래그를 포함하는 것을 특징으로 하며, 또한 대응하는 코딩 장치에 관한 것이다.

또한, 본 발명은 그러한 비디오 코딩 방법에 의해 발생되는 코딩된 비트스트림으로 구성되는 전송 가능한 비디오 신호에 관한 것이며 여기서 각각의 데이터 아이템은 어떤 디코더가 상기 비트스트림의 컨텐츠의 모든 세그먼트들을 인식하고 디코딩하도록 허용하는 비트스트림 신택스로 기술되며, 상기 프레임들의 각각은 세개의 직사각 매트릭스들로 구성되며-휘도 매트릭스 및 두 개의 색차 매트릭스들, 상기 신호는 이것이 높은 설명 레벨로 색차 성분들의 존재 여부를 나타내기 위해 제공되는 신택스적 요소를 포함하는 것을 특징으로 하며, 그러한 비디오 신호를 수신하고 디코딩하는 비디오 디코더에 관한 것이다.

또한, 본 발명은 상기 전송가능 비디오 신호를 디코딩하는 비디오 디코딩 방법과 대응하는 디코딩 장치에 관한 것이다.

본 발명은 이제 첨부된 도면을 참조하여 더욱 상세한 방식으로 설명될 것이다.

도 1은 움직임 보상된 프레임간 예측을 갖는 MPEG 코더의 예를 보여준다.

본 발명의 상세한 설명

위에 설명한 비트들의 낭비의 문제를 해결하기 위해, 표준 타입이 그 어떤 것으로 고려되더라도, 이들 표준들에 더많은 유연성을 도입하도록 하는 부가적인 신택스 요소를 도입하는 것을 제안한다. 이 도입은 특정 신호의 비디오 오브젝트 레이어(VOL) MPEG-4 레벨과 예를 들어 동일한 높은 설명 레벨에서 비트스트림 내에 부가함으로서 구현되거나 또는 MPEG 또는 ITU 표준들에 대한 매크로블록들보다 더 높은 레벨 또는 더욱 일반적으로 높은 설명 레벨에서 색차 신호가 인코딩되어야 하는지의 여부에 대한 표시를 제공하기 위해 본 발명에 따라 의도된 플래그에 의해 구현된다.

이 부가적인 설명 단계는 예를 들어 다음의 방식으로 구현된다. 신택스적 요소는 본 발명의 경우에 다음과 같이 정의된다:

Video_object_layer_chrom 및 이 요소의 의미론적 의미는 : "주어진 값(예를 들어 1)으로 설정된다면, 색차 채널이 존재하고 디코딩되어야 하며, 그렇지 않다면 두 색차 채널들이 관련 단색 상수값으로 설정됨을 나타내는 1비트 플래그이다" 이다.

이것이 표준들에서 숙고되거나 제안되지 않은 수단을 사용하여 비트들의 낭비를 눈에 뛰게 감소시키기 때문에 이 기술적 해결은 특히 유리하다. 예를 들어 MPEG-4 신택스에서 위에서 언급한 문서 w3056에 "크로마_포맷"으로 불리고 VOL 레벨에서 주어지는 색차에 관한 다른 신택스적 요소가 또한 있다는 것이 실제로 주목되어야 한다. 이 문서의 페이지 111 테이블 6-13에 주어진 의미론적 설명으로부터, 색차의 포맷은 4:2:0 예를 들어 또는 4:2:2 또는 4:1:1로 주어질 수 있으나, 색차 채널의 존재 여부는 다루어지지 않는다.

위에 설명된 비디오 코딩 방법은 움직임 보상된 프레임간 예측을 갖는 MPEG 코더의 예를 보여주는 도 1에 도시된 것과 같은 예를 들어 코딩 장치로 구현될 수 있으며, 상기 코더는 코딩 및 예측 스테이지들을 포함한다. 코딩 스테이지 자체는 모드 결정 회로(11)(MPEG에 정의된 바와 같은 코딩 모드 I, P 또는 B의 선택을 결정하기 위한 것임), DCT 회로(12), 양자화 회로(13), 가변 길이 코딩 회로(14), 버퍼(15) 및 레이트 제어 회로(16)를 포함한다. 예측 스테이지는 움직임 추정 회로(21), 움직임 보상 회로(22), 역 양자화 회로(23), 역 DCT 회로(24), 가산기(25), 및 감산기(26)를 포함하여 예측 스테이지의 출력에서(즉, 움직임 보상 회로(22)의 출력에서) 활용 가능한 예측된 신호와 코딩 장치의 입력 신호(IS) 사이의 차이를 코딩 스테이지로 보낸다. 이 차이는 코딩된 비트스트림이며 버퍼(15)의 출력 신호(CB)는 색차가 입력 신호내에 존재하는지의 여부와 디코딩 측에서 디코딩되어야 하는지의 여부를 나타내는 1 비트 플래그를 본 발명에 따라 포함할 것인 코딩된 비트스트림이다.

코딩 장치의 다른 예는 MPEG-4 표준의 명세들에 기초될 것이다. MPEG-4 비디오 프레임워크에서, 하나 또는 몇몇 비디오 오브젝트들( 및 가능하게는 그들의 향상 레이어들)로 구성될 수 있는 각각의 장면이 비디오 오브젝트들(VO들)로 불리는 이들 오브젝트들의 구성으로 구성되고 분리된 요소 비트스트림들을 사용하여 코딩된다. 따라서 입력 비디오 정보는 세그먼트 회로에 의해 비디오 오브젝트들로 먼저 쪼개지고 이들 VO들은 형태 코딩, 움직임 코딩 및 텍스쳐 코딩을 포함하는 기본 코딩 구조에 보내진다. 각각의 VO는 이들 코딩 단계들의 관점에서, 예를 들어 포맷 4:2:0에 대한 예를 들어 4 휘도 블록들과 2 색차 블록들로 구성되는 매크로블록들로 분할되고, 하나 하나씩 인코딩된다. 본 발명에 따르면, 상기 코딩 단계들의 결과인 코딩된 신호들을 포함하는 멀티플렉싱된 비트스트림은 색차가 입력 신호내에 존재하는지의 여부와 디코딩 측에서 디코딩되어야 할 것인지를 나타내는 1비트의 플래그를 포함할 것이다.

상호적으로, 디코딩 측에 전송된 이 플래그는 상기 플래그를 포함하는 코딩된 비트스트림을 수신하는 비디오 디코더에서 적절한 수단에 의해 판독된다. 코딩된 비트스트림의 컨텐츠의 모든 세그먼트들을 인식하고 디코딩할 수 있는 디코더는 상기 부가적인 신택스적 정보를 판독하고 색차 채널이 존재하는지 여부와 따라서 디코딩되어야 하는지의 여부를 안다. 그러한 디코더는 인코딩 장치로서 어떤 MPEG 형일 수 있으며, 그의 근본 요소들은 예를 들어 직렬로, 코딩된 비트스트림을 수신하는 입력 버퍼, VLC 디코더, 역 양자화 회로 및 역 DCT 회로이다. 코딩 및 디코딩 장치 내에서 제어기는 코딩의 단계 또는 디코딩 동작들을 다루기 위해 제공될 수 있다.

본 발명의 양호한 실시예의 앞의 설명은 예시 및 설명의 목적을 위해 제공되었다. 이것은 당업자에게 명백한 개시된 정확한 형식들, 명확한 변경들 및 변화들에 본 발명을 제한하거나 소모되도록 의도된 것이 아니며, 본 발명의 범위 내에 포함되도록 의도된 것은 위의 기술들의 견지에서 가능하다.

예를 들어 여기에 설명된 코딩 및 디코딩 장치들이 하드웨어 또는 소프트웨 어의 단일 아이템이 몇몇 기능들을 수행할 수 있으며 하드웨어 및 소프트웨어의 아이템들의 어셈블리 또는 둘 다는 단일 기능을 수행할 수 있다는 것을 배제하지 않고 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 설명된 방법 및 장치들은 컴퓨터 시스템의 어떤 타입 또는 다른 적응된 장치에 의해 구현될 수 있다. 하드웨어와 소프트웨어의 전형적인 조합은 로딩되고 실행될 때 컴퓨터 시스템을 제어하여 여기에 설명된 방법을 수행하는 컴퓨터 프로그램을 갖는 일반 목적 컴퓨터 시스템일 수 있다. 대안적으로, 본 발명의 하나 이상의 기능적 임무를 수행하는 특수화된 하드웨어를 포함하는 특정 사용 컴퓨터가 사용될 수 있다.

또한 본 발명은 여기에 설명된 방법 및 기능들의 구현을 가능하게 하는 그리고 컴퓨터 시스템에 로딩될 때 이들 방법 및 기능들을 수행할 수 있는 모든 특성들을 포함하는 컴퓨터 프로그램 제품에 삽입될 수 있다. 본 신택스의 컴퓨터 프로그램, 소프트웨어 프로그램, 프로그램, 프로그램 제품, 또는 소프트웨어는 정보 처리 능력을 갖는 시스템이 특정 기능을 직접 또는 다음중 하나 또는 둘 다를 수행하도록 의도된 명령들의 세트의 어떤 언어, 코드 또는 개념으로된 어떤 표현을 의미한다: (a) 다른 언어, 코드 또는 개념으로 변환; 및/또는 (b) 다른 물질 형식으로 재생.

Claims

비디오 프레임들의 시퀀스에 적용되고 코딩된 비트스트림을 발생하는 비디오 코딩 방법으로서,

각각의 데이터 아이템은 어떤 디코더가 상기 비트스트림의 컨텐츠의 모든 세그먼트들을 인식하고 디코딩하도록 하는 비트스트림 신택스로 기술되며, 상기 프레임들의 각각은 휘도 매트릭스 및 두 개의 색차 매트릭스들인 세 개의 직사각 매트릭스들로 구성되는 비디오 코딩 방법에 있어서,

상기 방법은 상기 신택스가 색차 성분들의 존재 여부를 비디오 오브젝트 레이어(VOL) MPEG-4 레벨로 나타내는 플래그를 포함하는 것을 또한 특징으로 하는, 비디오 코딩 방법.
제 1 항에 있어서,

상기 플래그가 주어진 값으로 설정되면, 상기 색차 성분들이 존재하며 디코딩 측에서 디코딩되어야 할 것이고, 상기 플래그가 상기 주어진 값으로 설정되지 않으면, 두 색차 성분들은 단색 상수값으로 설정되며 디코딩 되어서는 아니되는, 비디오 코딩 방법.
MPEG 타입의 비디오 코딩 장치에 있어서,

디코딩될 차이 신호를 -이전의 입력 신호로부터 얻어진 예측된 신호를 상기 장치의 현재 입력 신호로부터 감산하여- 정의하는 예측 수단, 및 상기 차이 신호로부터 코딩된 비트스트림을 분배하는 코딩 수단을 포함하고, 상기 코딩 장치는 색차 성분들이 상기 입력 신호에 존재하는지 여부를 나타내는 플래그를 비디오 오브젝트 레이어(VOL) MPEG-4 레벨로 상기 코딩된 비트스트림 내에 포함하는 수단을 포함하는 것을 또한 특징으로 하는, 비디오 코딩 장치.
MPEG-4 표준의 명세들에 기초하여 MPEG 타입의 출력 코딩된 비트스트림을 발생하는 비디오 코딩 장치에 있어서,

상기 코딩 장치는 색차 성분들이 상기 장치의 입력 신호에 존재하는지 여부를 나타내는 플래그를 비디오 오브젝트 레이어(VOL) MPEG-4 레벨로 그 출력 코딩된 비트스트림 내에 포함하는 수단을 포함하는 것을 또한 특징으로 하는, 비디오 코딩 장치.
삭제
비디오 프레임들의 시퀀스에 적용되고 코딩된 비트스트림을 발생하는 비디오 코딩 방법의 구현에 의해 발생되는 상기 코딩된 비트스트림으로 구성되는 전송가능 비디오 신호를 디코딩하는 비디오 디코딩 방법에 있어서,

각각의 데이터 아이템은 어떤 디코더가 상기 비트스트림의 컨텐츠의 모든 세그먼트들을 인식하고 디코딩하도록 하는 비트스트림 신택스로 기술되며, 상기 프레임들의 각각은 휘도 매트릭스 및 두 개의 색차 매트릭스들인 세 개의 직사각 매트릭스들로 구성되며, 상기 신호는 상기 코딩된 비트스트림 내에 색차 성분들의 존재 여부를 비디오 오브젝트 레이어(VOL) MPEG-4 레벨로 나타내기 위해 제공되는 신택스적 요소를 포함하고, 상기 디코딩 방법은 더욱이 상기 코딩된 비트스트림 내에 색차 성분들의 존재 여부를 나타내는 상기 신택스적 요소를 디코딩하는 단계를 포함하는, 비디오 디코딩 방법.
비디오 프레임들의 시퀀스에 적용되고 코딩된 비트스트림을 발생하는 비디오 코딩 방법의 구현에 의해 발생되는 상기 코딩된 비트스트림으로 구성되는 전송가능 비디오 신호를 디코딩하는 비디오 디코딩 장치에 있어서,

각각의 데이터 아이템은 어떤 디코더가 상기 비트스트림의 컨텐츠의 모든 세그먼트들을 인식하고 디코딩하도록 하는 비트스트림 신택스로 기술되며, 상기 프레임들의 각각은 휘도 매트릭스 및 두 개의 색차 매트릭스들인 세 개의 직사각 매트릭스들을 포함하며, 상기 신호는 상기 코딩된 비트스트림 내에 색차 성분들의 존재 여부를 비디오 오브젝트 레이어(VOL) MPEG-4 레벨로 나타내기 위해 제공되는 신택스적 요소를 포함하고, 상기 디코딩 장치는 더욱이 상기 코딩된 비트스트림 내에 색차 성분들의 존재 여부를 나타내는 상기 신택스적 요소를 디코딩하는 수단을 포함하는, 비디오 디코딩 장치.