KR20110099062A

KR20110099062A - 부호화 장치 및 부호화 방법

Info

Publication number: KR20110099062A
Application number: KR1020117018579A
Authority: KR
Inventors: 요이치 야가사키; 오사무 스노하라; 준 무라야마
Original assignee: 소니 주식회사
Priority date: 2002-10-10
Filing date: 2003-10-09
Publication date: 2011-09-05
Also published as: KR101157059B1; KR20050057642A; KR101106086B1; EP2533207A3; US8494043B2; EP2533208A3; EP2533208A2; AU2003273187A1; KR20110048555A; KR101091752B1; KR101156997B1; EP2533210A2; EP2533210B1; US8494044B2; KR20100066585A; AU2003273187B2; KR101031561B1; EP2533206A3; CN101031086A; CN1316433C

Abstract

일정한 처리 시간을 보증하는 화상 정보 부호화 장치 및 복호화 장치를 제공한다. CABAC 부호화부 및 복호화부로부터 입출력되는 데이터의 양을, 하나의 픽처, 슬라이스, 매크로블록 또는 블록 등의 부호화 단위를 기초로 하여 제한하고, 비압축된 화상 데이터를 부호화함으로써, 일정한 처리 시간을 보증하는 화상 정보 부호화 장치 및 복호화 장치를 제공할 수 있다. 이에 의하면, 처리 시간을 보증할 수 있는 장치를 실장할 수 있다.

Description

부호화 장치 및 부호화 방법 {ENCODING APPARATUS AND ENCODING METHOD}

본 발명은 최근에 개발된 표준 JVT(ITU-T Rec.H.264｜ISO/IEC 14496-10 AVC) 등의 형태로, 이산 코사인 변환 또는 카루넨 루베 변환(Karhunen Loeve transformation) 등의 직교 변환(orthogonal transformation)과 움직임 보상(motion compensation)에 의해 압축된 화상 정보(비트 스트림)를, 위성방송, 케이블 TV 또는 인터넷 등의 네트워크 미디어를 통하여 수신할 때, 또는 광디스크, 자기 디스크 또는 플래시 메모리 등의 기억 미디어 상에서 처리할 때, 이용되는 화상 정보 부호화 방법, 장치 및 프로그램과, 화상 정보 복호 방법, 장치 및 프로그램에 관한 것이다.

최근, 화상 정보를 디지털로서 취급하여, 정보를 효율적으로 전송 및 저장하기 위하여, 화상 정보 특유의 용장성(redundancy)을 이용하는 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 화상 정보를 압축하는 MPEG 등의 방식을 채택하는 장치가, 방송국 등에서의 정보 분배와 일반 가정에서의 정보 수신을 위하여 보급하고 있다.

특히, MPEG2(ISO/IEC 13818-2)는 범용의 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차적 주사 화상과, 표준 해상도 화상 및 고정밀 화상을 취급할 수 있는 표준으로서, 전문가용 및 일반 사용자용의 광범위한 애플리케이션에 널리 이용되고 있다. MPEG2 압축 방식을 사용함으로써, 예를 들면 720×480 화소를 가지는 표준 해상도의 비월 주사 화상이면 4~8 Mbps의 비트 전송률(bit rate), 1920×1088 화소를 가지는 고해상도의 비월 주사 화상이면, 18~22 Mbps의 비트 전송률을 할당함으로써, 높은 압축률과 양호한 화질의 실현이 가능하다.

MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있지만, MPEG1보다 낮은 비트 전송률, 즉 더 높은 압축률을 갖는 부호화 방식에는 사용할 수 없었다. 그러나, 휴대 단말기의 보급에 의하여, 향후 그와 같은 부호화 방식의 요구는 높아질 것이 예상되기 때문에, 이에 대응하여 MPEG4 부호화 방식이 표준화되었다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC 14496-2의 규격이 국제 표준으로 승인되었다.

또한, 최근, 텔레비전 회의용의 화상 부호화를 목적으로 하여, JVT(ITU-T Rec.H.264｜ISO/IEC 14496-10 AVC)라는 표준의 규격화가 진행되고 있다. JVT는, MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비하여, 그 부호화 및 복호화에 많은 연산량이 요구되지만, 더 높은 부호화 효율을 실현할 수 있는 것으로 알려져 있다.

여기서, 이산 코사인 변환 또는 카루넨 루베 변환 등의 직교 변환과 움직임 보상에 의해 화상 압축을 실현하는 화상 정보 부호화 장치의 개략 구성을, 도 8에 나타낸다. 도 8에 나타낸 바와 같이, 화상 정보 부호화 장치(100)는 A/D 변환부(101), 화면 재배치 버퍼(102), 가산기(103), 직교 변환부(104), 양자화부(105), 가역 부호화부(106), 저장 버퍼(107), 역양자화부(108), 역직교 변환부(109), 프레임 메모리(110), 움직임 예측/보상부(111), 및 레이트 제어장치(112)에 의해 구성되어 있다.

도 8에 있어서, A/D 변환부(101)는 입력된 화상 신호를 디지털 신호로 변환한다. 그리고, 화면 재배치 버퍼(102)는 A/D 변환부(101)로부터 공급되는 화상 압축 정보의 GOP(Group of Pictures) 구조에 따라, 프레임의 정렬을 행한다. 여기서, 화면 재배치 버퍼(102)는 인트라(화상내) 부호화를 행하는 화상에 대하여, 프레임 전체의 화상 정보를 직교 변환부(104)에 공급한다. 직교 변환부(104)는 화상 정보에 대하여 이산 코사인 변환 또는 카루넨 루베 변환 등의 직교 변환을 행하고, 변환 계수를 양자화부(105)에 공급한다. 양자화부(105)는 직교 변환부(104)로부터 공급되는 변환 계수에 대하여 양자화 처리를 행한다.

가역 부호화부(106)는 양자화부(105)로부터 공급되는 양자화된 변환 계수나 양자화 스케일(quantization scale) 등으로부터 부호화 모드를 결정하고, 이 부호화 모드에 대하여 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화(reverse encoding)를 행하고, 화상 부호화 단위로 헤더부에 삽입되는 정보를 형성한다. 부호화된 부호화 모드를 저장 버퍼(107)에 공급하여 저장한다. 이 부호화된 부호화 모드는 화상 압축 정보로서 출력된다.

또, 가역 부호화부(106)는 양자화된 변환 계수에 대하여 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하고, 부호화된 변환 계수를 저장 버퍼(107)에 공급하여 저장한다. 이 부호화된 변환 계수는 화상 압축 정보로서 출력된다.

양자화부(105)의 동작은 레이트 제어장치(112)에 의해 제어된다. 또, 양자화부(105)는 양자화 후의 변환 계수를 역양자화부(108)에 공급하고, 역양자화부(108)는 그 변환 계수를 역양자화한다. 역직교 변환부(109)는 역양자화된 변환 계수에 대하여 역직교 변환 처리를 수행하여 복호 화상 정보를 생성하고, 그 정보를 프레임 메모리(110)에 공급하여 저장한다.

한편, 화면 재배치 버퍼(102)는 인터(화상간) 부호화를 행하는 화상에 대하여, 화상 정보를 움직임 예측/보상부(111)에 공급한다. 움직임 예측/보상부(111)는 참조되는 화상 정보를 프레임 메모리(110)로부터 가져와서, 움직임 예측/보상 처리를 행하여, 참조 화상 정보를 생성한다. 움직임 예측/보상부(111)는 참조 화상 정보를 가산기(103)에 공급한다. 가산기(103)는 참조 화상 정보를 당해 화상 정보와의 차분 신호(differential signal)로 변환한다. 이와 동시에, 움직임 예측/보상부(111)는 움직임 벡터 정보를 가역 부호화부(106)에 공급한다.

가역 부호화부(106)는 양자화부(105)로부터 공급되는 양자화된 변환 계수나 양자화 스케일, 또는 움직임 예측/보상부(111)로부터 공급되는 움직임 벡터 정보 등으로부터 부호화 모드를 결정하고, 이 부호화 모드에 대하여 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하며, 화상 부호화 단위로 헤더부에 삽입되는 정보를 형성한다. 부호화된 부호화 모드를 저장 버퍼(107)에 공급되어 저장된다. 이 부호화된 부호화 모드는 화상 압축 정보로서 출력된다.

또, 가역 부호화부(106)는 그 움직임 벡터 정보에 대하여 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리를 가하여, 화상 부호화 단위로 헤더부에 삽입되는 정보를 형성한다.

인트라 부호화(화상내 부호화)와 달리, 인터 부호화(화상간 부호화)의 경우에는, 직교 변환부(104)에 입력되는 화상 정보가 가산기(103)로부터 얻어진 차분 신호이다. 그리고, 그 외의 처리에 대하여는, 인트라 부호화를 행하는 화상 압축 정보와 같기 때문에, 설명을 생략한다.

다음으로, 상기 설명한 화상 정보 부호화 장치(100)에 대응하는 화상 정보 복호 장치의 개략 구성을 도 9에 나타낸다. 도 9에 나타낸 바와 같이, 화상 정보 복호 장치(120)는 저장 버퍼(121), 가역 복호화부(122), 역양자화부(123), 역직교 변환부(124), 가산기(125), 화면 재배치 버퍼(126), D/A 변환부(127), 움직임 예측/보상부(128) 및 프레임 메모리(129)에 의해 구성되어 있다.

저장 버퍼(121)는 입력된 화상 압축 정보를 일시적으로 저장한 후, 가역 복호화부(122)에 전송한다. 가역 복호화부(122)는 정해진 화상 압축 정보의 포맷에 기초하여, 화상 압축 정보에 대하여 가변 길이 복호 또는 산술 복호 등의 처리를 실시하여, 헤더부에 저장된 부호화 모드 정보를 취득하여 역양자화부(123) 등에 공급한다. 마찬가지로, 양자화된 변환 계수를 취득하여 역양자화부(123)에 공급한다. 또, 가역 복호화부(122)는 당해 프레임이 인터 부호화된 것인 경우에는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보 대하여 복호화하고, 그 정보를 움직임 예측/보상부(128)에 공급한다.

역양자화부(123)는 가역 복호화부(122)로부터 공급되는 양자화 후의 변환 계수를 역양자화하고, 변환 계수를 역직교 변환부(124)에 공급한다. 역직교 변환부(124)는 정해진 화상 압축 정보의 포맷에 따라, 변환 계수에 대하여 역이산 코사인 변환 또는 역카루넨 루베 변환 등의 역직교 변환을 행한다.

여기서, 당해 프레임이 인트라(화상내) 부호화된 것이라면, 역직교 변환 처리가 행해진 화상 정보가 화면 재배치 버퍼(126)에 저장되고, D/A 변환부(127)에 있어서의 D/A 변환 처리의 다음에 출력된다.

한편, 당해 프레임이 인터(화상간) 부호화된 것이라면, 움직임 예측/보상부(128)는 가역 복호 처리가 행해진 움직임 벡터 정보와, 프레임 메모리(129)에 저장된 화상 정보에 따라 참조 화상을 생성하여, 가산기(125)에 공급한다. 가산기(125)는 참조 화상과 역직교 변환부(124)의 출력을 합성한다. 그리고, 그 외의 처리에 대해서는, 인트라 부호화된 프레임과 같기 때문에, 설명을 생략한다.

여기서, JVT에 있어서의 가역 부호화부(106)에 대하여 상세하게 설명한다. JVT의 가역 부호화부(106)에서는, 양자화부(105)나 움직임 예측/보상부(111)로부터 입력된 모드 정보, 움직임 정보, 양자화된 계수 정보 등의 기호에 대하여, 도 10에 나타낸 바와 같이, CABAC(Context-based Adaptive Binary Arithmetic Coding)라는 산술 부호화(이하, CABAC라고 함) 또는 CAVLC(Context-based Adaptive Variable Length Coding)라는 가변 길이 부호화(이하, CAVLC라고 함) 중 어느 한쪽의 가역 부호화를 적용하여, 화상 압축 정보(비트 스트림)가 출력된다. 어느 쪽의 가역 부호화가 적용되는지에 대해서는, 도 10에 있어서의 CABAC/CAVLC 선택 정보에 의해 결정할 수 있으며, 이 CABAC/CAVLC 선택 정보는 화상 정보 부호화 장치(10O)에 의해 결정되어, 헤더 정보로서 비트 스트림에 삽입되어 출력된다.

먼저, 도 11은 가역 부호화부(106)에 있어서의 CABAC의 구성도를 나타낸다. 도 11에서는, 양자화부(105)와 움직임 예측/보상부(111)로부터 입력된 모드 정보, 움직임 정보 및 양자화된 변환 계수 정보가, 다중값 기호(multi-valued symbols)로서 이진화 장치(binarization unit)(131)에 입력된다. 이진화 장치(131)에서는, 입력된 다중값 기호를, 미리 결정된 소정의 규칙에 의거하여 임의의 길이를 갖는 이진 기호의 열로 변환한다. 이 이진 기호열은 CABAC 부호화기(133)에 입력되고, CABAC 부호화기(133)에서는, 입력된 이진 기호에 대하여 이진 기호 산술 부호화가 적용되어 그 결과를 비트 스트림으로 출력하고, 저장 버퍼(107)에 입력한다. 그리고, 컨텍스트(context) 연산기(132)에서는, 이진화 장치(131)에 입력된 기호 정보와 이진화 장치(131)로부터의 출력인 이진 기호를 기초로 하여 컨텍스트의 계산을 행하고, CABAC 부호화기(133)에 입력한다. 컨텍스트 연산기(132)에 있어서의 컨텍스트 메모리 그룹(135)에는, 부호화 처리 중에 수시로 갱신되는 컨텍스트와 리셋 등에 이용되는 컨텍스트의 초기 상태가 보존된다.

다음에, 도 12에 가역 부호화부(106)에 있어서의 CAVLC의 구성을 나타낸다. 도 12에서는, 양자화부(105)와 움직임 예측/보상부(111)로부터 입력된 모드 정보, 움직임 정보 및 양자화된 변환 계수 정보가 다중값 기호로서 CAVLC 부호화기(140)에 입력된다. CAVLC 부호화기(140)에서는, 종래의 MPEG 등에 의해 채용되는 가변 길이 부호화와 마찬가지로, 입력된 다중값 기호에 대하여 가변 길이 부호 테이블을 적용하여, 비트 스트림을 출력한다. 여기서, 컨텍스트 보존기(141)에서는, CAVLC 부호화기(140)에서 이미 부호화된 정보, 예를 들면, 처리 중의 블록뿐만 아니라 이미 처리된 블록에 있어서의 각 블록 내의 비제로(non-zero) 계수의 수나 직전에 부호화된 계수의 값 등이 보존된다. CAVLC 부호화기(140)는 이 컨텍스트 보존기(141)로부터의 정보를 기초로 하여, 기호에 적용하는 가변 길이 부호 테이블을 변경할 수 있다. 그리고, 컨텍스트 보존기(141)에는 리셋할 때 등에 이용되는 컨텍스트의 초기 상태도 보존된다. 이 출력된 비트 스트림은 저장 버퍼(107)에 입력된다.

마찬가지로, JVT에 있어서의, 가역 복호화부(122)에 대하여 상세하게 설명한다. JVT의 가역 복호화부(122)에서는 가역 부호화부(106)와 마찬가지로, 입력된 비트 스트림에 대하여, 도 13에 나타낸 바와 같이, CABAC 또는 CAVLC 중 한쪽의 가역 복호화가 적용된다. 어느 쪽의 가역 복호화가 적용되는지에 대해서는, 입력된 비트 스트림의 헤더 정보에 삽입된 CABAC/CAVLC 선택 정보를 판독함으로써 행해지며, CABAC와 CAVLC 중 하나가 적용된다.

도 14에 가역 복호화부(122)에 있어서의 CABAC의 구성을 나타낸다. 도 14에서는, 저장 버퍼(121)로부터 입력된 비트 스트림에 대하여 CABAC 복호화기(161)에서 이진 기호 산술 복호화가 적용되어 그 결과가 이진 기호열로서 출력된다. 이 이진 기호열은 역이진화 장치(163)에 입력되고, 역이진화 장치(163)에서 미리 결정된 일정 규칙에 의거하여 다중값 기호로 변환된다. 역이진화 장치(163)로부터 출력되는 다중값 기호는 모드 정보, 움직임 벡터 및 양자화된 계수 정보로서, 역이진화 장치(163)로부터 출력되고, 역양자화부(123), 움직임 예측/보상부(128)에 입력된다. 그리고, 컨텍스트 연산기(162)에서는, 역이진화 장치(163)에 입력된 이진화 기호열과 역이진화 장치(163)로부터의 출력인 다중값 기호를 기초로 컨텍스트의 계산을 행하고, CABAC 복호화기(161)에 입력한다. 컨텍스트 연산기(162)에 있어서의 컨텍스트 메모리 그룹(165)에는, 복호화 처리 중에 수시로 갱신되는 컨텍스트와 리셋할 때 등에 이용되는 컨텍스트의 초기 상태가 보존된다.

다음에, 도 15에 가역 복호화부(122)에 있어서의 CAVLC의 구성을 나타낸다. 도 15에서는 저장 버퍼(121)로부터 입력된 비트 스트림이 CAVLC 복호화기(170)에 입력된다. CAVLC 복호화기(170)에서는, 종래의 MPEG 등에 채용되는 가변 길이 복호화와 마찬가지로, 입력된 비트 스트림에 대하여 가변 길이 복호 테이블을 적용하여, 모드 정보, 움직임 정보 및 양자화된 변환 계수 정보를 출력한다. 이들 출력 정보는 가역 양자화부(123)와 움직임 예측/보상부(128)에 입력된다. 컨텍스트 보존기(171)에서는, 이미 CAVLC 복호화기(170)에서 복호화된 정보, 예를 들면 처리가 이루어지고 있는 블록뿐만 아니라 이미 처리된 블록에 있어서의 각 블록 내의 비제로(non-zero) 계수의 수나 직전에 복호화된 계수의 값 등이 보존된다. CAVLC 복호화기(170)는 컨텍스트 보존기(171)로부터의 정보를 기초로 하여 기호에 적용하는 가변 길이 복호 테이블을 변경할 수 있다. 그리고, 컨텍스트 보존기(171)에는 리셋할 때 등에 이용되는 컨텍스트의 초기 상태도 보존된다.

도 11 및 도 14에 나타낸 CABAC의 상세 동작으로서, 이하에 Final Committee Draft ISO/IEC 14496-10:2002(제9.2 절)에 기재된 CABAC의 설명을, 본 명세서에 참조로서 첨부한다.

본 발명의 출원인은 기존의 부호화 및 복호화 시스템에서의 문제점을 인식했으며, 그 개량에 대하여 이하 설명한다.

화상 정보 부호화 장치(100)에서 하나의 픽처(picture)를 부호화할 때, 그 부호화 단위로서, 하나의 픽처, 슬라이스, 매크로블록 또는 블록 중 하나로 하더라도, 부호화 단위에 포함되며, 도 11의 이진화 장치(131)에 입력되는 기호의 수는, 입력되는 화상 신호나 부호화 조건에 따라 달라지므로, 고정적이지 않다.

또, 이진화 장치(131)에 입력된 하나의 기호에 대해 출력되는 이진 데이터 열의 길이는 JVT FCD 제9.2.1 절에 개시되어 있는 바와 같이, 일정한 길이로 정해져 있지 않다. 예를 들면, JVT FCD 제9.2.1.5 절 Table 9-20에 있는 바와 같이, I slice에 있어서의 mb_type1 Symbo1에 대한 이진 데이터 열의 길이는, 최소 1(Intra_4×4의 시점에서), 최대 6으로 된다. 이와 같이, 1개의 기호에 대한 이진화 장치(131)의 출력 이진 데이터 길이도 정해져 있지 않다.

이와 같은 이유로부터, 입력 화상 신호의 임의의 부호화 단위에 포함되는 기호에 대하여, 이진화 장치(131)에서 출력되는 이진 데이터의 수는 고정적이지 않고 정해지지 않은 것으로 되어, 입력 데이터와 부호화 조건에 따라서는, 매우 많은 이진 데이터가 이진화 장치(131)로부터 출력될 가능성이 있다.

여기서, 이진화 장치(131)로부터 출력된 이진 데이터는 CABAC 부호화기(133)에 입력된다. 그러나, CABAC 부호화기(133)는 입력된 1개의 이진 데이터를 처리하는데 실질적으로 1클록 이상의 처리 시간이 필요하기 때문에, CABAC 부호화기(133)에 입력되는 이진 데이터의 수가 많아지게 되면, 그만큼의 처리 시간이 필요하게 된다. 또한, 상기 설명한 바와 같이, CABAC 부호화기(133)에 입력되는 이진 데이터의 수는 정해지지 않았으므로, 최악의 경우(처리에 최장의 시간이 걸리는 경우)를 예측하는 것이 곤란해진다.

그러므로, 화상 정보 부호화 장치(100)에 있어서, 실시간 처리나 어느 일정한 처리 속도를 보증할 필요가 있는 경우에, CABAC 부호화기(133)에 입력되는 이진 데이터가 매우 많거나 또는 일정하지 않으면, 보증을 할 수 없게 된다.

또, 이진화 장치(131)에 입력된 하나의 기호에 대하여 출력된 이진 데이터 열에 대한 CABAC 부호화기(133)의 출력 비트 길이는 일정하지 않다. 이것은 CABAC가 입력 이진 데이터의 발생 확률에 따라, 출력 비트 길이를 가변으로 제어하기 때문이다. 그러므로, CABAC 부호화기(133)에 입력되는 1개의 이진 데이터는, 그 발생 확률에 따라, 1비트 이하의 비트 스트림 데이터도 될 수 있고, 수 비트 이상의 비트 스트림 데이터도 될 수 있다.

CABAC 부호화기(133)는 출력되는 1개의 비트 데이터를 처리하는데 실질적으로 1클록 이상의 처리 시간을 필요로 하기 때문에, CABAC 부호화기(133)로부터 출력되는 비트 데이터가 많아지면, 그만큼의 처리 시간이 필요해지고, 부호화기를 실장한 경우에 처리 시간이 많이 걸리게 된다. 또, 상기 설명한 바와 같이, CABAC 부호화기(133)로부터 출력되는 비트 데이터의 수는 고정적이지 않기 때문에, 처리 시간이 가장 길어지게 되는 최악의 경우를 추측하는 것이 곤란하게 된다.

그러므로, 화상 정보 부호화 장치(100)에서, 실시간 처리나 일정한 처리 시간을 보증할 필요가 있는 경우에, CABAC 부호화기(133)로부터 출력되는 비트 데이터의 수가 많거나 또는 비트 데이터의 수가 일정하지 않으면, 그 보증이 불가능하게 된다.

이상 설명한 바와 같이, CABAC 부호화기(133)에 입/출력되는 이진 데이터나 비트 데이터의 개수가 하나의 픽처, 픽처 내의 슬라이스, 매크로블록 또는 블록 중 하나로 하는 부호화 단위 내에서, 비트 데이터의 수가 일정하지 않고, 그 수가 많게 될 수 있다는 것은, 실장할 때에 그 부호화 단위로 일정한 처리 시간을 보증할 수 없게 될 수 있다는 것이다.

또한, 화상 정보 복호화 장치(120)에서 하나의 픽처를 부호화할 때, 그 부호화 단위를 하나의 픽처, 슬라이스, 매크로블록 또는 블록 중 하나로 한 경우라도, 그 부호화 단위에 포함되고 CABAC 복호화기(161)에 입력되는 비트 스트림의 비트 수는 입력되는 비트 스트림에 따라 달라지므로, 일정하지 않게 된다.

여기서, CABAC 복호화기(161)는 입력되는 1개의 비트 데이터를 처리하는데 실질적으로 1클록 이상의 처리 시간이 필요하기 때문에, CABAC 복호화기(161)에 입력되는 비트 데이터가 많으면, 그만큼 처리 시간이 길어지게 된다. 또, 상기 설명한 바와 같이, CABAC 복호화기(161)에 입력되는 비트 데이터의 수는 고정적이지 않기 때문에, 처리 속도가 가장 오래 걸리는 최악의 경우를 추측하는 것이 곤란하게 된다.

그러므로, 화상 정보 복호화 장치(120)에 있어서, 실시간 처리나 어느 일정한 처리 시간을 보증할 필요가 있는 경우에, CABAC 복호화기(161)에 입력되는 비트 데이터의 수가 많거나 또는 비트 데이터의 수가 일정하지 않으면, 그 보증이 불가능하게 된다. 특히, 화상 정보 복호화 장치(120)는, 화상 정보 부호화 장치(100)에 비하여, 화상 정보를 실시간으로 복호화 및 표시하여야 하는 요구가 높기 때문에, 실시간 처리를 보증할 수 없는 것은 문제점이 된다.

이에 따라, 본 발명은 상기 문제점을 해결하는 것을 하나의 목적으로 한다. 본 발명에서는 상기 문제점을 감안하여, CABAC 부호화기 및 복호화기에서 입출력되는 데이터량을 하나의 픽처, 슬라이스, 매크로블록 또는 블록 등의 부호화 단위로 제한하고, 이러한 제한에 대한 수단을 화상 정보 부호화기, 복호화기 및 비트 스트림에 적용한다.

또, 본 발명에서는, 상기 문제점을 감안하여, 비압축(umcompressed) 화상 데이터를 부호화하고, 그 수단을 화상 정보 부호화기, 복호화기 및 비트 스트림에 적용한다.

또, 본 발명에서는, 상기 문제점을 감안하여, CABAC 뿐만 아니라 CAVLC에 대하여도, 동일한 방법을 적용한다.

본 발명에서의 CABAC 부호화기 및 복호화기에 있어서의 입출력 데이터량의 제한과 비압축 데이터의 부호화에 의하여 화상 정보 부호화 장치나 복호화 장치에 있어서의 일정한 처리 시간을 보증하는 것이 가능해져, 그 처리 시간을 보증한 장치를 실현하는 것이 가능해진다. 또, CABAC와 CAVLC에 대해서 유사한 효과를 얻을 수 있게 된다.

본 발명의 더 완전한 이해와 이에 부속하는 많은 장점들은 첨부 도면을 참조하여 이하의 상세한 설명에 의하여 명백해질 것이다.
도 1은 본 발명의 화상 정보 부호화 장치의 구성예를 나타내는 도면.
도 2는 본 발명의 화상 정보 부호화 장치의 구성예를 나타내는 도면.
도 3은 본 발명의 화상 정보 부호화 장치의 구성예를 나타내는 도면.
도 4는 본 발명의 화상 정보 부호화 장치의 구성예를 나타내는 도면.
도 5는 본 발명의 화상 정보 부호화 장치의 구성예를 나타내는 도면.
도 6은 본 발명의 화상 정보 복호화 장치의 구성예를 나타내는 도면.
도 7은 본 발명의 매크로블록 처리부의 구성예를 나타내는 도면.
도 8은 종래의 화상 정보 부호화 장치의 구성예를 나타내는 도면.
도 9는 종래의 화상 정보 복호화 장치의 구성예를 나타내는 도면.
도 10은 종래의 JVT에서 가변 길이 부호화부의 구성예를 나타내는 도면.
도 11은 종래의 JVT에서 CABAC 부호화부의 구성예를 나타내는 도면.
도 12는 종래의 JVT에서 CAVLC 부호화부의 구성예를 나타내는 도면.
도 13은 종래의 JVT에서 가변 길이 복호화부의 구성예를 나타내는 도면.
도 14는 종래의 JVT에서 CABAC 복호화부의 구성예를 나타내는 도면.
도 15는 종래의 JVT에서 CAVLC 복호화부의 구성예를 나타내는 도면.

본 발명의 실시예에 대하여, 첨부 도면을 참조하여 설명한다. 유사한 도면부호는 동일 또는 유사한 구성요소를 의미한다.

도 1은 본 발명에 있어서의 화상 부호화 장치의 실시예를 나타낸다. 도 1의 장치(10)에서는 부호화하고자 하는 화상 신호가 입력되고, 부호화된 비트 스트림이 출력된다. 장치(10)는 입력 버퍼(11), 변환 처리부(12), CABAC 처리부(13), 제한 감시기(14) 및 출력 버퍼(15)에 의해 구성된다. 입력 버퍼(11)에서는, 입력 화상을 매크로블록 단위로 분할하여 출력하고, 후단에서 매크로블록의 처리가 끝날 때마다 다음 매크로블록을 출력한다. 변환 처리부(12)에서는, 입력된 매크로블록 화상에 대하여 처리를 행하고, 헤더 정보나 양자화된 계수 정보를 CABAC 처리부(13)에 출력한다. 구체적으로는, 파라미터 설정기(16)에 의하여, 매크로블록의 모드 정보, 움직임 벡터 정보, 양자화 파라미터 등의 헤더 정보를 설정하고, 그 값(기호)을 예측기(17), DCT 장치(18), 양자화기(19) 및 CABAC 처리부(13)에 출력한다. 여기서, 파라미터 설정기(16)는 매크로블록의 헤더 정보뿐만 아니라, 슬라이스나 픽처의 헤더 정보도 설정 및 출력하는 것을 가능하게 하기 때문에, 이들 정보를 총칭하여 헤더 정보라고 한다. 그리고, 예측기(17)에서는 움직임 보상이, DCT 장치(18)에서는 DCT 변환이, 양자화기(19)에서는 양자화 처리가, 각각 전단(former stage)으로부터의 입력 신호에 대하여, 파라미터 설정기(16)로부터의 입력 신호를 참조하여 적용된다.

CABAC 처리부(13)에는 헤더 정보와 양자화된 계수 정보가 기호 데이터로서 입력되고, 산술 부호화가 적용되어, 비트 데이터로서 출력된다. 구체적으로는, 입력된 기호 데이터를 이진화 장치(20)에 의해 이진 데이터 열로 변환하고, 그 이진 데이터를 컨텍스트 연산기(21)로부터의 컨텍스트 정보를 기초로 하여, CABAC 부호화기(22)에서 엔트로피 부호화(entropy-coded)한다. 컨텍스트 연산기(21)에서는 이진화 장치(20)에 입력되는 기호 데이터와, 이진화 장치(20)로부터 출력되는 이진 데이터를 기초로 하여 컨텍스트를 갱신하고, 또한 그 컨텍스트 정보를 CABAC 부호화부(22)에 출력한다.

제한 감시기(14)는, CABAC 부호화기(22)에 입력되는 이진 데이터의 개수의 카운터와 출력되는 비트 데이터의 개수의 카운터(비트 카운터(25))를 각각 독립적으로 구비하여, CABAC 부호화기(22)에 이진 데이터가 입력될 때마다 전자의 카운터를 1개씩 증가시키고, CABAC 부호화기(22)로부터 비트 데이터가 출력될 때마다 후자의 카운터를 1개씩 증가시킨다. 이 카운터는, 각각 매크로블록의 선두의 처리를 개시할 때마다 제로(O)로 리셋된다. 이에 의하면, 각 매크로블록에 있어서의 CABAC 부호화기(22)의 입력 데이터와 출력 데이터의 각각의 개수를 카운트하는 것이 가능해진다.

제한 감시기(14)에서는, 이들 카운터 중의 어느 한쪽에서라도, 미리 설정된 임계값을 초과하였을 경우, 그 부호화 데이터는 무효라는 것을 나타내는 신호(이하, '재부호화 신호'라 한다)를 출력 버퍼(15), 컨텍스트 연산기(21) 및 파라미터 설정기(16)에 출력한다. 이 재부호화 신호를 수신한 파라미터 설정기(16)는 임계값을 다시 초과하지 않도록 주의하여 부호화 파라미터를 다시 설정하고, 부호화 대상이 되는 매크로블록 데이터를 재부호화 처리한다. 또한, 컨텍스트 연산기(21)는 컨텍스트 메모리 그룹(23)을 포함하고, 이 컨텍스트 메모리 그룹(23)은 종래 기술인 도 11에 도시된 종래의 컨텍스트 메모리 그룹(135)과 마찬가지로, 부호화 처리 중에 수시로 갱신되는 컨텍스트와 리셋할 때 등에 이용되는 컨텍스트의 초기 상태가 보존되지만, 이와 함께 매크로블록을 데이터 처리하기 직전의 컨텍스트 상태로 보존하여 두는 것이 가능하다. 이에 의하면, 재부호화 신호를 수신한 컨텍스트 연산기(16)는 내부의 컨텍스트 상태를, 새롭게 부가된 메모리에 보존되어 있는 컨텍스트의 값에 재기입함으로써, 부호화 대상의 매크로블록의 데이터에 의해 갱신되기 직전의 컨텍스트 상태로 복원할 수 있다. 또, 재부호화 신호를 수신한 출력 버퍼(15)는 내부에 축적된 부호화 대상인 매크로블록의 비트 데이터를 모두 삭제하고, 새로운 부호화 파라미터로 부호화된 매크로블록 데이터의 입력을 기다린다. 또한, 대상이 되는 매크로블록의 부호화 처리를 완료하였을 때, 제한 감시기(14)의 어느 카운터도 미리 설정된 임계값을 초과하지 않았으면, 출력 버퍼(15) 내의 매크로블록의 비트 데이터를 비트 스트림으로 출력할 수 있다.

상기 설명한 도 1의 장치(10)에서, 제한 감시기(14)에 있는 카운터가 매크로블록의 선두에서 리셋되는 것은, 매크로블록 단위로 CABAC 부호화기(22)에 입력되는 이진 데이터와 출력되는 비트 데이터의 개수를 감시하여 제한하는 것을 의미하지만, 이 리셋의 타이밍을 매크로블록 내의 블록 단위로 설정하면, 각 블록 단위에서의 상기 데이터 개수를 감시하고 제한하는 것이 가능하게 된다. 마찬가지로, 슬라이스(slice) 단위로 리셋을 하면, 슬라이스 단위로 상기 데이터 개수를 감시하고 제한하는 것이 가능하게 되며, 픽처(picture) 단위로 리셋하면, 픽처 단위로 상기 데이터 개수를 감시하여 제한하는 것이 가능해진다. 또, 이러한 형태로 상기 데이터 개수를 감시 및 제한하는 부호화 단위를 변경하는 경우에는, 동시에 컨텍스트 연산기(21)에 있어서의 컨텍스트 메모리 그룹(23)에 그 부호화 단위의 직전의 컨텍스트 값이 보존되기 때문에, 컨텍스트 상태도 그 부호화 단위의 직전 상태로 복원된다. 또, 출력 버퍼(15)의 비트 데이터의 삭제도 부호화 단위로 행해지게 된다. 그리고, 이러한 복원 시에는, 컨텍스트 메모리 그룹(23)에 보존되어 있는 부호화 단위의 직전의 컨텍스트 값이 아니라, 컨텍스트 메모리 그룹(23)에 보존되어 있는 미리 정해진 초기값으로 복원하는 것도 가능하다.

여기까지 설명한 도 1의 장치(10)에서는, 제한 감시기(14)에 2개의 카운터가 설정되어 있지만, 이들 카운터로 설정하는 임계값은 각각 독립적인 값을 설정하는 것이 가능하며, 또 2개 중에서 한쪽에만 대응하는 데이터 카운트만을 감시하고, 다른 데이터 카운트는 무시할 수 있으며, 또는 카운터 자체를 가지지 않는 구성으로 하는 경우도 가능하다.

이 장치(10)에 의하여, 1회의 매크로블록 처리에서, CABAC 부호화기에 입력 및 출력되는 데이터량의 상한을 제한할 수 있으므로 요구된 매크로블록 1회의 처리 시간을 만족시키는 것이 가능하게 된다. 또, 요구된 처리 시간에 복호화 처리가 가능한 비트 스트림을 출력하는 것이 가능하게 된다.

이하의 설명을 위하여, 도 7은 도 1에 있어서의 변환 처리부(12)와 CABAC 처리부(13)를 표현하는 장치, 매크로블록 처리부(29)를 나타낸다. 이하의 기재에 있어서의 매크로블록 처리부(29)는 도 1에 있어서의 변환 처리부(12)와 CABAC 처리부(13)를 직렬로 연결한 장치로서, 동일한 처리를 수행하는 것으로 한다.

도 1에 나타낸 장치(10)에서는, 제한 감시기(14)가 재부호화 신호를 출력할 때마다, 변환 처리부(12)는 다시 새로운 부호화 파라미터를 설정하여 매크로블록의 부호화를 행하여야 하고, 다시 설정된 파라미터에 의해 얻어진 데이터에 의하여, 다시 제한 감시기(14)의 카운터가 임계값을 초과하는 것이 반복될 가능성도 있다. 그러므로, 1개의 매크로블록에 대하여 여러 번 부호화 처리를 연속적으로 적용하여야 하며, 그만큼 1 픽처의 부호화 시간이 많이 소요된다.

그러므로, 본 발명에 있어서의 화상 부호화 장치의 다른 실시예에서는, 대상이 되는 매크로블록에 대하여 상이한 부호화 파라미터를 적용하는 부호화를 병렬로 실시하는 예를 제2 실시예로서 도 2에 나타낸다.

도 2의 장치(30)에서는, 도 1의 장치(10)와 마찬가지로, 부호화하고자 하는 화상 신호가 입력되고, 부호화된 비트 스트림이 출력된다. 도 2의 장치(30)는 입력 버퍼(31)와, N개의 상이한 부호화 파라미터에 의한 N단의 병렬 부호화 처리를 가능하게 하는 매크로블록 처리부(32-1 ~ 32-N)와, 이에 대응하는 출력 버퍼(33-1 ~ 33-N)와, 제한 감시/경로 선택기(34)와, 스위치(35)에 의해 구성된다.

도 2의 장치(30)에서는, 부호화 대상이 되는 매크로블록에 대하여, N개의 상이한 부호화 파라미터를 설정하고, 각각의 부호화 파라미터에 의한 부호화 처리를 매크로블록 처리부(32-1 ~ 32-N)에서 병렬로 행하고, 그 출력을 출력 버퍼(33-1 ~ 33-N)에 축적한다.

제한 감시/경로 선택기(34)는 매크로블록 처리부(32-1 ~ 32-N) 각각에 대응하는 CABAC 부호화기에 대한 2개의 입출력 데이터 카운터(비트 카운터(36))를 구비하며, N단의 병렬 경로 중에서 카운터가 임계값을 초과하지 않고, 또한 부호화 효율이 가장 우수한 부호화 경로를 선택하며, 스위치(35)에 의해 출력하는 계통을 선택한다.

도 2의 장치(30)에 대한 그 외의 상세한 동작 및 부호화 단위 등의 변동은 도 1의 장치(10)와 동일한 것으로 한다.

이 장치(30)에 의하면, 부호화할 때에 CABAC 부호화기에 입력 및 출력되는 데이터량의 상한을 제한할 수 있으므로, 요구되는 부호화 처리 시간을 만족스럽게 하는 것이 가능하게 된다. 또, 요구된 처리 시간에 복호화 처리가 가능한 비트 스트림을 출력하는 것이 가능하게 된다.

다음에, 도 3에 본 발명에 있어서의 화상 부호화 장치의 다른 실시예를 나타낸다. 이 실시예는, 도 1의 실시예에 추가로, 비압축 부호화 데이터, 즉 입력된 매크로블록에 대하여, 압축하지 않는 순수 데이터를 그대로 부호화하는 경로를 가지고 있다.

도 3의 장치(40)와 도 1의 장치(10)의 차이는, 매크로블록 화상 데이터가 매크로블록 처리부(41)만이 아니라, 비압축 부호화부(43)에도 입력된다는 것이다. 비압축 부호화부(43)에서는 입력된 화상 정보에 대하여 모든 변환 처리와 엔트로피 부호화를 하지 않는 데이터, 즉 순수 데이터가 출력 버퍼(B44)에 출력된다. 제한 감시/경로 선택기(47)는, 도 1에 있어서의 제한 감시기(14)의 동작과 마찬가지로, 비트 카운터(49)에 의해 CABAC 부호화기의 입출력의 데이터량을 감시하고, 또한 감시하고 있는 데이터가 미리 설정되어 있는 임계값을 초과하였을 경우에는, 스위치(46)가 출력 버퍼(B44)로부터의 입력을 선택하여 출력하도록 한다. 반대로, 임계값을 초과하지 않은 경우에는, 출력 버퍼(A42)와 출력 버퍼(B44) 중 어느 쪽의 출력도 선택할 수 있다.

여기서, 제한 감시/경로 선택기(45)가 출력 버퍼(B44), 즉 순수 데이터를 선택한 경우에는, 이 선택이 매크로블록 처리부(41)에 있는 컨텍스트 연산기에도 통지되어, 컨텍스트 연산기 내의 컨텍스트 값이 컨텍스트 메모리 그룹에 보존된 매크로블록을 처리하기 직전의 컨텍스트의 값을 사용하여, 그 순수 데이터로서 처리된 매크로블록을 처리하기 직전 상태로 복원된다.

그리고, 매크로블록이 순수 데이터로서 처리되었을 경우의 컨텍스트의 복원 방법으로서, 미리 결정된 초기 상태에 복원하는 경우도 가능하다.

여기서, 매크로블록이 순수 데이터로서 부호화된 것인지 여부를 나타내기 위하여, 출력된 비트 스트림의 헤더 정보에는 이를 위한 데이터가 삽입된다.

순수 데이터가 부호화되었을 때는, CABAC 부호화부가 순수 데이터를 비트 스트림으로 출력하기 전에 CABAC의 종단 처리를 수행한다.

또, 비압축 부호화기(45)는 순수 데이터를 출력하는 비압축 처리 장치만이 아니라, DPCM 부호화 장치 등 다양한 압축 장치로 치환하는 것이 가능하다.

도 3의 장치(40)에 대하여, 그 외의 상세한 동작 및 부호화 단위 등의 변동은 도 1의 장치(10)와 동일한 것으로 한다.

이 장치(40)에 의하면, 부호화할 때에 CABAC 부호화기에 입력 및 출력되는 데이터량의 상한을 제한할 수 있으므로, 요구되는 부호화 처리 시간을 만족시키는 것이 가능하게 된다. 또, 요구된 처리 시간에 복호화 처리가 가능한 비트 스트림을 출력하는 것이 가능하게 된다.

다음에, 도 4는 본 발명에 있어서의 화상 부호화 장치의 다른 실시예의 장치(50)를 나타낸다. 이 실시예에서는, 도 2의 장치(30)에 추가로, 비압축 부호화 데이터, 즉 입력된 매크로블록에 대하여 압축하지 않은 순수 데이터를 그대로 부호화하는 경로를 가지고 있다.

도 4의 장치와 도 2의 장치의 공통 부분의 동작은, 도 1의 장치와 거의 동일하기 때문에, 차이점만을 구체적으로 나타내면, 매크로블록 화상 데이터가 매크로블록 처리부(51-1 ~ 51-N)만이 아니라, 비압축 부호화부(58)에도 입력된다. 비압축 부호화부(58)에서는 입력된 화상 정보에 대하여 모든 변환 처리와 엔트로피 부호화를 하지 않은 데이터, 즉 순수 데이터로서 출력 버퍼(B59)에 출력된다. 제한 감시/경로 선택기(53)는, 도 2에 있어서의 제한 감시/경로 선택기(34)와 마찬가지로, 비트 카운터(55)를 감시하고, 모든 경로(1~N)에 있어서의 비트 카운터(2개 중 임의의 하나)가 미리 설정되어 있는 임계값을 초과하였을 경우에, 신호 선택기(54)가 출력 버퍼(B59)로부터의 입력을 선택하여 출력하도록 한다. 반대로, 임계값을 초과하지 않은 경우에는, 출력 버퍼(A52-1 ~ 52-N)와 출력 버퍼(B59)의 어느 쪽의 출력도 선택할 수 있게 된다.

그리고, 출력 버퍼(B59)로부터의 순수 데이터가 신호 선택부(54)에서 선택되는 경우에는, 매크로블록 처리부(51-1 ~ 51-N)에 있는 컨텍스트 연산부의 컨텍스트 상태가, 컨텍스트 메모리 그룹에 기억된 매크로블록을 처리하기 직전의 컨텍스트 상태로 복원된다. 그리고, 이 복원 시에는, 도 1의 장치(10)에서도 설명했던 바와 같이, 미리 정해진 초기값으로 복원하는 것도 가능하다.

반대로, 출력 버퍼로부터 순수 데이터가 아닌, 출력 버퍼(A52-1 ~ 52-N) 중의 하나인 출력 버퍼(A52-1)가 신호 선택부(54)에서 선택되었을 경우에는, 매크로블록 처리부(51-1)의 컨텍스트 연산부의 컨텍스트 상태가 다른 매크로블록 처리부(51-1 ~ 51-N)에 있는 컨텍스트 연산부에 복제된다. 이것은, 나중에 매크로블록의 부호화를 시작할 때에 모든 컨텍스트 연산부의 컨텍스트 상태가 동일하여야 하기 때문이다. 비압축 부호화부(58)는 순수 데이터를 출력하는 비압축 처리 장치만이 아니라, DPCM 부호화 장치 등 다양한 압축 장치로 치환하는 것이 가능하다.

도 4의 장치(50)에 대한 그 외의 상세한 동작 및 부호화 단위 등의 변동은 도 1의 장치(10)와 동일한 것으로 한다.

이 장치(50)에 의하여, 부호화할 때에 CABAC 부호화기에 입력 및 출력되는 데이터량의 상한을 제한할 수 있으므로, 요구되는 부호화 처리 시간을 만족시키는 것이 가능하게 된다. 또, 요구된 처리 시간에 복호화 처리가 가능한 비트 스트림을 출력하는 것이 가능하게 된다.

다음에, 도 5는 도 8의 가역 부호화부(106)로서 CABAC가 아닌 CAVLC를 적용하는 장치(60)를 나타낸다. 이 장치(60)는 도 1의 장치(10)의 CABAC 처리부(13)를 CAVLC 처리기(63)로 치환한 것이며, CAVLC 처리기(63)와 제한 감시기(64) 외에는, 동일하기 때문에, 여기서는 CAVLC 처리기(63)와 제한 감시기(64)의 동작에 대해서만 설명을 한다.

CAVLC 처리기(63)에는, 헤더 정보와 양자화된 계수 정보가 기호 데이터로서 입력되고, 종래의 MPEG2 등과 유사한, 가변 길이 테이블을 사용하는 가변 길이 부호화가 적용되어 비트 데이터로서 출력된다. CAVLC 처리기(63)는 종래 기술의 도 12에서 설명한 CAVLC 부호화기와 컨텍스트 보존기로 이루어지고, 종래의 보존기와 마찬가지로, CAVLC 부호화기로 부호화된 정보, 예를 들면 처리 중의 블록뿐만이 아니라 이미 처리된 블록에 있어서의 각 블록 내의 비제로(non-zero) 계수의 개수나 직전에 부호화된 계수의 값 등이 보존되는 것에 더하여, 본 발명에 있어서의 CAVLC 처리기(63)에서, 재부호화 신호가 수신된 때에 매크로블록을 부호화하기 직전 상태로 복원될 수 있는 것처럼, 매크로블록을 부호화하기 직전의 컨텍스트 상태를 보존하는 것이 가능하다. CAVLC 부호화기는 이 컨텍스트 보존기로부터의 정보를 기초로, 기호에 적용하는 가변 길이 부호 테이블을 변경할 수 있다. 그리고, 컨텍스트 보존기에는 리셋할 때 등에 이용되는 컨텍스트의 초기 상태도 보존된다.

제한 감시기(64)는 CAVLC 처리기(63)로부터 출력되는 비트 데이터의 개수의 카운터(비트 카운터 75)를 1개 포함하기 때문에, CAVLC 처리기(63)로부터 비트 데이터가 출력될 때마다 카운터를 1개씩 증가시킨다. 이 카운터는 매크로블록의 선두의 처리를 개시할 때 제로(0)로 리셋된다. 이에 의하면, 각 매크로블록에 있어서의, CAVLC 처리기(63)로부터의 출력 데이터의 개수를 카운트하는 것이 가능해진다.

이 제한 감시기(64)에서는, 카운터(75)가 미리 설정된 임계값을 초과하였을 경우, 그 부호화 데이터가 무효라는 것을 나타내는 신호(이하, 재부호화 신호)를 출력 버퍼(65)와 파라미터 설정기(66)에 출력한다. 이 재부호화 신호를 수신한 파라미터 설정기(66)는 다시 이 임계값을 초과하지 않도록 주의하여 부호화 파라미터를 다시 설정하고, 부호화 대상이 되는 매크로블록 데이터를 재부호화 처리한다. 또, 재부호화 신호를 수신한 출력 버퍼(65)는 내부에 축적된 부호화 대상이 되는 매크로블록의 비트 데이터를 모두 삭제하고, 새로운 부호화 파라미터로 부호화된 매크로블록 데이터의 입력을 기다린다.

도 5의 장치(60)에 대한 그 외의 상세한 동작 및 부호화 단위 등의 변동은 도 1의 장치(10)와 동일한 것으로 한다.

이 장치(60)에 의하여, 1회의 매크로블록 처리에 있어서, CAVLC 부호화기로부터 출력되는 데이터량의 상한을 제한할 수 있으므로, 요구된 매크로블록 1회의 처리 시간을 만족시키는 것이 가능하게 된다. 또, 요구된 처리 시간에 복호화 처리가 가능한 비트 스트림을 출력하는 것이 가능하게 된다.

또, 도 1의 장치뿐만 아니라, 도 2 내지 도 4의 장치에 대하여도, CABAC 처리부를 CAVLC 처리부로 치환하는 것이 가능하며, 그 동작은 본 실시예에 대해 이하 설명하는 것과 동일한 것으로 한다. 단, CAVLC 처리기는 매크로블록이 순수 데이터로서 부호화되면, 그 매크로블록의 컨텍스트를 가질 수 없게 되므로, 그와 같은 경우를 위해 순수 데이터가 부호화되었을 때의 컨텍스트의 갱신의 방법을 정의해 둘 필요가 있다. 이 정의의 방법은 부호화 장치와 복호화 장치 사이에서 동기가 취해져 있으면 어떤 것이라도 된다. 예를 들면, 순수 데이터로서 부호화된 매크로블록 내의 블록에 존재하고 있는 비제로 계수의 개수는 15로 간주하는 등이다. 그 장치에 의하여, 부호화할 때에 CAVLC 부호화기로부터 출력되는 데이터량의 상한을 제한할 수 있으므로 요구된 부호화 처리 시간을 만족시키는 것이 가능하게 된다. 또, 요구된 처리 시간에 복호화 처리가 가능한 비트 스트림을 출력하는 것이 가능하게 된다.

다음에, 도 1 내지 도 4의 장치에 대응하는 본 발명에 있어서의 화상 정보 복호화 장치에 해당하는 장치(80)를, 도 6을 이용하여 나타낸다. 그리고, 도 1 및 도 2의 장치에 있어서는, 비압축 부호화부와 그 경로가 없기 때문에, 도 6의 장치( 80)에 있어서, 비압축 복호화부(88)로의 경로는 선택되지 않는다. 이것이 분명한 경우에는, 이러한 비압축 복호화부(88)로의 경로를 제공하지 않는 것도 가능하다. 도 6의 장치(80)에서는 복호화하고자 하는 비트 스트림이 입력되고, 복호화된 화상 신호가 출력된다. 도 6의 장치(80)는 경로 선택기(81, 85), 부호화 방식 판정기(84), 역변환 처리부(83), CABAC 처리부(82), 제한 감시기(86) 및 비압축 복호화기(88)에 의해 구성된다.

먼저, 각 매크로블록의 처리를 시작하면, 경로 선택기(81, 85)는 CABAC 처리부(82)의 경로를 선택한다. CABAC 처리부(82)에서는, 입력된 비트 스트림으로부터 매크로블록을 복호화하기 전에, 비트 스트림에 삽입된 매크로블록이 순수 데이터인지 여부를 나타내는 기호를 복호화하고, 부호화 방식 판정기(84)에서 순수 데이터인 것으로 판정된 경우, 경로 선택기(81, 85)는 비압축 복호화부(88)의 경로를 선택하며, 비압축 복호화부(88)로부터의 출력을 화상 신호로서 출력하게 된다. 비압축 복호화부(88)에서는 고정 길이 복호화를 실시하여 화상 데이터를 취득한다. 비압축 부호화부(88)가 선택된 경우에, CABAC 처리부(82)의 컨텍스트 연산부(92) 내의 컨텍스트 상태는 변경하지 않아도 되고, 미리 결정된 값으로 초기화해도 된다. 또한, 그 외의 규칙을 사용하여 변경해도 되며, 부호화 장치 측의 CABAC 처리부의 동작과 동기되어 있으면 된다. 또, 이 때, 동일 픽처 내의 다음 복호화되는 매크로블록의 복호화에 이용되는 예측기는 미리 결정된 값으로 설정된다. 예를 들면, 비압축 복호화된 매크로블록의 움직임 벡터는 제로(0)로 설정되고, 매크로블록 타입은 인트라 부호화로 설정된다. 이 예측기의 값도 부호화기 측과 동기되어 있으면 어떤 값을 설정해도 된다.

부호화 방식 판정기(84)에 의하여, 매크로블록 데이터가 CABAC 처리부(82)에 의해 처리되는 것으로 선택된 경우, 입력 비트 스트림은 CABAC 처리부(82)에 계속해서 입력된다.

CABAC 처리부(82)에서는, 입력 비트 스트림으로부터 헤더 정보와 양자화된 계수 정보가 기호 데이터로서 복호화되어 출력된다. 구체적으로는, 입력된 비트 스트림을, 컨텍스트 연산기(92)로부터의 컨텍스트 정보를 기초로 하여, CABAC 복호화기(90)에서 엔트로피 복호화하고, 거기서 출력된 이진 기호열을 역이진화 장치(91)에 의하여, 기호 데이터로 변환한다. 컨텍스트 연산기(92)에서는, 역이진화 장치(91)에 입력되는 이진 데이터와 역이진화 장치(91)로부터 출력되는 기호 데이터를 기초로 하여 컨텍스트를 갱신하고, 또한 컨텍스트 정보를 CABAC 복호화기(90)에 출력한다. 이 CABAC 처리부(88)의 동작은, '배경 기술'에서 설명한 JVT FCD 제9.2 절의 설명에 준거하는 것으로 한다.

역변환 처리부(83)에서는, 입력된 헤더 정보나 양자화된 계수 정보를 역양자화, 역DCT, 움직임 보상함으로써 화상 신호를 복호화하여 출력한다.

제한 감시기(86)는 CABAC 복호화기(90)에 입력되는 비트 데이터의 개수의 카운터와 출력된 이진 데이터의 개수의 카운터(비트 카운터(93))를 각각 독립적으로 가져, CABAC 복호화기(90)에 비트 데이터가 입력될 때마다 전자의 카운터를 1개씩 증가시키고, CABAC 복호화기(90)에서 이진 데이터가 출력될 때마다 후자의 카운터를 1개씩 증가시킨다. 이 카운터는 각각 매크로블록의 선두의 처리를 개시할 때에 제로(0)로 리셋된다. 이에 의하면, 각 매크로블록에 있어서의, CABAC 복호화기(90)에서의 입력 데이터와 출력 데이터의 각각의 개수를 카운트하는 것이 가능해진다.

제한 감시부(86)에서는, 이들 카운터 중의 어느 한쪽이 미리 설정된 임계값을 초과하였을 경우에, 에러 처리를 실행한다. 에러 처리로서는, 복호화 처리를 일단 중지하고, 다음 슬라이스 헤더나 픽처 헤더를 기다려서, 복호화 처리를 다시 개시하거나, 단순히 경고만을 발행하는 것만으로 복호화 처리는 계속 수행된다. 또, 에러 처리를 하지 않고, 복호화 처리를 계속 수행하는 경우도 가능하다.

장치(80)에 의하여, 복호화할 때에 CABAC 복호화기(90)에 입력 및 출력되는 데이터량을 감시할 수 있으므로, 상한을 넘는 데이터량이 입력 또는 출력되었다고 해도, 요구된 복호화 처리 시간을 만족시키도록 에러 처리 등을 하는 것이 가능하게 된다.

또, 장치(80)에는 반드시 제한 감시부(86)가 실장되어야 하는 것은 아니다. 그 경우에는, CABAC 부호화기(90)에 있어서 입출력되는 데이터량은 감시되지 않게 된다.

그리고, 장치(80)에서는 엔트로피 복호화로서 CABAC를 적용하는 경우의, 본 발명에 있어서의 화상 정보 복호화 장치의 실시예를 나타내고 있으나, 화상 부호화 장치의 실시예에도 나타낸 바와 같이, CABAC 처리부는 CAVLC 처리부로 치환 가능하다. 부호화 장치의 실시예에서 설명한 바와 같이, 실제의 처리에 대한 설명은, 장치가 매우 유사하기 때문에 생략한다. 즉, 부호화 장치와 마찬가지로, 매크로블록이 순수 데이터로 부호화된 때의 CAVLC의 컨텍스트의 갱신 방법을 미리 정의한다.

다음에, 본 발명에 있어서의 부호화된 비트 스트림의 실시예에 대하여 나타낸다. 여기까지의 설명에서 나타낸 바와 같이, 본 발명에서는 비트 스트림 내에 압축한 데이터에서도, 순수 데이터에서도 부호화할 수 있다. 이 때문에, 본 발명의 비트 스트림에서는, 매크로블록 헤더에 있어서, 그 매크로블록이 순수 데이터로서 부호화되어 있는지 그렇지 않은지를 명시적으로 나타낸 헤더 정보를 부가하고, 그 헤더 정보의 뒤에 순수 데이터 또는 압축된 비트 데이터 중 하나를 연결한다. 여기서, 순수 데이터로서 부호화되어 있는지 그렇지 않은지를 명시적으로 나타내기 위하여, 매크로블록 헤더 정보의 하나인 매크로블록 타입(macro block type)에 의해 명시한다. 반대로 말하면, 본 발명에 있어서의 비트 스트림은 상이한 부호화 방식에서 처리되는 매크로블록을 포함할 수 있다.

또 여기서는, 매크로블록의 헤더 정보로서 그 매크로블록의 부호화 방식을 지정하는 정보가 내장하고 있는 경우를 나타내고 있으나, 이 지정 정보를 슬라이스 헤더나 픽처 헤더에 삽입하면, 그들의 단위로 부호화 방식의 조합 및 지정을 행하는 것이 가능해진다.

본 발명에 있어서의 비트 스트림에는, 헤더 정보(예를 들면, 매크로블록 타입)가 CABAC 부호화되고, 이어서 순수 데이터(즉, 고정 길이 비트열)가 부호화되는 경우에, 순수 데이터를 부호화하기 전에, CABAC의 종단 처리를 행한 비트가 삽입된다.

또, 본 발명에 있어서의 비트 스트림은 CABAC로 부호화된 경우에, 지금까지의 실시예에서도 설명한 바와 같이, CABAC 부호화기 및 복호화기의 입력과 출력의 비트 카운터 중 어느 한쪽에서도 미리 설정된 임계값을 초과하지 않는 데이터에 의해 구성된다. 또, CAVLC로 부호화된 경우에는, CAVLC 부호화기의 출력 및 복호화기의 입력의 비트 카운터가, 미리 설정된 임계값을 초과하지 않는 데이터에 의해 구성된다. 이로부터, 본 발명에 있어서의 비트 스트림에 의하여, 화상 정보 부호화기 및 화상 정보 복호화기에 대하여, 어느 일정한 복호화 처리 시간을 보증하는 것을 가능하게 하고 있다.

본 발명에 있어서의, CABAC 부호화기 및 복호화기에 있어서의 입출력 데이터량을 제한하고 및 비압축 데이터를 부호화함으로써, 화상 정보 부호화 장치와 복호화 장치가 일정한 처리 시간을 보증하는 것이 가능해져, 그 결과 처리 시간을 보증하는 장치를 구현하는 것이 가능해진다. 또, CABAC가 아니고 CAVLC를 사용한 경우라도 마찬가지의 효과를 얻을 수 있다.

11: 입력 버퍼
12: 변환 처리부
13, 82: CABAC 처리부
14: 제한 검사기
15: 출력 버퍼
29: 매크로블록 처리부
45: 비압축 부호화기
63: CAVLC 처리기
64: 제한 감시기
88: 비압축 복호화부
90: CABAC 복호화기

Claims

화상 데이터를 부호화하는 부호화 장치에 있어서,
상기 화상 데이터를, 부호화 단위로, 컨텍스트를 이용한 산술(算術) 부호화 처리를 행하는 부호화 수단과,
상기 화상 데이터의 부호화 단위를 비압축 정보로서 출력하는 경우에, 상기 산술 부호화 처리의 종단(終端) 처리를 행하도록, 상기 부호화 수단을 제어하는 제어 수단
을 포함하는 부호화 장치.
제1항에 있어서,
상기 제어 수단은, 상기 비압축 정보의 부호화 단위의 직전의 컨텍스트값을 유지하도록 상기 부호화 수단을 제어하는, 부호화 장치.
제2항에 있어서,
상기 제어 수단은, 비압축의 화소 정보를 포함하는 부호화 단위의 다음에 산술 부호화 처리하는 부호화 단위에 대하여, 유지된 상기 컨텍스트값을 이용하여 산술 부호화 처리하도록, 상기 부호화 수단을 제어하는, 부호화 장치.
화상 데이터를 부호화하는 부호화 방법에 있어서,
상기 화상 데이터를, 부호화 단위로, 컨텍스트를 이용한 산술(算術) 부호화 처리를 행하는 부호화 단계와,
상기 화상 데이터의 부호화 단위를 비압축 정보로서 출력하는 경우에, 상기 산술 부호화 처리의 종단(終端) 처리를 행하도록, 상기 부호화 단계를 제어하는 제어 단계
를 포함하는 부호화 방법.