KR101103698B1

KR101103698B1 - 영상 부호화 장치 및 방법, 영상 부호화 프로그램 및 그 프로그램을 기록한 기록 매체

Info

Publication number: KR101103698B1
Application number: KR1020107000089A
Authority: KR
Inventors: 아츠시 시미즈; 야스유키 나카지마
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2007-07-17
Filing date: 2008-07-10
Publication date: 2012-01-11
Also published as: JPWO2009011279A1; BRPI0813491A2; WO2009011279A1; CN101743754B; TW200908752A; EP2169962A4; RU2009148766A; TWI386065B; BRPI0813491B1; RU2444857C2; EP2169962A1; CA2692782A1; CA2692782C; CN101743754A; US20110013693A1; US9271008B2; JP4987080B2; KR20100018033A

Abstract

부호화 대상 영역의 영상 신호와 그 예측 신호의 예측 오차 신호에 대해 직교 변환을 하고, 그 결과 얻어지는 직교 변환 계수를 사전에 설정한 양자화 스텝 사이즈로 양자화하여 부호화하는 영상 부호화 장치 및 방법이 제공된다. 상기 예측 오차 신호의 전력인 예측 오차 전력을 산출하고, 상기 산출한 예측 오차 전력과, 상기 설정 양자화 스텝 사이즈와, 부호화 대상 영역의 발생 부호량의 상한값을 입력으로 하여 상기 설정 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과하는지 여부를 판단하고 상기 판단 결과에 기초하여 부호화 처리를 변경한다.

Description

영상 부호화 장치 및 방법, 영상 부호화 프로그램 및 그 프로그램을 기록한 기록 매체{Video encoding device and method, video encoding program, and recording medium containing the program}

본 발명은, 부호화 대상 영역의 영상 신호와 그 예측 신호의 예측 오차 신호에 대해 직교 변환을 하고 그 결과 얻어지는 직교 변환 계수를 양자화 스텝 사이즈로 양자화하여 부호화하는 영상 부호화 장치 및 그 방법과, 그 영상 부호화 장치의 실현에 사용되는 영상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로서, 특히 2번의 부호화 처리나 2종류 이상의 부호화 모드에 대한 부호화 처리를 하지 않고, 나아가 발생 부호량의 계측 결과를 기다리지 않고 상한 부호화량을 초과하지 않는 부호화를 실현하는 영상 부호화 장치 및 그 방법과, 그 영상 부호화 장치의 실현에 사용되는 영상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.

본원은 2007년 7월 17일에 출원된 일본특원2007-185374호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

국제 부호화 표준인 H.264의 규격으로는 1매크로 블럭당 상한 부호량이 정해져 있다(예를 들면, 비특허문헌 1 참조).

앞으로 H.264를 실장하는 영상 부호화 장치에서는, 하나의 매크로 블럭의 발생 부호량이 이 상한 부호량에 들어가도록 부호화할 필요가 있다.

이것을 실현하려면 일단 부호화하여 발생 부호량을 계측하고, 그 발생 부호량이 상한값을 초과할 경우에는 다른 부호화 조건으로 재차 부호화하도록 할 필요가 있다.

그러나 이러한 방법을 사용하면, 부호화 조건을 바꿔 재차 부호화할 필요가 있기 때문에 연산량이나 처리 시간이 증가된다는 문제가 있다.

이것을 해결하는 한가지 방법으로서, 부호화 조건을 바꾼 2종류 이상의 부호화 모드에 대한 부호화 처리(직교 변환이나 양자화나 정보원 부호화 등)를 동시에 수행하도록 하고 그 중에서 발생 부호량이 상한값을 넘지 않는 부호화 결과의 것을 골라내는 방법을 사용하는 것을 생각할 수 있다.

그러나 이러한 방법을 사용하면, 부호화 조건을 바꾼 2종류 이상의 부호화 모드에 대한 부호화 처리를 동시에 해야 한다는 문제가 있는 것과 동시에, 발생 부호량이 상한값을 초과하지 않는 부호화 결과를 반드시 얻을 수 있는 것은 아니라는 문제가 있다.

그래서 H.264규격에서는 어떠한 입력 화상이든 상한값 이하의 비트수로 매크로 블럭을 확실히 부호화할 수 있도록 화소값을 그대로 비압축(양자화하지 않고)으로 전송하는 펄스 부호화 변조 모드(PCM모드)를 준비하도록 하였다.

이것을 이용하여 종래 기술에서는, 도 18에 도시한 것처럼 부호화 모드를 결정하여 부호화하고, 그에 기초하여 발생 부호량을 계측하여 그것이 상한값보다도 큰 경우에는 PCM모드에서 재차 부호화하도록 하였다.

한편, H.264로 채용되어 있는 산술 부호화 방식은, 종래의 부호화 테이블에 의한 부호화 방법과는 달리 순간적으로 부호량을 계측할 수 없는 특성이 있다.

따라서 다음 매크로 블럭의 처리가 개시된 후 상한 비트수를 초과한 것이 확인될 가능성이 있다. 이와 같은 일이 일어나면, 파이프 라인 처리(병렬 실행 처리)를 수행하는 경우에 처리 지연이 발생한다는 문제가 있다.

앞으로 매크로 블럭 단위의 파이프 라인 처리를 하는 하드웨어 실장시에 상한 비트수를 초과한 매크로 블럭의 입력 화상을 상술한 PCM모드에서 재차 부호화하려고 할 때, 입력 화상을 부호화의 최종단까지 저장하기 위해 추가 메모리가 필요하다는 문제가 있다.

그래서 매크로 블럭 단위의 파이프 라인 처리를 하는 하드웨어 실장시에 상한 비트수를 초과한 매크로 블럭에 대해서 그 입력 화상이 아닌 인코더 내의 로컬 복호 화상을 PCM모드에서 재차 부호화하는 기술이 제안되었다(예를 들면, 비특허문헌 2 참조).

비특허문헌 1: ITU-T Rec.H.264, "Advanced video coding for generic audio visual services", pp.249-256, 2003.

비특허문헌 2: 쵸노 게이이치, 센다 유우조, 미야모토 요시히로, 「로컬 복호 화상을 사용한 H.264 MB 상한 비트 준수 PCM부호화 방법」, pp.119-120, PCSJ2006.

상술한 것처럼, H.264를 실장하는 영상 부호화 장치에서는 하나의 매크로 블럭의 발생 부호량이 소정의 상한 부호량에 들어가도록 부호화할 필요가 있으며, 이것을 실현하는 방법으로서, 일단 부호화하여 발생 부호량을 계측하여 그 발생 부호량이 상한값을 초과할 경우에는 다른 부호화 조건으로 재차 부호화하도록 하는 방법이 있다.

그러나 이러한 방법을 사용하면, 부호화 조건을 바꿔 재차 부호화할 필요가 있기 때문에 연산량이나 처리 시간이 증가한다는 문제가 있다.

이것을 해결하는 한가지 방법으로서, 부호화 조건을 바꾼 2종류 이상의 부호화 모드에 대한 부호화 처리를 동시에 하도록 하고, 그 중에서 발생 부호량이 상한값을 초과하지 않는 부호화 결과의 것을 골라내는 방법을 사용하는 것을 생각할 수 있다.

그러나 이러한 방법을 사용하면, 부호화 조건을 바꾼 2종류 이상의 부호화 모드에 대한 부호화 처리를 동시에 하지 않으면 안된다는 문제가 있는 것과 동시에 발생 부호량이 상한값을 초과하지 않는 부호화 결과가 반드시 얻어진다고는 볼 수 없다는 문제가 있다.

그래서 종래 기술에서는, 상기 도 18에 도시한 것처럼, 부호화 모드를 결정하여 부호화하고 그에 기초하여 발생 부호량을 계측하여 그것이 상한값보다도 큰 경우에는 PCM모드에서 재차 부호화하도록 되어 있다.

그러나 이와 같은 종래 기술에서는, PCM모드에서 재차 부호화하는 것보다도 부호량의 발생을 억제할 수 있는 가능성이 있는데, 그것을 무시해버린다는 문제가 있다.

게다가 H.264에서 채용되고 있는 산술 부호화 방식으로는 순식간에 부호량을 계측할 수 없다는 특성이 있으며, 이 때문에 파이프 라인 처리를 하는 하드웨어 실장시에 처리 지연이 발생한다는 문제가 있다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 2번의 부호화 처리나 2종류 이상의 부호화 모드에 대한 부호화 처리를 하지 않고, 나아가 발생 부호량의 계측 결과를 기다리지 않고 상한 부호화량을 초과하지 않는 부호화를 실현하는 새로운 영상 부호화 기술의 제공을 목적으로 한다.

상기 목적을 달성하기 위해 본 발명의 영상 부호화 장치는, 부호화 대상 영역의 영상 신호와 그 예측 신호의 예측 오차 신호에 대해 직교 변환을 하고, 그 결과 얻어지는 직교 변환 계수를 소정의 양자화 스텝 사이즈로 양자화하여 부호화하는 구성을 채용할 때, (1)예측 오차 신호의 전력인 예측 오차 전력을 산출하는 산출 수단과, (2)산출 수단이 산출한 예측 오차 전력과, 사전에 설정한 부호화에 사용할 예정인 양자화 스텝 사이즈와, 부호화 대상 영역의 발생 부호량의 상한값을 입력으로 하여 부호화에 사용할 예정인 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과하는지 여부를 판단하는 판단 수단과, (3)판단 수단의 판단 결과에 기초하여 부호화 처리를 변경하는 변경 수단을 구비하고, 상기 판단 수단이, 발생 부호량의 상한값과 부호화에 사용할 예정인 양자화 스텝 사이즈에 기초하여 산출 수단이 산출한 예측 오차 전력의 허용 전력을 산출하고, 그 허용 전력과 산출 수단이 산출한 예측 오차 전력을 비교함으로써 부호화에 사용할 예정인 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과하는지 여부를 판단하도록 구성한다.

삭제

이상의 각 처리 수단은 컴퓨터 프로그램에서도 실현할 수 있는 것으로서, 이 컴퓨터 프로그램은, 적당한 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.

일반적으로 발생 부호량 G와 양자화 스텝 사이즈 Q 사이에,

G=X/Q 단, X는 입력 신호에 의존한 값

이라는 관계가 있다. 또 동일한 양자화 스텝 사이즈 Q에서, 발생 부호량 G와 입력 신호의 전력 D 사이에도 상관이 있다. 따라서 부호화에 사용하는 예측 모드 선택에서는, 예측 오차 전력을 최소로 하는 모드를 선택하게 된다.

이러한 관계이므로 입력 신호 전력과 양자화 스텝 사이즈로부터 대략의 발생 부호량을 추정할 수 있게 된다.

이 점에 착안하면, 부호화 대상이 되는 예측 오차 신호의 전력인 예측 오차 전력을 산출하고, 그 산출한 예측 오차 전력과 부호화에 사용할 예정인 양자화 스텝 사이즈에 기초하여 부호화에 사용할 예정인 양자화 스텝 사이즈로 양자화할 때 발생하는 부호량을 추정하고, 그 추정값과 발생 부호량의 상한값을 비교함으로써 부호화에 사용할 예정인 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과하는지 여부를 판단할 수 있다.

이 판단 처리에서는 발생 부호량을 직접 추정하도록 되어 있는데, 이 판단 처리는, 예측 오차 전력이 발생 부호량의 상한값으로부터 규정되는 허용 전력 범위에 들어가는지 여부를 판단하는 처리와 등가이다.

앞으로 본 발명의 영상 부호화 장치에서는 발생 부호량의 상한값과 부호화에 사용할 예정인 양자화 스텝 사이즈에 기초하여 예측 오차 전력의 허용 전력을 산출하고 그 허용 전력과 산출한 예측 오차 전력을 비교함으로써 부호화에 사용할 예정인 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과하는지 여부를 판단한다.

이러한 판단 처리에 필요한 발생 부호량의 추정값이나 예측 오차 전력의 허용 전력에 대해서는, 함수나 테이블을 사용함으로써 간단히 산출할 수 있다.

즉, 예측 오차 전력과 양자화 스텝 사이즈를 변수로 하고 발생 부호량을 함수값으로 하는 함수에 각각의 변수값을 대입함으로써 발생 부호량을 추정하거나, 예측 오차 전력과 양자화 스텝 사이즈와 발생 부호량의 데이터값의 관계에 대해서 기술하는 테이블을 참조함으로써 발생 부호량을 추정할 수 있다.

또 발생 부호량의 상한값과 양자화 스텝 사이즈를 변수로 하고 예측 오차 전력의 허용 전력을 함수값으로 하는 함수에 각각의 변수값을 대입함으로써 예측 오차 전력의 허용 전력을 산출하거나, 발생 부호량의 상한값과 양자화 스텝 사이즈와 예측 오차 전력의 허용 전력과의 데이터값의 관계에 대해서 기재한 테이블을 참조함으로써 예측 오차 전력의 허용 전력을 산출할 수 있다.

여기에서 부호화 모드(예측 모드)가 다르면 오버헤드 부호량 등이 바뀌기 때문에 이들 함수나 테이블은 정확하게는 부호화 모드에 의존하게 된다. 앞으로 이들 함수나 테이블을 부호화 모드마다 여러 개 준비하도록 하여 그들 중 부호화 대상 영역의 부호화 모드에 적합한 것으로 바꾸어 사용하도록 하는 것이 바람직하다.

이러한 판단 처리에 따라 부호화에 사용할 예정인 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과한다고 판단하면, 직교 변환 계수의 양자화값을 부호화하는 것이 아니라 영상 신호를 양자화하지 않고 부호화하거나, 혹은 예측 오차 전력과 발생 부호량의 상한값에 기초하여 산출되는, 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 구하여 부호화에 사용할 예정인 양자화 스텝 사이즈를, 그 구한 양자화 스텝 사이즈로 변경하도록 할 수 있다.

이 변경 처리에서 필요한 양자화 스텝 사이즈의 산출은, 상술한 발생 부호량의 추정에 사용한 함수의 역함수에 의해 실현되는 것으로서, 앞으로 이 경우에도 함수나 테이블을 사용함으로써 간단히 산출할 수 있다.

즉, 예측 오차 전력과 발생 부호량의 상한값을 변수로 하고 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 함수값으로 하는 함수에 각각의 변수값을 대입함으로써 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 산출할 수 있다.

또 예측 오차 전력과 발생 부호량의 상한값과 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈와의 데이터값의 관계에 대해서 기술하는 테이블을 참조함으로써 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 산출할 수 있다.

이상 설명한 것처럼 본 발명에 의하면, 부호화 대상 영역의 영상 신호와 그 예측 신호의 예측 오차 신호에 대해 직교 변환을 하고, 그 결과 얻어지는 직교 변환 계수를 양자화 스텝 사이즈로 양자화하여 부호화하는 구성을 채용할 때에 발생 부호량을 계측하지 않고 상한 부호화량을 초과하지 않는 부호화를 실현할 수 있도록 함으로써, 2번의 부호화 처리나 2종류 이상의 부호화 모드에 대한 부호화 처리를 하지 않고 상한 부호화량을 초과하지 않는 부호화를 실현할 수 있게 된다.

그리고 본 발명에 의하면, 발생 부호량의 계측 결과를 기다리지 않고 상한 부호화량을 초과하지 않는 부호화를 실현할 수 있도록 함으로써, 파이프 라인 처리를 하는 하드웨어에서 실장할 경우에 처리 지연이 발생하는 문제가 일어나지 않는다.

도 1은 본 발명의 영상 부호화 장치의 일실시형태예이다.
도 2는 동실시형태의, 부호량 추정부의 장치 구성의 일례를 도시한 도면이다.
도 3은 동실시형태의, 양자화 스텝 사이즈 산출부의 장치 구성도이다.
도 4는 동실시형태의 영상 부호화 장치가 실행하는 흐름도이다.
도 5a는 마찬가지로 본 영상 부호화 장치가 실행하는 흐름도이다.
도 5b는 마찬가지로 본 영상 부호화 장치가 실행하는 흐름도이다.
도 6은 동실시형태의 부호량 추정부의 장치 구성의 다른 일례를 도시한 도면이다.
도 7은 도 6의 구성인 경우에 본 영상 부호화 장치가 실행하는 흐름도이다.
도 8a는 마찬가지로 본 영상 부호화 장치가 실행하는 흐름도이다.
도 8b는 마찬가지로 본 영상 부호화 장치가 실행하는 흐름도이다.
도 9는 본 발명의 영상 부호화 장치의 다른 실시형태예이다.
도 10은 동실시형태의 영상 부호화 장치가 실행하는 흐름도이다.
도 11은 동실시형태의 영상 부호화 장치가 실행하는 다른 흐름도이다.
도 12는 발생 부호량 추정부의 장치 구성의 일례를 도시한 도면이다.
도 13은 발생 부호량 추정부의 장치 구성의 다른 예를 도시한 도면이다.
도 14는 허용 예측 오차 전력 산출부의 장치 구성의 일례를 도시한 도면이다.
도 15는 허용 예측 오차 전력 산출부의 장치 구성의 다른 예를 도시한 도면이다.
도 16은 양자화 스텝 사이즈 산출부의 장치 구성의 일례를 도시한 도면이다.
도 17은 양자화 스텝 사이즈 산출부의 장치 구성의 다른 예를 도시한 도면이다.
도 18은 종래 기술의 처리를 설명하는 흐름도이다.

이하, 실시형태에 따라서 본 발명을 상세히 설명하기로 한다.

도 1에, 본 발명의 일실시형태예로서의 영상 부호화 장치를 도시한다

도면 중, 10(점선으로 둘러싼 부분)은 H.264를 실장하는 H.264 영상 부호화 장치로서의 구성 부분, 20은 본 실시형태예를 실현하기 위해 마련되는 부호량 추정부, 21은 본 실시형태예를 실현하기 위해 마련되는 양자화 스텝 사이즈 산출부, 22는 본 실시형태예를 실현하기 위해 마련되는 전환 스위치이다.

H.264영상 부호화 장치 구성 부분(10)은, 종래의 H.264를 실장하는 영상 부호화 장치와 마찬가지로 움직임 검출부(100)와, 움직임 보상부(101)와, 프레임 메모리(102)와, 프레임간 예측 모드 결정부(103)와, 프레임내 예측 모드 결정부(104)와, 전환 스위치(105)와, 감산기(106)와, 직교 변환부(107)와, 양자화부(108)와, 양자화 제어부(109)와, 역양자화부(110)와, 역직교 변환부(111)와, 가산기(112)와, 루프 필터(113)와, 정보원 부호화부(114)를 구비하여, 감산기(106)에서 부호화 대상의 매크로 블럭의 영상 신호와 그 예측 신호의 예측 오차 신호를 생성하면, 직교 변환부(107)에서 그 생성한 예측 오차 신호에 대해 직교 변환을 하고, 양자화부(108)에서 양자화 제어부(109)가 설정한 양자화 스텝 사이즈에 따라 그 직교 변환에 의해 얻어지는 직교 변환 계수를 양자화하고, 정보원 부호화부(114)에서 그 양자화값을 엔트로피 부호화함으로써 영상 신호의 부호화 처리를 실행한다.

도 2에, 부호량 추정부(20)의 장치 구성의 일례를 도시한다.

부호량 추정부(20)는 매크로 블럭의 발생 부호량의 상한값(상한 부호량)과, 감산기(106)가 생성한 예측 오차 신호와, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈를 입력으로 하는 것으로서, 예측 오차 전력 산출부(200)와, 발생 부호량 추정부(201)와, 부호량 비교부(202)를 구비한다.

예측 오차 전력 산출부(200)는, 감산기(106)가 생성한 예측 오차 신호의 전력인 예측 오차 전력을 산출한다.

발생 부호량 추정부(201)는, 예측 오차 전력 산출부(200)가 산출한 예측 오차 전력과, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈에 기초하여 부호화 대상의 매크로 블럭을 그 양자화 스텝 사이즈로 양자화할 때 발생하는 부호량을 추정한다.

부호량 비교부(202)는, 발생 부호량 추정부(201)가 추정한 발생 부호량의 추정값과 매크로 블럭의 발생 부호량의 상한값(H.264로 정의된다)을 비교하여 발생 부호량 추정부(201)가 추정한 발생 부호량의 추정값이 매크로 블럭의 발생 부호량의 상한값보다도 큰 경우에는, 전환 스위치(22)에 대해 양자화부(108)에 부여하는 양자화 스텝 사이즈로서, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈에서 양자화 스텝 사이즈 산출부(21)가 산출한 양자화 스텝 사이즈로 바꿀 것을 지시한다. 이와는 반대로, 발생 부호량 추정부(201)가 추정한 발생 부호량의 추정값이 매크로 블럭의 발생 부호량의 상한값보다도 작은 경우에는, 전환 스위치(22)에 대해 양자화부(108)에 부여하는 양자화 스텝 사이즈로서, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈를 그대로 사용할 것을 지시한다.

도 3에, 양자화 스텝 사이즈 산출부(21)의 장치 구성의 일례를 도시한다.

양자화 스텝 사이즈 산출부(21)는 매크로 블럭의 발생 부호량의 상한값(상한 부호량)과, 감산기(106)가 생성한 예측 오차 신호를 입력으로 하는 것으로서, 예측 오차 전력 산출부(210)와, 최소 양자화 스텝 사이즈 산출부(211)를 구비한다.

예측 오차 전력 산출부(210)는 감산기(106)가 생성한 예측 오차 신호의 전력인 예측 오차 전력을 산출한다.

최소 양자화 스텝 사이즈 산출부(211)는 예측 오차 전력 산출부(200)가 산출한 예측 오차 전력과, 매크로 블럭의 발생 부호량의 상한값에 기초하여 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈(최소 양자화 스텝 사이즈)를 산출한다.

도 4 및 도 5에, 이와 같이 구성되는 본 실시형태의 영상 부호화 장치가 실행하는 흐름도를 도시한다.

다음으로 이러한 흐름도에 따라 본 실시형태의 영상 부호화 장치가 실행하는 처리에 대해서 상세히 설명하기로 한다.

본 실시형태의 영상 부호화 장치는, 도 4의 흐름도에 도시한 것처럼 우선 처음에 단계S10에서 부호화 모드를 결정하면, 계속해서 단계S11에서 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화할 때의 발생 부호량을 추정한다.

계속해서 단계S12에서, 발생 부호량의 추정값이 매크로 블럭의 발생 부호량의 상한값보다도 큰지 여부를 판단하여 크다고 판단할 때에는 단계S13으로 진행하여 양자화 스텝 사이즈를 변경한 후 단계S14에서 그 변경한 양자화 스텝 사이즈를 사용하여 부호화한다.

한편, 단계 S12의 판단 처리에서 발생 부호량의 추정값이 매크로 블럭의 발생 부호량의 상한값보다도 작다고 판단할 때에는, 단계 S13의 처리를 하지 않고 즉각 단계 S14로 진행하여 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화한다.

도 5a에, 단계 S11에서 수행하는 발생 부호량의 추정 처리의 흐름도를 도시하고, 도 5b에, 단계 S13에서 수행하는 양자화 스텝 사이즈의 변경 처리의 흐름도를 도시한다.

즉, 단계S11에서는, 도 5a의 흐름도에 도시한 것처럼, 우선 처음에 단계 S110에서 예측 오차 신호를 입력하여 예측 오차 전력을 산출하고, 이어지는 단계 S111에서 현재 설정되어 있는 양자화 스텝 사이즈를 입력하고, 이어지는 단계 S112에서 그 산출한 예측 오차 전력과 그 입력한 양자화 스텝 사이즈에 기초하여 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화할 때의 발생 부호량을 추정하는 것이다.

한편 단계 S13에서는, 도 5b의 흐름도에 도시한 것처럼, 우선 처음에 단계 S130에서 매크로 블럭의 발생 부호량의 상한값(상한 부호량)을 입력하고, 이어지는 단계 S131에서 예측 오차 신호를 입력하여 예측 오차 전력을 산출하고, 이어지는 단계 S132에서 입력한 발생 부호량의 상한값과 산출한 예측 오차 전력에 기초하여 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 산출하고, 이어지는 단계 S133에서 그 산출한 양자화 스텝 사이즈에 따라 부호화에 사용하는 양자화 스텝 사이즈를 변경하는 것이다.

이와 같이 하여 도 1에 도시한 본 실시형태의 영상 부호화 장치는, 발생 부호량과 양자화 스텝 사이즈간에 성립하는 관계에 기초하여 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화할 때의 발생 부호량을 추정하여, 그 추정값이 매크로 블럭의 발생 부호량의 상한값보다도 큰 경우에는, 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 산출하여 부호화에 사용하는 양자화 스텝 사이즈를 그와 같이 하여 산출한 양자화 스텝 사이즈로 변경하도록 처리하기 때문이다.

앞으로 본 실시형태의 영상 부호화 장치에 의하면, 2번의 부호화 처리나 2종류 이상의 부호화 모드에 대한 부호화 처리를 하지 않고, 또한 발생 부호량의 계측 결과를 기다리지 않고 발생 부호량의 상한값을 초과하지 않는 부호화를 실현할 수 있게 된다.

도 6에, 부호량 추정부(20)의 장치 구성의 다른 일례를 도시한다.

이 장치 구성에 따를 경우, 부호량 추정부(20)는 매크로 블럭의 발생 부호량의 상한값(상한 부호량)과, 감산기(106)가 생성한 예측 오차 신호와, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈를 입력으로 하여 예측 오차 전력 산출부(200)와 허용 예측 오차 전력 산출부(203)와 예측 오차 비교부(204)를 구비한다.

허용 예측 오차 전력 산출부(203)는, 매크로 블럭의 발생 부호량의 상한값과, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈에 기초하여 예측 오차 전력의 허용 전력(허용 예측 오차 전력)을 산출한다.

예측 오차 비교부(204)는, 예측 오차 전력 산출부(200)가 산출한 예측 오차 전력과, 허용 예측 오차 전력 산출부(203)가 산출한 허용 예측 오차 전력을 비교하여 예측 오차 전력 산출부(200)가 산출한 예측 오차 전력이 허용 예측 오차 전력 산출부(203)가 산출한 허용 예측 오차 전력보다도 큰 경우에는, 전환 스위치(22)에 대해 양자화부(108)에 부여하는 양자화 스텝 사이즈로서, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈에서 양자화 스텝 사이즈 산출부(21)가 산출한 양자화 스텝 사이즈로 바꿀 것을 지시한다. 이와는 반대로, 예측 오차 전력 산출부(200)가 산출한 예측 오차 전력이 허용 예측 오차 전력 산출부(203)가 산출한 허용 예측 오차 전력보다도 작은 경우에는, 전환 스위치(22)에 대해 양자화부(108)에 부여하는 양자화 스텝 사이즈로서, 양자화 제어부(109)가 설정한 양자화 스텝 사이즈를 그대로 사용할 것을 지시한다.

도 7 및 도 8에, 부호량 추정부(20)가 도 6에 도시한 구성을 채용하는 경우에 본 실시형태의 영상 부호화 장치가 실행하는 흐름도를 도시한다.

다음으로 이러한 흐름도에 따라 이 경우의 영상 부호화 장치가 실행하는 처리에 대해 상세히 설명하기로 한다.

즉, 본 실시형태의 영상 부호화 장치는, 부호량 추정부(20)가 도 6에 도시한 구성을 채용할 경우에는, 도 7의 흐름도에 도시한 것처럼, 우선 처음에 단계S20에서 부호화 모드를 결정하면, 계속해서 단계 S21에서 예측 오차 전력의 허용 전력이 되는 허용 예측 오차 전력을 산출한다.

계속해서 단계 S22에서 예측 오차 전력이 허용 예측 오차 전력보다도 큰지 여부를 판단하여 크다고 판단할 때에는, 단계S23로 진행하여 양자화 스텝 사이즈를 변경한 후 단계 S24에서 그 변경한 양자화 스텝 사이즈를 사용하여 부호화한다.

여기에서 도 7의 흐름도에는 기재되지 않았으나, 단계 S21에서 허용 예측 오차 전력을 산출할 때, 단계 S22의 처리에 필요한 예측 오차 전력에 관해서도 산출하도록 되어 있다.

한편, 단계 S22의 판단 처리에서 예측 오차 전력이 허용 예측 오차 전력보다도 작다고 판단할 때에는, 단계 S23의 처리를 하지 않고 즉각 단계 S24로 진행하여 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화한다.

도 8a에, 단계 S21에서 수행하는 허용 예측 오차 전력의 산출 처리의 흐름도를 도시하고, 도 8b에, 단계 S23에서 수행하는 양자화 스텝 사이즈의 변경 처리의 흐름도를 도시한다.

즉, 단계 S21에서는 도 8a의 흐름도에 도시한 것처럼, 우선 처음에 단계 S210에서 예측 오차 신호를 입력하여 예측 오차 전력을 산출하고, 이어지는 단계 S211에서 매크로 블럭의 발생 부호량의 상한값(상한 부호량)을 입력하고, 이어지는 단계 S212에서 현재 설정되어 있는 양자화 스텝 사이즈를 입력하고, 이어지는 단계 S213에서 그 입력한 발생 부호량의 상한값과 그 입력한 양자화 스텝 사이즈에 기초하여 허용 예측 오차 전력을 산출하는 것이다.

한편 단계 S23에서는, 도 8b의 흐름도에 도시한 것처럼 우선 처음에 단계 S230에서 매크로 블럭의 발생 부호량의 상한값(상한 부호량)을 입력하고, 이어지는 단계 S231에서 예측 오차 신호를 입력하여 예측 오차 전력을 산출하고, 이어지는 단계 S232에서 입력한 발생 부호량의 상한값과 산출한 예측 오차 전력에 기초하여 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 산출하고, 이어지는 단계 S233에서 그 산출한 양자화 스텝 사이즈에 따라 부호화에 사용하는 양자화 스텝 사이즈를 변경하는 것이다.

이와 같이 하여 도 1에 도시한 본 실시형태의 영상 부호화 장치는, 부호량 추정부(20)가 도 6에 도시한 구성을 채용하는 경우에는, 발생 부호량의 상한값과 양자화 스텝 사이즈로부터 도출되는 예측 오차 전력의 허용 전력에 기초하여 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화할 때의 발생 부호량이 그 상한값을 초과하게 되는지 여부를 판단하여 발생 부호량이 그 상한값을 초과하게 되는 경우에는, 그 상한값을 초과하지 않는 부호량의 발생을 실현하는 양자화 스텝 사이즈를 산출하여 부호화에 사용하는 양자화 스텝 사이즈를 그와 같이 하여 산출한 양자화 스텝 사이즈로 변경하도록 처리하는 것이다.

앞으로 본 실시형태의 영상 부호화 장치에 의하면, 2번의 부호화 처리나 2종류 이상의 부호화 모드에 대한 부호화 처리를 하지 않고, 나아가 발생 부호량의 계측 결과를 기다리지 않고 발생 부호량의 상한값을 초과하지 않는 부호화를 실현할 수 있게 된다.

도 9에, 본 발명의 영상 부호화 장치의 다른 실시형태예를 도시한다. 여기에서 도 1에 설명한 구성 요소와 동일한 구성 요소에 대해서는 동일한 기호로 표시하였다.

도면 중, 10(점선으로 둘러싼 부분)은 H.264를 실장하는 H.264 영상 부호화 장치로서의 구성 부분, 30은 본 실시형태예를 실현하기 위해 마련되는 부호량 추정부, 31은 본 실시형태예를 실현하기 위해 마련되는 PCM 부호화부, 32는 본 실시형태예를 실현하기 위해 마련되는 전환 스위치이다.

PCM 부호화부(31)는 영상 신호를 부호화 대상으로 하여 양자화하지 않고 PCM 부호화를 수행하고, 그 부호화 데이터를 전환 스위치(32)를 통해 정보원 부호화부(114)로 출력한다.

부호량 추정부(30)는, 도 1에 도시한 실시형태예에서 구비하는 부호량 추정부(20)와 동일한 기본 구성을 가지며 도 2의 구성을 채용하는 경우가 있는데, 도 2의 구성을 채용하는 경우에 발생 부호량의 추정값이 발생 부호량의 상한값보다도 큰 경우에는, 전환 스위치(32)에 대해 PCM 부호화부(31)의 출력 신호를 정보원 부호화부(114)에 부여하도록 지시하고, 이와는 반대로 발생 부호량의 추정값이 발생 부호량의 상한값보다도 작은 경우에는, 전환 스위치(32)에 대해 양자화부(108)의 출력 신호를 정보원 부호화부(114)에 부여하도록 지시한다.

즉, 부호량 추정부(30)가 도 2의 구성을 채용할 경우에는, 본 실시형태의 영상 부호화 장치는, 도 10의 흐름도에 도시한 것처럼 우선 처음에 단계 S30에서 부호화 모드를 결정하면, 계속해서 단계 S31에서 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화할 때의 발생 부호량을 추정한다. 계속해서 단계 S32에서 발생 부호량의 추정값이 발생 부호량의 상한값보다도 큰지 여부를 판단하여, 크다고 판단할 때에는 단계 S33으로 진행하여 PCM 부호화를 수행하고, 작다고 판단할 때에는 단계 S34로 진행하여 통상의 부호화를 수행한다.

또 부호량 추정부(30)는, 도 6의 구성을 채용할 수도 있으며, 도 6의 구성을 채용할 경우에 예측 오차 전력이 허용 예측 오차 전력보다도 큰 경우에는, 전환 스위치(32)에 대해 PCM 부호화부(31)의 출력 신호를 정보원 부호화부(114)에 부여하도록 지시하고, 이와는 반대로 예측 오차 전력이 허용 예측 오차 전력보다도 작은 경우에는 전환 스위치(32)에 대해 양자화부(108)의 출력 신호를 정보원 부호화부(114)에 부여하도록 지시한다.

즉, 부호량 추정부(30)가 도 6의 구성을 채용하는 경우에는, 본 실시형태의 영상 부호화 장치는, 도 11의 흐름도에 도시한 것처럼, 우선 처음에 단계 S40에서 부호화 모드를 결정하면, 계속해서 단계 S41에서 예측 오차 전력의 허용 전력이 되는 허용 예측 오차 전력을 산출한다. 계속해서 단계 S42에서 예측 오차 전력이 허용 예측 오차 전력보다도 큰지 여부를 판단하여, 크다고 판단할 때에는 단계 S43으로 진행하여 PCM 부호화를 수행하고, 작다고 판단할 때에는 단계 S44로 진행하여 통상의 부호화를 수행한다.

이와 같이 하여 도 9에 도시한 본 실시형태의 영상 부호화 장치는, 현재 설정되어 있는 양자화 스텝 사이즈를 사용하여 부호화할 때의 발생 부호량이 그 상한값을 초과하게 되는지 여부를 판단하여 발생 부호량이 그 상한값을 초과하게 되는 경우에는, 양자화를 수행하지 않고 PCM부호화를 수행하도록 처리하는 것이다.

도 2에 도시한 발생 부호량 추정부(201)나, 도 6에 도시한 허용 예측 오차 전력 산출부(203)나, 도 3에 도시한 최소 양자화 스텝 사이즈 산출부(211)는, 구체적으로는 함수나 룩업테이블로 실현할 수 있다.

여기에서 예측 모드(부호화 모드)가 다르면 오버헤드 부호량 등이 바뀌므로 이러한 함수나 테이블은 정확하게는 예측 모드에 의존하게 된다. 앞으로 이러한 함수나 테이블을 예측 모드마다 준비하도록 하여 그들 중 부호화 대상의 매크로 블럭의 예측 모드에 적합한 것을 선택하여 사용하도록 하는 것이 바람직하다.

즉, 도 12에 도시한 것처럼 도 2에 도시한 발생 부호량 추정부(201)가 여러 가지 예측 모드에 대응한 여러 개의 함수(함수1∼함수N)를 갖도록 구성하여 그 함수 중 부호화 대상의 매크로 블럭의 예측 모드에 적합한 것을 선택하여 사용하도록 하는 것이 바람직하다.

또 도 13에 도시한 것처럼, 도 2에 도시한 발생 부호량 추정부(201)가 여러 가지 예측 모드에 대응한 여러 개의 룩업테이블(LT1∼LTN)을 갖도록 구성하여 그 룩업테이블 중 부호화 대상의 매크로 블럭의 예측 모드에 적합한 것을 선택하여 사용하도록 하는 것이 바람직하다.

또 도 14에 도시한 것처럼, 도 6에 도시한 허용 예측 오차 전력 산출부(203)가 여러 가지 예측 모드에 대응한 여러 개의 함수(함수1∼함수N)를 갖도록 구성하여 그 함수 중 부호화 대상의 매크로 블럭의 예측 모드에 적합한 것을 선택하여 사용하도록 하는 것이 바람직하다.

또 도 15에 도시한 것처럼, 도 6에 도시한 허용 예측 오차 전력 산출부(203)가 여러 가지 예측 모드에 대응한 여러 개의 룩업테이블(LT1∼LTN)을 갖도록 구성하여 그 룩업테이블 중 부호화 대상의 매크로 블럭의 예측 모드에 적합한 것을 선택하여 사용하도록 하는 것이 바람직하다.

또 도 16에 도시한 것처럼, 도 3에 도시한 최소 양자화 스텝 사이즈 산출부(211)가 여러 가지 예측 모드에 대응한 여러 개의 함수(함수1∼함수N)을 갖도록 구성하여 그 함수 중 부호화 대상의 매크로 블럭의 예측 모드에 적합한 것을 선택하여 사용하도록 하는 것이 바람직하다.

또 도 17에 도시한 것처럼, 도 3에 도시한 최소 양자화 스텝 사이즈 산출부(211)가 여러 가지 예측 모드에 대응한 여러 개의 룩업테이블(LT1∼LTN)을 갖도록 구성하여 그 룩업테이블 중 부호화 대상의 매크로 블럭의 예측 모드에 적합한 것을 선택하여 사용하도록 하는 것이 바람직하다.

본 발명은, 부호화 대상 영역의 영상 신호와 그 예측 신호의 예측 오차 신호에 대해 직교 변환을 하고, 그 결과 얻어지는 직교 변환 계수를 양자화 스텝 사이즈로 양자화하여 부호화하는 구성을 채용하는 영상 부호화에 적용할 수 있는 것으로서, 2번의 부호화 처리나 2종류 이상의 부호화 모드에 대한 부호화 처리를 하지 않고 나아가 발생 부호량의 계측 결과를 기다리지 않고 상한 부호화량을 초과하지 않는 부호화를 실현할 수 있게 된다.

10 H.264 영상 부호화 장치 구성 부분
20 부호량 추정부
21 양자화 스텝 사이즈 산출부
22 전환 스위치
200 예측 오차 전력 산출부
201 발생 부호량 추정부
202 부호량 비교부
210 예측 오차 전력 산출부
211 최소 양자화 스텝 사이즈 산출부

Claims

부호화 대상 영역의 영상 신호와 그 예측 신호의 예측 오차 신호에 대해 직교 변환을 하고, 그 결과 얻어지는 직교 변환 계수를 사전에 설정한 양자화 스텝 사이즈로 양자화하여 부호화하는 영상 부호화 장치로서, 상기 예측 오차 신호의 전력인 예측 오차 전력을 산출하는 산출 수단,상기 산출 수단이 산출한 예측 오차 전력과, 상기 설정된 양자화 스텝 사이즈와, 부호화 대상 영역의 발생 부호량의 상한값을 입력으로 하여, 상기 설정된 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과하는지 여부를 판단하는 판단 수단,상기 판단 수단의 판단 결과에 기초하여 부호화 처리를 변경하는 변경 수단을 구비하고, 상기 판단 수단은, 상기 상한값과 상기 설정된 양자화 스텝 사이즈에 기초하여 상기 예측 오차 전력의 허용 전력을 산출하고 그 허용 전력과 상기 예측 오차 전력을 비교함으로써 상기 설정된 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 상기 상한값을 초과하는지 여부를 판단하는 것을 특징으로 하는 영상 부호화 장치.
삭제
삭제
삭제
삭제
제1항에 있어서, 상기 판단 수단은 상기 상한값과 상기 양자화 스텝 사이즈를 변수로 하고 상기 허용 전력을 함수값으로 하는 함수에 각각의 변수값을 대입함으로써 상기 예측 오차 전력의 허용 전력을 산출하는 것을 특징으로 하는 영상 부호화 장치.
제1항에 있어서, 상기 판단 수단은 상기 상한값과 상기 양자화 스텝 사이즈와 상기 허용 전력과의 데이터값의 관계에 대해서 기재하는 테이블을 참조함으로써 상기 예측 오차 전력의 허용 전력을 산출하는 것을 특징으로 하는 영상 부호화 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
부호화 대상 영역의 영상 신호와 그 예측 신호의 예측 오차 신호에 대해 직교 변환을 하고, 그 결과 얻어지는 직교 변환 계수를 사전에 설정한 양자화 스텝 사이즈로 양자화하여 부호화하는 영상 부호화 방법으로서, 상기 예측 오차 신호의 전력인 예측 오차 전력을 산출하는 과정과,상기 산출한 예측 오차 전력과, 상기 설정 양자화 스텝 사이즈와, 부호화 대상 영역의 발생 부호량의 상한값을 입력으로 하여, 상기 설정된 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 그 상한값을 초과하는지 여부를 판단하는 과정과,상기 판단 결과에 기초하여 부호화 처리를 변경하는 과정을 구비하고, 상기 판단하는 과정에서는, 상기 상한값과 상기 설정 양자화 스텝 사이즈에 기초하여 상기 예측 오차 전력의 허용 전력을 산출하고, 그 허용 전력과 상기 예측 오차 전력을 비교함으로써 상기 설정 양자화 스텝 사이즈로 양자화할 때 발생하게 되는 부호량이 상기 상한값을 초과하는지 여부를 판단하는 것을 특징으로 하는 영상 부호화 방법.
삭제
삭제
삭제
제16항에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.