KR101244611B1 - 부호화 방법, 부호화 장치, 및 부호화 처리의 프로그램을 기록하는 기록 매체 - Google Patents

Abstract

본 발명은, 예를 들면 비디오 카메라에 적용하여, 입력 화상 데이터(D1)로부터 예측되는 어림셈의 발생 부호량(ROUGH PRED(n))을 보정 계수(ADJUST(n))에 의해 보정하여 진정한 예측 부호량(TRUE PRED(n))을 계산하고, 이 진정한 예측 부호량(TRUE PRED(n))에 의거하여, 입력 화상 데이터(D1)를 부호화 처리하도록 하여, 실제의 발생 부호량(BIT(n))에 의해 대응하는 픽처 타입의 보정 계수(ADJUST(n))를 생성한다.

부호화 처리

Description

부호화 방법, 부호화 장치, 및 부호화 처리의 프로그램을 기록하는 기록 매체{ENCODING METHOD, ENCODING DEVICE, AND RECORDING MEDIUM HAVING THE PROCESSING PROGRAM FOR ENCODING RECORDED THEREIN}

본 발명은, 부호화 방법, 부호화 장치, 부호화 처리의 프로그램 및 부호화 처리의 프로그램을 기록하는 기록 매체에 관한 것으로, 예를 들면 비디오 카메라에 적용할 수 있다. 본 발명은, 입력 화상 데이터로부터 예측된 어림셈(槪算)의 발생 부호량을 보정 계수에 의해 보정하여 진정한 예측 부호량을 계산하고, 이 진정한 예측 부호량에 의거하여, 입력 화상 데이터를 부호화 처리하도록 하여, 실제의 발생 부호량에 의해 대응하는 픽처 타입의 보정 계수를 설정함에 의해, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당할 수 있도록 한다.

종래, 움직임 보상 예측 부호화에서는, VBR(Variable Bit Rate), CBR(Constant Bit Rate)에 의한 부호화 제어가 널리 알려져 있다. 여기서 VBR에 의한 부호화 제어는, 미리 설정되는 고정된 양자화 스케일로 동화상을 부호화하는 방식이다. 이에 대해 CBR에 의한 부호화 제어는, 발생 부호량이 소정의 목표치가 되 도록, 양자화 스케일을 가변하여 부호화 제어하는 방식이다.

VBR에 의한 부호화 제어는, 처리 대상에 따라 발생 부호량이 여러가지로 변화하고, 이로써 기록 매체에 동화(動畵)를 기록한 경우에는, 기록 가능한 시간을 보증할 수 없는 결점이 있다. 이 때문에 동화의 기록 등에서는, 주로 CBR에 의한 부호화 제어에 의해 기록 시간을 보증하고 있다.

그러나 CBR에 의한 부호화 제어는, 부호화가 용이한 픽처를 불필요하게 고화질로 부호화 처리하는 경우가 있고, 이로써 부호화 효율의 점에서 실용상, 아직도 불충분한 결점이 있다. 이 때문에 예를 들면 일본 특개2001-28753호 공보에는, VBR에 의한 부호화 제어와 CBR에 의한 부호화 제어를 전환하여 부호화 처리함에 의해, 부호화 효율을 향상하는 방법이 제안되어 있다.

또한 CBR에 의한 부호화 제어는, 고정된 양자화 스케일에 의해 임시의 부호화 처리를 실행하여 발생 부호량을 계측하고, 이 계측 결과에 의해 양자화 스케일을 가변하여 실제의 부호화 처리를 실행하는 이른바 2패스 방식과, 발생 부호량을 예측하면서 리얼타임으로 양자화 스케일을 가변하는 이른바 1패스 방식이 있다. 1패스 방식은, 2패스 방식에 비하여 연산량이 거의 1/2이고, 또한 리얼타임으로 동화를 처리할 수 있는 특징이 있고, 이로써 각종의 기록 장치에서 채용되고 있다.

그러나 1패스 방식에서는, 각 픽처에 적절하게 부호량을 할당하여 고화질에 의해 동화를 부호화하는 점에서, 실용상, 아직도 불충분한 문제가 있다.

즉 1패스 방식에서는, 발생 부호량에 따른 피드백 제어에 의해 양자화 스케일을 가변하고 있고, 이로써 하나의 픽처를 부호화한 후가 아니면, 압축률을 조정 할 수 없다. 이로써 화질의 변화에 대해 추종성 좋게 양자화 스케일을 가변하는 것이 곤란한 결점이 있고, 픽처마다 부호량을 본 때에, 반드시 적절하게 부호량을 할당하기가 곤란한 문제가 있다.

이 문제를 해결하는 하나의 방법으로서, 예를 들면 고주파 성분 등의 부호화 처리의 곤란도를 나타내는 특징량을 픽처마다 검출하고, 이 검출 결과를 기준으로 한 피드 포워드 제어에 의해 양자화 스케일을 제어하는 방법도 여러가지로 제안되어 있다. 그러나 이 방법의 경우, 예를 들면 MPEG2 등의 부호화 처리에서는, 대강 각 픽처에 적절하게 부호량을 할당할 수 있다.

그러나 이런 종류의 부호화 방법에는, H.264/AVC(Advanced Video Coding), MPEG(Moving Picture Experts Group)4와 같이 많은 예측 모드로부터 최적의 예측 모드를 선택하여 부호화 처리한 방법도 있고, 이와 같은 부호화 방식에서는, 특징량과 발생 부호량은, 상관이 현저하게 저하된다. 이로써 이와 같은 다수의 예측 모드가 존재하는 부호화 처리에서는, 이 방법으로도, 적절하게 부호량을 할당하는 것이 곤란해지는 문제가 있다.

본 발명은 이상의 점을 고려하여 이루어진 것으로, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당할 수 있는 부호화 방법, 부호화 장치, 부호화 처리의 프로그램 및 부호화 처리의 프로그램을 기록하는 기록 매체를 제안하려고 하는 것이다.

이러한 과제를 해결하기 위해 본 발명은, 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처의 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 방법에 적용하여, 상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측의 스텝과, 상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측의 스텝과, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화의 스텝과, 상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 설정하는 계수 설정의 스텝을 갖도록 한다.

본 발명의 구성에 의해, 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처의 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 방법에 적용하여, 상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측의 스텝과, 상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측의 스텝과, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화의 스텝과, 상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 생성하는 계수 설정의 스텝을 갖도록 하면, 다수의 예측 모드가 존재하는 경우에 있어서, 어림셈의 예측 부호량에 의해서는 발생 부호량을 정확하게 예측할 수 없는 경우에도, 보정 계수에 의해 얻어지는 진정한 예측 부호량에 의해 발생 부호량을 실용상 충분한 정밀도로 구할 수 있다. 이로써 이와 같은 정밀도가 높은 진정한 예측 부호량을 이용함에 의해, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당할 수 있다.

또한 본 발명은, 청구의 범위 제 1항의 구성에 있어서, 상기 부호화의 스텝은, 적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 상기 입력 화상 데이터를 부호화 처리하고, 상기 어림셈의 부호량 예측의 스텝은, 상기 고정된 양자화 스케일에 의한 상기 부호화 데이터의 실제의 발생 부호량을 기준으로 하여, 상기 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 상기 특징량의 비율에 의해, 상기 부호화 대상의 픽처에 관해 상기 어림셈의 예측 부호량을 계산하고, 상기 부호화 방법은, 유저에 의한 조작에 응동(應動)하여 상기 고정된 양자화 스케일을 전환함에 의해, 상기 부호화 데이터의 평균 발생 부호량을 전환한다.

이로써 본 발명의 구성에 의하면, 이와 같이 정밀도가 높은 진정한 예측 부호량을 검출 가능한 청구의 범위 제 1항의 구성을 전제로, 상기 부호화의 스텝은, 적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 상기 입력 화상 데이터를 부호화 처리하고, 상기 어림셈의 부호량 예측의 스텝은, 상기 고정된 양자화 스케일에 의한 상기 부호화 데이터의 실제의 발생 부호량을 기준으로 하여, 상기 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 상기 특징량의 비율에 의해, 상기 부호화 대상의 픽처에 관해 상기 어림셈의 예측 부호량을 계산하면, 이 고정된 양자화 스케일에 의한 발생 부호량을 기준으로 하여, 각 픽처의 발생 부호량을 예측하여 부호화 처리하는 것으로 된다. 이로써 이 고정된 양자화 스케일에서는, 부호화 데이터에서의 발생 부호량의 설정 기준으로 할 수 있다. 이로써 상기 부호화 방법은, 유저에 의한 조작에 응동하여 상기 고정된 양자화 스케일을 전환함에 의해, 상기 부호화 데이터의 평균 발생 부호량을 전환함에 의해, 발생 부호량의 평균 레이트를 간이하게 설정할 수 있다.

또한 본 발명은, 청구의 범위 제 1항의 구성에 있어서, 상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝과, 상기 진정한 예측 부호량을 보정하는 보정의 스텝을 가지며, 상기 부호화의 스텝은, 상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리함에 의해, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하고, 상기 보정의 스텝은, 상기 양자화 스케일을 일정 기준의 양자화 스케일로 설정하였다고 한 경우에 예측되는 발생 부호량에, 상기 진정한 예측 부호량을 보정한다.

이로써 본 발명의 구성에 의하면, 이와 같이 정밀도가 높은 진정한 예측 부호량을 검출 가능한 청구의 범위 제 1항의 구성을 전제로, 상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝과, 상기 진정한 목표 부호량을 보정하는 보정의 스텝을 가지며, 상기 부호화의 스텝은, 상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리함에 의해, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하고, 상기 보정의 스텝은, 상기 양자화 스케일을 일정 기준의 양자화 스케일로 설정하였다고 한 경우에 예측되는 발생 부호량에, 상기 진정한 발생 부호량을 보정함에 의해, 예를 들면 CBR에 의해 진정한 예측 부호량으로부터 목표 부호량을 설정하여 부호화 처리하는 경우에도, 일정 기준의 양자화 스케일에 의한 부호화 처리를 기준으로 하여 발생 부호량을 예측할 수 있고, 이로써 또한 한층 더 발생 부호량의 예측 정밀도를 향상할 수 있고, 그만큼, 한층 더 정밀도 좋게 각 픽처에 적절하게 부호량을 할당할 수 있다.

또한 본 발명은, 청구의 범위 제 8항의 구성에 있어서, 상기 부호화의 스텝은, 적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 상기 입력 화상 데이터를 부호화 처리하고, 상기 어림셈의 부호량 예측의 스텝은, 상기 고정된 양자화 스케일에 의한 상기 부호화 데이터의 실제의 발생 부호량을 기준으로 하여, 상기 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 상기 특징량의 비율에 의해, 상기 부호화 대상의 픽처에 관해 상기 어림셈의 예측 부호량을 계산하고, 상기 부호화 방법은, 유저에 의한 조작에 응동하여 상기 고정된 양자화 스케일을 전환함에 의해, 상기 부호화 데이터의 평균 발생 부호량을 전환한다.

이로써 본 발명의 구성에 의하면, 이와 같이 정밀도가 높은 진정한 예측 부호량을 검출 가능한 청구의 범위 제 8항의 구성을 전제로, 상기 부호화의 스텝은, 적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 상기 입력 화상 데이터를 부호화 처리하고, 상기 어림셈의 부호량 예측의 스텝은, 상기 고정된 양자화 스케일에 의한 상기 부호화 데이터의 실제의 발생 부호량을 기준으로 하여, 상기 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 상기 특징량의 비율에 의해, 상기 부호화 대상의 픽처에 관해 상기 어림셈의 예측 부호량을 계산하면, 이 고정된 양자화 스케일에 의한 발생 부호량을 기준으로 하여, 각 픽처의 발생 부호량을 예측하여 부호화 처리하는 것으로 된다. 이로써 이 고정된 양자화 스케일에서는, 부호화 데이터에서의 발생 부호량의 설정 기준으로 할 수 있다. 이로써 상기 부호화 방법은, 유저에 의한 조작에 응동하여 상기 고정된 양자화 스케일을 전환함에 의해, 상기 부호화 데이터의 평균 발생 부호량을 전환함에 의해, 발생 부호량의 평균 레이트를 간이하게 설정할 수 있다.

또한 본 발명은, 청구의 범위 제 1항의 구성에 있어서, 상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며, 상기 부호화의 스텝은, 상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리하고, 상기 어림셈의 부호량 예측의 스텝은, 부호화 처리에 제공하는 픽처를 다른 픽처 타입에 의해 부호화 처리한 경우의, 다른 픽처 타입에 의한 상기 어림셈의 예측 부호량을 아울러서 구하고, 상기 진정한 부호량 예측의 스텝은, 상기 어림셈의 예측 부호량으로부터, 다른 픽처 타입에 의한 진정한 예측 부호량을 아울러서 구하고, 상기 목표 부호량 설정의 스텝은, 대응하는 픽처 타입에 의한 상기 진정한 예측 부호량과, 상기 다른 픽처 타입에 의한 진정한 예측 부호량에 의해, 할당 가능한 부호량을 배분하여, 상기 목표 부호량을 설정한다.

이로써 본 발명의 구성에 의하면, 이와 같이 정밀도가 높은 진정한 예측 부호량을 검출 가능한 청구의 범위 제 1항의 구성을 전제로, 상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며, 상기 부호화의 스텝은, 상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리하고, 상기 어림셈의 부호량 예측의 스텝은, 부호화 처리에 제공하는 픽처를 다른 픽처 타입에 의해 부호화 처리한 경우의, 다른 픽처 타입에 의한 상기 어림셈의 예측 부호량을 아울러서 구하고, 상기 진정한 부호량 예측의 스텝은, 상기 어림셈의 예측 부호량으로부터, 다른 픽처 타입에 의한 진정한 예측 부호량을 아울러서 구하고, 상기 목표 부호량 설정의 스텝은, 대응하는 픽처 타입에 의한 상기 진정한 예측 부호량과, 상기 다른 픽처 타입에 의한 진정한 예측 부호량에 의해, 할당 가능한 부호량을 배분하여, 상기 목표 부호량을 설정하면, 각 픽처에서의 부호화의 곤란도가 서서히 변화하고 있는 경우에도, 이 변화에 대응하여 각 픽처에 할당하는 부호량을 설정할 수 있고, 이로써 한층 더 적절하게 각 픽처에 부호량을 할당할 수 있다.

또한 본 발명은, 청구의 범위 제 1항의 구성에 있어서, 상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며, 상기 부호화의 스텝은, 상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리하고, 상기 목표 부호량 설정의 스텝은, 상기 진정한 예측 부호량이, 화질 개선용의 기준치보다 큰 일정치보다 작은 경우, 상기 진정한 예측 부호량을 상기 목표 부호량으로 설정함에 의해, VBR에 의해 상기 부호화 데이터를 생성하도록 설정함과 함께, 상기 진정한 예측 부호량이, 상기 일정치보다 큰 경우, 상기 일정치에 대응하는 부호량을 상기 목표 부호량으로 설정함에 의해, CBR에 의해 상기 부호화 데이터를 생성하도록 설정하여, 상기 진정한 예측 부호량이, 상기 화질 개선용의 기준치보다 작은 경우, 상기 진정한 예측 부호량이 저하함에 따라 증대하는 계수에 의해, 상기 진정한 예측 부호량을 증대시켜서 목표 부호량으로 설정한다.

이로써 본 발명의 구성에 의하면, 이와 같이 정밀도가 높은 진정한 예측 부호량을 검출 가능한 청구의 범위 제 1항의 구성을 전제로, 상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며, 상기 부호화의 스텝은, 상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리하고, 상기 목표 부호량 설정의 스텝은, 상기 진정한 예측 부호량이, 화질 개선용의 기준치보다 큰 일정치보다 작은 경우, 상기 진정한 예측 부호량을 상기 목표 부호량으로 설정함에 의해, VBR에 의해 상기 부호화 데이터를 생성하도록 설정함과 함께, 상기 진정한 예측 부호량이, 상기 일정치보다 큰 경우, 상기 일정치에 대응하는 부호량을 상기 목표 부호량으로 설정함에 의해, CBR에 의해 상기 부호화 데이터를 생성하도록 설정하여, 상기 진정한 예측 부호량이, 상기 화질 개선용의 기준치보다 작은 경우, 상기 진정한 예측 부호량이 저하함에 따라 증대하는 계수에 의해, 상기 진정한 예측 부호량을 증대시켜서 목표 부호량으로 설정하면, 발생 부호량이 적은 부호화 처리의 간이한 화상에 관해서는, 부호량의 할당을 증대시켜서 부호화 처리할 수 있다. 그러나 이와 같은 화상에서는, 비교적 화질 열화가 눈에 띄기 쉬운 특징이 있다. 이로써 화질을 향상할 수 있다.

또한 본 발명은, 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처마다 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 장치에 적용하여, 상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측 수단과, 상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측 수단과, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화 수단과, 상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 설정하는 계수 설정 수단을 구비하도록 한다.

이로써 본 발명의 구성에 의하면, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당할 수 있는 부호화 장치를 제공할 수 있다.

또한 본 발명은, 연산 처리 수단에 의해 실행함에 의해, 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처의 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 처리의 프로그램에 적용하여, 상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측의 스텝과, 상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측의 스텝과, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화의 스텝과, 상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 설정하는 계수 설정의 스텝을 갖도록 한다.

이로써 본 발명의 구성에 의하면, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당할 수 있는 부호화 처리의 프로그램을 제공할 수 있다.

또한 본 발명은, 연산 처리 수단에 의해 실행함에 의해, 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처의 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 처리의 프로그램을 기록하는 기록 매체에 적용하여, 상기 부호화 처리의 프로그램은, 상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측의 스텝과, 상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측의 스텝과, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화의 스텝과, 상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 설정하는 계수 설정의 스텝을 갖도록 한다.

이로써 본 발명의 구성에 의하면, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당할 수 있는 부호화 처리의 프로그램을 기록하는 기록 매체를 제공할 수 있다.

본 발명에 의하면, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당할 수 있다.

도 1은 본 발명의 실시예에 관한 디지털 비디오 카메라를 도시하는 블록도.

도 2는 도 1의 디지털 비디오 카메라에 적용되는 인코더의 특성을 도시하는 특성곡선도.

도 3은 도 1의 디지털 비디오 카메라에 적용되는 인코더를 도시하는 블록도.

도 4는 도 3의 인코더의 일부 구성을 도시하는 블록도.

도 5는 도 3의 인코더에 의한 발생 부호량을 도시하는 특성곡선도.

도 6은 도 3의 인코더에 의한 발생 부호량의 맥동을 도시하는 특성곡선도.

도 7은 도 3의 인코더에 의한 발생 부호량의 변화를 도시하는 특성곡선도.

도 8은 도 3의 인코더에 의한 VBR과 CBR과의 처리의 전환에 의한 발생 부호량의 변화를 도시하는 특성곡선도.

도 9는 도 3의 인코더에서의 동작 모드의 전환의 설명에 제공하는 특성곡선도.

도 10은 본 발명의 실시예 2에 관한 퍼스널 컴퓨터를 도시하는 블록도.

도 11은 도 10의 퍼스널 컴퓨터에서의 중앙 처리 유닛의 처리 순서를 도시하는 플로우 차트.

도 12는 도 11의 플로우 차트에서의 일부 처리 순서를 상세히 도시하는 플로우 차트.

도 13은 본 발명의 실시예 3에 관한 인코더를 도시하는 블록도.

도 14는 도 13의 인코더의 일부 구성을 도시하는 블록도.

(도면의 주요부분에 대한 부호의 설명)

1 : 디지털 비디오 카메라 2, 66 : 기록 매체

3 : 카메라부 4, 9 : 드라이버

5 : 제어부 6 : 광학 블록

7 : 고체 촬상 소자 8 : 타이밍 생성부

10 : 전처리 회로 11, 41 : 인트라 예측 회로

12 : 인터 예측 회로 13 : AF/AE/AWB부

14, 74 : 인코더 15 : 디코더

16 : SDRAM 컨트롤러 17 : SDRAM

21 : 매체 인터페이스 22 : 외부 인터페이스

23 : 액정 표시 장치 24 : LCD 컨트롤러

25, 70 : 랜덤 액세스 메모리 26, 69 : 중앙 처리 유닛

27 : 플래시 R0M 29 : 조작부

31, 83 : 부호화 제어 회로 32, 42, 45, 75 : 감산 회로

33 : 모드 판정 회로 34, 76 : 디스크리트 코사인 변환 회로

35, 77 : 양자화 회로 36, 78 : 가역 부호화 회로

37, 79 : 역양자화 회로 38, 80 : 역디스크리트 코사인 변환 회로

39 : 디블록 필터 40, 43, 82 : 프레임 메모리

44 : 간이 인터 예측 회로 46, 85 : 발생 부호량 예측 회로

47, 86 : 목표 부호량 결정 회로 60 : 퍼스널 컴퓨터

61 : 입출력 인터페이스 62 : 입력부

63 : 출력부 64 : 기억부

65 : 통신부 67 : 드라이브

68 : 리드 온리 메모리 81 : 가산 회로

84 : 디피컬티 검출 회로 121 : 카메라 DSP

BUS : 버스

이하, 적절히 도면을 참조하면서 본 발명의 실시예를 상세히 기술한다.

(1) 실시예 1의 구성

도 1은, 본 발명의 실시예에 관한 디지털 비디오 카메라를 도시하는 블록도이다. 이 디지털 비디오 카메라(1)는, 소망하는 피사체에 의한 촬상 결과를 부호화 처리하여 기록 매체(2)에 기록한다. 이 때문에 이 디지털 비디오 카메라(1)에서, 카메라부(3)는, 촬상 결과를 취득하여 화상 데이터를 출력한다.

즉 카메라부(3)에서, 드라이버(4)는, 제어부(5)의 제어에 의해 광학 블록(6)의 조리개, 포커스 렌즈, 줌 렌즈를 구동하고, 광학 블록(6)은, 이 드라이버(4)에 의한 구동의 조건에 의해 입사광을 집광하여 계속되는 CCD 고체 촬상 소자(CCD : Charge Coupled Device)(7)의 촬상면에 광학상을 형성한다. 타이밍 생성부(8)는, 제어부(5)의 제어에 의해 CCD 고체 촬상 소자(7)의 각종 타이밍 신호를 생성하여 출력하고, 드라이버(9)는, 이 타이밍 생성부(8)로부터 출력되는 각종 타이밍 신호중의 일부의 타이밍 신호에 의해 CCD 고체 촬상 소자(7)를 구동한다. CCD 고체 촬상 소자(7)는, 이 타이밍 생성부(8)로부터 직접 입력되는 타이밍 신호, 드라이버(9)를 통하여 입력되는 타이밍 신호에 의해 동작하여, 촬상면에 형성된 광학상의 촬상 결과를 출력한다. 전처리 회로(10)는, 이 CCD 고체 촬상 소자의 촬상 결과를 상관 이중 샘플링 처리한 후, 제어부(5)의 제어에 의한 이득에 의해 증폭하여 아날 로그 디지털 변환 처리하고, 그 처리 결과에 의한 화상 데이터를 카메라 DSP(121)에 출력한다.

카메라 DSP(121)는, 이 카메라부(3)로부터 출력되는 화상 데이터를 신호 처리한 후, 부호화 처리하여 제어부(5)에 출력하고, 또한 이것과는 역으로 제어부(5)로부터 입력되는 부호화 데이터를 복호한다.

즉 카메라 DSP(121)에서, AF/AE/AWB부(13)는, 카메라부(3)로부터 출력되는 화상 데이터로부터 자동 포커스 제어, 자동 조리개 제어에 필요한 각종의 정보를 취득하여 제어부(5)에 출력하고, 또한 이 화상 데이터를 제어부(5)의 제어에 의해 자동 화이트 밸런스 조정하여 제어부(5) 등에 출력한다. 또한 AF/AE/AWB부(13)는, 이들의 처리에 더하여, 촬상 결과의 처리에 필요한 이** 처리, 감마 보정 처리, 매트릭스 연산 처리 등의 각종 처리를 실행한다. 인코더(14)는, 움직임 보상, 직교 변환에 의해 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 장치이고, 제어부(5)의 제어에 의해, AF/AE/AWB부(13)에 의해 처리된 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하고, 이 부호화 데이터를 제어부(5)에 출력한다. 디코더(15)는, 이것과는 역으로 제어부(5)로부터 입력되는 부호화 데이터를 복호화하고, 그 처리 결과에 의한 화상 데이터를 제어부(5)에 출력한다. SDRAM 컨트롤러(16)는, 카메라 DSP(121)에 외부 부착의 메모리인 SDRAM(17)의 기록, 판독을 제어하고, 이 카메라 DSP(121)의 일련의 처리에 관한 화상 데이터, 부호화 데이터를 SDRAM(17)에 일시 격납한다.

또한 이 카메라 DSP(121)에서, 이들 일련의 처리에 관한 프로그램은, 이 디 지털 비디오 카메라(1)에 사전에 인스톨되어 제공되는 것이지만, 이와 같은 사전의 인스톨에 의한 제공을 대신하여, 인터넷 등의 네트워크를 통한 다운로드에 의해 제공하도록 하여도 좋고, 나아가서는 기록 매체에 기록하여 제공하도록 하여도 좋다. 그와 관련하여, 이와 같은 기록 매체는, 광디스크, 자기 디스크, 메모리 카드 등, 여러가지의 기록 매체를 널리 적용할 수 있다.

기록 매체(2)는, 인코더(14)에 의한 부호화 데이터 등을 기록하고, 또한 기록한 부호화 데이터를 재생하여 출력한다. 여기서 기록 매체(2)는, 광디스크, 자기 디스크, 메모리 카드 등, 여러가지의 기록 매체를 널리 적용할 수 있고, 매체 인터페이스(매체 I/F)(21)는, 제어부(5)의 제어에 의해 제어부(5)로부터 출력되는 데이터를 이 기록 매체(2)에 기록하고, 또한 기록 매체(2)에 기록된 데이터를 판독하여 제어부(5)에 출력한다.

외부 인터페이스(외부 I/F)(22)는, 예를 들면 퍼스널 컴퓨터 등 외부 기기를 접속하는 인터페이스이고, 제어부(5)의 제어에 의해, 제어부(5)로부터 출력되는 데이터를 이 외부 기기에 출력하고, 또한 이 외부 기기로부터 입력되는 데이터를 제어부(5)에 출력한다. 이로써 이 디지털 비디오 카메라(1)에서는, 외부 기기와의 사이에서 화상 데이터, 부호화 데이터 등의 여러가지의 데이터를 송수한다.

LCD 컨트롤러(24)는, 제어부(5)의 제어에 의해, 제어부(5)의 버스(BUS)에 출력되는 화상 데이터에 의해 액정 표시 장치(LCD)(23)를 구동하고, 이로써 액정 표시 장치(23)는, 버스(BUS)에 출력되는 촬상 결과에 의한 화상 데이터, 복호 결과에 의한 화상 데이터를 표시한다.

제어부(5)는, 이 디지털 비디오 카메라(1) 전체의 동작을 제어하는 제어 수단이고, 랜덤 액세스 메모리(RAM)(25)에 워크 에어리어를 확보하여 중앙 처리 유닛(CPU)(26)에 의해 플래시 ROM(27)에 기록된 처리 프로그램을 실행함에 의해, 조작부(29)의 조작에 응동하여 카메라부(3), 카메라 DSP(121)의 동작을 시작시키고, 카메라부(3)에서 얻어지는 촬상 결과를 카메라 DSP(121)에 의해 처리하여 부호화 처리하고, 그 처리 결과에 의한 부호화 데이터를 취득하여 기록 매체(2)에 기록한다. 또한 촬상 결과에 의한 화상 데이터를 취득하여 액정 표시 장치(23)에 의해 모니터 화상을 표시한다. 또한 이들의 처리에서, 카메라 DSP(121)로부터 취득한 정보에 의해 카메라부(3)의 조리개, 포커스를 제어하고, 이로써 자동 조리개 제어, 자동 포커스 제어의 처리를 실행한다. 또한 유저에 의한 조작에 응동하여 기록 매체(2)에 기록된 부호화 데이터를 판독하여 카메라 DSP(121)에 의해 복호화하고, 그 처리 결과에 의한 화상 데이터를 취득하여 액정 표시 장치(23)에 의해 모니터 화상을 표시한다.

이들의 처리에 있어서, 제어부(5)는, 유저에 의해 조작부(29)의 조작에 응동하여, 후술하는 인코더(14)의 처리에 제공하는 파라미터를 전환함에 의해, 장시간 기록 모드와 표준시간 기록 모드로 전체의 동작 모드를 전환하하고, 인코더(14)에 의해 생성되는 부호화 데이터의 비트 레이트를 전환한다. 이로써 제어부(5)는, 기록 매체(2)의 기록 가능 시간을 전환하고, 각 동작 모드에 응한 기록 시간에 의해 촬상 결과를 기록 매체(2)에 기록한다.

도 2는, 이와 같이 하여 기록 매체(2)에 기록되는 부호화 데이터의 부호화 제어에 관한 특성을 도시하는 특성곡선도이다. 인코더(14)는, 횡축에 의해 나타내는 바와 같이, 고정된 양자화 스케일(QP INIT)에 의해 양자화하여 발생하는 부호량이 일정한 상한 레이트(LIMIT RATE)보다 커지면, 부호화 데이터의 레이트가 일정한 상한치(LIMIT RATE)가 되도록 부호화 제어하고, 이로써 이 경우, CBR의 수법에 의해 입력 화상 데이터를 부호화 처리한다. 또한 이것과는 역으로, 고정된 양자화 스케일(QP INIT)에 의해 양자화하여 발생하는 부호량이 일정한 상한 레이트(LIMIT RATE)보다 작은 경우에는, VBR의 수법에 의해, 이 고정된 양자화 스케일(QP INIT)에 따라 입력 화상 데이터를 부호화 처리한다. 이로써 인코더(14)는, 기록 매체(2)에의 기록 시간을 보상하면서, 부호량의 저하에 의해 부호화 제어를 VBR의 수법으로 전환하여 필요없는 부호량의 할당을 방지하고, 이들에 의해 VBR의 수법과 CBR의 수법의 전환에 의해 부호화 효율을 향상하여 기록 시간을 담보한다.

또한 인코더(14)는, 이와 같이 VBR의 수법에 의해 입력 화상 데이터를 부호화 처리할 때에, 고정된 양자화 스케일(QP INIT)에 의해 양자화하여 발생하는 부호량이 화질 조작 경계 레이트(LRB END RATE)보다 작은 경우, 화질 조작 경계 레이트(LRBEND RATE)에 의한 부호량보다 고정된 양자화 스케일(QP INIT)에 의한 부호량이 저하됨에 따라, 이 고정된 양자화 스케일(QP INIT)에 의한 부호량에 비하여 부호화 데이터의 부호량이 일시적으로 증대하도록, 발생 부호량을 제어한다.

이로써 인코더(14)는, 비교적 부호화가 용이한 피사체에 관해, 의도적으로 많은 부호량을 할당하여 부호화 처리를 실행하고, 이와 같은 피사체의 화질을 개선한다.

도 3은, 이 디지털 비디오 카메라(1)에 적용되는 인코더(14)의 구성을 상세히 도시하는 블록도이다. 이 인코더(14)는, 많은 예측 모드로부터 최적의 예측 모드를 선택하고, 이 최적의 예측 모드에 의해 직교 변환, 움직임 보상하여 화상 데이터(D1)를 부호화 처리한다. 보다 구체적으로, 이 인코더(14)는, AVC의 수법에 의해 화상 데이터를 부호화 처리한다. 이로써 순차로 입력되는 입력 화상 데이터(D1)에 의한 픽처에 순차로 픽처 타입을 설정하고, 1패스 방식에 의해 각 픽처에서의 발생 부호량을 예측하면서, 화상 데이터(D1)를 부호화 처리한다.

이를 위해 인코더(14)는, 감산 회로(32)를 통하여 디스크리트 코사인 변환 회로(DCT)(34)에 화상 데이터(D1)를 입력한다. 여기서 디스크리트 코사인 변환 회로(34)는, 감산 회로(32)의 출력 데이터를 디스크리트 코사인 변환 처리에 의해 직교 변환 처리하여 계수 데이터를 출력한다.

양자화 회로(35)는, 부호화 제어 회로(31)의 제어에 의해 양자화 스케일을 전환하고, 디스크리트 코사인 변환 회로(34)로부터 출력되는 계수 데이터를 양자화 처리한다. 가역(可逆) 부호화 회로(36)는, 이 양자화 회로(35)의 출력 데이터를 가역 부호화 처리하고, 양자화 스케일, 예측 모드의 데이터 등과 함께 부호화 데이터(D2)에 의해 출력한다.

역양자화 회로(37)는, 양자화 회로(35)의 출력 데이터를 역양자화 처리하고, 이로써 양자화 회로(35)의 입력 데이터를 복호한다. 역(逆)디스크리트 코사인 변환 회로(역(逆)DCT)(38)는, 역양자화 회로(37)의 출력 데이터를 역디스크리트 코사인 변환 처리하고, 이로써 디스크리트 코사인 변환 회로(34)의 입력 데이터를 복호한 다. 인코더(14)에서는, 이 역디스크리트 코사인 변환 회로(38)의 출력 데이터에 모드 판정 회로(33)의 출력 데이터를 가산함에 의해, 감산 회로(32)에 입력하는 입력 화상 데이터를 복호한다. 디블록 필터(39)는, 이 복호한 입력 화상 데이터를 필터링 처리하고, 블록 왜곡을 제거하여 출력한다. 프레임 메모리(40)는, 이 디블록 필터(39)의 출력 데이터를 소정 프레임분 보존한다.

인트라 예측 회로(11)는, 프레임 메모리(40)에 보존된 동일 픽처의 화상 데이터를 이용하여, 복수의 인트라 예측 모드로부터 최적의 인트라 예측 모드를 검출한다. 인터 예측 회로(12)는, 프레임 메모리(40)에 보존된 복수의 예측 프레임을 각각 이용하여, 복수의 인터 예측 모드로부터 최적의 인터 예측 모드를 검출한다.

모드 판정 회로(33)는, I픽처에서, 인트라 예측 회로(41)에서 검출되는 최적의 인트라 예측 모드에 의한 예측 화상 데이터를 생성하고, 이 예측 화상 데이터를 감산 회로(32)에 출력한다. 이로써 이 인코더(14)는, I픽처에서, 다수의 인트라 예측 모드로부터 최적의 예측 모드를 선택하고, 이 최적의 예측 모드에 의한 예측 잔차(殘差) 데이터를 직교 변환 처리, 가변 길이 부호화 처리하여 부호화 데이터(D2)를 생성한다.

모드 판정 회로(33)는, 또한 P픽처 및 B픽처에서, 인트라 예측 회로(11)에서 검출되는 최적의 예측 모드와, 인터 예측 회로(12)에서 검출되는 최적의 예측 모드로부터, 최적의 예측 모드를 선택하고, 이 선택한 예측 모드에 의한 예측 화상 데이터를 감산 회로(32)에 출력한다. 이로써 이 인코더(14)는, P픽처 및 B픽처에서, 다수의 인트라 예측 모드, 인터 예측 모드로부터 최적의 예측 모드를 선택하고, 이 최적의 예측 모드에 의한 예측 잔차 데이터를 직교 변환 처리, 가변 길이 부호화 처리하여 부호화 데이터(D2)를 생성한다.

부호화 제어 회로(31)는, 이 인코더(14)의 양자화 회로(35)에서의 양자화 스케일을 제어하고, 이로써 부호화 데이터(D2)의 부호량을 제어한다.

즉 이 부호화 제어 회로(31)에 있어서, 인트라 예측 회로(41)는, 입력 화상 데이터(D1)로부터 인트라 예측에 관한 의사적(疑似的)인 예측 화상 데이터를 생성한다. 여기서 AVC에서는, 16×16화소 블록, 4×4화소 블록의 각 블록마다 복수의 예측 모드가 설정되고, 이들의 예측 모드로부터 최적의 예측 모드가 선택되어 예측 화상 데이터가 생성되는 것이지만, 이 인트라 예측 회로(41)에서는, 이 본래의 예측 화상 데이터와 같은 경향을 나타내는 의사적인 예측 화상 데이터를 생성한다. 이 의사적인 예측은, 특정한 모드에서만 예측을 행하는 등, 본래의 예측을 간이화함으로써 행한다. 또한, 시간적으로 과거의 픽처의 예측 결과를 유용(流用)하여도 좋다.

감산 회로(42)는, 이 인트라 예측 회로(41)로부터 출력되는 의사적인 예측 화상 데이터를, 입력 화상 데이터(D1)로부터 감산하고, 이로써 인트라 예측에 관한 의사적인 예측 잔차 데이터를 생성한다. 이들에 의해 인트라 예측 회로(41)는, 인트라 예측에 관한 부호화의 곤란도를 나타내는 특징량을 검출한다.

프레임 메모리(43)는, 소정 프레임분만큼 입력 화상 데이터(D1)를 기록하여 보존하고, 간이 인터 예측 회로(44)에 참조 화상 데이터로서 출력한다.

간이 인터 예측 회로(44)는, 프레임 메모리(43)에 보존된 화상 데이터를 이 용하여, 인터 예측에 관한 의사적인 예측 화상 데이터를 생성한다. 여기서 AVC에서는, 복수의 예측 프레임을 이용하여, 크기가 다른 블록으로 각각 1화소보다 작은 정밀도로 움직임 벡터를 검출하고, 가장 발생 부호량이 적은 예측 프레임, 블록에 의해 예측 화상 데이터가 생성되는 것이지만, 이 간이 인터 예측 회로(44)에서는, 이 본래의 예측 화상 데이터와 같은 경향을 나타내는 의사적인 예측 화상 데이터를 생성한다. 구체적으로는, 16×16화소 블록에 의한 매크로 블록에 관해서만, 정수(整數) 화소 정밀도에 의해, 각 예측 프레임에서 움직임 벡터를 검출하여 최적의 예측 모드를 검출하고, 이 검출 결과에 의한 예측 화상 데이터를 출력한다. 또한 이 경우, 입력 화상 데이터(D1)를 다운 샘플링하여 처리하도록 하여도 좋고, 나아가서는 이들 16×16화소 블록의 복수의 예측 모드에서, 가장 예측 모드로 선택될 확률이 높은 예측 모드에 의해 예측 화상 데이터를 생성하도록 하여도 좋다.

감산 회로(45)는, 이 간이 인터 예측 회로(44)로부터 출력되는 의사적인 예측 화상 데이터를, 입력 화상 데이터(D1)로부터 감산하고, 이로써 인터 부호화에 관한 의사적인 예측 잔차 데이터를 생성한다. 또한 인트라 예측 회로(41), 간이 인터 예측 회로(44)에 의한 처리 결과는, 본래의 인트라 예측 회로(11), 인터 예측 회로(12)에서의 처리에 이용하도록 하여, 그만큼, 전체의 처리를 간략화하도록 하여도 좋다.

이들에 의해 프레임 메모리(43), 간이 인터 예측 회로(44), 감산 회로(45)는, 16×16화소 블록을 단위로 하여, 인터 예측에 관한 부호화의 곤란도를 나타내는 특징량을 검출한다. 또한 이들 인트라 예측, 인터 예측에 관한 특징량의 검출에 서는, 예측 정밀도와 처리 속도의 균형에 의해 여러가지의 검출 수법을 널리 적용할 수 있고, 예를 들면 직교 변환 처리의 처리 단위의 블록 사이즈에 의해 이들 특징량을 검출하도록 하여도 좋고, 나아가서는 실용상 충분한 정밀도를 확보할 수 있는 경우에는, 인트라 예측에 관한 특징량에 고주파 성분의 신호 레벨을 적용하도록 하여도 좋다.

발생 부호량 예측 회로(46)는, 이들 감산 회로(42, 45)로부터 출력되는 예측 잔차 데이터에 의해 부호화 처리에 의한 발생 부호량을 예측한다.

목표 부호량 결정 회로(47)는, 이 발생 부호량 예측 회로(46)의 예측 결과에 의거하여, 부호화 처리의 목표 부호량을 결정하고, 양자화 회로(35)의 양자화 스케일을 설정한다.

도 4는 이들 발생 부호량 예측 회로(46), 목표 부호량 결정 회로(47)의 구성을 상세히 도시하는 기능 블록도이다. 또한 이 도 4에 도시하는 구성에 있어서, 승산 회로 등의 연산 회로는, 이하에 설명한 대응하는 수식의 부호를 붙여서 대응 관계를 나타낸다.

발생 부호량 예측 회로(46)는, P픽처, B픽처에 관해, 감산 회로(42, 45)로부터 출력되는 예측 잔차 데이터를 각각 매크로 블록마다 합계하고, 값이 작은 측의 합계치를 해당 매크로 블록의 잔차 데이터(MB BD)로 설정한다. 또한 이 매크로 블록의 잔차 데이터(MB BD)를 각 픽처에서 합계하고, 합계치를 해당 픽처의 잔차 데이터(BD(n))(도 4에서 부호 51에 의해 나타낸다)로 설정한다. 또한 I픽처에 관해서는, 감산 회로(42)로부터 출력되는 인트라 예측에 관한 예측 잔차 데이터를 픽처 단위로 합계하고, 합계치를 해당 픽처의 인트라 예측에 관한 잔차 데이터(BD(n))로 설정한다. 이들에 의해 발생 부호량 예측 회로(46)는, 이들 잔차 데이터(BD(n))에 의해 부호화 처리에 관한 곤란도를 나타내는 특징량을 픽처 단위로 검출한다. 또한 이 잔차 데이터(BD(n))에서는, 예측 잔차 데이터의 절대치 합에 의해 검출하도록 하여도 좋다.

여기서 목표 부호량 결정 회로(47)는, 각 픽처 타입의 시퀀스 선두가 되는 픽처에서는, 양자화 회로(35)의 양자화 스케일을 사전에 설정되는 고정된 양자화 스케일(QP INIT)로 설정하고, 이로써 각 시퀀스의 선두 픽처를 이 고정된 양자화 스케일(QP INIT)에 의한 고정 압축률로 부호화 처리한다.

발생 부호량 예측 회로(46)는, 이 고정된 양자화 스케일(QP INIT)에 의한 발생 부호량(BIT(0))(도 4에서 부호 52에 의해 나타낸다)을 각 픽처 타입마다 검출하고, 이후의 각 픽처에서는, 대응하는 픽처 타입에서 검출한 발생 부호량(BIT(0))을 이용하여, 다음 식의 연산 처리를 실행함에 의해, 어림셈의 예측 부호량(ROUGH PRED(n))(도 4에서 부호 54에 의해 나타낸다)을 예측한다. 또한 여기서 잔차 데이터(BD(0))(도 4에서 부호 53에 의해 나타낸다)는, 이 대응하는 픽처 타입의 시퀀스 선두에서 검출된 잔차 데이터(BD(n))이다.

ROUGH_PRED(n)=BIT(O)*(BD(n)/BD(O)) …… (1)

이로써 발생 부호량 예측 회로(46)는, 선두 픽처를 고정된 양자화 스케일로 부호화 처리하도록 하여, 이 고정된 양자화 스케일에 의한 실제의 발생 부호량을 기준으로 하여, 이 픽처에 대한 곤란도의 상대적인 변화에 의해, 각 픽처의 어림셈 의 예측 부호량을 픽처 타입마다 검출한다.

또한 발생 부호량 예측 회로(46)는, 이와 같이 하여 발생 부호량을 예측할 때에, 해당 픽처를 다른 픽처 타입에 의해 부호화 처리한 경우에 예측되는 예측 부호량을 아울러서 계산한다. 이로써 발생 부호량 예측 회로(46)는, 입력 화상 데이터(D1)에 의한 각 픽처마다, 각각 I픽처, P픽처, B픽처에 의해 부호화 처리한 때의 어림셈의 발생 부호량을 예측한다.

그런데 이와 같이 하여 계산되는 어림셈의 예측 부호량(ROUGH PRED(n))은, 대강 실제의 발생 부호량을 나타내고는 있지만, 오차를 가지고 있다. 특히, P픽처, B픽처에 관한 예측 부호량(ROUGH PRED(n))에서는, 이 오차가 커진다. 이 때문에 발생 부호량 예측 회로(46)는, 다음 식의 연산 처리에 의해, P픽처, B픽처에 관한 예측 부호량(ROUGH PRED(n))을, 직전 픽처까지의 실제의 처리 결과에 의해 각각 보정하여, 진정한 예측 부호량(TRUE PRED(n))(도 4에서 부호 55에 의해 나타낸다)을 계산한다.

TRUE_PRED(n)=ROUGH_PRED(n)*ADJUST(n) …… (2)

또한 여기서 ADJUST(n)(도 4에서 부호 56에 의해 나타낸다)는, 각 픽처 타입의 보정 계수이고, 후술하는 처리에 의해 도출된다. 그러나 이와 같이 하여 구하여지는 진정한 예측 부호량(TRUE PRED(n))은, 시퀀스 선두의 픽처를 고정 압축률에 의해 부호화 처리할 때에 적용되는 고정된 양자화 스케일(QP INIT)에 의해 각 픽처를 부호화 처리한 경우의 발생 부호량을 예측하는 것이고, 실험한 결과에 의하면, 실제의 발생 부호량에 상당한 정밀도로 일치하는 것이 확인되어 있다.

또한 이와 같이 하여 진정한 예측 부호량(TRUE PRED(n))을 계산하여 부호화 처리하는데 즈음하여, 예를 들면 신 체인지 등에 의해 동화의 성질이 시퀀스 선두로부터 크게 변화한 경우, 다시 상술한 각 픽처 타입에 관한 시퀀스 선두의 처리를 실행하여, 진정한 예측 부호량(TRUE PRED(n))을 다시 계산하도록 하여도 좋다.

목표 부호량 결정 회로(47)는, 이와 같이 하여 구한 진정한 예측 부호량(TRUE PRED(n))에 의해, VBR과 CBR에 의한 목표 부호량을 각각 결정한다. 또한 I픽처의 진정한 예측 부호량(TRUE PRED(n))에서는, 대략적인 예측 부호량(ROUGH PRED(n))이 적용된다.

이 때문에 목표 부호량 결정 회로(47)는, 부호 처리 대상 픽처의 픽처 타입에 관해 검출한 진정한 예측 부호량(TRUE PRED(n))을 이용하여, 다음 식의 연산 처리에 의해, VBR에 의한 목표 부호량(VBR TARGET(n))(도 4에서 부호 57에 의해 나타낸다)을 계산한다.

VBR_TARGET(n)=TRUE_PRED(n)*LRB(n) …… (3)

또한 여기서 LRB(n)(도 4에 있어서, 부호 58에 의해 나타낸다)는, 도 2에 관해 상술한 화질 개선을 위해, 고정된 양자화 스케일(QP INIT)에 의한 부호량에 대해, 의도적으로 부호량을 증대시키기 위한 계수이고, 1<LRB(n)이다. 이 계수(LRB(n))는, 화상을 모니터하면서 수동에 의해 설정하도록 하여도 좋지만, 이 실시예에서는, 도 2에 관해 상술한 바와 같이, 난이도가 낮은 동화상에서 압축률을 의도적으로 내리고, 화질 열화를 눈에 띄지 않도록, 이하와 같이 하여 설정한다.

즉 목표 부호량 결정 회로(47)는, 이 화질 개선에 관한 임계치의 레이 트(LRBEND RATE)를 이용하여, 다음 식의 연산 처리를 실행함에 의해, 계수(LRB(n))를 계산한다.

LRB(n)=(LRB_END_RATE/INSTANT_RATE(n)-1)*APPLY_GAIN+1 …… (4)

여기서 INSTANT RATE(n)는, 처리 대상인 n번째의 픽처에서의 순간 레이트이다. 또한 APPLY GAIN은, 이와 같이 의도적으로 압축률을 내리는 정도를 나타내는 이득이고, 0<APPLY GAIN<1의 범위에서 조정되는 계수이다. 이 이득(APPLY GAIN)이 값 0인 경우에는, 전혀 압축률을 저하시키지 않게 되고, 화질 개선의 효과가 제로로 된다. 또한 이득(APPLY GAIN)이 값 1인 경우에는, 이 난이도가 낮은 동화상에서, 목표 부호량(VBR TARGET(n))은, 임계치의 레이트(LRBEND RATE)를 실현하는 부호량과 일치한 것으로 된다.

이로써 목표 부호량 결정 회로(47)는, 고정된 양자화 스케일(QP INIT)에 의한 예측 부호량(TRUE PRED(n))이 임계치의 레이트(LRBEND RATE)보다 저하됨에 따라, 이 고정된 양자화 스케일(QP INIT)에 의한 부호량에 대해 목표 부호량을 증대시킨다.

또한 이로써 (4)식에 의해 구하여지는 계수(LRB(n))는, 난이도가 매우 낮은 픽처에서 극단적으로 큰 값으로 됨에 의해, (4)식에서 구하여지는 값을 리미터에 의해 값 2.5 내지 3.0으로 제한하고, 이로써 극단적인 목표 부호량(VBR TARGET(n))의 증대를 방지한다.

또한 순간 레이트(INSTANT RATE(n))는, 다음 식에 의해 구하여진다. 여기서 I NUM, P NUM, B NUM은, 각각 1GOP를 형성하는 I픽처, P픽처, B픽처의 매수이고, AVERAGE I BIT, AVERAGE P BIT, AVERAGE B BIT는, 각각 I픽처, P픽처, B픽처의 평균 발생 부호량이고, PICTURE RATE는, 이 인코더(14)에서 1초간당의 프레임 수(프레임 레이트)이다.

INSTANT_RATE(n)

=(AVERAGE_I_BIT(n)*I_NUM+AVERAGE_P_BIT(n)*P_NUM+AVERAGE_B_BIT(n)*B_NUM) *(PICUTURE_RATE/(I_NUM+P_NUM+B_NUM)) …… (5)

여기서 I픽처의 평균 발생 부호량(AVERAGE I BIT)은, 다음 식에 의해 구하여진다.

AVERAGE_I_BIT(n)

=AVERAGE_I_BIT(n-2) * FLT+BIT(n-1) * (1-FLT) …… (6)

또한 여기서 FLT는, 0≤ FLT<1의 범위에서 설정되는 조정치이고, 값 0.2 전후가 적절한 값이다. 이로써 목표 부호량 결정 회로(47)는, 직전의 2개의 I픽처에서의 평균 발생 부호량(AVERAGE I BIT(n-2), AVERAGE I BIT(n-1))를 조정치(FLT)에 의해 무게부여 가산하여, n번째의 I픽처에 관한 평균 발생 부호량(AVERAGE I BIT(n))을 구한다. 이로써 I픽처의 평균 발생 부호량(AVERAGE I BIT)은, 조정치(FLT)를 값 0에 접근하면, 시간적으로 짧은 순간적인 레이트로 되고, 조정치(FLT)를 값 1에 접근하면, 시간적으로 길은 평균적인 레이트로 된다. 또한 이 I픽처의 평균 발생 부호량(AVERAGE I BIT)에 관한 초기치(AVERAGE I BIT(0))는, 임의로 정하여도 좋다. 또한 조정치(FLT)는, 값 1이 아니면, 값 0으로 설정하여도 좋다. 목표 부호량 결정 회로(47)는, 이렇게 하여 P픽처, B픽처의 평균 발생 부호 량(AVERAGE P BIT, AVERAGE B BIT)을 구하고, 조정치(FLT)를 설정하여 계수(LRB(n))를 설정한다.

이들을 위해 목표 부호량 결정 회로(47)는, 발생 부호량의 감시 결과에 의해 조정치(FLT)를 설정하여 화질 개선의 정도를 나타내는 계수(LRB(n))를 설정한다. 또한 이 계수(LRB(n))를 이용하여 부호화 처리 대상의 픽처에서의 VBR의 목표 부호량(VBR TARGET(n))을 계산한다.

또한 목표 부호량 결정 회로(47)는, 다음 식의 연산 처리에 의해 X픽처의 CBR에 의한 목표 부호량(CBR TARGET X(n))을 계산한다. 또한 여기서 X픽처는, I픽처, P픽처 또는 B픽처이다.

CBR_TARGET_X(n)

=(GOP_SIZE * TRUE_PRED_X(n))

/(I_NUM * TRUE_PRED_I(n)+P_NUM * TRUE_PRED_P(n)

+B_NUM * TRUE_PRED_B(n)) …… (7)

여기서 진정한 예측 부호량(TRUE PREDI(n), TRUE PREDP(n), TRUE PREDB(n))은, n번째의 픽처를 각각 I픽처, P픽처, B픽처에 의해 부호화 처리한 경우의 예측 부호량이고, (2)식에 관해 상술한 바와 같이, 부호화 처리 대상의 픽처에 관해 진정한 예측 부호량을 구하는 경우에, 아울러서 구한 다른 픽처 타입에 의해 부호화 처리한다고 가정한 경우의 진정한 예측 부호량이 적용된다. 여기서 GOP SIZE는, CBR에 의해 설정되는 1GOP에 관한 부호량이고, 후술하는 연산 처리에 의해 구하여진다.

이로써 목표 부호량 결정 회로(47)는, 부호화 처리 대상의 픽처를 I픽처, P픽처, B픽처에 의해 부호화 처리한 경우에 발생하는 부호량의 배분에 의해, GOP SIZE에 의한 부호량을 부호화 처리 대상의 픽처에 할당하여 CBR에 의한 목표 부호량(CBR TARGET X(n))을 계산한다.

여기서 부호량(GOP SIZE)은, 다음 식에 의해 표시하는 바와 같이, VBR과 CBR의 전환에 관한 상한 레이트(LIMIT RATE), 1픽처당의 평균 레이트(M), 오프셋 값(OFFSET)을 이용하여 다음 식에 의해 구하여진다.

GOP_SIZE(n)=LIMIT_RATE/M+OFFSET …… (8)

또한 1픽처당의 평균 레이트(M)는, 다음 식에 의해 표시하는 바와 같이, 인코더(14)에서의 1초간당의 프레임 수(프레임 레이트)(PICTURE RATE)를, 1GOP를 형성하는 각 픽처의 매수(I NUM, P NUM, B NUM)의 총계에 의해 나눗셈 하여 구하여진다.

M=PICTURE_RATE/(I_NUM+P_NUM+B_NUM) …… (9)

또한 오프셋 값(OFFSET)은, n번째의 픽처에서의 순간 레이트(INSTANT RATE(n)), 평균 레이트(M)를 이용하여, 다음 식에 의해 구하여진다.

OFFSET=(LIMIT_RATE-INSTANT RATE(n))/M …… (10)

이들에 의해 목표 부호량 결정 회로(47)는, 부호화 처리 대상의 픽처를 I픽처, P픽처, B픽처에 의해 부호화 처리한 경우에 발생하는 부호량의 배분에 의해, 부호화 처리 대상의 픽처의 CBR에 의한 목표 부호량(CBR TARGET X(n))을 설정하고, 순간 레이트의 맥동을 방지한다.

즉 도 5에 도시하는 바와 같이, TM(Test Mode)(5)에 의한 부호화 제어에서는, 순간 레이트가 증대해 CBR에 의해 부호화 제어한 경우, GOP 주기로 순간 레이트에 리플이 관찰되고 있는데, 이 실시예에 의해 목표 부호량(CBR TARGET X(n))를 설정한 경우에는, 이와 같은 리플이 억압되고, 순간 레이트의 변동이 작은 것을 알 수 있다. 또한 도 6은, CBR에 의한 발생 부호량을 도시하는 것이고, TM(5)에 의한 경우, 발생 부호량의 맥동이 크고, 특히 I픽처의 직후의 P픽처에서, 발생 부호량이 극단적으로 저하되어 있는 것을 알 수 있다. 그러나 이 실시예에 의하면, TM(5)에 의한 경우에 비하여, 발생 부호량의 맥동이 억압되어 있는 것을 알 수 있고, 이들에 의해 각 픽처에 적절하게 부호량이 할당되어 있는 것을 알 수 있다.

목표 부호량 결정 회로(47)는, 다음 식에 의해 표시하는 바와 같이, 이와 같이 하여 얻어지는 VBR에 의한 목표 부호량(VBR TARGET(n))과, CBR에 의한 목표 부호량(CBR TARGET(n))으로부터 값이 작은 측의 목표 부호량을 선택하여, 최종적인 목표 부호량(TARGET(n))(도 4에 있어서, 부호 61에 의해 나타낸다)으로 설정한다.

VBR_TARGET(n)<CBR_TARGET(n)일 때,

TARGET(n)=VBR_TARGET(n)

VBR_TARGET(n)>CBR_TARGET(n)일 때,

TARGET(n)=CBR_TARGET(n) …… (11)

이로써 인코더(14)는, 도 2에 관해 상술한 바와 같이 상한 레이트(LIMIT RATE)에서 VBR에 의한 부호화 제어와 CBR에 의한 부호화 제어를 전환한다.

부호화 제어 회로(31)는, 발생 부호량이 이와 같이 하여 결정한 목표 부호 량(TARGET(n))이 되도록, TM(5), 스텝 2의 수법에 의해 양자화 회로(35)의 양자화 스케일을 제어한다. 즉 부호화 제어 회로(31)는, 픽처 타입마다 각각 가상 버퍼를 정의한 다음, 하나의 매크로 블록을 부호화 처리할 때마다, 다음 식의 연산 처리에 의해 가상 버퍼의 내용을 갱신하고, 양자화 스케일을 갱신한다.

di=d0i+Bj-1-Ti(j-1)/MB_Count …… (12)

dp=d0p+Bj-1-Tp(j-1)/MB_Count …… (13)

db=d0b+Bj-1-Tb(j-1)/MB_Count …… (14)

또한 여기서 di, dp, db는, 각각 I픽처, P픽처, B픽처의 가상 버퍼의 용량이고, d0i, d0p, d0b는, 각 가상 버퍼의 초기치이다. 또한 Bj-1은, j-1번째의 매크로 블록까지의 발생 부호량이다. Ti, Tp, Tb는, 각각 각 픽처의 목표 부호량이고, 각각 각 픽처의 목표 부호량(TARGET(n))이 대입된다. MB Count는, 그 픽처 내의 매크로 블록 수이다.

또한 가상 버퍼의 용량(di, dp, db)은, 다음 식에 의해 각각 양자화 스케일로 변환된다.

Qj=dj*51/r …… (15)

여기서 dj에는, 픽처 타입에 응하여, 가상 버퍼의 용량(di, dp, db)이 대입된다. 또한 r은, 리액션 파라미터이고, 다음 식에 의해 표시된다. 또한, 필요에 따라 TM(5)의 스텝 3에서 채용되고 있는 바와 같이, 그림(繪柄)에 따라 양자화 스케일을 국소적로 변화시키도록 하여도 좋다.

r=2 * bit_rate/picture_rate …… (16)

부호화 제어 회로(31)는, 이와 같이 하여 얻어지는 양자화 스케일(Qj)을 양자화 회로(35)로 설정하여, 디스크리트 코사인 변환 회로(34)로부터 출력되는 계수 데이터를 양자화 처리한다. 또한 부호화 제어 회로(31)는, 상술한 바와 같이, 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 고정된 초기 설정의 양자화 스케일(QP INIT)에 의해 각 매크로 블록을 부호화 처리하도록, 양자화 회로(35)의 동작을 제어한다.

그러나 이와 같이 하여 설정한 양자화 스케일에 의한 n번째 픽처의 발생 부호량(BIT(n))(도 4에서, 부호 62에 의해 나타낸다)과, 대응하는 진정한 예측 부호량(TRUE PRED(n))의 비교에 의해, (2)식에 관해 상술한 보정 계수(ADJUST(n))를 구할 수 있다고도 고려되고, 이 n번째의 픽처에 의한 보정 계수(ADJUST(n))를 계속되는 픽처에서의 예측 부호량(TRUE PRED(n+1))에 이용하여 높은 정밀도에 의해 발생 부호량을 예측할 수 있다고도 고려된다.

그러나 여기서 검출되는 발생 부호량(BIT(n))에서는, (12) 내지 (16)식에 의한 양자화 스케일의 설정에 의해 부호화 처리되어 있음에 의해, 그 전제(前提)인 고정된 양자화 스케일(QP INIT)과는 다른 양자화 스케일로 처리되어 있는 것으로 된다. 이로써 단지 발생 부호량(BIT(n))과 대응한 진정한 예측 부호량(TRUE PRED(n))과의 비교에 의해서는, 올바르게 보정 계수(ADJUST(n))를 구하는 것이 곤란해지고, 정밀도 좋게 발생 부호량을 예측할 수 없게 된다.

이 때문에 발생 부호량 예측 회로(46)는, 양자화 회로(35)의 양자화 스케일을 일정 기준의 양자화 스케일로 설정하였다고 한 경우에 예측되는 발생 부호량에, 진정한 발생 부호량(TRUE PRED(n))을 보정한다. 여기서 이 실시예에서는, 이 일정 기준의 양자화 스케일에, 시퀀스 선두의 고정된 양자화 스케일(QP INIT)이 적용된다. 구체적으로 발생 부호량 예측 회로(46)는, 다음 식의 연산 처리에 의해, 검출되는 발생 부호량(BIT(n))을, 일정한 양자화 스케일(QP CONSTQ(QP INIT))에 의한 발생 부호량(BIT BY CONSTQ PRED(n))으로 환산한다.

BIT_BY_CONSTQ_PRED(n)

=e＾(k*(QP_CONSTQ-QP_AVERAGE(n)))*BIT(n) …… (17)

그리고 여기서 e는 자연 대수이고, k는 조정치이다. 또한 QP AVERAGE(n)는 부호화할 때에 실제로 사용된 양자화 스케일의 프레임 내의 평균치이다. 또한 k는, 실험적으로 몇 개인가의 시퀀스로부터 구할 수 있고, 바람직하게는 -0.110<k<-0.115로 설정하여 실용상 충분히 정밀도 좋게 발생 부호량을 예측할 수 있고, 보다 바람직하게는 k=-0.1126으로서 충분한 정밀도를 확보할 수 있다.

발생 부호량 예측 회로(46)는, 이 (17)식에 의해 구하여지는 일정한 양자화 스케일(QP CONSTQ)에 의한 발생 부호량(BIT BY CONSTQ PRED(n))을 이용하여, 다음 식의 연산 처리를 실행함에 의해, 동일한 픽처 타입에 관한 계속되는 n＋1번째의 픽처에 관한 보정 계수(ADJUST(n+1))를 구한 후, 이 계속되는 n＋1번째의 픽처에 관해, 상세히 기술한 연산 처리를 반복한다.

ADJUST(n+1)=BIT_BY_CONSTQ_PRED(n)/ROUGH_PRED(n) …… (18)

또한 이 (18)식에 의한 보정 계수(ADJUST(n+1))의 연산은, 프레임 사이 예측하는 P픽처, B픽처에 관해 적용되고, 프레임 내 예측만에 의한 I픽처에서는, (1)식 에 의해 구하여지는 어림셈의 예측 부호량(ROUGH PRED(n))이 실제로 발생한 부호량(BIT(n))에 강한 상관을 가짐으로써, 적용되지 않는다. 즉 I픽처에서는, 보정 계수(ADJUST(n+1))에 값 1의 고정치가 적용되고, 이로써 상술한 바와 같이, 어림셈의 예측 부호량(ROUGH PRED(n))이 진정한 예측 부호량(TRUE PRED(n))에 적용된다.

그리고 도 7 및 도 8은, 프레임이 진행될수록, 서서히 발생 부호량이 증대하는 동화를 부호화 처리한 경우의 처리 결과를 도시하는 특성곡선도이다. 또한 여기서 시퀀스 선두의 고정된 양자화 스케일(QP INIT)에는 I, P=31/B=33을 선택하였다. 또한 CBR과 VBR의 전환에 관한 상한 레이트(LIMIT RATE)는, 15[Mbps], 화질 개선에 관한 임계치의 레이트(LRBEND RATE)는, 9[Mbps]로 하였다. 이 특성곡선도에서, 단지 고정 양자화 스케일에 의해 부호화 제어한 경우에는, 서서히 발생 부호량이 증대하고 있음에 대해, 이 실시예에 의한 인코더(14)에서는 20프레임 근처부터 발생 부호량이 제한되어 있는 것을 알 수 있다. 또한 시퀀스 선두로부터 10프레임까지의 범위에서는, 고정 양자화 스케일에 의해 부호화 제어한 경우에 비하여, 이 실시예에 의한 발생 부호량이 많음에 의해, 도 2에 관해 화질 개선의 작용을 확인할 수 있다. 또한 도 8에 도시하는 특성곡선도에 의하면, 이와 같은 화질 개선의 작용이 9[Mbps]정도에서 종료하고, 그 후, 15[Mbps]에서 레이트가 일정하게 되어 있는 것을 알 수 있다.

이들에 의해 인코더(14)에서는, CBR과 VBR의 전환에 관한 상한 레이트(LIMIT RATE)의 설정에 의해, 부호화 데이터의 순간 비트 레이트를 제한할 수 있고, 이로써 이 상한 레이트(LIMIT RATE)의 전환에 의해 기록 매체(2)의 기록 가능 시간을 전환할 수 있다.

이에 대해 각 픽처 타입의 시퀀스 선두로 설정되는 고정된 양자화 스케일(QP INIT)은, (1)식에 관해 상술한 바와 같이 계속되는 픽처에서의 발생 부호량의 예측 기준이고, 이로써 이 고정된 양자화 스케일(QP INIT)의 설정에 의해, 부호화 데이터의 평균 발생 부호량을 가변할 수 있다.

이들에 의해 이 실시예에서, 제어부(5)는, 도 9에 도시하는 바와 같이, 상한 레이트(LIMIT RATE), 고정된 양자화 스케일(QP INIT)을 연동시켜 전환하고, 장시간 기록 모드와 표준시간 기록 모드에서 동작 모드를 전환한다.

(2) 실시예 1의 동작

이상의 구성에 있어서, 이 디지털 비디오 카메라(1)에서는(도 1), 촬상 결과에 의한 화상 데이터가 카메라부(3)로 취득되고, 이 화상 데이터가 카메라 DSP(121)에 있어서 자동 화이트 밸런스 조정 등의 처리를 받은 후, 인코더(14)에 의해 부호화 처리된다. 또한 이 부호화 처리 결과에 의한 부호화 데이터가 제어부(5)를 통하여 기록 매체(2)에 기록되고, 이로써 소망하는 피사체의 촬상 결과가 기록 매체(2)에 기록된다.

이 인코더(14)에서, 이 화상 데이터(D1)는(도 3), 순차로, 픽처 타입이 설정되고, 예측 화상 데이터와의 차분 데이터가 디스크리트 코사인 변환 회로(34)에 의해 디스크리트 코사인 변환 처리되고, 그 처리 결과에 의한 계수 데이터가 양자화 회로(35)에 의해 양자화 처리된 후, 가역 부호화 회로(36)에 의해 가역 부호화 처리되고, 이들에 의해 부호화 데이터가 생성된다. 또한 역양자화 회로(37), 역디스 크리트 코사인 변환 회로(38), 디블록 필터(39)에 의해 입력 화상 데이터(D1)가 복호되어 프레임 메모리(40)에 격납된다. 인코더(14)에서는, 이 프레임 메모리(40)에 격납된 복호 결과인 화상 데이터를 이용하여, 인트라 예측 회로(11), 인터 예측 회로(12)에 의해 다수의 예측 모드로부터 최적의 인트라 예측 및 인터 예측의 예측 모드가 검출되고, 또한 계속되는 모드 판정 회로(33)에 의해 이들의 예측 모드로부터 픽처 타입에 응하여 최적의 예측 모드가 검출된다. 또한 이 최적의 예측 모드에 의한 예측 화상 데이터가 감산 회로(32)에 입력된다.

이와 같은 부호화 처리와 동시 병렬적으로, 입력 화상 데이터(D1)는, 부호화 제어 회로(31)에서, 사전에, 각 픽처의 발생 부호량이 예측되고, 이 예측 결과에 의해 양자화 회로(35)의 양자화 스케일이 제어되고, 이로써 발생 부호량이 제어되어 기록 매체(2)에의 기록 시간이 보증된다.

그리하여 이 인코더(14)에서는, 이와 같은 다수의 예측 모드로부터 최적의 예측 모드를 선택하여 부호화 처리하고 있음에 의해, 종래의 1패스 방식에서 방식에 의해 발생 부호량을 예측한 것에서는, 올바르게 발생 부호량을 예측할 수 없고, 이로써 각 픽처에의 부호량의 할당이 부적절하게 되고, 그만큼, 화질이 열화된다.

이 때문에 이 인코더(14)에서는, 인트라 예측 회로(11), 인터 예측 회로(12)에 각각 대응하는 인트라 예측 회로(41), 간이 인터 예측 회로(44)에서, 간이한 처리에 의해 본래의 예측 화상 데이터와 같은 경향을 나타내는 의사적인 예측 화상 데이터가 생성되고, 감산 회로(42, 45)에 의해 이 의사적인 예측 화상 데이터와의 사이의 예측 잔차 데이터가 생성된다. 또한 발생 부호량 예측 회로(46)에서(도 4), 이 예측 잔차 데이터가 각각 픽처마다 누적 가산되고, 각 픽처의 잔차 데이터(BD(n))가 검출된다. 이로써 인코더(14)에서는, 부호화의 곤란도를 나타내는 특징량이 검출된다.

인코더(14)에서는, 적어도 각 픽처 타입의 시퀀스 선두에서는, 고정된 양자화 스케일(QP INIT)에 의해 부호화 처리하도록 하여, 이 픽처에서의 실제의 발생 부호량(BIT(0))을 기준으로 하여, 이 픽처에서의 특징량(BD(0))과, 부호화 대상의 픽처에서 검출되는 특징량(BD(n))의 비율에 의해 부호화 대상의 픽처에 관해 어림셈의 예측 부호량(ROUGH PRED(n))이 구하여진다((1)식).

여기서 이와 같이 하여 구하여지는 어림셈의 예측 부호량(ROUGH PRED(n))에서는, 정확성이 부족한 것으로 된다. 또한 이와 같은 방법 이외의, 예를 들면 고주파 성분에 의한 특징량을 어림셈의 예측 부호량(ROUGH PRED(n))에 적용하는 경우에도, 정확성이 부족한 것으로 된다.

이 때문에 인코더(14)에서는, 이와 같이 하여 구하여지는 어림셈의 예측 부호량(ROUGH PRED(n))을 픽처 타입에 따른 보정 계수(ADJUST(n))에 의해 보정하여((2)식), 진정한 예측 부호량(TRUE PRED(n))을 구하고, 이 진정한 예측 부호량(TRUE PRED(n))에 의거하여, 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하도록 하여, 이 부호화 데이터의 실제의 발생 부호량에 의해 대응하는 픽처 타입의 보정 계수(ADJUST(n))가 생성된다((18)식). 그리하여 이와 같이 하여 검출되는 진정한 예측 부호량(TRUE PRED(n))에서는, 실제의 발생 부호량에 상당한 정밀도로 일치하는 것이 확인되어 있다.

이로써 이 실시예에서는, 높은 정밀도에 의해 발생 부호량을 예측할 수 있음에 의해, 이 예측한 발생 부호량에 의해 각 픽처에 부호량을 할당하여, 종래에 비하여 보다 적절하게 각 픽처에 부호량을 할당할 수 있고, 이로써 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에도, 각 픽처에 적절하게 부호량을 할당하여, 화질을 향상할 수 있다.

또한 이때 부호화 처리를 완료한 직전의 픽처에서 검출되는 어림셈의 예측 부호량과, 대응하는 부호화 데이터에서의 실제의 발생 부호량의 비율에 의해 보정 계수(ADJUST(n+1))를 설정하고((18)식), 이로써 예를 들면 화상이 변화하여 진정한 예측 부호량(TRUE PRED(n))의 정밀도가 일시적으로 저하된 경우라도, 이 화질의 변화에 대응하도록 보정 계수(ADJUST(n+1))를 보정하여 진정한 예측 부호량(TRUE PRED(n))의 정밀도를 높일 수 있고, 이로써 신 체인지 등에 의해 화상이 변화하는 경우에도, 각 픽처에 적절하게 부호량을 할당하여, 화질을 향상할 수 있다.

또한 적어도 각 픽처 타입의 시퀀스 선두에서는, 고정된 양자화 스케일(QP INIT)에 의해 부호화 처리하도록 하여, 이 픽처에서의 실제의 발생 부호량(BIT(0))을 기준으로 하여, 이 픽처에서의 특징량과, 부호화 대상의 픽처에서 검출되는 특징량의 비율에 의해 부호화 대상의 픽처에 관해 어림셈의 예측 부호량(ROUGH PRED(n))을 구하고, 이 어림셈의 예측 부호량(ROUGH PRED(n))을 보정하여 진정한 예측 부호량(TRUE PRED(n))을 구함에 의해, 이 인코더(14)에서는, 고정된 양자화 스케일(QP INIT)을 기준으로 하여, 이 고정된 양자화 스케일(QP INIT)에 관한 특징량(BD(0))에 대한 부호화 대상의 픽처에서 검출되는 특징량(BD(n))의 상대적인 변 화에 의해 양자화 스케일이 제어되어 부호화 처리되게 된다.

이로써 고정 양자화 스케일로 부호화를 행한 경우의 부호량과 거의 동등한 부호량을, 화상의 부호화 전에 고정밀도로 예측할 수 있다.

또한 이로써 소망하는 화질에 응하여 이 고정된 양자화 스케일(QP INIT)을 설정함에 의해, 평균 발생 부호량을 여러가지로 설정할 수 있고, 이로써 간이한 설정에 의해 여러가지로 화질을 설정할 수 있다. 즉 이 인코더(14)에서는, 기록 매체에의 기록 모드의 전환에 의해, 제어부(5)에 의해 이 각 픽처 타입의 시퀀스 선두에 관한 양자화 스케일(QP INIT)이 전환되고, 이로써 기록 모드에 응하여 화질이 전환된다(도 9).

그리하여 이 인코더(14)에서는, 이와 같이 하여 검출된 진정한 예측 부호량(TRUE PRED(n))을 일정 값인 상한 레이트(LIMIT RATE)에 의해 판정하여, 진정한 예측 부호량(TRUE PRED(n))이 상한 레이트(LIMIT RATE)보다 작은 경우, 진정한 예측 부호량(TRUE PRED(n))을 목표 부호량(TARGET(n))으로 설정함에 의해, VBR에 의해 부호화 처리를 실행하고, 또한 진정한 예측 부호량(TRUE PRED(n))이 상한 레이트(LIMIT RATE)보다 큰 경우, 상한 레이트(LIMIT RATE)에 대응하는 부호량을 목표 부호량으로 설정함에 의해, CBR에 의해 부호화 처리한다((11)식). 또한 이 목표 부호량이 되도록, TM(5)의 스텝 2의 처리에 의해, 양자화 스케일을 설정하여 입력 화상 데이터가 부호화 처리된다((12) 내지 (16)식). 이로써 인코더(14)는, CBR에 의해 기록 매체(2)에의 기록 가능 시간을 담보하면서, 발생 부호량이 적은 경우에는 VBR에 의해 부호화 처리하여 부호화 효율을 향상한다.

또한 이와 같이 VBR에 의한 부호화와 CBR에 의한 부호화를 진정한 발생 부호량에 의해 전환하도록 하여, 이 진정한 발생 부호량의 예측 정밀도가 향상하고 있음에 의해, 이들 VBR에 의한 부호화와 CBR에 의한 부호화를 원활하게 또한 순식간에 전환할 수 있고, 이로써 이와 같은 전환시에 있어서의 위화감의 발생을 방지할 수 있다.

또한 이와 같이 하여 VBR과 CBR로 부호화 제어를 전환하도록 하여, 기록 모드에 응하여 제어부(5)에 의해 이 상한 레이트(LIMIT RATE)가 변환되고, 이로써 기록 모드에 응하여 부호화 데이터의 레이트가 전환된다(도 9). 이때 이 상한 레이트(LIMIT RATE)의 전환에 연동하여 시퀀스 선두에 관한 양자화 스케일(QP INIT)을 전환함에 의해, 부호화 데이터의 레이트의 전환에 대응하도록, 평균 발생 부호량을 전환할 수 있고, 이로써 동작 모드의 전환에 대해 VBR에 의한 화상과 CBR에 의한 화상에서 거의 동등하게 화질을 전환할 수 있어서, 동작 모드의 전환에 의한 위화감을 해소할 수 있다.

그런데 이와 같이 발생 부호량을 예측하여 VBR에 의해 부호화 데이터를 생성하는 경우에 있어서, 발생 부호량이 목표 부호량이 되도록 양자화 회로(35)에서의 양자화 스케일을 설정하여 부호화 처리하는 경우, 발생 부호량의 예측 기준인 고정된 양자화 스케일과는 다른 양자화 스케일에 의해 부호화되는 것으로 된다. 이 경우에, 실제의 발생 부호량에 의해 구한 보정 계수에 의해 어림셈의 발생 예측 부호량을 보정하여 진정한 발생 부호량을 구하도록 한 것에서는, 정밀도가 부족한 것으로 된다.

이 때문에 이 인코더(14)에서는, 양자화 회로(35)의 양자화 스케일을 일정 기준의 양자화 스케일인 시퀀스 선두의 고정된 양자화 스케일로 설정하였다고 한 경우에 예측되는 발생 부호량에, 진정한 발생 부호량(TRUE PRED(n))을 보정한다. 보다 구체적으로는, (17)식의 연산 처리에 의해, 실제의 발생 부호량을, 부호화의 처리에 의한 양자화 스케일을 시퀀스 선두의 고정된 양자화 스케일로 설정한 경우의 발생 부호량으로 환산하고, 해당 환산한 발생 부호량에 의해 대응하는 픽처 타입의 보정 계수를 생성한다.

이로써 인코더(14)에서는, 레이트 제어를 건 상태에서도, 통상은 고정 양자화 스케일로 부호화한 경우와 동등한 발생 부호량을 생성하기 때문에, 각 픽처에 적절하게 부호량을 설정하여 화질을 향상할 수 있다. 또한 이와 같은 보정을 보정 계수(ADJUST(n))의 설정에 관한 피드백의 처리에 의해 실행함에 의해, 그만큼, 처리를 간략화할 수 있다.

또한 이와 같이 하여 발생 부호량을 예측하면서 VBR과 CBR을 전환하여 부호화 처리하도록 하여, CBR의 부호화 제어에 있어서, 예를 들면 MPEG2에 적용되고 있는 TM(5) 등의 종래 수법에 의해 각 픽처의 목표 부호량을 설정한 것에서는, 발생 부호량에 있어서의 맥동, 이른바 날뜀(あばれ)이 커진다(도 5). 즉 TM(5)의 수법에서는, 하나의 GOP가 할당 부호량으로부터 하나의 픽처의 발생 부호량을 감산하여 나머지 할당 부호량을 계산하면서, 이 나머지 할당 부호량을 나머지 픽처에 순서대로 배분함에 의해, GOP 경계에서 발생 비트의 날뜀, 맥동이 발생하기 쉽고, 특히 GOP 내에서 난이도가 변화하는 경우에, 각 픽처에의 부호량의 할당을 적절하게 실 행할 수 없게 된다.

이 때문에 인코더(14)에서는, 대응하는 픽처 타입에 의한 어림셈의 예측 부호량과 함께, 부호화 처리에 제공하는 픽처를 다른 픽처 타입에 의해 부호화 처리한 경우의, 다른 픽처 타입에 의한 어림셈의 예측 부호량이 아울러서 구하여지고, 또한 이 다른 픽처 타입에 의한 어림셈의 예측 부호량으로부터, 다른 픽처 타입에 의한 진정한 예측 부호량이 아울러서 구하여진다. 또한 이들 대응하는 픽처 타입에 의한 진정한 예측 부호량과 다른 픽처 타입에 의한 진정한 예측 부호량에 의해, 시퀀스의 픽처마다 그 시퀀스의 순간적인 레이트가 계측되고((6)식), 이 순간적인 레이트를 이용하여, 할당 가능한 부호량을 배분하여, 목표 부호량이 설정된다((7) 내지 (10)식).

보다 구체적으로는, 대응하는 픽처 타입에 의한 진정한 예측 부호량과, 다른 픽처 타입에 의한 진정한 예측 부호량이, 1GOP에서의 각 픽처의 발생 부호량이라는 가정에 의해, 할당 가능한 부호량을 배분하여, 목표 부호량이 설정된다.

이로써 GOP에서 난이도가 변화하고 있는 경우라도, 이 변화에 대응하여 각 픽처에의 목표 부호량의 설정 시점에서, 각각 최적의 배분에 의해 목표 부호량을 할당할 수 있고, 이로써 한층 더 적절하게 각 픽처에 부호량을 할당할 수 있다. 이로써 발생 부호량의 맥동, 날뜀을 방지하여 화질을 향상할 수 있다.

이에 대해 VBR에 의한 부호화 처리에서, 단지 고정된 양자화 스케일에 의해 부호화 처리한 것에서는, 난이도가 낮은 시퀀스로 화질 열화가 눈에 띄게 된다. 그와 관련하여, 이와 같은 화질 열화를 회피하기 위해, 이와 같은 난이도가 낮은 시 퀀스를 중심으로 양자화 스케일을 조정하면, 난이도가 높은 시퀀스가 연속한 경우에, 기록 시간을 보증하는 것이 곤란해진다.

이 때문에 인코더(14)에서는, 시퀀스의 픽처마다 그 시퀀스의 순간 레이트가 계측되고((5)식), 이로써 시퀀스의 순간적인 난이도가 파악된다. 또한 난이도가 낮은 순간 레이트가 낮은 시퀀스인 경우, 의도적으로 압축률을 내리고((3) 및 (4)식), 이로서 이와 같은 난이도가 낮은 시퀀스에서의 화질 열화가 방지된다.

즉 진정한 예측 부호량이, CBR과의 전환에 관한 일정치보다 작은 화질 개선용의 기준치보다 작은 경우, 진정한 예측 부호량이 저하함에 따라 증대하는 계수에 의해, 진정한 예측 부호량을 증대시켜서 목표 부호량이 설정되고, 이로써 난이도가 낮은 시퀀스에서의 화질 열화가 방지된다.

또한 이와 같이 하여 화질 열화를 방지하도록 하여, 이 계수의 증대를 일정치에 의해 제한함에 의해, 예를 들면 렌즈 캡을 한 상태에서 잘못하여 촬영을 시작한 경우와 같은 경우에 관해서는, 발생 부호량을 저감하여 필요없는 기록 용량의 소비를 저감할 수 있다.

(3) 실시예 1의 효과

이상의 구성에 의하면, 입력 화상 데이터로부터 예측되는 어림셈의 발생 부호량을 보정 계수에 의해 보정하여 진정한 예측 부호량을 계산하고, 이 진정한 예측 부호량에 의거하여, 입력 화상 데이터를 부호화 처리하도록 하여, 실제의 발생 부호량에 의해 대응하는 픽처 타입의 보정 계수를 설정함에 의해, 1패스 방식에 의해 기록 시간을 보증하는 경우에도, 나아가서는 많은 예측 모드가 존재하는 경우에 도, 각 픽처에 적절하게 부호량을 할당할 수 있다.

또한 이때, 부호화 처리를 완료한 픽처에서 검출되는 어림셈의 예측 부호량과, 대응하는 부호화 데이터에서의 실제의 발생 부호량의 비율에 의해 보정 계수를 설정함에 의해, 신 체인지 등에 의해 화상이 변화하는 경우에도, 각 픽처에 적절하게 부호량을 할당하여, 화질을 향상할 수 있다.

또한 적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 입력 화상 데이터를 부호화 처리하고, 이 고정된 양자화 스케일에 의한 실제의 발생 부호량을 기준으로 하여, 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 특징량의 비율에 의해, 부호화 대상의 픽처에 관해 어림셈의 예측 부호량을 계산함에 의해, 이 고정된 양자화 스케일에 의한 발생 부호량을 기준으로 하여, 고정밀도로 발생 부호량을 예측하여 적절하게 부호량을 할당할 수 있다.

그리하여 이 진정한 예측 부호량에 의거하여 목표 부호량을 설정하도록, 또한 실제의 발생 부호량이 이 목표 부호량이 되도록, 양자화 스케일을 설정하여 부호화 처리하도록 하여, 진정한 예측 부호량이 일정치보다 작은 경우, 진정한 예측 부호량을 목표 부호량으로 설정하고, 진정한 예측 부호량이 이 일정치보다 큰 경우, 이 일정치에 대응하는 부호량을 목표 부호량으로 설정함에 의해, 기록 매체에의 기록 가능 시간을 보증하여, 부호화 효율을 향상할 수 있다.

또한 유저에 의한 조작에 응동하여 각 시퀀스 선두에 관한 고정된 양자화 스케일을 전환함에 의해, 부호화 데이터의 평균 발생 부호량을 전환할 수 있고, 이로 써 소망하는 화질에 의해 촬상 결과를 기록할 수 있다.

또한 이 고정된 양자화 스케일의 전환에 연동하여, VBR과 CBR과의 부호화 제어의 전환에 관한 일정치를 전환함에 의해, 기록 가능 시간의 전환에 연동시켜서 평균 발생 부호량을 전환하여, 화질을 전환할 수 있다.

또한 진정한 예측 부호량에 의거하여 목표 부호량을 설정하고, 이 목표 부호량이 되도록 양자화 스케일을 설정하여 부호화 처리하도록 하여, 이 양자화 스케일을 일정 기준의 양자화 스케일로 설정하였다고 한 경우에 예측되는 발생 부호량에, 진정한 발생 부호량을 보정함에 의해, VBR에 의해 부호화 처리하는 경우에도, CBR에 의한 발생 부호량을 정밀도 좋게 구할 수 있고, 이것에 의해서도 각 픽처에 적절하게 부호량을 할당할 수 있다.

구체적으로, 실제의 발생 부호량을, 부호화의 스텝에서의 양자화 스케일을 시퀀스 선두의 고정된 양자화 스케일로 설정한 경우의 발생 부호량으로 환산하고, 이 환산한 발생 부호량에 의해 보정 계수를 생성함에 의해, 보정 계수의 설정에 관한 피드백의 처리에 있어서, 아울러서 진정한 예측 부호량을 보정할 수 있고, 그만큼, 처리를 간략화할 수 있다.

또한 구체적으로, (17)식의 연산 처리에 의해 발생 부호량을 환산하도록 하여, 정밀도 좋게 발생 부호량을 예측할 수 있고, 나아가서는 이 (17)식에서의 정수(k)를 -0.110<k<-0.115로 설정하여 실용상 충분히 정밀도 좋게 발생 부호량을 예측할 수 있다. 또한 보다 바람직하게는 k =-0.1126으로서 충분한 정밀도를 확보할 수 있다.

또한 다른 픽처 타입에 의해 부호화 처리한 경우의 다른 픽처 타입에 의한 어림셈의 예측 부호량, 진정한 예측 부호량을 아울러서 구하고, 대응하는 픽처 타입에 의한 진정한 예측 부호량과 다른 픽처 타입에 의한 진정한 예측 부호량에 의해, 할당 가능한 부호량을 배분하여, 목표 부호량을 설정함에 의해, 발생 부호량의 맥동, 날뜀을 유효하게 회피할 수 있고, 그만큼, 화질을 향상할 수 있다.

구체적으로, 대응하는 픽처 타입에 의한 진정한 예측 부호량과, 다른 픽처 타입에 의한 진정한 예측 부호량이, 1GOP에서의 각 픽처의 발생 부호량이라는 가정에 의해 할당 가능한 부호량을 배분하여, 목표 부호량을 설정함에 의해, 발생 부호량의 맥동, 날뜀을 유효하게 회피할 수 있고, 그만큼, 화질을 향상할 수 있다.

또한 진정한 예측 부호량이, VBR과 CBR의 전환에 관한 일정치보다 작은 화질 개선용의 기준치보다 작은 경우, 진정한 예측 부호량이 저하함에 따라 증대하는 계수에 의해, 진정한 예측 부호량을 증대시켜서 목표 부호량으로 설정함에 의해, 부호화의 곤란도가 낮은 경우의 화질 열화를 눈에 띄지 않게 할 수 있다.

또한 이때 이 계수의 증대를 일정치에 의해 제한함에 의해, 부호화의 곤란도가 현저하게 낮은 경우에 있어서의 쓸데없는 기록 매체의 소비를 방지할 수 있다.

(4) 실시예 2

도 10은, 본 발명의 실시예 2에 관한 퍼스널 컴퓨터를 도시하는 블록도이다. 이 실시예에서는, 이 퍼스널 컴퓨터(60)에서의 처리에 의해 화상 데이터를 부호화 처리한다.

즉 이 퍼스널 컴퓨터(60)는, 입출력 인터페이스(61)를 통하여 버스(BUS)에 각종의 입출력 인터페이스가 접속된다. 여기서 이 입출력 인터페이스는, 키보드, 마우스 등에 의한 입력부(62), 표시 장치, 스피커 등에 의한 출력부(63), 하드 디스크 장치 등에 의한 기억부(64), 모뎀 등에 의한 통신부(65), 광디스크, 자기 디스크 등의 기록 매체(66)의 기록 재생에 관한 드라이브(67) 등에 의해 형성된다.

퍼스널 컴퓨터(60)는, 리드 온리 메모리(ROM)(68)의 기록에 의거하여 중앙 처리 유닛(CPU)(69)에 의해 전체의 동작이 시작되고, 랜덤 액세스 메모리(RAM)(70)에 워크 에어리어를 확보하여 중앙 처리 유닛(69)에 의해 기억부(64)에 기록된 각종 어플리케이션 프로그램을 실행함에 의해, 소망하는 처리를 실행한다. 이 퍼스널 컴퓨터(60)는, 이 어플리케이션 프로그램의 하나로, 광디스크에의 화상 데이터의 기록 재생에 관한 어플리케이션 프로그램이 마련되고, 이 어플리케이션 프로그램에서의 기록시의 부호화 처리에 관한 부호화 처리 프로그램에, 실시예 1에 관해 상술한 인코더(14)를 소프트웨어에 의해 구성하는 부호화 처리의 프로그램이 마련된다. 또한 이 실시예에서는, 이 부호화 처리의 프로그램의 실행에 의해 화상 데이터를 부호화 처리하는 점을 제외하고, 실시예 1에 관해 상술한 인코더(14)와 동일하게 구성된다.

여기서 도 11은, 이 부호화 처리의 프로그램에 관한 중앙 처리 유닛(69)의 처리 순서를 도시하는 플로우 차트이다. 중앙 처리 유닛(69)은, 이 처리 순서를 시작하면, 스텝 SP1부터 스텝 SP2로 이동하고, 입력 화상 데이터를 인트라 예측, 간이 인터 예측하고, 도 3에 관해 상술한 감산 회로(42, 45)로부터 출력되는 예측 잔차 데이터를 검출한다. 또한 계속되는 스텝 SP3에서, 해당 픽처의 최후의 매크로 블록까지 처리를 완료하였는지의 여부를 판단하고, 여기서 부정 결과가 얻어지면, 스텝 SP2로 되돌아와, 계속되는 매크로 블록에 관해 예측 잔차 데이터를 검출한다. 이에 대해 스텝 SP3에서 긍정 결과가 얻어지면, 스텝 SP3부터 스텝 SP4로 이동하고, (1) 내지 (2)식의 연산 처리를 실행하여 진정한 발생 부호량을 예측한다.

또한 계속되는 스텝 SP5에서, (3) 내지 (10)식의 연산 처리를 실행하여 VBR, CBR의 목표 부호량을 계산하고, 식(11)에 표시하는 이들의 목표 부호량의 비교에 의해 최종적인 목표 부호량(TARGET(n))을 검출한다.

또한 계속되는 스텝 SP6에서, 본래의 인트라 예측, 인터 예측에 관한 최적의 예측 모드를 검출한다. 또한 계속되는 스텝 SP7에서, 이 최적의 예측 모드에 의해 본래의 부호화 처리에 관한 예측 잔차 데이터를 생성하고, 이 예측 잔차 데이터를 디스크리트 코사인 변환 처리하여 계수 데이터를 얻고, 이 계수 데이터를 양자화 처리, 가역 부호화 처리하여 부호화 데이터를 생성한다. 이 처리에서, 중앙 처리 유닛(69)은, 실제의 발생 부호량이 스텝 SP5에서 구한 목표 부호량이 되도록, (12) 내지 (16)식의 연산 처리를 실행하여 매크로 블록마다, 양자화 스케일을 설정하여 부호화 데이터를 생성한다.

또한 계속되는 스텝 SP8에서, 부호화 데이터를 역양자화 처리, 역디스크리트 코사인 변환 처리하고, 예측 잔차 데이터를 복호하고, 계속되는 스텝 SP9에서, 이 복호한 예측 잔차 데이터로부터 화상 데이터를 복호하여 디블록 필터에 의해 블록 왜곡을 제거하고, 프레임 메모리인 랜덤 액세스 메모리(70)에 또는 기억부(64)에 일시 격납한다.

계속해서 중앙 처리 유닛(69)은, 스텝 SP10에서, 해당 픽처의 최후의 매크로 블록까지 처리를 완료하였는지의 여부를 판단하고, 여기서 부정 결과가 얻어지면, 스텝 SP6으로 되돌아와, 계속되는 매크로 블록에 관해 부호화 처리를 시작한다. 이에 대해 스텝 SP10에서 긍정 결과가 얻어지면, 스텝 SP10부터 스텝 SP11로 이동하고, (17)식에 관한 연산 처리를 실행하여 실제의 발생 부호량을 고정된 양자화 스케일에 의한 발생 부호량으로 환산한다. 또한 계속되는 스텝 SP12에서, 이 환산한 발생 부호량을 이용하여 (18)식의 연산 처리를 실행하여 보정 계수를 생성한다.

중앙 처리 유닛(69)은, 계속되는 스텝 SP13에서, 시퀀스의 최후까지 부호화 처리를 완료하였는지의 여부를 판단하고, 여기서 부정 결과가 얻어지면, 스텝 SP2로 되돌아와 계속되는 픽처의 처리를 시작함에 대해, 스텝 SP13에서 긍정 결과가 얻어지면, 스텝 SP13부터 스텝 SP14로 이동하고 이 처리 순서를 종료한다.

도 12는, 도 11의 처리 순서에 관한 스텝 SP2의 처리를 상세히 도시하는 플로우 차트이다. 중앙 처리 유닛(69)은, 이 처리 순서를 시작하면, 스텝 SP21부터 스텝 SP22로 이동하고, 인트라 예측에 관한 예측 화상 데이터를 생성하고, 계속되는 스텝 SP22에서, 이 인트라 예측에 관한 예측 화상 데이터를 이용하여 인트라 예측에 관한 예측 잔차 데이터를 계산한다.

또한 계속되는 스텝 SP24에서, 부호화 처리 대상의 픽처가 인터 예측의 적용이 어느 B, P픽처인지의 여부를 판단하고, 여기서 부정 결과가 얻어지면, 스텝 SP24부터 스텝 SP25로 이동하고, 이 인트라 예측에 관한 예측 잔차 데이터의 합계치를 이 매크로 블록에서의 잔차 데이터 BD로 설정한 후, 스텝 SP26으로 이동하여 원래의 처리 순서로 되돌아온다.

이에 대해 스텝 SP24에서 긍정 결과가 얻어지면, 중앙 처리 유닛(69)은, 스텝 SP24부터 스텝 SP27로 이동하고, 입력 화상 데이터로부터 간이 인터 예측에 관한 예측 화상 데이터를 생성하고, 계속되는 스텝 SP28에서, 이 예측 화상 데이터에 의해 인터 예측에 의한 예측 잔차 데이터를 계산한다. 또한 계속되는 스텝 SP29에서, 인터 예측에 의한 예측 잔차 데이터의 합계치와, 인트라 예측에 의한 예측 잔차 데이터의 합계치를 비교하고, 인트라 예측에 의한 예측 잔차 데이터의 합계치의 쪽이 작은 경우, 스텝 SP25로 이동하고, 인트라 예측에 의한 예측 잔차 데이터의 합계치를 이 매크로 블록에서의 잔차 데이터 BD로 설정한 후, 스텝 SP26으로 이동하여 원래의 처리 순서로 되돌아온다.

이에 대해 인터 예측에 의한 예측 잔차 데이터의 합계치의 쪽이 작은 경우, 스텝 SP29부터 스텝 SP30으로 이동하여, 이 인터 예측에 의한 예측 잔차 데이터의 합계치를 이 매크로 블록에서의 잔차 데이터 BD로 설정한 후, 스텝 SP26으로 이동하여 원래의 처리 순서로 되돌아온다.

또한 이 제 10도 및 도 11에 도시하는 처리 순서에서는 도시되어 있지 않지만, (7)식의 연산 처리에 필요한 다른 픽처 타입에 의해 부호화 처리한 경우의 발생 부호량에 있어서도, 중앙 처리 유닛(69)은, 이 일련의 처리 순서에서, 아울러서 계산한다.

이 실시예에 의하면, 부호화 처리의 프로그램의 실행에 의해 화상 데이터를 부호화 처리한 경우에도, 실시예 1과 같은 효과를 얻을 수 있다.

(5) 실시예 3

도 13은, 본 발명의 제 3의 실시예에 관한 인코더를 도시하는 블록도이다. 이 인코더(74)는, MPEG2에 의해 입력 화상 데이터(D1)를 부호화 처리한다.

즉 이 인코더(74)는, 감산 회로(75)를 통하여 입력 화상 데이터(D1)를 디스크리트 코사인 변환 회로(76)에 입력하고, 이 디스크리트 코사인 변환 회로(76)에 의해 계수 데이터를 생성한다. 또한 이 계수 데이터를 양자화 회로(77)에 의해 양자화 처리하고, 가역 부호화 회로(78)를 통하여 부호화 데이터(D2)에 의해 출력한다. 또한 역양자화 회로(79), 역디스크리트 코사인 변환 회로(80), 가산 회로(81)에 의해, 입력 화상 데이터(D1)를 복호하여 프레임 메모리(82)에 기록한다. 또한 P픽처, B픽처에서, 이 프레임 메모리(82)에 기록된 화상 데이터를 이용한 움직임 보상에 의해 예측 화상 데이터를 생성하고, 이 예측 화상 데이터를 감산 회로(75)에 입력한다.

이 인코더(74)에서, 부호화 제어 회로(83)는, 이 입력 화상 데이터(D1)로부터 발생 부호량을 예측하고, 이 예측 결과에 의해 양자화 회로(77)의 양자화 스케일을 설정하고, 이들에 의해 1패스 방식에 의한 CBR에 의해 화상 데이터(D1)를 부호화 처리한다.

즉 부호화 제어 회로(83)에서, 디피컬티 검출 회로(84)는, 매크로 블록마다, 부호화 처리의 곤란도를 나타내는 특징량을 검출한다. 여기서 이 특징량의 검출에서는, 여러가지의 수법을 적용할 수 있고, 예를 들면 입력 화상 데이터에서의 고주파 성분의 신호 레벨 등을 적용할 수 있다.

발생 부호량 예측 회로(85)는, 이 디피컬티 검출 회로(84)에서 검출되는 특징량을 픽처 단위로 합계하고, 그 결과 얻어지는 합계치에 의해 각 픽처의 진정한 발생 부호량, 다른 픽처 타입으로 부호화 처리한 경우의 진정한 발생 부호량을 검출한다.

목표 부호량 결정 회로(86)는, 이 발생 부호량 예측 회로(85)의 처리 결과에 의거하여, 각 픽처의 목표 부호량을 계산하고, 실제의 발생 부호량이 이 목표 부호량이 되도록, 양자화 회로(77)의 양자화 스케일을 설정한다.

도 14는, 도 4과의 대비에 의해, 이들 발생 부호량 예측 회로(85), 목표 부호량 결정 회로(86)에 의한 구성을 상세히 도시하는 블록도이다.

발생 부호량 예측 회로(85)는, 잔차 데이터(MB BD)에 대신하여, 디피컬티 검출 회로(84)에서 검출되는 특징량을 이용하여, 어림셈의 발생 부호량, 진정한 발생 부호량을 계산하는 이외에, 실시예 1에 관해 상술한 발생 부호량 예측 회로(46)와 동일하게 구성된다.

이에 대해 목표 부호량 결정 회로(86)는, VBR에 관한 구성, CBR과 VBR의 전환에 관한 구성을 갖지 않는 점을 제외하고, 실시예 1에 관해 상술한 목표 부호량 결정 회로(47)와 동일하게 구성된다.

이 실시예에 의하면, 다수의 예측 모드를 갖지 않는 부호화 방식에 의해 부호화 처리하는 경우에도, 나아가서는 CBR만에 의한 부호화 처리하는 경우에도, 실시예 1에 관해 상술한 CBR에 의한 부호화 제어에 관한 효과와 동일한 효과를 얻을 수 있다.

즉 입력 화상 데이터로부터 예측되는 어림셈의 발생 부호량을 보정 계수에 의해 보정하여 진정한 예측 부호량을 계산하고, 이 진정한 예측 부호량에 의거하여 할당 가능한 부호량을 배분하여 입력 화상 데이터를 부호화 처리함에 의해, 1패스 방식에 의해 기록 시간을 보증하는 경우에, 각 픽처에 적절하게 부호량을 할당할 수 있다.

즉 종래의 MPEG2에서는, TM(5)에 의해 각 픽처에 목표 부호량을 설정하고 있고, 도 5 및 도 6에 관해 상술한 바와 같이, TM(5)에 의한 경우에는, 발생 부호량의 맥동, 날뜀이 현저하다. 그러나 이 실시예에 의하면, 순간 레이트에 의해 할당 가능한 부호량을 배분함에 의해, 이와 같은 발생 부호량의 맥동, 날뜀을 방지할 수 있고, 그만큼, 각 픽처에 적절하게 부호량을 할당할 수 있다. 또한 이 실시예에서는, 발생 부호량의 예측에 관한 피드백 루프의 구성이, 종래의 MPEG2에 의한 인코더에 비하여 복잡하게 되지만, 이 구성에서는, 예를 들면 MPEG2의 인코더와 AVC에 의한 인코더를 일체로 집적회로화 한 경우에, AVC에 의한 인코더에 실시예의 구성을 적용하여 그 구성의 일부를 MPEG2의 인코더로 이용함에 의해, 간략화할 수 있다.

(6) 다른 실시예

또한 상술한 실시예에서는, (17)식의 처리에 의해, 실제의 발생 부호량을, 일정 기준의 양자화 스케일에 의해 부호화 처리한 경우의 발생 부호량으로 환산하여, 진정한 발생 예측 부호량을 보정하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 예를 들면 별도로, 진정한 발생 예측 부호량을 보정하는 처리 를 마련하도록 하여도 좋고, 나아가서는 어림셈의 발생 예측 부호량의 보정에 의해 진정한 발생 예측 부호량을 보정하도록 하여도 좋다. 또한 이들의 경우에는, (17)식에 대응하여, 보정용의 계수를 별도 연산 처리할 것이 필요해진다.

또한 상술한 실시예에서는, (18)식의 처리에 의해, 직전의 픽처의 처리 결과만에 의거하여 보정 계수(ADJUST(n))를 설정하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 그때까지 사용하고 있던 보정 계수 ADJUST(n-1)를 직전의 픽처의 처리 결과에 의해 보정하여 보정 계수(ADJUST(n))를 설정하도록 하여도 좋다. 이와 같이 하면 스트로보 발광 등에 의한 일시적인 화질의 변화에 의해 진정한 발생 부호량의 예측 정밀도를 열화시키지 않도록 할 수 있다.

또한 상술한 실시예에서는, VBR과 CBR로 처리를 전환하는 경우, CBR만에 의해 부호화 처리한 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 평균 발생 부호량의 전환에 관한 구성, 곤란도가 낮은 경우에 압축률을 저하시키는 구성 등에서는, VBR만에 의해 부호화 처리하는 경우에도 널리 적용할 수 있다.

또한 상술한 실시예에서는, 디스크리트 코사인 변환 처리에 의해 직교 변환 처리한 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 칼넨·레베 변환 등에 의한 직교 변환 처리를 적용하는 경우 등에도 널리 적용할 수 있다.

또한 상술한 실시예에서는, AVC, MPEG2에 의해 부호화 처리하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 여러가지의 포맷에 의해 부호화 처리하는 경우에 널리 적용할 수 있다.

본 발명은, 부호화 방법, 부호화 장치, 부호화 처리의 프로그램 및 부호화 처리의 프로그램을 기록하는 기록 매체에 관한 것으로서, 예를 들면 비디오 카메라에 적용할 수 있다.

Claims (23)

1. 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처의 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 방법에 있어서,

   상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측의 스텝과,

   상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측의 스텝과,

   상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화의 스텝과,

   상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 설정하는 계수 설정의 스텝을 갖는 것을 특징으로 하는 부호화 방법.
2. 제 1항에 있어서,

   상기 계수 설정의 스텝은,

   부호화 처리를 완료한 픽처에서 검출되는 상기 어림셈의 예측 부호량과, 대응하는 상기 부호화 데이터에서의 실제의 발생 부호량의 비율에 의해 상기 보정 계수를 설정하는 것을 특징으로 하는 부호화 방법.
3. 제 1항에 있어서,

   상기 부호화의 스텝은,

   적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 상기 입력 화상 데이터를 부호화 처리하고,

   상기 어림셈의 부호량 예측의 스텝은,

   상기 고정된 양자화 스케일에 의한 상기 부호화 데이터의 실제의 발생 부호량을 기준으로 하여, 상기 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 상기 특징량의 비율에 의해, 상기 부호화 대상의 픽처에 관해 상기 어림셈의 예측 부호량을 계산한 것을 특징으로 하는 부호화 방법.
4. 제 1항에 있어서,

   상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며,

   상기 부호화의 스텝은,

   상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리함에 의해, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하고,

   상기 목표 부호량 설정의 스텝은,

   상기 진정한 예측 부호량이, 일정치보다 작은 경우, 상기 진정한 예측 부호량을 상기 목표 부호량으로 설정함에 의해, VBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하고,

   상기 진정한 예측 부호량이, 상기 일정치보다 큰 경우, 상기 일정치에 대응하는 부호량을 상기 목표 부호량으로 설정함에 의해, CBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하는 것을 특징으로 하는 부호화 방법.
5. 제 1항에 있어서,

   상기 부호화의 스텝은,

   적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 상기 입력 화상 데이터를 부호화 처리하고,

   상기 어림셈의 부호량 예측의 스텝은,

   상기 고정된 양자화 스케일에 의한 상기 부호화 데이터의 실제의 발생 부호량을 기준으로 하여, 상기 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 상기 특징량의 비율에 의해, 상기 부호화 대상의 픽처에 관해 상기 어림셈의 예측 부호량을 계산하고,

   상기 부호화 방법은,

   유저에 의한 조작에 응동하여 상기 고정된 양자화 스케일을 전환함에 의해, 상기 부호화 데이터의 평균 발생 부호량을 전환하는 것을 특징으로 하는 부호화 방법.
6. 제 5항에 있어서,

   상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며,

   상기 부호화의 스텝은,

   상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리함에 의해, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하고,

   상기 목표 부호량 설정의 스텝은,

   상기 진정한 예측 부호량이, 일정치보다 작은 경우, 상기 진정한 예측 부호량을 상기 목표 부호량으로 설정함에 의해, VBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하고,

   상기 진정한 예측 부호량이, 상기 일정치보다 큰 경우, 상기 일정치에 대응하는 부호량을 상기 목표 부호량으로 설정함에 의해, CBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하고,

   상기 부호화 방법은,

   상기 고정된 양자화 스케일의 전환에 연동하여, 상기 VBR과 CBR과의 부호화 제어의 전환에 관한 상기 일정치를 전환하는 것을 특징으로 하는 부호화 방법.
7. 제 6항에 있어서,

   상기 일정치 및 상기 양자화 스케일의 전환에 의해,

   상기 부호화 데이터를 기록하는 기록 매체의 기록 가능 시간을 전환하는 것을 특징으로 하는 부호화 방법.
8. 제 1항에 있어서,

   상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝과,

   상기 진정한 예측 부호량을 보정하는 보정의 스텝을 가지며,

   상기 부호화의 스텝은,

   상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리함에 의해, 상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하고,

   상기 보정의 스텝은,

   상기 양자화 스케일을 일정 기준의 양자화 스케일로 설정하였다고 한 경우에 예측되는 발생 부호량에, 상기 진정한 예측 부호량을 보정하는 것을 특징으로 하는 부호화 방법.
9. 제 8항에 있어서,

   상기 보정의 스텝은,

   상기 실제의 발생 부호량을, 상기 부호화의 스텝에서의 양자화 스케일을 일 정 기준의 양자화 스케일로 설정한 경우의 발생 부호량으로 환산하고, 해당 환산한 발생 부호량에 의해 상기 대응하는 픽처 타입의 상기 보정 계수를 설정함에 의해, 상기 진정한 예측 부호량을 보정하는 것을 특징으로 하는 부호화 방법.
10. 제 9항에 있어서,

    상기 계수 설정의 스텝은,

    BIT BY CONSTQ PRED=e＾(k*(QP CONSTQ-QP AVERAGE))*BIT의 연산에 의해, 상기 실제의 발생 부호량을 환산하는 것이며,

    여기서, BIT BY CONSTQ PRED는 환산 후의 발생 부호량이고, QP AVERAGE는 실제의 부호화를 행한 때의 각 매크로 블록에서의 양자화 스케일의 평균 양자화 스케일이고, QP CONSTQ는 상기 일정 기준의 양자화 스케일이고, BIT는 상기 실제의 발생 부호량이고, k는 계수이고, ＾는 누승(冪乘)의 연산자인 것을 특징으로 하는 부호화 방법.
11. 제 10항에 있어서,

    상기 계수(k)가 -0.1126인 것을 특징으로 하는 부호화 방법.
12. 제 8항에 있어서,

    상기 목표 부호량 설정의 스텝은,

    상기 진정한 예측 부호량이, 일정치보다 작은 경우, 상기 진정한 예측 부호 량을 상기 목표 부호량으로 설정함에 의해, VBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하고,

    상기 진정한 예측 부호량이, 상기 일정치보다 큰 경우, 상기 일정치에 대응하는 부호량을 상기 목표 부호량으로 설정함에 의해, CBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하는 것을 특징으로 하는 부호화 방법.
13. 제 8항에 있어서,

    상기 부호화의 스텝은,

    적어도 각 픽처 타입의 시퀀스 선두의 픽처에 관해서는, 사전에 설정되는 고정된 양자화 스케일에 의해 상기 입력 화상 데이터를 부호화 처리하고,

    상기 어림셈의 부호량 예측의 스텝은,

    상기 고정된 양자화 스케일에 의한 상기 부호화 데이터의 실제의 발생 부호량을 기준으로 하여, 상기 시퀀스 선두의 픽처에서 검출되는 부호화의 곤란도를 나타내는 특징량과, 부호화 대상의 픽처에서 검출되는 상기 특징량의 비율에 의해, 상기 부호화 대상의 픽처에 관해 상기 어림셈의 예측 부호량을 계산하고,

    상기 부호화 방법은,

    유저에 의한 조작에 응동하여 상기 고정된 양자화 스케일을 전환함에 의해, 상기 부호화 데이터의 평균 발생 부호량을 전환하는 것을 특징으로 하는 부호화 방법.
14. 제 13항에 있어서,

    상기 목표 부호량 설정의 스텝은,

    상기 진정한 예측 부호량이, 일정치보다 작은 경우, 상기 진정한 예측 부호량을 상기 목표 부호량으로 설정함에 의해, VBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하고,

    상기 진정한 예측 부호량이, 상기 일정치보다 큰 경우, 상기 일정치에 대응하는 부호량을 상기 목표 부호량으로 설정함에 의해, CBR에 의해 상기 부호화 데이터를 생성하도록, 상기 목표 부호량을 설정하고,

    상기 고정된 양자화 스케일의 전환에 연동하여, 상기 VBR과 CBR과의 부호화 제어의 전환에 관한 상기 일정치를 전환하는 것을 특징으로 하는 부호화 방법.
15. 제 14항에 있어서,

    상기 일정치 및 상기 양자화 스케일의 전환에 의해,

    상기 부호화 데이터를 기록하는 기록 매체의 기록 가능 시간을 전환하는 것을 특징으로 하는 부호화 방법.
16. 제 1항에 있어서,

    상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며,

    상기 부호화의 스텝은,

    상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리하고,

    상기 어림셈의 부호량 예측의 스텝은,

    부호화 처리에 제공하는 픽처를 다른 픽처 타입에 의해 부호화 처리한 경우의, 다른 픽처 타입에 의한 상기 어림셈의 예측 부호량을 아울러서 구하고,

    상기 진정한 부호량 예측의 스텝은,

    상기 다른 픽처 타입의 어림셈의 예측 부호량으로부터, 다른 픽처 타입에 의한 진정한 예측 부호량을 아울러서 구하고,

    상기 목표 부호량 설정의 스텝은,

    대응하는 픽처 타입에 의한 상기 진정한 예측 부호량과, 상기 다른 픽처 타입에 의한 진정한 예측 부호량에 의해, 할당 가능한 부호량을 배분하여, 상기 목표 부호량을 설정하는 것을 특징으로 하는 부호화 방법.
17. 제 16항에 있어서,

    상기 할당 가능한 부호량의 배분이,

    상기 대응하는 픽처 타입에 의한 상기 진정한 예측 부호량과, 상기 다른 픽처 타입에 의한 진정한 예측 부호량이, 1GOP에서의 각 픽처의 발생 부호량이라는 가정에 의한 배분인 것을 특징으로 하는 부호화 방법.
18. 제 1항에 있어서,

    상기 진정한 예측 부호량에 의거하여, 부호화 처리의 목표 부호량을 설정하는 목표 부호량 설정의 스텝을 가지며,

    상기 부호화의 스텝은,

    상기 부호화 데이터의 실제의 발생 부호량이 상기 목표 부호량이 되도록, 양자화 스케일을 설정하여 상기 입력 화상 데이터를 부호화 처리하고,

    상기 목표 부호량 설정의 스텝은,

    상기 진정한 예측 부호량이, 화질 개선용의 기준치보다 큰 일정치보다 작은 경우, 상기 진정한 예측 부호량을 상기 목표 부호량으로 설정함에 의해, VBR에 의해 상기 부호화 데이터를 생성하도록 설정함과 함께,

    상기 진정한 예측 부호량이, 상기 일정치보다 큰 경우, 상기 일정치에 대응하는 부호량을 상기 목표 부호량으로 설정함에 의해, CBR에 의해 상기 부호화 데이터를 생성하도록 설정하여,

    상기 진정한 예측 부호량이, 상기 화질 개선용의 기준치보다 작은 경우, 상기 진정한 예측 부호량이 저하함에 따라 증대하는 계수에 의해, 상기 진정한 예측 부호량을 증대시켜서 상기 목표 부호량으로 설정하는 것을 특징으로 하는 부호화 방법.
19. 제 18항에 있어서,

    상기 목표 부호량 설정의 스텝은,

    상기 계수의 증대를 일정치에 의해 제한하는 것을 특징으로 하는 부호화 방 법.
20. 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처마다 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 장치에 있어서,

    상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측 수단과,

    상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측 수단과,

    상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화 수단과,

    상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 설정하는 계수 설정 수단을 구비하는 것을 특징으로 하는 부호화 장치.
21. 제 20항에 있어서,

    상기 입력 화상 데이터를, 일체로 보존된 촬상 수단으로부터 입력하는 것을 특징으로 하는 부호화 장치.
22. 삭제
23. 연산 처리 수단에 의해 실행함에 의해, 입력 화상 데이터에 의한 픽처에 순차로 픽처 타입을 설정하고, 각 픽처의 발생 부호량을 예측하면서, 상기 입력 화상 데이터를 부호화 처리하여 부호화 데이터를 생성하는 부호화 처리의 프로그램을 기록하는 기록 매체에 있어서,

    상기 부호화 처리의 프로그램은,

    상기 입력 화상 데이터로부터 상기 부호화 데이터에서의 어림셈의 발생 부호량을 예측하여, 어림셈의 예측 부호량을 출력하는 어림셈의 부호량 예측의 스텝과,

    상기 픽처 타입에 따른 보정 계수에 의해, 상기 어림셈의 예측 부호량을 보정하여, 진정한 예측 부호량을 계산하는 진정한 부호량 예측의 스텝과,

    상기 진정한 예측 부호량에 의거하여, 상기 입력 화상 데이터를 부호화 처리하여 상기 부호화 데이터를 생성하는 부호화의 스텝과,

    상기 부호화 데이터의 실제의 발생 부호량을 검출하고, 대응하는 픽처 타입의 상기 보정 계수를 설정하는 계수 설정의 스텝을 갖는 것을 특징으로 하는 부호화 처리의 프로그램을 기록한 기록 매체.

Images