JP4089753B2 - 画像圧縮符号化装置及び方法、プログラム、並びに記録媒体 - Google Patents

Description

本発明は、例えばＭＰＥＧ（Moving Picture image coding Experts Group）等に適用され、例えばＤＣＴ（Discrete Cosine Transform）や、例えばＤＰＣＭ（Differential Pulse Code Modulation）を用いた符号化による発生情報量を制御可能な画像圧縮符号化装置及び方法、プログラム、並びに記録媒体に関する。

例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいて、動画像信号をそのままディジタル化すると情報量が極めて多くなる。しかし、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化することによって情報量を減らすことができ、一度に多くの動画像を伝送することが可能となり、ひいては、記録媒体に対して長時間の動画像を記録することが可能となる。動画像の高能率符号化方式として代表的なものとしてＭＰＥＧ方式がある。このＭＰＥＧ方式では、伝送路に送出されるビットストリームが所望のレートになるように、符号量制御を行う。

図１０は、ＭＰＥＧ方式に代表される従来の画像圧縮符号化装置７の構成を示している。この従来の画像圧縮符号化装置７は、入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現する。この画像圧縮符号化装置７は、端子７１と、ブロック分割部７２と、ＤＣＴ部７３と、量子化部７４と、可変長符号化部７５と、バッファ７９とを備える。

この図１０において、端子７１には、輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。

ブロック分割部７２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、ＤＣＴ部７３へ出力する。

ＤＣＴ部７３は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、量子化部７４へ出力する。量子化部７４は、ＤＣＴ部７３から入力されたＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化する。量子化部７４は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部７５へ供給する。可変長符号化部７５は、量子化部７４から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。

ちなみに、この画像圧縮符号化装置７における符号量制御は、量子化ステップを制御することにより行なう。この符号量制御は、例えば仮想バッファの残量と、以前エンコーダした際の量子化ステップと発生符号量の関係を用いてフィードバック制御することにより行なう場合もある。

なお、この画像圧縮符号化装置７では、１フレーム（等長化単位）において発生する総符号量が、常に設定された目標符号量を越えないように符号量制御を行なう必要がある。しかしながら、目標符号量を満たすために、総符号量を多量に残してしまうと、却って画像品質の悪化を招くことになる。このため、従来において、目標符号量を満たしつつ総符号量を使い切るための符号量制御方法が提案されている。この符号量制御方法では、等長化単位において発生する符号量を、複数の量子化ステップについて予め計算し、発生符号量が目標符号量を越えない範囲で適切な量子化ステップを決定するものであり、例えばフィードフォワード方式として提案されている（例えば、特許文献１参照。）。

この従来のフィードフォワード方式等の符号量制御方法において、量子化ステップを大きくすると量子化が粗くなり総符号量が小さくなり、一方量子化ステップを小さくすると、量子化は細かくなり総符号量も多くなる。また量子化では離散値のみ取得することしかできないため、総符号量も離散的になる。すなわち、この量子化ステップをブロック単位で制御することにより、総符号量を制御することが可能となる。目標符号量を満たしつつ総符号量を使い切るためには、目標符号量以下であり、かつ一番小さな量子化ステップをブロック毎に選択する必要がある。

ちなみにこのＤＣＴ係数を、ブロック単位で決められた量子化ステップにより量子化するフィードフォワード方式は、画像の圧縮・伸張の過程において何らかの歪みが付加されるため、完全にもとの画像品質を保つことはできない。このため、理想的には、例えばＤＰＣＭのように、圧縮・伸張の過程を経てもとの情報を保存可能な可逆符号化（Lossless）方式を採用することにより、画質の劣化を防止する必要があった。

国際公開公報ＷＯ９６／２８９３７

ところで、上述した可逆符号化方式を採用した場合に、設定された目標符号量を越えないような符号量制御を実現することができない場合があるため、フィードフォワード方式と可逆符号化方式を組み合わせ、目標符号量を越えないようにフレーム総符号量を使い切る必要がある。

しかしながら、ブロック毎に各方式を効率良く選択することができず、目標符号量を参照しつつ、フレーム全体の総符号量を制御することができないという問題点があった。

そこで本発明は上述した実情に鑑みて提案されたものであり、各ブロック毎にフィードフォワード方式、或いは可逆符号化方式を効率よく選択することにより、フレーム全体の総符号量を効率良く制御可能な画像圧縮符号化装置及び方法、プログラム、並びに記録媒体を提案することを目的とする。

本発明を適用した画像符号化装置は、上述した問題点を解決するために、入力画像信号を符号化方式選択単位で符号化する画像符号化装置において、上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力する選択手段と、上記選択手段により出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替える切替手段と、上記切替手段により切り替えられた符号量を符号化方式選択単位毎に加算することにより得られた等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量に最も近い第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出する第１の算出手段と、上記第１、第２の総符号量の内、上記等長化単位の目標符号量から遠い方の総符号量を、上記第１の算出手段により算出された上記割当符号量を上記等長化単位分計算して得られる一時的総符号量に置き換え、目標符号量から遠い方の総符号量に対応する量子化ステップの上記符号化方式選択単位毎の符号量として上記割当符号量を割り振った後、これらの２つの総符号量に対応する量子化ステップ毎に演算された上記符号化方式選択単位毎の符号量を線形補間することにより、上記符号化方式選択単位毎に新たな割当符号量を算出する第２の算出手段と、上記第２の算出手段により算出された上記新たな割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力する演算処理手段と、上記第２の算出手段により算出された上記新たな割当符号量と上記演算処理手段により出力された選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化する符号化手段とを有することを特徴とする。

また、本発明を適用した画像符号化方法は、上述した問題点を解決するために、入力画像信号を符号化方式選択単位で符号化する画像符号化方法において、上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力し、上記出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替え、上記切り替えられた符号量を符号化方式選択単位毎に加算することにより得られた等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量に最も近い第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出し、上記第１、第２の総符号量の内、上記等長化単位の目標符号量から遠い方の総符号量を、上記算出された上記割当符号量を上記等長化単位分計算して得られる一時的総符号量に置き換え、目標符号量から遠い方の総符号量に対応する量子化ステップの上記符号化方式選択単位毎の符号量として上記割当符号量を割り振った後、これらの２つの総符号量に対応する量子化ステップ毎に演算された上記符号化方式選択単位毎の符号量を線形補間することにより、上記符号化方式選択単位毎に新たな割当符号量を算出し、算出された上記新たな割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力し、上記新たな割当符号量と上記選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化することを特徴とする。

また、本発明を適用したプログラムあるいはそのプログラムが記録された記録媒体では、上述した問題点を解決するために、入力画像信号を符号化方式選択単位で符号化する処理をコンピュータに実行させるためのプログラムあるいはそのプログラムが記録された記録媒体において、上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力し、上記出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替え、上記切り替えられた符号量を符号化方式選択単位毎に加算することにより得られた等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量に最も近い第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出し、上記第１、第２の総符号量の内、上記等長化単位の目標符号量から遠い方の総符号量を、上記算出された上記割当符号量を上記等長化単位分計算して得られる一時的総符号量に置き換え、目標符号量から遠い方の総符号量に対応する量子化ステップの上記符号化方式選択単位毎の符号量として上記割当符号量を割り振った後、これらの２つの総符号量に対応する量子化ステップ毎に演算された上記符号化方式選択単位毎の符号量を線形補間することにより、上記符号化方式選択単位毎に新たな割当符号量を算出し、算出された上記新たな割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力し、上記新たな割当符号量と上記選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化することをコンピュータに実行させる。

本発明によれば、符号化方式選択単位であるブロック毎に、多くの量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、また目標符号量を満たすように選択することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。

以下、本発明の実施の形態について説明する。

本実施の形態に係る画像圧縮符号化装置は、入力された画像信号を、例えばＤＣＴ（Discrete Cosine Transform）変換した上で量子化することにより非可逆的な画像圧縮を実現し、或いは入力された画像信号を、例えばＤＰＣＭ（Differential Pulse Code Modulation）等に基づき可逆的な符号化を実現する。

画像圧縮符号化装置１には、図１に示すように端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を、符号化方式選択単位で選択し、本線系２及び予測系４へ送信する。この符号化方式選択単位とは、例えば８×８のブロック単位、１６×１６のマクロブロック単位、スライス単位、又は複数の画素からなる画像領域に分割する場合を示すが、以下では、８×８のブロック単位で分割した場合を例にとり説明する。

本線系２は、ＦＩＦＯ（First In First Out）メモリ２１，ＤＣＴ部２２，ＦＩＦＯメモリ２３，二分探索部２４，量子化部２５，第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７，ＤＰＣＭ部２８，第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。

先ずＤＣＴパスについて説明する。本線系２に供給されたデータは、予測系４から後述するセレクト信号と符号量が供給されるまでのインターバルを調整するためにＦＩＦＯメモリ２１に一時格納される。このＦＩＦＯメモリ２１に格納されたデータは、ＤＣＴ部２２及びＦＩＦＯメモリ２７へ供給される。

ＤＣＴ部２２は、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、ＦＩＦＯメモリ２３及び二分探索部２４へ送信する。ＦＩＦＯメモリ２３に一時格納されたＤＣＴ係数は量子化部２５へ出力される。量子化部２５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で二分探索部２４により決められた量子化ステップにより量子化する。量子化部２５は、この量子化されたデータ（以下、量子化レベルと称する）を第１の可変長符号化部２６へ供給する。第１の可変長符号化部２６は、量子化部２５から供給された量子化レベルを、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。ちなみに本実施の形態に係る画像圧縮符号化装置１では、この第１の可変長符号化部２６を省略した構成を適用してもよい。

すなわち、このＤＣＴパスを経ることにより、二分探索部２４を介して各ブロック毎に供給される量子化ステップに基づき、画像信号を符号化することができるため、１フレームの総符号量が目標符号量を越えないように制御することが可能となる。この二分探索部２４を用いる方法は、一例に過ぎず、他の方式を用いてもよい。

次にＤＰＣＭパスについて説明をする。ＤＰＣＭ部２８は、上述したＤＣＴパスにおける遅延素子的な役割を担うＦＩＦＯメモリ２７上に格納されたデータが供給され、当該データに対してブロック毎にＤＰＣＭを施して第２の可変長符号化部２９へ供給する。第２の可変長符号化部２９は、ＤＰＣＭが施されたデータに対して、例えば２次元ハフマン符号化や、算術符号化等の方法により可変長符号化する。なお、この第２の可変長符号化部２９における可変長符号化の方法は、上述の第１の可変長符号化部２６における方法と同様である必要はない。また、本実施の形態に係る画像圧縮符号化装置１では、この第２の可変長符号化部２９を省略した構成を適用してもよい。

セレクタ３０は、第１の可変長符号化部２６、又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる。

すなわち、このＤＰＣＭパスを経ることにより、何らかの歪みが付加されることなく、完全にもとの画像品質を保つことができるように可逆符号化することができる。

予測系４は、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５，符号量変換器４６からなるＤＰＣＭパスと、演算部４４とを備える。この予測系４は、等長化単位で発生する総符号量を計算し、本線系２が目標符号量を越えない範囲で適切なＤＣＴパス或いはＤＰＣＭパスを選択できるように設けられたものである。この等長化単位とは、本実施の形態では１フレームを意味するが、係る場合に限定されるものではなく、例えば８×８のブロック、１６×１６のマクロブロック、それらの組み合わせたスライス単位としてもよい。またこの等長化単位は、複数の画素からなるいかなる画像領域であってもよく、さらにフレームを組み合わせたＧＯＰ単位としてもよい。

先ずＤＣＴパスについて説明をする。このＤＣＴパスは、例えば入力された画像信号をＤＣＴ変換した上で量子化するＤＣＴ符号化方式に基づき、非可逆的な画像圧縮を実現するものであり、ＤＰＣＭパスと比較して高圧縮率でロスが大きい。またこのＤＣＴパスにおける変換符号化は、ＤＣＴに限定されるものではなく、他の変換符号化方式を用いてもよい。またこのＤＣＴパスでは、８×８のブロック単位で変換符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。

ＤＣＴ部４１は、ＤＣＴ部２２と同様に、８×８のブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成し、各量子化器４２−１〜４２−ｎへ送信する。量子化器４２−１〜４２−ｎは、ＤＣＴ部４１から供給されたＤＣＴ係数を夫々異なる量子化ステップで量子化する。これにより、生成したＤＣＴ係数をｎ個の量子化ステップにより試すことが可能となる。また、各量子化器４２−１〜４２−ｎは、生成した量子化レベルを夫々符号量変換器４３−１〜４３−ｎへ供給する。符号量変換器４３−１〜４３−ｎは、供給される量子化レベルを夫々ブロック毎の符号量に変換し、演算部４４へ送信する。即ち、この符号量変換器４３−１〜４３−ｎにおける符号量の変換では、量子化器４２−１〜４２−ｎにより生成された量子化レベルを可変長符号化して、その符号長を出力するようにしてもよい。

次にＤＰＣＭパスについて説明をする。このＤＰＣＭパスは、例えばＤＰＣＭのように、圧縮、伸張の過程を経てもとの情報を保存可能な可逆符号化（Lossless）方式に基づき、可逆的な画像圧縮を実現するものであり、ＤＣＴパスと比較して低圧縮率でロスが小さい。またこのＤＰＣＭパスでは、８×８のブロック単位で符号化を行うが、かかる場合に限定されるものではなく、上述のマクロブロック単位でもよいし、また複数の画素からなる画像領域を一単位とするものであってもよい。

ＤＰＣＭ部４５は、ブロック分割部１２からデータを受給し、これらについてブロック毎にＤＰＣＭを施し、符号量変換器４６へ送信する。符号量変換器４６は、これらＤＰＣＭ化された信号についてブロック毎に符号化して演算部４４へ送信する。即ち、この符号量変換器４６においても、ＤＰＣＭ化された信号を可変長符号化して、その符号長を出力するようにしてもよい。

演算部４４には、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４４は、入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて本線系２へ出力する。ちなみにこの演算部４４において等長化単位の総符号量を求める場合には、ブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。

次に、この演算部４４による割当符号量の算出について説明をする。図２は、演算部４４の構成例を示している。演算部４４は、ｎ個の比較部１０１−１〜１０１−ｎと、ｎ個のセレクタ１０２−１〜１０２−ｎと、ｎ個のメモリ１０３−１〜１０３−ｎと、ｎ個の加算器１０４−１〜１０４−ｎと、ｎ個の累積回路１０５−１〜１０５−ｎと、演算処理部１０６とを備える。

比較部１０１−１〜１０１−ｎは、ｋ番目のブロックに関して、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量length(1,k)〜length(n,k)が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量dpcm(k)が入力される。例えば、比較部１０１−１には、符号量変換部４３−１からの符号量length(1,k)と、ＤＰＣＭ処理された符号量dpcm(k)が入力される。この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、とＤＰＣＭパスを介して入力された符号量dpcm(k)との間で、それぞれ小さい方を選択する。そして、この比較部１０１−１〜１０１−ｎは、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、及びＤＰＣＭパスを介して入力された符号量dpcm(k)のうち、いずれを選択したかを示すセレクト信号を出力する。

セレクタ１０２−１〜１０２−ｎは、比較部１０１−１〜１０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ１０２−１〜１０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ１０２−１〜１０２−ｎにより選択された符号量は、そのままメモリ１０３−１〜１０３−ｎ、加算器１０４−１〜１０４−ｎへ供給される。

メモリ１０３−１〜１０３−ｎは、各ブロック毎に、何れの符号量を選択したかを識別するためのセレクト信号と、セレクタ１０２−１〜１０２−ｎにおいて選択された符号量を格納する。すなわち等長化単位、例えば１フレーム分の処理が終了した段階で、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、１フレーム分格納されている状態となっている。換言すれば、各メモリ１０３−１〜１０３−ｎには、ブロック単位で選択した符号量として、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、又はＤＰＣＭパスを介して入力された符号量dpcm(k)のうち、いずれかが格納されている状態となる。従って、各メモリ１０３−１〜１０３−ｎを合わせると、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。

加算器１０４−１〜１０４−ｎ及び累積回路１０５−１〜１０５−ｎは、セレクタ１０２−１〜１０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量total(1)〜total(n)とする。累積回路１０５−１〜１０５−ｎは、得られた総符号量total(1)〜total(n)を順次演算処理部１０６へ送信する。

演算処理部１０６は、各累積回路１０５−１〜１０５−ｎから夫々総符号量total(1)〜total(n)を受信した場合に、以下の図３に示す手順を実行する。先ずステップＳ１において、演算処理部１０６は、等長化単位の目標符号量とこれらの総符号量total(1)〜total(n)を比較する。そして、この演算処理部１０６は、目標符号量を超える総符号量のうち、目標符号量に最も近い総符号量total(j-1)を特定する。即ち、この総符号量total(j-1)は、目標符号量の直上の符号量であり、換言すれば、目標符号量を超える総符号量のうち最小の符号量からなる。また、この演算処理部１０６は、目標符号量以下の総符号量のうち、目標符号量に最も近い総符号量total(j)を特定する。即ち、この総符号量total(j-1)は、目標符号量の直下の符号量であり、換言すれば、目標符号量以下の総符号量のうち最大の符号量からなる。

次にステップＳ２へ移行し、演算処理部１０６は、この識別したtotal(j-1)と、total(j)に基づき、メモリ１０３−ｊ−１、メモリ１０３−ｊに格納されている各ブロック毎の符号量とセレクト信号を読み出す。なお、メモリ１０３−ｊ−１には、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量length(j-1,k)、又はＤＰＣＭパスを介して入力された符号量dpcm(k)が格納されている。このため、このステップＳ２において、メモリ１０３−ｊ−１から読み出される符号量は、length(j-1,k)又はdpcm(k)となる。またメモリ１０３−ｊには、ｋ番目のブロックの符号量として、ＤＣＴパスを介して入力された符号量length(j,k)、又はＤＰＣＭパスを介して入力された符号量dpcm(k)が格納されている。このため、このステップＳ２においてメモリ１０３−ｊから読み出される符号量は、length(j,k)又はdpcm(k)となる。ちなみに、以後のステップでは、メモリ１０３−ｊ−１、メモリ１０３−ｊから読み出した各ブロック毎の符号量とセレクト信号を用いる。

次にステップＳ３へ移行し、この演算処理部１０６は、線形補間を用いることにより、各ブロックに対する割当符号量assign(k)を算出する。

ここで、等長化単位の目標符号量をＭとし、またメモリ１０３−ｊ−１から読み出された符号量がlength(j-1,k)であり、メモリ１０３−ｊから読み出された符号量がlength(j,k)である場合において、割当符号量assign(k)は、以下の式（１）により求められる。
assign(k) ＝｛(total(j-1)−Ｍ)＊length(j,k)＋(Ｍ−total(j))＊length(j-1,k)｝／｛total(j-1)−total(j)｝・・・・・・（１）
またメモリ１０３−ｊ−１から読み出された符号量がdpcm(k)であり、メモリ１０３−ｊから読み出された符号量がlength(j,k)である場合において、割当符号量assign(k)は、以下の式（２）により求められる。
assign(k) ＝｛(total(j-1)−Ｍ)＊length(j,k)＋(Ｍ−total(j))＊dpcm(k)｝／｛total(j-1)−total(j)｝・・・・・・・・・（２）
またメモリ１０３−ｊ−１から読み出された符号量がdpcm(k)であり、メモリ１０３−ｊから読み出された符号量がdpcm(k)である場合において、割当符号量assign(k)は、以下の式（３）により求められる。
assign(k) ＝｛(total(j-1)−Ｍ)＊dpcm(k)＋(Ｍ−total(j))＊ｄpcm(k)｝／｛total(j-1)−total(j)｝・・・・・・・・・・・（３）
上述のように各ブロック毎に割り当てる割当符号量assign(k)を求めることにより目標符号量に対して符号量のロスが少ない、高効率の符号量制御を実現することができる。

次にステップＳ４へ移行し、演算処理部１０６は、各ブロック毎に求めたassign(k)を、最後に各ブロック毎のdpcm(k)と比較する。その結果、assign(k)がdpcm(k)以上であれば、ステップＳ５へ移行し、またassign(k)がdpcm(k)を下回る場合には、ステップＳ６へ移行する。

ステップＳ５へ移行した場合には、ステップ当該ブロックｋについて、画像品質の高いＤＰＣＭパスを介して符号化しても、総符号量を目標符号量以下に抑えることができることを意味する。かかる場合において、演算処理部１０６は、セレクト信号をＤＰＣＭ側に切り替え、assign(k)をdpcm(k)に置き換えて出力する。

ステップＳ６へ移行した場合には、当該ブロックｋについては上述の如くassign(k)を求めることにより見積もった符号量よりも、ＤＰＣＭパスによる符号量の方が多いため、ＤＣＴ側を選択した方が、総符号量を目標符号量に対して低く抑えることができる。このため演算処理部１０６は、セレクト信号をＤＣＴ側にして、求めたassign(k)をそのまま出力する。

この演算処理部１０６において、このassign(k)と、dpcm(k)を、ＤＣＴパス又はＤＰＣＭパスの何れを選択するかについての優先度と考えることができる。この優先度に基づいて、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するものであれば、いかなる選択方法を適用してもよい。例えば、この優先度が等しい場合には、ＤＣＴパス或いはＤＰＣＭパスの何れかを選択するようにしてもよいし、ＤＰＣＭパスを選択するようにしてもよい。

またステップＳ４における優先度は、assign(k)、dpcm(k)に基づく場合に限定されるものではない。即ち、ステップＳ４における比較において、所定の優先度に基づくものであれば、例えば、assign(k)がdpcm(k)以上であっても、ステップＳ６へ移行する場合もある。

予測系４からは、この演算処理部から出力される割当符号量assign(k)と、セレクト信号が出力される。この出力された割当符号量assign(k)は、二分探索部２４へ供給される。

二分探索部２４は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。二分探索部２４は、この量子化ステップを決定する際に、特願平４−１１０８５８号公報に提案した方法を採用しても良い。発生符号量が量子化ステップの増大に対して単調減少することを利用して二分探索法によって量子化ステップを決定する。この決定された量子化ステップにより、量子化器２５により量子化される。なお二分探索法は一例に過ぎず、ブロックの発生符号量が目標符号量に収まるように量子化ステップが決定されるのであればどのような方式であってもよい。

一方、セレクト信号がＤＰＣＭ側に切り替わっている場合には、セレクタ３０がＤＰＣＭパスに切り替えられ、当該ブロックについては、ＤＰＣＭを介した符号化が行なわれることになる。

なお、演算処理部１０６は、それぞれ目標符号量の直上、直下にあるtotal(j-1)と、total(j)を識別することができない場合には、total(j-1)と、total(j)の間に目標符号量を挟み込むいわゆる内挿により割当符号量assign(k)を求めることができない。かかる場合には、目標符号量を挟まず、かつ目標符号量に最も近い、二つのtotal(j-1)とtotal(j)を用いるいわゆる外挿により、assign(k)を求める。かかる外挿においても、割当符号量assign(k)は、上式（１）〜（３）を用いて計算する。しかしながら、この場合においてＤＰＣＭパスの符号量が小さいという理由で、ＤＰＣＭパスを介して符号化しても、却って符号量が余る場合がある。かかる場合には、図４に示すフローチャートの如くassign(k)と総符号量total_tmp(assign(k)の１フレーム分の総数）を、total(j-1)及びtotal(j)の２つのうち、目標符号量からより遠い方と置き換えてassign(k)を計算するようにしてもよい。

この図４に示すフローチャートにおいて、先ずステップＳ１１で処理ループｌｌを初期値に設定し、ステップＳ１２へ移行する。ステップＳ１２では、目標符号量に最も近いtotal(j-1)とtotal(j)を用いてassign(k)を上式により計算し、ステップＳ１３へ移行する。ステップＳ１３において全てのブロックにつきassign(k)を求めることにより、１フレーム分の総符号量total_tmpを求めることができたか判定する。総符号量total_tmpを求められている場合のみステップＳ１４へ移行し、それ以外はステップＳ１２の処理を繰り返す。

次にステップＳ１４へ移行し、現在のループｌｌが処理ループの総数に達したか判断する。ここで現在のループｌｌが処理ループの総数に達した場合は、繰り返し処理の末、所望のassign(k)が求められたことが示され、ループから抜ける。一方、現在のループｌｌが処理ループの総数に達していない場合には、ステップＳ１５へ移行する。なお、この処理ループの総数は、例えば５回等任意に設定することができる。

ステップＳ１５において、抽出したtotal(j-1)とtotal(j)において、いずれが目標符号量に近いかを判定する。具体的には、abs(M-total(j))とabs(M-total(j-1))とを比較し、いずれが大きいか判定する。その結果、abs(M-total(j))＞abs(M-total(j-1))の場合には、変数ｊｊをｊに置き換える。一方、abs(M-total(j))≦abs(M-total(j-1))の場合には、変数ｊｊをｊ−１に置き換える（なおこのabs()は絶対値を意味する）。すなわち、抽出したtotal(j-1)とtotal(j)のうち、総符号量Ｍと遠い方の値が選択され、変数ｊｊにそれぞれ代入されることとなる。

次にステップＳ１６において、１フレーム分の総符号量total_tmpを、total(jj)とする。これにより、１フレーム分の総符号量total_tmpを、総符号量Ｍと遠い方のtotal(j-1)或いはtotal(j)に置き換えることができる。

次に、ステップＳ１７へ移行し、各ブロックについて求めたassign(k)を、各ブロック毎にlength(jj,k)へ割り振る。これにより、次のループｌｌへ移行して再度assign(k)を求める場合には、値の割り振られたlength(jj,k)を参酌することが可能となる。

以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置１は、ブロック毎に、ＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、更には画像の圧縮過程における歪みを低減させることが可能となる。また、二分探索法を用いて量子化ステップを決定することができるため、予測部４における量子化ステップの数を抑えることができ、回路構成を簡単にできる分においてハード的に有利となる。

なお、本実施の形態は、上記記載に限定されるものではない。例えば図５に示す画像圧縮符号化装置５のように、二分探索部等の探索部を用いない構成にも適用可能である。以下、画像圧縮符号化装置５の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。

この画像圧縮符号化装置５は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。

本線系２は、ＦＩＦＯ（First In First Out）メモリ２１，ＤＣＴ部，量子化部３５，第１の可変長符号化部２６からなるＤＣＴパスと、ＤＰＣＭ部２８，第２の可変長符号化部２９からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。

量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータ（以下、量子化レベルと称する）を可変長符号化部２６へ供給する。

セレクタ３０は、第１の可変長符号化部２６、及び／又は第２の可変長符号化部２９により可変長符号化された各種データを適宜切り替え、当該切替情報とともにバッファ３１へ出力する。ちなみに、このセレクタ３０は、予測系４から供給されるセレクト信号に基づき切り替えられる場合もある。

予測系４は、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ＤＰＣＭ部４５，符号量変換器４６からなるＤＰＣＭパスと、演算部４８とを備える。ちなみに、この予測系４におけるＤＣＴパスの処理段数ｎは、量子化ステップの総数に相当する。これは二分探索法を採用する画像圧縮符号化装置１と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現するためである。

演算部４８は、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量が入力され、また符号量変換器４６からＤＰＣＭ処理された符号量が入力される。演算部４８は、これらの入力される各ブロック毎の符号量に基づき、各ブロック毎の割当符号量とセレクト信号とを求めて、本線系２へ出力する。本線系２に出力された割当符号量は量子化部３５へ送られ、またセレクト信号はセレクタ３０へ送られる。ちなみにこの演算部４８において、例えば１フレーム分の総符号量を求める場合にブロック毎の符号量の累積値を求める必要があるため、１フレーム分の計算時間を要することになる。

次に、この演算部４８による割当符号量の算出について説明をする。図６は、演算部４８の構成例を示している。演算部４８は、ｎ個の比較部２０１−１〜２０１−ｎと、ｎ個のセレクタ２０２−１〜２０２−ｎと、ｎ個のメモリ２０３−１〜２０３−ｎと、ｎ個の加算器２０４−１〜２０４−ｎと、ｎ個の累積回路２０５−１〜２０５−ｎと、演算処理部２０６とを備える。

比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量length(1,k)〜length(n,k)が入力され、またＤＰＣＭパスを介して符号量変換器４６からＤＰＣＭ処理された符号量dpcm(k)が入力される。例えば、比較部２０１−１には、符号量変換部４３−１からの符号量length(1,k)と、ＤＰＣＭ処理された符号量dpcm(k)が入力される。この比較部２０１−１〜２０１−ｎは、ＤＣＴパスを介して入力された符号量length(1,k)〜length(n,k)、及びＤＰＣＭパスを介して入力された符号量dpcm(k)について小さい方を選択し、選択した情報を含むセレクト信号を出力する。

セレクタ２０２−１〜２０２−ｎは、比較部２０１−１〜２０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ２０２−１〜２０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ２０２−１〜２０２−ｎにより選択された符号量は、そのままメモリ２０３−１〜２０３−ｎ、加算器２０４−１〜２０４−ｎへ供給される。

メモリ２０３−１〜２０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ２０３−１〜２０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。

加算器２０４−１〜２０４−ｎ及び累積回路２０５−１〜２０５−ｎは、セレクタ２０２−１〜２０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量total(1)〜total(n)とする。累積回路２０５−１〜２０５−ｎは、得られた総符号量total(1)〜total(n)を順次演算処理部２０６へ送信する。

演算処理部２０６は、各累積回路２０５−１〜２０５−ｎから夫々総符号量total(1)〜total(n)を受信する。この演算処理部２０６は、１フレーム分の目標符号量とこれらの総符号量total(1)〜total(n)を比較し、目標符号量以上である総符号量total(j-1)と、目標符号量以下である総符号量total(j)とを特定する。すなわち、このtotal(j-1)とtotal(j)は、目標符号量を挟むように存在するものを指し、ｊは、total(j-1)＞目標符号量を満たすｊのうち、最大のものを示す。

演算処理部２０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、assign(k)を決定して上述した量子化部３５へ送信する。

以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置５は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、この演算処理部１０６において、assign(k)、dpcm(k)をいわゆる優先度とし、この優先度が同レベルの場合には、ＤＰＣＭパスを優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となり、更にＤＣＴパスにより符号化する際に、精度の良い量子化コントロールを期待することができる。なお、本実施の形態では、優先度に基づいて選択する場合に限定されるものではない。

なお、本実施の形態は、更に図７に示す画像圧縮符号化装置６のように、ＤＰＣＭについて量子化を伴う構成にも適用可能である。以下、画像圧縮符号化装置６の詳細を説明する。なお、上述した画像圧縮符号化装置１と同一の回路構成要素は、画像圧縮符号化装置１の説明を引用し、説明を省略する。

この画像圧縮符号化装置６は、端子１１を介して輝度信号Ｙ、色差信号Ｐｂ，Ｐｒからなる画像信号が入力される。ブロック分割部１２は、入力された１フレームの画像信号を例えば８×８のブロックに分割し、本線系２及び予測系４へ送信する。

本線系２は、ＦＩＦＯ（First In First Out）メモリ２１，ＤＣＴ部２２，ＦＩＦＯメモリ２３，二分探索部２４，量子化部２５，第１の可変長符号化部２６からなるＤＣＴパスと、ＦＩＦＯメモリ２７，量子化部３５，ＤＰＣＭ部２８，第２の可変長符号化部２９，二分探索部３６からなるＤＰＣＭパスと、セレクタ３０と、バッファ３１とを備える。

量子化部３５は、ＦＩＦＯメモリ２７に格納されたデータを受給し、ブロック単位で二分探索部３６により決められた量子化ステップにより量子化する。量子化部３５は、この量子化されたデータをＤＰＣＭ部２８へ供給する。

すなわち、この量子化を伴うＤＰＣＭパスを経ることにより、画像の圧縮の過程において何らかの歪みが付加されることになる。このためＤＣＴパスとＤＰＣＭパスのいずれかを選択する場合には、画像圧縮符号化装置１と同様に、符号量の小さい方を優先することに加え、圧縮の過程における歪みが小さい方をも優先的に選択する必要がある。具体的には、圧縮による歪みは、量子化により左右されるものであり、ＤＣＴとＤＰＣＭそれぞれに対して量子化ステップに応じて生じる。このため予測系４は、量子化を伴うＤＣＴパスからの符号量と、同じく量子化を伴うＤＰＣＭパスからの符号量に加え、画像の歪みを比較して、本線系２にセレクト信号を送る必要がある。

かかる予測系４の実現例について以下説明する。この予測系４は、図７に示すように、ＤＣＴ部４１，ｎ個の量子化器４２−１〜４２−ｎ，ｎ個の符号量変換器４３−１〜４３−ｎからなるＤＣＴパスと、ｍ個の量子化器５１−１〜５１−ｍ，ｍ個のＤＰＣＭ部５２−１〜５２−ｍ，ｍ個の符号量変換部５３−１〜５３−ｍからなるＤＰＣＭパスと、演算部５４とを備える。

ｍ個の量子化器５１−１〜５１−ｍは、ブロック単位で画像信号を受給し、夫々異なる量子化ステップで量子化する。すなわち、ＤＰＣＭパスにおいてもｍ個の量子化ステップによりサンプリングすることが可能となる。

ＤＰＣＭ部５２−１〜５２−ｍは、量子化された画像信号についてブロック毎にＤＰＣＭを施し、符号量変換部５３−１〜５３−ｍへ供給する。符号量変換部５３−１〜５３−ｍは、これらのＤＰＣＭ化された信号についてブロック毎に符号化して演算部５４へ出力する。

演算部５４は、ＤＣＴパス側からは、符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量等が入力され、ＤＰＣＭパス側からは、異なる量子化ステップにより量子化されＤＰＣＭ処理された符号量等が入力される。演算部５４は、これらの入力される各ブロック毎の符号量や画像の歪みを比較して、各ブロック毎の割当符号量とセレクト信号とを求め、本線系２へ出力する。なお、この予測系４においてＤＰＣＭ部５２−１〜５２−ｍと、量子化器５１−１〜５１−ｍとを入れ換えて構成してもよい。これにより、先ずＤＰＣＭ部５２−１〜５２−ｍにおいて、ＤＰＣＭ化された信号を夫々異なる量子化ステップで量子化することができる。

次に、この演算部５４による割当符号量の算出について説明をする。図８は、演算部５４の構成例を示している。演算部５４は、ｎ個の比較部３０１−１〜３０１−ｎと、ｎ個のセレクタ３０２−１〜３０２−ｎと、ｎ個のメモリ３０３−１〜３０３−ｎと、ｎ個の加算器３０４−１〜３０４−ｎと、ｎ個の累積回路３０５−１〜３０５−ｎと、演算処理部３０６とを備える。

比較部３０１−１〜３０１−ｎは、ＤＣＴパスを介して符号量変換器４３−１〜４３−ｎから異なる量子化ステップで処理された符号量length(1,k)〜length(n,k)が入力され、またＤＰＣＭパスを介して符号量変換器５３−１〜５３−ｍからＤＰＣＭ処理された符号量dpcm(1,k)〜dpcm(m,k)が入力される。なお、この比較部３０１−１〜３０１−ｎは、ＤＣＴパスにおける符号量と、当該ＤＣＴパスにおける符号量よりも歪みが小さくなるＤＰＣＭパスにおける符号量とを比較するようにする。ちなみに図８に示す例において、比較部３０１−１や比較部３０１−２に入力されるdpcm(1,k)は、length(1,k)やlength(2,k)よりも歪みが小さく、また比較部３０１−３に入力されるdpcm(2,k)は、length(3,k)よりも歪みが小さい。

比較部３０１−１〜３０１−ｎは、この入力されたＤＣＴパスからの符号量と、ＤＰＣＭパスからの符号量について小さい方を選択し、選択した情報を含むセレクト信号を出力する。これにより、画像の圧縮による歪みを抑えつつ、目標符号量を満たすように、セレクト信号を出力することが可能となる。

セレクタ３０２−１〜３０２−ｎは、比較部３０１−１〜３０１−ｎから供給されるセレクト信号に応じて、ＤＣＴパスから供給される符号量或いはＤＰＣＭパスから供給される符号量を夫々選択する。例えば、ＤＣＴパスを選択した旨の情報がセレクト信号に含まれていた場合には、セレクタ３０２−１〜３０２−ｎは、ＤＣＴ側にＯＮされることとなる。このセレクタ３０２−１〜３０２−ｎにより選択された符号量は、そのままメモリ３０３−１〜３０３−ｎ、加算器３０４−１〜３０４−ｎへ供給される。

メモリ３０３−１〜３０３−ｎは、各ブロック毎に、セレクト信号と符号量を格納する。すなわち１フレーム分の処理が終了した段階で、このメモリ３０３−１〜３０３−ｎには、ブロック単位で選択した符号量とセレクト信号が、量子化ステップ数であるｎ個分格納されている状態となっている。

加算器３０４−１〜３０４−ｎ及び累積回路３０５−１〜３０５−ｎは、セレクタ３０２−１〜３０２−ｎにより選択された符号量を１フレーム分、順次累積加算する。この１フレーム分加算した符号量を夫々総符号量total(1)〜total(n)とする。累積回路３０５−１〜３０５−ｎは、得られた総符号量total(1)〜total(n)を順次演算処理部３０６へ送信する。

演算処理部３０６は、各累積回路３０５−１〜３０５−ｎから夫々総符号量total(1)〜total(n)を受信する。この演算処理部３０６は、１フレーム分の目標符号量とこれらの総符号量total(1)〜total(n)を比較し、目標符号量以上である総符号量total(j-1)と、目標符号量以下である総符号量total(j)とを特定する。これらの特定した符号量に基づく割当符号量assign(k)の計算については、画像圧縮符号化装置１における演算部４４の説明を引用し、説明を省略する。

このようにして予測系４からは、この演算処理部から出力される割当符号量assign(k)と、セレクト信号が出力される。この出力された割当符号量assign(k)は、二分探索部２４，３６へ供給される。

二分探索部２４，３６は、セレクト信号がＤＣＴ側になっている場合において、ブロックの発生符号量が目標符号量に収まるように量子化ステップを決定する。決定された量子化ステップに基づき、本線系２における量子化部２５，３５はブロック単位で量子化を施す。

なおこの画像圧縮符号化装置６は、図７に示す構成に限定されるものではなく、例えば図９に示すように、二分探索法を用いない構成にも適用可能である。

この図９に示す画像圧縮符号化装置６の例では、量子化部３５は、ＤＣＴ部２２から入力されたＤＣＴ係数を、ブロック単位で決定された量子化ステップに基づき量子化する。この量子化部３５は、この量子化されたデータを可変長符号化部２６へ供給する。

演算処理部３０６は、演算した総符号量に基づき、ｎ個の量子化ステップを参照しつつ、ブロック毎に最適な符号量を見積もる。そして当該ブロック毎に見積もった符号量に基づき、量子化ステップを決定して上述した量子化部３５へ送信する。これにより、二分探索法を採用する図７に示す画像圧縮符号化装置６と比較して多くの量子化ステップにより予測を試みることができるため、精度の高い量子化コントロールを実現することが可能となる。

以上詳細に説明したように、本実施の形態に係る画像符号化圧縮装置６は、ブロック毎に、複数の量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良くまた目標符号量を満たすように選択することができる。また、ＤＰＣＭパスからの符号量を優先的に選択した場合には、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。

なお、本実施の形態は、画像圧縮符号化装置１，５，６に適用される場合に限定されるものではない。例えば、この画像圧縮符号化装置１，５，６の各構成要素を伝送路上に配設することにより、伝送路上においても、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。

なお、本実施の形態ではブロック毎にＤＣＴを施すことによりＤＣＴ係数を生成することにより可逆的な画像圧縮を行うが、かかる場合に限定されるものではない。また、非可逆的な画像圧縮方式についてもＤＰＣＭに限定されるものではない。即ち、第１の圧縮方式と、第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いるものであればよい。

またこの第１の圧縮方式と第２の圧縮方式とを切り替えることができる画像圧縮符号化装置及び方法、プログラムに対しても適用可能である。

この画像圧縮符号化装置は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化装置において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算手段と、上記演算手段により演算された総符号量と、等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択手段と、上記選択手段によって選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化手段とを備える。

このような画像圧縮符号化装置において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式としてもよい。また、上記演算手段により演算された総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定手段をさらに備え、上記選択手段は、上記決定手段により決定された量子化ステップにより上記量子化する第１の圧縮方式、或いは上記第２の圧縮方式の一方を符号化方式選択単位毎に選択するようにしてもよい。上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式を所定の優先度に基づいて選択するようにしてもよい。また上記選択手段は、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、上記第１の圧縮方式、或いは上記第２の圧縮方式のうちいずれか一方を選択するようにしてもよい。また、上記選択手段は、上記第２の圧縮方式を優先的に選択するようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Discrete Cosine Transform）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化（Lossless）方式としてもよい。また、上記第２の圧縮方式は、上記画像信号をＤＰＣＭ（Differential Pulse Code Modulation）によって符号化する方式としてもよい。また、上記演算手段は、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量を上記符号化方式選択単位毎に加算することにより、等長化単位の総符号量を演算してもよい。

この画像圧縮符号化方法は、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位で選択して画像信号を圧縮符号化する画像圧縮符号化方法において、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算する演算工程と、上記演算工程において演算された総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択する選択工程と、上記選択工程において選択された圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化する圧縮符号化工程とを有する。

このような画像圧縮符号化方法において、上記第１の圧縮方式及び／又は上記第２の圧縮方式は、上記画像信号を夫々複数の異なる量子化ステップにより量子化する方式であり、上記演算した総符号量と、上記等長化単位における目標符号量とを比較し、当該比較結果に応じて上記第１の圧縮方式における量子化ステップを決定する決定工程をさらに備え、上記選択工程では、上記決定工程で決定された量子化ステップにより上記第１の圧縮方式、或いは上記第２の圧縮方式が、上記符号化方式選択単位毎に選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式が所定の優先度に基づいて選択されるようにしてもよい。また、上記選択工程では、上記第１の圧縮方式、或いは上記第２の圧縮方式の優先度が等しい場合には、第１の圧縮方式或いは上記第２の圧縮方式のうちいずれか一方が選択されるようにしてもよい。また上記選択工程では、上記第２の圧縮方式が優先的に選択されるようにしてもよい。また、上記第１の圧縮方式は、上記画像信号をＤＣＴ（Discrete Cosine Transform）変換し、上記ＤＣＴ変換された画像信号を量子化する方式としてもよい。また上記第２の圧縮方式は、可逆符号化（Lossless）方式により符号化する方式としてもよい。また、上記第２の圧縮方式は、入力画像信号をＤＰＣＭ（Differential Pulse Code Modulation）によって符号化する方式としてもよい。また、上記演算工程では、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のうち小さい方の符号量が上記符号化方式選択単位毎に加算されることにより、等長化単位の総符号量が演算されるようにしてもよい。

また、このプログラムでは、第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式、を上記符号化方式選択単位単位で選択して画像信号を圧縮符号化することをコンピュータに実行させるプログラムにおいて、上記第１の圧縮方式により得られる符号量、又は上記第２の圧縮方式により得られる符号量のいずれかを上記符号化方式選択単位毎に加算することにより、上記符号化方式選択単位の総符号量を演算し、演算した総符号量と、上記等長化単位における目標符号量とに基づき、上記第１の圧縮方式、或いは上記第２の圧縮方式を符号化方式選択単位毎に選択し、上記選択した圧縮方式を用いて上記各符号化方式選択単位の画像信号を圧縮符号化することをコンピュータに実行させる。

このような構成からなる画像圧縮符号化装置及び方法、プログラムでは、ブロック毎に、複数の量子化ステップにより量子化された第１の圧縮方式、或いは第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式からの符号量を効率よく、また目標符号量を満たすように選択することができる。また、第２の圧縮方式からの符号量を優先的に選択することにより、画像品質の劣化を防止することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。

以上詳細に説明したように、本発明に係る実施の形態の画像圧縮符号化装置及び方法によれば、ブロック毎に、多くの量子化ステップにより量子化されたＤＣＴパス或いはＤＰＣＭパスからの符号量を効率良く、また目標符号量を満たすように選択することができる。これによりＶＴＲ等のような記録メディアの容量をオーバーすることなく、効率的な符号量制御を実現でき、画像の圧縮過程における歪みを低減させることが可能となる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本発明を適用した画像圧縮符号化装置の内部構成例を示した図である。 演算部の内部構成について説明するための図である。 演算処理部の処理手順を示すフローチャートである。 total(j-1)及びtotal(j)のうち、目標符号量から離れたものと置き換えてassign(k)を計算する場合について説明するためのフローチャートである。 二分探索法を用いない画像圧縮符号化装置の構成を示した図である。 二分探索法を用いない画像圧縮符号化装置における演算部について説明するための図である。 ＤＰＣＭについて量子化を伴う画像圧縮符号化装置の構成について示した図である。 ＤＰＣＭについて量子化を伴う画像圧縮符号化装置における演算部について説明するための図である。 ＤＰＣＭについて量子化を伴う画像圧縮符号化装置において、二分探索法を用いない場合について説明するための図である。 ＭＰＥＧ方式を利用した従来の画像圧縮符号化装置の構成を示した図である。

符号の説明

１，５，６ 画像圧縮符号化装置、２ 本線系、４ 予測系、１１ 端子、１２ブロック分割部、２１，２３，２７ ＦＩＦＯメモリ、２２ ＤＣＴ部、２４ 二分探索部、２５ 量子化部、２６ 第１の可変長符号化部、２８ ＤＰＣＭ部、２９ 第２の可変長符号化部、３０ セレクタ、３１ バッファ

Claims (5)

1. 入力画像信号を符号化方式選択単位で符号化する画像符号化装置において、
   上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力する選択手段と、
   上記選択手段により出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替える切替手段と、
   上記切替手段により切り替えられた符号量を符号化方式選択単位毎に加算することにより得られた等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量に最も近い第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出する第１の算出手段と、
   上記第１、第２の総符号量の内、上記等長化単位の目標符号量から遠い方の総符号量を、上記第１の算出手段により算出された上記割当符号量を上記等長化単位分計算して得られる一時的総符号量に置き換え、目標符号量から遠い方の総符号量に対応する量子化ステップの上記符号化方式選択単位毎の符号量として上記割当符号量を割り振った後、これらの２つの総符号量に対応する量子化ステップ毎に演算された上記符号化方式選択単位毎の符号量を線形補間することにより、上記符号化方式選択単位毎に新たな割当符号量を算出する第２の算出手段と、
   上記第２の算出手段により算出された上記新たな割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力する演算処理手段と、
   上記第２の算出手段により算出された上記新たな割当符号量と上記演算処理手段により出力された選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化する符号化手段と
   を有することを特徴とする画像符号化装置。
2. 上記第１の圧縮方式は、入力画像信号をＤＣＴ（Discrete Cosine Transform）変換し、上記ＤＣＴ変換された画像信号を量子化し、
   上記第２の圧縮方式は、可逆符号化（Lossless）方式により符号化すること
   を特徴とする請求項１記載の画像符号化装置。
3. 入力画像信号を符号化方式選択単位で符号化する画像符号化方法において、
   上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力し、
   上記出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替え、
   上記切り替えられた符号量を符号化方式選択単位毎に加算することにより得られた等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量に最も近い第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出し、
   上記第１、第２の総符号量の内、上記等長化単位の目標符号量から遠い方の総符号量を、上記算出された上記割当符号量を上記等長化単位分計算して得られる一時的総符号量に置き換え、目標符号量から遠い方の総符号量に対応する量子化ステップの上記符号化方式選択単位毎の符号量として上記割当符号量を割り振った後、これらの２つの総符号量に対応する量子化ステップ毎に演算された上記符号化方式選択単位毎の符号量を線形補間することにより、上記符号化方式選択単位毎に新たな割当符号量を算出し、
   算出された上記新たな割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力し、
   上記新たな割当符号量と上記選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化すること
   を特徴とする画像符号化方法。
4. 入力画像信号を符号化方式選択単位で符号化する処理をコンピュータに実行させるためのプログラムにおいて、
   上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力し、
   上記出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替え、
   上記切り替えられた符号量を符号化方式選択単位毎に加算することにより得られた等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量に最も近い第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出し、
   上記第１、第２の総符号量の内、上記等長化単位の目標符号量から遠い方の総符号量を、上記算出された上記割当符号量を上記等長化単位分計算して得られる一時的総符号量に置き換え、目標符号量から遠い方の総符号量に対応する量子化ステップの上記符号化方式選択単位毎の符号量として上記割当符号量を割り振った後、これらの２つの総符号量に対応する量子化ステップ毎に演算された上記符号化方式選択単位毎の符号量を線形補間することにより、上記符号化方式選択単位毎に新たな割当符号量を算出し、
   算出された上記新たな割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力し、
   上記新たな割当符号量と上記選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化すること
   をコンピュータに実行させるためのプログラム。
5. 入力画像信号を符号化方式選択単位で符号化する処理をコンピュータに実行させるためのプログラムが記録された記録媒体において、
   上記入力画像信号を符号化方式選択単位で複数の量子化ステップにより量子化する第１の圧縮方式、或いは上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式のうち、それぞれ符号量の小さい方を符号化方式選択単位毎に選択し、当該選択した圧縮方式についてセレクト信号を出力し、
   上記出力されたセレクト信号に応じて、上記第１の圧縮方式による符号量、或いは上記第２の圧縮方式による符号量を切り替え、
   上記切り替えられた符号量を符号化方式選択単位毎に加算することにより得られた等長化単位の総符号量と等長化単位の目標符号量とに基づいて、等長化単位の目標符号量に最も近い第１、第２の総符号量にそれぞれ対応する上記符号化方式選択単位毎の符号量を線形補間することにより、該符号化方式選択単位毎の割当符号量を算出し、
   上記第１、第２の総符号量の内、上記等長化単位の目標符号量から遠い方の総符号量を、上記算出された上記割当符号量を上記等長化単位分計算して得られる一時的総符号量に置き換え、目標符号量から遠い方の総符号量に対応する量子化ステップの上記符号化方式選択単位毎の符号量として上記割当符号量を割り振った後、これらの２つの総符号量に対応する量子化ステップ毎に演算された上記符号化方式選択単位毎の符号量を線形補間することにより、上記符号化方式選択単位毎に新たな割当符号量を算出し、
   算出された上記新たな割当符号量と当該符号化方式選択単位における上記第２の圧縮方式による符号量とを比較し、符号量の小さい方の圧縮方式を選択する選択信号を出力し、
   上記新たな割当符号量と上記選択信号とに基づいて、入力画像信号を符号化方式選択単位で決定された量子化ステップにより量子化する第１の圧縮方式を用いて符号化する第１のパスと、上記入力画像信号を上記第１の圧縮方式より低圧縮率でありロスの小さい第２の圧縮方式を用いて符号化する第２のパスとのいずれか一方を上記選択信号により選択すると共に、上記割当符号量により上記量子化ステップを選択して、上記入力画像信号を符号化方式選択単位で符号化すること
   をコンピュータに実行させるためのプログラムが記録された記録媒体。

Images