JP5389298B2 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Description

この発明は、画像を符号化する画像符号化装置及び画像符号化方法と、画像符号化装置により符号化された画像を復号する画像復号装置及び画像復号方法とに関するものである。

図１３は、例えば、以下の非特許文献１に記載されている量子化処理の様子を示している説明図である。
画像符号化方式の国際標準規格であるＨ．２６４（ＭＰＥＧ−４ＡＶＣ）では、符号化を行うフレーム、あるいは、フィールドを１６画素×１６ラインの画素で構成される「マクロブロック」と呼ばれるブロックに分割し、マクロブロック毎にイントラ予測モード又はイントター予測モードで符号化を行う。
その符号化において、マクロブロック毎に変更可能な量子化パラメータＱＰを用いて量子化を行う。
このとき、復号側には、その量子化パラメータＱＰと、符号化対象のマクロブロックと隣接している左のマクロブロックの量子化パラメータとの差分を送信するようにしている。

また、図１４は、１６画素×１６ラインに限らない任意のサイズのブロックをマクロブロックとして、マクロブロックの中を順次４分割した符号化ブロック毎にイントラ予測モード又はイントター予測モードで符号化を行い、その符号化において、符号化ブロック毎に変更可能な量子化パラメータＱＰにより量子化を行う場合について示すものである。
マクロブロックを４分割し、その４分割したブロックに対して、どこまで４分割を繰り返すかは任意である。それ以上４分割を行わないブロックを符号化ブロックとする。
この場合の量子化パラメータも差分を送信するが、差分を行う対象として、当該符号化ブロックと隣接している左の符号化ブロックの量子化パラメータ、または、上の符号化ブロックの量子化パラメータを選択することができる。いずれの符号化ブロックの量子化パラメータを選択しているかを示す情報についても復号側に送信する。

なお、符号化における画質制御では、量子化パラメータを急激に変化させると、隣接しているブロック間で画質差が生じるため、ある一定以上の変化をさせない（変動幅に制限を設ける）ようにする場合がある。

画像符号化方式の国際標準規格であるＨ．２６４（ＭＰＥＧ−４ＡＶＣ）の勧告書（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）

従来の画像符号化装置は以上のように構成されているので、量子化パラメータの変動幅に制限を設ければ、量子化パラメータの急激な変化に伴う隣接しているブロック間での画質差の発生を抑制することができる。しかし、量子化パラメータの変動幅に制限を設ける場合でも、変動幅に制限を設けない場合と同様のビット量で、隣接しているブロックの量子化パラメータとの差分を復号側に送信するようにしている。このため、多くのビット量を送信しなければならず、符号化効率が向上しない課題があった。
また、イントラ予測モードで符号化が行われるブロック（イントラブロック）とイントター予測モードで符号化が行われるブロック（インターブロック）とでは符号化の性質が異なるため、同一の量子化パラメータで量子化すると、両者の間で見え方（画質）が異なることがある。これを回避するために、イントラブロックとインターブロックの間で異なる量子化パラメータで量子化を行うことがあるが、１つ前の符号化ブロックの量子化パラメータとの差分、あるいは、左側又は上側の符号化ブロックの量子化パラメータとの差分を送信するため、イントラブロックの量子化パラメータにおいて、差分をとる対象のブロックがインターブロックの場合、ビット量が増えてしまう課題があった。

この発明は上記のような課題を解決するためになされたもので、量子化パラメータに関する情報の送信ビット量を削減して、符号化効率を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、量子化パラメータに関する情報の送信ビット量が削減されていても、画像を復号することができる画像復号装置及び画像復号方法を得ることを目的とする。

この発明に係る画像符号化装置は、入力画像を構成している符号化ブロック毎に、当該符号化ブロックに対する予測処理を実施して予測画像を生成し、その符号化ブロックと予測画像の差分画像を生成する差分画像生成手段と、予め量子化パラメータの変動幅を設定し、その符号化ブロックと符号化済みブロックにおける量子化パラメータの差分が上記変動幅に収まる範囲内で、その符号化ブロックの量子化パラメータを決定する量子化パラメータ決定手段と、差分画像生成手段により生成された差分画像を直交変換し、量子化パラメータ決定手段により決定された量子化パラメータを用いて、その差分画像の変換係数を量子化する量子化手段とを設け、エントロピー符号化手段が、量子化パラメータ決定手段により設定された量子化パラメータの変動幅、量子化手段により量子化された変換係数、差分画像生成手段により予測画像が生成される際に用いられた予測画像生成用情報及び上記符号化ブロックと符号化済みブロックにおける量子化パラメータの差分をエントロピー符号化してビットストリームを生成するようにしたものである。

この発明によれば、入力画像を構成している符号化ブロック毎に、当該符号化ブロックに対する予測処理を実施して予測画像を生成し、その符号化ブロックと予測画像の差分画像を生成する差分画像生成手段と、予め量子化パラメータの変動幅を設定し、その符号化ブロックと符号化済みブロックにおける量子化パラメータの差分が上記変動幅に収まる範囲内で、その符号化ブロックの量子化パラメータを決定する量子化パラメータ決定手段と、差分画像生成手段により生成された差分画像を直交変換し、量子化パラメータ決定手段により決定された量子化パラメータを用いて、その差分画像の変換係数を量子化する量子化手段とを設け、エントロピー符号化手段が、量子化パラメータ決定手段により設定された量子化パラメータの変動幅、量子化手段により量子化された変換係数、差分画像生成手段により予測画像が生成される際に用いられた予測画像生成用情報及び上記符号化ブロックと符号化済みブロックにおける量子化パラメータの差分をエントロピー符号化してビットストリームを生成するように構成したので、量子化パラメータに関する情報の送信ビット量を削減して、符号化効率を高めることができる効果がある。

この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。 差分ｄＱＰを送信するために必要なビット長の一例（変動幅を制限しない場合の例と、変動幅を制限する場合の例）を示す説明図である。 差分ｄＱＰがエントロピー符号化された符号語の一例を示す説明図である。 量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰが設定された場合と設定されない場合の符号語の一例を示す説明図である。 量子化パラメータの変動幅、最大値ＭａｘＱＰ及び最小値ＭｉｎＱＰが設定された場合と設定されない場合の符号語の一例を示す説明図である。 この発明の実施の形態３による画像符号化装置を示す構成図である。 この発明の実施の形態３による画像復号装置を示す構成図である。 マクロブロック内の符号化ブロックをイントラブロックとして符号化を行う一例を示す説明図である。 符号化ブロックの量子化パラメータＱＰとイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとの対応関係を示す変換テーブルの一例を示す説明図である。 画像符号化方式の国際標準規格であるＨ．２６４（ＭＰＥＧ−４ＡＶＣ）の勧告書（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４）に記載されている量子化処理の様子を示している説明図である。 マクロブロックの中を順次４分割した符号化ブロック毎に量子化処理を行う例を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１では、画像符号化方式の国際標準であるＨ．２６４（ＭＰＥＧ−４ＡＶＣ）に適用している画像符号化装置の例を示しているが、他の画像符号化方式に適用している画像符号化装置であってもよい。
図１において、符号化部１は符号化制御部２の指示の下、入力画像を構成しているマクロブロック単位、あるいは、マクロブロックよりサイズが小さいブロック単位で符号化処理を実施する。
この実施の形態１では、説明の便宜上、マクロブロック及びマクロブロックよりサイズが小さいブロックを符号化ブロックと称する。
符号化制御部２は予め量子化パラメータの変動幅を決定し、符号化ブロックの量子化パラメータと符号化済みブロックの量子化パラメータとの差分が上記変動幅に収まる範囲内で、符号化ブロックの量子化パラメータを決定するなどの処理を実施する。

符号化部１のイントラ予測部１１は入力画像を構成している符号化ブロック（マクロブロック、または、マクロブロックを更に分割しているブロック）毎に最適なイントラ予測モードを選択し、そのイントラ予測モードに対応する局部復号画像（既に符号化が終了している符号化ブロックの周辺のブロックの局部復号画像）を用いて、当該符号化ブロックに対するイントラ予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分画像を生成する処理を実施する。
動き探索部１２は入力画像を構成している符号化ブロックとフレームメモリ２３により格納されている局部復号画像を比較することで動き探索を実施して、動きベクトルを算出する処理を実施する。

動き補償予測部１３は動き探索部１２により算出された動きベクトルを用いて、フレームメモリ２３により格納されている局部復号画像に対する動き補償予測処理を実施することで、予測画像を生成する処理を実施する。
差分器１４は入力画像を構成している符号化ブロックと動き補償予測部１３により生成された予測画像の差分を求めることで差分画像を生成する処理を実施する。
なお、イントラ予測部１１、動き探索部１２、動き補償予測部１３及び差分器１４から差分画像生成手段が構成されている。

イントラ／インター判定部１５はイントラ予測部１１により生成された予測画像と動き補償予測部１３により生成された予測画像を比較して最適な予測画像を判定し、最適な予測画像を加算器２１に出力するとともに、最適な予測画像を示す判定結果をスイッチ１６及びエントロピー符号化部２４に出力する処理を実施する。
スイッチ１６はイントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により生成された差分画像を選択して直交変換部１７に出力し、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、差分器１４により生成された差分画像を選択して直交変換部１７に出力する処理を実施する。

直交変換部１７はスイッチ１６から出力された差分画像を直交変換して、その差分画像の変換係数を量子化部１８に出力する。
量子化部１８は符号化制御部２の量子化制御部３２から出力された量子化パラメータを用いて、直交変換部１７から出力された差分画像の変換係数を直交変換ブロック単位で量子化する処理を実施する。
なお、直交変換部１７及び量子化部１８から量子化手段が構成されている。

逆量子化部１９は量子化部１８により量子化された変換係数を逆量子化し、直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部２０に出力する処理を実施する。
逆直交変換部２０は逆量子化部１９から出力された変換係数を逆直交変換し、スイッチ１６から出力された差分画像に相当する差分画像を加算器２１に出力する処理を実施する。

加算器２１は逆直交変換部２０から出力された差分画像とイントラ／インター判定部１５により選択された予測画像を加算して局部復号画像を生成し、その局部復号画像をイントラ予測部１１及びデブロッキングフィルタ部２２に出力する処理を実施する。
デブロッキングフィルタ部２２は加算器２１により生成された局部復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の局部復号画像をフレームメモリ２３に格納する処理を実施する。
フレームメモリ２３は歪み補償後の局部復号画像を格納する記録媒体である。

エントロピー符号化部２４は符号化制御部２の量子化制御部３２から出力された量子化パラメータの変動幅と、量子化部１８により量子化された変換係数と、符号化ブロックと符号化済みブロックにおける量子化パラメータの差分と、イントラ／インター判定部１５から出力された判定結果と、最適な予測画像の生成に用いられた予測画像生成用情報（イントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により選択されたイントラ予測モード、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、動き探索部１２により算出された動きベクトル）とをエントロピー符号化してビットストリームを生成する処理を実施する。なお、エントロピー符号化部２４はエントロピー符号化手段を構成している。
ここでは、量子化パラメータの変動幅もエントロピー符号化しているが、量子化パラメータの変動幅はエントロピー符号化せずに、ビットストリームのヘッダなどに多重するようにしてもよい。
送信バッファ２５は例えば回線などの外部の伝送手段や蓄積メディアと接続されており、エントロピー符号化部２４により生成されたビットストリームを一時的に保持してから、そのビットストリームを出力する処理を実施する。

符号化制御部２の量子化パラメータ変動幅決定部３１は例えばフレーム単位の入力画像における周波数成分の分布などに基づいて量子化パラメータの変動幅を決定する処理を実施する。
ここで、量子化パラメータの変動幅は、符号化ブロックの量子化パラメータが１つ前の符号化済みブロックの量子化パラメータから変更できる変移量の制限値を示すものである。
変動幅の決定方法として、例えば、フレーム全体に渡って同様の周波数成分が分布している場合には変動幅を小さくし、異なる周波数成分が多数点在している場合には、変動幅を大きくするなどの方法が考えられる。
この実施の形態１では、量子化パラメータ変動幅決定部３１が入力画像から量子化パラメータの変動幅を決定するものを想定しているが、外部から量子化パラメータの変動幅を示す情報を入力して、量子化パラメータの変動幅を設定するようにしてもよい。

量子化制御部３２は送信バッファ２５により蓄積されているビットストリームのバッファ量や、符号化ブロック毎の目標符号量や、実際に発生しているビットストリームの符号量などから、符号化ブロックの量子化パラメータを決定する処理を実施する。
ただし、符号化ブロックの量子化パラメータと１つ前の符号化済みブロックの量子化パラメータとの差分が量子化パラメータ変動幅決定部３１により設定された変動幅に収まる範囲内で、符号化ブロックの量子化パラメータを決定するようにする。
なお、量子化パラメータ変動幅決定部３１及び量子化制御部３２から量子化パラメータ決定手段が構成されている。

図１の例では、画像符号化装置の構成要素であるイントラ予測部１１、動き探索部１２、動き補償予測部１３、差分器１４、イントラ／インター判定部１５、スイッチ１６、直交変換部１７、量子化部１８、逆量子化部１９、逆直交変換部２０、加算器２１、デブロッキングフィルタ部２２、フレームメモリ２３、エントロピー符号化部２４、送信バッファ２５、量子化パラメータ変動幅決定部３１及び量子化制御部３２のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置の全部又は一部がコンピュータで構成されていてもよい。
画像符号化装置の全部又は一部がコンピュータで構成されている場合、イントラ予測部１１、動き探索部１２、動き補償予測部１３、差分器１４、イントラ／インター判定部１５、スイッチ１６、直交変換部１７、量子化部１８、逆量子化部１９、逆直交変換部２０、加算器２１、デブロッキングフィルタ部２２、エントロピー符号化部２４、量子化パラメータ変動幅決定部３１及び量子化制御部３２の処理内容の全部又は一部を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による画像復号装置を示す構成図である。
図３において、受信バッファ５１は図１の画像符号化装置により生成されたビットストリームを受信して、そのビットストリームをエントロピー復号部５２に出力する処理を実施する。
エントロピー復号部５２は受信バッファ５１から出力されたビットストリームから量子化パラメータの変動幅をエントロピー復号し、その量子化パラメータの変動幅から符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分のビット長を特定して、そのビットストリームから量子化パラメータの差分をエントロピー復号するとともに、そのビットストリームから図１の画像符号化装置の量子化部１８により量子化された変換係数、イントラ／インター判定部１５の判定結果及び予測画像生成用情報をエントロピー復号する。
また、エントロピー復号部５２は符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分を逆量子化パラメータ生成部５３に出力し、量子化部１８により量子化された変換係数を逆量子化部５４に出力し、イントラ／インター判定部１５の判定結果をスイッチ５８に出力する処理を実施する。
また、イントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるイントラ予測モードをイントラ予測画像生成部５６に出力し、イントラ／インター判定部１５の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報である動きベクトルをインター予測画像生成部５７に出力する処理を実施する。
なお、エントロピー復号部５２はエントロピー復号手段を構成している。

逆量子化パラメータ生成部５３はエントロピー復号部５２から出力された符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分から符号化ブロックの量子化パラメータを決定する処理を実施する。なお、逆量子化パラメータ生成部５３は量子化パラメータ決定手段を構成している。
逆量子化部５４は逆量子化パラメータ生成部５３により決定された量子化パラメータを用いて、エントロピー復号部５２から出力された変換係数を直交変換ブロック単位で逆量子化し、図１の画像符号化装置における直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部５５に出力する処理を実施する。
逆直交変換部５５は逆量子化部５４から出力された変換係数を逆直交変換し、図１の画像符号化装置におけるスイッチ１６から出力された差分画像に相当する差分画像を加算器５９に出力する処理を実施する。
なお、逆量子化部５４及び逆直交変換部５５から逆量子化手段が構成されている。

イントラ予測画像生成部５６はエントロピー復号部５２からイントラ予測モードが出力された場合、そのイントラ予測モードに対応する加算器５９により生成された復号画像（既に復号が終了している符号化ブロックの周辺のブロックの復号画像）を用いて、当該符号化ブロックに対するイントラ予測処理を実施することで予測画像を生成する処理を実施する。
インター予測画像生成部５７はエントロピー復号部５２から動きベクトルが出力された場合、その動きベクトルを用いて、フレームメモリ６１により格納されている復号画像に対する動き補償予測処理を実施することで、図１の画像符号化装置における動き補償予測部１３により生成される予測画像に相当する予測画像を生成する処理を実施する。

スイッチ５８はエントロピー復号部５２から出力されたイントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測画像生成部５６により生成された予測画像を加算器５９に出力し、イントラ／インター判定部１５の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、インター予測画像生成部５７により生成された予測画像を加算器５９に出力する処理を実施する。
なお、イントラ予測画像生成部５６、インター予測画像生成部５７及びスイッチ５８から予測画像生成手段が構成されている。

加算器５９はスイッチ５８から出力された予測画像と逆直交変換部５５から出力された差分画像を加算して復号画像を生成し、その復号画像をイントラ予測画像生成部５６及びデブロッキングフィルタ部６０に出力する処理を実施する。なお、加算器５９は復号画像生成手段を構成している。
デブロッキングフィルタ部６０は加算器５９により生成された復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の復号画像をフレームメモリ６１に格納する処理を実施する。
フレームメモリ６１は歪み補償後の復号画像を格納する記録媒体である。
スイッチ６２はデブロッキングフィルタ部６０による歪み補償後の復号画像又はフレームメモリ６１により格納されている復号画像を表示順に選択して、選択した復号画像を出力する処理を実施する。

図３の例では、画像復号装置の構成要素である受信バッファ５１、エントロピー復号部５２、逆量子化パラメータ生成部５３、逆量子化部５４、逆直交変換部５５、イントラ予測画像生成部５６、インター予測画像生成部５７、スイッチ５８、加算器５９、デブロッキングフィルタ部６０、フレームメモリ６１及びスイッチ６２のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置の全部又は一部がコンピュータで構成されていてもよい。
画像復号装置の全部又は一部がコンピュータで構成されている場合、エントロピー復号部５２、逆量子化パラメータ生成部５３、逆量子化部５４、逆直交変換部５５、イントラ予測画像生成部５６、インター予測画像生成部５７、スイッチ５８、加算器５９、デブロッキングフィルタ部６０及びスイッチ６２の処理内容の全部又は一部を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図４はこの発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。

次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
符号化部１のイントラ予測部１１は、入力画像を構成している符号化ブロック（マクロブロック、または、マクロブロックを更に分割しているブロック）毎に最適なイントラ予測モードを選択し、そのイントラ予測モードに対応する局部復号画像（既に符号化が終了している符号化ブロックの周辺のブロックの局部復号画像）を用いて、当該符号化ブロックに対するイントラ予測処理を実施することで予測画像を生成する（図２のステップＳＴ１）。
ただし、最適なイントラ予測モードを選択して予測画像を生成する技術は、公知の技術であるため詳細な説明を省略する（例えば、Ｈ．２６４を参照）。

イントラ予測部１１は、予測画像を生成すると、入力画像を構成している符号化ブロックと当該予測画像の差分画像を生成し、その差分画像をスイッチ１６に出力する（ステップＳＴ２）。
なお、イントラ予測部１１は、画像復号装置でも同じ予測画像を生成する必要があるので、その予測画像の生成に用いている予測画像生成用情報として、そのイントラ予測モードをエントロピー符号化部２４に出力する。

動き探索部１２は、入力画像を構成している符号化ブロックとフレームメモリ２３により格納されている局部復号画像を比較することで動き探索を実施して、動きベクトルを算出する。
動きベクトルの算出処理も公知の技術であるため詳細な説明を省略する（例えば、Ｈ．２６４を参照）。
なお、動き探索部１２は、画像復号装置でも同じ予測画像を生成する必要があるので、その予測画像の生成に用いている予測画像生成用情報として、その動きベクトルをエントロピー符号化部２４に出力する。

動き補償予測部１３は、動き探索部１２が動きベクトルを算出すると、その動きベクトルを用いて、フレームメモリ２３により格納されている局部復号画像に対する動き補償予測処理を実施することで、予測画像を生成する（ステップＳＴ３）。
動き補償予測処理についても公知の技術であるため詳細な説明を省略する（例えば、Ｈ．２６４を参照）。
差分器１４は、動き補償予測部１３が予測画像を生成すると、入力画像を構成している符号化ブロックと当該予測画像の差分を求めることで差分画像を生成し、その差分画像をスイッチ１６に出力する（ステップＳＴ４）。

イントラ／インター判定部１５は、イントラ予測部１１及び動き補償予測部１３が予測画像を生成すると、双方の予測画像を比較して最適な予測画像を判定する（ステップＳＴ５）。
最適な予測画像の判定処理として一般的に広く行われている方法は、入力画像を構成している符号化ブロックと予測画像の同一画素位置における画素の差分絶対値あるいは差分自乗値をブロック分累算した値を評価値として使用するものである。この場合、評価値が小さい方を選択する。
イントラ／インター判定部１５は、最適な予測画像を判定すると、その予測画像を加算器２１に出力する。また、最適な予測画像を示す判定結果をスイッチ１６及びエントロピー符号化部２４に出力する。

スイッチ１６は、イントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ５）、イントラ予測部１１により生成された差分画像を選択して直交変換部１７に出力する（ステップＳＴ６）。
一方、判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ５）、差分器１４により生成された差分画像を選択して直交変換部１７に出力する（ステップＳＴ７）。

直交変換部１７は、スイッチ１６から差分画像を受けると、直交変換ブロック（４×４ブロック、または、８×８ブロック）の単位で、その差分画像を直交変換して、その差分画像の変換係数を量子化部１８に出力する（ステップＳＴ８）。

符号化制御部２の量子化パラメータ変動幅決定部３１は、例えば、フレーム単位の入力画像における周波数成分の分布を調べ、その周波数成分の分布に応じて量子化パラメータの変動幅を決定する（ステップＳＴ９）。
変動幅の決定方法として、例えば、フレーム全体に渡って同様の周波数成分が分布している場合には変動幅を小さくし、異なる周波数成分が多数点在している場合には、変動幅を大きくする方法などが考えられる。
なお、符号化フレームの符号化前に、そのフレームの周波数成分の分布が得られない場合には、１フレーム前に求めている変動幅を使用するようにする。

ここでは、量子化パラメータ変動幅決定部３１が、周波数成分の分布に応じて量子化パラメータの変動幅を決定する例を示しているが、変動幅の決定方法は、これに限るものではなく、例えば、量子化パラメータの変動幅に制限を設けずに、量子化パラメータを決定した場合の最大の変動幅を特定し、その最大の変動幅を量子化パラメータの変動幅に決定する方法なども考えられる。

符号化制御部２の量子化制御部３２は、送信バッファ２５により蓄積されているビットストリームのバッファ量や、符号化ブロック毎の目標符号量や、実際に発生しているビットストリームの符号量などから、符号化ブロックの量子化パラメータＱＰを決定する。
符号化ブロックの量子化パラメータＱＰを決定する処理としては、例えば、ＭＰＥＧ−２の検証試験で使用されたＴＭ５と呼ばれる方法がある（例えば、テレビジョン学会誌、１９９５年４月号、Ｖｏｌ４９、Ｎｏ４を参照）。

量子化制御部３２は、符号化ブロックの量子化パラメータＱＰを決定すると、その量子化パラメータＱＰと１つ前の符号化済みブロックの量子化パラメータとの差分ｄＱＰ（Ｄｅｌｔａ ＱＰ）が量子化パラメータ変動幅決定部３１により決定された変動幅に収まっているか否かを判定し、その変動幅に収まっていなければ、その変動幅に収まるように量子化パラメータＱＰに制限をかける（ステップＳＴ１０）。
例えば、量子化パラメータＱＰが“Ｎ”、１つ前の符号化済みブロックの量子化パラメータが“Ｎ＋３”で、差分ｄＱＰが“３”であるとき、量子化パラメータ変動幅決定部３１により決定された変動幅が“２”であれば、その変動幅に収まるように量子化パラメータＱＰを“Ｎ＋１”に変更する。
量子化制御部３２は、符号化ブロックの量子化パラメータＱＰ（差分が変動幅に収まっている量子化パラメータ）を量子化部１８及びエントロピー符号化部２４に出力する。また、量子化パラメータ変動幅決定部３１により決定された変動幅をエントロピー符号化部２４に出力する。

量子化部１８は、直交変換部１７から差分画像の変換係数を受けると、量子化制御部３２から出力された量子化パラメータＱＰを用いて、その差分画像の変換係数を直交変換ブロック単位で量子化する（ステップＳＴ１１）。
逆量子化部１９は、量子化部１８が差分画像の変換係数を量子化すると、その変換係数を逆量子化することで、直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部２０に出力する。
逆直交変換部２０は、逆量子化部１９から変換係数を受けると、その変換係数を逆直交変換することで、スイッチ１６から出力された差分画像に相当する差分画像を加算器２１に出力する。

加算器２１は、逆直交変換部２０から出力された差分画像とイントラ／インター判定部１５により選択された予測画像を加算して局部復号画像を生成する。
加算器２１は、局部復号画像を生成すると、次回のイントラ予測処理に備えるため、その局部復号画像をイントラ予測部１１に出力する。また、局部復号画像をデブロッキングフィルタ部２２に出力する。
デブロッキングフィルタ部２２は、加算器２１から局部復号画像を受けると、その局部復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の局部復号画像をフレームメモリ２３に格納する。

エントロピー符号化部２４は、以下の情報をエントロピー符号化してビットストリームを生成する（ステップＳＴ１２）。
・量子化部１８により量子化された変換係数
・イントラ／インター判定部１５の判定結果
・最適な予測画像の生成に用いられた予測画像生成用情報（イントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により選択されたイントラ予測モード、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、動き探索部１２により算出された動きベクトル）
・符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分ｄＱＰ
・量子化パラメータの変動幅（量子化パラメータ変動幅は、ピクチャあるいはスライス毎に伝送するものであるため、ピクチャヘッダあるいはスライスヘッダを送信するタイミングでのみエントロピー符号化される）

ここでは、量子化パラメータの変動幅もエントロピー符号化している例を示しているが、量子化パラメータ変動幅は、ピクチャあるいはスライス毎に伝送するものであり、量子化パラメータの変動幅を送信するために必要なビット量は１フレーム当りではごく僅かであるため、エントロピー符号化せずに、ピクチャヘッダあるいはスライスヘッダに多重するようにしてもよいし、一般的な可変長符号であるゴロム符号などによりエントロピー符号化して多重するようにしてもよい。

以下、ビットストリームを生成する際に、量子化パラメータの変動幅を適用する方法を説明する。
ここでは説明の簡単化ため、符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分ｄＱＰをエントロピー符号化しないで、そのまま送信するものとする。
図５に示すように、例えば、量子化パラメータＱＰの取り得る範囲が０〜５１である場合、差分ｄＱＰの取り得る範囲は−５１〜＋５１である。この差分ｄＱＰを送信するために必要なビット長は７ビットである。

ここで、量子化パラメータの変動幅を送信しない場合、量子化パラメータＱＰの変動幅を狭い範囲に限定したとしても、差分ｄＱＰを送信するために必要なビット長は７ビットである。
一方、量子化パラメータの変動幅を送信する場合、例えば、差分ｄＱＰの範囲を−５〜＋５に制限すると、差分ｄＱＰを送信するために必要なビット長は４ビットであり、差分ｄＱＰの範囲を−２〜＋２に制限すると、差分ｄＱＰを送信するために必要なビット長は３ビットである。
このビット量の削減は符号化ブロック単位に適用されるため、１フレーム当りの削減量は非常に大きなものとなる。
図６に示すように、量子化パラメータの差分ｄＱＰをエントロピー符号化する場合にも、量子化パラメータの変動幅を送信すれば、同じ差分ｄＱＰに短い符号語を割り当てることができるため、ビット量を削減することができる。

送信バッファ２５は、エントロピー符号化部２４がビットストリームを生成すると、そのビットストリームを一時的に保持してから、例えば、回線などの外部の伝送手段を介して、そのビットストリームを画像復号装置に送信する。

以上で明らかなように、この実施の形態１によれば、予め量子化パラメータの変動幅を設定し、その符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分が上記変動幅に収まる範囲内で、その符号化ブロックの量子化パラメータを決定する符号化制御部２と、イントラ予測部１１により生成された差分画像又は差分器１４から出力された差分画像を直交変換する直交変換部１７と、符号化制御部２により決定された量子化パラメータを用いて、直交変換部１７から出力された差分画像の変換係数を量子化する量子化部１８とを設け、エントロピー符号化部２４が、符号化制御部２により設定された量子化パラメータの変動幅、量子化部１８により量子化された変換係数、イントラ予測部１１又は動き補償予測部１３により予測画像が生成される際に用いられた予測画像生成用情報及び符号化ブロックと符号化済みブロックにおける量子化パラメータの差分ｄＱＰをエントロピー符号化してビットストリームを生成するように構成したので、量子化パラメータに関する情報の送信ビット量を削減して、符号化効率を高めることができる効果を奏する。

次に、画像復号装置の処理内容を説明する。
受信バッファ５１は、図１の画像符号化装置から送信されたビットストリームを受信し、そのビットストリームをエントロピー復号部５２に出力する。
エントロピー復号部５２は、受信バッファ５１からビットストリームを受けると、そのビットストリームをエントロピー復号する（図４のステップＳＴ２１）。

エントロピー復号部５２は、ビットストリームをエントロピー復号すると、ビットストリームの復号データから量子化パラメータの変動幅をエントロピー復号する。
ただし、量子化パラメータの変動幅は、上述したように、ピクチャあるいはスライス単位に送信されるので、ピクチャあるいはスライス単位にエントロピー復号する。

エントロピー復号部５２は、量子化パラメータの変動幅をエントロピー復号すると、その変動幅から符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分ｄＱＰのビット長を特定する。
例えば、差分ｄＱＰの範囲が−５〜＋５に制限されている場合、差分ｄＱＰのビット長が４ビットであり、差分ｄＱＰの範囲が−２〜＋２に制限されている場合、差分ｄＱＰのビット長が３ビットであると特定する。
エントロピー復号部５２は、量子化パラメータの差分ｄＱＰのビット長を特定すると、ビットストリームの復号データに含まれている量子化パラメータの差分ｄＱＰをエントロピー復号する（ステップＳＴ２２）。
また、エントロピー復号部５２は、ビットストリームの復号データに含まれている図１の画像符号化装置の量子化部１８により量子化された変換係数、イントラ／インター判定部１５の判定結果及び予測画像生成用情報をエントロピー復号する。

なお、エントロピー復号部５２は、量子化パラメータの差分ｄＱＰについては逆量子化パラメータ生成部５３に出力し、量子化部１８により量子化された変換係数については逆量子化部５４に出力し、イントラ／インター判定部１５の判定結果についてはスイッチ５８に出力する。
また、イントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるイントラ予測モードをイントラ予測画像生成部５６に出力し、イントラ／インター判定部１５の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報である動きベクトルをインター予測画像生成部５７に出力する。

逆量子化パラメータ生成部５３は、エントロピー復号部５２から符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分ｄＱＰを受けると、その量子化パラメータの差分ｄＱＰと、１つ前の符号化済みブロックにおける量子化パラメータ（この量子化パラメータは、逆量子化パラメータ生成部５３が記憶している）とを加算することで、符号化ブロックの量子化パラメータＱＰを決定し、符号化ブロックの量子化パラメータＱＰを逆量子化部５４に出力する（ステップＳＴ２３）。

逆量子化部５４は、逆量子化パラメータ生成部５３から符号化ブロックの量子化パラメータＱＰを受けると、その量子化パラメータＱＰを用いて、エントロピー復号部５２から出力された変換係数を直交変換ブロック単位で逆量子化することで、図１の画像符号化装置における直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部５５に出力する（ステップＳＴ２４）。

逆直交変換部５５は、逆量子化部５４から変換係数を受けると、その変換係数を逆直交変換することで、図１の画像符号化装置におけるスイッチ１６から出力された差分画像に相当する差分画像を加算器５９に出力する（ステップＳＴ２５）。

イントラ予測画像生成部５６は、エントロピー復号部５２から予測画像生成用情報としてイントラ予測モードを受けると、そのイントラ予測モードに対応する加算器５９により生成された復号画像（既に復号が終了している符号化ブロックの周辺のブロックの復号画像）を用いて、イントラ予測処理を実施することで、図１の画像符号化装置におけるイントラ予測部１１により生成される予測画像に相当する予測画像を生成する（ステップＳＴ２６）。

インター予測画像生成部５７は、エントロピー復号部５２から予測画像生成用情報として動きベクトルを受けると、その動きベクトルを用いて、フレームメモリ６１により格納されている復号画像に対する動き補償予測処理を実施することで、図１の画像符号化装置における動き補償予測部１３により生成される予測画像に相当する予測画像を生成する（ステップＳＴ２７）。

スイッチ５８は、エントロピー復号部５２から出力されたイントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ２８）、イントラ予測画像生成部５６により生成された予測画像を加算器５９に出力し（ステップＳＴ２９）、イントラ／インター判定部１５の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ２８）、インター予測画像生成部５７により生成された予測画像を加算器５９に出力する（ステップＳＴ３０）。

加算器５９は、スイッチ５８から出力された予測画像と、逆直交変換部５５から出力された差分画像とを加算して復号画像を生成し、その復号画像をイントラ予測画像生成部５６及びデブロッキングフィルタ部６０に出力する（ステップＳＴ３１）。
デブロッキングフィルタ部６０は、加算器５９から復号画像を受けると、その復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の復号画像をフレームメモリ６１に格納する。
スイッチ６２は、加算器５９により生成された復号画像又はフレームメモリ６１により格納されている復号画像を表示順に選択して、その選択した復号画像を出力する。

以上で明らかなように、この実施の形態１によれば、ビットストリームから量子化パラメータの変動幅をエントロピー復号し、その量子化パラメータの変動幅から符号化ブロックと符号化済みブロックにおける量子化パラメータの差分ｄＱＰのビット長を特定して、そのビットストリームから量子化パラメータの差分ｄＱＰをエントロピー復号するとともに、ビットストリームから量子化された変換係数及び予測画像が生成される際に用いられた予測画像生成用情報をエントロピー復号するエントロピー復号部５２と、エントロピー復号部５２によりエントロピー復号された量子化パラメータの差分ｄＱＰから符号化ブロックの量子化パラメータＱＰを決定する逆量子化パラメータ生成部５３と、逆量子化パラメータ生成部５３により決定された量子化パラメータを用いて、エントロピー復号部５２によりエントロピー復号された変換係数を逆量子化する逆量子化部５４と、逆量子化部５４により逆量子化された変換係数を逆直交変換する逆直交変換部５５と、エントロピー復号部５２によりエントロピー復号された予測画像生成用情報を用いて、予測画像を生成するイントラ予測画像生成部５６／インター予測画像生成部５７とを設け、加算器５９が、イントラ予測画像生成部５６／インター予測画像生成部５７により生成された予測画像と逆直交変換部５５の逆直交変換結果である差分画像を加算して復号画像を生成するように構成したので、量子化パラメータに関する情報の送信ビット量が削減されていても、画像を復号することができる効果を奏する。

この実施の形態１では、符号化制御部２の量子化制御部３２が、量子化パラメータの差分ｄＱＰが量子化パラメータ変動幅決定部３１により設定された変動幅に収まる範囲内で、符号化ブロックの量子化パラメータＱＰを決定するものを示したが、量子化パラメータ変動幅決定部３１により量子化パラメータの変動幅が設定されない場合、量子化パラメータの差分ｄＱＰが変動幅に収まるように符号化ブロックの量子化パラメータＱＰに制限をかける処理は実施しない。
エントロピー符号化部２４は、量子化パラメータ変動幅決定部３１により量子化パラメータの変動幅が設定されない場合、量子化パラメータの変動幅が設定されていない旨を示す情報をビットストリームに含めるようにする。

画像復号装置のエントロピー復号部５２は、量子化パラメータの変動幅が設定されていない旨を示す情報がビットストリームに含まれている場合、符号化ブロックと符号化済みブロックにおける量子化パラメータの差分ｄＱＰのビット長が固定のビット長（例えば、７ビット）であると認識して、ビットストリームから量子化パラメータの差分ｄＱＰをエントロピー復号するようにする。
これにより、量子化パラメータの差分の変動幅に制限が設けられない場合も適用することができる。

この実施の形態１では、Ｈ．２６４をベースとする符号化に適用する例を説明したが、量子化パラメータを１つ前や周辺の符号化ブロックの量子化パラメータ、あるいは、周辺の符号化ブロックの量子化パラメータからある決められた算出方法により求めた量子化パラメータとの差分を送信する符号化方式であれば、どのようなものにも適用可能である。

実施の形態２．
上記実施の形態１では、符号化制御部２の量子化制御部３２が、量子化パラメータの差分ｄＱＰが量子化パラメータ変動幅決定部３１により設定された変動幅に収まる範囲内で、符号化ブロックの量子化パラメータＱＰを決定するものを示したが、量子化パラメータ変動幅決定部３１が、量子化パラメータの変動幅を設定する代わりに、量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰを設定し、量子化制御部３２が、最大値ＭａｘＱＰと最小値ＭｉｎＱＰの範囲に収まる符号化ブロックの量子化パラメータＱＰを決定するようにしてもよい。
この場合、エントロピー符号化部２４が、最大値ＭａｘＱＰと最小値ＭｉｎＱＰをピクチャあるいはスライス単位にヘッダに多重して送信するため（最大値ＭａｘＱＰと最小値ＭｉｎＱＰはエントロピー符号化してもよいし、エントロピー符号化しなくてもよい）、最大値ＭａｘＱＰと最小値ＭｉｎＱＰを送信するために必要なビット量は１フレーム当りではごく僅かである。

例えば、スライス単位に最大値ＭａｘＱＰと最小値ＭｉｎＱＰを多重する場合、スライスでの量子化パラメータの初期値である量子化パラメータ初期値ＳｌｉｃｅＱＰを多重し、最大値ＭａｘＱＰと量子化パラメータ初期値ＳｌｉｃｅＱＰとの差分であるＭａｘＱＰ−ＳｌｉｃｅＱＰを差分最大量子化値ｄＭａｘＱＰとして多重すると共に、その量子化パラメータ初期値ＳｌｉｃｅＱＰと最小値ＭｉｎＱＰとの差分であるＳｌｉｃｅＱＰ−ＭｉｎＱＰを差分最小量子化値ｄＭｉｎＱＰとして多重するよう構成し、差分最大量子化値ｄＭａｘ及び差分最小量子化値ｄＭｉｎＱＰを絶対値が小さい順に短い符号語を割り当てるようにエントロピー符号化するようにしてもよい。例えばゴロム符号などにより実現すれば、最大値ＭａｘＱＰと最小値ＭｉｎＱＰをより効率よく多重することができる。
なお、この場合も、エントロピー符号化部２４は、量子化パラメータの差分ｄＱＰをエントロピー符号化してビットストリームを生成する。

量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰを送信する場合において、例えば、１つ前の符号化ブロックの量子化パラメータをＰｒｅＱＰとすると、差分ｄＱＰの最小値はＭｉｎＱＰ−ＰｒｅＱＰとなり、差分ｄＱＰの最大値はＭａｘＱＰ−ＰｒｅＱＰとなる。
例えば、１つ前の符号化ブロックの量子化パラメータＰｒｅＱＰが最大値ＭａｘＱＰよりも１だけ小さい場合を例に説明すると、差分ｄＱＰの最大値ＭａｘＱＰ−ＰｒｅＱＰは“＋１”となるため、図７に示すように、差分ｄＱＰの絶対値が小さい順に短い符号語を割り当てるように可変長符号を設計すれば、同じ差分ｄＱＰに短い符号語を割り当てることができる。
図７では、例えば、差分ｄＱＰが“−４”の場合、最大値ＭａｘＱＰと最小値ＭｉｎＱＰを設定しなければ、差分ｄＱＰの符号語が７ビットになるが、最大値ＭａｘＱＰと最小値ＭｉｎＱＰを設定すると、差分ｄＱＰの符号語が５ビットになり、ビット量が２ビット削減される。

画像復号装置のエントロピー復号部５２は、ビットストリームをエントロピー復号すると、ビットストリームの復号データに含まれている量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰをエントロピー復号する。ただし、量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰは、上述したように、ピクチャあるいはスライス単位に送信されるので、ピクチャヘッダ又はスライスヘッダに多重されており、ピクチャあるいはスライス単位で最大値ＭａｘＱＰと最小値ＭｉｎＱＰをエントロピー復号する。
例えば、エントロピー符号化部２４において、スライス単位に最大値ＭａｘＱＰと最小値ＭｉｎＱＰを多重する場合、スライスでの量子化パラメータの初期値である量子化パラメータ初期値ＳｌｉｃｅＱＰを多重し、最大値ＭａｘＱＰと量子化パラメータ初期値ＳｌｉｃｅＱＰとの差分であるＭａｘＱＰ−ＳｌｉｃｅＱＰを差分最大量子化値ｄＭａｘＱＰとして多重すると共に、その量子化パラメータ初期値ＳｌｉｃｅＱＰと最小値ＭｉｎＱＰとの差分であるＳｌｉｃｅＱＰ−ＭｉｎＱＰを差分最小量子化値ｄＭｉｎＱＰとして多重するようにし、差分最大量子化値ｄＭａｘ及び差分最小量子化値ｄＭｉｎＱＰを絶対値が小さい順に短い符号語を割り当てるようにエントロピー符号化するようにした場合には、エントロピー復号部５２は、量子化パラメータ初期値ＳｌｉｃｅＱＰ、差分最大量子化値ｄＭａｘ及び差分最小量子化値ｄＭｉｎＱＰをエントロピー復号し、その量子化パラメータ初期値ＳｌｉｃｅＱＰと差分最大量子化値ｄＭａｘを加算することによって最大値ＭａｘＱＰを復号し、その量子化パラメータ初期値ＳｌｉｃｅＱＰから差分最小量子化値ｄＭｉｎを減算することによって最小値ＭｉｎＱＰを復号することができる。

エントロピー復号部５２は、量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰをエントロピー復号すると、その最大値ＭａｘＱＰと最小値ＭｉｎＱＰから符号化ブロックと１つ前の符号化済みブロックにおける量子化パラメータの差分ｄＱＰのビット長を特定する。
エントロピー復号部５２は、量子化パラメータの差分ｄＱＰのビット長を特定すると、ビットストリームの復号データに含まれている量子化パラメータの差分ｄＱＰをエントロピー復号する。
このように、量子化パラメータＱＰの値自体を制限することでも、量子化パラメータの差分ｄＱＰの変動幅を制限する場合と同様に、量子化パラメータの差分ｄＱＰの符号化効率を向上させることができる。

この実施の形態２では、量子化パラメータ変動幅決定部３１が、量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰを設定するものを示したが、量子化パラメータ変動幅決定部３１が、量子化パラメータの変動幅を設定するとともに、量子化パラメータの最大値ＭａｘＱＰと最小値ＭｉｎＱＰを設定し、量子化制御部３２が、量子化パラメータの差分ｄＱＰが上記変動幅に収まる範囲内であって、最大値ＭａｘＱＰと最小値ＭｉｎＱＰの範囲に収まる符号化ブロックの量子化パラメータＱＰを決定するようにしてもよい。
この場合、エントロピー符号化部２４は、量子化パラメータ変動幅決定部３１により設定された量子化パラメータの変動幅、最大値ＭａｘＱＰ及び最小値ＭｉｎＱＰをピクチャあるいはスライス単位にヘッダに多重して送信する（変動幅、最大値ＭａｘＱＰ及び最小値ＭｉｎＱＰはエントロピー符号化してもよいし、エントロピー符号化しなくてもよい）。

このように、量子化パラメータの差分ｄＱＰの変動幅を制限し、かつ、量子化パラメータＱＰの値自体を制限することで、さらに、量子化パラメータの差分ｄＱＰの符号化効率を向上させることができる。
例えば、図８に示すように、差分ｄＱＰの変動幅が“±２”で、１つ前のマクロブロックの量子化パラメータＰｒｅＱＰが量子化パラメータの最大値ＭａｘＱＰより１だけ小さい場合、差分ｄＱＰの絶対値が小さい順に短い符号語を割り当てるように可変長符号を設計すれば、より少ないビット量で差分ｄＱＰを符号化することができる。

実施の形態３．
この実施の形態３では、イントラ符号化を行う符号化ブロックと、インター符号化を行う符号化ブロックとが混在する場合について説明する。
この実施の形態３でも、符号化ブロック毎に、量子化パラメータを変更することができるものとする。
上述したように、マクロブロックを４分割し、４分割されたブロックを更に４分割することを繰り返して符号化ブロックを生成する。マクロブロックを４分割するかどうか、４分割された各ブロックをどこまで４分割するかは任意である。４分割しない最下層のブロックを符号化ブロックとする。

図９はこの発明の実施の形態３による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
イントラ／インター判定部４１は図１のイントラ／インター判定部１５と同様に、イントラ予測部１１により生成された予測画像と動き補償予測部１３により生成された予測画像を比較して最適な予測画像を判定し、最適な予測画像を加算器２１に出力するとともに、最適な予測画像を示す判定結果をスイッチ１６、量子化制御部４２及びエントロピー符号化部４３に出力する処理を実施する。

量子化制御部４２は送信バッファ２５により蓄積されているビットストリームのバッファ量や、符号化ブロック毎の目標符号量や、実際に発生しているビットストリームの符号量などから、符号化ブロックの量子化パラメータＱＰを決定し、イントラ／インター判定部４１から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、量子化パラメータＱＰに対して量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔ（変移値ＱＰ＿ｏｆｆｓｅｔは、例えば、符号化を行うレートなどに応じて予め決めている固定値、あるいは、送信バッファ２５のバッファ量などに応じて適応的に変更される変動値であり、ピクチャあるいはスライス単位に画像復号装置側に伝送される）を加算する処理を実施する。

また、量子化制御部４２はイントラ／インター判定部４１から出力された判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、変移値加算していない符号化ブロックの量子化パラメータＱＰをインター用の量子化パラメータＱＰ＿ｉｎｔｅｒとして量子化部１８に出力し、イントラ／インター判定部４１から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、変移値加算後の符号化ブロックの量子化パラメータをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして量子化部１８に出力する。
また、量子化制御部４２は量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔと変移値加算していない符号化ブロックの量子化パラメータＱＰをエントロピー符号化部４３に出力する。
なお、量子化制御部４２は量子化パラメータ決定手段を構成している。

エントロピー符号化部４３は量子化部１８により量子化された変換係数と、符号化制御部２の量子化制御部４２から出力された量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔ、量子化制御部４２から出力された符号化ブロックの量子化パラメータと符号化済みブロックの量子化パラメータとの差分ｄＱＰ（符号化済みブロックが符号化ブロックの左側ブロックであるのか、上側ブロックであるのかを示すフラグを含む）、イントラ／インター判定部１５から出力された判定結果と、最適な予測画像の生成に用いられた予測画像生成用情報（イントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により選択されたイントラ予測モード、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、動き探索部１２により算出された動きベクトル）とをエントロピー符号化してビットストリームを生成する処理を実施する。
ここでは、量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔもエントロピー符号化しているが、量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔはエントロピー符号化せずに、ビットストリームのヘッダに多重するようにしてもよい。
また、ここでは、符号化ブロックの量子化パラメータＱＰと符号化済みブロックの量子化パラメータとの差分ｄＱＰをエントロピー符号化しているが、符号化ブロックの量子化パラメータＱＰをエントロピー符号化するようにしてもよい。
なお、エントロピー符号化部４３はエントロピー符号化手段を構成している。

図９の例では、画像符号化装置の構成要素であるイントラ予測部１１、動き探索部１２、動き補償予測部１３、差分器１４、イントラ／インター判定部４１、スイッチ１６、直交変換部１７、量子化部１８、逆量子化部１９、逆直交変換部２０、加算器２１、デブロッキングフィルタ部２２、フレームメモリ２３、エントロピー符号化部４３、送信バッファ２５及び量子化制御部４２のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置の全部又は一部がコンピュータで構成されていてもよい。
画像符号化装置の全部又は一部がコンピュータで構成されている場合、イントラ予測部１１、動き探索部１２、動き補償予測部１３、差分器１４、イントラ／インター判定部４１、スイッチ１６、直交変換部１７、量子化部１８、逆量子化部１９、逆直交変換部２０、加算器２１、デブロッキングフィルタ部２２、フレームメモリ２３、エントロピー符号化部４３、送信バッファ２５及び量子化制御部４２の処理内容の全部又は一部を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

図１０はこの発明の実施の形態３による画像復号装置を示す構成図であり、図において、図３と同一符号は同一又は相当部分を示すので説明を省略する。
エントロピー復号部７１は受信バッファ５１から出力されたビットストリームの復号データに含まれている量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔ、符号化ブロックの量子化パラメータと符号化済みブロックの量子化パラメータとの差分ｄＱＰ（符号化済みブロックが符号化ブロックの左側ブロックであるのか、上側ブロックであるのかを示すフラグを含む）、量子化部１８により量子化された変換係数、イントラ／インター判定部４１の判定結果及び予測画像生成用情報をエントロピー復号する。

また、エントロピー復号部７１は量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔ、量子化パラメータの差分及びイントラ／インター判定部１５の判定結果を逆量子化パラメータ生成部７２に出力し、量子化部１８により量子化された変換係数を逆量子化部５４に出力し、イントラ／インター判定部４１の判定結果をスイッチ５８に出力する処理を実施する。
また、イントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるイントラ予測モードをイントラ予測画像生成部５６に出力し、イントラ／インター判定部４１の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報である動きベクトルをインター予測画像生成部５７に出力する処理を実施する。
なお、エントロピー復号部７１はエントロピー復号手段を構成している。

逆量子化パラメータ生成部７２はエントロピー復号部７１から出力された量子化パラメータの差分ｄＱＰと、１つ前の符号化済みブロックにおける量子化パラメータ（この量子化パラメータは、逆量子化パラメータ生成部７２が記憶している）とを加算することで、符号化ブロックの量子化パラメータＱＰを決定する処理を実施する。
また、逆量子化パラメータ生成部７２はエントロピー復号部７１から出力されたイントラ／インター判定部４１の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、符号化ブロックの量子化パラメータＱＰをインター用の量子化パラメータＱＰ＿ｉｎｔｅｒとして逆量子化部５４に出力し、イントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、符号化ブロックの量子化パラメータＱＰに対してエントロピー復号部７１から出力された量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔを加算し、変移値加算後の量子化パラメータをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして逆量子化部５４に出力する処理を実施する。
なお、逆量子化パラメータ生成部７２は量子化パラメータ決定手段を構成している。

図１０の例では、画像復号装置の構成要素である受信バッファ５１、エントロピー復号部７１、逆量子化パラメータ生成部７２、逆量子化部５４、逆直交変換部５５、イントラ予測画像生成部５６、インター予測画像生成部５７、スイッチ５８、加算器５９、デブロッキングフィルタ部６０、フレームメモリ６１及びスイッチ６２のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置の全部又は一部がコンピュータで構成されていてもよい。
画像復号装置の全部又は一部がコンピュータで構成されている場合、エントロピー復号部７１、逆量子化パラメータ生成部７２、逆量子化部５４、逆直交変換部５５、イントラ予測画像生成部５６、インター予測画像生成部５７、スイッチ５８、加算器５９、デブロッキングフィルタ部６０及びスイッチ６２の処理内容の全部又は一部を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。主に、図１の画像符号化装置と異なる部分の処理内容を説明する。
図１１はマクロブロック内の符号化ブロックをイントラブロックとして符号化を行う一例を示す説明図である。
図１１において、太線で示しているマクロブロック（サイズは任意）内の符号化ブロックのうち、斜線が施されている符号化ブロックがイントラ符号化を行うブロック（イントラブロック）である。
一方、斜線が施されていない白色の符号化ブロックがインター符号化を行うブロック（インターブロック）である。

イントラ／インター判定部４１は、図１のイントラ／インター判定部１５と同様に、イントラ予測部１１により生成された予測画像（イントラブロックの予測画像）と、動き補償予測部１３により生成された予測画像（インターブロックの予測画像）とを比較して、最適な予測画像を判定し、最適な予測画像を加算器２１に出力する。
また、イントラ／インター判定部４１は、最適な予測画像がイントラブロックの予測画像であるのか、インターブロックの予測画像であるのかを示す判定結果をスイッチ１６、量子化制御部４２及びエントロピー符号化部４３に出力する。

量子化制御部４２は、図１の量子化制御部３２と同様に、送信バッファ２５により蓄積されているビットストリームのバッファ量や、符号化ブロック毎の目標符号量や、実際に発生しているビットストリームの符号量などから、符号化ブロックの量子化パラメータＱＰを決定し、その量子化パラメータＱＰをエントロピー符号化部４３に出力する。
また、量子化制御部４２は、イントラ／インター判定部４１から判定結果を受けると、その判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、下記の式（１）に示すように、符号化ブロックの量子化パラメータＱＰに対して量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔを加算し、変移値加算後の量子化パラメータをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして量子化部１８に出力する。
ＱＰ＿ｉｎｔｒａ＝ＱＰ＋ＱＰ＿ｏｆｆｓｅｔ （１）
ただし、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａが規格で決められている規定値を超える場合、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして、その規定値を量子化部１８に出力する。

量子化制御部４２は、イントラ／インター判定部４１の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、変移値を加算していない符号化ブロックの量子化パラメータＱＰをインター用の量子化パラメータＱＰ＿ｉｎｔｅｒとして量子化部１８に出力する。
ＱＰ＿ｉｎｔｅｒ＝ＱＰ （２）

量子化部１８は、イントラ予測部１１により生成された予測画像が最適な予測画像であれば、量子化制御部４２から出力されるイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを用いて、直交変換部１７から出力された差分画像の変換係数を直交変換ブロック単位で量子化し、量子化後の変換係数をエントロピー符号化部４３に出力する。
一方、動き補償予測部１３により生成された予測画像が最適な予測画像であれば、量子化制御部４２から出力されるインター用の量子化パラメータＱＰ＿ｉｎｔｅｒを用いて、直交変換部１７から出力された差分画像の変換係数を直交変換ブロック単位で量子化し、量子化後の変換係数をエントロピー符号化部４３に出力する。

エントロピー符号化部４３は、符号化制御部２の量子化制御部４２から出力された量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔと、量子化部１８により量子化された変換係数と、量子化制御部４２から出力された変移値加算していない符号化ブロックの量子化パラメータと符号化済みブロックの量子化パラメータとの差分ｄＱＰ（符号化済みブロックが符号化ブロックの左側ブロックであるのか、上側ブロックであるのかを示すフラグを含む）と、イントラ／インター判定部４１から出力された判定結果と、最適な予測画像の生成に用いられた予測画像生成用情報（イントラ／インター判定部４１から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により選択されたイントラ予測モード、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、動き探索部１２により算出された動きベクトル）とをエントロピー符号化してビットストリームを生成し、そのビットストリームを送信バッファ２５に格納する。

なお、量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔは、ピクチャあるいはスライス毎に伝送するものであるため、ピクチャヘッダあるいはスライスヘッダを送信するタイミングでのみエントロピー符号化される。
ここでは、量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔもエントロピー符号化しているが、量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔを送信するために必要なビット量は１フレーム当りではごく僅かであるため、エントロピー符号化せずに、ピクチャヘッダあるいはスライスヘッダに多重するようにしてもよい。
また、ここでは、符号化ブロックの量子化パラメータと符号化済みブロックの量子化パラメータとの差分ｄＱＰをエントロピー符号化しているが、符号化ブロックの量子化パラメータＱＰをエントロピー符号化するようにしてもよい。

次に、画像復号装置の処理内容を説明する。主に、図３の画像復号装置と異なる部分の処理内容を説明する。
エントロピー復号部７１は、受信バッファ５１に格納されているビットストリームをエントロピー復号すると、ビットストリームの復号データに含まれている量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔをエントロピー復号する。ただし、量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔは、上述したように、ピクチャあるいはスライス単位に送信されるので、ピクチャヘッダ又はスライスヘッダに多重されており、ピクチャあるいはスライス単位でエントロピー復号する。

エントロピー復号部７１は、ビットストリームの復号データに含まれている量子化パラメータの差分ｄＱＰ（符号化済みブロックが符号化ブロックの左側ブロックであるのか、上側ブロックであるのかを示すフラグを含む）、量子化部１８により量子化された変換係数、イントラ／インター判定部４１の判定結果及び予測画像生成用情報をエントロピー復号する。
なお、エントロピー復号部７１は、量子化パラメータの差分ｄＱＰと量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔについては逆量子化パラメータ生成部７２に出力し（変移値ＱＰ＿ｏｆｆｓｅｔは、ピクチャあるいはスライス単位で送信されるので、ピクチャあるいはスライス単位で逆量子化パラメータ生成部７２に出力する）、量子化部１８により量子化された変換係数については逆量子化部５４に出力し、イントラ／インター判定部４１の判定結果についてはスイッチ５８及び逆量子化パラメータ生成部７２に出力する。
また、イントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるイントラ予測モードをイントラ予測画像生成部５６に出力し、イントラ／インター判定部４１の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報である動きベクトルをインター予測画像生成部５７に出力する。

逆量子化パラメータ生成部７２は、エントロピー復号部７１から量子化パラメータの差分ｄＱＰを受けると、その量子化パラメータの差分ｄＱＰと、１つ前の符号化済みブロックにおける量子化パラメータ（この量子化パラメータは、逆量子化パラメータ生成部７２が記憶している）とを加算することで、符号化ブロックの量子化パラメータＱＰを決定する。
エントロピー復号部７１から符号化ブロックの量子化パラメータＱＰを受ける場合には、量子化パラメータＱＰを決定する処理を実施しない。

逆量子化パラメータ生成部７２は、エントロピー復号部７１からイントラ／インター判定部４１の判定結果を受けると、その判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、図９の量子化制御部４２と同様に、符号化ブロックの量子化パラメータＱＰに対して量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔを加算し（上記の式（１）を参照）、変移値加算後の量子化パラメータをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして逆量子化部５４に出力する。
ただし、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａが規格で決められている規定値を超える場合、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして、その規定値を逆量子化部５４に出力する。

逆量子化パラメータ生成部７２は、イントラ／インター判定部４１の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、図９の量子化制御部４２と同様に、変移値を加算していない符号化ブロックの量子化パラメータＱＰをインター用の量子化パラメータＱＰ＿ｉｎｔｅｒとして逆量子化部５４に出力する。

逆量子化部５４は、イントラ予測部１１により生成された予測画像が最適な予測画像であれば、逆量子化パラメータ生成部７２から出力されるイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを用いて、エントロピー復号部７１から出力された変換係数を直交変換ブロック単位で逆量子化することで、図９の画像符号化装置における直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部５５に出力する。
一方、動き補償予測部１３により生成された予測画像が最適な予測画像であれば、逆量子化パラメータ生成部７２から出力されるインター用の量子化パラメータＱＰ＿ｉｎｔｅｒを用いて、エントロピー復号部７１から出力された変換係数を直交変換ブロック単位で逆量子化することで、図９の画像符号化装置における直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部５５に出力する。

以上で明らかなように、この実施の形態３によれば、イントラ符号化を行う符号化ブロックと、インター符号化を行う符号化ブロックとが混在する場合において、符号化ブロックがイントラ符号化を行うブロックであっても、インター符号化を行うブロックであっても同じ量子化パラメータの差分ｄＱＰが復号側に送信されるものであるが、量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔがピクチャあるいはスライス単位に復号側に送信されることで、イントラ符号化を行う符号化ブロックについてはイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを用いて、量子化部１８により量子化された変換係数を逆量子化することができ、インター符号化を行う符号化ブロックについてはインター用の量子化パラメータＱＰ＿ｉｎｔｅｒを用いて、量子化部１８により量子化された変換係数を逆量子化することができる。
このため、送信するビット量をあまり増加させることなく、最適な画質を得ることが可能になる。

実施の形態４．
上記実施の形態３では、量子化制御部４２が、イントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、符号化ブロックの量子化パラメータＱＰに対して量子化パラメータ変換用の変移値ＱＰ＿ｏｆｆｓｅｔを加算することで、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを生成するものを示したが、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示している場合、符号化ブロックの量子化パラメータＱＰとイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとの対応関係を示す変換テーブルを参照して、その符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換するようにしてもよい。
ただし、この実施の形態４では、画像符号化装置と画像復号装置が、同じ変換テーブルを記憶している必要がある。

具体的には、以下の通りである。
図１２は符号化ブロックの量子化パラメータＱＰとイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとの対応関係を示す変換テーブルの一例を示す説明図である。
画像符号化装置の量子化制御部４２は、上記実施の形態３と同様にして、符号化ブロックの量子化パラメータＱＰを決定すると、イントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、図１２の変換テーブルを参照して、その符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換し、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを量子化部１８に出力する。
図１２では、例えば、符号化ブロックの量子化パラメータＱＰが“１１”であれば、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを“１０”に決定し、符号化ブロックの量子化パラメータＱＰが“２８”であれば、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを“２５”に決定する。

量子化制御部４２は、イントラ／インター判定部４１の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、その符号化ブロックの量子化パラメータＱＰをインター用の量子化パラメータＱＰ＿ｉｎｔｅｒとして量子化部１８に出力する。

画像復号装置の逆量子化パラメータ生成部７２は、エントロピー復号部７１から出力されたイントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、図１２の変換テーブルを参照して、その符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換し、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａを逆量子化部５４に出力する。
イントラ／インター判定部４１の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、符号化ブロックの量子化パラメータＱＰをインター用の量子化パラメータＱＰ＿ｉｎｔｅｒとして逆量子化部５４に出力する。

以上で明らかなように、量子化制御部４２及び逆量子化パラメータ生成部７２が同一の変換テーブルを参照して、符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換するようにしても、上記実施の形態３と同様に、送信するビット量をあまり増加させることなく、最適な画質を得ることが可能になる。

この実施の形態４では、量子化制御部４２及び逆量子化パラメータ生成部７２が同一の変換テーブルを参照して、符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換するものを示したが、その変換テーブルが示している符号化ブロックの量子化パラメータＱＰとイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとの対応関係が更新される場合、エントロピー符号化部４３が、対応関係の更新内容を示す情報をピクチャ単位又はフレーム単位にビットストリームのヘッダに多重するようにしてもよい。
例えば、図１２の変換テーブルにおいて、符号化ブロックの量子化パラメータＱＰとイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとの対応関係をＭ個ずらす場合（図１２では、例えば、符号化ブロックの量子化パラメータＱＰの“３”は、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａの“３”に対応し、符号化ブロックの量子化パラメータＱＰの“８”は、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａの“７”に対応しているが、符号化ブロックの量子化パラメータＱＰの“３”は、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａの“５”に対応し、符号化ブロックの量子化パラメータＱＰの“８”は、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａの“９”に対応するように変更する場合、Ｍ＝２となる）、対応関係をＭ個ずらす旨を示すパラメータをピクチャ単位又はフレーム単位にビットストリームのヘッダに多重する。

逆量子化パラメータ生成部７２は、エントロピー復号部７１がビットストリームから対応関係の更新内容を示す情報を抽出すると、その情報にしたがって変換テーブルが示している量子化パラメータの対応関係を更新する。
例えば、対応関係をＭ個ずらす旨を示すパラメータがビットストリームに含まれている場合、符号化ブロックの量子化パラメータＱＰとイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとの対応関係をＭ個ずらすように変更する。
Ｍ＝２であれば、図１２の変換テーブルにおいて、例えば、符号化ブロックの量子化パラメータＱＰの“３”は、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａの“５”に対応し、符号化ブロックの量子化パラメータＱＰの“８”は、イントラ用の量子化パラメータＱＰ＿ｉｎｔｒａの“９”に対応するように変更する。
これにより、図１２の変換テーブルを必要に応じて更新することができる。

この実施の形態４では、量子化制御部４２及び逆量子化パラメータ生成部７２が同一の変換テーブルを参照して、符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換するものを示したが、イントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示している場合でも、符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換せずに、符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして出力するようにしてもよい。
この場合、エントロピー符号化部４３は、図１２の変換テーブルを使用しない旨を示すフラグをピクチャ単位又はフレーム単位にビットストリームのヘッダに多重するようにする。

逆量子化パラメータ生成部７２は、エントロピー復号部７１がビットストリームから図１２の変換テーブルを使用しない旨を示すフラグを抽出すると、イントラ／インター判定部４１の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示している場合でも、符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａに変換せずに、符号化ブロックの量子化パラメータＱＰをイントラ用の量子化パラメータＱＰ＿ｉｎｔｒａとして出力するようにする。
これにより、変換テーブルが適用されない場合にも適用することができる。

上記実施の形態３，４の内容は、上記実施の形態１，２の内容に適用するようにしてもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化部、２ 符号化制御部、１１ イントラ予測部（差分画像生成手段）、１２ 動き探索部（差分画像生成手段）、１３ 動き補償予測部（差分画像生成手段）、１４ 差分器（差分画像生成手段）、１５ イントラ／インター判定部、１６ スイッチ、１７ 直交変換部（量子化手段）、１８ 量子化部（量子化手段）、１９ 逆量子化部、２０ 逆直交変換部、２１ 加算器、２２ デブロッキングフィルタ部、２３ フレームメモリ、２４ エントロピー符号化部（エントロピー符号化手段）、２５ 送信バッファ、３１ 量子化パラメータ変動幅決定部（量子化パラメータ決定手段）、３２ 量子化制御部（量子化パラメータ決定手段）、４１ イントラ／インター判定部、４２ 量子化制御部（量子化パラメータ決定手段）、４３ エントロピー符号化部（エントロピー符号化手段）、５１ 受信バッファ、５２ エントロピー復号部（エントロピー復号手段）、５３ 逆量子化パラメータ生成部（量子化パラメータ決定手段）、５４ 逆量子化部（逆量子化手段）、５５ 逆直交変換部（逆量子化手段）、５６ イントラ予測画像生成部（予測画像生成手段）、５７ インター予測画像生成部（予測画像生成手段）、５８ スイッチ（予測画像生成手段）、５９ 加算器（復号画像生成手段）、６０ デブロッキングフィルタ部、６１ フレームメモリ、６２ スイッチ、７１ エントロピー復号部（エントロピー復号手段）、７２ 逆量子化パラメータ生成部（量子化パラメータ決定手段）。

Claims (16)

1. 入力画像を構成している符号化ブロック毎に、当該符号化ブロックに対する予測処理を実施して予測画像を生成し、上記符号化ブロックと上記予測画像の差分画像を生成する差分画像生成手段と、予め量子化パラメータの変動幅を設定し、上記符号化ブロックと符号化済みブロックにおける量子化パラメータの差分が上記変動幅に収まる範囲内で、上記符号化ブロックの量子化パラメータを決定する量子化パラメータ決定手段と、上記差分画像生成手段により生成された差分画像を直交変換し、上記量子化パラメータ決定手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化する量子化手段と、上記量子化パラメータ決定手段により設定された量子化パラメータの変動幅、上記量子化手段により量子化された変換係数、上記差分画像生成手段により予測画像が生成される際に用いられた予測画像生成用情報及び上記符号化ブロックと上記符号化済みブロックにおける量子化パラメータの差分をエントロピー符号化してビットストリームを生成するエントロピー符号化手段とを備えた画像符号化装置。
2. エントロピー符号化手段は、量子化パラメータ決定手段により設定された量子化パラメータの変動幅については、ピクチャ単位又はスライス単位にビットストリームのヘッダに多重することを特徴とする請求項１記載の画像符号化装置。
3. エントロピー符号化手段は、量子化パラメータ決定手段により量子化パラメータの変動幅が設定されない場合、量子化パラメータの変動幅が設定されていない旨を示す情報をビットストリームに含めることを特徴とする請求項１記載の画像符号化装置。
4. 入力画像を構成している符号化ブロック毎に、当該符号化ブロックに対する予測処理を実施して予測画像を生成し、上記符号化ブロックと上記予測画像の差分画像を生成する差分画像生成手段と、予め量子化パラメータの最大値と最小値を設定し、上記最大値と上記最小値の範囲に収まる上記符号化ブロックの量子化パラメータを決定する量子化パラメータ決定手段と、上記差分画像生成手段により生成された差分画像を直交変換し、上記量子化パラメータ決定手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化する量子化手段と、上記量子化パラメータ決定手段により設定された量子化パラメータの最大値と最小値、上記量子化手段により量子化された変換係数、上記差分画像生成手段により予測画像が生成される際に用いられた予測画像生成用情報及び上記量子化パラメータ決定手段により決定された量子化パラメータと符号化済みブロックの量子化パラメータとの差分をエントロピー符号化してビットストリームを生成するエントロピー符号化手段とを備えた画像符号化装置。
5. エントロピー符号化手段は、量子化パラメータ決定手段により設定された量子化パラメータの最大値と最小値については、ピクチャ単位又はスライス単位にビットストリームのヘッダに多重することを特徴とする請求項４記載の画像符号化装置。
6. エントロピー符号化手段は、量子化パラメータ決定手段により量子化パラメータの最大値と最小値が設定されない場合、量子化パラメータの最大値と最小値が設定されていない旨を示す情報をビットストリームに含めることを特徴とする請求項４記載の画像符号化装置。
7. 量子化パラメータ決定手段は、予め量子化パラメータの変動幅を設定するほか、上記量子化パラメータの最大値と最小値を設定し、上記符号化ブロックの量子化パラメータと符号化済みブロックの量子化パラメータとの差分が上記変動幅に収まる範囲内であって、上記最大値と上記最小値の範囲に収まる上記符号化ブロックの量子化パラメータを決定し、
   エントロピー符号化手段は、上記量子化パラメータ決定手段により設定された量子化パラメータの変動幅、最大値及び最小値をエントロピー符号化してビットストリームを生成することを特徴とする請求項１記載の画像符号化装置。
8. 差分画像生成手段が、入力画像を構成している符号化ブロック毎に、当該符号化ブロックに対する予測処理を実施して予測画像を生成し、上記符号化ブロックと上記予測画像の差分画像を生成する差分画像生成処理ステップと、量子化パラメータ決定手段が、予め量子化パラメータの変動幅を設定し、上記符号化ブロックと符号化済みブロックにおける量子化パラメータの差分が上記変動幅に収まる範囲内で、上記符号化ブロックの量子化パラメータを決定する量子化パラメータ決定処理ステップと、量子化手段が、上記差分画像生成処理ステップで生成された差分画像を直交変換し、上記量子化パラメータ決定処理ステップで決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化する量子化処理ステップと、エントロピー符号化手段が、上記量子化パラメータ決定処理ステップで設定された量子化パラメータの変動幅、上記量子化処理ステップで量子化された変換係数、上記差分画像生成処理ステップで予測画像が生成される際に用いられた予測画像生成用情報及び上記符号化ブロックと上記符号化済みブロックにおける量子化パラメータの差分をエントロピー符号化してビットストリームを生成するエントロピー符号化処理ステップとを備えた画像符号化方法。
9. 差分画像生成手段が、入力画像を構成している符号化ブロック毎に、当該符号化ブロックに対する予測処理を実施して予測画像を生成し、上記符号化ブロックと上記予測画像の差分画像を生成する差分画像生成処理ステップと、量子化パラメータ決定手段が、予め量子化パラメータの最大値と最小値を設定し、上記最大値と上記最小値の範囲に収まる上記符号化ブロックの量子化パラメータを決定する量子化パラメータ決定処理ステップと、量子化手段が、上記差分画像生成処理ステップで生成された差分画像を直交変換し、上記量子化パラメータ決定処理ステップで決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化する量子化処理ステップと、エントロピー符号化手段が、上記量子化パラメータ決定処理ステップで設定された量子化パラメータの最大値と最小値、上記量子化処理ステップで量子化された変換係数、上記差分画像生成処理ステップで予測画像が生成される際に用いられた予測画像生成用情報及び上記量子化パラメータ決定処理ステップで決定された量子化パラメータと符号化済みブロックの量子化パラメータとの差分をエントロピー符号化してビットストリームを生成するエントロピー符号化処理ステップとを備えた画像符号化方法。
10. ビットストリームから量子化パラメータの変動幅をエントロピー復号し、上記量子化パラメータの変動幅から符号化ブロックと符号化済みブロックにおける量子化パラメータの差分のビット長を特定して、上記ビットストリームから上記量子化パラメータの差分をエントロピー復号するとともに、上記ビットストリームから量子化された変換係数及び予測画像が生成される際に用いられた予測画像生成用情報をエントロピー復号するエントロピー復号手段と、上記エントロピー復号手段によりエントロピー復号された量子化パラメータの差分から符号化ブロックの量子化パラメータを決定する量子化パラメータ決定手段と、上記量子化パラメータ決定手段により決定された量子化パラメータを用いて、上記エントロピー復号手段によりエントロピー復号された変換係数を逆量子化し、逆量子化後の変換係数を逆直交変換する逆量子化手段と、上記エントロピー復号手段によりエントロピー復号された予測画像生成用情報を用いて、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆直交変換結果である差分画像を加算して復号画像を生成する復号画像生成手段とを備えた画像復号装置。
11. エントロピー復号手段は、量子化パラメータの変動幅が設定されていない旨を示す情報がビットストリームに含まれている場合、符号化ブロックと符号化済みブロックにおける量子化パラメータの差分のビット長が固定のビット長であると認識して、上記ビットストリームから上記量子化パラメータの差分をエントロピー復号することを特徴とする請求項１０記載の画像復号装置。
12. ビットストリームから量子化パラメータの最大値と最小値をエントロピー復号し、上記量子化パラメータの最大値と最小値から符号化ブロックと符号化済みブロックにおける量子化パラメータの差分のビット長を特定して、上記ビットストリームから上記量子化パラメータの差分をエントロピー復号するとともに、上記ビットストリームから量子化された変換係数及び予測画像が生成される際に用いられた予測画像生成用情報をエントロピー復号するエントロピー復号手段と、上記エントロピー復号手段によりエントロピー復号された量子化パラメータの差分から符号化ブロックの量子化パラメータを決定する量子化パラメータ決定手段と、上記量子化パラメータ決定手段により決定された量子化パラメータを用いて、上記エントロピー復号手段によりエントロピー復号された変換係数を逆量子化し、逆量子化後の変換係数を逆直交変換する逆量子化手段と、上記エントロピー復号手段によりエントロピー復号された予測画像生成用情報を用いて、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆直交変換結果である差分画像を加算して復号画像を生成する復号画像生成手段とを備えた画像復号装置。
13. エントロピー復号手段は、量子化パラメータの最大値と最小値が設定されていない旨を示す情報がビットストリームに含まれている場合、符号化ブロックと符号化済みブロックにおける量子化パラメータの差分のビット長が固定のビット長であると認識して、上記ビットストリームから上記量子化パラメータの差分をエントロピー復号することを特徴とする請求項１２記載の画像復号装置。
14. エントロピー復号手段は、量子化パラメータの変動幅のほかに、上記量子化パラメータの最大値と最小値がビットストリームに含まれている場合、上記ビットストリームから上記変動幅、上記最大値及び上記最小値をエントロピー復号し、上記変動幅、上記最大値及び上記最小値から符号化ブロックと符号化済みブロックにおける量子化パラメータの差分のビット長を特定することを特徴とする請求項１０記載の画像復号装置。
15. エントロピー復号手段が、ビットストリームから量子化パラメータの変動幅をエントロピー復号し、上記量子化パラメータの変動幅から符号化ブロックと符号化済みブロックにおける量子化パラメータの差分のビット長を特定して、上記ビットストリームから上記量子化パラメータの差分をエントロピー復号するとともに、上記ビットストリームから量子化された変換係数及び予測画像が生成される際に用いられた予測画像生成用情報をエントロピー復号するエントロピー復号処理ステップと、量子化パラメータ決定手段が、上記エントロピー復号処理ステップでエントロピー復号された量子化パラメータの差分から符号化ブロックの量子化パラメータを決定する量子化パラメータ決定処理ステップと、逆量子化手段が、上記量子化パラメータ決定処理ステップで決定された量子化パラメータを用いて、上記エントロピー復号処理ステップでエントロピー復号された変換係数を逆量子化し、逆量子化後の変換係数を逆直交変換する逆量子化処理ステップと、予測画像生成手段が、上記エントロピー復号処理ステップでエントロピー復号された予測画像生成用情報を用いて、予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が、上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップでの逆直交変換結果である差分画像を加算して復号画像を生成する復号画像生成処理ステップとを備えた画像復号方法。
16. エントロピー復号手段が、ビットストリームから量子化パラメータの最大値と最小値をエントロピー復号し、上記量子化パラメータの最大値と最小値から符号化ブロックと符号化済みブロックにおける量子化パラメータの差分のビット長を特定して、上記ビットストリームから上記量子化パラメータの差分をエントロピー復号するとともに、上記ビットストリームから量子化された変換係数及び予測画像が生成される際に用いられた予測画像生成用情報をエントロピー復号するエントロピー復号処理ステップと、量子化パラメータ決定手段が、上記エントロピー復号処理ステップでエントロピー復号された量子化パラメータの差分から符号化ブロックの量子化パラメータを決定する量子化パラメータ決定処理ステップと、逆量子化手段が、上記量子化パラメータ決定処理ステップで決定された量子化パラメータを用いて、上記エントロピー復号処理ステップでエントロピー復号された変換係数を逆量子化し、逆量子化後の変換係数を逆直交変換する逆量子化処理ステップと、予測画像生成手段が、上記エントロピー復号処理ステップでエントロピー復号された予測画像生成用情報を用いて、予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が、上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップでの逆直交変換結果である差分画像を加算して復号画像を生成する復号画像生成処理ステップとを備えた画像復号方法。

Images