JP6415637B2 - 復号装置、復号方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラムに関し、特に画像中の量子化パラメータの予測符号化方法に関する。

動画像の圧縮記録方法として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４）が知られている（非特許文献１）。Ｈ．２６４は１セグメント地上波デジタル放送などで広く使われている。
Ｈ．２６４においてはｍｂ＿ｑｐ＿ｄｅｌｔａ符号を用いて、マクロブロック（１６画素×１６画素）単位に量子化パラメータを変更することできる。非特許文献１に記載されている７−２３式によれば、直前に復号されたマクロブロックの量子化パラメータＱＰＹ_ＰＲＥＶに差分値であるｍｂ＿ｑｐ＿ｄｅｌｔａを加算することで、マクロブロック（１６画素×１６画素）単位に量子化パラメータを変更している。

近年、Ｈ．２６４の後継としてさらに高効率な符号化方式であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の国際標準化を行う活動が開始された。本活動では、対象となる画面サイズの増大に伴い、従来のマクロブロック（１６画素×１６画素）より大きなブロックサイズでの分割が検討されている。非特許文献２によれば、この大きなサイズの基本ブロックはＬＣＴＢ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）と呼ばれている。そのサイズは６４画素×６４画素として検討が進められている（非特許文献２）。ＬＣＴＢはさらに分割されて、細かなサブブロックを形成し、変換や量子化等を行うサブブロックとしてＣＴＢ（Ｃｏｎｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）に分割される。分割の方法としてはブロック内を縦横２分割していく領域四分木構造となっている。

図２（ａ）に領域四分木構造の様子を表す。太枠の１００００は基本ブロックを表し、説明を簡易にするため、６４画素×６４画素の構成とする。１０００１と１００１０はサブブロックであり、１６画素×１６画素のサブブロックとする。１０００２〜１０００９もサブブロックであり、８画素×８画素のサブブロックとする。このように細かく分割して、変換等の符号化処理を行う。

ＩＳＯ／ＩＥＣ １４４９６−１０；２００４ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ――Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ ―― Ｐａｒｔ １０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ａ２０５．ｄｏｃ ＜ ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１０＿０４＿Ａ＿Ｄｒｅｓｄｅｎ／＞

ＨＥＶＣにおいて、量子化パラメータの制御をＨ．２６４のマクロブロックと同様に基本ブロック単位で行うことが考えられている。しかしながら、実際にはサブブロック単位で量子化パラメータ制御を行うことが画質の観点から望ましい。この場合、サブブロック単位で量子化パラメータ制御を行うことにより、より細かい単位での量子化ができることが期待できる。

しかしながら、より細かい単位での量子化ができても、領域四分木構造に従って処理が行われるので、サブブロック単位での並列処理を効率よく行えず、符号化・復号処理の高速化を図ることができなかった。具体的には、図２（ａ）において、１６画素×１６画素のサブブロック１０００１につづき、８画素×８画素のサブブロック１０００２から１０００９が番号の順に処理され、最後に１６画素×１６画素のサブブロック１００１０が処理される。前のサブブロックの量子化パラメータを予測値として差分でそれぞれのサブブロックの量子化パラメータが算出されるため、これらは逐次処理を行う必要がある。このため、サブブロック単位での並列処理が効率よく行えないことになる。

さらに、各サブブロックで量子化パラメータの最適化を図った場合、量子化パラメータの差分値の取得は領域四分木構造に従って処理が行われるため、差分値にばらつきが発生する。例えば、図２（ｂ）に各サブブロックの中央に量子化パラメータ値を示す。本図では左上から右下に量子化パラメータ値がなだらかに変化した場合を想定している。このような場合は通常の自然画像では起こりやすい現象である。サブブロック１０００１の量子化パラメータは１２であり、サブブロック１０００２ではその差分が＋２となる。順に、＋４、−６、＋６、−６、±０、＋２、＋４、＋２となっている。このように領域四分木構造に従った場合、値が乱高下するため、発生する符号が大きくなるといった問題が生じる。

したがって、本発明は上述した課題を解決するためになされたものであり、各サブブロックの符号化・復号を並列に行うことを可能とし、高速な処理を実現するとともに高効率の量子化パラメータ符号化・復号を実現することを目的としている。

上述の問題点を解決するため、本発明の復号装置は以下の構成を有する。すなわち、入力画像の量子化処理を行うための量子化パラメータを復号する復号装置であって、四分木構造によって表現される複数のブロックのうちの１つのブロックに含まれるサブブロックの量子化パラメータと所定のパラメータとの差分値に関する符号データを復号する復号手段と、前記所定のパラメータとしての第１のサブブロックの量子化パラメータと、前記復号手段によって取得された差分値とを加算することにより、前記第１のサブブロックより後に符号化された第２のサブブロックの量子化パラメータを取得し、前記所定のパラメータとして、第３のサブブロックより前に符号化された少なくとも２つのサブブロックの量子化パラメータの平均に基づくパラメータと、前記復号手段によって取得された差分値とを加算することにより、前記第３のサブブロックの量子化パラメータを取得する取得手段と、を備える。

本発明により、符号量を抑え、かつ高効率の処理で量子化パラメータの符号化・復号が可能になる。

実施形態１における画像符号化装置の構成を示すブロック図 ブロック分割の一例を示す図 実施形態１に係る画像符号化装置における量子化パラメータ符号化部の詳細なブロック図 実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート 符号化時の並列処理を表す図 実施形態２に係る画像復号装置の構成を示すブロック図 実施形態２に係る量子化パラメータ復号部の詳細なブロック図 実施形態２における画像復号装置における画像復号処理を示すフローチャート 復号時の並列処理を表す図 実施形態３に係る画像符号化装置の構成を示すブロック図 実施形態３に係る画像符号化装置における量子化パラメータ符号化部の詳細なブロック図 実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態４に係る画像復号装置の構成を示すブロック図 実施形態４に係る画像復号装置における量子化パラメータ復号部の詳細なブロック図 実施形態２における画像復号装置における画像復号処理を示すフローチャート 実施形態５に係る画像符号化装置における量子化パラメータ符号化部の詳細なブロック図 実施形態５に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態６に係る画像復号装置における量子化パラメータ復号部の詳細なブロック図 実施形態６における画像復号装置における画像復号処理を示すフローチャート 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０００は画像データを入力する端子である。
１００１は入力画像を複数の基本ブロック単位でブロックを切り出し、必要に応じてサブブロックに分割するブロック分割部である。量子化制御はサブブロック単位で行うことになる。説明を容易にするために、入力画像は８ビットの画素値を持つこととするが、これに限定されない。また、基本ブロックのサイズを６４画素×６４画素とし、サブブロックの最小サイズを８画素×８画素とする。この場合、基本ブロックは、４つのサブブロックを包含することになる。またブロックの分割に関しては縦横１／２のサイズに４分割する方法を例にとって説明するが、これにブロックの形状、サイズは限定されない。基本ブロックはサブブロックを最低限２つ以上包含していればよい。サブブロックの分割に関しては、特に限定されない。例えば全体をサブブロックに分割し、エッジ量などを算出しクラスタリングして分割を行っても構わない。すなわち、エッジが多く集まる部分は細かくサブブロックを設定し、平坦な部分は大きなサブブロックを設定する。１００２は基本ブロックの量子化パラメータ、および各サブブロックの量子化パラメータを決定する量子化パラメータ決定部である。

１００３はブロック分割部１００１で分割された各サブブロックを、サブブロック単位で予測を行い、各サブブロックの予測誤差を算出するブロック予測部である。静止画または動画の場合のイントラフレームではイントラ予測を行い、動画の場合は動き補償予測も行うものとする。１００４は各サブブロックの予測誤差に対して直交変換を行い、直交変換係数を算出するブロック変換部である。直交変換に関しては特に限定しないが、離散コサイン変換やアダマール変換等を用いてもよい。１００５は量子化パラメータ決定部１００２で決定されたサブブロック単位の量子化パラメータによって前記直交変換係数を量子化するブロック量子化部である。この量子化によって量子化係数を得ることができる。１００６はこのようにして得られたサブブロック単位の量子化係数を可変長符号化して量子化係数符号データを生成するブロック符号化部である。符号化の方法は特に限定しないが、ハフマン符号や算術符号等を用いることができる。１００７はブロック再生画像生成部である。ブロック量子化部、ブロック変換部１００４の逆の動作を行って予測誤差を再生し、ブロック予測部１００３の結果から基本ブロックの復号画像を生成する。再生された画像データは保持され、ブロック予測部１００３での予測に用いられる。

１００８は量子化パラメータ決定部１００２で決定した基本ブロックの量子化パラメータおよび各サブブロックの量子化パラメータを符号化して量子化パラメータ符号データを生成する量子化パラメータ符号化部である。

１００９は統合符号化部である。ヘッダ情報や予測に関する符号を生成するとともに、量子化パラメータ符号化部１００８で生成された量子化パラメータ符号データおよびブロック符号化部１００６で生成された量子化係数符号データを統合する。１０１０は端子であり、統合符号化部１００９で統合されて生成されたビットストリームを外部に出力する端子である。

上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。

端子１０００から入力された１フレーム分の画像データはブロック分割部１００１に入力され、６４画素×６４画素の基本ブロックに分割される。さらに必要に応じて最小８画素×８画素のサブブロックに分割される。サブブロックの分割に関する情報と分割された画像データは量子化パラメータ決定部１００２とブロック予測部１００３に入力される。

ブロック予測部１００３ではブロック再生画像生成部１００７に保持されている再生画像を参照して予測を行い、予測誤差を生成してブロック変換部１００４及びブロック再生画像生成部１００７に入力する。ブロック変換部１００４では入力された予測誤差に対して直交変換を行い、直交変換係数を求め、ブロック量子化部１００５に入力する。

一方、量子化パラメータ決定部１００２では入力された各サブブロック単位で発生した符号量を鑑みて、サブブロック単位で画質と符号量のバランスから最適な量子化パラメータを決定する。例えば、特開平４−３２３９６１号公報に記載されているような手法を用いることができる。決定された各サブブロックの量子化パラメータはブロック量子化部１００５、ブロック再生画像生成部１００７、量子化パラメータ符号化部１００８に入力される。

ブロック量子化部１００５において、ブロック変換部１００４から出力された直交変換係数を量子化パラメータ決定部１００２で決定した量子化パラメータで量子化して量子化係数を生成する。生成された量子化係数はブロック符号化部１００６とブロック再生画像生成部１００７に入力される。ブロック再生画像生成部１００７では入力された量子化係数を量子化パラメータ決定部１００２で決定した量子化パラメータで直交変換係数を再生する。直交変換係数は逆直交変換されて予測誤差を再生する。再生された予測誤差は予測時に参照した画素値等によって再生画像として生成され、保持される。一方、ブロック符号化部１００６では量子化係数を符号化し、量子化係数符号データを生成して統合符号化部１００９に出力する。
量子化パラメータ決定部１００２で決定された量子化パラメータは量子化パラメータ符号化部１００８で基本ブロック単位に符号化される。

図３に量子化パラメータ符号化部１００８の詳細なブロック図を示す。図３において、１は図１の量子化パラメータ決定部１００２から各サブブロックの量子化パラメータを入力する端子である。２は入力された各サブブロックの量子化パラメータを一旦格納する量子化パラメータ保持部である。３は格納された各サブブロックの量子化パラメータから基本ブロックの量子化パラメータを決定する基本ブロック量子化パラメータ決定部である。４は基本ブロック量子化パラメータを符号化して基本ブロック量子化パラメータ符号を生成する基本ブロック量子化パラメータ符号化部である。５は生成された基本ブロック量子化パラメータ符号を図１の統合符号化部１００９に出力する端子である。６は基本ブロック量子化パラメータを用いて各サブブロックの量子化パラメータとの差分を求めるサブブロック量子化パラメータ差分部である。７は前記差分を符号化してサブブロック量子化パラメータ差分値符号を生成するサブブロック量子化パラメータ符号化部である。８はサブブロック量子化パラメータ符号を図１の統合符号化部１００９に出力する端子である。

以上の構成において、量子化パラメータ保持部２は端子１から入力されるサブブロック量子化パラメータを基本ブロック単位で格納する。格納されたら、基本ブロック量子化パラメータ決定部３は基本ブロック量子化パラメータ算出を行う。本実施形態ではサブブロック量子化パラメータの平均値を算出する。図２（ｂ）の場合、その平均値は１４．６となる。量子化パラメータの符号化が整数単位であれば、四捨五入を行い、基本ブロック量子化パラメータを１５とする。決定された基本ブロック量子化パラメータは基本ブロック量子化パラメータ符号化部４とサブブロック量子化パラメータ差分部６に入力される。基本ブロック量子化パラメータ符号化部４は入力された基本ブロック量子化パラメータをゴロム符号化で符号化し、基本ブロック量子化パラメータ符号を生成して端子５を経由して出力する。

一方、サブブロック量子化パラメータ差分部６では各サブブロック量子化パラメータと基本ブロック量子化パラメータとの差分を算出する。図２（ｂ）の場合、差分値は領域四分木構造の順で−３、−１、＋３、−３、＋３、−３、−３、−１、−１、＋５となる。これらの差分値はサブブロック量子化パラメータ符号化部７に入力される。サブブロック量子化パラメータ符号化部７ではこれらの値を変化の有無とともに符号化する。まず、最初のサブブロック１０００１の量子化パラメータは基本ブロック量子化パラメータの１５とは異なる。そこで、変化があったことを表す１ビットの値“１”と差分値“−３”をゴロム符号化によって符号化し、サブブロック量子化パラメータ差分値符号化データとして端子８から出力する。続いて、第２番目のサブブロック１０００２のサブブロック量子化パラメータの差分値を符号化する。この差分値は基本ブロック量子化パラメータと異なるため、変化があったことを表す１ビットの値“１”と−１をゴロム符号化した符号を端子８から出力する。以後、同様に変化があったことを表す１ビットの値“１”とサブブロック量子化パラメータの差分値を符号化し、サブブロック量子化パラメータ差分値符号化データを生成する。

図１に戻り、統合符号化部１００９は画像のシーケンス、フレームのヘッダといった符号を生成し、各基本ブロックに関しては、ブロック予測部１００３から予測のモードといった情報を取得して符号化する。続いて量子化パラメータ符号化部１００８から基本ブロック量子化パラメータ符号を入力する。以後、サブブロックごとにサブブロック量子化パラメータ差分値符号化データと各量子化係数符号データを統合してビットストリームとして端子１０１０から出力する。

図４は、実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップＳ００１にて、統合符号化部１００９はシーケンス、フレームのヘッダといった符号を生成して出力する。
ステップＳ００２にて、ブロック分割部１００１は入力された画像に対して、基本ブロックを画像の左上から順に切り出す。
ステップＳ００３にて、ブロック分割部１００１はさらに基本ブロックをサブブロックに分割する。
ステップＳ００４にて、各サブブロックの量子化パラメータを決定する。ステップＳ００５にて、ステップＳ００４で求められたサブブロック量子化パラメータから基本ブロックの量子化パラメータを決定する。本実施例では説明のため、基本ブロック内のサブブロックの量子化パラメータの平均値を基本ブロックの量子化パラメータとして算出する。
ステップＳ００６にて、ステップＳ００５で決定された基本ブロック量子化パラメータをゴロム符号化して基本ブロック量子化パラメータ符号として出力する。
ステップＳ００７にて、サブブロック単位でサブブロック量子化パラメータの符号化を行う。領域四分木構造の順で基本ブロックと同じ量子化パラメータを使用する場合は１ビットの符号“０”を符号として出力する。異なる場合は、１ビットの符号“１”に続いてサブブロック量子化パラメータと基本ブロック量子化パラメータとの差分を符号化して出力する。
ステップＳ００８にて、サブブロックの画像データに対して、予測を行い、予測誤差に対して、直交変換、量子化を行い、得られた量子化係数を符号化して量子化係数符号データを出力する。
ステップＳ００９にて、得られた量子化係数を逆量子化、逆変換を行い、予測誤差を算出する。この予測誤差と再生画像からの予測値から当該サブブロックの再生画像を生成する。
ステップＳ０１０にて、画像符号化装置は、当該基本ブロック内の全てのサブブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ０１１に進み、終了していなければ次のサブブロックを対象としてステップＳ００７に戻る。
ステップＳ０１１にて、画像符号化装置は、全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象としてステップＳ００２に戻る。

以上の構成と動作により、特にステップＳ００５からステップＳ００９の処理により、基本ブロック量子化パラメータを用いて各サブブロック量子化パラメータの差分値を符号化することで発生する符号量を抑制することができる。

なお、本実施形態では平均値をそのまま用いたが、これに限定されず、平均値に最も近い実在するサブブロック量子化パラメータを選択しても構わない。例えば、図２（ｂ）の例では平均値は前述の通り１４．６であるが、四捨五入ではなく、最も近い実在するサブブロック量子化パラメータの値、１４を用いても構わない。このようにすることで変化を表す符号を“０”とすることができ、伝送するサブブロック量子化パラメータ差分値もより少なくできる。

さらに本構成において、予測、量子化、変換、符号化を並列に効率よく行うことが可能になり、高速化を図ることができる効果もある。

図５に、図２（ａ）に示した基本ブロックのサブブロックを量子化・変換・符号化する例を示す。ここでは説明のために符号化処理に使用するプロセッサを３つと仮定する。これらのプロセッサ（Ａ〜Ｃ）で各サブブロックの量子化パラメータ（ＱＰ）の算出、量子化パラメータ差分値（ΔＱＰ）の算出・符号化、予測誤差の直交変換・量子化、量子化係数の符号化を行う場合を例にとる。この時、別プロセッサでこれらの符号を統合することとする。
図５（ａ）は従来の並列処理の例を表した図である。最初にプロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。ＱＰの算出に関してはブロックの大きさや画像の複雑度等によって処理時間が変わる。ブロックサイズの大きいサブブロック１０００１の量子化パラメータ算出はサブブロック１０００２やサブブロック１０００３より時間がかかる傾向にある。

量子化パラメータ算出に続き、量子化パラメータ差分値算出を行う。サブブロック１０００２のサブブロック量子化パラメータ差分値の算出はサブブロック１０００１のサブブロック量子化パラメータ算出が終了しなければ求められない。したがってこの間、プロセッサＡでのサブブロック１０００１のサブブロック量子化パラメータの算出までプロセッサＢは待機状態になる。また、サブブロック１０００２の量子化パラメータ算出がサブブロック１０００３より時間がかかった場合、サブブロック１０００３の差分値の算出はサブブロック１０００２のサブブロック量子化パラメータの算出が終了しなければ求められない。この間、プロセッサＢでのサブブロック１０００２のサブブロック量子化パラメータの算出までプロセッサＣは待機状態になる。

これに対して、図５（ｂ）は本実施形態での並列処理の例を表した図である。従来の場合と同様に、プロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。サブブロック量子化パラメータの算出に続き、サブブロック量子化パラメータ差分値の算出を行う。サブブロック１０００２のサブブロック量子化パラメータ差分値の算出は、基本ブロック量子化パラメータが算出済みなので、サブブロック量子化パラメータの算出の直後から開始できる。以上により本発明によって並列化を効率よく行うことができる。特に複数のサイズのサブブロックが混在する場合、処理の間隔を縮める効果が大きくなる。

なお、本実施形態においては、基本ブロック量子化パラメータの値そのものを符号化したが、前に処理した基本ブロック量子化パラメータを用いて予測を行い符号化してもよい。

さらに、本実施形態では説明のために基本ブロックを６４画素×６４画素、サブブロックを８画素×８画素までとしたが、これに限定されない。例えば基本ブロックは１２８画素×１２８画素等のブロックサイズへの変更が可能であり、また、基本ブロック、サブブロックの形状も正方形に限定されず、８画素×４画素などの長方形で発明の本質は変わらない。

また、本実施形態では基本ブロック量子化パラメータを各サブブロック量子化パラメータの平均値としたが、これに限定されない。例えばサブブロックの中央値としても構わないし、最も頻度の高いサブブロック量子化パラメータの値としてももちろん構わない。このように算出方法を複数用意し、最も効率の良い基本ブロック量子化パラメータを選択してももちろん構わない。

なお、サブブロック量子化パラメータ差分値符号化データとして変化の有無を表す符号を１ビット付与して符号化を行ったが、これに限定されず、変化がない場合でもサブブロック量子化パラメータ差分値を符号化してももちろん構わない。
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の符号化にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わないし、値を符号化せずにそのままの値を出力しても構わない。
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。

＜実施形態２＞
本実施形態では、実施形態１の符号化方法を用いて符号化された符号データを復号する画像復号方法について説明する。図６は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。

１１００は符号化されたビットストリームを入力する端子である。１１０１はビットストリームのヘッダ情報の復号、ビットストリームから必要な符号を分離して後段へ出力する復号・分離部である。復号・分離部１１０１は図１の統合符号化部１００９の逆の動作を行う。１１０２は量子化パラメータの符号化データを復号する量子化パラメータ復号部である。１１０３は各サブブロックの量子化係数符号を復号し、量子化係数を再生するブロック復号部である。１１０４は量子化パラメータ復号部１１０２で再生されたサブブロック量子化パラメータによって量子化係数に逆量子化を行い、直交変換係数を再生するブロック逆量子化部である。１１０５は図１のブロック変換部１００４の逆直交変換を行い、予測誤差を再生するブロック逆変換部である。１１０６は予測誤差と復号済みの画像データからサブブロックの画像データを再生するブロック再生部である。１１０７は再生されたサブブロックの画像データをそれぞれの位置に配置し、基本ブロックの画像データを再生するブロック合成部である。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態１で生成された動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。

図６において、端子１１００から入力された１フレーム分のストリームデータは復号・分離部１１０１に入力され、画像を再生するのに必要なヘッダ情報が復号される。これに続く基本ブロック量子化パラメータ符号を量子化パラメータ復号部１１０２に入力する。さらにそれに続くサブブロック量子化パラメータ差分値符号も量子化パラメータ復号部１１０２に入力する。

図７は量子化パラメータ復号部１１０２の詳細を表すブロック図である。１０１は図６の復号・分離部１１０１から基本ブロック量子化パラメータ符号を入力する端子である。１０２は図６の復号・分離部１１０１からサブブロック量子化パラメータ差分符号化データを入力する端子である。１０３は基本ブロック量子化パラメータ符号を入力して復号し、基本ブロック量子化パラメータを再生する基本ブロック量子化パラメータ復号部である。１０４はサブブロック量子化パラメータ差分値符号化データを復号し、各サブブロック量子化パラメータ差分値を再生するサブブロック量子化パラメータ復号部である。１０５は再生された基本ブロック量子化パラメータと各サブブロック量子化パラメータ差分値を加算して各サブブロック量子化パラメータを再生するサブブロック量子化パラメータ加算部である。１０６は再生された各サブブロック量子化パラメータを図６のブロック逆量子化部１１０４に出力する端子である。
端子１０１から入力された基本ブロック量子化パラメータ符号は基本ブロック量子化パラメータ復号部１０３に入力され、ゴロム符号の復号により、基本ブロック量子化パラメータを再生し、これを保持する。
端子１０２から入力されたサブブロック量子化パラメータ差分値符号化データはサブブロック量子化パラメータ復号部１０４に入力され、ゴロム符号の復号により、サブブロック量子化パラメータ差分値を再生する。すなわち、基本ブロック量子化パラメータに対して変化の有無を表す１ビットを復号し、変化がない場合はサブブロック量子化パラメータ差分値として０を出力する。変化がある場合は続いてサブブロック量子化パラメータ差分値を復号し、出力する。サブブロック量子化パラメータ加算部１０５で再生された基本ブロック量子化パラメータにサブブロック量子化パラメータ差分値を加算してサブブロック量子化パラメータを再生し、端子１０６から出力する。

図６に戻り、復号・分離部１１０１において分離されたサブブロックの量子化係数符号データはブロック復号部１１０３に入力され、ゴロム符号の復号により各量子化係数が再生される。サブブロックの量子化係数が再生されたら、ブロック逆量子化部１１０４に入力される。ブロック逆量子化部１１０４では、入力されたサブブロックの量子化係数とサブブロック量子化パラメータから逆量子化を行い、直交変換係数を再生する。再生された直交変換係数はブロック逆変換部１１０５にて逆変換を行い、予測誤差を再生する。再生された予測誤差はブロック再生部１１０６に入力され、復号済みの周囲の画素データ、または前のフレームの画素データから予測を行ってサブブロックの画像データを再生する。ブロック合成部１１０７は再生されたサブブロックの画像データをそれぞれの位置に配置し、基本ブロックの画像データを再生する。再生された基本ブロックの画像データは端子１１０８を介して外部に出力される。また、ブロック再生部１１０６に入力され、予測値算出に使用される。

図８は、実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。まず、ステップＳ１０１にて、復号・分離部１１０１がヘッダ情報を復号する。
ステップＳ１０２にて、基本ブロック量子化パラメータ復号部１０３は基本ブロック量子化パラメータ符号を復号し、基本ブロック量子化パラメータを再生する。
ステップＳ１０３にて、サブブロック量子化パラメータ復号部１０４はサブブロック量子化パラメータ差分値符号化データを復号し、サブブロック量子化パラメータ差分値を再生する。さらに、基本ブロック量子化パラメータを加算し、サブブロック量子化パラメータを再生する。
ステップＳ１０４にて、サブブロックの量子化係数符号データを復号し、量子化係数を再生し、逆量子化、逆直交変換を行い、予測誤差を再生する。さらに復号済みの周囲の画素データまたは前のフレームの画素データから予測を行い、サブブロックの復号画像を再生する。
ステップＳ１０５にて、サブブロックの復号画像を基本ブロックの復号画像に配置する。ステップＳ１０６にて、画像復号装置は、当該基本ブロック内の全てのサブブロックの復号が終了したか否かの判定を行い、終了していればステップＳ１０７に進み、終了していなければ次のサブブロックを対象としてステップＳ１０３に戻る。
ステップＳ１０７にて、基本ブロックの復号画像をフレームの復号画像に配置する。ステップＳ１０８にて、画像復号装置は、全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象としてステップＳ１０２に戻る。

以上の構成と動作により、実施形態１で生成された、符号量が削減されたビットストリームの復号を行い、再生画像を得ることができる。

さらにサブブロックごとに区切り記号などで符号が識別できる形式であれば、サブブロックの量子化パラメータの再生、サブブロックの逆量子化、逆変換、画像データの再生を並列に効率的に行うことができ、高速な復号が行えるという効果もある。

図９に図２（ａ）に示した基本ブロックのサブブロックを復号・逆量子化・逆変換して予測誤差を再生する例を示す。実施形態１の図５と同様にここでは説明のために使用するプロセッサを３つと仮定する。これらのプロセッサで各サブブロックの量子化パラメータ差分値（ΔＱＰ）の復号、量子化パラメータ（ＱＰ）の再生、量子化係数の復号、量子化係数の逆量子化・逆直交変換を行う場合を例にとる。この時、別プロセッサでこれらの符号を分離することとする。
図９（ａ）は従来の並列処理の例を表した図である。最初にプロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。プロセッサＡは先頭なので、サブブロック量子化パラメータそのものを復号し、プロセッサＢおよびＣは各サブブロック量子化パラメータ差分値を復号し、続いてサブブロック量子化パラメータの再生を行う。これはサブブロック量子化パラメータの予測値となる前のサブブロックのサブブロック量子化パラメータとサブブロック量子化パラメータ差分値の加算によって実現する。

サブブロック１０００２のサブブロック量子化パラメータの再生はサブブロック１０００１の量子化パラメータの復号が終了しなければ求められない。したがってこの間、プロセッサＡでのサブブロック１０００１の量子化パラメータの再生までプロセッサＢは待機状態になる。

また、サブブロック１０００２の量子化パラメータ再生も同様で、プロセッサＢでのサブブロック１０００２の量子化パラメータの再生までの間、プロセッサＣは待機状態になる。以後、処理が終了したプロセッサに順次、領域四分木構造の順、すなわち、サブブロック１０００４、サブブロック１０００５、サブブロック１０００６の順に処理される。サブブロック１０００６のサブブロック量子化パラメータの再生はサブブロック１０００５の量子化パラメータの再生が終了しなければ求められない。したがってこの間、プロセッサＡでのサブブロック１０００５の量子化パラメータの再生までプロセッサＣは待機状態になる。

これに対して、図９（ｂ）は本実施形態での並列処理の例を表した図である。まず、プロセッサＡは基本ブロック量子化パラメータを復号して保持しておく。以下、従来の場合と同様に、プロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。サブブロック量子化パラメータ差分値の復号に続き、サブブロック量子化パラメータの再生を行う。サブブロック１０００２の量子化パラメータの再生は、基本ブロック量子化パラメータが再生済みなので、サブブロック量子化パラメータ差分値の復号の直後から開始できる。本発明によって並列化を効率よく行うことができる。特に複数のサイズのサブブロックが混在する場合、処理の間隔を縮める効果が大きくなる。

また、画像データからその一部を切り出す編集等のアプリケーションを考えた時、例えば、図２（ａ）のサブブロック１０００８のみを切り出す場合を考える。従来例であれば、サブブロック１０００１から１００７までの復号が必要である。本発明によればサブブロック１０００１とサブブロック１０００６のみを復号すればイントラ予測を含めても復号できることが分かる。このように復号処理をスキップすることで処理の速度を向上させることができる。

また、実施形態１と同様にブロックのサイズ、処理ユニットのサイズ、参照する処理ユニットとその画素の配置、符号についてはこれに限定されない。

なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の復号にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わないし、値を符号化せずにそのままの値を出力しても構わない。

なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。

＜実施形態３＞
図１０は本実施形態の画像符号化装置を示すブロック図である。本実施形態では、先頭のサブブロックの量子化パラメータを基本ブロック量子化パラメータとし、個別に基本ブロック量子化パラメータを符号化しない。また変化の有無を表す符号がないことが実施形態１と異なる点である。ただし、実施形態１と同様に変化の有無を表す符号を用いた符号化を行っても構わない。図１０において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

１２０８はサブブロック量子化パラメータの符号化を行い、量子化パラメータ符号データを生成する量子化パラメータ符号化部である。１２０９は統合符号化部である。ヘッダ情報や予測に関する符号を生成するとともに、量子化パラメータ符号化部１２０８で生成された量子化パラメータ符号データおよびブロック符号化部１００６で生成された量子化係数符号データを統合する。

図１１に量子化パラメータ符号化部１２０８の詳細なブロック図を示す。図１１において、実施形態１の図３と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

２００はセレクタであり、入力されたサブブロック量子化パラメータのサブブロックの位置に応じて出力先を選択する。２０３は基本ブロックの領域四分木構造順で先頭のサブブロックの量子化パラメータを基本ブロック量子化パラメータとして保持する基本ブロック量子化パラメータ保持部である。２０６は続く各サブブロックの量子化パラメータと基本ブロック量子化パラメータとの差分値を算出するサブブロック量子化パラメータ差分部である。２０７は先頭のサブブロックの量子化パラメータと各サブブロックのサブブロック量子化パラメータ差分値を符号化するサブブロック量子化パラメータ符号化部である。

上記の構成において、実施形態１と同様に、サブブロック量子化パラメータを端子１から領域四分木構造の順に入力する。セレクタ２００は領域四分木構造順で先頭のサブブロックの量子化パラメータについては基本ブロック量子化パラメータ保持部２０３に出力する。それ以降のサブブロック量子化パラメータに関してはサブブロック量子化パラメータ差分部２０６に出力する。

先頭のサブブロックのサブブロックは基本ブロック量子化パラメータとして基本ブロック量子化パラメータ保持部２０３で保持される。その後、先頭の量子化パラメータはサブブロック量子化パラメータ差分部２０６にも入力される。当該サブブロック量子化パラメータは基本ブロックの先頭であるため、差分の算出は行わず、そのまま後段のサブブロック量子化パラメータ符号化部２０７に出力する。サブブロック量子化パラメータ符号化部２０７では入力されたサブブロック量子化パラメータをゴロム符号によって符号化し、端子８からサブブロック量子化パラメータ符号化データとして出力する。

続いて、端子１から領域四分木構造の順にサブブロック量子化パラメータが入力され、セレクタ２００を介して、サブブロック量子化パラメータ差分部２０６に入力される。サブブロック量子化パラメータ差分部２０６では入力されたサブブロック量子化パラメータと基本ブロック量子化パラメータ保持部２０３に保持されている基本ブロック量子化パラメータとの差分値を算出する。サブブロック量子化パラメータ符号化部２０７では量子化パラメータ差分値をゴロム符号により符号化し、サブブロック量子化パラメータ差分値符号化データを生成し、サブブロック量子化パラメータ符号化データとして端子８から出力する。以後、基本ブロック内のサブブロックのサブブロック量子化パラメータに関して、差分を求め、符号化する。

図１２は、実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャートである。図１２において、実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ００１からステップＳ００４までは実施形態１と同様にサブブロック分割とサブブロック量子化パラメータの決定を行う。
ステップＳ２０５にて、先頭のサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する。
ステップＳ２０６にて、入力されたサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭であればステップＳ２０８に進み、そうでなければ、ステップＳ２０７に進む。ステップＳ２０７にて、ステップＳ２０５で保持された基本ブロック量子化パラメータと入力されたサブブロック量子化パラメータとの差分を算出する。
ステップＳ２０８にて、入力されたサブブロック量子化パラメータ、ないしサブブロック量子化パラメータ差分値をゴロム符号により符号化し、サブブロック量子化パラメータ符号化データとして出力する。
ステップＳ００８、ステップＳ００９は実施形態１と同様に動作する。ステップＳ２１０にて基本ブロック内の全てのサブブロックについて処理が終わったか否かを判定する。終了していなければ次のサブブロックの処理のためにステップＳ２０６に進む。終わっていればステップＳ０１１に進む。以後、実施形態１と同様に画像全体の符号化を行う。以上の構成と動作により、基本ブロック量子化パラメータを先頭のサブブロック量子化パラメータとすることで、基本ブロック量子化パラメータを送らずに済むので、符号化効率を向上させる効果がある。

また、実施形態１と同様に並列処理を効果的に行うことも可能になる。すなわち、図５（ａ）にてプロセッサＢとＣは最初についてはプロセッサＡの先頭のサブブロック量子化パラメータの算出を待つ必要がある。しかし、以後、サブブロック１０００５の量子化パラメータ差分値の算出はサブブロック１０００４の処理を待たずに行えるようになる。

なお、実施形態１の基本ブロック量子化パラメータを符号化する方法と本実施形態の基本ブロック量子化パラメータを先頭のサブブロック量子化パラメータとすることを切り替える符号を設け、符号化効率の良い方を選択してももちろん構わない。
なお、先頭のサブブロック量子化パラメータ（基本ブロック量子化パラメータ）と後続のサブブロック量子化パラメータ差分値について同じ符号化を施すように説明したが、これに限定されない。それぞれ個別の符号化方法を適用してももちろん構わない。
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の符号化にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わない。
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。

＜実施形態４＞
本実施形態では、実施形態３の符号化方法を用いて符号化された符号データを復号する画像復号方法について説明する。図１３は実施形態３の符号化方法を用いて符号化された符号データを復号する画像復号装置を示すブロック図である。図１３において、実施形態２の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

図１３において、１３０１は復号・分離部であり、ビットストリームのヘッダ情報の復号、ビットストリームから必要な符号を分離して後段へ出力する。１３０２は量子化パラメータ復号部でありサブブロック量子化パラメータを再生する。実施形態２の図１０における復号・分離部３０１、量子化パラメータ復号部３０２とは量子化パラメータの符号データが異なる。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態３で生成された動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。
実施形態２と同様に、端子１１００から入力された１フレーム分のストリームデータは復号・分離部１３０１に入力され、画像を再生するのに必要なヘッダ情報が復号される。これに続くサブブロック量子化パラメータ符号化データを領域四分木構造の順に量子化パラメータ復号部１３０２に入力する。

図１４は量子化パラメータ復号部１３０２の詳細なブロック図である。図１４において、実施形態２の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
３０４はサブブロック量子化パラメータ及びサブブロック量子化パラメータ差分値符号化データを復号し、各サブブロック量子化パラメータ差分値を再生するサブブロック量子化パラメータ復号部である。３００はセレクタであり、入力されたサブブロック量子化パラメータのサブブロックの位置に応じて出力先を選択する。３１０は最初に復号されたサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する基本量子化パラメータ保持部である。３０５は保持された基本ブロック量子化パラメータと各サブブロック量子化パラメータ差分値を加算して各サブブロック量子化パラメータを再生するサブブロック量子化パラメータ加算部である。

上記の構成において、基本ブロックの復号の開始時に、セレクタ３００は出力先を基本ブロック量子化パラメータ保持部３１０とする。端子１０２から入力された基本ブロックの先頭サブブロックのサブブロック量子化パラメータ符号化データはサブブロック量子化パラメータ復号部１０４に入力され、ゴロム符号の復号により、サブブロック量子化パラメータを再生する。この先頭サブブロックのサブブロック量子化パラメータはセレクタ３００を介して基本ブロック量子化パラメータ保持部３１０に入力され、当該基本ブロックの処理中、保持される。また、サブブロック量子化パラメータ加算部３０５にも先頭サブブロックのサブブロック量子化パラメータが入力される。サブブロック量子化パラメータ加算部３０５は先頭サブブロックに関しては差分値ではないので、再生されたサブブロック量子化パラメータを端子１０６から出力する。先頭のサブブロック量子化パラメータが基本ブロック量子化パラメータ保持部３１０に記録されたら、セレクタ３００は出力先をサブブロック量子化パラメータ加算部３０５とする。

続いて、２番目以降のサブブロック量子化パラメータ差分値符号化データがサブブロック量子化パラメータ復号部３０４に入力される。入力されたサブブロック量子化パラメータ差分値符号化データはゴロム符号の復号により、サブブロック量子化パラメータ差分値を再生する。サブブロック量子化パラメータ加算部３０５では、保持された基本ブロック量子化パラメータにセレクタ３００を介して入力されたサブブロック量子化パラメータ差分値を加算する。このようにして、サブブロック量子化パラメータを再生し、端子１０６から出力する。以後、基本ブロック内のサブブロックのサブブロック量子化パラメータに関して、復号を行い、サブブロック量子化パラメータ差分値を求め、加算してサブブロック量子化パラメータを再生する。

図１５は、本実施形態における画像復号処理を示すフローチャートである。図１５において、実施形態２の図８と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ１０１は実施形態２と同様にヘッダ情報の復号を行う。ステップＳ３１０にて、復号するサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭サブブロックであれば、ステップＳ３１１に進み、そうでなければステップＳ３０３に進む。
ステップＳ３１１にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータの符号化データである。これをゴロム符号で復号する。復号結果を基本ブロック量子化パラメータとして保持する。その後、先頭のサブブロックの復号画像生成のため、ステップＳ１０４に進む。
ステップＳ３０３にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータ差分値の符号化データである。これをゴロム符号で復号し、サブブロック量子化パラメータ差分値を再生する。再生されたサブブロック量子化パラメータ差分値はステップＳ３１１で保持されている基本ブロック量子化パラメータと加算される。加算された結果がサブブロック量子化パラメータとなる。２番目以降のサブブロックの復号画像生成のため、ステップＳ１０４に進む。

以下、実施形態２と同様に、サブブロックの復号画像の生成、フレーム画像の再生が行われる。

以上の構成と動作により、実施形態３で生成した、個別に基本量子化パラメータの符号化を行わず符号量を抑えた符号化データを復号することができる。

また、実施形態２と同様に並列処理を効果的に行うことも可能になる。すなわち、図９（ｂ）にてプロセッサＡの量子化パラメータの復号の代わりに基本ブロックの先頭サブブロック量子化パラメータの復号が基本ブロック量子化パラメータの復号および先頭のサブブロック量子化パラメータ差分値の復号を置き換えることになる。これによりＢとＣは最初についてはプロセッサＡの先頭のサブブロック量子化パラメータの復号を待つ必要があるが、以後、全てのサブブロックの量子化パラメータの再生は他のサブブロックの処理を待たずに行えるようになる。

なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の復号にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わない。
なお、実施形態３で基本ブロック量子化パラメータを符号化する方法と本実施形態の基本ブロック量子化パラメータを先頭のサブブロック量子化パラメータとすることを切り替える符号を設けた場合、その符号を解釈し、図８のステップＳ１０２を実行する。もしくは、図１５のステップＳ３１０、Ｓ３１１，Ｓ３０３を実行するかを選択すればよい。
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。

＜実施形態５＞
本実施形態では、直前の基本ブロックのサブブロック量子化パラメータを用いて基本ブロック量子化パラメータを決定する実施の形態を説明する。
本実施形態では符号化装置は実施形態３の図１０と同じ構成をとる。ただし、量子化パラメータ符号化部１２０８の構成が異なる。

図１６は本実施形態の量子化パラメータ符号化部１２０８の詳細な構成を示すブロック図である。

図１６において、４００はセレクタであり、入力されたサブブロック量子化パラメータの基本ブロックの位置に応じて入力先を選択する。４１０は１つ前の基本ブロックのサブブロック量子化パラメータを保持するサブブロック量子化パラメータ保持部である。４０３は基本ブロック量子化パラメータ決定部である。サブブロック量子化パラメータ保持部４１０が保持するサブブロック量子化パラメータから符号化処理する基本ブロックの基本ブロック量子化パラメータを決定する。４０６はサブブロック量子化パラメータ差分部であり、基本ブロック量子化パラメータと各サブブロック量子化パラメータとの差分値を算出する。４０７は先頭のサブブロックの量子化パラメータと各サブブロックのサブブロック量子化パラメータ差分値を符号化するサブブロック量子化パラメータ符号化部である。

上記構成において、実施形態３と同様に、端子１０００から画像データが入力され、ブロック分割部１００１でサブブロックに分割され、量子化パラメータ決定部１００２で各サブブロックの量子化パラメータが決定される。決定されたサブブロック量子化パラメータは量子化パラメータ符号化部１２０８に入力される。

図１６に移り、入力されたサブブロック量子化パラメータは画像の先頭の基本ブロックの先頭サブブロックであれば、セレクタ４００は端子１からの入力を選択する。入力されたサブブロック量子化パラメータはサブブロック量子化パラメータ保持部４１０とサブブロック量子化パラメータ差分部４０６、セレクタ４００を経由して基本ブロック量子化パラメータ決定部４０３に入力される。サブブロック量子化パラメータ保持部４１０は次の基本ブロックの処理のためにサブブロック量子化パラメータを保持する。基本ブロック量子化パラメータ決定部４０３は実施形態３の基本ブロック量子化パラメータ保持部２０３と同様に入力されたサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する。サブブロック量子化パラメータ差分部４０６は実施形態３のサブブロック量子化パラメータ差分部２０６と同様に、サブブロック量子化パラメータをそのまま出力する。サブブロック量子化パラメータ符号化部４０７はこの先頭のサブブロック量子化パラメータをゴロム符号で符号化し、端子８から出力する。

以後、画像の先頭の基本ブロックの他のサブブロック量子化パラメータは端子１から入力され、サブブロック量子化パラメータ保持部４１０とサブブロック量子化パラメータ差分部４０６に入力される。サブブロック量子化パラメータ差分部４０６では基本ブロック量子化パラメータ決定部４０３から出力される基本ブロック量子化パラメータと入力との差分値を算出する。差分値はサブブロック量子化パラメータ符号化部４０７に入力され、実施形態３と同様に符号化され、端子８から出力される。

一方、続いて入力される画像の先頭ではない基本ブロックについてその処理を説明する。基本ブロックの符号化処理に先立ち、セレクタ４００は入力先にサブブロック量子化パラメータ保持部４１０を選択する。基本ブロック量子化パラメータ決定部４０３は保持されているサブブロック量子化パラメータの平均値を算出し、これを基本ブロック量子化パラメータとする。その後、端子１から当該基本ブロックのサブブロック量子化パラメータがサブブロック量子化パラメータ差分部４０６に入力される。サブブロック量子化パラメータ差分部４０６では基本ブロック量子化パラメータ決定部４０３から出力される基本ブロック量子化パラメータと入力との差分値を算出する。差分値はサブブロック量子化パラメータ符号化部４０７に入力され、実施形態３と同様に符号化され、端子８から出力される。

図１７は、実施形態５に係る画像符号化装置における画像符号化処理を示すフローチャートである。図１７において、実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ００１からＳ００３は実施形態１と同様にヘッダ情報の符号化、基本ブロックの分割、サブブロックの分割を行う。ステップＳ４０１にて、当該基本ブロックが画像の先頭か否かを判定する。先頭であれば、ステップＳ４０２にすすみ、そうでなければステップＳ４０９に進む。ステップＳ４０２にて、先頭基本ブロックの先頭のサブブロックか否かを判定する。先頭のサブブロックであれば、ステップＳ４０３に進み、そうでなければ、ステップＳ４０６に進む。

ステップＳ４０３にて、先頭基本ブロックの先頭サブブロックのサブブロック量子化パラメータを決定し、次の基本ブロックの処理の際に参照できるように保持する。ステップＳ４０４にて、ステップＳ４０３で決定されたサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する。ステップＳ４０５にて、ステップＳ４０３で決定されたサブブロック量子化パラメータを符号化し、ステップＳ００８に進む。ステップＳ４０６にて、当該サブブロックのサブブロック量子化パラメータを決定し、次の基本ブロックの処理の際に参照できるように保持する。

ステップＳ４０７にて、ステップＳ４０６で決定されたサブブロック量子化パラメータからステップＳ４０４で保持された基本ブロック量子化パラメータを引く。これにより当該サブブロックのサブブロック量子化パラメータ差分値を算出する。ステップＳ４０８にて、ステップＳ４０７で算出された量子化パラメータ差分値を符号化し、量子化パラメータ差分値符号化データを生成し、ステップＳ００８に進む。ステップＳ４０９にて、先頭ではない基本ブロックの先頭のサブブロックか否かを判定する。先頭のサブブロックであれば、ステップＳ４１０に進み、そうでなければ、ステップＳ４０６に進む。ステップＳ４１０にて、ステップＳ４０３ないしステップＳ４０６にて保持された前の基本ブロックのサブブロック量子化パラメータを参照して、当該基本ブロックの基本ブロック量子化パラメータを算出する。本実施形態では前記サブブロック量子化パラメータの平均値を算出し、これを基本ブロック量子化パラメータとする。ステップＳ４１１にて、当該サブブロックのサブブロック量子化パラメータを決定し、次の基本ブロックの処理の際に参照できるように保持する。

ステップＳ４１２にて、ステップＳ４１１で決定されたサブブロック量子化パラメータからステップＳ４１０で算出された基本ブロック量子化パラメータを引く。これにより当該サブブロックのサブブロック量子化パラメータ差分値を算出する。

ステップＳ４１３にて、ステップＳ４１２で算出された量子化パラメータ差分値を符号化し、量子化パラメータ差分値符号化データを生成し、ステップＳ００８に進む。ステップＳ４１４にて、画像符号化装置は、当該基本ブロック内の全てのサブブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ０１１に進み、終了していなければ次のサブブロックを対象としてステップＳ４０１に戻る。ステップＳ００８、ステップＳ００９，ステップＳ０１１は実施形態１と同様に動作し、画像全体の符号化を行う。

以上の構成と動作により、前の基本ブロックのサブブロック量子化パラメータを用いて基本ブロック量子化パラメータを決定するので、当該基本ブロックの処理を開始すると同時に基本ブロック量子化パラメータの決定が行える。このため処理の遅延を最小限に抑える効果がある。また、基本ブロック量子化パラメータを前の基本ブロックのサブブロック量子化パラメータから産出することで、基本ブロック量子化パラメータを送らずに済むので、符号化効率が向上する効果もある。

また、実施形態１と同様に並列処理を効果的に行うことも可能になる。すなわち、図５（ｂ）にて符号化以前に基本ブロック量子化パラメータが前の基本ブロックのサブブロック量子化パラメータによって算出されている。これにより全サブブロックの量子化パラメータ差分値の算出はそれぞれのサブブロックの処理を待たずに行えるようになる。

なお、本実施形態では画像の先頭の基本ブロックの時のみ先頭サブブロックのサブブロック量子化パラメータをそのまま符号化したが、これに限定されない。つまり複数の基本ブロックからなるスライスのような構成をとり、その先頭の基本ブロックに対して同様な処理を行っても構わない。

また、本実施形態では前の基本ブロックのサブブロック量子化パラメータを参照して決定したが、これに限定されず、前の基本ブロックの最後のサブブロック量子化パラメータを当該基本ブロックの基本ブロック量子化パラメータとしても構わない。さらには周囲の基本ブロックのサブブロック量子化パラメータまたは基本ブロック量子化パラメータを参照してももちろん構わない。

また、本実施形態では基本ブロック量子化パラメータを前の基本ブロックの各サブブロック量子化パラメータの平均値としたが、これに限定されない。例えばサブブロックの中央値としても構わないし、最も頻度の高いサブブロック量子化パラメータの値としてももちろん構わない。このように算出方法を複数用意し、最も効率の良い基本ブロック量子化パラメータを選択してその方法を表す符号を用いて符号化してももちろん構わない。

なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。

＜実施形態６＞
本実施形態では、実施形態５の符号化方法を用いて符号化された符号データを復号する画像復号方法について説明する。本実施形態では符号化装置は実施形態４の図１３と同じ構成をとる。ただし、量子化パラメータ復号部１３０２の構成が異なる。
図１８は、本発明の実施形態６に係る量子化パラメータ復号部１３０２の構成を示すブロック図である。図１８において、実施形態４の図１４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

５００はセレクタであり、入力されたサブブロック量子化パラメータのサブブロック及びそのサブブロックの基本ブロックの位置に応じて出力先を選択する。５０１はサブブロック量子化パラメータ自体が符号化されている場合に符号を復号し、サブブロック量子化パラメータを再生するサブブロック量子化パラメータ復号部である。５０２はサブブロック量子化パラメータ差分値が符号化されている場合に符号を復号し、サブブロック量子化パラメータ差分値を再生するサブブロック量子化パラメータ差分値復号部である。５０３はセレクタであり、入力されたサブブロック量子化パラメータのサブブロック及びそのサブブロックの基本ブロックの位置に応じて入力先を選択する。５０４は基本ブロック量子化パラメータを決定する基本ブロック量子化パラメータ決定部である。５０５は決定された基本ブロック量子化パラメータと各サブブロック量子化パラメータ差分値を加算して各サブブロック量子化パラメータを再生するサブブロック量子化パラメータ加算部である。５０６はセレクタであり、入力されたサブブロック量子化パラメータのサブブロック及びそのサブブロックの基本ブロックの位置に応じて入力先を選択する。５０７は再生されたサブブロック量子化パラメータを保持するサブブロック量子化パラメータ保持部である。

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。

１フレーム分のビットストリームの復号処理に先立ち、セレクタ５００は出力先をサブブロック量子化パラメータ復号部５０１とし、セレクタ５０３は入力先をサブブロック量子化パラメータ復号部５０１とする。セレクタ５０５は入力先をサブブロック量子化パラメータ復号部５０１とする。

まず先頭基本ブロックのサブブロック量子化パラメータの符号化データがセレクタ５００を介してサブブロック量子化パラメータ復号部５０１に入力される。サブブロック量子化パラメータ復号部５０１はゴロム符号を用いて復号し、サブブロック量子化パラメータを再生する。このサブブロック量子化パラメータはセレクタ５０３を介して基本ブロック量子化パラメータ決定部５０４に入力される。基本ブロック量子化パラメータ決定部５０４は前記サブブロック量子化パラメータのサブブロックが先頭基本ブロックの先頭サブブロックであることから、入力をそのまま保持して基本ブロック量子化パラメータとする。また、サブブロック量子化パラメータ復号部５０１で再生されたサブブロック量子化パラメータはセレクタ５０６を介して端子１０６から出力される。また、サブブロック量子化パラメータはサブブロック量子化パラメータ保持部５０７で保持される。

その後、セレクタ５００は出力先をサブブロック量子化パラメータ差分値復号部５０２とし、セレクタ５０３は入力先をサブブロック量子化パラメータ保持部５０７とする。セレクタ５０６は入力先をサブブロック量子化パラメータ加算部３０５とする。

続くサブブロックのサブブロック量子化パラメータ差分値符号化データが入力されると、セレクタ５００を介してサブブロック量子化パラメータ差分値復号部５０２に入力される。サブブロック量子化パラメータ差分値復号部５０２ではサブブロック量子化パラメータ差分値符号化データを復号してサブブロック量子化パラメータ差分値を再生する。サブブロック量子化パラメータ加算部３０５では、基本ブロック量子化パラメータにサブブロック量子化パラメータ差分値を加算し、サブブロック量子化パラメータを再生する。再生されたサブブロック量子化パラメータは端子１０６から出力される。また、サブブロック量子化パラメータはサブブロック量子化パラメータ保持部５０７で保持される。

続く基本ブロックのサブブロック量子化パラメータ差分値符号化データが入力される。この時、基本ブロック量子化パラメータ決定部５０４は前の基本ブロックのサブブロック量子化パラメータをサブブロック量子化パラメータ保持部５０７から読み出す。読み出されたサブブロック量子化パラメータの平均値を求め、当該基本ブロックの基本ブロック量子化パラメータとする。

入力されたサブブロック量子化パラメータ差分値符号化データはサブブロック量子化パラメータ差分値復号部５０２で復号され、サブブロック量子化パラメータ差分値を再生する。サブブロック量子化パラメータ加算部３０５でサブブロック量子化パラメータを再生し、端子１０６から出力し、サブブロック量子化パラメータ保持部５０７で保持する。
続いて入力されるサブブロック量子化パラメータ差分値符号化データに関しても同様にサブブロック量子化パラメータ差分値を再生し多のち、サブブロック量子化パラメータを再生する。再生されたサブブロック量子化パラメータは端子１０６から出力され、サブブロック量子化パラメータ保持部５０７で保持される。

図１９は、実施形態６に係る画像復号装置における画像復号処理を示すフローチャートである。

ステップＳ１０１は実施形態２と同様にヘッダ情報の復号を行う。ステップＳ５０１にて、復号するサブブロックの基本ブロックが画像の先頭か否かを判定し、先頭基本ブロックであれば、ステップＳ５０２に進み、そうでなければステップＳ５０４に進む。
ステップＳ５０２にて、復号するサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭ブロックであれば、ステップＳ５０３に進み、そうでなければステップＳ５０６に進む。ステップＳ５０３にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータの符号化データである。これをゴロム符号で復号する。復号結果を基本ブロック量子化パラメータとして保持する。と同時に次の基本ブロックの基本ブロック量子化パラメータを決定する際に参照するために別途保持しておく。その後、先頭のサブブロックの復号画像生成のため、ステップＳ１０４に進む。
ステップＳ５０４にて、復号するサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭ブロックであれば、ステップＳ５０５に進み、そうでなければステップＳ５０６に進む。
ステップＳ５０５にて、保持されている前の基本ブロックのサブブロック量子化パラメータから平均値を求め、基本ブロック量子化パラメータとして算出する。以後、ステップＳ５０６に進む。
ステップＳ５０６にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータ差分値符号化データである。これをゴロム符号で復号し、サブブロック量子化パラメータ差分値を再生する。再生されたサブブロック量子化パラメータ差分値はステップＳ５０３ないしはステップＳ５０５で保持または算出されていた基本ブロック量子化パラメータと加算される。加算された結果がサブブロック量子化パラメータとなる。以後、サブブロックの復号画像生成のため、ステップＳ１０４に進む。以下、実施形態４と同様に、サブブロックの復号画像の生成、フレーム画像の再生が行われる。

以上の構成と動作により、実施形態５で生成された基本ブロック量子化パラメータ値を符号化しないビットストリームを復号することができる。

また、実施形態２と同様に並列処理を効果的に行うことも可能になる。すなわち、図９（ｂ）にてプロセッサＡの基本ブロック量子化パラメータの復号の代わりに前の基本ブロックのサブブロック量子化パラメータによる基本ブロック量子化パラメータの算出と置き換えることになる。これにより、全てのサブブロックの量子化パラメータの再生は他のサブブロックの処理を待たずに行えるようになる。

なお、本実施形態では基本ブロック量子化パラメータを前の基本ブロックの各サブブロック量子化パラメータの平均値としたが、実施形態５の基本ブロック量子化パラメータの算出方法と同じ方法であればこれに限定されない。例えばサブブロックの中央値としても構わないし、最も頻度の高いサブブロック量子化パラメータの値としてももちろん構わない。これらの情報はサブブロック量子化パラメータ保持部５０７に保持されているサブブロック量子化パラメータから導出できる。

また、符号化側でこのように算出方法を複数用意し、最も効率の良い基本ブロック量子化パラメータを選択してその方法を表す符号を用いて符号化しても、復号して同様にサブブロック量子化パラメータを算出できる。
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである
＜実施形態７＞
図１、図３、図６、図７、図１０、図１１、図１３、図１４、図１６、図１８に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。

図２０は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１４０１は、図１、図３、図６、図７、図１０、図１１、図１３、図１４、図１６、図１８に示した各処理部として機能することになる。

ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ１４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。表示部１４０５は、ＣＰＵ１４０１による処理結果を表示する。また表示部１４０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。

外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１、図３、図６、図７、図１０、図１１、図１３、図１４、図１６、図１８に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１４０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。１４０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１４０１が中心となってその制御を行う。

また、ＣＰＵがマルチコアである場合、それぞれのコアに各処理のスレッドを割り当てることで並列処理を効率よく行うことができる。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (4)

1. 入力画像の量子化処理を行うための量子化パラメータを復号する復号装置であって、
   四分木構造によって表現される複数のブロックのうちの１つのブロックに含まれるサブブロックの量子化パラメータと所定のパラメータとの差分値に関する符号データを復号する復号手段と、
   前記所定のパラメータとしての第１のサブブロックの量子化パラメータと、前記復号手段によって取得された差分値とを加算することにより、前記第１のサブブロックより後に符号化された第２のサブブロックの量子化パラメータを取得し、
   前記所定のパラメータとして、第３のサブブロックより前に符号化された少なくとも２つのサブブロックの量子化パラメータの平均に基づくパラメータと、前記復号手段によって取得された差分値とを加算することにより、前記第３のサブブロックの量子化パラメータを取得する取得手段と、
   を備えることを特徴とする復号装置。
2. 入力画像の量子化処理を行うための量子化パラメータを復号する復号方法であって、
   四分木構造によって表現される複数のブロックのうちの１つのブロックに含まれるサブブロックの量子化パラメータと所定のパラメータとの差分値に関する符号データを復号する復号工程と、
   前記所定のパラメータとしての第１のサブブロックの量子化パラメータと、前記復号手段によって取得された差分値とを加算することにより、前記第１のサブブロックより後に符号化された第２のサブブロックの量子化パラメータを取得し、
   前記所定のパラメータとして、第３のサブブロックより前に符号化された少なくとも２つのサブブロックの量子化パラメータの平均に基づくパラメータと、前記復号手段によって取得された差分値とを加算することにより、前記第３のサブブロックの量子化パラメータを取得する取得工程と、
   を備えることを特徴とする復号方法。
3. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の復号装置として機能させることを特徴とするプログラム。
4. 請求項３に記載のプログラムを記憶した記憶媒体。

Images