JP6272441B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関し、特に量子化マトリクスの符号化方法・復号方法に関する。

動画像の圧縮記録方法として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）
Ｈ．２６４においてはｓｃａｌｉｎｇ＿ｌｉｓｔ情報を符号化することにより、量子化マトリクスの各係数を任意の値に変更することができる。非特許文献１によれば、直前の係数に差分値であるｄｅｌｔａ＿ｓｃａｌｅを加算することで量子化マトリクスの各係数は任意の値をとることができる。

近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。このＪＣＴ−ＶＣにおいて、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。

この方式では、符号化効率向上のため、従来の離散コサインベースの直交変換方法に加えて離散サイン変換といった直交変換方法が検討されている。また、カメラなどで撮影した自然映像だけでなく、ＰＣ画面やゲームといった人工映像における符号化効率向上のため、直交変換を行わない変換スキップ技術といった方法も検討されている。（非特許文献２）

ＩＴＵ−Ｔ Ｈ．２６４ （０３／２０１０） Ａｄｖａｎｃｅｄｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｉ１００３．ｄｏｃ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／ ＞

一般的に画像の圧縮においては、主観画質の向上のため、直交変換を行った後の変換係数のうち、低周波成分にあたる係数をより小さな値で量子化し、高周波成分にあたる係数をより大きな値で量子化することが多い。この場合、図５（ａ）に示されるような量子化マトリクスを用いて周波数成分による重み付け量子化を行うことが一般的である。この量子化マトリクス５００は、低周波成分にあたる係数がより小さく、高周波成分にあたる係数がより大きい。

一方、ＨＥＶＣにおいて、特に前述の変換スキップ技術を用いた場合には直交変換が行われないため、量子化対象の係数は全て同一の周波数成分を有している。このため、変換スキップ技術を用いた場合は前述の重み付け量子化を行うことは好ましくなく、図５（ｂ）に示されるような全ての係数が同一の値をもつフラットな量子化マトリクス５０１を用いて量子化処理を行う必要がある。そのため、フラットな量子化マトリクス５０１の情報をより少ない符号量で符号化できることが望ましいが、特に上述のＨＥＶＣにおいては、効率良く符号化できる仕組みが存在せず、結果として不必要に符号量が多くなってしまっていた。

したがって、本発明は上述した課題を解決するためになされたものであり、フラットな量子化マトリクスをより少ない符号量で効率よく符号化する方法を導入することにより、高効率の量子化マトリクス符号化・復号を実現することを目的としている。

上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、ビットストリームから、量子化係数、および、前記量子化係数が直交変換された係数であるか否かを示す判定情報を取得する取得手段と、前記ビットストリームから量子化マトリクスを取得し、前記判定情報に関わらず、前記取得された量子化マトリクスに基づいて前記量子化係数を逆量子化する逆量子化手段と、前記取得手段によって取得された判定情報が、前記量子化係数が直交変換された係数であることを示す場合、前記逆量子化手段によって逆量子化された係数を逆直交変換する逆直交変換手段と、前記取得手段によって取得された判定情報が、前記量子化係数が直交変換されていない係数であることを示す場合、前記逆量子化手段によって逆量子化された係数のビット深度を調整する調整手段と、前記逆直交変換手段によって得られたデータ、あるいは前記調整手段によって得られたデータから画像を復号する復号手段と、を有する。

さらに、本発明の画像復号方法は以下の構成を有する。すなわち、ビットストリームから、量子化係数、および、前記量子化係数が直交変換された係数であるか否かを示す判定情報を取得する取得ステップと、前記ビットストリームから量子化マトリクスを取得し、前記判定情報に関わらず、前記取得された量子化マトリクスに基づいて前記量子化係数を逆量子化する逆量子化ステップと、前記取得ステップにおいて取得された判定情報が、前記量子化係数が直交変換された係数であることを示す場合、前記逆量子化ステップにおいて逆量子化された係数を逆直交変換する逆直交変換ステップと、前記取得ステップにおいて取得された判定情報が、前記量子化係数が直交変換されていない係数であることを示す場合、前記逆量子化ステップにおいて逆量子化された係数のビット深度を調整する調整ステップと、前記逆直交変換ステップにおいて得られたデータ、あるいは前記調整ステップにおいて得られたデータから画像を復号する復号ステップと、を有する

本発明により、量子化マトリクス符号化のための符号量を削減し、高効率の符号化・復号が可能になる。

実施形態１における画像符号化装置の構成を示すブロック図 実施形態２における画像復号装置の構成を示すブロック図 実施形態３における画像符号化装置の構成を示すブロック図 実施形態４における画像復号装置の構成を示すブロック図 （ａ）、（ｂ）量子化マトリクスの一例を示す図 実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態２に係る画像復号装置における画像復号処理を示すフローチャート 実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態４に係る画像復号装置における画像復号処理を示すフローチャート （ａ）、（ｂ）、（ｃ）ビットストリーム構造の一例を示す図 符号化対象の量子化マトリクスと量子化マトリクス参照情報との関係の一例を示す図 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。

図１において、１０１は画像データ（以下、画像）を入力する端子である。１０２は入力された画像を複数のブロックに分割するブロック分割部である。１０３はブロック分割部１０２で分割された各ブロックを、ブロック単位で予測を行い、予測方法を決定し、それに従って差分値算出を行い、予測誤差を算出する予測部である。予測部１０３ではイントラ予測若しくは動き補償予測も行うものとする。イントラ予測は一般的には、周囲の画素データから予測値を算出するために、複数の参照方法の中から最適なものを予測方法として選択することで実現する。

１０４は各ブロックの予測誤差に対して直交変換を行う変換部であり、入力されたブロックのサイズまたはそれを細分化したサイズを単位に直交変換を行い、直交変換係数を算出する。以下では直交変換を行うブロックを変換ブロックと呼称する。直交変換に関しては特に限定しないが、離散コサイン変換やアダマール変換等を用いてもよい。また、本実施形態では説明のため、８×８画素のブロック単位の予測誤差を縦横２分割し、４×４画素の変換ブロック単位で直交変換を行うものとするが、変換ブロックの大きさ、形状はこれに限定されない。ブロックと同一の大きさの変換ブロックを用いて直交変換を行っても良いし、ブロックを縦横２分割よりもさらに細かい単位で分割した変換ブロックを用いて直交変換を行っても良い。

１０７は量子化マトリクスを生成し、格納する量子化マトリクス保持部である。格納される量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用してももちろん良い。本実施形態では、図５（ａ）や（ｂ）に示されるような４×４画素の変換ブロックに対応した二次元の量子化マトリクスが生成され、格納されるものとする。

１０５は量子化マトリクス保持部１０７に格納された量子化マトリクスによって、前記直交変換係数を量子化する量子化部である。この量子化によって量子化係数を得ることができる。１０６はこのようにして得られた量子化係数を符号化して量子化係数符号データを生成する係数符号化部である。符号化の方法は特に限定しないが、ハフマン符号や算術符号などを用いることができる。１０８は量子化マトリクス保持部１０７に格納された量子化マトリクスが、所定の量子化マトリクスと一致するか否かを判定する量子化マトリクス判定部である。より具体的には符号化対象の量子化マトリクスが、既に符号化済みの量子化マトリクス、予め定められた量子化マトリクスもしくは係数が全て同一の値を持つフラットな量子化マトリクスであるか否かを判定する。この予め定められた量子化マトリクスは量子化マトリクス保持部１０７に格納されているとする。但しこれに限定されない。例えば、量子化マトリクス判定部１０８に格納されていても構わない。

１０９は量子化マトリクス判定部１０８における判定を示す情報やその他の量子化マトリクスに関する情報をヘッダとして符号化して量子化マトリクスヘッダ符号を生成する量子化マトリクスヘッダ符号化部である。１１０は符号化対象の量子化マトリクスの各係数を符号化して量子化マトリクス係数符号を生成する量子化マトリクス係数符号化部である。

１１１はヘッダ情報や予測、変換に関する符号を生成するとともに、前述の各符号化部で生成された符号データを統合してビットストリームを形成して出力する統合符号化部である。具体的には、係数符号化部１０６で生成された量子化係数符号データや量子化マトリクスヘッダ符号化部１０９で生成された量子化マトリクスヘッダ符号、量子化マトリクス係数符号化部１１０で生成された量子化マトリクス係数符号を統合する。ここで予測、変換に関する符号とは、例えば選択した予測方法や変換ブロックの分割の様子等の符号である。１１２は統合符号化部１１１で生成されたビットストリームを外部に出力する端子である。

上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをピクチャ単位に入力する構成となっているが、１ピクチャ分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化の処理においても適用可能である。本実施形態では説明のため、ブロック分割部１０２においては８×８画素のブロックに分割するものとして説明するが、これに限定されない。

＜量子化マトリクス係数の符号化＞
最初に、量子化マトリクス保持部１０７は量子化マトリクスを生成する。符号化処理に用いられる直交変換のサイズである変換ブロックサイズに応じて、量子化マトリクスが決定される。量子化マトリクスの係数の決定方法は特に限定しない。例えば、所定の初期値を用いても良いし、個別に設定しても良い。また、画像の特性に応じて設定して生成されても構わない。

量子化マトリクス保持部１０７には、このようにして生成された量子化マトリクスが保持されている。図５（ａ）、（ｂ）は４×４画素の変換ブロックに対応する量子化マトリクスの一例である。説明を簡易にするため、４×４画素の変換ブロックに対応した１６画素分の構成とし、太枠内の各正方形は係数を表しているものとする。本実施形態では、図５（ａ）、（ｂ）に示された量子化マトリクスが二次元形状で保持されているものとするが、量子化マトリクス内の係数はもちろんこれに限定されない。例えば、本実施形態に加えて８×８画素の変換ブロックサイズも用いる場合には、８×８画素変換ブロックに対応する他の量子化マトリクスを保持することになる。

量子化マトリクス判定部１０８は符号化対象の量子化マトリクスを量子化マトリクス保持部１０７から順に読み出す。そして所定の量子化マトリクスと一致するか否かを判定し、符号化対象の量子化マトリクスが所定の量子化マトリクスと一致することを示す一致情報を生成する。本実施形態では、符号化済みの量子化マトリクス、図５（ａ）に示されたデフォルトの量子化マトリクスもしくは図５（ｂ）に示されたフラットな量子化マトリクスのいずれかと一致するか否かを判定する。符号化済みの量子化マトリクスは量子化マトリクス保持部１０７に格納されており、図５（ａ）および図５（ｂ）に示された量子化マトリクスも量子化マトリクス保持部１０７に予め記憶されているものとする。符号化対象の量子化マトリクスがいずれかと一致すると判定された場合は、さらにどの量子化マトリクスと一致するかを示す参照情報を生成する。この参照情報は一致情報とともに量子化マトリクスヘッダ符号化部１０９に出力する。この場合、量子化マトリクス係数符号化部１１０には何も出力せず、動作しない。一方、いずれの量子化マトリクスとも一致しない場合は、一致情報のみを量子化マトリクスヘッダ符号化部１０９に出力しつつ、符号化対象の量子化マトリクスを量子化マトリクス係数符号化部１１０に出力する。本実施形態では、所定の量子化マトリクスの中に符号化対象の量子化マトリクスと一致するものがある場合には一致情報は１となり、そうでない場合は０となるものとするが、値と状態との組合せはこれに限定されない。

図１１は本実施形態における符号化対象の量子化マトリクスと参照情報との関係の一例を示す図である。本実施形態では、ＹＣｂＣｒ色空間で入力された画像のＹ成分の量子化に対応する第一、Ｃｂ成分の量子化に対応する第二、Ｃｒ成分の量子化に対応する第三の３種類の量子化マトリクスが存在するものとするが、これに限定されない。変換ブロックサイズや予測方法、色空間の組み合わせによってより多くの量子化マトリクスを定義しても構わない。また、本実施形態では図５（ａ）に示された量子化マトリクスをデフォルト４×４、図５（ｂ）に示された量子化マトリクスをフラット４×４の量子化マトリクスであるものとするが、使用される量子化マトリクスはこれらに限定されない。

例えば、符号化対象量子化マトリクスが第一（４ｘ４Ｙ）であり、デフォルト４×４と一致する場合、参照情報は０とする。また、フラット４×４と一致する場合、参照情報は１とする。このようなフラット４×４と一致することが、符号化対象の量子化マトリクスの係数が全て同一の値であることを示すフラット情報となる。同様に、符号化対象量子化マトリクスが第二（４ｘ４Ｃｂ）の場合、デフォルト４×４と一致すれば参照情報は０とし、符号化済みの第一（４ｘ４Ｙ）と一致すれば参照情報は１となる。また、フラット４×４と一致すれば参照情報は２とする。符号化対象量子化マトリクスが第三（４ｘ４Ｃｒ）の場合も同様である。

量子化マトリクスヘッダ符号化部１０９では、量子化マトリクス判定部１０８から入力された一致情報および必要に応じて参照情報を符号化して量子化マトリクスヘッダ符号を生成する。本実施形態では、符号化対象の量子化マトリクスが符号化装置に予め記憶されている量子化マトリクスもしくは符号化済みの量子化マトリクスのいずれかと一致する場合には、一致情報および参照情報の両方を符号化する。一方、上記のいずれの量子化マトリクスとも一致しない場合には、一致情報のみを符号化する。符号化の方法は特に限定しないが、ハフマン符号や算術符号などを用いることができる。生成された量子化マトリクスヘッダ符号は統合符号化部１１１に出力される。

量子化マトリクス係数符号化部１１０では、量子化マトリクス判定部１０８から入力された符号化対象の量子化マトリクスを符号化して量子化マトリクス係数符号を生成する。本実施形態では、符号化対象の量子化マトリクスが符号化装置に予め記憶されている量子化マトリクスや符号化済みの量子化マトリクスとは一致しない場合に限り、量子化マトリクス係数符号化部１１０は動作する。符号化方式としては、本実施形態では、各係数をそのまま符号化する、直前の係数との差分を符号化する、ＤＰＣＭ、他の量子化マトリクスとの差分を符号化するといった方式を用いることとするが、方式はこれらに限定されない。また、符号化装置に予め記憶されていないフラットな量子化マトリクスを符号化する場合には代表値のみを符号化するような方式をとってもよい。また、これらと合わせて同じ値が続くときは符号化を打ち切る符号を挿入することにより量子化マトリクスの符号量を抑制することもできる。

統合符号化部１１１では画像の符号化に必要なヘッダ情報を符号化し、入力された量子化マトリクスヘッダ符号および量子化マトリクス係数符号を統合する。

なお、量子化マトリクス判定部１０８と量子化マトリクスヘッダ符号化部１０９と量子化マトリクス係数符号化部１１０は、１つの処理部である量子化マトリクス符号化部として機能してもよい。

＜画像の符号化＞
端子１０１から入力された１ピクチャ分の画像はブロック分割部１０２に入力され、８×８画素のブロック単位に分割される。分割された画像は予測部１０３に入力される。予測部１０３ではブロック単位の予測が行われ、予測誤差が生成される。変換部１０４では、予測部１０３で生成された予測誤差を変換ブロックサイズに分割して直交変換を行い、直交変換係数を生成する。そして、直交変換係数を量子化部１０５に入力する。本実施形態では、８×８画素のブロック単位の予測誤差を４×４画素の変換ブロック単位に分割して直交変換を行うものとする。量子化部１０５では、変換部１０４から出力された直交変換係数を量子化マトリクス保持部１０７に格納されている量子化マトリクスを用いて量子化して量子化係数を生成する。生成された量子化係数は係数符号化部１０６に入力される。係数符号化部１０６では、量子化部１０５で生成された量子化係数を符号化し、量子化係数符号データを生成して統合符号化部１１１に出力する。統合符号化部１１１はブロック単位で予測、変換に関する符号を生成し、前記ヘッダの符号化データとともに、ブロック単位の符号、係数符号化部１０６で生成された量子化係数符号データを統合し、ビットストリームを生成して端子１１２から出力する。

図１０に実施形態１で出力されるビットストリームの例を示す。シーケンスヘッダに量子化マトリクスの符号データが含まれ、ヘッダ符号や各係数の符号化結果で構成されている。図１０（ａ）は第１から第３までの量子化マトリクスの全てが異なりかつフラットな量子化マトリクスともデフォルトの量子化マトリクスとも異なる場合のビットストリームの例である。すなわち、第１から第３までの各量子化マトリクスヘッダ符号には、一致情報の０が符号化されており、各量子化マトリクス係数符号には各量子化マトリクスの係数が符号化されている。但し、符号化の位置はこれに限定されない。ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。

図１０（ｂ）は第１から第３までの量子化マトリクスの全てがフラットな量子化マトリクスであった場合のビットストリームの例である。この場合、第１の量子化マトリクスヘッダ符号には、一致情報の１とフラットな量子化マトリクスを示す参照情報の１が符号化されている。また、第２の量子化マトリクスヘッダ符号には、一致情報の１とフラットな量子化マトリクスを示す参照情報の２が符号化されている。この場合においては、参照情報が１であっても、参照対象の第１の量子化マトリクスもフラットな量子化マトリクスであるため、ビットストリームの復号結果は同一となる。同様に、第３の量子化マトリクスヘッダ符号には、一致情報の１とフラットな量子化マトリクスを示す参照情報の２が符号化されている。この場合も、参照情報が１もしくは２であっても、参照対象の第１または第２の量子化マトリクスもフラットな量子化マトリクスであるため、ビットストリームの復号結果は同一となる。

図１０（ｃ）は第１の量子化マトリクスはフラットな量子化マトリクスともデフォルトの量子化マトリクスとも異なるが、第２、第３の量子化マトリクスは第１の量子化マトリクスと同一である場合のビットストリームの例である。この場合、第１の量子化マトリクスヘッダ符号には、一致情報の０が符号化されており、第１量子化マトリクス係数符号には第１量子化マトリクスの係数が符号化されている。また、第２の量子化マトリクスヘッダ符号には、一致情報の１と第１の量子化マトリクスへの参照を示す参照情報の１が符号化されている。同様に第３の量子化マトリクスヘッダ符号には、一致情報の１と第２の量子化マトリクスへの参照を示す参照情報の１が符号化されている。

図６は実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップＳ６０１にて、量子化マトリクス保持部１０７は量子化マトリクスを生成する。ステップＳ６０２にて、量子化マトリクス判定部１０８は符号化対象の量子化マトリクスが所定の量子化マトリクスが一致するか否かを判定し、一致情報を生成する。本実施形態では、符号化済みの量子化マトリクス、予め符号化装置に記憶されている図５（ａ）に示されたデフォルトの量子化マトリクスもしくは図５（ｂ）に示されたフラットな量子化マトリクスのいずれかと一致するか否かを判定する。符号化対象の量子化マトリクスが上記のいずれかの量子化マトリクスと一致すると判定された場合は、さらにどの量子化マトリクスと一致するかを示す参照情報を生成する。

ステップＳ６０３にて、量子化マトリクスヘッダ符号化部１０９は、ステップＳ６０２で生成された一致情報および参照情報を符号化して量子化マトリクスヘッダ符号を生成する。ステップＳ６０４にて画像符号化装置は前述の一致情報に基づいて、符号化対象の量子化マトリクスの係数を符号化するか否かを判定する。対象の量子化マトリクスの係数を符号化する場合にはステップＳ６０５に進み、そうでない場合はステップＳ６０６に進む。

ステップＳ６０５にて、量子化マトリクス係数符号化部１１０はステップＳ６０１で生成された量子化マトリクスを符号化し、量子化マトリクス係数符号を生成する。ステップＳ６０６にて、画像符号化装置は量子化マトリクスを全て符号化したか否かの判定を行い、終了していればステップＳ６０７に進み、そうでなければ次の量子化マトリクスを対象としてステップＳ６０１に戻る。ステップＳ６０７にて、統合符号化部１１１はビットストリームのヘッダ部の符号化を行い、出力する。本実施形態では、図１０に示される例のシーケンスヘッダおよびピクチャヘッダの符号化を行い、出力するものとする。

ステップＳ６０８にて、ブロック分割部１０２は、ピクチャ単位の入力画像をブロック単位に分割する。ステップＳ６０９にて、予測部１０３はブロック単位の予測を行い、予測誤差を生成する。ステップＳ６１０にて、変換部１０４はステップＳ６０９で生成された予測誤差に対して変換ブロックサイズに分割して直交変換を行い、直交変換係数を生成する。ステップＳ６１１にて、量子化部１０５はステップＳ６１０で生成された直交変換係数を、ステップＳ６０１で生成されて量子化マトリクス保持部１０７に格納された量子化マトリクスを用いて量子化して量子化係数を生成する。ステップＳ６１２にて、係数符号化部１０６はステップＳ６１１で生成された量子化係数を符号化し、量子化係数符号データを生成する。ステップＳ６１３にて、画像符号化装置は、当該ブロック内の全ての変換ブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ６１４に進み、終了していなければ次の変換ブロックを対象としてステップＳ６１０に戻る。ステップＳ６１４にて、画像符号化装置は、全てのブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次のブロックを対象としてステップＳ６０８に戻る。

以上の構成と動作により、特にステップＳ６０２からステップＳ６０４によって、フラットな量子化マトリクスを符号化する際に、他の量子化マトリクスと一致する場合、冗長な符号を送る必要が無いため、符号量を削減したビットストリームを構成することができる。これにより、フラットな量子化マトリクスの係数を一つずつ符号化するよりも少ない符号量でビットストリームを生成することができる。

なお、本実施形態においては、イントラ予測のみを用いるピクチャを例にとって説明したが、インター予測を使用できるピクチャにおいても対応できることは明らかである。さらに、本実施形態では説明のためにブロックを８×８画素、変換ブロックを４×４画素としたが、これに限定されない。例えば１６×１６画素や３２×３２画素などのブロックサイズへの変更が可能であり、また、ブロックの形状も正方形に限定されず、１６×８画素などの長方形でも良い。また、変換ブロックサイズはブロックサイズの縦横それぞれ半分としたが、同じ大きさでも構わないし、縦横それぞれ半分よりもさらに細かいサイズでももちろん構わない。

＜実施形態２＞
図２は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成されたビットストリームの復号について説明する。

図２において、２０１は符号化されたビットストリームを入力する端子である。２０２は入力されたビットストリームのヘッダ情報を復号し、ビットストリームから必要な符号を分離して後段へ出力する復号・分離部である。復号・分離部２０２は図１の統合符号化部１１１と逆の動作を行う。

２０３はビットストリームのヘッダ情報から分離された量子化マトリクスヘッダ符号を復号し、一致情報および参照情報を復元する量子化マトリクスヘッダ復号部である。２０４はビットストリームから分離された量子化マトリクス係数符号を復号し、量子化マトリクスの各係数を復元する量子化マトリクス係数復号部である。２０５は得られた一致情報および参照情報あるいは量子化マトリクスの各係数から復号対象の量子化マトリクスを再構成する量子化マトリクス再構成部である。２０６は量子化マトリクス再構成部２０５で得られた量子化マトリクスを格納しておく量子化マトリクス保持部である。実施形態１の量子化マトリクス判定部１０８が格納している所定の量子化マトリクスはこれに保持されているものとする。但し、これに限定されない。量子化マトリクス再構成部２０５に格納されていても構わない。また、量子化マトリクスヘッダ復号部２０３と量子化マトリクス係数復号部２０４と量子化マトリクス再構成部２０５はひとつの処理部である量子化マトリクス復号部として機能してもよい。

一方、２０７は復号・分離部２０２で分離された量子化係数符号データから量子化係数符号を復号し、量子化係数を復元する係数復号部である。２０８は量子化マトリクス保持部２０６に格納された量子化マトリクスを用いて量子化係数に逆量子化を行い、直交変換係数を得る逆量子化部である。２０９は図１の変換部１０４の逆となる逆直交変換を行い、予測誤差を得る逆変換部である。２１０は予測誤差と復号済みの画像からブロックの画像を復元する予測再構成部である。

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態１で生成された動画像ビットストリームをピクチャ単位で入力する構成となっているが、１ピクチャ分の静止画像ビットストリームを入力する構成としても構わない。また、本実施形態では説明を容易にするため、イントラ予測復号処理のみを説明するが、これに限定されずインター予測復号処理においても適用可能である。

図２において、端子２０１から入力された１ピクチャ分のビットストリームは復号・分離部２０２に入力され、画像を再生するのに必要なヘッダ情報が復号され、さらに後段で使用される符号が分離されて出力される。ヘッダ情報に含まれる量子化マトリクスヘッダ符号は量子化マトリクスヘッダ復号部２０３に出力される。本実施形態では、図１０に示されるビットストリームの例のシーケンスヘッダおよびピクチャヘッダが入力・復号され、符号が出力されるものとする。

量子化マトリクスヘッダ復号部２０３では、まず、入力された量子化マトリクスヘッダ符号を復号し、一致情報を復元する。一致情報が復号対象の量子化マトリクスと一致するマトリクスが存在していることを意味する１であった場合には、さらに量子化マトリクスヘッダ符号から参照情報を再生する。復元された参照情報は量子化マトリクス再構成部２０５に出力される。一方、一致情報が一致するマトリクスが存在しないことを意味する０であった場合には、復号対象の量子化マトリクスの係数を復号する必要性があることを示す情報を復号・分離部２０２に出力する。本実施形態では一致情報が上述の情報であるものとするが、同様の意味を持つ情報であればその形態は特に限定されない。

復号・分離部２０２では、量子化マトリクスヘッダ復号部２０３から復号対象の量子化マトリクスの係数を復号する必要性があることを示す情報が入力された場合、量子化マトリクス係数復号部２０４に量子化マトリクス係数符号データを出力する。量子化マトリクス係数復号部２０４では、入力された量子化マトリクス係数符号データが復号され、復号対象の量子化マトリクスの各係数が復元される。再生された量子化マトリクスの各係数は量子化マトリクス再構成部２０５に出力される。

量子化マトリクス再構成部２０５では、量子化マトリクスヘッダ復号部２０３から入力された参照情報もしくは量子化マトリクス係数復号部２０４から入力された量子化マトリクスの各係数から復号対象の量子化マトリクスを再構成する。量子化マトリクス係数復号部２０４から量子化マトリクスの各係数が入力された場合には、入力された各係数を用いて量子化マトリクスを再構成し、量子化マトリクス保持部２０６に出力する。一方、量子化マトリクスヘッダ復号部２０３から参照情報が入力された場合には、参照情報に基づいて、参照先の量子化マトリクスを量子化マトリクス保持部２０６から読み出し、復号対象の量子化マトリクスを再構成する。そして再構成された量子化マトリクスは量子化マトリクス保持部２０６に出力される。量子化マトリクス保持部２０６では、入力された量子化マトリクスを格納し、必要に応じて量子化マトリクス再構成部２０５および逆量子化部２０８に出力される。

復号・分離部２０２で分離された符号のうち、量子化係数符号データは係数復号部２０７に入力される。そして、係数復号部２０７は変換ブロックごとに量子化係数符号データを復号し、量子化係数を復元し、逆量子化部２０８に出力する。逆量子化部２０８は、係数復号部２０７で復元された量子化係数および量子化マトリクス保持部２０６に格納されている量子化マトリクスを入力する。そして、前記量子化マトリクスを用いて逆量子化を行い、直交変換係数を復元し、逆変換部２０９に出力する。逆変換部２０９は、直交変換係数を入力し、図１の変換部１０４の逆となる逆直交変換を行い、予測誤差を復元し、予測再構成部２１０に出力する。予測再構成部２１０は、入力された予測誤差に復号済みの周囲の画素データから予測を行ってブロック単位の画像を復元し、端子２１１から出力する。

図７は、実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。

まず、ステップＳ７０１にて、復号・分離部２０２がヘッダ情報を復号し、符号を後段に出力するために分離する。本実施形態では、図１０に示されるビットストリームの例のシーケンスヘッダおよびピクチャヘッダが入力・復号され、続く符号が該当するブロックに出力されるものとする。ステップＳ７０２にて、量子化マトリクスヘッダ復号部２０３は、まず、分離された量子化マトリクスヘッダ符号を復号し、一致情報を復元する。一致情報が復号対象の量子化マトリクスと一致するマトリクスが存在していることを意味する１であった場合には、さらに量子化マトリクスヘッダ符号から参照情報を再生する。逆に復号対象の量子化マトリクスと一致するマトリクスが存在しないことを意味する０であった場合には、本ステップではこれ以上の動作は行わない。

ステップＳ７０３にて、画像復号装置はステップＳ７０２で生成された一致情報に基づいて、復号対象の量子化マトリクスの係数を復号するか否かを判定する。対象の量子化マトリクスの係数を復号する場合にはステップＳ７０４に進み、そうでない場合はステップＳ７０５に進む。ステップＳ７０４にて、量子化マトリクス係数復号部２０４は量子化マトリクス係数符号データを復号し、復号対象の量子化マトリクスの各係数を再生する。ステップＳ７０５にて、量子化マトリクス再構成部２０５はステップＳ７０２で復元された参照情報もしくはステップＳ７０４で復元された量子化マトリクスの各係数から復号対象の量子化マトリクスを再構成する。

ステップＳ７０６にて、画像復号装置は全ての量子化マトリクスが復号されたか否かの判定を行い、完了していればステップＳ７０７へと進み、そうでなければ次の量子化マトリクスを対象として、ステップＳ７０２に戻る。ステップＳ７０７にて、係数復号部２０７は変換ブロック単位でビットストリームから分離された量子化係数符号データを復号し、量子化係数を復元する。ステップＳ７０８にて、逆量子化部２０８はステップＳ７０５で再生された量子化マトリクスを用いてステップＳ７０７にて再生された量子化係数を逆量子化し、直交変換係数を復元する。ステップＳ７０９にて、逆変換部２０９はステップＳ７０８で復元された直交変換係数に対し、逆直交変換を行い、予測誤差を復元する。

ステップＳ７１０にて、画像復号装置は、当該ブロック内の全ての変換ブロックの復号が終了したか否かの判定を行い、終了していればステップＳ７１１に進み、終了していなければ次の変換ブロックを対象としてステップＳ７０７に戻る。ステップＳ７１１にて、予測再構成部２１０は復号済みの周囲の画素データから予測を行い、ステップＳ７０９で復元された予測誤差に加算して、ブロックの復号画像を生成する。ステップＳ７１２にて、画像復号装置は、全てのブロックの復号が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次のブロックを対象として、ステップＳ７０７に戻る。

以上の構成と動作により、実施形態１で生成された一致情報などの少ない符号量で表された符号を含むビットストリームの復号を行い、再生画像を得ることができる。

なお、実施形態１と同様にブロックのサイズ、変換ブロックのサイズ、ブロックの形状についてはこれに限定されない。また、１つのシーケンスのビットストリーム中で量子化マトリクス符号データを複数回含めることで、量子化マトリクスの更新をすることも可能である。復号・分離部２０２で量子化マトリクスヘッダ符号を検出し、量子化マトリクスヘッダ復号部２０３で一致情報および必要に応じて参照情報を再生する。さらに一致情報に応じて、量子化マトリクス係数復号部２０４では復号対象の量子化マトリクスの係数を復元する。次に、量子化マトリクス再構成部２０５では参照情報あるいは量子化マトリクスの各係数から復号対象の量子化マトリクスを復元する。そして、復元された量子化マトリクスのデータを量子化マトリクス保持部２０６の該当する量子化マトリクスに置き換える。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスを判別することでその一部を変更することも可能である。

また、本実施形態では１ピクチャ分の符号データを蓄積してから処理を行う方式を例にとって説明したが、これに限定されない。例えば、ブロック単位や複数のブロックで構成されるスライス単位といった入力方法でも構わない。さらにはブロック等の構成ではなく、固定長のパケット等に分割されているものでも構わない。

＜実施形態３＞
図３は本実施形態の画像符号化装置を示すブロック図である。図３において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

３０３は図１の予測部１０３同様、ブロック分割部１０２で分割された各ブロックを、ブロック単位で予測を行い、予測方法を決定し、それに従って差分値算出を行い、予測誤差を算出する予測部である。３２１は予測部３０３で生成された予測誤差に対して、直交変換を行うか否かを判定し、後段に予測誤差を出力するとともに判定結果を変換スキップ判定情報として後段に出力する変換制御部である。３０４は図１の変換部１０４同様、各ブロックの予測誤差に対して直交変換を行う変換部であり、入力されたブロックのサイズまたはそれを細分化したブロックを単位に直交変換を行い、直交変換係数を算出する。

３２２は後段の量子化部３０５における量子化処理との整合性を取るために予測誤差のビット深度調整を行うビット深度調整部である。ここでのビット深度調整の度合いは入力映像のビット深度や変換部３０４における直交変換に伴うビット深度調整、量子化部３０５における量子化処理に伴うビット深度調整および量子化マトリクスの係数値などによって定まるものとする。例えば、本実施形態においては、所定値である１３と入力画像のビット深度との差の分だけ予測誤差を左側にビットシフトすることによりビット深度調整を行うものとする。すなわち、入力画像のビット深度が８ビットであれば、５ビット分予測誤差を左側にビットシフトするものとする。ただし、ビット深度調整に用いられる値はこれに限定されない。

３０５は量子化マトリクス保持部１０７に格納された量子化マトリクスによって、変換部３０４で生成された直交変換係数もしくはビット深度調整部３２２でビット深度調整をされた予測誤差を量子化する量子化部である。３１１はヘッダ情報や予測、変換に関する符号を生成するとともに、前述の各符号化部で生成された符号データを統合してビットストリームを形成して出力する統合符号化部である。図１の統合符号化部１１１とは変換スキップ判定情報をさらに符号化して符号データを生成し、ビットストリームを形成して出力する点が異なる。

上記画像符号化装置における画像の符号化動作を以下に説明する。

予測部３０３では、まず、ブロック単位の予測が行われ、予測誤差が生成される。生成された予測誤差は変換制御部３２１に出力される。変換制御部３２１では、入力された予測誤差に対し直交変換を行うか否かを決定する。そして、直交変換を行う場合には予測誤差を変換部３０４に出力し、直交変換を行わない場合には予測誤差をビット深度調整部３２２に出力する。直交変換を行うか否かの決定方法は特に限定しないが、画像の特徴や直交変換後の変換係数の大きさなどから決定しても良い。また、決定された判定結果を変換スキップ判定情報として統合符号化部３１１に出力する。変換部３０４では、変換制御部３２１から入力された予測誤差を変換ブロックサイズ単位で直交変換を行い、直交変換係数を生成する。

一方、ビット深度調整部３２２では、変換制御部３２１から入力された予測誤差を変換ブロック単位でビット深度調整を行い、ビット深度調整された予測誤差を生成する。量子化部３０５では、変換部３０４から出力された直交変換係数あるいはビット深度調整部３２２から出力されたビット深度調整された予測誤差に対し、量子化マトリクス保持部１０７に格納されている量子化マトリクスを用いて量子化し、量子化係数を生成する。生成された量子化係数は係数符号化部１０６に入力される。

統合符号化部３１１では画像の符号化に必要なヘッダ情報を符号化し、入力された量子化マトリクスヘッダ符号および量子化マトリクス係数符号を統合する。統合符号化部３１１では図１の統合符号化部１１１で符号化するヘッダ情報に加えて変換制御部３２１から入力された変換スキップ判定情報もさらに符号化する。

図８は実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャートである。図８において、実施形態１の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。

ステップＳ８２０にて、変換制御部３２１はステップＳ６０９で生成された予測誤差に対し直交変換を行うか否かを決定して変換スキップ判定情報を生成する。ステップＳ８２１にて、変換スキップ判定情報に基づいて、直交変換を行うのであればステップＳ６１０に進み、行わないのであればステップＳ８２２に進む。ステップＳ８２２にて、ビット深度調整部３２２はステップＳ６０９で生成された予測誤差を変換ブロック単位でビット深度調整を行い、ビット深度調整された予測誤差を生成する。ステップＳ８１１にて、量子化部３０５はステップＳ６１０で生成された直交変換係数もしくはステップＳ８２２で生成されたビット深度調整された予測誤差を、ステップＳ６０１で生成された量子化マトリクスを用いて量子化し、量子化係数を生成する。ステップＳ８２３にて、統合符号化部３１１はステップＳ８２１で生成された変換スキップ判定情報を符号化する。

以上の構成と動作により、特にステップＳ８２０からステップＳ８２３によって、変換スキップに対応するフラットな量子化マトリクスを符号化する際に、冗長な符号を送る必要が無いため、符号量を削減したビットストリームを構成することができる。

本実施形態においては、変換ブロック単位で変換スキップ判定情報が符号化される構成としたが、変換スキップ判定情報が符号化される単位はこれに限定されない。ブロック単位で符号化しても良いし、各色成分で共通した変換スキップ判定情報を用いて符号量を節約する構成をとることも可能である。符号化の方法は特に限定しないが、ハフマン符号や算術符号などを用いることができる。

＜実施形態４＞
図４は本実施形態の画像復号装置を示すブロック図である。図４において、実施形態２の図２と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。本実施形態では、実施形態３で生成されたビットストリームの復号について説明する。

４０２は入力されたビットストリームのヘッダ情報を復号し、ビットストリームから必要な符号を分離して後段へ出力する復号・分離部である。復号・分離部４０２は図３の統合符号化部３１１と逆の動作を行う。図２の復号・分離部２０２とは変換スキップ判定情報をさらに復号・再生して後段に出力するところが異なる。４０８は量子化マトリクス保持部２０６に格納された量子化マトリクスを用いて量子化係数に逆量子化を行い、逆量子化係数を再生する逆量子化部である。本実施形態における逆量子化係数は実施形態３における直交変換係数もしくはビット深度調整された予測誤差に相当する。

４２１は復号・分離部４０２から入力された変換スキップ判定情報に基づいて、逆直交変換を行うか否かを判定し、後段に逆量子化係数を出力する逆変換制御部である。４０９は図３の変換部３０４の逆となる逆直交変換を行い、予測誤差を再生する逆変換部である。４２２は図３のビット深度調整部３２２の逆となるビット深度調整を行い、予測誤差を再生するビット深度逆調整部である。ここでのビット深度逆調整の度合いは出力画像のビット深度や、逆変換部４０９における逆直交変換に伴うビット深度調整、逆量子化部４０８における量子化処理に伴うビット深度調整および量子化マトリクスの係数値などによって定まるものとする。例えば、本実施形態においては、１３と出力画像のビット深度との差の分だけ係数を右側にビットシフトすることによりビット深度逆調整を行うものとする。すなわち、出力画像のビット深度が８ビットであれば、５ビット分予測誤差を右側にビットシフトするものとする。ただし、ビット深度逆調整に用いられる値はこれに限定されない。４１０は予測誤差と復号済みの画像からブロックの画像を再生する予測再構成部である。

上記画像復号装置における画像の復号動作を以下に説明する。

図４において、端子２０１から入力された１ピクチャ分のビットストリームは復号・分離部４０２に入力され、画像を再生するのに必要なヘッダ情報が復号され、さらに後段で使用される符号が分離され、適宜出力される。ヘッダ情報に含まれる量子化マトリクスヘッダ符号は量子化マトリクスヘッダ復号部２０３に出力される。また、復号・分離部４０２では、量子化マトリクスヘッダ復号部２０３から復号対象の量子化マトリクスの係数を復号する必要性があることを示す情報が入力された場合、量子化マトリクス係数復号部２０４に量子化マトリクス係数符号データを出力する。さらに復号・分離部４０２では、ビットストリームから変換ブロック単位で逆直交変換を行うか否かを示す変換スキップ判定情報を復号・再生し、逆変換制御部４２１に出力する。

逆量子化部４０８では、係数復号部２０７で再生された量子化係数および量子化マトリクス保持部２０６に格納されている量子化マトリクスを入力する。そして、前記量子化マトリクスを用いて逆量子化を行い、逆量子化係数を再生し、逆変換制御部４２１に出力する。逆変換制御部４２１では、復号・分離部４０２から入力された変換スキップ判定情報に基づいて、入力された逆量子化係数に対し逆直交変換を行うか否かを決定する。そして、逆直交変換を行う場合には逆量子化係数を逆変換部４０９に出力し、行わない場合には逆量子化係数をビット深度逆調整部４２２に出力する。逆変換部２０９では、入力された逆量子化係数である直交変換係数に対し、図３の変換部３０４の逆となる逆直交変換を行い、予測誤差を再生し、予測再構成部４１０に出力する。

一方、ビット深度逆調整部４２２では、逆変換制御部４２１から入力された逆量子化係数であるビット深度調整された予測誤差を変換ブロック単位でビット深度逆調整を行い、予測誤差を再生し、予測再構成部４１０に出力する。予測再構成部４１０では、入力された予測誤差に復号済みの周囲の画素データから予測を行ってブロック単位の画像を再生し、端子２１１から出力する。

図９は実施形態４に係る画像復号装置における画像復号処理を示すフローチャートである。実施形態２の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップＳ９２１にて、復号・分離部４０２はビットストリームから変換ブロック単位で逆直交変換を行うか否かを示す変換スキップ判定情報を復号・再生する。ステップＳ９２２にて、ステップＳ９２１で生成された変換スキップ判定情報に基づいた判定を行う。逆直交変換を行う場合はＳ７０９に進み、そうでない場合はＳ９２３に進む。ステップＳ９２３にて、ビット深度逆調整部４２２はステップＳ７０８で生成された逆量子化係数を変換ブロック単位でビット深度逆調整を行い、予測誤差を再生する。

以上の構成と動作により、変換スキップ処理を有した画像復号装置においても、実施形態３で生成された、量子化マトリクス一致情報等で少ない符号量で表されたフラットな量子化マトリクスの復号を行い、再生画像を得ることができる。

また、本実施形態においては、変換ブロックごとに変換スキップ判定情報が存在する構成としたが、ヘッダ部分にフラグを持ち、それによって復号装置が変換スキップ処理を有するか否かを切り替える構成をとっても良い。その場合、変換スキップ処理を用いる場合のみフラットな量子化マトリクスを記憶しておき参照対象とし、そうでない場合は参照対象から外すような構成をとっても良い。

＜実施形態５＞
図１、図２、図３、図４に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図２、図３、図４に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。

図１２は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１２０１は、図１、図２、図３、図４に示した各処理部として機能することになる。

ＲＡＭ１２０２は、外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、例えば、ピクチャメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ１２０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１２０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１２０１に対して入力することができる。出力部１２０５は、ＣＰＵ１２０１による処理結果を出力する。また出力部１２０５は例えば液晶ディスプレイのような表示装置で構成して処理結果を表示することができる。

外部記憶装置１２０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、図１、図２、図３、図４に示した各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１２０６には、処理対象としての各画像が保存されていても良い。

外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。Ｉ／Ｆ１２０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１２０７を介して様々な情報を取得したり、送出したりすることができる。１２０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１２０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (7)

1. ビットストリームから、量子化係数、および、前記量子化係数が直交変換された係数であるか否かを示す判定情報を取得する取得手段と、
   前記ビットストリームから量子化マトリクスを取得し、前記判定情報に関わらず、前記取得された量子化マトリクスに基づいて前記量子化係数を逆量子化する逆量子化手段と、前記取得手段によって取得された判定情報が、前記量子化係数が直交変換された係数であることを示す場合、前記逆量子化手段によって逆量子化された係数を逆直交変換する逆直交変換手段と、
   前記取得手段によって取得された判定情報が、前記量子化係数が直交変換されていない係数であることを示す場合、前記逆量子化手段によって逆量子化された係数のビット深度を調整する調整手段と、
   前記逆直交変換手段によって得られたデータ、あるいは前記調整手段によって得られたデータから画像を復号する復号手段と、
   を有することを特徴とする画像復号装置。
2. 前記取得手段は、さらに、直交変換された量子化係数と、直交変換されていない量子化係数とが同一の量子化マトリクスで量子化されたか否かを示す一致情報を取得し、
   前記逆量子化手段は、前記一致情報が直交変換された量子化係数と、直交変換されていない量子化係数とが同一の量子化マトリクスで量子化されたことを示す場合、前記判定情報に関わらず、前記取得された量子化マトリクスに基づいて前記量子化係数を逆量子化することを特徴とする請求項１に記載の画像復号装置。
3. 前記逆直交変換手段によって得られたデータ、あるいは前記調整手段によって得られたデータは、参照するブロックの画素と復号対象のブロックの画素の差分値である予測誤差であることを特徴とする請求項１または２に記載の画像復号装置。
4. 画像復号方法であって、
   ビットストリームから、量子化係数、および、前記量子化係数が直交変換された係数であるか否かを示す判定情報を取得する取得ステップと、
   前記ビットストリームから量子化マトリクスを取得し、前記判定情報に関わらず、前記取得された量子化マトリクスに基づいて前記量子化係数を逆量子化する逆量子化ステップと、
   前記取得ステップにおいて取得された判定情報が、前記量子化係数が直交変換された係数であることを示す場合、前記逆量子化ステップにおいて逆量子化された係数を逆直交変換する逆直交変換ステップと、
   前記取得ステップにおいて取得された判定情報が、前記量子化係数が直交変換されていない係数であることを示す場合、前記逆量子化ステップにおいて逆量子化された係数のビット深度を調整する調整ステップと、
   前記逆直交変換ステップにおいて得られたデータ、あるいは前記調整ステップにおいて得られたデータから画像を復号する復号ステップと、
   を有することを特徴とする画像復号方法。
5. 前記取得ステップにおいて、さらに、直交変換された量子化係数と、直交変換されていない量子化係数とが同一の量子化マトリクスで量子化されたか否かを示す一致情報を取得し、
   前記逆量子化ステップにおいて、前記一致情報が直交変換された量子化係数と、直交変換されていない量子化係数とが同一の量子化マトリクスで量子化されたことを示す場合、前記判定情報に関わらず、前記取得された量子化マトリクスに基づいて前記量子化係数を逆量子化することを特徴とする請求項４に記載の画像復号方法。
6. 前記逆直交変換ステップにおいて得られたデータ、あるいは前記調整ステップにおいて得られたデータは、参照するブロックの画素と復号対象のブロックの画素の差分値である予測誤差であることを特徴とする請求項４または５に記載の画像復号方法。
7. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至３のいずれか一項に記載の画像復号装置として機能させることを特徴とするプログラム。

Images