JP5546044B2 - 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法 - Google Patents

Description

本発明は、画像復号装置、画像符号化装置、画像復号回路及び画像復号方法に関するものである。

近年、広く利用されている画像圧縮技術の標準規格がある。例えば、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１及びＨ．２６３、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ２及びＭＰＥＧ４など、並びに、ＩＴＵ−ＴとＭＰＥＧの合同であるＪＶＴ（ＪｏｉｎｔＶｉｄｅｏＴｅａｍ）のＨ．２６４（ＭＰＥＧ４−ＡＶＣ）などがある。更に、次世代の画像圧縮技術がＩＴＵ−ＴやＩＳＯ／ＩＥＣなどで検討されている。

画像圧縮技術の重要な要素として、空間方向の冗長度を削減するために用いられる直交変換がある。ここで、直交変換とは、画像信号では隣接する画素間の相関が強く、適当な直交変換基底を用いて直交変換を行うと、変換後の係数の電力に偏りが生じるという性質を用いて、ビットの配分を行うことにより、伝送ビット量を低減する手法である。例えば、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４（ＭＰＥＧ４−ＡＶＣ）などの画像圧縮規格では、直交変換として離散コサイン変換（以下、「ＤＣＴ」ともいう）が利用されている。ＤＣＴは、特に自然画像信号に対しては、最適変換であるカルーネンレーベ変換（以下、「ＫＬＴ」ともいう）に近い性能が得られるということが知られており、自然画像に対しては低域に電力が集中して、高域には電力がほとんどなくなるという性質を持つ。

一方、ＩＴＵ−ＴやＩＳＯ／ＩＥＣなどで次世代の画像圧縮技術に提案されている直交変換では、より良い符号化効率を実現するために、最適変換であるカルーネンレーベ変換を直交変換として利用することが提案されている（非特許文献１）。

一般に、カルーネンレーベ変換を直交変換で利用する場合、直交変換基底が符号化対象の画像に依存するため、直交変換基底の情報を伝送しなければならない。そのため、基底の情報を伝送する必要のないＤＣＴなどの直交変換と比較して直交変換基底の情報伝送が必要となる分情報量が多くなってしまう。なお、直交変換基底とは、直交変換行列と同義であり、直交変換基底行列と呼んでもよい。

それに対して、特許文献１では、符号化ストリームには直交変換基底の情報を含めず、動き補償時の参照画像から基底の情報を導出することで符号化効率を向上させるという手法が開示されている。また、特許文献１では、符号化ストリームに含まれる面内予測の予測モード毎に直交変換の復号に利用する直交変換基底を定義しておき、面内予測の予測モードによって復号に利用する直交変換基底を切り替えることで、伝送しなければならない直交変換基底の情報量を低減する手法が開示されている。

図３４は、特許文献１に記載の従来の画像復号装置の構成を示すブロック図である。図３４に示す画像復号装置１０１０は、動き補償部１２０７と、逆量子化部１２１５と、逆直交変換部１２１６と、可変長復号部１２２０と、フレームメモリ１２２２と、変換基底蓄積部１２５１とを備える。この画像復号装置１０１０では、画像符号化ストリーム１２１４が受信されると、可変長復号部１２２０で画像符号化ストリーム１２１４に含まれる各フレームの先頭を表す同期ワードが検出される。そして、可変長復号部１２２０において、マクロブロック単位に、個々の直交変換単位に使用した直交変換基底ＩＤ情報１２５０、動きベクトル１２０５及び量子化直交変換係数１２２１が復元される。

動きベクトル１２０５は、動き補償部１２０７に送られる。ここで、動き補償部１２０７は、フレームメモリ１２２２から動きベクトル１２０５の分だけ動いた画像部分を予測画像１２０６として取り出す。量子化直交変換係数１２２１は、逆量子化部１２１５、逆直交変換部１２１６を経て復号された後、予測画像１２０６と加算されて最終的な復号画像１２１７となる。

変換基底蓄積部１２５１には、画像符号化装置側と同じ直交変換基底セットＡｉが格納されており、直交変換基底ＩＤ情報１２５０に基づいて直交変換基底１２１９が選択され、その選択された直交変換基底１２１９が逆直交変換部１２１６に送られる。逆直交変換部１２１６は、選択された直交変換基底１２１９を用いて直交変換係数を逆変換して画像空間上の信号に戻す。復号画像１２１７は、所定の表示タイミングで表示デバイスへ出力され、映像が再生される。

このようにＫＬＴを用いて符号化された画像符号化ストリームの復号においては、変換基底蓄積部１２５１への直交変換基底の格納や、変換基底蓄積部１２５１からの直交変換基底の読み出しが必要である。そのため、直交変換基底情報の読み出し、及び、格納などのアクセスにより変換基底蓄積部のメモリ帯域やメモリアクセスレイテンシは非常に大きくなる。

特許第３８８７１７８号公報

Ｋａｉ Ｚｈａｎｇ ｅｔ ａｌ著「Ｉｍｐｒｏｖｅｄ Ｉｎｔｒａ Ｃｏｄｉｎｇ」 ＩＴＵ − Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ＳＴＵＤＹ ＧＲＯＵＰ １６ Ｑｕｅｓｔｉｏｎ ６ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ） ｄｏｃｕｍｅｎｔ ＶＣＥＧ−ＡＧ１１， Ｏｃｔ ２００７

しかしながら、上記従来の構成では、次世代の画像圧縮技術に提案されている直交変換で使用する直交変換基底を格納したメモリのメモリアクセスについての記載はなく、直交変換を用いた場合の直交変換基底を格納したメモリのメモリ帯域やメモリアクセスレイテンシの低減が難しいという課題を有していた。

本発明は、上記従来の課題を解決するもので、直交変換を行う際に使用する直交変換基底を格納したメモリのメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする画像復号装置、画像符号化装置、画像復号回路及び画像復号方法を提供することを目的とする。

上記従来の課題を解決するために、本発明の動画像復号装置は、符号化ストリームの復号を行う画像復号装置であって、前記符号化ストリームから、逆直交変換に利用する直交変換基底を特定する特定情報を復号する復号部と、前記符号化ストリームの逆直交変換に利用される複数の直交変換基底を保持するための蓄積部と、前記蓄積部に保持されている複数の直交変換基底のうち、前記逆直交変換を行うときに必要な少なくとも１つの直交変換基底を保持するための記憶部と、前記記憶部に保持され、かつ、前記特定情報により特定された直交変換基底を利用して逆直交変換を行う逆直交変換部と、前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御部とを備える。

本構成によって、直交変換を行う際に使用する直交変換基底を格納したメモリのメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする画像復号装置を実現することができる。

また、上記従来の課題を解決するために、本発明の動画像符号化装置は、符号化ストリームを生成する画像符号化装置であって、直交変換に利用する直交変換基底、及び、前記直交変換基底を特定する特定情報を生成する生成部と、前記生成部より生成された複数の前記直交変換基底を保持するための蓄積部と、前記蓄積部に保持されている複数の直交変換基底のうち、前記直交変換を行うときに必要な少なくとも１つの直交変換基底を保持するための記憶部と、前記記憶部に保持され、かつ、前記特定情報により特定された直交変換基底を利用して直交変換を行う直交変換部と、前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御部とを備える。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したりすることもできる。

本発明によれば、直交変換を行う際に使用する直交変換基底を格納したメモリのメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする画像復号装置、画像符号化装置、画像復号回路及び画像復号方法を実現することができる。

図１は、本発明の実施の形態１における復号装置の構成を示すブロック図である。 図２Ａは、動画像圧縮技術の標準規格に準じて符号化された符号化ストリームの概要を示す図である。 図２Ｂは、動画像圧縮技術の標準規格に準じて符号化された符号化ストリームの概要を示す図である。 図２Ｃは、本発明の符号化ストリームの一例を示す図である。 図３は、本発明の直交変換基底記憶状態管理テーブルが保持する情報の一例である。 図４は、本発明の実施の形態１における復号装置の復号処理動作を示すフローチャートである。 図５は、本発明の実施の形態１における復号装置の最小構成を示すブロック図である。 図６は、本発明の実施の形態２における復号装置の構成を示すブロック図である。 図７Ａは、本発明の直交変換基底参照履歴管理テーブルが保持する情報の一例である。 図７Ｂは、本発明の直交変換基底参照履歴管理テーブルが保持する情報の一例である。 図８は、本発明の実施の形態２における復号装置の復号処理動作を示すフローチャートである。 図９は、本発明の実施の形態３における復号装置の構成を示すブロック図である。 図１０は、本発明の直交変換基底統計情報管理テーブルが保持する情報の一例である。 図１１は、本発明の直交変換基底統計情報管理テーブルが保持する情報の一例である。 図１２Ａは、本発明の直交変換基底統計情報管理テーブルに基づいて直交変換基底記憶部の直交変換基底が更新される様子を示す図である。 図１２Ｂは、本発明の直交変換基底統計情報管理テーブルに基づいて直交変換基底記憶部の直交変換基底が更新される様子を示す図である。 図１３Ａは、本発明の直交変換基底統計情報管理テーブルに基づいて直交変換基底記憶部の直交変換基底が更新される様子を示す図である。 図１３Ｂは、本発明の直交変換基底統計情報管理テーブルに基づいて直交変換基底記憶部の直交変換基底が更新される様子を示す図である。 図１４は、本発明の実施の形態３における復号装置の復号処理動作を示すフローチャートである。 図１５は、本発明の実施の形態３における復号装置の最小構成を示すブロック図である。 図１６は、本発明の実施の形態４における復号装置の構成を示すブロック図である。 図１７は、本発明の実施の形態４における復号装置の復号処理動作を示すフローチャートである。 図１８は、本発明の実施の形態５における符号化装置の構成を示すブロック図である。 図１９は、直交変換基底記憶状態管理テーブルが保持する情報の一例である。 図２０は、直交変換部が、直交変換基底ＩＤを決定する方法を説明するための図である。 図２１は、本発明の実施の形態５における符号化装置の符号化処理動作を示すフローチャートである。 図２２は、本発明の実施の形態６における符号化装置の構成を示すブロック図である。 図２３は、本発明の実施の形態６における符号化装置の符号化処理動作を示すフローチャートである。 図２４は、本発明の実施の形態７における符号化装置の構成を示すブロック図である。 図２５は、本発明の実施の形態７における符号化装置の符号化処理動作を示すフローチャートである。 図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２７は、デジタル放送用システムの全体構成図である。 図２８は、テレビの構成例を示すブロック図である。 図２９は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図３０は、光ディスクである記録メディアの構造例を示す図である。 図３１は、各実施の形態の画像符号化方法及び画像復号方法を実現する集積回路の構成例を示すブロック図である。 図３２は、集積回路で実現される各実施の形態の画像符号化処理を示すブロック図である。 図３３は、集積回路で実現される各実施の形態の動画像復号化処理を示すブロック図である。 図３４は、従来例の復号装置の構成を示すブロック図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における復号装置の構成を示すブロック図である。図２Ａ及び図２Ｂは、動画像圧縮技術の標準規格に準じて符号化された符号化ストリームの概要を示す図である。図２Ｃは、本発明の符号化ストリームの一例を示す図である。図３は、本発明の直交変換基底記憶状態管理テーブルが保持する情報の一例である。

図１に示す復号装置１００は、逆直交変換に利用する直交変換基底（直交変換基底行列）を特定する特定情報を含む符号化ストリームの復号を行う画像復号装置である。この復号装置１００は、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、直交変換基底記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、予測画像生成部１０７、加算器１０８、メモリ１０９、直交変換基底蓄積部１１０、逆量子化部１１１及び逆直交変換部１１２を備える。

復号部１０１は、符号化ストリームから、逆直交変換に利用する直交変換基底を特定する特定情報を復号する。具体的には、復号部１０１は、画像圧縮技術の標準規格に準じて符号化されたストリームの復号を行い、少なくともヘッダ情報と量子化係数とを出力する機能を有する。

ここで、動画像圧縮技術の標準規格に準じて符号化されたストリームについて、図２Ａ及び図２Ｂを用いて説明する。図２Ａに示すように、符号化ストリームにおいて、一連の画像（動画像）は階層的な構成を有している。例えば、複数のピクチャを１まとまりにしたシーケンス（若しくは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）という）がある。シーケンスを構成する各ピクチャは、スライスに分割され、さらに１６ｘ１６画素からなるマクロブロックに分割された構成を有する。なお、ピクチャをスライスに分割しない場合もある。そして、復号装置１００は、スライスまたはマクロブロックを単位として復号動作を行う。

また、符号化ストリームでは、図２Ｂに示すように、これらが階層的に符号化されており、シーケンスを制御するシーケンスヘッダ、ピクチャを制御するピクチャヘッダ、スライスを制御するスライスヘッダ、マクロブロックデータなどから構成されている。マクロブロックデータは、さらに、マクロブロック種別、面内予測（イントラ予測）モード、動きベクトル情報、量子化パラメータなどの符号化情報及び各画素データに対応する係数情報に分けられる。なお、Ｈ．２６４規格では、シーケンスヘッダをＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャヘッダをＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と呼んでいる。

以下では、ＧＯＰ若しくはシーケンスのヘッダに、そのＧＯＰ若しくはシーケンスのピクチャで逆直交変換に利用する直交変換基底（直交変換行列）と、逆直交変換する際にどの直交変換基底を用いるかを特定する（示す）情報（以下、「直交変換基底ＩＤ」ともいう）とが全て含まれているとする。そして、ピクチャの符号化単位として例えばマクロブロックには、そのマクロブロックを逆直交変換する際に用いる直交変換基底ＩＤのみが含まれているとする。

なお、直交変換基底と直交変換基底ＩＤとは、ＧＯＰ若しくはシーケンス単位ではなくピクチャ単位で含まれているとしてもよい。また、ＧＯＰ若しくはシーケンスのヘッダには、そのＧＯＰ若しくはシーケンス中の複数のピクチャで利用される全ての直交変換基底ＩＤのみが含まれ、複数のピクチャそれぞれのマクロブロック（符号化単位）のヘッダには、そのマクロブロック（符号化単位）で用いられる直交変換基底ＩＤのみが含まれているとしてもよい。また、図２Ｃに示すように、直交変換基底ＩＤのみが、ＧＯＰ若しくはシーケンス単位ではなくピクチャ単位で含まれているとし、複数のピクチャそれぞれのマクロブロック（符号化単位）のヘッダには、そのマクロブロック（符号化単位）で用いられる直交変換基底ＩＤのみが含まれているとしてもよい。同様にして、上記のどの組合せを単位としてもよいし、別の組合せを単位としてもよい。

直交変換基底転送制御部１０２は、本発明の転送制御部に相当し、直交変換基底蓄積部１１０から直交変換基底記憶部１０３に、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を転送する。

直交変換基底転送制御部１０２は、直交変換基底記憶部１０３が逆直交変換に利用する直交変換基底を特定する特定情報により特定された直交変換基底を保持していない場合のみ、直交変換基底蓄積部１１０から直交変換基底記憶部１０３に、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を転送する。具体的には、直交変換基底転送制御部１０２は、符号化ストリーム中に定義され、逆直交変換に用いる直交変換基底を直交変換基底蓄積部１１０に書き込む機能を有する。また、直交変換基底転送制御部１０２は、復号部１０１が復号したヘッダ情報に含まれる、逆直交変換にどの直交変換基底を用いるかを示す情報すなわち直交変換基底ＩＤを元に、直交変換基底記憶状態管理テーブル１０４の情報を参照する機能を有する。そして、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４の情報により、直交変換基底ＩＤが示す直交変換基底が直交変換基底記憶部１０３に保持されているかを確認する。

例えば、直交変換基底転送制御部１０２は、直交変換基底ＩＤの示す直交変換基底が直交変換基底記憶部１０３に保持されていないことを確認した場合、直交変換基底蓄積部１１０から直交変換基底ＩＤの示す直交変換基底を読み出し、直交変換基底記憶部１０３に書き込む（転送する）。一方、直交変換基底転送制御部１０２は、直交変換基底ＩＤの示す直交変換基底が直交変換基底記憶部１０３に保持（記憶）されていることを確認した場合は、直交変換基底を直交変換基底蓄積部１１０から読み出さない（転送しない）。

なお、直交変換基底転送制御部１０２は、直交変換基底を直交変換基底蓄積部１１０に書き込む命令のみを復号部１０１に行い、復号部１０１が直交変換基底を直交変換基底蓄積部１１０に書き込むとしてもよい。同様に、直交変換基底転送制御部１０２は、直交変換基底ＩＤの示す直交変換基底を直交変換基底蓄積部１１０から読み出す命令のみを直交変換基底記憶部１０３に行い、直交変換基底記憶部１０３が、直交変換基底蓄積部１１０から直交変換基底ＩＤの示す直交変換基底を読み出し、保持するとしてもよい。

直交変換基底記憶部１０３は、本発明の記憶部に相当し、直交変換基底蓄積部１１０に保持されている複数の直交変換基底のうち、逆直交変換を行うときに必要な直交変換基底を保持するためのものである。具体的には、直交変換基底記憶部１０３は、直交変換基底蓄積部１１０から転送された直交変換基底を少なくとも１種類以上保持する機能と、直交変換基底ＩＤが示す直交変換基底を逆直交変換部１１２に設定する機能を有する。

直交変換基底記憶状態管理テーブル１０４は、本発明の記憶状態管理部に相当し、特定情報（直交変換基底ＩＤ）によって特定された直交変換基底を直交変換基底記憶部１０３が保持しているかどうかを示す情報を管理する。具体的には、直交変換基底記憶状態管理テーブル１０４は、直交変換基底ＩＤを入力とし、直交変換基底記憶部１０３へ直交変換基底ＩＤが示す直交変換基底を保持しているか否かの情報を出力する機能を有する。

直交変換基底記憶状態管理テーブル１０４は、例えば、図３に示すような情報を保持している。すなわち、直交変換基底記憶状態管理テーブル１０４は、復号部１０１が復号する符号化ストリームの例えばシーケンスヘッダやピクチャヘッダなどのヘッダ情報に含まれる直交変換基底ＩＤすべてを直交変換基底ＩＤとして保持している。そして、直交変換基底ＩＤそれぞれにより特定される直交変換基底が直交変換基底記憶部１０３に記憶されているか否かを記憶状態として保持している。

参照画像転送制御部１０５は、復号部１０１が出力した予測モード、動きベクトル及び参照画面情報などのヘッダ情報に基づき、予測画像生成に必要な参照画素をメモリ１０９から読み出し、参照画像記憶部１０６に書き込む機能を有する。

なお、参照画像転送制御部１０５は、復号部１０１が出力した動きベクトル及び参照画面情報などを含むヘッダ情報に基づき、予測画像生成に必要な参照画素をメモリ１０９から読み出す命令のみを参照画像記憶部１０６に行い、参照画像記憶部１０６が予測画像生成に必要な参照画素をメモリ１０９から読み出し保持するとしてもよい。

参照画像記憶部１０６は、メモリ１０９から転送された参照画素を保持する機能を有する。

予測画像生成部１０７は、復号部１０１が出力した予測モード及び直交変換基底ＩＤなどのヘッダ情報と、参照画像記憶部１０６が保持している予測画像生成に必要な参照画素とを取得する機能を有する。そして、予測画像生成部１０７は、それらを用いて予測画像生成し、加算器１０８へ出力する機能を有する。

加算器１０８は、逆直交変換部１１２が出力した予測誤差信号と、予測画像生成部１０７が出力した予測画像とを加算し、復号画像として出力する機能、並びに、その復号画像をメモリ１０９へ転送（出力）する機能を有する。

メモリ１０９は、予測画像生成部１０７が参照する参照画面を保持する機能を有する。

直交変換基底蓄積部１１０は、本発明の蓄積部に相当し、符号化ストリームの逆直交変換に利用される複数の直交変換基底を保持するためのものである。具体的には、直交変換基底蓄積部１１０は、逆直交変換部１１２が逆直交変換処理に利用する直交変換基底を保持する機能を有する。なお、直交変換基底蓄積部１１０は、メモリ１０９とは別の記憶手段としているが、直交変換基底蓄積部１１０とメモリ１０９とは同じ記憶手段であるとしてもよい。

逆量子化部１１１は、復号部１０１が出力した量子化係数を逆量子化し、直交変換係数を出力する機能を有する。

逆直交変換部１１２は、直交変換基底記憶部１０３に保持され、かつ、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を利用して逆直交変換を行う。具体的には、逆直交変換部１１２は、直交変換基底記憶部１０３が出力した直交変換基底を用いて逆量子化部１１１が出力した直交変換係数を逆直交変換し、予測誤差信号を出力する機能を有する。

次に、以上のようにして構成された復号装置１００の復号処理動作について説明する。図４は、本発明の実施の形態１における復号装置の復号処理動作を示すフローチャートである。

図４に示すように、復号装置１００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ１０１）、ヘッダ情報として少なくとも直交変換基底を出力する。そして、直交変換基底転送制御部１０２が、Ｓ１０１において復号部１０１により復号された直交変換基底すべてを直交変換基底蓄積部１１０に書き込む（Ｓ１０２）。

次に、復号部１０１は、符号化ストリームを構成する複数のピクチャ（または複数のピクチャを構成するマクロブロック）のヘッダ情報と量子化係数とを復号し（Ｓ１０４）、ヘッダ情報として少なくとも直交変換基底ＩＤを出力する。

次に、直交変換基底転送制御部１０２は、Ｓ１０４にて復号された直交変換基底ＩＤが示す直交変換基底を、直交変換基底記憶部１０３が保持しているかどうかを、直交変換基底記憶状態管理テーブル１０４を参照して調べる（Ｓ１０５）。

直交変換基底転送制御部１０２は、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合（Ｓ１０５のＮの場合）、直交変換基底蓄積部１１０から直交変換基底ＩＤが示す直交変換基底を読み出す。そして、直交変換基底記憶部１０３で例えば最も古く直交変換基底蓄積部１１０から読み出された直交変換基底が記憶されている領域に書き込む（Ｓ１０６）。続いて、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４を更新する（Ｓ１０７）。具体的には、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４において読み出した直交変換基底の記憶状態を「保持している」に変更し、消去した直交変換基底の記憶状態を「保持していない」に変更する。

一方、直交変換基底転送制御部１０２は、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持している場合（Ｓ１０５のＹの場合）、直交変換基底を直交変換基底蓄積部１１０から読み出さず、Ｓ１０８へと進む。

次に、逆量子化部１１１は、復号部１０１が出力したピクチャ（またはピクチャを構成するマクロブロック）の量子化係数を逆量子化し、直交変換係数を出力する（Ｓ１０８）。

次に、逆直交変換部１１２は、直交変換基底記憶部１０３が保持している直交変換基底を読み出し、読み出した直交変換基底を、逆直交変換に用いる直交変換基底と設定する（Ｓ１０９）。逆直交変換部１１２は、設定した直交変換基底を用いて逆量子化部１１１が出力したピクチャ（またはピクチャを構成するマクロブロック）の直交変換係数を逆直交変換し（Ｓ１１０）、予測誤差信号を加算器１０８に出力する。

また、予測画像生成部１０７は、予測画像を生成する（Ｓ１１１）。具体的には、参照画像転送制御部１０５は、Ｓ１０４にて復号部１０１により復号され出力された予測モード、動きベクトル及び参照画面情報などのヘッダ情報を元に、必要に応じてメモリ１０９から予測画像生成に利用する参照画像を読み出して、参照画像記憶部１０６に書き込む。予測画像生成部１０７は、Ｓ１０４にて復号部１０１により復号され出力された予測モード及び動きベクトルを設定し、必要に応じて参照画像記憶部１０６が保持している参照画像を読み出して、面内予測または面間予測を行って予測画像を生成する。予測画像生成部１０７は、生成した予測画像を加算器１０８へ出力する。

次に、加算器１０８は、Ｓ１１１にて予測画像生成部１０７が出力した予測画像と、Ｓ１１０にて逆直交変換部１１２が出力した予測残差信号とを加算して出力する（Ｓ１１２）。

次に、復号部１０１は、符号化ストリームを全て復号したかを判定し（Ｓ１１３）、そうであるなら（Ｓ１１３のＹの場合）、復号を完了する。反対に、まだ、復号していない符号化ストリームがある場合は（Ｓ１１３のＮの場合）、Ｓ１０４に戻り処理を繰り返す。

以上のようにして、復号装置１００は復号処理動作を行う。

なお、復号装置１００は、シーケンスまたはＧＯＰに含まれる画像（ピクチャ）を復号する最初のときには、Ｓ１０２において、Ｓ１０１において復号部１０１により復号された直交変換基底すべてを直交変換基底蓄積部１１０に書き込むものの、直交変換基底記憶状態管理テーブル１０４には、書き込まない。その後、Ｓ１０４〜Ｓ１１３の処理を繰り返すことにより、直交変換基底記憶部１０３に直交変換基底の一部が保持される。

以上、本実施の形態によれば、直交変換基底記憶状態管理テーブル１０４を参照した結果、直交変換基底記憶部１０３に直交変換基底ＩＤが示す直交変換基底が存在する場合には、その直交変換基底を直交変換基底蓄積部１１０から読み出さない。そのため、直交変換基底蓄積部１１０へのアクセス回数を減らすことが可能となる。これにより、直交変換基底蓄積部１１０に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、本実施の形態では、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合、直交変換基底転送制御部１０２が直交変換基底蓄積部１１０から直交変換基底ＩＤの示す直交変換基底を読み出す。そして、直交変換基底記憶部１０３の最も古く直交変換基底蓄積部１１０から読み出された直交変換基底が記憶されている領域に書き込むとしたが、それに限らない。例えば最も新しく直交変換基底蓄積部１１０から読み出された直交変換基底が記憶されている領域に書き込むとしても良いし、直交変換基底が格納されている領域をランダムに選択して書き込むとしても良い。直交変換基底蓄積部１１０へのアクセスを低減させることができ、かつ、直交変換基底記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、本実施の形態では、直交変換基底蓄積部１１０はメモリ１０９とは別の記憶手段としたが、直交変換基底蓄積部１１０とメモリ１０９とは同じ記憶手段でもよい。

また、本実施の形態では、直交変換基底は、符号化ストリーム内に含まれているとして説明したが、それに限らない。符号化ストリーム内には直交変換基底ＩＤのみが含まれ、直交変換基底は符号化装置と復号装置との間で予め定められており、予め定められた直交変換基底が、直交変換基底蓄積部１１０に保持されているとしても良い。

また、本実施の形態では、復号装置１００は、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、直交変換基底記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、予測画像生成部１０７、加算器１０８、メモリ１０９、直交変換基底蓄積部１１０、逆量子化部１１１及び逆直交変換部１１２を備えるとしたが、それに限られない。図５に示すように、復号装置１００の最小構成として、復号装置部１０を備えていればよい。すなわち、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、直交変換基底蓄積部１１０及び逆直交変換部１１２を有する復号装置部１０を備えていればよい。

さらに具体的には、この復号装置部１０は、逆直交変換に利用する直交変換基底を特定する特定情報（直交変換基底ＩＤ）を含む符号化ストリームの復号を行う画像復号装置であって、符号化ストリームから、特定情報（直交変換基底ＩＤ）を復号する復号部１０１と、符号化ストリームの逆直交変換に利用される複数の直交変換基底を保持するための直交変換基底蓄積部１１０と、直交変換基底蓄積部１１０に保持されている複数の直交変換基底のうち、逆直交変換を行うときに必要な直交変換基底を保持するための直交変換基底記憶部１０３と、直交変換基底記憶部１０３に保持され、かつ、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を利用して逆直交変換を行う逆直交変換部１１２と、直交変換基底記憶部１０３が特定情報（直交変換基底ＩＤ）により特定された直交変換基底を保持していない場合のみ、直交変換基底蓄積部１１０から直交変換基底記憶部１０３に、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を転送する直交変換基底転送制御部１０２とを備えていればよい。

復号装置１００は、最小構成として復号装置部１０を少なくとも備えることにより、直交変換基底蓄積部１１０に記憶され、逆直交変換に用いられる直交変換基底の少なくとも一部が直交変換基底転送制御部１０２により直交変換基底記憶部１０３に転送され保持される。それにより、直交変換基底蓄積部１１０へ直接アクセスする回数を低減することができる。

（実施の形態２）
図６は、本発明の実施の形態２における復号装置の構成を示すブロック図である。図７Ａ及び図７Ｂは、直交変換基底参照履歴管理テーブルが保持する情報の一例である。図６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図６に示す復号装置２００は、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、直交変換基底記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、予測画像生成部１０７、加算器１０８、メモリ１０９、直交変換基底蓄積部１１０、逆量子化部１１１、逆直交変換部１１２及び直交変換基底参照履歴管理テーブル２０１を備える。図６に示す復号装置２００は、実施の形態１に係る復号装置１００に対して、直交変換基底参照履歴管理テーブル２０１を備えている点で構成が異なる。

直交変換基底参照履歴管理テーブル２０１は、本発明の参照履歴管理部に相当し、直交変換基底毎の、復号開始から参照された回数を示す利用履歴情報を管理する。具体的には、直交変換基底参照履歴管理テーブル２０１は、直交変換基底ＩＤを入力とし、直交変換基底記憶部１０３において直交変換基底ＩＤが示す直交変換基底が復号開始から参照された回数を出力する機能を有する。直交変換基底参照履歴管理テーブル２０１は、例えば、図７Ａに示すような情報を保持している。すなわち、直交変換基底参照履歴管理テーブル２０１は、復号部１０１が復号する符号化ストリームの例えばヘッダ情報に含まれる直交変換基底ＩＤを保持している。そして、直交変換基底ＩＤそれぞれによって特定される直交変換基底が復号開始から参照された回数をこれまでのストリームでの参照回数として保持している。

なお、直交変換基底参照履歴管理テーブル２０１は、直交変換基底ＩＤを入力とし、直交変換基底記憶部１０３において、直交変換基底ＩＤの示す直交変換基底が現在、逆直交変換部１１２の行っている逆直交変換の何回前に参照されたかを示す回数を出力する機能を有するとしてもよい。その場合、直交変換基底参照履歴管理テーブル２０１は、例えば、図７Ｂに示すような情報を保持する。すなわち、直交変換基底参照履歴管理テーブル２０１は、復号部１０１が復号する符号化ストリームの例えばヘッダ情報に含まれる直交変換基底ＩＤを直交変換基底として保持している。そして、直交変換基底ＩＤの示す直交変換基底が、逆直交変換部１１２の行っている逆直交変換処理の何回前に参照されたかを示す情報（回数）を、何回前に参照されたかとして保持している。

次に、以上のように構成される復号装置２００の復号処理動作について説明する。図８は、本発明の実施の形態２における復号装置の復号処理動作を示すフローチャートである。

図８に示すように、復号装置２００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ２０１）、ヘッダ情報として少なくとも直交変換基底を出力する。そして、直交変換基底転送制御部１０２が、Ｓ２０１において復号部１０１によって復号された直交変換基底すべてを直交変換基底蓄積部１１０に書き込む（Ｓ２０２）。

次に、復号部１０１は、符号化ストリームを構成する複数のピクチャ（または複数のピクチャを構成するマクロブロック）のヘッダ情報と量子化係数とを復号し（Ｓ２０４）、ヘッダ情報として少なくとも直交変換基底ＩＤを出力する。

次に、直交変換基底転送制御部１０２は、Ｓ２０４にて復号された直交変換基底ＩＤの示す直交変換基底を、直交変換基底記憶部１０３が保持しているかどうかを、直交変換基底記憶状態管理テーブル１０４を参照して調べる（Ｓ２０５）。

直交変換基底転送制御部１０２は、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合（Ｓ２０５のＮの場合）、直交変換基底蓄積部１１０から直交変換基底ＩＤが示す直交変換基底を読み出す。そして、直交変換基底記憶部１０３で例えばこれまでに最も参照回数が少ない直交変換基底が記憶されている領域に書き込む（Ｓ２０６）。ここで、直交変換基底転送制御部１０２は、直交変換基底参照履歴管理テーブル２０１を参照し、最も参照回数が少ない直交変換基底を特定している。

次いで、直交変換基底転送制御部１０２は、直交変換基底参照履歴管理テーブル２０１を更新する（Ｓ２０７）。すなわち、直交変換基底転送制御部１０２は、直交変換基底参照履歴管理テーブル２０１の、参照した直交変換基底の参照回数を増やす。

また、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４を更新する（Ｓ２０８）。具体的には、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４の読み出した直交変換基底の記憶状態を「保持している」に変更し、消去した直交変換基底の記憶状態を「保持していない」に変更する。

一方、直交変換基底転送制御部１０２は、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持している場合（Ｓ２０５のＹの場合）、直交変換基底を直交変換基底蓄積部１１０から読み出さず、Ｓ２０９へと進む。

次に、逆量子化部１１１は、復号部１０１が出力したピクチャ（またはピクチャを構成するマクロブロック）の量子化係数を逆量子化し、直交変換係数を出力する（Ｓ２０９）。

次に、逆直交変換部１１２は、直交変換基底記憶部１０３が保持している直交変換基底を読み出し、読み出した直交変換基底を、逆直交変換に用いる直交変換基底として設定する（Ｓ２１０）。逆直交変換部１１２は、設定した直交変換基底を用いて逆量子化部１１１が出力したピクチャ（またはピクチャを構成するマクロブロック）の直交変換係数を逆直交変換し（Ｓ２１１）、予測誤差信号を加算器１０８に出力する。

また、予測画像生成部１０７は、予測画像を生成する（Ｓ２１２）。具体的には、参照画像転送制御部１０５は、Ｓ２０４にて復号部１０１により復号され出力された予測モード、動きベクトル及び参照画面情報などのヘッダ情報を元に、必要に応じてメモリ１０９から予測画像生成に利用する参照画像を読み出して、参照画像記憶部１０６に書き込む。予測画像生成部１０７は、Ｓ２０４にて復号部１０１により復号され出力された予測モード及び動きベクトルを設定し、必要に応じて参照画像記憶部１０６が保持している参照画像を読み出して、面内予測または面間予測を行って予測画像を生成する。予測画像生成部１０７は、生成した予測画像を加算器１０８へ出力する。

次に、加算器１０８は、Ｓ２１２にて予測画像生成部１０７が出力した予測画像と、Ｓ２１１にて逆直交変換部１１２が出力した予測残差信号とを加算して出力する（Ｓ２１２）。

次に、復号部１０１は、符号化ストリームを全て復号したかを判定し（Ｓ２１４）、そうであるなら（Ｓ２１４のＹの場合）、復号を完了する。反対に、まだ、復号していない符号化ストリームがある場合は（Ｓ２１４のＮの場合）、Ｓ２０４に戻り処理を繰り返す。

以上のようにして、復号装置２００は復号処理動作を行う。

以上、本実施の形態によれば、直交変換基底参照履歴管理テーブル２０１を参照することで、最も参照回数が少ない直交変換基底を特定する。そして、直交変換基底転送制御部１０２が直交変換基底記憶部１０３に書き込む際に、これまでに最も参照回数が少ない直交変換基底が記憶されている領域に書き込む。それにより、参照される可能性の低い直交変換基底は、直交変換基底記憶部１０３に保持されず、頻繁に参照される可能性の高い直交変換基底を直交変換基底記憶部１０３で保持することが可能となる。その結果、直交変換基底蓄積部１１０へのアクセス回数を減らすことが可能となる。

それにより、直交変換基底に関するメモリのメモリ帯域及びメモリアクセスレイテンシの低減が可能となる。

なお、本実施の形態では、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合、直交変換基底参照履歴管理テーブル２０１を参照することで、最も参照回数が少ない直交変換基底を特定する。そして、直交変換基底転送制御部１０２が直交変換基底蓄積部１１０から直交変換基底ＩＤの示す直交変換基底を読み出し、直交変換基底記憶部１０３のこれまでに最も参照回数が少ない直交変換基底が記憶されている領域に書き込むとしたが、それに限らない。例えば、最近（現在から所定期間の過去）において最も使われていない直交変換基底が記憶されている領域に書き込むとしてもよいし、最近において最も使われている直交変換基底が記憶されている領域に書き込むとしてもよいし、これまでに最も参照回数が多い直交変換基底が記憶されている領域に書き込むとしてもよい。直交変換基底蓄積部１１０へのアクセスを低減させることができ、かつ、直交変換基底記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、本実施の形態では、直交変換基底蓄積部１１０は、メモリ１０９とは別の記憶手段としたが、直交変換基底蓄積部１１０とメモリ１０９とは同じ記憶手段でもよい。つまり、直交変換基底蓄積部１１０がメモリ１０９を含む構成としてもよいし、直交変換基底蓄積部１１０がメモリ１０９を含まれる構成としてもよい。

また、本実施の形態では、直交変換基底は、符号化ストリーム内に含まれているとして説明したが、それに限らない。符号化ストリーム内には直交変換基底ＩＤのみが含まれ、直交変換基底は符号化装置と復号装置との間で予め定められており、予め定められた直交変換基底を、直交変換基底蓄積部１１０に保持されているとしいても良い。

（実施の形態３）
図９は、本発明の実施の形態３における復号装置の構成を示すブロック図である。図１０及び図１１は、直交変換基底統計情報管理テーブルが保持する情報の一例である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図９に示す復号装置３００は、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、直交変換基底記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、予測画像生成部１０７、加算器１０８、メモリ１０９、直交変換基底蓄積部１１０、逆量子化部１１１、逆直交変換部１１２、前復号部３０１、直交変換基底統計情報管理テーブル３０２を備える。図９に示す復号装置３００は、実施の形態１に係る復号装置１００に対して、前復号部３０１及び直交変換基底統計情報管理テーブル３０２を備えている点で構成が異なる。

前復号部３０１は、復号部１０１よりも先行して符号化ストリームから、特定情報（直交変換基底ＩＤ）の一部を少なくとも復号する。具体的には、前復号部３０１は、復号部１０１より少なくとも１ビット以上先行して、画像圧縮技術の標準規格に準じて符号化された符号化ストリームの一部または全ての復号を行う。ここで、前復号部３０１は、少なくとも直交変換基底ＩＤを出力する機能を有する。

なお、前復号部３０１は、復号装置３００が別途備える例えばＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの算術符号を復号するＣＡＢＡＣ復号部に構成されるとしてもよい。また、復号部１０１の前段に備えられてもよい。すなわち、前復号部３０１は、画像までは復号せず、復号部１０１より少なくとも１ビット以上先行して、符号化ストリームから直交変換基底ＩＤを復号し、直交変換基底統計情報管理テーブル３０２に出力する構成であればばよい。

直交変換基底統計情報管理テーブル３０２は、本発明の統計情報管理部に相当し、前復号部３０１により復号され、かつ、復号部１０１によりこれから復号される特定情報（直交変換基底ＩＤ）によって特定される直交変換基底毎の利用状況を管理する。具体的には、直交変換基底統計情報管理テーブル３０２は、前復号部３０１が出力した直交変換基底ＩＤを入力とし、復号部１０１がこれから（以後または今後）復号する符号化ストリームに含まれる直交変換基底ＩＤ毎の直交変換基底の利用回数を出力する機能を有する。

直交変換基底統計情報管理テーブル３０２は、例えば、図１０に示すような情報を保持している。すなわち、直交変換基底統計情報管理テーブル３０２は、前復号部３０１が復号した符号化ストリームのヘッダ情報に含まれる直交変換基底ＩＤを保持している。また、直交変換基底統計情報管理テーブル３０２は、今後のストリームでの参照回数として、直交変換基底ＩＤにより特定される直交変換基底が復号部１０１の復号で参照されるまでの回数を保持している。また、直交変換基底統計情報管理テーブル３０２は、例えば、図１１に示すような情報を保持していてもよい。すなわち、直交変換基底統計情報管理テーブル３０２は、前復号部３０１が復号した符号化ストリームのヘッダ情報に含まれる直交変換基底ＩＤを保持していてもよい。また、直交変換基底統計情報管理テーブル３０２は、今後のストリーム中において何ブロック先で参照されるかを示す情報として、直交変換基底ＩＤにより特定される直交変換基底が復号部１０１の復号で参照されるまでの回数を保持しているとしてもよい。

以上のようにして構成される復号装置３００は、復号部１０１がこれから復号する直交変換基底ＩＤの出現頻度を直交変換基底統計情報管理テーブル３０２で管理することで、これから復号部１０１が復号する直交変換基底ＩＤの出現する確率を予め知ることができる。そのため、直交変換基底記憶部１０３にこれからの出現確率が高い直交変換基底を保持させ、これからの出現確率が低い直交変換基底を破棄させることができる。それにより、直交変換基底蓄積部１１０へのアクセス回数を削減することが可能となるだけでなく、直交変換基底記憶部１０３のメモリ帯域の低減が可能となる。

ここで、図１０に示される今後のストリーム中において何ブロック先で参照されるかを示す情報と図１１に示される今後のストリームでの参照回数を示す情報との効果の違いについて例を挙げて説明する。

図１２Ａ及び図１２Ｂ並びに図１３Ａ及び図１３Ｂは、直交変換基底統計情報管理テーブルに基づいて直交変換基底記憶部の直交変換基底が更新される様子を示す図である。ここで、図１３Ａ及び図１３Ｂは、図１２Ａ及び図１２Ｂと時間的に連続しており、図１２Ａ及び図１２Ｂに比べて１マクロブロック後の復号が復号部１０１により行われるときの様子を示している。なお、前復号部３０１は、符号化ストリームに対して復号部１０１よりも例えば２マクロブロック分先行して復号するとする。また、直交変換基底記憶部１０３は、直交変換基底を２つしか保持できない構成であるとする。

前復号部３０１は、図１２Ａに示すように、符号化ストリームに対して復号部１０１よりも例えば３マクロブロック分先行して復号し、直交変換基底統計情報管理テーブル３０２に図１２Ｂに示す情報を保持している。例えば、直交変換基底統計情報管理テーブル３０２は、前復号部３０１が符号化ストリームに対して今まで復号した直交変換基底ＩＤ（０、１、２）と、それらが今後のストリーム中において何ブロック先で参照されるかを示す情報（∞、２、１）とを保持している。ここで、図１２Ｂにおいて、∞は、前復号部３０１が復号部１０１に先んじて復号した２マクロブロック先には直交変換基底ＩＤが０のものはないことを示している。それに対して、直交変換基底ＩＤが１のものは、復号部１０１がこれから（１ブロック先）復号する際に参照することを示している。同様に、直交変換基底ＩＤが２のものは、復号部１０１が２ブロック先で復号する際に参照することを示している。

そのため、直交変換基底転送制御部１０２は、直交変換基底統計情報管理テーブル３０２と、直交変換基底記憶状態管理テーブル１０４とを参照し、直交変換基底記憶部１０３に保持されている直交変換基底ＩＤ（０、１）に対応する直交変換基底のうち、直交変換基底ＩＤが０に対応する直交変換基底を記憶する領域を変更する。すなわち、直交変換基底転送制御部１０２は、直交変換基底記憶部１０３に保持されている直交変換基底ＩＤ=０に対応する直交変換基底を直交変換基底ＩＤ=２に対応する直交変換基底に変更する。

そして、図１３Ａ及び図１３Ｂに示す場合も同様である。具体的には、直交変換基底転送制御部１０２は、直交変換基底統計情報管理テーブル３０２と、直交変換基底記憶状態管理テーブル１０４とを参照し、直交変換基底記憶部１０３に保持されている直交変換基底ＩＤ（２、１）に対応する直交変換基底のうち、どちらを変更すべきかを決定する。ここでは、直交変換基底統計情報管理テーブル３０２を参照することにより、直交変換基底ＩＤが２に対応する直交変換基底を記憶する領域を変更するべきと判断できる。しかし、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４を参照することにより、直交変換基底記憶部１０３に直交変換基底ＩＤ=１に対応する直交変換基底が保持されているのを確認できる。そのため、直交変換基底転送制御部１０２は、直交変換基底記憶部１０３に対して変更の必要はないと判断し、直交変換基底記憶部１０３に対してなにもしない（転送しない）。

このようにして、これから復号部１０１が復号する直交変換基底ＩＤが出現する確率を予め知ることにより、直交変換基底蓄積部１１０へのアクセス回数を削減することが可能となる。

次に、以上のように構成された復号装置３００の復号処理動作について説明する。図１４は、本発明の実施の形態３における復号装置の復号処理動作を示すフローチャートである。

図１４に示すように、復号装置３００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ３０１）、ヘッダ情報として少なくとも直交変換基底を出力する。そして、直交変換基底転送制御部１０２は、Ｓ３０１にて復号部１０１により復号された直交変換基底すべてを直交変換基底蓄積部１１０に書き込む（Ｓ３０２）。

次に、前復号部３０１は、復号部１０１に先行して、符号化ストリームの復号を行い（Ｓ３０４）、直交変換基底統計情報管理テーブル３０２を更新する（Ｓ３０５）。具体的には、前復号部３０１は、復号部１０１に先行して、符号化ストリームの復号を行い、復号部１０１でまだ復号していない符号化ストリーム内にある直交変換基底ＩＤの出現頻度を直交変換基底統計情報管理テーブル３０２に書き込む。

次いで、復号部１０１は、符号化ストリームを構成する複数のピクチャ（または複数のピクチャを構成するマクロブロック）のヘッダ情報と量子化係数とを復号し、ヘッダ情報として少なくとも直交変換基底情報ＩＤを出力する（Ｓ３０６）。

次に、直交変換基底転送制御部１０２は、Ｓ３０６で復号部１０１によって復号された直交変換基底ＩＤの示す直交変換基底を直交変換基底記憶部１０３が保持しているかどうかを、直交変換基底記憶状態管理テーブル１０４を参照して調べる（Ｓ３０７）。

直交変換基底転送制御部１０２は、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合（Ｓ３０７のＮの場合）、直交変換基底蓄積部１１０から直交変換基底ＩＤが示す直交変換基底を読み出す。そして、直交変換基底記憶部１０３で例えばこれから最も参照回数が少ない直交変換基底が記憶されている領域に書き込む（Ｓ３０８）。ここで、直交変換基底転送制御部１０２は、直交変換基底統計情報管理テーブル３０２を参照し、復号部１０１が今後復号するうちで最も参照回数が少ない直交変換基底を特定している。

次いで、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４を更新する（Ｓ３０９）。具体的には、直交変換基底転送制御部１０２は、直交変換基底記憶状態管理テーブル１０４の読み出した直交変換基底の記憶状態を「保持している」に変更し、消去した直交変換基底の記憶状態を「保持していない」に変更する。

一方、直交変換基底転送制御部１０２は、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持している場合（Ｓ３０７のＹの場合）、直交変換基底転送制御部１０２は直交変換基底を直交変換基底蓄積部１１０から読み出さず（転送せず）、Ｓ３１０へと進む。

なお、Ｓ３１０〜Ｓ３１５の処理は、Ｓ２０９〜Ｓ２１４と同様であるので説明を省略する。

以上のようにして、復号装置３００は復号処理動作を行う。

以上、本実施の形態によれば、前復号部３０１は、復号部１０１よりも先行して符号化ストリームを復号し、これから復号部１０１がこれから復号する直交変換基底ＩＤの出現頻度を直交変換基底統計情報管理テーブル３０２で管理する。それにより、復号部１０１がこれから復号する直交変換基底ＩＤの出現する確率を予め知ることができるようになる。そして、直交変換基底記憶部１０３にこれからの出現確率が高い直交変換基底を保持させることにより直交変換基底蓄積部１１０へのアクセス回数を削減することが可能となる。

それにより、直交変換基底に関するメモリのメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、本実施の形態では、直交変換基底記憶部１０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合、直交変換基底統計情報管理テーブル３０２を参照することで、今後最も参照回数が少ない直交変換基底を特定する。そして、直交変換基底転送制御部１０２が直交変換基底蓄積部１１０から直交変換基底ＩＤの示す直交変換基底を読み出し、直交変換基底記憶部１０３の今後最も参照回数が少ない直交変換基底が記憶されている領域に書き込むとしたが、それに限らない。例えば今後しばらく使われない、すなわち、今後所定の期間参照回数が少ない直交変換基底が記憶されている領域に書き込むとしてもよい。このように、直交変換基底蓄積部１１０へのアクセスを低減させることができ、かつ、直交変換基底記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、本実施の形態では、直交変換基底蓄積部１１０は、メモリ１０９とは別の記憶手段としたが、直交変換基底蓄積部１１０とメモリ１０９とは同じ記憶手段でもよい。つまり、直交変換基底蓄積部１１０がメモリ１０９を含む構成としてもよいし、直交変換基底蓄積部１１０がメモリ１０９を含まれる構成としてもよい。

また、本実施の形態では、直交変換基底は、符号化ストリーム内に含まれているとして説明したが、それに限らない。符号化ストリーム内には直交変換基底ＩＤのみが含まれ、直交変換基底は符号化装置と復号装置との間で予め定められており、予め定められた直交変換基底を、直交変換基底蓄積部１１０に保持されているとしても良い。

また、上記では、復号装置３００は、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、直交変換基底記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、予測画像生成部１０７、加算器１０８、メモリ１０９、直交変換基底蓄積部１１０、逆量子化部１１１、逆直交変換部１１２、前復号部３０１、直交変換基底統計情報管理テーブル３０２を備えるとしたが、それに限られない。図１５に示すように、復号装置３００の最小構成として、復号装置部３５０を備えていればよい。すなわち、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、直交変換基底蓄積部１１０及び前復号部３０１を有する復号装置部３５０を備えていればよい。ここで、図１５は、本発明の実施の形態３における復号装置の最小構成を示すブロック図である。

具体的には、この復号装置部３５０は、符号化ストリームから、逆直交変換に利用する直交変換基底を特定する特定情報を復号する復号部１０１と、復号部１０１よりも先行して符号化ストリームから、特定情報（直交変換基底ＩＤ）の一部を少なくとも復号する前復号部３０１と、復号された符号化ストリームの逆直交変換に利用される複数の直交変換基底を保持するための直交変換基底蓄積部１１０と、直交変換基底蓄積部１１０に保持されている複数の直交変換基底のうち、逆直交変換を行うときに必要な直交変換基底を保持するための直交変換基底記憶部１０３と、直交変換基底蓄積部１１０から直交変換基底記憶部１０３に、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を転送する直交変換基底転送制御部１０２と、を備えていればよい。

図１５に示す復号装置は、最小構成として復号装置部３５０を少なくとも備えることにより、前復号部３０１により復号された特定情報（直交変換基底ＩＤ）により先読み解析を行うことで、逆直交変換に利用される複数の直交変換基底の一部が直交変換基底記憶部１０３に保持される。それにより、直交変換基底記憶部１０３に保持されている場合には、直交変換基底記憶部１０３に保持されている直交変換基底を用いることにより、直交変換基底蓄積部１１０へ直接アクセスする回数を低減することができるという効果を奏する。

（実施の形態４）
図１６は、本発明の実施の形態４における復号装置の構成を示すブロック図である。図１６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図１６に示す復号装置４００は、復号部１０１、直交変換基底転送制御部１０２、直交変換基底記憶部１０３、参照画像転送制御部１０５、参照画像記憶部１０６、予測画像生成部１０７、加算器１０８、メモリ１０９、直交変換基底蓄積部１１０、逆量子化部１１１、逆直交変換部１１２、可逆符号化部４０１、可逆復号部４０２を備える。ここで、図１６に示す復号装置４００は、実施の形態１に係る復号装置１００に対して、可逆符号化部４０１及び可逆復号部４０２を備え、直交変換基底記憶状態管理テーブル１０４を備えていない点で構成が異なる。

可逆符号化部４０１は、符号化ストリームに含まれる逆直交変換に利用される複数の直交変換基底を可逆符号化する。具体的には、可逆符号化部４０１は、復号部１０１が復号した直交変換基底を可逆符号化（可逆圧縮）し直交変換基底蓄積部１１０に書き込む機能を有する。

可逆復号部４０２は、可逆符号化部４０１により可逆符号化された複数の直交変換基底のうち特定情報（直交変換基底ＩＤ）により特定された直交変換基底を可逆復号し、直交変換基底転送制御部１０２を介して、可逆復号した直交変換基底を直交変換基底蓄積部１１０に書き込む。具体的には、可逆復号部４０２は、直交変換基底蓄積部１１０に格納された直交変換基底を読み出して、可逆復号し、直交変換基底転送制御部１０２を介して、直交変換基底記憶部１０３に書き込む機能を有する。なお、可逆復号部４０２は、直交変換基底転送制御部１０２を介さずに、直交変換基底記憶部１０３に書き込むとしてもよい。

次に、以上のように構成された復号装置４００の復号処理動作について説明する。図１７は、本発明の実施の形態４における復号装置の復号処理動作を示すフローチャートである。

図１７に示すように、復号装置４００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ４０１）、ヘッダ情報として少なくとも直交変換基底を出力する。次いで、可逆符号化部４０１は、復号部１０１が復号した直交変換基底を可逆符号化（可逆圧縮）する（Ｓ４０２）。次いで、直交変換基底転送制御部１０２は、可逆符号化部４０１により可逆符号化された直交変換基底を直交変換基底蓄積部１１０に書き込む（Ｓ４０３）。

次に、復号部１０１は、符号化ストリームを構成する複数のピクチャ（または複数のピクチャを構成するマクロブロック）のヘッダ情報と量子化係数とを復号し、ヘッダ情報として少なくとも直交変換基底情報ＩＤ、動きベクトル情報及び量子化係数を出力する（Ｓ４０５）。

なお、Ｓ４０８〜Ｓ４１３の処理は、Ｓ１０８〜Ｓ１１３と同様であるので説明を省略する。

以上のようにして、復号装置４００は復号処理動作を行う。

以上、本実施の形態によれば、可逆符号化部４０１により直交変換基底を圧縮することで、直交変換基底蓄積部１１０へ格納する直交変換基底のデータサイズを小さくすることができる。これにより、直交変換基底に関するメモリのメモリ容量の削減が可能となる。

なお、図１６に示す復号装置４００が、上述した直交変換基底記憶状態管理テーブル１０４を少なくとも備え、直交変換基底参照履歴管理テーブル２０１または直交変換基底統計情報管理テーブルを備えるとしてもよい。その場合には、直交変換基底に関するメモリのメモリ容量の削減だけでなく、上述したように、メモリ帯域の低減及びメモリアクセスレイテンシの低減も可能となり、さらに好ましい。

また、本実施の形態では、復号部１０１で一度直交変換基底を復号し、可逆符号化部４０１で符号化しなおして直交変換基底蓄積部１１０に格納し、可逆復号部４０２で復号する場合を説明したが、それに限らない。例えば、復号部１０１で符号化ストリーム内の直交変換基底を復号せずに、符号化ストリーム内の直交変換基底部分を直交変換基底蓄積部１１０に格納するとし、可逆復号部４０２で復号するとしても良い。

また、可逆符号化部４０１で利用する符号化アルゴリズムは、可逆で、かつ、入力サイズより出力サイズが小さくなるような符号化方法であれば如何なるものでもよい。

また、本実施の形態では、直交変換基底蓄積部１１０は、メモリ１０９とは別の記憶手段としたが、直交変換基底蓄積部１１０とメモリ１０９とは同じ記憶手段でもよい。つまり、直交変換基底蓄積部１１０がメモリ１０９を含む構成としてもよいし、直交変換基底蓄積部１１０がメモリ１０９を含まれる構成としてもよい。

また、本実施の形態では、直交変換基底は、符号化ストリーム内に含まれているとして説明したが、それに限らない。符号化ストリーム内には直交変換基底ＩＤのみが含まれ、直交変換基底は符号化装置と復号装置との間で予め定められており、予め定められた直交変換基底を、直交変換基底蓄積部１１０に保持されているとしても良い。

（実施の形態５）
図１８は、本発明の実施の形態５における符号化装置の構成を示すブロック図である。

図１８に示す符号化装置５００は、逆直交変換に利用する直交変換基底（直交変換基底行列）を特定する特定情報を含む符号化ストリームを生成する画像符号化装置である。この符号化装置５００は、符号化部５０１、直交変換基底転送制御部５０２、直交変換基底記憶部５０３、直交変換基底記憶状態管理テーブル５０４、参照画像転送制御部５０５、参照画像記憶部５０６、予測画像生成部５０７、加算器５０８、メモリ５０９、直交変換基底蓄積部５１０、逆量子化部５１１、逆直交変換部５１２、減算器５１３、直交変換部５１４、量子化部５１５、直交変換基底生成部５１６を備える。

符号化部５０１は、少なくとも量子化部５１５が出力した量子化係数と直交変換基底ＩＤ、及び、直交変換基底を入力とし、それらに対し画像圧縮技術の標準規格に準じて符号化を行い、符号化ストリームを出力する機能を有する。

直交変換基底転送制御部５０２は、本発明の転送制御部に相当し、直交変換基底記憶部５０３が特定情報（直交変換基底ＩＤ）により特定された直交変換基底を保持していない場合のみ、直交変換基底蓄積部５１０から直交変換基底記憶部５０３に、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を転送する。具体的には、直交変換基底転送制御部５０２は、直交変換基底生成部５１６で生成され、直交変換に用いる直交変換基底を、直交変換基底蓄積部５１０に書き込む機能を有する。また、予測画像生成部５０７により生成された予測画像の直交変換にどの直交変換基底を用いるかを示す特定情報（直交変換基底ＩＤ）を元に、直交変換基底記憶状態管理テーブル５０４の情報を参照する機能を有する。直交変換基底転送制御部５０２は、直交変換基底記憶状態管理テーブル５０４の情報により、直交変換基底ＩＤの示す直交変換基底が直交変換基底記憶部５０３に保持されているかを確認することができる。

例えば、直交変換基底転送制御部５０２は、直交変換基底ＩＤの示す直交変換基底が直交変換基底記憶部５０３に保持されていないことを確認した場合、直交変換基底蓄積部５１０から直交変換基底ＩＤの示す直交変換基底を読み出し、直交変換基底記憶部５０３に書き込む（転送する）。一方、直交変換基底転送制御部５０２は、直交変換基底ＩＤの示す直交変換基底が直交変換基底記憶部５０３に保持されていることを確認した場合は、直交変換基底を直交変換基底蓄積部５１０から読み出さない（転送しない）。

なお、直交変換基底転送制御部５０２は、直交変換基底を直交変換基底蓄積部５１０に書き込む命令のみを予測画像生成部５０７に行い、予測画像生成部５０７が直交変換基底を直交変換基底蓄積部５１０に書き込むとしてもよい。同様に、直交変換基底転送制御部５０２は、直交変換基底蓄積部５１０から直交変換基底ＩＤが示す直交変換基底を読み出す命令のみを直交変換基底記憶部５０３に行い、直交変換基底記憶部５０３が直交変換基底蓄積部５１０から直交変換基底ＩＤの示す直交変換基底を読み出し、保持するとしてもよい。

直交変換基底記憶部５０３は、本発明の記憶部に相当し、直交変換基底蓄積部５１０に保持されている複数の直交変換基底のうち、直交変換を行うときに必要な直交変換基底を保持するためのものである。具体的には、直交変換基底記憶部５０３は、直交変換基底蓄積部５１０から転送された直交変換基底を少なくとも１種類以上保持する機能と、直交変換基底ＩＤが示す直交変換基底を直交変換部５１４及び逆直交変換部５１２に設定する機能とを有する。なお、直交変換基底記憶部５０３は、直交変換基底ＩＤが示す直交変換基底を保持し、直交変換基底転送制御部５０２が直交変換基底ＩＤの示す直交変換基底を直交変換部５１４、及び、逆直交変換部５１２に設定するとしてもよい。

直交変換基底記憶状態管理テーブル５０４は、本発明の記憶状態管理部に相当し、特定情報（直交変換基底ＩＤ）によって特定された直交変換基底を、直交変換基底記憶部５０３が保持しているかどうかを示す情報を管理する。具体的には、直交変換基底記憶状態管理テーブル５０４は、直交変換基底ＩＤを入力とし、直交変換基底記憶部５０３が直交変換基底ＩＤの示す直交変換基底を保持しているか否かの情報を出力する機能を有する。直交変換基底記憶状態管理テーブル５０４は、例えば、上述した図３に示すように、直交変換基底ＩＤの示す直交変換基底が直交変換基底記憶部５０３に保持されているか否かを示す記憶状態をテーブル（情報）として保持している。

参照画像転送制御部５０５は、少なくとも符号化対象ブロックの位置情報に基づき、予測画像生成部５０７が予測画像生成に必要な参照画素をメモリ５０９から読み出し、参照画像記憶部５０６に書き込む機能を有する。

参照画像記憶部５０６は、メモリ５０９から転送された参照画素を保持する機能を有する。

予測画像生成部５０７は、符号化画像、及び、参照画像を入力として、必要に応じて参照画像記憶部５０６が保持している予測画像生成に必要な参照画素を用いて面間予測、面内予測またはその他の予測を実施して予測画像を生成する。そして、予測画像生成部５０７は、生成した予測画像を減算器５１３、及び、加算器５０８へ出力する機能と、予測モードなどの符号化情報を符号化部５０１へ出力する機能とを有する。また、予測画像生成部５０７は、符号化情報と、必要に応じて、符号化画像、参照画像及び予測画像とを直交変換基底生成部５１６へ出力する機能を有する。

加算器５０８は、逆直交変換部５１２が出力した予測誤差信号と、予測画像生成部５０７が出力した予測画像とを加算して復号画像として出力する機能と、その復号画像をメモリ５０９へ転送（出力）する機能とを有する。

メモリ５０９は、予測画像生成部５０７が参照する参照画面を保持する機能を有する。

直交変換基底蓄積部５１０は、本発明の蓄積部に相当し、直交変換部５１４の直交変換処理、及び、逆直交変換部５１２の逆直交変換処理に利用される直交変換基底を保持する機能を有する。

逆量子化部５１１は、量子化部５１５が出力した量子化係数を逆量子化し、直交変換係数を出力する機能を有する。

逆直交変換部５１２は、直交変換基底記憶部５０３により出力された直交変換基底を用いて逆量子化部５１１が出力した直交変換係数を逆直交変換し、予測誤差信号を出力する機能を有する。

減算器５１３は、符号化対象画像から予測画像生成部５０７が出力した予測画像を減算して、予測誤差信号を直交変換部５１４へ出力する機能を有する。

直交変換部５１４は、直交変換基底記憶部５０３に保持され、かつ、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を利用して直交変換を行う。具体的には、直交変換部５１４は、直交変換基底記憶部５０３が出力した直交変換基底を用いて減算器５１３により出力された予測誤差信号を直交変換し、直交変換した直交変換係数を量子化部５１５へ出力する機能を有する。

量子化部５１５は、直交変換部５１４により出力された直交変換係数に対し量子化を行い、量子化係数を符号化部５０１、及び、逆量子化部５１１へ出力する機能を有する。

直交変換基底生成部５１６は、本発明の生成部に相当し、直交変換基底、及び、直交変換基底を特定する特定情報（直交変換基底ＩＤ）を生成する。具体的には、直交変換基底生成部５１６は、符号化画像、及び、参照画像に加え必要に応じて予測画像を入力として、直交変換基底と直交変換基底ＩＤとを生成し、符号化部５０１、及び、直交変換基底転送制御部５０２に出力する機能を有する。

ここで、直交変換部５１４が直交変換基底ＩＤを決定する方法について一例を挙げて説明する。図１９は、直交変換基底記憶状態管理テーブルが保持する情報の一例である。図２０は、直交変換部が、直交変換基底ＩＤを決定する方法を説明するための図である。

なお、ここで、図１９に示すように、直交変換基底記憶状態管理テーブルは、直交変換基底ＩＤ（０〜１００）と、それらに対応する直交変換基底の直交変換基底記憶部５０３における記憶状態とを保持しているとする。また、直交変換基底記憶部５０３には、直交変換基底ＩＤ７０〜７９に対応する直交変換基底が記憶されているとする。さらに、直交変換基底記憶部５０３は２０個の直交変換基底しか保持することができないとする。すなわち、直交変換基底記憶部５０３は、図２０（ａ）に示すように直交変換基底ＩＤ７０〜７９に対応する直交変換基底を１０個保持しており、あと１０個の直交変換基底を保持可能な領域がある。

この場合において、直交変換部５１４は、直交変換に利用する直交変換基底の種類を示す直交変換基底ＩＤを次のように決定する。

まず、直交変換部５１４は、図２０（ｂ）に示すように、直交変換基底転送制御部５０２に、直交変換基底ＩＤ０〜９に対応する直交変換基底を直交変換基底記憶部５０３に書き込みさせて、直交変換に利用する直交変換基底ＩＤか否かを確認する。

次に、直交変換部５１４は、同様に、図２０（ｃ）に示すように、直交変換基底転送制御部５０２に、直交変換基底ＩＤ１０〜１９に対応する直交変換基底を直交変換基底記憶部５０３に書き込みさせて、直交変換に利用する直交変換基底ＩＤか否かを確認する。

同様に、直交変換部５１４は、直交変換基底ＩＤ０〜６９及び８０〜１００に対応する直交変換基底を直交変換基底記憶部５０３に書き込みさせて、直交変換に利用する直交変換基底ＩＤか否かを確認する。

一方、直交変換基底ＩＤ７０〜７９に対応する直交変換基底は、予め直交変換基底記憶部５０３に保持されている。そのため、直交変換基底転送制御部５０２は直交変換基底ＩＤ ７０〜７９に対応する直交変換基底を転送しない。このようにして、直交変換基底に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、直交変換部５１４が直交変換基底ＩＤを決定する方法として上記で説明した方法は、一例であり、その他の方法でもよいのは言うまでもない。また、逆直交変換部５１２についても直交変換部５１４と同様であるため説明を省略する。

以上のようにして、符号化装置５００は構成される。

次に、以上のよう構成された符号化装置５００の符号化処理動作について説明する。図２１は、本発明の実施の形態５における符号化装置の符号化処理動作を示すフローチャートである。

図２１に示すように、まず、符号化画像を受けた符号化装置５００は、直交変換基底生成部５１６に符号化画像、参照画像、及び、必要に応じて予測画像を入力として、以後の符号化に用いる直交変換基底を生成させて（Ｓ５０１）、符号化部５０１、及び、直交変換基底転送制御部５０２に出力させる。

次に、直交変換基底転送制御部５０２は、Ｓ５０１にて直交変換基底生成部５１６により生成されたすべての直交変換基底を直交変換基底蓄積部５１０に書き込む（Ｓ５０２）。

次に、予測画像生成部５０７は、予測画像を生成する（Ｓ５０４）。具体的には、参照画像転送制御部５０５は、必要に応じて、予測画像生成に用いる参照画像に必要な参照画素をメモリ５０９から読み出し、参照画像記憶部５０６に書き込む。そして、予測画像生成部５０７は、符号化画像、及び、参照画像を入力として符号化画像と相関の高い予測画像、及び、その符号化情報を生成し、生成した予測画像を減算器５１３、及び、加算器５０８に出力する。また予測画像生成のための符号化情報を符号化部５０１に出力する。また、予測画像生成部５０７は、直交変換基底生成部５１６へ符号化情報、並びに、必要に応じて符号化画像、参照画像、または／及び、予測画像を出力する（Ｓ５０４）。

次に、減算器５１３は、減算処理を行う（Ｓ５０５）。具体的には、減算器５１３は、符号化画像と、予測画像生成部５０７が出力した予測画像とを減算し、直交変換部５１４へ出力する。

次に、直交変換基底生成部５１６は、直交変換基底ＩＤを決定する（Ｓ５０６）。具体的には、直交変換基底生成部５１６は、予測画像生成部５０７が出力した符号化情報、並びに、必要に応じて、入力画像、参照画像、及び、予測画像を入力として直交変換に利用する直交変換基底を決定（生成）し、その直交変換基底ＩＤを符号化部５０１、及び、直交変換基底転送制御部５０２に出力する。

次に、直交変換基底転送制御部５０２は、Ｓ５０６にて直交変換基底記憶部５０３が、特定された直交変換基底ＩＤの示す直交変換基底を保持しているかどうかを、直交変換基底記憶状態管理テーブル５０４を参照して調べる（Ｓ５０７）。

次に、直交変換基底転送制御部５０２は、Ｓ５０７にて、直交変換基底記憶部５０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合（Ｓ５０７のＮの場合）、直交変換基底蓄積部５１０から直交変換基底ＩＤの示す直交変換基底を読み出す。そして、直交変換基底記憶部５０３で例えば最も古く直交変換基底蓄積部５１０から読み出された直交変換基底が記憶されている領域に書き込む（Ｓ５０８）。続いて、直交変換基底転送制御部５０２は、直交変換基底記憶状態管理テーブル５０４を更新する（Ｓ５０９）。具体的には、直交変換基底転送制御部５０２は、直交変換基底記憶状態管理テーブル５０４の、読み出した直交変換基底の記憶状態を「保持している」に変更し、消去した直交変換基底の記憶状態を「保持していない」に変更する（Ｓ５０９）。

一方、直交変換基底転送制御部５０２は、Ｓ５０７にて、直交変換基底記憶部５０３が直交変換基底ＩＤの示す直交変換基底を保持している場合（Ｓ５０７のＹの場合）、直交変換基底を直交変換基底蓄積部５１０から読み出さず（転送せず）、Ｓ５１０へと進む。

次に、直交変換部５１４は、直交変換基底記憶部５０３が保持している直交変換基底を読み出して設定する（Ｓ５１０）。そして、減算器５１３が出力した予測誤差信号を直交変換し（Ｓ５１１）、量子化部５１５へ直交変換係数を出力する。

次に、量子化部５１５は、直交変換部５１４により出力された直交変換係数を量子化し、量子化係数を符号化部５０１及び逆量子化部５１１に出力する（Ｓ５１２）。

次に、符号化部５０１は、符号化処理を行う（Ｓ５１４）。具体的には、符号化部５０１は、量子化部５１５により出力された量子化係数と、直交変換基底生成部５１６により出力された直交変換基底ＩＤとが入力され、それらに対し画像圧縮技術の標準規格に準じて符号化を行い、生成した符号化ストリームを出力する。

次に、逆量子化部５１１は、量子化部５１５により出力された量子化係数を逆量子化し、直交変換係数を逆直交変換部５１２に出力する（Ｓ５１５）。

次に、逆直交変換部５１２は、直交変換基底記憶部５０３が保持している直交変換基底を読み出し、逆量子化部５１１が出力した直交変換係数を逆直交変換し、予測誤差信号を加算器５０８に出力する（Ｓ５１６）。

次に、加算器５０８は、Ｓ５０４にて予測画像生成部５０７により出力された予測画像と、Ｓ５１６にて逆直交変換部５１２により出力された予測誤差信号とを加算し、メモリ５０９に出力する（Ｓ５１７）。

次に、符号化装置５００は、符号化画像を全て符号化したかを判定し（Ｓ５１８）、そうであるなら（Ｓ５１８のＹの場合）、符号化を完了する。反対に、まだ、符号化していない符号化画像がある場合は、Ｓ５０４からＳ５１８の処理を繰り返す（Ｓ５１８）。

以上のようにして、符号化装置５００は符号化処理動作を行う。

なお、本実施の形態では符号化ストリームのＧＯＰまたはシーケンスにおける符号化画像を例に挙げて説明したが、それに限らない。すなわち、符号化画像を符号化画像の符号化対象ブロックとし、符号化ストリームのＧＯＰまたはシーケンスを符号化画像としてもよい。

以上、本実施の形態によれば、直交変換基底記憶状態管理テーブル５０４を参照した結果、直交変換基底記憶部５０３に直交変換基底ＩＤの示す直交変換基底が存在する場合は、Ｓ５０７にて直交変換基底を直交変換基底蓄積部５１０から読み出さない（転送しない）。そのため、直交変換基底蓄積部５１０へのアクセス回数を減らすことが可能となる。これにより、直交変換基底に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、本実施の形態では、直交変換基底記憶部５０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合、直交変換基底転送制御部５０２が直交変換基底蓄積部５１０から直交変換基底ＩＤの示す直交変換基底を読み出す（転送する）。そして、直交変換基底記憶部５０３の最も古くメモリから読み出された直交変換基底が記憶されている領域に書き込む場合を説明したが、それに限らない。例えば最も新しくメモリから読み出された直交変換基底が記憶されている領域に書き込むとしても良いし、直交変換基底が格納されている領域をランダムに選択して書き込むとしても良い。直交変換基底記憶部５０３へのアクセスを低減させることができ、かつ、直交変換基底記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、本実施の形態では、直交変換基底蓄積部５１０は、メモリ５０９とは別の記憶手段としたが、直交変換基底蓄積部５１０とメモリ５０９とは同じ記憶手段でもよい。つまり、直交変換基底蓄積部５１０がメモリ５０９を含む構成としてもよいし、直交変換基底蓄積部５１０がメモリ５０９に含まれる構成としてもよい。

また、本実施の形態では、直交変換基底は、直交変換基底生成部５１６にて生成されると記載したが、それに限らない。直交変換基底は、符号化装置５００とその復号装置との間で予め定められており、それぞれ保持しているとしても良い。

また、本実施の形態では符号化装置５００は、符号化部５０１、直交変換基底転送制御部５０２、直交変換基底記憶部５０３、直交変換基底記憶状態管理テーブル５０４、参照画像転送制御部５０５、参照画像記憶部５０６、予測画像生成部５０７、加算器５０８、メモリ５０９、直交変換基底蓄積部５１０、逆量子化部５１１、逆直交変換部５１２、減算器５１３、直交変換部５１４、量子化部５１５、直交変換基底生成部５１６を備えるとしたが、それに限られない。符号化装置５００の最小構成として、直交変換基底転送制御部５０２、直交変換基底記憶部５０３、直交変換基底蓄積部５１０、直交変換部５１４及び直交変換基底生成部５１６を備えていればよい。

さらに具体的には、符号化装置５００は、逆直交変換に利用する直交変換基底を特定する特定情報を含む符号化ストリームを生成する画像符号化装置であって、直交変換基底、及び、前記直交変換基底を特定する特定情報（直交変換基底ＩＤ）を生成する直交変換基底生成部５１６と、直交変換基底生成部５１６により生成された複数の直交変換基底を保持するための直交変換基底蓄積部５１０と、直交変換基底蓄積部５１０に保持されている複数の直交変換基底のうち、直交変換を行うときに必要な直交変換基底を保持するための直交変換基底記憶部５０３と、直交変換基底記憶部５０３に保持され、かつ、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を利用して直交変換を行う直交変換部５１４と、直交変換基底記憶部５０３が特定情報により特定された直交変換基底を保持していない場合のみ、直交変換基底蓄積部５１０から直交変換基底記憶部５０３に、特定情報（直交変換基底ＩＤ）により特定された直交変換基底を転送する直交変換基底転送制御部５０２とを備えていればよい。

この最小構成により、直交変換基底記憶部５０３に直交変換基底ＩＤの示す直交変換基底が存在する場合には、直交変換基底を直交変換基底蓄積部５１０から読み出さないことができる。そのため、直交変換基底蓄積部５１０へのアクセス回数を減らすことが可能となる。これにより、直交変換基底に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

（実施の形態６）
図２２は、本発明の実施の形態６における符号化装置の構成を示すブロック図である。図２２において、図１８と同じ構成要素については同じ符号を用い、説明を省略する。

図２２に示す符号化装置６００は、符号化部５０１、直交変換基底転送制御部５０２、直交変換基底記憶部５０３、直交変換基底記憶状態管理テーブル５０４、参照画像転送制御部５０５、参照画像記憶部５０６、予測画像生成部５０７、加算器５０８、メモリ５０９、直交変換基底蓄積部５１０、逆量子化部５１１、逆直交変換部５１２、減算器５１３、直交変換部５１４、量子化部５１５、直交変換基底生成部５１６及び直交変換基底参照履歴管理テーブル６０１を備える。ここで、図２２に示す符号化装置６００は、実施の形態５に係る符号化装置５００に対して、直交変換基底参照履歴管理テーブル６０１を備える点で構成が異なる。

直交変換基底参照履歴管理テーブル６０１は、本発明の参照管理部に相当し、直交変換基底毎の、直交変換の開始から参照された回数を示す利用履歴情報を管理する。具体的には、直交変換基底ＩＤを入力とし、直交変換基底記憶部５０３へ直交変換基底ＩＤの示す直交変換基底が符号化開始から参照された回数を出力する機能を有する。なお、直交変換基底参照履歴管理テーブル６０１が保持する情報は、図７Ａ及び図７Ｂで示した内容と同様であるため、説明を省略する。

次に、以上のように構成された符号化装置６００の符号化処理動作について説明する。図２３は、本発明の実施の形態６における符号化装置の符号化処理動作を示すフローチャートである。

図２３に示すように、まず、符号化画像を受けた符号化装置６００は、直交変換基底生成部５１６に符号化画像、及び、参照画像、必要に応じて予測画像を入力として、以後の符号化に用いる直交変換基底を生成させて（Ｓ６０１）、符号化部５０１、及び、直交変換基底転送制御部５０２に出力させる。

なお、Ｓ６０２からＳ６０７の処理は、Ｓ５０２〜Ｓ５０７と同様のため説明を省略する。

次に、Ｓ６０７において、直交変換基底転送制御部５０２は、直交変換基底記憶部５０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合（Ｓ６０７のＮの場合）、直交変換基底蓄積部５１０から直交変換基底ＩＤの示す直交変換基底を読み出す。そして、直交変換基底記憶部５０３で例えばこれまでに最も参照回数が少ない直交変換基底が記憶されている領域に書き込む（Ｓ６０８）。ここで、直交変換基底転送制御部５０２は、直交変換基底参照履歴管理テーブル６０１を参照し、最も参照回数が少ない直交変換基底を特定している。

次いで、直交変換基底転送制御部５０２は、直交変換基底参照履歴管理テーブル６０１を更新する（Ｓ６０９）。具体的には、直交変換基底転送制御部５０２は、直交変換基底参照履歴管理テーブル６０１において参照した直交変換基底の参照回数を増やす。

次いで、直交変換基底転送制御部５０２は、直交変換基底記憶状態管理テーブル５０４を更新する（Ｓ６１０）。具体的には、直交変換基底転送制御部５０２は、直交変換基底記憶状態管理テーブル５０４において、読み出した直交変換基底の記憶状態を「保持している」に変更し、消去した直交変換基底の記憶状態を「保持していない」に変更する。

一方、直交変換基底転送制御部５０２は、直交変換基底記憶部５０３が直交変換基底ＩＤの示す直交変換基底を保持している場合（Ｓ６０７のＹの場合）、直交変換基底を直交変換基底蓄積部５１０から読み出さず（転送せず）、Ｓ６１１へと進む。

直交変換部５１４は、直交変換基底記憶部５０３が保持している直交変換基底を読み出し（Ｓ６１１）、減算器５１３が出力した予測誤差信号を直交変換し（Ｓ６１２）、直交変換係数を出力する。

なお、Ｓ６１３〜Ｓ６１９の処理は、Ｓ５１０〜Ｓ５１９と同様のため説明を省略する。

以上のようにして、符号化装置６００は符号化処理動作を行う。

以上、本実施の形態によれば、直交変換基底参照履歴管理テーブル６０１を参照することで、最も参照回数が少ない直交変換基底を特定する。そして、直交変換基底転送制御部５０２が直交変換基底記憶部５０３に書き込む際に、これまでに最も参照回数が少ない直交変換基底が記憶されている領域に書き込む。それにより、参照される可能性の低い直交変換基底は直交変換基底記憶部５０３に保持されず、頻繁に参照される可能性の高い直交変換基底を直交変換基底記憶部５０３に保持されることが可能となる。その結果、直交変換基底蓄積部５１０へのアクセス回数を減らすことが可能となる。このようにして、直交変換基底に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、本実施の形態では、直交変換基底記憶部５０３が直交変換基底ＩＤの示す直交変換基底を保持していない場合、直交変換基底参照履歴管理テーブル６０１を参照することで、最も参照回数が少ない直交変換基底を特定する。そして、直交変換基底転送制御部５０２が直交変換基底蓄積部５１０から直交変換基底ＩＤの示す直交変換基底を読み出し、直交変換基底記憶部５０３のこれまでに最も参照回数が少ない直交変換基底が記憶されている領域に書き込む場合を説明したが、それに限らない。例えば最近最も使われていない直交変換基底が記憶されている領域に書き込むとしてもよいし、最近最も使われている直交変換基底が記憶されている領域に書き込むとしてもよいし、これまでに最も参照回数が多い直交変換基底が記憶されている領域に書き込むとしてもよい。直交変換基底記憶部５０３へのアクセスを低減させることができ、かつ、直交変換基底記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、本実施の形態では、直交変換基底蓄積部５１０は、メモリ５０９とは別の記憶手段としたが、直交変換基底蓄積部５１０とメモリ５０９とは同じ記憶手段でもよい。つまり、直交変換基底蓄積部５１０がメモリ５０９を含む構成としてもよいし、直交変換基底蓄積部５１０がメモリ５０９に含まれる構成としてもよい。

また、本実施の形態では、直交変換基底は、直交変換基底生成部５１６にて生成されると記載したが、それに限らない。直交変換基底は、符号化装置６００とその復号装置との間で予め定められており、それぞれ保持しているとしても良い。

（実施の形態７）
図２４は、本発明の実施の形態７における符号化装置の構成を示すブロック図である。図２４において、図１８と同じ構成要素については同じ符号を用い、説明を省略する。

図２４に示す符号化装置７００は、符号化部５０１、直交変換基底転送制御部５０２、直交変換基底記憶部５０３、直交変換基底記憶状態管理テーブル５０４、参照画像転送制御部５０５、参照画像記憶部５０６、予測画像生成部５０７、加算器５０８、メモリ５０９、直交変換基底蓄積部５１０、逆量子化部５１１、逆直交変換部５１２、減算器５１３、直交変換部５１４、量子化部５１５、直交変換基底生成部５１６、符号化部５０１、可逆符号化部７０１及び可逆復号部７０２を備える。ここで、図２４に示す符号化装置７００は、実施の形態５に係る符号化装置５００に対して、直交変換基底記憶状態管理テーブル５０４を備えず、可逆符号化部７０１及び可逆復号部７０２を備える点で構成が異なる。

可逆符号化部７０１は、逆直交変換に利用される複数の直交変換基底を可逆符号化する。具体的には、可逆符号化部７０１は、直交変換基底生成部５１６が生成した直交変換基底を可逆符号化し直交変換基底蓄積部５１０に書き込む機能を有する。

可逆復号部７０２は、可逆符号化部７０１により可逆符号化された複数の直交変換基底のうち特定情報により特定された直交変換基底を可逆復号し、直交変換基底転送制御部５０２を介して、可逆復号した直交変換基底を直交変換基底蓄積部５１０に書き込む。具体的には、可逆復号部７０２は、直交変換基底蓄積部５１０に格納された直交変換基底を読み出して、可逆復号し、直交変換基底記憶部５０３に書き込む機能を有する。なお、可逆復号部７０２は、直交変換基底転送制御部５０２を介さずに、直交変換基底記憶部５０３に書き込むとしてもよい。

次に、以上のように構成された符号化装置７００の符号化処理動作について説明する。図２５は、本発明の実施の形態７における符号化装置の符号化処理動作を示すフローチャートである。

図２５に示すように、まず、符号化対象画像を受けた直交変換基底生成部５１６は、以後の符号化に用いる直交変換基底を生成して（Ｓ７０１）、出力する。

次に、可逆符号化部７０１は、直交変換基底生成部５１６が生成した直交変換基底を可逆符号化（可逆圧縮）する（Ｓ７０２）。

次に、直交変換基底転送制御部５０２は、Ｓ７０２にて可逆符号化部７０１により可逆符号化された直交変換基底を直交変換基底蓄積部５１０に書き込む（Ｓ７０３）。

なお、Ｓ７０５からＳ７０７の処理は、Ｓ５０３〜Ｓ５０６と同様のため説明を省略する。

次に、Ｓ７０７において、直交変換基底転送制御部５０２は、直交変換基底蓄積部５１０から直交変換基底ＩＤの示す可逆符号化された直交変換基底を読み出す（Ｓ７０８）。

次に、可逆復号部７０２は、可逆符号化された直交変換基底を可逆復号し（Ｓ７０９）、直交変換基底記憶部５０３に書き込む。

次に、直交変換部５１４は、直交変換基底記憶部５０３が保持している直交変換基底を読み出して設定する（Ｓ７１０）。そして、減算器５１３が出力した予測誤差信号を直交変換し（Ｓ７１１）、直交変換係数を出力する。

なお、Ｓ７１２からＳ７１８の処理は、Ｓ５１１〜Ｓ５１８と同様のため説明を省略する。

以上のようにして、符号化装置７００は符号化処理動作を行う。

以上、本実施の形態によれば、可逆符号化部７０１により直交変換基底を圧縮することで、直交変換基底蓄積部５１０へ格納する直交変換基底のデータサイズを小さくすることができる。これにより、直交変換基底に関するメモリ容量の低減が可能となる。

なお、図２４に示す符号化装置７００が、上述した直交変換基底記憶状態管理テーブル５０４を少なくとも備え、直交変換基底参照履歴管理テーブル６０１を備えるとしてもよい。その場合には、直交変換基底に関するメモリ容量の削減だけでなく、メモリ帯域の低減及びメモリアクセスレイテンシの低減も可能となり、さらに好ましい。

また、本実施の形態では、直交変換基底生成部５１６にて直交変換基底を生成し、可逆符号化部７０１で符号化して直交変換基底蓄積部５１０に格納し、可逆復号部７０２で復号する場合を説明としたが、それに限らない。例えば、符号化部５０１で符号化ストリーム内へ符号化した直交変換基底部分を直交変換基底蓄積部５１０に格納し、可逆復号部７０２で復号するとしても良い。

また、本実施の形態では、直交変換基底蓄積部５１０は、メモリ５０９とは別の記憶手段としたが、直交変換基底蓄積部５１０とメモリ５０９とは同じ記憶手段でもよい。つまり、直交変換基底蓄積部５１０がメモリ５０９を含む構成としてもよいし、直交変換基底蓄積部５１０がメモリ５０９に含まれる構成としてもよい。

また、本実施の形態では、直交変換基底は直交変換基底生成部５１６にて生成されると記載したが、それに限らない。直交変換基底は、符号化装置６００とその復号装置との間で予め定められており、それぞれ保持しているとしても良い。

（実施の形態８）
上記各実施の形態で説明した動画像符号化装置、動画像復号装置、動画像符号化方法または動画像復号方法は、アプリケーションとして応用できる。

例えば、上記各実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等のいずれでもよく、プログラムを記録できるものであればよい。

以下、上記各実施の形態で示した画像符号化方法や画像復号方法等の応用例とそれを用いたシステムを説明する。

図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。図２６に示すコンテンツ供給システムｅｘ１００において、通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

コンテンツ供給システムｅｘ１００では、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２、電話網ｅｘ１０４及び基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。

なお、コンテンツ供給システムｅｘ１００は、図２６のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、コンテンツ供給システムｅｘ１００は、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

例えば、カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器である。また、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。

携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）を用いる携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。

具体的には、ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、これらが互いに分担して行ってもよい。同様に、配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。

また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像データ及び／または画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ここで、ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行うとしてもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。

このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、上記各実施の形態の少なくとも画像符号化装置及び画像復号装置のいずれかが組み込まれる例としてはコンテンツ供給システムｅｘ１００の例に限られない。図２７に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むとしてもよい。以下、それを用いて説明する。図２７は、デジタル放送用システムｅｘ２００の全体構成を示す図である。

具体的には、放送局ｅｘ２０１では、映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。このビットストリームは上記各実施の形態で説明した画像符号化方法により符号化された符号化ビットストリームである。

放送衛星ｅｘ２０２は、これを受けて放送用の電波を発信する。

アンテナｅｘ２０４は、衛星放送の受信が可能な家庭のアンテナであり、アンテナｅｘ２０４、放送衛星ｅｘ２０２からの放送用の電波を受信する。

テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置は、アンテナｅｘ２０４から受信した放送用の電波に含まれるビットストリームを、復号して再生する。

リーダ／レコーダｅｘ２１８は、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録された符号化ビットストリームを読み取って復号することが可能である。また記録メディアｅｘ２１５に映像信号を符号化して書き込むことが可能である。ここで、リーダ／レコーダｅｘ２１８は、上記各実施の形態で示した画像復号装置または画像符号化装置を実装する。その場合、リーダ／レコーダｅｘ２１８で再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。

なお、セットトップボックスｅｘ２１７は、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続され、自装置内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示するとしてもよい。また、セットトップボックスｅｘ２１７ではなく、テレビｅｘ３００内に画像復号装置を組み込んでもよい。

図２８は、テレビｅｘ３００の構成例を示すブロック図である。

テレビｅｘ３００は、上記各実施の形態で説明した画像復号方法及び画像符号化方法を用いている。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３とを備える。また、テレビｅｘ３００は、音声データ及び映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４及び映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７及び復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

なお、インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３と、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４と、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５と、電話網と接続するモデムｅｘ３１６等とを有していてもよい。また、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

続いて、まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。

テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。

なお、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。

テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。

なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２９に示す。図２９は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。

図２９に示す情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。

光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。

変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。

再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。

バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。

ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。

サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

なお、上記では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３０は、光ディスクである記録メディアの構造例を示す図である。図３０には、光ディスクである記録メディアｅｘ２１５の模式図が示されている。

記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報は、データを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し、この番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

なお、上記では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で放送衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２８に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態９）
上記各実施の形態で示した画像符号化方法及び装置、画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３１に１チップ化されたＬＳＩｅｘ５００の構成を示す。ここで、図３１は、各実施の形態の画像符号化方法及び画像復号方法を実現する集積回路の構成例を示すブロック図である。

ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

図３２はここでの符号化処理を簡単に示すブロック図である。すなわち、図３２は、集積回路で実現される各実施の形態の画像符号化処理を示すブロック図である。図３２に示すように、まず入力信号と予測信号との差分である予測誤差信号は変換部ｅｘ６０１で変換され、量子化部ｅｘ６０２で量子化される。量子化係数はエントロピー符号化部ｅｘ６０６でエントロピー符号化され、符号化信号が出力される。この出力は、図２８でテレビｅｘ３００を例に挙げて説明したように、符号化された音声データと多重化するために一旦バッファｅｘ５０８やメモリｅｘ５１１に蓄積される構成であってもよい。逆量子化部ｅｘ６０４、逆変換部ｅｘ６０５、予測部ｅｘ６０８は、対象信号とそれ以前の信号から生成された予測信号の比較を可能とする遅延部として動作する。

なお、ＬＳＩｅｘ５００上では、緩衝材として量子化係数を一端内部のバッファｅｘ５０８やメモリｅｘ５１１に蓄積するなど、処理のオーバフロー、アンダーフローがおきないように調整するとよい。量子化係数以外にも処理量や処理速度に応じて、データを複数に分けて並列に処理をし、内部や外部のメモリ等の記録部に処理中のデータを適宜蓄積しながら処理を調整するとよい。

以上の処理は制御部ｅｘ５０１の制御に基づいて行う。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、または記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。

図３３はここでの復号処理を簡単に示すブロック図である。すなわち、図３３は、集積回路で実現される各実施の形態の画像復号処理を示すブロック図である。

図３３に示すように、まず入力された符号化信号はエントロピー復号部ｅｘ７０１でエントロピー復号される。エントロピー復号により得た量子化係数は逆量子化部ｅｘ７０３で逆量子化され、逆変換部ｅｘ７０４で逆変換される。ここでの逆変換とは、復号処理における変換という意味であり、必ずしも符号化処理における変換の逆に限定されるものではない。復号変換入力は、予測信号を加えて復号信号として外部に出力される。メモリｅｘ５１１は、復号信号を蓄積し、後続の符号化信号の復号における参照を可能とする遅延部として動作する。予測部ｅｘ７０５は、メモリｅｘ５１１に蓄積された復号済みの復号信号に基づいて予測信号を生成する。外部への出力の際には図２８でテレビｅｘ３００を例に挙げて説明したように、復号された音声信号と同期して表示するために、一旦バッファｅｘ５０８や外部のメモリｅｘ５１１に蓄積される構成であってもよい。ここでも量子化係数をバッファｅｘ５０８やメモリｅｘ５１１に蓄積するなど、処理のオーバフロー、アンダーフローがおきないように、所定の処理単位に分割しながら並列に処理を行うとよい。以上の処理は制御部ｅｘ５０１の制御に基づいて行う。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上のように、上記各実施の形態で説明した画像符号化装置、画像復号装置、画像符号化方法または画像復号方法は、アプリケーションとして応用できる。

なお、実施の形態１において図１に示される復号装置１００においてを構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態２において図６に示される復号装置２００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態３において図９に示される復号装置３００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態４において図１６に示される復号装置４００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態５において図１７に示される符号化装置５００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに符号化回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態６において図２２に示される符号化装置６００を構成する各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらはさらに符号化回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態７において図２４に示される符号化装置７００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに符号化回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、実施の形態１〜７において、直交変換基底蓄積部１１０、直交変換基底蓄積部５１０、メモリ１０９は、及び、メモリ５０９はＤＲＡＭで構成されていてもよいし、ＳＲＡＭで構成されていてもよいし、フリップフロップで構成されていても良い。つまり、記憶可能な素子で構成されていれば良い。

さらに、実施の形態１〜７において、メモリ１０９、メモリ５０９、直交変換基底蓄積部１１０、直交変換基底蓄積部５１０、直交変換基底記憶部１０３、及び直交変換基底記憶部５０３は、典型的にはＤＤＲで構成されるが、必ずしもＤＤＲで構成される必要はなく、ＳＲＡＭで構成されていてもよいし、フリップフロップで構成されていても良い。つまり、記憶可能な素子で構成されていれば良い。その際、直交変換基底蓄積部１１０及び直交変換基底蓄積部５１０は、低速な記憶素子から構成され、直交変換基底記憶部１０３及び直交変換基底記憶部５０３は、高速な記憶素子で構成されるのが好ましい。

また、実施の形態１〜７において、逆直交変換部１１２、逆直交変換部５１２、及び、直交変換部５１４で行う直交変換は、例えば、カルーネンレーベ変換など、直交変換基底が可変な直交変換であれば良い。

以上、本発明の画像復号装置、画像符号化装置、画像復号回路及び画像復号方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、画像復号装置、画像符号化装置、画像復号回路及び画像復号方法に利用できは、特に、携帯電話、ＤＶＤ装置、ＢＤ装置、パソコン、テレビ電話、セットトップボックス、デジタルテレビ、自動車及びセキュリティシステムなど画像を構成するピクチャを復号または表示する機器において有用である。

１００ 復号装置
１０１ 復号部
１０２、５０２ 直交変換基底転送制御部
１０３、５０３ 直交変換基底記憶部
１０４、５０４ 直交変換基底記憶状態管理テーブル
１０５、５０５ 参照画像転送制御部
１０６、５０６ 参照画像記憶部
１０７、５０７ 予測画像生成部
１０８、５０８ 加算器
１０９、５０９ メモリ
１１０、５１０ 直交変換基底蓄積部
１１１、５１１、１２１５ 逆量子化部
１１２、５１２、１２１６ 逆直交変換部
２０１、６０１ 直交変換基底参照履歴管理テーブル
３０１ 前復号部
３０２ 直交変換基底統計情報管理テーブル
４０１、７０１ 可逆符号化部
４０２、７０２ 可逆復号部
５０１ 符号化部
５１３ 減算器
５１４ 直交変換部
５１５ 量子化部
５１６ 直交変換基底生成部
１２２２ フレームメモリ
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１５ ゲーム機
ｅｘ１１６ カメラ
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション
ｅｘ２１２ 再生装置
ｅｘ２１３ モニタ
ｅｘ２１５、ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス
ｅｘ２１８ リーダ／レコーダ
ｅｘ２１９ モニタ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０ 制御部
ｅｘ３１１ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０４ バッファ
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０１ 制御部
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０５ 電源回路部
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０７ 信号処理部
ｅｘ５０８ バッファ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ
ｅｘ６０１ 変換部
ｅｘ６０２ 量子化部
ｅｘ６０４ 逆量子化部
ｅｘ６０５ 逆変換部
ｅｘ６０６ エントロピー符号化部
ｅｘ６０８ 予測部
ｅｘ７０１ エントロピー復号部
ｅｘ７０３ 逆量子化部
ｅｘ７０４ 逆変換部
ｅｘ７０５ 予測部

Claims (23)

1. 符号化ストリームの復号を行う画像復号装置であって、
   前記符号化ストリームから、逆直交変換に利用する直交変換基底を特定する特定情報を復号する復号部と、
   前記符号化ストリームの逆直交変換に利用される複数の直交変換基底を保持するための蓄積部と、
   前記蓄積部に保持されている複数の直交変換基底のうち、前記逆直交変換を行うときに必要な少なくとも１つの直交変換基底を保持するための記憶部と、
   前記記憶部に保持され、かつ、前記特定情報により特定された直交変換基底を利用して逆直交変換を行う逆直交変換部と、
   前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御部とを備え、
   前記転送制御部は、前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する
   画像復号装置。
2. 前記蓄積部は、前記符号化ストリームの逆直交変換に利用される複数の直交変換基底を予め保持しており、
   前記画像復号装置は、さらに、
   前記特定情報によって特定された直交変換基底を前記記憶部が保持しているかどうかを示す情報を管理する記憶状態管理部を備え、
   前記転送制御部は、前記記憶状態管理部が管理する情報に基づいて、前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に前記特定情報によって特定された直交変換基底を転送する
   請求項１に記載の画像復号装置。
3. 前記復号部は、前記符号化ストリームから、逆直交変換に利用される複数の直交変換基底と、前記必要な直交変換基底を特定する特定情報とを少なくとも復号し、
   前記画像復号装置は、さらに、
   前記特定情報によって特定された直交変換基底を前記記憶部が保持しているかどうかを示す情報を管理する記憶状態管理部を備え、
   前記転送制御部は、前記記憶状態管理部が管理する情報に基づいて、前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に前記特定情報によって特定された直交変換基底を転送する
   請求項１に記載の画像復号装置。
4. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された前記直交変換基底を保持していない場合のみ、前記直交変換基底が記憶されている前記記憶部の領域であって前記蓄積部から最も古く転送された直交変換基底が記憶されている領域に、前記特定情報によって特定された直交変換基底を、前記蓄積部から転送する
   請求項２または３に記載の画像復号装置。
5. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された直交変換基底を保持していない場合のみ、直交変換基底が記憶されている前記記憶部の領域であって前記蓄積部から最も新しく転送された直交変換基底が記憶されている領域に、前記特定情報によって特定された直交変換基底を、前記蓄積部から転送する
   請求項２または３に記載の画像復号装置。
6. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された直交変換基底を保持していない場合のみ、前記記憶部の直交変換基底が記憶されている領域をランダムに選択して、前記特定情報によって特定された直交変換基底を、前記蓄積部から選択された前記領域に転送する
   請求項２または３に記載の画像復号装置。
7. 前記画像復号装置は、さらに、
   直交変換基底毎の、復号開始から参照された回数を示す利用履歴情報を管理する参照履歴管理部を備え、
   前記転送制御部は、前記記憶状態管理部が管理する前記情報と前記参照履歴管理部が管理する前記利用履歴情報とに基づいて、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する
   請求項２または３に記載の画像復号装置。
8. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された前記直交変換基底を保持していない場合のみ、前記利用履歴情報を参照して、前記直交変換基底が記憶されている前記記憶部の領域であって最も参照回数が少ない直交変換基底が記憶されている領域に、前記特定情報によって特定された直交変換基底を、前記蓄積部から転送する
   請求項７に記載の画像復号装置。
9. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された直交変換基底を保持していない場合のみ、前記利用履歴情報を参照して、直交変換基底が記憶されている前記記憶部の領域であって現在から所定期間の過去に最も利用されていない直交変換基底が記憶されている領域に、前記特定情報によって特定された直交変換基底を、前記蓄積部から転送する
   請求項７に記載の画像復号装置。
10. 前記転送制御部は、
    前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された直交変換基底を保持していない場合のみ、前記利用履歴情報を参照して、直交変換基底が記憶されている前記記憶部の領域であって現在から所定期間の過去に最も利用されている直交変換基底が記憶されている領域に、前記特定情報によって特定された直交変換基底を、前記蓄積部から転送する
    請求項７に記載の画像復号装置。
11. 前記転送制御部は、
    前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された直交変換基底を保持していない場合のみ、前記利用履歴情報を参照して、直交変換基底が記憶されている前記記憶部の領域であってこれまでに最も参照回数が多い直交変換基底が記憶されている領域に、前記特定情報によって特定された直交変換基底を、前記蓄積部から転送する
    請求項７に記載の画像復号装置。
12. 前記画像復号装置は、さらに、
    前記復号部よりも先行して前記符号化ストリームから、前記特定情報の少なくとも一部を復号する前復号部と、
    前記前復号部により復号され、かつ、前記復号部によりこれから復号される前記特定情報によって特定される直交変換基底毎の利用状況を管理する統計情報管理部とを備え、
    前記転送制御部は、
    前記記憶状態管理部が管理する情報と前記統計情報管理部が管理する利用状況とに基づいて、前記特定情報により特定された直交変換基底を、前記蓄積部から前記記憶部に転送する
    請求項２または３に記載の画像復号装置。
13. 前記転送制御部は、
    前記記憶状態管理部が管理する情報を参照して、前記記憶部が前記特定情報によって特定された直交変換基底を保持していない場合のみ、前記利用状況を参照して、直交変換基底が記憶されている前記記憶部の領域であって今後参照回数が少ない直交変換基底が記憶されている領域に、前記特定情報よって特定された直交変換基底を、前記蓄積部から転送する
    請求項１２に記載の画像復号装置。
14. 前記画像復号装置は、さらに、
    前記逆直交変換に利用される複数の直交変換基底を可逆符号化する可逆符号化部と、
    前記可逆符号化部により可逆符号化された前記複数の直交変換基底のうち前記特定情報により特定された直交変換基底を可逆復号し、前記転送制御部を介して、前記可逆復号した直交変換基底を前記蓄積部に書き込む可逆復号部と、を備える
    請求項１〜１３のいずれか１項に記載の画像復号装置。
15. 符号化ストリームを生成する画像符号化装置であって、
    直交変換に利用する直交変換基底、及び、前記直交変換基底を特定する特定情報を生成する生成部と、
    前記生成部より生成された複数の前記直交変換基底を保持するための蓄積部と、
    前記蓄積部に保持されている複数の直交変換基底のうち、前記直交変換を行うときに必要な少なくとも１つの直交変換基底を保持するための記憶部と、
    前記記憶部に保持され、かつ、前記特定情報により特定された直交変換基底を利用して直交変換を行う直交変換部と、
    前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御部とを備える
    画像符号化装置。
16. 前記画像符号化装置は、さらに、
    前記特定情報によって特定された直交変換基底を、前記記憶部が保持しているかどうかを示す情報を管理する記憶状態管理部を備え、
    前記転送制御部は、前記記憶状態管理部が管理する情報に基づいて、前記蓄積部から前記記憶部に前記特定情報によって特定された直交変換基底を転送する
    請求項１５に記載の画像符号化装置。
17. 前記画像符号化装置は、さらに、
    直交変換基底毎の、前記直交変換の開始から参照された回数を示す利用履歴情報を管理する参照管理部を備え、
    前記転送制御部は、
    前記記憶状態管理部が管理する前記情報と前記参照履歴管理部が管理する前記利用履歴情報とに基づいて、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する
    請求項１５に記載の画像符号化装置。
18. 前記画像符号化装置は、さらに、
    前記直交変換に利用される複数の直交変換基底を可逆符号化する可逆符号化部と、
    前記可逆符号化部により可逆符号化された前記複数の直交変換基底のうち前記特定情報により特定された直交変換基底を可逆復号し、前記転送制御部を介して、前記可逆復号した直交変換基底を前記蓄積部に書き込む可逆復号部と、を備え、
    前記転送制御部は、前記蓄積部から前記特定情報により特定され、かつ、符号化されている直交変換基底を読み出し、前記可逆復号部に転送する
    請求項１５〜１７のいずれか１項に記載の画像符号化装置。
19. 符号化ストリームの復号を行う画像復号回路であって、
    前記符号化ストリームから、直交変換に利用された直交変換基底を特定する特定情報を復号する復号部と、
    前記符号化ストリームの逆直交変換に利用される複数の直交変換基底を保持するための蓄積部と、
    前記蓄積部に保持されている複数の直交変換基底のうち、前記逆直交変換を行うときに必要な少なくとも１つの直交変換基底を保持するための記憶部と、
    前記記憶部に保持され、かつ、前記特定情報により特定された直交変換基底を利用して逆直交変換を行う逆直交変換部と、
    前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御部とを備える
    画像復号回路。
20. 符号化ストリームの復号を行う画像復号方法であって、
    前記符号化ストリームから、逆直交変換に利用される直交変換基底を特定する特定情報を復号する復号ステップと、
    前記符号化ストリームの逆直交変換に利用される複数の直交変換基底を蓄積部に保持するための蓄積ステップと、
    前記蓄積ステップにおいて保持されている複数の直交変換基底のうち、前記逆直交変換を行うときに必要な少なくとも１つの直交変換基底を記憶部に保持するための記憶ステップと、
    前記記憶部に保持され、かつ、前記特定情報により特定された直交変換基底を利用して逆直交変換を行う逆直交変換ステップと、
    前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御ステップとを含む
    画像復号方法。
21. 符号化ストリームから、逆直交変換に利用する直交変換基底を特定する特定情報を復号する復号部と、
    前記復号部よりも先行して、前記符号化ストリームから前記特定情報を復号する前復号部と、
    前記符号化ストリームの逆直交変換に利用される複数の直交変換基底を保持するための蓄積部と、
    前記蓄積部に保持されている複数の直交変換基底のうち、前記逆直交変換を行うときに必要な少なくとも１つの直交変換基底を保持するための記憶部と、
    前記前復号部により復号された前記特定情報に基づいて、前記少なくとも１つの直交変換基底を前記記憶部に保持させる制御部と、
    前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御部と、を備える
    画像復号装置。
22. 符号化ストリームの復号をコンピュータに実行させるためのプログラムであって、
    前記符号化ストリームから、逆直交変換に利用される直交変換基底を特定する特定情報を復号する復号ステップと、
    前記符号化ストリームの逆直交変換に利用される複数の直交変換基底を蓄積部に保持するための蓄積ステップと、
    前記蓄積ステップにおいて保持されている複数の直交変換基底のうち、前記逆直交変換を行うときに必要な少なくとも１つの直交変換基底を記憶部に保持するための記憶ステップと、
    前記記憶部に保持され、かつ、前記特定情報により特定された直交変換基底を利用して逆直交変換を行う逆直交変換ステップと、
    前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御ステップとを含み、
    前記転送制御ステップは、前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する
    プログラム。
23. 符号化ストリームを生成する画像符号化装置であって、
    複数の直交変換基底を保持するための蓄積部と、
    前記蓄積部に保持されている複数の直交変換基底のうち、直交変換を行うときに必要な少なくとも１つの直交変換基底を保持するための記憶部と、
    前記記憶部に保持され、かつ、直交変換に利用する直交変換基底を特定する特定情報により特定された直交変換基底を利用して直交変換を行う直交変換部と、
    前記記憶部が前記特定情報により特定された直交変換基底を保持していない場合のみ、前記蓄積部から前記記憶部に、前記特定情報により特定された直交変換基底を転送する転送制御部とを備える
    画像符号化装置。

Images