JP6094760B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる予測ユニットの予測画像生成を行う画像処理装置に関する。

予測画像生成を行う画像処理装置に関する技術として、特許文献１、特許文献２および非特許文献１に示された技術がある。

特許第４６２５０９６号公報 国際公開第２０１０／１３１４２２号

「Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ３ ｏｆ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、［ｏｎｌｉｎｅ］、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ）、２０１１年９月８日、［２０１１年９月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／６＿Ｔｏｒｉｎｏ／ｗｇ１１／ＪＣＴＶＣ−Ｆ８０３−ｖ３．ｚｉｐ＞

しかしながら、画像処理装置が、予測画像生成を行う際、予測ユニットの情報の転送を行う場合がある。この転送によって、大きな処理負荷、または、大きな処理遅延が発生する可能性がある。

そこで、本発明は、予測ユニットの情報の転送に伴う処理負荷および処理遅延を小さくすることができる画像処理装置を提供する。

本発明の一態様に係る画像処理装置は、ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる第１予測ユニットの予測画像生成を行う画像処理装置であって、少なくともピクチャ１つ分に対応する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを記憶するための第１記憶部と、前記複数の予測ユニットのうちの２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶するための第２記憶部と、予測画像生成のための前記２つ以上の予測パラメータを前記第１記憶部から前記第２記憶部へ、まとめて転送する転送部とを備え、まとめて転送される前記２つ以上の予測パラメータは、（ｉ）予測画像生成が行われる前記第１予測ユニットの右下の位置に対応する予測ユニットであり、前記第１予測ユニットを含む第１ピクチャとは異なる第２ピクチャに含まれる予測ユニットである第２予測ユニットの予測画像生成に用いられた第１予測パラメータと、（ｉｉ）前記第１予測ユニットの位置に対応する予測ユニットであり、前記第２ピクチャに含まれる予測ユニットである第３予測ユニットの予測画像生成に用いられた第２予測パラメータとを含み、前記画像処理装置は、さらに、前記第１予測パラメータが利用可能か否かを判定し、（ｉ）前記第１予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第１予測パラメータを用いて前記第１予測ユニットの予測画像を生成し、（ｉｉ）前記第１予測パラメータが利用可能ではない場合は、前記第２予測パラメータが利用可能か否かを判定し、前記第２予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第２予測パラメータを用いて前記第１予測ユニットの予測画像を生成する予測画像生成部を備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明により、転送回数が減少する。したがって、予測ユニットの情報の転送に伴う処理負荷および処理遅延が減少する。

図１は、実施の形態１に係る画像処理装置の構成を示す図である。 図２は、実施の形態１に係る動き補償部に関連する構成を示す図である。 図３Ａは、実施の形態１に係るシーケンスの例を示す図である。 図３Ｂは、実施の形態１に係るピクチャの例を示す図である。 図３Ｃは、実施の形態１に係る符号化ストリームの例を示す図である。 図４Ａは、実施の形態１に係る符号化ユニットと符号化ユニットレイヤデータの構成例を示す図である。 図４Ｂは、実施の形態１に係る符号化ユニットデータの構成例を示す図である。 図５Ａは、実施の形態１に係る予測ユニットのサイズの例を示す図である。 図５Ｂは、実施の形態１に係る変換ユニットのサイズの例を示す図である。 図６は、実施の形態１に係る現予測ユニットおよび対応予測ユニットの関係を示す図である。 図７は、実施の形態１に係る対応予測ユニットの位置を示す図である。 図８は、実施の形態１に係る画像処理装置の動作を示すフローチャートである。 図９は、実施の形態１に係る符号化ユニットを復号する処理を示すフローチャートである。 図１０は、実施の形態１に係る動きベクトル算出処理を示すフローチャートである。 図１１は、実施の形態１に係る転送の領域の例を示す図である。 図１２は、実施の形態１に係る技術が用いられない場合の動きベクトル算出処理を時系列で示す図である。 図１３は、実施の形態１に係る技術が用いられた場合の動きベクトル算出処理を時系列で示す図である。 図１４は、実施の形態２に係る転送の領域を示す概念図である。 図１５は、実施の形態２に係る動きベクトル算出処理を示すフローチャートである。 図１６は、実施の形態２に係る転送の領域の例を示す図である。 図１７は、実施の形態３に係る転送の領域を示す概念図である。 図１８は、実施の形態３に係る動きベクトル算出処理を示すフローチャートである。 図１９は、実施の形態３に係る転送の領域の例を示す図である。 図２０は、実施の形態４に係る転送を示す概念図である。 図２１は、実施の形態４に係る動きベクトル算出処理を示すフローチャートである。 図２２は、実施の形態４に係る転送の例を示す図である。 図２３は、実施の形態５に係る動きベクトル算出処理を示すフローチャートである。 図２４は、実施の形態５に係る転送の例を示す図である。 図２５は、実施の形態５に係る転送の領域の第１例を示す図である。 図２６は、実施の形態５に係る転送の領域の第２例を示す図である。 図２７Ａは、実施の形態６に係る画像処理装置の構成を示す図である。 図２７Ｂは、実施の形態６に係る画像処理装置の動作を示すフローチャートである。 図２８Ａは、実施の形態７に係る画像処理装置の構成を示す図である。 図２８Ｂは、実施の形態７に係る画像処理装置の動作を示すフローチャートである。 図２９は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図３０は、デジタル放送用システムの全体構成図である。 図３１は、テレビの構成例を示すブロック図である。 図３２は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図３３は、光ディスクである記録メディアの構造例を示す図である。 図３４は、画像復号処理を実現する集積回路の構成例を示す構成図である。 図３５は、画像復号処理および画像符号化処理を実現する集積回路の構成例を示す構成図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、予測画像生成を行う画像処理装置に関して、課題の存在を見出した。以下に詳しく説明する。

画像を符号化する画像符号化装置は、画像を構成する各ピクチャを１６ｘ１６画素でそれぞれが構成される複数のマクロブロック（Ｍａｃｒｏｂｌｏｃｋ、略してＭＢと呼ぶこともある）に分割する。そして、画像符号化装置は、ラスタースキャン順に各マクロブロックを符号化する。画像符号化装置は、画像を符号化し圧縮することにより、符号化ストリームを生成する。

画像を復号する画像処理装置は、この符号化ストリームをラスタースキャン順でマクロブロック毎に復号し、元の画像の各ピクチャを再生する。例えば、特許文献１および特許文献２には、画像をマクロブロック毎に復号する装置が示されている。

また、従来の画像符号化方式の１つとしてＩＴＵ−Ｔ Ｈ．２６４規格がある。Ｈ．２６４規格で符号化された画像を復号する画像処理装置は、まず、符号化ストリームを読み込む。そして、画像処理装置は、各種ヘッダ情報の復号後、可変長復号を行う。画像処理装置は、可変長復号により得られた係数情報を逆量子化して、逆周波数変換する。これにより、差分画像が生成される。

次に、画像処理装置は、可変長復号により得られたマクロブロックタイプに応じて、面内予測または動き補償を行う。ここで、動き補償は最大１６ｘ１６画素に対して行われる。これにより、画像処理装置は、予測画像を生成する。その後、画像処理装置は、予測画像に差分画像を加算することにより、再構成処理を行う。そして、画像処理装置は、再構成画像にインループフィルタ処理を行うことで復号対象画像を復号する。

インループフィルタは、再構成画像がフレームメモリに参照画像として格納される前に適用されるフィルタである。インループフィルタとして、デブロックフィルタ、サンプルアダプティブオフセットフィルタおよびアクティブループフィルタが用いられる場合がある。一方、表示の際に適用されるフィルタは、アウトループフィルタと呼ばれる。

Ｈ．２６４規格に係る画像符号化装置は、先ほど述べた通り、１６ｘ１６画素で構成されるマクロブロック単位で画像を符号化する。しかし、符号化の単位として１６ｘ１６画素が、必ずしも最適とは限らない。一般に、画像の解像度が高くなるにつれて、隣接ブロック間の相関が高くなる。そのため、画像の解像度が高い場合、画像符号化装置は、符号化の単位を大きくした方が、より圧縮効率を向上させることができる。

近年、４Ｋ２Ｋ（３８４０ｘ２１６０画素）等のように、超高精細なディスプレイの開発が行われてきている。したがって、画像の解像度がますます高くなっていくことが予想される。Ｈ．２６４規格に係る画像符号化装置は、画像の高解像度化が進むにつれて、高解像度の画像を効率的に符号化することが困難になってきている。

一方、次世代の画像符号化規格として提案されている技術の中には、このような課題を解決する技術がある（非特許文献１）。この技術では、従来のＨ．２６４規格に対応する符号化単位ブロックのサイズが可変になる。そして、この技術に係る画像符号化装置は、従来の１６ｘ１６画素よりも大きなブロックで画像を符号化することも可能であり、超高精細画像を適切に符号化することができる。

具体的には、非特許文献１では、符号化のデータ単位として、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）が定義されている。この符号化ユニットは、従来の符号化規格におけるマクロブロックと同様に、面内予測を行うイントラ予測と、動き補償を行うインター予測とを切り替えることが可能なデータ単位であり、符号化の最も基本的なブロックとして規定されている。

この符号化ユニットのサイズは、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、６４ｘ６４画素のいずれかである。最も大きな符号化ユニットは、最大符号化ユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれる。

さらに、周波数変換のデータ単位として変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、周波数変換ユニットとも呼ばれる）が定義されている。この変換ユニットは、４ｘ４画素、８ｘ８画素、１６ｘ１６画素、１６ｘ１２画素、３２ｘ３２画素など、４ｘ４画素以上の様々な矩形のサイズに設定される。

また、さらに、イントラ予測またはインター予測のデータ単位として、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）が定義されている。予測ユニットは、符号化ユニットの内部において、６４ｘ６４画素、６４ｘ３２画素、３２ｘ６４画素、３２ｘ３２画素、３２ｘ１６画素、１６ｘ３２画素、１６ｘ１２画素など、４ｘ４画素以上の様々な矩形のサイズに設定される。予測ユニットの最大は、６４ｘ６４画素である。そして、予測は、予測ユニット毎に行われる。

画像処理装置は、予測ユニットの画像の予測を行う際、他の予測ユニットの情報を参照する場合がある。そのため、画像処理装置は、予測ユニットの情報の転送を行う必要がある。この転送によって、処理負荷および処理遅延が大きくなる。以下、より具体的に説明する。

動き補償は、予測ユニットに対して行われる。例えば、画像処理装置は、復号対象の予測ユニットである現予測ユニットに対して動き補償を行う。この時、画像処理装置は、現予測ユニットの動き補償に必要な動きベクトルを算出する。現予測ユニットの動きベクトルの算出には、現予測ユニットに時間的に隣接する予測ユニットである対応予測ユニットの情報が用いられる場合がある。

この場合において、画像処理装置は、現予測ユニットを含むピクチャとは異なるピクチャに含まれる対応予測ユニットの予測パラメータを参照して、現予測ユニットの動きベクトルを算出する。予測パラメータは、予測画像生成に用いられたパラメータであり、面内予測（イントラ予測）および動き補償（インター予測）のどちらが用いられたかを示す予測モード、動きベクトル、および、参照ピクチャ番号等の情報を含む。

また、予測パラメータは、動きベクトル情報、または、ｃｏｌＰＵ情報と呼ばれる場合がある。また、現予測ユニットを含むピクチャは、現ピクチャと呼ばれる場合がある。また、現ピクチャとは異なるピクチャは、ｃｏ−ｌｏｃａｔｅｄピクチャ、ｃｏｌＰｉｃ、または、対応ピクチャと呼ばれる場合がある。また、対応ピクチャに含まれる対応予測ユニットは、ｃｏ−ｌｏｃａｔｅｄマクロブロックまたはｃｏｌＰＵと呼ばれる場合がある。

非特許文献１の場合、画像処理装置は、まず、第１対応予測ユニットの予測パラメータである第１予測パラメータを参照する。第１対応予測ユニットは、対応ピクチャに含まれる対応予測ユニットであり、現予測ユニットの右下の位置に対応する。

第１予測パラメータが利用できない場合、画像処理装置は、第２対応予測ユニットの予測パラメータである第２予測パラメータを参照する。第２対応予測ユニットは、対応ピクチャに含まれる対応予測ユニットであり、現予測ユニットの位置に対応する。第１予測パラメータが利用できない場合として、第１対応予測ユニットが面内予測で符号化されている場合、または、第１対応予測ユニットが対応ピクチャの外部である場合等がある。

第１予測パラメータが利用可能である場合、画像処理装置は、第１予測パラメータを用いて非特許文献１に示されている計算を行うことによって、動きベクトルを算出する。第１予測パラメータが利用不可であり、第２予測パラメータが利用可能である場合、画像処理装置は、第２予測パラメータを用いて非特許文献１に示されている計算を行うことによって、動きベクトルを算出する。

第１予測パラメータおよび第２予測パラメータの両方が利用不可である場合、画像処理装置は、動きベクトルの算出に、対応予測ユニットの予測パラメータを用いない。

以上のように、非特許文献１の場合、現予測ユニットの予測画像生成の際、まず、第１予測パラメータが参照される。第１予測パラメータが利用不可である場合、第２予測パラメータが参照される。すなわち、第１予測パラメータが優先して用いられる。これにより、右下の情報が効果的に利用され、符号化効率が向上する。

しかしながら、第１予測パラメータに基づいて第２予測パラメータの要否を判定する処理では、これらの予測パラメータを保存している記憶部への通信が頻発する。そのため、動きベクトル算出処理に伴う負荷および遅延が大きくなる。

特許文献１に係る復号化装置は、現在復号しているマクロブロック以降のマクロブロックの復号に用いられる情報を先行して取得する。これにより、情報を取得するための転送時間が隠蔽される。しかし、非特許文献１では、予測画像生成に用いられる情報が、第１予測パラメータおよび第２予測パラメータのいずれかに選択的に切り替えられる。したがって、予測画像生成に用いられる情報を予め取得することは困難である。

特許文献２では、マクロブロックタイプに基づいて、ｃｏ−ｌｏｃａｔｅｄマクロブロックの情報が必要であるか否かが先行して判定される。そして、ｃｏ−ｌｏｃａｔｅｄマクロブロックの情報が必要でない場合、ｃｏ−ｌｏｃａｔｅｄマクロブロックの情報を転送しない。これにより、転送量が低減される。

しかし、非特許文献１において、第２予測パラメータの転送の要否を判定するためには、第１予測パラメータの転送が必要である。そして、判定の結果、さらに、第２予測パラメータの転送が必要になる場合がある。したがって、特許文献２の技術が用いられた場合でも、転送処理に伴う処理負荷は低減されない。

すなわち、特許文献１または特許文献２に示された技術が用いられた場合でも、予測パラメータを保存している記憶部への通信が頻発する。そのため、処理負荷および処理遅延が大きくなる。

このような課題を解決するため、本発明の一態様に係る画像処理装置は、ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる予測ユニットの予測画像生成を行う画像処理装置であって、少なくともピクチャ１つ分に対応する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを記憶するための第１記憶部と、前記複数の予測ユニットのうちの２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶するための第２記憶部と、予測画像生成のための前記２つ以上の予測パラメータを前記第１記憶部から前記第２記憶部へ、または、予測画像生成に用いられた前記２つ以上の予測パラメータを前記第２記憶部から前記第１記憶部へ、まとめて転送する転送部とを備える。

これにより、予測ユニットの情報の転送回数が減少する。したがって、予測ユニットの情報の転送に伴う処理負荷および処理遅延が減少する。

例えば、前記転送部は、それぞれが動きベクトルの情報を含む前記２つ以上の予測パラメータをまとめて転送してもよい。

これにより、動きベクトルの情報が効率的に転送される。したがって、他の予測ユニットの動きベクトルを用いる場合の処理負荷および処理遅延が減少する。

また、例えば、前記転送部は、予測画像生成のための前記２つ以上の予測パラメータを前記第１記憶部から前記第２記憶部へ、まとめて転送してもよい。

これにより、予測画像生成のための予測パラメータが効率的に転送される。したがって、予測画像生成のための予測パラメータの転送に伴う処理負荷および処理遅延が減少する。

また、例えば、前記転送部は、予測ユニットの予測画像生成に用いられる可能性を有する前記２つ以上の予測パラメータをまとめて転送してもよい。

これにより、予測パラメータの転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

また、例えば、前記転送部は、（ｉ）予測画像生成が行われる第１予測ユニットの右下の位置に対応する予測ユニットであり、前記第１予測ユニットを含む第１ピクチャとは異なる第２ピクチャに含まれる予測ユニットである第２予測ユニットの予測画像生成に用いられた予測パラメータと、（ｉｉ）前記第１予測ユニットの位置に対応する予測ユニットであり、前記第２ピクチャに含まれる予測ユニットである第３予測ユニットの予測画像生成に用いられた予測パラメータとを含む前記２つ以上の予測パラメータをまとめて転送してもよい。

これにより、右下の位置に対応する予測パラメータ、および、同一の位置に対応する予測パラメータが同時にまとめて転送される。したがって、転送回数が減少する。

また、例えば、前記転送部は、予測ユニットの予測画像生成に用いられる可能性を有する予測パラメータと当該予測ユニットの予測画像生成に用いられる可能性を有しない予測パラメータとを含む前記２つ以上の予測パラメータをまとめて転送してもよい。

これにより、１回の転送で、より多くの予測パラメータが転送される。したがって、予測パラメータの転送の繰り返しが抑制される。よって、処理負荷および処理遅延が減少する。

また、例えば、前記転送部は、予め定められた最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成のための前記２つ以上の予測パラメータをまとめて転送してもよい。

これにより、最大符号化ユニットに含まれる複数の予測ユニットの予測画像生成において、転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

また、例えば、前記転送部は、予測画像生成に用いられた前記２つ以上の予測パラメータを前記第２記憶部から前記第１記憶部へ、まとめて転送してもよい。

これにより、予測画像生成に用いられた予測パラメータが効率的に転送される。したがって、予測画像生成に用いられた予測パラメータの転送に伴う処理負荷および処理遅延が減少する。

また、例えば、前記転送部は、空間的に互いに隣接する前記２つ以上の予測ユニットの予測画像生成に用いられた前記２つ以上の予測パラメータを前記第２記憶部から前記第１記憶部において連続するアドレスへ、まとめて転送してもよい。

これにより、複数の予測パラメータが連続するアドレスにまとめて転送される。まとめて転送された複数の予測パラメータは、空間的に隣接する複数の予測ユニットに対応する。したがって、後で、予測画像生成のための複数の予測パラメータとして、空間的に隣接する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、例えば、前記転送部は、空間的に水平方向に互いに隣接する前記２つ以上の予測ユニットの予測画像生成に用いられた前記２つ以上の予測パラメータを前記第２記憶部から前記第１記憶部において連続するアドレスへ、まとめて転送してもよい。

これにより、後で、予測画像生成のための複数の予測パラメータとして、水平方向に隣接する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、例えば、前記転送部は、空間的に垂直方向に互いに隣接する前記２つ以上の予測ユニットの予測画像生成に用いられた前記２つ以上の予測パラメータを前記第２記憶部から前記第１記憶部において連続するアドレスへ、まとめて転送してもよい。

これにより、後で、予測画像生成のための複数の予測パラメータとして、垂直方向に隣接する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、例えば、前記転送部は、予め定められた最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成に用いられた前記２つ以上の予測パラメータをまとめて転送してもよい。

これにより、最大符号化ユニットに含まれる複数の予測ユニットの予測画像生成において、転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

また、例えば、前記転送部は、処理順序において連続する前記２つ以上の予測ユニットの予測画像生成に用いられた前記２つ以上の予測パラメータを前記第２記憶部から前記第１記憶部において連続するアドレスへ、まとめて転送してもよい。

これにより、後で、予測画像生成のための複数の予測パラメータとして、処理順序で連続する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、例えば、前記転送部は、予測ユニットの予測画像生成に用いられた予測パラメータを複製することにより当該予測ユニットに含まれる等間隔の複数の座標位置に対応する複数の予測パラメータを生成し、生成された前記複数の予測パラメータのそれぞれを他の予測パラメータと共に前記２つ以上の予測パラメータとして前記第２記憶部から前記第１記憶部へ、まとめて転送してもよい。

これにより、予測ユニットに含まれる座標位置に対応する予測パラメータを後で予測画像生成のための予測パラメータとして転送することが容易になる。

また、例えば、画像処理装置は、さらに、前記第１記憶部から前記第２記憶部へ転送された予測パラメータを用いて予測ユニットの予測画像生成を行う予測画像生成部を備えてもよい。

これにより、転送された予測パラメータ、すなわち、入力された予測パラメータを用いて、適切に予測が行われる。

また、例えば、画像処理装置は、さらに、前記第１記憶部から前記第２記憶部へまとめて転送された前記２つ以上の予測パラメータのうちの１つを用いて予測ユニットの予測画像生成を行う予測画像生成部を備えてもよい。

これにより、複数の予測パラメータのうちの１つが選択的に用いられる場合でも、複数の予測パラメータがまとめて転送されることにより、転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、６４ｘ６４画素、および、３２ｘ３２画素等の表現は、それぞれ、６４画素ｘ６４画素、および、３２画素ｘ３２画素等のサイズを意味する。

また、以下において、ブロック、データ単位および符号化ユニット等の表現は、それぞれ、まとまった領域を意味する。それらは、それぞれ、画像領域を意味する場合もある。あるいは、それらは、それぞれ、符号化ストリームにおけるデータ領域を意味する場合もある。

また、画像は、静止画像または動画像を構成する複数のピクチャ、１つのピクチャ、および、ピクチャの一部等のいずれでもよい。

（実施の形態１）
（１−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、対応予測ユニットの予測パラメータを参照して、現予測ユニットの動きベクトルを算出する。その際、画像処理装置は、投機的に現予測ユニットの予測画像生成に用いられる可能性のある全ての予測パラメータを取得する。これにより、対応予測ユニットの予測パラメータを取得するためのメモリアクセス回数が減少する。したがって、復号処理全体が高速化する。

（１−２．構成）
次に、本実施の形態に係る画像処理装置の構成について説明する。

図１は、本実施の形態に係る画像処理装置の構成図である。本実施の形態に係る画像処理装置は、制御部５０１、フレームメモリ５０２、再構成画像メモリ５０９、可変長復号部５０３、逆量子化部５０４、逆周波数変換部５０５、動き補償部５０６、面内予測部５０７、再構成部５０８、インループフィルタ部５１０および動きベクトル演算部５１１を備える。

制御部５０１は、画像処理装置の全体を制御する。フレームメモリ５０２は、復号された画像データを記憶するためのメモリである。再構成画像メモリ５０９は、生成された再構成画像の一部を記憶するためのメモリである。可変長復号部５０３は、符号化ストリームを読み込み、可変長符号を復号する。逆量子化部５０４は、逆量子化を行う。逆周波数変換部５０５は、逆周波数変換を行う。

動きベクトル演算部５１１は、予測動きベクトルおよび差分動きベクトル等に基づいて、動きベクトルを算出する。動きベクトル演算部５１１は、対応予測ユニットの情報に基づいて、動きベクトルを算出してもよい。そして、動きベクトル演算部５１１は、動きベクトルを動き補償部５０６に出力する。動き補償部５０６は、フレームメモリ５０２から参照画像を読み出して、動き補償を行い、予測画像を生成する。面内予測部５０７は、再構成画像メモリ５０９から参照画像を読み出して、面内予測を行い、予測画像を生成する。

再構成部５０８は、差分画像と予測画像とを加算して再構成画像を生成し、再構成画像の一部を再構成画像メモリ５０９に格納する。インループフィルタ部５１０は、再構成画像のブロックノイズを除去し、再構成画像を高画質化する。

図２は、本実施の形態に係る動き補償部５０６の周辺の構成図である。図１と同様の構成要素には同じ符号を割り当て、説明を省略する。図２には、図１で示された構成要素以外に、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）制御部５１２、参照画像記憶部５１３、予測画像記憶部５１４および動きベクトル記憶部５１５が示されている。これらは、動き補償部５０６に含まれていてもよい。また、動きベクトル記憶部５１５は、動きベクトル演算部５１１に含まれていてもよい。

ＤＭＡ制御部５１２は、現予測ユニットの座標およびサイズに基づいて、フレームメモリ５０２から動きベクトル記憶部５１５へ、対応予測ユニットの予測パラメータを転送する。動きベクトル記憶部５１５には、ＤＭＡ制御部５１２によって転送された予測パラメータが記憶される。ＤＭＡ制御部５１２は、動きベクトル記憶部５１５からフレームメモリ５０２へ、動きベクトル演算部５１１によって算出された動きベクトルを含む予測パラメータを転送する。

また、ＤＭＡ制御部５１２は、動きベクトル演算部５１１によって算出された動きベクトルに基づいて、フレームメモリ５０２から参照画像記憶部５１３へ参照画像を転送する。参照画像記憶部５１３には、ＤＭＡ制御部５１２によって転送された参照画像が記憶される。また、予測画像記憶部５１４には、動き補償部５０６によって生成された予測画像が記憶される。

（１−３．動作）
次に、本実施の形態に係る画像処理装置の動作を説明する。本実施の形態に係る画像処理装置が復号する符号化ストリームは、符号化ユニットと、変換ユニットと、予測ユニットとで構成される。

符号化ユニットは、６４ｘ６４画素〜８ｘ８画素のサイズで設定され、面内予測とインター予測との切り替え可能なデータ単位である。変換ユニットは、符号化ユニットの内部の領域において、６４ｘ６４画素〜４ｘ４画素のサイズで設定される。予測ユニットは、符号化ユニットの内部の領域において、６４ｘ６４画素〜４ｘ４画素のサイズで設定され、面内予測のための予測モード、または、インター予測のための動きベクトルを有する。以下、図３Ａ〜図５Ｂを用いて符号化ストリームの構成について説明する。

図３Ａおよび図３Ｂは、本実施の形態に係る画像処理装置が復号する画像の階層的な構成を示している。図３Ａのように、複数のピクチャのまとまりは、シーケンスと呼ばれる。また、図３Ｂのように、各ピクチャはスライスに分割され、各スライスはさらに符号化ユニットに分割される。ピクチャはスライスに分割されない場合もある。本実施の形態において、最大符号化ユニットのサイズは、６４ｘ６４画素である。

図３Ｃは、本実施の形態に係る符号化ストリームを示す図である。図３Ａおよび図３Ｂに示されたデータが階層的に符号化されることにより、図３Ｃに示された符号化ストリームが得られる。

図３Ｃに示された符号化ストリームは、シーケンスを制御するシーケンスヘッダ、ピクチャを制御するピクチャヘッダ、スライスを制御するスライスヘッダ、および、符号化ユニットレイヤデータ（ＣＵレイヤデータ）で構成される。Ｈ．２６４規格において、シーケンスヘッダは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）とも呼ばれ、ピクチャヘッダは、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）とも呼ばれる。

図４Ａは、本実施の形態に係る符号化ユニットと符号化ユニットレイヤデータの構成例を示す図である。符号化ユニットに対応する符号化ユニットレイヤデータは、ＣＵ分割フラグ、および、ＣＵデータ（符号化ユニットデータ）で構成される。このＣＵ分割フラグは、「１」の場合、符号化ユニットを４分割することを示し、「０」の場合、符号化ユニットを４分割しないことを示す。図４Ａでは、６４ｘ６４画素の符号化ユニットは、分割されない。すなわち、ＣＵ分割フラグは「０」である。

図４Ｂは、本実施の形態に係るＣＵデータの構成例を示す図である。ＣＵデータは、ＣＵタイプ、動きベクトルまたは面内予測モード、および、係数を含む。ＣＵタイプによって、予測ユニットのサイズが決定される。

図５Ａは、選択可能な予測ユニットのサイズの例を示す図である。具体的には、６４ｘ６４画素、３２ｘ６４画素、６４ｘ３２画素、３２ｘ３２画素、１６ｘ３２画素、３２ｘ１６画素、１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素、８ｘ４画素、４ｘ８画素、および、４ｘ４画素の予測ユニットが示されている。予測ユニットのサイズは、４ｘ４画素以上のサイズから選択可能である。また、予測ユニットの形状は、長方形でもよい。

そして、予測ユニット毎に、動きベクトルまたは面内予測モードが指定される。本実施の形態では、動きベクトルのみが用いられるため、図４Ｂでは動きベクトルのみが示されている。また、図５Ａのように、正方形を１：３に分割することにより得られる１６ｘ６４画素の予測ユニットおよび４８ｘ６４画素の予測ユニットが選択される場合もある。

図５Ｂは、選択可能な変換ユニットのサイズの例を示す図である。具体的には、３２ｘ３２画素、１６ｘ３２画素、３２ｘ１６画素、１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素、８ｘ４画素、４ｘ８画素、および、４ｘ４画素等の予測ユニットが示されている。図５Ｂのように、正方形を１：３に分割することにより得られる８ｘ３２画素の変換ユニットおよび２４ｘ３２画素の変換ユニットが選択される場合もある。

図６は、本実施の形態に係る現予測ユニットおよび対応予測ユニットの関係を示す図である。現予測ユニットは、復号対象（予測対象）の予測ユニットである。現予測ユニットは、現ピクチャに含まれる。対応ピクチャは、現ピクチャとは異なるピクチャである。第１対応予測ユニットは、対応ピクチャに含まれる予測ユニットであり、現予測ユニットの右下の位置に対応する。第２対応予測ユニットは、対応ピクチャに含まれる予測ユニットであり、現予測ユニットの位置に対応する。

現予測ユニットの予測画像生成には、第２対応予測ユニットの予測画像生成に用いられた予測パラメータよりも、第１対応予測ユニットの予測画像生成に用いられた予測パラメータが、優先的に用いられる。第１対応予測ユニットの予測画像生成に用いられた予測パラメータが利用可能でない場合、現予測ユニットの予測画像生成には、第２対応予測ユニットの予測画像生成に用いられた予測パラメータが用いられる。

図７は、本実施の形態に係る対応予測ユニットの位置の例を示す図である。第１対応予測ユニットは、現予測ユニットの右下の位置に対応する。第２対応予測ユニットは、現予測ユニットの位置に対応する。より具体的には、第１対応予測ユニットは、現予測ユニットの右下の座標位置に対して、１６画素で丸め処理を行うことによって得られる位置を含む予測ユニットである。第２対応予測ユニットは、現予測ユニットの中央の座標位置に対して、１６画素で丸め処理を行うことによって得られる位置を含む予測ユニットである。

なお、対応予測ユニットの位置は、上述の基準で決定される位置に限られない。対応予測ユニットの位置は、他の基準で決定されてもよい。

図８は、符号化ストリームに含まれる１シーケンスの復号動作を示すフローチャートである。図８に示すフローチャートを用いて、図１に示した画像処理装置の動作を説明する。画像処理装置は、まず、シーケンスヘッダを復号する（Ｓ９０１）。その際、可変長復号部５０３は、制御部５０１の制御に基づいて、符号化ストリームを復号する。次に、画像処理装置は、同様に、ピクチャヘッダを復号し（Ｓ９０２）、スライスヘッダを復号する（Ｓ９０３）。

次に、画像処理装置は、符号化ユニットを復号する（Ｓ９０４）。符号化ユニットの復号については後で詳しく説明する。画像処理装置は、符号化ユニットの復号後、復号された符号化ユニットがスライスの最後の符号化ユニットであるか否かを判定する（Ｓ９０５）。そして、復号された符号化ユニットがスライスの最後でない場合（Ｓ９０５でＮｏ）、再度、画像処理装置は、次の符号化ユニットを復号する（Ｓ９０４）。

さらに、画像処理装置は、復号された符号化ユニットを含むスライスがピクチャの最後のスライスであるか否かを判定する（Ｓ９０６）。そして、スライスがピクチャの最後でない場合（Ｓ９０６でＮｏ）、画像処理装置は、再度、スライスヘッダを復号する（Ｓ９０３）。

さらに、画像処理装置は、復号された符号化ユニットを含むピクチャがシーケンスの最後のピクチャであるか否かを判定する（Ｓ９０７）。そして、ピクチャがシーケンスの最後でない場合（Ｓ９０７でＮｏ）、画像処理装置は、再度、ピクチャヘッダを復号する（Ｓ９０２）。画像処理装置は、シーケンスの全てのピクチャの復号後、一連の復号動作を終了する。

図９は、１つの符号化ユニットの復号動作を示すフローチャートである。図９のフローチャートを用いて、図８の符号化ユニットの復号（Ｓ９０４）の動作を説明する。

まず、可変長復号部５０３は、入力された符号化ストリームに含まれる処理対象の符号化ユニットについて、可変長復号を行う（Ｓ１００１）。

可変長復号処理（Ｓ１００１）において、可変長復号部５０３は、符号化ユニットタイプ、面内予測（イントラ予測）モード、動きベクトルおよび量子化パラメータなどの符号化情報を出力する。本実施の形態において、出力される符号化情報には、符号化ユニットのサイズ、符号化ユニットの処理順序、予測ユニットのサイズ、変換ユニットのサイズ、および、変換ユニットの処理順序などが含まれる。また、可変長復号部５０３は、各画素データに対応する係数情報を出力する。

符号化情報は、制御部５０１に出力され、その後、各処理部に入力される。係数情報は、次の逆量子化部５０４に出力される。次に、逆量子化部５０４は、逆量子化処理を行う（Ｓ１００２）。その後、逆周波数変換部５０５は、逆周波数変換を行って差分画像を生成する（Ｓ１００３）。

次に、制御部５０１は、処理対象の符号化ユニットにインター予測が用いられるか、面内予測が用いられるかの判定を行う（Ｓ１００４）。

インター予測が用いられる場合（Ｓ１００４でＹｅｓ）、制御部５０１は、動きベクトル演算部５１１を起動する。動きベクトル演算部５１１は、動きベクトルの算出を行う（Ｓ１００５）。そして、動きベクトル演算部５１１は、動きベクトルにより指し示される参照画像をフレームメモリ５０２から転送する。次に、制御部５０１は、動き補償部５０６を起動する。そして、動き補償部５０６は、１／２画素精度または１／４画素精度等の予測画像を生成する（Ｓ１００６）。

一方、インター予測が用いられない場合（Ｓ１００４でＮｏ）、すなわち、面内予測が用いられる場合、制御部５０１は、面内予測部５０７を起動する。面内予測部５０７は、面内予測の処理を行い、予測画像を生成する（Ｓ１００７）。

再構成部５０８は、動き補償部５０６または面内予測部５０７によって出力された予測画像と、逆周波数変換部５０５によって出力された差分画像とを加算することにより、再構成画像を生成する（Ｓ１００８）。

生成された再構成画像は、インループフィルタ部５１０に入力される。同時に、面内予測で用いられる部分は、再構成画像メモリ５０９に格納される。最後に、インループフィルタ部５１０は、得られた再構成画像に対して、ノイズを低減するためのインループフィルタ処理を行う。そして、インループフィルタ部５１０は、フレームメモリ５０２に結果を格納する（Ｓ１００９）。以上で、画像処理装置は、符号化ユニットの復号動作を終了する。

図９の例では、上述の複数の処理が複数のステージに分割されている。そして、これらの複数の処理は、パイプライン処理を構成する。

図１０は、本実施の形態に係る動きベクトル算出処理を示すフローチャートである。図１０には、動きベクトル演算部５１１が対応予測ユニットの動きベクトルを用いて、現予測ユニットの動きベクトルを算出する処理が示されている。

まず、動きベクトル演算部５１１は、現予測ユニットの座標およびサイズから、第１対応予測ユニットの位置を算出する。そして、ＤＭＡ制御部５１２は、第１対応予測ユニットの位置に基づいて、フレームメモリ５０２から動きベクトル記憶部５１５へ、第１対応予測ユニットの予測パラメータである第１予測パラメータを転送する（Ｓ１１００）。これにより、動きベクトル演算部５１１は、第１予測パラメータを取得することができる。

また、同様に、動きベクトル演算部５１１は、現予測ユニットの座標およびサイズから、第２対応予測ユニットの位置を算出する。そして、ＤＭＡ制御部５１２は、第２対応予測ユニットの位置に基づいて、フレームメモリ５０２から動きベクトル記憶部５１５へ、第２対応予測ユニットの予測パラメータである第２予測パラメータを転送する（Ｓ１１０１）。これにより、動きベクトル演算部５１１は、第２予測パラメータを取得することができる。

次に、動きベクトル演算部５１１は、動きベクトル記憶部５１５へ転送された第１予測パラメータが利用可能であるか否かを判定する（Ｓ１１０２）。例えば、動きベクトル演算部５１１は、第１予測パラメータにより示される予測モードがインター予測であるか否かを判定することにより、第１予測パラメータが利用可能であるか否かを判定する。

第１予測パラメータが利用可能である場合（Ｓ１１０２でＹｅｓ）、動きベクトル演算部５１１は、第１予測パラメータを用いて動きベクトルを算出する（Ｓ１１０３）。

第１予測パラメータが利用可能でない場合（Ｓ１１０２でＮｏ）、動きベクトル演算部５１１は、動きベクトル記憶部５１５へ転送された第２予測パラメータが利用可能であるか否かを判定する（Ｓ１１０４）。例えば、動きベクトル演算部５１１は、第２予測パラメータにより示される予測モードがインター予測であるか否かを判定することにより、第２予測パラメータが利用可能であるか否かを判定する。

第２予測パラメータが利用可能である場合（Ｓ１１０４でＹｅｓ）、動きベクトル演算部５１１は、第２予測パラメータを用いて動きベクトルを算出する（Ｓ１１０５）。第２予測パラメータが利用可能でない場合（Ｓ１１０４でＮｏ）、動きベクトル演算部５１１は、対応予測ユニットの予測パラメータから動きベクトルを算出しない（Ｓ１１０６）。

図１１は、図１０に示された処理によって予測パラメータが転送される領域の例を示す図である。図１１の上段には、現ピクチャに含まれる複数の予測ユニット０〜２３が示されている。図１１の中段には、対応ピクチャに含まれる複数の予測ユニット０〜４７が示されている。

この例において、現ピクチャの予測ユニット０に対応する第１対応予測ユニットは、対応ピクチャの予測ユニット４０である。また、現ピクチャの予測ユニット０に対応する第２対応予測ユニットは、対応ピクチャの予測ユニット０である。したがって、現ピクチャの予測ユニット０が予測される場合、対応ピクチャの予測ユニット４０の予測パラメータと、対応ピクチャの予測ユニット０の予測パラメータとが、まとめて転送される。

また、現ピクチャの予測ユニット１２に対応する第１対応予測ユニットは、対応ピクチャの予測ユニット１３である。また、現ピクチャの予測ユニット１２に対応する第２対応予測ユニットは、対応ピクチャの予測ユニット３である。したがって、現ピクチャの予測ユニット１２が予測される場合、対応ピクチャの予測ユニット１３の予測パラメータと、対応ピクチャの予測ユニット３の予測パラメータとが、まとめて転送される。

以上の処理により、画像処理装置は、第１予測パラメータが利用可能であるか否かにかかわらず、第２予測パラメータが投機的に転送される。これにより、フレームメモリ５０２の通信回数が減少する。これにより、メモリアクセスレイテンシによる処理遅延が小さくなる。

図１２は、予測パラメータが投機的に取得されない場合の例を示す。図１２の上段では、第１予測パラメータが利用可能であるため、フレームメモリ５０２の通信回数は増加しない。しかし、図１２の下段では、第１予測パラメータが利用可能でないため、別途の指示によって、第２予測パラメータの転送が必要である。したがって、フレームメモリ５０２の通信回数が増加する。

図１３は、予測パラメータが投機的に取得される場合の例を示す。図１３では、第１予測パラメータと第２予測パラメータが、１回の指示でまとめて転送される。図１３の上段では、第１予測パラメータが利用可能であるため、転送された第１予測パラメータ、および、転送された第２予測パラメータのうち、第１予測パラメータが用いられる。この場合、フレームメモリ５０２の通信回数は増加しない。

また、図１３の下段では、第１予測パラメータが利用可能でないため、転送された第１予測パラメータ、および、転送された第２予測パラメータのうち、第２予測パラメータが用いられる。この場合も、フレームメモリ５０２の通信回数は増加しない。

図１３のように、予測パラメータが投機的に取得された場合、フレームメモリ５０２へのアクセス回数が低減される。そのため、メモリアクセスレイテンシによる遅延時間が小さい。図１２の下段の場合に比べ、動きベクトル算出に必要な時間が減少する。

なお、図１３の例において１回で転送されるデータ量は、図１２の例よりも大きい。したがって、データが転送されている時間は減少しないと推定される。しかし、転送回数の削減によって、転送の指示などに伴うオーバーヘッドを含む全体の転送時間が減少する。転送回数の削減は、データ量が比較的小さい予測パラメータの転送時間の削減に、特に有効である。

（１−４．効果）
このように、本実施の形態に係る画像処理装置は、対応ピクチャに含まれる複数の対応予測ユニットに対応する複数の予測パラメータを参照して、現ピクチャに含まれる現予測ユニットの動きベクトルを算出する。この時、投機的に複数の予測パラメータが転送される。これにより、メモリへのアクセス回数が減少し、復号処理全体が高速化する。

（１−５．補足）
なお、本実施の形態では、動きベクトルの算出で参照される予測パラメータの数は、２つである。しかし、動きベクトルの算出で参照される予測パラメータの数は、３つ以上でもよい。

また、本実施の形態において、対応ピクチャにおける第１対応予測ユニットの位置は、現予測ユニットの右下の位置に対応する。また、対応ピクチャにおける第２対応予測ユニットの位置は、現予測ユニットの位置に対応する。しかし、各対応予測ユニットの位置は、必ずしもこの位置でなくてもよい。各対応予測ユニットの位置は、現予測ユニットの左下の位置、または、現予測ユニットの下の位置等のように、どのような位置でもよい。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。これらは、データの記憶が可能な記憶素子であれば、メモリ、フリップフロップまたはレジスタなどいずれの構成でもよい。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されない。復号処理を逆の手順で実行する画像符号化装置も、同様に、予測パラメータの転送を行うことが可能である。

また、本実施の形態では、動き補償が例として記載されている。しかし、画像処理装置は、面内予測の場合でも、同様の処理を実行することで、同様の効果を得ることができる。なお、この場合、動きベクトルに代えて、面内予測モードが用いられてもよい。もちろん、予測画像生成に用いられた他の情報が用いられてもよい。また、この場合、空間的に異なるピクチャ、例えば視点の異なるピクチャが対応ピクチャとして用いられてもよい。もちろん、その他のピクチャが対応ピクチャとして用いられてもよい。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でも構わない。

（実施の形態２）
（２−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、対応予測ユニットの予測パラメータを参照して、現予測ユニットの動きベクトルを算出する。その際、画像処理装置は、現予測ユニットの予測画像生成に用いられる可能性のない予測パラメータを含む複数の予測パラメータを投機的に取得する。これにより、対応予測ユニットの予測パラメータを取得するためのメモリアクセス回数が減少する。したがって、復号処理全体が高速化する。

また、実施の形態１よりも、画像処理装置は、より多くの予測パラメータを投機的に取得する。そのため、メモリアクセス回数がさらに減少する。したがって、実施の形態１よりも復号処理が高速化する。

図１４は、本実施の形態に係る画像処理装置によって、予測パラメータが転送される領域が示されている。本実施の形態では、転送の領域には、第１対応予測ユニットおよび第２対応予測ユニットが含まれる。さらに、その他の領域が、転送の領域に含まれる。すなわち、第１対応予測ユニットの第１予測パラメータ、および、第２対応予測ユニットの第２予測パラメータだけではなく、その他の予測パラメータもまとめて転送される。

（２−２．構成）
図１は、本実施の形態に係る画像処理装置の構成図である。図２は、本実施の形態に係る動き補償部５０６の周辺の構成図である。本実施の形態に係る画像処理装置の構成は、実施の形態１と全て同じであるので、説明を省略する。

（２−３．動作）
本実施の形態では、実施の形態１と同様に、図３Ａ〜図５Ｂに示された符号化ストリームの構造が用いられる。本実施の形態に係る画像処理装置の動作フローは、図８および図９に示された実施の形態１の動作フローと同様であるので、説明を省略する。

図１５は、本実施の形態に係る動きベクトル演算部５１１の動作を示すフローチャートである。以下、本実施の形態に係る動きベクトル演算部５１１の動作について図１５を用いて説明する。

まず、動きベクトル演算部５１１は、現予測ユニットの座標およびサイズから、第１対応予測ユニットの位置を算出する。また、動きベクトル演算部５１１は、同様に、第２対応予測ユニットの位置を算出する。そして、動きベクトル演算部５１１は、動きベクトル記憶部５１５が第１および第２の予測パラメータを保持しているか否かを判定する（Ｓ１２００）。

動きベクトル記憶部５１５が必要な予測パラメータを保持していない場合（Ｓ１２００でＮｏ）、動きベクトル演算部５１１は、少なくとも第１および第２の予測パラメータを含む２つ以上の予測パラメータを取得する。この時、ＤＭＡ制御部５１２は、２つ以上の予測パラメータをフレームメモリ５０２から動きベクトル記憶部５１５へ転送する（Ｓ１２０１）。既に、動きベクトル記憶部５１５が必要な予測パラメータを保持している場合（Ｓ１２００でＹｅｓ）、転送処理（Ｓ１２０１）は行われない。

なお、動きベクトル演算部５１１は、動きベクトル記憶部５１５が保持している予測パラメータを除外して、２つ以上の予測パラメータを転送してもよい。例えば、動きベクトル記憶部５１５が第２予測パラメータを保持している場合、動きベクトル演算部５１１は、第１予測パラメータを含む２つ以上の予測パラメータを転送してもよい。

次に、動きベクトル演算部５１１は、動きベクトル記憶部５１５の第１予測パラメータがイントラ予測を示すか否かを判定することにより、第１予測パラメータが利用可能か否かを判定する（Ｓ１２０２）。第１予測パラメータが利用可能である場合（Ｓ１２０２でＹｅｓ）、動きベクトル演算部５１１は、第１予測パラメータを用いて動きベクトルを算出する（Ｓ１２０３）。

第１予測パラメータが利用可能でない場合（Ｓ１２０２でＮｏ）、動きベクトル演算部５１１は、動きベクトル記憶部５１５の第２予測パラメータがイントラ予測を示すか否かを判定することにより、第２予測パラメータが利用可能であるか否かを判定する（Ｓ１２０４）。第２予測パラメータが利用可能である場合（Ｓ１２０４でＹｅｓ）、動きベクトル演算部５１１は、第２予測パラメータを用いて動きベクトルを算出する（Ｓ１２０５）。

第２予測パラメータが利用可能でない場合（Ｓ１２０４でＮｏ）、動きベクトル演算部５１１は、対応予測ユニットの予測パラメータから動きベクトルを算出しない（Ｓ１２０６）。

以上の処理により、動きベクトル演算部５１１は、第１予測パラメータが利用可能であるか否かにかかわらず、第２予測パラメータを投機的に取得する。さらに、動きベクトル演算部５１１は、その他の予測パラメータも投機的に取得する。これにより、フレームメモリ５０２の通信回数が減少する。また、メモリアクセスレイテンシによる処理遅延が減少する。

図１６は、本実施の形態において、投機的に予測パラメータが転送される領域を示す。なお、図１６には示されていないが、現ピクチャの複数の予測ユニットの構成は、図１１と同様である。また、図１６の対応ピクチャの複数の予測ユニットの構成は、図１１と同様である。

図１６に示された対応ピクチャのマップは、座標位置と予測ユニット（その予測パラメータ）との対応関係を示している。例えば、フレームメモリ５０２において、対応ピクチャのマップのように、座標位置と予測ユニット（その予測パラメータ）とが関連づけられている。

画像処理装置は、現ピクチャの予測ユニット１２（図１１参照）を処理する際に、第１予測パラメータとして対応ピクチャの予測ユニット１３の予測パラメータを転送する。また、この時、画像処理装置は、第２予測パラメータとして対応ピクチャの予測ユニット３の予測パラメータも一緒に投機的に転送する。

さらに、画像処理装置は、対応ピクチャの予測ユニット５、７、８および２２の予測パラメータ（図１６参照）も一緒に投機的に転送する。これにより、現ピクチャの予測ユニット１４の動きベクトルの算出に必要な第１予測パラメータとして対応ピクチャの予測ユニット２２の予測パラメータと、第２予測パラメータとして対応ピクチャの予測ユニット５の予測パラメータも、まとめて転送される。

したがって、フレームメモリ５０２の通信回数が減少する。これにより、メモリアクセスレイテンシによる遅延時間が減少する。したがって、動きベクトルの算出に必要な時間が減少する。

（２−４．効果）
このように、画像処理装置は、対応予測ユニットの予測パラメータを用いて動きベクトルを算出する場合、現予測ユニットの予測画像生成に用いられる可能性のない予測パラメータを含む複数の予測パラメータを投機的に転送する。これにより、メモリアクセス回数が減少し、復号処理全体が高速化する。

（２−５．補足）
なお、本実施の形態では、動きベクトルの算出で参照される予測パラメータの数は、２つである。しかし、動きベクトルの算出で参照される予測パラメータの数は、３つ以上でもよい。

また、本実施の形態において、対応ピクチャにおける第１対応予測ユニットの位置は、現予測ユニットの右下の位置に対応する。また、対応ピクチャにおける第２対応予測ユニットの位置は、現予測ユニットの位置に対応する。しかし、各対応予測ユニットの位置は、必ずしもこの位置でなくてもよい。各対応予測ユニットの位置は、現予測ユニットの左下の位置、または、現予測ユニットの下の位置等のように、どのような位置でもよい。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。これらは、データの記憶が可能な記憶素子であれば、メモリ、フリップフロップまたはレジスタなどいずれの構成でもよい。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されない。復号処理を逆の手順で実行する画像符号化装置も、同様に、予測パラメータの転送を行うことが可能である。

また、本実施の形態では、動き補償が例として記載されている。しかし、画像処理装置は、面内予測の場合でも、同様の処理を実行することで、同様の効果を得ることができる。なお、この場合、動きベクトルに代えて、面内予測モードが用いられてもよい。もちろん、予測画像生成に用いられた他の情報が用いられてもよい。また、この場合、空間的に異なるピクチャ、例えば視点の異なるピクチャが対応ピクチャとして用いられてもよい。もちろん、その他のピクチャが対応ピクチャとして用いられてもよい。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でも構わない。

（実施の形態３）
（３−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、対応予測ユニットの予測パラメータを参照して、現予測ユニットの動きベクトルを算出する。その際、画像処理装置は、現予測ユニットを含む最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成に必要な全ての予測パラメータを取得する。これにより、対応予測ユニットの予測パラメータを取得するためのメモリアクセス回数が減少する。したがって、復号処理全体が高速化する。

また、実施の形態１よりも、画像処理装置は、より多くの予測パラメータを投機的に取得する。そのため、メモリアクセス回数がさらに減少する。したがって、実施の形態１よりも復号処理が高速化する。

図１７は、本実施の形態に係る画像処理装置によって、予測パラメータが転送される領域が示されている。本実施の形態では、転送の領域には、第１対応予測ユニットおよび第２対応予測ユニットが含まれる。さらに、最大符号化ユニットに対応するその他の領域が、転送の領域に含まれる。すなわち、第１対応予測ユニットの第１予測パラメータ、および、第２対応予測ユニットの第２予測パラメータだけではなく、最大符号化ユニットに対応するその他の予測パラメータもまとめて転送される。

（３−２．構成）
図１は、本実施の形態に係る画像処理装置の構成図である。図２は、本実施の形態に係る動き補償部５０６の周辺の構成図である。本実施の形態に係る画像処理装置の構成は、実施の形態１と全て同じであるので、説明を省略する。

（３−３．動作）
本実施の形態では、実施の形態１、２と同様に、図３Ａ〜図５Ｂに示された符号化ストリームの構造が用いられる。本実施の形態に係る画像処理装置の動作フローは、図８および図９に示された実施の形態１の動作フローと同様であるので、説明を省略する。

図１８は、本実施の形態に係る動きベクトル演算部５１１の動作を示すフローチャートである。以下、本実施の形態に係る動きベクトル演算部５１１の動作について図１８を用いて説明する。

まず、動きベクトル演算部５１１は、現予測ユニットを含む最大符号化ユニットの座標およびサイズから、最大符号化ユニットに含まれる全ての予測ユニットについて、第１および第２の対応予測ユニットの位置を算出する。ＤＭＡ制御部５１２は、フレームメモリ５０２から動きベクトル記憶部５１５へ、最大符号化ユニットに含まれる全ての予測ユニットに対応する全ての第１および第２の予測パラメータを転送する（Ｓ１３００）。

次に、動きベクトル演算部５１１は、現予測ユニットについて、動きベクトル記憶部５１５の第１予測パラメータがイントラ予測を示すか否かを判定することにより、第１予測パラメータが利用可能であるか否かを判定する（Ｓ１３０１）。第１予測パラメータが利用可能である場合（Ｓ１３０１でＹｅｓ）、動きベクトル演算部５１１は、第１予測パラメータを用いて動きベクトルを算出する（Ｓ１３０２）。

第２予測パラメータが利用可能でない場合（Ｓ１３０１でＮｏ）、動きベクトル演算部５１１は、動きベクトル記憶部５１５の第２予測パラメータがイントラ予測を示すか否かを判定することにより、第２予測パラメータが利用可能であるか否かを判定する（Ｓ１３０３）。第２予測パラメータが利用可能である場合（Ｓ１３０３でＹｅｓ）、動きベクトル演算部５１１は、第２予測パラメータを用いて動きベクトルを算出する（Ｓ１３０４）。

第２予測パラメータが利用可能でない場合（Ｓ１３０３でＮｏ）、動きベクトル演算部５１１は、対応予測ユニットの予測パラメータから動きベクトルを算出しない（Ｓ１３０５）。

上記一連の処理（Ｓ１３０１〜Ｓ１３０５）が完了した後、動きベクトル演算部５１１は、現予測ユニットを含む最大符号化ユニットに含まれる全ての予測ユニットについて処理が完了しているか否かを判定する（Ｓ１３０６）。

そして、動きベクトル演算部５１１は、全ての予測ユニットについて処理が完了していない場合（Ｓ１３０６でＮｏ）、一連の処理（Ｓ１３０１〜Ｓ１３０５）を再び実施する。全ての予測ユニットについて処理が完了している場合（Ｓ１３０６でＹｅｓ）、動きベクトル演算部５１１は、最大符号化ユニットに含まれる全て予測ユニットについて、動きベクトルの算出を終了する。

以上の処理により、動きベクトル演算部５１１は、投機的に現予測ユニットを含む最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成に用いられる可能性を有する全ての予測パラメータを取得する。これにより、フレームメモリ５０２の通信回数が減少する。また、メモリアクセスレイテンシによる処理遅延が減少する。

図１９は、投機的に予測パラメータが転送される領域を示す。なお、現ピクチャの複数の予測ユニットの構成は、図１１と同様である。そして、図１９の太枠は、最大符号化ユニットを示す。また、図１９には示されていないが、対応ピクチャの複数の予測ユニットの構成は、図１６と同様である。そして、図１６と同様、対応ピクチャのマップのように、座標位置と予測ユニット（その予測パラメータ）とが関連づけられている。

本実施の形態に係る画像処理装置は、現予測ユニットを含む最大符号化ユニットに含まれる予測ユニットの予測画像生成に用いられる可能性を有する全ての予測パラメータを転送する。図１９のように、画像処理装置は、例えば、現ピクチャの予測ユニット１を処理する際に、対応ピクチャの予測ユニット１〜８、１３、２２、４０〜４２および４７に対応する複数の予測パラメータを投機的に転送する。

これにより、現ピクチャの予測ユニット１を含む最大符号化ユニットに含まれる予測ユニット１〜１６の動きベクトルの算出に参照される可能性を有する全ての予測パラメータが動きベクトル記憶部５１５に保持される。したがって、フレームメモリ５０２の通信回数が減少する。これにより、メモリアクセスレイテンシによる遅延時間が減少する。したがって、動きベクトル算出に必要な時間が減少する。

（３−４．効果）
このように、画像処理装置は、対応予測ユニットの予測パラメータを用いて動きベクトルを算出する場合、現予測ユニットを含む最大符号化ユニットに含まれる予測ユニットの参照画像生成に用いられる可能性を有する全ての予測パラメータを投機的に転送する。これにより、メモリアクセス回数が減少し、復号処理全体が高速化する。

（３−５．補足）
なお、本実施の形態では、動きベクトルの算出で参照される予測パラメータの数は、２つである。しかし、動きベクトルの算出で参照される予測パラメータの数は、３つ以上でもよい。

また、本実施の形態において、対応ピクチャにおける第１対応予測ユニットの位置は、現予測ユニットの右下の位置に対応する。また、対応ピクチャにおける第２対応予測ユニットの位置は、現予測ユニットの位置に対応する。しかし、各対応予測ユニットの位置は、必ずしもこの位置でなくてもよい。各対応予測ユニットの位置は、現予測ユニットの左下の位置、または、現予測ユニットの下の位置等のように、どのような位置でもよい。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。これらは、データの記憶が可能な記憶素子であれば、メモリ、フリップフロップまたはレジスタなどいずれの構成でもよい。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されない。復号処理を逆の手順で実行する画像符号化装置も、同様に、予測パラメータの転送を行うことが可能である。

また、本実施の形態では、動き補償を例として記載されている。しかし、画像処理装置は、面内予測の場合でも、同様の処理を実行することで、同様の効果を得ることができる。なお、この場合、動きベクトルに代えて、面内予測モードが用いられてもよい。もちろん、予測画像生成に用いられた他の情報が用いられてもよい。また、この場合、空間的に異なるピクチャ、例えば視点の異なるピクチャが対応ピクチャとして用いられてもよい。もちろん、その他のピクチャが対応ピクチャとして用いられてもよい。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でも構わない。

（実施の形態４）
（４−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、対応予測ユニットの予測パラメータを参照して、現予測ユニットの動きベクトルを算出する。その際、画像処理装置は、空間的に隣接する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータをまとめて転送（保存）する。これにより、メモリアクセス回数が減少する。したがって、復号処理全体が高速化する。

実施の形態４では、実施の形態１、実施の形態２、および、実施の形態３とは異なり、予測パラメータを保存する際のメモリアクセス回数が減少する。これにより、復号処理全体が高速化する。また、画像処理装置は、処理順序によらず、空間的に隣接する複数の予測ユニットに対応する複数の予測パラメータを連続したアドレスに保存する。これにより、画像処理装置は、処理順序に関する情報を用いずに、予測パラメータを取得できる。したがって、予測パラメータを参照する際の演算量が削減される。

図２０は、本実施の形態に係る画像処理装置によって、予測パラメータが転送される領域が示されている。本実施の形態では、現予測ユニットの予測画像生成に用いられた予測パラメータがフレームメモリへ転送される。その際、画像処理装置は、現予測ユニットの予測画像生成に用いられた予測パラメータを、他の予測ユニットの予測画像生成に用いられた予測パラメータと共にまとめてフレームメモリへ転送する。

（４−２．構成）
図１は、本実施の形態に係る画像処理装置の構成図である。図２は、本実施の形態に係る動き補償部５０６の周辺の構成図である。本実施の形態に係る画像処理装置の構成は、実施の形態１と全て同じであるので、説明を省略する。

（４−３．動作）
本実施の形態では、実施の形態１、２と同様に、図３Ａ〜図５Ｂに示された符号化ストリームの構造が用いられる。本実施の形態に係る画像処理装置の動作フローは、図８および図９に示された実施の形態１の動作フローと同様であるので、説明を省略する。

図２１は、本実施の形態に係る動きベクトル演算部５１１の動作を示すフローチャートである。本実施の形態に係る動きベクトル演算部５１１は、動きベクトルを算出して、算出された動きベクトルをフレームメモリ５０２に保存する。この時、より具体的には、動きベクトル演算部５１１は、算出された動きベクトルを含む予測パラメータを動きベクトル記憶部５１５に格納する。そして、動きベクトル演算部５１１は、ＤＭＡ制御部５１２によって、動きベクトル記憶部５１５からフレームメモリ５０２へ、予測パラメータを転送する。

以下、本実施の形態に係る動きベクトル演算部５１１の上記の動作について図２１を用いて詳細に説明する。なお、ここでは、最大符号化ユニットのサイズは、座標（０，０）〜座標（６３，６３）で構成される６４ｘ６４画素であると仮定する。

まず、動きベクトル演算部５１１は、現予測ユニットの動きベクトルを算出する（Ｓ１４００）。次に、動きベクトル演算部５１１は、最大符号化ユニットに含まれる全ての予測ユニットについて、動きベクトルの算出が完了したか否かを判定する（Ｓ１４０１）。最大符号化ユニットに含まれる全ての予測ユニットについて、動きベクトルの算出が完了していない場合（Ｓ１４０１でＮｏ）、動きベクトル演算部５１１は、動きベクトルが算出されていない予測ユニットの動きベクトルを算出する（Ｓ１４００）。

最大符号化ユニットに含まれる全ての予測ユニットについて動きベクトルの算出が完了している場合（Ｓ１４０１でＹｅｓ）、動きベクトル演算部５１１は、最大符号化ユニットに対応する全ての予測パラメータを転送する（Ｓ１４０２〜Ｓ１４０５）。この時、動きベクトル演算部５１１は、ＤＭＡ制御部５１２によって、次のように、予測パラメータを転送する。

まず、ＤＭＡ制御部５１２は、最大符号化ユニットにおいて１行目の座標に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスにまとめて転送する（Ｓ１４０２）。具体的には、ＤＭＡ制御部５１２は、最大符号化ユニットにおける座標（０，０）の画素を含む予測ユニットの予測パラメータ、座標（１６，０）の画素を含む予測ユニットの予測パラメータ、座標（３２，０）の画素を含む予測ユニットの予測パラメータ、および、座標（４８，０）の画素を含む予測ユニットの予測パラメータを転送する。

次に、ＤＭＡ制御部５１２は、最大符号化ユニットにおいて２行目の座標に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスにまとめて転送する（Ｓ１４０３）。具体的には、ＤＭＡ制御部５１２は、最大符号化ユニットにおける座標（０，１６）の画素を含む予測ユニットの予測パラメータ、座標（１６，１６）の画素を含む予測ユニットの予測パラメータ、座標（３２，１６）の画素を含む予測ユニットの予測パラメータ、および、座標（４８，１６）の画素を含む予測ユニットの予測パラメータを転送する。

次に、ＤＭＡ制御部５１２は、最大符号化ユニットにおいて３行目の座標に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスにまとめて転送する（Ｓ１４０４）。具体的には、ＤＭＡ制御部５１２は、最大符号化ユニットにおける座標（０，３２）の画素を含む予測ユニットの予測パラメータ、座標（１６，３２）の画素を含む予測ユニットの予測パラメータ、座標（３２，３２）の画素を含む予測ユニットの予測パラメータ、および、座標（４８，３２）の画素を含む予測ユニットの予測パラメータを転送する。

次に、ＤＭＡ制御部５１２は、最大符号化ユニットにおいて４行目の座標に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスにまとめて転送する（Ｓ１４０５）。具体的には、ＤＭＡ制御部５１２は、最大符号化ユニットにおける座標（０，４８）の画素を含む予測ユニットの予測パラメータ、座標（１６，４８）の画素を含む予測ユニットの予測パラメータ、座標（３２，４８）の画素を含む予測ユニットの予測パラメータ、および、座標（４８，４８）の画素を含む予測ユニットの予測パラメータを転送する。

ＤＭＡ制御部５１２は、次の最大符号化ユニットについても、同様に、水平方向に並ぶ複数の座標に対応する複数の予測パラメータをフレームメモリ５０２において連続するアドレスに保存する。

この際、ＤＭＡ制御部５１２は、前の最大符号化ユニットに対して水平方向に続けて、次の最大符号化ユニットの複数の予測パラメータをフレームメモリ５０２に保存する。例えば、ＤＭＡ制御部５１２は、次の最大符号化ユニットの１行目に対応する４つの予測パラメータが前の最大符号化ユニットの１行目に対応する４つの予測パラメータにフレームメモリ５０２において連続するように、複数の予測パラメータを転送する。

以上の処理により、画像処理装置は、空間的に隣接する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータをまとめて保存する。これにより、予測ユニットの動きベクトルの保存において、メモリアクセス回数が減少する。したがって、復号処理全体が高速化する。

また、画像処理装置は、処理順序によらず、空間的に隣接する複数の予測ユニットに対応する複数の予測パラメータをフレームメモリ５０２において連続するアドレスに保存する。これにより、画像処理装置は、対応ピクチャの処理順序に関する情報を用いずに、予測パラメータを取得できる。

図２２は、本実施の形態における予測パラメータの保存の例を示す図である。図２２は、図１１と同様の対応ピクチャが現ピクチャとして処理される場合の動作を示す。図２２の例において、現ピクチャとして処理される対応ピクチャの１つ目の最大符号化ユニットに含まれる予測ユニット０の動きベクトルが算出された場合、１つ目の最大符号化ユニットに対応する全ての動きベクトルは算出されたと判定される。

そして、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，０）、（１６，０）、（３２，０）、（４８，０）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。図２２の例では、これらの４つの予測パラメータは、いずれも予測ユニット０に対応する予測パラメータである。

次に、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，１６）、（１６，１６）、（３２，１６）、（４８，１６）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。図２２の例では、これらの４つの予測パラメータは、いずれも予測ユニット０に対応する予測パラメータである。

次に、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，３２）、（１６，３２）、（３２，３２）、（４８，３２）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。図２２の例では、これらの４つの予測パラメータは、いずれも予測ユニット０に対応する予測パラメータである。

次に、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，４８）、（１６，４８）、（３２，４８）、（４８，４８）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。図２２の例では、これらの４つの予測パラメータは、いずれも予測ユニット０に対応する予測パラメータである。

さらに、図２２の例において、対応ピクチャの２つ目の最大符号化ユニットに含まれる予測ユニット１〜７の動きベクトルが算出された場合、２つ目の最大符号化ユニットに対応する全ての動きベクトルが算出されたと判定される。

そして、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，０）、（１６，０）、（３２，０）、（４８，０）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。これらの４つの予測パラメータは、順に、予測ユニット１の予測パラメータ、予測ユニット１の予測パラメータ、予測ユニット２の予測パラメータ、および、予測ユニット３の予測パラメータである。

ＤＭＡ制御部５１２は、これらの４つの予測パラメータを１つ目の最大符号化ユニット内の座標（０，０）、（１６，０）、（３２，０）、（４８，０）に対応する４つの予測パラメータのアドレスに続けてフレームメモリ５０２に保存する。

次に、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，１６）、（１６，１６）、（３２，１６）、（４８，１６）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。これらの４つの予測パラメータは、順に、予測ユニット１の予測パラメータ、予測ユニット１の予測パラメータ、予測ユニット４の予測パラメータ、および、予測ユニット５の予測パラメータである。

ＤＭＡ制御部５１２は、これらの４つの予測パラメータを１つ目の最大符号化ユニット内の座標（０，１６）、（１６，１６）、（３２，１６）、（４８，１６）に対応する４つの予測パラメータのアドレスに続けてフレームメモリ５０２に保存する。

次に、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，３２）、（１６，３２）、（３２，３２）、（４８，３２）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。これらの４つの予測パラメータは、順に、予測ユニット６の予測パラメータ、予測ユニット６の予測パラメータ、予測ユニット７の予測パラメータ、および、予測ユニット７の予測パラメータである。

ＤＭＡ制御部５１２は、これらの４つの予測パラメータを１つ目の最大符号化ユニット内の座標（０，３２）、（１６，３２）、（３２，３２）、（４８，３２）に対応する４つの予測パラメータのアドレスに続けてフレームメモリ５０２に保存する。

次に、ＤＭＡ制御部５１２は、最大符号化ユニット内の座標（０，４８）、（１６，４８）、（３２，４８）、（４８，４８）に対応する４つの予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。これらの４つの予測パラメータは、順に、予測ユニット６の予測パラメータ、予測ユニット６の予測パラメータ、予測ユニット７の予測パラメータ、および、予測ユニット７の予測パラメータである。

ＤＭＡ制御部５１２は、これらの４つの予測パラメータを１つ目の最大符号化ユニット内の座標（０，４８）、（１６，４８）、（３２，４８）、（４８，４８）に対応する４つの予測パラメータのアドレスに続けてフレームメモリ５０２に保存する。

上記の手順を繰り返すことにより、図２２の下段に示された対応ピクチャのマップのように、複数の予測ユニットに対応する複数の予測パラメータがフレームメモリ５０２に保存される。

これにより、空間的に隣接する複数の予測ユニットに対応する複数の予測パラメータが、連続するアドレスにまとめて保存される。したがって、後で、空間的に隣接する複数の予測ユニットに対応する複数の予測パラメータを取得することが容易になる。また、図２２の下段のように、１つの予測ユニットに対応する１の予測パラメータが複製され、複数の座標位置に対応する複数の予測パラメータが生成される。これにより、後で、座標位置に応じて、予測パラメータを取得することが容易になる。

また、図２２の例では、複数の予測パラメータが、１６ｘ１６画素毎に保存される。図７のように、丸め処理が行われる場合、１６ｘ１６画素毎に１つの予測パラメータが保存されればよい。したがって、１６ｘ１６画素内の複数の予測ユニットに対応する複数の予測パラメータが、１つの予測パラメータに集約されて転送されてもよい。

（４−４．効果）
このように、画像処理装置は、空間的に隣接する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータをまとめて転送（保存）する。これにより、予測ユニットの予測パラメータを保存するためのメモリアクセス回数が減少する。したがって、復号処理全体が高速化する。

また、処理順序によらず、空間的に隣接する複数の予測ユニットに対応する複数の予測パラメータを連続するアドレスに保存する。これにより、画像処理装置は、対応ピクチャの処理順序に関する情報を用いずに、予測パラメータを取得できる。したがって、予測パラメータを参照する際の演算量が削減される。

（４−５．補足）
なお、本実施の形態では、まとめて転送される予測パラメータの数が４つである。しかし、まとめて転送される予測パラメータの数は、２つでもよいし、３つでもよいし、５つ以上でもよい。

また、本実施の形態に係る画像処理装置は、空間的に水平方向に隣接する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを連続するアドレスに保存する。しかし、これらの複数の予測ユニットは、水平方向に限らず、空間的に隣接する複数の予測ユニットでもよい。例えば、これらの複数の予測ユニットは、空間的に垂直方向に隣接する複数の予測ユニットでもよい。

また、本実施の形態に係る最大符号化ユニットのサイズは６４ｘ６４画素である。しかし、最大符号化ユニットのサイズは、このサイズに限られず、いかなるサイズでもよい。例えば、最大符号化ユニットのサイズは、３２ｘ３２画素、１６ｘ１６画素、または、６４ｘ３２画素でもよい。

また、本実施の形態では、保存される予測パラメータに対応するデータ単位は、１６ｘ１６画素である。しかし、保存のデータ単位は、１６ｘ１６画素に限られず。いかなるサイズでもよい。例えば、保存のデータ単位は、８ｘ８画素または４ｘ４画素でもよい。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。これらは、データの記憶が可能な記憶素子であれば、メモリ、フリップフロップまたはレジスタなどいずれの構成でもよい。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、動きベクトル記憶部５１５、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されない。復号処理を逆の手順で実行する画像符号化装置も、同様に、予測パラメータの転送を行うことが可能である。

また、本実施の形態では、動き補償を例として記載されている。しかし、画像処理装置は、面内予測の場合でも、同様の処理を実行することで、同様の効果を得ることができる。なお、この場合、動きベクトルに代えて、面内予測モードが用いられてもよい。もちろん、予測画像生成に用いられた他の情報が用いられてもよい。また、この場合、空間的に異なるピクチャ、例えば視点の異なるピクチャが対応ピクチャとして用いられてもよい。もちろん、その他のピクチャが対応ピクチャとして用いられてもよい。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でも構わない。

（実施の形態５）
実施の形態５は、実施の形態４の変形例である。本実施の形態に係る画像処理装置は、実施の形態４と同様の構成要素を備え、複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを動きベクトル記憶部５１５からフレームメモリ５０２へまとめて転送（保存）する。

本実施の形態に係る画像処理装置は、最大符号化ユニットの全ての予測ユニットの予測画像生成に用いられた複数の予測パラメータをまとめて転送する。また、本実施の形態に係る画像処理装置は、処理順序において連続する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを連続するアドレスへ転送する。なお、この処理順序は、例えば、ピクチャに含まれる複数の予測ユニットが予め定められた一定の大きさである場合に適用される処理順序のように、予め定められた処理順序でもよい。

図２３は、本実施の形態に係る動きベクトル演算部５１１の動作を示すフローチャートである。ここでは、実施の形態４と同様に、最大符号化ユニットのサイズは、座標（０，０）〜座標（６３，６３）で構成される６４ｘ６４画素であると仮定する。

まず、動きベクトル演算部５１１は、現予測ユニットの動きベクトルを算出する（Ｓ１５００）。次に、動きベクトル演算部５１１は、最大符号化ユニットに含まれる全ての予測ユニットについて、動きベクトルの算出が完了したか否かを判定する（Ｓ１５０１）。最大符号化ユニットに含まれる全ての予測ユニットについて、動きベクトルの算出が完了していない場合（Ｓ１５０１でＮｏ）、動きベクトル演算部５１１は、動きベクトルが算出されていない予測ユニットの動きベクトルを算出する（Ｓ１５００）。

最大符号化ユニットに含まれる全ての予測ユニットについて動きベクトルの算出が完了している場合（Ｓ１５０１でＹｅｓ）、動きベクトル演算部５１１は、最大符号化ユニットに対応する全ての予測パラメータを転送する（Ｓ１５０２）。この時、動きベクトル演算部５１１は、処理順序において連続する複数の予測ユニットに対応する複数の予測パラメータをフレームメモリ５０２において連続するアドレスへ、ＤＭＡ制御部５１２によって、転送する。

具体的には、ＤＭＡ制御部５１２は、最大符号化ユニットにおいて１６個の座標に対応する１６個の予測パラメータをまとめてフレームメモリ５０２において連続するアドレスへ転送する。これらの１６個の予測パラメータは、それぞれ、順に、座標（０，０）、（１６，０）、（０，１６）、（１６，１６）、（０，３２）、（０，４８）、（１６，３２）、（１６，４８）、（３２，０）、（３２，１６）、（４８，０）、（４８，１６）、（３２，３２）、（３２，４８）、（４８，３２）、（４８，４８）の予測ユニットに対応する。

ＤＭＡ制御部５１２は、次の最大符号化ユニットについても、同様に、処理順序において連続する複数の予測ユニットに対応する複数の予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。

この際、ＤＭＡ制御部５１２は、前の最大符号化ユニットに続けて、次の最大符号化ユニットの複数の予測パラメータをフレームメモリ５０２に保存する。例えば、ＤＭＡ制御部５１２は、次の最大符号化ユニットの座標（０，０）に対応する予測パラメータが前の最大符号化ユニットの座標（４８，４８）に対応する予測パラメータにフレームメモリ５０２において連続するように、複数の予測パラメータを転送する。

図２４は、本実施の形態における予測パラメータの保存の例を示す図であって、図１１と同様の対応ピクチャが現ピクチャとして処理される場合の動作を示す。図２４の対応ピクチャの１つ目の最大符号化ユニットに含まれる予測ユニット０の動きベクトルが算出された場合、１つ目の最大符号化ユニットに対応する全ての動きベクトルは算出されたと判定される。

そして、ＤＭＡ制御部５１２は、最大符号化ユニット内の１６個の座標に対応する１６個の予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。図２４の例では、これらの１６個の予測パラメータは、いずれも予測ユニット０に対応する予測パラメータである。

さらに、図２４の対応ピクチャの２つ目の最大符号化ユニットに含まれる予測ユニット１〜７の動きベクトルが算出された場合、２つ目の最大符号化ユニットに対応する全ての動きベクトルが算出されたと判定される。

そして、ＤＭＡ制御部５１２は、最大符号化ユニット内の１６個の座標に対応する１６個の予測パラメータをフレームメモリ５０２において連続するアドレスに転送する。図２４の例では、これらの１６個の予測パラメータは、それぞれ、順に、予測ユニット１、１、１、１、２、３、４、５、６、６、６、６、７、７、７、７に対応する予測パラメータである。

ＤＭＡ制御部５１２は、これらの１６個の予測パラメータを１つ目の最大符号化ユニット内の座標（４８，４８）に対応する予測パラメータのアドレスに続けてフレームメモリ５０２に保存する。

上記の手順を繰り返すことにより、図２４の下段に示された対応ピクチャのマップのように、複数の予測ユニットに対応する複数の予測パラメータがフレームメモリ５０２に保存される。

なお、本実施の形態では、最大符号化ユニット毎に、複数の予測パラメータが転送される。しかし、より細かいデータ単位毎に、複数の予測パラメータが転送されてもよい。そして、図２４の対応ピクチャのマップに示されるように、それらが連続するアドレスに転送されてもよい。

図２５は、本実施の形態に係る転送の領域の第１例を示す図である。図２５は、対応ピクチャに対応する複数の予測パラメータがフレームメモリ５０２へ図２３の手順で転送された後に、現ピクチャの予測ユニットの予測画像生成においてフレームメモリ５０２から転送される複数の予測パラメータを示す。なお、現ピクチャおよび対応ピクチャの構成は、図１９の例と同様である。

図２５の例において、画像処理装置は、現ピクチャの予測ユニット１を処理する際に、対応ピクチャの予測ユニット１〜１４、２２、４０〜４４、４７に対応する複数の予測パラメータを投機的に転送する。予測ユニット１〜１４の処理順序は連続する。また、予測ユニット４０〜４４の処理順序は連続する。したがって、これらの予測パラメータは、フレームメモリ５０２において連続するアドレスに保存されている。そのため、画像処理装置は、容易に、これらの予測パラメータをフレームメモリ５０２からまとめて転送できる。

なお、画像処理装置は、２番目の最大符号化ユニットの処理において転送される複数の予測パラメータのうち、１番目の最大符号化ユニットの処理において転送された予測パラメータの転送を省略してもよい。

図２６は、本実施の形態に係る転送の領域の第２例を示す図である。図２６の例は、図２５の例と、ほぼ同様である。図２６の例では、最大符号化ユニット毎に、複数の予測ユニットに対応する複数の予測パラメータが、フレームメモリ５０２から転送される。

図２６の例において、画像処理装置は、現ピクチャの予測ユニット１を処理する際に、対応ピクチャの予測ユニット１〜２３、４０〜４７に対応する複数の予測パラメータを投機的に転送する。予測ユニット１〜２３の処理順序は連続する。また、予測ユニット４０〜４７の処理順序は連続する。したがって、これらの予測パラメータは、フレームメモリ５０２において連続するアドレスに保存されている。そのため、画像処理装置は、容易に、これらの予測パラメータをフレームメモリ５０２からまとめて転送できる。

図２６の例では、画像処理装置は、フレームメモリ５０２から動きベクトル記憶部５１５へ複数の予測パラメータを最大符号化ユニット毎に転送し、動きベクトル記憶部５１５からフレームメモリ５０２へ複数の予測パラメータを最大符号化ユニット毎に転送する。これにより、転送回数が減少し、全体の処理が高速化する。

なお、図２５の例と同様に、画像処理装置は、２番目の最大符号化ユニットの処理において転送される複数の予測パラメータのうち、１番目の最大符号化ユニットの処理において転送された予測パラメータの転送を省略してもよい。

以上のように、本実施の形態に係る画像処理装置は、最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成に用いられた複数の予測パラメータをまとめて転送する。これにより、転送回数が減少し、全体の処理が高速化する。また、本実施の形態に係る画像処理装置は、処理順序において連続する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを連続するアドレスへ転送する。これにより、後で、複数の予測パラメータをまとめて取得することが容易になる。

（実施の形態６）
本実施の形態に係る画像処理装置は、上述の複数の実施の形態で示された画像処理装置に係る特徴的な構成要素を備える。

図２７Ａは、本実施の形態に係る画像処理装置の構成を示す図である。図２７Ａに示された画像処理装置１００は、ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる予測ユニットの予測画像生成を行う。また、画像処理装置１００は、２つの記憶部１０１、１０２、および、転送部１１０を備える。

記憶部１０１は、少なくともピクチャ１つ分に対応する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを記憶するための記憶部である。記憶部１０１は、このような複数の予測パラメータを記憶可能な容量を有していてもよい。記憶部１０２は、複数の予測ユニットのうちの２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶するための記憶部である。記憶部１０２は、このような２つ以上の予測パラメータを記憶可能な容量を有していてもよい。

例えば、記憶部１０１は、図２のフレームメモリ５０２に対応し、記憶部１０２は、図２の動きベクトル記憶部５１５に対応する。また、例えば、転送部１１０は、動きベクトル演算部５１１およびＤＭＡ制御部５１２に対応する。

図２７Ｂは、図２７Ａに示された画像処理装置１００の動作を示すフローチャートである。転送部１１０は、予測画像生成のための２つ以上の予測パラメータを記憶部１０１から記憶部１０２へ、または、予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０２から記憶部１０１へ、まとめて転送する（Ｓ１０１）。

これにより、予測ユニットの情報の転送回数が減少する。したがって、予測ユニットの情報の転送に伴う処理負荷および処理遅延が減少する。

なお、転送部１１０は、それぞれが動きベクトルの情報を含む２つ以上の予測パラメータをまとめて転送してもよい。動きベクトルの情報は、動きベクトルが用いられなかったことを示す情報でもよい。それぞれがこのような情報を含む２つ以上の予測パラメータがまとめて転送されることにより、動きベクトルの情報が効率的に転送される。したがって、他の予測ユニットの動きベクトルを用いる場合の処理負荷および処理遅延が減少する。

例えば、転送部１１０は、予測画像生成のための２つ以上の予測パラメータを記憶部１０１から記憶部１０２へ、まとめて転送する。これにより、予測画像生成のための予測パラメータが効率的に転送される。したがって、予測画像生成のための予測パラメータの転送に伴う処理負荷および処理遅延が減少する。

また、転送部１１０は、予測ユニットの予測画像生成に用いられる可能性を有する２つ以上の予測パラメータを記憶部１０２へまとめて転送してもよい。これにより、予測パラメータの転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

また、転送部１１０は、第２予測ユニットの予測パラメータ、および、第３予測ユニットの予測パラメータを含む２つ以上の予測パラメータを記憶部１０２へまとめて転送してもよい。ここで、第２予測ユニットは、予測画像生成が行われる第１予測ユニットの右下の位置に対応する予測ユニットであり、第１予測ユニットを含む第１ピクチャとは異なる第２ピクチャに含まれる予測ユニットである。第３予測ユニットは、第１予測ユニットの位置に対応する予測ユニットであり、第２ピクチャに含まれる予測ユニットである。

これにより、右下の位置に対応する予測パラメータ、および、同一の位置に対応する予測パラメータが同時にまとめて転送される。したがって、転送回数が減少する。

また、転送部１１０は、予測ユニットの予測画像生成に用いられる可能性を有する予測パラメータと当該予測ユニットの予測画像生成に用いられる可能性を有しない予測パラメータとを含む２つ以上の予測パラメータを記憶部１０２へまとめて転送してもよい。これにより、１回の転送で、より多くの予測パラメータが転送される。したがって、予測パラメータの転送の繰り返しが抑制される。よって、処理負荷および処理遅延が減少する。

また、転送部１１０は、予め定められた最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成のための２つ以上の予測パラメータを記憶部１０２へまとめて転送してもよい。これにより、最大符号化ユニットに含まれる複数の予測ユニットの予測画像生成において、転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

また、例えば、転送部１１０は、予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０２から記憶部１０１へ、まとめて転送する。これにより、予測画像生成に用いられた予測パラメータが効率的に転送される。したがって、予測画像生成に用いられた予測パラメータの転送に伴う処理負荷および処理遅延が減少する。

また、転送部１１０は、空間的に互いに隣接する２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０２から記憶部１０１において連続するアドレスへ、まとめて転送してもよい。

これにより、複数の予測パラメータが連続するアドレスにまとめて転送される。まとめて転送された複数の予測パラメータは、空間的に隣接する複数の予測ユニットに対応する。したがって、後で、予測画像生成のための複数の予測パラメータとして、空間的に隣接する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、転送部１１０は、空間的に水平方向に互いに隣接する２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０２から記憶部１０１において連続するアドレスへ、まとめて転送してもよい。これにより、後で、予測画像生成のための複数の予測パラメータとして、水平方向に隣接する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、転送部１１０は、空間的に垂直方向に互いに隣接する２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０２から記憶部１０１において連続するアドレスへ、まとめて転送してもよい。これにより、後で、予測画像生成のための複数の予測パラメータとして、垂直方向に隣接する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、転送部１１０は、予め定められた最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０１へまとめて転送してもよい。これにより、最大符号化ユニットに含まれる複数の予測ユニットの予測画像生成において、転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

また、転送部１１０は、処理順序において連続する２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０２から記憶部１０１において連続するアドレスへ、まとめて転送してもよい。これにより、後で、予測画像生成のための複数の予測パラメータとして、処理順序で連続する複数の予測ユニットに対応する複数の予測パラメータをまとめて転送することが容易になる。

また、転送部１１０は、予測ユニットの予測画像生成に用いられた予測パラメータを複製することにより当該予測ユニットに含まれる等間隔の複数の座標位置に対応する複数の予測パラメータを生成してもよい。そして、転送部１１０は、生成された複数の予測パラメータのそれぞれを他の予測パラメータと共に２つ以上の予測パラメータとして記憶部１０２から記憶部１０１へ、まとめて転送してもよい。

これにより、予測ユニットに含まれる座標位置に対応する予測パラメータを後で予測画像生成のための予測パラメータとして転送することが容易になる。

（実施の形態７）
本実施の形態では、図２７Ａに示された画像処理装置１００に、新たな構成要素が追加されている。

図２８Ａは、本実施の形態に係る画像処理装置の構成を示す図である。図２８Ａに示された画像処理装置２００では、図２７Ａに示された画像処理装置１００の構成要素に、予測画像生成部２２０が追加されている。例えば、予測画像生成部２２０は、図２の動きベクトル演算部５１１および動き補償部５０６に対応する。予測画像生成部２２０は、図１の面内予測部５０７に対応していてもよい。

図２８Ｂは、図２８Ａに示された画像処理装置２００の動作を示すフローチャートである。予測画像生成部２２０は、記憶部１０１から記憶部１０２へ転送された予測パラメータを用いて予測ユニットの予測画像生成を行う（Ｓ２０１）。これにより、転送された予測パラメータ、すなわち、入力された予測パラメータを用いて、適切に予測が行われる。

例えば、転送部１１０が、予測画像生成のための２つ以上の予測パラメータを記憶部１０１から記憶部１０２へまとめて転送した後、予測画像生成部２２０は、記憶部１０１から記憶部１０２へ転送された予測パラメータを用いて予測ユニットの予測画像生成を行う。

また、例えば、予測画像生成部２２０が、記憶部１０２へ転送された予測パラメータを用いて予測ユニットの予測画像生成を行った後、転送部１１０は、予測画像生成に用いられた２つ以上の予測パラメータを記憶部１０２から記憶部１０１へ、まとめて転送する。

なお、予測画像生成部２２０は、記憶部１０１から記憶部１０２へまとめて転送された２つ以上の予測パラメータのうちの１つを用いて予測ユニットの予測画像生成を行ってもよい。これにより、複数の予測パラメータのうちの１つが選択的に用いられる場合でも、複数の予測パラメータがまとめて転送されることにより、転送の繰り返しが抑制される。したがって、処理負荷および処理遅延が減少する。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる予測ユニットの予測画像生成を行う画像処理方法であって、（ｉ）少なくともピクチャ１つ分に対応する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを記憶するための第１記憶部から、前記複数の予測ユニットのうちの２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶するための第２記憶部へ、予測画像生成のための前記２つ以上の予測パラメータを、または、（ｉｉ）前記第２記憶部から前記第１記憶部へ、予測画像生成に用いられた前記２つ以上の予測パラメータを、まとめて転送する転送ステップを含む画像処理方法を実行させる。

また、各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

以上、一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、本発明は、画像処理装置として実現できるだけでなく、画像処理装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体として実現できる。

また、本発明に係る画像処理装置および画像処理方法は、画像符号化装置、画像復号装置、画像符号化方法および画像復号方法にも適用可能である。

また、画像処理装置に含まれる複数の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。例えば、メモリ以外の構成要素が、１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、画像処理装置に含まれる構成要素の集積回路化を行ってもよい。

（実施の形態８）
上記各実施の形態で示した画像符号化方法および画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらに、ここで、上記各実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図２９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。

しかし、コンテンツ供給システムｅｘ１００は、図２９のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用のソフトウェアまたは画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図３０に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の画像処理装置を組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。

また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像処理装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像処理装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像処理装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像処理装置を組み込んでもよい。

図３１は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。

テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。

なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図３２に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。

光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３３に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図３１に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態９）
本実施の形態では、実施の形態１に示した画像処理装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図３４に示す。フレームメモリ５０２をＤＲＡＭ上に実現し、その他の回路およびメモリをＬＳＩ上に構成している。符号化ストリームを格納するビットストリームバッファをＤＲＡＭ上に実現してもよい。

これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。

さらに加えて、本実施の形態の画像処理装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。

また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携しても構わない。

（実施の形態１０）
上記各実施の形態で示した画像符号化装置、画像復号装置、画像処理装置、画像符号化方法、画像復号方法および画像処理方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図３５に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。

また、例えば、復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明は、様々な用途に利用可能である。例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器、または、撮像機器に利用可能であり、利用価値が高い。

１００、２００ 画像処理装置
１０１、１０２ 記憶部
１１０ 転送部
２２０ 予測画像生成部
５０１、ｅｘ３１０ 制御部
５０２ フレームメモリ
５０３ 可変長復号部
５０４ 逆量子化部
５０５ 逆周波数変換部
５０６ 動き補償部
５０７ 面内予測部
５０８ 再構成部
５０９ 再構成画像メモリ
５１０ インループフィルタ部
５１１ 動きベクトル演算部
５１２ ＤＭＡ制御部
５１３ 参照画像記憶部
５１４ 予測画像記憶部
５１５ 動きベクトル記憶部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ（受信機）
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１１、ｅｘ５０５ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ マイコン（マイクロコンピュータ）
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ

Claims (7)

1. ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる第１予測ユニットの予測画像生成を行う画像処理装置であって、
   少なくともピクチャ１つ分に対応する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを記憶するための第１記憶部と、
   前記複数の予測ユニットのうちの２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶するための第２記憶部と、
   予測画像生成のための前記２つ以上の予測パラメータを前記第１記憶部から前記第２記憶部へ、まとめて転送する転送部とを備え、
   まとめて転送される前記２つ以上の予測パラメータは、（ｉ）予測画像生成が行われる前記第１予測ユニットの右下の位置に対応する予測ユニットであり、前記第１予測ユニットを含む第１ピクチャとは異なる第２ピクチャに含まれる予測ユニットである第２予測ユニットの予測画像生成に用いられた第１予測パラメータと、（ｉｉ）前記第１予測ユニットの位置に対応する予測ユニットであり、前記第２ピクチャに含まれる予測ユニットである第３予測ユニットの予測画像生成に用いられた第２予測パラメータとを含み、
   前記画像処理装置は、さらに、前記第１予測パラメータが利用可能か否かを判定し、（ｉ）前記第１予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第１予測パラメータを用いて前記第１予測ユニットの予測画像を生成し、（ｉｉ）前記第１予測パラメータが利用可能ではない場合は、前記第２予測パラメータが利用可能か否かを判定し、前記第２予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第２予測パラメータを用いて前記第１予測ユニットの予測画像を生成する予測画像生成部を備える
   画像処理装置。
2. 前記転送部は、それぞれが動きベクトルの情報を含む前記２つ以上の予測パラメータをまとめて転送する
   請求項１に記載の画像処理装置。
3. 前記転送部は、前記第１予測ユニットの予測画像生成に用いられる可能性を有しない予測パラメータを含む前記２つ以上の予測パラメータをまとめて転送する
   請求項１または２に記載の画像処理装置。
4. 前記転送部は、予め定められた最大符号化ユニットに含まれる全ての予測ユニットの予測画像生成のための前記２つ以上の予測パラメータをまとめて転送する
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる第１予測ユニットの予測画像生成を行う画像処理方法であって、
   少なくともピクチャ１つ分に対応する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを記憶するための第１記憶部から、前記複数の予測ユニットのうちの２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶するための第２記憶部へ、予測画像生成のための前記２つ以上の予測パラメータをまとめて転送する転送ステップを含み、
   まとめて転送される前記２つ以上の予測パラメータは、（ｉ）予測画像生成が行われる前記第１予測ユニットの右下の位置に対応する予測ユニットであり、前記第１予測ユニットを含む第１ピクチャとは異なる第２ピクチャに含まれる予測ユニットである第２予測ユニットの予測画像生成に用いられた第１予測パラメータと、（ｉｉ）前記第１予測ユニットの位置に対応する予測ユニットであり、前記第２ピクチャに含まれる予測ユニットである第３予測ユニットの予測画像生成に用いられた第２予測パラメータとを含み、
   前記画像処理方法は、さらに、前記第１予測パラメータが利用可能か否かを判定し、（ｉ）前記第１予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第１予測パラメータを用いて前記第１予測ユニットの予測画像を生成し、（ｉｉ）前記第１予測パラメータが利用可能ではない場合は、前記第２予測パラメータが利用可能か否かを判定し、前記第２予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第２予測パラメータを用いて前記第１予測ユニットの予測画像を生成する予測画像生成ステップを含む
   画像処理方法。
6. 請求項５に記載の画像処理方法に含まれるステップをコンピュータに実行させるための
   プログラム。
7. ピクチャに含まれる予測ユニットの予測画像生成に用いられた予測パラメータを用いて、当該ピクチャとは異なるピクチャに含まれる第１予測ユニットの予測画像生成を行う集積回路であって、
   少なくともピクチャ１つ分に対応する複数の予測ユニットの予測画像生成に用いられた複数の予測パラメータを記憶するための第１記憶部と、
   前記複数の予測ユニットのうちの２つ以上の予測ユニットの予測画像生成に用いられた２つ以上の予測パラメータを記憶するための第２記憶部と、
   予測画像生成のための前記２つ以上の予測パラメータを前記第１記憶部から前記第２記憶部へ、まとめて転送する転送部とを備え、
   まとめて転送される前記２つ以上の予測パラメータは、（ｉ）予測画像生成が行われる前記第１予測ユニットの右下の位置に対応する予測ユニットであり、前記第１予測ユニットを含む第１ピクチャとは異なる第２ピクチャに含まれる予測ユニットである第２予測ユニットの予測画像生成に用いられた第１予測パラメータと、（ｉｉ）前記第１予測ユニットの位置に対応する予測ユニットであり、前記第２ピクチャに含まれる予測ユニットである第３予測ユニットの予測画像生成に用いられた第２予測パラメータとを含み、
   前記集積回路は、さらに、前記第１予測パラメータが利用可能か否かを判定し、（ｉ）前記第１予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第１予測パラメータを用いて前記第１予測ユニットの予測画像を生成し、（ｉｉ）前記第１予測パラメータが利用可能ではない場合は、前記第２予測パラメータが利用可能か否かを判定し、前記第２予測パラメータが利用可能な場合は、前記第２記憶部に転送された前記第２予測パラメータを用いて前記第１予測ユニットの予測画像を生成する予測画像生成部を備える
   集積回路。

Images