JPWO2012046435A1 - 画像処理装置、画像符号化方法および画像処理方法 - Google Patents

Abstract

画像を様々な符号化単位ブロックで符号化することにより得られる符号化ストリームに対して、パイプライン方式で複数の処理を効率的に施す画像処理装置を提供する。画像処理装置は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す画像処理装置であって、それぞれが複数の第１処理のいずれかを実行することによって、符号化ストリームに対してパイプライン方式で複数の第１処理を施す複数の第１処理部（２１１１）と、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割し、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部（２１１１）を制御する制御部（２１１０）とを備える。

Description

本発明は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の処理を施す画像処理装置に関する。

動画像を符号化する画像符号化装置は、動画像を構成する各ピクチャを１６ｘ１６画素でそれぞれが構成される複数のマクロブロック（Ｍａｃｒｏｂｌｏｃｋ、略してＭＢと呼ぶこともある）に分割する。そして、画像符号化装置は、ラスタースキャン順に各マクロブロックを符号化する。画像符号化装置は、動画像を符号化し圧縮することにより、符号化ストリームを生成する。画像復号装置は、この符号化ストリームをラスタースキャン順でマクロブロック毎に復号し、元の動画像の各ピクチャを再生する。

従来の画像符号化方式の１つとしてＩＴＵ−Ｔ Ｈ．２６４規格がある（例えば、非特許文献１を参照）。画像復号装置は、Ｈ．２６４規格で符号化された画像を復号するため、まず、符号化ストリームを読み込む。そして、画像復号装置は、各種ヘッダ情報を復号後、可変長復号を行う。画像復号装置は、可変長復号により得られた係数情報を逆量子化して、逆周波数変換する。これにより、差分画像が生成される。

次に、画像復号装置は、可変長復号により得られたマクロブロックタイプに応じて、面内予測または動き補償を行う。これにより、画像復号装置は、予測画像を生成する。その後、画像復号装置は、予測画像に差分画像を加算することにより、再構成処理を行う。そして、画像復号装置は、再構成画像にデブロックフィルタ処理を行うことで復号対象画像を復号する。

このようにして、画像復号装置は、可変長復号処理からデブロックフィルタ処理までをマクロブロック毎に行うことで、符号化された画像を復号していく。この復号処理を高速化する手法として、マクロブロック単位のパイプライン処理によって復号処理を実行する手法が一般に用いられている（例えば、特許文献１を参照）。マクロブロック単位のパイプライン処理では、可変長復号処理からデブロックフィルタ処理までの一連の処理がいくつかのステージに分割される。そして、各ステージの処理が並列に実行される。

図６２は、先に説明した復号処理を５つのステージに分割した場合のパイプライン処理の例である。図６２に示す例では、１つのマクロブロックに対して、第１ステージから第５ステージまでの処理が、順次行われる。そして、互いに異なる複数のマクロブロックに対して、第１ステージから第５ステージまでの処理が、同時に行われる。

第１ステージでは、画像復号装置は、符号化ストリームを可変長復号して、動きベクトルなどの符号化情報、および、各画素データに対応する係数情報を出力する。第２ステージでは、画像復号装置は、第１ステージで得られた係数情報に対して逆量子化および逆周波数変換を行い、差分画像を生成する。

第３ステージでは、画像復号装置は、可変長復号して得られたマクロブロックタイプに応じて、動き補償を行って予測画像を生成する。第４ステージでは、画像復号装置は、第３ステージで得られた動き補償の予測画像、および、第４ステージで行う面内予測処理の予測画像のいずれかと、第２ステージで得られた差分画像とを用いて、再構成処理を行う。第５ステージでは、画像復号装置は、デブロックフィルタ処理を行う。

このように、画像復号装置は、パイプライン処理を用いて、各ステージで異なる複数のマクロブロックを同時に処理する。これにより、画像復号装置は、並列処理を実現し、復号処理を高速化することができる。

この時、パイプライン処理のタイムスロット（ＴＳ）のサイクルは、最も処理サイクルが長いステージの処理サイクルによって決定される。そのため、あるステージの処理サイクルだけが長くなってしまうと、他のステージは、その最長ステージの処理が完了するまで次のマクロブロックの処理を開始できない状態となる。したがって、無駄な空きが発生してしまう。パイプライン処理を効率的に動作させるには、パイプライン処理を構成する各処理サイクルをできるだけ均等になるように構成することが重要である。

Ｈ．２６４規格に係る画像符号化装置は、先ほど述べた通り、１６ｘ１６画素で構成されるマクロブロック単位で画像を符号化する。しかし、符号化の単位として１６ｘ１６画素が、必ずしも最適とは限らない。一般に、画像の解像度が高くなるにつれて、隣接ブロック間の相関が高くなる。そのため、符号化の単位を大きくした方が、より圧縮効率を向上させることができる。

近年、４Ｋ２Ｋ（３８４０画素×２１６０画素）等のように、超高精細なディスプレイの開発が行われてきている。したがって、扱う画像の解像度がますます高くなっていくことが予想される。Ｈ．２６４規格に係る画像符号化装置は、このように画像の高解像度化が進むにつれて、これらの高解像度の画像を効率的に符号化することができなくなってきている。

一方、次世代の画像符号化規格として提案されている技術の中には、このような課題を解決する技術がある（非特許文献２）。この技術では、従来のＨ．２６４規格に対応する符号化単位ブロックのサイズが可変になる。そして、この技術に係る画像符号化装置は、従来の１６ｘ１６画素よりも大きなブロックで画像を符号化することも可能であり、超高精細画像を適切に符号化することができる。

具体的には、非特許文献２では、符号化のデータ単位として、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）が定義されている。この符号化ユニットは、従来の符号化規格におけるマクロブロックと同様に、面内予測を行うイントラ予測と、動き補償を行うインター予測とを切り替えることが可能なデータ単位であり、符号化の最も基本的なブロックサイズとして規定されている。

この符号化ユニットのサイズは、４ｘ４画素、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、６４ｘ６４画素、および、１２８ｘ１２８画素のいずれかである。最も大きな符号化ユニットは、最大符号化ユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれる。

６４ｘ６４画素の符号化ユニットには、４０９６画素のデータが含まれる。１２８ｘ１２８画素の符号化ユニットには、１６３８４画素のデータが含まれる。すなわち、１２８ｘ１２８画素の符号化ユニットには、６４ｘ６４画素の符号化ユニットの４倍のデータが含まれる。

図６３は、１２８ｘ１２８画素と６４ｘ６４画素とで構成される複数の符号化ユニットの例を示す。非特許文献２において、さらに、周波数変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）が定義されている。周波数変換ユニットは、周波数変換のブロックサイズとして規定されている。具体的には、この周波数変換ユニットのサイズは、４ｘ４画素、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、および、６４ｘ６４画素のいずれかである。

また、さらに、面内予測またはインター予測のデータ単位として、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）が定義されている。予測ユニットは、符号化ユニットの内部において、１２８ｘ１２８画素、６４ｘ１２８画素、１２８ｘ６４画素、または、６４ｘ６４画素など、４ｘ４画素以上の様々な矩形サイズから、選択される。

特開２００５−２９５５２６号公報

Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ ｅｔ ａｌ、"Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ"、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＯＬＯＧＹ、ＪＵＬＹ ２００３、ＰＰ．１−１９ 「Ｔｅｓｔ Ｍｏｄｅｌ Ｕｎｄｅｒ Ｃｏｎｓｉｄｅｒａｔｉｏｎ（ＴＭｕＣ）」、［ｏｎｌｉｎｅ］、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、２０１０年４月１５日、［２０１０年８月２７日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１０＿０４＿Ａ＿Ｄｒｅｓｄｅｎ／ＪＣＴＶＣ−Ａ２０５．ｚｉｐ＞

以上のように、非特許文献２では、符号化ユニットすなわちマクロブロックのサイズを可変にすることにより符号化効率を向上させる技術が、述べられている。しかしながら、このような可変の符号化ユニットに対して、特許文献１で示されるパイプライン処理が適用された場合、符号化ユニットに含まれる画素数に比例して必要な処理量が増大する。また、処理サイクル数も同様に大きくなる。

すなわち、符号化ストリーム内に異なるサイズの符号化ユニットが混在している場合、パイプライン処理の各ステージの処理サイクルが、符号化ユニットのサイズによって大きく変動してしまう。そのため、小さい符号化ユニットを処理するステージでは、何も処理できない待ち時間が発生する。そして、パイプラインの処理効率が低下してしまう。つまり、可変のサイズの符号化ユニットは、画像復号装置の処理効率の低下を招く原因となってしまう。

例えば、図６４には、５つのステージのパイプライン処理で符号化ストリームを復号する例が示されている。この例では、図６３のように、ＣＵ０が１２８ｘ１２８画素の符号化ユニットであり、次にＣＵ１〜ＣＵ４がそれぞれ６４ｘ６４画素の符号化ユニットである。この場合、ＣＵ０が、ＣＵ１〜ＣＵ４の４倍の画素数で構成される符号化ユニットであるため、ＣＵ０の処理サイクルが、他の符号化ユニットの処理サイクルの４倍になる。

そのため、第１ステージのＣＵ１の処理が完了してから、第２ステージのＣＵ０の処理が完了するまで、第１ステージにおいて空き時間が生じている。同様に、第２ステージのＣＵ１の処理が完了してから、第３ステージのＣＵ０の処理が完了するまで、第２ステージにおいて空き時間が生じている。また、第３ステージのＣＵ１の処理が完了してから、第４ステージのＣＵ０の処理が完了するまで、第３ステージにおいて空き時間が生じている。すなわち、それぞれのステージで、処理が行われない空き時間が生じている。

このように、符号化ユニットのサイズが変動すると、処理する画素データ量が増減する。符号化ストリームがパイプライン処理で復号される場合、画素データ量の大きい符号化ユニットによってパイプライン処理の単位時間が決定される。その結果、画素データ量の少ない符号化ユニットの処理後に空き時間が生じてしまう。したがって、処理効率および処理性能が低下する。

そこで、本発明は、画像を様々な符号化単位ブロックで符号化することにより得られる符号化ストリームに対して、パイプライン方式で複数の処理を効率的に施す画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す画像処理装置であって、それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理部と、前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する制御部とを備える。

これにより、複数の処理部は、ひとつのサイズに基づいて、符号化ストリームに対してパイプライン方式で複数の処理を施す。したがって、空き時間が削減され、動作効率が向上する。

また、前記複数の第１処理部は、前記符号化ストリームに対して、前記画像を復号するための前記複数の第１処理を施してもよい。

これにより、画像が効率的に復号される。

また、前記制御部は、前記符号化ストリームを構成する符号化単位ブロックを分割することにより、または、前記符号化ストリームを構成する２以上の符号化単位ブロックをまとめることにより、前記符号化ストリームを前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の符号化単位ブロックから複数の処理単位ブロックが得られる。複数の処理単位ブロックは、それぞれがひとつのサイズで構成される。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、前記複数の第１処理単位ブロックのそれぞれに対して前記複数の第１処理のそれぞれが所定の期間で実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の処理単位ブロックに対して、タイムスロット毎に、順次、複数の処理が施される。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、それぞれが画面間予測と画面内予測との切り替え可能な最小単位である前記複数の符号化単位ブロックに前記画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる前記符号化ストリームを、前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、符号化効率が高くなるように符号化単位ブロックで符号化された画像が、処理効率が高くなるように処理単位ブロックで処理される。

また、前記制御部は、前記符号化ストリームを、最も大きい符号化単位ブロックのサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の符号化単位ブロックが、ひとつの処理単位ブロックとして扱われる。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、前記符号化ストリームを、前記最も大きい符号化単位ブロックである最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の処理部は、規格等で予め定められたサイズに基づいて、符号化ストリームに対してパイプライン方式で複数の処理を施す。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、前記符号化ストリームを、最も大きい周波数変換ブロックのサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率が向上する。

また、前記複数の第１処理部は、前記複数の第１処理に含まれる複数の第２処理を実行する複数の第２処理部を含み、前記制御部は、前記複数の第１処理単位ブロックを、前記第１サイズよりも小さい第２サイズでそれぞれが構成される複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御してもよい。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率がさらに向上する。

また、前記複数の第１処理部は、前記複数の第１処理に含まれる複数の第２処理を実行する複数の第２処理部を含み、前記制御部は、前記複数の第１処理単位ブロックを、それぞれのサイズが前記第１サイズ以下である複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御してもよい。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率がさらに向上する。

また、前記制御部は、輝度情報と色差情報とが分割されるように、前記複数の第１処理単位ブロックを前記複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御してもよい。

これにより、輝度情報と色差情報とが別々に処理される。したがって、パイプライン処理が小さいサイズで実行され、動作効率が向上する。

また、前記複数の第１処理部は、動き補償処理を実行する動き補償処理部を含み、前記制御部は、前記複数の第１処理単位ブロックを、前記第１サイズよりも小さい第３サイズでそれぞれが構成される複数の第３処理単位ブロックに分割し、前記動き補償処理が第３処理単位ブロック毎に実行されるように、前記動き補償処理部を制御し、前記制御部は、前記輝度情報と前記色差情報とが１つの第３処理単位ブロックに含まれるように、前記複数の第１処理単位ブロックを前記複数の第３処理単位ブロックに分割してもよい。

これにより、動き補償処理において、輝度情報と色差情報とが一緒に処理される。したがって、動作の無駄が削減される。

また、前記複数の第１処理部は、動き補償処理を実行する動き補償処理部を含み、前記制御部は、前記動き補償処理に用いられる予測ブロックが前記第１サイズよりも大きい場合、前記予測ブロックを複数の第１処理単位ブロックに分割し、前記動き補償処理が第１処理単位ブロック毎に実行されるように、前記動き補償処理部を制御してもよい。

これにより、動き補償処理部と他の処理部との間で交換される情報量が、さらに低減される。したがって、回路規模の縮小が可能になる。

また、前記複数の第１処理部は、面内予測処理を実行する面内予測処理部を含み、前記制御部は、前記面内予測処理に用いられる予測ブロックが前記第１サイズよりも大きい場合、前記予測ブロックを複数の第１処理単位ブロックに分割し、前記面内予測処理が第１処理単位ブロック毎に実行されるように、前記面内予測処理部を制御してもよい。

これにより、面内予測処理部と他の処理部との間で交換される情報量が、さらに低減される。したがって、回路規模の縮小が可能になる。

また、前記複数の第１処理部は、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を実行するデブロックフィルタ処理部を含み、前記制御部は、前記画像が符号化される時に周波数変換処理が実行された順序に従って、前記デブロックフィルタ処理が周波数変換ブロック毎に実行されるように、前記デブロックフィルタ処理部を制御してもよい。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

また、本発明に係る画像符号化方法は、画像を符号化する画像符号化方法であって、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに前記画像を分割し、前記画像に対して符号化単位ブロック毎に符号化処理を実行する符号化処理ステップと、前記符号化処理が実行された前記画像に含まれるブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を、符号化単位ブロック毎とは異なる所定のデータ単位毎に、垂直境界および水平境界のうち、一方に対して実行した後、他方に対して実行するデブロックフィルタ処理ステップとを含む画像符号化方法でもよい。

これにより、デブロックフィルタ処理の処理サイクルが平坦化され、デブロックフィルタ処理が円滑に実行される。また、デブロックフィルタ処理に適したサイズでデブロックフィルタ処理が実行されるため、処理効率が向上する。

また、本発明に係る画像符号化方法は、画像を符号化する画像符号化方法であって、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに前記画像を分割し、前記画像に対して符号化単位ブロック毎に符号化処理を実行する符号化処理ステップと、前記画像に対して前記符号化処理が実行された順序に従って、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を符号化単位ブロック毎に実行するデブロックフィルタ処理ステップとを含む画像符号化方法でもよい。

これにより、デブロックフィルタ処理と、前段の処理との間の空き時間が削減される。したがって、動作効率が向上する。また、典型的には、符号化側と復号側とで同じ順序が用いられる。したがって、復号側の動作効率も向上する。

また、本発明に係る画像符号化方法は、画像を符号化単位ブロック毎に符号化する画像符号化方法であって、前記画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割し、前記符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する周波数変換処理ステップと、前記符号化単位ブロックに対して前記周波数変換処理が実行された順序に従って、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を周波数変換ブロック毎に実行するデブロックフィルタ処理ステップとを含む画像符号化方法でもよい。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

また、本発明に係る画像符号化方法は、画像を符号化単位ブロック毎に符号化する画像符号化方法であって、前記画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割し、前記符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する周波数変換処理ステップと、前記周波数変換処理が実行された前記符号化単位ブロックを符号化して、前記画像の輝度情報および色差情報が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する符号化処理ステップとを含む画像符号化方法でもよい。

これにより、復号側でも、輝度情報および色差情報を分けることなく、周波数変換ブロックのデータ単位でパイプライン処理が実行可能になる。したがって、動作効率が向上する。

また、本発明に係る画像処理方法は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す画像処理方法であって、それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理ステップと、前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理ステップを制御する制御ステップとを含む画像処理方法でもよい。

これにより、前記画像処理装置が画像処理方法として実現される。

また、本発明に係るプログラムは、前記画像処理方法に含まれるステップをコンピュータに実行させるためのプログラムでもよい。

これにより、前記画像処理方法がプログラムとして実現される。

また、本発明に係る集積回路は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す集積回路であって、それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理部と、前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する制御部とを備える集積回路でもよい。

これにより、前記画像処理装置が集積回路として実現される。

本発明により、画像を様々な符号化単位ブロックで符号化することにより得られる符号化ストリームに対して、複数の処理がパイプライン方式で効率的に施される。

図１は、実施の形態１に係る画像復号装置の構成を示す構成図である。 図２は、実施の形態１に係る画像復号装置の可変長復号部と逆量子化部との接続を示す構成図である。 図３Ａは、実施の形態１に係るシーケンスを示す図である。 図３Ｂは、実施の形態１に係るピクチャを示す図である。 図３Ｃは、実施の形態１に係る符号化ストリームを示す図である。 図４Ａは、実施の形態１に係る符号化ユニットの第１構成例を示す図である。 図４Ｂは、実施の形態１に係る符号化ユニットの第２構成例を示す図である。 図５Ａは、実施の形態１に係る周波数変換ユニットの第１構成例を示す図である。 図５Ｂは、実施の形態１に係る周波数変換ユニットの第２構成例を示す図である。 図６Ａは、実施の形態１に係る符号化ユニットのヘッダを示す図である。 図６Ｂは、実施の形態１に係る予測ユニットを示す図である。 図７Ａは、実施の形態１に係る動作の説明に用いられる複数の符号化ユニットの構成例を示す図である。 図７Ｂは、実施の形態１に係る動作の説明に用いられる複数の符号化ユニットの詳細を示す図である。 図８は、実施の形態１に係る画像復号装置の動作を示すフローチャートである。 図９は、実施の形態１に係る符号化ユニットの復号処理を示すフローチャートである。 図１０は、実施の形態１に係る画像復号装置の動作を示すタイムチャートである。 図１１は、実施の形態２に係る画像復号装置の動作を示すタイムチャートである。 図１２は、実施の形態３に係る画像復号装置の構成を示す構成図である。 図１３は、実施の形態３に係る動き補償部の構成を示す構成図である。 図１４は、実施の形態３に係る面内予測部の構成を示す構成図である。 図１５は、実施の形態３に係る動き補償部の動作を示すフローチャートである。 図１６は、実施の形態３に係る予測ユニットと参照画像との関係を示す図である。 図１７は、実施の形態３に係る分割ブロックの動き補償処理を示す図である。 図１８は、実施の形態３に係る第１分割ブロックと参照画像との関係を示す図である。 図１９は、実施の形態３に係る第２分割ブロックと参照画像との関係を示す図である。 図２０は、実施の形態３に係る第３分割ブロックと参照画像との関係を示す図である。 図２１は、実施の形態３に係る第４分割ブロックと参照画像との関係を示す図である。 図２２は、実施の形態３に係る面内予測部の動作を示すフローチャートである。 図２３は、実施の形態３に係る分割ブロックの面内予測処理を示す図である。 図２４は、実施の形態３に係る画像復号装置の動作を示すタイムチャートである。 図２５は、実施の形態１に係るデブロックフィルタ処理の順序の例を示す図である。 図２６は、実施の形態４に係るデブロックフィルタ処理の順序の第１例を示す図である。 図２７は、実施の形態４に係るデブロックフィルタ処理の順序の第２例を示す図である。 図２８は、実施の形態４に係る画像復号装置の動作を示すタイムチャートである。 図２９は、実施の形態５に係る画像復号装置の構成を示す構成図である。 図３０は、実施の形態５に係る面内予測部の構成を示す構成図である。 図３１は、実施の形態５に係る動作の説明に用いられる複数の符号化ユニットの構成例を示す図である。 図３２は、実施の形態５に係る面内予測部の動作を示すフローチャートである。 図３３は、実施の形態６に係る周波数変換ユニットの構成例を示す図である。 図３４は、実施の形態６に係る画像復号装置の動作を示すタイムチャートである。 図３５は、実施の形態６に係る可変長復号部の動作を示すフローチャートである。 図３６は、実施の形態６に係る逆量子化部の動作を示すフローチャートである。 図３７は、実施の形態７に係る画像復号装置の動作を示すタイムチャートである。 図３８は、実施の形態８に係る画像処理装置の構成を示す構成図である。 図３９は、実施の形態８に係る画像処理装置の動作を示すフローチャートである。 図４０は、実施の形態９に係る画像処理装置の構成を示す構成図である。 図４１は、実施の形態９に係る画像処理装置の動作を示すフローチャートである。 図４２は、実施の形態１０に係る画像処理装置の構成を示す構成図である。 図４３は、実施の形態１０に係る画像処理装置の動作を示すフローチャートである。 図４４は、実施の形態１１に係る画像処理装置の構成を示す構成図である。 図４５は、実施の形態１１に係る画像処理装置の動作を示すフローチャートである。 図４６は、実施の形態１２に係る画像処理装置の構成を示す構成図である。 図４７は、実施の形態１２に係る画像処理装置の動作を示すフローチャートである。 図４８は、実施の形態１３に係る画像符号化装置の構成を示す構成図である。 図４９は、実施の形態１３に係る画像符号化装置の動作を示すフローチャートである。 図５０は、実施の形態１４に係る画像符号化装置の構成を示す構成図である。 図５１は、実施の形態１４に係る画像符号化装置の動作を示すフローチャートである。 図５２は、実施の形態１５に係る画像符号化装置の構成を示す構成図である。 図５３は、実施の形態１５に係る画像符号化装置の動作を示すフローチャートである。 図５４は、実施の形態１５に係る周波数変換ユニットの構成例を示す図である。 図５５は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図５６は、デジタル放送用システムの全体構成図である。 図５７は、テレビの構成例を示すブロック図である。 図５８は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図５９は、光ディスクである記録メディアの構造例を示す図である。 図６０は、画像復号処理を実現する集積回路の構成例を示す構成図である。 図６１は、画像復号処理および画像符号化処理を実現する集積回路の構成例を示す構成図である。 図６２は、従来技術に係るパイプライン処理を示す説明図である。 図６３は、従来技術に係る可変サイズのブロックを示す説明図である。 図６４は、従来技術に係る可変サイズのブロックに対してパイプライン処理が適用された場合の動作を示す説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

また、１２８ｘ１２８画素、および、６４ｘ６４画素等の表現は、それぞれ、１２８画素ｘ１２８画素、および、６４画素ｘ６４画素等のサイズを意味する。

また、以下において、ブロック、データ単位および符号化ユニット（ＣＵ）等の表現は、それぞれ、まとまった領域を意味する。それらは、それぞれ、画像領域を意味する場合もある。あるいは、それらは、それぞれ、符号化ストリームにおけるデータ領域を意味する場合もある。

また、画像は、動画像、静止画像、動画像を構成する複数のピクチャ、１つのピクチャ、および、ピクチャの一部等のいずれでもよい。

（実施の形態１）
（１−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、最大符号化ユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズで、複数の処理を行う。なお、最大符号化ユニットは、符号化ストリームを構成する複数の符号化ユニットのうち最も大きい符号化ユニットである。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、処理性能が向上する。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（１−２．構成）
次に、本実施の形態に係る画像復号装置の構成について説明する。

図１は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置は、制御部５０１、フレームメモリ５０２、再構成画像メモリ５０９、可変長復号部５０３、逆量子化部５０４、逆周波数変換部５０５、動き補償部５０６、面内予測部５０７、再構成部５０８およびデブロックフィルタ部５１０を備える。

制御部５０１は、全体を制御する。フレームメモリ５０２は、復号された画像データを記憶するためのメモリである。再構成画像メモリ５０９は、生成された再構成画像の一部を記憶するためのメモリである。可変長復号部５０３は、符号化ストリームを読み込み、可変長符号を復号する。逆量子化部５０４は、逆量子化を行う。逆周波数変換部５０５は、逆周波数変換を行う。

動き補償部５０６は、フレームメモリ５０２から参照画像を読み出して、動き補償を行い、予測画像を生成する。面内予測部５０７は、再構成画像メモリ５０９から参照画像を読み出して、面内予測（イントラ予測ともいう）を行い、予測画像を生成する。再構成部５０８は、差分画像と予測画像とを加算して再構成画像を生成し、その一部を再構成画像メモリ５０９に格納する。デブロックフィルタ部５１０は、再構成画像のブロックノイズを除去し、再構成画像を高画質化する。

図２は、可変長復号部５０３と逆量子化部５０４との接続を示す構成図である。図１と同様の構成要素には同じ符号を割り当て、説明を省略する。本実施の形態の可変長復号部５０３と逆量子化部５０４とは、係数を記憶するためのメモリ５１１を介してそれぞれが接続されるように、構成される。図２は、可変長復号部５０３と逆量子化部５０４との接続のみを示しているが、図１に示す各処理部の間は同様の構成で接続される。

以上が、本実施の形態に係る画像復号装置の構成についての説明である。

（１−３．動作）
次に、本実施の形態に係る画像復号装置の動作を説明する。本実施の形態に係る画像復号装置が復号する符号化ストリームは、符号化ユニット（ＣＵ）と、周波数変換ユニット（ＴＵ）と、予測ユニット（ＰＵ）とで構成される。

符号化ユニット（ＣＵ）は、１２８ｘ１２８画素〜８ｘ８画素のサイズで設定され、面内予測とインター予測との切り替え可能なデータ単位である。周波数変換ユニット（ＴＵ）は、符号化ユニット（ＣＵ）の内部で６４ｘ６４画素〜４ｘ４画素のサイズで設定される。予測ユニット（ＰＵ）は、符号化ユニット（ＣＵ）の内部で１２８ｘ１２８画素〜４ｘ４画素のサイズで設定され、面内予測のモード、または、インター予測の動きベクトルを有する。以下、図３Ａ〜図６Ｂを用いて符号化ストリームの構成について説明する。

図３Ａおよび図３Ｂは、本実施の形態に係る画像復号装置が復号する符号化ストリームの、階層的な構成を示している。図３Ａに示すように、複数のピクチャをひとまとまりにしたものをシーケンスと呼ぶ。また、図３Ｂに示すように、各ピクチャはスライスに分割され、各スライスはさらに符号化ユニット（ＣＵ）に分割される。ピクチャはスライスに分割されない場合もある。

本実施の形態において、最大符号化ユニット（ＬＣＵ）のサイズは、１２８ｘ１２８画素である。また、１２８ｘ１２８画素の符号化ユニット（ＣＵ）と、６４ｘ６４画素の符号化ユニット（ＣＵ）とが混在している。

図３Ｃは、本実施の形態に係る符号化ストリームを示す図である。図３Ａおよび図３Ｂに示されたデータが階層的に符号化されることにより、図３Ｃに示された符号化ストリームが得られる。

図３Ｃに示された符号化ストリームは、シーケンスを制御するシーケンスヘッダ、ピクチャを制御するピクチャヘッダ、スライスを制御するスライスヘッダ、および、符号化ユニットレイヤデータ（ＣＵレイヤデータ）で構成される。Ｈ．２６４規格では、シーケンスヘッダをＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャヘッダをＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と呼んでいる。

次に、本実施の形態の説明に使用する符号化ユニットと符号化ストリームの構成について、図４Ａおよび図４Ｂを用いて説明する。符号化ストリームは、ＣＵ分割フラグとＣＵデータで構成される。このＣＵ分割フラグは、「１」の場合、ブロックを４分割することを示し、「０」の場合、ブロックを４分割しないことを示す。図４Ａのように、１２８ｘ１２８画素の符号化ユニットの場合、ブロックは分割されない。すなわち、ＣＵ分割フラグは「０」である。

図４Ｂに示すように６４ｘ６４画素の４つの符号化ユニットの場合、最初のＣＵ分割フラグは「１」である。この最初のＣＵ分割フラグにより、１２８ｘ１２８画素のブロックが少なくとも６４ｘ６４画素の４つのブロックに分割されることが示される。そして、６４ｘ６４画素の４つのブロックのそれぞれは分割されないため、後続のＣＵ分割フラグは、「０」である。このようにして、符号化ユニットのサイズは、ＣＵ分割フラグによって、１２８ｘ１２８画素から４ｘ４画素までのいずれかに特定される。

図５Ａおよび図５Ｂは、それぞれ、本実施の形態に係る周波数変換ユニットの構成例を示す。各符号化ユニットのＣＵデータは、さらに、ＣＵヘッダ、ＴＵ分割フラグ、係数情報で構成される。ＣＵヘッダについては後述する。ＴＵ分割フラグは、符号化ユニットの中で周波数変換ユニットのサイズを示し、ＣＵ分割フラグと同様に、階層的にそのサイズを４分割するか否かを示す。

図５Ａは、１２８ｘ１２８画素の符号化ユニットが、６４ｘ６４画素の４つの周波数変換ユニットで構成される場合の例を示す。１２８ｘ１２８画素の符号化ユニットの場合、周波数変換ユニットは最大が６４ｘ６４画素であるので、必ず４分割される。図５Ａの場合、それぞれの６４ｘ６４画素のブロックは分割されない。そのため、ＴＵ分割フラグは、全て「０」である。

図５Ｂは、１２８ｘ１２８画素の符号化ユニットが、６４ｘ６４画素の３つの周波数変換ユニット、および、３２ｘ３２画素の４つの周波数変換ユニットで構成される例を示す。この場合、「１」の値を有するＴＵ分割フラグが存在する。

図５Ａおよび図５Ｂの各周波数変換ユニットには、輝度データ（輝度情報）および色差データ（色差情報）が含まれている。つまり、符号化ストリームにおいて、輝度データおよび色差データの両方を含む係数情報が周波数変換ユニット毎にまとめられている。

次に、ＣＵヘッダについて説明する。図６Ａに示すように、ＣＵヘッダは、ＣＵタイプを含み、さらに、動きベクトルまたは面内予測モードを含む。ＣＵタイプによって、予測ユニットのサイズが決定される。図６Ｂは、１２８ｘ１２８画素、６４ｘ１２８画素、１２８ｘ６４画素、および、６４ｘ６４画素の予測ユニットを示す。予測ユニットのサイズは、４ｘ４画素以上のサイズから選択可能である。また、予測ユニットの形状は、長方形でもよい。予測ユニット毎に動きベクトルまたは面内予測モードが指定される。

次に、本実施の形態に係る画像復号装置の動作を具体的に説明する。図７Ａおよび図７Ｂは、動作の説明に用いられる複数の符号化ユニットの構成例を示す。図７Ａに示された８つの符号化ユニット（ＣＵ０〜ＣＵ７）が動作の説明のために用いられる。

図７Ｂに示すように、ＣＵ０、ＣＵ５〜ＣＵ７は、１２８ｘ１２８画素で構成される符号化ユニットである。ＣＵ１〜ＣＵ４は、６４ｘ６４画素で構成される符号化ユニットである。ＣＵ４の周波数変換ユニットのサイズは３２ｘ３２画素である。他の周波数変換ユニットのサイズは全て６４ｘ６４画素である。ＣＵ０の予測ユニットのサイズは、１２８ｘ１２８画素であり、ＣＵ１〜ＣＵ４の予測ユニットのサイズは、６４ｘ６４画素であり、ＣＵ５〜ＣＵ７の予測ユニットのサイズは、１２８ｘ１２８画素である。

次に、図８に示すフローチャートを用いて、図１に示した画像復号装置の動作を説明する。図８は、符号化ストリームに含まれる１シーケンスの復号動作を示すフローチャートである。図８に示すように、画像復号装置は、まず、シーケンスヘッダを復号する（Ｓ９０１）。その際、可変長復号部５０３は、制御部５０１の制御に基づいて、符号化ストリームを復号する。次に、画像復号装置は、同様に、ピクチャヘッダを復号し（Ｓ９０２）、スライスヘッダを復号する（Ｓ９０３）。

次に、画像復号装置は、符号化ユニットを復号する（Ｓ９０４）。符号化ユニットの復号については後で詳しく説明する。画像復号装置は、符号化ユニットの復号後、復号された符号化ユニットがスライス最後の符号化ユニットであるか否かを判定する（Ｓ９０５）。そして、復号された符号化ユニットがスライス最後の符号化ユニットでない場合、再度、画像復号装置は、次の符号化ユニットを復号する（Ｓ９０４）。

さらに、画像復号装置は、復号された符号化ユニットを含むスライスがピクチャ最後のスライスであるか否かを判定する（Ｓ９０６）。そして、ピクチャ最後のスライスでない場合、画像復号装置は、再度、スライスヘッダを復号する（Ｓ９０３）。

さらに、画像復号装置は、復号された符号化ユニットを含むピクチャがシーケンス最後のピクチャであるか否かを判定する（Ｓ９０７）。そして、シーケンス最後のピクチャでない場合、画像復号装置は、再度、ピクチャヘッダを復号する（Ｓ９０２）。画像復号装置は、シーケンスの全てのピクチャの復号後、一連の復号動作を終了する。

次に、図９に示すフローチャートを用いて、図８の符号化ユニットの復号（Ｓ９０４）の動作を説明する。図９は、１つの符号化ユニットの復号動作を示すフローチャートである。

まず、可変長復号部５０３は、入力された符号化ストリームに含まれる処理対象の符号化ユニットについて、可変長復号を行う（Ｓ１００１）。可変長復号処理（Ｓ１００１）では、可変長復号部５０３は、符号化ユニットタイプ、面内予測（イントラ予測）モード、動きベクトル情報および量子化パラメータなどの符号化情報を出力し、各画素データに対応する係数情報を出力する。符号化情報は、制御部５０１に出力され、その後、各処理部に入力される。係数情報は、次の逆量子化部５０４に出力される。次に、逆量子化部５０４は、逆量子化処理を行う（Ｓ１００２）。その後、逆周波数変換部５０５は、逆周波数変換を行って差分画像を生成する（Ｓ１００３）。

次に、制御部５０１は、処理対象の符号化ユニットにインター予測が用いられるか、面内予測が用いられるかの判定を行う（Ｓ１００４）。インター予測が用いられる場合、制御部５０１により動き補償部５０６が起動し、動き補償部５０６が１／２画素精度または１／４画素精度等の予測画像を生成する（Ｓ１００５）。一方、インター予測が用いられない場合、すなわち、面内予測が用いられる場合、制御部５０１により面内予測部５０７が起動し、面内予測部５０７が面内予測の処理を行い、予測画像を生成する（Ｓ１００６）。

再構成部５０８は、動き補償部５０６または面内予測部５０７が出力する予測画像と、逆周波数変換部５０５が出力する差分画像とを加算することにより、再構成画像を生成する（Ｓ１００７）。

生成された再構成画像は、デブロックフィルタ部５１０に入力される。同時に、面内予測で用いられる部分は、再構成画像メモリ５０９に格納される。最後に、デブロックフィルタ部５１０は、得られた再構成画像に対して、ブロックノイズを低減するためのデブロックフィルタ処理を行う。そして、デブロックフィルタ部５１０は、フレームメモリ５０２に結果を格納する（Ｓ１００８）。以上で、符号化ユニットの復号動作を終了する。

ここで、図９に示すフローチャートに示す各処理を、図９の点線で示すように複数のステージに分割する。画像復号装置は、これらの第１ステージから第５ステージまでの複数のステージにおいて、ステージ毎にそれぞれ異なる複数の最大符号化ユニットに対して、複数の処理を同時に行う。これにより、並列処理が実現され、性能が向上する。このような処理をパイプライン処理と呼ぶ。

図９の例では、第１ステージは、可変長復号処理（Ｓ１００１）を含む。第２ステージは、逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）とを含む。第３ステージは、動き補償処理（Ｓ１００５）を含む。第４ステージは、面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）とを含む。第５ステージは、デブロックフィルタ処理（Ｓ１００８）を含む。

これらの複数のステージに分割された複数の処理が、ステージ毎に互いに異なる複数の最大符号化ユニットに対して、パイプライン方式で実行される。本実施の形態に係る画像復号装置に含まれる各処理部は、１つのステージにおいて、最大符号化ユニット内の全ての符号化ユニットに対して処理を行う。

つまり、１２８ｘ１２８画素の最大符号化ユニット内に１２８ｘ１２８画素の１つの符号化ユニットしかない場合、各処理部は、１つのステージにおいて、１つの符号化ユニットの処理を行う。１２８ｘ１２８画素の最大符号化ユニット内に６４ｘ６４画素の４つの符号化ユニットがある場合、各処理部は、１つのステージにおいて、４つの符号化ユニットの全てに対して処理を行う。

図１０は、本実施の形態に係る画像復号装置の時系列の動作を示す図である。図１０は、図９のように複数の処理が複数のステージに分割され、かつ、複数の符号化ユニットが図７Ａのように構成されている場合の動作を示す。

ＴＳ＝０では、ＣＵ０に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝１では、ＣＵ０に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われると同時に、ＣＵ１〜ＣＵ４に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ１〜ＣＵ４に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。また、同時に、ＣＵ５に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝３では、ＣＵ０に対して第４ステージの面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）が行われ、ＣＵ１〜ＣＵ４に対して第３ステージの動き補償処理（Ｓ１００５）が行われる。また、同時に、ＣＵ５に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ６に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝４では、ＣＵ０に対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ１〜４に対して第４ステージの面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）が行われる。また、同時に、ＣＵ５に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ６に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。また、同時に、ＣＵ７に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。この結果、ＣＵ０の復号処理が全て完了する。

ＴＳ＝５では、ＣＵ１〜ＣＵ４に対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ５に対して第４ステージの面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）が行われる。また、同時に、ＣＵ６に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ７に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。また、同時に、ＣＵ８に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。この結果、ＣＵ１〜ＣＵ４の復号処理が全て完了する。

ここで、図１０のＴＳ＝５の第５ステージのデブロックフィルタ処理（Ｓ１００８）について、ＣＵ１〜ＣＵ４が分けて記載されていない。これは次のような理由による。

本実施の形態に係るデブロックフィルタ処理は、図２５に示す番号の順序で実行される。具体的には、垂直の境界に対して先にデブロックフィルタ処理が行われ、次に水平の境界に対してデブロックフィルタ処理が行われる。

従って、ＣＵ１、ＣＵ２、ＣＵ３、ＣＵ４の順ではなく、ＣＵ１〜ＣＵ４の全ての垂直境界に対してデブロックフィルタ処理が実行された後に、ＣＵ１〜ＣＵ４の全ての水平境界に対してデブロックフィルタ処理が実行される。

ＴＳ＝６以降は、ＴＳ＝５までと同様であるので説明を省略する。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０の可変長復号処理（Ｓ１００１）が行われる。また、ＴＳ＝１において、ＣＵ０の逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ１〜ＣＵ４の可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０の可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０に対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ１〜ＣＵ４の可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１には、最大符号化ユニットの処理に必要なデータを記憶できるメモリ容量が少なくとも必要である。

可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間にも同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（１−４．効果）
本実施の形態に示された画像復号装置は、最大符号化ユニットのデータ単位で、パイプライン処理を実行する。これにより、各ステージで処理されるデータ量が一定になる。したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

（１−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、最大符号化ユニット毎にパイプライン方式で実行されてもよい。これにより、本実施の形態と同様に効率的にパイプライン処理が実行される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態２）
（２−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。また、符号化ストリームにおける各周波数変換ユニットには、輝度データ（輝度情報）および色差データ（色差情報）が含まれる。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。また、実施の形態１に比べて処理部間のメモリ容量を削減することが可能である。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（２−２．構成）
図１は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態１と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

（２−３．動作）
本実施の形態では、実施の形態１と同様に、図３Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。また、実施の形態１と同様に、図７Ａおよび図７Ｂに示された複数の符号化ユニットの構成が例として用いられる。本実施の形態に係る画像復号装置の動作フローは、図８および図９に示された実施の形態１の動作フローと同様であるので、説明を省略する。

本実施の形態と実施の形態１との違いは、図９に示されたフローチャートの各ステージの動作タイミングの違いである。

図１１は、本実施の形態に係る画像復号装置の時系列の動作を示す。図１１には、図７Ａに示された複数の符号化ユニットについての処理の動作が示されている。説明のため、ＣＵ０を４分割することにより得られた６４ｘ６４画素の４つの領域のうち、左上の領域をＣＵ０ａと呼び、右上の領域をＣＵ０ｂと呼び、左下の領域をＣＵ０ｃと呼び、右下の領域をＣＵ０ｄと呼ぶ。

ＴＳ＝０では、ＣＵ０ａに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ＣＵ０ａは、符号化ユニットの先頭である。そのため、ＣＵヘッダの処理も合わせて行われる。

ＴＳ＝１では、ＣＵ０ａに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｂに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｂに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｃに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ここで、ＣＵ０の予測ユニットのサイズは、１２８ｘ１２８画素である。そのため、動き補償処理（Ｓ１００５）は、１２８ｘ１２８画素のサイズで実行される。したがって、動き補償処理（Ｓ１００５）は、４つのタイムスロットを占用する。そして、動き補償処理（Ｓ１００５）は、ＴＳ＝５まで行われる。

ＴＳ＝３では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）がＴＳ＝２から継続して行われ、ＣＵ０ｃに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｄに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝４では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）がＴＳ＝２から継続して行われ、ＣＵ０ｄに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ１に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝５では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）がＴＳ＝２から継続して行われ、ＣＵ１に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ２に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝６では、ＣＵ０に対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ１に対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ２に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ３に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝７以降は、ＴＳ＝６までと同様であるので、説明を省略する。

本実施の形態において、図５Ａおよび図５Ｂのように、符号化ユニットのサイズが１２８ｘ１２８画素である場合、必ず周波数変換ユニットのサイズは６４ｘ６４画素以下である。そして、６４ｘ６４画素のデータ単位で、順次、符号化ストリームが形成されている。したがって、周波数変換ユニットの最大のサイズである６４ｘ６４画素のデータ単位でパイプライン処理が実行されている。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０ａの可変長復号処理（Ｓ１００１）が行われる。また、ＴＳ＝１において、ＣＵ０ａの逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ０ｂの可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０ａの可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０ａに対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ０ｂの可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１は、パイプライン処理を実行するためのデータ単位を記憶できるメモリ容量を有していればよい。本実施の形態のデータ単位は、最も大きい周波数変換ユニットであり、そのサイズは、６４ｘ６４画素である。すなわち、データ単位が１２８ｘ１２８画素の最大符号化ユニットである実施の形態１と比較して、本実施の形態に係るメモリ容量は、少なくてもよい。

上述では、可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間も同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。また、本実施の形態において、第３ステージの動き補償以降では、最大符号化ユニットでパイプラインが構成されている。そのため、これら処理について、実施の形態１と同様に、少なくとも１２８ｘ１２８画素の最大符号化ユニットの処理に必要なデータを記憶できるメモリ容量が必要である。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（２−４．効果）
本実施の形態に示す画像復号装置は、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理を実行する。

図５Ａおよび図５Ｂの各周波数変換ユニットには、輝度データ（輝度情報）および色差データ（色差情報）が含まれる。そのため、輝度データおよび色差データを分けることなく、図１１のように、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位でパイプラインを構成することが可能になる。つまり、１２８ｘ１２８画素の符号化ユニット、および、６４ｘ６４画素の符号化ユニットが混在する場合でも、各ステージで処理されるデータ量が一定になる。

したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

また、実施の形態１と比べて、最も大きい周波数変換ユニットでパイプライン処理が実行される。最も大きい周波数変換ユニットは、最大符号化ユニットよりも小さい。したがって、処理部間のメモリ容量を小さくすることが可能になり、回路規模を小さくすることが可能になる。

（２−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、符号化ユニットの符号量がゼロであるスキップブロックの存在が示されていない。しかし、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、最も大きい周波数変換ユニットのサイズでパイプライン処理を実行してもよい。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、最も大きい周波数変換ユニット毎にパイプライン方式で実行されてもよい。これにより、本実施の形態と同様に効率的にパイプライン処理が実行される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態３）
（３−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理または面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。また、実施の形態１および実施の形態２に比べて処理部間のメモリ容量を削減することが可能になる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（３−２．構成）
次に、本実施の形態に係る画像復号装置の構成について説明する。

図１２は、本実施の形態に係る画像復号装置の構成図である。図１に示された実施の形態１の構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。本実施の形態に係る画像復号装置は、動き補償部５２０および面内予測部５２１を備える。動き補償部５２０は、最も大きい周波数変換ユニットのサイズ以下のサイズで予測ユニットを分割して動き補償処理を行う。面内予測部５２１は、最も大きい周波数変換ユニットのサイズ以下のサイズで予測ユニットを分割して面内予測処理を行う。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

図１３は、図１２の動き補償部５２０の構成を示す。図１２に示された構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。動き補償部５２０は、動き補償ブロック分割部６０１、参照画像取得部６０２および動き補償演算部６０３を備える。動き補償ブロック分割部６０１は、予測ユニットを分割する。参照画像取得部６０２は、フレームメモリ５０２から参照画像を取得する。動き補償演算部６０３は、動き補償処理を行う。

図１４は、図１２の面内予測部５２１の構成を示す。図１２に示された構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。面内予測部５２１は、面内予測ブロック分割部７０１、再構成画像取得部７０２および面内予測演算部７０３を備える。面内予測ブロック分割部７０１は、予測ユニットを分割する。再構成画像取得部７０２は、再構成画像メモリ５０９から再構成画像を取得する。面内予測演算部７０３は、面内予測処理を行う。

以上が、本実施の形態に係る画像復号装置の構成についての説明である。

（３−３．動作）
本実施の形態では、実施の形態１と同様に、図３Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。また、実施の形態１と同様に、図７Ａおよび図７Ｂに示された複数の符号化ユニットの構成が例として用いられる。本実施の形態に係る画像復号装置の動作フローは、図８および図９に示された実施の形態１の動作フローと、動き補償処理（Ｓ１００５）および面内予測処理（Ｓ１００６）を除いて、同様であるので、説明を省略する。以下、動き補償処理（Ｓ１００５）と面内予測処理（Ｓ１００６）について、説明する。

本実施の形態の動き補償部５２０による動き補償処理（Ｓ１００５）の動作を図１５に示すフローチャートを用いて説明する。まず、動き補償ブロック分割部６０１は、予測ユニットが６４ｘ６４画素よりも大きいか否かを判定する（Ｓ１１００）。

予測ユニットが６４ｘ６４画素よりも大きくない場合（Ｓ１１００でＮｏ）、通常の動き補償処理と同様の処理が実行される。すなわち、参照画像取得部６０２は、参照画像を取得し（Ｓ１１０５）、動き補償演算部６０３は、動き補償の演算を行う（Ｓ１１０６）。

予測ユニットが６４ｘ６４画素よりも大きい場合（Ｓ１１００でＹｅｓ）、動き補償ブロック分割部６０１は、予測ユニットを６４ｘ６４画素の複数の分割ブロックに分割する（Ｓ１１０１）。次に、参照画像取得部６０２は、分割ブロック毎に参照画像を取得する（Ｓ１１０２）。動き補償演算部６０３は、分割ブロック毎に動き補償の演算を行う（Ｓ１１０３）。次に、動き補償ブロック分割部６０１は、未処理の分割ブロックがあるか否かを判定する（Ｓ１１０４）。

未処理の分割ブロックがある場合（Ｓ１１０４でＹｅｓ）、参照画像取得部６０２は、参照画像を取得し（Ｓ１１０２）、動き補償演算部６０３は、動き補償の演算を行う（Ｓ１１０３）。未処理の分割ブロックがない場合（Ｓ１１０４でＮｏ）、動き補償部５２０は処理を終了する。

次に、以上の動き補償の動作を、具体例を使って説明する。図１６は、予測ユニットが１２８ｘ１２８画素である場合の動き補償の動作を示している。この例では、復号対象ピクチャの符号化ユニットの予測ユニットが１２８ｘ１２８画素サイズで、動きベクトルがｖである。動き補償処理では、参照ピクチャ内において、動きベクトルが指す１２８ｘ１２８画素のブロックが参照画像として用いられる。

この例において、まず、動き補償ブロック分割部６０１は、予測ユニットを、実施の形態２で示された最も大きい周波数変換ユニットのサイズである６４ｘ６４画素の４つの分割ブロックに分割する。図１７に示す通り、各分割ブロックの動きベクトルは、１２８ｘ１２８画素の予測ユニットの動きベクトルと同じでよい。つまり、各分割ブロックの動きベクトルは、全てｖでよい。ここで、予測ユニットの左上に位置するブロックをＣＵ０ａ、右上に位置するブロックをＣＵ０ｂ、左下に位置するブロックをＣＵ０ｃ、右下に位置するブロックをＣＵ０ｄと呼ぶ。

次に、参照画像取得部６０２は、ＣＵ０ａの位置と、ＣＵ０ａの動きベクトルと、参照インデックスとによって特定される画像をフレームメモリ５０２から取得する。ＣＵ０ａの動きベクトルはｖである。したがって、図１８に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる左上の６４ｘ６４画素ブロックである。参照画像取得部６０２は、この６４ｘ６４画素ブロックをフレームメモリ５０２から取得する。

参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ａの動き補償を行い、予測画像を生成する。動き補償演算部６０３は、動きベクトルが小数画素位置を指す場合、取得された参照画像にフィルタ処理を行って予測画像を生成する。動きベクトルが整数画素位置を指す場合、動き補償演算部６０３は、取得された参照画像をそのまま予測画像として出力する。以上で、ＣＵ０ａの動き補償が完了する。

同様に、参照画像取得部６０２は、ＣＵ０ｂの動き補償に用いられる参照画像をフレームメモリ５０２から取得する。ＣＵ０ｂの動きベクトルはｖである。したがって、図１９に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる右上の６４ｘ６４画素ブロックである。参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ｂの動き補償を行い、予測画像を生成する。以上で、ＣＵ０ｂの動き補償が完了する。

同様に、参照画像取得部６０２は、ＣＵ０ｃの動き補償に用いられる参照画像をフレームメモリ５０２から取得する。ＣＵ０ｃの動きベクトルはｖである。したがって、図２０に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる左下の６４ｘ６４画素ブロックである。参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ｃの動き補償を行い、予測画像を生成する。以上で、ＣＵ０ｃの動き補償が完了する。

同様に、参照画像取得部６０２は、ＣＵ０ｄの動き補償に用いられる参照画像をフレームメモリ５０２から取得する。ＣＵ０ｄの動きベクトルはｖである。したがって、図２１に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる右下の６４ｘ６４画素ブロックである。参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ｄの動き補償を行い、予測画像を生成する。以上で、ＣＵ０ｄの動き補償が完了する。

以上で、ＣＵ０ａ〜ＣＵ０ｄの動き補償が完了し、動きベクトルがｖである予測ユニットの動き補償の動作が完了する。

次に、本実施の形態の面内予測部５２１による面内予測処理（Ｓ１００６）の動作を図２２に示すフローチャートを用いて説明する。まず、面内予測ブロック分割部７０１は、予測ユニットが６４ｘ６４画素よりも大きいか否かを判定する（Ｓ１８００）。

予測ユニットが６４ｘ６４画素よりも大きくない場合（Ｓ１８００でＮｏ）、通常の面内予測処理と同様の処理が実行される。すなわち、再構成画像取得部７０２は、再構成画像を取得し（Ｓ１８０５）、面内予測演算部７０３は、面内予測の演算を行う（Ｓ１８０６）。

予測ユニットが６４ｘ６４画素よりも大きい場合（Ｓ１８００でＹｅｓ）、面内予測ブロック分割部７０１は、予測ユニットを６４ｘ６４画素の４つの分割ブロックに分割する（Ｓ１８０１）。次に、再構成画像取得部７０２は、分割ブロック毎に参照画像を取得し（Ｓ１８０２）、面内予測演算部７０３は、分割ブロック毎に面内予測の演算を行う（Ｓ１８０３）。次に、面内予測ブロック分割部７０１は、未処理の分割ブロックがあるか否かを判定する（Ｓ１８０４）。

未処理の分割ブロックがある場合（Ｓ１８０４でＹｅｓ）、再構成画像取得部７０２は再構成画像を取得し（Ｓ１８０２）、面内予測演算部７０３は面内予測の演算を行う（Ｓ１８０３）。未処理の分割ブロックがない場合（Ｓ１８０４でＮｏ）、面内予測部５２１は処理を終了する。

次に、上述の面内予測の動作を、具体例を使って説明する。図２３は、面内予測の予測ユニットのサイズが１２８ｘ１２８画素である場合の面内予測の動作を示している。この例では、図２３の（ａ）に示す通り、面内予測モードが「１２８ｘ１２８垂直予測モード」である。そのため、面内予測は、復号対象予測ユニットの上に隣接し１２８ｘ１画素のサイズを有する再構成画像ブロックを用いて処理が行われる。具体的には、復号対象予測ユニットの上に隣接する再構成画像ブロック内の画素値を下方向にコピーすることにより、予測画像が得られる。

図２３の例において、まず、面内予測ブロック分割部７０１が、予測ユニットを６４ｘ６４画素の分割ブロックに分割する。元の予測ユニットは、各分割ブロックよりも大きく、１２８ｘ１２８画素のブロックである。各分割ブロックの面内予測モードは、６４ｘ６４画素の面内予測モードである。より具体的には、各分割ブロックの面内予測モードは、全て「６４ｘ６４垂直予測モード」である。ここで、予測ユニットの左上に位置するブロックをＣＵ０ａ、右上に位置するブロックをＣＵ０ｂ、左下に位置するブロックをＣＵ０ｃ、右下に位置するブロックをＣＵ０ｄと呼ぶ。

次に、再構成画像取得部７０２は、ＣＵ０ａの位置と、ＣＵ０ａの面内予測モードとに基づいて、ＣＵ０ａの参照画像を再構成画像メモリ５０９から取得する。取得される再構成画像の位置とサイズは、以下の手順で決定する。

元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。再構成画像取得部７０２は、予測ユニット内のＣＵ０ａの領域の面内予測で参照される再構成画像の位置とサイズを計算して、再構成画像を取得する。この例では、図２３の（ｂ）に示される通り、取得される再構成画像は、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックである。再構成画像取得部７０２は、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックの位置とサイズを、取得される再構成画像の位置とサイズとして決定する。

再構成画像取得部７０２は、以上の手順で、取得される再構成画像の位置とサイズを決定した後、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックを再構成画像メモリ５０９から取得する。

再構成画像の取得の完了後、面内予測演算部７０３が、取得された再構成画像を用いて、ＣＵ０ａの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３が、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ａの面内予測が完了する。

同様に、再構成画像取得部７０２は、ＣＵ０ｂの面内予測で参照される再構成画像を再構成画像メモリ５０９から取得する。元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。したがって、取得される再構成画像は、図２３の（ｃ）に示される通り、ＣＵ０ｂの上に隣接する６４ｘ１画素ブロックである。

再構成画像の取得の完了後、面内予測演算部７０３は、取得された再構成画像を用いて、ＣＵ０ｂの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３は、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ｂの面内予測が完了する。

同様に、再構成画像取得部７０２は、ＣＵ０ｃの面内予測で参照される再構成画像を再構成画像メモリ５０９から取得する。元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。したがって、取得される再構成画像は、図２３の（ｄ）に示される通り、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックである。

再構成画像の取得の完了後、面内予測演算部７０３は、取得された再構成画像を用いて、ＣＵ０ｃの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３は、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ｃの面内予測が完了する。

同様に、再構成画像取得部７０２は、ＣＵ０ｄの面内予測で参照される再構成画像を再構成画像メモリ５０９から取得する。元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。したがって、取得される再構成画像は、図２３の（ｅ）に示される通り、ＣＵ０ｂの上に隣接する６４ｘ１画素ブロックである。

再構成画像の取得の完了後、面内予測演算部７０３は、取得された再構成画像を用いて、ＣＵ０ｄの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３は、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ｄの面内予測が完了する。

以上で、ＣＵ０ａ〜ＣＵ０ｄの面内予測が完了する。すなわち、面内予測モードが「１２８ｘ１２８垂直予測モード」である予測ユニットの面内予測の動作が完了する。

本実施の形態では、動き補償処理または面内予測処理に用いられる予測ユニットが分割される。これにより、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、動き補償処理および面内予測処理を含むパイプライン処理が実行される。

ここでは、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素よりも予測ユニットのサイズが大きい場合の例のみが示されている。６４ｘ６４画素よりも予測ユニットのサイズが小さい場合、予測ユニットは分割されなくてもよい。その場合、６４ｘ６４画素のブロックに含まれる全ての予測ユニットに対して、動き補償および面内予測の処理が実行されればよい。

また、６４ｘ６４画素の境界をまたぐ予測ユニットが存在する場合、画像復号装置は、その予測ユニットを６４ｘ６４画素の境界で複数のブロックに分割し、上述の動作と同様に、６４ｘ６４画素のデータ単位で、動き補償および面内予測の処理を実行すればよい。

図２４は、本実施の形態に係る画像復号装置の時系列の動作を示す。図２４には、図７Ａに示された複数の符号化ユニットを処理する際の動作が示されている。説明のため、ＣＵ０を４分割することにより得られた６４ｘ６４画素の４つの領域のうち、左上の領域をＣＵ０ａと呼び、右上の領域をＣＵ０ｂと呼び、左下の領域をＣＵ０ｃと呼び、右下の領域をＣＵ０ｄと呼ぶ。

ＴＳ＝０では、ＣＵ０ａに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ＣＵ０ａは、符号化ユニットの先頭である。そのため、ＣＵヘッダの処理も合わせて行われる。

ＴＳ＝１では、ＣＵ０ａに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｂに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０ａに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｂに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｃに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、予測ユニットは、１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝３では、ＣＵ０ａに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｂに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ０ｃに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ０ｄに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは、１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝４では、ＣＵ０ｂに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｃに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ０ｄに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ１に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝５では、ＣＵ０ｃに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｄに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ１に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ２に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝６では、ＣＵ０ｄに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ１に対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ２に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ３に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝７以降は、ＴＳ＝６までと同様であるので、説明を省略する。

本実施の形態において、図５Ａおよび図５Ｂのように、符号化ユニットのサイズが１２８ｘ１２８画素である場合、必ず周波数変換ユニットのサイズは６４ｘ６４画素以下である。そして、６４ｘ６４画素のデータ単位で、順次、符号化ストリームが形成されている。したがって、周波数変換ユニットの最大のサイズである６４ｘ６４画素のデータ単位でパイプライン処理が実行されている。

さらに、６４ｘ６４画素よりも大きい予測ユニットを分割することにより、動き補償処理および面内予測処理も、６４ｘ６４画素のデータ単位で実行されている。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０ａの可変長復号処理（Ｓ１００１）が行われ、ＴＳ＝１において、ＣＵ０ａの逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ０ｂの可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０ａの可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０ａに対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ０ｂの可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１は、パイプライン処理を実行するためのデータ単位を記憶できるメモリ容量を有していればよい。本実施の形態のデータ単位は、最も大きい周波数変換ユニットであり、そのサイズは、６４ｘ６４画素である。すなわち、データ単位が１２８ｘ１２８画素の最大符号化ユニットである実施の形態１と比較して、本実施の形態に係るメモリ容量は、少なくてもよい。

上述では、可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間も同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。また、本実施の形態において、第５ステージのデブロックフィルタ処理では、最大符号化ユニットでパイプラインが構成されている。そのため、この処理について、実施の形態１と同様に、少なくとも１２８ｘ１２８画素の最大符号化ユニットの処理に必要なデータを記憶できるメモリ容量が必要である。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（３−４．効果）
本実施の形態に示す画像復号装置は、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理を実行する。これにより、各ステージで処理されるデータ量が一定になる。したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

また、実施の形態２と比べて、動き補償処理および面内予測処理についても、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理が実行される。最も大きい周波数変換ユニットは、最大符号化ユニットよりも小さい。したがって、処理部間のメモリ容量を小さくすることが可能になり、回路規模を小さくすることが可能になる。

（３−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、符号化ユニットの符号量がゼロであるスキップブロックの存在が示されていない。しかし、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、最も大きい周波数変換ユニットのサイズでパイプライン処理を実行してもよい。また、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、動き補償または面内予測に用いられる予測ユニットを最も大きい周波数変換ユニットのサイズで分割してもよい。

また、本実施の形態において、参照画像のフィルタ処理に必要な周辺画素について、言及されていない。しかし、画像復号装置は、過去に復号されたピクチャから参照画像を取得する際、必要に応じて、フィルタ処理に用いられる周辺画素を取得しても構わない。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、パイプライン方式で実行されてもよい。これにより、メモリ容量が低減され、回路規模が削減される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態４）
（４−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、本実施の形態では、符号化ストリームにおけるデブロックフィルタ処理が、Ｈ．２６４規格で定められた順序とは異なる順序で実行される。そして、動き補償処理、面内予測処理、デブロックフィルタ処理が、周波数変換ユニットのサイズで実行される。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。また、実施の形態３に比べて処理部間のメモリ容量をさらに削減することが可能になる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（４−２．構成）
図１２は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態３と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態３と同様であるので、説明を省略する。

（４−３．動作）
本実施の形態における画像復号装置の動作は、図８および図９のフローチャートに示された動作と同様であり、実施の形態３の動作と同様であるが、デブロックフィルタ処理（Ｓ１００８）が異なる。

本実施の形態に係る画像復号装置は、図７Ａに示されたＣＵ１〜ＣＵ４に対して、図２６に示された番号の順にデブロックフィルタ処理を行う。つまり、デブロックフィルタ部５１０は、ＣＵ１の垂直境界、ＣＵ１の水平境界、ＣＵ２の垂直境界、ＣＵ２の水平境界、ＣＵ３の垂直境界、ＣＵ３の水平境界、ＣＵ４の垂直境界、ＣＵ４の水平境界の順にデブロックフィルタ処理を行う。

これにより、再構成部５０８がＣＵ１の再構成処理（Ｓ１００７）を完了した後、直ちに、デブロックフィルタ部５１０がＣＵ１のデブロックフィルタ処理（Ｓ１００８）を行うことができる。そして、再構成部５０８とデブロックフィルタ部５１０の間には、６４ｘ６４画素のデータ単位を記憶できるメモリがあればよい。

また、同様に、本実施の形態に係る画像復号装置は、図７Ａに示されたＣＵ０に対して、図２７に示された番号の順にデブロックフィルタ処理を行う。つまり、デブロックフィルタ部５１０は、ＣＵ０ａの垂直境界、ＣＵ０ａの水平境界、ＣＵ０ｂの垂直境界、ＣＵ０ｂの水平境界、ＣＵ０ｃの垂直境界、ＣＵ０ｃの水平境界、ＣＵ０ｄの垂直境界、ＣＵ０ｄの水平境界の順にデブロックフィルタ処理を行う。

これにより、再構成部５０８がＣＵ０ａの再構成処理（Ｓ１００７）を完了した後、直ちに、デブロックフィルタ部５１０がＣＵ０ａのデブロックフィルタ処理（Ｓ１００８）を行うことができる。なお、ＣＵ０ａは、ＣＵ０を４分割することにより得られた６４ｘ６４画素の４つの領域のうち、左上の領域である。同様に、ＣＵ０ｂは右上の領域であり、ＣＵ０ｃは左下の領域であり、ＣＵ０ｄは右下の領域である。

図２８は、本実施の形態に係る画像復号装置の時系列の動作を示す。図２８には、図７Ａに示された複数の符号化ユニットを処理する際の動作が示されている。

ＴＳ＝０では、ＣＵ０ａに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ＣＵ０ａは、符号化ユニットの先頭である。そのため、ＣＵヘッダの処理も合わせて行われる。

ＴＳ＝１では、ＣＵ０ａに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｂに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０ａに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｂに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｃに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝３では、ＣＵ０ａに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｂに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ０ｃに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ０ｄに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝４では、ＣＵ０ａに対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ０ｂに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われる。同時に、ＣＵ０ｃに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｄに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ１に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝５では、ＣＵ０ｂに対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ０ｃに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われる。同時に、ＣＵ０ｄに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ１に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ２に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝６では、ＣＵ０ｃに対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ０ｄに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われる。同時に、ＣＵ１に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ２に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ３に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝７以降は、ＴＳ＝６までと同様であるので、説明を省略する。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０ａの可変長復号処理（Ｓ１００１）が行われ、ＴＳ＝１において、ＣＵ０ａの逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ０ｂの可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０ａの可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０ａに対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ０ｂの可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１は、パイプラインを実行するためのデータ単位を記憶できるメモリ容量を有していればよい。本実施の形態のデータ単位は、最も大きい周波数変換ユニットであり、そのサイズは、６４ｘ６４画素である。すなわち、データ単位が１２８ｘ１２８画素の最大符号化ユニットである実施の形態１と比較して、本実施の形態に係るメモリ容量は、少なくてもよい。

上述では、可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間も同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。また、本実施の形態において、全てが６４ｘ６４画素の最も大きい周波数変換ユニットのサイズでパイプラインが構成されている。そのため、実施の形態１〜３に比べて、メモリ容量を小さくすることが可能である。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（４−４．効果）
本実施の形態に示す画像復号装置は、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理を実行する。これにより、各ステージで処理されるデータ量が一定になる。したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

また、実施の形態３と比べて、デブロックフィルタ処理の処理順序が変更されている。そして、デブロックフィルタ処理についても、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理が実行される。最も大きい周波数変換ユニットは、最大符号化ユニットよりも小さい。したがって、処理部間のメモリ容量を小さくすることが可能になり、回路規模を小さくすることが可能になる。

（４−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、デブロックフィルタ処理の処理順序の変更が、実施の形態３に係る画像復号装置に適用されている。しかし、デブロックフィルタ処理の処理順序の変更が、実施の形態１または実施の形態２に係る画像復号装置に適用されても構わない。

また、本実施の形態において、デブロックフィルタ処理が、ＣＵ１の垂直境界に対して行われた後、水平境界に対して行われている。しかし、デブロックフィルタ処理の順序は、上述の順序に限られず、どのような順序であってもよい。

また、本実施の形態において、符号化ユニットの符号量がゼロであるスキップブロックの存在が示されていない。しかし、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、最も大きい周波数変換ユニットのサイズでパイプライン処理を実行してもよい。また、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、動き補償または面内予測に用いられる予測ユニットを最も大きい周波数変換ユニットのサイズで分割してもよい。

また、本実施の形態において、複数の符号化ユニットは、ラスター順に符号化されている。しかし、Ｈ．２６４規格に係る任意スライス順序（ＡＳＯ：Ａｒｂｉｔｒａｒｙ Ｓｌｉｃｅ Ｏｒｄｅｒ）では、複数の符号化ユニットは、ラスター順で符号化されていない。このような場合、画像復号装置は、スライス境界に対してデブロックフィルタ処理を行わず、スライス内部に対してのみデブロックフィルタ処理を行う。これにより、本実施の形態と同様の処理順序およびパイプライン処理が実現可能となる。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、パイプライン方式で実行されてもよい。これにより、メモリ容量が低減され、回路規模が削減される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態５）
（５−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理および面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。

また、本実施の形態に係る画像復号装置は、１つのタイムスロットにおいて、インター予測の結果を面内予測に用いることができる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（５−２．構成）
次に、本実施の形態に係る画像復号装置の構成について説明する。

図２９は本実施の形態に係る画像復号装置の構成図である。図１に示された実施の形態１の構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。本実施の形態に係る画像復号装置は、面内予測部７１０を備える。面内予測部７１０は、最大符号化ユニットのサイズのデータ単位で、再構成処理を行いながら面内予測処理を行う。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

図３０は、図２９の面内予測部７１０の構成を示す。図２９に示された構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。面内予測部７１０は、再構成画像取得部７０２、面内予測演算部７０３、スイッチ７１１および再構成部７１２を備える。

再構成画像取得部７０２は、再構成画像を取得する。面内予測演算部７０３は、面内予測画像の生成を行う。スイッチ７１１は、インター予測と面内予測とを切り替える。再構成部７１２は、予測画像と差分画像とを用いて復号画像を生成する。再構成画像メモリ５０９は、再構成画像を記憶するためのメモリである。

以上が、本実施の形態に係る画像復号装置の構成についての説明である。

（５−３．動作）
本実施の形態では、実施の形態１と同様に、図３Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。

図３１は、動作の説明に用いられる複数の符号化ユニットの構成例を示す。また、図３１は、図７Ａに続く複数の符号化ユニットを示す。図３１に示された複数の符号化ユニットは、６４ｘ６４画素のＣＵ８、ＣＵ９、３２ｘ３２画素のＣＵ１０〜ＣＵ１３、および、６４ｘ６４画素のＣＵ１４を含む。ＣＵ１２には、面内予測が用いられている。ＣＵ１２以外の全ての符号化ユニットには、インター予測が用いられている。

本実施の形態に係る画像復号装置の動作フローは、図８および図９に示された実施の形態１と、面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）を除いて、同様であるので、説明を省略する。以下、面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）について、説明する。

本実施の形態の面内予測部７１０による面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）を図３２に示すフローチャートを用いて説明する。まず、面内予測部７１０は、処理対象の符号化ユニットに面内予測が用いられる否かを判定する（Ｓ５０００）。符号化ユニットに面内予測が用いられる場合（Ｓ５０００でＹｅｓ）、再構成画像取得部７０２は再構成画像メモリ５０９から画像を取得する。そして、面内予測演算部７０３は面内予測画像を生成する（Ｓ５００１）。

符号化ユニットに面内予測が用いられない場合（Ｓ５０００でＮｏ）、再構成部７１２は、動き補償部５２０のインター予測により生成された予測画像を取得する（Ｓ５００３）。次に、再構成部７１２は、予測画像と、差分画像とから、再構成画像を生成する（Ｓ５００２）。そして、再構成部７１２は、生成された再構成画像のうち、参照される可能性のある画像を再構成画像メモリ５０９に格納する（Ｓ５００４）。

次に、面内予測部７１０は、再構成処理が全て完了したか否かを判定する（Ｓ５００５）。再構成処理が全て完了していない場合（Ｓ５００５でＮｏ）、面内予測部７１０は、再度面内予測が用いられる否かを判定する（Ｓ５０００）。再構成処理が全て完了している場合（Ｓ５００５でＹｅｓ）、面内予測部７１０は、処理を終了する。

以上が、本実施の形態における画像復号装置の動作である。本実施の形態では、上述のように、面内予測部７１０が再構成処理を行う。これにより、パイプライン処理が円滑に実行される。

例えば、図３１に示されたＣＵ１２にように、１つのデータ単位である６４ｘ６４画素のブロックが、さらに、複数の符号化ユニットに分割され、複数の符号化ユニットの１つに面内予測が用いられる場合がある。このような場合でも、面内予測部７１０は、ＣＵ１０の再構成処理、および、ＣＵ１１の再構成処理を行った後、その結果の再構成画像を用いてＣＵ１２の面内予測処理を行うことができる。

（５−４．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

本実施の形態の面内予測部７１０を用いたパイプライン構成は、実施の形態１（図１０）、実施の形態２（図１１）、実施の形態３（図２４）、および、実施の形態４（図２９）などで示されたいずれの構成であってもよい。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態６）
（６−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理および面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。

また、画像復号装置は、輝度データ（輝度情報）と色差データ（色差情報）とがそれぞれ別々に配置されている符号化ストリームを効率的に復号する。すなわち、画像復号装置は、色差データの可変長復号処理の終了を待つことなく、輝度データに対して後続の処理を実行する。よって、バッファメモリの容量の削減が可能になる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（６−２．構成）
図２９は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態５と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

図３０は、図２９の面内予測部７１０の構成を示す。面内予測部７１０の構成は、実施の形態５と同様であるので、説明を省略する。

（６−３．動作）
本実施の形態では、実施の形態５と同様に、図３Ａ〜図４Ｂ、図６Ａおよび図６Ｂに示された符号化ストリームの構造が用いられる。一方、本実施の形態では、図３３に示すように、符号化ストリーム内における係数情報の構成が、実施の形態５の構成とは異なる。

本実施の形態では、符号化ストリーム内において、輝度（図３３においてＹで示す）の係数データが６４ｘ６４画素の周波数変換ユニット毎に配置される。また、輝度に続いて、青の色差（図３３においてＣｂで示す）の係数データが３２ｘ３２画素の周波数変換ユニット毎に配置される。次に、赤の色差（図３３においてＣｒで示す）の係数データが３２ｘ３２画素の周波数変換ユニット毎に配置される。

また、本実施の形態では、４：２：０のフォーマットが、画像のフォーマットとして、想定されている。そのため、色差（Ｃｂ、Ｃｒ）のデータが３２ｘ３２画素となっている。

本実施の形態に係る画像復号装置の動作フローは、図８、図９および図３２に示された実施の形態５と同様であるので、説明を省略する。

本実施の形態では、パイプライン処理の構成が実施の形態５とは異なる。図３４は、パイプライン処理の時系列の動作を示す。図３４において、右上がりの斜線でハッチングされたブロックは、青の色差（Ｃｂ）のブロックを示し、左上がりの斜線でハッチングされたブロックは、赤の色差（Ｃｒ）のブロックを示す。

図３４に示すように、本実施の形態に係る画像復号装置は、ＣＵ０を、ＣＵ０ａＹ〜ＣＵ０ｄＹ、ＣＵ０Ｃｂ、ＣＵ０Ｃｒの６つのブロックに分割して、パイプライン処理を実行する。ここで、ＣＵ０は、１２８ｘ１２８画素の１つの符号化ユニットである。ＣＵ０ａＹ〜ＣＵ０ｄＹは、それぞれ、輝度のブロックである。ＣＵ０Ｃｂは、青の色差のブロックである。ＣＵ０Ｃｒは、赤の色差のブロックである。

ＣＵ１およびＣＵ２などのように、６４ｘ６４画素の輝度データで構成される符号化ユニットについて、色差（Ｃｂ、Ｃｒ）のデータ単位のサイズは、それぞれ３２ｘ３２画素である。その他のデータ単位のサイズが６４ｘ６４画素であることに比べて、ＣＵ１およびＣＵ２の色差（Ｃｂ、Ｃｒ）についてのデータ単位のサイズが小さくなってしまう。したがって、実施の形態５等のように、複数のステージにおいて、同一のデータ単位で処理を切り替えることが困難になる。

そこで、画像復号装置は、図３５および図３６のフローチャートに示された動作により、処理を切り替える。

図３５は、可変長復号部５０３が、ＣＵ０ａＹ、ＣＵ０ｂＹ、・・・と処理を切り替える場合の動作を示す。まず、可変長復号部５０３は、可変長復号部５０３の出力用のメモリ５１１が空いているか否かを判定する（Ｓ６０００）。

メモリ５１１が空いていない場合（Ｓ６０００でＮｏ）、可変長復号部５０３は、そのまま、メモリ５１１が空くまで待つ。メモリ５１１が空いている場合（Ｓ６０００でＹｅｓ）、可変長復号部５０３は、次のデータの可変長復号処理を行う（Ｓ６００１）。

図３６は、逆量子化部５０４が、ＣＵ０ａＹ、ＣＵ０ｂＹ、・・・と処理を切り替える場合の動作を示す。まず、逆量子化部５０４は、処理対象のデータに対して可変長復号部５０３による可変長復号処理が終わっているか否かを判定する（Ｓ６００２）。

可変長復号処理が終わっていない場合（Ｓ６００２でＮｏ）、逆量子化部５０４は、可変長復号処理が終わるまで待つ。可変長復号処理が終わっている場合（Ｓ６００２でＹｅｓ）、逆量子化部５０４は、逆量子化部５０４の出力用のメモリ（図示せず）が空いているかをチェックする（Ｓ６００３）。メモリが空いていない場合（Ｓ６００３でＮｏ）、逆量子化部５０４は、メモリが空くまで待つ。メモリが空いている場合（Ｓ６００３でＹｅｓ）、逆量子化部５０４は、逆量子化処理を行う（Ｓ６００４）。

ここでは、可変長復号部５０３および逆量子化部５０４の動作が示されている。他の処理部も、同様に、処理対象のデータが存在し、かつ、メモリが空いている場合、そのデータの処理を行うことができる。したがって、画像復号装置は、複数のステージにおいて、完全に同一のタイミングで処理を切り替えなくても、パイプライン処理を実行できる。

また、画像復号装置は、輝度および色差を別々のデータ単位として扱う。これにより、色差データを待たずに輝度データの処理が実行される。したがって、内部バッファの容量の削減が可能になる。

（６−４．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態では、フォーマットが４：２：０である場合の例が示されている。しかし、４：２：２、または、４：４：４等の他のフォーマットでも、同様の処理が可能である。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態７）
（７−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理および面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。

また、画像復号装置は、輝度データと色差データとを含むデータ単位で、動き補償処理を実行する。これにより、効率的に動き補償処理が実行される。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（７−２．構成）
図２９は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態６と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態６と同様であるので、説明を省略する。

図３０は、図２９の面内予測部７１０の構成を示している。面内予測部７１０は、実施の形態６と同様であるので、説明を省略する。

（７−３．動作）
本実施の形態では、実施の形態６と同様に、図３Ａ〜図４Ｂ、図６Ａ、図６Ｂおよび図３３に示された符号化ストリームの構造が用いられる。また、本実施の形態に係る画像復号装置の動作フローは、図８、図９および図３２に示された実施の形態６と同様であるので、説明を省略する。

本実施の形態では、パイプライン処理の構成が実施の形態６とは異なる。図３７は、パイプライン処理の時系列の動作を示す。図３７において、右上がりの斜線でハッチングされたブロックは、青の色差（Ｃｂ）のブロックを示し、左上がりの斜線でハッチングされたブロックは、赤の色差（Ｃｒ）のブロックを示す。

図３７に示すように、本実施の形態に係る画像復号装置は、ＣＵ０を、ＣＵ０ａＹ〜ＣＵ０ｄＹ、ＣＵ０Ｃｂ、ＣＵ０Ｃｒの６つのブロックに分割して、パイプライン処理を実行する。ここで、ＣＵ０は、１２８ｘ１２８画素の１つの符号化ユニットである。ＣＵ０ａＹ〜ＣＵ０ｄＹは、それぞれ、輝度のブロックである。ＣＵ０Ｃｂは、青の色差のブロックである。ＣＵ０Ｃｒは、赤の色差のブロックである。

本実施の形態では、第３ステージの動き補償処理において、ＣＵ０が輝度データと色差データとに分割されずに、ＣＵ０ａ〜ＣＵ０ｄとして扱われる。また、動き補償処理が、第３ステージの逆量子化処理と同時に行われる。これらの点が実施の形態６とは異なっている。

図９のフローチャートでは、説明のため、逆周波数変換処理（Ｓ１００３）が終わった後に、動き補償処理（Ｓ１００５）が実行されている。しかし、実際には、動き補償処理（Ｓ１００５）は、動きベクトルが可変長復号されていれば、実行可能である。したがって、逆量子化処理（Ｓ１００２）および逆周波数変換処理（Ｓ１００３）が終わっていなくても、動き補償処理（Ｓ１００５）は実行可能である。

したがって、本実施の形態に係る画像復号装置は、ＣＵ０ａＹ〜ＣＵ０ｄＹ、ＣＵ０Ｃｂ、ＣＵ０Ｃｒの逆量子化処理および逆周波数変換処理と同時に、動き補償処理を行う。

これにより、本実施の形態に係る画像復号装置は、演算量の大きい動き補償処理を輝度および色差について並列に同時に行うことができる。したがって、回路の構成が容易になり、性能の向上が可能になる。

（７−４．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態では、フォーマットが４：２：０である場合の例が示されている。しかし、４：２：２、または、４：４：４等の他のフォーマットでも、同様の処理が可能である。

また、本実施の形態では、第３ステージの動き補償処理が、第２ステージの逆量子化と同時に開始されている。しかし、動き補償処理は、動きベクトルの可変長復号処理が終わっていれば、第１ステージの可変長復号処理の実行中に開始されてもよいし、あるいはもっと遅れて開始されても構わない。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

以下、実施の形態８〜実施の形態１５において、上述の実施の形態１〜実施の形態７で示された特徴的な構成要素を示す。

（実施の形態８）
図３８は、実施の形態８に係る画像処理装置の構成を示す構成図である。図３８に示された画像処理装置２１００は、制御部２１１０および複数の第１処理部２１１１を備える。複数の第１処理部２１１１は、処理部２１２１および処理部２１２２を含む。すなわち、処理部２１２１および処理部２１２２は、それぞれ、第１処理部である。

画像処理装置２１００は、符号化ストリームに対して、パイプライン方式で複数の第１処理を施す。符号化ストリームは、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、画像が符号化単位ブロック毎に符号化されることによって得られる。

複数の第１処理部２１１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す。その際、複数の第１処理部２１１１に含まれる処理部２１２１および処理部２１２２は、それぞれ、複数の第１処理のいずれかを実行する。

制御部２１１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する。そして、制御部２１１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２１１１を制御する。

図３９は、図３８に示された画像処理装置２１００の動作を示すフローチャートである。

まず、制御部２１１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２１０１）。そして、制御部２１１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２１１１を制御する。

次に、複数の第１処理部２１１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２１０２）。その際、複数の第１処理部２１１１に含まれる処理部２１２１および処理部２１２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２１１１、Ｓ２１１２）。

これにより、複数の第１処理部２１１１は、ひとつのサイズに基づいて、符号化ストリームに対してパイプライン方式で複数の処理を施す。したがって、空き時間が削減され、動作効率が向上する。

なお、複数の第１処理部２１１１は、符号化ストリームに対して、画像を復号するための複数の第１処理を施してもよい。

また、制御部２１１０は、符号化ストリームを構成する符号化単位ブロックを分割することにより、符号化ストリームを複数の第１処理単位ブロックに分割してもよい。または、符号化ストリームを構成する２以上の符号化単位ブロックをまとめることにより、符号化ストリームを複数の第１処理単位ブロックに分割してもよい。

また、制御部２１１０は、複数の第１処理単位ブロックのそれぞれに対して複数の第１処理のそれぞれが所定の期間で実行されるように、複数の第１処理部２１１１を制御してもよい。所定の期間は、例えば、所定の数のタイムスロットである。

また、符号化単位ブロックは、画面間予測と画面内予測との切り替え可能な最小単位であってもよい。

また、上述の第１サイズは、最も大きい符号化単位ブロックのサイズとして予め定められたサイズでもよい。例えば、第１サイズは、符号化ストリームまたは符号化規格において最も大きい符号化単位ブロックのサイズとして予め定められたサイズでもよい。

また、上述の第１サイズは、最も大きい符号化単位ブロックである最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズとして予め定められたサイズでもよい。例えば、第１サイズは、符号化ストリームまたは符号化規格において最大符号化ユニットのサイズとして予め定められたサイズでもよい。

また、上述の第１サイズは、最も大きい周波数変換ブロックのサイズとして予め定められたサイズでもよい。周波数変換ブロックは、符号化処理における周波数変換のためのデータ単位、または、復号処理における逆周波数変換のためのデータ単位である。例えば、第１サイズは、符号化ストリームまたは符号化規格において最も大きい周波数変換ブロックのサイズとして予め定められたサイズでもよい。

また、上述の第１サイズは、最も大きい周波数変換ブロックである最も大きい周波数変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）のサイズとして予め定められたサイズでもよい。例えば、第１サイズは、符号化ストリームまたは符号化規格において最も大きい周波数変換ユニットのサイズとして予め定められたサイズでもよい。

（実施の形態９）
図４０は、実施の形態９に係る画像処理装置の構成を示す構成図である。図４０に示された画像処理装置２２００は、制御部２２１０および複数の第１処理部２２１１を備える。

複数の第１処理部２２１１は、処理部２２２１、処理部２２２２および処理部２２２３を含む。また、複数の第１処理部２２１１は、複数の第２処理部２２１２を含む。複数の第２処理部２２１２は、処理部２２２２および処理部２２２３を含む。すなわち、処理部２２２１は、第１処理部である。また、処理部２２２２および処理部２２２３は、それぞれ、第１処理部であり、かつ、第２処理部である。

画像処理装置２２００は、実施の形態８の画像処理装置２１００と同様に、符号化ストリームに対して、パイプライン方式で複数の第１処理を施す。

複数の第１処理部２２１１は、実施の形態８の複数の第１処理部２１１１と同様に、符号化ストリームに対してパイプライン方式で複数の第１処理を施す。その際、複数の第１処理部２２１１に含まれる処理部２２２１、処理部２２２２および処理部２２２３は、それぞれ、複数の第１処理のいずれかを実行する。

複数の第２処理部２２１２は、複数の第１処理に含まれる複数の第２処理を実行する。

制御部２２１０は、実施の形態８の制御部２１１０と同様に、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する。そして、制御部２２１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２２１１を制御する。

また、制御部２２１０は、複数の第１処理単位ブロックを、第１サイズよりも小さい第２サイズでそれぞれが構成される複数の第２処理単位ブロックに分割する。そして、制御部２２１０は、複数の第２処理が第２処理単位ブロック毎に実行されるように、複数の第２処理部２２１２を制御する。

図４１は、図４０に示された画像処理装置２２００の動作を示すフローチャートである。

まず、制御部２２１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２２０１）。そして、制御部２２１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２２１１を制御する。

次に、制御部２２１０は、複数の第１処理単位ブロックを、第１サイズよりも小さい第２サイズでそれぞれが構成される複数の第２処理単位ブロックに分割する（Ｓ２２０２）。そして、制御部２２１０は、複数の第２処理が第２処理単位ブロック毎に実行されるように、複数の第２処理部２２１２を制御する。

次に、複数の第１処理部２２１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２２０３）。その際、複数の第１処理部２２１１に含まれる処理部２２２１、処理部２２２２および処理部２２２３は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２２１１、Ｓ２２１２、Ｓ２２１３）。

上述の動作に伴って、複数の第２処理部２２１２は、複数の第２処理を実行する（Ｓ２２０４）。その際、複数の第２処理部２２１２に含まれる処理部２２２２および処理部２２２３は、それぞれ、複数の第２処理のいずれかを実行する（Ｓ２２１１、Ｓ２２１２）。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率がさらに向上する。

なお、制御部２２１０は、複数の第１処理単位ブロックを、それぞれのサイズが第１サイズ以下である複数の第２処理単位ブロックに分割してもよい。これによっても、パイプライン処理が小さいサイズで実行される。したがって、動作効率が向上する。

また、制御部２２１０は、輝度情報と色差情報とが分割されるように、複数の第１処理単位ブロックを複数の第２処理単位ブロックに分割してもよい。これにより、輝度情報と色差情報とが別々に処理される。そして、パイプライン処理が小さいサイズで実行され、動作効率が向上する。

また、複数の第１処理部２２１１は、動き補償処理を実行する動き補償処理部を含んでいてもよい。

そして、制御部２２１０は、複数の第１処理単位ブロックを、第１サイズよりも小さい第３サイズでそれぞれが構成される複数の第３処理単位ブロックに分割してもよい。その際、制御部２２１０は、輝度情報と色差情報とが１つの第３処理単位ブロックに含まれるように、複数の第１処理単位ブロックを複数の第３処理単位ブロックに分割してもよい。そして、制御部２２１０は、動き補償処理が第３処理単位ブロック毎に実行されるように、動き補償処理部を制御してもよい。

これにより、動き補償処理において、輝度情報と色差情報とが一緒に処理される。したがって、動作の無駄が削減される。

（実施の形態１０）
図４２は、実施の形態１０に係る画像処理装置の構成を示す構成図である。図４２に示された画像処理装置２３００は、制御部２３１０および複数の第１処理部２３１１を備える。複数の第１処理部２３１１は、処理部２３２１、動き補償処理部２３２２を含む。すなわち、処理部２３２１および動き補償処理部２３２２は、それぞれ、第１処理部である。

画像処理装置２３００は、実施の形態８の画像処理装置２１００と同様の構成要素を備え、実施の形態８の画像処理装置２１００と同様に、動作する。制御部２３１０、複数の第１処理部２３１１、処理部２３２１および動き補償処理部２３２２は、それぞれ、実施の形態８の制御部２１１０、複数の第１処理部２１１１、処理部２１２１および処理部２１２２に対応する。画像処理装置２３００の各構成要素は、対応する構成要素と同様に、動作する。ただし、実施の形態８と比較して、本実施の形態では、以下に示す相違点がある。

動き補償処理部２３２２は、動き補償処理を実行する。動き補償処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２３１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２３１０は、動き補償処理が第１処理単位ブロック毎に実行されるように、動き補償処理部２３２２を制御する。予測ブロックは、予測処理のためのデータ単位である。

図４３は、図４２に示された画像処理装置２３００の動作を示すフローチャートである。

まず、制御部２３１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２３０１）。そして、制御部２３１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２３１１を制御する。

また、この時、制御部２３１０は、動き補償処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２３１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２３１０は、動き補償処理が第１処理単位ブロック毎に実行されるように、動き補償処理部２３２２を制御する。

次に、複数の第１処理部２３１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２３０２）。その際、複数の第１処理部２３１１に含まれる処理部２３２１および動き補償処理部２３２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２３１１、Ｓ２３１２）。特に、動き補償処理部２３２２は、複数の第１処理に含まれる動き補償処理を実行する（Ｓ２３１２）。

これにより、動き補償処理部２３２２と他の処理部との間で交換される情報量が低減される。したがって、回路規模の縮小が可能になる。

（実施の形態１１）
図４４は、実施の形態１１に係る画像処理装置の構成を示す構成図である。図４４に示された画像処理装置２４００は、制御部２４１０および複数の第１処理部２４１１を備える。複数の第１処理部２４１１は、処理部２４２１、面内予測処理部２４２２を含む。すなわち、処理部２４２１および面内予測処理部２４２２は、それぞれ、第１処理部である。

画像処理装置２４００は、実施の形態８の画像処理装置２１００と同様の構成要素を備え、実施の形態８の画像処理装置２１００と同様に動作する。制御部２４１０、複数の第１処理部２４１１、処理部２４２１および面内予測処理部２４２２は、それぞれ、実施の形態８の制御部２１１０、複数の第１処理部２１１１、処理部２１２１および処理部２１２２に対応する。画像処理装置２４００の各構成要素は、対応する構成要素と同様に動作する。ただし、実施の形態８と比較して、本実施の形態では、以下に示す相違点がある。

面内予測処理部２４２２は、面内予測処理を実行する。面内予測処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２４１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２４１０は、面内予測処理が第１処理単位ブロック毎に実行されるように、面内予測処理部２４２２を制御する。予測ブロックは、予測処理のためのデータ単位である。

図４５は、図４４に示された画像処理装置２４００の動作を示すフローチャートである。

まず、制御部２４１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２４０１）。そして、制御部２４１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２４１１を制御する。

また、この時、制御部２４１０は、面内予測処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２４１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２４１０は、面内予測処理が第１処理単位ブロック毎に実行されるように、面内予測処理部２４２２を制御する。

次に、複数の第１処理部２４１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２４０２）。その際、複数の第１処理部２４１１に含まれる処理部２４２１および面内予測処理部２４２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２４１１、Ｓ２４１２）。特に、面内予測処理部２４２２は、複数の第１処理に含まれる面内予測処理を実行する（Ｓ２４１２）。

これにより、面内予測処理部２４２２と他の処理部との間で交換される情報量が低減される。したがって、回路規模の縮小が可能になる。

（実施の形態１２）
図４６は、実施の形態１２に係る画像処理装置の構成を示す構成図である。図４６に示された画像処理装置２５００は、制御部２５１０および複数の第１処理部２５１１を備える。複数の第１処理部２５１１は、処理部２５２１、デブロックフィルタ処理部２５２２を含む。すなわち、処理部２５２１およびデブロックフィルタ処理部２５２２は、それぞれ、第１処理部である。

画像処理装置２５００は、実施の形態８の画像処理装置２１００と同様の構成要素を備え、実施の形態８の画像処理装置２１００と同様に、動作する。制御部２５１０、複数の第１処理部２５１１、処理部２５２１およびデブロックフィルタ処理部２５２２は、それぞれ、実施の形態８の制御部２１１０、複数の第１処理部２１１１、処理部２１２１および処理部２１２２に対応する。画像処理装置２５００の各構成要素は、対応する構成要素と同様に、動作する。ただし、実施の形態８と比較して、本実施の形態では、以下に示す相違点がある。

デブロックフィルタ処理部２５２２は、周波数変換ブロック等のブロックの境界における符号化歪みを除去するためのデブロックフィルタ処理を実行する。制御部２５１０は、画像が符号化される時に周波数変換処理が実行された順序に従って、デブロックフィルタ処理が周波数変換ブロック毎に実行されるように、デブロックフィルタ処理部２５２２を制御する。

図４７は、図４６に示された画像処理装置２５００の動作を示すフローチャートである。

まず、制御部２５１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２５０１）。そして、制御部２５１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２５１１を制御する。また、この時、制御部２５１０は、画像が符号化される時に周波数変換処理が実行された順序に従って、デブロックフィルタ処理が周波数変換ブロック毎に実行されるように、デブロックフィルタ処理部２５２２を制御する。

次に、複数の第１処理部２５１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２５０２）。その際、複数の第１処理部２５１１に含まれる処理部２５２１およびデブロックフィルタ処理部２５２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２５１１、Ｓ２５１２）。特に、デブロックフィルタ処理部２５２２は、複数の第１処理に含まれるデブロックフィルタ処理を実行する（Ｓ２５１２）。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

（実施の形態１３）
図４８は、実施の形態１３に係る画像符号化装置の構成を示す構成図である。図４８に示された画像符号化装置２６００は、符号化処理部２６１０およびデブロックフィルタ処理部２６１１を備える。画像符号化装置２６００は、画像を符号化する。

図４９は、図４８に示された画像符号化装置２６００の動作を示すフローチャートである。

まず、符号化処理部２６１０は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像を分割する。そして、符号化処理部２６１０は、画像に対して符号化単位ブロック毎に符号化処理を実行する（Ｓ２６０１）。符号化処理には、例えば、周波数変換処理、量子化処理、可変長符号化処理、逆量子化処理、逆周波数変換処理、動き補償処理および面内予測処理等が含まれていてもよい。

次に、デブロックフィルタ処理部２６１１は、符号化単位ブロックに対して符号化処理が実行された順序に従って、デブロックフィルタ処理を符号化単位ブロック毎に実行する（Ｓ２６０２）。例えば、デブロックフィルタ処理部２６１１は、図２６で示された順序で、デブロックフィルタ処理を実行する。デブロックフィルタ処理が施された符号化単位ブロックは、参照画像として、後続の符号化単位ブロックに対する動き補償処理等の符号化処理で用いられる。

これにより、デブロックフィルタ処理と、前段の処理との間の空き時間が削減される。したがって、動作効率が向上する。また、典型的には、符号化側と復号側とで同じ順序が用いられる。したがって、復号側の動作効率も向上する。

なお、デブロックフィルタ処理部２６１１は、符号化処理が実行された順序によらず、デブロックフィルタ処理（Ｓ２６０２）を実行してもよい。そして、デブロックフィルタ処理部２６１１は、デブロックフィルタ処理を符号化単位ブロック毎とは異なる所定のデータ単位毎に実行してもよい。例えば、デブロックフィルタ処理部２６１１は、図２５のように、デブロックフィルタ処理を、所定のデータ単位毎に、垂直境界および水平境界のうち、一方に対して実行した後、他方に対して実行してもよい。

（実施の形態１４）
図５０は、実施の形態１４に係る画像符号化装置の構成を示す構成図である。図５０に示された画像符号化装置２７００は、周波数変換処理部２７１０およびデブロックフィルタ処理部２７１１を備える。画像符号化装置２７００は、画像を符号化単位ブロック毎に符号化する。

図５１は、図５０に示された画像符号化装置２７００の動作を示すフローチャートである。

まず、周波数変換処理部２７１０は、画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割する。そして、周波数変換処理部２７１０は、符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する（Ｓ２７０１）。

次に、デブロックフィルタ処理部２７１１は、符号化単位ブロックに対して周波数変換処理が実行された順序に従って、デブロックフィルタ処理を周波数変換ブロック毎に実行する（Ｓ２７０２）。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

（実施の形態１５）
図５２は、実施の形態１５に係る画像符号化装置の構成を示す構成図である。図５２に示された画像符号化装置２８００は、周波数変換処理部２８１０および符号化処理部２８１１を備える。画像符号化装置２８００は、画像を符号化単位ブロック毎に符号化する。

図５３は、図５２に示された画像符号化装置２８００の動作を示すフローチャートである。

まず、周波数変換処理部２８１０は、画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割する。そして、周波数変換処理部２８１０は、符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する（Ｓ２８０１）。

次に、符号化処理部２８１１は、周波数変換処理が実行された符号化単位ブロックを符号化する。例えば、符号化処理部２８１１は、可変長符号化処理を実行する。そして、符号化処理部２８１１は、画像の輝度情報および色差情報が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する（Ｓ２８０２）。例えば、符号化処理部２８１１は、図５Ａおよび図５Ｂに示された符号化ストリームのように、輝度情報および色差情報が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する。

図５４は、本実施の形態に係る符号化ストリームの例を示す図である。図５４の例では、符号化単位ブロックは、４つの周波数変換ブロックＡ、Ｂ、Ｃ、Ｄを含む。そして、各周波数変換ブロックに対応する係数情報は、輝度情報（Ｙ）および色差情報（Ｃｂ、Ｃｒ）を含む。すなわち、符号化処理部２８１１は、図５４のように、輝度情報（Ｙ）および色差情報（Ｃｂ、Ｃｒ）が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する。

これにより、復号側でも、輝度情報および色差情報を分けることなく、周波数変換ブロックのデータ単位でパイプライン処理が実行可能になる。したがって、動作効率が向上する。

なお、符号化ストリームは、第１周波数変換ブロックの輝度情報、第１周波数変換ブロックの色差情報、第２周波数変換ブロックの輝度情報、第２周波数変換ブロックの色差情報というような順序で、構成されていてもよい。すなわち、輝度情報および色差情報がそれぞれ独立して符号化ストリームに含まれ、かつ、輝度情報および色差情報が周波数変換ブロック毎に一緒にまとめられていてもよい。このような構成でも、周波数変換ブロックのデータ単位でパイプライン処理が実行可能になる。

以上、本発明に係る画像処理装置、画像復号装置および画像符号化装置について、複数の実施の形態に基づいて説明したが、本発明はそれらの実施の形態に限定されるものではない。それらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、それらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。

例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、本発明は、画像処理装置、画像復号装置または画像符号化装置として実現できるだけでなく、画像処理装置、画像復号装置または画像符号化装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現できる。

また、画像処理装置、画像復号装置または画像符号化装置に含まれる複数の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えば、メモリ以外の構成要素が、１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、画像処理装置、画像復号装置または画像符号化装置に含まれる構成要素の集積回路化を行ってもよい。

（実施の形態１６）
上記各実施の形態で示した画像符号化方法および画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらに、ここで、上記各実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図５５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。

しかし、コンテンツ供給システムｅｘ１００は、図５５のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用のソフトウェアまたは画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図５６に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。

また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図５７は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。

テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。

なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図５８に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。

光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図５９に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図５７に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態１７）
本実施の形態では、実施の形態１に示した画像復号装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図６０に示す。フレームメモリ５０２をＤＲＡＭ上に実現し、その他の回路およびメモリをＬＳＩ上に構成している。符号化ストリームを格納するビットストリームバッファをＤＲＡＭ上に実現してもよい。

これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。

さらに加えて、本実施の形態の画像復号装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。

また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携しても構わない。

（実施の形態１８）
上記各実施の形態で示した画像符号化装置、画像復号装置、画像符号化方法および画像復号方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図６１に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。

また、例えば、復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明に係る画像処理装置は、様々な用途に利用可能である。例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器、または、撮像機器に利用可能であり、利用価値が高い。

５０１、２１１０、２２１０、２３１０、２４１０、２５１０、ｅｘ３１０ 制御部
５０２ フレームメモリ
５０３ 可変長復号部
５０４ 逆量子化部
５０５ 逆周波数変換部
５０６、５２０ 動き補償部
５０７、５２１、７１０ 面内予測部
５０８、７１２ 再構成部
５０９ 再構成画像メモリ
５１０ デブロックフィルタ部
５１１、ｅｘ５１１ メモリ
６０１ 動き補償ブロック分割部
６０２ 参照画像取得部
６０３ 動き補償演算部
７０１ 面内予測ブロック分割部
７０２ 再構成画像取得部
７０３ 面内予測演算部
７１１ スイッチ
２１００、２２００、２３００、２４００、２５００ 画像処理装置
２１２１、２１２２、２２２１、２２２２、２２２３、２３２１、２４２１、２５２１ 処理部
２１１１、２２１１、２３１１、２４１１、２５１１ 複数の第１処理部
２２１２ 複数の第２処理部
２３２２ 動き補償処理部
２４２２ 面内予測処理部
２５２２、２６１１、２７１１ デブロックフィルタ処理部
２６００、２７００、２８００ 画像符号化装置
２６１０、２８１１ 符号化処理部
２７１０、２８１０ 周波数変換処理部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ（受信機）
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１１、ｅｘ５０５ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ マイコン（マイクロコンピュータ）
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス

本発明は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の処理を施す画像処理装置に関する。

動画像を符号化する画像符号化装置は、動画像を構成する各ピクチャを１６ｘ１６画素でそれぞれが構成される複数のマクロブロック（Ｍａｃｒｏｂｌｏｃｋ、略してＭＢと呼ぶこともある）に分割する。そして、画像符号化装置は、ラスタースキャン順に各マクロブロックを符号化する。画像符号化装置は、動画像を符号化し圧縮することにより、符号化ストリームを生成する。画像復号装置は、この符号化ストリームをラスタースキャン順でマクロブロック毎に復号し、元の動画像の各ピクチャを再生する。

従来の画像符号化方式の１つとしてＩＴＵ−Ｔ Ｈ．２６４規格がある（例えば、非特許文献１を参照）。画像復号装置は、Ｈ．２６４規格で符号化された画像を復号するため、まず、符号化ストリームを読み込む。そして、画像復号装置は、各種ヘッダ情報を復号後、可変長復号を行う。画像復号装置は、可変長復号により得られた係数情報を逆量子化して、逆周波数変換する。これにより、差分画像が生成される。

次に、画像復号装置は、可変長復号により得られたマクロブロックタイプに応じて、面内予測または動き補償を行う。これにより、画像復号装置は、予測画像を生成する。その後、画像復号装置は、予測画像に差分画像を加算することにより、再構成処理を行う。そして、画像復号装置は、再構成画像にデブロックフィルタ処理を行うことで復号対象画像を復号する。

このようにして、画像復号装置は、可変長復号処理からデブロックフィルタ処理までをマクロブロック毎に行うことで、符号化された画像を復号していく。この復号処理を高速化する手法として、マクロブロック単位のパイプライン処理によって復号処理を実行する手法が一般に用いられている（例えば、特許文献１を参照）。マクロブロック単位のパイプライン処理では、可変長復号処理からデブロックフィルタ処理までの一連の処理がいくつかのステージに分割される。そして、各ステージの処理が並列に実行される。

図６２は、先に説明した復号処理を５つのステージに分割した場合のパイプライン処理の例である。図６２に示す例では、１つのマクロブロックに対して、第１ステージから第５ステージまでの処理が、順次行われる。そして、互いに異なる複数のマクロブロックに対して、第１ステージから第５ステージまでの処理が、同時に行われる。

第１ステージでは、画像復号装置は、符号化ストリームを可変長復号して、動きベクトルなどの符号化情報、および、各画素データに対応する係数情報を出力する。第２ステージでは、画像復号装置は、第１ステージで得られた係数情報に対して逆量子化および逆周波数変換を行い、差分画像を生成する。

第３ステージでは、画像復号装置は、可変長復号して得られたマクロブロックタイプに応じて、動き補償を行って予測画像を生成する。第４ステージでは、画像復号装置は、第３ステージで得られた動き補償の予測画像、および、第４ステージで行う面内予測処理の予測画像のいずれかと、第２ステージで得られた差分画像とを用いて、再構成処理を行う。第５ステージでは、画像復号装置は、デブロックフィルタ処理を行う。

このように、画像復号装置は、パイプライン処理を用いて、各ステージで異なる複数のマクロブロックを同時に処理する。これにより、画像復号装置は、並列処理を実現し、復号処理を高速化することができる。

この時、パイプライン処理のタイムスロット（ＴＳ）のサイクルは、最も処理サイクルが長いステージの処理サイクルによって決定される。そのため、あるステージの処理サイクルだけが長くなってしまうと、他のステージは、その最長ステージの処理が完了するまで次のマクロブロックの処理を開始できない状態となる。したがって、無駄な空きが発生してしまう。パイプライン処理を効率的に動作させるには、パイプライン処理を構成する各処理サイクルをできるだけ均等になるように構成することが重要である。

Ｈ．２６４規格に係る画像符号化装置は、先ほど述べた通り、１６ｘ１６画素で構成されるマクロブロック単位で画像を符号化する。しかし、符号化の単位として１６ｘ１６画素が、必ずしも最適とは限らない。一般に、画像の解像度が高くなるにつれて、隣接ブロック間の相関が高くなる。そのため、符号化の単位を大きくした方が、より圧縮効率を向上させることができる。

近年、４Ｋ２Ｋ（３８４０画素×２１６０画素）等のように、超高精細なディスプレイの開発が行われてきている。したがって、扱う画像の解像度がますます高くなっていくことが予想される。Ｈ．２６４規格に係る画像符号化装置は、このように画像の高解像度化が進むにつれて、これらの高解像度の画像を効率的に符号化することができなくなってきている。

一方、次世代の画像符号化規格として提案されている技術の中には、このような課題を解決する技術がある（非特許文献２）。この技術では、従来のＨ．２６４規格に対応する符号化単位ブロックのサイズが可変になる。そして、この技術に係る画像符号化装置は、従来の１６ｘ１６画素よりも大きなブロックで画像を符号化することも可能であり、超高精細画像を適切に符号化することができる。

具体的には、非特許文献２では、符号化のデータ単位として、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）が定義されている。この符号化ユニットは、従来の符号化規格におけるマクロブロックと同様に、面内予測を行うイントラ予測と、動き補償を行うインター予測とを切り替えることが可能なデータ単位であり、符号化の最も基本的なブロックサイズとして規定されている。

この符号化ユニットのサイズは、４ｘ４画素、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、６４ｘ６４画素、および、１２８ｘ１２８画素のいずれかである。最も大きな符号化ユニットは、最大符号化ユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれる。

６４ｘ６４画素の符号化ユニットには、４０９６画素のデータが含まれる。１２８ｘ１２８画素の符号化ユニットには、１６３８４画素のデータが含まれる。すなわち、１２８ｘ１２８画素の符号化ユニットには、６４ｘ６４画素の符号化ユニットの４倍のデータが含まれる。

図６３は、１２８ｘ１２８画素と６４ｘ６４画素とで構成される複数の符号化ユニットの例を示す。非特許文献２において、さらに、周波数変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）が定義されている。周波数変換ユニットは、周波数変換のブロックサイズとして規定されている。具体的には、この周波数変換ユニットのサイズは、４ｘ４画素、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、および、６４ｘ６４画素のいずれかである。

また、さらに、面内予測またはインター予測のデータ単位として、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）が定義されている。予測ユニットは、符号化ユニットの内部において、１２８ｘ１２８画素、６４ｘ１２８画素、１２８ｘ６４画素、または、６４ｘ６４画素など、４ｘ４画素以上の様々な矩形サイズから、選択される。

特開２００５−２９５５２６号公報

Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ ｅｔ ａｌ、"Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ"、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＯＬＯＧＹ、ＪＵＬＹ ２００３、ＰＰ．５６０−５７６ 「Ｔｅｓｔ Ｍｏｄｅｌ Ｕｎｄｅｒ Ｃｏｎｓｉｄｅｒａｔｉｏｎ（ＴＭｕＣ）」、［ｏｎｌｉｎｅ］、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、２０１０年４月１５日、［２０１０年８月２７日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１０＿０４＿Ａ＿Ｄｒｅｓｄｅｎ／ＪＣＴＶＣ−Ａ２０５．ｚｉｐ＞

以上のように、非特許文献２では、符号化ユニットすなわちマクロブロックのサイズを可変にすることにより符号化効率を向上させる技術が、述べられている。しかしながら、このような可変の符号化ユニットに対して、特許文献１で示されるパイプライン処理が適用された場合、符号化ユニットに含まれる画素数に比例して必要な処理量が増大する。また、処理サイクル数も同様に大きくなる。

すなわち、符号化ストリーム内に異なるサイズの符号化ユニットが混在している場合、パイプライン処理の各ステージの処理サイクルが、符号化ユニットのサイズによって大きく変動してしまう。そのため、小さい符号化ユニットを処理するステージでは、何も処理できない待ち時間が発生する。そして、パイプラインの処理効率が低下してしまう。つまり、可変のサイズの符号化ユニットは、画像復号装置の処理効率の低下を招く原因となってしまう。

例えば、図６４には、５つのステージのパイプライン処理で符号化ストリームを復号する例が示されている。この例では、図６３のように、ＣＵ０が１２８ｘ１２８画素の符号化ユニットであり、次にＣＵ１〜ＣＵ４がそれぞれ６４ｘ６４画素の符号化ユニットである。この場合、ＣＵ０が、ＣＵ１〜ＣＵ４の４倍の画素数で構成される符号化ユニットであるため、ＣＵ０の処理サイクルが、他の符号化ユニットの処理サイクルの４倍になる。

そのため、第１ステージのＣＵ１の処理が完了してから、第２ステージのＣＵ０の処理が完了するまで、第１ステージにおいて空き時間が生じている。同様に、第２ステージのＣＵ１の処理が完了してから、第３ステージのＣＵ０の処理が完了するまで、第２ステージにおいて空き時間が生じている。また、第３ステージのＣＵ１の処理が完了してから、第４ステージのＣＵ０の処理が完了するまで、第３ステージにおいて空き時間が生じている。すなわち、それぞれのステージで、処理が行われない空き時間が生じている。

このように、符号化ユニットのサイズが変動すると、処理する画素データ量が増減する。符号化ストリームがパイプライン処理で復号される場合、画素データ量の大きい符号化ユニットによってパイプライン処理の単位時間が決定される。その結果、画素データ量の少ない符号化ユニットの処理後に空き時間が生じてしまう。したがって、処理効率および処理性能が低下する。

そこで、本発明は、画像を様々な符号化単位ブロックで符号化することにより得られる符号化ストリームに対して、パイプライン方式で複数の処理を効率的に施す画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す画像処理装置であって、それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理部と、前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する制御部とを備える。

これにより、複数の処理部は、ひとつのサイズに基づいて、符号化ストリームに対してパイプライン方式で複数の処理を施す。したがって、空き時間が削減され、動作効率が向上する。

また、前記複数の第１処理部は、前記符号化ストリームに対して、前記画像を復号するための前記複数の第１処理を施してもよい。

これにより、画像が効率的に復号される。

また、前記制御部は、前記符号化ストリームを構成する符号化単位ブロックを分割することにより、または、前記符号化ストリームを構成する２以上の符号化単位ブロックをまとめることにより、前記符号化ストリームを前記複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の符号化単位ブロックから複数の処理単位ブロックが得られる。複数の処理単位ブロックは、それぞれがひとつのサイズで構成される。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、前記複数の第１処理単位ブロックのそれぞれに対して前記複数の第１処理のそれぞれが所定の期間で実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の処理単位ブロックに対して、タイムスロット毎に、順次、複数の処理が施される。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、それぞれが画面間予測と画面内予測との切り替え可能な最小単位である前記複数の符号化単位ブロックに前記画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる前記符号化ストリームを、前記複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、符号化効率が高くなるように符号化単位ブロックで符号化された画像が、処理効率が高くなるように処理単位ブロックで処理される。

また、前記制御部は、前記符号化ストリームを、最も大きい符号化単位ブロックのサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の符号化単位ブロックが、ひとつの処理単位ブロックとして扱われる。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、前記符号化ストリームを、前記最も大きい符号化単位ブロックである最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、複数の処理部は、規格等で予め定められたサイズに基づいて、符号化ストリームに対してパイプライン方式で複数の処理を施す。したがって、空き時間が削減され、動作効率が向上する。

また、前記制御部は、前記符号化ストリームを、最も大きい周波数変換ブロックのサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御してもよい。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率が向上する。

また、前記複数の第１処理部は、前記複数の第１処理に含まれる複数の第２処理を実行する複数の第２処理部を含み、前記制御部は、前記複数の第１処理単位ブロックを、前記第１サイズよりも小さい第２サイズでそれぞれが構成される複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御してもよい。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率がさらに向上する。

また、前記複数の第１処理部は、前記複数の第１処理に含まれる複数の第２処理を実行する複数の第２処理部を含み、前記制御部は、前記複数の第１処理単位ブロックを、それぞれのサイズが前記第１サイズ以下である複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御してもよい。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率がさらに向上する。

また、前記制御部は、輝度情報と色差情報とが分割されるように、前記複数の第１処理単位ブロックを前記複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御してもよい。

これにより、輝度情報と色差情報とが別々に処理される。したがって、パイプライン処理が小さいサイズで実行され、動作効率が向上する。

また、前記複数の第１処理部は、動き補償処理を実行する動き補償処理部を含み、前記制御部は、前記複数の第１処理単位ブロックを、前記第１サイズよりも小さい第３サイズでそれぞれが構成される複数の第３処理単位ブロックに分割し、前記動き補償処理が第３処理単位ブロック毎に実行されるように、前記動き補償処理部を制御し、前記制御部は、前記輝度情報と前記色差情報とが１つの第３処理単位ブロックに含まれるように、前記複数の第１処理単位ブロックを前記複数の第３処理単位ブロックに分割してもよい。

これにより、動き補償処理において、輝度情報と色差情報とが一緒に処理される。したがって、動作の無駄が削減される。

また、前記複数の第１処理部は、動き補償処理を実行する動き補償処理部を含み、前記制御部は、前記動き補償処理に用いられる予測ブロックが前記第１サイズよりも大きい場合、前記予測ブロックを複数の第１処理単位ブロックに分割し、前記動き補償処理が第１処理単位ブロック毎に実行されるように、前記動き補償処理部を制御してもよい。

これにより、動き補償処理部と他の処理部との間で交換される情報量が、さらに低減される。したがって、回路規模の縮小が可能になる。

また、前記複数の第１処理部は、面内予測処理を実行する面内予測処理部を含み、前記制御部は、前記面内予測処理に用いられる予測ブロックが前記第１サイズよりも大きい場合、前記予測ブロックを複数の第１処理単位ブロックに分割し、前記面内予測処理が第１処理単位ブロック毎に実行されるように、前記面内予測処理部を制御してもよい。

これにより、面内予測処理部と他の処理部との間で交換される情報量が、さらに低減される。したがって、回路規模の縮小が可能になる。

また、前記複数の第１処理部は、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を実行するデブロックフィルタ処理部を含み、前記制御部は、前記画像が符号化される時に周波数変換処理が実行された順序に従って、前記デブロックフィルタ処理が周波数変換ブロック毎に実行されるように、前記デブロックフィルタ処理部を制御してもよい。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

また、本発明に係る画像符号化方法は、画像を符号化する画像符号化方法であって、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに前記画像を分割し、前記画像に対して符号化単位ブロック毎に符号化処理を実行する符号化処理ステップと、前記符号化処理が実行された前記画像に含まれるブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を、符号化単位ブロック毎とは異なる所定のデータ単位毎に、垂直境界および水平境界のうち、一方に対して実行した後、他方に対して実行するデブロックフィルタ処理ステップとを含む画像符号化方法でもよい。

これにより、デブロックフィルタ処理の処理サイクルが平坦化され、デブロックフィルタ処理が円滑に実行される。また、デブロックフィルタ処理に適したサイズでデブロックフィルタ処理が実行されるため、処理効率が向上する。

また、本発明に係る画像符号化方法は、画像を符号化する画像符号化方法であって、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに前記画像を分割し、前記画像に対して符号化単位ブロック毎に符号化処理を実行する符号化処理ステップと、前記画像に対して前記符号化処理が実行された順序に従って、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を符号化単位ブロック毎に実行するデブロックフィルタ処理ステップとを含む画像符号化方法でもよい。

これにより、デブロックフィルタ処理と、前段の処理との間の空き時間が削減される。したがって、動作効率が向上する。また、典型的には、符号化側と復号側とで同じ順序が用いられる。したがって、復号側の動作効率も向上する。

また、本発明に係る画像符号化方法は、画像を符号化単位ブロック毎に符号化する画像符号化方法であって、前記画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割し、前記符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する周波数変換処理ステップと、前記符号化単位ブロックに対して前記周波数変換処理が実行された順序に従って、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を周波数変換ブロック毎に実行するデブロックフィルタ処理ステップとを含む画像符号化方法でもよい。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

また、本発明に係る画像符号化方法は、画像を符号化単位ブロック毎に符号化する画像符号化方法であって、前記画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割し、前記符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する周波数変換処理ステップと、前記周波数変換処理が実行された前記符号化単位ブロックを符号化して、前記画像の輝度情報および色差情報が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する符号化処理ステップとを含む画像符号化方法でもよい。

これにより、復号側でも、輝度情報および色差情報を分けることなく、周波数変換ブロックのデータ単位でパイプライン処理が実行可能になる。したがって、動作効率が向上する。

また、本発明に係る画像処理方法は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す画像処理方法であって、それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理ステップと、前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理ステップを制御する制御ステップとを含む画像処理方法でもよい。

これにより、前記画像処理装置が画像処理方法として実現される。

また、本発明に係るプログラムは、前記画像処理方法に含まれるステップをコンピュータに実行させるためのプログラムでもよい。

これにより、前記画像処理方法がプログラムとして実現される。

また、本発明に係る集積回路は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す集積回路であって、それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理部と、前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割または結合し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する制御部とを備える集積回路でもよい。

これにより、前記画像処理装置が集積回路として実現される。

本発明により、画像を様々な符号化単位ブロックで符号化することにより得られる符号化ストリームに対して、複数の処理がパイプライン方式で効率的に施される。

図１は、実施の形態１に係る画像復号装置の構成を示す構成図である。 図２は、実施の形態１に係る画像復号装置の可変長復号部と逆量子化部との接続を示す構成図である。 図３Ａは、実施の形態１に係るシーケンスを示す図である。 図３Ｂは、実施の形態１に係るピクチャを示す図である。 図３Ｃは、実施の形態１に係る符号化ストリームを示す図である。 図４Ａは、実施の形態１に係る符号化ユニットの第１構成例を示す図である。 図４Ｂは、実施の形態１に係る符号化ユニットの第２構成例を示す図である。 図５Ａは、実施の形態１に係る周波数変換ユニットの第１構成例を示す図である。 図５Ｂは、実施の形態１に係る周波数変換ユニットの第２構成例を示す図である。 図６Ａは、実施の形態１に係る符号化ユニットのヘッダを示す図である。 図６Ｂは、実施の形態１に係る予測ユニットを示す図である。 図７Ａは、実施の形態１に係る動作の説明に用いられる複数の符号化ユニットの構成例を示す図である。 図７Ｂは、実施の形態１に係る動作の説明に用いられる複数の符号化ユニットの詳細を示す図である。 図８は、実施の形態１に係る画像復号装置の動作を示すフローチャートである。 図９は、実施の形態１に係る符号化ユニットの復号処理を示すフローチャートである。 図１０は、実施の形態１に係る画像復号装置の動作を示すタイムチャートである。 図１１は、実施の形態２に係る画像復号装置の動作を示すタイムチャートである。 図１２は、実施の形態３に係る画像復号装置の構成を示す構成図である。 図１３は、実施の形態３に係る動き補償部の構成を示す構成図である。 図１４は、実施の形態３に係る面内予測部の構成を示す構成図である。 図１５は、実施の形態３に係る動き補償部の動作を示すフローチャートである。 図１６は、実施の形態３に係る予測ユニットと参照画像との関係を示す図である。 図１７は、実施の形態３に係る分割ブロックの動き補償処理を示す図である。 図１８は、実施の形態３に係る第１分割ブロックと参照画像との関係を示す図である。 図１９は、実施の形態３に係る第２分割ブロックと参照画像との関係を示す図である。 図２０は、実施の形態３に係る第３分割ブロックと参照画像との関係を示す図である。 図２１は、実施の形態３に係る第４分割ブロックと参照画像との関係を示す図である。 図２２は、実施の形態３に係る面内予測部の動作を示すフローチャートである。 図２３は、実施の形態３に係る分割ブロックの面内予測処理を示す図である。 図２４は、実施の形態３に係る画像復号装置の動作を示すタイムチャートである。 図２５は、実施の形態１に係るデブロックフィルタ処理の順序の例を示す図である。 図２６は、実施の形態４に係るデブロックフィルタ処理の順序の第１例を示す図である。 図２７は、実施の形態４に係るデブロックフィルタ処理の順序の第２例を示す図である。 図２８は、実施の形態４に係る画像復号装置の動作を示すタイムチャートである。 図２９は、実施の形態５に係る画像復号装置の構成を示す構成図である。 図３０は、実施の形態５に係る面内予測部の構成を示す構成図である。 図３１は、実施の形態５に係る動作の説明に用いられる複数の符号化ユニットの構成例を示す図である。 図３２は、実施の形態５に係る面内予測部の動作を示すフローチャートである。 図３３は、実施の形態６に係る周波数変換ユニットの構成例を示す図である。 図３４は、実施の形態６に係る画像復号装置の動作を示すタイムチャートである。 図３５は、実施の形態６に係る可変長復号部の動作を示すフローチャートである。 図３６は、実施の形態６に係る逆量子化部の動作を示すフローチャートである。 図３７は、実施の形態７に係る画像復号装置の動作を示すタイムチャートである。 図３８は、実施の形態８に係る画像処理装置の構成を示す構成図である。 図３９は、実施の形態８に係る画像処理装置の動作を示すフローチャートである。 図４０は、実施の形態９に係る画像処理装置の構成を示す構成図である。 図４１は、実施の形態９に係る画像処理装置の動作を示すフローチャートである。 図４２は、実施の形態１０に係る画像処理装置の構成を示す構成図である。 図４３は、実施の形態１０に係る画像処理装置の動作を示すフローチャートである。 図４４は、実施の形態１１に係る画像処理装置の構成を示す構成図である。 図４５は、実施の形態１１に係る画像処理装置の動作を示すフローチャートである。 図４６は、実施の形態１２に係る画像処理装置の構成を示す構成図である。 図４７は、実施の形態１２に係る画像処理装置の動作を示すフローチャートである。 図４８は、実施の形態１３に係る画像符号化装置の構成を示す構成図である。 図４９は、実施の形態１３に係る画像符号化装置の動作を示すフローチャートである。 図５０は、実施の形態１４に係る画像符号化装置の構成を示す構成図である。 図５１は、実施の形態１４に係る画像符号化装置の動作を示すフローチャートである。 図５２は、実施の形態１５に係る画像符号化装置の構成を示す構成図である。 図５３は、実施の形態１５に係る画像符号化装置の動作を示すフローチャートである。 図５４は、実施の形態１５に係る周波数変換ユニットの構成例を示す図である。 図５５は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図５６は、デジタル放送用システムの全体構成図である。 図５７は、テレビの構成例を示すブロック図である。 図５８は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図５９は、光ディスクである記録メディアの構造例を示す図である。 図６０は、画像復号処理を実現する集積回路の構成例を示す構成図である。 図６１は、画像復号処理および画像符号化処理を実現する集積回路の構成例を示す構成図である。 図６２は、従来技術に係るパイプライン処理を示す説明図である。 図６３は、従来技術に係る可変サイズのブロックを示す説明図である。 図６４は、従来技術に係る可変サイズのブロックに対してパイプライン処理が適用された場合の動作を示す説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

また、１２８ｘ１２８画素、および、６４ｘ６４画素等の表現は、それぞれ、１２８画素ｘ１２８画素、および、６４画素ｘ６４画素等のサイズを意味する。

また、以下において、ブロック、データ単位および符号化ユニット（ＣＵ）等の表現は、それぞれ、まとまった領域を意味する。それらは、それぞれ、画像領域を意味する場合もある。あるいは、それらは、それぞれ、符号化ストリームにおけるデータ領域を意味する場合もある。

また、画像は、動画像、静止画像、動画像を構成する複数のピクチャ、１つのピクチャ、および、ピクチャの一部等のいずれでもよい。

（実施の形態１）
（１−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、最大符号化ユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズで、複数の処理を行う。なお、最大符号化ユニットは、符号化ストリームを構成する複数の符号化ユニットのうち最も大きい符号化ユニットである。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、処理性能が向上する。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（１−２．構成）
次に、本実施の形態に係る画像復号装置の構成について説明する。

図１は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置は、制御部５０１、フレームメモリ５０２、再構成画像メモリ５０９、可変長復号部５０３、逆量子化部５０４、逆周波数変換部５０５、動き補償部５０６、面内予測部５０７、再構成部５０８およびデブロックフィルタ部５１０を備える。

制御部５０１は、全体を制御する。フレームメモリ５０２は、復号された画像データを記憶するためのメモリである。再構成画像メモリ５０９は、生成された再構成画像の一部を記憶するためのメモリである。可変長復号部５０３は、符号化ストリームを読み込み、可変長符号を復号する。逆量子化部５０４は、逆量子化を行う。逆周波数変換部５０５は、逆周波数変換を行う。

動き補償部５０６は、フレームメモリ５０２から参照画像を読み出して、動き補償を行い、予測画像を生成する。面内予測部５０７は、再構成画像メモリ５０９から参照画像を読み出して、面内予測（イントラ予測ともいう）を行い、予測画像を生成する。再構成部５０８は、差分画像と予測画像とを加算して再構成画像を生成し、その一部を再構成画像メモリ５０９に格納する。デブロックフィルタ部５１０は、再構成画像のブロックノイズを除去し、再構成画像を高画質化する。

図２は、可変長復号部５０３と逆量子化部５０４との接続を示す構成図である。図１と同様の構成要素には同じ符号を割り当て、説明を省略する。本実施の形態の可変長復号部５０３と逆量子化部５０４とは、係数を記憶するためのメモリ５１１を介してそれぞれが接続されるように、構成される。図２は、可変長復号部５０３と逆量子化部５０４との接続のみを示しているが、図１に示す各処理部の間は同様の構成で接続される。

以上が、本実施の形態に係る画像復号装置の構成についての説明である。

（１−３．動作）
次に、本実施の形態に係る画像復号装置の動作を説明する。本実施の形態に係る画像復号装置が復号する符号化ストリームは、符号化ユニット（ＣＵ）と、周波数変換ユニット（ＴＵ）と、予測ユニット（ＰＵ）とで構成される。

符号化ユニット（ＣＵ）は、１２８ｘ１２８画素〜８ｘ８画素のサイズで設定され、面内予測とインター予測との切り替え可能なデータ単位である。周波数変換ユニット（ＴＵ）は、符号化ユニット（ＣＵ）の内部で６４ｘ６４画素〜４ｘ４画素のサイズで設定される。予測ユニット（ＰＵ）は、符号化ユニット（ＣＵ）の内部で１２８ｘ１２８画素〜４ｘ４画素のサイズで設定され、面内予測のモード、または、インター予測の動きベクトルを有する。以下、図３Ａ〜図６Ｂを用いて符号化ストリームの構成について説明する。

図３Ａおよび図３Ｂは、本実施の形態に係る画像復号装置が復号する符号化ストリームの、階層的な構成を示している。図３Ａに示すように、複数のピクチャをひとまとまりにしたものをシーケンスと呼ぶ。また、図３Ｂに示すように、各ピクチャはスライスに分割され、各スライスはさらに符号化ユニット（ＣＵ）に分割される。ピクチャはスライスに分割されない場合もある。

本実施の形態において、最大符号化ユニット（ＬＣＵ）のサイズは、１２８ｘ１２８画素である。また、１２８ｘ１２８画素の符号化ユニット（ＣＵ）と、６４ｘ６４画素の符号化ユニット（ＣＵ）とが混在している。

図３Ｃは、本実施の形態に係る符号化ストリームを示す図である。図３Ａおよび図３Ｂに示されたデータが階層的に符号化されることにより、図３Ｃに示された符号化ストリームが得られる。

図３Ｃに示された符号化ストリームは、シーケンスを制御するシーケンスヘッダ、ピクチャを制御するピクチャヘッダ、スライスを制御するスライスヘッダ、および、符号化ユニットレイヤデータ（ＣＵレイヤデータ）で構成される。Ｈ．２６４規格では、シーケンスヘッダをＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャヘッダをＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と呼んでいる。

次に、本実施の形態の説明に使用する符号化ユニットと符号化ストリームの構成について、図４Ａおよび図４Ｂを用いて説明する。符号化ストリームは、ＣＵ分割フラグとＣＵデータで構成される。このＣＵ分割フラグは、「１」の場合、ブロックを４分割することを示し、「０」の場合、ブロックを４分割しないことを示す。図４Ａのように、１２８ｘ１２８画素の符号化ユニットの場合、ブロックは分割されない。すなわち、ＣＵ分割フラグは「０」である。

図４Ｂに示すように６４ｘ６４画素の４つの符号化ユニットの場合、最初のＣＵ分割フラグは「１」である。この最初のＣＵ分割フラグにより、１２８ｘ１２８画素のブロックが少なくとも６４ｘ６４画素の４つのブロックに分割されることが示される。そして、６４ｘ６４画素の４つのブロックのそれぞれは分割されないため、後続のＣＵ分割フラグは、「０」である。このようにして、符号化ユニットのサイズは、ＣＵ分割フラグによって、１２８ｘ１２８画素から４ｘ４画素までのいずれかに特定される。

図５Ａおよび図５Ｂは、それぞれ、本実施の形態に係る周波数変換ユニットの構成例を示す。各符号化ユニットのＣＵデータは、さらに、ＣＵヘッダ、ＴＵ分割フラグ、係数情報で構成される。ＣＵヘッダについては後述する。ＴＵ分割フラグは、符号化ユニットの中で周波数変換ユニットのサイズを示し、ＣＵ分割フラグと同様に、階層的にそのサイズを４分割するか否かを示す。

図５Ａは、１２８ｘ１２８画素の符号化ユニットが、６４ｘ６４画素の４つの周波数変換ユニットで構成される場合の例を示す。１２８ｘ１２８画素の符号化ユニットの場合、周波数変換ユニットは最大が６４ｘ６４画素であるので、必ず４分割される。図５Ａの場合、それぞれの６４ｘ６４画素のブロックは分割されない。そのため、ＴＵ分割フラグは、全て「０」である。

図５Ｂは、１２８ｘ１２８画素の符号化ユニットが、６４ｘ６４画素の３つの周波数変換ユニット、および、３２ｘ３２画素の４つの周波数変換ユニットで構成される例を示す。この場合、「１」の値を有するＴＵ分割フラグが存在する。

図５Ａおよび図５Ｂの各周波数変換ユニットには、輝度データ（輝度情報）および色差データ（色差情報）が含まれている。つまり、符号化ストリームにおいて、輝度データおよび色差データの両方を含む係数情報が周波数変換ユニット毎にまとめられている。

次に、ＣＵヘッダについて説明する。図６Ａに示すように、ＣＵヘッダは、ＣＵタイプを含み、さらに、動きベクトルまたは面内予測モードを含む。ＣＵタイプによって、予測ユニットのサイズが決定される。図６Ｂは、１２８ｘ１２８画素、６４ｘ１２８画素、１２８ｘ６４画素、および、６４ｘ６４画素の予測ユニットを示す。予測ユニットのサイズは、４ｘ４画素以上のサイズから選択可能である。また、予測ユニットの形状は、長方形でもよい。予測ユニット毎に動きベクトルまたは面内予測モードが指定される。

次に、本実施の形態に係る画像復号装置の動作を具体的に説明する。図７Ａおよび図７Ｂは、動作の説明に用いられる複数の符号化ユニットの構成例を示す。図７Ａに示された８つの符号化ユニット（ＣＵ０〜ＣＵ７）が動作の説明のために用いられる。

図７Ｂに示すように、ＣＵ０、ＣＵ５〜ＣＵ７は、１２８ｘ１２８画素で構成される符号化ユニットである。ＣＵ１〜ＣＵ４は、６４ｘ６４画素で構成される符号化ユニットである。ＣＵ４の周波数変換ユニットのサイズは３２ｘ３２画素である。他の周波数変換ユニットのサイズは全て６４ｘ６４画素である。ＣＵ０の予測ユニットのサイズは、１２８ｘ１２８画素であり、ＣＵ１〜ＣＵ４の予測ユニットのサイズは、６４ｘ６４画素であり、ＣＵ５〜ＣＵ７の予測ユニットのサイズは、１２８ｘ１２８画素である。

次に、図８に示すフローチャートを用いて、図１に示した画像復号装置の動作を説明する。図８は、符号化ストリームに含まれる１シーケンスの復号動作を示すフローチャートである。図８に示すように、画像復号装置は、まず、シーケンスヘッダを復号する（Ｓ９０１）。その際、可変長復号部５０３は、制御部５０１の制御に基づいて、符号化ストリームを復号する。次に、画像復号装置は、同様に、ピクチャヘッダを復号し（Ｓ９０２）、スライスヘッダを復号する（Ｓ９０３）。

次に、画像復号装置は、符号化ユニットを復号する（Ｓ９０４）。符号化ユニットの復号については後で詳しく説明する。画像復号装置は、符号化ユニットの復号後、復号された符号化ユニットがスライス最後の符号化ユニットであるか否かを判定する（Ｓ９０５）。そして、復号された符号化ユニットがスライス最後の符号化ユニットでない場合、再度、画像復号装置は、次の符号化ユニットを復号する（Ｓ９０４）。

さらに、画像復号装置は、復号された符号化ユニットを含むスライスがピクチャ最後のスライスであるか否かを判定する（Ｓ９０６）。そして、ピクチャ最後のスライスでない場合、画像復号装置は、再度、スライスヘッダを復号する（Ｓ９０３）。

さらに、画像復号装置は、復号された符号化ユニットを含むピクチャがシーケンス最後のピクチャであるか否かを判定する（Ｓ９０７）。そして、シーケンス最後のピクチャでない場合、画像復号装置は、再度、ピクチャヘッダを復号する（Ｓ９０２）。画像復号装置は、シーケンスの全てのピクチャの復号後、一連の復号動作を終了する。

次に、図９に示すフローチャートを用いて、図８の符号化ユニットの復号（Ｓ９０４）の動作を説明する。図９は、１つの符号化ユニットの復号動作を示すフローチャートである。

まず、可変長復号部５０３は、入力された符号化ストリームに含まれる処理対象の符号化ユニットについて、可変長復号を行う（Ｓ１００１）。可変長復号処理（Ｓ１００１）では、可変長復号部５０３は、符号化ユニットタイプ、面内予測（イントラ予測）モード、動きベクトル情報および量子化パラメータなどの符号化情報を出力し、各画素データに対応する係数情報を出力する。符号化情報は、制御部５０１に出力され、その後、各処理部に入力される。係数情報は、次の逆量子化部５０４に出力される。次に、逆量子化部５０４は、逆量子化処理を行う（Ｓ１００２）。その後、逆周波数変換部５０５は、逆周波数変換を行って差分画像を生成する（Ｓ１００３）。

次に、制御部５０１は、処理対象の符号化ユニットにインター予測が用いられるか、面内予測が用いられるかの判定を行う（Ｓ１００４）。インター予測が用いられる場合、制御部５０１により動き補償部５０６が起動し、動き補償部５０６が１／２画素精度または１／４画素精度等の予測画像を生成する（Ｓ１００５）。一方、インター予測が用いられない場合、すなわち、面内予測が用いられる場合、制御部５０１により面内予測部５０７が起動し、面内予測部５０７が面内予測の処理を行い、予測画像を生成する（Ｓ１００６）。

再構成部５０８は、動き補償部５０６または面内予測部５０７が出力する予測画像と、逆周波数変換部５０５が出力する差分画像とを加算することにより、再構成画像を生成する（Ｓ１００７）。

生成された再構成画像は、デブロックフィルタ部５１０に入力される。同時に、面内予測で用いられる部分は、再構成画像メモリ５０９に格納される。最後に、デブロックフィルタ部５１０は、得られた再構成画像に対して、ブロックノイズを低減するためのデブロックフィルタ処理を行う。そして、デブロックフィルタ部５１０は、フレームメモリ５０２に結果を格納する（Ｓ１００８）。以上で、符号化ユニットの復号動作を終了する。

ここで、図９に示すフローチャートに示す各処理を、図９の点線で示すように複数のステージに分割する。画像復号装置は、これらの第１ステージから第５ステージまでの複数のステージにおいて、ステージ毎にそれぞれ異なる複数の最大符号化ユニットに対して、複数の処理を同時に行う。これにより、並列処理が実現され、性能が向上する。このような処理をパイプライン処理と呼ぶ。

図９の例では、第１ステージは、可変長復号処理（Ｓ１００１）を含む。第２ステージは、逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）とを含む。第３ステージは、動き補償処理（Ｓ１００５）を含む。第４ステージは、面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）とを含む。第５ステージは、デブロックフィルタ処理（Ｓ１００８）を含む。

これらの複数のステージに分割された複数の処理が、ステージ毎に互いに異なる複数の最大符号化ユニットに対して、パイプライン方式で実行される。本実施の形態に係る画像復号装置に含まれる各処理部は、１つのステージにおいて、最大符号化ユニット内の全ての符号化ユニットに対して処理を行う。

つまり、１２８ｘ１２８画素の最大符号化ユニット内に１２８ｘ１２８画素の１つの符号化ユニットしかない場合、各処理部は、１つのステージにおいて、１つの符号化ユニットの処理を行う。１２８ｘ１２８画素の最大符号化ユニット内に６４ｘ６４画素の４つの符号化ユニットがある場合、各処理部は、１つのステージにおいて、４つの符号化ユニットの全てに対して処理を行う。

図１０は、本実施の形態に係る画像復号装置の時系列の動作を示す図である。図１０は、図９のように複数の処理が複数のステージに分割され、かつ、複数の符号化ユニットが図７Ａのように構成されている場合の動作を示す。

ＴＳ＝０では、ＣＵ０に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝１では、ＣＵ０に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われると同時に、ＣＵ１〜ＣＵ４に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ１〜ＣＵ４に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。また、同時に、ＣＵ５に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝３では、ＣＵ０に対して第４ステージの面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）が行われ、ＣＵ１〜ＣＵ４に対して第３ステージの動き補償処理（Ｓ１００５）が行われる。また、同時に、ＣＵ５に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ６に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝４では、ＣＵ０に対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ１〜４に対して第４ステージの面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）が行われる。また、同時に、ＣＵ５に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ６に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。また、同時に、ＣＵ７に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。この結果、ＣＵ０の復号処理が全て完了する。

ＴＳ＝５では、ＣＵ１〜ＣＵ４に対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ５に対して第４ステージの面内予測処理（Ｓ１００６）と再構成処理（Ｓ１００７）が行われる。また、同時に、ＣＵ６に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ７に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。また、同時に、ＣＵ８に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。この結果、ＣＵ１〜ＣＵ４の復号処理が全て完了する。

ここで、図１０のＴＳ＝５の第５ステージのデブロックフィルタ処理（Ｓ１００８）について、ＣＵ１〜ＣＵ４が分けて記載されていない。これは次のような理由による。

本実施の形態に係るデブロックフィルタ処理は、図２５に示す番号の順序で実行される。具体的には、垂直の境界に対して先にデブロックフィルタ処理が行われ、次に水平の境界に対してデブロックフィルタ処理が行われる。

従って、ＣＵ１、ＣＵ２、ＣＵ３、ＣＵ４の順ではなく、ＣＵ１〜ＣＵ４の全ての垂直境界に対してデブロックフィルタ処理が実行された後に、ＣＵ１〜ＣＵ４の全ての水平境界に対してデブロックフィルタ処理が実行される。

ＴＳ＝６以降は、ＴＳ＝５までと同様であるので説明を省略する。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０の可変長復号処理（Ｓ１００１）が行われる。また、ＴＳ＝１において、ＣＵ０の逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ１〜ＣＵ４の可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０の可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０に対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ１〜ＣＵ４の可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１には、最大符号化ユニットの処理に必要なデータを記憶できるメモリ容量が少なくとも必要である。

可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間にも同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（１−４．効果）
本実施の形態に示された画像復号装置は、最大符号化ユニットのデータ単位で、パイプライン処理を実行する。これにより、各ステージで処理されるデータ量が一定になる。したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

（１−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、最大符号化ユニット毎にパイプライン方式で実行されてもよい。これにより、本実施の形態と同様に効率的にパイプライン処理が実行される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態２）
（２−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。また、符号化ストリームにおける各周波数変換ユニットには、輝度データ（輝度情報）および色差データ（色差情報）が含まれる。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。また、実施の形態１に比べて処理部間のメモリ容量を削減することが可能である。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（２−２．構成）
図１は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態１と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

（２−３．動作）
本実施の形態では、実施の形態１と同様に、図３Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。また、実施の形態１と同様に、図７Ａおよび図７Ｂに示された複数の符号化ユニットの構成が例として用いられる。本実施の形態に係る画像復号装置の動作フローは、図８および図９に示された実施の形態１の動作フローと同様であるので、説明を省略する。

本実施の形態と実施の形態１との違いは、図９に示されたフローチャートの各ステージの動作タイミングの違いである。

図１１は、本実施の形態に係る画像復号装置の時系列の動作を示す。図１１には、図７Ａに示された複数の符号化ユニットについての処理の動作が示されている。説明のため、ＣＵ０を４分割することにより得られた６４ｘ６４画素の４つの領域のうち、左上の領域をＣＵ０ａと呼び、右上の領域をＣＵ０ｂと呼び、左下の領域をＣＵ０ｃと呼び、右下の領域をＣＵ０ｄと呼ぶ。

ＴＳ＝０では、ＣＵ０ａに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ＣＵ０ａは、符号化ユニットの先頭である。そのため、ＣＵヘッダの処理も合わせて行われる。

ＴＳ＝１では、ＣＵ０ａに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｂに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｂに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｃに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ここで、ＣＵ０の予測ユニットのサイズは、１２８ｘ１２８画素である。そのため、動き補償処理（Ｓ１００５）は、１２８ｘ１２８画素のサイズで実行される。したがって、動き補償処理（Ｓ１００５）は、４つのタイムスロットを占用する。そして、動き補償処理（Ｓ１００５）は、ＴＳ＝５まで行われる。

ＴＳ＝３では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）がＴＳ＝２から継続して行われ、ＣＵ０ｃに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｄに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝４では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）がＴＳ＝２から継続して行われ、ＣＵ０ｄに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ１に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝５では、ＣＵ０に対して第３ステージの動き補償処理（Ｓ１００５）がＴＳ＝２から継続して行われ、ＣＵ１に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ２に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝６では、ＣＵ０に対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ１に対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ２に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ３に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝７以降は、ＴＳ＝６までと同様であるので、説明を省略する。

本実施の形態において、図５Ａおよび図５Ｂのように、符号化ユニットのサイズが１２８ｘ１２８画素である場合、必ず周波数変換ユニットのサイズは６４ｘ６４画素以下である。そして、６４ｘ６４画素のデータ単位で、順次、符号化ストリームが形成されている。したがって、周波数変換ユニットの最大のサイズである６４ｘ６４画素のデータ単位でパイプライン処理が実行されている。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０ａの可変長復号処理（Ｓ１００１）が行われる。また、ＴＳ＝１において、ＣＵ０ａの逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ０ｂの可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０ａの可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０ａに対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ０ｂの可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１は、パイプライン処理を実行するためのデータ単位を記憶できるメモリ容量を有していればよい。本実施の形態のデータ単位は、最も大きい周波数変換ユニットであり、そのサイズは、６４ｘ６４画素である。すなわち、データ単位が１２８ｘ１２８画素の最大符号化ユニットである実施の形態１と比較して、本実施の形態に係るメモリ容量は、少なくてもよい。

上述では、可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間も同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。また、本実施の形態において、第３ステージの動き補償以降では、最大符号化ユニットでパイプラインが構成されている。そのため、これら処理について、実施の形態１と同様に、少なくとも１２８ｘ１２８画素の最大符号化ユニットの処理に必要なデータを記憶できるメモリ容量が必要である。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（２−４．効果）
本実施の形態に示す画像復号装置は、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理を実行する。

図５Ａおよび図５Ｂの各周波数変換ユニットには、輝度データ（輝度情報）および色差データ（色差情報）が含まれる。そのため、輝度データおよび色差データを分けることなく、図１１のように、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位でパイプラインを構成することが可能になる。つまり、１２８ｘ１２８画素の符号化ユニット、および、６４ｘ６４画素の符号化ユニットが混在する場合でも、各ステージで処理されるデータ量が一定になる。

したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

また、実施の形態１と比べて、最も大きい周波数変換ユニットでパイプライン処理が実行される。最も大きい周波数変換ユニットは、最大符号化ユニットよりも小さい。したがって、処理部間のメモリ容量を小さくすることが可能になり、回路規模を小さくすることが可能になる。

（２−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、符号化ユニットの符号量がゼロであるスキップブロックの存在が示されていない。しかし、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、最も大きい周波数変換ユニットのサイズでパイプライン処理を実行してもよい。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、最も大きい周波数変換ユニット毎にパイプライン方式で実行されてもよい。これにより、本実施の形態と同様に効率的にパイプライン処理が実行される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態３）
（３−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理または面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。また、実施の形態１および実施の形態２に比べて処理部間のメモリ容量を削減することが可能になる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（３−２．構成）
次に、本実施の形態に係る画像復号装置の構成について説明する。

図１２は、本実施の形態に係る画像復号装置の構成図である。図１に示された実施の形態１の構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。本実施の形態に係る画像復号装置は、動き補償部５２０および面内予測部５２１を備える。動き補償部５２０は、最も大きい周波数変換ユニットのサイズ以下のサイズで予測ユニットを分割して動き補償処理を行う。面内予測部５２１は、最も大きい周波数変換ユニットのサイズ以下のサイズで予測ユニットを分割して面内予測処理を行う。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

図１３は、図１２の動き補償部５２０の構成を示す。図１２に示された構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。動き補償部５２０は、動き補償ブロック分割部６０１、参照画像取得部６０２および動き補償演算部６０３を備える。動き補償ブロック分割部６０１は、予測ユニットを分割する。参照画像取得部６０２は、フレームメモリ５０２から参照画像を取得する。動き補償演算部６０３は、動き補償処理を行う。

図１４は、図１２の面内予測部５２１の構成を示す。図１２に示された構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。面内予測部５２１は、面内予測ブロック分割部７０１、再構成画像取得部７０２および面内予測演算部７０３を備える。面内予測ブロック分割部７０１は、予測ユニットを分割する。再構成画像取得部７０２は、再構成画像メモリ５０９から再構成画像を取得する。面内予測演算部７０３は、面内予測処理を行う。

以上が、本実施の形態に係る画像復号装置の構成についての説明である。

（３−３．動作）
本実施の形態では、実施の形態１と同様に、図３Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。また、実施の形態１と同様に、図７Ａおよび図７Ｂに示された複数の符号化ユニットの構成が例として用いられる。本実施の形態に係る画像復号装置の動作フローは、図８および図９に示された実施の形態１の動作フローと、動き補償処理（Ｓ１００５）および面内予測処理（Ｓ１００６）を除いて、同様であるので、説明を省略する。以下、動き補償処理（Ｓ１００５）と面内予測処理（Ｓ１００６）について、説明する。

本実施の形態の動き補償部５２０による動き補償処理（Ｓ１００５）の動作を図１５に示すフローチャートを用いて説明する。まず、動き補償ブロック分割部６０１は、予測ユニットが６４ｘ６４画素よりも大きいか否かを判定する（Ｓ１１００）。

予測ユニットが６４ｘ６４画素よりも大きくない場合（Ｓ１１００でＮｏ）、通常の動き補償処理と同様の処理が実行される。すなわち、参照画像取得部６０２は、参照画像を取得し（Ｓ１１０５）、動き補償演算部６０３は、動き補償の演算を行う（Ｓ１１０６）。

予測ユニットが６４ｘ６４画素よりも大きい場合（Ｓ１１００でＹｅｓ）、動き補償ブロック分割部６０１は、予測ユニットを６４ｘ６４画素の複数の分割ブロックに分割する（Ｓ１１０１）。次に、参照画像取得部６０２は、分割ブロック毎に参照画像を取得する（Ｓ１１０２）。動き補償演算部６０３は、分割ブロック毎に動き補償の演算を行う（Ｓ１１０３）。次に、動き補償ブロック分割部６０１は、未処理の分割ブロックがあるか否かを判定する（Ｓ１１０４）。

未処理の分割ブロックがある場合（Ｓ１１０４でＹｅｓ）、参照画像取得部６０２は、参照画像を取得し（Ｓ１１０２）、動き補償演算部６０３は、動き補償の演算を行う（Ｓ１１０３）。未処理の分割ブロックがない場合（Ｓ１１０４でＮｏ）、動き補償部５２０は処理を終了する。

次に、以上の動き補償の動作を、具体例を使って説明する。図１６は、予測ユニットが１２８ｘ１２８画素である場合の動き補償の動作を示している。この例では、復号対象ピクチャの符号化ユニットの予測ユニットが１２８ｘ１２８画素サイズで、動きベクトルがｖである。動き補償処理では、参照ピクチャ内において、動きベクトルが指す１２８ｘ１２８画素のブロックが参照画像として用いられる。

この例において、まず、動き補償ブロック分割部６０１は、予測ユニットを、実施の形態２で示された最も大きい周波数変換ユニットのサイズである６４ｘ６４画素の４つの分割ブロックに分割する。図１７に示す通り、各分割ブロックの動きベクトルは、１２８ｘ１２８画素の予測ユニットの動きベクトルと同じでよい。つまり、各分割ブロックの動きベクトルは、全てｖでよい。ここで、予測ユニットの左上に位置するブロックをＣＵ０ａ、右上に位置するブロックをＣＵ０ｂ、左下に位置するブロックをＣＵ０ｃ、右下に位置するブロックをＣＵ０ｄと呼ぶ。

次に、参照画像取得部６０２は、ＣＵ０ａの位置と、ＣＵ０ａの動きベクトルと、参照インデックスとによって特定される画像をフレームメモリ５０２から取得する。ＣＵ０ａの動きベクトルはｖである。したがって、図１８に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる左上の６４ｘ６４画素ブロックである。参照画像取得部６０２は、この６４ｘ６４画素ブロックをフレームメモリ５０２から取得する。

参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ａの動き補償を行い、予測画像を生成する。動き補償演算部６０３は、動きベクトルが小数画素位置を指す場合、取得された参照画像にフィルタ処理を行って予測画像を生成する。動きベクトルが整数画素位置を指す場合、動き補償演算部６０３は、取得された参照画像をそのまま予測画像として出力する。以上で、ＣＵ０ａの動き補償が完了する。

同様に、参照画像取得部６０２は、ＣＵ０ｂの動き補償に用いられる参照画像をフレームメモリ５０２から取得する。ＣＵ０ｂの動きベクトルはｖである。したがって、図１９に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる右上の６４ｘ６４画素ブロックである。参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ｂの動き補償を行い、予測画像を生成する。以上で、ＣＵ０ｂの動き補償が完了する。

同様に、参照画像取得部６０２は、ＣＵ０ｃの動き補償に用いられる参照画像をフレームメモリ５０２から取得する。ＣＵ０ｃの動きベクトルはｖである。したがって、図２０に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる左下の６４ｘ６４画素ブロックである。参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ｃの動き補償を行い、予測画像を生成する。以上で、ＣＵ０ｃの動き補償が完了する。

同様に、参照画像取得部６０２は、ＣＵ０ｄの動き補償に用いられる参照画像をフレームメモリ５０２から取得する。ＣＵ０ｄの動きベクトルはｖである。したがって、図２１に示される通り、取得される参照画像は、元の１２８ｘ１２８画素サイズの予測ユニットについての参照画像である１２８ｘ１２８画素ブロックに含まれる右下の６４ｘ６４画素ブロックである。参照画像の取得の完了後、動き補償演算部６０３がＣＵ０ｄの動き補償を行い、予測画像を生成する。以上で、ＣＵ０ｄの動き補償が完了する。

以上で、ＣＵ０ａ〜ＣＵ０ｄの動き補償が完了し、動きベクトルがｖである予測ユニットの動き補償の動作が完了する。

次に、本実施の形態の面内予測部５２１による面内予測処理（Ｓ１００６）の動作を図２２に示すフローチャートを用いて説明する。まず、面内予測ブロック分割部７０１は、予測ユニットが６４ｘ６４画素よりも大きいか否かを判定する（Ｓ１８００）。

予測ユニットが６４ｘ６４画素よりも大きくない場合（Ｓ１８００でＮｏ）、通常の面内予測処理と同様の処理が実行される。すなわち、再構成画像取得部７０２は、再構成画像を取得し（Ｓ１８０５）、面内予測演算部７０３は、面内予測の演算を行う（Ｓ１８０６）。

予測ユニットが６４ｘ６４画素よりも大きい場合（Ｓ１８００でＹｅｓ）、面内予測ブロック分割部７０１は、予測ユニットを６４ｘ６４画素の４つの分割ブロックに分割する（Ｓ１８０１）。次に、再構成画像取得部７０２は、分割ブロック毎に参照画像を取得し（Ｓ１８０２）、面内予測演算部７０３は、分割ブロック毎に面内予測の演算を行う（Ｓ１８０３）。次に、面内予測ブロック分割部７０１は、未処理の分割ブロックがあるか否かを判定する（Ｓ１８０４）。

未処理の分割ブロックがある場合（Ｓ１８０４でＹｅｓ）、再構成画像取得部７０２は再構成画像を取得し（Ｓ１８０２）、面内予測演算部７０３は面内予測の演算を行う（Ｓ１８０３）。未処理の分割ブロックがない場合（Ｓ１８０４でＮｏ）、面内予測部５２１は処理を終了する。

次に、上述の面内予測の動作を、具体例を使って説明する。図２３は、面内予測の予測ユニットのサイズが１２８ｘ１２８画素である場合の面内予測の動作を示している。この例では、図２３の（ａ）に示す通り、面内予測モードが「１２８ｘ１２８垂直予測モード」である。そのため、面内予測は、復号対象予測ユニットの上に隣接し１２８ｘ１画素のサイズを有する再構成画像ブロックを用いて処理が行われる。具体的には、復号対象予測ユニットの上に隣接する再構成画像ブロック内の画素値を下方向にコピーすることにより、予測画像が得られる。

図２３の例において、まず、面内予測ブロック分割部７０１が、予測ユニットを６４ｘ６４画素の分割ブロックに分割する。元の予測ユニットは、各分割ブロックよりも大きく、１２８ｘ１２８画素のブロックである。各分割ブロックの面内予測モードは、６４ｘ６４画素の面内予測モードである。より具体的には、各分割ブロックの面内予測モードは、全て「６４ｘ６４垂直予測モード」である。ここで、予測ユニットの左上に位置するブロックをＣＵ０ａ、右上に位置するブロックをＣＵ０ｂ、左下に位置するブロックをＣＵ０ｃ、右下に位置するブロックをＣＵ０ｄと呼ぶ。

次に、再構成画像取得部７０２は、ＣＵ０ａの位置と、ＣＵ０ａの面内予測モードとに基づいて、ＣＵ０ａの参照画像を再構成画像メモリ５０９から取得する。取得される再構成画像の位置とサイズは、以下の手順で決定する。

元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。再構成画像取得部７０２は、予測ユニット内のＣＵ０ａの領域の面内予測で参照される再構成画像の位置とサイズを計算して、再構成画像を取得する。この例では、図２３の（ｂ）に示される通り、取得される再構成画像は、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックである。再構成画像取得部７０２は、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックの位置とサイズを、取得される再構成画像の位置とサイズとして決定する。

再構成画像取得部７０２は、以上の手順で、取得される再構成画像の位置とサイズを決定した後、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックを再構成画像メモリ５０９から取得する。

再構成画像の取得の完了後、面内予測演算部７０３が、取得された再構成画像を用いて、ＣＵ０ａの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３が、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ａの面内予測が完了する。

同様に、再構成画像取得部７０２は、ＣＵ０ｂの面内予測で参照される再構成画像を再構成画像メモリ５０９から取得する。元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。したがって、取得される再構成画像は、図２３の（ｃ）に示される通り、ＣＵ０ｂの上に隣接する６４ｘ１画素ブロックである。

再構成画像の取得の完了後、面内予測演算部７０３は、取得された再構成画像を用いて、ＣＵ０ｂの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３は、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ｂの面内予測が完了する。

同様に、再構成画像取得部７０２は、ＣＵ０ｃの面内予測で参照される再構成画像を再構成画像メモリ５０９から取得する。元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。したがって、取得される再構成画像は、図２３の（ｄ）に示される通り、ＣＵ０ａの上に隣接する６４ｘ１画素ブロックである。

再構成画像の取得の完了後、面内予測演算部７０３は、取得された再構成画像を用いて、ＣＵ０ｃの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３は、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ｃの面内予測が完了する。

同様に、再構成画像取得部７０２は、ＣＵ０ｄの面内予測で参照される再構成画像を再構成画像メモリ５０９から取得する。元の予測ユニットの面内予測モードは、「１２８ｘ１２８垂直予測モード」である。したがって、取得される再構成画像は、図２３の（ｅ）に示される通り、ＣＵ０ｂの上に隣接する６４ｘ１画素ブロックである。

再構成画像の取得の完了後、面内予測演算部７０３は、取得された再構成画像を用いて、ＣＵ０ｄの面内予測を行い、予測画像を生成する。この時、面内予測モードが「１２８ｘ１２８垂直予測モード」であるため、面内予測演算部７０３は、取得された６４ｘ１画素ブロックの画素値を下方向にコピーして予測画像を生成する。以上で、ＣＵ０ｄの面内予測が完了する。

以上で、ＣＵ０ａ〜ＣＵ０ｄの面内予測が完了する。すなわち、面内予測モードが「１２８ｘ１２８垂直予測モード」である予測ユニットの面内予測の動作が完了する。

本実施の形態では、動き補償処理または面内予測処理に用いられる予測ユニットが分割される。これにより、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、動き補償処理および面内予測処理を含むパイプライン処理が実行される。

ここでは、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素よりも予測ユニットのサイズが大きい場合の例のみが示されている。６４ｘ６４画素よりも予測ユニットのサイズが小さい場合、予測ユニットは分割されなくてもよい。その場合、６４ｘ６４画素のブロックに含まれる全ての予測ユニットに対して、動き補償および面内予測の処理が実行されればよい。

また、６４ｘ６４画素の境界をまたぐ予測ユニットが存在する場合、画像復号装置は、その予測ユニットを６４ｘ６４画素の境界で複数のブロックに分割し、上述の動作と同様に、６４ｘ６４画素のデータ単位で、動き補償および面内予測の処理を実行すればよい。

図２４は、本実施の形態に係る画像復号装置の時系列の動作を示す。図２４には、図７Ａに示された複数の符号化ユニットを処理する際の動作が示されている。説明のため、ＣＵ０を４分割することにより得られた６４ｘ６４画素の４つの領域のうち、左上の領域をＣＵ０ａと呼び、右上の領域をＣＵ０ｂと呼び、左下の領域をＣＵ０ｃと呼び、右下の領域をＣＵ０ｄと呼ぶ。

ＴＳ＝０では、ＣＵ０ａに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ＣＵ０ａは、符号化ユニットの先頭である。そのため、ＣＵヘッダの処理も合わせて行われる。

ＴＳ＝１では、ＣＵ０ａに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｂに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０ａに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｂに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｃに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、予測ユニットは、１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝３では、ＣＵ０ａに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｂに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ０ｃに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ０ｄに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは、１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝４では、ＣＵ０ｂに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｃに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ０ｄに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ１に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝５では、ＣＵ０ｃに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｄに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ１に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ２に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝６では、ＣＵ０ｄに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ１に対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ２に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ３に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝７以降は、ＴＳ＝６までと同様であるので、説明を省略する。

本実施の形態において、図５Ａおよび図５Ｂのように、符号化ユニットのサイズが１２８ｘ１２８画素である場合、必ず周波数変換ユニットのサイズは６４ｘ６４画素以下である。そして、６４ｘ６４画素のデータ単位で、順次、符号化ストリームが形成されている。したがって、周波数変換ユニットの最大のサイズである６４ｘ６４画素のデータ単位でパイプライン処理が実行されている。

さらに、６４ｘ６４画素よりも大きい予測ユニットを分割することにより、動き補償処理および面内予測処理も、６４ｘ６４画素のデータ単位で実行されている。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０ａの可変長復号処理（Ｓ１００１）が行われ、ＴＳ＝１において、ＣＵ０ａの逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ０ｂの可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０ａの可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０ａに対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ０ｂの可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１は、パイプライン処理を実行するためのデータ単位を記憶できるメモリ容量を有していればよい。本実施の形態のデータ単位は、最も大きい周波数変換ユニットであり、そのサイズは、６４ｘ６４画素である。すなわち、データ単位が１２８ｘ１２８画素の最大符号化ユニットである実施の形態１と比較して、本実施の形態に係るメモリ容量は、少なくてもよい。

上述では、可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間も同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。また、本実施の形態において、第５ステージのデブロックフィルタ処理では、最大符号化ユニットでパイプラインが構成されている。そのため、この処理について、実施の形態１と同様に、少なくとも１２８ｘ１２８画素の最大符号化ユニットの処理に必要なデータを記憶できるメモリ容量が必要である。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（３−４．効果）
本実施の形態に示す画像復号装置は、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理を実行する。これにより、各ステージで処理されるデータ量が一定になる。したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

また、実施の形態２と比べて、動き補償処理および面内予測処理についても、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理が実行される。最も大きい周波数変換ユニットは、最大符号化ユニットよりも小さい。したがって、処理部間のメモリ容量を小さくすることが可能になり、回路規模を小さくすることが可能になる。

（３−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、符号化ユニットの符号量がゼロであるスキップブロックの存在が示されていない。しかし、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、最も大きい周波数変換ユニットのサイズでパイプライン処理を実行してもよい。また、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、動き補償または面内予測に用いられる予測ユニットを最も大きい周波数変換ユニットのサイズで分割してもよい。

また、本実施の形態において、参照画像のフィルタ処理に必要な周辺画素について、言及されていない。しかし、画像復号装置は、過去に復号されたピクチャから参照画像を取得する際、必要に応じて、フィルタ処理に用いられる周辺画素を取得しても構わない。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、パイプライン方式で実行されてもよい。これにより、メモリ容量が低減され、回路規模が削減される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態４）
（４−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、本実施の形態では、符号化ストリームにおけるデブロックフィルタ処理が、Ｈ．２６４規格で定められた順序とは異なる順序で実行される。そして、動き補償処理、面内予測処理、デブロックフィルタ処理が、周波数変換ユニットのサイズで実行される。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。また、実施の形態３に比べて処理部間のメモリ容量をさらに削減することが可能になる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（４−２．構成）
図１２は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態３と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態３と同様であるので、説明を省略する。

（４−３．動作）
本実施の形態における画像復号装置の動作は、図８および図９のフローチャートに示された動作と同様であり、実施の形態３の動作と同様であるが、デブロックフィルタ処理（Ｓ１００８）が異なる。

本実施の形態に係る画像復号装置は、図７Ａに示されたＣＵ１〜ＣＵ４に対して、図２６に示された番号の順にデブロックフィルタ処理を行う。つまり、デブロックフィルタ部５１０は、ＣＵ１の垂直境界、ＣＵ１の水平境界、ＣＵ２の垂直境界、ＣＵ２の水平境界、ＣＵ３の垂直境界、ＣＵ３の水平境界、ＣＵ４の垂直境界、ＣＵ４の水平境界の順にデブロックフィルタ処理を行う。

これにより、再構成部５０８がＣＵ１の再構成処理（Ｓ１００７）を完了した後、直ちに、デブロックフィルタ部５１０がＣＵ１のデブロックフィルタ処理（Ｓ１００８）を行うことができる。そして、再構成部５０８とデブロックフィルタ部５１０の間には、６４ｘ６４画素のデータ単位を記憶できるメモリがあればよい。

また、同様に、本実施の形態に係る画像復号装置は、図７Ａに示されたＣＵ０に対して、図２７に示された番号の順にデブロックフィルタ処理を行う。つまり、デブロックフィルタ部５１０は、ＣＵ０ａの垂直境界、ＣＵ０ａの水平境界、ＣＵ０ｂの垂直境界、ＣＵ０ｂの水平境界、ＣＵ０ｃの垂直境界、ＣＵ０ｃの水平境界、ＣＵ０ｄの垂直境界、ＣＵ０ｄの水平境界の順にデブロックフィルタ処理を行う。

これにより、再構成部５０８がＣＵ０ａの再構成処理（Ｓ１００７）を完了した後、直ちに、デブロックフィルタ部５１０がＣＵ０ａのデブロックフィルタ処理（Ｓ１００８）を行うことができる。なお、ＣＵ０ａは、ＣＵ０を４分割することにより得られた６４ｘ６４画素の４つの領域のうち、左上の領域である。同様に、ＣＵ０ｂは右上の領域であり、ＣＵ０ｃは左下の領域であり、ＣＵ０ｄは右下の領域である。

図２８は、本実施の形態に係る画像復号装置の時系列の動作を示す。図２８には、図７Ａに示された複数の符号化ユニットを処理する際の動作が示されている。

ＴＳ＝０では、ＣＵ０ａに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ＣＵ０ａは、符号化ユニットの先頭である。そのため、ＣＵヘッダの処理も合わせて行われる。

ＴＳ＝１では、ＣＵ０ａに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｂに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。

ＴＳ＝２では、ＣＵ０ａに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｂに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ０ｃに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝３では、ＣＵ０ａに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われ、ＣＵ０ｂに対して第３ステージの動き補償処理（Ｓ１００５）が行われる。同時に、ＣＵ０ｃに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われ、ＣＵ０ｄに対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝４では、ＣＵ０ａに対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ０ｂに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われる。同時に、ＣＵ０ｃに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ０ｄに対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ１に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝５では、ＣＵ０ｂに対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ０ｃに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われる。同時に、ＣＵ０ｄに対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ１に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ２に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝６では、ＣＵ０ｃに対して第５ステージのデブロックフィルタ処理（Ｓ１００８）が行われ、ＣＵ０ｄに対して第４ステージの面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）が行われる。同時に、ＣＵ１に対して第３ステージの動き補償処理（Ｓ１００５）が行われ、ＣＵ２に対して第２ステージの逆量子化処理（Ｓ１００２）と逆周波数変換処理（Ｓ１００３）が行われる。同時に、ＣＵ３に対して第１ステージの可変長復号処理（Ｓ１００１）が行われる。ここで、ＣＵ０の予測ユニットは１２８ｘ１２８画素のサイズであるが、先に説明したように、６４ｘ６４画素のデータ単位に分割されている。

ＴＳ＝７以降は、ＴＳ＝６までと同様であるので、説明を省略する。

本実施の形態では、従来の動作を示す図６４と比較して、パイプラインの各ステージで処理されるデータ量が一定になっている。そのため、処理の空き時間が削減され、効率的にパイプライン処理が実行されている。

ここで、ＴＳ＝０において、ＣＵ０ａの可変長復号処理（Ｓ１００１）が行われ、ＴＳ＝１において、ＣＵ０ａの逆量子化処理（Ｓ１００２）が行われ、同時に、ＣＵ０ｂの可変長復号処理（Ｓ１００１）が行われる。

これらの処理は、図２に示すように、可変長復号部５０３と逆量子化部５０４の間に、メモリ５１１が配置されることにより実現される。具体的には、ＴＳ＝０において、可変長復号部５０３は、ＣＵ０ａの可変長復号処理の結果をメモリ５１１に書き込む。ＴＳ＝１において、逆量子化部５０４は、可変長復号部５０３により書き込まれた結果をメモリ５１１から読み出す。そして、逆量子化部５０４は、ＣＵ０ａに対して逆量子化処理を行う。

同時に、ＴＳ＝１において、可変長復号部５０３は、ＣＵ０ｂの可変長復号処理の結果をメモリ５１１に書き込む。メモリ５１１は、パイプラインを実行するためのデータ単位を記憶できるメモリ容量を有していればよい。本実施の形態のデータ単位は、最も大きい周波数変換ユニットであり、そのサイズは、６４ｘ６４画素である。すなわち、データ単位が１２８ｘ１２８画素の最大符号化ユニットである実施の形態１と比較して、本実施の形態に係るメモリ容量は、少なくてもよい。

上述では、可変長復号部５０３と逆量子化部５０４との間のみが説明されているが、他の処理部間も同様のメモリが配置されてもよい。また、制御部５０１内に同様のメモリが配置されてもよい。また、本実施の形態において、全てが６４ｘ６４画素の最も大きい周波数変換ユニットのサイズでパイプラインが構成されている。そのため、実施の形態１〜３に比べて、メモリ容量を小さくすることが可能である。

以上が、本実施の形態に係る画像復号装置の動作についての説明である。

（４−４．効果）
本実施の形態に示す画像復号装置は、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理を実行する。これにより、各ステージで処理されるデータ量が一定になる。したがって、パイプラインの各ステージの処理時間が一定になる。よって、効率的にパイプライン処理が実行される。その結果、処理性能が向上する。また、効率的に回路が動作することにより、低消費電力化も可能になる。

また、実施の形態３と比べて、デブロックフィルタ処理の処理順序が変更されている。そして、デブロックフィルタ処理についても、最も大きい周波数変換ユニットのデータ単位で、パイプライン処理が実行される。最も大きい周波数変換ユニットは、最大符号化ユニットよりも小さい。したがって、処理部間のメモリ容量を小さくすることが可能になり、回路規模を小さくすることが可能になる。

（４−５．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、本実施の形態に示されたパイプライン処理の構成は一例である。必ずしも本実施の形態のように、複数の処理が複数のステージに分割されなくてもよい。例えば、いくつかの処理が１つのステージで実現されてもよいし、１つの処理がいくつかのステージに分割されても構わない。

また、本実施の形態において、可変長符号が用いられている。可変長符号の符号化方式は、ハフマン符号、ランレングス符号または算術符号など、どのような符号化方式であっても構わない。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態において、デブロックフィルタ処理の処理順序の変更が、実施の形態３に係る画像復号装置に適用されている。しかし、デブロックフィルタ処理の処理順序の変更が、実施の形態１または実施の形態２に係る画像復号装置に適用されても構わない。

また、本実施の形態において、デブロックフィルタ処理が、ＣＵ１の垂直境界に対して行われた後、水平境界に対して行われている。しかし、デブロックフィルタ処理の順序は、上述の順序に限られず、どのような順序であってもよい。

また、本実施の形態において、符号化ユニットの符号量がゼロであるスキップブロックの存在が示されていない。しかし、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、最も大きい周波数変換ユニットのサイズでパイプライン処理を実行してもよい。また、スキップブロックが存在する場合でも、本実施の形態に係る画像復号装置は、動き補償または面内予測に用いられる予測ユニットを最も大きい周波数変換ユニットのサイズで分割してもよい。

また、本実施の形態において、複数の符号化ユニットは、ラスター順に符号化されている。しかし、Ｈ．２６４規格に係る任意スライス順序（ＡＳＯ：Ａｒｂｉｔｒａｒｙ Ｓｌｉｃｅ Ｏｒｄｅｒ）では、複数の符号化ユニットは、ラスター順で符号化されていない。このような場合、画像復号装置は、スライス境界に対してデブロックフィルタ処理を行わず、スライス内部に対してのみデブロックフィルタ処理を行う。これにより、本実施の形態と同様の処理順序およびパイプライン処理が実現可能となる。

また、本実施の形態において、復号処理の例が示されている。しかし、パイプライン処理は、復号処理に限定されない。復号処理の逆の処理である符号化処理が、本実施の形態と同様に、パイプライン方式で実行されてもよい。これにより、メモリ容量が低減され、回路規模が削減される。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態５）
（５−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理および面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。

また、本実施の形態に係る画像復号装置は、１つのタイムスロットにおいて、インター予測の結果を面内予測に用いることができる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（５−２．構成）
次に、本実施の形態に係る画像復号装置の構成について説明する。

図２９は本実施の形態に係る画像復号装置の構成図である。図１に示された実施の形態１の構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。本実施の形態に係る画像復号装置は、面内予測部７１０を備える。面内予測部７１０は、最大符号化ユニットのサイズのデータ単位で、再構成処理を行いながら面内予測処理を行う。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

図３０は、図２９の面内予測部７１０の構成を示す。図２９に示された構成要素と同様の構成要素には同じ符号を割り当て、説明を省略する。面内予測部７１０は、再構成画像取得部７０２、面内予測演算部７０３、スイッチ７１１および再構成部７１２を備える。

再構成画像取得部７０２は、再構成画像を取得する。面内予測演算部７０３は、面内予測画像の生成を行う。スイッチ７１１は、インター予測と面内予測とを切り替える。再構成部７１２は、予測画像と差分画像とを用いて復号画像を生成する。再構成画像メモリ５０９は、再構成画像を記憶するためのメモリである。

以上が、本実施の形態に係る画像復号装置の構成についての説明である。

（５−３．動作）
本実施の形態では、実施の形態１と同様に、図３Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。

図３１は、動作の説明に用いられる複数の符号化ユニットの構成例を示す。また、図３１は、図７Ａに続く複数の符号化ユニットを示す。図３１に示された複数の符号化ユニットは、６４ｘ６４画素のＣＵ８、ＣＵ９、３２ｘ３２画素のＣＵ１０〜ＣＵ１３、および、６４ｘ６４画素のＣＵ１４を含む。ＣＵ１２には、面内予測が用いられている。ＣＵ１２以外の全ての符号化ユニットには、インター予測が用いられている。

本実施の形態に係る画像復号装置の動作フローは、図８および図９に示された実施の形態１と、面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）を除いて、同様であるので、説明を省略する。以下、面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）について、説明する。

本実施の形態の面内予測部７１０による面内予測処理（Ｓ１００６）および再構成処理（Ｓ１００７）を図３２に示すフローチャートを用いて説明する。まず、面内予測部７１０は、処理対象の符号化ユニットに面内予測が用いられる否かを判定する（Ｓ５０００）。符号化ユニットに面内予測が用いられる場合（Ｓ５０００でＹｅｓ）、再構成画像取得部７０２は再構成画像メモリ５０９から画像を取得する。そして、面内予測演算部７０３は面内予測画像を生成する（Ｓ５００１）。

符号化ユニットに面内予測が用いられない場合（Ｓ５０００でＮｏ）、再構成部７１２は、動き補償部５２０のインター予測により生成された予測画像を取得する（Ｓ５００３）。次に、再構成部７１２は、予測画像と、差分画像とから、再構成画像を生成する（Ｓ５００２）。そして、再構成部７１２は、生成された再構成画像のうち、参照される可能性のある画像を再構成画像メモリ５０９に格納する（Ｓ５００４）。

次に、面内予測部７１０は、再構成処理が全て完了したか否かを判定する（Ｓ５００５）。再構成処理が全て完了していない場合（Ｓ５００５でＮｏ）、面内予測部７１０は、再度面内予測が用いられる否かを判定する（Ｓ５０００）。再構成処理が全て完了している場合（Ｓ５００５でＹｅｓ）、面内予測部７１０は、処理を終了する。

以上が、本実施の形態における画像復号装置の動作である。本実施の形態では、上述のように、面内予測部７１０が再構成処理を行う。これにより、パイプライン処理が円滑に実行される。

例えば、図３１に示されたＣＵ１２にように、１つのデータ単位である６４ｘ６４画素のブロックが、さらに、複数の符号化ユニットに分割され、複数の符号化ユニットの１つに面内予測が用いられる場合がある。このような場合でも、面内予測部７１０は、ＣＵ１０の再構成処理、および、ＣＵ１１の再構成処理を行った後、その結果の再構成画像を用いてＣＵ１２の面内予測処理を行うことができる。

（５−４．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

本実施の形態の面内予測部７１０を用いたパイプライン構成は、実施の形態１（図１０）、実施の形態２（図１１）、実施の形態３（図２４）、および、実施の形態４（図２９）などで示されたいずれの構成であってもよい。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態６）
（６−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理および面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。

また、画像復号装置は、輝度データ（輝度情報）と色差データ（色差情報）とがそれぞれ別々に配置されている符号化ストリームを効率的に復号する。すなわち、画像復号装置は、色差データの可変長復号処理の終了を待つことなく、輝度データに対して後続の処理を実行する。よって、バッファメモリの容量の削減が可能になる。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（６−２．構成）
図２９は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態５と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態１と同様であるので、説明を省略する。

図３０は、図２９の面内予測部７１０の構成を示す。面内予測部７１０の構成は、実施の形態５と同様であるので、説明を省略する。

（６−３．動作）
本実施の形態では、実施の形態５と同様に、図３Ａ〜図４Ｂ、図６Ａおよび図６Ｂに示された符号化ストリームの構造が用いられる。一方、本実施の形態では、図３３に示すように、符号化ストリーム内における係数情報の構成が、実施の形態５の構成とは異なる。

本実施の形態では、符号化ストリーム内において、輝度（図３３においてＹで示す）の係数データが６４ｘ６４画素の周波数変換ユニット毎に配置される。また、輝度に続いて、青の色差（図３３においてＣｂで示す）の係数データが３２ｘ３２画素の周波数変換ユニット毎に配置される。次に、赤の色差（図３３においてＣｒで示す）の係数データが３２ｘ３２画素の周波数変換ユニット毎に配置される。

また、本実施の形態では、４：２：０のフォーマットが、画像のフォーマットとして、想定されている。そのため、色差（Ｃｂ、Ｃｒ）のデータが３２ｘ３２画素となっている。

本実施の形態に係る画像復号装置の動作フローは、図８、図９および図３２に示された実施の形態５と同様であるので、説明を省略する。

本実施の形態では、パイプライン処理の構成が実施の形態５とは異なる。図３４は、パイプライン処理の時系列の動作を示す。図３４において、右上がりの斜線でハッチングされたブロックは、青の色差（Ｃｂ）のブロックを示し、左上がりの斜線でハッチングされたブロックは、赤の色差（Ｃｒ）のブロックを示す。

図３４に示すように、本実施の形態に係る画像復号装置は、ＣＵ０を、ＣＵ０ａＹ〜ＣＵ０ｄＹ、ＣＵ０Ｃｂ、ＣＵ０Ｃｒの６つのブロックに分割して、パイプライン処理を実行する。ここで、ＣＵ０は、１２８ｘ１２８画素の１つの符号化ユニットである。ＣＵ０ａＹ〜ＣＵ０ｄＹは、それぞれ、輝度のブロックである。ＣＵ０Ｃｂは、青の色差のブロックである。ＣＵ０Ｃｒは、赤の色差のブロックである。

ＣＵ１およびＣＵ２などのように、６４ｘ６４画素の輝度データで構成される符号化ユニットについて、色差（Ｃｂ、Ｃｒ）のデータ単位のサイズは、それぞれ３２ｘ３２画素である。その他のデータ単位のサイズが６４ｘ６４画素であることに比べて、ＣＵ１およびＣＵ２の色差（Ｃｂ、Ｃｒ）についてのデータ単位のサイズが小さくなってしまう。したがって、実施の形態５等のように、複数のステージにおいて、同一のデータ単位で処理を切り替えることが困難になる。

そこで、画像復号装置は、図３５および図３６のフローチャートに示された動作により、処理を切り替える。

図３５は、可変長復号部５０３が、ＣＵ０ａＹ、ＣＵ０ｂＹ、・・・と処理を切り替える場合の動作を示す。まず、可変長復号部５０３は、可変長復号部５０３の出力用のメモリ５１１が空いているか否かを判定する（Ｓ６０００）。

メモリ５１１が空いていない場合（Ｓ６０００でＮｏ）、可変長復号部５０３は、そのまま、メモリ５１１が空くまで待つ。メモリ５１１が空いている場合（Ｓ６０００でＹｅｓ）、可変長復号部５０３は、次のデータの可変長復号処理を行う（Ｓ６００１）。

図３６は、逆量子化部５０４が、ＣＵ０ａＹ、ＣＵ０ｂＹ、・・・と処理を切り替える場合の動作を示す。まず、逆量子化部５０４は、処理対象のデータに対して可変長復号部５０３による可変長復号処理が終わっているか否かを判定する（Ｓ６００２）。

可変長復号処理が終わっていない場合（Ｓ６００２でＮｏ）、逆量子化部５０４は、可変長復号処理が終わるまで待つ。可変長復号処理が終わっている場合（Ｓ６００２でＹｅｓ）、逆量子化部５０４は、逆量子化部５０４の出力用のメモリ（図示せず）が空いているかをチェックする（Ｓ６００３）。メモリが空いていない場合（Ｓ６００３でＮｏ）、逆量子化部５０４は、メモリが空くまで待つ。メモリが空いている場合（Ｓ６００３でＹｅｓ）、逆量子化部５０４は、逆量子化処理を行う（Ｓ６００４）。

ここでは、可変長復号部５０３および逆量子化部５０４の動作が示されている。他の処理部も、同様に、処理対象のデータが存在し、かつ、メモリが空いている場合、そのデータの処理を行うことができる。したがって、画像復号装置は、複数のステージにおいて、完全に同一のタイミングで処理を切り替えなくても、パイプライン処理を実行できる。

また、画像復号装置は、輝度および色差を別々のデータ単位として扱う。これにより、色差データを待たずに輝度データの処理が実行される。したがって、内部バッファの容量の削減が可能になる。

（６−４．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態では、フォーマットが４：２：０である場合の例が示されている。しかし、４：２：２、または、４：４：４等の他のフォーマットでも、同様の処理が可能である。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

（実施の形態７）
（７−１．概要）
まず、本実施の形態に係る画像復号装置の概要について説明する。本実施の形態に係る画像復号装置は、符号化ストリームを復号する。符号化ストリームを構成する符号化ユニットのサイズは可変である。また、画像復号装置は、復号処理に含まれる複数の処理を複数のステージに分割して、パイプライン方式で並列に複数の処理を行う。

その際、画像復号装置は、周波数変換ユニットのサイズで、複数の処理を行う。なお、周波数変換ユニットは、周波数変換を行うためのデータ単位である。また、周波数変換ユニットは、符号化ストリームを構成する符号化ユニットに含まれる。

また、画像復号装置は、復号処理に含まれる複数の処理を行う際、動き補償処理および面内予測処理に用いられる予測ユニットを周波数変換ユニットのサイズで分割する。

これにより、複数の符号化ユニットが様々なサイズで構成されている場合でも、各符号化ユニットのサイズによらず、パイプライン処理を構成する複数の処理のそれぞれにおける処理データ量が均等になる。したがって、パイプライン処理における空き時間が削減され、効率的にパイプライン処理が行われる。よって、性能が向上する。

また、画像復号装置は、輝度データと色差データとを含むデータ単位で、動き補償処理を実行する。これにより、効率的に動き補償処理が実行される。

以上が、本実施の形態に係る画像復号装置の概要についての説明である。

（７−２．構成）
図２９は、本実施の形態に係る画像復号装置の構成図である。本実施の形態に係る画像復号装置の構成は、実施の形態６と同様であるので、説明を省略する。

図２は、可変長復号部５０３と逆量子化部５０４の接続を示す構成図である。接続の構成は、実施の形態６と同様であるので、説明を省略する。

図３０は、図２９の面内予測部７１０の構成を示している。面内予測部７１０は、実施の形態６と同様であるので、説明を省略する。

（７−３．動作）
本実施の形態では、実施の形態６と同様に、図３Ａ〜図４Ｂ、図６Ａ、図６Ｂおよび図３３に示された符号化ストリームの構造が用いられる。また、本実施の形態に係る画像復号装置の動作フローは、図８、図９および図３２に示された実施の形態６と同様であるので、説明を省略する。

本実施の形態では、パイプライン処理の構成が実施の形態６とは異なる。図３７は、パイプライン処理の時系列の動作を示す。図３７において、右上がりの斜線でハッチングされたブロックは、青の色差（Ｃｂ）のブロックを示し、左上がりの斜線でハッチングされたブロックは、赤の色差（Ｃｒ）のブロックを示す。

図３７に示すように、本実施の形態に係る画像復号装置は、ＣＵ０を、ＣＵ０ａＹ〜ＣＵ０ｄＹ、ＣＵ０Ｃｂ、ＣＵ０Ｃｒの６つのブロックに分割して、パイプライン処理を実行する。ここで、ＣＵ０は、１２８ｘ１２８画素の１つの符号化ユニットである。ＣＵ０ａＹ〜ＣＵ０ｄＹは、それぞれ、輝度のブロックである。ＣＵ０Ｃｂは、青の色差のブロックである。ＣＵ０Ｃｒは、赤の色差のブロックである。

本実施の形態では、第３ステージの動き補償処理において、ＣＵ０が輝度データと色差データとに分割されずに、ＣＵ０ａ〜ＣＵ０ｄとして扱われる。また、動き補償処理が、第３ステージの逆量子化処理と同時に行われる。これらの点が実施の形態６とは異なっている。

図９のフローチャートでは、説明のため、逆周波数変換処理（Ｓ１００３）が終わった後に、動き補償処理（Ｓ１００５）が実行されている。しかし、実際には、動き補償処理（Ｓ１００５）は、動きベクトルが可変長復号されていれば、実行可能である。したがって、逆量子化処理（Ｓ１００２）および逆周波数変換処理（Ｓ１００３）が終わっていなくても、動き補償処理（Ｓ１００５）は実行可能である。

したがって、本実施の形態に係る画像復号装置は、ＣＵ０ａＹ〜ＣＵ０ｄＹ、ＣＵ０Ｃｂ、ＣＵ０Ｃｒの逆量子化処理および逆周波数変換処理と同時に、動き補償処理を行う。

これにより、本実施の形態に係る画像復号装置は、演算量の大きい動き補償処理を輝度および色差について並列に同時に行うことができる。したがって、回路の構成が容易になり、性能の向上が可能になる。

（７−４．補足）
なお、本実施の形態において、符号化に用いられるデータ単位として、符号化ユニットという名称が用いられている。しかし、符号化に用いられるデータ単位は、マクロブロックであってもよい。また、符号化に用いられるデータ単位は、スーパーマクロブロックと呼ばれる場合もある。

また、本実施の形態において、非特許文献２に示す符号化方式が用いられている。そして、本実施の形態において、各処理の内容の一例が示されている。しかし、各処理の内容は、本実施の形態の例に限定されるものではない。

また、本実施の形態において、最大符号化ユニットのサイズは１２８ｘ１２８画素である。しかし、最大符号化ユニットのサイズは、どのような大きさであっても構わない。また、本実施の形態において、符号化ユニットのサイズは１２８ｘ１２８画素〜８ｘ８画素である。しかし、符号化ユニットのサイズは、これ以外のサイズであってもよい。

また、各処理部において、一部あるいは全てが、専用ハードウェアによる回路で実現されてもよいし、プロセッサ上のプログラムで実現されてもよい。

また、フレームメモリ５０２、再構成画像メモリ５０９およびメモリ５１１は、メモリに限られず、データの記憶が可能な記憶素子であればよい。例えば、これらは、フリップフロップまたはレジスタなど、他の構成であっても構わない。さらには、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部がこれらに用いられてもよい。

また、本実施の形態において、最も大きい周波数変換ユニットのサイズである６４ｘ６４画素のデータ単位で、パイプライン処理が実行されている。しかし、データ単位は、必ずしも６４ｘ６４画素に限定されない。

一般的に、周波数変換処理は、１つのデータ単位に含まれる全てのデータを用いて実行される。したがって、周波数変換ユニットの分割は難しい。よって、本実施の形態では、最も大きい周波数変換ユニットのサイズが選択されている。しかし、周波数変換処理以外の処理で、その処理に用いられるデータ単位の分割が難しい場合、その処理に用いられるデータ単位でパイプライン処理が実行されてもよい。

また、本実施の形態において、再構成画像メモリ５０９が明示的に示されている。しかし、各処理部内のメモリが再構成画像メモリ５０９として用いられてもよいし、フレームメモリ５０２が再構成画像メモリ５０９として用いられてもよい。

また、本実施の形態では、フォーマットが４：２：０である場合の例が示されている。しかし、４：２：２、または、４：４：４等の他のフォーマットでも、同様の処理が可能である。

また、本実施の形態では、第３ステージの動き補償処理が、第２ステージの逆量子化と同時に開始されている。しかし、動き補償処理は、動きベクトルの可変長復号処理が終わっていれば、第１ステージの可変長復号処理の実行中に開始されてもよいし、あるいはもっと遅れて開始されても構わない。

また、本実施の形態では、ＣＵ分割フラグは、分割ブロックの先頭に存在する。しかし、ＣＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＣＵ分割フラグは、最大符号化ユニット（ＬＣＵ）の先頭に存在してもよい。

また、本実施の形態では、ＴＵ分割フラグは、各係数情報の先頭に存在する。しかし、ＴＵ分割フラグは、必ずしもこのような位置に存在する必要はなく、符号化ストリームに存在すればよい。例えば、ＴＵ分割フラグは、符号化ユニットまたは最大符号化ユニットの先頭に存在してもよい。

また、本実施の形態では、タイムスロット毎に処理が切り替えられている。処理は、必ずしも固定時間で切り替えられなくてもよい。依存関係を有する前の処理が完了し、かつ、次の処理が開始可能である場合、次の処理が開始されてもよい。また、各ステージにおいて、同時に処理が切り替えられなくてもよい。

以下、実施の形態８〜実施の形態１５において、上述の実施の形態１〜実施の形態７で示された特徴的な構成要素を示す。

（実施の形態８）
図３８は、実施の形態８に係る画像処理装置の構成を示す構成図である。図３８に示された画像処理装置２１００は、制御部２１１０および複数の第１処理部２１１１を備える。複数の第１処理部２１１１は、処理部２１２１および処理部２１２２を含む。すなわち、処理部２１２１および処理部２１２２は、それぞれ、第１処理部である。

画像処理装置２１００は、符号化ストリームに対して、パイプライン方式で複数の第１処理を施す。符号化ストリームは、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、画像が符号化単位ブロック毎に符号化されることによって得られる。

複数の第１処理部２１１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す。その際、複数の第１処理部２１１１に含まれる処理部２１２１および処理部２１２２は、それぞれ、複数の第１処理のいずれかを実行する。

制御部２１１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する。そして、制御部２１１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２１１１を制御する。

図３９は、図３８に示された画像処理装置２１００の動作を示すフローチャートである。

まず、制御部２１１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２１０１）。そして、制御部２１１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２１１１を制御する。

次に、複数の第１処理部２１１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２１０２）。その際、複数の第１処理部２１１１に含まれる処理部２１２１および処理部２１２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２１１１、Ｓ２１１２）。

これにより、複数の第１処理部２１１１は、ひとつのサイズに基づいて、符号化ストリームに対してパイプライン方式で複数の処理を施す。したがって、空き時間が削減され、動作効率が向上する。

なお、複数の第１処理部２１１１は、符号化ストリームに対して、画像を復号するための複数の第１処理を施してもよい。

また、制御部２１１０は、符号化ストリームを構成する符号化単位ブロックを分割することにより、符号化ストリームを複数の第１処理単位ブロックに分割してもよい。または、符号化ストリームを構成する２以上の符号化単位ブロックをまとめることにより、符号化ストリームを複数の第１処理単位ブロックに分割してもよい。

また、制御部２１１０は、複数の第１処理単位ブロックのそれぞれに対して複数の第１処理のそれぞれが所定の期間で実行されるように、複数の第１処理部２１１１を制御してもよい。所定の期間は、例えば、所定の数のタイムスロットである。

また、符号化単位ブロックは、画面間予測と画面内予測との切り替え可能な最小単位であってもよい。

また、上述の第１サイズは、最も大きい符号化単位ブロックのサイズとして予め定められたサイズでもよい。例えば、第１サイズは、符号化ストリームまたは符号化規格において最も大きい符号化単位ブロックのサイズとして予め定められたサイズでもよい。

また、上述の第１サイズは、最も大きい符号化単位ブロックである最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズとして予め定められたサイズでもよい。例えば、第１サイズは、符号化ストリームまたは符号化規格において最大符号化ユニットのサイズとして予め定められたサイズでもよい。

また、上述の第１サイズは、最も大きい周波数変換ブロックのサイズとして予め定められたサイズでもよい。周波数変換ブロックは、符号化処理における周波数変換のためのデータ単位、または、復号処理における逆周波数変換のためのデータ単位である。例えば、第１サイズは、符号化ストリームまたは符号化規格において最も大きい周波数変換ブロックのサイズとして予め定められたサイズでもよい。

また、上述の第１サイズは、最も大きい周波数変換ブロックである最も大きい周波数変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）のサイズとして予め定められたサイズでもよい。例えば、第１サイズは、符号化ストリームまたは符号化規格において最も大きい周波数変換ユニットのサイズとして予め定められたサイズでもよい。

（実施の形態９）
図４０は、実施の形態９に係る画像処理装置の構成を示す構成図である。図４０に示された画像処理装置２２００は、制御部２２１０および複数の第１処理部２２１１を備える。

複数の第１処理部２２１１は、処理部２２２１、処理部２２２２および処理部２２２３を含む。また、複数の第１処理部２２１１は、複数の第２処理部２２１２を含む。複数の第２処理部２２１２は、処理部２２２２および処理部２２２３を含む。すなわち、処理部２２２１は、第１処理部である。また、処理部２２２２および処理部２２２３は、それぞれ、第１処理部であり、かつ、第２処理部である。

画像処理装置２２００は、実施の形態８の画像処理装置２１００と同様に、符号化ストリームに対して、パイプライン方式で複数の第１処理を施す。

複数の第１処理部２２１１は、実施の形態８の複数の第１処理部２１１１と同様に、符号化ストリームに対してパイプライン方式で複数の第１処理を施す。その際、複数の第１処理部２２１１に含まれる処理部２２２１、処理部２２２２および処理部２２２３は、それぞれ、複数の第１処理のいずれかを実行する。

複数の第２処理部２２１２は、複数の第１処理に含まれる複数の第２処理を実行する。

制御部２２１０は、実施の形態８の制御部２１１０と同様に、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する。そして、制御部２２１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２２１１を制御する。

また、制御部２２１０は、複数の第１処理単位ブロックを、第１サイズよりも小さい第２サイズでそれぞれが構成される複数の第２処理単位ブロックに分割する。そして、制御部２２１０は、複数の第２処理が第２処理単位ブロック毎に実行されるように、複数の第２処理部２２１２を制御する。

図４１は、図４０に示された画像処理装置２２００の動作を示すフローチャートである。

まず、制御部２２１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２２０１）。そして、制御部２２１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２２１１を制御する。

次に、制御部２２１０は、複数の第１処理単位ブロックを、第１サイズよりも小さい第２サイズでそれぞれが構成される複数の第２処理単位ブロックに分割する（Ｓ２２０２）。そして、制御部２２１０は、複数の第２処理が第２処理単位ブロック毎に実行されるように、複数の第２処理部２２１２を制御する。

次に、複数の第１処理部２２１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２２０３）。その際、複数の第１処理部２２１１に含まれる処理部２２２１、処理部２２２２および処理部２２２３は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２２１１、Ｓ２２１２、Ｓ２２１３）。

上述の動作に伴って、複数の第２処理部２２１２は、複数の第２処理を実行する（Ｓ２２０４）。その際、複数の第２処理部２２１２に含まれる処理部２２２２および処理部２２２３は、それぞれ、複数の第２処理のいずれかを実行する（Ｓ２２１１、Ｓ２２１２）。

これにより、パイプライン処理がより小さいサイズで実行される。したがって、動作効率がさらに向上する。

なお、制御部２２１０は、複数の第１処理単位ブロックを、それぞれのサイズが第１サイズ以下である複数の第２処理単位ブロックに分割してもよい。これによっても、パイプライン処理が小さいサイズで実行される。したがって、動作効率が向上する。

また、制御部２２１０は、輝度情報と色差情報とが分割されるように、複数の第１処理単位ブロックを複数の第２処理単位ブロックに分割してもよい。これにより、輝度情報と色差情報とが別々に処理される。そして、パイプライン処理が小さいサイズで実行され、動作効率が向上する。

また、複数の第１処理部２２１１は、動き補償処理を実行する動き補償処理部を含んでいてもよい。

そして、制御部２２１０は、複数の第１処理単位ブロックを、第１サイズよりも小さい第３サイズでそれぞれが構成される複数の第３処理単位ブロックに分割してもよい。その際、制御部２２１０は、輝度情報と色差情報とが１つの第３処理単位ブロックに含まれるように、複数の第１処理単位ブロックを複数の第３処理単位ブロックに分割してもよい。そして、制御部２２１０は、動き補償処理が第３処理単位ブロック毎に実行されるように、動き補償処理部を制御してもよい。

これにより、動き補償処理において、輝度情報と色差情報とが一緒に処理される。したがって、動作の無駄が削減される。

（実施の形態１０）
図４２は、実施の形態１０に係る画像処理装置の構成を示す構成図である。図４２に示された画像処理装置２３００は、制御部２３１０および複数の第１処理部２３１１を備える。複数の第１処理部２３１１は、処理部２３２１、動き補償処理部２３２２を含む。すなわち、処理部２３２１および動き補償処理部２３２２は、それぞれ、第１処理部である。

画像処理装置２３００は、実施の形態８の画像処理装置２１００と同様の構成要素を備え、実施の形態８の画像処理装置２１００と同様に、動作する。制御部２３１０、複数の第１処理部２３１１、処理部２３２１および動き補償処理部２３２２は、それぞれ、実施の形態８の制御部２１１０、複数の第１処理部２１１１、処理部２１２１および処理部２１２２に対応する。画像処理装置２３００の各構成要素は、対応する構成要素と同様に、動作する。ただし、実施の形態８と比較して、本実施の形態では、以下に示す相違点がある。

動き補償処理部２３２２は、動き補償処理を実行する。動き補償処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２３１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２３１０は、動き補償処理が第１処理単位ブロック毎に実行されるように、動き補償処理部２３２２を制御する。予測ブロックは、予測処理のためのデータ単位である。

図４３は、図４２に示された画像処理装置２３００の動作を示すフローチャートである。

まず、制御部２３１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２３０１）。そして、制御部２３１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２３１１を制御する。

また、この時、制御部２３１０は、動き補償処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２３１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２３１０は、動き補償処理が第１処理単位ブロック毎に実行されるように、動き補償処理部２３２２を制御する。

次に、複数の第１処理部２３１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２３０２）。その際、複数の第１処理部２３１１に含まれる処理部２３２１および動き補償処理部２３２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２３１１、Ｓ２３１２）。特に、動き補償処理部２３２２は、複数の第１処理に含まれる動き補償処理を実行する（Ｓ２３１２）。

これにより、動き補償処理部２３２２と他の処理部との間で交換される情報量が低減される。したがって、回路規模の縮小が可能になる。

（実施の形態１１）
図４４は、実施の形態１１に係る画像処理装置の構成を示す構成図である。図４４に示された画像処理装置２４００は、制御部２４１０および複数の第１処理部２４１１を備える。複数の第１処理部２４１１は、処理部２４２１、面内予測処理部２４２２を含む。すなわち、処理部２４２１および面内予測処理部２４２２は、それぞれ、第１処理部である。

画像処理装置２４００は、実施の形態８の画像処理装置２１００と同様の構成要素を備え、実施の形態８の画像処理装置２１００と同様に動作する。制御部２４１０、複数の第１処理部２４１１、処理部２４２１および面内予測処理部２４２２は、それぞれ、実施の形態８の制御部２１１０、複数の第１処理部２１１１、処理部２１２１および処理部２１２２に対応する。画像処理装置２４００の各構成要素は、対応する構成要素と同様に動作する。ただし、実施の形態８と比較して、本実施の形態では、以下に示す相違点がある。

面内予測処理部２４２２は、面内予測処理を実行する。面内予測処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２４１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２４１０は、面内予測処理が第１処理単位ブロック毎に実行されるように、面内予測処理部２４２２を制御する。予測ブロックは、予測処理のためのデータ単位である。

図４５は、図４４に示された画像処理装置２４００の動作を示すフローチャートである。

まず、制御部２４１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２４０１）。そして、制御部２４１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２４１１を制御する。

また、この時、制御部２４１０は、面内予測処理に用いられる予測ブロックが第１サイズよりも大きい場合、制御部２４１０は、予測ブロックを複数の第１処理単位ブロックに分割する。そして、制御部２４１０は、面内予測処理が第１処理単位ブロック毎に実行されるように、面内予測処理部２４２２を制御する。

次に、複数の第１処理部２４１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２４０２）。その際、複数の第１処理部２４１１に含まれる処理部２４２１および面内予測処理部２４２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２４１１、Ｓ２４１２）。特に、面内予測処理部２４２２は、複数の第１処理に含まれる面内予測処理を実行する（Ｓ２４１２）。

これにより、面内予測処理部２４２２と他の処理部との間で交換される情報量が低減される。したがって、回路規模の縮小が可能になる。

（実施の形態１２）
図４６は、実施の形態１２に係る画像処理装置の構成を示す構成図である。図４６に示された画像処理装置２５００は、制御部２５１０および複数の第１処理部２５１１を備える。複数の第１処理部２５１１は、処理部２５２１、デブロックフィルタ処理部２５２２を含む。すなわち、処理部２５２１およびデブロックフィルタ処理部２５２２は、それぞれ、第１処理部である。

画像処理装置２５００は、実施の形態８の画像処理装置２１００と同様の構成要素を備え、実施の形態８の画像処理装置２１００と同様に、動作する。制御部２５１０、複数の第１処理部２５１１、処理部２５２１およびデブロックフィルタ処理部２５２２は、それぞれ、実施の形態８の制御部２１１０、複数の第１処理部２１１１、処理部２１２１および処理部２１２２に対応する。画像処理装置２５００の各構成要素は、対応する構成要素と同様に、動作する。ただし、実施の形態８と比較して、本実施の形態では、以下に示す相違点がある。

デブロックフィルタ処理部２５２２は、周波数変換ブロック等のブロックの境界における符号化歪みを除去するためのデブロックフィルタ処理を実行する。制御部２５１０は、画像が符号化される時に周波数変換処理が実行された順序に従って、デブロックフィルタ処理が周波数変換ブロック毎に実行されるように、デブロックフィルタ処理部２５２２を制御する。

図４７は、図４６に示された画像処理装置２５００の動作を示すフローチャートである。

まず、制御部２５１０は、符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割する（Ｓ２５０１）。そして、制御部２５１０は、複数の第１処理が第１処理単位ブロック毎に実行されるように、複数の第１処理部２５１１を制御する。また、この時、制御部２５１０は、画像が符号化される時に周波数変換処理が実行された順序に従って、デブロックフィルタ処理が周波数変換ブロック毎に実行されるように、デブロックフィルタ処理部２５２２を制御する。

次に、複数の第１処理部２５１１は、符号化ストリームに対してパイプライン方式で複数の第１処理を施す（Ｓ２５０２）。その際、複数の第１処理部２５１１に含まれる処理部２５２１およびデブロックフィルタ処理部２５２２は、それぞれ、複数の第１処理のいずれかを実行する（Ｓ２５１１、Ｓ２５１２）。特に、デブロックフィルタ処理部２５２２は、複数の第１処理に含まれるデブロックフィルタ処理を実行する（Ｓ２５１２）。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

（実施の形態１３）
図４８は、実施の形態１３に係る画像符号化装置の構成を示す構成図である。図４８に示された画像符号化装置２６００は、符号化処理部２６１０およびデブロックフィルタ処理部２６１１を備える。画像符号化装置２６００は、画像を符号化する。

図４９は、図４８に示された画像符号化装置２６００の動作を示すフローチャートである。

まず、符号化処理部２６１０は、少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像を分割する。そして、符号化処理部２６１０は、画像に対して符号化単位ブロック毎に符号化処理を実行する（Ｓ２６０１）。符号化処理には、例えば、周波数変換処理、量子化処理、可変長符号化処理、逆量子化処理、逆周波数変換処理、動き補償処理および面内予測処理等が含まれていてもよい。

次に、デブロックフィルタ処理部２６１１は、符号化単位ブロックに対して符号化処理が実行された順序に従って、デブロックフィルタ処理を符号化単位ブロック毎に実行する（Ｓ２６０２）。例えば、デブロックフィルタ処理部２６１１は、図２６で示された順序で、デブロックフィルタ処理を実行する。デブロックフィルタ処理が施された符号化単位ブロックは、参照画像として、後続の符号化単位ブロックに対する動き補償処理等の符号化処理で用いられる。

これにより、デブロックフィルタ処理と、前段の処理との間の空き時間が削減される。したがって、動作効率が向上する。また、典型的には、符号化側と復号側とで同じ順序が用いられる。したがって、復号側の動作効率も向上する。

なお、デブロックフィルタ処理部２６１１は、符号化処理が実行された順序によらず、デブロックフィルタ処理（Ｓ２６０２）を実行してもよい。そして、デブロックフィルタ処理部２６１１は、デブロックフィルタ処理を符号化単位ブロック毎とは異なる所定のデータ単位毎に実行してもよい。例えば、デブロックフィルタ処理部２６１１は、図２５のように、デブロックフィルタ処理を、所定のデータ単位毎に、垂直境界および水平境界のうち、一方に対して実行した後、他方に対して実行してもよい。

（実施の形態１４）
図５０は、実施の形態１４に係る画像符号化装置の構成を示す構成図である。図５０に示された画像符号化装置２７００は、周波数変換処理部２７１０およびデブロックフィルタ処理部２７１１を備える。画像符号化装置２７００は、画像を符号化単位ブロック毎に符号化する。

図５１は、図５０に示された画像符号化装置２７００の動作を示すフローチャートである。

まず、周波数変換処理部２７１０は、画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割する。そして、周波数変換処理部２７１０は、符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する（Ｓ２７０１）。

次に、デブロックフィルタ処理部２７１１は、符号化単位ブロックに対して周波数変換処理が実行された順序に従って、デブロックフィルタ処理を周波数変換ブロック毎に実行する（Ｓ２７０２）。

これにより、デブロックフィルタ処理が、小さいサイズで実行される。したがって、空き時間が削減され、動作効率が向上する。

（実施の形態１５）
図５２は、実施の形態１５に係る画像符号化装置の構成を示す構成図である。図５２に示された画像符号化装置２８００は、周波数変換処理部２８１０および符号化処理部２８１１を備える。画像符号化装置２８００は、画像を符号化単位ブロック毎に符号化する。

図５３は、図５２に示された画像符号化装置２８００の動作を示すフローチャートである。

まず、周波数変換処理部２８１０は、画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割する。そして、周波数変換処理部２８１０は、符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する（Ｓ２８０１）。

次に、符号化処理部２８１１は、周波数変換処理が実行された符号化単位ブロックを符号化する。例えば、符号化処理部２８１１は、可変長符号化処理を実行する。そして、符号化処理部２８１１は、画像の輝度情報および色差情報が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する（Ｓ２８０２）。例えば、符号化処理部２８１１は、図５Ａおよび図５Ｂに示された符号化ストリームのように、輝度情報および色差情報が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する。

図５４は、本実施の形態に係る符号化ストリームの例を示す図である。図５４の例では、符号化単位ブロックは、４つの周波数変換ブロックＡ、Ｂ、Ｃ、Ｄを含む。そして、各周波数変換ブロックに対応する係数情報は、輝度情報（Ｙ）および色差情報（Ｃｂ、Ｃｒ）を含む。すなわち、符号化処理部２８１１は、図５４のように、輝度情報（Ｙ）および色差情報（Ｃｂ、Ｃｒ）が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する。

これにより、復号側でも、輝度情報および色差情報を分けることなく、周波数変換ブロックのデータ単位でパイプライン処理が実行可能になる。したがって、動作効率が向上する。

なお、符号化ストリームは、第１周波数変換ブロックの輝度情報、第１周波数変換ブロックの色差情報、第２周波数変換ブロックの輝度情報、第２周波数変換ブロックの色差情報というような順序で、構成されていてもよい。すなわち、輝度情報および色差情報がそれぞれ独立して符号化ストリームに含まれ、かつ、輝度情報および色差情報が周波数変換ブロック毎に一緒にまとめられていてもよい。このような構成でも、周波数変換ブロックのデータ単位でパイプライン処理が実行可能になる。

以上、本発明に係る画像処理装置、画像復号装置および画像符号化装置について、複数の実施の形態に基づいて説明したが、本発明はそれらの実施の形態に限定されるものではない。それらの実施の形態に対して当業者が思いつく変形を施して得られる形態、および、それらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。

例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、本発明は、画像処理装置、画像復号装置または画像符号化装置として実現できるだけでなく、画像処理装置、画像復号装置または画像符号化装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現できる。

また、画像処理装置、画像復号装置または画像符号化装置に含まれる複数の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えば、メモリ以外の構成要素が、１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、画像処理装置、画像復号装置または画像符号化装置に含まれる構成要素の集積回路化を行ってもよい。

（実施の形態１６）
上記各実施の形態で示した画像符号化方法および画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらに、ここで、上記各実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図５５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。

しかし、コンテンツ供給システムｅｘ１００は、図５５のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用のソフトウェアまたは画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図５６に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。

また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像復号装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図５７は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。

テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。

なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図５８に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。

光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図５９に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図５７に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態１７）
本実施の形態では、実施の形態１に示した画像復号装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図６０に示す。フレームメモリ５０２をＤＲＡＭ上に実現し、その他の回路およびメモリをＬＳＩ上に構成している。符号化ストリームを格納するビットストリームバッファをＤＲＡＭ上に実現してもよい。

これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。

さらに加えて、本実施の形態の画像復号装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。

また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携しても構わない。

（実施の形態１８）
上記各実施の形態で示した画像符号化装置、画像復号装置、画像符号化方法および画像復号方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図６１に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。

また、例えば、復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明に係る画像処理装置は、様々な用途に利用可能である。例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器、または、撮像機器に利用可能であり、利用価値が高い。

５０１、２１１０、２２１０、２３１０、２４１０、２５１０、ｅｘ３１０ 制御部
５０２ フレームメモリ
５０３ 可変長復号部
５０４ 逆量子化部
５０５ 逆周波数変換部
５０６、５２０ 動き補償部
５０７、５２１、７１０ 面内予測部
５０８、７１２ 再構成部
５０９ 再構成画像メモリ
５１０ デブロックフィルタ部
５１１、ｅｘ５１１ メモリ
６０１ 動き補償ブロック分割部
６０２ 参照画像取得部
６０３ 動き補償演算部
７０１ 面内予測ブロック分割部
７０２ 再構成画像取得部
７０３ 面内予測演算部
７１１ スイッチ
２１００、２２００、２３００、２４００、２５００ 画像処理装置
２１２１、２１２２、２２２１、２２２２、２２２３、２３２１、２４２１、２５２１ 処理部
２１１１、２２１１、２３１１、２４１１、２５１１ 複数の第１処理部
２２１２ 複数の第２処理部
２３２２ 動き補償処理部
２４２２ 面内予測処理部
２５２２、２６１１、２７１１ デブロックフィルタ処理部
２６００、２７００、２８００ 画像符号化装置
２６１０、２８１１ 符号化処理部
２７１０、２８１０ 周波数変換処理部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ（受信機）
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１１、ｅｘ５０５ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ マイコン（マイクロコンピュータ）
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス

Claims (22)

1. 少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す画像処理装置であって、
   それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理部と、
   前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する制御部とを備える
   画像処理装置。
2. 前記複数の第１処理部は、前記符号化ストリームに対して、前記画像を復号するための前記複数の第１処理を施す
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記符号化ストリームを構成する符号化単位ブロックを分割することにより、または、前記符号化ストリームを構成する２以上の符号化単位ブロックをまとめることにより、前記符号化ストリームを前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する
   請求項１または２に記載の画像処理装置。
4. 前記制御部は、前記複数の第１処理単位ブロックのそれぞれに対して前記複数の第１処理のそれぞれが所定の期間で実行されるように、前記複数の第１処理部を制御する
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記制御部は、それぞれが画面間予測と画面内予測との切り替え可能な最小単位である前記複数の符号化単位ブロックに前記画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる前記符号化ストリームを、前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記制御部は、前記符号化ストリームを、最も大きい符号化単位ブロックのサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する
   請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記制御部は、前記符号化ストリームを、前記最も大きい符号化単位ブロックである最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する
   請求項６に記載の画像処理装置。
8. 前記制御部は、前記符号化ストリームを、最も大きい周波数変換ブロックのサイズとして予め定められた前記第１サイズでそれぞれが構成される前記複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する
   請求項１〜５のいずれか１項に記載の画像処理装置。
9. 前記複数の第１処理部は、前記複数の第１処理に含まれる複数の第２処理を実行する複数の第２処理部を含み、
   前記制御部は、前記複数の第１処理単位ブロックを、前記第１サイズよりも小さい第２サイズでそれぞれが構成される複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御する
   請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記複数の第１処理部は、前記複数の第１処理に含まれる複数の第２処理を実行する複数の第２処理部を含み、
    前記制御部は、前記複数の第１処理単位ブロックを、それぞれのサイズが前記第１サイズ以下である複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御する
    請求項１〜８のいずれか１項に記載の画像処理装置。
11. 前記制御部は、輝度情報と色差情報とが分割されるように、前記複数の第１処理単位ブロックを前記複数の第２処理単位ブロックに分割し、前記複数の第２処理が第２処理単位ブロック毎に実行されるように、前記複数の第２処理部を制御する
    請求項１０に記載の画像処理装置。
12. 前記複数の第１処理部は、動き補償処理を実行する動き補償処理部を含み、
    前記制御部は、前記複数の第１処理単位ブロックを、前記第１サイズよりも小さい第３サイズでそれぞれが構成される複数の第３処理単位ブロックに分割し、前記動き補償処理が第３処理単位ブロック毎に実行されるように、前記動き補償処理部を制御し、
    前記制御部は、前記輝度情報と前記色差情報とが１つの第３処理単位ブロックに含まれるように、前記複数の第１処理単位ブロックを前記複数の第３処理単位ブロックに分割する
    請求項１１に記載の画像処理装置。
13. 前記複数の第１処理部は、動き補償処理を実行する動き補償処理部を含み、
    前記制御部は、前記動き補償処理に用いられる予測ブロックが前記第１サイズよりも大きい場合、前記予測ブロックを複数の第１処理単位ブロックに分割し、前記動き補償処理が第１処理単位ブロック毎に実行されるように、前記動き補償処理部を制御する
    請求項８に記載の画像処理装置。
14. 前記複数の第１処理部は、面内予測処理を実行する面内予測処理部を含み、
    前記制御部は、前記面内予測処理に用いられる予測ブロックが前記第１サイズよりも大きい場合、前記予測ブロックを複数の第１処理単位ブロックに分割し、前記面内予測処理が第１処理単位ブロック毎に実行されるように、前記面内予測処理部を制御する
    請求項８に記載の画像処理装置。
15. 前記複数の第１処理部は、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を実行するデブロックフィルタ処理部を含み、
    前記制御部は、前記画像が符号化される時に周波数変換処理が実行された順序に従って、前記デブロックフィルタ処理が周波数変換ブロック毎に実行されるように、前記デブロックフィルタ処理部を制御する
    請求項８、１３または１４に記載の画像処理装置。
16. 画像を符号化する画像符号化方法であって、
    少なくとも２種類のサイズが存在する複数の符号化単位ブロックに前記画像を分割し、前記画像に対して符号化単位ブロック毎に符号化処理を実行する符号化処理ステップと、
    前記符号化処理が実行された前記画像に含まれるブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を、符号化単位ブロック毎とは異なる所定のデータ単位毎に、垂直境界および水平境界のうち、一方に対して実行した後、他方に対して実行するデブロックフィルタ処理ステップとを含む
    画像符号化方法。
17. 画像を符号化する画像符号化方法であって、
    少なくとも２種類のサイズが存在する複数の符号化単位ブロックに前記画像を分割し、前記画像に対して符号化単位ブロック毎に符号化処理を実行する符号化処理ステップと、
    前記画像に対して前記符号化処理が実行された順序に従って、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を符号化単位ブロック毎に実行するデブロックフィルタ処理ステップとを含む
    画像符号化方法。
18. 画像を符号化単位ブロック毎に符号化する画像符号化方法であって、
    前記画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割し、前記符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する周波数変換処理ステップと、
    前記符号化単位ブロックに対して前記周波数変換処理が実行された順序に従って、ブロックの境界の符号化歪みを除去するためのデブロックフィルタ処理を周波数変換ブロック毎に実行するデブロックフィルタ処理ステップとを含む
    画像符号化方法。
19. 画像を符号化単位ブロック毎に符号化する画像符号化方法であって、
    前記画像に含まれる符号化単位ブロックを複数の周波数変換ブロックに分割し、前記符号化単位ブロックに対して周波数変換ブロック毎に周波数変換処理を実行する周波数変換処理ステップと、
    前記周波数変換処理が実行された前記符号化単位ブロックを符号化して、前記画像の輝度情報および色差情報が周波数変換ブロック毎に一緒にまとまるように符号化ストリームを生成する符号化処理ステップとを含む
    画像符号化方法。
20. 少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す画像処理方法であって、
    それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理ステップと、
    前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理ステップを制御する制御ステップとを含む
    画像処理方法。
21. 請求項２０に記載の画像処理方法に含まれるステップをコンピュータに実行させるためのプログラム。
22. 少なくとも２種類のサイズが存在する複数の符号化単位ブロックに画像が分割され、前記画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して、パイプライン方式で複数の第１処理を施す集積回路であって、
    それぞれが前記複数の第１処理のいずれかを実行することによって、前記符号化ストリームに対して前記パイプライン方式で前記複数の第１処理を施す複数の第１処理部と、
    前記符号化ストリームを、第１サイズでそれぞれが構成される複数の第１処理単位ブロックに分割し、前記複数の第１処理が第１処理単位ブロック毎に実行されるように、前記複数の第１処理部を制御する制御部とを備える
    集積回路。
    

Images