JPWO2013128526A1 - 画像処理装置、及び、画像処理方法 - Google Patents

Abstract

記憶素子の容量を削減することができる画像処理装置は、符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、その第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の可変長復号部（５０４）と、第１の可変長復号部（５０４）から出力された複数の成分の順序を入れ換えることにより、第１の処理単位とは異なる第２の処理単位ごとに、その第２の処理単位に含まれる少なくとも１つの成分を順次出力する順序入れ換え部（６０１）と、順序入れ換え部（６０１）から出力された複数の成分に対して、第２の処理単位ごとに、第２の処理を行う第２の逆量子化部（６０２）とを備える。

Description

本発明は、画像が符号化単位ブロック毎に符号化されることによって得られる符号化ストリームに対して画像処理を行う画像処理装置に関する。

動画像を符号化する画像符号化装置は、動画像を構成する各ピクチャを複数のブロックに分割する。そして、画像符号化装置は、ラスタースキャン順に各ブロックを符号化する。画像符号化装置は、動画像を符号化して圧縮することにより、符号化ストリーム（ビットストリーム）を生成する。画像復号装置は、この符号化ストリームをラスタースキャン順でブロック毎に復号し、元の動画像の各ピクチャを再生する。

従来の画像符号化方式の１つとしてＩＴＵ−Ｔ Ｈ．２６４規格がある（例えば、非特許文献１を参照）。画像復号装置は、Ｈ．２６４規格で符号化された画像を復号するため、まず、符号化ストリームを読み込む。そして、画像復号装置は、各種ヘッダ情報を復号後、可変長復号を行う。画像復号装置は、可変長復号により得られた係数情報を逆量子化して、逆周波数変換する。これにより、差分画像が生成される。

次に、画像復号装置は、可変長復号により得られたブロックタイプに応じて、画面内予測（イントラ予測と呼ばれることもある）または画面間予測（インター予測と呼ばれることもある）を行う。これにより、画像復号装置は、予測画像を生成する。その後、画像復号装置は、予測画像に差分画像を加算することにより、画像再構成処理を行う。そして、画像復号装置は、画像再構成処理によって得られる再構成画像にデブロックフィルタ処理を行うことで復号対象画像（符号化された画像）を復号する。

このＨ．２６４規格では、各ブロックのサイズが常に１６ｘ１６画素で構成されており、復号を行う各処理も一般的にこの１６ｘ１６画素のブロック単位で行われる。

近年、４Ｋ２Ｋ（３８４０ｘ２１６０画素）等のように、超高精細なディスプレイの開発が行われてきている。したがって、扱う画像の画素数がますます多くなっていくことが予想される。そのため、常に１６ｘ１６画素単位で符号化ならびに復号するＨ．２６４規格に係る画像符号化装置では、必要なブロック数が増大し、符号化効率が低下する。

一方、次世代の画像符号化規格として提案されている技術の中には、このような課題を解決する技術がある（例えば、非特許文献２を参照）。この技術では、従来のＨ．２６４規格に対応する符号化単位ブロックのサイズが可変になる。そして、この技術に係る画像符号化装置は、従来の１６ｘ１６画素よりも大きなブロックで画像を符号化することも可能であり、符号化効率が向上する。

また、符号化ストリームを復号するための各処理を並列化することによって、復号効率を向上するパイプライン処理技術も存在する（例えば、特許文献１を参照）。なお、以下、画像符号化装置および画像復号装置のように符号化ストリームを取り扱う装置を画像処理装置という。

特開２００５−２９５５２６号公報

ＩＴＵ−Ｔ Ｈ．２６４規格書 Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ、２００５年３月発行 「Working Draft 4 of High-Efficiency Video Coding」、[online]、Joint Collaborative Team on Video Coding (JCT-VC)、２０１１年１１月２０日、[２０１１年１２月６日検索]、インターネット＜ＵＲＬ：http://phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v8.zip＞

しかしながら、上記非特許文献２および特許文献１の画像処理装置では、画像を構成するブロックのサイズの大型化に伴い、その画像に対して処理を行うために用いられる記憶素子に多くの容量が必要になるという課題がある。

そこで、本発明は、上記課題を解決するものであって、画像に対して処理を行うために用いられる記憶素子の容量を削減することを可能とする画像処理装置を提供する。

本発明の一態様に係る画像処理装置は、画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う画像処理装置であって、前記符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理部と、前記第１の処理部から出力された複数の成分の順序を入れ換えることにより、前記第１の処理単位とは異なる第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換え部と、前記入れ換え部から出力された複数の成分に対して、前記第２の処理単位ごとに、第２の処理を行う第２の処理部とを備える。

なお、この包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の画像処理装置は、画像に対して処理を行うために用いられる記憶素子の容量を削減することができる。

図１Ａは、所定のサイズのＣＵとＴＵに対する係数情報の格納順序を示す図である。 図１Ｂは、他のサイズのＣＵとＴＵに対する係数情報の格納順序を示す図である。 図２は、従来の画像処理装置の構成を示すブロック図である。 図３は、想定される画像処理装置の構成を示すブロック図である。 図４は、想定される他の画像処理装置の構成を示すブロック構成図である。 図５は、実施の形態１における画像復号装置の構成を示すブロック図である。 図６は、実施の形態１における画像復号装置の構成を他の観点から示すブロック図である。 図７Ａは、ストリームの構成を示す構成図である。 図７Ｂは、ピクチャの構成を示す構成図である。 図７Ｃは、ストリーム内のデータ配列を示す図である。 図８は、実施の形態１における画像復号装置による復号動作を示すフローチャートである。 図９は、実施の形態１における画像復号装置による符号化ユニット（ＣＵ）の復号動作を示すフローチャートである。 図１０は、実施の形態１における係数情報の入れ換えを説明するための図である。 図１１は、実施の形態１における順序入れ換え部の処理動作を示すフローチャートである。 図１２は、実施の形態１における、複数の係数情報のメモリへの書き込み順を示すフローチャートである。 図１３は、実施の形態１における、複数の係数情報がメモリに書き込まれる順序と、読み出される順序とを示す図である。 図１４は、実施の形態２における画像処理装置の構成を示すブロック図である。 図１５は、実施の形態２におけるストリーム変換部の構成を示すブロック図である。 図１６は、実施の形態２におけるストリーム変換部の処理動作を示すフローチャートである。 図１７は、実施の形態２における画像復号装置の構成を示すブロック図である。 図１８は、実施の形態３における画像処理装置の構成を示すブロック図である。 図１９は、実施の形態３におけるストリーム変換部の構成を示すブロック図である。 図２０は、実施の形態３における分割部の処理動作を示すフローチャートである。 図２１は、実施の形態３における分割部による符号化情報処理を示すフローチャートである。 図２２は、実施の形態３における可変長符号化の並列処理を説明するためのタイミングチャートである。 図２３は、実施の形態４における画像処理装置の構成を示すブロック図である。 図２４は、実施の形態４におけるストリーム変換部の構成を示すブロック図である。 図２５は、実施の形態４におけるマーカ挿入部の処理動作を示すフローチャートである。 図２６は、実施の形態４におけるマーカ挿入部による係数情報マーカ挿入処理を示すフローチャートである。 図２７は、実施の形態４における、可変長復号ストリームに対するマーカの挿入を説明するための図である。 図２８は、実施の形態５における画像処理装置の構成を示すブロック図である。 図２９は、実施の形態５におけるストリーム変換部の構成を示すブロック図である。 図３０は、実施の形態５における画像復号装置の可変長復号部、逆量子化部、逆周波数変換部、動きベクトル算出部および動き補償部の構成を示すブロック図である。 図３１は、実施の形態５における画像復号装置のイントラ予測部の構成を示すブロック図である。 図３２は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図３３は、デジタル放送用システムの全体構成図である。 図３４は、テレビの構成例を示すブロック図である。 図３５は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図３６は、光ディスクである記録メディアの構造例を示す図である。 図３７は、画像復号処理および画像符号化処理を実現する集積回路の構成例を示す構成図である。 図３８は、画像復号処理および画像符号化処理を実現する集積回路の構成例を示す構成図である。 図３９Ａは、画像処理装置の構成を示すブロック図である。 図３９Ｂは、画像処理方法を示すフローチャートである。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した画像処理装置に関し、以下の問題が生じることを見出した。

具体的には、非特許文献２では、符号化のデータ単位として、符号化ユニット（以下、ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）が定義されている。このＣＵは、上記符号化単位ブロックに相当する。また、このＣＵは、従来の符号化規格におけるマクロブロック（以下、ＭＢ）と同様に、予測方法をイントラ予測とインター予測とで切り換えることが可能なデータ単位（最小単位）であり、符号化の最も基本的なブロックサイズとして規定されている。このＣＵのサイズは、輝度については、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、および６４ｘ６４画素のうちのいずれかである。ＣＵのサイズが６４ｘ６４画素の場合、そのサイズはＨ．２６４のＭＢの１６倍である。つまり、非特許文献２では、Ｈ．２６４と比較して、最大で１６倍のデータ量を必要とする。このＣＵを周波数変換する単位として、周波数変換ユニット（以下、ＴＵ：ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）が定義されている。このＴＵは、上記周波数変換単位ブロックに相当する。また、このＴＵのサイズは、輝度については、４ｘ４画素、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、４ｘ１６画素、１６ｘ４画素、８ｘ３２画素、および３２ｘ８画素のうちのいずれかである。

図１Ａおよび図１Ｂは、非特許文献２の規格に従って符号化されたビットストリーム（符号化ストリーム）の例を示す図である。画像はＣＵ単位で符号化され、ＣＵ内では、復号対象とされる各係数情報が、輝度の少なくとも１つの係数情報（輝度情報）、色差の少なくとも１つの係数情報（色差情報）の順に配置されている。また、ＴＵのサイズはＣＵのサイズと同じか小さい。したがって、ＣＵ内には、そのＣＵ内に含まれるＴＵの個数分だけ、輝度情報（Ｙ）と色差情報（Ｃｂ／Ｃｒ）が存在する。この例を、６４ｘ６４画素を表現する符号化ストリームを例にとって、図１Ａおよび図１Ｂを用いて説明する。なお、符号化ストリーム中のＹ０、Ｃｂ０およびＣｒ０は、ＴＵ０の輝度Ｙ、色差Ｃｂおよび色差Ｃｒの係数情報をそれぞれ示す。つまり、Ｙｎ、ＣｂｎおよびＣｒｎは、ＴＵｎの輝度Ｙ、色差Ｃｂおよび色差Ｃｒの係数情報をそれぞれ示す（ｎ＝０、１、２または３）。また、以下の説明において、輝度Ｙ（またはＹ）、色差Ｃｂ（またはＣｂ）および色差Ｃｒ（またはＣｒ）は、それぞれに対応する種類の係数情報（色成分）を意味する。

図１Ａに示すように、ＣＵサイズが６４ｘ６４画素で、ＴＵサイズが３２ｘ３２画素の場合は、それぞれ３２ｘ３２画素からなる４つの輝度Ｙと、それぞれ１６ｘ１６画素からなる４つの色差Ｃｂと、それぞれ１６ｘ１６画素からなる４つの色差Ｃｒが、Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｃｂ０、Ｃｂ１、Ｃｂ２、Ｃｂ３、Ｃｒ０、Ｃｒ１、Ｃｒ２、Ｃｒ３の順に格納されている。一方、図１Ｂに示すように、ＣＵサイズが３２ｘ３２画素、ＴＵサイズが３２ｘ３２画素の場合には、１つのＴＵまたはＣＵ内には、Ｙ（３２ｘ３２画素）、Ｃｂ（１６ｘ１６画素）、Ｃｒ（１６ｘ１６画素）がこの順に格納されている。６４ｘ６４画素内には、ＣＵまたはＴＵが図１Ｂに示す順で４つ並んでおり、符号化ストリームには、４つの輝度Ｙ、４つの色差Ｃｂおよび４つの色差Ｃｒがそれぞれ、Ｙ０、Ｃｂ０、Ｃｒ０、Ｙ１、Ｃｂ１、Ｃｒ１、Ｙ２、Ｃｂ２、Ｃｒ２、Ｙ３、Ｃｂ３、Ｃｒ３の順に格納されている。

従来のＨ．２６４のストリーム構成（非特許文献１）では、輝度情報および色差情報のサイズはそれぞれ１６ｘ１６画素および８ｘ８画素である。さらに、輝度情報および色差情報は８ｘ８画素単位で格納され、それらの格納順（配置）は固定である。しかし、非特許文献２の規格に従った符号化ストリームでは、上記のとおり、輝度情報および色差情報のサイズは可変（最大３２ｘ３２画素、最小４ｘ４画素）であり、また、それらのサイズに応じて輝度情報および色差情報の格納順（配置）が異なるという特徴がある。

以上のように、非特許文献２において、符号化単位ブロックである符号化ユニット（ＣＵ）のサイズを可変にし、最大サイズを６４ｘ６４画素とＨ．２６４に比べて１６倍とすることで、符号化効率の向上が図られている。

また、上述のように、特許文献１には、このような符号化ストリームを復号するための各処理を並列に行うことによって、復号処理の効率を向上するパイプライン処理技術を用いた画像処理装置（画像復号装置）が記載されている。

図２は、特許文献１の画像処理装置の構成を示すブロック図である。

この画像処理装置におけるパイプライン処理技術では、図２に示すとおり、例えば、逆量子化部６０２はメモリ７０５からデータを読み出し、その結果をメモリ７０６に書き込む。同時に、逆周波数変換部５０６は、メモリ７０６からデータを読み出して、その結果をメモリ７０７に書き込む。逆量子化部６０２と逆周波数変換部５０６との間のメモリ７０６は、それぞれの処理が一度に必要とするデータを保持する必要がある。その他の処理部間（可変長復号部５０４と逆量子化部６０２との間など）も同様である。

図３は、非特許文献１および特許文献１から想定される画像処理装置の構成を示すブロック図である。

Ｈ．２６４規格に対して特許文献１を適用した場合、図３に示すように、例えばメモリ７３０〜７３３はそれぞれ、少なくとも７６８画素のデータ（係数情報）を保持する必要がある。つまり、メモリ７３１は、１６ｘ１６＝２５６画素からなる輝度情報と、それぞれ８ｘ８＝６４画素からなる２つの色差情報とを含む３８４画素のデータを２セット分保持する必要がある。

図４は、非特許文献２および特許文献１から想定される画像処理装置の構成を示すブロック図である。

この特許文献１の技術を非特許文献２に適用した場合、図４に示すように、メモリ７３４〜７３７には、メモリ７３１の容量の１６倍、つまり、１２，２８８画素のデータを保持するだけの多くの容量が必要になるという問題がある。このようなメモリは非常に大きいものであり、コストの増加を招くことになる。また、メモリが大きいと消費電力が増大する。なお、ここでは、メモリは、データの記憶が可能な記憶素子を指す。

ここで、パイプラインの各処理部間にある記憶素子の容量を減らすためには、処理を行うデータのサイズを小さくする方法があるが、非特許文献２においては、符号化ユニット（ＣＵ）のサイズによりデータの格納順およびサイズが異なるために、単純に、データのサイズを小さくすることができない。

図１Ａおよび図１Ｂに示す符号化ストリームでは、ともに周波数変換ユニット（ＴＵ）サイズが３２ｘ３２画素のブロックであるが、ＣＵサイズが異なる。輝度Ｙ、色差Ｃｂ、色差ＣｒはＣＵ内にこの順に格納されているため、同一サイズのＴＵであっても、ストリーム中でＴＵが出現する順序がそれぞれの符号化ストリームで異なる。

この例では、先頭３２ｘ３２画素分はともに左上のＴＵ０に対応する輝度Ｙ０であるが、次に現れる画素は、図１Ａに示す符号化ストリームの場合では、右上のＴＵ１に対応する３２ｘ３２画素分の輝度Ｙ１に属する。一方、図１Ｂに示す符号化ストリームの場合では、次に現れる画素は、左上のＴＵ０に対応する１６ｘ１６画素分の色差Ｃｂ０に属する。このように、ＣＵおよびＴＵサイズにより、互いに異なる２つの符号化ストリームの間で、Ｙ、ＣｂおよびＣｒのサイズが異なるだけでなく、互いに対応するＴＵの位置も異なる。したがって、元の符号化ストリームを単純に小さなサイズのブロックに分割して処理することはできない。

そこで、符号化ストリーム中の係数情報を入れ換えることで、より小さなブロック単位ごとに処理を行うことができ、記憶素子の容量を削減することを可能にする画像処理装置及び画像処理方法を発明するに至った。つまり、本発明では、処理効率（符号化効率または復号効率）の低下を抑えながら、画像に対して処理を行うために用いられる記憶素子の容量を削減することが可能な画像処理装置を提供する。

上記問題を解決するために、本発明の一態様に係る画像処理装置は、画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う画像処理装置であって、前記符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理部と、前記第１の処理部から出力された複数の成分の順序を入れ換えることにより、前記第１の処理単位とは異なる第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換え部と、前記入れ換え部から出力された複数の成分に対して、前記第２の処理単位ごとに、第２の処理を行う第２の処理部とを備える。

ここで、前記入れ換え部は、前記第１の処理単位よりも小さいサイズの前記第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力してもよい。

これにより、第１の処理によって、複数の成分が第１の処理単位ごとに出力された場合であっても、その複数の成分の順序が入れ換えられ、複数の成分が第２の処理単位ごとに出力される。そして、複数の成分に対する第２の処理が、第２の処理単位ごとに行われるため、第２の処理が行われた複数の成分を、第２の処理単位ごとに記憶素子に格納しておくことができる。したがって、第２の処理単位が第１の処理単位よりも小さい場合には、その第２の処理が行われた複数の成分を格納しておくための記憶素子の容量を削減することができる。つまり、例えばパイプライン処理を行うための記憶素子の容量を抑えることができる。さらに、記憶素子の容量を削減することができるため、コストおよび消費電力を抑えることができる。さらに、第１の処理単位が大きいことによって、第１の処理の処理効率の低下を防ぐことができる。

なお、第２の処理単位が第１の処理単位よりも大きい場合には、大きな処理単位ごとに第２の処理が行われるため、符号化ストリームに対する処理効率を向上することができる。

ここで、例えば、前記第１の処理単位は、前記画像の符号化に用いられた符号化ユニットである。このとき、前記第２の処理単位は、前記符号化ユニットの周波数変換に用いられた周波数変換ユニット、または前記周波数変換ユニットよりも小さいサイズの処理単位であってもよい。また、前記第１の処理部は、前記符号化ストリームの構成に応じて可変なサイズの前記第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力してもよい。同様に、前記入れ換え部は、前記符号化ストリームの構成に応じて可変なサイズの前記第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力してもよい。また、前記画像処理装置は、さらに、前記第２の処理によって生成されるストリームに対して第３の処理を行うことによって、前記符号化ストリームを復号する第３の処理部を備えてもよい。前記第１の処理単位は、前記画像の符号化に用いられる予測方法をイントラ予測とインター予測とに切り換えることが可能な最小単位であってもよい。

これにより、第１の処理単位が符号化ユニットである場合には、大きなサイズの符号化ユニットであっても、その符号化ユニットから構成される符号化ストリームを（例えば、パイプライン処理により）復号するために用いられる記憶素子の容量を抑えることができる。さらに、符号化ユニットを小さくする必要がないため、その符号化ストリームを生成するための画像符号化装置の符号化効率の低下を防ぐことができる。さらに、可変サイズの第１の処理単位および第２の処理単位に対して適切に処理することができる。

また、前記第１の処理部は、前記第１の処理単位に含まれる複数の成分として複数の色成分のそれぞれを順次出力し、前記入れ換え部は、前記第１の処理部から出力された複数の色成分の順序を入れ換えることにより、前記第２の処理単位に含まれる複数の色成分を順次出力してもよい。

これにより、記憶素子の容量を削減することができるだけでなく、画面中で同一座標を表現する複数の色成分を同時に処理することができ、動作効率を向上することができる。

また、前記第１の処理部は、前記複数の色成分のそれぞれを順次出力することによって、前記複数の色成分のそれぞれを記憶部に順次格納し、前記入れ換え部は、前記記憶部に格納されている前記複数の色成分の順序と異なる順序で、前記複数の色成分のそれぞれを順次読み出すことによって、前記複数の色成分の順序を入れ換えてもよい。または、前記入れ換え部は、前記第１の処理部から出力された複数の色成分の順序と異なる順序で前記複数の色成分のそれぞれを記憶部に順次書き込むことによって、前記複数の色成分の順序を入れ換え、前記第２の処理部は、前記記憶部に格納されている前記複数の色成分の順序にしたがって、前記複数の色成分のそれぞれを順次読み出してもよい。

これにより、記憶素子の容量を削減することができるだけでなく、例えばメモリなどの記憶部を用いて、画面中で同一座標を表現する複数の色成分を同時に適切に処理することができ、動作効率を向上することができる。

また、前記第２の処理部は、前記第２の処理単位に含まれる複数の色成分を用いて、当該第２の処理単位に対応する画像を再構成する再構成処理を、前記第２の処理に含まれる処理として行ってもよい。

これにより、記憶素子の容量を削減することができるだけでなく、画面中で同一座標を表現する複数の色成分を同時に処理することが必要な画像の再構成処理の動作効率を向上することができる。

また、前記第１の処理部は、可変長復号を前記第１の処理として行い、前記第２の処理部は、前記第２の処理に含まれる処理として逆量子化を行ってもよい。

これにより、パイプライン処理における逆量子化以降の処理に用いられる処理部間に必要な記憶素子の容量を削減することができる。

また、前記第１の処理部は、可変長復号を前記第１の処理として行い、前記第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力し、前記入れ換え部は、前記第１の処理部から出力された複数の色成分の順序を入れ換え、前記第２の処理部は、前記第２の処理に含まれる処理として可変長符号化を行ってもよい。

これにより、符号化ストリームは可変長復号され、複数の成分が入れ換えられた状態で、再び可変長符号化されることになる。その結果、符号化ストリームをトランスコードすることができる。また、符号化ストリームの生成において用いられた可変長符号化の方式よりも簡単に可変長復号することができる可変長符号化の方式を、第２の処理において用いることができる。その結果、第２の処理によって出力された複数の色成分からなる、トランスコード後の符号化ストリームの復号に要する負担を、トランスコード前の符号化ストリームの復号に要する負担よりも軽減することができる。つまり、符号化ストリームの復号に要する画像復号装置の処理負担を軽減することができるとともに、その装置の性能保証を容易にすることができる。

また、前記第１の処理部は、可変長復号を前記第１の処理として行い、前記第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力し、前記入れ換え部は、前記第１の処理部から出力された複数の色成分のそれぞれを、色成分の種類ごとに分類する分割部と、色成分の種類ごとに、当該種類に属する複数の色成分に対する可変長符号化を行い、前記可変長符号化によって生成されるストリームを記憶部に格納する可変長符号化部と、前記記憶部に格納されている、色成分の種類ごとに生成されたストリームから、前記第１の処理部から出力された複数の色成分の順序とは異なる順序で、前記複数の色成分のそれぞれを順次読み出すことによって、前記複数の色成分の順序が入れ換えられた入れ換え済符号化ストリームを生成するストリーム再構成部とを備え、前記可変長符号化部は、色成分の種類のそれぞれに対する可変長符号化を並列に行い、前記入れ換え済符号化ストリームは、前記第２の処理単位のサイズと同じサイズの符号化ユニットを含んでもよい。または、前記第１の処理部は、可変長復号を前記第１の処理として行い、前記第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力し、前記入れ換え部は、前記第１の処理部から出力された複数の色成分のそれぞれに対して、当該色成分の種類を識別するためのマーカを付加するマーカ挿入部と、前記マーカ挿入部によって付加されたマーカに基づいて、前記第１の処理部から出力された複数の色成分のそれぞれの種類を識別し、色成分の種類ごとに、当該種類に属する複数の色成分に対する可変長符号化を行い、前記可変長符号化によって生成されるストリームを記憶部に格納する可変長符号化部と、前記記憶部に格納されている、色成分の種類ごとに生成されたストリームから、前記第１の処理部から出力された複数の色成分の順序とは異なる順序で、前記複数の色成分を順次読み出すことによって、前記複数の色成分の順序が入れ換えられた入れ換え済符号化ストリームを生成するストリーム再構成部とを備え、前記可変長符号化部は、色成分の種類のそれぞれに対する可変長符号化を並列に行ってもよい。

これにより、例えば、輝度の色成分に対する可変長符号化と、色差の色成分に対する可変長符号化とが並列に行われる。したがって。可変長符号化を高速化することができ、動作効率を向上することができる。

また、前記ストリーム再構成部は、前記複数の色成分のそれぞれに対して付加されたマーカとともに前記複数の色成分を順次読み出すことによって、前記複数の色成分のそれぞれに対してマーカが付加された前記入れ換え済符号化ストリームを生成し、前記第２の処理部は、前記入れ換え済符号化ストリームに含まれる複数の前記マーカに基づいて、前記色成分の種類ごとに、当該種類に属する複数の色成分に対する可変長復号を行う可変長復号部と、前記色成分の種類ごとに、当該種類に属する可変長復号された前記複数の色成分に対する逆量子化を行う逆量子化部と、前記色成分の種類ごとに、当該種類に属する逆量子化された前記複数の色成分に対する逆周波数変換を行うことによって、複数の前記マーカを含む色成分データを生成する逆周波数変換部と、前記色成分の種類ごとに生成された色成分データを、前記色成分データに含まれる複数の前記マーカに基づいて識別し、前記入れ換え部によって入れ換えられた順序どおりに、逆周波数変換された前記複数の色成分が配列するように、前記複数の色成分を再構成する成分再構成部とを備え、前記可変長復号部、前記逆量子化部、および前記逆周波数変換部はそれぞれ、前記色成分の種類のそれぞれに対する処理を並列に行ってもよい。

これにより、入れ換え済符号化トリームに対する可変長復号、逆量子化および逆周波数変換のそれぞれの処理では、例えば、輝度の色成分に対する処理と、色差の色成分に対する処理とが並列に行われるため、可変長復号、逆量子化および逆周波数変換を高速化することができ、動作効率を向上することができる。

ここで、具体的には、第１の処理部は、第１の処理単位ごとに、当該第１の処理単位に含まれる複数の成分を、４つの輝度成分、４つの第１の色差成分（Ｃｂ）、４つの第２の色差成分（Ｃｒ）の順に出力し、前記入れ換え部は、前記複数の成分の順序を入れ換えることにより、第２の処理単位ごとに、当該第２の処理単位に含まれる複数の成分を、１つの輝度成分、１つの第１の色差成分、１つの第２の色差成分の順に出力してもよい。

以下、実施の形態における画像処理装置について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、６４ｘ６４画素、および、３２ｘ３２画素等の表現は、それぞれ、６４画素ｘ６４画素、および、３２画素ｘ３２画素等のサイズを意味する。

また、以下において、ブロック、データ単位および符号化ユニット（ＣＵ）等の表現は、それぞれ、まとまった領域を意味する。それらは、それぞれ、画像領域を意味する場合もある。あるいは、それらは、それぞれ、符号化ストリームにおけるデータ領域を意味する場合もある。

また、画像は、動画像、静止画像、動画像を構成する複数のピクチャ、１つのピクチャ、および、ピクチャの一部等のいずれでもよい。

（実施の形態１）
本実施の形態における画像処理装置である画像復号装置は、逆量子化部内に、符号化ストリーム中の係数情報（成分）を入れ換える順序入れ換え部を持つ点に特徴がある。

（１−１．概要）
まず、本実施の形態における画像復号装置の概要について説明する。本実施の形態における画像復号装置は、符号化ストリームに対して可変長復号を行った後、符号化ユニット（ＣＵ）単位で格納されている係数情報を、順序入れ換え部で並べ換えることで、ＣＵ単位よりも小さなサイズで、可変長復号よりも後段の処理を行う。具体的には、画像復号装置は、符号化ストリームに対して６４ｘ６４画素のＣＵ単位で可変長復号を行った後、３２ｘ３２画素のＴＵ単位（３２ｘ３２画素の輝度Ｙ、１６ｘ１６画素の色差Ｃｂ、および１６ｘ１６画素の色差Ｃｒからなる単位）で、逆量子化以降の処理を行う。

（１−２．構成）
次に、本実施の形態の画像復号装置の構成について説明する。

図５は、本実施の形態における画像復号装置の構成を示すブロック図である。本実施の形態の画像復号装置５１３は、制御部５０１、ビットストリームバッファ５０２、フレームメモリ５０３、可変長復号部５０４、入れ換え逆量子化部５０５、逆周波数変換部５０６、イントラ予測部５０７、動きベクトル算出部５０８、動き補償部５０９、スイッチ５１０、再構成部５１１、およびデブロックフィルタ部５１２を備える。なお、図５には示されていないが、画像復号装置５１３は、メモリ７０１、メモリ７０２、メモリ７０３およびメモリ７０４を備えている（図６参照）。

図６は、本実施の形態における画像復号装置５１３の構成を他の観点から示すブロック図である。つまり、画像復号装置５１３は、可変長復号部５０４、入れ換え逆量子化部５０５、逆周波数変換部５０６、画像再構成部６０３、デブロックフィルタ部５１２、および４つのメモリ７０１〜７０４を備える。ここで、入れ換え逆量子化部５０５は、順序入れ換え部６０１および逆量子化部６０２を備える。なお、図６では、説明の都合上、制御部５０１、ビットストリームバッファ５０２およびフレームメモリ５０３を省略している。さらに、画像再構成部６０３は、イントラ予測部５０７、動きベクトル算出部５０８、動き補償部５０９、スイッチ５１０、および再構成部５１１から構成されている。

制御部５０１は、画像復号装置５１３の全体を制御する。ビットストリームバッファ５０２は、入力された符号化ストリームを格納する。フレームメモリ５０３は、復号された画像データを格納する。

可変長復号部５０４は、ビットストリームバッファ５０２から符号化ストリームを読み出し、その符号化ストリームに対して可変長復号を行うことによって、複数の量子化値を生成して入れ換え逆量子化部５０５に出力する。入れ換え逆量子化部５０５は、その複数の量子化値（複数の係数情報）のうちの少なくとも一部の順序を入れ換える。さらに、入れ換え逆量子化部５０５は、入れ換えられた順序で複数の量子化値のそれぞれに対して逆量子化を行うことによって、複数の周波数係数を生成して逆周波数変換部５０６に出力する。逆周波数変換部５０６は、その複数の周波数係数に対して逆周波数変換を行うことによって、差分画像を生成する。イントラ予測部５０７は、復号対象画像に対して画面内予測（イントラ予測ともいう）を行うことによって、予測画像を生成する。動きベクトル算出部５０８は、動きベクトルを算出して動き補償部５０９に出力する。動き補償部５０９は、その動きベクトルを用いて、復号対象画像に対して動き補償を行うことによって、予測画像を生成する。スイッチ５１０は、予測画像の取得先をイントラ予測部５０７および動き補償部５０９のうちの何れかに切り換え、その取得先から取得された予測画像を再構成部５１１に出力する。再構成部５１１は、逆周波数変換によって生成された差分画像と、予測画像とから復号画像を生成する画像再構成処理（画像の再構成処理）を行う。デブロックフィルタ部５１２は、画像再構成処理によって生成された復号画像のブロックノイズを除去することによって、その復号画像を高画質化する。

（１−３．動作）
次に、図５に示した画像復号装置５１３の動作を説明する。

図７Ａおよび図７Ｂは、符号化ストリームの階層的な構成を示す図である。複数のピクチャを１まとまりにしたものをシーケンスと呼ぶ。各ピクチャはスライスに分割される。さらに、スライスは、符号化ユニット（ＣＵ）に分割される。さらにＣＵは、周波数変換ユニット（ＴＵ）と、予測ユニット（ＰＵ）とで構成される。なお、ピクチャをスライスに分割しない場合もある。符号化ユニット（ＣＵ）は、６４ｘ６４画素〜８ｘ８画素のサイズで設定される。ＣＵは、画像の符号化に用いられる予測方法をイントラ予測とインター予測とに切り換えることが可能なデータ単位（最小単位）である。周波数変換ユニット（ＴＵ）は、符号化ユニット（ＣＵ）の内部で３２ｘ３２画素〜４ｘ４画素のサイズで設定される。予測ユニット（ＰＵ）は、符号化ユニット（ＣＵ）の内部で６４ｘ６４画素〜４ｘ４画素のサイズで設定される。ＰＵは、イントラ予測のモード、または、インター予測の動きベクトルを有する。

図７Ｃは、符号化ストリーム内の各データの配置を示す図である。

符号化ストリームは、図７Ｃに示すように、画像を階層的に符号化することによって構成されており、シーケンスを制御するためのシーケンスヘッダ、ピクチャを制御するためのピクチャヘッダ、スライスを制御するためのスライスヘッダ、および符号化ユニット（ＣＵ）から構成される。なお、Ｈ．２６４規格では、シーケンスヘッダをＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャヘッダをＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ Ｓｅｔ）と呼んでいる。

図８は、画像復号装置５１３による符号化ストリームの１シーケンスに対する復号動作を示すフローチャートである。図８に示すように、画像復号装置５１３は、まず、シーケンスヘッダを復号する（Ｓ９０１）。シーケンスヘッダの復号（Ｓ９０１）は、制御部５０１の制御のもと、ビットストリームバッファ５０２に蓄えられた符号化ストリームを可変長復号部５０４が復号することによって行われる。次に、同様にして、画像復号装置５１３は、ピクチャヘッダを復号し（Ｓ９０２）、スライスヘッダを復号する（Ｓ９０３）。

次に、画像復号装置５１３はＣＵを復号する（Ｓ９０４）。このＣＵの復号については後で詳しく説明する。１つのＣＵの復号が終わると、画像復号装置５１３はそれがスライスの最後のＣＵかどうかを判断する（Ｓ９０５）。スライスの最後のＣＵでない場合は、画像復号装置５１３は、再びＳ９０４の処理を行い、次のＣＵの復号を行う。スライスの最後のＣＵである場合は、画像復号装置５１３はＳ９０６の処理を行う。

つまり、画像復号装置５１３は、Ｓ９０６において、先に復号されたスライスがピクチャの最後のスライスかどうかを判断する。ピクチャの最後のスライスでない場合は、画像復号装置５１３は、再びＳ９０３からの処理を行い、次のスライスヘッダの復号を行う。ピクチャの最後のスライスである場合は、画像復号装置５１３はＳ９０７の処理を行う。

つまり、画像復号装置５１３は、Ｓ９０７において、先に復号されたピクチャがシーケンスの最後のピクチャかどうかを判断する。シーケンスの最後のピクチャでない場合は、画像復号装置５１３は、再びＳ９０２からの処理を行い、次のピクチャヘッダの復号を行う。画像復号装置５１３は、シーケンスの全てのピクチャの復号が終わると一連の復号動作を終了する。

図９は、画像復号装置５１３による１つのＣＵに対する復号動作を示すフローチャートである。つまり、図９は、図８に示すＳ９０４における符号化ユニットを復号する処理を示す。まず、画像復号装置５１３は、入力された符号化ストリームを可変長復号部５０４によって可変長復号する（Ｓ１０１）。可変長復号部５０４は、符号化情報（ＣＵ種別、イントラ予測モード、動きベクトル情報、量子化パラメータなど）と、各画素データに対応する係数情報（輝度Ｙ、色差Ｃｂおよび色差Ｃｒのそれぞれの量子化値）とを出力する。

次に、動きベクトル算出部５０８は、復号対象のＣＵが、動き補償を用いて符号化されたインターＣＵであるか、イントラ予測を用いて符号化されたイントラＣＵであるかの判定を行う（Ｓ１０２）。ここで、インターＣＵの場合は、動きベクトル算出部５０８は、符号化情報を用いて動きベクトルを算出する（Ｓ１０３）。つまり、動きベクトル算出部５０８は、予測動きベクトルを算出し、この予測動きベクトルと、符号化ストリームに含まれる動きベクトル情報（動きベクトルの差分値）とを加算することによって、動きベクトルを算出する。なお、符号化情報は、可変長復号部５０４から制御部５０１に出力され、その後、各処理部（画像復号装置５１３の各構成要素）に入力される。係数情報は入れ換え逆量子化部５０５に出力される。次に、入れ換え逆量子化部５０５は逆量子化処理を行う（Ｓ１０４）。なお、可変長復号部５０４および入れ換え逆量子化部５０５の動作については後で詳細に説明する。次に、逆周波数変換部５０６は逆周波数変換を行う（Ｓ１０５）。

次に、制御部５０１は、復号対象のＣＵがインターＣＵであるかイントラＣＵであるかの判定を行う（Ｓ１０６）。インターＣＵの場合は、制御部５０１は、動きベクトル算出部５０８によって算出された動きベクトルを動き補償部５０９に入力させる。そして、制御部５０１は、フレームメモリ５０３から動き補償部５０９に、その動きベクトルが示す参照画像を転送させる（Ｓ１０７）。動き補償部５０９は、転送された参照画像を用いて、１／２画素精度や１／４画素精度の予測画像を生成する（Ｓ１０８）。つまり、動き補償部５０９は動き補償を行う。

一方、インターＣＵで無い場合（Ｓ１０６）、すなわちイントラＣＵの場合は、制御部５０１は、イントラ予測部５０７にインター予測の処理を行わせ、予測画像を生成させる（Ｓ１０９）。制御部５０１は、ステップＳ１０６の判定結果に応じてスイッチ５１０を制御することによって、再構成部５１１に出力される予測画像を、動き補償部５０９によって生成された予測画像、およびイントラ予測部５０７によって生成された予測画像のうちの何れかに切り換える。

再構成部５１１は、得られた予測画像と、逆周波数変換部５０６から出力される差分画像とを加算することによって復号画像を生成する（Ｓ１１０）。つまり、再構成部５１１は、画像再構成処理（画像を再構成すること）を行う。次に、デブロックフィルタ部５１２は、その画像再構成処理によって得られた復号画像に対して、ブロックノイズを低減するデブロックフィルタ処理を行う（Ｓ１１１）。これにより、ブロックフィルタ処理された復号画像がフレームメモリ５０３に格納される。以上で、１つのＣＵの復号動作が終了する。

次に、図６を用いて、本実施の形態の特徴である可変長復号部５０４、順序入れ換え部６０１および逆量子化部６０２の動作について詳しく説明する。ここでは、６４ｘ６４画素の符号化ユニットを復号する場合を考える。

可変長復号部５０４は、入力された符号化ストリームに対して可変長復号を行う。その結果、可変長復号部５０４は、符号化情報（ＣＵ種別、イントラ予測モード、動きベクトル情報、量子化パラメータなど）と、各画素データに対応する係数情報とを出力する。

ここでは、係数情報の処理フローについて説明する。可変長復号部５０４から出力された係数情報は、メモリ７０１を介し、順序入れ換え部６０１に渡される。順序入れ換え部６０１は、符号化ストリーム内での複数の係数情報の順序（配置）を入れ換え、順序が入れ換えられた複数の係数情報が逆量子化部６０２に出力される。逆量子化部６０２は、それらの係数情報に対して逆量子化を行う。

ここで、順序入れ換え部６０１の動作について、図１０および図１１を用いて詳しく説明する。なお、符号化ストリームでは、図１Ａに示されるように、インター予測およびイントラ予測の切り換え単位であるＣＵのサイズは６４ｘ６４画素である。また、周波数変換ユニットであるＴＵのサイズは３２ｘ３２画素である。

図１０は、複数の係数情報の順序の入れ換えを説明するための図である。また、図１１は、順序入れ換え部６０１の処理動作を示すフローチャートである。なお、この入れ換えによって、可変長復号部５０４から出力された複数の係数情報の順序が入れ換えられる。

可変長復号後の複数の係数情報はメモリ７０１に、図１０の（ａ）に示される順序で格納または配置される。順序入れ換え部６０１は、図１１に示すフローによって、まず３２ｘ３２画素の左上ＴＵ０に対応するＹ０（３２ｘ３２画素）、Ｃｂ０（１６ｘ１６画素）、およびＣｒ０（３２ｘ３２画素）を読み出し、それらの係数情報（１，５３６画素）を逆量子化部６０２へ出力する（Ｓ２０１）。次に、順序入れ換え部６０１は、右上ＴＵ１に対応するＹ１（３２ｘ３２画素）、Ｃｂ１（１６ｘ１６画素）、およびＣｒ１（１６ｘ１６画素）を読み出し、それらの係数情報（１，５３６画素）を逆量子化部６０２へ出力する（Ｓ２０２）。次に、順序入れ換え部６０１は、左下ＴＵ２に対応するＹ２（３２ｘ３２画素）、Ｃｂ２（１６ｘ１６画素）、およびＣｒ２（１６ｘ１６画素）を読み出し、それらの係数情報（１，５３６画素）を逆量子化部６０２へ出力する（Ｓ２０３）。次に、順序入れ換え部６０１は、右下ＴＵ３に対応するＹ３（３２ｘ３２画素）、Ｃｂ３（１６ｘ１６画素）、およびＣｒ３（１６ｘ１６画素）を読み出し、それらの係数情報（１，５３６画素）を逆量子化部６０２へ出力する（Ｓ２０４）。

このように、順序入れ換え部６０１は、ＣＵ内で同じ座標に位置するブロック（ＴＵ）に対応する輝度および色差の係数情報を、ブロックごとに順に読み出して出力する。このような読み出しと出力が順次繰り返されることで、輝度Ｙ、色差Ｃｂおよび色差Ｃｒのそれぞれの複数の係数情報の順序が、図１０に示すように入れ換えられる。つまり、図１０の（ａ）に示される順から（ｂ）に示される順に入れ換えられる。その結果、逆量子化部６０２は３２ｘ３２画素単位（ＴＵ単位）で係数情報を受け取り、その画素単位で逆量子化を行う。また、逆量子化の後の処理も同様に、３２ｘ３２画素単位（ＴＵ）で行われる。

以上の係数情報の順序の入れ換えにより、Ｙ（３２ｘ３２画素を４つ）、Ｃｂ（１６ｘ１６画素を４つ）、およびＣｒ（１６ｘ１６画素を４つ）をまとめた計６，１４４画素単位（ＣＵサイズの単位）を、１，５３６画素単位（ＴＵサイズの単位）で４回に分割して出力することが可能となる。

次に、逆量子化部６０２は、順序入れ換え部６０１から、複数の係数情報の入れ換えが行われた符号化ストリームを取得し、その符号化ストリームに対して、Ｙ（３２ｘ３２画素）、Ｃｂ（１６ｘ１６画素）、およびＣｒ（１６ｘ１６画素）からなる１，５３６画素単位ごとに逆量子化を行う。そして、逆量子化部６０２は、その逆量子化によって生成された複数の周波数係数をメモリ７０２に格納する。逆周波数変換部５０６は、メモリ７０２から複数の周波数係数を読み出し、その複数の周波数係数に対して上述の１，５３６画素単位ごとに逆周波数変換を行う。そして、逆周波数変換部５０６は、その逆周波数変換によって生成される差分画像をメモリ７０３に格納する。画像再構成部６０３は、メモリ７０３から差分画像を読み出し、その差分画像に対して上述の１，５３６画素単位ごとに画像再構成処理などの処理を行う。そして、画像再構成部６０３は、その処理によって生成された復号画像をメモリ７０４に格納する。デブロックフィルタ部５１２は、メモリ７０４から復号画像を読み出し、その復号画像に対して上述の１，５３６画素単位ごとにデブロックフィルタ処理を行う。なお、上述の量子化値、周波数係数および画素は、それぞれ状態が異なっているが、所定の係数情報または成分を意味する。

このような本実施の形態を纏めると、以下のとおりである。

画像復号装置５１３は、画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う画像処理装置であって、例えば可変長復号部５０４である第１の処理部と、例えば順序入れ換え部６０１である入れ換え部と、例えば逆量子化部６０２である第２の処理部とを備える。

第１の処理部は、符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する。例えば、第１の処理単位はＣＵである。また、第１の処理単位は、符号化ストリームの構成に応じて可変なサイズの第１の処理単位（ＣＵ）ごとに、その第１の処理単位に含まれる少なくとも１つの成分を順次出力する。

入れ換え部は、第１の処理部から出力された複数の成分の順序を入れ換えることにより、第１の処理単位とは異なる第２の処理単位ごとに、その第２の処理単位に含まれる少なくとも１つの成分を順次出力する。例えば、第２の処理単位はＴＵ、またはＴＵよりも小さいサイズの処理単位である。また、入れ換え部は、符号化ストリームの構成に応じて可変なサイズの第２の処理単位ごとに、第２の処理単位に含まれる少なくとも１つの成分を順次出力する。また、入れ換え部は、第１の処理単位よりも小さいサイズの第２の処理単位ごとに、その第２の処理単位に含まれる少なくとも１つの成分を順次出力する。

また、第１の処理部は、第１の処理単位に含まれる複数の成分として複数の色成分のそれぞれを順次出力する。このとき、入れ換え部は、第１の処理部から出力された複数の色成分の順序を入れ換えることにより、第２の処理単位に含まれる複数の色成分を順次出力する。この複数の色成分は、例えば、輝度Ｙの係数情報、色差Ｃｂの係数情報および色差Ｃｒの係数情報などである。

また、第１の処理部は、複数の色成分のそれぞれを順次出力することによって、複数の色成分のそれぞれを記憶部に順次格納する。記憶部は、例えばメモリ７０１である。ここで、図１１に示すように、入れ換え部は、その記憶部に格納されている複数の色成分の順序と異なる順序で、複数の色成分のそれぞれを順次読み出すことによって、複数の色成分の順序を入れ換える。

さらに、第２の処理部は、第２の処理単位に含まれる複数の色成分を用いて、その第２の処理単位に対応する画像を再構成する再構成処理を、前記第２の処理に含まれる処理として行ってもよい。つまり、第２の処理部は、画像再構成部６０３または再構成部５１１としての機能を備えていてもよい。また、第１の処理部は、可変長復号を第１の処理として行い、第２の処理部は、第２の処理に含まれる処理として逆量子化を行ってもよい。

なお、上記成分は、色成分であっても他の成分（例えば、符号化情報など）であってもよい。

（１−４．効果）
このように、本実施の形態では、可変長復号部５０４によって出力されてメモリ７０１に格納された複数の係数情報の順序が、逆量子化部６０２の前にある順序入れ換え部６０１によって入れ換えられる。これにより、逆量子化部６０２以降のメモリ７０２、メモリ７０３およびメモリ７０４の容量を、６４ｘ６４画素の２セット分（輝度Ｙ、色差Ｃｂおよび色差Ｃｒのそれぞれの画素の合計である１２，２８８画素）から３２ｘ３２画素の２セット分（輝度Ｙ、色差Ｃｂおよび色差Ｃｒのそれぞれの画素の合計である３，０７２画素）に削減することが可能となる。つまり、逆量子化部６０２以降の各処理部間をつなぐメモリの容量をそれぞれ１／４に削減することができる。これにより、メモリにかかるコストを削減できると共に、消費電力の低減を図ることができる。

（なお書き）
なお、本実施の形態においては、可変長符号を用いているが、ハフマン符号やランレングス符号、算術符号、あるいは固定長符号のように、どのような符号化方式を用いても構わない。

また、各処理部の構成は、一部あるいは全てを専用ハードウェアによる回路で実現してもよいし、プロセッサ上のプログラムで実現してもよい。

また、フレームメモリ５０３、メモリ７０１、メモリ７０２、メモリ７０３、メモリ７０４は、メモリとしているが、データの記憶が可能な記憶素子であれば、フリップフロップなど他の構成によるものであっても構わない。さらには、プロセッサのメモリ領域の一部や、キャッシュメモリの一部を用いる構成であっても構わない。

また、順序入れ換え部６０１において用いられる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる処理単位（第２の処理単位）のサイズは、３２ｘ３２画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計１，５３６画素）のサイズに限定されるものではなく、それより小さなサイズや大きなサイズであってもよい。例えば、１６ｘ１６画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計３８４画素）のサイズであってもよい。つまり、符号化ストリームに含まれる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる入れ換え前の処理単位（第１の処理単位またはＣＵ）が、輝度Ｙ（３２ｘ３２画素）、色差Ｃｂ（１６ｘ１６画素）および色差Ｃｒ（１６ｘ１６画素）からなる３２ｘ３２画素単位で構成されている場合、順序入れ換え部６０１は、その符号化ストリームの複数の係数情報の順序を、１６ｘ１６画素単位にしたがった順序に入れ換えてもよい。

また、順序入れ換え部６０１は、例として、逆量子化部６０２の直前に配置されていたが、これに限定されるものではない。逆周波数変換部５０６の直前であっても良いし、画像再構成部６０３の直前であっても良い。

また、順序の入れ換えを、メモリからの読み出し時に行う例で示したが、これに限定されるものではない。例えば、図１２に示すフローに従って、図１３に示す通り、メモリへの書き込み時に、係数情報の順序の入れ換えを行った上で、読み出し時に順番に読み出す方法でも構わない。

図１２は、複数の係数情報のメモリへの書き込み順を示すフローチャートである。図１３は、複数の係数情報がメモリに書き込まれる順序と、読み出される順序とを示す図である。

図１２に示すように、順序入れ換え部６０１は、可変長復号部５０４から複数の係数情報を受け取ると、輝度Ｙ０をメモリのＹ０領域に書き込み（Ｓ３０１）、輝度Ｙ１をメモリのＹ１領域に書き込み（Ｓ３０２）、輝度Ｙ２をメモリのＹ２領域に書き込み（Ｓ３０３）、輝度Ｙ３をメモリのＹ３領域に書き込む（Ｓ３０４）。さらに、順序入れ換え部６０１は、色差Ｃｂ０をメモリのＣｂ０領域に書き込み（Ｓ３０５）、色差Ｃｂ１をメモリのＣｂ１領域に書き込み（Ｓ３０６）、色差Ｃｂ２をメモリのＣｂ２領域に書き込み（Ｓ３０７）、色差Ｃｂ３をメモリのＣｂ３領域に書き込む（Ｓ３０８）。さらに、順序入れ換え部６０１は、色差Ｃｒ０をメモリのＣｒ０領域に書き込み（Ｓ３０９）、色差Ｃｒ１をメモリのＣｒ１領域に書き込み（Ｓ３１０）、色差Ｃｒ２をメモリのＣｒ２領域に書き込み（Ｓ３１１）、色差Ｃｒ３をメモリのＣｒ３領域に書き込む（Ｓ３１２）。

その結果、メモリ７０１の各領域には、図１３に示すように係数情報が格納される。この場合、逆量子化部６０２は、メモリ７０１の各領域に格納されている複数の係数情報の配置どおりに、それらの係数情報を読み出し、それらの係数情報に対して逆量子化を行う。

つまり、本実施の形態では、入れ換え部（順序入れ換え部６０１）は、第１の処理部（可変長復号部５０４）から出力された複数の色成分の順序と異なる順序で前記複数の色成分のそれぞれを記憶部（メモリ７０１）に順次書き込むことによって、複数の色成分の順序を入れ換え、第２の処理部（逆量子化部６０２）は、その記憶部に格納されている複数の色成分の順序にしたがって、複数の色成分のそれぞれを順次読み出してもよい。

また、順序入れ換え部６０１が、可変長復号部５０４の直後であっても良いし、逆量子化部６０２の直後であっても良いし、逆周波数変換部５０６の直後であっても良いし、画像再構成部６０３の直後であっても良い。このように、順序入れ換え部６０１は、係数情報が受け渡しされる処理部のいずれかあるいは複数の部分に配置されればよい。

（実施の形態２）
（２−１．概要）
次に、本実施の形態における画像処理装置の概要について説明する。実施の形態１における画像処理装置は、画像復号装置５１３として構成され、図６に示した可変長復号部５０４による処理以降で複数の係数情報の順序を入れ換える。これに対して、本実施の形態における画像処理装置は、入力される符号化ストリームに含まれる複数の係数情報の順序の入れ換えを、ＣＵの復号前に行い、その結果生成される入れ換え済符号化ストリームに対して、ＣＵの復号を含む復号処理を行う。

（２−２．構成）
次に、本実施の形態における画像処理装置の構成について説明する。

図１４は、本実施の形態における画像処理装置の構成を示すブロック図である。本実施の形態における画像処理装置は、ビットストリームバッファ６０４と、ストリーム変換部６０５と、画像復号装置５１３ａとを備える。ビットストリームバッファ６０４は符号化ストリームを保持するためのメモリである。ストリーム変換部６０５は、ビットストリームバッファ６０４から符号化ストリームを読み出して、その符号化ストリームに含まれる複数の係数情報の順序を入れ換えることによって、入れ換え済符号化ストリームを生成する。そして、ストリーム変換部６０５は、その入れ換え済符号化ストリームを画像復号装置５１３ａのビットストリームバッファ５０２に出力する。画像復号装置５１３は、実施の形態１の画像復号装置５１３に含まれる構成要素のうち、入れ換え逆量子化部５０５を除く全ての構成要素を備え、入れ換え逆量子化部５０５の代わりに逆量子化部６０２を備える。なお、本実施の形態では、実施の形態１と同一の構成要素については同一の符号を付し、詳細な説明を省略する。

図１５は、ストリーム変換部６０５の構成を示すブロック図である。

ストリーム変換部６０５は、図１５に示すとおり、可変長復号部６０６と、メモリ７０８と、順序入れ換え部６０１と、可変長符号化部６０７とを備える。

（２−３．動作）
次に、ストリーム変換部６０５の動作を説明する。

図１６は、ストリーム変換部６０５の処理動作を示すフローチャートである。ここでは、図１０に示すように、複数の係数情報の順序を入れ換える例を説明する。

可変長復号部６０６は、符号化ストリームをビットストリームバッファ６０４から読み出して、その符号化ストリームに対して可変長復号を行う（Ｓ４０１）。そして、可変長復号部６０６は、可変長復号された符号化ストリームを可変長復号ストリームとしてメモリ７０８に格納する。順序入れ換え部６０１は、メモリ７０８から可変長復号ストリームを読み出し、その可変長復号ストリームに対して係数情報の順序の入れ換えが必要か否かを判断する（Ｓ４０２）。すなわち、順序入れ換え部６０１は、可変長復号ストリームに含まれる６４ｘ６４画素の画像データが、６４ｘ６４画素のＣＵと、それぞれ３２ｘ３２画素の４つのＴＵとで構成されている場合に、入れ換えが必要と判断する。そして、順序入れ換え部６０１は、入れ換えが必要と判断した際には（Ｓ４０２のＹｅｓ）、複数の係数情報の順序を図１１に示すフローにしたがって入れ換える（Ｓ４０３）。順序入れ換え部６０１は、この入れ換えによって入れ換え済可変長復号ストリームを生成して可変長符号化部６０７に出力する。可変長符号化部６０７は、入れ換え済可変長復号ストリームに対して可変長符号化を行う（Ｓ４０４）。可変長復号部６０６は、その画像データが符号化ストリームの終端の画像データか否かを判断し（Ｓ４０５）、符号化ストリームの終端でないと判断すると（Ｓ４０５のＮｏ）、Ｓ４０１の処理を繰り返し実行する。

このようなＳ４０１〜Ｓ４０５の処理が繰り返し実行されることによって、ストリーム変換部６０５は、上述の入れ換え済符号化ストリームを生成して、画像復号装置５１３ａのビットストリームバッファ５０２に出力する。なお、順序入れ換え部６０１は、可変長復号ストリームに含まれる情報のうち、係数情報以外の情報、つまり上述の符号化情報に対しては順序の入れ換えを行わず、その符号化情報を入れ換え済可変長復号ストリームに含めたまま出力する。

図１７は、画像復号装置５１３ａの構成を他の観点から示すブロック図である。つまり、画像復号装置５１３ａは、可変長復号部５０４、逆量子化部６０２、逆周波数変換部５０６、画像再構成部６０３、デブロックフィルタ部５１２、および４つのメモリ７０２〜７０４，７０９を備える。なお、画像復号装置５１３ａは、実施の形態１の画像復号装置５１３のメモリ７０１の代わりにメモリ７０９を備えている。メモリ７０９は、可変長復号部５０４から出力されるデータを格納する。

ストリーム変換部６０５による上述の処理により、画像復号装置５１３ａへ入力される符号化ストリームは、係数情報の順序が入れ換えられたものである。したがって、画像復号装置５１３ａにおいて、図１７に示すとおり、各処理部の間に必要なメモリ７０２〜７０４，７０９の容量を削減することが可能となる。

さらに、可変長符号化部６０７は、入れ換え済可変長復号ストリームを、元の符号化方式と異なる符号化方式で可変長符号化してもよい。例えば、元の可変長符号化の符号化方式、つまり符号化ストリームの符号化方式は、非特許文献１あるいは非特許文献２に示されているＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）である。この符号化方式は、非特許文献１あるいは非特許文献２に示されるＣＡＶＬＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）と比較して、符号化効率が高い代わりに、処理が複雑である。そこで、ストリーム変換部６０５における可変長符号化部６０７は、入れ換え済可変長復号ストリームに対する符号化方式に、処理が容易な符号化方式（ＣＡＶＬＣ）を採用することで、画像復号装置５１３ａの可変長復号の処理負担を軽減することが可能になる。

さらに、上記方法を用いた場合、ストリーム変換部６０５は、処理の複雑なＣＡＢＡＣ方式によって符号化された符号化ストリームを高速に可変長復号および符号化し、入れ換え済符号化ストリームのデータを十分にビットストリームバッファ５０２へ蓄える。その後、画像復号装置５１３は処理の軽減された復号を行う。これにより、性能保証を容易に行うことができる。なお、画像復号装置５１３ａは、実施の形態１における画像復号装置５１３から順序入れ換え部６０１を除いたものであり、従来と同様のパイプライン処理を行うため、ここではその処理動作の説明を省略する。

このような本実施の形態では、第１の処理部は例えば可変長復号部６０６であり、入れ換え部は例えば順序入れ換え部６０１であり、第２の処理部は例えば可変長符号化部６０７である。つまり、本実施の形態では、第１の処理部は、可変長復号を第１の処理として行い、第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力し、入れ換え部は、第１の処理部から出力された複数の色成分の順序を入れ換える。そして、第２の処理部は、第２の処理に含まれる処理として可変長符号化を行う。なお、本実施の形態におけるストリーム変換部６０５を本発明の一態様に係る画像処理装置と称してもよい。

また、本実施の形態では、画像処理装置は、さらに、第２の処理によって生成されるストリームに対して第３の処理を行うことによって、符号化ストリームを復号する第３の処理部を備える。この第３の処理部は例えば画像復号装置５１３ａである。

（２−４．効果）
本実施の形態では、実施の形態１と同様、可変長復号の後に、メモリを用いて、係数情報の順序の入れ換えを行うことによって、画像復号装置５１３ａのメモリ７０２〜７０４の容量を削減することが可能である。また、ＣＡＢＡＣのように複雑な可変長符号化の符号化方式を用いて生成された符号化ストリームの場合、画像復号装置がその符号化ストリームに対してＣＡＢＡＣにしたがった復号を行うと、復号の処理時間が大きくなり、画像復号装置の性能が低下することがある。しかし、本実施の形態では、画像復号装置５１３ａに入力される前の符号化ストリーム（可変長復号ストリーム）の状態に基づいて、係数情報の順序を入れ換えるとともに、さらに、符号化ストリームを、より可変長復号しやすい符号化方式の入れ換え済符号化ストリームに変換する。これにより、画像復号装置５１３ａの高性能化を可能にすると同時に、画像復号装置５１３ａのメモリ（特に、メモリ７０９）の容量を削減することが可能となる。

（なお書き）
なお、本実施の形態においては、可変長符号を用いているが、ハフマン符号やランレングス符号、算術符号、あるいは固定長符号のように、どのような符号化方式を用いても構わない。

また、各処理部の構成は、一部あるいは全てを専用ハードウェアによる回路で実現してもよいし、プロセッサ上のプログラムで実現してもよい。

また、フレームメモリ５０３、メモリ７０８、メモリ７０９、メモリ７０２、メモリ７０３、メモリ７０４は、メモリとしているが、データの記憶が可能な記憶素子であれば、フリップフロップなど他の構成によるものであっても構わない。さらには、プロセッサのメモリ領域の一部や、キャッシュメモリの一部を用いる構成であっても構わない。

また、順序入れ換え部６０１において用いられる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる処理単位（第２の処理単位）のサイズは、３２ｘ３２画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計１，５３６画素）のサイズに限定されるものではなく、それより小さなサイズや大きなサイズであってもよい。例えば、１６ｘ１６画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計３８４画素）のサイズであってもよい。つまり、符号化ストリームに含まれる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる入れ換え前の処理単位（第１の処理単位またはＣＵ）が、輝度Ｙ（３２ｘ３２画素）、色差Ｃｂ（１６ｘ１６画素）および色差Ｃｒ（１６ｘ１６画素）からなる３２ｘ３２画素単位で構成されている場合、順序入れ換え部６０１は、その符号化ストリームの複数の係数情報の順序を、１６ｘ１６画素単位にしたがった順序に入れ換えてもよい。

また、順序の入れ換えを、メモリからの読み出し時に行う例で示したが、これに限定されるものではない。例えば、図１２に示すフローに従って、図１３に示す通り、メモリへの書き込み時に、係数情報の順序の入れ換えを行った上で、読み出し時に順番に読み出す方法でも構わない。

（実施の形態３）
（３−１．概要）
次に、本実施の形態における画像処理装置の概要について説明する。実施の形態２における画像処理装置は、入力される符号化ストリームに含まれる複数の係数情報の入れ換えを、ＣＵの復号前に行い、その結果生成される入れ換え済符号化ストリームに対して、ＣＵの復号を含む復号処理を行う。ここで、実施の形態２における画像処理装置は、入れ換え済符号化ストリームの生成の際、入れ換えられた順序の複数の係数情報のそれぞれに対する可変長符号化を逐次的に実行する。これに対して、本実施の形態では、その複数の係数情報のそれぞれに対する可変長符号化を並列に実行する。

（３−２．構成）
次に、本実施の形態における画像処理装置の構成について説明する。

図１８は、本実施の形態における画像処理装置の構成を示すブロック図である。本実施の形態における画像処理装置は、ビットストリームバッファ６０４と、ストリーム変換部６０８と、画像復号装置５１３ａとを備える。なお、本実施の形態では、実施の形態１または２と同一の構成要素については同一の符号を付し、詳細な説明を省略する。

つまり、本実施の形態における画像処理装置は、実施の形態２の画像処理装置に含まれる構成要素のうち、ストリーム変換部６０５を除く全ての構成要素を備え、そのストリーム変換部６０５の代わりに他のストリーム変換部６０８を備えている。このストリーム変換部６０８は、ストリーム変換部６０５と同様、ビットストリームバッファ６０４から符号化ストリームを読み出して、その符号化ストリームに含まれる複数の係数情報の順序を入れ換えることによって、入れ換え済符号化ストリームを生成する。そして、ストリーム変換部６０８は、その入れ換え済符号化ストリームを画像復号装置５１３ａのビットストリームバッファ５０２に出力する。

図１９は、本実施の形態におけるストリーム変換部６０８の構成を示すブロック図である。ストリーム変換部６０８は、図１９に示すとおり、可変長復号部６０６と、分割部６０９と、輝度Ｙ用メモリ７１０と、色差Ｃｂ用メモリ７１１と、色差Ｃｒ用メモリ７１２と、符号化情報用メモリ７１３と、輝度Ｙ用可変長符号化部６１１と、色差Ｃｂ用可変長符号化部６１２と、色差Ｃｒ用可変長符号化部６１３と、符号化情報用可変長符号化部６１４と、輝度Ｙストリーム用メモリ７１４と、色差Ｃｂストリーム用メモリ７１５と、色差Ｃｒストリーム用メモリ７１６と、符号化情報ストリーム用メモリ７１７と、ストリーム再構成部６１０とを備える。

（３−３．動作）
次に、ストリーム変換部６０８の動作を説明する。

可変長復号部６０６は、入力された符号化ストリームを可変長復号する。次に、分割部６０９は、その可変長復号によって生成された可変長復号ストリームを、輝度Ｙの係数情報と、色差Ｃｂの係数情報と、色差Ｃｒの係数情報と、その他の符号化情報とに分割する。その他の符号化情報とは、ＣＵ種別、イントラ予測モード、動きベクトル情報、または量子化パラメータなどである。

図２０は、分割部６０９の処理動作を示すフローチャートである。まず、分割部６０９は、可変長復号ストリームのうちの一部の情報である復号済データを取得する（Ｓ５０１）。次に、分割部６０９は、その復号済データが係数情報であるか否かを判定する（Ｓ５０２）。ここで、分割部６０９は、係数情報でないと判定すると（Ｓ５０２のＮｏ）、後述の符号化情報処理を行う（Ｓ５０３）。一方、分割部６０９は、係数情報であると判定すると（Ｓ５０２のＹｅｓ）、さらに、その係数情報が輝度Ｙの係数情報であるか否かを判定する（Ｓ５０５）。ここで、分割部６０９は、輝度Ｙの係数情報であると判定すると（Ｓ５０５のＹｅｓ）、輝度Ｙ用メモリ７１０にその輝度Ｙの係数情報である復号済データを出力する（Ｓ５０８）。一方、分割部６０９は、輝度Ｙの係数情報でないと判定すると（Ｓ５０５のＮｏ）、さらに、その係数情報が色差Ｃｂの係数情報であるか否かを判定する（Ｓ５０６）。

ここで、分割部６０９は、色差Ｃｂの係数情報であると判定すると（Ｓ５０６のＹｅｓ）、色差Ｃｂ用メモリ７１１にその色差Ｃｂの係数情報である復号済データを出力する（Ｓ５０９）。一方、分割部６０９は、色差Ｃｂの係数情報でないと判定すると（Ｓ５０６のＮｏ）、その係数情報は色差Ｃｒの係数情報であるため、色差Ｃｒ用メモリ７１２にその色差Ｃｒの係数情報である復号済データを出力する（Ｓ５０７）。

また、分割部６０９は、Ｓ５０３の処理を行った後、Ｓ５０１で取得された復号済データが可変長復号ストリームの終端のデータか否かを判定する（Ｓ５０４）。そして、分割部６０９は、終端のデータでないと判定すると（Ｓ５０４のＮｏ）、または、Ｓ５０７〜Ｓ５０９の何れかの処理が行われると、再び、Ｓ５０１の処理を実行する。つまり、分割部６０９は、可変長復号ストリームから次の復号済データを取得して、その復号済データに対してＳ５０２〜Ｓ５０９の処理を実行する。

次に、復号済データが係数情報でない場合、すなわち符号化情報である場合の動作について図２１のフローチャートを用いて説明する。

図２１は、分割部６０９による符号化情報処理（Ｓ５０３）を示すフローチャートである。符号化情報は、輝度Ｙ、色差Ｃｂおよび色差Ｃｒのうちの少なくとも１つの符号化に必要な情報と、逆量子化以降の復号に必要な情報とに分類される。そこで、分割部６０９は、まず、上述の復号済データが輝度Ｙ、色差Ｃｂおよび色差Ｃｒの全ての符号化に必要な符号化情報かどうかを判定する（Ｓ６０１）。ここで、分割部６０９は、輝度Ｙ、色差Ｃｂおよび色差Ｃｒの全ての符号化に必要な符号化情報であると判定すると（Ｓ６０１のＹｅｓ）、輝度Ｙ用メモリ７１０と、色差Ｃｂ用メモリ７１１と、色差Ｃｒ用メモリ７１２とに、その符号化情報である復号済データを出力する（Ｓ６０５）。

一方、分割部６０９は、輝度Ｙ、色差Ｃｂおよび色差Ｃｒの全ての符号化に必要な符号化情報ではないと判定すると（Ｓ６０１のＮｏ）、さらに、上述の復号済データが輝度Ｙの符号化にのみ必要な符号化情報であるかどうかを判定する（Ｓ６０２）。ここで、分割部６０９は、輝度Ｙの符号化にのみ必要な符号化情報であると判定すると（Ｓ６０２のＹｅｓ）、輝度Ｙ用メモリ７１０に、その符号化情報である復号済データを出力する（Ｓ６０６）。

一方、分割部６０９は、輝度Ｙの符号化にのみ必要な符号化情報ではないと判定すると（Ｓ６０２のＮｏ）、さらに、上述の復号済データが色差Ｃｂと色差Ｃｒの符号化にのみ必要な符号化情報であるかどうかを判定する（Ｓ６０３）。ここで、分割部６０９は、色差Ｃｂと色差Ｃｒの符号化にのみ必要な符号化情報であると判定すると（Ｓ６０３のＹｅｓ）、色差Ｃｂ用メモリ７１１と色差Ｃｒ用メモリ７１２のそれぞれに、その符号化情報である復号済データを出力する（Ｓ６０７）。

一方、分割部６０９は、色差Ｃｂと色差Ｃｒの符号化にのみ必要な符号化情報ではないと判定すると（Ｓ６０３のＮｏ）、すなわち、その符号化情報が逆量子化以降の復号に必要な情報である場合、符号化情報用メモリ７１３にその符号化情報である復号済データを出力する（Ｓ６０４）。

このように、分割部６０９から出力された複数の復号済データは、輝度Ｙ用メモリ７１０と、色差Ｃｂ用メモリ７１１と、色差Ｃｒ用メモリ７１２と、符号化情報用メモリ７１３とのうちの少なくとも１つのメモリにそれぞれ分配される。以降の処理では、それぞれのメモリ上の情報を用いて可変長符号化が行われる。

輝度Ｙ用可変長符号化部６１１は、輝度Ｙ用メモリ７１０から復号済データを読み出して、その復号済データに対して可変長符号化を行うことによって、輝度Ｙストリームを生成する。輝度Ｙ用可変長符号化部６１１は、その輝度Ｙストリームを輝度Ｙストリーム用メモリ７１４に出力する。

また、色差Ｃｂ用可変長符号化部６１２は、色差Ｃｂ用メモリ７１１から復号済データを読み出し、その復号済データに対して可変長符化を行うことによって、色差Ｃｂストリームを生成する。色差Ｃｂ用可変長符号化部６１２は、その色差Ｃｂストリームを色差Ｃｂストリーム用メモリ７１５に出力する。

また、色差Ｃｒ用可変長符号化部６１３は、色差Ｃｒ用メモリ７１２から復号済データを読み出し、その復号済データに対して可変長符化を行うことによって、色差Ｃｒストリームを生成する。色差Ｃｒ用可変長符号化部６１３は、その色差Ｃｒストリームを色差Ｃｒストリーム用メモリ７１６に出力する。

また、符号化情報用可変長符号化部６１４は、符号化情報用メモリ７１３から復号済データを読み出し、その復号済データに対して可変長符化を行うことによって、符号化情報ストリームを生成する。符号化情報用可変長符号化部６１４は、その符号化情報ストリームを符号化情報ストリーム用メモリ７１７に出力する。

以上に示した可変長符号化は、それぞれ独立して動作可能である。つまり、本実施の形態におけるストリーム変換部６０８は、実施の形態２において逐次行っていた可変長符号化を、並列に行うことが可能となる。

図２２は、可変長符号化の並列処理を説明するためのタイミングチャートである。このタイミングチャートは、輝度Ｙ、色差Ｃｂおよび色差Ｃｒと、その符号化に必要な符号化情報とがそれぞれ各メモリに格納された後の動作を示している。実施の形態２のストリーム変換部６０５は、図２２の（ａ）に示すように、各係数情報に対して可変長符号化を逐次実行する。つまり、ストリーム変換部６０５の可変長符号化部６０７は、可変長符号化を逐次実行するため、輝度Ｙ、色差Ｃｂおよび色差Ｃｒを順にメモリ７０８から読み出して可変長符号化を行う。一方、本実施の形態におけるストリーム変換部６０８は、図２２の（ｂ）に示すように、各係数情報に対する可変長符号化を並列に実行する。つまり、本実施の形態では、輝度Ｙ用可変長符号化部６１１、色差Ｃｂ用可変長符号化部６１２、および色差Ｃｒ用可変長符号化部６１３がそれぞれ独立して可変長符号化を行うことによって、可変長符号化の並列処理が実現される。その結果、本実施の形態では、図２２の（ａ）および（ｂ）によって示されているように、実施の形態２における逐次処理と比較して、可変長符号化の全体的な処理時間を大幅に削減することができる。

ストリーム再構成部６１０は、輝度Ｙストリーム、色差Ｃｂストリーム、色差Ｃｒストリーム、および符号化情報ストリームを、それぞれ輝度Ｙストリーム用メモリ７１４、色差Ｃｂストリーム用メモリ７１５、色差Ｃｒストリーム用メモリ７１６、および符号化情報ストリーム用メモリ７１７から取り出す。なお、輝度Ｙストリームは、可変長符号化された輝度Ｙの複数の係数情報からなり、色差Ｃｂストリームは、可変長符号化された色差Ｃｂの複数の係数情報からなり、色差Ｃｒストリームは、可変長符号化された色差Ｃｒの複数の係数情報からなる。さらに、符号化情報ストリームは、可変長符号化された複数の符号化情報からなる。

つまり、ストリーム再構成部６１０は、上記各メモリから各ストリームを取り出すときには、それぞれのストリームに含まれる情報（係数情報または符号化情報）をそれぞれ順次選択して取り出す。そして、ストリーム再構成部６１０は、情報が取り出される度に、取り出された係数情報または符号化情報を、その直前に取り出された係数情報または符号化情報に繋げることによって、入れ換え済符号化ストリームを生成する。この際、ストリーム再構成部６１０は、入れ換え済符号化ストリーム中の符号化情報の位置が、元の符号化ストリーム中の位置と同一になるように、つまり、元の符号化ストリーム中の順序どおりに、符号化情報を取り出す。また、ストリーム再構成部６１０は、上述のそれぞれのストリームに含まれる係数情報を図１１に示したフローに従って取り出す。このような取り出し方を行うことによって、上述の入れ換え済符号化ストリームが生成される。

このような本実施の形態では、第１の処理部は例えば可変長復号部６０６である。また、入れ換え部は、例えば、ストリーム変換部６０８のうちの可変長復号部６０６以外の構成要素群、つまり、分割部６０９、各可変長符号化部６１１〜６１４、各メモリ７１０〜７１７、およびストリーム再構成部６１０からなる。また、第２の処理部は例えば画像復号装置５１３ａである。

つまり、第１の処理部は、可変長復号を第１の処理として行い、第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力する。入れ換え部は、分割部６０９と、可変長符号化部と、ストリーム再構成部６１０とを備える。分割部６０９は、第１の処理部から出力された複数の色成分のそれぞれを、色成分の種類ごとに分類する。可変長符号化部は、例えば上記各可変長符号化部６１１〜６１４からなり、色成分の種類ごとに、その種類に属する複数の色成分に対する可変長符号化を行い、その可変長符号化によって生成されるストリームを記憶部に格納する。記憶部は、例えば、上記各メモリ７１４〜７１７である。ストリーム再構成部６１０は、記憶部に格納されている、色成分の種類ごとに生成されたストリームから、第１の処理部から出力された複数の色成分の順序とは異なる順序で、複数の色成分のそれぞれを順次読み出すことによって、複数の色成分の順序が入れ換えられた入れ換え済符号化ストリームを生成する。ここで、上述の可変長符号化部は、色成分の種類のそれぞれに対する可変長符号化を並列に行う。また、入れ換え済符号化ストリームは、第２の処理単位のサイズと同じサイズの符号化ユニットを含む。

（３−４．効果）
本実施の形態では、実施の形態２と同様、画像復号装置５１３ａに入力される前の符号化ストリームに含まれる係数情報の順序を入れ換え、さらに、元の符号化方式よりも復号しやすい符号化方式の可変長符号化によって入れ換え済符号化ストリームを生成する。これにより、画像復号装置５１３ａの高性能化を可能にすると同時に、画像復号装置５１３ａのメモリの容量を削減することが可能である。さらに、本実施の形態では、可変長符号化を並列に実行するため、入れ換え済符号化ストリームの生成にかかる処理時間を短縮することが可能となる。

（なお書き）
なお、本実施の形態においては、可変長符号を用いているが、ハフマン符号やランレングス符号、算術符号、あるいは固定長符号のように、どのような符号化方式を用いても構わない。

また、各処理部の構成は、一部あるいは全てを専用ハードウェアによる回路で実現してもよいし、プロセッサ上のプログラムで実現してもよい。

また、フレームメモリ５０３、輝度Ｙ用メモリ７１０、色差Ｃｂ用メモリ７１１、色差Ｃｒ用メモリ７１２、符号化情報用メモリ７１３、輝度Ｙストリーム用メモリ７１４、色差Ｃｂストリーム用メモリ７１５、色差Ｃｒストリーム用メモリ７１６、および符号化情報ストリーム用メモリ７１７は、メモリとしているが、データの記憶が可能な記憶素子であれば、フリップフロップなど他の構成によるものであっても構わない。さらには、プロセッサのメモリ領域の一部や、キャッシュメモリの一部を用いる構成であっても構わない。

また、ストリーム変換部６０８において用いられる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる処理単位（第２の処理単位）のサイズは、３２ｘ３２画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計１，５３６画素）のサイズに限定されるものではなく、それより小さなサイズや大きなサイズであってもよい。例えば、１６ｘ１６画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計３８４画素）のサイズであってもよい。つまり、符号化ストリームに含まれる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる入れ換え前の処理単位（第１の処理単位またはＣＵ）が、輝度Ｙ（３２ｘ３２画素）、色差Ｃｂ（１６ｘ１６画素）および色差Ｃｒ（１６ｘ１６画素）からなる３２ｘ３２画素単位で構成されている場合、ストリーム変換部６０８は、その符号化ストリームの複数の係数情報の順序を、１６ｘ１６画素単位にしたがった順序に入れ換えてもよい。

また、分割部６０９における処理は、図２０と図２１によって示される処理に限定されるものではない。

また、本実施の形態では、分割部６０９は、複数の復号済データのそれぞれを、輝度Ｙ用メモリ７１０、色差Ｃｂ用メモリ７１１、色差Ｃｒ用メモリ７１２、および符号化情報用メモリ７１３のうち、その復号済データに応じたメモリに格納していたが、これに限定することなく、共通のメモリに格納してもよい。

また、本実施の形態では、３つの可変長符号化（輝度Ｙに対する可変長符号化と、色差Ｃｂに対する可変長符号化と、色差Ｃｒに対する可変長符号化）を並列に行うことなく、２つの可変長符号化（輝度Ｙに対する可変長符号化と、色差Ｃｂおよび色差Ｃｒに対する可変長符号化）を並列に行ってもよい。この場合、ストリーム変換部６０８は、色差Ｃｂ用メモリ７１１と色差Ｃｒ用メモリ６１３の代わりに、これらのメモリの機能を兼ね備えた共通の１つのメモリを備える。そして、分割部６０９は、複数の復号済データのうち、色差Ｃｂおよび色差Ｃｒのそれぞれの係数情報をその共通の１つのメモリに格納する。

また、本実施の形態では、符号化情報を、輝度Ｙ、色差Ｃｂおよび色差Ｃｒのうちの少なくとも１つの符号化に必要な情報と、逆量子化以降の復号に必要な情報とに分類し、輝度Ｙ用メモリ７１０、色差Ｃｂ用メモリ７１１、および色差Ｃｒ用メモリ７１２のうち、その分類結果に応じたメモリに出力した。しかし、分類を行うことなく、符号化情報を、全ての輝度Ｙ用メモリ７１０と、色差Ｃｂ用メモリ７１１と、色差Ｃｒ用メモリ７１２とに出力してもよい。この場合、各可変長符号化部６１１〜６１３は、メモリの中から必要な符号化情報を選択して可変長符号化に利用すればよい。

また、本実施の形態では、複数の復号済データを、輝度Ｙ、色差Ｃｂおよび
（実施の形態４）
（４−１．概要）
次に、本実施の形態における画像処理装置の概要について説明する。実施の形態３における画像処理装置では、分割部６０９が、可変長復号ストリームを輝度Ｙ、色差Ｃｂ、色差Ｃｒおよび符号化情報に分割して、それらの復号済データを各メモリに格納する。これに対して、本実施の形態では、分割することなく、可変長復号ストリームに、輝度Ｙ、色差Ｃｂ、色差Ｃｒ、および符号化情報をそれぞれ識別するためのマーカを付加（挿入）する。これにより、容易にメモリの共通化を図ることができる。

（４−２．構成）
次に、本実施の形態における画像処理装置の構成について説明する。

図２３は、本実施の形態における画像処理装置の構成を示すブロック図である。本実施の形態における画像処理装置は、ビットストリームバッファ６０４と、ストリーム変換部６１５と、画像復号装置５１３ａとを備える。なお、本実施の形態では、実施の形態１、２または３と同一の構成要素については同一の符号を付し、詳細な説明を省略する。

つまり、本実施の形態における画像処理装置は、実施の形態３の画像処理装置に含まれる構成要素のうち、ストリーム変換部６０８を除く全ての構成要素を備え、そのストリーム変換部６０８の代わりに他のストリーム変換部６１５を備えている。このストリーム変換部６１５は、ストリーム変換部６０８と同様、ビットストリームバッファ６０４から符号化ストリームを読み出して、その符号化ストリームに含まれる複数の係数情報の順序を入れ換えることによって、入れ換え済符号化ストリームを生成する。そして、ストリーム変換部６１５は、その入れ換え済符号化ストリームを画像復号装置５１３ａのビットストリームバッファ５０２に出力する。

図２４は、本実施の形態におけるストリーム変換部６１５の構成を示すブロック図である。ストリーム変換部６１５は、図２４に示すとおり、可変長復号部６０６と、マーカ挿入部６１６と、マーカ挿入済ストリームメモリ７２２と、輝度Ｙ用可変長符号化部６１７と、色差Ｃｂ用可変長符号化部６１８と、色差Ｃｒ用可変長符号化部６１９と、符号化情報用可変長符号化部６２０と、輝度Ｙストリーム用メモリ７１８と、色差Ｃｂストリーム用メモリ７１９と、色差Ｃｒストリーム用メモリ７２０と、符号化情報ストリーム用メモリ７２１と、ストリーム再構成部６２１とを備える。

（４−３．動作）
次に、ストリーム変換部６１５の動作を説明する。

可変長復号部６０６は、入力された符号化ストリームを可変長復号する。次に、マーカ挿入部６１６は、その可変長復号によって生成された可変長復号ストリームから、輝度Ｙの係数情報と、色差Ｃｂの係数情報と、色差Ｃｒの係数情報と、その他の符号化情報とを識別して、それぞれに対するマーカを挿入する。

図２５は、マーカ挿入部６１６の処理動作を示すフローチャートである。まず、マーカ挿入部６１６は、可変長復号ストリームのうちの一部の情報である復号済データを取得する（Ｓ７０１）。次に、マーカ挿入部６１６は、その復号済データが係数情報であるか否かを判定する（Ｓ７０２）。ここで、マーカ挿入部６１６は、係数情報でないと判定すると（Ｓ７０２のＮｏ）、その復号済データは符号化情報であるので、可変長復号ストリーム中のその符号化情報の直前に、符号化情報マーカを挿入する（Ｓ７０５）。一方、マーカ挿入部６１６は、係数情報であると判定すると（Ｓ７０２のＹｅｓ）、後述する係数情報マーカ挿入処理を実行する（Ｓ７０３）。

また、マーカ挿入部６１６は、Ｓ７０３またはＳ７０５の処理を行った後、Ｓ７０１で取得された復号済データが可変長復号ストリームの終端のデータか否かを判定する（Ｓ７０４）。そして、マーカ挿入部６１６は、終端のデータでないと判定すると（Ｓ７０４のＮｏ）、再び、Ｓ７０１の処理を実行する。つまり、マーカ挿入部６１６は、可変長復号ストリームから次の復号済データを取得して、その復号済データに対してＳ７０２〜Ｓ７０５の処理を実行する。

図２６は、マーカ挿入部６１６による係数情報マーカ挿入処理（Ｓ７０３）を示すフローチャートである。なお、符号化ストリーム（可変長復号ストリーム）では、図２７の（ａ）に示すように、複数の係数情報は、輝度Ｙ０、輝度Ｙ１、輝度Ｙ２、輝度Ｙ３、色差Ｃｂ０、色差Ｃｂ１、色差Ｃｂ２、色差Ｃｂ３、色差Ｃｒ０、色差Ｃｒ１、色差Ｃｒ２、色差Ｃｒ３の順に配置されている。

マーカ挿入部６１６は、まず、可変長復号ストリームから輝度Ｙ０の係数情報を読み出し、その可変長復号ストリーム中のその係数情報の直前に、輝度Ｙ０を示すマーカを挿入する（Ｓ８０１）。次に、マーカ挿入部６１６は、可変長復号ストリームから輝度Ｙ１の係数情報を読み出し、その可変長復号ストリーム中のその係数情報の直前に、輝度Ｙ１を示すマーカを挿入する（Ｓ８０２）。以下同様にして、各係数情報に対して、識別可能なマーカを順に挿入する（Ｓ８０３〜Ｓ８１２）。

図２７は、可変長復号ストリームに対するマーカの挿入を説明するための図である。

マーカ挿入部６１６は、図２７の（ａ）に示す可変長復号ストリームに対して上述の処理動作を行い、その結果、図２７の（ｂ）に示す、マーカが挿入された可変長復号ストリームであるマーカ挿入済ストリームを生成する。このマーカ挿入済ストリームでは、係数情報ごとに、その係数情報の直前に、その係数情報を識別するためのマーカが挿入されている。そして、マーカ挿入部６１６は、そのマーカ挿入済ストリームをマーカ挿入済ストリームメモリ７２２に格納する。

次に、輝度Ｙ用可変長符号化部６１７は、マーカ挿入済ストリームから、マーカに従って、輝度Ｙの符号化に必要な復号済データを取り出し、その復号済データに対して可変長符号化を行う。輝度Ｙ用可変長符号化部６１７は、このような可変長符号化を繰り返すことによって輝度Ｙストリームを生成し、その輝度Ｙストリームを輝度Ｙストリーム用メモリ７１８に出力する。

また、色差Ｃｂ用可変長符号化部６１８は、マーカ挿入済ストリームから、マーカに従って、色差Ｃｂの符号化に必要な復号済データを取り出し、その復号済データに対して可変長符号化を行う。色差Ｃｂ用可変長符号化部６１８は、このような可変長符号化を繰り返すことによって色差Ｃｂストリームを生成し、その色差Ｃｂストリームを色差Ｃｂストリーム用メモリ７１９に出力する。同様に、色差Ｃｒ用可変長符号化部６１９は、マーカ挿入済ストリームから、マーカに従って、色差Ｃｒの符号化に必要な復号済データを取り出し、その復号済データに対して可変長符号化を行う。色差Ｃｒ用可変長符号化部６１９は、このような可変長符号化を繰り返すことによって、色差Ｃｒストリームを生成し、その色差Ｃｒストリームを色差Ｃｒストリーム用メモリ７２０に出力する。

また、符号化情報用可変長符号化部６２０は、マーカ挿入済ストリームから、マーカに従って、符号化情報の符号化に必要な復号済データを取り出し、その復号済データに対して可変長符号化を行う。符号化情報用可変長符号化部６２０は、このような可変長符号化を繰り返すことによって、符号化情報ストリームを生成し、その符号化情報ストリームを符号化情報ストリーム用メモリ７２１に出力する。

以上に示した可変長符号化は、実施の形態３と同様、それぞれ独立して実行可能である。ただし、本実施の形態では、各ストリーム（輝度Ｙストリーム、色差Ｃｂストリーム、色差Ｃｒストリームおよび符号化情報ストリーム）には、マーカが残されている。

次に、ストリーム再構成部６２１は、マーカに基づいて、輝度Ｙストリーム、色差Ｃｂストリーム、色差Ｃｒストリーム、および符号化情報ストリームを、それぞれ輝度Ｙストリーム用メモリ７１８、色差Ｃｂストリーム用メモリ７１９、色差Ｃｒストリーム用メモリ７２０、および符号化情報ストリーム用メモリ７２１から取り出す。なお、輝度Ｙストリームは、可変長符号化された輝度Ｙの複数の係数情報とそれらに対するマーカとからなり、色差Ｃｂストリームは、可変長符号化された色差Ｃｂの複数の係数情報とそれらに対するマーカとからなり、色差Ｃｒストリームは、可変長符号化された色差Ｃｒの複数の係数情報とそれらに対するマーカとからなる。さらに、符号化情報ストリームは、可変長符号化された複数の符号化情報とそれらに対するマーカとからなる。

つまり、ストリーム再構成部６２１は、上記各メモリから各ストリームを取り出すときには、それぞれのストリームに含まれる情報（係数情報または符号化情報）を、それらの情報に対して挿入されたマーカに基づいて、それぞれ順次選択して取り出す。そして、ストリーム再構成部６２１は、情報が取り出される度に、取り出された係数情報または符号化情報を、その直前に取り出された係数情報または符号化情報に繋げることによって、入れ換え済符号化ストリームを生成する。この際、ストリーム再構成部６２１は、入れ換え済符号化ストリーム中の符号化情報の位置が、元の符号化ストリーム中の位置と同一になるように、つまり、元の符号化ストリーム中の順序どおりに、符号化情報を取り出す。また、ストリーム再構成部６２１は、上述のそれぞれのストリームに含まれる係数情報を図１１に示したフローに従って取り出す。このような取り出し方を行うことによって、上述の入れ換え済符号化ストリームが生成される。本実施の形態では、この際、マーカが取り除かれる。

このような本実施の形態では、第１の処理部は例えば可変長復号部６０６である。また、入れ換え部は、例えば、ストリーム変換部６１５のうちの可変長復号部６０６以外の構成要素群、つまり、マーカ挿入部６１６、各可変長符号化部６１７〜６２０、各メモリ７１８〜７２２、およびストリーム再構成部６２１からなる。また、第２の処理部は例えば画像復号装置５１３ａである。

つまり、第１の処理部は、可変長復号を第１の処理として行い、第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力する。入れ換え部は、マーカ挿入部６１６と、可変長符号化部と、ストリーム再構成部６２１とを備える。マーカ挿入部６１６は、第１の処理部から出力された複数の色成分のそれぞれに対して、その色成分の種類を識別するためのマーカを付加する。可変長符号化部は、例えば上記各可変長符号化部６１７〜６２０からなり、マーカ挿入部６１６によって付加されたマーカに基づいて、第１の処理部から出力された複数の色成分のそれぞれの種類を識別し、色成分の種類ごとに、その種類に属する複数の色成分に対する可変長符号化を行い、可変長符号化によって生成されるストリームを記憶部に格納する。記憶部は、例えば、上記各メモリ７１８〜７２１である。ストリーム再構成部６２１は、記憶部に格納されている、色成分の種類ごとに生成されたストリームから、第１の処理部から出力された複数の色成分の順序とは異なる順序で、複数の色成分を順次読み出すことによって、複数の色成分の順序が入れ換えられた入れ換え済符号化ストリームを生成する。ここで、上述の可変長符号化部は、色成分の種類のそれぞれに対する可変長符号化を並列に行う。

（４−４．効果）
本実施の形態では、実施の形態３と同様、画像復号装置５１３ａに入力される前の符号化ストリームに含まれる係数情報の順序を入れ換え、さらに、元の符号化方式よりも復号しやすい符号化方式の可変長符号化によって入れ換え済符号化ストリームを生成する。これにより、画像復号装置５１３ａの高性能化を可能にすると同時に、画像復号装置５１３ａのメモリの容量を削減することが可能である。また、本実施の形態では、実施の形態３と同様、可変長符号化を並列に実行するため、入れ換え済符号化ストリームの生成にかかる処理時間を短縮することが可能となる。

さらに、本実施の形態では、輝度Ｙ、色差Ｃｂ、色差Ｃｒ、および符号化情報を識別するためのマーカを挿入することで、それらを一連のデータとして、メモリに格納することが可能となる。また、メモリ資源の共通化を図ることができる。これにより、輝度Ｙ、色差Ｃｂ、色差Ｃｒ、および符号化情報を個別にメモリに格納する場合よりも、メモリの管理および制御を簡略化し、可変長符号化に係る処理を並列実行する際の性能を向上させることが可能となる。これにより、入れ換え済符号化ストリームの生成にかかる処理時間をさらに短縮し、画像処理装置の高性能化を可能にし、画像処理装置のメモリの容量を削減することが可能となる。

（なお書き）
なお、本実施の形態においては、可変長符号を用いているが、ハフマン符号やランレングス符号、算術符号、あるいは固定長符号のように、どのような符号化方式を用いても構わない。

また、各処理部の構成は、一部あるいは全てを専用ハードウェアによる回路で実現してもよいし、プロセッサ上のプログラムで実現してもよい。

また、フレームメモリ５０３、輝度Ｙストリーム用メモリ７１８、色差Ｃｂストリーム用メモリ７１９、色差Ｃｒストリーム用メモリ７２０、符号化情報ストリーム用メモリ７２１、およびマーカ挿入済ストリームメモリ７２２は、メモリとしているが、データの記憶が可能な記憶素子であれば、フリップフロップなど他の構成によるものであっても構わない。さらには、プロセッサのメモリ領域の一部や、キャッシュメモリの一部を用いる構成であっても構わない。

また、ストリーム変換部６１５において用いられる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる処理単位（第２の処理単位）のサイズは、３２ｘ３２画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計１，５３６画素）のサイズに限定されるものではなく、それより小さなサイズや大きなサイズであってもよい。例えば、１６ｘ１６画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計３８４画素）のサイズであってもよい。つまり、符号化ストリームに含まれる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる入れ換え前の処理単位（第１の処理単位またはＣＵ）が、輝度Ｙ（３２ｘ３２画素）、色差Ｃｂ（１６ｘ１６画素）および色差Ｃｒ（１６ｘ１６画素）からなる３２ｘ３２画素単位で構成されている場合、ストリーム変換部６１５は、その符号化ストリームの複数の係数情報の順序を、１６ｘ１６画素単位にしたがった順序に入れ換えてもよい。

また、マーカ挿入部６１６における処理は、図２５と図２６によって示される処理に限定されるものではない。

また、符号化情報を、輝度Ｙ、色差Ｃｂ、および色差Ｃｒのうちの少なくとも１つの符号化に必要な情報と、逆量子化以降の復号に必要な情報とに分類し、マーカを挿入してもよい。

また、上述の各マーカは、それぞれの情報が識別可能な値であればよく、規格上利用されていない数値列や、情報のビット幅を示すもの等であってもよい。

また、本実施の形態では、３つの可変長符号化（輝度Ｙに対する可変長符号化と、色差Ｃｂに対する可変長符号化と、色差Ｃｒに対する可変長符号化）を並列に行うことなく、２つの可変長符号化（輝度Ｙに対する可変長符号化と、色差Ｃｂおよび色差Ｃｒに対する可変長符号化）を並列に行ってもよい。この場合、マーカ挿入部６１６は、複数の復号済データのうち、色差Ｃｂおよび色差Ｃｒのそれぞれの係数情報（復号済データ）に対して共通のマーカを挿入してもよい。

（実施の形態５）
（５−１．概要）
次に、本実施の形態における画像処理装置の概要について説明する。実施の形態４における画像処理装置では、マーカ挿入部６１６によって挿入されたマーカにしたがって、各可変長符号化部が並列に動作する。そして、ストリーム再構成部６２１によってマーカが削除され、画像復号装置５１３ａは、マーカが挿入されていない入れ換え済符号化ストリームに対して復号処理を逐次実行する。これに対して、本実施の形態では、ストリーム再構成部によってマーカは除去されず、画像復号装置は、マーカが挿入された入れ換え済符号化ストリームに対して復号処理を並列に行う。

（５−２．構成）
次に、本実施の形態における画像処理装置の構成について説明する。

図２８は、本実施の形態における画像処理装置の構成を示すブロック図である。本実施の形態における画像処理装置は、ビットストリームバッファ６０４と、入力された符号化ストリームに、輝度Ｙ、色差Ｃｂ、色差Ｃｒおよび符号化情報を識別するためのマーカを挿入するストリーム変換部６２２と、画像復号装置６５０とを備える。なお、本実施の形態では、実施の形態１〜４と同一の構成要素については同一の符号を付し、詳細な説明を省略する。

図２９は、本実施の形態におけるストリーム変換部６２２の構成を示すブロック図である。ストリーム変換部６２２は、図２９に示すとおり、可変長復号部６０６と、マーカ挿入部６１６と、マーカ挿入済ストリームメモリ７２２と、輝度Ｙ用可変長符号化部６１７と、色差Ｃｂ用可変長符号化部６１８と、色差Ｃｒ用可変長符号化部６１９と、符号化情報用可変長符号化部６２０と、輝度Ｙストリーム用メモリ７１８と、色差Ｃｂストリーム用メモリ７１９と、色差Ｃｒストリーム用メモリ７２０と、符号化情報ストリーム用メモリ７２１と、ストリーム再構成部６２３とを備える。

つまり、本実施の形態におけるストリーム変換部６２２は、実施の形態４のストリーム変換部６１５に含まれる構成要素のうち、ストリーム再構成部６２１を除く全ての構成要素を備え、そのストリーム再構成部６２１の代わりに他のストリーム再構成部６２３を備えている。このストリーム再構成部６２３は、ストリーム再構成部６２１と同様、各メモリ７１８〜７２１から情報（係数情報または符号化情報）を取り出すが、その情報だけでなく、その情報に対応するマーカも取り出す。そして、ストリーム再構成部６２３は、例えば、図２７の（ｂ）に示すような、複数のマーカと複数の情報とを含むマーカ挿入済符号化ストリームを生成する。

画像復号装置６５０は、ビットストリームバッファ５２０と、可変長復号部６４０と、逆量子化部６４１と、動きベクトル算出部６４２と、動き補償部６４３と、逆周波数変換部６４４と、イントラ予測部６４５と、制御部５０１と、フレームメモリ５０３と、再構成部５１１と、デブロックフィルタ部５１２とを備える。

ビットストリームバッファ５２０は、ストリーム変換部６２２から出力されるマーカ挿入済符号化ストリームを保持する。可変長復号部６４０は、ビットストリームバッファ５２０からマーカ挿入済符号化ストリームを読み出し、そのマーカ挿入済符号化ストリームに含まれる輝度Ｙと、色差Ｃｂおよび色差Ｃｒとに対する可変長復号を並列に行う。逆量子化部６４１は、輝度Ｙの可変長復号結果（量子化値）と、色差Ｃｂおよび色差Ｃｒの可変長復号結果とに対する逆量子化を並列に行う。逆周波数変換部６４４は、輝度Ｙの逆量子化結果（周波数係数）と、色差Ｃｂおよび色差Ｃｒの逆量子化結果とに対する逆周波数変換を並列に行う。

動きベクトル算出部６４２は、マーカ挿入済符号化ストリームに含まれる輝度Ｙと、色差Ｃｂおよび色差Ｃｒとに対する動きベクトルの算出を並列に行う。動き補償部６４３は、輝度Ｙと、色差Ｃｂおよび色差Ｃｒとに対する動き補償を並列に行う。イントラ予測部６４５は、輝度Ｙと、色差Ｃｂおよび色差Ｃｒとに対するイントラ予測を逐次行う。

つまり、本実施の形態の画像復号装置６５０では、可変長復号部６４０、逆量子化部６４１、逆周波数変換部６４４、動きベクトル算出部６４２、および動き補償部６４３のそれぞれが、輝度Ｙと、色差Ｃｂおよび色差Ｃｒとに対して並列に処理を実行する点が、実施の形態２〜４の画像復号装置５１３ａと異なる。

図３０は、画像復号装置６５０における可変長復号部６４０、逆量子化部６４１、逆周波数変換部６４４、動きベクトル算出部６４２および動き補償部６４３の構成を示す図である。可変長復号部６４０は、輝度可変長復号部６２４と色差可変長復号部６２５とを備える。逆量子化部６４１は、輝度逆量子化部６２６と色差逆量子化部６２７とを備える。逆周波数変換部６４４は、輝度逆周波数変換部６２８と、色差逆周波数変換部６２９と、輝度用メモリ７２７と、色差用メモリ７２８と、係数再構成部６３０とを備える。動きベクトル算出部６４２は、輝度動きベクトル算出部６３１と色差動きベクトル算出部６３２とを備える。動き補償部６４３は、輝度動き補償部６３３と、色差動き補償部６３４と、動き補償再構成部６３５とを備える。

図３１は、画像復号装置６５０におけるイントラ予測部６４５の構成を示す図である。イントラ予測部６４５は、図３１に示すとおり、輝度イントラ予測部６３６と、イントラ予測画像メモリ７２９と、色差イントラ予測部６３７とを備える。

なお、各処理部間は、それぞれメモリを介して接続されている。つまり、可変長復号部６４０と逆量子化部６４１とは、輝度用メモリ７２３および色差用メモリ７２４を介して接続されている。さらに、逆量子化部６４１と逆周波数変換部６４４とは、輝度用メモリ７２５および色差用メモリ７２６を介して接続されている、なお、これらのメモリ７２３〜７２６は画像復号装置６５０に備えられている。

（５−３．動作）
次に、図２８に示した画像処理装置の動作を説明する。なお、符号化ストリーム（可変長復号ストリーム）では、図２７の（ａ）に示すように、複数の係数情報は、輝度Ｙ０、輝度Ｙ１、輝度Ｙ２、輝度Ｙ３、色差Ｃｂ０、色差Ｃｂ１、色差Ｃｂ２、色差Ｃｂ３、色差Ｃｒ０、色差Ｃｒ１、色差Ｃｒ２、色差Ｃｒ３の順に配置されている。

まず、ストリーム変換部６２２の動作を、図２９を用いて説明する。実施の形態４と同様に、ストリーム変換部６２２のマーカ挿入部６１６は、輝度Ｙの係数情報と、色差Ｃｂの係数情報と、色差Ｃｒの係数情報と、その他の符号化情報とを識別して、それぞれに対してマーカを挿入する。さらに、可変長符号化部６１７〜６２０はそれぞれ、上述の各情報に対して並列に可変長符号化を行う。その結果、それらの情報に対する可変長符号化によって生成されたストリームはそれぞれ、輝度Ｙストリーム用メモリ７１８と、色差Ｃｂストリーム用メモリ７１９と、色差Ｃｒストリーム用メモリ７２０と、符号化情報ストリーム用メモリ７２１のうち、そのストリームに対応するメモリに出力される。

次に、ストリーム再構成部６２３は、マーカに基づいて、輝度Ｙストリーム、色差Ｃｂストリーム、色差Ｃｒストリーム、および符号化情報ストリームを、それぞれ輝度Ｙストリーム用メモリ７１８、色差Ｃｂストリーム用メモリ７１９、色差Ｃｒストリーム用メモリ７２０、および符号化情報ストリーム用メモリ７２１から取り出す。つまり、ストリーム再構成部６２３は、上記各メモリから各ストリームを取り出すときには、それぞれのストリームに含まれる情報（係数情報または符号化情報）を、それらの情報に対して挿入されたマーカに基づいて、それぞれ順次選択して取り出す。そして、ストリーム再構成部６２１は、情報が取り出される度に、取り出された係数情報または符号化情報を、その直前に取り出された係数情報または符号化情報に繋げることによって、マーカ挿入済符号化ストリームを生成する。この際、ストリーム再構成部６２３は、マーカ挿入済符号化ストリーム中の符号化情報の位置が、元の符号化ストリーム中の位置と同じ位置になるように、つまり、元の符号化ストリーム中の順序どおりに、符号化情報を取り出す。また、ストリーム再構成部６２３は、上述のそれぞれのストリームに含まれる係数情報を図１１に示したフローに従って取り出す。このような取り出し方を行うことによって、上述のマーカ挿入済符号化ストリームが生成される。

ただし、本実施の形態のストリーム再構成部６２３は、情報（係数情報または符号化情報）を取り出すときには、その情報に対して挿入されているマーカもその情報とともに取り出す。つまり、実施の形態４では、ストリーム再構成部から出力されるストリームでは、マーカが取り除かれていたが、本実施の形態ではマーカがある。

これにより、マーカ挿入済符号化ストリームでは、複数のマーカと複数の係数情報とが、輝度Ｙ０のマーカ、輝度Ｙ０、色差Ｃｂ０のマーカ、色差Ｃｂ０、色差Ｃｒ０のマーカ、色差Ｃｒ０、輝度Ｙ１のマーカ、輝度Ｙ１、色差Ｃｂ１のマーカ、色差Ｃｂ１、色差Ｃｒ１のマーカ、色差Ｃｒ１、輝度Ｙ２のマーカ、輝度Ｙ２、色差Ｃｂ２のマーカ、色差Ｃｂ２、色差Ｃｒ２のマーカ、色差Ｃｒ２、輝度Ｙ３のマーカ、輝度Ｙ３、色差Ｃｂ３のマーカ、色差Ｃｂ３、色差Ｃｒ３のマーカ、色差Ｃｒ３の順に配置されている。そして、このようなマーカ挿入済符号化ストリームがビットストリームバッファ５２０へ出力される。

次に、画像復号装置６５０の動作を説明する。まず、可変長復号部６４０と、逆量子化部６４１と、逆周波数変換部６４４と、動きベクトル算出部６４２と、動き補償部６４３の動作を、図３０を用いて説明する。可変長復号部６４０と、逆量子化部６４１と、逆周波数変換部６４４とは、輝度および色差のそれぞれに対する処理部を持つ。輝度用の処理部のそれぞれは、実施の形態１に示す可変長復号、逆量子化、および逆周波数変換を、輝度に対して実行し、色差用の処理部のそれぞれは、実施の形態１に示す可変長復号、逆量子化、および逆周波数変換を、色差に対して実行する。そして、輝度用の処理部と色差用の処理部は並列に処理を実行する。

具体的には、可変長復号部６４０では、輝度可変長復号部６２４がマーカ挿入済符号化ストリーム内の輝度の係数情報に対して可変長符号化を行い、その可変長符号化された係数情報（輝度の量子化値）を輝度用メモリ７２３に格納する。そして、輝度可変長復号部６２４による処理と並行して、色差可変長復号部６２５がマーカ挿入済符号化ストリーム内の色差の係数情報に対して可変長符号化を行い、その可変長符号化された係数情報（色差の量子化値）を色差用メモリ７２４に格納する。

逆量子化部６４１では、輝度逆量子化部６２６が、輝度用メモリ７２３から輝度の量子化値である係数情報を取得して逆量子化し、その逆量子化された係数情報（輝度の周波数係数）を輝度用メモリ７２５に格納する。そして、輝度逆量子化部６２６による処理と並行して、色差逆量子化部６２７が、色差用メモリ７２４から色差の量子化値である係数情報を取得して逆量子化し、その逆量子化された係数情報（色差の周波数係数）を色差用メモリ７２６に格納する。

逆周波数変換部６４４では、輝度逆周波数変換部６２８が、輝度用メモリ７２５から輝度の周波数係数である係数情報を取得して逆周波数変換し、その逆周波数変換された係数情報（輝度の画素値）を輝度用メモリ７２７に格納する。そして、輝度逆周波数変換部６２８による処理と並行して、色差逆周波数変換部６２９が、色差用メモリ７２６から色差の周波数係数である係数情報を取得して逆周波数変換し、その逆周波数変換された係数情報（色差の画素値）を色差用メモリ７２８に格納する。

次に、係数再構成部６３０は、図１１のフローにしたがって、輝度用メモリ７２７および色差用メモリ７２８から、輝度および色差の画素値である係数情報を取り出す。この際、係数再構成部６３０は、ストリーム変換部６２２で挿入されたマーカを取り除く。これにより、以降の処理は図１０の（ｂ）に示す単位で実行される。

動きベクトル算出部６４２では、輝度動きベクトル算出部６３１が輝度の係数情報に対する動きベクトルを実施の形態１と同様に算出する。そして、輝度動きベクトル算出部６３１による処理と並行して、色差動きベクトル算出部６３２が色差の係数情報に対する動きベクトルを実施の形態１と同様に算出する。

動き補償部６４３では、輝度動き補償部６３３が輝度の係数情報に対する動き補償を実施の形態１と同様に行う。そして、輝度動き補償部６３３による処理と並行して、色差動き補償部６３４が色差の係数情報に対する動き補償を実施の形態１と同様に行う。動き補償再構成部６３５は、図１０の（ｂ）に示す係数情報の順と対応する順に、輝度動き補償部６３３および色差動き補償部６３４の動き補償によって生成された情報（動き補償情報）を並べ換える。

次に、イントラ予測部６４５の動作を、図３１を用いて説明する。輝度イントラ予測部６３６は、再構成部５１１から出力される復号画像と、イントラ予測に必要なパラメータとを用いて、輝度画像のイントラ予測を行い、その予測結果であるイントラ予測画像をイントラ予測画像メモリ７２９に出力する。次に、色差イントラ予測部６３７は、イントラ予測画像メモリ７２９に格納されている輝度のイントラ予測画像を参照し、色差画像のイントラ予測を行う。

このような本実施の形態では、第１の処理部は例えば可変長復号部６０６である。また、入れ換え部は、例えば、ストリーム変換部６２２のうちの可変長復号部６０６以外の構成要素群、つまり、マーカ挿入部６１６、各可変長符号化部６１７〜６２０、各メモリ７１８〜７２２、およびストリーム再構成部６２３からなる。また、第２の処理部は例えば画像復号装置６５０である。

つまり、本実施の形態では、ストリーム再構成部６２３は、複数の色成分のそれぞれに対して付加されたマーカとともに複数の色成分を順次読み出すことによって、複数の色成分のそれぞれに対してマーカが付加された入れ換え済符号化ストリームを生成する。そして、第２の処理部である画像復号装置６３６は、可変長復号部６４０と、逆量子化部６４１と、逆周波数変換部と、成分再構成部とを備える。可変長復号部６４０は、入れ換え済符号化ストリームに含まれる複数の前記マーカに基づいて、色成分の種類ごとに、その種類に属する複数の色成分に対する可変長復号を行う。逆量子化部６４１は、色成分の種類ごとに、その種類に属する可変長復号された複数の色成分に対する逆量子化を行う。逆周波数変換部は、例えば輝度逆周波数変換部６２８および色差逆周波数変換部６２９からなり、色成分の種類ごとに、その種類に属する逆量子化された複数の色成分に対する逆周波数変換を行うことによって、複数のマーカを含む色成分データを生成する。また、成分再構成部は、例えば係数再構成部６３０であり、色成分の種類ごとに生成された色成分データを、色成分データに含まれる複数のマーカに基づいて識別し、入れ換え部によって入れ換えられた順序どおりに、逆周波数変換された複数の色成分が配列するように、複数の色成分を再構成する。ここで、上述の可変長復号部６４０、逆量子化部６４１、および逆周波数変換部６２８，６２９はそれぞれ、色成分の種類のそれぞれに対する処理を並列に行う。

（５−４．効果）
本実施の形態では、実施の形態４と同様、符号化情報、輝度Ｙの係数情報、色差Ｃｂの係数情報、色差Ｃｒの係数情報を識別するためのマーカに基づいて、ストリーム変換部における可変長符号化処理を並列実行することで、メモリの容量の削減と、ストリーム変換部および画像処理装置を高性能化することができる。さらに、本実施の形態では、画像復号装置６５０における可変長復号、逆量子化、逆周波数変換、動きベクトルの算出、および動き補償のそれぞれの処理において、輝度に対する処理と、色差別に対する処理とを並列に実行することで、処理効率および性能を向上することができる。また、再構成部５１１までに、輝度の係数情報と色差の係数情報との同期を取ることで、輝度と色差の処理に依存関係があるイントラ予測を適切に処理することが可能となる。

（なお書き）
なお、本実施の形態においては、可変長符号を用いているが、ハフマン符号やランレングス符号、算術符号、あるいは固定長符号のように、どのような符号化方式を用いても構わない。

また、フレームメモリ５０３、輝度Ｙストリーム用メモリ７１８、色差Ｃｂストリーム用メモリ７１９、色差Ｃｒストリーム用メモリ７２０、符号化情報ストリーム用メモリ７２１、マーカ挿入済ストリームメモリ７２２、輝度用メモリ７２３、色差用メモリ７２４、輝度用メモリ７２５、色差用メモリ７２６、輝度用メモリ７２７、色差用メモリ７２８、およびイントラ予測画像メモリ７２９は、メモリとしているが、データの記憶が可能な記憶素子であれば、フリップフロップなど他の構成によるものであっても構わない。さらには、プロセッサのメモリ領域の一部や、キャッシュメモリの一部を用いる構成であっても構わない。

また、ストリーム変換部６２２において用いられる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる処理単位（第２の処理単位）のサイズは、３２ｘ３２画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計１，５３６画素）のサイズに限定されるものではなく、それより小さなサイズや大きなサイズであってもよい。例えば、１６ｘ１６画素（輝度Ｙ、色差Ｃｂおよび色差Ｃｒの合計３８４画素）のサイズであってもよい。つまり、符号化ストリームに含まれる、輝度Ｙ、色差Ｃｂおよび色差Ｃｒからなる入れ換え前の処理単位（第１の処理単位またはＣＵ）が、輝度Ｙ（３２ｘ３２画素）、色差Ｃｂ（１６ｘ１６画素）および色差Ｃｒ（１６ｘ１６画素）からなる３２ｘ３２画素単位で構成されている場合、ストリーム変換部６２２は、その符号化ストリームの複数の係数情報の順序を、１６ｘ１６画素単位にしたがった順序に入れ換えてもよい。

また、符号化情報を、輝度Ｙ、色差Ｃｂ、および色差Ｃｒのうちの少なくとも１つの符号化に必要な情報と、逆量子化以降の復号に必要な情報とに分類し、マーカを挿入してもよい。

また、上述の各マーカは、それぞれの情報が識別可能な値であればよく、規格上利用されていない数値列や、情報のビット幅を示すもの等であってもよい。

また、輝度に対する処理と色差に対する処理とを分離して並列に実行したが、この粒度を限定するものではない。例えば、輝度Ｙ、色差Ｃｂおよび色差Ｃｒを分離して並列に実行してもよい。あるいは、輝度Ｙ０、輝度Ｙ１、輝度Ｙ２、輝度Ｙ３、色差Ｃｂ０、色差Ｃｂ１、色差Ｃｂ２、色差Ｃｂ３、色差Ｃｒ０、色差Ｃｒ１、色差Ｃｒ２、および色差Ｃｒ３を分離して、並列に実行してもよい。

また、本実施の形態では、３つの可変長符号化（輝度Ｙに対する可変長符号化と、色差Ｃｂに対する可変長符号化と、色差Ｃｒに対する可変長符号化）を並列に行うことなく、２つの可変長符号化（輝度Ｙに対する可変長符号化と、色差Ｃｂおよび色差Ｃｒに対する可変長符号化）を並列に行ってもよい。この場合、マーカ挿入部６１６は、複数の復号済データのうち、色差Ｃｂおよび色差Ｃｒのそれぞれの係数情報（復号済データ）に対して共通のマーカを挿入してもよい。

なお、上記実施の形態２〜５では、画像復号装置、ストリーム変換部およびビットストリームバッファを含む装置を画像処理装置と称したが、この画像処理装置を画像復号装置と称して扱ってもよい。

また、上記実施の形態１〜５では、図１Ａまたは図１０の（ａ）に示すように、６４ｘ６４画素サイズのＣＵ内で、３２ｘ３２画素サイズの輝度Ｙが４つ連続して並び、１６ｘ１６画素サイズの色差Ｃｂが４つ連続して並び、１６ｘ１６画素サイズの色差Ｃｒが４つ連続して並んでいる符号化ストリームに対して、上述のような係数情報の入れ換えを行う。しかし、入れ換えの対象となる符号化ストリームは、このような構成のものに限らない。例えば、６４ｘ６４画素サイズのＣＵ内であっても、図１０の（ｂ）に示すように、３２ｘ３２画素サイズの輝度Ｙ、１６ｘ１６画素サイズの色差Ｃｂ、および１６ｘ１６画素サイズの色差Ｃｒを含む処理単位（ＴＵ）が４つ連続して並んでいる符号化ストリームに対しても、上述のような係数情報の入れ換えを行ってもよい。この場合、上述の処理単位（ＴＵ）内において係数情報の入れ換えが行われる。このような入れ換えは、例えば、図６に示す逆周波数変換部５０６による処理と、画像再構成部６０３による処理との間で行われる。

（実施の形態６）
上記各実施の形態で示した画像処理化方法および画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらに、ここで、上記各実施の形態で示した画像処理方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図３２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Personal Digital Assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。

しかし、コンテンツ供給システムｅｘ１００は、図３２のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像処理用のソフトウェアまたは画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図３３に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像処理装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した画像処理方法により処理される符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。

また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像復号装置または画像処理装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像復号装置または画像処理装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでもよい。

図３４は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。

テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図３５に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３６に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図３４に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像処理方法あるいは画像復号方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態７）
本実施の形態では、実施の形態１に示した画像復号装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図３７に示す。ビットストリームバッファ５０２およびフレームメモリ５０３をＤＲＡＭ上に実現し、その他の回路やメモリをＬＳＩ上に構成している。

これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。

さらに加えて、本実施の形態の画像復号装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。

また、本実施の形態におけるＬＳＩは、システムＬＳＩはＤＲＡＭ(Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)と連携することにより、符号化処理または復号処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携しても構わない。

（実施の形態８）
上記各実施の形態で示した画像処理装置、画像復号装置、画像処理方法および画像復号方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図３８に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。

また、例えば、復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

なお、本発明の一態様に係る画像処理装置について、上記各実施の形態を用いて説明したが、この画像処理装置はこれらに限定されるものではない。

図３９Ａは、本発明の一態様に係る画像処理装置の構成を示すブロック図である。

つまり、本発明の一態様に係る画像処理装置１０は、画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う画像処理装置であって、符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、その第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理部１と、第１の処理部１から出力された複数の成分の順序を入れ換えることにより、第１の処理単位とは異なる第２の処理単位ごとに、その第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換え部２と、入れ換え部２から出力された複数の成分に対して、第２の処理単位ごとに、第２の処理を行う第２の処理部３とを備える。

図３９Ｂは、画像処理装置１０による画像処理方法を示すフローチャートである。

画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う画像処理方法は、符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、その第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理ステップ（Ｓ１）と、第１の処理ステップ（Ｓ１）で出力された複数の成分の順序を入れ換えることにより、第１の処理単位とは異なる第２の処理単位ごとに、その第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換えステップ（Ｓ２）と、入れ換えステップ（Ｓ２）で出力された複数の成分に対して、第２の処理単位ごとに、第２の処理を行う第２の処理ステップ（Ｓ３）と、を含む。

このような構成または処理手順であっても、複数の成分の順序が入れ換えられるため、上記各実施の形態と同様の効果を奏すことができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、その第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理ステップ（Ｓ１）と、第１の処理ステップ（Ｓ１）で出力された複数の成分の順序を入れ換えることにより、第１の処理単位とは異なる第２の処理単位ごとに、その第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換えステップ（Ｓ２）と、入れ換えステップ（Ｓ２）で出力された複数の成分に対して、第２の処理単位ごとに、第２の処理を行う第２の処理ステップ（Ｓ３）と、を実行させる。

本発明の画像処理装置は、記憶素子の容量を削減することができるという効果を奏し、例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器や撮像機器に利用可能であり、利用価値が高い。

１ 第１の処理部
２ 入れ換え部
３ 第２の処理部
１０ 画像処理装置
５０１ 制御部
５０２，５２０，６０４ ビットストリームバッファ
５０３ フレームメモリ
５０４，６０６，６４０ 可変長復号部
５０５ 入れ換え逆量子化部
５０６，６４４ 逆周波数変換部
５０７，６４５ イントラ予測部
５０８，６４２ 動きベクトル算出部
５０９，６４３ 動き補償部
５１０ スイッチ
５１１ 再構成部
５１２ デブロックフィルタ部
５１３，５１３ａ，６５０ 画像復号装置
６０１ 順序入れ換え部
６０２，６４１ 逆量子化部
６０３ 画像再構成部
６０５，６０８，６１５，６２２ ストリーム変換部
６０７ 可変長符号化部
６０９ 分割部
６１０，６２１，６２３ ストリーム再構成部
６１１，６１７ 輝度Ｙ用可変長符号化部
６１２，６１８ 色差Ｃｂ用可変長符号化部
６１３，６１９ 色差Ｃｒ用可変長符号化部
６１４，６２０ 符号化情報用可変長符号化部
６１６ マーカ挿入部
６２４ 輝度可変長復号部
６２５ 色差可変長復号部
６２６ 輝度逆量子化部
６２７ 色差逆量子化部
６２８ 輝度逆周波数変換部
６２９ 色差逆周波数変換部
６３０ 係数再構成部
６３１ 輝度動きベクトル算出部
６３２ 色差動きベクトル算出部
６３３ 輝度動き補償部
６３４ 色差動き補償部
６３５ 動き補償再構成部
６３６ 輝度イントラ予測部
６３７ 色差イントラ予測部
７０１〜７０９ メモリ
７１０ 輝度Ｙ用メモリ
７１１ 色差Ｃｂ用メモリ
７１２ 色差Ｃｒ用メモリ
７１３ 符号化情報用メモリ
７１４，７１８ 輝度Ｙストリーム用メモリ
７１５，７１９ 色差Ｃｂストリーム用メモリ
７１６，７２０ 色差Ｃｒストリーム用メモリ
７１７，７２１ 符号化情報ストリーム用メモリ
７２２ マーカ挿入済ストリームメモリ
７２３，７２５，７２７ 輝度用メモリ
７２４，７２６，７２８ 色差用メモリ
７２９ イントラ予測画像メモリ
７３０〜７３７ メモリ
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０７，ｅｘ１０８，ｅｘ１０９，ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３，ｅｘ１１６ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４，ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション
ｅｘ２１２ 再生装置
ｅｘ２１３，ｅｘ２１９ モニタ
ｅｘ２１５，ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ（受信機）
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６，ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０ 制御部
ｅｘ３１１，ｅｘ５０５ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８，ｅｘ３１９，ｅｘ３２０，ｅｘ３２１ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０４ バッファ
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ マイコン（マイクロコンピュータ）
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ

Claims (20)

1. 画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う画像処理装置であって、
   前記符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理部と、
   前記第１の処理部から出力された複数の成分の順序を入れ換えることにより、前記第１の処理単位とは異なる第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換え部と、
   前記入れ換え部から出力された複数の成分に対して、前記第２の処理単位ごとに、第２の処理を行う第２の処理部と
   を備える画像処理装置。
2. 前記第１の処理単位は、前記画像の符号化に用いられた符号化ユニットである
   請求項１に記載の画像処理装置。
3. 前記第２の処理単位は、前記符号化ユニットの周波数変換に用いられた周波数変換ユニット、または前記周波数変換ユニットよりも小さいサイズの処理単位である
   請求項２に記載の画像処理装置。
4. 前記第１の処理部は、前記符号化ストリームの構成に応じて可変なサイズの前記第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する
   請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記入れ換え部は、前記符号化ストリームの構成に応じて可変なサイズの前記第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する
   請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記入れ換え部は、前記第１の処理単位よりも小さいサイズの前記第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する
   請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記画像処理装置は、さらに、
   前記第２の処理によって生成されるストリームに対して第３の処理を行うことによって、前記符号化ストリームを復号する第３の処理部を備える
   請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記第１の処理単位は、前記画像の符号化に用いられる予測方法をイントラ予測とインター予測とに切り換えることが可能な最小単位である
   請求項１〜７の何れか１項に記載の画像処理装置。
9. 前記第１の処理部は、前記第１の処理単位に含まれる複数の成分として複数の色成分のそれぞれを順次出力し、
   前記入れ換え部は、前記第１の処理部から出力された複数の色成分の順序を入れ換えることにより、前記第２の処理単位に含まれる複数の色成分を順次出力する
   請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記第１の処理部は、前記複数の色成分のそれぞれを順次出力することによって、前記複数の色成分のそれぞれを記憶部に順次格納し、
    前記入れ換え部は、前記記憶部に格納されている前記複数の色成分の順序と異なる順序で、前記複数の色成分のそれぞれを順次読み出すことによって、前記複数の色成分の順序を入れ換える
    請求項９に記載の画像処理装置。
11. 前記入れ換え部は、前記第１の処理部から出力された複数の色成分の順序と異なる順序で前記複数の色成分のそれぞれを記憶部に順次書き込むことによって、前記複数の色成分の順序を入れ換え、
    前記第２の処理部は、前記記憶部に格納されている前記複数の色成分の順序にしたがって、前記複数の色成分のそれぞれを順次読み出す
    請求項９に記載の画像処理装置。
12. 前記第２の処理部は、前記第２の処理単位に含まれる複数の色成分を用いて、当該第２の処理単位に対応する画像を再構成する再構成処理を、前記第２の処理に含まれる処理として行う
    請求項９〜１１の何れか１項に記載の画像処理装置。
13. 前記第１の処理部は、可変長復号を前記第１の処理として行い、
    前記第２の処理部は、前記第２の処理に含まれる処理として逆量子化を行う
    請求項１２に記載の画像処理装置。
14. 前記第１の処理部は、可変長復号を前記第１の処理として行い、前記第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力し、
    前記入れ換え部は、前記第１の処理部から出力された複数の色成分の順序を入れ換え、
    前記第２の処理部は、前記第２の処理に含まれる処理として可変長符号化を行う
    請求項１に記載の画像処理装置。
15. 前記第１の処理部は、可変長復号を前記第１の処理として行い、前記第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力し、
    前記入れ換え部は、
    前記第１の処理部から出力された複数の色成分のそれぞれを、色成分の種類ごとに分類する分割部と、
    色成分の種類ごとに、当該種類に属する複数の色成分に対する可変長符号化を行い、前記可変長符号化によって生成されるストリームを記憶部に格納する可変長符号化部と、
    前記記憶部に格納されている、色成分の種類ごとに生成されたストリームから、前記第１の処理部から出力された複数の色成分の順序とは異なる順序で、前記複数の色成分のそれぞれを順次読み出すことによって、前記複数の色成分の順序が入れ換えられた入れ換え済符号化ストリームを生成するストリーム再構成部とを備え、
    前記可変長符号化部は、色成分の種類のそれぞれに対する可変長符号化を並列に行い、
    前記入れ換え済符号化ストリームは、前記第２の処理単位のサイズと同じサイズの符号化ユニットを含む
    請求項１に記載の画像処理装置。
16. 前記第１の処理部は、可変長復号を前記第１の処理として行い、前記第１の処理単位に含まれる少なくとも１つの成分として色成分を順次出力し、
    前記入れ換え部は、
    前記第１の処理部から出力された複数の色成分のそれぞれに対して、当該色成分の種類を識別するためのマーカを付加するマーカ挿入部と、
    前記マーカ挿入部によって付加されたマーカに基づいて、前記第１の処理部から出力された複数の色成分のそれぞれの種類を識別し、色成分の種類ごとに、当該種類に属する複数の色成分に対する可変長符号化を行い、前記可変長符号化によって生成されるストリームを記憶部に格納する可変長符号化部と、
    前記記憶部に格納されている、色成分の種類ごとに生成されたストリームから、前記第１の処理部から出力された複数の色成分の順序とは異なる順序で、前記複数の色成分を順次読み出すことによって、前記複数の色成分の順序が入れ換えられた入れ換え済符号化ストリームを生成するストリーム再構成部とを備え、
    前記可変長符号化部は、色成分の種類のそれぞれに対する可変長符号化を並列に行う
    請求項１に記載の画像処理装置。
17. 前記ストリーム再構成部は、
    前記複数の色成分のそれぞれに対して付加されたマーカとともに前記複数の色成分を順次読み出すことによって、前記複数の色成分のそれぞれに対してマーカが付加された前記入れ換え済符号化ストリームを生成し、
    前記第２の処理部は、
    前記入れ換え済符号化ストリームに含まれる複数の前記マーカに基づいて、前記色成分の種類ごとに、当該種類に属する複数の色成分に対する可変長復号を行う可変長復号部と、
    前記色成分の種類ごとに、当該種類に属する可変長復号された前記複数の色成分に対する逆量子化を行う逆量子化部と、
    前記色成分の種類ごとに、当該種類に属する逆量子化された前記複数の色成分に対する逆周波数変換を行うことによって、複数の前記マーカを含む色成分データを生成する逆周波数変換部と、
    前記色成分の種類ごとに生成された色成分データを、前記色成分データに含まれる複数の前記マーカに基づいて識別し、前記入れ換え部によって入れ換えられた順序どおりに、逆周波数変換された前記複数の色成分が配列するように、前記複数の色成分を再構成する成分再構成部とを備え、
    前記可変長復号部、前記逆量子化部、および前記逆周波数変換部はそれぞれ、前記色成分の種類のそれぞれに対する処理を並列に行う
    請求項１６に記載の画像処理装置。
18. 画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う画像処理方法であって、
    前記符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理ステップと、
    前記第１の処理ステップで出力された複数の成分の順序を入れ換えることにより、前記第１の処理単位とは異なる第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換えステップと、
    前記入れ換えステップで出力された複数の成分に対して、前記第２の処理単位ごとに、第２の処理を行う第２の処理ステップと、
    を含む画像処理方法。
19. 画像を符号化することによって生成された符号化ストリームに対して所定の処理を行うためのプログラムであって、
    前記符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理ステップと、
    前記第１の処理ステップで出力された複数の成分の順序を入れ換えることにより、前記第１の処理単位とは異なる第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換えステップと、
    前記入れ換えステップで出力された複数の成分に対して、前記第２の処理単位ごとに、第２の処理を行う第２の処理ステップと、
    をコンピュータに実行させるプログラム。
20. 画像を符号化することによって生成された符号化ストリームに対して所定の処理を行う集積回路であって、
    前記符号化ストリームに対して第１の処理を行うことにより、第１の処理単位ごとに、当該第１の処理単位に含まれる少なくとも１つの成分を順次出力する第１の処理部と、
    前記第１の処理部から出力された複数の成分の順序を入れ換えることにより、前記第１の処理単位とは異なる第２の処理単位ごとに、当該第２の処理単位に含まれる少なくとも１つの成分を順次出力する入れ換え部と、
    前記入れ換え部から出力された複数の成分に対して、前記第２の処理単位ごとに、第２の処理を行う第２の処理部と
    を備える集積回路。

Images