JP5230735B2 - 復号化装置、復号化方法及び受信装置 - Google Patents

Description

本発明は圧縮された画像の復号化装置、復号化方法及び受信装置に関し、特に、高いデータ処理能力が要求される復号化装置、復号化方法及び受信装置に関するものである。

従来、フレーム間差分を用いた圧縮符号化（以下、単に「符号化」と呼ぶ）技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）符号化技術がある。例えば、ＭＰＥＧ２規格（非特許文献１参照）やＨ．２６４規格（非特許文献２参照）は放送分野、光ディスクなどへの蓄積分野において幅広く実用化されている。

現在各国で実用化されつつあるディジタルＴＶ放送やＢｌｕ−ｒａｙ Ｄｉｓｃなどの規格では、色差フォーマットは４：２：０、画像サイズは１９２０ｘ１０８０である。

その一方で、さらなる高画質化を目的とし、今後の規格の拡張に向けた議論も行われている。より具体的には、例えば色差フォーマットにおける４：２：２または４：４：４の採用や、画像サイズにおける３８４０ｘ２１６０の採用の可能性がある。

これらの規格拡張は、復号に必要な演算量の飛躍的な増加を伴い、単一のデコーダチップの開発は、現状の技術レベルでは、処理速度、チップサイズ、及び必要とするメモリ帯域等の要因からコストの高いものになる。このため、現行の規格に対応できる処理能力を備えたチップを複数個、並列に使用して、将来の規格の拡張に対応する手法が有効である。

ＭＰＥＧ２では、一つのピクチャは一つ以上のスライスで構成され、一つのスライスは一つ以上のマクロブロックで構成される。一つのマクロブロックは、輝度と色差Ｃｂと色差Ｃｒのブロックから構成され、符号化の際はこれらのブロック単位で符号化される。

ＭＰＥＧの符号化ビットストリームはこのように階層的に構成されるため、チップを複数個用いて復号する場合、一つのチップが処理する単位は様々考えられる。符号化ビットストリームを、並列処理を行うために分割する従来手法として、ＭＰＥＧで符号化された画像情報をスライス単位で分割する方法や、輝度情報と色差情報などの複数の色成分に分割する方法があった（例えば、特許文献１参照）。

この中でも、輝度情報と色差情報などの複数の色成分に分割する手法では、並列処理を行うチップ間のデータ転送が少ないという利点がある。この場合、一つのチップが復号処理に用いる動き補償の参照画像データは、そのチップの復号結果のみである。一方、スライス分割をはじめとする空間分割して復号する場合は、参照画像を受け渡しするための制御やチップ間のデータ転送が必要となる。そのため、輝度情報と色差情報とに分割する手法は、空間で分割する方法に比べて簡潔に構成し、制御することが可能となる。

図１は、前記特許文献１に記載された従来の輝度情報と色差情報とを分割して復号処理を行う復号化装置を示す図である。図１において、従来の輝度情報と色差情報とを分割して復号処理を行う復号化装置は、輝度用デコーダ１０１、色差用デコーダ１０２、輝度用メモリ１０３、色差用メモリ１０４及び結合器１０５を備えている。

輝度用デコーダ１０１及び色差用デコーダ１０２は、カラー画像情報の符号化ビットストリームを入力して、カラー画像情報の輝度成分及び色差成分をそれぞれ復号する。

輝度用メモリ１０３及び色差用メモリ１０４は、輝度用デコーダ１０１及び色差用デコーダ１０２が復号した画像情報の輝度成分及び色差成分をそれぞれ格納する。

結合器１０５は、輝度用デコーダ１０１が出力する輝度成分の復号画像と、色差用デコーダ１０２が出力する色差成分の復号画像とを結合する。

特開平１０−１６４５８４号公報

ＭＰＥＧ２ ＩＳＯ／ＩＥＣ１３８１８−２規格，ＩＴＵ−Ｔ Ｈ．２６２規格 Ｈ．２６４ ＩＳＯ／ＩＥＣ１４４９６−１０規格，ＩＴＵ−Ｔ Ｈ．２６４規格

しかしながら、従来の復号化装置では、符号化された画像データを複数の色成分に分割して復号するに際し、復号処理の効率が低下するという課題がある。

前記従来の復号化装置の構成では、輝度用デコーダ１０１及び色差用デコーダ１０２に同一のＭＰＥＧ符号化ビットストリームが入力され、輝度用デコーダ１０１及び色差用デコーダ１０２のそれぞれが復号処理を行う。そして、これらの復号処理は大きな処理量を必要とするため、この処理量を低減することが重要である。そこで、本願発明者らは、鋭意研究の結果、従来の復号化装置では、可変長復号処理など二つのデコーダで重複して行う処理が多く、並列処理の効率が低下するという課題を有していることを見いだすに至った。

特に、Ｈ．２６４規格の可変長復号の一方式である算術符号の復号化処理は、大きな処理量を必要とするため、重複して行うことによる効率低下の影響は大きい。

本発明は、前記従来の課題を解決するもので、符号化された画像データを複数の色成分に分割して復号するに際し、並列処理効率の低下を抑制することができる復号化装置、復号化方法及び受信装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の一態様に係る復号化装置は、複数の色成分を有する符号化画像データを復号する復号化装置であって、前記符号化画像データを可変長復号し、可変長復号した結果得られるデータである可変長復号データを生成する可変長復号部と、前記複数の色成分を所定の数の色成分に分割し、前記可変長復号部が生成した可変長復号データに含まれる前記所定の数の色成分それぞれの復号処理の対象となるデータそれぞれを、前記所定の数の色成分それぞれの復号処理に必要な情報として取得する分割部と、取得されたそれぞれの前記情報を用いて、前記所定の数の色成分それぞれの復号画像を並行して生成する、前記所定の数の色成分それぞれに対応した前記所定の数の画像再構成部とを備える。

これによれば、入力された符号化画像データに対して可変長復号が行われ、可変長復号して得られた情報を用いて、それぞれの色成分についての復号画像が生成される。つまり、複数の色成分について一括して可変長復号されるので、それぞれの色成分について、個々に可変長復号する必要がない。このため、それぞれの色成分で可変長復号が重複して行われることがなく、重複した処理を抑制することができる。このため、符号化された画像データを複数の色成分に分割して復号するに際し、並列処理効率の低下を抑制することができる。

また、好ましくは、さらに、前記可変長復号部が生成した可変長復号データを用いて、前記所定の数の色成分それぞれの復号処理のうち少なくとも２つの復号処理の間で共通して必要となる処理である共通処理が行われる場合に、前記共通処理を行い前記共通処理の結果得られるデータである共通処理データを生成するパラメータ計算部を備え、前記分割部は、前記共通処理データから、前記共通処理が行われる色成分それぞれの復号処理に必要な情報それぞれをさらに取得し、前記共通処理が行われる色成分に対応したそれぞれの前記画像再構成部は、取得されたそれぞれの前記情報をさらに用いて、前記共通処理が行われる色成分それぞれの復号画像を生成する。また、さらに好ましくは、前記パラメータ計算部は、前記所定の数の色成分のうちの第一の色成分の復号処理で、前記第一の色成分の復号処理の対象となる第一データから第二データが生成され、かつ、第二の色成分の復号処理で、前記第一データから前記第二データが生成された後に前記第二データから第三データが生成される場合に、前記第二データ及び前記第三データを生成し、前記分割部は、前記第二データ及び前記第三データを、それぞれ前記第一の色成分及び前記第二の色成分の復号処理に必要な情報として取得し、前記第一の色成分に対応した前記画像再構成部は、前記第二データを用いて、前記第一の色成分の復号画像を生成し、前記第二の色成分に対応した前記画像再構成部は、前記第三データを用いて、前記第二の色成分の復号画像を生成する。

これによれば、少なくとも２つの復号処理の間で共通する処理が行われる場合に、当該共通する処理が事前に行われる。つまり、それぞれの色成分について個々に復号処理が行われるより前に、当該共通する処理が行われる。このため、それぞれの色成分で重複して当該共通する処理が行われることがなく、重複した処理を抑制することができる。このため、符号化された画像データを複数の色成分に分割して復号するに際し、並列処理効率の低下を抑制することができる。

また、好ましくは、さらに、前記符号化画像データの色差フォーマットに応じて、前記所定の数の色成分への分割方法を決定する制御部を備え、前記分割部は、前記制御部が決定した分割方法に従って、前記複数の色成分を前記所定の数の色成分に分割し、前記所定の数の色成分それぞれの復号処理に必要な情報それぞれを取得し、前記画像再構成部のそれぞれは、前記制御部が決定した分割方法に従って、前記所定の数の色成分それぞれの復号画像を生成する。また、さらに好ましくは、前記制御部は、前記符号化画像データが有する色成分のうち、第三の色成分の画素数よりも第四の色成分の画素数が多い場合、前記第三の色成分よりも前記第四の色成分を多く分割するように、前記所定の数の色成分への分割方法を決定する。

これによれば、それぞれの色成分での画素数が均等化されるように、色成分の分割方法が決定され、復号処理が行われる。ここで、それぞれの色成分での復号処理における処理量に差が生じれば、処理量の多い色成分での処理効率が悪化する。このため、それぞれの色成分での復号処理における処理量が均等化されることで、処理効率が悪化する要因を減らすことができ、並列処理効率の低下を抑制することができる。

また、好ましくは、前記画像再構成部のそれぞれは、入力される色成分の復号処理に必要な情報が、前記所定の数の色成分のうちのいずれの色成分の復号処理に必要な情報であるかを前記制御部から取得し、当該色成分の復号画像を生成するように指示信号を出力する構成変更部を備える。また、さらに、前記画像再構成部のそれぞれが生成した前記所定の数の色成分それぞれの復号画像を結合して、前記符号化画像データの復号画像を生成する結果画像結合部を備え、前記結果画像結合部は、前記制御部が決定した分割方法に基づいて、前記符号化画像データの復号画像を生成する。

これによれば、決定された色成分の分割方法に従って、分割された色成分それぞれに対応した復号画像を生成するように指示信号が出力される。このため、色成分がどのような分割方法で分割されても、それぞれの色成分に対応した復号画像を生成することができる。また、分割された色成分それぞれに対応した復号画像が結合されることで、入力された符号化画像データの復号画像を生成することができる。

また、さらに、前記符号化画像データの領域を複数の領域に分割する領域分割部と、分割された前記複数の領域それぞれの符号化画像データに対応した複数の前記可変長復号部と、前記複数の前記可変長復号部のそれぞれに対応した複数の前記分割部と、前記複数の分割部のそれぞれに対応した複数の前記画像再構成部と、前記複数の画像再構成部のそれぞれが生成した復号画像を結合して、前記符号化画像データの復号画像を生成する結果画像領域結合部とを備えることにしてもよい。

これによれば、符号化画像データの領域が複数の領域に分割されてから、復号処理が行われる。このため、それぞれの復号処理の処理量を低減することができる。

また、さらに、前記分割部が分割した所定の数の色成分それぞれについて、前記符号化画像データの色成分の領域を複数の領域に分割する領域分割部と、前記所定の数の色成分それぞれについて、分割された前記複数の領域それぞれに対応した複数の前記画像再構成部とを備えることにしてもよい。

これによれば、分割された色成分それぞれについて、符号化画像データの領域が複数の領域に分割されてから、復号処理が行われる。つまり、画素数が多い色成分ほど多くの領域に分割することで、それぞれの復号処理の処理量を均等化することができる。このため、それぞれの復号処理における処理量が均等化されることで、並列処理効率の低下を抑制することができる。

また、本発明は、このような復号化装置として実現できるだけでなく、当該復号化装置を備える受信装置として実現することもできる。また、本発明は、当該復号化装置を構成する各処理部を備え当該復号化装置を制御する集積回路として実現したり、当該各処理部の処理をステップとする方法として実現したりすることができる。さらに、本発明は、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明の復号化装置によれば、符号化された画像データを複数の色成分に分割して復号するに際し、重複する処理を大幅に削減することが可能となり、膨大な演算量を必要とする画像復号処理を効率よく行うことができる。

図１は、従来の輝度情報と色差情報とを分割して復号処理を行う復号化装置の一例を示す構成図である。 図２は、本発明の実施の形態１における復号化装置の一例を示す構成図である。 図３は、本発明の実施の形態１における復号化装置のストリーム分割部の一例を示す構成図である。 図４は、ＭＰＥＧ２の符号化ビットストリームの概略を示す構成図である。 図５は、標準的なＭＰＥＧ２のデコーダの一例を示す構成図である。 図６は、本発明の実施の形態１における輝度画像再構成部の一例を示す構成図である。 図７は、本発明の実施の形態１における復号化装置が行う復号処理の一例を示すフローチャートである。 図８は、本発明の実施の形態１における復号化装置の分割部が行う輝度色差分割処理の一例を示すフローチャートである。 図９は、本発明の実施の形態２における復号化装置の一例を示す構成図である。 図１０は、本発明の実施の形態２における復号化装置のストリーム分割部の一例を示す構成図である。 図１１は、本発明の実施の形態２における復号化装置が行う復号処理の一例を示すフローチャートである。 図１２は、本発明の実施の形態２におけるパラメータ計算部が行うパラメータ計算処理の一例を示すフローチャートである。 図１３は、色差フォーマットが４：２：０である場合の輝度成分及び色差成分の画素配置を示す図である。 図１４は、色差フォーマットが４：２：２である場合の輝度成分及び色差成分の画素配置を示す図である。 図１５は、色差フォーマットが４：４：４である場合の輝度成分及び色差成分の画素配置を示す図である。 図１６は、本発明の実施の形態３における復号化装置の一例を示す構成図である。 図１７は、本発明の実施の形態３における復号化装置の画像再構成部の一例を示す構成図である。 図１８は、本発明の実施の形態３における復号化装置の輝度色差分割処理において、入力データを輝度成分及び色差成分の二つに分割する処理を示すフローチャートである。 図１９は、本発明の実施の形態３における復号化装置の輝度色差分割処理において、入力データを輝度成分及び色差Ｃｂ成分及び色差Ｃｒ成分の三つに分割する処理を示すフローチャートである。 図２０は、本発明の実施の形態４における復号化装置の一例を示す構成図である。 図２１は、本発明の実施の形態５における復号化装置の一例を示す構成図である。 図２２は、ディジタル放送の受信装置の一例を示す構成図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図２は、本発明の実施の形態１における復号化装置１０の一例を示す構成図である。

復号化装置１０は、ＭＰＥＧ２の復号処理を行う装置である。同図に示すように、復号化装置１０は、ストリーム分割部２０１、輝度画像再構成部２０２、色差画像再構成部２０３、輝度用メモリ２０４、色差用メモリ２０５、及び結果画像結合部２０６を備えている。なお、輝度画像再構成部２０２及び色差画像再構成部２０３は、請求の範囲に記載の「画像再構成部」に相当する。

以下、図２を用いて実施の形態１における復号化装置１０の動作について説明する。

ストリーム分割部２０１は、入力された複数の色成分を有する符号化画像データを、所定の数の色成分の復号処理に必要な情報に分割する。具体的には、符号化画像データは、輝度成分と色差成分の２つの色成分を有し、所定の数の色成分とは、輝度成分と色差成分であることとする。つまり、ストリーム分割部２０１は、入力された符号化ビットストリームを、輝度成分の復号に必要なデータと色差成分の復号に必要なデータに分割する。

そして、ストリーム分割部２０１は、輝度成分の復号に必要なデータを輝度画像再構成部２０２へ出力し、色差成分の復号に必要なデータを色差画像再構成部２０３へ出力する。また、ストリーム分割部２０１は、輝度成分の復号及び色差成分の復号のどちらにも共通に必要なデータは、輝度画像再構成部２０２及び色差画像再構成部２０３の両方に対して出力する。

輝度画像再構成部２０２及び色差画像再構成部２０３は、所定の数の色成分それぞれの復号処理に必要な情報を用いて、所定の数の色成分それぞれの復号画像を、並行して生成する。

つまり、輝度画像再構成部２０２は、入力された輝度成分の復号に必要なデータと輝度用メモリ２０４に格納された輝度成分の復号画像とを用いて、逆量子化、逆変換、動き補償などの処理を行い、輝度成分の復号画像を生成する。そして、輝度画像再構成部２０２は、生成した復号画像を輝度用メモリ２０４へ格納するとともに、結果として出力する。

また、色差画像再構成部２０３は、入力された色差成分の復号に必要なデータと色差用メモリ２０５に格納された色差成分の復号画像とを用いて、逆量子化、逆変換、動き補償などの処理を行い、色差成分の復号画像を生成する。そして、色差画像再構成部２０３は、生成した復号画像を色差用メモリ２０５へ格納するとともに、結果として出力する。

輝度用メモリ２０４は、参照画像として用いる輝度成分の復号画像など輝度画像再構成部２０２が輝度成分の復号処理を行う際に必要なデータを保持する。

色差用メモリ２０５は、参照画像として用いる色差成分の復号画像など色差画像再構成部２０３が色差成分の復号処理を行う際に必要なデータを保持する。

結果画像結合部２０６は、輝度画像再構成部２０２が出力した輝度成分の復号画像及び色差画像再構成部２０３が出力した色差成分の復号画像を入力とし、輝度成分の復号画像と色差成分の復号画像とを合わせて、復号結果画像として出力する。

次に、ストリーム分割部２０１の動作について図３の構成図を用いて説明する。図３は、本発明の実施の形態１における復号化装置１０のストリーム分割部２０１の一例を示す構成図である。ストリーム分割部２０１は、可変長復号部３０１及び分割部３０２を備えている。

可変長復号部３０１は、入力された符号化画像データを可変長復号し、可変長復号した結果得られるデータである可変長復号データを生成する。具体的には、可変長復号部３０１は、入力された符号化ビットストリームの可変長符号を復号し、その結果である可変長復号データを分割部３０２に出力する。

分割を行う前に可変長復号処理が必要である理由を、図４のＭＰＥＧ２のストリーム構成概略図を用いて説明する。図４は、ＭＰＥＧ２の符号化ビットストリームの概略を示す構成図である。

同図に示すように、ＭＰＥＧ２の符号化ビットストリームにおいて、ピクチャは、スタートコード、ピクチャヘッダ及び１個以上のスライスから構成される。また、スライスはスタートコード、スライスヘッダ及び１個以上のマクロブロックから構成される。ここで、スタートコードとは、ピクチャやスライスなどの境界を示す、固定長のビット列のことである。さらに、マクロブロックは、該マクロブロックの性質を示すデータ、輝度ブロックのデータ及び色差ブロックのデータから構成される。

これらのデータは、輝度成分及び色差成分の復号時に必要かどうかにより、下記の３種類に分類できる。

・輝度成分の復号のみに必要なデータ
・色差成分の復号のみに必要なデータ
・輝度成分の復号及び色差成分の復号の両方に必要なデータ
例えば、ピクチャヘッダ及びスライスヘッダは輝度成分及び色差成分の復号に共通に必要なデータとなる。

また、マクロブロックのデータのうち、マクロブロックの性質を示すデータとしては、マクロブロックモードや動き情報などがある。これらのデータは、輝度成分の復号及び色差成分の復号の両方に必要なデータである。また、輝度の離散コサイン変換（ＤＣＴ）係数情報などの輝度ブロックのデータは、輝度成分の復号処理の対象となるデータ、つまり輝度成分の復号に必要なデータである。また、色差のＤＣＴ係数情報などの色差ブロックのデータは、色差成分の復号処理の対象となるデータ、つまり色差成分の復号に必要なデータである。

符号化ビットストリームをこれら３種類のデータに分割するには、それぞれのデータの境界を発見する必要がある。ピクチャヘッダ及びスライスヘッダは、固定長のスタートコードを検出することで発見できるため、可変長復号を行うことなく分割が可能である。

しかし、マクロブロックの境界や、マクロブロック内部の、輝度成分の復号及び色差成分の復号に共通に必要なデータ、輝度成分の復号に必要なデータ、色差成分の復号に必要なデータのそれぞれの境界にはスタートコードは存在しない。また、マクロブロックのデータは可変長符号化されている。そのため、ビットパーシングなどの方法では、輝度成分の復号のみに必要なデータと、色差成分の復号のみに必要なデータと、輝度成分の復号及び色差成分の復号の両方に必要なデータとを分割することはできず、符号化ビットストリームの可変長符号を先頭から復号することが必要となる。

図３に戻り、分割部３０２は、複数の色成分を所定の数の色成分に分割し、可変長復号部３０１が生成した可変長復号データに含まれる所定の数の色成分それぞれの復号処理の対象となるデータそれぞれを、所定の数の色成分それぞれの復号処理に必要な情報として取得する。

具体的には、分割部３０２は、符号化画像データが有する色成分を、輝度成分と色差成分の２つの色成分に分割する。そして、分割部３０２は、可変長復号部３０１から入力された可変長復号結果を、輝度成分の復号に必要なデータと色差成分の復号に必要なデータとに分けることで、輝度成分の復号処理の対象となるデータと色差成分の復号処理の対象となるデータとを取得する。

そして、分割部３０２は、輝度成分の復号に必要なデータを輝度画像再構成部２０２へ出力し、色差成分の復号に必要なデータを色差画像再構成部２０３へ出力する。それぞれのデータが、輝度成分の復号に必要なデータと、色差成分の復号に必要なデータのどちらであるかは、規格で定められている演算方法により決まる。

一例を示すと、ピクチャヘッダやスライスヘッダ、また、マクロブロックのデータにおけるマクロブロックモードや動き情報などは、輝度成分の復号及び色差成分の復号の両方で必要となる。また、輝度のＤＣＴ係数情報は輝度成分の復号に必要となり、色差のＤＣＴ係数情報は色差成分の復号に必要となる。輝度成分の復号及び色差成分の復号の両方で必要となるデータは、輝度画像再構成部２０２及び色差画像再構成部２０３の両方に出力される。

次に、輝度画像再構成部２０２の内部構成について図５及び図６を用いて説明する。図５は標準的なＭＰＥＧ２のデコーダの構成図であり、図６は輝度画像再構成部２０２の構成図である。

図５に示すように、標準的なＭＰＥＧ２デコーダ５０１は、可変長復号部５０２、逆量子化部５０３、逆変換部５０４、及び動き補償部５０５を備え、復号結果画像をメモリ５０６に出力し、後に復号するピクチャの、動き補償の参照画像として用いる。

可変長復号部５０２は、入力された符号化ビットストリームに対して可変長復号処理を行い、結果を逆量子化部５０３に出力する。

逆量子化部５０３は、可変長復号部５０２から入力されたデータに対し、逆量子化処理を行い、結果を逆変換部５０４に出力する。

逆変換部５０４は、逆量子化部５０３から入力されたデータに対し、逆離散コサイン変換を行い、結果を動き補償部５０５に出力する。

動き補償部５０５は、逆変換部５０４から入力されたデータとメモリ５０６に格納されている参照画像から動き補償を行い、得られた復号結果画像を出力する。逆量子化部５０３、逆変換部５０４、動き補償部５０５はそれぞれ輝度成分及び色差成分両方の入力データに対して処理を行う。

これに対して、図６に本実施の形態における輝度画像再構成部２０２の構成を示す。輝度画像再構成部２０２は、逆量子化部６０１、逆変換部６０２、動き補償部６０３を備え、処理結果である輝度画像を輝度用メモリ２０４に出力し、後のピクチャの復号処理を行う際に、動き補償の参照画像として用いる。

輝度画像再構成部２０２の入力信号は、ＭＰＥＧ２符号化ビットストリームではなく、ＭＰＥＧ２符号化ビットストリームを可変長復号した結果から、輝度成分の復号に必要なデータのみを抜き出したものである。よって、標準的なＭＰＥＧ２デコーダ５０１では必要な可変長復号部５０２は輝度画像再構成部２０２には不要となる。

また、輝度画像再構成部２０２では、標準的なＭＰＥＧ２デコーダ５０１と同様に、逆量子化部６０１、逆変換部６０２、及び動き補償部６０３を備える。逆量子化部６０１は逆量子化部５０３と、逆変換部６０２は逆変換部５０４と、動き補償部６０３は動き補償部５０５と同様の処理を行うが、入力データが輝度成分の復号に必要なデータのみであり、輝度成分に対する処理のみを行う。

色差画像再構成部２０３の内部構成については輝度画像再構成部２０２の内部構成と類似しており、入力が色差成分の復号に必要なデータのみであること及び、輝度成分についての内部処理を行わず、色差成分についてのみ処理を行うこと以外はほぼ同様である。

次に、復号化装置１０が行う復号処理について説明する。

図７は、本発明の実施の形態１における復号化装置１０が行う復号処理の一例を示すフローチャートである。

同図に示すように、まず、複数の色成分を有する符号化ビットストリームが入力される（ステップＳ１０２）。

そして、可変長復号部３０１は、入力された符号化ビットストリームを可変長復号する（ステップＳ１０４）。

そして、分割部３０２は、可変長復号部３０１が可変長復号した結果を、輝度成分の復号に必要なデータと色差成分の復号に必要なデータとに分割し、当該データを取得するとともに、輝度画像再構成部２０２及び色差画像再構成部２０３へ出力する（ステップＳ１０６）。この分割部３０２が行う輝度色差分割処理の詳細については、後述する。

そして、輝度画像再構成部２０２及び色差画像再構成部２０３は、輝度成分の復号画像と色差成分の復号画像とを並行して生成する（ステップＳ１０８）。

そして、結果画像結合部２０６は、輝度画像再構成部２０２が出力した輝度成分の復号画像と色差画像再構成部２０３が出力した色差成分の復号画像とを結合して、復号結果画像として出力する（ステップＳ１１０）。

次に、可変長復号部３０１から入力されたデータに対して、分割部３０２が行う輝度色差分割処理（図７のステップＳ１０６）について、図８のフロー図を用いて説明する。

図８は、本発明の実施の形態１における復号化装置１０の分割部３０２が行う輝度色差分割処理（図７のステップＳ１０６）の一例を示すフローチャートである。

同図に示すように、まず、分割部３０２は、可変長復号部３０１から入力されたデータが、輝度成分の復号と色差成分の復号との両方に必要かどうかを判断する（ステップＳ７０１）。

入力されたデータがピクチャヘッダやスライスヘッダのシンタックスである場合や、マクロブロックのデータにおけるマクロブロックモードや動き情報の場合は、分割部３０２は、当該データが輝度成分及び色差成分の復号処理の両方に必要であると判断し（ステップＳ７０１におけるＹｅｓ）、輝度画像再構成部２０２及び色差画像再構成部２０３に当該データを出力する（ステップＳ７０２）。

分割部３０２が、入力されたデータが輝度成分の復号処理に必要とされない、または、色差成分の復号処理に必要とされないと判断した場合（ステップＳ７０１におけるＮｏ）はステップＳ７０３に進む。

次に、分割部３０２は、入力されたデータが輝度成分の復号処理に必要かどうかを判断する（ステップＳ７０３）。

入力されたデータが輝度のＤＣＴ係数情報などの場合は、分割部３０２は、当該データが輝度成分の復号処理に必要であると判断し（ステップＳ７０３におけるＹｅｓ）、輝度画像再構成部２０２にデータを出力する（ステップＳ７０４）。

分割部３０２は、入力されたデータが輝度成分の復号処理に必要とされないと判断した場合（ステップＳ７０３におけるＮｏ）は、当該データが色差成分の復号処理のみに必要なデータであると判断し、色差画像再構成部２０３に当該データを出力する（ステップＳ７０５）。

これにより入力されたデータに対する分割部３０２の輝度色差分割処理（図７のステップＳ１０６）は終了し、分割部３０２は、次のデータの輝度色差分割処理を開始する。

かかる構成によれば、輝度成分と色差成分とを分割して、並列に、ＭＰＥＧ２符号化ビットストリームの復号処理を行う復号化装置１０において、輝度用デコーダ及び色差用デコーダに同一のストリームを入力し、それぞれのデコーダで重複した処理を行いながら並列に復号するのではなく、前段にストリーム分割部２０１を配し、輝度成分の復号に必要なデータのみを輝度画像再構成部２０２に入力し、色差成分の復号に必要なデータのみを色差画像再構成部２０３に入力する。これにより、輝度画像再構成部２０２及び色差画像再構成部２０３の間で重複する処理を削減することが可能となり、輝度画像再構成部２０２及び色差画像再構成部２０３を標準的なＭＰＥＧ２デコーダに比べて簡潔に構成し、演算資源及び記憶資源を削減することができる。

なお、本実施の形態において、可変長復号部３０１は、全ての可変長符号を復号するものとしたが、可変長復号が必要となる符号化ビットストリームの一部分のみに対して、可変長復号処理を行うことにしてもよい。つまり、可変長復号部３０１は、分割部３０２で輝度成分の復号に必要なデータ及び色差成分の復号に必要なデータに分割するために、可変長復号が必要となる符号化ビットストリームの一部分のみに対して、可変長復号処理を行い、可変長復号処理を行わなくても分割できる符号化ビットストリームについては、そのまま輝度画像再構成部２０２及び色差画像再構成部２０３に出力してもよい。

この場合、輝度画像再構成部２０２及び色差画像再構成部２０３には可変長復号部が必要となるが、一般に、可変長復号後のデータに比べて符号化ビットストリームはデータ量が少ない。このため、ストリーム分割部２０１において、符号化ビットストリーム全てを可変長復号するのではなく、一部のデータを符号化ビットストリームのまま出力することで、ストリーム分割部２０１と輝度画像再構成部２０２及びストリーム分割部２０１と色差画像再構成部２０３の間にあるデータ受け渡しのための中間バッファの容量を削減できる等の利点がある。

また、分割部３０２は、輝度成分及び色差成分それぞれの復号に必要なデータを輝度画像再構成部２０２及び色差画像再構成部２０３にそのまま出力するものとしたが、分割した後に、再びデータを符号化し圧縮して出力し、輝度画像再構成部２０２及び色差画像再構成部２０３は入力データを復号してから画像復号処理を行ってもよい。これによっても、ストリーム分割部２０１と輝度画像再構成部２０２及びストリーム分割部２０１と色差画像再構成部２０３の間にあるデータ受け渡しのための中間バッファの容量が削減することが可能となる。分割後のデータ符号化方式は、画像符号化規格に規定された方式でもよいし、それ以外の方式でもよい。

また、輝度用メモリ２０４と色差用メモリ２０５は一つのデバイスで実現してもよいし、複数のデバイスで実現してもよい。

また、本実施の形態では、復号化装置１０は、輝度成分及び色差成分の二つの色成分に符号化ビットストリームを分割したが、分割の方法はこれに限るものではない。例えば、復号化装置１０は、輝度成分と色差Ｃｂ成分と色差Ｃｒ成分との三つの色成分に分割してもよいし、他の成分、例えば、ＲとＧとＢの三つの色成分に分割し、分割したそれぞれの色成分に対し、デコーダ及びメモリを持つ構成としてもよい。

（実施の形態２）
上記実施の形態１の復号化装置１０において、分割部３０２は、入力されたデータが、輝度成分の復号のみに必要なデータであるか、色差成分の復号のみに必要なデータであるか、輝度成分の復号及び色差成分の復号の両方に必要なデータであるかを判断することにより、輝度画像再構成部２０２及び色差画像再構成部２０３へのデータ出力制御を行っている。

しかし、画像符号化規格の中には、色差成分の復号の方法として、輝度成分の復号に必要なデータから、色差成分の復号に必要なデータを算出する方法が定められているものも多い。

そのため、輝度成分の復号及び色差成分の復号の両方に必要なデータは、さらに、下記の２種類に分類することができる。

・輝度成分の復号と色差成分の復号において、共通のデータとして用いるもの
・符号化ビットストリームに含まれているデータから輝度成分の復号に必要なデータを生成し、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出するもの
この「輝度成分の復号と色差成分の復号において、共通のデータとして用いるもの」とは、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出するというようなことを行わずに、輝度成分と色差成分の両方の復号にそのまま用いることができるデータをいう。

具体的には、輝度成分の復号と色差成分の復号において、共通のデータとして用いるものの例としては、ピクチャヘッダやスライスヘッダなどがある。つまり、ピクチャヘッダ又はスライスヘッダを用いて、輝度成分を復号する場合と、色差成分を復号する場合とで、当該ピクチャヘッダ又はスライスヘッダが同じように用いられるため、ピクチャヘッダやスライスヘッダは、共通のデータを共通の意味で用いるものである。

また、符号化ビットストリームに含まれているデータから輝度成分の復号に必要なデータを生成し、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出するものの例として、ＭＰＥＧ２の動きベクトルがある。以下ではＭＰＥＧ２における動きベクトルの算出方法について説明する。

動きベクトルに関する情報としては、符号化ビットストリーム中には動きベクトルの差分情報のみが含まれる。そして、この差分情報は、可変長復号によって得られる復号処理の対象となるデータである。

一方、すでに復号したマクロブロックの動きベクトルを用いて、動きベクトルの予測値が規格に定められた方法で算出される。これらの差分情報及び動きベクトルの予測値から、輝度の動きベクトルが算出される。そして、色差の動きベクトルは、輝度の動きベクトルを用いて、規格に定められた方法で算出される。

この動きベクトル算出処理は、実施の形態１における復号化装置１０において、以下のように行われる。まず、可変長復号部３０１において符号化ビットストリームを復号した結果である差分情報は、分割部３０２において、輝度成分の復号及び色差成分の復号に共通に必要なデータであると判断される。

その結果、差分情報は、輝度画像再構成部２０２及び色差画像再構成部２０３の両方に出力される。

輝度画像再構成部２０２は、まず、すでに復号されたマクロブロックの動きベクトルをもとに、動きベクトルの予測値を算出する。輝度画像再構成部２０２は、その後、入力された差分情報と算出した動きベクトルの予測値とをもとに、輝度の動きベクトルを算出する。

また、色差画像再構成部２０３は、まず、輝度画像再構成部２０２が行う処理と同様の処理を行い、輝度の動きベクトルを算出する。色差画像再構成部２０３は、さらにその後、輝度の動きベクトルをもとに、色差の動きベクトルの算出処理を行う。

このように、輝度画像再構成部２０２及び色差画像再構成部２０３は、輝度の動きベクトルの算出処理を重複して行うことになる。

動きベクトルの他にも、色差成分の復号に必要なデータを輝度成分の復号に必要なデータから算出する場合、輝度画像再構成部２０２と色差画像再構成部２０３とが同一の演算を行い、処理の重複が発生する。この処理の重複を解消することで並列処理の効率をさらに向上させたいという要求がある。

本発明の実施の形態２は、これらの要求を実現するための復号化装置である。

図９は、本発明の実施の形態２における復号化装置１０の一例を示す構成図である。同図において、図２の実施の形態１における構成図と同じ動作をする部分は同じ番号を付し、説明を省略する。

同図に示すように、復号化装置１０は、ＭＰＥＧ２の復号処理を行う装置であり、ストリーム分割部８０１、輝度画像再構成部２０２、色差画像再構成部８０２、輝度用メモリ２０４、色差用メモリ２０５及び結果画像結合部２０６を備えている。なお、色差画像再構成部８０２は、請求の範囲に記載の「画像再構成部」に相当する。

以下、実施の形態２における復号化装置１０の動作について説明する。

ストリーム分割部８０１は、入力された符号化ビットストリームに対して可変長復号処理を行い、輝度成分の復号に必要なデータと色差成分の復号に必要なデータとに分割する。そして、ストリーム分割部８０１は、輝度成分の復号に必要なデータを輝度画像再構成部２０２に、また、色差成分の復号に必要なデータを、色差画像再構成部８０２に出力する。

また、ストリーム分割部８０１は、符号化ビットストリームに含まれているデータから輝度成分の復号に必要なデータを生成する。そして、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出するものについては、ストリーム分割部８０１は、分割に先立ち、色差成分の復号に必要なデータの算出処理を行う。

色差画像再構成部８０２は、入力された色差成分の復号に必要なデータと色差用メモリ２０５に格納された色差成分の復号画像とを用いて、逆量子化、逆変換、動き補償などの処理を行い、色差成分の復号画像を生成する。そして、色差画像再構成部８０２は、生成した復号画像を色差用メモリ２０５へ格納するとともに、色差成分の復号画像を結果画像結合部２０６に出力する。

実施の形態１における色差画像再構成部２０３において行う、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出する処理は、ストリーム分割部８０１で行われる。そのため、実施の形態１における、色差画像再構成部２０３が行う輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出する処理は、本実施の形態における色差画像再構成部８０２は行う必要がなく、色差画像再構成部８０２の方が簡潔に構成することができる。

次に、ストリーム分割部８０１の動作について、図１０の構成図を用いて詳細に説明する。

図１０は、本発明の実施の形態２における復号化装置１０のストリーム分割部８０１の一例を示す構成図である。同図において、図３に示された実施の形態１におけるストリーム分割部２０１の構成図と同じ動作をする部分は同じ番号を付し、説明を省略する。

同図に示すように、ストリーム分割部８０１は、可変長復号部３０１、パラメータ計算部９０１及び分割部３０２を備えている。

パラメータ計算部９０１は、可変長復号部３０１が生成した可変長復号データを用いて、所定の数の色成分それぞれの復号処理のうち少なくとも２つの復号処理の間で共通して必要となる処理である共通処理が行われる場合に、共通処理を行い、共通処理の結果得られるデータである共通処理データを生成する。そして、分割部３０２は、共通処理データから、共通処理が行われる色成分それぞれの復号処理に必要な情報それぞれをさらに取得する。そして、共通処理が行われる色成分に対応したそれぞれの画像再構成部は、取得されたそれぞれの情報をさらに用いて、共通処理が行われる色成分それぞれの復号画像を生成する。

具体的には、パラメータ計算部９０１は、所定の数の色成分のうちの第一の色成分の復号処理で、第一の色成分の復号処理の対象となる第一データから第二データが生成され、かつ、第二の色成分の復号処理で、第一データから第二データが生成された後に第二データから第三データが生成される場合に、第二データ及び第三データを生成する。そして、分割部３０２は、第二データ及び第三データを、それぞれ第一の色成分及び第二の色成分の復号処理に必要な情報として取得する。そして、第一の色成分に対応した画像再構成部は、第二データを用いて、第一の色成分の復号画像を生成し、第二の色成分に対応した画像再構成部は、第三データを用いて、第二の色成分の復号画像を生成する。

例えば、パラメータ計算部９０１は、可変長復号部３０１から入力されたデータが、符号化ビットストリームに含まれているデータから輝度成分の復号に必要なデータを生成し、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを生成するものである場合に、輝度成分の復号に必要なデータと色差成分の復号に必要なデータの算出処理を行う。つまり、パラメータ計算部９０１は、輝度成分の復号に必要なデータを用いて、色差成分の復号に必要なデータを計算する。そして、パラメータ計算部９０１は、算出した色差成分の復号に必要なデータと輝度成分の復号に必要なデータの両方を分割部３０２に出力する。

そして、分割部３０２は、輝度成分の復号に必要なデータと色差成分の復号に必要なデータを取得し、それぞれを輝度画像再構成部２０２及び色差画像再構成部８０２に出力する。そして、輝度画像再構成部２０２は、当該輝度成分の復号に必要なデータをさらに用いて、輝度成分の復号画像を生成し、色差画像再構成部８０２は、当該色差成分の復号に必要なデータをさらに用いて、色差成分の復号画像を生成する。

次に、本実施の形態２における復号化装置１０が行う復号処理の一例について、説明する。

図１１は、本発明の実施の形態２における復号化装置１０が行う復号処理の一例を示すフローチャートである。

同図において、符号化ビットストリームが入力され（ステップＳ２０２）、可変長復号部３０１が当該符号化ビットストリームを可変長復号する（ステップＳ２０４）。なお、これらの処理（ステップＳ２０２〜ステップＳ２０４）は、図７に示された実施の形態１における復号化装置１０が行う処理（ステップＳ１０２〜ステップＳ１０４）と同様であるため、説明を省略する。

そして、パラメータ計算部９０１は、色差成分の復号に必要なデータが輝度成分の復号に必要なデータを用いて計算される場合に、当該色差成分の復号に必要なデータを輝度成分の復号に必要なデータを用いて計算する（ステップＳ２０５）。このパラメータ計算部９０１のパラメータ計算処理の詳細については、後述する。

そして、分割部３０２は、復号に必要なデータを分割して取得するとともに、出力する（ステップＳ２０６）。また、輝度画像再構成部２０２及び色差画像再構成部８０２は、復号画像を生成し（ステップＳ２０８）、結果画像結合部２０６は、復号画像を結合して、復号結果画像を出力する（ステップＳ２１０）。なお、これらの処理（ステップＳ２０６〜ステップＳ２１０）は、図７に示された実施の形態１における復号化装置１０が行う処理（ステップＳ１０６〜ステップＳ１１０）と同様であるため、説明を省略する。

次に、パラメータ計算部９０１が行う、可変長復号部３０１から入力されたデータに対するパラメータ計算処理（図１１のステップＳ２０５）について、図１２のフロー図を用いて説明する。

図１２は、本発明の実施の形態２におけるパラメータ計算部９０１が行うパラメータ計算処理（図１１のステップＳ２０５）の一例を示すフローチャートである。

同図に示すように、まず、パラメータ計算部９０１は、可変長復号部３０１から入力されたデータが、輝度成分または色差成分の復号のどちらかでしか使用されないデータであるかどうかを判断する（ステップＳ１００１）。

入力されたデータが輝度のＤＣＴ係数情報や色差のＤＣＴ係数情報などの場合は、パラメータ計算部９０１は、輝度成分または色差成分の復号のどちらかでしか使用されないと判断（ステップＳ１００１におけるＹｅｓ）し、そのデータを分割部３０２に出力して（ステップＳ１００２）、パラメータ計算処理を終了する。

パラメータ計算部９０１は、入力されたデータが輝度成分または色差成分のどちらの復号でも使用されると判断（ステップＳ１００１におけるＮｏ）した場合は、ステップＳ１００３に進む。

パラメータ計算部９０１は、入力されたデータを、輝度成分の復号と色差成分の復号とにおいて共通のデータとして用いるものかどうかを判断する（ステップＳ１００３）。

例えば、入力されたデータがピクチャヘッダやスライスヘッダ、また、マクロブロックのデータにおけるマクロブロックモードなどの場合は、パラメータ計算部９０１は、当該データを輝度成分の復号及び色差成分の復号で共通のデータとして用いると判断し（ステップＳ１００３におけるＹｅｓ）、そのデータを分割部３０２に出力して（ステップＳ１００２）、パラメータ計算処理を終了する。

動きベクトルなど、輝度成分の復号と色差成分の復号において、共通のデータとして用いられるものではないデータが入力された場合、パラメータ計算部９０１は、当該データを輝度成分の復号及び色差成分の復号で共通のデータとして用いるものではないと判断し（ステップＳ１００３におけるＮｏ）、ステップＳ１００４に進む。

そして、パラメータ計算部９０１は、色差成分の復号に必要なデータを、輝度成分の復号に必要なデータを用いて算出する（ステップＳ１００４）。

パラメータ計算部９０１は、輝度成分の復号に必要なデータ及び色差成分の復号に必要なデータの算出処理の完了後、分割部３０２に輝度成分の復号に必要なデータ及び色差成分の復号に必要なデータを出力して（ステップＳ１００２）、パラメータ計算処理を終了する。

このように、輝度成分の復号及び色差成分の復号の両方に必要なデータのうち、符号化ビットストリームに含まれているデータから輝度成分の復号に必要なデータを生成し、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出するものについて、その算出処理を、ストリーム分割部８０１内部のパラメータ計算部９０１で行う。そして、パラメータ計算部９０１は、算出して得られた輝度成分の復号に必要なデータと色差成分の復号に必要なデータとの両方を分割部３０２に出力する。そして、分割部３０２は、輝度成分の復号に必要なデータを輝度画像再構成部２０２へ出力し、色差成分の復号に必要なデータを色差画像再構成部８０２に出力する。これにより、輝度画像再構成部２０２と色差画像再構成部８０２で重複する処理を前処理としてまとめて行うことができる。そのため、処理効率が向上できる。

なお、パラメータ計算部９０１に入力されたデータが、符号化ビットストリームに含まれているデータから輝度成分の復号に必要なデータを生成し、輝度成分の復号に必要なデータから色差成分の復号に必要なデータを算出するものである場合、パラメータ計算部９０１は、色差成分の復号に必要なデータを輝度成分の復号に必要なデータを用いて算出する処理を行うこととした。

しかし、復号対象の符号化ビットストリームの符号化規格において、輝度成分の復号に必要なデータを用いて算出する、色差成分の復号に必要なデータ量が膨大である場合、全ての算出処理をパラメータ計算部９０１が行うと、輝度成分の復号に必要なデータに加えて、色差成分の復号に必要なデータの全てを保持したり、受け渡したりするために、膨大な記憶領域が必要となる。

そこで、パラメータ計算部９０１が算出する色差成分の復号に必要なデータを選別し、色差成分の復号に必要なデータのうちデータ量が大きいものについてはパラメータ計算部９０１が算出せず、特定のデータについては、分割部３０２が輝度画像再構成部２０２及び色差画像再構成部８０２に出力し、色差画像再構成部８０２が輝度成分の復号に必要なデータを用いて色差成分の復号に必要なデータを算出してもよい。これによって、記憶領域の容量を低減できる効果がある。

また、パラメータ計算部９０１において、色差成分の復号に必要なデータを輝度成分の復号に必要なデータを用いて算出する例を示したが、符号化規格によって、輝度成分の復号に必要なデータを色差成分の復号に必要なデータから算出する方法が定められている場合は、パラメータ計算部９０１は、色差成分の復号に必要なデータから輝度成分の復号に必要なデータを算出する処理を行ってもよい。

（実施の形態３）
上記実施の形態１及び２の復号化装置１０において、符号化ビットストリームを輝度成分と色差成分との二つに分割して並列に復号処理を行う構成を説明した。しかし、ＭＰＥＧ２などの符号化規格では色差は色差Ｃｂ及び色差Ｃｒの二つから構成されるのが一般的である。

色差フォーマットと処理量の関係について、４：２：０、４：２：２、４：４：４の三つの色差フォーマットを例にとって説明する。

図１３〜図１５は、それぞれ色差フォーマットが４：２：０、４：２：２、４：４：４である場合の輝度成分及び色差成分の画素配置を示す図である。

色差フォーマットが４：２：０の場合、輝度成分及び色差成分の画素は図１３に示すように配置される。色差成分の画素数は水平方向及び垂直方向にそれぞれ輝度成分の画素数の２分の１となり、ピクチャ全体では色差Ｃｂ成分及び色差Ｃｒ成分の画素数は輝度成分の画素数のそれぞれ４分の１となる。よって、色差成分の画素数は、輝度成分の画素数の半分となり、処理量も半分となる。

また、色差フォーマットが４：２：２の場合、輝度成分及び色差成分の画素は図１４に示すように配置される。色差成分の画素数は、水平方向に輝度成分の画素数の２分の１となり、ピクチャ全体では色差Ｃｂ成分及び色差Ｃｒ成分の画素数は輝度成分の画素数のそれぞれ２分の１となる。よって、色差成分の画素数は、輝度成分の画素数と同数となる。

色差フォーマットが４：４：４の場合、輝度成分及び色差成分の画素は図１５に示すように配置される。ピクチャ全体では色差Ｃｂ成分及び色差Ｃｒ成分の画素数は輝度成分の画素数と同数となる。よって、色差成分の画素数は、輝度成分の画素数の２倍となる。

これらにより、入力ビットストリームの色差フォーマットが４：２：０または４：２：２の場合、輝度成分と色差Ｃｂ成分と色差Ｃｒ成分との三つに分割することなく、輝度成分と色差成分の二つに分割することで十分に処理量を分散させることができる。

しかし、入力ビットストリームの色差フォーマットが４：４：４である場合、輝度成分と色差成分の二つに分割した場合、色差成分の処理量が輝度成分の２倍となる。この場合は色差成分を色差Ｃｂ成分と色差Ｃｒ成分とにさらに分割する方が、処理量をうまく分散することができる。

よって、多様な色差フォーマットを持つ符号化ビットストリームが復号化装置１０へ入力されることが想定される場合、入力される符号化ビットストリームの色差フォーマットによって、輝度成分と色差成分との二つではなく、輝度成分と色差Ｃｂ成分と色差Ｃｒ成分との三つに分割するように分割方法を変更したいという要求がある。

本発明の実施の形態３は、これらの要求に応えるための復号化装置である。

図１６は、本発明の実施の形態３における復号化装置１０の一例を示す構成図である。

復号化装置１０は、ＭＰＥＧ２の復号処理を行う装置である。同図に示すように、復号化装置１０は、ストリーム分割部１４０１、画像再構成部１４０２、１４０３、１４０４、メモリ１４０５、１４０６、１４０７、及び結果画像結合部１４０８を備えている。以下、同図を用いて実施の形態３における復号化装置１０の動作について説明する。

ストリーム分割部１４０１は、まず、入力された符号化ビットストリームに対して可変長復号処理を行う。そして、ストリーム分割部１４０１は、可変長復号結果から得られる色差フォーマットによって、復号処理の分割方法を決定する。

入力された符号化ビットストリームの色差フォーマットが４：２：０または４：２：２である場合には、ストリーム分割部１４０１は、輝度成分の復号に必要なデータと色差成分の復号に必要なデータとの二つに分割する方法をとり、可変長復号結果のデータを分割する。

そして、ストリーム分割部１４０１は、後段の画像再構成部１４０２に輝度画像の復号を行うように、画像再構成部１４０３に色差画像の復号を行うように、また、画像再構成部１４０４には復号処理を行わないように制御を行う信号を出力する。

また、ストリーム分割部１４０１は、結果画像結合部１４０８に対しては、輝度成分及び色差成分の復号画像を結合して出力するように制御を行う信号を出力する。

入力された符号化ビットストリームの色差フォーマットが４：４：４である場合は、ストリーム分割部１４０１は、輝度成分の復号に必要なデータと色差Ｃｂ成分の復号に必要なデータと色差Ｃｒ成分の復号に必要なデータとに分割する方法をとり、可変長復号結果のデータを分割する。

そして、ストリーム分割部１４０１は、後段の画像再構成部１４０２に輝度画像の復号を行うように、画像再構成部１４０３に色差Ｃｂ画像の復号を行うように、また、画像再構成部１４０４には色差Ｃｒ画像の復号を行うように制御を行う信号を出力する。

また、ストリーム分割部１４０１は、結果画像結合部１４０８に対しては、輝度成分と色差Ｃｂ成分と色差Ｃｒ成分との復号結果画像を結合して出力するように制御を行う信号を出力する。

画像再構成部１４０２、１４０３、１４０４は同一の構成をとり、ストリーム分割部１４０１が決定した分割方法に従って、所定の数の色成分それぞれの復号画像を生成する。具体的には、画像再構成部１４０２、１４０３、１４０４は、ストリーム分割部１４０１から入力された制御信号をもとに、輝度成分、色差成分、色差Ｃｂ成分、色差Ｃｒ成分のいずれかを復号するように処理を変更し、ストリーム分割部１４０１より入力された輝度成分、色差成分、色差Ｃｂ成分または色差Ｃｒ成分の復号に必要なデータを処理し、復号画像を生成する。

画像再構成部１４０２、１４０３、１４０４のそれぞれで生成された復号画像は、結果画像結合部１４０８に出力される。また、生成された画像は、画像再構成部１４０２、１４０３、１４０４のそれぞれにおいて、後のピクチャの復号時に動き補償の参照画像として用いられるため、それぞれメモリ１４０５、１４０６、１４０７に格納される。

結果画像結合部１４０８は、ストリーム分割部１４０１が決定した分割方法に従って、画像再構成部１４０２、１４０３、１４０４が生成した所定の数の色成分それぞれの復号画像を結合して、符号化画像データの復号画像を生成する。具体的には、結果画像結合部１４０８は、ストリーム分割部１４０１から入力された制御信号をもとに、画像再構成部１４０２、１４０３、１４０４から出力された復号結果を合成し、復号結果画像を出力する。

次に、ストリーム分割部１４０１の動作について、詳細に説明する。同図において、図３に示された実施の形態１での構成図及び図１０に示された実施の形態２での構成図と同じ動作をする部分は同じ番号を付し、説明を省略する。

ストリーム分割部１４０１は、可変長復号部３０１、パラメータ計算部９０１、制御部１５０１及び分割部１５０２を備えている。

制御部１５０１は、入力される符号化画像データの色差フォーマットに応じて、符号化画像データが有する複数の色成分を所定の数の色成分に分割する分割方法を決定する。つまり、制御部１５０１は、符号化画像データが有する色成分のうち、第三の色成分の画素数よりも第四の色成分の画素数が多い場合、第三の色成分よりも第四の色成分を多く分割するように、所定の数の色成分への分割方法を決定する。

具体的には、制御部１５０１は、可変長復号部３０１で可変長復号されたデータを入力とし、入力データに含まれる色差フォーマットをもとに、復号処理の分割方法を決定する。そして、制御部１５０１は、決定した分割方法に応じて、後段の分割部１５０２で行う分割処理を制御する信号を出力する。また、制御部１５０１は、画像再構成部１４０２、１４０３、１４０４に対してどの色成分の復号処理を行うかを制御する信号をそれぞれ出力する。

分割部１５０２は、制御部１５０１が決定した分割方法に従って、入力される符号化画像データが有する複数の色成分を所定の数の色成分に分割し、所定の数の色成分それぞれの復号処理に必要な情報それぞれを取得する。具体的には、分割部１５０２は、パラメータ計算部９０１から入力されたデータを分割し、当該データを取得する。また、分割部１５０２は、当該データを画像再構成部１４０２、１４０３、１４０４に出力する。分割部１５０２が当該データを出力する方法は、制御部１５０１によって制御される。

また、分割部１５０２は、以下の二つのモードに従い、分割を行う。分割部１５０２のモードの切換は、制御部１５０１から入力される制御信号により行う。

・入力されたデータを、輝度成分の復号に必要なデータと色差成分の復号に必要なデータとの二つに分割し、輝度成分の復号に必要なデータを画像再構成部１４０２に出力し、色差成分の復号に必要なデータを画像再構成部１４０３に出力するモード
・入力されたデータを、輝度成分の復号に必要なデータと色差Ｃｂ成分の復号に必要なデータと色差Ｃｒ成分の復号に必要なデータとの三つに分割し、輝度成分の復号に必要なデータを画像再構成部１４０２に出力し、色差Ｃｂ成分の復号に必要なデータを画像再構成部１４０３に出力し、色差Ｃｒ成分の復号に必要なデータを画像再構成部１４０４に出力するモード

次に、画像再構成部１４０２、１４０３、１４０４の内部構成について図１７の構成図を用いて説明する。図１７は、本発明の実施の形態３における復号化装置１０の画像再構成部１４０２、１４０３、１４０４の一例を示す構成図である。なお、画像再構成部１４０２、１４０３、１４０４は同一の構成をとるため、代表して画像再構成部１４０２についてのみ説明する。

同図に示すように、画像再構成部１４０２は、構成変更部１６０１、逆量子化部１６０２、逆変換部１６０３、及び動き補償部１６０４を備え、処理結果である再構成画像をメモリ１４０５に出力し、後に再構成処理を行うピクチャの、動き補償の参照画像として用いる。

画像再構成部１４０２へは、ＭＰＥＧ２符号化ビットストリームではなく、ＭＰＥＧ２符号化ビットストリームを可変長復号した結果をもとに、輝度成分、色差成分、色差Ｃｂ成分、色差Ｃｒ成分のいずれかの、ある特定の色成分の復号に必要なデータのみが入力される。そのため、実施の形態１における輝度画像再構成部２０２と同様に、標準的なＭＰＥＧ２デコーダ５０１に存在する可変長復号部５０２に相当する機能は不要となる。

構成変更部１６０１は、入力される色成分の復号処理に必要な情報が、所定の数の色成分のうちのいずれの色成分の復号処理に必要な情報であるかを制御部１５０１から取得し、当該色成分の復号画像を生成するように指示信号を出力する。

つまり、構成変更部１６０１は、ストリーム分割部１４０１内部の制御部１５０１から出力された制御信号を入力とする。そして、構成変更部１６０１は、入力されるデータが、輝度成分の復号に必要なデータか、色差成分の復号に必要なデータか、色差Ｃｂ成分の復号に必要なデータか、色差Ｃｒ成分の復号に必要なデータかを、入力された制御信号から判断する。そして、構成変更部１６０１は、入力される色成分の処理のみを行うように、逆量子化部１６０２、逆変換部１６０３、及び動き補償部１６０４の構成を変更する信号をそれぞれの処理部へ出力する。

逆量子化部１６０２は、構成変更部１６０１からの信号をもとに、ストリーム分割部１４０１から入力された、輝度成分、色差成分、色差Ｃｂ成分、色差Ｃｒ成分のいずれかの、ある特定の色成分の復号に必要なデータに対し、逆量子化処理を行う。そして、逆量子化部１６０２は、結果を逆変換部１６０３へ出力する。

逆変換部１６０３は、構成変更部１６０１からの信号をもとに、逆量子化部１６０２から入力されたデータに対し、輝度成分、色差成分、色差Ｃｂ成分、色差Ｃｒ成分のいずれかのある特定の色成分のみに対して、逆離散コサイン変換を行う。そして、逆変換部１６０３は、結果を動き補償部１６０４へ出力する。

動き補償部１６０４は、構成変更部１６０１からの信号をもとに、逆変換部１６０３から入力されたデータとメモリ１４０５に格納されている参照画像から、輝度成分、色差成分、色差Ｃｂ成分、色差Ｃｒ成分のいずれかの、ある特定の色成分のみに対して、動き補償を行い、得られた復号結果画像を出力する。また、動き補償部１６０４は、後のピクチャの復号時に動き補償の参照画像とするために、復号結果画像をメモリ１４０５に書き戻す処理を行う。

次に、本発明の実施の形態３における復号化装置１０が行う復号処理について説明する。ここで、本発明の実施の形態３における復号化装置１０が行う復号処理は、図１１に示された実施の形態２における復号化装置１０が行う復号処理と同様である。しかし、実施の形態３における輝度色差分割処理（図１１のステップＳ２０６）の詳細については、実施の形態２における処理と異なる。このため、以下、分割部１５０２が行う輝度色差分割処理（図１１のステップＳ２０６）の詳細について、図１８及び図１９のフロー図を用いて説明する。

図１８は、本発明の実施の形態３における復号化装置１０の輝度色差分割処理において、入力データを輝度成分及び色差成分の二つに分割する処理を示すフローチャートである。

図１９は、本発明の実施の形態３における復号化装置１０の輝度色差分割処理において、入力データを輝度成分及び色差Ｃｂ成分及び色差Ｃｒ成分の三つに分割する処理を示すフローチャートである。

分割部１５０２が行う輝度色差分割処理では、制御部１５０１から入力される制御信号によって、輝度成分と色差成分への分割と、輝度成分と色差Ｃｂ成分と色差Ｃｒ成分への分割との切換を行う。ここで、輝度成分及び色差成分への分割について図１８を用いて説明し、輝度成分と色差Ｃｂ成分と色差Ｃｒ成分への分割について図１９を用いて説明する。

まず、輝度成分及び色差成分への輝度色差分割処理について図１８のフロー図を用いて説明する。なお、輝度成分及び色差成分への分割については、図８に示された実施の形態１における輝度色差分割処理のフロー図と同じ処理については同一の番号を付し、説明を省略する。

分割部１５０２は、ステップＳ７０１において判断した結果、入力されたデータが輝度成分と色差成分の復号処理の両方に必要であると判断した場合（ステップＳ７０１におけるＹｅｓ）は、輝度成分の画像再構成処理を行う画像再構成部１４０２及び色差成分の画像再構成処理を行う画像再構成部１４０３の両方に入力されたデータを出力する（ステップＳ１７０１）。

分割部１５０２は、ステップＳ７０１において、入力されたデータが輝度成分の復号処理に必要とされない、または、色差成分の復号処理に必要とされないと判断した場合（ステップＳ７０１におけるＮｏ）は、入力されたデータが輝度成分の復号処理に必要かどうかを判断する（ステップＳ７０３）。

そして、分割部１５０２は、入力されたデータが輝度成分の復号処理に必要であると判断した場合（ステップＳ７０３におけるＹｅｓ）は、入力されたデータを画像再構成部１４０２に出力する（ステップＳ１７０２）。

入力されたデータが輝度成分の復号処理には必要とされないデータである場合は、分割部１５０２は、当該データが色差成分の復号処理のみに必要なデータであると判断し（ステップＳ７０３におけるＮｏ）、入力されたデータを画像再構成部１４０３に出力する（ステップＳ１７０３）。

次に、輝度成分と色差Ｃｂ成分と色差Ｃｒ成分への輝度色差分割処理について図１９のフロー図を用いて説明する。

分割部１５０２は、可変長復号部３０１から入力されたデータが、輝度成分の復号処理と色差Ｃｂ成分の復号処理と色差Ｃｒ成分の復号処理の全てに必要かどうかを判断する（ステップＳ１８０１）。

分割部１５０２は、入力されたデータが輝度成分と色差Ｃｂ成分と色差Ｃｒ成分の全ての復号処理に必要であると判断した場合（ステップＳ１８０１におけるＹｅｓ）は、輝度成分の復号処理を行う画像再構成部１４０２と、色差Ｃｂ成分の復号処理を行う画像再構成部１４０３と、色差Ｃｒ成分の画像再構成処理を行う画像再構成部１４０４とにデータをそれぞれ出力し（ステップＳ１８０２）、処理を終了する。

分割部１５０２は、入力されたデータが三つの色成分の復号全てに共通して必要なデータではないと判断した場合（ステップＳ１８０１におけるＮｏ）は、入力されたデータが輝度画像の復号に必要かどうかを判断する（ステップＳ１８０３）。

そして、分割部１５０２は、入力されたデータが輝度画像の復号に必要であると判断した場合（ステップＳ１８０３におけるＹｅｓ）は、画像再構成部１４０２にデータを出力し（ステップＳ１８０４）、ステップＳ１８０５に進む。

また、分割部１５０２は、入力されたデータが輝度画像の復号に必要でないと判断した場合（ステップＳ１８０３におけるＮｏ）は、データを出力することなくステップＳ１８０５に進む。

次に、分割部１５０２は、入力されたデータが色差Ｃｂ画像の復号に必要かどうかを判断する（ステップＳ１８０５）。

そして、分割部１５０２は、入力されたデータが色差Ｃｂ画像の復号に必要であると判断した場合（ステップＳ１８０５におけるＹｅｓ）は、画像再構成部１４０３にデータを出力し（ステップＳ１８０６）、ステップＳ１８０７に進む。

また、分割部１５０２は、入力されたデータが色差Ｃｂ画像の復号に必要でないと判断した場合（ステップＳ１８０５におけるＮｏ）は、データを出力することなくステップＳ１８０７に進む。

次に、分割部１５０２は、入力されたデータが色差Ｃｒ画像の復号に必要かどうかを判断する（ステップＳ１８０７）。

そして、分割部１５０２は、入力されたデータが色差Ｃｒ画像の復号に必要であると判断した場合（ステップＳ１８０７におけるＹｅｓ）は、画像再構成部１４０４にデータを出力（ステップＳ１８０８）して、処理を終了する。

また、分割部１５０２は、入力されたデータが色差Ｃｒ画像の復号に必要でないと判断した場合（ステップＳ１８０７におけるＮｏ）は、そのまま処理を終了する。

このように、輝度成分に比べて色差成分の画素数が２倍となる４：４：４色差フォーマットの符号化ビットストリームを復号する場合は、色差成分をさらに色差Ｃｂ成分と色差Ｃｒ成分とに分割して並列に復号処理を行うことにより、画像再構成部１４０２、１４０３、１４０４での処理量をほぼ同等にすることができ、並列処理を効率よく行うことができる。

また、色差成分の画素数が少ない４：２：２や４：２：０といった色差フォーマットにおいては、輝度成分に比べて色差成分の復号処理の演算量が少なくなるため、色差Ｃｂ成分と色差Ｃｒ成分とに分割せず、輝度成分と色差成分との二つに分割してデコードすることにより、並列処理中に動作する演算資源を少なくすることができる。

また、画像再構成部１４０２、１４０３及び１４０４は、ストリーム分割部１４０１内の制御部１５０１からの制御信号によって、輝度成分、色差成分、色差Ｃｂ成分または色差Ｃｒ成分の復号処理を行うように変更できる構成とすることにより、入力ストリームの色差フォーマットに応じた柔軟な動作制御が可能となる。このため、特定の成分の復号処理のみに特化したデコーダを持つ構成に比べて、演算資源を有効に活用し、効率よく並列に復号処理を行うことが可能となる。

また、本実施の形態では、どのようなストリームに対しても輝度成分と色差成分、または輝度成分と色差Ｃｂ成分と色差Ｃｒ成分に分割して復号するものとしたが、画像が小さい場合など、復号対象の符号化ビットストリームの演算量が少ない場合は、輝度成分と色差成分とを同一の画像再構成部１４０２で復号してもよい。

このとき、パラメータ計算部９０１及び分割部１５０２はデータを変更せずに出力し、制御部１５０１は分割部１５０２がデータを変更せずに出力するように制御信号を出力する。また、制御部１５０１は、あわせて、画像再構成部１４０２が輝度成分及び色差成分を両方とも復号するように制御する信号を、画像再構成部１４０２に対して出力する。

これにより、小さい画像では並列処理の効果が少ないため並列処理を行わず、単一の画像再構成部で復号処理を行うことで、復号処理時に動作する演算資源を少なくすることができ、効率的な復号処理が可能となる。

また、本実施の形態では輝度成分と色差成分との二つに分割して復号する場合は画像再構成部１４０２で輝度成分の復号処理を行い、画像再構成部１４０３で色差成分の復号処理を行っているが、画像再構成部１４０２、１４０３、１４０４は同一の構成を持つため、割り当てはこれに限らない。輝度成分と色差Ｃｂ成分と色差Ｃｒ成分の三つに分割する場合も同様に、どの色成分の復号処理をどの画像再構成部で行うのかの割り当ては、本実施の形態での割り当てに限らない。

また、本実施の形態では、ストリーム分割部１４０１の制御部１５０１は、輝度成分及び色差成分の復号画像を結合するように、結果画像結合部１４０８に信号を出力し、結果画像結合部１４０８は、当該信号に基づいて復号画像を結合することとした。しかし、画像再構成部１４０２、１４０３、１４０４が当該信号を出力し、結果画像結合部１４０８は、当該信号に基づいて復号画像を結合することにしてもよい。

（実施の形態４）
上記実施の形態１〜３の復号化装置１０では、入力された符号化ビットストリームを可変長復号して複数の色成分に分割し、復号処理を行った。しかし、本実施の形態４では、入力された符号化ビットストリームを領域分割してから、領域単位で可変長復号して複数の色成分に分割し、復号処理を行う。

図２０は、本発明の実施の形態４における復号化装置１０の一例を示す構成図である。

同図に示すように、本実施の形態４における復号化装置１０は、領域分割部２５０、第一領域復号化部１１、第二領域復号化部１２、第三領域復号化部１３及び結果画像領域結合部２６０を備えている。

領域分割部２５０は、符号化画像データの領域を複数の領域に分割する。具体的には、領域分割部２５０は、入力された符号化ビットストリームの領域を、３つの領域である第一領域、第二領域及び第三領域、に分割する。

第一領域復号化部１１、第二領域復号化部１２及び第三領域復号化部１３は、領域分割部２５０が分割したそれぞれの領域を、可変長復号して複数の色成分に分割し、復号処理を行う。

例えば、第一領域復号化部１１は、第一領域を可変長復号して複数の色成分に分割し、復号処理を行う。ここで、第一領域復号化部１１は、図２に示された実施の形態１での復号化装置１０と同じ構成であるため、詳細な説明は省略する。

また、第二領域復号化部１２及び第三領域復号化部１３も同様に、それぞれ第二領域及び第三領域を可変長復号して複数の色成分に分割し、復号処理を行う。なお、図示していないが、第二領域復号化部１２及び第三領域復号化部１３についても、第一領域復号化部１１と同じ構成であるため、詳細な説明は省略する。

結果画像領域結合部２６０は、第一領域復号化部１１、第二領域復号化部１２及び第三領域復号化部１３のそれぞれが生成した復号画像を結合して、符号化画像データの復号画像を生成する。

具体的には、結果画像領域結合部２６０は、第一領域復号化部１１、第二領域復号化部１２及び第三領域復号化部１３のそれぞれの結果画像結合部２０６が出力した復号結果画像を結合して、入力された符号化ビットストリームの復号画像を生成し、出力する。

以上の構成により、本実施の形態４における復号化装置１０によれば、非常に大きな容量の符号化ビットストリームが入力された場合でも、それぞれの画像再構成部が行う復号処理の処理量を低減することができる。

なお、領域分割部２５０が分割する領域は、３つではなく、２つであってもよいし、４つ以上であってもよい。そして、復号処理を行う処理部は、第一領域復号化部１１、第二領域復号化部１２及び第三領域復号化部１３の３つではなく、領域分割部２５０が領域を分割した数に応じて、２つであってもよいし、４つ以上であってもよい。

また、結果画像領域結合部２６０は、第一領域復号化部１１、第二領域復号化部１２及び第三領域復号化部１３のそれぞれの結果画像結合部２０６を介することなく、第一領域復号化部１１、第二領域復号化部１２及び第三領域復号化部１３のそれぞれの画像再構成部が生成した復号画像を結合して、復号画像を生成してもよい。

（実施の形態５）
上記実施の形態４の復号化装置１０では、入力された符号化ビットストリームを領域分割してから、領域単位で可変長復号して複数の色成分に分割し、復号処理を行った。しかし、本実施の形態５では、入力された符号化ビットストリームを可変長復号して複数の色成分に分割してから、領域分割して領域単位で復号処理を行う。

図２１は、本発明の実施の形態５における復号化装置の一例を示す構成図である。

同図に示すように、本実施の形態５における復号化装置１０は、ストリーム分割部２０１、第一領域分割部２５１、第二領域分割部２５２、輝度画像再構成部２１２、２２２、色差画像再構成部２１３、２２３、輝度用メモリ２０４、色差用メモリ２０５及び結果画像結合部２０７を備えている。

ここで、ストリーム分割部２０１、輝度用メモリ２０４及び色差用メモリ２０５は、図２に示された実施の形態１におけるストリーム分割部２０１、輝度用メモリ２０４及び色差用メモリ２０５と同様の処理を行うため、説明を省略する。

第一領域分割部２５１及び第二領域分割部２５２は、ストリーム分割部２０１が分割した所定の数の色成分それぞれについて、符号化画像データの色成分の領域を複数の領域に分割する。

具体的には、第一領域分割部２５１は、入力された符号化ビットストリームの輝度成分の領域を２つの領域に分割する。また、第二領域分割部２５２は、入力された符号化ビットストリームの色差成分の領域を２つの領域に分割する。

輝度画像再構成部２１２、２２２及び色差画像再構成部２１３、２２３は、所定の数の色成分それぞれについて、分割された複数の領域それぞれに対応する復号処理に必要な情報のそれぞれに対応した復号画像を生成する。

具体的には、輝度画像再構成部２１２及び輝度画像再構成部２２２は、輝度成分について、第一領域分割部２５１が分割した２つの領域それぞれに対応する復号処理に必要な情報を用いて、それぞれの領域の復号画像を生成する。また、色差画像再構成部２１３及び色差画像再構成部２２３は、色差成分について、第二領域分割部２５２が分割した２つの領域それぞれに対応する復号処理に必要な情報を用いて、それぞれの領域の復号画像を生成する。

なお、輝度画像再構成部２１２及び輝度画像再構成部２２２は、図６に示された実施の形態１での輝度画像再構成部２０２と同様の構成であるため、詳細な説明を省略する。また、色差画像再構成部２１３及び色差画像再構成部２２３についても、実施の形態１での色差画像再構成部２０３と同様の構成であるため、詳細な説明を省略する。

また、輝度画像再構成部２１２、輝度画像再構成部２２２、色差画像再構成部２１３及び色差画像再構成部２２３のそれぞれは、請求の範囲に記載の「画像再構成部」に相当する。

結果画像結合部２０７は、輝度画像再構成部２１２、２２２及び色差画像再構成部２１３、２２３が生成したそれぞれの復号画像を結合し、入力された符号化ビットストリームの復号結果画像として出力する。

以上の構成により、本実施の形態５における復号化装置１０によれば、画素数が多い色成分ほど多くの領域に分割することで、それぞれの画像再構成部が行う復号処理の処理量を均等化することができる。

例えば、色差フォーマットが４：２：０の場合、輝度成分の画素数は色差成分の画素数の２倍であるので、第二領域分割部２５２は色差成分の領域を分割せず、第一領域分割部２５１が輝度成分の領域を２分割する。また、色差フォーマットが４：４：４の場合、色差成分の画素数は輝度成分の画素数の２倍であるので、第一領域分割部２５１は輝度成分の領域を分割せず、第二領域分割部２５２が色差成分の領域を２分割する。これにより、それぞれの画像再構成部が行う復号処理の処理量を均等化することができる。

なお、第一領域分割部２５１及び第二領域分割部２５２が分割する領域は、２つに限定されず、３つ以上であってもよい。そして、輝度成分の復号画像を生成する処理部は、輝度画像再構成部２１２及び輝度画像再構成部２２２の２つではなく、第一領域分割部２５１が領域を分割した数に応じて、３つ以上であってもよい。また、同様に、色差成分の復号画像を生成する処理部は、色差画像再構成部２１３及び色差画像再構成部２２３の２つではなく、第二領域分割部２５２が領域を分割した数に応じて、３つ以上であってもよい。

また、結果画像結合部２０７は、輝度画像再構成部２１２及び輝度画像再構成部２２２が生成した復号画像を結合する輝度成分結合部と、色差画像再構成部２１３及び色差画像再構成部２２３が生成した復号画像を結合する色差成分結合部とを備えており、当該輝度成分結合部と色差成分結合部とが出力した復号画像を結合して、復号結果画像を出力することにしてもよい。

なお、上記実施の形態１〜５において、復号する符号化ビットストリームはＭＰＥＧ２を想定して説明を行ったが、本発明は、ＭＰＥＧ２に限定されるものではなく、ピクチャが複数の成分、例えば、輝度成分、色差Ｃｂ成分、色差Ｃｒ成分などから構成され、可変長符号により符号化されるものであれば、どのような符号化規格でもよい。例えば、復号する符号化ビットストリームは、ＭＰＥＧ４やＨ．２６４、ＶＣ−１、ＡＶＳ（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ ｏｆ Ｃｈｉｎａ）であってもよい。

また、実施の形態１、実施の形態２、実施の形態４及び実施の形態５において、輝度成分、色差成分または輝度成分、色差Ｃｂ成分、色差Ｃｒ成分に分割するものとしたが、他の色成分で分割してもよい。例えば、ＲＧＢやＨＳＶで分割してもよい。

また、実施の形態１〜５において、復号化装置１０を構成する各機能ブロックは、典型的には、ＣＰＵやメモリを要した情報機器上で動作するプログラムとして実現されるが、その機能の一部または全部を集積回路であるＬＳＩとして実現してもよい。これらのＬＳＩは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤ ＰＲＯＧＲＡＭＭＡＢＬＥ ＧＡＴＥ ＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明に係る復号化装置１０は、ＭＰＥＧ２やＨ．２６４のような動画像符号化規格で符号化されたデータを復号する様々な装置に適用できる。そういった装置の例として、ディジタル放送の受信装置、携帯電話、Ｂｌｕ−ｒａｙ ＤｉｓｃやＤＶＤなどの光ディスク再生装置、パーソナルコンピュータなどがある。

図２２は、本発明に係る復号化装置１０をディジタル放送の受信装置に適用した場合の一例を示す構成図である。

同図に示すように、ディジタル放送の受信装置１９０１は、チューナモジュール１９０２、ストリームデコーダ１９０３、オーディオデコーダ１９０４、ＲＯＭ１９０５、ＣＰＵ１９０６、ＲＡＭ１９０７、出力制御部１９０８及び復号化装置１９０９を備えている。なお、同図では、復号化装置１９０９として、図１６に示された実施の形態３における復号化装置１０を図示しているが、実施の形態１〜５のいずれにおける復号化装置１０であってもよい。

チューナモジュール１９０２は、放送波（ＲＦ入力）から、視聴したいチャンネルのディジタルデータ（符号化ビットストリーム）を出力する。

ストリームデコーダ１９０３は、視聴したいチャンネルのディジタルデータ（符号化ビットストリーム）から、音声データと映像データの分離などを行う。ストリームデコーダ１９０３は、請求の範囲に記載の「データ分離部」に相当する。

オーディオデコーダ１９０４は、音声データを復号する。

ＲＯＭ１９０５は、プログラムやデータを収めている。

ＣＰＵ１９０６は、受信装置１９０１全体の制御などを行う。

ＲＡＭ１９０７は、画像メモリや各種データの記憶領域として利用される。

出力制御部１９０８は、復号された映像と音声の同期や形式の変換などを行う。また、出力制御部１９０８は、復号化装置１９０９が生成した復号画像及び音声を映像信号及び音声信号として出力する。

ここで、本構成では、復号化装置１９０９を構成するストリーム分割部１４０１、画像再構成部１４０２、１４０３、１４０４及び結果画像結合部１４０８は、個別に１チップ化されており、メモリ１４０５、１４０６、１４０７は、独立のデバイスとして用いられるようになっている。

しかし、集積化の手法については、各機能が個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。さらには、ＬＳＩに置き換わる集積回路化の技術があれば、当然、その技術を用いて集積化を行ってもよい。

また、ディジタル放送の受信装置を例に説明したが、携帯電話、Ｂｌｕ−ｒａｙ ＤｉｓｃやＤＶＤなどの光ディスク再生装置、パーソナルコンピュータ等に対する本発明の適用も可能である。

以上、本発明に係る復号化装置について、上記実施の形態を用いて説明したが、本発明は、これに限定されるものではない。

つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、発明の趣旨を逸脱しない範囲で、上記複数の実施の形態における各構成要素を任意に組み合わせても良い。

本発明に係る復号化装置は、例えばディジタル放送の受信装置、携帯電話、Ｂｌｕ−ｒａｙ ＤｉｓｃやＤＶＤなどの光ディスク再生装置、パーソナルコンピュータ等で効率的に動画像の復号処理を行うのに有用である。

１０ 復号化装置
１１ 第一領域復号化部
１２ 第二領域復号化部
１３ 第三領域復号化部
１０１ 輝度用デコーダ
１０２ 色差用デコーダ
１０３ 輝度用メモリ
１０４ 色差用メモリ
１０５ 結合器
２０１ ストリーム分割部
２０２、２１２、２２２ 輝度画像再構成部
２０３、２１３、２２３ 色差画像再構成部
２０４ 輝度用メモリ
２０５ 色差用メモリ
２０６、２０７ 結果画像結合部
２５０ 領域分割部
２５１ 第一領域分割部
２５２ 第二領域分割部
２６０ 結果画像領域結合部
３０１ 可変長復号部
３０２ 分割部
５０１ 標準的なＭＰＥＧ２デコーダ
５０２ 可変長復号部
５０３ 逆量子化部
５０４ 逆変換部
５０５ 動き補償部
５０６ メモリ
６０１ 逆量子化部
６０２ 逆変換部
６０３ 動き補償部
８０１ ストリーム分割部
８０２ 色差画像再構成部
９０１ パラメータ計算部
１４０１ ストリーム分割部
１４０２、１４０３、１４０４ 画像再構成部
１４０５、１４０６、１４０７ メモリ
１４０８ 結果画像結合部
１５０１ 制御部
１５０２ 分割部
１６０１ 構成変更部
１６０２ 逆量子化部
１６０３ 逆変換部
１６０４ 動き補償部
１９０１ 受信装置
１９０２ チューナモジュール
１９０３ ストリームデコーダ
１９０４ オーディオデコーダ
１９０５ ＲＯＭ
１９０６ ＣＰＵ
１９０７ ＲＡＭ
１９０８ 出力制御部
１９０９ 復号化装置

Claims (12)

1. 複数の色成分を有する符号化画像データを復号する復号化装置であって、
   前記符号化画像データを可変長復号し、可変長復号した結果得られるデータである可変長復号データを生成する可変長復号部と、
   前記複数の色成分を所定の数の色成分に分割し、前記可変長復号部が生成した可変長復号データに含まれる前記所定の数の色成分それぞれの復号処理の対象となるデータそれぞれを、前記所定の数の色成分それぞれの復号処理に必要な情報として取得する分割部と、
   取得されたそれぞれの前記情報を用いて、前記所定の数の色成分それぞれの復号画像を並行して生成する、前記所定の数の色成分それぞれに対応した前記所定の数の画像再構成部と、
   前記符号化画像データの色差フォーマットに応じて、前記所定の数の色成分への分割方法を決定する制御部とを備え、
   前記分割部は、前記制御部が決定した分割方法に従って、前記複数の色成分を前記所定の数の色成分に分割し、前記所定の数の色成分それぞれの復号処理に必要な情報それぞれを取得し、
   前記画像再構成部のそれぞれは、前記制御部が決定した分割方法に従って、前記所定の数の色成分それぞれの復号画像を生成する
   復号化装置。
2. さらに、
   前記可変長復号部が生成した可変長復号データを用いて、前記所定の数の色成分それぞれの復号処理のうち少なくとも２つの復号処理の間で共通して必要となる処理である共通処理が行われる場合に、前記共通処理を行い前記共通処理の結果得られるデータである共通処理データを生成するパラメータ計算部を備え、
   前記分割部は、前記共通処理データから、前記共通処理が行われる色成分それぞれの復号処理に必要な情報それぞれをさらに取得し、
   前記共通処理が行われる色成分に対応したそれぞれの前記画像再構成部は、取得されたそれぞれの前記情報をさらに用いて、前記共通処理が行われる色成分それぞれの復号画像を生成する
   請求項１に記載の復号化装置。
3. 前記パラメータ計算部は、前記所定の数の色成分のうちの第一の色成分の復号処理で、前記第一の色成分の復号処理の対象となる第一データから第二データが生成され、かつ、第二の色成分の復号処理で、前記第一データから前記第二データが生成された後に前記第二データから第三データが生成される場合に、前記第二データ及び前記第三データを生成し、
   前記分割部は、前記第二データ及び前記第三データを、それぞれ前記第一の色成分及び前記第二の色成分の復号処理に必要な情報として取得し、
   前記第一の色成分に対応した前記画像再構成部は、前記第二データを用いて、前記第一の色成分の復号画像を生成し、
   前記第二の色成分に対応した前記画像再構成部は、前記第三データを用いて、前記第二の色成分の復号画像を生成する
   請求項２に記載の復号化装置。
4. 前記制御部は、前記符号化画像データが有する色成分のうち、第三の色成分の画素数よりも第四の色成分の画素数が多い場合、前記第三の色成分よりも前記第四の色成分を多く分割するように、前記所定の数の色成分への分割方法を決定する
   請求項１〜３のいずれか１項に記載の復号化装置。
5. 前記画像再構成部のそれぞれは、入力される色成分の復号処理に必要な情報が、前記所定の数の色成分のうちのいずれの色成分の復号処理に必要な情報であるかを前記制御部から取得し、当該色成分の復号画像を生成するように指示信号を出力する構成変更部を備える
   請求項１〜４のいずれか１項に記載の復号化装置。
6. さらに、
   前記画像再構成部のそれぞれが生成した前記所定の数の色成分それぞれの復号画像を結合して、前記符号化画像データの復号画像を生成する結果画像結合部を備え、
   前記結果画像結合部は、前記制御部が決定した分割方法に基づいて、前記符号化画像データの復号画像を生成する
   請求項１〜５のいずれか１項に記載の復号化装置。
7. さらに、
   前記符号化画像データの領域を複数の領域に分割する領域分割部と、
   分割された前記複数の領域それぞれの符号化画像データに対応した複数の前記可変長復号部と、
   前記複数の前記可変長復号部のそれぞれに対応した複数の前記分割部と、
   前記複数の分割部のそれぞれに対応した複数の前記画像再構成部と、
   前記複数の画像再構成部のそれぞれが生成した復号画像を結合して、前記符号化画像データの復号画像を生成する結果画像領域結合部とを備える
   請求項１〜６のいずれか１項に記載の復号化装置。
8. さらに、
   前記分割部が分割した所定の数の色成分それぞれについて、前記符号化画像データの色成分の領域を複数の領域に分割する領域分割部と、
   前記所定の数の色成分それぞれについて、分割された前記複数の領域それぞれに対応した複数の前記画像再構成部とを備える
   請求項１〜６のいずれか１項に記載の復号化装置。
9. 複数の色成分を有する符号化画像データを復号する復号化方法であって、
   前記符号化画像データを可変長復号し、可変長復号した結果得られるデータである可変長復号データを生成する可変長復号ステップと、
   前記複数の色成分を所定の数の色成分に分割し、前記可変長復号ステップで生成された可変長復号データに含まれる前記所定の数の色成分それぞれの復号処理の対象となるデータそれぞれを、前記所定の数の色成分それぞれの復号処理に必要な情報として取得する分割ステップと、
   取得されたそれぞれの前記情報を用いて、前記所定の数の色成分それぞれの復号画像を並行して生成する画像再構成ステップと、
   前記符号化画像データの色差フォーマットに応じて、前記所定の数の色成分への分割方法を決定する制御ステップとを含み、
   前記分割ステップでは、前記制御ステップで決定された分割方法に従って、前記複数の色成分を前記所定の数の色成分に分割し、前記所定の数の色成分それぞれの復号処理に必要な情報それぞれを取得し、
   前記画像再構成ステップでは、前記制御ステップで決定された分割方法に従って、前記所定の数の色成分それぞれの復号画像を生成する
   復号化方法。
10. 複数の色成分を有する符号化画像データを復号する復号化装置を制御する集積回路であって、
    前記符号化画像データを可変長復号し、可変長復号した結果得られるデータである可変長復号データを生成する可変長復号部と、
    前記複数の色成分を所定の数の色成分に分割し、前記可変長復号部が生成した可変長復号データに含まれる前記所定の数の色成分それぞれの復号処理の対象となるデータそれぞれを、前記所定の数の色成分それぞれの復号処理に必要な情報として取得する分割部と、
    取得されたそれぞれの前記情報を用いて、前記所定の数の色成分それぞれの復号画像を並行して生成する、前記所定の数の色成分それぞれに対応した前記所定の数の画像再構成部と、
    前記符号化画像データの色差フォーマットに応じて、前記所定の数の色成分への分割方法を決定する制御部とを備え、
    前記分割部は、前記制御部が決定した分割方法に従って、前記複数の色成分を前記所定の数の色成分に分割し、前記所定の数の色成分それぞれの復号処理に必要な情報それぞれを取得し、
    前記画像再構成部のそれぞれは、前記制御部が決定した分割方法に従って、前記所定の数の色成分それぞれの復号画像を生成する
    集積回路。
11. 複数の色成分を有する符号化画像データを復号するためのプログラムであって、
    前記符号化画像データを可変長復号し、可変長復号した結果得られるデータである可変長復号データを生成する可変長復号ステップと、
    前記複数の色成分を所定の数の色成分に分割し、前記可変長復号ステップで生成された可変長復号データに含まれる前記所定の数の色成分それぞれの復号処理の対象となるデータそれぞれを、前記所定の数の色成分それぞれの復号処理に必要な情報として取得する分割ステップと、
    取得されたそれぞれの前記情報を用いて、前記所定の数の色成分それぞれの復号画像を並行して生成させる復号画像生成ステップと、
    生成された前記所定の数の色成分それぞれの復号画像を結合させて、前記符号化画像データの復号画像を生成させる結果画像結合ステップと、
    前記符号化画像データの色差フォーマットに応じて、前記所定の数の色成分への分割方法を決定する制御ステップとをコンピュータに実行させ、
    前記分割ステップでは、前記制御ステップで決定された分割方法に従って、前記複数の色成分を前記所定の数の色成分に分割し、前記所定の数の色成分それぞれの復号処理に必要な情報それぞれを取得し、
    前記画像再構成ステップでは、前記制御ステップで決定された分割方法に従って、前記所定の数の色成分それぞれの復号画像を生成する
    プログラム。
12. 放送されたストリームを受信する受信装置であって、
    前記ストリームから、符号化された複数の色成分を有する動画像データである符号化画像データを分離するデータ分離部と、
    前記データ分離部が分離した符号化画像データを復号し、復号画像を生成する請求項１０に記載の集積回路と、
    前記集積回路が生成した復号画像を映像信号として出力する出力制御部と
    を備える受信装置。

Images