JP5296535B2 - 画像復号装置 - Google Patents

Description

本発明は、符号化された画像データを復号する画像復号装置に関し、特に、複数の復号器を備えて並列に復号する場合の復号処理速度を向上させる技術に関する。

近年、画像、特に動画像は高画質、大画面の要求を満たす為にそのデータ量は
増大しており、これら大容量化する動画像データをネットワークで伝送する場合や蓄積媒体に記録する場合等を考慮して、動画像データを圧縮符号化する技術が開発されている。
例えば、国際標準規格として、ＭＰＥＧ−２（Motion Picture Experts Group）や、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（Advanced Video Codec）などがある。

これらの規格で符号化された動画像データは、通常、画像復号装置で復号しながら表示する。
現在の画像サイズの主流は、標準テレビ（ＳＤＴＶ）の７２０画素４８０ラインの画像サイズであるが、今後、高精細テレビ（ＨＤＴＶ）の１９２０画素１０８０ラインの画像サイズや、より大画面のディジタル・シネマ規格の画像サイズが増えることが予想される。

このディジタル・シネマ規格では、２Ｋ規格といわれる２０４８画素１０８０ラインの画像サイズや、４Ｋ規格といわれる４０９６画素２１６０ラインの画像サイズが規定されている。
これらの画像サイズに対応した復号用の１チップＬＳＩが開発されているが、１つの復号器で復号する場合は、画像サイズが大きくなればなる程、高い演算性能と広いデータバンド幅とが必要となり、高コスト、高電力消費を招くこととなっている。

そこで、比較的処理能力の低い復号器、例えば、ＳＤＴＶ用の復号器を複数個用いて、並列に復号処理を行わせることで、ＨＤＴＶ用の高性能の復号装置を実現する技術が提案されている（特許文献１参照）。
図１８を用いて簡単に説明すると、トランスポートデコーダ１から送出されたビットストリームを入力した４つの復号器である画像デコーダ（４、５、６、７）は、ビットストリームから担当するスライスのデータを選び出して復号し、フレームメモリ（２、３）に出力する。画像デコーダ（４、５、６、７）は、スライスの番号順にスライスを選択し、選択したスライスのデータを各バッファが読み込んだタイミングで一斉に、共通のフレームメモリを使用しながら復号処理を開始する。

この技術によれば、比較的処理能力の低い復号器を使用したとしても、高い処理能力を実現できる。
特開平１０−１７８６４４号公報

しかしながら、圧縮伸長化技術の進展に伴って符号化効率を高める為の様々な技術が導入されることとなり、スライス間の圧縮後のビット数のばらつきが大きくなる傾向にある。
圧縮後の各スライスのデータ量のばらつきが大きい場合には、スライスを単純に順序付けて各復号器に割り当てたとすると、復号処理に要する時間の不均衡が大きくなり、早く復号処理が完了した復号器は、長く遊んでしまうことになる。

そこで、本発明は、複数の復号器を効率的に利用して、個々の復号器よりも高い処理性能を実現できる画像復号装置の提供を目的とする。

上記目的を達成するために、本発明に係る画像復号装置は、符号化され、複数の部分データで構成されている画像データを復号する画像復号装置であって、複数の復号器と、前記部分データの復号処理時間に影響を及ぼす属性であって、当該部分データのデータ量を少なくとも含む属性情報を取得する属性情報取得手段と、前記属性情報取得手段で取得した部分データについての属性情報に基づいて、当該部分データを復号させる復号器を決定する決定手段と、２以上の部分データを前記決定手段で決定した２以上の復号器に並行して復号させる復号手段とを備えることを特徴とする。

上記構成の画像復号装置は、画像データを構成する部分データ毎に、その復号処理の時間に影響を与える属性を考慮して復号させる復号器を決定することができるので、複数の部分データを複数の復号器で並行して復号する場合に、各復号器の復号処理時間の不均衡を抑制し、処理効率を向上させることができる。
すなわち、各復号器の処理時間のばらつきが少なくなるように各部分データを復号させる復号器を決定することにより、復号器が復号処理を行っていない時間を短くし、画像データの復号処理の効率化を実現することができるようになる。

また、画像データの複数部分データを並列に処理するので、本来ならば、各復号器よりも高い処理能力を備える復号器で復号する必要がある画像データであっても、正しく復号することが可能となる。
また更に、高い処理能力を必要とする画像データの復号処理を行う復号装置を、より処理性能が低い復号器を複数個用いて、比較的安価に実現することができるようになる。例えば、ＤＴＶ（Digital Television）放送などにおけるディジタル的に符号化されたビデオ信号を直接受け取り、復号処理のリアルタイム処理が可能となるような復号装置を、安価な低い処理能力を備える復号器を用いることによって安価に提供できるようになる。

また、前記画像復号装置は、更に、前記複数の復号器それぞれの処理能力を取得する処理能力取得手段を備え、前記決定手段は、前記属性情報取得手段で取得した部分データについての属性情報と前記処理能力取得手段で取得した各復号器の処理能力とに基づいて、当該部分データを復号させる復号器を決定することとしてもよい。
これにより、画像データの部分データを復号させる復号器を決定する際に、復号器の性能を加味することができるので、より復号処理の効率化を図ることが可能となる。

また、新たに復号器を追加／削除した場合であっても、画像データの部分データを復号させる復号器を決定する際には、最新の復号器の情報に基づいて、部分データを復号させる復号器を決定するので、一旦構成した装置に対して新たに復号器を追加拡張、削除しても、現時点での装置において処理性能を発揮させることができる。
特許文献１の従来技術では、復号器４つをＬＳＩ化した場合であっても、復号器４つがバスを共有してＬＳＩ外部のフレームメモリを使用することから入出力ピンを削減することができるという利点はあるものの、そのための構成をＬＳＩ内に作りこむ必要があるため、画像データの拡張が容易にはできないという不都合がある。例えば、ＳＤＴＶ用の復号器を用いてＨＤＴＶ用の復号装置を実現していた場合、容易に４Ｋ規格の画面サイズ用とすることはできない。

本発明では、基本的に特別な構成を要せず、画像データの属性と復号器の処理性能とに基づいて復号処理を行うことから、例えば、ＳＤＴＶ用の復号器を用いてＨＤＴＶ用の復号装置を実現していた場合であっても、必要な数の復号器を追加するだけで、容易に４Ｋ規格の画面サイズ用の復号装置とする拡張等が容易になる。
また、前記画像復号装置は、更に、前記決定手段で決定した復号器の識別子と当該復号器で復号させる部分データの識別子とを対応付けた対応情報を記憶している対応記憶手段を備え、前記部分データの属性情報は、当該部分データを復号する際に、他の部分データの復号結果を参照することが必要かを否かを示し、前記決定手段は、属性情報が他の部分データの復号結果を参照することが必要であることを示す部分データを復号させる復号器として、当該他の部分データを復号させる復号器より処理能力の高い復号器を決定し、前記復号手段は、復号する部分データが他の部分データの復号結果を参照することが必要なときは、前記対応情報の当該他の部分データが対応付けられている復号器の出力結果を取得して、当該部分データを復号させることとしてもよい。

これにより、画像データの各部分データがどの復号器で復号されたかを記憶しているので、復号を行うために他の復号器で復号された画像が必要になった場合は、当該他の復号器から必要な画像を取得して復号処理を行うことができる。
また、復号を行うためには他の復号器で復号された画像が必要な部分データは、処理能力が高い復号器で復号するよう決定されるので、他の復号器で復号された画像を取得する処理を行ったとしても、復号処理にかかる時間を他の復号器の処理時間とあわせることができるようになる。

また、前記復号手段は、属性情報が他の部分データの復号結果を参照することが必要であることを示す部分データを復号する前に、当該他の部分データを復号させることとしてもよい。
これにより、復号を行うためには、他の部分データの復号された画像が必要な部分データを復号する前に、当該他の部分データを復号するので、必要なときに他の部分データの画像を取得することができるようになる。その結果、復号処理を止めることなく迅速に行うことができる。

また、前記部分データの属性情報は、当該部分データのデータ量であり、前記復号器の処理能力は、当該復号器が入力するデータのバンド幅であり、前記決定手段は、他の部分データより大きいデータ量を属性情報とする部分データを復号させる復号器として、他の部分データを復号させる復号器よりバンド幅が広い復号器を決定することとしてもよい。
これにより、データ量の大きい部分データは、演算能力の高い復号器やデータバンド幅の広い演算器で復号処理を行うので、データ量の大きい部分データであっても、復号処理にかかる時間を他の復号器の処理時間とあわせることができるようになる。

また、前記部分データは、前記画像データであるビットストリームの一部であって、ピクチャを構成するビット列であることとしてもよい。
また、前記部分データは、前記画像データであるビットストリームの一部であって、ピクチャの一部分を構成するビット列であることとしてもよい。
これにより、画像データの部分データをピクチャやピクチャより小さい部分のデータとすることができるので、画像データの圧縮符号化方式に応じて、最適な大きさの部分データを復号器で復号することができるようになる。

ピクチャよりも小さい部分のデータとは、例えば、スライスやマクロブロック等をいう。

＜実施形態１＞
＜概要＞
本発明にかかる画像復号装置は、符号化された画像のビットストリーム（以下、「画像データ」という。）を、所定の単位、例えばスライス単位に分割し、各スライスの特性に応じて復号器に分担させることにより、復号器の空き時間を少なくして効率的な復号処理を行わせるものである。

また、本画像復号装置は、適時、各復号器の処理性能を取得することで、復号器の増減に対応すると共に、各復号器の処理能力をも考慮してスライスの分担をさせることで、より効率的に復号処理を行うことができる。
以下、本発明の実施形態における画像復号装置について、図面を用いて説明する。尚、本実施形態では、ＭＰＥＧ−２規格で作成された画像データを復号する場合について説明する。

＜機能＞
図１は、画像復号装置の構成を示すブロック図である。
画像復号装置１０は、属性情報検出部１０００、割当決定部２０００、割当データ生成部３０００、画像復号部（４０００、４００１、４００２、４００３）及び画像記憶部（５０００、５００１、５００２、５００３）で構成される。尚、本実施形態では、画像復号部は４つ備える場合を説明するが、これに限られない。

まず、属性情報検出部１０００は、可変長符号化されている画像データを入力とし、その画像データを構成するスライス毎にその属性を検出する機能を有する。本図では、画像データを白抜き矢印で表す。
属性とは、そのスライスのデータ量やピクチャタイプ、動き補償情報（画面内予測、前方向予測、後方向予測、双方向予測）等の特徴情報をいうものとする。属性情報検出部１０００は、取得する属性によっては、画像データを可変長復号して、属性を取得する。本実施形態では、属性として、可変長復号を要しないで取得できるデータ量を用いる。

属性情報検出部１０００は、入力した画像データを、基本的に、そのまま出力する。
ここで、図２を用いて、画像データ及びスライスについて説明する。
図２は、画像データとスライスの関係を示す図である。
画面フレームに相当するピクチャ２００は、スライス０１〜スライスｎで構成され、画像データ１００は、スライスの先頭を示すスタートコード１０１と、スライスの画像を圧縮符号化したデータであるデータ１０２とで構成される。

スタートコード１０１は、１６進数表記で０００００１（２３個の０の後に１）という値とその後の８ビットのデータの３２ビットからなる。この８ビットがスタートコードに続くデータの種類を示している。
ＭＰＥＧ−２規格におけるデータは、６層の階層構造を持ち、上位からビデオシーケンス、ＧＯＰ、ピクチャ、スライス、マクロブロック、ブロックからなり、スタートコードを検出することによって識別できる階層は、シーケンス、ＧＯＰ、ピクチャ及び、スライスである。この単位で、以下に説明する割当決定部２０００は、画像データを各画像復号部（４０００等）に割り当てる。

本実施形態ではスライスを検出するものとする。従って、スタートコードは、「０００００１ ０１」〜「０００００１ ａｆ」であり、「０１」〜「ａｆ」をスライス番号というものとする。
スライスは、スタートコードから始まるスライスヘッダ１１０と、複数のマクロブロック（MB）１１１とで構成され、スライスヘッダにはスライスタイプが含まれる。このスライスタイプは、スライスがＩスライスであるか、Ｂスライス、Ｐスライスであるかを示し、Ｉスライスは、自スライス内の情報のみを用いて復号化できるスライスであり、ＰスライスとＢスライスは他のスライスの画像を参照することによって復号化できるスライスである。

マクロブロック１１１は、マクロブロックタイプとそのタイプに応じたデータ、例えば、動き情報と画面間予測誤差データとで構成される。マクロブロックタイプは、このマクロブロックが他のスライスの画像を参照する必要があるものか否か、また、１方向参照なのか２方向参照なのか等の情報を表すものである。
属性情報検出部１０００は、画像データ１００からスタートコード１０１を検出し、次のスタートコードまでのデータ量をそのスライスの属性情報として記憶することを繰り返す。

検出したスライスの属性は、属性情報１１００として割当決定部２０００に渡される。具体的には、画像復号装置１０内の作業用のメモリ（図示していない。）に記憶され、割当決定部２０００によって参照される。本図では、便宜上、属性情報を検出する属性情報検出部１０００内に描いている。後述する性能情報２１００、割当情報２１００も同様である。

次に、割当決定部２０００は、画像データ１００を構成する各スライスをどの画像復号部（４０００等）に行わせるか、すなわちスライスの割り当てを決定する機能を有する。
この割当決定部２０００は、性能情報取得部２３００を備え、適時、画像復号部（４０００等）の処理性能を取得して性能情報２１００として記憶しておく機能も有する。この性能情報取得部２３００は、本画像復号装置１０に搭載されている各画像復号部（４０００等）の個数を検出し、各処理性能を取得する機能を有する。

割当決定部２０００は、スライスの割り当ての決定を、属性情報検出部１０００が検出した属性情報１１００と、この性能情報２１００とに基づいて決定し、割当情報２１００を作成する。属性情報１１００、性能情報２１００、割り当て情報２１００の詳細は、図４〜図６を用いて後で説明する。
尚、この割当決定部２０００は、複数のスライス割り当てを決定するため、複数スライス分の画像データ１００を蓄積するバッファリング手段を備えるものとする。

次に、割当データ生成部３０００は、割当決定部２０００が決定した割り当てに従って、割当決定部２０００のメモリに蓄積されている画像データを読み出して、各画像復号部（４０００等）に送信する割当データを生成し出力する機能を有する。
割当データとは、割り当てられたスライス分の画像データや復号に必要な情報等である。割当データ生成部３０００は、割当決定部２０００から受け取った画像データを解析し、復号に必要な情報を読み出す。詳細は図７を用いて後で説明する。

画像復号部（４０００、４００１、４００２、４００３）は、それぞれ通常の復号機能を有し、更に、本画像復号装置１０に特有の処理、例えば、必要な画像を他の画像復号部から取得する等の処理を行う機能を有する。
各画像復号部（４０００等）は、演算性能等の処理性能に差がある場合はあるが、本画像復号装置１０に特有の処理を行う機能は同じである。

また、画像記憶部（５０００、５００１、５００２、５００３）は、それぞれ画像復号部（４０００、４００１、４００２、４００３）が復号処理を行うための各種データを記憶する機能を有し、それぞれ容量は異なる場合はあるが、本画像復号装置１０に特有のデータ、例えば、どのスライスがどの画像復号部で復号されているかを示すデータなどを記憶する機能は同じである。

従って、以下、画像復号部４０００と画像記憶部５０００とのみを説明する。
まず、画像記憶部５０００から説明する。
画像記憶部５０００は、割当情報５１００、符号化データ５２００及び復号化データ５３００を記憶する。
割当情報５１００は、どのスライスがどの画像復号部に割り当てられているかを示す情報である。この情報は、他の画像復号部（４００１等）が復号した画像の参照が必要となった時に、他の該当する画像復号部（４００１等）に参照する画像（以下、「参照画像」という。）の送信依頼を行う際に参照される。更に、復号した画像を表示する際に、表示する画像がどの画像復号部（４００１等）の画像記憶部（５０００等）に記憶されているかを判別するためにも参照される。

この割当情報５１００は、割当決定部２０００が作成する割当情報２２００と基本的に同じものであるが、記憶している個数が異なる。すなわち、割当情報２２００は割当データを作成してしまえば不要となり更新されるが、割当情報５１００は、他の画像復号部（４００１等）を参照したり参照されたりすることから必要な分を必要な期間記憶している。

参照に必要な分とは、参照される可能性のある参照画像の含まれるスライスの割当情報であり、必要な期間とは、参照される可能性がなくなるまでの期間、すなわちスライスの復号された画像が表示されるまでの期間である。
符号化データ５２００は、画像復号部４０００に割り当てられたスライスの画像データと復号に必要な情報である。

復号化データ５３００は、画像復号部４０００で復号された画像データである。
この復号化データ５３００は、その画像が表示されるまで記憶されている。すなわち、その画像が含まれるピクチャが表示されるまでは記憶されている。
尚、本実施形態はＭＰＥＧ−２規格で符号化された画像データを復号する場合を例に説明しているが、例えば、Ｈ．２６４／ＡＶＣ規格で符号化された画像データの場合は、表示された後であっても参照される場合があることから、表示され且つ参照されることがなくなるまで記憶されていることになる。

次に、画像復号部４０００は、データ受信部４１００、参照画像取得部４２００、復号器４３００及び参照画像送出部４４００で構成される。
まず、データ受信部４１００は、割当データ生成部３０００から送出された割当データ、すなわち、担当するスライスの画像データ等を受信し、画像記憶部５０００に記憶させる機能を有する。割当情報５１００と符号化データ５２００とが記憶される。

参照画像取得部４２００は、スライスの復号に際して、他のスライスやピクチャの参照が必要となった場合に、他の画像復号部（４００１等）に参照画像の送信依頼を行い、参照画像を取得する機能を有する。
復号器４３００は、画像記憶部５０００の符号化データ５２００を読み込み、復号し、復号化したスライス（以下、「復号化スライス」という。）を復号化データ５３００に書き込む機能を有する。

参照画像送出部４４００は、他の画像復号部（４００１等）から参照画像の送信依頼を受けた場合に、画像記憶部５０００の復号化データ５３００から該当する画像を読み出し、依頼元に送信する機能を有する。
次に、図３を用いて、複数の画像復号装置（４０００等）で復号されたスライスを表示する方法を簡単に説明する。

図３は、本画像復号装置１０を用いてピクチャを復号表示する概要図である。
ピクチャ２００を圧縮符号化した画像データ（ビットストリーム）を復号して、ピクチャ２１０（表示画面）として表示する場合を説明する。画像組立部９０００は、画像記憶部（５０００等）から復号化スライスを読み出して、一枚のピクチャを再構成して表示する機能を有する。

まず、ピクチャ２００を構成するスライスは、それぞれ画像復号部（４０００、４００１等）に割り当てられ、復号される。復号化スライスは、画像記憶部（５０００等）の復号化データ（５３００、５３０１等）に記憶される。
画像組立部９０００は、割当情報５１００を参照して、スライス０１から順に、該当するスライスが記憶されている画像記憶部（５０００、５００１等）の復号化データ（５３００、５３０１等）から読み出して、表示する。

画像組立部９０００は、一枚のピクチャを表示するタイミングは、フレームレートに応じた時間である。
尚、本図では、画像記憶部５０００の割当情報５１００を参照しているが、他の画像記憶部（５００１等）の割当情報を参照してももちろんよく、画像組立部９０００が割当決定部２０００から取得して作業用メモリに記憶しておく等でもよい。

＜データ＞
以下、本画像復号装置１０で用いる主なデータについて、図４〜図８を用いて説明する。
図４は、属性情報１１００の構成及び内容例を示す図である。
属性情報１１００は、スライス番号１１０１とデータ量１１０２とで構成される。

スライス番号１１０１は、スライスの識別子であり、本実施形態ではスタートコード内のスライス番号とする（図２参照）。
データ量１１０２は、スライスのデータ量であり、属性情報検出部１０００によって検出される。
データ量の算出方法としては、例えば、スライスのスタートコード（図２参照）のアドレスと、次のスライスのスタートコードのアドレスとの差分から算出する。具体的には、スライスのデータ量（単位：ｂｉｔ）は、このアドレスの差分に８（ｂｉｔ）をかけた値となる。通常、スライスのスタートコードは、バイト（８ｂｉｔ）単位でアライメントされているためである。

例えば、スライス番号１００１「０１」で表されるスライスのデータ量は、「５００」ｋｂｉｔｓである。
図５は、性能情報２１００の構成及び内容例を示す図である。
性能情報２１００は、画像復号部ＩＤ２１０１、演算能力２１０２及びデータバンド幅２１０３で構成される。

画像復号部ＩＤ２１０１は、画像復号部（４０００等）の識別子であり、「Ｄｅｃ００」は画像復号部４０００を、「Ｄｅｃ０１」は画像復号部４００１を、「Ｄｅｃ０２」は画像復号部４００２を、「Ｄｅｃ０３」は画像復号部４００３を表すものとする。
演算能力２１０２は、画像復号部ＩＤ２１０１で示される画像復号部（４０００等）の演算能力を示し、「ＳＤＴＶ」は、ＳＤＴＶ画像サイズの圧縮符号化データであれば正しくリアルタイムに復号表示できる演算能力であることを示し、「ＨＤＴＶ」は、ＨＤＴＶ画像サイズまでの圧縮符号化データであれば正しくリアルタイムに復号表示できる演算能力であることを示している。

ここで、符号化規格と「ＳＤＴＶ」等との関係を簡単に説明すると、これらの規格は、いくつかの異なる規格の集合体であり、プロファイルとレベルにより規定されている。プロファイルは、画像がディジタル的に符号化されたときの異なる複雑さの度合いに対応したもの、すなわち使用する符号化要素技術の集合を定義したものであり、レベルは画像の異なる解像度に対応する。例えば、ＭＰＥＧ−２のメインプロファイル＠メインレベル（Main Profile@Main Level）は、ＳＤＴＶの画像サイズのビデオ信号の符号化を対象としており、メインプロファイル＠ハイレベルは、ＨＤＴＶの画像サイズのビデオ信号の符号化を対象としている。

次に、データバンド幅２１０３は、画像復号部ＩＤ２１０１で示される画像復号部（４０００等）の入力データバンド幅を示す。
例えば、画像復号部ＩＤ２１０１「Ｄｅｃ０２」で示される画像復号部４００２は、演算能力２１０２が「ＨＤＴＶ」、データバンド幅２１０３「８０」Ｍｂｐｓである。
図６は、割当情報５１００の構成及び内容例を示す図である。

割当情報２２００も同様の構成であるため、割当情報５１００のみ説明する。
割当情報５１００は、画像復号部ＩＤ５１０１と割当スライス番号５１０２とで構成される。
画像復号部ＩＤ５１０１は、性能情報２１００の画像復号部ＩＤ２１０１と同様である。

割当スライス番号５１０２は、対応する画像復号部ＩＤ５１０１で示される画像復号部に割り当てるスライスの番号を示すものである。ここで示すスライス番号は、属性情報１１００のスライス番号１１０１と同じものである。
例えば、画像復号部ＩＤ５１０１「Ｄｅｃ００」に対応する割当スライス番号５１０２は「０１」であり、属性情報１１００のスライス番号１１０１「０１」のスライスのデータ量１１０２は「５００」ｋｂｉｔｓであることから、画像復号部ＩＤ５１０１「Ｄｅｃ００」の画像復号部には５００ｋｂｉｔｓのスライスが割り当てられたことになる。

尚、ここでは、割当スライス番号は２つまで割り当てているが、これに限られない。
図７は、割当データ３１００等の構成及び内容例を示す図である。
この割当データ（３１００、３１０１、３１０２、３１０３）は、割当データ生成部３０００が生成するデータであり、各画像復号部（４０００、４００１，４００２，４００３）毎に生成される。

この割当データ（３１００等）は、割り当てられたスライスのデータに割当情報２２００と復号に必要な情報（本図では「パラメータ」と記載している。）２２１０とが付加されたものである。
具体的には、割り当てられた最初のスライスのスタートコード１０１の前に割当情報２２００と復号に必要な情報（パラメータ）２２１０とを付加する。この際、ユーザデータを示すスタートコード２２０１「０００００１ ｂ２」を割当情報２２００等の前に付加する。

この復号に必要な情報（パラメータ）とは、割当データ生成部３０００（図１参照）が、画像データを解析して抜き出した情報である。具体的には、各画像復号部（４０００等）に渡すスライスのデータ以外の部分、例えば、スライスより上位層にあるシーケンスヘッダやＧＯＰヘッダなどに含まれるフレームサイズやフレームレートなど、各画像復号部（４０００等）がスライスを復号する際に必要な情報である。

これにより、各画像復号装置（４０００等）に、割り当てられたスライスのデータと割当情報２２００とが通知され、この割当情報２２００を参照することにより参照画像を取得することが可能となる。
ここで、スライスを画像復号部に割り当てる１方法について説明する。
＜割当情報の作成方法＞
図８は、画像復号部（４０００等）がスライスを復号するタイムチャートを示す図である。

本図において、「Ｓ０１」はスライス番号が「０１」のスライスを表し、「Ｓ０２」等も同様である。「Ｄｅｃ００」〜「Ｄｅｃ０３」は画像復号部ＩＤである。
Ｄｅｃ００がスライス０１を復号している間（ｔ０）と並列に、Ｄｅｃ０１ではスライス０２とスライス０３を、Ｄｅｃ０２では、スライス０４とスライス０５を、Ｄｅｃ０３はスライス０６を復号する。

それぞれの画像復号部Ｄｅｃ００〜Ｄｅｃ０３が、割当られたスライスの復号を終了すると、割当データ生成部３０００から次の割当データが送出され、スライス０７〜スライス１１の復号が開始される（ｔ１）。
本実施形態では、各画像復号部Ｄｅｃ００〜Ｄｅｃ０３の復号処理終了から、次の復号処理までの空き時間をなるべくなくすように、スライスを割り当てる。

一般に、スライス単位のデータ量が大きいほど、スライスの処理負荷が高いため、処理能力の高い画像復号部で復号処理を行う必要がある。
また、各画像復号部での復号処理を妨げないよう、各画像復号部に割当データを供給するためには、割り当てるスライスのデータ量に応じて、データバンド幅を決める必要がある。すなわち、割り当てるスライスのデータ量が大きいほど、画像データを受信できるデータバンド幅が広い画像復号部を割り当てる必要がある。

このように、画像復号部の処理性能とスライスのデータ量とを考慮してスライスを画像復号部に割り当てることで、ピクチャを構成する各スライスの処理を高速に行い、ピクチャを構成する全スライスを１フレーム時間内に終了させることが可能となり、リアルタイム処理を行うことができるようになる。
＜動作＞
以下、本発明に係る画像復号装置１０の動作について図９と図１０とを用いて説明する。

図９は、割当データを生成する処理を表すフローチャートであり、図１０は、画像復号部によって行われるスライスを復号する処理を表すフローチャートである。
この割当データを生成する処理とスライスを復号する処理とは、並列に行われる。すなわち、スライスを復号している間に、次の割当データが作成される。
まず、図９を用いて、割当データを生成する処理を説明する。

この処理は、属性情報検出部１０００、割当決定部２０００及び割当データ生成部３０００が行う処理である。
画像データであるビットストリームを読み込んだ属性情報検出部１０００は（ステップＳ１００）、スタートコードを検出する（ステップＳ１１０）。
スタートコードを検出したら、スライス番号を読み出し、次のスタートコードを検出するまで画像データを読み飛ばし、スライスのデータ量を検出する。スライス番号とデータ量を、属性情報１１００に登録する（ステップＳ１２０）。

属性情報を検出した属性情報検出部１０００は、読み込んだ画像データをそのまま割当決定部２０００に渡し、割当決定部２０００は、読み込んだ画像データのスライスをどの画像復号部に割り当てるかを決定する（ステップＳ１３０）。
決定後、画像復号部に復号処理を開始させるか否かを判断し、否と判断した場合は、さらに画像データを読み込む（ステップＳ１４０：ＮＯ）。

復号を開始すると判断した場合（ステップＳ１４０：ＹＥＳ）は、割当生成部３０００に割当情報２２００に従って、割当データを作成するよう依頼する。
ここで、画像復号部に復号処理を開始させるか否かの判断は、例えば、割当決定部２０００が備える画像データを蓄積しているバッファリング手段がオーバーフローし、且つ、全ての画像復号部（４０００等）の復号処理が完了した場合に、復号処理を開始させると判断する。

割当データの生成依頼を受けた割当生成部３０００は、割当情報２２００を参照して、割当決定部２０００のメモリに蓄積されている画像データを読み出して、各画像復号部（４０００等）に送信する画像データを生成する（ステップＳ１５０）。生成した割当データは、各画像復号部（４０００、４００１等）にそれぞれ送出する（ステップＳ１６０）。

画像データが無くなれば（ステップＳ１７０：ＹＥＳ）処理を終了し、まだあれば（ステップＳ１７０：ＮＯ）、割当データを生成する処理を続行する。
次に、図１０を用いて、スライスを復号する処理を説明する。
この処理は、各画像復号部（４０００、４００１等）が行う処理である。ここでは、画像復号部４０００の動作を説明する。他の画像復号部（４００１等）も、並行して同様の復号処理を行う。

割当データ３１００（図７参照）を受信したデータ受信部４１００は（ステップＳ２００）、受信した割当データ３１００から、割当情報２２００を取り出し、画像記憶部５０００内の割当情報５１００に記憶させ、スライスのデータは、符号化データ５２００に記憶させる（ステップＳ２１０）。記憶させたデータ受信部４１００は、復号器４３００に復号の開始を依頼する。

依頼を受けた復号器４３００は、符号化データ５２００から復号するスライス中のマクロブロック（以下、「対象マクロブロック」という。）を順に読み出し（ステップＳ２２０）、復号を開始する。
復号器４３００は、対象マクロブロックの復号に際し、他の画像復号部（４００１等）で復号されたスライスのマクロブロックを参照する必要があるか否か、すなわち、他の画像復号部を参照するか否かを判断する。

他の画像復号部を参照するか否かは、対象マクロブロックのタイプと参照するスライスを基に、画像記憶部５０００に記憶されている割当情報５１００を参照して判断する。
具体的には、対象マクロブロックのタイプが他のスライスの画像を参照する必要があるタイプを示す場合であって、当該他のスライスが他の画像復号部（４００１等）に割り当てられている場合は、参照すると判断する。従って、対象マクロブロックのタイプが他のスライスの画像を参照する必要があるタイプを示す場合であっても、参照すると判断されない場合もある。また、対象マクロブロックのタイプが画面内参照符号化されたことを示す場合も、参照しないと判断される。

他の画像復号部を参照すると判断された場合は（ステップＳ２３０：ＹＥＳ）、参照するマクロブロック（以下、「参照マクロブロック」という。）の復号後のデータを取得するよう参照画像取得部４２００に依頼する。この際、参照マクロブロックを特定できる情報、例えば、ピクチャ番号と動きベクトル等を指定する。
参照マクロブロックの取得を依頼された参照画像取得部４２００は、画像記憶部５０００に記憶されている割当情報５１００を参照し、参照マクロブロックの復号を行った画像復号部ＩＤ５１０１を求める。参照画像取得部４２００は、求めた画像復号部ＩＤ５１０１宛に、参照マクロブロックのデータを送信するよう依頼し、取得する（ステップＳ２５０）。

また、他のスライスのマクロブロックを参照する必要がないときは（ステップＳ２３０：ＮＯ）、参照マクロブロックのデータを画像記憶部５０００の復号化データ５３００から読み出す（ステップＳ２４０）。
復号器４３００は、取得した参照マクロブロックのデータ等を使用して、対象マクロブロックを復号し、復号後のデータを復号化データ５３００に書き込む（ステップＳ２６０）。

このマクロブロックの復号処理を、割り当てられたスライスが終了するまで行う（ステップＳ２７０）。終了後は、割当決定部２０００に、終了を通知する。
＜実施形態２＞
＜概要＞
実施形態１では、スライス単位に、スライスのデータ量に基づいて画像復号部に割り当てたが、本実施形態ではピクチャ単位に、ピクチャのタイプ（Ｉ、Ｐ、Ｂ）に基づいて画像復号部に割り当てる例を説明する。スライスのタイプに基づいて、スライス単位で割り当ててももちろんよいが、ここでは説明の便宜上、ピクチャ単位で説明する。

ＭＰＥＧ−２規格におけるピクチャは、次の３タイプがある。
画面内予測を行うＩピクチャ、過去のピクチャから前方向予測を行うＰピクチャ、過去と未来のピクチャから双方向予測を行うＢピクチャである。
＜機能＞
本実施形態の画像復号装置の構成は、実施形態１と同様である。

異なる点は、ピクチャ単位で復号するように動作する点と、属性情報検出部１０００が、スライスの属性を検出する代わりに、ピクチャの属性を検出する点である。
実施形態１では、スライスの属性としてスライスのデータ量を求めたが、本実施形態では、ピクチャの属性としてピクチャタイプを求める。
また、これに伴い、ピクチャタイプに応じて、割当決定部２０００はピクチャを画像復号部（４０００等）に割り当てる。

図１１は、画像データとピクチャの関係を示す図である。
スタートコード３０１は、１６進数表記で「０００００１（２３個の０の後に１）」という値とその後の「００」のデータの３２ビットからなる。
属性情報検出部１０００は、画像データ３００からスタートコード３０１を検出し、ピクチャヘッダ（図示していない。）から、ピクチャタイプを読み出し、読み出したピクチャタイプと参照ピクチャとをそのピクチャの属性情報として記憶し、次のスタートコードまで読みすことを繰り返す。スタートコード３０１から次のスタートコード３０３の間のデータ３０２が１ピクチャの画像データとなる。

＜データ＞
以下、本実施形態の属性情報６１００と割り当て情報２２００について、図１２〜図１５を用いて説明する。
まず、図１２を用いて、ピクチャタイプ、表示順序、参照画面、復号順序の関係を説明する。

矩形がピクチャを表し、その中の「Ｉ」、「Ｂ」、「Ｐ」は、それぞれＩタイプ、Ｂタイプ、Ｐタイプを表す。
「表示順序」は、ピクチャを表示する順序を表し、本説明ではピクチャ番号とする。
「参照画面」は、該当するピクチャが参照するピクチャ番号を表し、「復号順序」は、ピクチャの復号する順序を表す。

例えば、「表示順序」が「４」のピクチャは、「参照画面」が「０」、すなわち、ピクチャ番号が「０」のピクチャを参照するＰタイプであり、「復号順序」が「１」、すなわち、２番目に復号するピクチャである。
図１３は、属性情報６１００の構成及び内容例を示す図である。この属性情報６１００は、実施形態１における属性情報１１００に代わるものである。

属性情報６１００は、復号順序６１０１、ピクチャ番号６１０２、ピクチャタイプ６１０３及び参照ピクチャ６１０４で構成される。
復号順序６１０１は、復号するピクチャの順序を示す。
ピクチャ番号６１０２は、ピクチャの識別子を示し、ここでは、ピクチャの表示番号とする。

ピクチャタイプ６１０３は、ピクチャのタイプを示し、「Ｉ」、「Ｂ」、「Ｐ」は、それぞれＩタイプ、Ｂタイプ、Ｐタイプを表す。
また、参照ピクチャ６１０４は、該当するピクチャが参照するピクチャのピクチャ番号を表す。すなわち、この参照ピクチャが復号されていなければ、該当ピクチャは正しく復号できないこととなる。

例えば、復号順序６１０１が「０」、すなわち最初に復号するピクチャは、ピクチャ番号６１０２が「０」のピクチャであり、ピクチャタイプ６１０３が「Ｉ」、すなわち、画面内予測によってのみ復号できるＩピクチャである。Ｉピクチャであるので、参照ピクチャ６１０３はない。
次に、図１４は、割当情報６２００の構成及び内容例を示す図である。この割当情報６２００は、実施形態１における割当情報２２００に代わるものである。

割当情報６２００は、復号順序６１０１と画像復号部６２０１とで構成される。
復号順序６１０１は、属性情報６１００の復号順序６１０１と同じである。また、画像復号部６２０１は、画像復号部の識別子であり、「Ｄｅｃ００」は画像復号部４０００を、「Ｄｅｃ０１」は画像復号部４００１を、「Ｄｅｃ０２」は画像復号部４００２を、「Ｄｅｃ０３」は画像復号部４００３を表すものとする。

例えば、復号順序６１０１が「０」のピクチャは、「Ｄｅｃ００」と「Ｄｅｃ０３」とで復号する。
以下に、ピクチャを画像復号部に割り当てる１方法について説明する。
＜割当情報の作成方法＞
図１５は、画像復号部がピクチャを復号するタイムチャートを示す図である。

本図において、「Ｐ０（Ｉ）」はピクチャ番号が「０」のピクチャであって、Ｉピクチャであることを表し、「Ｐ２（Ｂ）」等も同様である。「Ｄｅｃ００」〜「Ｄｅｃ０３」は画像復号部ＩＤである。
本図のタイムチャートは、図１４で示す割当情報６２００に従って、復号処理を行った場合を示している。最初にピクチャ０（復号順序「０」）をＤｅｃ００とＤｅｃ０３とで復号し、次に、ピクチャ４（復号順序「１」）を復号する。ピクチャ０とピクチャ４は、実施形態１のように、それぞれスライス毎にＤｅｃ００とＤｅｃ０３に割り当てられ、復号されることになる。

その後、ピクチャ１（復号順序「２」）とピクチャ２（復号順序「３」）をＤｅｃ０１で、ピクチャ３（復号順序「４」）をＤｅｃ０２で、ピクチャ８（復号順序「５」）をＤｅｃ００とＤｅｃ０３とで復号する。
ここで、割り当ての基本的な考え方の例を説明する。
ここでは、２つの要素を考慮する。１つ目はピクチャタイプであり、２つ目は参照ピクチャである。

まず、参照画像の読み出しの多いピクチャは、データバンド幅の広い画像復号部に割り当てる。Ｂピクチャ、Ｐピクチャ、Ｉピクチャの順で画像読み出しが多いと考えられることから、この順でデータバンド幅の広い画像復号部に割り当てる。
次に、Ｂピクチャは、参照ピクチャとなるＩピクチャまたはＰピクチャが復号された後でなければ復号できないことから、ピクチャ番号「１」の参照ピクチャであるピクチャ番号「４」を先に復号する（ｔ１０参照）。このとき、復号できるピクチャは他に無いため、Ｄｅｃ０１とＤｅｃ０２には、ピクチャは割り当てられていない。その後、ピクチャ番号「１」のピクチャを復号する（ｔ１１参照）。

このように、ピクチャタイプと参照ピクチャを考慮して、ピクチャの復号順序と割り当てる画像復号部とを決定し、割当情報６２００を作成する（図１４参照）。
＜動作＞
本実施形態の画像復号装置の動作は、図９と図１０とを用いて説明した実施形態１と同様である。

異なるのは、ピクチャ単位で復号する点と、それに伴うステップＳ１２０で検出する属性情報６１００と、ステップＳ１３０で作成する割当情報６２００である。
本実施形態では、各画像記憶部（５０００等）に復号されたピクチャ（以下、「復号化ピクチャ」という。）又は復号化ピクチャの一部が記憶されているので、画像組立部９０００（図３参照）は、割当情報６２００を参照して、符号化ピクチャを表示順序に応じて読み出し、必要に応じて組み立てて表示する。
＜実施形態３＞
本実施形態の画像復号装置２０のブロック図を図１６に示す。

実施形態１では、画像復号部（４０００、４００１、４００２、４００３）は、それぞれ画像記憶部（５０００、５００１，５００２、５００３）を備えていたが、本実施形態では、１つの画像記憶部５９００を共有する点のみが異なる。
実施形態１では、各画像記憶部（５０００等）は、割当情報５１００、符号化データ５２００及び復号化データ５３００を記憶している（図１参照）。

本実施形態では、各画像復号部（４０００等）は、それぞれに画像記憶部５９００内に、割当情報５１００と符号化データ５２００とを記憶するための領域が割り当てられており、復号化データ５３００を共通にするものとする。尚、割当情報５１００は共通としてもよい。
復号化データ５３００を共通にするとは、例えば、復号化ピクチャを記憶する領域をピクチャ単位に設けることである。

各画像復号部（４０００等）は、割当データ（３１００等）を復号した結果、すなわち割り当てられたスライスの復号結果である復号化スライスを、割当情報５１００を参照して、復号化ピクチャ内の該当するスライスの位置に記憶する。
各画像復号部（４０００等）が、それぞれに割り当てられたスライスの復号化スライスを復号化ピクチャの領域に書き込むことで、復号化ピクチャを完成させる。

また、参照画像が必要なときは、復号化ピクチャの領域から、該当する参照マクロブロックを読み出し復号する。
表示については、実施形態１では、画像フレームのラスタ順に表示すべき復号結果を各画像記憶部５９００から読み出す必要があった。本実施形態では、符号化スライスはピクチャを構成するように割り当てられた領域に書き込まれている。従って、符号化ピクチャからラスタ順に復号結果を表示する手段に送ることで画像フレームを表示することができるので、スライスからピクチャを組み立てる必要がないという利点がある。
＜実施形態４＞
本実施形態の画像復号装置３０のブロック図を図１７に示す。

実施形態１では、割当データ生成部３０００で生成した割当データ（３１００等）は、画像復号部（４０００、４００１、４００２、４００３）に送出されていたが、本実施形態では、一旦、割当データ蓄積部８０００に記憶し、割当データ蓄積部８０００から各画像復号部（４０００等）に割当データを送出する点のみが異なる。
割当データ蓄積部８０００を設けるのは、画像復号部（４０００等）に対する割当データ生成部３０００の生成処理が、画像復号部（４０００等）の処理に対して間に合わなくなる場合があるためである。間に合わない場合は、画像復号処理のリアルタイム処理ができなくなる。

割当データの生成処理が間に合わなくなる場合とは、例えば、割り当ての単位をスライスよりも小さい単位、すなわち、マクロブロック複数個を単位とする場合である。
通常のＭＰＥＧ−２規格で符号化されたビットストリームにおいて、スタートコードで識別できるセグメントの最小単位はスライス単位であるが、ビットストリームを逐一可変長復号することにより、スライス層以下の単位であるマクロブロックの区切りを識別することが可能である。

そこで、識別したマクロブロックの区切りにＭＰＥＧ−２規格で予約されていないスタートコードを付加することにより、複数マクロブロック単位でのセグメント化を行うことができる。
この場合、複数マクロブロック単位での割り当てを行うためには、画像データ１００を逐一可変長復号することが必要であり、実施形態１等のように属性情報検出部１０００で画像データを読み飛ばさないため、通常の復号動作と同様な処理時間がかかることとなる。

従って、割当データ生成部３０００の生成処理が、画像復号部（４０００等）の処理に対して間に合わなくなる場合が生ずる。
そこで、割当データ生成部３０００で生成された割当データを、割当データ蓄積部８０００に蓄積し、画像復号部（４０００等）の処理と非同期とすることで、画像復号部（４０００等）における復号処理を画面フレームの表示に間に合わせることが可能となる。

このとき、逐一可変長復号する過程において、動きベクトルなどの動き補償情報を取得し、属性情報として割当データに付加することもできる。
この動き補償情報としての動きベクトルは、参照画像を画像記憶部（５０００等）から読み出すときに参照する。
また、属性情報検出部１０００〜割当データ生成部３０００の処理能力が、画像復号部（４０００等）の処理能力に対して低いために画像復号部（４０００等）でのリアルタイム処理ができなくなる場合にも、本実施形態は有効である。

以下に、画像データを複数の画像復号部に割り当てる１方法について説明する。
＜割当情報の作成方法＞
各画像復号部（４０００等）の画像データの処理時間が均等となり、且つ、処理時間が短くなるように、各画像復号部（４０００等）に画像データを割り当てる。
具体的には、復号すべき画像データ（ビットストリーム）の単位時間当たりのマクロブロック数と、各画像復号部（４０００等）の処理性能、すなわち、単位時間当たりに処理できるマクロブロック数とから、割り当てを決める。

まず、画像データの１秒あたりのマクロブロック数「ｌ（エル）」を求める。
マクロブロック数「ｌ」は、画像データの対応画像フレームサイズとフレームレートから求める。フレームサイズとフレームレートは、ヘッダ情報から取得する。
マクロブロックを、「１６画素×１６画素」とし、フレームサイズを「ｓ（水平画素数）×ｔ（垂直画素数）」とし、フレームレートを「ｕ」とすると、１秒間に復号しなければならないマクロブロック数は、「ｌ＝ｓ／１６×ｔ／１６×ｕ」となる。「／」は余剰切り上げとする。

例えば、画像データがデジタル・シネマ規格の４Ｋ規格である場合、画像フレームサイズが４０９６画素２１６０ライン、フレームレートは毎秒２４フレームとすると、１秒間に復号しなければならないマクロブロックの個数は「ｌ＝２５６×１３５×２４＝８２９，４４０」個となる。
次に、各画像復号部（４０００等）の１秒当たりに処理できるマクロブロック数「Ｐｉ」を求める。「ｉ」は、並列に処理可能な画像復号部（４０００等）の数１〜ｎであり、本実施形態ではｎは４である。

画像復号部の仕様として規定されている対応画像フレームサイズを「ｓｉ（水平画素数）×ｔｉ（垂直画素数）」とし、フレームレートを「ｕｉ」とすると、１秒間に復号可能なマクロブロック数は、「Ｐｉ＝ｓｉ／１６×ｔｉ／１６×ｕｉ」となる。
例えば、性能情報２１００の演算能力２１０２（図５参照）が「ＳＤＴＶ」の画像復号部は、ＳＤＴＶの画像フレームサイズが７２０画素４８０ラインであり、フレームレートは毎秒３０フレームであるので、毎秒「Ｐｉ＝４５×３０×３０＝４０，５００」個のマクロブロックの処理が可能ということになる。

ここで、単一の画像復号部の性能を超える、単一のビットストリームの画像データの復号処理を行う場合を考える。
画像復号部の処理性能「Ｐｉ」の総和を「Ｑ」とすると、「ｌ／Ｑ＜１」となるように、複数の画像復号部を確保できることが前提となる。
次に、確保した画像復号部には、処理時間が均等となるようにマクロブロックを割り当てる。各画像復号部に割り当てる画像データの量を「ｍｉ」とする。「ｉ」は、確保した画像復号部（４０００等）の数１〜ｎである。

各画像復号部が割り当てられたマクロブロックを処理する時間、「ｍｉ／Ｐｉ」ができるだけ等しくなるように、マクロブロックを各画像復号部に割り当てる。
このように、各画像復号部にマクロブロックを割り当てることで、画像復号部が遊んでしまう時間を短くし、効率的な復号処理を行うことができる。
本実施形態では、一秒間に復号処理可能なマクロブロック数で処理能力を算出しているが、処理能力の算出はこれに限定されるものではない。

また、確保する画像復号部は、画像復号装置が備える全ての画像復号部であっても一部の画像復号部であってもよい。一部の画像復号部を使用する場合は、使用しない他の画像復号部で別の画像データの復号処理を行わせることとしてもよい。
尚、他の実施形態のスライスやピクチャを割り当てる場合でも、各スライスやピクチャを構成するマクロブロック数を基に、復号させる画像復号部を決定することとしてもよい。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、割当情報５１００は画像記憶部（５０００等）に記憶することとしているが、画像復号部（４０００等）の内部のメモリに記憶することとしてもよい。

割当情報５１００を画像復号部（４０００等）の内部のメモリに記憶した場合は、割当情報５１００へのアクセスが高速となるという利点がある。
（２）実施形態では、割当情報５１００は、画像復号部ＩＤ５１０１毎に、割当スライス番号５１０２を対応させる構成としているが、図１９に示すような割当情報５２００のような構成としてもよい。

すなわち、スライス番号５２０１毎に、画像復号部ＩＤ５２０２を対応させる。このような構成にすることにより、各画像復号部に割り当てるスライスの個数の制限をなくすことができ、よりフレキシブルな割り当てが可能になるという利点がある。
（３）実施形態では、スライスの復号に必要となるシーケンスヘッダやピクチャヘッダ内の情報は、割当データとして各画像復号部に送っているが、他の方法で各画像復号部に知らせることとしても良い。

例えば、実施形態では割当情報２２００とともに割り当てられたスライスのデータのみを各画像復号部に渡しているが、割当情報２２００とともに全画像データ、例えば、ビデオシーケンスの先頭からのデータをすべて各画像復号部に渡すこととしてもよい。この場合、各画像復号部がそれぞれ割り当てられたスライスデータを全画像データから取り出して、符号化データ５２００として格納する。各画像復号部はシーケンスヘッダやピクチャヘッダを参照することができるので、復号に必要な情報を得ることが可能となる。

また、画像の復号を制御する属性情報検出部１０００、割当決定部２０００、割当データ生成部３０００が必要な情報をストリームを介さずに、各画像復号部に設定することとしてもよい。
（４）画像復号装置は、図１の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。

例えば、画像記憶部（５０００等）を除く各機能部は、単一の半導体集積回路上に実現されてもよい。
また、画像復号部（４０００等）は、単一の半導体集積回路で実現され、属性情報検出部１０００と割当決定部２０００と割当データ生成部３０００とは、単一の半導体集積回路上に実現されてもよい。

また、画像復号部（４０００等）は、それぞれ異なる半導体集積回路で実現され、セグメントデータ量／特徴情報検出手段１０１、属性情報検出部１０００と割当決定部２０００と割当データ生成部３０００とは、単一の半導体集積回路上に実現されてもよい。
（５）画像復号装置は、図１の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。

コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
（６）画像復号部（４０００等）と画像記憶部（５０００等）とは、ＳＴＢ（Set Top Box）、ＤＶＤレコーダのような個別のシステムで実現されてもよい。

また、割当データ蓄積部８０００は、ハードディクス付ＤＶＤレコーダなどのハードディスクを装備する機器のハードディスクで実現されてもよい。
（７）実施形態では、スライス単位での割り当てをデータ量によって、ピクチャ単位の割り当てをピクチャタイプによって行ったが、これらや、これら以外の属性をあわせて、データ量とタイプ等とで割り当てを決定してもよい。
（８）実施形態では、画像復号部の性能情報２１００として、演算能力とデータバンド幅を使用することとしているが、他のものであってもよい。

また、実施形態では、使用可能な画像復号部の全てを使用しているが、一部であってもよく、更には、複数の画像データのビットストリームを復号することとしてもよい。

本発明は、画像の復号処理を行うＡＶ機器に適用することができる。

実施形態１の画像復号装置の構成を示すブロック図である。 画像データとスライスの関係を示す図である。 画像復号装置１０を用いてピクチャを復号表示する概要図である。 属性情報１１００の構成及び内容例を示す図である。 性能情報２１００の構成及び内容例を示す図である。 割当情報５１００の構成及び内容例を示す図である。 割当データ３１００等の構成及び内容例を示す図である。 画像復号部（４０００等）がスライスを復号するタイムチャートを示す図である。 割当データを生成する処理を表すフローチャートである。 画像復号部によって行われるスライスを復号する処理を表すフローチャートである。 画像データとピクチャの関係を示す図である。 ピクチャタイプ、表示順序、参照画面、復号順序の関係を示す図である。 属性情報６１００の構成及び内容例を示す図である。 割当情報６２００の構成及び内容例を示す図である。 画像復号部がピクチャを復号するタイムチャートを示す図である。 実施形態３の画像復号装置の構成を示すブロック図である。 実施形態４の画像復号装置の構成を示すブロック図である。 従来の画像復号装置の構成を示すブロック図である。 割当情報５２００の構成及び内容例を示す図である。

符号の説明

１０ ２０ ３０ 画像復号装置
１０００ 属性情報検出部
１１００ 属性情報
２０００ 割当決定部
２１００ 性能情報
２２００ ５１００ 割当情報
２３００ 性能情報取得部
３０００ 割当データ生成部
４０００ ４００１ ４００２ ４００３ 画像復号部
４１００ データ受信部
４２００ 参照画像取得部
４３００ 復号器
４４００ 参照画像送出部
５０００ ５００１ ５００２ ５００３ 画像記憶部
５２００ 符号化データ
５３００ 復号化データ
８０００ 割当データ蓄積部
９０００ 画像組立部

Claims (12)

1. 符号化され、複数の部分データで構成されている画像データを復号する画像復号装置であって、
   複数の復号器と、
   前記部分データの復号処理時間に影響を及ぼす属性であって、当該部分データのデータ量を少なくとも含む属性情報を取得する属性情報取得手段と、
   前記複数の復号器それぞれの処理能力を取得する処理能力取得手段と、
   前記属性情報取得手段で取得した部分データについての属性情報と前記処理能力取得手段で取得した各復号器の処理能力とに基づいて、当該部分データを復号させる復号器を決定する決定手段と、
   ２以上の部分データを前記決定手段で決定した２以上の復号器に並行して復号させる復号手段と
   を備えることを特徴とする画像復号装置。
2. 前記各部分データは識別子を有しており、
   前記画像復号装置は、更に、前記決定手段で決定した復号器の識別子と当該復号器で復号させる部分データの識別子とを対応付けた対応情報を記憶している対応記憶手段を備え、
   前記部分データの属性情報は、当該部分データを復号する際に、他の部分データの復号結果を参照することが必要か否かを示し、
   前記決定手段は、属性情報が他の部分データの復号結果を参照することが必要であることを示す部分データを復号させる復号器として、当該他の部分データを復号させる復号器より処理能力の高い復号器を決定し、
   前記復号手段は、復号する部分データが他の部分データの復号結果を参照することが必要なときは、前記対応情報の当該他の部分データが対応付けられている復号器の出力結果を取得して、当該部分データを復号させること
   を特徴とする請求項１に記載の画像復号装置。
3. 前記復号手段は、属性情報が他の部分データの復号結果を参照することが必要であることを示す部分データを復号する前に、当該他の部分データを復号させること
   を特徴とする請求項２に記載の画像復号装置。
4. 前記部分データの属性情報は、当該部分データのデータ量であり、
   前記復号器の処理能力は、当該復号器が入力するデータのバンド幅であり、
   前記決定手段は、他の部分データより大きいデータ量を属性情報とする部分データを復号させる復号器として、他の部分データを復号させる復号器よりバンド幅が広い復号器を決定すること
   を特徴とする請求項３に記載の画像復号装置。
5. 前記部分データは、前記画像データであるビットストリームの一部であって、ピクチャを構成するビット列であること
   を特徴とする請求項１に記載の画像復号装置。
6. 前記部分データは、前記画像データであるビットストリームの一部であって、ピクチャの一部分を構成するビット列であること
   を特徴とする請求項１に記載の画像復号装置。
7. 複数の復号器を備え、符号化され、複数の部分データで構成されている画像データを復号する画像復号装置で用いられる画像復号方法であって、
   前記部分データの復号処理時間に影響を及ぼす属性であって、当該部分データのデータ量を少なくとも含む属性情報を取得する属性情報取得ステップと、
   前記複数の復号器それぞれの処理能力を取得する処理能力取得ステップと、
   前記属性情報取得ステップで取得した部分データについての属性情報と前記処理能力取得ステップで取得した各復号器の処理能力とに基づいて、当該部分データを復号させる復号器を決定する決定ステップと、
   ２以上の部分データを前記決定ステップで決定した２以上の復号器に並行して復号させる復号ステップと
   を備えることを特徴とする画像復号方法。
8. 前記各部分データは識別子を有しており、
   前記画像復号装置は、更に、部分データの識別子と復号器の識別子とを対応付けた対応情報を記憶している対応記憶手段を備え、
   前記決定手段は、決定した復号器の識別子と当該復号器で復号する部分データの識別子とを対応付けて前記対応記憶手段に記憶させ、
   前記復号手段は、部分データの識別子で示される部分データを、対応する復号器の識別子で示される復号器に復号させること
   を特徴とする請求項１に記載の画像復号装置。
9. 前記処理能力取得手段は、前記複数の復号器について、復号器の増減があった場合に、各復号器の処理能力を取得する
   ことを特徴とする請求項１に記載の画像復号装置。
10. 前記画像復号装置は、更に、前記決定手段による決定に従って、各復号器で復号する部分データと、当該部分データを復号する為に必要な復号用データと、前記対応情報を含む割当データを生成し、前記割当データを前記復号手段に出力する割当データ生成手段を備える
    ことを特徴とする請求項８に記載の画像復号装置。
11. 前記複数の復号器各々は、前記割当データに含まれる対応情報を取得して記憶する復号器側対応記憶手段を備え、
    前記画像復号装置は、
    前記復号器側対応記憶手段に記憶されている前記対応情報で示される復号器の識別子と復号させる部分データの識別子との対応関係を用いて、各復号器で復号された部分データから復号された画像データを生成する生成手段を備える
    ことを特徴とする請求項１０に記載の画像復号装置。
12. 前記複数の復号器各々は、
    前記割当データに含まれる対応情報を取得して記憶する復号器側対応記憶手段と、
    復号して得られた部分復号データを記憶する復号データ記憶手段とを備え、
    前記画像復号装置は、更に、
    前記復号器側対応記憶手段に記憶されている前記対応情報で示される復号器の識別子と復号させる部分データの識別子との対応関係を用いて、前記復号データ記憶手段各々から復号された部分復号データを取得し、復号された画像データを生成する生成手段を備える
    ことを特徴とする請求項１０に記載の画像復号装置。

Images