JP5324431B2 - 画像復号装置、画像復号システム、画像復号方法、及び集積回路 - Google Patents

Description

本発明は、ディジタル的に符号化されたビデオ信号の復号処理に関する。特に、本発明は、複数のビデオ信号復号コア若しくはチップ及び複数のビデオ信号用メモリから構成される画像復号装置において、符号化されたビデオ信号を分散処理する場合の復号処理及びエラー検出に関する。

ディジタル的に符号化されたビデオ信号の国際標準規格の代表的なものとして、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２規格がある。
また、近年では、ＭＰＥＧ−２規格よりも符号化効率の高い新たな方式であるＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ）規格及びＶＣ−１規格が、地上ディジタル放送、ＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ）、及びＨＤ−ＤＶＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ−ＤＶＤ）規格に対応したプレーヤ、レコーダなどの機器に使用され始めている。

これらの規格は、いくつかの異なる規格の集合体であり、プロファイルとレベルにより規定されている。プロファイルは画像がディジタル的に符号化されたときの複雑さの度合いを示し、レベルは画像の解像度を示す。
例えば、ＭＰＥＧ−２メインプロファイル＠メインレベル（Ｍａｉｎ Ｐｒｏｆｉｌｅ＠Ｍａｉｎ Ｌｅｖｅｌ）は、ＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）のテレビジョン規格に従うビデオ信号の符号化を対象としており、ＳＤＴＶの画像サイズは、１ラインあたり７２０画素、１画像フレームあたり４８０ラインである。

一方、ＭＰＥＧ−２メインプロファイル＠ハイレベルは、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）画像サイズのビデオ信号の符号化を対象としており、ＨＤＴＶの画像サイズは、１ラインあたり１９２０画素、１画像フレームあたり１０８０ラインである。
現在、ＤＴＶ（Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）レコーダ、ＢＤレコーダなどの分野では、商品の差別化のために大画面化への対応を急速に進めており、ＨＤＴＶ画像サイズが主流になりつつある。また、今後は、ＨＤＴＶ画像サイズを超える画像サイズへの対応が必要となることも予想される。

このような状況から、近年のマイクロプロセッサ開発は、単一プロセッサコアの高性能化から、マルチプロセッサ構造による複数プロセッサコアでの高性能化へと変化している。例えば、特許文献１は、ＭＰＥＧ−２で圧縮された画像データを複数の画像デコーダに直接入力し、これらを並列に使用して復号処理を行う動画像復号装置に関する技術を開示している。

特許文献１の動画像復号装置は、４つの画像デコーダを有し、各画像デコーダに予め設定されている値と画像データのデータ量とに応じて、各画像デコーダが処理を担当する画像データを決定する。特許文献１の動画像復号装置は、高い処理能力が必要となる画像のデコードを、比較的安価に実現することができる。
また、画像復号装置におけるエラー検出時の処理については様々な技術が開示されている（例えば、特許文献２）。特許文献１の動画像復号装置では、符号化された画像データに復号継続不能となるエラーが含まれる場合には、エラーが検出された位置から次の画像データまで圧縮された画像データを読み飛ばし,次の画像データから復号処理を開始するという制御を行う。

特開平１０−１７８６４４号公報 特開２００７−１３４１９号公報

ここで、特許文献１に記載された画像デコーダは、単一スライスを単位として復号処理を行っている。しかしながら、符号化された画像データのデータ量はスライス毎に異なり、データ量に応じて処理負荷は異なる。従って、特許文献１に開示されている技術を用いた場合、各画像デコーダの処理負荷が不均衡になる。
特に、Ｈ．２６４／ＡＶＣ規格、及びＶＣ−１規格などの最新の符号化方式では、符号化効率を高めるための様々な技術が導入されているため、スライス毎のデータ量の不均衡が更に大きくなる傾向がある。

また、エラーが検出された場合には、符号化された画像データを読み飛ばす処理を行うことから、エラーが検出された画像デコーダと、エラーが検出されなかった画像デコーダとの間で、処理時間が大きく異なることとなる。
各画像デコーダにおける処理時間の不均衡が大きくなると、画像復号装置全体としての処理性能が低下するという問題がある。

しかし、特許文献１には、スライス毎のデータ量が異なることによる各デコーダの処理時間の不均衡を考慮した割り当て、及び、エラーが検出された場合の処理については開示されていない。
そこで、本発明は、上記の問題点に鑑みなされたものであって、複数のデコーダを並列に用いて効率的な復号処理を行い、更に、エラーが検出された場合であっても、効率的な復号処理を継続することが可能な画像復号装置、画像復号方法、画像復号システム、及び集積回路を提供することを目的とする。

上記の目的を達成するために、本発明は、ディジタル的に符号化された第１ビデオ信号を、並列に接続した複数の画像復号部を用いて復号処理する画像復号装置であって、エラーが検出されない場合に、第１の割当方式により、各画像復号部による処理時間がほぼ均等になるように、各画像復号部に処理を割り当て、エラーが検出された場合に、前記第１の割当方式と異なる第２の割当方式により、各画像復号部による処理時間がほぼ均等になるように、各画像復号部に処理を割り当てる割当制御手段を備えることを特徴とする。

上記の構成を有することにより、本発明の画像復号装置は、エラー検出より生じる各画像復号部の処理時間の不均衡を考慮して、エラーの有無に応じて異なる割り当て方式を用いることにより、エラーが検出されない場合は勿論のこと、エラーが検出された場合であっても、各画像復号部の処理時間が均等となるように割り当てを行うことができる。これにより、従来の画像復号装置と比較して、処理効率を向上させることができる。

ここで、前記画像復号装置は、前記第１ビデオ信号のエラーを検出するエラー検出手段と、それぞれ固有の処理性能を有し、前記第１ビデオ信号に含まれる１以上のセグメントを割り当てられ、割り当てられた前記１以上のセグメントを復号する複数の画像復号部と、前記割当制御手段による割当結果を記憶する記憶手段とを備え、前記割当制御手段は、各画像復号部の処理性能に応じて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当て、前記エラー検出手段によりエラーが検出され、且つ、検出された前記エラーを含むセグメントの参照先セグメントが、既に何れかの画像復号部により復号済みである場合に、前記記憶手段から前記参照先セグメントの割当結果を取得し、前記エラーを含むセグメントを、前記参照先セグメントが割り当てられた画像復号部へ割り当てることを確定したのち、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てるように制御するように構成してもよい。

この構成によると、本発明の画像復号装置は、各画像復号部がもつ固有の処理能力に応じて、それぞれの画像復号部の処理時間が均等となるようにセグメントを割り当てることにより、処理効率を向上させることができる。
また、第１ビデオ信号にエラーが検出された場合に、参照セグメントが割り当てられた画像復号部に、エラーを含むセグメントを割り当てることにより、エラーコンシールメント処理に伴うデータ転送が、復号処理に与える影響を低減させることができる。

ここで、各画像復号部は、割り当てられた前記１以上のセグメントを復号処理する復号部と、前記復号部におけるセグメントの復号中にエラーを検出するエラー検出部と、前記エラー検出部がエラーを検出すると、検出された前記エラーの位置を前記記憶手段に通知するエラー通知部とを含み、前記記憶手段は、更に、前記エラー通知部から通知された前記エラーの位置を記憶し、前記割当制御手段は、前記記憶手段に前記エラーの位置が記憶されている場合には、前記エラーの位置及び各画像復号部の処理性能に応じて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てるように構成してもよい。

この構成によると、本発明の画像復号装置は、各画像復号部におけるセグメントの復号中にエラーが検出された場合に、復号中のセグメント（ビデオ信号）を読み飛ばすことによって生じる各画像復号部の処理時間の不均衡を、次のセグメントの割り当て決定時に、改めて各画像復号部の処理時間が均等となるようにすることで、処理効率を向上させることができる。

ここで、前記画像復号装置は、前記第１ビデオ信号から、各セグメントのデータ量及び特徴情報を抽出する抽出手段を備え、前記割当制御手段は、前記抽出手段により抽出された各セグメントのデータ量及び特徴情報を用いて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てるように構成してもよい。

なお、ＭＰＥＧ−２を具体例として用いると、前記特徴情報は、ピクチャタイプ、動き補償情報（画面内予測、前方向予測、後方向予測、双方向予測）等である。
一般に、データ量が大きいほど、処理負荷は高いため、処理能力の高い画像復号部で復号処理を行う必要がある。また、データ量が大きいほど、ビットストリームを画像復号部に転送するために必要なデータバンド幅が高いため、データバンド幅の高い画像復号部で復号処理を行う必要がある。

そして、動き補償情報に関しては、画面内予測で復号処理を行うセグメントは、復号処理において予測参照画像を必要としないが、片方向予測（前方向予測又は後方向予測）で復号処理を行うセグメントは、復号処理においてセグメント分の予測参照画像を必要とする。また、双方向予測で復号処理を行うセグメントは、セグメントの復号処理においてセグメント分の二倍の予測参照画像を必要とする。そこで、復号処理において必要とされる予測参照画像が大きい双方向予測、片方向予測、画面内予測の順で、高いデータバンド幅の画像復号部に割り当てることが望ましい。

本発明の画像復号装置によると、セグメントのデータ量及び特徴情報を考慮して、それぞれの画像復号部の処理時間が均等となるようにセグメントを割り当てることにより、処理効率を向上させることができる。
ここで、前記割当制御手段は、画像復号部毎に、前記複数の画像復号部に対するセグメントの割り当てを記述した割当情報と、各画像復号部に割り当てられる１以上のセグメントとから構成される第２ビデオ信号を生成し、生成した第２ビデオ信号を各画像復号部に出力するように構成してもよい。

また、前記画像復号装置は、各画像復号部に対応し、各画像復号部が前記割当制御手段から受け取った第２ビデオ信号及び各画像復号部により復号された復号結果を記憶する複数個のバッファリング部を備え、前記各画像復号部は、前記第２ビデオ信号から前記割当情報を抽出し、抽出した前記割当情報に基づいて、前記複数のバッファリング部から必要な復号結果を取得して、（ａ）前記画像復号部による復号処理、（ｂ）前記エラー検出部によりエラーが検出されたときのエラーコンシールメント処理、及び（ｃ）画像を出力する表示処理を行うように構成してもよい。

この構成によると、本発明の画像復号装置は、各画像復号部に、前記分割情報を付加した第２ビデオ信号を供給することにより、各画像復号部では、前記割当情報を用いることで、復号処理、エラーコンシールメント処理、及び表示処理において必要となる画像の位置を特定することができる。
そして、本発明のように、新規且つ効果的な割当制御を行う画像復号装置を提供するに際して、既存のシステムの構成を大きく変えることなく当該画像復号装置を実現することができる。

ここで、前記エラー検出手段は、各セグメントのヘッダ部分をエラー検出対象とし、ヘッダ部分の復号が継続不能となるエラーを検出し、各画像復号部に含まれる各エラー検出部は、各セグメントのテクスチャデータをエラー検出対象とし、テクスチャデータの復号が継続不能となるエラーを検出するように構成してもよい。
この構成によると、本発明の画像復号装置は、各画像復号部での復号処理以前の処理負荷が、各画像復号部での処理負荷よりも小さくすることができるので、各画像復号部における実時間性を損なわないように、復号処理を行うことができる。

ここで、前記画像復号装置は、更に、前記第１ビデオ信号のデータ量を抽出する抽出手段と、前記複数の画像復号部から、自己の処理能力を示す性能情報を取得する取得手段と、取得した複数の性能情報と、前記第１ビデオ信号のデータ量とに基づき、前記第１ビデオ信号の復号処理に用いる１以上の画像復号部を選択する選択手段を備え、前記各画像復号部は、更に、前記性能情報を格納する性能情報格納部を備える
ように構成してもよい。

この構成によると、前記画像復号装置は、前記第１ビデオ信号の復号に必要な画像復号部を選択し、各画像復号部に処理を割り当てるので、一旦構成したシステムに新たに画像復号部を追加することで、処理性能を向上させることができる。
なお、前記複数の画像復号部は、図１、図１１、及び図１３の画像復号部１０６ａ〜１０６ｎに相当し、前記記憶手段は、セグメント割当履歴／エラー検出位置履歴管理部１０５に相当し、前記割当制御手段は、セグメント割当決定部１０２に相当し、前記エラー検出手段は、第１のエラー検出部１０４に相当する。

また、前記抽出手段は、図１、図１１、及び図１３のデータ量／特徴情報検出部１０１に相当する。
また、前記複数個のバッファリング部は、図１、図１１、及び図１３の画像復号結果バッファリング部１１１ａ〜１１１ｎに相当する。
また、前記取得手段は、図１１、及び図１３の性能情報収集部１１４に相当し、前記選択手段は、図１１、及び図１３のセグメント割当決定部１０２に相当し、前記性能情報格納手段は、図１１の性能情報格納部１１５ａ〜１１５ｄに相当する。

本発明の第１の実施形態に係る画像復号装置１の構成を示すブロック図である。 ディジタル的に符号化されたビデオ信号のセグメントの区切りとセグメントデータ量の一例を示す図である。 第１ビットストリーム及び第２ビットストリームの一例を示す図である。 第１のエラー検出部１０４のエラー検出対象位置、及び第２のエラー検出部１０９ａ〜１０９ｄにおけるエラー検出対象位置の一例を示す図である。 セグメント割当履歴／エラー検出位置履歴管理部１０５に記憶されている管理テーブルの一例を示す図である。 セグメントデータ量及び性能情報の一例、ならびに、エラーが検出されない場合の、セグメントの分割割り当ての一例を示す図である。 エラーコンシールメント処理とエラーコンシールメント処理時の代替画像となる予測参照画像の移動の一例を示す図である。 エラー検出時のセグメント分割割当の一例を示す図である。 エラー検出時のセグメント分割割当の一例を示す図である。 本発明の第１の実施形態における画像復号処理の動作を示すフローチャートである。 本発明の第２の実施形態に係る画像復号装置２の構成を示すブロック図である。 本発明の第２の実施形態における画像復号処理の動作を示すフローチャートである。 本発明の第３の実施形態に係る画像復号システム３の構成図である。

ここでは、本発明の実施形態について、図面を参照しながら説明する。本発明の実施形態では、並列に動作する画像復号部を４個用いて、ＭＰＥＧ−２規格で符号化されたビデオ信号の復号処理を行う場合を例に挙げて説明する。しかし、これは一例であり、本発明において、並列に動作する画像復号部は４個に限定されず、また、符号化されたビデオ信号はＭＰＥＧ−２規格に限定されない。

≪第１の実施形態≫
ここでは、本発明の第１の実施形態に係る画像復号装置１について説明する。
＜構成＞
図１は、画像復号装置１の構成を機能的に示す機能ブロック図である。
同図に示すように、画像復号装置１は、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、セグメント割当履歴／エラー検出位置履歴管理部１０５、画像復号部１０６ａ〜１０６ｄ、及び画像復号結果バッファリング部１１１ａ〜１１１ｄから構成される。

画像復号装置１は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含むコンピュータシステムにより実現される。また、これに限定されず、画像復号装置１は、画像復号用の専用ハードウェアを搭載したＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ）で実現してもよい。
（１）データ量／特徴情報検出部１０１
データ量／特徴情報検出部１０１は、第１のディジタル的に符号化されたビデオ信号（以下、「第１ビットストリーム」と呼称する。）１１２を受け取り、第１ビットストリーム１１２のセグメント毎にデータ量と特徴情報とを抽出する。

図２は、ＭＰＥＧ−２規格で符号化されたビットストリーム２００のセグメントについて説明するための図である。
ＭＰＥＧ−２規格では、図２に示すような１６進数表記の０００００１（２３個の０の後に１）という値と、その後の８ビットのデータとの３２ビットからなるスタートコードによってセグメント化されている。図２に示したビットストリーム２００は、スタートコード２０１、２０２、及び２０３を含む。また、図２に示すように、ＭＰＥＧ−２規格においてスタートコードを検出することによって識別できるセグメントは、ピクチャ単位及びスライス単位とすることができる。

データ量／特徴情報検出部１０１は、先ず、ビットストリーム２００におけるスタートコード２０１を検出する。その後、データ量／特徴情報検出部１０１は、スタートコード２０１に後続するｍビットデータのうち、特徴情報として必要となる一部のビットストリームを復号し、解読する。データ量／特徴情報検出部１０１は、特徴情報として必要となる前記一部のビットストリームに後続するビットストリームは読み飛ばし、次のスタートコード２０２を検出する。データ量／特徴情報検出部１０１は、全てのスタートコードの検出が終了するまで、この動作を繰り返す。

ここで、特徴情報とは、ピクチャタイプ、動き補償情報（画面内予測、前方向予測、後方向予測、双方向予測）等である。
また、データ量／特徴情報検出部１０１は、各セグメントのデータ量を検出する。各セグメントのデータ量は、スタートコードからスタートコードまでのビット量である。例えば、図２では、スタートコード２０１で始まるセグメントのデータ量は、ｍビットであり、スタートコード２０２で始まるセグメントのデータ量は、ｎビットである。データ量／特徴情報検出部１０１は、検出したデータ量を、セグメント割当決定部１０２を介して、セグメント割当履歴／エラー検出位置履歴管理部１０５へ登録する。

なお、データ量／特徴情報検出部１０１は可変長復号部を備え、可変長復号部にて、前記一部のビットストリームの復号及び解読を行うものとする。
（２）セグメント割当決定部１０２
セグメント割当決定部１０２は、各スライスのデータ量及び画像復号部１０６ａ〜１０６ｄのそれぞれの性能情報に基づき、各画像復号部に対して、処理を行うべき１以上のスライスの割り当てを決定する。そして、セグメント割当決定部１０２は、決定した割当結果を、セグメント割当履歴／エラー検出位置履歴管理部１０５へ通知する。ここで、本実施形態においては、画像復号部１０６ａ〜１０６ｄのそれぞれの性能情報は、予めセグメント割当決定部１０２に保持されているものとする。

セグメント割当決定部１０２は、全ての画像復号処理が終了するまで、複数セグメント単位で分割割り当てを決定する。即ち、セグメント割当決定部１０２は、画像復号部１０６ａ〜１０６ｄが、それぞれ割り当てられた１以上のスライスの復号処理を行っている間に、次の一連のセグメントの分割割り当ての決定を行う。そのため、セグメント割当決定部１０２は、複数セグメント分の第１ビットストリームを蓄積するバッファリング部を備える。

そして、セグメント割当決定部１０２は、バッファリングしている第１ビットストリーム１１２のバッファ量、又は、画像復号部１０６ａ〜１０６ｄの処理状況に基づいて、画像復号部１０６ａ〜１０６ｄへの次のセグメントの割当のタイミングを判断する。このとき、セグメント割当決定部１０２は、各スライスのデータ量及び画像復号部１０６ａ〜１０６ｄの性能情報に加えて、セグメント割当履歴／エラー検出位置履歴管理部１０５に管理されている情報を用いて、画像復号部１０６ａ〜１０６ｄに対する次のセグメントの割当を決定する。

なお、本実施形態においては、データ量／特徴情報検出部１０１が、第１ビットストリームをスライス毎に分割し、セグメント割当決定部１０２のバッファリング部に格納するように構成してもよいし、また、セグメント割当決定部１０２が、バッファリング部に格納されている第１ビットストリームを読み出し、その後、第１ビットストリームを１以上のスライスに分割して、各画像復号部１０６ａ〜１０６ｄに割り当てるように構成してもよい。

これ以降、本実施形態においては、セグメント割当決定部１０２により、各画像復号部が処理を行うように割り当てられた１以上のスライスを「セグメント」と呼称する。
セグメント割当決定部１０２が行う処理の詳細は後述する。
（３）符号化ビデオ信号再生成部１０３
符号化ビデオ信号再生成部１０３は、セグメント割当部１０２にて各画像復号部に割り当てられたセグメントに、セグメント割当情報を付加して、各画像復号部に入力するための第２のディジタル的に符号化されたビデオ信号（以下、「第２ビットストリーム」と呼称する。）１１３を生成する。

なお、本実施形態では、説明の便宜上、画像復号部１０６ａ、１０６ｂ、１０６ｃ、及び１０６ｄに入力される第２ビットストリーム１１３を、それぞれ、第２ビットストリーム１１３ａ、１１３ｂ、１１３ｃ、及び１１３ｄと呼称することがある。
図３は、第１ビットストリーム１１２と第２ビットストリーム１１３との関係を説明するための図である。

図２を用いて説明したように、ＭＰＥＧ−２規格によって符号化されているビットストリームは、スタートコードによってセグメント化されている。
図３に示すように、第１ビットストリーム１１２は、スタートコード３０１、スタートコード３０１に後続するビットストリーム３１１、スタートコード３０２、スタートコード３０２に後続するビットストリーム３１２、スタートコード３０３、スタートコード３０３に後続するビットストリーム３１３、・・・から構成される。

図３に示す第２ビットストリーム１１３ａ及び１１３ｂは、スライス＃０を一つのセグメントとしてＤｅｃｏｄｅｒ＃０（画像復号部１０６ａ）に割り当て、スライス＃１とスライス＃２とを一つのセグメントとしてＤｅｃｏｄｅｒ＃１（画像復号部１０６ｂ）に割り当て、スライス＃３とスライス＃４とを一つのセグメントとしてＤｅｃｏｄｅｒ＃２（画像復号部１０６ｃ）に割り当て、スライス＃３を一つのセグメントとしてＤｅｃｏｄｅｒ＃３（画像復号部１０６ｄ）に割り当てる場合の具体例である。

第２ビットストリーム１１３ａは、スタートコード３０１、セグメント割当情報３２０、及びビットストリーム３１１を含む。
第２ビットストリーム１１３ｂは、スタートコード３０２、セグメント割当情報３２０、ビットストリーム３１２、スタートコード３０３、及びビットストリーム３１３を含む。

各スタートコードは、復号処理の起点を表すものであるため、符号化ビデオ信号再生成部１０３は、第１ビットストリーム１１２のスタートコード３０１を、そのまま第２ビットストリーム１１３ａに付加し、第１ビットストリームのスタートコード３０２を、そのまま第２ビットストリーム１１３ｂに付加する。
符号化ビデオ信号再生成部１０３は、第２ビットストリーム１１３ａ〜１１３ｄに対して、同一のセグメント割当情報３２０を付加する。セグメント割当情報３２０は、ＭＰＥＧ−２規格で規定されているユーザデータ層を用いて、スタートコードの次に配置される。セグメント割当情報３２０は、Ｄｅｃｏｄｅｒ＃０〜Ｄｅｃｏｄｅｒ＃３に、スライス＃０〜スライス＃５のいずれのスライスが割り当てられているかを示す情報である。なお、セグメント割当情報は、セグメント割当決定部１０２において割当処理が行われる都度、更新される。

符号化ビデオ信号再生成部１０３は、セグメント割当情報３２０の次に、第１ビットストリームにおける各スタートコードに後続するビットストリームを付加して、第２ビットストリームを生成する。
複数のスライスを一つのセグメントとして一つの画像復号部に割り当てる場合には、図３の第２ビットストリーム１１３ｂに示すように、最初のスタートコード３０２の次にセグメント割当情報３２０を配置し、次のスタートコード３０３の次には、セグメント割当情報３２０を配置しなくてよい。

（４）第１のエラー検出部１０４
第１のエラー検出部１０４は、第１ビットストリームの復号、解読を行い、復号継続不能となるエラーをチェックする。第１のエラー検出部１０４は、復号継続不能となるエラーを検出すると、エラー検出位置をエラー検出履歴情報としてセグメント割当履歴／エラー検出位置履歴管理部１０５に通知する。

本実施形態では、第１のエラー検出部１０４が検出するエラーを「第１のエラー」と呼称する。これに対し、後述する第２のエラー検出部１０９ａ〜１０９ｄが検出するエラーを「第２のエラー」と呼称する。
図４は、第１のエラー及び第２のエラーについて説明するための図である。
同図に示すように、第１のエラー検出部１０４によるエラー検出対象は、各スライスのヘッダ情報であり、第２のエラー検出部１０９ａ〜１０９ｄによるエラー検出対象は、マクロブロックデータである。

（５）セグメント割当履歴／エラー検出位置履歴管理部１０５
セグメント割当履歴／エラー検出位置履歴管理部１０５は、データ量／特徴情報検出部１０１で検出されたデータ量、セグメント割当決定部１０３で決定された割当結果、第１のエラー検出部１０４で検出されたエラー検出位置、後述する第２のエラー検出部１０９ａ〜１０９ｄで検出されたエラー検出位置を保持、管理する。

具体的には、セグメント割当履歴／エラー検出位置履歴管理部１０５は、上記の各情報を、図５（ｃ）に示す管理テーブル５００を用いて管理している。
ここでは、先ず、図５（ａ）及び図５（ｂ）を用いて、ＭＰＥＧ−２規格におけるピクチャ及びスライスの構造について簡単に説明する。
図５（ａ）は、第１ビットストリーム１１２を構成している画像フレーム（ピクチャ）を示す。デコードフレーム番号は、デコードの順序を示す。また、図５（ａ）の例では、デコードフレーム番号が「＃０」であるＩピクチャ、デコードフレーム番号が「＃１」であるＰピクチャ、及びデコードフレーム番号が「＃５」であるＰピクチャが、参照画像に相当する。また、各ピクチャは、図５（ｂ）に示すように、スライス番号が＃０〜＃ｎであるｎ＋１個のスライスから構成される。

セグメント割当履歴／エラー検出位置履歴管理部１０５は、図３（ｃ）に示す管理テーブル５００を記憶している。
同図に示すように、管理テーブル５００は、各フレームを構成するスライス毎に、スライス番号、データ量、割当結果、第１のエラー検出位置、及び第２のエラー検出位置を対応付けて構成される。

データ量は、データ量／特徴情報検出部１０１で検出された各スライスのデータ量である。
割当結果は、セグメント割当決定部１０３で決定された各スライスの復号処理を行う画像復号部の識別するための情報（Ｄｅｃｏｄｅｒ＃０〜＃３）である。
第１のエラー検出位置は、対応するスライス番号に相当する第１ビットストリームの復号中に第１のエラーが検出されたか否かを示すフラグ情報である。「０」は、第１のエラーが検出されていないことを示し、「１」は、第１のエラーが検出されたことを示す。

第２のエラー検出位置は、対応するスライス番号に相当する第２ビットストリームの復号中に第２のエラーが検出されたビット位置を示す。具体的には、第２のエラー検出位置は、復号継続不能となるエラーが検出されるまでに符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄで復号された第２ビットストリームのデータ量である。図５（ｃ）の管理テーブル５００は、第１のエラー及び第２のエラーが未だ検出されていないことを示している。

セグメント割当履歴／エラー検出位置履歴管理部１０５は、セグメント割当決定部１０２において、割当が決定されると、割当結果を管理テーブルに登録、保持する。ここで、セグメント割当履歴／エラー検出位置履歴管理部１０５は、画像復号処理の動き補償処理において参照画像となる画像フレーム数分の情報を登録、保持していればよい。
（６）画像復号部１０６ａ〜１０６ｄ
画像復号部１０６ａ〜１０６ｄは、第２ビットストリーム１１３を並列に処理するデコーダである。

画像復号部１０６ａ〜１０６ｄは、それぞれ、第２ビットストリーム１１３ａ〜１１３ｄを画像復号結果バッファリング部１１１ａ〜１１１ｄに一旦格納し、画像復号結果バッファリング部１１１ａ〜１１１ｄから読み出しながら、第２ビットストリーム１１３ａ〜１１３ｄの復号処理を行う。そして、画像復号部１０６ａ〜１０６ｄは、それぞれ、第２ビットストリーム１１３ａ〜１１３ｄの復号結果を、画像復号結果バッファリング部１１１ａ〜１１１ｄに書き込む。

なお、本実施形態の画像復号装置１は、全て同一の処理能力を備える画像復号部にて構成される必要はない。画像復号部１０６ａ〜１０６ｄは、それぞれ固有の処理能力を備えているが、各画像復号部の処理能力についての詳細は後述する。
図１に示すように、画像復号部１０６ａ〜１０６ｄは、セグメント割当情報抽出部１０７ａ〜１０７ｄ、符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄ、第２のエラー検出部１０９ａ〜１０９ｄ、及びエラー通知部１１０ａ〜１１０ｄから構成される。

セグメント割当情報抽出部１０７ａ〜１０７ｄは、それぞれ、第２ビットストリーム１１３ａ〜１１３ｄを受け取り、受け取った第２ビットストリーム１１３ａ〜１１３ｄから、スタートコードを検出する。そして、スタートコードの次にあるセグメント割当情報を抽出し、内部に保持する。
ここで、第２ビットストリームに含まれるセグメント割当情報は、セグメント割当決定部１０２によって決定される割り当てが更新される都度、更新される。従って、セグメント割当情報抽出部１０７ａ〜１０７ｄが内部に保持するセグメント割当情報も、セグメント割当決定部１０２によって決定される割り当てが更新される都度、更新される。

第２のエラー検出部１０９ａ〜１０９ｄは、それぞれ、第２ビットストリーム１１３ａ〜１１３ｄに対する復号継続不能となるエラーを検出する。
エラー通知部１１０ａ〜１１０ｄは、それぞれ、第２のエラー検出部１０９ａ〜１０９ｄで検出されたエラー検出位置を、セグメント割当履歴／エラー検出位置履歴管理部１０５に通知する。

符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄは、それぞれ、セグメント割当情報抽出部１０７ａ〜１０７ｄで抽出されたセグメント割当情報を用いて、第２ビットストリーム１１３ａ〜１１３ｄの復号、及び表示を行う。
ＭＰＥＧ−２規格において、Ｐピクチャ及びＢピクチャは、フレーム間予測符号化されているため、現在復号対象となっているピクチャの復号以前に復号処理されたピクチャを予測参照画像として必要とする。そこで、符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄは、予測参照画像を取得するために、セグメント割当情報抽出部１０７ａ〜１０７ｄで抽出したセグメント割当情報を用いる。

本実施形態において、画像復号部１０６ａ〜１０６ｄは、第２ビットストリームに対する復号結果をそれぞれの画像復号結果バッファリング部１１１ａ〜１１１ｄに格納する。
セグメント割当情報は、どの画像復号部１０６ａ〜１０６ｄで、どのセグメントが処理されたかを示している。従って、セグメント割当情報は、ピクチャのどの位置の復号結果が、画像復号結果バッファリング部１１１ａ〜１１１ｄの何れに格納されているのかを示し、且つ、画像シーケンスにおけるどのピクチャのどの位置の復号結果が、画像復号結果バッファリング部１１１ａ〜１１１ｄの何れに格納されているかを示すものとなる。

例えば、符号化ビデオ信号復号／表示部１０８ｄが、符号化ビデオ信号復号／表示部１０８ｂで処理されて画像復号結果バッファリング部１１１ｂに格納されている復号結果を予測参照画像として参照する場合には、符号化ビデオ信号復号／表示部１０８ｄは、画像復号部１０８ｂに対して予測参照画像を取得するための要求を出し、符号化ビデオ信号復号／表示部１０８ｂは、復号結果格納バッファリング部１１１ｂから該当する予測参照画像を読み出し、読み出した予測参照画像を、画像復号部１０６ｄへ渡す。

そして、符号化ビデオ信号復号／表示部１０８ｄは、受け取った予測参照画像を、画像復号結果バッファリング部１１１ｄに格納する。符号化ビデオ信号復号／表示部１０８ｄは、復号処理において予測参照画像が必要となる場合には、予測参照画像を画像復号結果バッファリング部１１１ｄから読み出して、復号処理を行う。
他の符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄが、他の符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄで処理されて、画像復号結果バッファリング部１１１ａ〜１１１ｄに格納されている復号結果を予測参照画像として参照する場合についても同様である。

また、符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄは、画像表示処理において、画像フレームのラスタ順に、表示すべき復号結果を画像復号結果バッファリング部１１１ａ〜１１１ｄから読み出す必要がある。このときも、前述した予測参照画像を取得する場合と同様に、符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄは、セグメント割当情報を用いて、画像復号結果バッファリング部１１１ａ〜１１１ｄから表示する画像復号結果を読み出す。そして、符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄは、図１に記載されていない表示部に画像復号結果を出力する。

（７）画像復号結果バッファリング部１１１ａ〜１１１ｄ
画像復号結果バッファリング部１１１ａ〜１１１ｄは、それぞれ、画像復号部１０６ａ〜１０６ｄにて復号される第２ビットストリーム１１３ａ〜１１３ｄ、及び、画像復号部１０６ａ〜１０６ｄにて復号された画像復号結果を格納する。
以上で、画像復号装置１の内部構成についての説明を終了する。

以下では、セグメント割当処理の詳細について説明する。
＜エラー検出前のセグメント割当処理＞
先ず、第１のエラー検出部１０４及び第２のエラー検出部１０９ａ〜１０９ｄのそれぞれにおいて、エラーが検出されていない場合のセグメント割当処理について説明する。
一般に、データ量が大きいほど、処理負荷は高いため、処理能力の高い画像復号部で復号処理を行う必要がある。また、データ量が大きいほど、ビットストリームを画像復号部に転送するために必要なデータバンド幅が高いため、データバンド幅の高い画像復号部で復号処理を行う必要がある。

また、動き補償情報に関しては、画面内予測で復号処理を行うセグメントは、復号処理において予測参照画像を必要としないが、片方向予測（前方向予測又は後方向予測）で復号処理を行うセグメントは、復号処理においてセグメント分の予測参照画像を必要とする。また、双方向予測で復号処理を行うセグメントは、セグメントの復号処理においてセグメント分の二倍の予測参照画像を必要とする。

一般に、予測参照画像が大きいほど、データバンド幅の高い画像復号部で復号処理を行うことが望ましい。そこで、セグメント割当決定部１０２は、セグメントの動き補償情報に基づいて、復号処理において必要とされる予測参照画像が大きい双方向予測、片方向予測、画面内予測の順で、高いデータバンド幅の画像復号部に割り当てる。
以上を考慮して、セグメント割当決定部１０２は、各画像復号部における各セグメントの処理時間が短く、且つ、各画像復号部での処理時間が均等となるように、各画像復号部に対してセグメントの割り当てを行う。

先ず、セグメント割当決定部１０２は、第１ビットストリームのフレームサイズ及びフレームレート、並びに、各画像復号部の対応画像フレームサイズ及びフレームレートから、各画像復号部が１秒間に復号処理が可能なマクロブロック数ｌを算出する。
ここで、１秒間に復号処理可能なマクロブロック数ｌは、画像フレームサイズの水平サイズをｓ、垂直サイズをｔ、フレームレートをｕとすると，
ｌ＝ｓ／１６×ｔ／１６×ｕである。

従って、本実施形態における各画像復号部が１秒間に復号処理可能なマクロブロック数Ｐｉ（ｉは並列に処理する画像復号部の数１〜ｎである。本実施形態ではｎ＝４である。）は、各画像復号部ｉの対応画像フレームサイズの水平サイズをｓｉ、垂直サイズをｔｉ、対応フレームレートをｕｉとすると、
Ｐｉ＝ｓｉ／１６×ｔｉ／１６×ｕｉである。

なお、単一の画像復号部の処理能力を超える単一のビットストリームの復号処理を行うためには、各画像復号部の処理能力ｓｉ／１６×ｔｉ／１６×ｕｉの総和をＱとすると、ｌ／Ｑ＜１となるように画像復号部の数を確保する必要がある。
セグメント割当決定部１０２は、データ量／特徴情報検出部１０１から、検出された各スライスのデータ量を受け取ると、受け取ったデータ量をセグメント割当履歴／エラー検出位置履歴管理部１０５に登録する。そして、セグメント割当決定部１０２は、セグメント割当履歴／エラー検出位置履歴管理部１０５から各スライスのデータ量を取得してセグメント割当処理を行い、その結果をセグメント割当履歴／エラー検出位置履歴管理部１０５に登録する。

また、この構成に限定されずに、セグメント割当決定部１０２は、データ量／特徴情報検出部１０１から受け取ったデータ量を用いて、セグメント割当処理を行い、その結果をセグメント割当履歴／エラー検出位置履歴管理部１０５に登録するように構成してもよい。
図６（ａ）は、データ／特徴情報検出部１０１において検出された各スライスのデータ量の一例を示している。

同図に示すように、スライス＃０のデータ量は５００ｋｂｉｔｓ、スライス＃１のデータ量は１０００ｋｂｉｔｓ、スライス＃２のデータ量は１０００ｋｂｉｔｓ、スライス＃３のデータ量は３０００ｋｂｉｔｓ、スライス＃４のデータ量は７００ｋｂｉｔｓ、スライス＃５のデータ量は３００ｋｂｉｔｓ、スライス＃６のデータ量は１０００ｋｂｉｔｓ、・・・、スライス＃ｎのデータ量は１０００ｋｂｉｔｓである。

また、先に述べたように、セグメント割当決定部１０２は、画像復号部１０６ａ〜１０６ｄの性能情報を、予め内部に保持している。
図６（ｂ）は、セグメント割当決定部１０２が予め保持している性能情報の一例を示している。図６（ｂ）に示す性能情報６００は、各画像復号部の処理能力と入力データバンド幅とが対応付けられたものである。

同図に示すように、画像復号部１０６ａ（Ｄｅｃｏｄｅｒ＃０）は、ＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）画像サイズ、及びフレームレート３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の処理能力を備え、入力データバンド幅が１０Ｍｂｐｓ（Ｍｅｇａ ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ）である。
画像復号部１０６ｂ（Ｄｅｃｏｄｅｒ＃１）は、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）画像サイズ、及びフレームレート３０ｆｐｓの処理能力を備え、入力データバンド幅が４０Ｍｂｐｓである。

画像復号部１０６ｃ（Ｄｅｃｏｄｅｒ＃２）は、ＨＤＴＶ画像サイズ、及びフレームレート３０ｆｐｓの処理能力を備え、入力データバンド幅が８０Ｍｂｐｓである。
画像復号部１０６ｄ（Ｄｅｃｏｄｅｒ＃３）は、ＳＤＴＶ画像サイズの処理能力、及びフレームレート３０ｆｐｓの処理能力を備え、入力データバンド幅が１０Ｍｂｐｓである。

なお、ＳＤＴＶ画像サイズは、１ラインあたり７２０画素、１画像フレームあたり４８０ラインであり、ＨＤＴＶ画像サイズは、１ラインあたり１９２０画素、１画像フレームあたり１０８０ラインである。
以上の情報に基づき、セグメント割当決定部１０２は、分割されたセグメントのセグメントデータ量をｍｉ（ｉは分割されたセグメントの数であり、並列に処理する画像復号部の数１〜ｎに対応する）とすると、ｍ０／Ｐ０、ｍ１／Ｐ１、・・・、ｍｉ／Ｐｉの値が、できるだけ等しくなるように、各画像復号部にセグメントを割り当てる。

ここで、ｍ０／Ｐ０、ｍ１／Ｐ１、・・・、ｍｉ／Ｐｉの値を、できるだけ等しくなるように割り当てる方法としては、例えば、公知技術である「Seongbeom Kim, Dhruba Chandra and Yan Solihin. Cache Sharing and Partitioning in a Chip Multiprocessor Architecture. In the Proceedings of the International Conference on Parallel Architectures and Compilation Techniques (PACT), 2004.」に記載のマルチプロセッサにおけるスケジューリング処理と同様の方法を用いることができる。

図６（ｃ）は、セグメント割当決定部１０２が、性能情報６００及びスライス単位のデータ量に基づき、前述の割当処理を行った結果を模式的に表した図である。時間ｔ０、ｔ１、ｔ２、・・・は、セグメント単位の処理時間を表している。
同図に示すように、セグメント割当決定部１０２は、Ｄｅｃｏｄｅｒ＃０〜Ｄｅｃｏｄｅｒ＃３の処理期間ｔ０ができる限り均等となるように、スライス＃０を一つのセグメントとしてＤｅｃｏｄｅｒ＃０に割り当て、スライス＃１及びスライス＃２を一つのセグメントとしてＤｅｃｏｄｅｒ＃１に割り当て、スライス＃３とスライス＃４を一つのセグメントとしてＤｅｃｏｄｅｒ＃２に割り当て、スライス＃５を一つのセグメントとしてＤｅｃｏｄｅｒ＃３に割り当てる。

そして、前述の割当処理を繰り返し行うことにより、処理期間ｔ１、ｔ２、・・・においても、Ｄｅｃｏｄｅｒ＃０〜Ｄｅｃｏｄｅｒ＃３の処理期間ｔ１、ｔ２、・・・ができる限り均等となるように、各画像復号部にセグメントを割り当てる。
なお、特許あ請求の範囲における「各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てる」とは、上述したように、処理時間ｔ０、ｔ１、ｔ２、・・・のそれぞれにおいて、ｍ０／Ｐ０、ｍ１／Ｐ１、・・・、ｍｉ／Ｐｉの値ができるだけ等しくなるように、各画像復号部に１以上のスライスを割り当てることに相当する。

本実施形態では、ピクチャを構成する各セグメントの処理を高速に行い、ピクチャを構成する全セグメントを１フレーム時間内に終了することで、実時間での復号処理が可能となる。

なお、本実施形態では、１秒間に復号可能なマクロブロック数を用いて、各画像復号部の処理能力Ｐｉを算出しているが、本発明における処理能力Ｐｉは、これに限定されるものではない。
＜エラー検出後のセグメント割当処理＞
ここでは、エラーが検出された場合のセグメント割当処理について説明する。

一般的に、画像復号部における復号処理の途中でエラーが検出され、復号できなかったセグメントは、他の復号済み画像で代替する。
本実施形態においても、画像復号部１０６ａ〜１０６ｄにおいて第２のエラーが検出された場合には、他の復号済み画像で代替するエラーコンシールメント処理を行う。
図７（ａ）は、本実施形態におけるエラーコンシールメント処理を説明するための図である。復号画像フレーム７０１は、現在復号対象のフレームである。復号画像フレーム７０１の復号処理において、例えばスライス＃２でエラーが検出された場合、時間的に最も近い復号済み予測参照画像フレーム７０２の同じ位置の画像（スライス＃２の画像）を、代替画像として用いる。

図７（ｂ）は、代替画像となる復号済み予測参照画像フレーム７０２のスライス＃２と、復号画像フレーム画像７０１のスライス＃２とが、異なる画像復号部に割り当てられた場合における予測参照画像の移動を示している。図７（ｂ）では、一例として、画像復号部１０６ａに、復号済み参照画像フレーム７０２のスライス＃２が割り当てられ、画像復号部１０６ｂに、復号画像フレーム７０１のスライス＃２が割り当てられている場合を示している。

本実施形態では、各画像復号部１０６ａ〜１０６ｄは、復号結果を、それぞれに対応する画像復号結果バッファリング部１１１ａ〜１１１ｄにのみ格納する。そのため、画像復号部１０６ｂにおいてエラーが検出されると、画像復号部１０６ａは、エラーコンシールメント処理として、画像復号部１０６ｂに対して、画像復号結果バッファリング部１１１ａに格納されている復号結果（代替画像）を転送する必要がある。

このようなエラーコンシールメント処理（代替画像の転送処理）が、画像復号部１０６ａ及び１０６ｂの復号処理自体に影響を与え、画像復号部１０６ａ及び１０６ｂの復号処理時間が遅延する可能性がある。そして、画像復号部１０６ａ〜１０６ｄは、並列に復号処理を行っているため、一つの画像復号部による復号処理時間の遅延が、画像復号装置１の全体の復号処理時間に影響を与える可能性がある。そこで、本実施形態では、エラーコンシールメント処理により、各画像復号部での復号処理時間が不均等とならないように工夫している。

（１）第１のエラー検出時の処理
第１ビットストリームに対する復号処理開始直後は、セグメント割当履歴／エラー検出履歴管理部１０５は、画像復号部１０６ａ〜１０６ｄに対するセグメントの割り当てを示す情報を保持していない。即ち、図５（ｃ）に示した管理テーブル５００の「割当結果」が空欄の状態である。そこで、復号処理開始直後は、セグメント割当決定部１０２は、上述したように、スライスのデータ量と画像復号部１０６ａ〜１０６ｄの性能情報とに基づいた割り当てを行う。

第１ビットストリームに対する復号処理が進み、予測参照画像となる画像の復号処理が済んでいる状態で、第１のエラーが検出された場合、セグメント割当決定部１０２は、第１のエラーが検出されたセグメントを、復号済み予測参照画像となる画像の復号処理を行った画像復号部と同一の画像復号部に優先的に割り当てる。そして、尚且つ、セグメント割当決定部１０２は、スライスのデータ量と画像復号部１０６ａ〜１０６ｄの性能情報とに基づいて、各画像復号部１０６ａ〜１０６ｄによる復号処理時間が均等となるように、セグメント割当処理を行う。

図８（ａ）は、第１のエラーが検出されなかった場合のセグメント割当履歴／エラー検出履歴管理部１０５に管理されている管理テーブル８００を示す図である。
一方、図８（ｂ）は、第１のエラーが検出された場合のセグメント割当履歴／エラー検出履歴管理部１０５に管理されている管理テーブル８１０を示す図である。同図に依れば、デコードフレーム番号＃１のスライス番号＃２に対応する第１のエラー検出位置のフラグが「１」であるから、デコードフレーム番号＃１のスライス番号＃２で、第１のエラーが検出されたことが分かる。なお、デコードフレーム番号＃１の予測参照画像は、デコードフレーム番号＃０の画像である。

セグメント割当決定部１０２は、第１のエラーが検出されない場合は、デコードフレーム番号＃１のスライス番号＃２を、Ｄｅｃｏｄｅｒ＃２に割り当てる（図８（ａ）参照）。しかし、第１のエラーが検出された場合は、代替画像となるデコードフレーム＃０のスライス番号＃２が、Ｄｅｃｏｄｅｒ＃１に割り当てられていたため、セグメント割当決定部１０２は、デコードフレーム番号＃１のスライス番号＃２を、同じくＤｅｃｏｄｅｒ＃１に割り当てる。

これにより、図７（ｃ）に示すように、エラーコンシールメント処理が発生した場合であっても、画像復号部１０６ｂ（Ｄｅｃｏｄｅｒ＃１）と画像復号部１０６ｃ（Ｄｅｃｏｄｅｒ＃２）との間で、画像転送処理を行う必要がなくなり、エラーコンシールメント処理が、画像復号部１０６ｂ及び１０６ｃの復号処理時間に影響を与えることがなくなる。
（２）第２のエラー検出時の処理
第２のエラー検出部１０９ａ〜１０９ｄにおいて、復号継続不能となる第２のエラーが検出された場合は、第２のエラーを検出した画像復号部においては、復号継続不能な第２ビットストリームを読み飛ばす。

セグメント割当決定部１０２は、割り当てられた第２ビットストリームが全て復号処理されるものとして、各画像復号部における処理時間が均等となるように、割り当てを行う。従って、第２ビットストリームが読み飛ばされると、第２のエラーが検出された画像復号部では、予定していた全ての第２ビットストリームの復号処理を行う場合よりも、短い時間で復号処理が完了する。そのため、画像復号部１０６ａ〜１０６ｄにおける次の第２ビットストリームの復号処理時間が均等でなくなる。

そこで、第２のエラー検出部１０９ａ〜１０９ｄにおいて、第２のエラーが検出された場合には、セグメント割当決定部１０２は、読み飛ばされた第２ビットストリーム分を加味して、各画像復号部における次のセグメントの復号処理時間が均等となるように割り当てを決定する。
具体的には、第２のエラー検出部１０９ａ〜１０９ｄは、第２のエラーが検出されるまでに消費された（復号された）第２ビットストリームのデータ量ｋｉ（ｋｉ＜ｍｉ）を、エラー通知部１１０ａ〜１１０ｄを介して、セグメント割当履歴／エラー検出位置履歴管理部１０５へ通知する。セグメント割当履歴／エラー検出位置履歴管理部１０５は、受け取った第２ビットストリームのデータ量ｋｉを、管理テーブルに書き込む。

図８（ｂ）の管理テーブル８１０は、デコードフレーム番号＃１のスライス＃５の復号中に、Ｄｅｃｏｄｅｒ＃３で第２のエラーが検出された場合を示している。同図によれば、第２のエラーが検出されるまでに、Ｄｅｃｏｄｅｒ＃３で消費された（復号された）第２ビットストリームのデータ量ｋｉは、１５０Ｋｂｉｔｓであることが分かる。

セグメント割当決定部１０２は、次のセグメントの割り当てを決定する際に、セグメント割当履歴／エラー検出位置履歴管理部１０５の管理テーブルからｋｉの値を抽出し、第２のエラーが検出されない場合の割り当てｍｉ／Ｐｉ（ｉ＝０、１、２、３）に対して、(ｍｉ−ｋｉ)／Ｐｉを加えて、各画像復号部１０６ａ〜１０６ｄでの処理時間ができるだけ均等となるように、次のセグメントの割り当てを決定する。

例えば、第２のエラーが検出されない場合は、図６（ｃ）に示すように、Ｄｅｃｏｄｅｒ＃３に対して、時間ｔ０においてスライス＃５が割り当てられ、時間ｔ１においてスライス＃１０が割り当てられるとする。
これに対して、Ｄｃｏｄｅｒ＃３がスライス＃５を復号中に、１５０Ｋｂｉｔｓまで復号を終了した時点で復号継続不能となる第２のエラーが検出されたとすると、例えば、図９に示すように、時間ｔ０においてＤｅｃｏｄｅｒ＃３の処理負荷が軽減された分、時間ｔ１において他のＤｅｃｏｄｅｒ＃０〜Ｄｅｃｏｄｅｒ＃２との間の処理の不均衡を修正するために、時間ｔ１において、Ｄｅｃｏｄｅｒ＃３に、スライス＃１１とスライス＃１２とを割り当てる。

なお、セグメント割当決定部１０２は、時間ｔ１の割り当てを既に決定している場合には、第２のエラー検出位置に基づき、決定した割り当てを修正するように構成してもよい。
＜動作＞
ここでは、図１０に示すフローチャートを用いて、画像復号装置１の動作について説明する。

先ず、データ量／特徴情報検出部１０１は、第１ビットストリーム１１２を受信する（ステップＳ７０１）。
データ量／特徴情報検出部１０１は、スタートコードを検出して、第１ビットストリーム１１２に対するセグメントを抽出する（ステップＳ７０２）。
更に、データ量／特徴情報検出部１０１は、ピクチャタイプ、動き補償情報（画面内予測、前方向予測、後方向予測、双方向予測）などの一部のビットストリームを復号、解読し、特徴情報を抽出する（ステップＳ７０３）。

その後、データ量／特徴情報検出部１０１は、次のスタートコードを検出するまでビットストリームを読み飛ばす。そして、次のスタートコードを検出すると、スタートコード間のデータ量を計測して、セグメントデータ量を算出する（ステップＳ７０４）。以上の処理において、データ量／特徴情報検出部１０１は、セグメントデータ量と特徴情報とを取得する。

次に、第１のエラー検出部１０４において、第１ビットストリーム１１２のエラーチェックを行う（ステップＳ７０５）。第１のエラー検出部１０４は、具体的には、スライスのヘッダ情報のエラーを検出する。ステップＳ７０５で、第１のエラー検出部１０４がエラーを検出した場合には、検出されたエラーの位置（エラーを含むスライスを識別可能な情報）を、エラー検出履歴情報としてセグメント割当履歴／エラー検出位置履歴管理部１０５に登録する（ステップＳ７０６）。

なお、ステップＳ７０２〜ステップＳ７０４の処理と、ステップＳ７０５〜ステップＳ７０６の処理は同時に行ってもよい。
次に、セグメント割当決定部１０２は、バッファリングしている第１ビットストリーム１１２のバッファ量、又は画像復号部１０６ａ〜１０６ｄにおける処理が完了したか否かに基づいて、画像復号部１０６ａ〜１０６ｄへのセグメントの割り当てが可能か否かを判断する（ステップＳ７０７）。

ステップＳ７０７で、画像復号部１０６ａ〜１０６ｄへのセグメントの割り当てが不可の場合（ステップＳ７０７でＮ）、ステップＳ７０１に戻り、処理を続ける。
ステップＳ７０７で、画像復号部１０６ａ〜１０６ｄへのセグメントの割り当てが可能な場合（ステップＳ７０７でＹ）、セグメント割当決定部１０２は、バッファリングしている第１ビットストリーム１１２を読み出し、セグメントデータ量、特徴情報、画像復号部１０６ａ〜１０６ｄの性能情報、並びに、セグメント割当履歴／エラー検出位置履歴管理部１０５に保持されている割当結果、第１のエラー検出位置、及び第２のエラー検出位置を用いて、第１ビットストリーム１１２を１以上のスライスに分割し、画像復号部１０６ａ〜１０６ｄへのセグメントの割り当てを決定する（ステップＳ７０８）。そして、ステップＳ７０８の処理が終了すると、セグメント割当情報が得られる。

ここで、ステップＳ７０８においては、セグメント割当決定部１０２が、セグメント分割処理及びセグメント割当処理を行うように記載しているが、この構成に限定されず、データ量／特徴情報検出部１０１が、第１ビットストリームをスライスに分割して、セグメント割当決定部１０２のバッファリング部に格納し、そして、セグメント割当決定部１０２が分割されたスライスをバッファリング部から読み出して、割当処理を行うように構成してもよい。即ち、データ量／特徴情報検出部１０１が、セグメント分割処理を行い、セグメント割当決定部１０２が、セグメント割当処理を行うように構成してもよい。

なお、セグメント割当決定部１０２は、画像復号部１０６ａ〜１０６ｄが、それぞれ割り当てられたセグメントに対する復号処理を行っている間に、次のセグメントの分割割り当ての決定を行う。
第１ビットストリーム１１２に対する復号処理開始直後は、セグメント割当履歴／エラー検出履歴管理部１０５には、既に復号処理されたセグメントの割当結果、第１のエラー検出位置、及び第２のエラー検出位置が保持されていない。従って、復号処理開始直後は、セグメントデータ量、特徴情報、及び画像復号部１０６ａ〜１０６ｄの性能情報のみを用いて割当処理を行う。

第１ビットストリーム１１２に対する復号処理を開始してから、予測参照画像となる画像の復号処理が済んでいる場合、第１のエラー検出部１０４において第１のエラーが検出された場合は、セグメントデータ量、特徴情報、割当結果、第１のエラー検出位置、及び第２のエラー検出位置を用いて、第１のエラーが検出されたセグメントは画像復号部１０６ａ〜１０６ｄにおいて、既復号済みの予測参照画像となる画像のセグメントの復号処理を行った画像復号部に割り当てる。

これにより、復号できなかった画像を他の画像で代替するエラーコンシールメント処理のために予測参照画像を読み出す場合に、予測参照画像がエラーコンシールメント処理を行う画像復号部に存在することにより、エラーコンシールメント処理において、他の画像復号部からの予測参照画像の読み出しを行う必要がなくなり、エラーコンシールメント処理に伴うデータ転送により、他の画像復号部の復号処理に対する影響を抑制することができる。

続いて、セグメント割当決定部１０２は、ステップＳ７０８で決定したセグメントの割当結果を、セグメント割当履歴／エラー検出位置履歴管理部１０５に格納する（ステップＳ７０９）。
次に、符号化ビデオ信号再生成部１０３は、セグメント割当情報を、画像復号部１０６ａ〜１０６ｄにおける復号に適した形式に組み立てる（ステップＳ７１０）。

次に、符号化ビデオ信号再生成部１０３は、第１ビットストリームにおけるセグメントのスタートコードと、スタートコード以外のビットストリームとの間に、セグメント割当情報を挿入して、第２ビットストリーム１１３ａ〜１１３ｄを生成する（ステップＳ７１１）。
次に、画像復号部１０６ａ〜１０６ｄは、ステップＳ７１２からステップＳ７１８までの処理を並列に行う。

ここでは、説明の便宜のため、画像復号部１０６ａを一例として用い、ステップＳ７１２からステップＳ７１８までの動作を説明する。
画像復号部１０６ａは、第２ビットストリーム１１３ａを受け取ると、受け取った第２ビットストリーム１１３ａを、画像復号結果バッファリング部１１１ａに一旦格納する。
セグメント割当情報抽出部１０７ａは、第２ビットストリーム１１３ａのスタートコードを検出し、スタートコードの次に位置するセグメント割当情報を抽出する（ステップＳ７１２）。

次に、符号化ビデオ信号復号／表示部１０８ａは、第２ビットストリーム１１３ａから、セグメント割当情報が抽出された残りのビットストリームに対する復号処理を行うとともに、第２のエラー検出部１０９ａは、セグメント割当情報が抽出された残りのビットストリームに対して解読を行い、復号継続不能となる第２のエラーをチェックする（ステップＳ７１３）。

第２のエラー検出部１０９ａが、第２のエラーを検出しない場合（ステップＳ７１４でＮ）、符号化ビデオ信号復号／表示部１０８ａは、ステップＳ７１２で抽出したセグメント割当情報に基づいて、画像復号結果バッファリング部１１１ａ〜１１１ｄから予測参照画像を読み出して復号処理を行い、画像復号結果バッファリング部１１１ａ〜１１１ｄへの復号結果の書き込み、図示していない表示部の表示要求に応じて、画像復号結果バッファリング部１１１ａ〜１１１ｄからの復号結果の読み出しを行い、表示部に画像復号結果を出力する（ステップＳ７１５）。

第２のエラー検出部１０９ａが、第２のエラーを検出した場合（ステップＳ７１４でＹ）、エラー通知部１１０ａ〜１１０ｄでは、検出されたエラー検出位置を、エラー検出履歴情報としてセグメント割当履歴／エラー検出位置履歴管理部１０５に通知する。
前記通知を受け取ると、セグメント割当履歴／エラー検出位置履歴管理部１０５は、管理テーブルに、第２のエラー位置情報を登録する（ステップＳ７１６）。

その後、符号化ビデオ信号復号／表示部１０８ａは、第２のエラーにより復号できなかった画像を、他の画像で代替するエラーコンシールメント処理のために、予測参照画像を読み出して、画像復号結果バッファリング部１１１ａへ書き込む。また、図示していない表示部からの表示要求に応じて、画像復号結果バッファリング部１１１ａ〜１１１ｄからの復号結果の読み出しを行い、表示部に復号結果を出力する（ステップＳ７１７）。

その後、画像復号部１０６ａは、第２ビットストリーム１１３ａの復号処理が終了したか否かを判断する。第２ビットストリーム１１３ａの復号処理が終了していない場合（ステップＳ７１８でＮ）、ステップＳ７１３に戻り、処理を続ける。第２ビットストリーム１１３ａの復号処理が終了した場合（ステップＳ７１８でＹ）、ステップＳ７１９に進む。

続いて、データ量／特徴情報検出部１０１は、第１ビットストリーム１１２の全ての復号処理を終了したか否かを判断する。終了した場合（ステップＳ７１９でＹ）、画像復号装置１は、処理を終了する。終了していなければ（ステップＳ７１８でＮ）、ステップＳ７０１に戻り、第１ビットストリーム１１２を受信し、復号処理を継続する。
なお、セグメント割当決定部１０２は、画像復号部１０６ａが第２ビットストリームの復号処理を行っている間に、次のセグメントの分割割り当ての決定を行う。即ち、画像復号装置１は、ステップＳ７０１〜ステップＳ７１１の処理と、ステップＳ７１２〜ステップＳ７１７の処理とを並列に行う。

＜第１の実施形態のまとめ＞
以上説明したように、本実施形態によれば、ディジタル的に符号化されたビデオ信号のセグメント毎のデータ量と画像復号部がもつ固有の処理能力とに応じて、各画像復号部にセグメントの処理を割り当てることにより、各画像復号部の処理時間ができるだけ均等となるようにすることで、処理効率を向上させることができる。

また、第１のエラーが検出された場合には、エラーコンシールメント処理に伴うデータ転送が異なる画像復号部に影響を及ぼさないようにセグメントを割り当てるとともに、第２のエラーが検出された場合には、ディジタル的に符号化されたビデオ信号を読み飛ばすことによって生じる処理時間の不均衡を、次のセグメントの割り当て決定時に、処理時間ができるだけ均等となるように割り当てを決定することで、画像復号装置１の処理効率を向上させることができる。

更に、本実施形態によれば、第１ビットストリーム１１２が分割された１以上のセグメントに、各画像復号部に割り当てられたセグメントを示すセグメント割当情報を付加して第２ビットストリーム１１３ａ〜１１３ｄを生成し、第２ビットストリームを各画像復号部へ供給することにより、各画像復号部は、付加されたセグメント割当情報を抽出し、抽出したセグメント割当情報に基づいて、復号処理、エラーコンシールメント処理、及び表示処理を行うことにより、その構成を大きく変えることなく、既存のシステムを本発明のシステムに拡張することができる。

なお、本実施形態では、単一の画像復号部の処理能力を超える単一のビットストリームの復号処理を行う構成を有するが、本発明はこれに限定されるものではなく、単一の画像復号部の処理能力を超える複数のビットストリームの復号処理を行う構成であってもよい。
この場合、複数のビットストリームｊ（ｊ＝１，２、３、・・・）の画像フレームサイズの水平サイズをｓｊ、垂直サイズをｔｊ、フレームレートをｕｊとすると，ビットストリームｊにおける一秒間に復号処理可能なマクロブロック数ｌｊは、ｓｊ／１６×ｔｊ／１６×ｕｊである。

そのため、単一の画像復号部の処理能力を超える複数のビットストリームの復号処理を行うためには、複数のビットストリームｊにおける一秒間に復号処理可能なマクロブロック数ｌｊの総和をＬ、複数の画像復号部の処理能力の総和をＱとすると、Ｌ／Ｑ＜１となるように画像復号部の数を確保する必要がある。
そして、複数のビットストリームｊにおける分割されたセグメントのセグメントデータ量をｍｊｉ（ｉは分割されたセグメントの数であり、並列に処理する画像復号部の数１〜ｎに対応する）とすると、ビットストリームｊに対して、ｍｊ０／Ｐ０、ｍｊ１／Ｐ１、・・・、ｍｊｉ／Ｐｉができるだけ等しくなるように、各画像復号部にセグメントを割り当てることにより、各画像復号部に対して、できるだけ均等に処理を割り当てることができる。

なお、本実施形態における画像復号装置１は、単一の半導体集積回路上に実現されてもよい。
また、画像復号装置１の構成要素のうち、画像復号結果バッファリング部１１１ａ〜１１１ｄを除いた他の構成要素は、単一の半導体集積回路上に実現されてもよい。
また、画像復号部１０６ａ〜１０６ｄが単一の半導体集積回路で実現され、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、及びセグメント割当履歴／エラー検出位置履歴管理部１０５が単一の半導体集積回路上に実現されてもよい。

また、画像復号部１０６ａ〜１０６ｄがそれぞれ異なる４つの半導体集積回路で実現され、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、及びセグメント割当履歴／エラー検出位置履歴管理部１０５が単一の半導体集積回路上に実現されてもよい。
また、図１の実線ａで囲んだ部分（即ち、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、セグメント割当履歴／エラー検出位置履歴管理部１０５、画像復号部１０６ａ，及び画像復号結果バッファリング部１１１ａ）は、一つの半導体集積回路上に実現されてもよい。

また、画像復号部１０６ａと画像復号結果バッファリング部１１１ａ、画像復号部１０６ｂと画像復号結果バッファリング部１１１ｂ、画像復号部１０６ｃと画像復号結果バッファリング部１１１ｃ、画像復号部１０６ｄと画像復号結果バッファリング部１１１ｄは、それぞれ一つのプリント基板で実現されてもよい。
また、画像復号部１０６ａ〜１０６ｄと画像復号結果バッファリング部１１１ａ〜１１１ｄは、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）、ＤＶＤレコーダのような個別のシステムで実現され、個別のシステムをネットワークで接続するように構成してもよい。

また、本発明は、図１に記載した各構成要素に加え、符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄから出力される画像を表示する表示装置を含む構成としてもよい。
≪第２の実施形態≫
ここでは、本発明の第２の実施形態に係る画像復号装置２について説明する。
＜構成＞
図１１は、本発明の第２の実施形態２に係る画像復号装置２の構成を示すブロック図である。図１１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。画像復号装置２は、性能情報収集部１１４及び性能情報格納部１１５ａ〜１１５ｄを備える点が特徴である。

そして、本実施形態では、画像復号装置２として用いられる画像復号部の数が予め決定されていない。画像復号装置２は、第１ビットストリーム１１２の符号量及び各画像復号部の処理性能に応じて、復号処理に用いる画像復号部を選択し、画像復号処理に必要な数の画像復号部を確保した後、第１ビットストリーム１１２の復号処理を行う。以下では、その詳細について説明する。

近年の半導体集積回路、特にマイクロプロセッサでは、シリアル番号やＩＤ番号が半導体集積回路に埋め込まれている。そこで、本実施形態では、シリアル番号やＩＤ番号と同様に、固有情報として各画像復号部１０６ａ〜１０６ｄの性能情報を、各画像復号部１０６ａ〜１０６ｄに埋め込む。
画像復号部１０６ａ〜１０６ｄの性能情報は、性能情報格納部１１５ａ〜１１５ｄに予め埋め込まれている。そして、性能情報収集部１１４は、外部インタフェースを介して、画像復号部１０６ａ〜１０６ｄの性能情報格納部１１５ａ〜１１５ｄにアクセスし、画像復号部１０６ａ〜１０６ｄの性能情報を抽出する。

或いは、性能情報収集部１１４は、画像情報部１０６ａ〜１０６ｄに対して性能情報転送要求信号を送信し、画像復号部１０６ａ〜１０６ｄは、性能情報転送要求信号を受信すると、性能情報格納部１１５ａ〜１１５ｄから性能情報を抽出して、性能情報収集部１１４に送信する。
そして、性能情報収集部１１４は、取得した画像復号部１０６ａ〜１０６ｄの性能情報を、セグメント割当決定部１０２に出力し、セグメント割当決定部１０２は、性能情報収集部１１４から受け取った性能情報を保持する。

また、本実施形態では、第１ビットストリーム１１２を復号処理するために必要な画像復号部の数を決定するために、データ量／特徴情報検出部１０１は、まず、第１ビットストリームにおけるスタートコードを検出し、一部のビットストリームを復号、解読し、第１ビットストリーム１１２のフレームサイズとフレームレートを抽出する。
そして、第１ビットストリーム１１２のフレームサイズとフレームレートと各画像復号部の対応画像フレームサイズとフレームレートとから、第１ビットストリーム１１２を復号するために必要となる処理能力を算出する。

具体的には、一秒間に復号処理可能なマクロブロック数ｌは、画像フレームサイズの水平サイズをｓ、垂直サイズをｔ、フレームレートをｕとすると，ｓ／１６×ｔ／１６×ｕである。
同様に、画像復号部の一秒間に復号処理可能なマクロブロック数で処理能力Ｐｉ（ｉは並列に処理する画像復号部の数である）は、画像復号部ｉの仕様として規定される対応画像フレームサイズの水平サイズをｓｉ、垂直サイズをｔｉ、対応フレームレートをｕｉとすると、ｓｉ／１６×ｔｉ／１６×ｕｉである。

そこで、単一の画像復号部の処理能力を超える単一のビットストリームの復号処理を行うためには、複数の復号部ｉの処理能力ｓｉ／１６×ｔｉ／１６×ｕｉの総和をＱとするとｌ／Ｑ＜１となるように、復号処理に用いる画像復号部を選択し、必要な画像復号部の数を確保する。
そして、画像復号装置２は、復号処理に用いる画像復号部の数を確保した後は、第１の実施形態に係る画像復号装置１と同様に、復号処理を行う。

＜動作＞
図１２は、第２の実施形態に係る画像復号装置２の動作を示すフローチャートである。
先ず、性能情報収集部１１４は、画像復号部１０６ａ〜１０６ｄからそれぞれの性能情報を取得し、取得した性能情報を、セグメント割当決定部１０２に出力する。そして、セグメント割当決定部１０２は、画像復号部１０６ａ〜１０６ｄの性能情報を内部に保持する（ステップＳ７２０）。

次に、データ量／特徴情報検出部１０１において、第１ビットストリーム１１２を復号処理するために必要な画像復号部の数を算出するために、データ量／特徴情報検出部１０１において、一部のビットストリームを復号、解読し、第１ビットストリームのフレームサイズとフレームレートを抽出する。
そして、第１ビットストリームのフレームサイズとフレームレートと画像復号部の対応画像フレームサイズとフレームレートから、第１ビットストリーム１１２を復号するために必要となる処理能力を算出し、第１ビットストリーム１１２を復号処理するのに必要な画像復号部の数を確保する（ステップＳ７３０）。

なお、ステップＳ７２０とステップＳ７３０は、この順序に限定されない。画像復号装置２は、ステップＳ７２０とステップＳ７３０とを同時に行ってもよい。
以下、ステップＳ７０１からステップＳ７１９までの処理は、第１の実施形態と同様であるため、説明を省略する。
＜第２の実施形態のまとめ＞
以上説明したように、本実施の形態は、各画像復号部に対して第２ビットストリームを割り当てる前に、各画像復号部の処理能力と、第１ビットストリームのフレームサイズ及びフレームレートとを解析することにより、必要な画像復号部の数を算出し、必要な数の画像復号部を確保して、各画像復号部に第２ビットストリームを割り当てるので、本実施形態によれば、一旦構成したシステムに新たに画像復号部を追加することで、処理性能を向上させることができる。

また、本実施形態は、第１の実施形態と同様に、第１のエラーが検出された場合には、エラーコンシールメント処理に伴うデータ転送が異なる画像復号部に影響を及ぼさないようにセグメントを割り当てるとともに、第２のエラーが検出された場合には、ディジタル的に符号化されたビデオ信号を読み飛ばすことによって生じる処理時間の不均衡を、次のセグメントの割り当て決定時に、処理時間ができるだけ均等となるように割り当てを決定することで、画像復号装置２の処理効率を向上させることができる。

なお、本実施形態では、各画像復号部の性能情報として、対応する画像フレームサイズ、フレームレート、又は１秒間に復号処理が可能なマクロブロック数を用いてもよい。
なお、本実施形態では、単一の画像復号部の処理能力を超える単一のビットストリームの復号処理を行う構成を有するが、本発明はこれに限定されるものではなく、単一の画像復号部の処理能力を超える複数のビットストリームの復号処理を行う構成であってもよい。その詳細については、第１の実施形態で説明したので、ここでは説明を省略する。

なお、本実施形態における画像復号装置２は、単一の半導体集積回路上に実現されてもよい。
また、画像復号装置２の構成要素のうち、画像復号結果バッファリング部１１１ａ〜１１１ｄを除いた他の構成要素は、単一の半導体集積回路上に実現されてもよい。
また、画像復号部１０６ａ〜１０６ｄが単一の半導体集積回路で実現され、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、セグメント割当履歴／エラー検出位置履歴管理部１０５、及び性能情報収集部１１４が単一の半導体集積回路上に実現されてもよい。

また、画像復号部１０６ａ〜１０６ｄがそれぞれ異なる４つの半導体集積回路で実現され、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、セグメント割当履歴／エラー検出位置履歴管理部１０５、及び性能情報収集部１１４が単一の半導体集積回路上に実現されてもよい。

また、図１１の実線ｂで囲んだ部分（即ち、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、セグメント割当履歴／エラー検出位置履歴管理部１０５、性能情報収集部１１４、画像復号部１０６ａ，及び画像復号結果バッファリング部１１１ａ）は、一つの半導体集積回路上に実現されてもよい。

また、画像復号部１０６ａと画像復号結果バッファリング部１１１ａ、画像復号部１０６ｂと画像復号結果バッファリング部１１１ｂ、画像復号部１０６ｃと画像復号結果バッファリング部１１１ｃ、画像復号部１０６ｄと画像復号結果バッファリング部１１１ｄは、それぞれ一つのプリント基板で実現されてもよい。
また、画像復号部１０６ａ〜１０６ｄと画像復号結果バッファリング部１１１ａ〜１１１ｄは、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）、ＤＶＤレコーダのような個別のシステムで実現され、個別のシステムをネットワークで接続するように構成してもよい。

また、本発明は、図１１に記載した各構成要素に加え、符号化ビデオ信号復号／表示部１０８ａ〜１０８ｄから出力される画像を表示する表示装置を含む構成としてもよい。
≪第３の実施形態≫
ここでは、本発明の第３の実施形態に係る画像復号システム３について説明する。
図１３は、本発明の第３の実施形態に係る画像処理システム３の構成を示す図である。なお、図１３において、図１及び図１１と同じ構成要素については同じ符号を用い、説明を省略する。

図１３（ａ）に示すように、画像復号システム３は、画像符号化装置１２０１、画像復号装置１２０２、及び伝送路１２０３から構成される。ここで、画像復号装置１２０２の全体構成は、図１で示した画像復号装置１と同一の構成であるものとする。
画像符号化装置１２０１は、ディジタル的に符号化されたビデオ信号（第１ビットストリーム１１２）を生成し、生成した第１ビットストリーム１１２を、伝送路１２０３を介して画像復号装置１２０２に伝送する。

画像復号装置１２０２は、前処理部１２０４と画像復号部１２０５とから構成される。そして、画像復号部１２０５は、複数の基板１２０６ａ、１２０６ｂ、・・・、１２０６ｎを含む。
図１３（ｂ）は、前処理部１２０４の構成を示すブロック図である。同図に示すように、前処理部１２０４は、データ量／特徴情報検出部１０１、セグメント割当決定部１０２、符号化ビデオ信号再生成部１０３、第１のエラー検出部１０４、セグメント割当履歴／エラー検出位置履歴管理部１０５、及び性能情報収集部１１４から構成される。

前処理部１２０４の性能情報収集部１１４は、外部接続バス１２０７を介して、画像復号部１０６ａ〜１０６ｎから性能情報を収集する。また、前処理部１２０４は、エラー位置通知信号１２０８を介して、画像復号部１０６ａ〜１０６ｎによる第２のエラーの検出を、セグメント割当履歴／エラー検出位置履歴管理部１０５に渡す。
その他の各構成要素は、第１の実施形態に係る画像復号装置１及び第２の実施形態に係る画像復号装置２の構成要素と同一の機能を有するため、説明を省略する。

図１３（ｃ）は、画像復号部１２０５の構成を示す概略図である。同図に示すように、画像復号部１２０５は、複数の基板１２０６ａ〜１２０６ｎと、データ伝送のための画像復号バス１２１０と、複数の基板１２０６ａ〜１２０６ｎを取り付けたり、取り外したりすることが可能な複数のソケット１２０９ａ〜１２０９ｎから構成される。
基板１２０６ａ〜１２０６ｎは、それぞれ、第２ビットストリーム１１３ａ〜１１３ｎを並列に処理する画像復号部１０６ａ〜１０６ｎ、画像復号部１０６ａ〜１０６ｎ毎の第２ビットストリーム１１３ａ〜１１３ｎ、及び画像復号結果を格納する画像復号結果バッファリング部１１１ａ〜１１１ｎから構成される。

画像復号部１０６ａ〜１０６ｎは、それぞれ、図１に示した画像復号部１０６ａ〜１０６ｄと同一の内部構成と同一の機能を有するため、説明を省略する。
本実施形態によれば、前処理部１２０４を共通として用い、画像復号部１２０５において、複数の基板を取り付けたり、取り外したりすることで、システムの拡張及び変更が容易な画像復号システム３を提供することが可能となる。

更に、本実施形態によれば、第１及び第２の実施形態と同様に、セグメント毎にディジタル的に符号化されたビデオ信号のデータ量と、画像復号部１０６ａ〜１０６ｎがもつ固有の処理能力に応じてセグメントの処理を割り当てることにより、各画像復号部１０６ａ〜１０６ｎの処理時間ができるだけ均等となるようにすることで、全体の処理効率を向上させることができる。

また、本実施形態によれば、第１及び第２の実施形態と同様に、第１のエラーが検出された場合には、エラーコンシールメント処理に伴うデータ転送が異なる画像復号部に影響を及ぼさないようにセグメントを割り当てるとともに、第２のエラーが検出された場合には、ディジタル的に符号化されたビデオ信号を読み飛ばすことによって生じる処理時間の不均衡を、次のセグメントの割り当て決定時に、処理時間ができるだけ均等となるように割り当てを決定することで、システムの処理効率を向上させることができる。

なお、本実施形態において、前処理部１２０４は単一の半導体集積回路上に実現されてもよい。
また、画像復号部１０６ａと画像復号結果バッファリング部１１１ａ、画像復号部１０６ｂと画像復号結果バッファリング部１１１ｂ、画像復号部１０６ｃと画像復号結果バッファリング部１１１ｃ、画像復号部１０６ｄと画像復号結果バッファリング部１１１ｄ、・・・、画像復号部１０６ｎと画像復号結果バッファリング１１１ｎは、単一の半導体集積回路上に実現されてもよい。

また、伝送路１２０３は、バスではなくネットワーク接続であってもよい。
また、本発明は、図１３に記載した各構成要素に加え、画像を表示する表示装置を含む構成としてもよい。

本発明に係る画像復号装置は、ＤＴＶ、ＤＶＤレコーダ、ＢＤレコーダなどの機器を製造、販売する産業において、ＭＰＥＧ−２規格、Ｈ．２６４／ＡＶＣ規格、ＶＣ−１規格などにより符号化されたビデオ信号を、効率的に復号することが可能な技術として用いることが可能である。

１ 画像復号装置
２ 画像復号装置
３ 画像復号システム
１０１ データ量／特徴情報検出部
１０２ セグメント割当決定部
１０３ 符号化ビデオ信号再生成部
１０４ 第１のエラー検出部
１０５ セグメント割当履歴/エラー履歴管理部
１０６ａ〜１０６ｎ 画像復号部
１０７ａ〜１０７ｄ セグメント割当情報抽出部
１０８ａ〜１０８ｄ ビデオ信号復号/表示部
１０９ａ〜１０９ｄ 第２のエラー検出部
１１０ａ〜１１０ｄ エラー通知部
１１１ａ〜１１１ｄ 画像復号結果バッファリング部
１１５ａ〜１１５ｄ 性能情報格納部
１１２ 第１ビットストリーム
１１３ 第２ビットストリーム
１１４ 性能情報収集部
１２０１ 画像符号化装置
１２０２ 画像復号装置
１２０３ 伝送路
１２０４ 前処理部
１２０５ 画像復号部
１２０６ａ〜１２０６ｎ 基板
１２０７ 外部接続バス
１２０８ エラー位置通知信号
１２０９ａ〜１２０９ｎ ソケット
１２１０ 画像復号バス

Claims (13)

1. ディジタル的に符号化された第１ビデオ信号を、並列に接続した複数の画像復号部を用いて復号処理する画像復号装置であって、
   エラーが検出されない場合に、第１の割当方式により、各画像復号部による処理時間がほぼ均等になるように、各画像復号部に処理を割り当て、
   エラーが検出された場合に、前記第１の割当方式と異なる第２の割当方式により、各画像復号部による処理時間がほぼ均等になるように、各画像復号部に処理を割り当てる割当制御手段と、
   前記第１ビデオ信号のエラーを検出するエラー検出手段と、
   それぞれ固有の処理性能を有し、前記第１ビデオ信号に含まれる１以上のセグメントを割り当てられ、割り当てられた前記１以上のセグメントを復号する複数の画像復号部と、
   前記割当制御手段による割当結果を記憶する記憶手段とを備え、
   前記割当制御手段は、
   各画像復号部の処理性能に応じて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当て、
   前記エラー検出手段によりエラーが検出され、且つ、検出された前記エラーを含むセグメントの参照先セグメントが、既に何れかの画像復号部により復号済みである場合に、前記記憶手段から前記参照先セグメントの割当結果を取得し、前記エラーを含むセグメントを、前記参照先セグメントが割り当てられた画像復号部へ割り当てることを確定したのち、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てるように制御する
   ことを特徴とする画像復号装置。
2. 各画像復号部は、
   割り当てられた前記１以上のセグメントを復号処理する復号部と、
   前記復号部におけるセグメントの復号中にエラーを検出するエラー検出部と、
   前記エラー検出部がエラーを検出すると、検出された前記エラーの位置を前記記憶手段に通知するエラー通知部とを含み、
   前記記憶手段は、更に、前記エラー通知部から通知された前記エラーの位置を記憶し、
   前記割当制御手段は、前記記憶手段に前記エラーの位置が記憶されている場合には、前記エラーの位置及び各画像復号部の処理性能に応じて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てる
   ことを特徴とする請求項１に記載の画像復号装置。
3. 前記画像復号装置は、
   前記第１ビデオ信号から、各セグメントのデータ量及び特徴情報を抽出する抽出手段を備え、
   前記割当制御手段は、前記抽出手段により抽出された各セグメントのデータ量及び特徴情報を用いて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てる
   ことを特徴とする請求項２に記載の画像復号装置。
4. 前記割当制御手段は、
   画像復号部毎に、前記複数の画像復号部に対するセグメントの割り当てを記述した割当情報と、各画像復号部に割り当てられる１以上のセグメントとから構成される第２ビデオ信号を生成し、生成した第２ビデオ信号を各画像復号部に出力する
   ことを特徴とする請求項３に記載の画像復号装置。
5. 前記画像復号装置は、
   各画像復号部に対応し、各画像復号部が前記割当制御手段から受け取った第２ビデオ信号及び各画像復号部により復号された復号結果を記憶する複数個のバッファリング部を備え、
   前記各画像復号部は、
   前記第２ビデオ信号から前記割当情報を抽出し、
   抽出した前記割当情報に基づいて、前記複数のバッファリング部から必要な復号結果を取得して、（ａ）前記画像復号部による復号処理、（ｂ）前記エラー検出部によりエラーが検出されたときのエラーコンシールメント処理、及び（ｃ）画像を出力する表示処理を行う
   ことを特徴とする請求項４に記載の画像復号装置。
6. 前記エラー検出手段は、各セグメントのヘッダ部分をエラー検出対象とし、ヘッダ部分の復号が継続不能となるエラーを検出し、
   各画像復号部に含まれる各エラー検出部は、各セグメントのテクスチャデータをエラー検出対象とし、テクスチャデータの復号が継続不能となるエラーを検出する
   ことを特徴とする請求項５に記載の画像復号装置。
7. 前記画像復号装置は、更に、
   前記第１ビデオ信号のデータ量を抽出する抽出手段と、
   前記複数の画像復号部から、自己の処理能力を示す性能情報を取得する取得手段と、
   取得した複数の性能情報と、前記第１ビデオ信号のデータ量とに基づき、前記第１ビデオ信号の復号処理に用いる１以上の画像復号部を選択する選択手段を備え、
   前記各画像復号部は、更に、前記性能情報を格納する性能情報格納部を備える
   ことを特徴とする請求項１に記載の画像復号装置。
8. 画像復号装置と画像出力装置とから構成される画像復号システムであって、
   前記画像復号装置は、
   第１ビデオ信号のエラーを検出するエラー検出手段と、
   それぞれ固有の処理性能を有し、前記第１ビデオ信号に含まれる１以上のセグメントを割り当てられ、割り当てられた前記１以上のセグメントを復号し、出力する複数の画像復号部と、
   各画像復号部の処理性能に応じて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てる割当制御手段と、
   前記割当制御手段による割当結果を記憶する記憶手段とを備え、
   前記割当制御手段は、前記エラー検出手段によりエラーが検出され、且つ、検出された前記エラーを含むセグメントの参照先セグメントが、既に何れかの画像復号部により復号済みである場合に、前記記憶手段から前記参照先セグメントの割当結果を取得し、前記エラーを含むセグメントを、前記参照先セグメントが割り当てられた画像復号部へ割り当てることを確定したのち、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てるように制御し、
   前記画像出力装置は、前記複数の画像復号部から出力された画像を表示する
   ことを特徴とする画像復号システム。
9. 前記画像復号装置は、更に、
   前記第１ビデオ信号のデータ量を抽出する抽出手段と、
   前記複数の画像復号部から、自己の処理能力を示す性能情報を取得する取得手段と、
   取得した複数の性能情報と、前記第１ビデオ信号のデータ量とに基づき、前記第１ビデオ信号の復号処理に用いる１以上の画像復号部を選択する選択手段を備え、
   前記各画像復号部は、前記性能情報を格納する性能情報格納部を備える
   ことを特徴とする請求項８に記載の画像復号システム。
10. ディジタル的に符号化された第１ビデオ信号を、並列に接続した複数の画像復号部を用いて復号処理する画像復号装置で用いられる画像復号方法であって、
    前記画像復号装置は、
    それぞれ固有の処理性能を有し、前記第１ビデオ信号に含まれる１以上のセグメントを割り当てられ、割り当てられた前記１以上のセグメントを復号する複数の画像復号部と、
    割当制御ステップによる割当結果を記憶する記憶手段とを備え、
    前記画像復号方法は、
    前記第１ビデオ信号のエラーを検出するエラー検出ステップと、
    各画像復号部の処理性能に応じて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てる割当制御ステップとを含み、
    前記割当制御ステップは、前記エラー検出ステップによりエラーが検出され、且つ、検出された前記エラーを含むセグメントの参照先セグメントが、既に何れかの画像復号部により復号済みである場合に、前記記憶手段から前記参照先セグメントの割当結果を取得し、前記エラーを含むセグメントを、前記参照先セグメントが割り当てられた画像復号部へ割り当てることを確定したのち、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てるように制御する
    ことを特徴とする画像復号方法。
11. 前記各画像復号部は、自己の処理能力を示す性能情報を格納する性能情報格納部を備え、
    前記画像復号方法は、更に、
    前記第１ビデオ信号のデータ量を抽出する抽出ステップと、
    前記複数の画像復号部から、前記性能情報を取得する取得ステップと、
    取得した複数の性能情報と、前記第１ビデオ信号のデータ量とに基づき、前記第１ビデオ信号の復号処理に用いる１以上の画像復号部を選択する選択ステップとを含む
    ことを特徴とする請求項１０に記載の画像復号方法。
12. ディジタル的に符号化された第１ビデオ信号を、並列に接続した複数の画像復号部を用いて復号処理する画像復号装置で用いられる集積回路であって、
    前記第１ビデオ信号のエラーを検出するエラー検出手段と、
    それぞれ固有の処理性能を有し、前記第１ビデオ信号に含まれる１以上のセグメントを割り当てられ、割り当てられた前記１以上のセグメントを復号する複数の画像復号部と、
    各画像復号部の処理性能に応じて、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てる割当制御手段と、
    前記割当制御手段による割当結果を記憶する記憶手段とを備え、
    前記割当制御手段は、前記エラー検出手段によりエラーが検出され、且つ、検出された前記エラーを含むセグメントの参照先セグメントが、既に何れかの画像復号部により復号済みである場合に、前記記憶手段から前記参照先セグメントの割当結果を取得し、前記エラーを含むセグメントを、前記参照先セグメントが割り当てられた画像復号部へ割り当てることを確定したのち、各画像復号部による処理時間がほぼ均等となるように、各画像復号部に前記１以上のセグメントを割り当てるように制御する
    ことを特徴とする集積回路。
13. 前記集積回路は、更に、
    前記第１ビデオ信号のデータ量を抽出する抽出手段と、
    前記複数の画像復号部から、自己の処理能力を示す性能情報を取得する取得手段と、
    取得した複数の性能情報と、前記第１ビデオ信号のデータ量とに基づき、前記第１ビデオ信号の復号処理に用いる１以上の画像復号部を選択する選択手段を備え、
    前記各画像復号部は、前記性能情報を格納する性能情報格納部を備える
    ことを特徴とする請求項１２に記載の集積回路。

Images