JP4178462B2 - 動画像クラスタ処理システム - Google Patents

Description

本発明は動画像クラスタ処理システムに関し、複数台のパーソナルコンピュータ、ワークステーション、その他低価格ＣＰＵボード（以下、パソコンと呼ぶ）を用いて動画像処理を行う場合に適用して好適なものである。

近年、パソコンの高性能化及び低価格化に伴い、ネットワークを介して複数のパソコンを相互接続して処理を分担させる（これをクラスタ処理と呼ぶ）ことにより、従来は高価なコンピュータが必要とされた複雑な処理を低コストで実行できるようになっている。このようなクラスタ処理の適用分野としては、暗号解読、ゲノム解析、コンピュータグラフィックスのレンダリング処理が挙げられる（例えば、特許文献１参照）。

図２０はパソコンを用いた一般的なクラスタ処理システムの構成を示し、ホストノードパソコン１０１と、複数台の計算ノードパソコン１０２（１０２Ａ〜１０２Ｎ）とがネットワーク１０３を介して接続されてクラスタ処理システム１００を構成している。ホストノードパソコン１０１は、管理下の計算ノードパソコン１０２Ａ〜１０２Ｎに対して処理を分散して実行させる。

図２１はクラスタ処理システム１００におけるアプリケーション構造を示し、ホストノードパソコン１０１のクラスタアプリケーションプログラム１１０は、クラスタ管理プログラム１１１及び通信層１１２を介して、各計算ノードパソコン１０２上の分散ジョブ１１３を制御する。

クラスタ管理プログラム１１１は、クラスタアプリケーションプログラム１１０からの命令を受け、他のパソコンに対するデータの送受信、分散ジョブ１１３の起動及び終了等を通信層１１２を介して実行する。
特開２０００−３００４７公報

ここで、上述したクラスタ処理を動画像の圧縮符号化や伸張復号化処理（動画像圧縮伸張処理）に適用することも考えられる。かかる動画像圧縮伸張処理においては、入力したデータをリアルタイムに処理して送信するようなリアルタイム処理が要求される場合と、処理後のデータをハードディスク等の記憶媒体に蓄積するような非リアルタイム処理の２つに分けられる。

非リアルタイム処理では処理時間に制限が無いため、単にクラスタ処理を行わせるパソコン（以下、これをノードと呼ぶ）の台数を増加させることで、負荷の高い圧縮／伸長処理をより高速に実行することができる。

これに対してリアルタイム処理では一定時間内に処理が終了することが要求され、当該一定時間内に処理が終了しない場合は処理の取りこぼし等の問題が発生する。このため、クラスタ処理におけるリアルタイム性を保証するために、予め各ノードに対して処理負荷の評価を行い、それぞれの処理負荷に応じた処理を各ノードに割り振るといった対処が行われている。

一方、クラスタの各ノードにおいては、クラスタ処理を管理するプログラムは、Ｌｉｎｕｘ、Ｕｎｉｘ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）等の基本プログラム（オペレーティングシステム）上で動作しているのが一般的である。

ここで、上述したオペレーティングシステムは、その管理下で稼働するアプリケーションプログラムに関して一定時間内での処理終了を保証する機構を備えたもの（以下、これをリアルタイムＯＳと呼ぶ）ではない。また、各ノードでは複数のプログラム（タスク）が同時に実行されていることがほとんどであり、特定のタスクに所定の計算機リソースの割り当てを保証するものでもない。Ｕｎｉｘ（登録商標）等の一部のオペレーティングシステムにおいては、タスクの優先度を指定する機能を有しているものの、これも所定時間内に所定処理が終了することを保証するものではない。

従って、パソコンで構成したクラスタを用いてリアルタイム動画像圧縮伸張処理を行う場合、各ノードの処理時間の変動によってリアルタイム性が損なわれ、これによりデータ処理の遅延が発生する場合がある。

また、上述したようにパソコンで構成したクラスタを用いてリアルタイム動画像圧縮伸張処理を行う場合、ノードの台数を増加すると、各ノードにおけるデータ処理の遅延が発生する場合がある。

このように、パソコンで構成したクラスタを用いてリアルタイム動画像圧縮伸張処理を行う場合、各ノードにおけるデータの処理遅延が発生することがあり、これにより符号化データや復号化画像に欠損が生じる可能性があるという問題があった。

本発明は以上の点を考慮してなされたもので、ノードの処理遅延によるデータや画像の欠損を確実に補正し得る動画像クラスタ処理システムを提案しようとするものである。

かかる課題を解決するため本発明においては、複数の情報処理装置と、動画像処理を当該複数の情報処理装置それぞれに分散処理させる管理装置とからなる動画像クラスタ処理システムにおいて、複数の情報処理装置それぞれに対しピクチャ単位で動画像処理を実行させる動画像処理指示手段と、複数の情報処理装置それぞれから返送されるピクチャ毎の動画像処理の処理結果を取得する処理結果取得手段と、情報処理装置からの処理結果の返送が遅延したとき、遅延した処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、変動評価値が閾値未満の場合、遅延した処理結果のみを参照ピクチャの対応する処理結果で置換し、変動評価値が閾値以上の場合、遅延ピクチャ全体の処理結果を参照ピクチャの処理結果で置換する処理結果置換手段とを管理装置に設けた。

遅延ピクチャと参照ピクチャとの間の変動評価値に応じて、遅延した処理結果のみを置換するか、遅延ピクチャ全体の処理結果を置換するかを判断するようにしたことにより、処理遅延によるデータや画像の欠損を、ピクチャの絵柄の変化度合いに応じて確実に補正することができる。

以下図面について、本発明の一実施の形態を詳述する。

（１）第１の実施の形態
（１−１）動画像クラスタ処理システムの全体構成
図１において、１は全体として第１の実施の形態の動画像クラスタ処理システムを示し、管理装置としてのホストノードパソコン２と、情報処理装置としての４台の計算ノードパソコン３Ａ〜３Ｄとがネットワーク４を介して接続されている。

この動画像クラスタ処理システム１は、外部から供給されるアナログ映像信号を、クラスタ処理によってＪＰＥＧ（Joint Photographic cording experts Group）２０００方式でリアルタイム圧縮符号化処理するようになされている。

ホストノードパソコン２においては、当該ホストノードパソコン２を統括制御するＣＰＵ１１に対し、メモリ１２、表示部１３、ハードディスクドライブ１４、ネットワークインターフェース１５及びビデオキャプチャ回路１６が、バス１７を介して接続されている。

ハードディスクドライブ１４には、例えばＷｉｎｄｏｗｓ（登録商標）等のオペレーティングシステムや、動画像クラスタ処理プログラム等の各種アプリケーションプログラムが格納されている。ＣＰＵ１１は、ホストノードパソコン２の起動に応じてハードディスクドライブ１４からオペレーティングシステムを読み出し、メモリ１２に展開して実行する。

そして動画像処理指示手段としてのＣＰＵ１１は、オペレーティングシステムの実行環境下において動画像クラスタ処理プログラムを実行し、計算ノードパソコン３Ａ〜３Ｄに対して動画像の圧縮符号化及び伸張復号化処理を分散処理させる。

すなわち動画像の圧縮符号化時において、ホストノードパソコン２のビデオキャプチャ回路１６は、外部から供給されるアナログ映像信号Ｓ１をディジタル変換してディジタル映像信号Ｄ１を生成し、これをＣＰＵ１１に供給する。ＣＰＵ１１は動画像クラスタ処理プログラムに従い、ディジタル映像信号Ｄ１の圧縮符号化を計算ノードパソコン３Ａ〜３Ｄに分散処理させる。

ここでＪＰＥＧ２０００方式は、ディジタル映像信号の圧縮符号化を、ピクチャとしてのフレーム（又はフィールド）毎に完結して行うとともに、各フレームを、複数の画像ブロック（以下、これをタイルと呼ぶ）に分割して、各タイル個別に圧縮符号化し得るようになされている。

すなわち図２に示すように、ＣＰＵ１１は例えば７２０×４８０画素でなるディジタル映像信号Ｓ１の各フレームを計算ノードパソコン３Ａ〜３Ｄの台数に合わせて４分割し、３６０×２４０画素でなるタイル１〜タイル４を生成する。そしてＣＰＵ１１は、分割後の各タイル１〜タイル４のデータを分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄとして対応する計算ノードパソコン３Ａ〜３Ｄに順次供給する（図３（Ａ））。

計算ノードパソコン３Ａ〜３Ｄにおいては、当該計算ノードパソコン３を統括制御するＣＰＵ２１に対し、メモリ２２、表示部２３、ハードディスクドライブ２４及びネットワークインターフェース２５がバス２７を介して接続されている。

ハードディスクドライブ２４には、オペレーティングシステムやクラスタアプリケーションプログラム等の各種アプリケーションプログラムが格納されている。ＣＰＵ２１は、計算ノードパソコン３の起動に応じてハードディスクドライブ２４からオペレーティングシステムを読み出し、メモリ２２に展開して実行する。

そしてＣＰＵ２１は、オペレーティングシステムの実行環境下において動画像クラスタ処理プログラムを実行することにより、ホストノードパソコン２から供給される分割ディジタル映像データＤ２（Ｄ２Ａ〜Ｄ２Ｄ）をＪＰＥＧ２０００方式で圧縮符号化して分割符号化データＤ３（Ｄ３Ａ〜Ｄ３Ｄ）を生成し、これをホストノードパソコン２に返送する（図３（Ｂ））。

処理結果取得手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄから返送される分割符号化データＤ３Ａ〜Ｄ３Ｄをフレーム単位で順次合成して、圧縮符号化されたフレームデータの連続でなる符号化映像信号Ｄ４を生成し、これをハードディスクドライブ１４に格納するか、あるいはネットワーク４を介して外部の送信先に送信する（図３（Ｃ））。

かくして動画像クラスタ処理システム１は、アナログ映像信号Ｓ１をクラスタ処理によってリアルタイム圧縮符号化する。

また動画像の伸張復号化時において、ホストノードパソコン２のＣＰＵ１１はクラスタアプリケーションプログラムに従い、ハードディスクドライブ１４から読みだした符号化映像信号Ｄ４、あるいは外部からネットワーク４を介して供給された符号化映像信号Ｄ４の伸張復号化を計算ノードパソコン３Ａ〜３Ｄに分散処理させる。

すなわちＣＰＵ１１は、符号化映像信号Ｄ４のフレーム毎の符号化データを、図２に示すタイル１〜タイル４に対応して４分割して分割符号化データＤ３Ａ〜Ｄ３Ｄを生成し、それぞれを対応する計算ノードパソコン３Ａ〜３Ｄに供給する（図３（Ｃ））。

計算ノードパソコン３Ａ〜３ＤのＣＰＵ２１は動画像クラスタ処理プログラムに従い、それぞれホストノードパソコン２から供給される分割符号化データＤ３Ａ〜Ｄ３Ｄを伸張復号化して、タイル１〜タイル４の連続映像でなる分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを生成し、これをホストノードパソコン２に返送する（図３（Ｄ））。

処理結果取得手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄから返送された分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄをフレーム毎に順次合成してディジタル映像信号Ｄ１を生成し、これを表示部１３に表示するか、あるいはネットワーク４を介して外部の送信先に送信する（図３（Ｅ））。

かくして動画像クラスタ処理システム１は、符号化映像信号Ｄ４をクラスタ処理によってリアルタイム伸張復号化する。

（１−２）圧縮符号化及び伸張復号化時のエラーコンシールメント
かかる構成に加えてホストノードパソコン２は、各計算ノードパソコン３Ａ〜３Ｄそれぞれにおけるタイル毎の符号化処理時間又は復号化処理時間を常に監視している。

そしてホストノードパソコン２は、符号化処理時間又は復号化処理時間のいずれかが所定の基準処理時間を越えた場合（すなわち計算ノードにおける処理遅延の発生）、当該処理遅延が発生したタイルを含むフレームを、その前又は後のフレームを用いて補間することにより、計算ノードの処理遅延による復号画像の欠損を防止するようになされている。かかる補間処理をエラーコンシールメントと呼ぶ。

まず、上述したエラーコンシールメントを伴う動画像圧縮符号化を行うための、ホストノードパソコン２におけるクラスタ符号化処理手順を、図４に示すフローチャートを用いて詳細に説明する。

ホストノードパソコン２のＣＰＵ１１は、ルーチンＲＴ１の開始ステップから入って次のステップＳＰ１に移る。ステップＳＰ１において、動画像処理指示手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄに対して符号化ターゲットレート等の各種処理パラメータを送信し、次のステップＳＰ２に移る。

ステップＳＰ２においてＣＰＵ１１は、ディジタル映像信号Ｄ１の１フレーム分の画像データをメモリ１２に格納し、次のステップＳＰ３に移る。

ステップＳＰ３においてＣＰＵ１１は、メモリ１２に取り込んだ１フレーム分の画像データを４枚のタイルに対応して分割して分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを生成し、次のステップＳＰ４に移る。

ステップＳＰ４においてＣＰＵ１１は、現フレームの各タイルと、これに対応する１枚前のフレーム（これを比較対象フレームと呼ぶ）のタイルとの間の、ＲＧＢ各画素の画素値の差分値を算出する。

そしてＣＰＵ１１は、算出した差分値の絶対値をタイル毎に平均し、各平均値を、タイル１〜４それぞれのフレーム間の絵柄の変化度合いを表す画像変動評価値Ｄｉｆｆ１〜Ｄｉｆｆ４としてメモリ１２に記憶し、次のステップＳＰ５に移る。

図５は、フレームの変化に伴う画像変動評価値の推移の例を示す。例えばフレーム３において、三角形の物体がタイル１及びタイル３にかけて出現していることから、当該フレーム３のタイル１の画像変動評価値Ｄｉｆｆ１及びタイル３の画像変動評価値Ｄｉｆｆ３が増加している。また、フレーム３とフレーム５の間に全く異なる絵柄のフレーム４が挟まれていることから、フレーム４及びフレーム５の各画像変動評価値Ｄｉｆｆ１〜Ｄｉｆｆ４はいずれも大きな値となっている。

ステップＳＰ５において、動画像処理指示手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄに対し、対応するタイル１〜タイル４を供給するとともに、当該タイルに対する圧縮符号化の開始を指示し、次のステップＳＰ６に移る。

ステップＳＰ６において、処理結果取得手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄから返送される分割符号化データＤ３Ａ〜Ｄ３Ｄの待ち受けを開始する。そしてＣＰＵ１１は、当該待ち受けの開始から基準処理時間が経過すると、次のステップＳＰ７に移る。

ステップＳＰ７においてＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄから返送される分割符号化データＤ３Ａ〜Ｄ３Ｄの返送状況に基づいて、圧縮符号化に遅延が生じたか否かを判断する。

ステップＳＰ７において、全ての分割符号化データＤ３Ａ〜Ｄ３Ｄが返送されている場合、このことは全計算ノードパソコン３Ａ〜３Ｄで処理遅延が発生せず、エラーコンシールメントが不要であることを表しており、このときＣＰＵ１１はステップＳＰ８に移り、返送された全ての分割符号化データＤ３Ａ〜Ｄ３Ｄ（タイル）を用いて合成して符号化映像信号Ｄ４を生成し、ステップＳＰ２に戻る。

これに対してステップＳＰ７において、分割符号化データＤ３Ａ〜Ｄ３Ｄのいずれかが未だ返送されていない場合、このことはいずれかの計算ノードパソコン３Ａ〜３Ｄで処理遅延が発生し、エラーコンシールメントが必要であることを表しており、このときＣＰＵ１１はステップＳＰ９に移る。

ステップＳＰ９において、処理結果置換手段としてのＣＰＵ１１は、処理遅延が発生したタイルの画像変動評価値Ｄｉｆｆと、所定の変動評価閾値Ｄｌｉｍとを比較し、当該比較結果に基づいてエラーコンシールメント方法（一部のタイルを置換するか、あるいは全てのタイルを置換するか）を選択する。

すなわちステップＳＰ９において、処理遅延が発生したタイルの画像変動評価値Ｄｉｆｆが変動評価閾値Ｄｌｉｍ未満の場合、このことは当該処理遅延が発生したタイルとこれに対応する比較対象フレームのタイルとの間の絵柄の相違が少なく、処理遅延が発生したタイルの代わりに比較対象フレームのタイルを用いて分割符号化データＤ３Ａ〜Ｄ３Ｄを合成しても、復号後の映像における違和感が少ないことを表しており、このときＣＰＵ１１はステップＳＰ１０に移る。

ステップＳＰ１０において、処理結果置換手段としてのＣＰＵ１１は、処理遅延が発生したタイルの分割符号化データＤ３ｎを比較対象フレームのタイルの分割符号化データＤ３ｎで置換した後、分割符号化データＤ３Ａ〜Ｄ３Ｄを合成して符号化映像信号Ｄ４を生成し、ステップＳＰ２に戻る。

これに対してステップＳＰ９において、処理遅延が発生したタイルの画像変動評価値Ｄｉｆｆが変動評価閾値Ｄｌｉｍ以上の場合、このことは当該処理遅延が発生したタイルと比較対象フレームのタイルとの間の絵柄の相違が大きく、処理遅延が発生したタイルの代わりに比較対象フレームのタイルを用いて分割符号化データＤ３Ａ〜Ｄ３Ｄを合成すると、復号後の映像における違和感が大きくなることを表しており、このときＣＰＵ１１はステップＳＰ１１に移る。

ステップＳＰ１１において、処理結果置換手段としてのＣＰＵ１１は、処理遅延が発生したタイルを含む全てのタイルの分割符号化データＤ３Ａ〜Ｄ３Ｄを、比較対象フレームのタイルの分割符号化データＤ３Ａ〜Ｄ３Ｄで置換した後合成して符号化映像信号Ｄ４を生成し、ステップＳＰ２に戻る。

図６及び図７に、符号化時におけるエラーコンシールメントの例を示す。ここで、変動評価閾値Ｄｌｉｍ＝１０とする。

例えば図６（Ｂ）に示すように、フレーム３のタイル１（画像変動評価値Ｄｉｆｆ１＝４）が処理遅延した場合、当該タイル１の画像変動評価値Ｄｉｆｆ１は変動評価閾値Ｄｌｉｍ未満であることから、ＣＰＵ１１は処理遅延が発生したタイル１のみを比較対象フレームであるフレーム２のタイル１と置換する。この場合、タイル１にかかっていた３角形の先端部分は置換によって消去されるが、その面積が比較的小さいため復号後の映像における違和感は少ない。

また図６（Ｃ）に示すように、フレーム３のタイル２（画像変動評価値Ｄｉｆｆ１＝０）が処理遅延した場合、当該タイル２の画像変動評価値Ｄｉｆｆ１は変動評価閾値Ｄｌｉｍ未満であることから、ＣＰＵ１１は処理遅延が発生したタイル２のみをフレーム２のタイル２と置換する。

これに対して図６（Ｄ）に示すように、フレーム３のタイル３（画像変動評価値Ｄｉｆｆ１＝３０）が処理遅延した場合、当該タイル３の画像変動評価値Ｄｉｆｆ１は変動評価閾値Ｄｌｉｍ以上であることから、ＣＰＵ１１は全てのタイルを比較対象フレームであるフレーム２のタイルと置換する。この場合、同一の絵柄のフレームが２枚連続することになるが、タイル３を置換する場合に比べて復号後の映像における違和感は少なくなる。

さらに図７に示すように、フレーム５（図５（Ｅ））のいずれかのタイルが処理遅延した場合、当該フレーム５の各タイル１〜タイル４の画像変動評価値Ｄｉｆｆ１〜Ｄｉｆｆ４はいずれも変動評価閾値Ｄｌｉｍ以上であることから、ＣＰＵ１１は全てのタイルを比較対象フレームであるフレーム４のタイルと置換する。

次に、エラーコンシールメントを伴う動画像伸張復号化を行うための、ホストノードパソコン２におけるクラスタ復号化処理手順を、図８に示すフローチャートを用いて詳細に説明する。

ホストノードパソコン２のＣＰＵ１１は、ルーチンＲＴ２の開始ステップから入って次のステップＳＰ２１に移る。ステップＳＰ２１において、動画像処理指示手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄに対してデコードレベル等の各種処理パラメータを送信し、次のステップＳＰ２２に移る。

ステップＳＰ２２においてＣＰＵ１１は、符号化映像信号Ｄ４の１フレーム分の符号化データをメモリ１２に格納し、次のステップＳＰ２３に移る。

ステップＳＰ２３においてＣＰＵ１１は、メモリ１２に取り込んだ１フレーム分の符号化データを４枚のタイルに対応して分割して分割符号化データＤ３Ａ〜Ｄ３Ｄを生成し、次のステップＳＰ２４に移る。

ステップＳＰ２４において、動画像処理指示手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄに対して対応する分割符号化データＤ３Ａ〜Ｄ３Ｄを供給し、次のステップＳＰ２５に移る。

ステップＳＰ２５において、処理結果取得手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄから返送される分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄの待ち受けを開始する。そしてＣＰＵ１１は、当該待ち受けの開始から基準処理時間が経過すると、次のステップＳＰ２６に移る。

ステップＳＰ２６において、処理結果置換手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｄから返送される分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄの返送状況に基づいて、伸張復号化に遅延が生じたか否かを判断する。

ステップＳＰ２６において、全ての分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄが返送されている場合、このことは全計算ノードパソコン３Ａ〜３Ｄで処理遅延が発生せず、エラーコンシールメントが不要であることを表しており、このときＣＰＵ１１はステップＳＰ２６に移り、返送された全ての分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを用いて合成し、ステップＳＰ２２に戻る。

これに対してステップＳＰ２６において、分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄのいずれかが未だ返送されていない場合、このことはいずれかの計算ノードパソコン３Ａ〜３Ｄで処理遅延が発生し、エラーコンシールメントが必要であることを表しており、このときＣＰＵ１１はステップＳＰ２８に移る。

ここで、先に述べた圧縮符号化時のエラーコンシールメントにおいては、符号化の処理遅延が発生したタイルの画像変動評価値Ｄｉｆｆに基づいてエラーコンシールメント方法を選択するようにしたが、この伸張復号化時のエラーコンシールメントでは、復号化の処理遅延が発生したタイル自体が復号されていないため、当該処理遅延が発生したタイルの画像変動評価値Ｄｉｆｆを得ることができない。

そこでこの場合、処理遅延が発生しなかった他のタイル（基準処理時間内に復号が完了したタイル）の画像変動評価値Ｄｉｆｆの平均値に基づいてエラーコンシールメント方法を選択する。

すなわちステップＳＰ２８において、処理結果置換手段としてのＣＰＵ１１は、復号が完了した現フレームの各タイルと、これに対応する１枚前のフレーム（比較対象フレーム）のタイルとの間の画像変動評価値Ｄｉｆｆの平均値（これを平均変動評価値Ｄａｖｅと呼ぶ）を算出し、次のステップＳＰ２９に移る。

ステップＳＰ２９においてＣＰＵ１１は、算出した平均変動評価値Ｄａｖｅと、変動評価閾値Ｄｌｉｍとを比較する。

ステップＳＰ２９において、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ未満の場合、このことは処理遅延が発生しなかったタイルとこれに対応する比較対象フレームのタイルとの間の絵柄の相違が少ないこと、すなわちフレーム全体での絵柄の相違が少ないことを表している。

このため、処理遅延が発生したタイルのみを比較対象フレームのタイルと置換しても復号後の映像における違和感が少ないことが想定され、このとき、処理結果置換手段としてのＣＰＵ１１はステップＳＰ３０に移り、処理遅延が発生したタイルの分割ディジタル映像データＤ２ｎを、比較対象フレームのタイルの分割ディジタル映像データＤ２ｎで置換した後、分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを合成してディジタル映像信号Ｄ１を生成し、ステップＳＰ２２に戻る。

これに対してステップＳＰ２９において、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ以上の場合、このことは処理遅延が発生しなかったタイルとこれに対応する比較対象フレームのタイルとの間の絵柄の相違が大きいこと、すなわちフレーム全体での絵柄の相違が大きいことを表している。

このため、処理遅延が発生したタイルのみを比較対象フレームのタイルと置換すると、復号後の映像における違和感が大きくなることが想定され、このとき、処理結果置換手段としてのＣＰＵ１１はステップＳＰ３０に移り、処理遅延が発生したタイルを含む全てのタイルの分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを比較対象フレームの分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄで置換した後合成してディジタル映像信号Ｄ１を生成し、ステップＳＰ２２に戻る。

図９及び図１０に、復号化時におけるエラーコンシールメントの例を示す。ここで変動評価閾値Ｄｌｉｍ＝１０とする。

例えば図９（Ｂ）に示すように、フレーム３のタイル１が処理遅延した場合、処理が間に合ったタイル２、タイル３及びタイル４の平均変動評価値Ｄａｖｅは（０＋３０＋０）／３＝１０となり、当該平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ以上であることから、ＣＰＵ１１は全てのタイルを比較対象フレームであるフレーム２のタイルと置換する。

また図９（Ｃ）に示すように、フレーム３のタイル２が処理遅延した場合、処理が間に合ったタイル１、タイル３及びタイル４の平均変動評価値Ｄａｖｅは（４＋３０＋０）／３＝１１．３となり、当該平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ以上であることから、ＣＰＵ１１は全てのタイルをフレーム２のタイルと置換する。

これに対して図９（Ｄ）に示すように、フレーム３のタイル３が処理遅延した場合、処理が間に合ったタイル１、タイル２及びタイル４の平均変動評価値Ｄａｖｅは（４＋０＋０）／３＝１．３となり、当該平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ未満であることから、処理遅延が発生したタイル３のみを比較対象フレームであるフレーム２のタイル３と置換する。

また図１０に示すように、フレーム５（図５（Ｅ））のいずれかのタイルが処理遅延した場合、どのタイルが処理遅延しても平均変動評価値Ｄａｖｅは変動評価閾値Ｄｌｉｍ以上になることから、ＣＰＵ１１は全てのタイルを比較対象フレームであるフレーム２のタイルと置換する。

次に、上述した動画像圧縮符号化及び伸張復号化処理を行うための、計算ノードパソコン３（３Ａ〜３Ｄ）における計算処理手順を、図１１に示すフローチャートを用いて詳細に説明する。

計算ノードパソコン３のＣＰＵ２１は、ルーチンＲＴ３の開始ステップから入って次のステップＳＰ４１に移る。ステップＳＰ４１においてＣＰＵ２１は、ホストノードパソコン２から送信される符号化ターゲットレートやデコードレベル等の各種処理パラメータを待ち受け、当該処理パラメータを受け取ると、次のステップＳＰ４２に移る。

ステップＳＰ４２においてＣＰＵ２１は、ホストノードパソコン２から送信される分割ディジタル映像データＤ２ｎ又は分割符号化データＤ３ｎを待ち受け、当該データを受け取ると、次のステップＳＰ４３に移る。

ステップＳＰ４３においてＣＰＵ２１は、ホストノードパソコン２から受け取った分割ディジタル映像データＤ２ｎの符号化処理又は分割符号化データＤ３ｎの復号化処理を行い、当該処理が完了すると、次のステップＳＰ４４に移る。

ステップＳＰ４４においてＣＰＵ２１は、処理結果の分割符号化データＤ３ｎ又は分割ディジタル映像データＤ２ｎをホストノードパソコン２に返送し、ステップＳＰ４２に戻る。

（１−３）動作及び効果
以上の構成において、動画像クラスタ処理システム１のホストノードパソコン２は、圧縮符号化処理時、ディジタル映像信号Ｄ１の１フレーム分の画像データを４枚のタイルに対応して分割した分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを、それぞれ対応する計算ノードパソコン３Ａ〜３Ｄに供給して圧縮符号化処理させるとともに、現フレームの各タイルについて、比較対象フレームのタイルとの間の絵柄の変化度合いを表す画像変動評価値Ｄｉｆｆを算出してメモリ１２に記憶する。

そしてホストノードパソコン２は、各計算ノードパソコン３Ａ〜３Ｄで圧縮符号化されて返送された分割符号化データＤ３Ａ〜Ｄ３Ｄを合成して符号化映像信号Ｄ４を生成することにより動画像の圧縮符号化をクラスタ処理する。

このときホストノードパソコン２は、計算ノードパソコン３Ａ〜３Ｄのいずれかで圧縮符号化処理に遅延が発生した場合、処理遅延が発生したタイルの画像変動評価値Ｄｉｆｆと変動評価閾値Ｄｌｉｍとを比較する。

そしてホストノードパソコン２は、画像変動評価値Ｄｉｆｆが変動評価閾値Ｄｌｉｍ未満の場合、処理遅延が発生したタイルと比較対象フレームのタイルとの間の絵柄の変化が小さく、当該処理遅延が発生したタイルを比較対象フレームのタイルで置換しても復号後映像における違和感が少ないものとして、当該処理遅延が発生したタイルを比較対象フレームのタイルと置換して符号化映像信号Ｄ４を生成する。

これに対してホストノードパソコン２は、画像変動評価値Ｄｉｆｆが変動評価閾値Ｄｌｉｍ以上の場合、処理遅延が発生したタイルと比較対象フレームのタイルとの間の絵柄の変化が大きく、処理遅延が発生したタイルのみを置換すると復号後の映像における違和感が大きくなるとして、処理遅延が発生したタイルを含むフレーム全体を比較対象フレームと置換して符号化映像信号Ｄ４を生成する。

またホストノードパソコン２は、伸張復号化処理時、符号化映像信号Ｄ４の１フレーム分の画像データを４枚のタイルに対応して分割した分割符号化データＤ３Ａ〜Ｄ３Ｄを、それぞれ対応する計算ノードパソコン３Ａ〜３Ｄに供給して伸張復号化処理させる。

そしてホストノードパソコン２は、各計算ノードパソコン３Ａ〜３Ｄで伸張復号化処理されて返送された分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを合成してディジタル映像信号Ｄ１を生成することにより、動画像の伸張復号化をクラスタ処理する。

このときホストノードパソコン２は、計算ノードパソコン３Ａ〜３Ｄのいずれかでタイルの伸張復号化処理に遅延が生じた場合、処理遅延を生じなかった他のタイルの画像変動評価値Ｄｉｆｆを平均した平均変動評価値Ｄａｖｅを算出し、当該平均変動評価値Ｄａｖｅと変動評価閾値Ｄｌｉｍとを比較する。

そしてホストノードパソコン２は、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ未満の場合、処理遅延が発生したタイルを含むフレームと、比較対象フレームとの間の絵柄の変化が小さく、当該処理遅延が発生したタイルを比較対象フレームのタイルで置換しても復号後映像における違和感が少ないものとして、当該処理遅延が発生したタイルを比較対象フレームのタイルと置換してディジタル映像信号Ｄ１を生成する。

これに対してホストノードパソコン２は、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ以上の場合、処理遅延が発生したタイルを含むフレームと、比較対象フレームとの間の絵柄の変化が大きく、当該処理遅延が発生したタイルを比較対象フレームのタイルで置換すると復号後映像における違和感が大きくなるとして、処理遅延が発生したタイルを含むフレーム全体を比較対象フレームと置換してディジタル映像信号Ｄ１を生成する。

以上の構成によれば、動画像クラスタ処理において処理遅延が発生した場合、当該処理遅延が発生したタイルの画像変動評価値Ｄｉｆｆ、又は当該処理遅延が発生したタイル以外のタイルの画像変動評価値Ｄｉｆｆの平均値に基づいて、当該処理遅延が発生したタイルのみを比較対象フレームのタイルで置換するか、あるいはフレーム全体を置換するかを判断するようにしたことにより、絵柄の変化に応じた滑らかなエラーコンシールメントを行うことができる。

（１−４）他の実施の形態
なお上述の実施の形態においては、動画像クラスタ処理システム１がＪＰＥＧ２０００方式による動画像圧縮伸張処理を実行する場合について述べたが、本発明はこれに限らず、例えばＭＰＥＧ（Moving Picture Experts
Group）２方式等、様々な符号化方式を本発明に適用することができる。

ここでＭＰＥＧ２方式は、フレーム毎に符号化が完結するＪＰＥＧ２０００方式とは異なり、前後のフレームを参照して符号化効率を向上させる、ブロックマッチング法を用いた動き補償フレーム間符号化が行われている。

すなわちＭＰＥＧ２方式では、フレーム内符号化を行うＩピクチャ、Ｉピクチャを参照して順方向予測符号化を行うＰピクチャ、前後のＩピクチャ及びＰピクチャを参照して双方向予測符号化を行うＢピクチャの３つのピクチャタイプが適宜選択される。またＭＰＥＧ２方式では、図１２に示すように、符号化前のディジタル映像信号のシークエンス（図１２（Ａ））と、符号化後の符号化映像信号のシークエンス（図１２（Ｂ））とでフレームの順序に相違が生じる。

このためＭＰＥＧ２方式に本発明を適用する場合、符号化対象のフレームのピクチャタイプに応じて比較対象フレームを変える必要がある。例えば、符号化対象のフレームがＢピクチャ又はＰピクチャの場合、その前方向のＩピクチャ又はＰピクチャを比較対象フレームとする。また、符号化対象のフレームがＩピクチャの場合、一番近い前方向のＩピクチャ又はＰピクチャを比較対象フレームとする。

さらにＭＰＥＧ２方式では、図１３に示すように、ピクチャタイプや動き探索レベル（ブロックマッチング法の動き検索対象範囲）に応じて、符号化処理時間や復号化処理時間が変化する。このためＭＰＥＧ２方式に本発明を適用する場合、符号化対象フレームのピクチャタイプや動き探索レベルに応じて、処理遅延を判断するための基準処理時間を変更する必要がある。

また上述の実施の形態においては、ホストノードパソコン２のＣＰＵ１１がハードディスクドライブ１４に格納されている動画像クラスタ処理プログラムを実行するようにしたが、本発明はこれに限らず、動画像クラスタ処理プログラムが格納されているプログラム格納媒体をホストノードパソコン２にインストールすることにより、上述した動画像クラスタ処理を実行するようにしてもよい。

この場合、動画像クラスタ処理プログラムをホストノードパソコン２にインストールするためのプログラム格納媒体としては、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory ）やＤＶＤ（Digital Versatile
Disk）等のパッケージメディアのみならず、プログラムが一時的又は永続的に格納される半導体メモリや磁気ディスク等で実現してもよい。また、これらプログラム格納媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を用いても良い。

（２）第２の実施の形態
図１との対応部分に同一符号を付して示す図１４において、３０は全体として本発明の第２の実施の形態のバーチャルリアリティクラスタ処理システム（以下、ＶＲクラスタ処理システムと呼ぶ）を示し、ホストノードパソコン２と、３台の計算ノードパソコン３Ａ〜３Ｃとがネットワーク４を介して接続されている。

このＶＲクラスタ処理システム３０においては、バーチャルリアリティ（仮想現実）の体験者（以下、ＶＲ体験者と呼ぶ）の前及び左右を取り囲むようにして配置された、コンピュータグラフィックス処理によって生成した仮想現実画像（以下、ＶＲ画像と呼ぶ）を表示するための３台のディスプレイ３２Ａ〜３２Ｃ（正面ディスプレイ３２Ａ、右側面ディスプレイ３２Ｂ及び左側面ディスプレイ３２Ｃ）と、当該ＶＲ体験者の視線方向及び動作を検出するためのモーションセンサ３３とからなるＶＲ装置３４とが、ホストノードパソコン２のビデオインターフェース３１に接続されている。なお、モーションセンサ３３は人間の頭部に装着されている場合もあるし、ビデオカメラ等により視線方向、動作を検出する場合も考えられる。

ＶＲクラスタ処理システム３０のホストノードパソコン２は、オペレーティングシステムの実行環境下においてＶＲクラスタ処理プログラムを実行し、モーションセンサ３３を介してＶＲ体験者の視線方向及び動作を検出し、当該検出結果に応じたＶＲ画像データＤ５Ａ〜Ｄ５Ｃを、計算ノードパソコン３Ａ〜３Ｃに分散生成させる。

すなわち計算ノードパソコン３Ａは、正面ディスプレイ３２Ａに表示されるＶＲ画像のデータでなるＶＲ画像データＤ５Ａを生成する。同様に計算ノードパソコン３Ｂは、右側面ディスプレイ３２Ｂに表示されるＶＲ画像のデータでなるＶＲ画像データＤ５Ｂを生成し、計算ノードパソコン３Ｃは、左側面ディスプレイ３２Ｃに表示されるＶＲ画像のデータでなるＶＲ画像データＤ５Ｃを生成する。

そしてホストノードパソコン２のＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｃが生成したＶＲ画像データＤ５Ａ〜Ｄ５Ｃをそれぞれ対応するディスプレイ３２Ａ〜３２Ｃに供給してＶＲ画像を表示することにより、ＶＲ体験者に対し、ＶＲ体験者自身の動きに対応して表示が変化する変化仮想現実空間を体験させるようになされている。

正面ディスプレイ３２Ａ、右側面ディスプレイ３２Ｂ及び左側面ディスプレイ３２ＣにおけるＶＲ画像の表示変化の例を図１６に示す。この場合、ＶＲ体験者は視線方向を正面ディスプレイ３２Ａに向けたまま、当該正面ディスプレイ３２Ａに向かって移動している。

かかる構成に加えてホストノードパソコン２は、各計算ノードパソコン３Ａ〜３ＤそれぞれにおけるＶＲ画像データＤ５Ａ〜Ｄ５Ｃの生成に要する処理時間を常に監視しており、ＶＲ画像データＤ５Ａ〜Ｄ５Ｃいずれかの生成が遅延した場合（処理遅延の発生）、その前のフレームのＶＲ画像データを用いてエラーコンシールメントすることにより、計算ノードの処理遅延によるＶＲ画像の欠損を防止するようになされている。

次に、上述したエラーコンシールメントを伴うＶＲ画像データ生成のための、ホストノードパソコン２におけるクラスタＶＲ処理手順を、図１５に示すフローチャートを用いて詳細に説明する。

ホストノードパソコン２のＣＰＵ１１は、ルーチンＲＴ４の開始ステップから入って次のステップＳＰ５１に移る。ステップＳＰ５１において、動画像処理指示手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｃに対して初期状態のＶＲ画像データＤ５Ａ〜Ｄ５Ｃの生成を指示し、次のステップＳＰ５２に移る。

ステップＳＰ５２において、処理結果取得手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｃから返送されたＶＲ画像データＤ５Ａ〜Ｄ５Ｃを対応するディスプレイ３２Ａ〜３２Ｃに供給してＶＲ画像を表示し、次のステップＳＰ５３に移る。

ステップＳＰ５３においてＣＰＵ１１は、モーションセンサ３３から供給されるＶＲ体験者の画像Ｄ６の変化に基づいて当該ＶＲ体験者の視線方向及び動作を抽出し、次のステップＳＰ５４に移る。

ステップＳＰ５４においてＣＰＵ１１は、抽出したＶＲ体験者の視線方向及び動作に変化が生じたか否かを判断する。ステップＳＰ５３において、ＶＲ体験者の視線方向及び動作に変化が生じていないと判断した場合、ＣＰＵ１１はステップＳＰ５３に戻って再度ＶＲ体験者の視線方向及び動作を抽出する。

これに対し、ステップＳＰ５３においてＶＲ体験者の視線及び動作に変化が生じたと判断した場合、ＣＰＵ１１は次のステップＳＰ５５に移る。

ステップＳＰ５５において、動画像処理指示手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｃに対して、抽出したＶＲ体験者の視線方向及び動作の変化に応じた新たなＶＲ画像の生成を指示し、次のステップＳＰ５６に移る。

ステップＳＰ５６において、処理結果取得手段としてのＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｃから返送されるＶＲ画像データＤ５Ａ〜Ｄ５Ｃの待ち受けを開始する。そしてＣＰＵ１１は、当該待ち受けの開始から基準処理時間が経過すると、次のステップＳＰ５７に移る。

ステップＳＰ５７においてＣＰＵ１１は、各計算ノードパソコン３Ａ〜３Ｃから返送されるＶＲ画像データＤ５Ａ〜Ｄ５Ｃの返送状況に基づいて、ＶＲ画像データの生成に遅延が生じたか否かを判断する。

ステップＳＰ５７において、全てのＶＲ画像データが返送されている場合、このことは全計算ノードパソコン３Ａ〜３Ｃで処理遅延が発生せず、エラーコンシールメントが不要であることを表しており、このときＣＰＵ１１はステップＳＰ５８に移り、返送された各ＶＲ画像データＤ５Ａ〜Ｄ５Ｃを対応するディスプレイ３２Ａ〜３２Ｃに供給してＶＲ画像を表示し、ステップＳＰ５３に戻る。

これに対してステップＳＰ５７において、ＶＲ画像データＤ５Ａ〜Ｄ５Ｃのいずれかが未だ返送されていない場合、このことはいずれかの計算ノードパソコン３Ａ〜３Ｃで処理遅延が発生し、エラーコンシールメントが必要であることを表しており、このときＣＰＵ１１はステップＳＰ５９に移る。

ステップＳＰ５９において、処理結果置換手段としてのＣＰＵ１１は、処理遅延が発生したＶＲ画像データＤ５が、ＶＲ体験者の視線方向の画像であるか否かを判断する。ステップＳＰ５９において、処理遅延が発生したＶＲ画像データＤ５が視線方向の画像ではないと判断した場合、ＣＰＵ１１はステップＳＰ６０に移る。

この場合、処理遅延が発生したＶＲ画像データＤ５は視線方向の画像ではないため、エラーコンシールメントによって画像に不連続が生じても、ＶＲ体験者はこれを感知しにくい。このためＣＰＵ１１はステップＳＰ６０において、処理遅延が発生したＶＲ画像データＤ５のみを１フレーム前のＶＲ画像データＤ５で一律に置換して表示し、ステップＳＰ５３に戻る。

この場合のエラーコンシールメントの様子を図１７に示す。Ｔ＝３のタイミングにおいて左側面画像に処理遅延が生じたものとする。この場合、処理遅延が発生したＶＲ画像は視線方向の画像ではないため、Ｔ＝２の画像で置換が行われる。

これに対してステップＳＰ５９において、処理遅延が発生したＶＲ画像データＤ５が視線方向の画像であると判断した場合、ＣＰＵ１１はステップＳＰ６１に移る。

この場合、処理遅延が発生したＶＲ画像データＤ５は視線方向の画像であるため、エラーコンシールメントによって画像に不連続が生じると、ＶＲ体験者はこれを感知しやすい。このため、処理結果置換手段としてのＣＰＵ１１はステップＳＰ６１において、遅延を生じなかった他の２つのＶＲ画像データＤ５についての平均変動評価値Ｄａｖｅを算出し、次のステップＳＰ６２に移って平均変動評価値Ｄａｖｅと変動評価閾値Ｄｌｉｍとを比較する。

ステップＳＰ６２において、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ未満の場合、このことは処理遅延が発生しなかったＶＲ画像の変化が少ないことを表している。このため、処理遅延が発生したＶＲ画像のみを前フレームのＶＲ画像と置換しても違和感が少ないことが想定され、このとき処理結果置換手段としてのＣＰＵ１１はステップＳＰ６３に移り、処理遅延が発生したＶＲ画像データＤ５のみを前フレームのＶＲ画像データＤ５で置換して表示し、ステップＳＰ５３に戻る。

この場合のエラーコンシールメントの様子を図１８に示す。Ｔ＝２のタイミングにおいて正面画像に処理遅延が生じたものとする。この場合、処理遅延が発生したＶＲ画像は視線方向の正面画像であるため、処理遅延が発生しなかった右側面画像及び左側面画像の平均変動評価値Ｄａｖｅを算出し、当該平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ未満であるため、Ｔ＝１の画像で置換が行われる。

これに対してステップＳＰ６２において、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ以上の場合、このことは処理遅延が発生しなかったＶＲ画像の変化が大きいことを表している。このため、処理遅延が発生したＶＲ画像のみを前フレームのＶＲ画像と置換すると違和感が大きくなることが想定され、このとき処理結果置換手段としてのＣＰＵ１１はステップＳＰ６４に移り、全てのＶＲ画像データＤ５を前フレームのＶＲ画像データＤ５で置換して表示し、ステップＳＰ５３に戻る。

この場合のエラーコンシールメントの様子を図１９に示す。Ｔ＝４のタイミングにおいて正面画像に処理遅延が生じたものとする。この場合、処理遅延が発生したＶＲ画像は視線方向の正面画像であるため、処理遅延が発生しなかった右側面画像及び左側面画像の平均変動評価値Ｄａｖｅを算出し、当該平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ以上であるため、全ての画像について、Ｔ＝１の画像で置換が行われる。

以上の構成において、ＶＲクラスタ処理システム３０のホストノードパソコン２は、計算ノードパソコン３Ａ〜３Ｃに対し、モーションセンサ３３を介して検出したＶＲ体験者の視線方向及び動作に応じたＶＲ画像データＤ５Ａ〜Ｄ５Ｃをクラスタ処理で生成させ、当該ＶＲ画像データＤ５Ａ〜Ｄ５Ｃをそれぞれ対応するディスプレイ３２Ａ〜３２Ｃに供給してＶＲ画像を表示する。

このときホストノードパソコン２は、ＶＲ体験者の視線方向以外のＶＲ画像データが生成遅延した場合、当該処理遅延が発生したＶＲ画像データのみを１フレーム前のＶＲ画像データで置換して表示する。

これに対してＶＲ体験者の視線方向のＶＲ画像データが生成遅延した場合、ホストノードパソコン２は、処理遅延を生じなかった他のＶＲ画像データの平均変動評価値Ｄａｖｅと変動評価閾値Ｄｌｉｍとを比較し、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ未満の場合、処理遅延が発生したＶＲ画像データのみを前フレームのＶＲ画像データで置換して表示するのに対し、平均変動評価値Ｄａｖｅが変動評価閾値Ｄｌｉｍ以上の場合、全てのＶＲ画像データを前フレームのＶＲ画像データで置換して表示する。

以上の構成によれば、ＶＲクラスタ処理において処理遅延が発生した場合、処理遅延を生じなかった他のＶＲ画像データの平均変動評価値Ｄａｖｅに基づいて、当該処理遅延が発生したＶＲ画像データのみを置換するか、あるいは全てのＶＲ画像データを置換するかを判断するようにしたことにより、ＶＲ画像の変化に応じた滑らかなエラーコンシールメントを行うことができる。

なお上述の実施の形態においては、本発明をコンピュータグラフィックス処理によってＶＲ画像を生成するＶＲクラスタ処理システム３０に適用した場合について述べたが、本発明はこれに限らず、例えばコンピュータゲームにおけるゲーム画面の生成等、種々のコンピュータグラフィックス処理に本発明を適用するコトができる。

さらに上述の実施の形態においては、ホストノードパソコン２のＣＰＵ１１がハードディスクドライブ１４に格納されているＶＲクラスタ処理プログラムを実行するようにしたが、本発明はこれに限らず、ＶＲクラスタ処理プログラムが格納されているプログラム格納媒体をホストノードパソコン２にインストールすることにより、上述した動画像クラスタ処理を実行するようにしてもよい。

この場合、ＶＲクラスタ処理プログラムをホストノードパソコン２にインストールするためのプログラム格納媒体としては、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory ）やＤＶＤ（Digital Versatile Disk）等のパッケージメディアのみならず、プログラムが一時的又は永続的に格納される半導体メモリや磁気ディスク等で実現してもよい。また、これらプログラム格納媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を用いても良い。

複数台のパーソナルコンピュータ、ワークステーション、パソコン等を用いて動画像処理を行う場合に適用できる。

動画像クラスタ処理システムの全体構成を示すブロック図である。 フレームの分割状態を示す略線図である。 動画像クラスタ処理の流れを示す略線図である。 クラスタ符号化処理手順を示すフローチャートである。 入力画像と画像変動評価値の関係を示す略線図である。 符号化時におけるエラーコンシールメントの様子を示す略線図である。 符号化時におけるエラーコンシールメントの様子を示す略線図である。 クラスタ復号化処理手順を示すフローチャートである。 復号化時におけるエラーコンシールメントの様子を示す略線図である。 復号化時におけるエラーコンシールメントの様子を示す略線図である。 計算ノードパソコン処理手順を示すフローチャートである。 符号化前後におけるシーケンスの変化を示す略線図である。 ＭＰＥＧ２方式の標準符号化処理時間を示す表である。 ＶＲクラスタ処理システムの全体構成を示すブロック図である。 クラスタＶＲ処理手順を示すフローチャートである。 ＶＲ画像の表示例を示す略線図である。 ＶＲ画像のエラーコンシールメントの様子を示す略線図である。 ＶＲ画像のエラーコンシールメントの様子を示す略線図である。 ＶＲ画像のエラーコンシールメントの様子を示す略線図である。 従来のクラスタ処理システムの構成を示すブロック図である。 クラスタ処理システムのアプリケーション構造を示すブロック図である。

符号の説明

１……動画像クラスタ処理システム、２……ホストノードパソコン、３Ａ〜３Ｄ……計算ノードパソコン、４……ネットワーク、１１、２１……ＣＰＵ１１、１２、２２……メモリ、１３、２３……表示部示部、１４、２４……ハードディスクドライブ、１５、２５……ネットワークインターフェース、１６……ビデオキャプチャ回路、１７、２７……バス、３０……ＶＲクラスタ処理システム、３１……ビデオインターフェース、３２Ａ〜３２Ｃ……ディスプレイ、３３……モーションセンサ。

Claims (7)

1. 複数の情報処理装置と、動画像処理を当該複数の情報処理装置それぞれに分散処理させる管理装置とからなる動画像クラスタ処理システムにおいて、
   上記管理装置は、
   上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示手段と、
   上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得手段と、
   上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換手段と
   を具えることを特徴とする動画像クラスタ処理システム。
2. 動画像処理を複数の情報処理装置に分散処理させる管理装置において、
   上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示手段と、
   上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得手段と、
   上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換手段と
   を具えることを特徴とする管理装置。
3. 上記動画像処理は動画像の圧縮符号化処理であり、
   上記動画像処理指示手段は、上記動画像のピクチャを上記複数の情報処理装置に対応した画像ブロックに分割し、当該各画像ブロックをそれぞれ対応する上記情報処理装置に供給し、
   上記情報処理装置は、上記画像ブロックを圧縮符号化した符号化データを上記処理結果として上記管理装置に返送し、
   上記処理結果置換手段は、上記画像ブロックの絵柄の変化度合いから上記変動評価値を算出する
   ことを特徴とする請求項２に記載の管理装置。
4. 上記動画像処理は動画像の伸張復号化処理であり、
   上記動画像処理指示手段は、上記動画像を圧縮符号化した符号化データを上記複数の情報処理装置に対応した分割符号化データに分割し、当該各分割符号化データをそれぞれ対応する上記情報処理装置に供給し、
   上記情報処理装置は、上記分割符号化データを伸張復号化した画像ブロックを上記処理結果として上記管理装置に返送し、
   上記処理結果置換手段は、上記画像ブロックの絵柄の変化度合いから上記変動評価値を算出する
   ことを特徴とする請求項２に記載の管理装置。
5. 上記動画像処理はコンピュータグラフィック画像生成処理であり、
   上記動画像処理指示手段は、上記情報処理装置に対してコンピュータグラフィック画像の生成を実行させ、
   上記情報処理装置は、生成したコンピュータグラフィック画像を上記処理結果として上記管理装置に返送し、
   上記処理結果置換手段は、上記コンピュータグラフィック画像の絵柄の変化度合いから上記変動評価値を算出する
   ことを特徴とする請求項２に記載の管理装置。
6. 動画像処理を複数の情報処理装置それぞれに分散処理させる動画像クラスタ処理方法において、
   上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示ステップと、
   上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得ステップと、
   上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換ステップと
   を具えることを特徴とする動画像クラスタ処理方法。
7. 動画像処理を複数の情報処理装置に分散処理させる管理装置に、
   上記複数の情報処理装置それぞれに対し、ピクチャ単位で上記動画像処理を実行させる動画像処理指示ステップと、
   上記複数の情報処理装置それぞれから返送される、上記ピクチャ毎の上記動画像処理の処理結果を取得する処理結果取得ステップと、
   上記情報処理装置からの上記処理結果の返送が遅延したとき、遅延した上記処理結果を含む遅延ピクチャと他の参照ピクチャとの間の絵柄の変化度合いを表す変動評価値を所定の閾値と比較し、上記変動評価値が上記閾値未満の場合、上記遅延した処理結果のみを、上記参照ピクチャの対応する上記処理結果で置換し、当該変動評価値が当該閾値以上の場合、上記遅延ピクチャ全体の上記処理結果を、上記参照ピクチャの上記処理結果で置換する処理結果置換ステップと
   を実行させる動画像クラスタ処理プログラム。

Images