JP4427827B2 - データ処理方法、データ処理装置及び記録媒体 - Google Patents
データ処理方法、データ処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP4427827B2 JP4427827B2 JP20035398A JP20035398A JP4427827B2 JP 4427827 B2 JP4427827 B2 JP 4427827B2 JP 20035398 A JP20035398 A JP 20035398A JP 20035398 A JP20035398 A JP 20035398A JP 4427827 B2 JP4427827 B2 JP 4427827B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- slice
- processors
- macroblock
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Description
【０００１】
【発明の属する技術分野】
本発明は、たとえばＭＰＥＧ(Moving Picture coding Experts Groupによる高品質動画符号化方式)のような、ビデオデータやオーディオデータなどのデータを、可変長データからなるビットストリームに変換する符号化方式およびその復号化方式に関し、特に、並列処理によりその符号化および復号化を高速に行うデータ処理方法、データ処理装置及び記録媒体に関する。
【０００２】
【従来の技術】
現在、広く用いられている画像の標準的符号化および復号化方式である、ＭＰＥＧ方式（ＭＰＥＧ１およびＭＰＥＧ２）について説明する。図１４は、ＭＰＥＧにおける、画像データの構造を示す図である。図１４に示すように、ＭＰＥＧの画像データは階層構造に構成されている。各階層は、上位から順に、ビデオ・シーケンス（以降、単にシーケンスと言う）、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、スライス、マクロブロック、ブロックとなっている。ＭＰＥＧ符号化では、画像データはこの階層構造に基づいて順次符号化され、ビットストリームに変換される。
【０００３】
図１５に、ＭＰＥＧ符号化されたデータのビットストリームの構造を示す。図１５のビットストリームでは、各ピクチャはｊ個のスライスからなり、各スライスはｉ個のマクロブロックからなる。また、図１４に示した階層のうちブロック以外は符号化モードなどが格納されたヘッダを持つ。したがって、ビットストリームの構成をビデオ・シーケンスの先頭から列挙すると、シーケンス・ヘッダ（ＳＥＱＨ）１５１、ＧＯＰ・ヘッダ（ＧＯＰＨ）１５２、ピクチャ・ヘッダ（ＰＨ）１５３、スライス・ヘッダ（ＳＨ）１５４、マクロブロック・ヘッダ（ＭＨ）１５５、マクロブロック０の圧縮データ（ＭＢ０）１５６、マクロブロック・ヘッダ（ＭＨ）１５７、マクロブロック１の圧縮データ（ＭＢ１）１５８・・・となる。なお、ビットストリームに含まれるマクロブロックの圧縮データのサイズは可変長であり、画像の性質などによって変動する。また、ＭＰＥＧ復号化では、このビットストリームが順次復号化され、図１４の階層構造に基づいて画像が再構成される。
【０００４】
次に、ＭＰＥＧによる符号化処理および復号化処理を行うための、処理装置の構成、処理アルゴリズムおよび処理の流れについて具体的に説明する。まず、符号化処理について説明する。図１６は、ＭＰＥＧ符号化を行うための一般的な処理装置の構成を示すブロック図である。図１６に示す符号化装置１６０は、動きベクトル検出部（ＭＥ）１６１、減算器１６２、離散コサイン変換部（ＦＤＣＴ）１６３、量子化部１６４、可変長符号化部（ＶＬＣ）１６５，逆量子化部（ＩＱ）１６６、逆離散コサイン変換部（ＩＤＣＴ）１６７、加算器１６８、動き補償部（ＭＣ）１６９およびエンコード制御部１７０を有する。
【０００５】
このような構成の符号化装置１６０においては、入力された画像データの符号化モードがＰ（Predictive coded）ピクチャまたはＢ（Bidirectionally predictive coded）ピクチャの場合には、動きベクトル検出部１６１でマクロブロック単位に動き補償予測が行われ、減算器１６２で予測誤差が検出され、その予測誤差に対して、離散コサイン変換部１６３でＤＣＴを行ってＤＣＴ係数が求められる。また、符号化モードがＩ（Intra coded）ピクチャの場合には、画素値がそのまま離散コサイン変換部１６３に入力されてＤＣＴが行われ、ＤＣＴ係数が求められる。
【０００６】
求められたＤＣＴ係数が、量子化部１６４で量子化され、可変長符号化部１６５で動きベクトルや符号化モード情報とともに可変長符号化されることにより、符号化ビットストリームが生成される。また、量子化部１６４で生成された量子化データは、逆量子化部１６６で逆量子化され、逆離散コサイン変換部１６７でＩＤＣＴされて元の予測誤差に復元され、加算器１６８で参照画像に加算され、動き補償部１６９において参照画像が生成される。なお、エンコード制御部１７０は、これら符号化装置１６０の各部の動作を制御する。
【０００７】
このような符号化処理は、一般に、動きベクトル検出部１６１における動きベクトル検出処理から量子化部１６４における量子化処理までの符号化処理、ビットストリームを生成する可変長符号化部１６５、および、逆量子化部１６６における逆量子化処理から動き補償部１６９における動き補償処理までの局所復号化処理の、３つの処理部に大別される。
【０００８】
次に、このような符号化処理を行い、図１５に示したような構造の符号化ビットストリームを生成するための処理の流れについて、図１７を参照して説明する。図１７は、ＭＰＥＧ符号化を行ってビットストリームを生成する処理の流れを示すフローチャートである。符号化処理を開始したら（ステップＳ１８０）、シーケンス・ヘッダを生成し（ステップＳ１８１）、ＧＯＰ・ヘッダを生成し（ステップＳ１８２）、ピクチャ・ヘッダを生成し（ステップＳ１８３）、スライス・ヘッダを生成する（ステップＳ１８４）。
【０００９】
各階層のヘッダの生成が終了したら、マクロブロック符号化を行い（ステップＳ１８５）、マクロブロック可変長符号化を行い（ステップＳ１８６）、マクロブロック局所符号化を行う（ステップＳ１８７）。そして、スライス内の全てのマクロブロックについて符号化処理が終了したら、次のスライスの処理に移る（ステップＳ１８８）。以下同様に、１つのピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ１８９）、１ＧＯＰの全ての処理が終了したら、次のＧＯＰの処理に移る（ステップＳ１９０）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ１８１）、処理を終了する（ステップＳ１９２）。
【００１０】
また、このような符号化処理を、たとえばＤＳＰ（デジタル・シグナル・プロセッサ）などの演算処理装置により逐次処理する場合の、タイムチャートを図１８に示す。図１８に示すように、演算処理装置においては、図１６に示したフローチャートの各処理を、各マクロブロックごとに順に行うことになる。なお、図１８において、処理ＭＢｘ−ＥＮＣは、第（ｘ＋１）番目のマクロブロックｘのデータに対する符号化処理を示し、処理ＭＢｘ−ＶＬＣは、第（ｘ＋１）番目のマクロブロックｘのデータに対する可変長符号化処理を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）番目のマクロブロックｘのデータに対する局所符号化処理を示す。
【００１１】
次に、復号化処理について説明する。図１９は、ＭＥＰＧ復号化を行うための一般的な処理装置の構成を示すブロック図である。図１９に示す復号化装置２００は、可変長復号化部（ＶＬＤ）２０１、逆量子化部（ＩＱ）２０２、逆離散コサイン変換部（ＩＤＣＴ）２０３、加算器２０４、動き補償部（ＭＣ）２０５およびデコード制御部２０６を有する。
【００１２】
このような構成の復号化装置２００においては、入力された符号化データのビットストリームは、可変長復号化部２０１で復号化され、マクロブロックごとの符号化モード、動きベクトル、量子化情報および量子化ＤＣＴ係数が分離される。復号化された量子化ＤＣＴ係数は、逆量子化部２０２で逆量子化されてＤＣＴ係数に復元され、逆離散コサイン変換部２０３によりＩＤＣＴされて画素空間データに変換される。
【００１３】
そして、そのブロックが動き補償予測モードの場合には、加算器２０４で動き補償予測されたブロックデータが加算されて元のデータが復元され出力される。また、動き補償部２０５では、復号された画像に基づいて、動き補償予測を行い、加算器２０４において加算されるデータを生成しておく。なお、第１の可変長復号化部（ＶＬＤ）２０６は、これら復号化装置２００の各部の動作を制御する。
【００１４】
なお、このような復号化処理は、一般に、ビットストリームを解読する可変長復号化部２０１における可変長復号化処理と、逆量子化部２０２における逆量子化から動き補償部２０５における動き補償処理までの復号化処理の、２つの処理部に大別される。
【００１５】
次に、このような符号化処理を行い、図１５に示したような構造の符号化ビットストリームを復号するための処理の流れについて、図２０を参照して説明する。図２０は、ＭＰＥＧ復号化を行って元の画像データを生成する処理の流れを示すフローチャートである。復号化処理を開始したら（ステップＳ２１０）、シーケンス・ヘッダを復号化し（ステップＳ２１１）、ＧＯＰ・ヘッダを復号化し（ステップＳ２１２）、ピクチャ・ヘッダを復号化し（ステップＳ２１３）、スライス・ヘッダを復号化する（ステップＳ２１４）。
【００１６】
各階層のヘッダの復号化が終了したら、マクロブロック可変長復号化を行い（ステップＳ２１５）、マクロブロックの復号化処理を行う（ステップＳ２１６）。そして、スライス内の全てのマクロブロックについて復号化処理が終了したら、次のスライスの処理に移る（ステップＳ２１７）。以下同様に、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ２１８）、１ＧＯＰの全ての処理が終了したら、次のＧＯＰの処理に移る（ステップＳ２１９）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ２２０）、処理を終了する（ステップＳ２２１）。
【００１７】
また、このような復号化処理を、たとえばＤＳＰ（デジタル・シグナル・プロセッサ）などの演算処理装置により逐次処理する場合の、タイムチャートを図２１に示す。図２１に示すように、演算処理装置においては、図２０に示したフローチャートの各処理を、各スライスごとに、また、各スライス内では各マクロブロックごとに順に行うことになる。なお、図１８において、処理ＳＨ−ＶＬＤは、スライス・ヘッダ復号化処理を示し、ＭＢｘ−ＶＬＤは、第（ｘ＋１）番目のマクロブロックｘの符号化データに対する可変長復号化処理を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）番目のマクロブロックｘの符号化データに対する復号化処理を示す。
【００１８】
【発明が解決しようとする課題】
ところで、このような画像などのデータの符号化および復号化を、複数の演算処理装置を有する並列処理装置により効率よく高速に行いたいという要望がある。しかしながら、これまでの並列処理装置および並列処理方法では、種々の問題があり十分に効率よく高速な処理が行えなかった。具体的には、まず、前述した符号化処理および復号化処理を並列処理により効率よく行おうとした場合、どの工程をどのように複数の演算処理装置に振り分ければよいか、決定するのが難しいという問題がある。
【００１９】
また、このような符号化処理および復号化処理においては、可変長データを処理対象としているため、この可変長符号化処理および可変長復号化処理についてはデータ処理の順番として逐次処理を行わざるを得ない。そのため、この逐次処理部分の実行時に並列処理が中断されたり、また、この逐次処理部分がネックとなって処理速度が制限されたりする場合がある。また、各演算処理装置における処理の実行時間が等しければ負荷が均等になり効率よい処理が行えるが、各工程の処理時間は異なるために、各演算処理装置の負荷は不均等になり、効率よい処理が行えないという問題も生じる。
【００２０】
また、このような並列処理方法では、たとえば前述した画像データの場合には１つのビデオセグメントであるような、１つのデータに対する処理を複数の演算処理装置で分割して行っているため、データの授受に伴う同期や通信の制御を行う必要があり、装置の構成や制御方法などが複雑になるという問題もある。さらに、各演算処理装置で行う処理が異なるため、個々の演算処理装置に対して処理プログラムを用意し、また、個々の演算処理装置に対して別個に処理の制御を行わなければならず、一層装置の構成や制御方法などが複雑になるという問題もある。
【００２１】
したがって、本発明の目的は、複数の演算処理装置を有し、たとえば画像データなどの符号化処理および復号化処理を高速に行うことができ、構成が簡単な、符号化装置および復号化装置を提供することにある。また、本発明の他の目的は、任意の構成の並列処理装置に適用可能であり、たとえば画像データなどの符号化処理および復号化処理を高速に行うことができるデータ処理方法、データ処理装置及び記録媒体を提供することにある。
【００２２】
【課題を解決するための手段】
したがって、本発明のデータ処理装置は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、可変長符号化処理を逐次処理する第１プロセッサと、符号化処理及び局所復号化処理を並列に処理する複数の第２プロセッサと、前記第１プロセッサにおいてｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、前記複数の第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して割り当てる割当手段と、を有し、前記割当手段は、前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てる。
【００２３】
また、本発明のデータ処理装置は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、可変長符号化処理を逐次処理し、かつ、符号化処理及び局所復号化処理を並列に処理する複数のプロセッサと、前記複数のプロセッサのうちのいずれかのプロセッサに対して、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する符号化処理、可変長符号化処理、局所復号化処理を順次行わせる割当手段と、を有し、前記割当手段は、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させる。
【００２４】
また、本発明のデータ処理装置は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う場合に、可変長符号化処理を逐次処理し、かつ、符号化処理及び局所復号化処理を並列に処理する複数のプロセッサと、前記複数のプロセッサのうちのいずれかのプロセッサに対して、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を順次行わせる割当手段と、を有し、前記割当手段は、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させる。
【００２５】
また、本発明のデータ処理方法は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理を第１プロセッサが逐次処理させるステップと、前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、複数の第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して並列処理させるように割り当てるステップと、前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てるステップと、を有する。
また、本発明のデータ処理方法は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する、符号化処理を並列処理させ、可変長符号化処理を逐次処理させ、局所復号化処理を並列処理させるように、複数のプロセッサのうちのいずれかのプロセッサに対して割り当てるステップと、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させるステップと、を有する。
また、本発明のデータ処理方法は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う場合に、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を、複数のプロセッサのうちのいずれかのプロセッサに順次実行させるステップと、前記複数のプロセッサのうちのいずれかのプロセッサにおいて前記ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長復号化処理が終了したことを条件に、当該ｎ番目のマクロブロックまたはスライスに対する復号化処理を前記複数のプロセッサのうち、処理を実行していない他のプロセッサに実行させるステップと、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させるステップと、を有する。
また、本発明のプログラムは、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う処理を第１プロセッサ及び第２プロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理を逐次処理させる手順と、前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、複数の前記第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して並列処理させるように割り当てる手順と、前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てる手順と、を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体である。
画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う処理を複数のプロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する、符号化処理を並列処理させ、可変長符号化処理を逐次処理させ、局所復号化処理を並列処理させるように、前記複数のプロセッサのうちのいずれかのプロセッサに順次割り当てる手順と、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させる手順と、を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体である。
画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う処理を複数のプロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を、前記複数のプロセッサのうちのいずれかのプロセッサに順次実行させる手順と、前記複数のプロセッサのうちのいずれかのプロセッサにおいて前記ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長復号化処理が終了したことを条件に、当該ｎ番目のマクロブロックまたはスライスに対する復号化処理を前記複数のプロセッサのうち、処理を実行していない他のプロセッサに実行させる手順と、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させる手順と、を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体である。
【００２６】
【発明の実施の形態】
本発明の実施の形態について、図１〜図１３を参照して説明する。本実施の形態においては、複数のプロセッサにより並列処理を行い、ＭＰＥＧ２により動画像の符号化および復号化を行う、画像符号化／復号化装置を例示して本発明を説明する。
【００２７】
なお、ＭＰＥＧ符号化および復号化の並列処理を行う際の処理単位としては、図１４に示した各階層のいずれか、あるいは画素が考えられるが、本実施の形態においては、マクロブロックを並列処理単位として選択した場合について説明する。マクロブロックを並列処理単位とした場合、１スライス内においては符号化処理、局所復号化処理および復号化処理は並列実行できるが、可変長符号化処理および可変長復号化処理については逐次実行する必要がある。これは、可変長符号化処理および可変長復号化処理ではマクロブロックの圧縮データが可変長であり、ビットストリーム上におけるマクロブロックの圧縮データの先頭位置が、直前のマクロブロックの可変長符号化処理または可変長復号化処理が完了するまで決定しないためである。なお、この制約は、スライスを並列処理単位にした場合も同様である。
【００２８】
第１の画像符号化／復号化装置まず、並列処理により前述したような画像の符号化および復号化を行う、これまでの画像符号化／復号化装置について説明する。図１は、その画像符号化／復号化装置の並列処理部の構成を示す概略ブロック図である。図１に示すように、画像符号化／復号化装置の並列処理部９は、ｎ個のプロセッサ２-1〜２-n、メモリ３および結合網４を有する。
【００２９】
まず、この並列処理部９の構成について説明する。ｎ個のプロセッサ２-1〜２-nは、各々独立して所定の演算処理を行うプロセッサである。各プロセッサ２-i（ｉ＝１〜ｎ）は、実行する演算処理プログラムが格納されるプログラムＲＯＭまたはプログラムＲＡＭ、演算に係わるデータなどを記憶するＲＡＭを有している。そして、プロセッサ２-iは、このプログラムＲＯＭまたはプログラムＲＡＭに予め記憶されているプログラムに従って所定の動作を行う。
【００３０】
なお、本実施の形態においてはｎ＝３、すなわち、並列処理部９は３つのｎ個のプロセッサ２-1〜２-3を有するものとする。また、以下の説明では、各プロセッサ２-1〜２-nについて、画像データの符号化および復号化に関する処理についてのみ述べるが、これと並行して、いずれか１つのプロセッサ２-i（ｉ＝１〜ｎ）において、あるいは、ｎ個のプロセッサ２-1〜２-n各々において、並列処理部９全体の動作を制御するための処理も行われる。そして、この制御動作により、各プロセッサ２-1〜２-nが協働して、また同期して、以下に説明するような動作をするものである。
【００３１】
メモリ３は、ｎ個のプロセッサ２-1〜２-nの共有メモリである。メモリ３には、処理対象の画像データや処理結果のデータが記憶され、ｎ個のプロセッサ２-1〜２-nにより適宜データの読み出しおよび書き込みが行われる。結合網４は、ｎ個のプロセッサ２-1〜２-nが協働して動作するように、また、ｎ個のプロセッサ２-1〜２-nがメモリ３を適宜参照するように、ｎ個のプロセッサ２-1〜２-nおよびメモリ３を相互に接続する接続部である。
【００３２】
次に、このような構成の並列処理部９において、前述したような動画像の符号化処理を行う場合の、各プロセッサ２-i（ｉ＝１〜３）における処理、および、並列処理部９の動作について説明する。まず、各プロセッサ２-iにおける処理について説明する。並列処理部９においては、各マクロブロックの可変長符号化処理を１つのプロセッサ（以降、このプロセッサを親プロセッサと言う。）に固定して割り当てて逐次実行させ、符号化処理および局所復号化処理をその他のプロセッサ（以降、このプロセッサを子プロセッサと言う。）に割り当てて、並列実行を行う。図１に示す並列処理部９においては、第１のプロセッサ２-1を親プロセッサ、第２および第３のプロセッサ２-2，２-3を子プロセッサとする。
【００３３】
まず、親プロセッサである第１のプロセッサ２-1は、図２のフローチャートに示すような処理を行う。すなわち、符号化処理を開始したら（ステップＳ１０）、シーケンス・ヘッダを生成し（ステップＳ１１）、ＧＯＰ・ヘッダを生成し（ステップＳ１２）、ピクチャ・ヘッダを生成し（ステップＳ１３）、スライス・ヘッダを生成する（ステップＳ１４）。スライス・ヘッダの生成が終了したら、親プロセッサは子プロセッサを起動し（ステップＳ１５）、子プロセッサにおける符号化処理の終了待ち状態に入る（ステップＳ１６）。
【００３４】
子プロセッサにおけるマクロブロックの符号化処理が終了したら（ステップＳ１６）、そのマクロブロックの可変長符号化処理を始める（ステップＳ１７）。なお、この可変長符号化処理は、前述したような制約により逐次実行しなくてはならない。したがって、たとえマクロブロック１の符号化処理の方がマクロブロック０の符号化処理よりも先に終了したとしても、プロセッサ０は必ずマクロブロック０の可変長符号化処理を先に行う。
【００３５】
親プロセッサは、スライス内の全ての処理が終了するまで、この手順を繰り返し（ステップＳ１８）、スライス内の全ての処理が終了したら、子プロセッサにおける全ての処理が終了するまで待つ（ステップＳ１９）。以下同様に、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ２０）、１ＧＯＰの全てのピクチャの処理が終了したら、次のＧＯＰの処理に移る（ステップＳ２１）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ２２）、処理を終了する（ステップＳ２３）。
【００３６】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図３のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ１５の処理で起動され符号化処理を開始したら（ステップＳ３０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ３１）、そのマクロブロックの符号化処理を行う（ステップＳ３２）。符号化処理が終了したら、親プロセッサにおける可変長符号化処理の終了を待ち（ステップＳ３３）、可変長符号化処理が終了したら、局所復号化処理を行う（ステップＳ３４）。スライス内の全ての処理が終了するまで、この手順を繰り返し（ステップＳ３５）、スライス内の全ての処理が終了したら（ステップＳ３５）、子プロセッサの処理は終了する（ステップＳ３６）。
【００３７】
なお、これらの親プロセッサおよび子プロセッサの各処理を行うプログラムは、各プロセッサ２-iに対して設けられたプログラムＲＯＭまたはプログラムＲＡＭに予め記憶しておく。そして、このプログラムに従って各プロセッサ２-iが動作することにより、実際にこれらの処理が行われる。
【００３８】
次に、動画像の符号化処理を行う場合の、並列処理部９の動作について、図４を参照して説明する。図４は、３個のプロセッサ２-1〜２-3における符号化処理の状態を示すタイムチャートである。なお、図４において、処理ＭＢｘ−ＥＮＣは、第（ｘ＋１）のマクロブロックｘに対する符号化処理（図３におけるステップＳ３２）を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）のビデオセグメントｘに対する局所復号化処理（図３におけるステップＳ３４）を示し、処理ＭＢｘ−ＶＬＣは、第（ｘ＋１）のビデオセグメントｘに対する可変長符号化処理（図２における、ステップＳ１７）を示す。
【００３９】
図４に示すように、符号化処理を開始したら、まず、第２のプロセッサ２-2および第３のプロセッサ２-3においてマクロブロック０およびマクロブロック１の符号化処理ＭＢ０−ＥＮＣ，ＭＢ１−ＥＮＣが行われる。第２のプロセッサ２-2におけるマクロブロック０の符号化処理ＭＢ０−ＥＮＣが終了したら、その符号化されたデータに対して第１のプロセッサ２-1において可変長符号化処理ＭＢ０−ＶＬＣが行われる。第１のプロセッサ２-1でマクロブロック０の可変長符号化処理ＭＢ０−ＶＬＣを行っている間に、第３のプロセッサ２-3におけるマクロブロック１の符号化処理ＭＢ１−ＥＮＣは終了するので、第１のプロセッサ２-1は、引き続きマクロブロック１の符号化データに対する可変長符号化処理ＭＢ１−ＶＬＣを行う。
【００４０】
一方、第２のプロセッサ２-2においては、第１のプロセッサ２-1においてマクロブロック０に対する可変長符号化処理ＭＢ０−ＶＬＣが終了したら、そのデータに対する局所復号化処理ＭＢ０−ＤＥＣを行う。そして、この局所復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック２に対する符号化処理ＭＢ２−ＥＮＣを行う。第３のプロセッサ２-3においても、同様に、第１のプロセッサ２-1においてマクロブロック１に対する可変長符号化処理ＭＢ１−ＶＬＣが終了したら、そのデータに対する局所復号化処理ＭＢ０−ＤＥＣを行う。そして、この局所復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック３に対する符号化処理ＭＢ３−ＥＮＣを行う。
【００４１】
以下、同様に、第１のプロセッサ２-1においては、第２のプロセッサ２-2または第３のプロセッサ２-3において、次に処理すべきマクロブロックの符号化処理ＭＢｘ−ＥＮＣが終了したら、その符号化されたデータの復号化処理ＭＢｘ−ＶＬＣを順に行う。また、第２のプロセッサ２-2および第３のプロセッサ２-3においては、第１のプロセッサ２-1において可変長符号化処理ＭＢｘ−ＶＬＣが終了したら、そのマクロブロックに対する局所符号化処理ＭＢｘ−ＤＥＣを行い、その処理終了後、引き続き、次のマクロブロックｘ＋１に対する符号化処理ＭＢｘ−ＥＮＣを行う。
【００４２】
なお、可変長符号化処理は、テーブル変換により固定長データから可変長データを生成するフェーズと可変長データをまとめてビットストリームを生成するフェーズとに分けることができる。この２つのフェーズとも逐次実行してもよいし、後半フェーズだけ逐次実行して前半フェーズは並列実行しても構わない。ただし、後者の方式では前半フェーズと後半フェ−ズ間にバッファメモリが必要となる。
【００４３】
次に、並列処理部９において、前述したような動画像の復号化処理を行う場合の、各プロセッサ２-i（ｉ＝１〜３）における処理、および、並列処理部９の動作について説明する。まず、各プロセッサ２-iにおける処理について説明する。並列処理部９においては、各マクロブロックの可変長復号化処理を１つのプロセッサ（以降、このプロセッサを親プロセッサと言う。）に固定して割り当てて逐次実行させ、復号化処理をその他のプロセッサ（以降、このプロセッサを子プロセッサと言う。）に割り当てて、並列実行を行う。図１に示す並列処理部９においては、第１のプロセッサ２-1を親プロセッサ、第２および第３のプロセッサ２-2，２-3を子プロセッサとする。
【００４４】
まず、親プロセッサである第１のプロセッサ２-1は、図５のフローチャートに示すような処理を行う。すなわち、復号化処理を開始したら（ステップＳ４０）、シーケンス・ヘッダを復号化し（ステップＳ４１）、ＧＯＰ・ヘッダを復号化し（ステップＳ４２）、ピクチャ・ヘッダを復号化し（ステップＳ４３）、スライス・ヘッダを復号化する（ステップＳ４４）。スライス・ヘッダの復号化が終了したら、親プロセッサは子プロセッサを起動し（ステップＳ４５）、マクロブロックに対して可変長復号化処理を行う（ステップＳ４６）。親プロセッサは、スライス内の全てのマクロブロックに対してこの処理が終了するまで、この可変長復号化処理（ステップＳ４６）を繰り返し行う。
【００４５】
スライス内の全てのマクロブロックに対する可変長復号化処理が終了したら、子プロセッサにおける全ての処理が終了するまで待ち（ステップＳ４８）、子プロセッサにおける処理が終了したら（ステップＳ４８）、次のピクチャに対する処理に移る（ステップＳ４９）。１ＧＯＰの全てのピクチャの処理が終了したら（ステップＳ４９）、次のＧＯＰの処理に移り（ステップＳ５０）、全てのＧＯＰの処理が終了したら（ステップＳ５０）、次のシーケンスの処理に移る（ステップＳ５１）。そして、これらの処理を、全てのシーケンスが終了するまで繰り返したら（ステップＳ５１）、処理を終了する（ステップＳ５２）。
【００４６】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図６のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ４５の処理で起動され復号化処理を開始したら（ステップＳ６０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ６１）、親プロセッサのステップＳ４６における当該マクロブロックの可変長復号化処理の終了を待つ（ステップＳ６２）。そして、可変長復号化処理が終了したら、そのデータを用いてマクロブロックの復号化処理を行う（ステップＳ６３）。そして、スライス内の全てのマクロブロックの処理が終了するまで、この手順を繰り返し（ステップＳ６４）、スライス内の全ての処理が終了したら（ステップＳ６４）、子プロセッサの処理は終了する（ステップＳ６５）。
【００４７】
なお、これらの親プロセッサおよび子プロセッサの各処理を行うプログラムは、各プロセッサ２-iに対して設けられたプログラムＲＯＭまたはプログラムＲＡＭに予め記憶しておく。そして、このプログラムに従って各プロセッサ２-iが動作することにより、実際にこれらの処理が行われる。また、可変長復号化処理でスライスを並列処理単位とした場合、可変長復号化処理をすることなしに、ビットストリーム上の次のスライスの先頭を見つけることができる。これは、スライスの先頭に置かれるスライス・スタートコードをスキャンして探すことにより可能になる。したがって、このスキャン処理のみを逐次的に行い、可変長復号化処理を含めた他の処理を並列に行う処理方法も可能である。
【００４８】
次に、動画像の復号化処理を行う場合の、並列処理部９の動作について、図７を参照して説明する。図７は、３個のプロセッサ２-1〜２-3における復号化処理の状態を示すタイムチャートである。なお、図７において、処理ＭＢｘ−ＶＬＤは、第（ｘ＋１）のマクロブロックｘに対する可変長復号化処理（図５におけるステップＳ４６）を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）のビデオセグメントｘに対する復号化処理（図６におけるステップＳ６３）を示す。
【００４９】
図７に示すように、復号化処理を開始したら、第１のプロセッサ２-1においては、マクロブロック０より、順次可変長復号化処理を行う。第２のプロセッサ２-2においては、第１のプロセッサ２-1において、マクロブロック０の可変長復号化処理が終了したら、このデータに対して復号化処理ＭＢ０−ＤＥＣを行う。また、第３のプロセッサ２-3においては、その次のマクロブロック１の可変長復号化処理が第１のプロセッサ２-1において終了したら、このデータに対して福愚押下処理ＭＢ１−ＤＥＣを行う。以後、第２のプロセッサ２-2または第３のプロセッサ２-3の、復号化処理の終了した方のプロセッサが、第１のプロセッサ２-1で可変長復号化された次のマクロブロックのデータを取り込んで、符号化処理を行う。
【００５０】
このように、第１の画像符号化／復号化装置においては、符号化処理および復号化処理の処理工程を、各々、並列処理が可能な工程と、並列処理が不可能で逐次処理が必要な可変長符号化／復号化に係わる工程に分割し、逐次処理が必要な工程は親プロセッサに振り分け、並列処理が可能な工程は子プロセッサに振り分け、符号化処理および復号化処理を行うようにしている。したがって、順次入力されるデータは、これら３個のプロセッサ２-1〜２-3で順次処理され、所望の圧縮符号化データへ、または、復元された画像データへ変換される。そして、このように、並列処理により画像の符号化処理および復号化処理を行うことにより、通常の、１つのプロセッサにより処理を行う場合に比べて高速に処理を行うことができる。
【００５１】
第２の画像符号化／復号化装置しかしながら、第１の画像符号化／復号化装置においては、逐次処理部分（可変長符号化処理および可変長復号化処理）を、特定のプロセッサ（第１のプロセッサ２-1）に固定して割り当てて逐次実行させていたため、３個のプロセッサ２-1〜２-3間で負荷が不均等になるという問題を見い出した。このような場合、逐次処理部分と並列処理部分の実行時間の比が、逐次処理部分を実行するプロセッサと並列処理部分を実行するプロセッサ台数の比に比例していれば負荷は均等になるが、そうでなければ各プロセッサの負荷が不均等になり、性能低下を引き起こす。
【００５２】
たとえば、図４に示したＭＰＥＧ符号化の並列処理においては、可変長符号化処理の負荷が比較的軽いため、特に第１のプロセッサ２-1に遊びが頻繁に生じている。これはプロセッサ台数が２台の並列計算機システムでは、さらに顕著になる。また、図７に示したＭＰＥＧ復号化の並列処理においても、可変長復号化処理の負荷が比較的軽いため、第１のプロセッサ２-1は１スライス分の可変長復号化処理が終了した時点で、第２のプロセッサ２-2および第３のプロセッサ２-3における全ての復号化処理が終了するまでの間、遊ぶことになる。
【００５３】
さらに、第１の画像符号化／復号化装置においては、各プロセッサで実行する処理が異なるため、各プロセッサを別々に制御したり、同期をとってデータの授受や通信を行う必要があり、制御が複雑化するという問題も生じている。
【００５４】
そこで、そのような問題を解決し、より一層高速に画像の符号化処理および復号化処理が行え、さらに構成や制御方法なども簡単にすることのできる、本発明に係わる画像符号化／復号化装置について、第２の画像符号化／復号化装置として説明する。
【００５５】
第２の画像符号化／復号化装置のハードウェア構成は、前述した第１の画像符号化／復号化装置と同一である。すなわち、その並列処理部１は、図１に示したような構成であり、ｎ個のプロセッサ２-1〜２-n、メモリ３および結合網４を有する。なお、これらの各構成部は、各々ハードウェア構成が第１の画像符号化／復号化装置の並列処理部９の場合と同一なので、同一の符号を用いて説明する。また、ｎ個のプロセッサ２-1〜２-n〜結合網４の機能および構成も、前述した第１の画像符号化／復号化装置の並列処理部９の場合と同じなのでその説明を省略する。また、第２の画像符号化／復号化装置の並列処理部１の場合も、プロセッサ２の個数ｎは３である。
【００５６】
このような第１の画像符号化／復号化装置の並列処理部９と同じハードウェア構成の第２の画像符号化／復号化装置の並列処理部１であるが、動画像の符号化処理および復号化処理の処理方法および各プロセッサ２-i（ｉ＝１〜３）の動作などは、第１の画像符号化／復号化装置と異なる。すなわち、３個のプロセッサ２-1〜２-3に対して設けられているプログラムＲＯＭまたはプログラムＲＡＭに記憶されるプログラムが第１の画像符号化／復号化装置の場合とは異なり、これにより第２の画像符号化／復号化装置の並列処理部１は全体として第１の画像符号化／復号化装置の並列処理部９とは異なる処理を行う。
【００５７】
そして、第２の画像符号化／復号化装置においては、前記課題を解決するために、並列処理部分のみならず逐次処理部分も各プロセッサに分担して実行させるようにしている。符号化に関して、第２の画像符号化／復号化装置の並列処理部１においては、各マクロブロックの可変長符号化処理を各プロセッサが分担して逐次的に行う。したがって、各プロセッサは、担当するマクロブロックについて、符号化処理、可変長符号化処理、局所復号化処理の全てを行う。この際、あるマクロブロックの可変長符号化処理を始める時点で、前のマクロブロックの可変長符号化処理が終了していない場合に限り、その可変長符号化処理の終了を待つ。また、復号化に関して、第２の画像符号化／復号化装置の並列処理部１においては、各マクロブロックの可変長復号化処理をも各プロセッサが分担して逐次的に行う。したがって、各プロセッサは、担当するマクロブロックについて、可変長復号化処理、復号化処理の両方を行う。この際、あるマクロブロックの可変長復号化処理が終了していない場合に限り、その可変長復号化処理の終了を待つ。
【００５８】
以下、第２の画像符号化／復号化装置の並列処理部１において、動画像の符号化処理および復号化処理を行う場合の各プロセッサ２-i（ｉ＝１〜３）における処理、および、並列処理部１の動作について説明する。
【００５９】
まず、符号化処理を行う場合の、各プロセッサ２-iにおける処理について説明する。第２の画像符号化／復号化装置の並列処理部１においては、前述した第１の画像符号化／復号化装置と同様に、１つの親プロセッサとその他のプロセッサを予め決定し、各々で異なる所定の処理を行わせる。しかしながら、この親プロセッサと子プロセッサにおける処理の違いは、親プロセッサにおいてヘッダの生成と子プロセッサの起動を行う点のみであり、実際の符号化処理に係わる符号化処理、可変長符号化処理および局所復号化処理は、親プロセッサおよび子プロセッサの両方で同様の手順により行う。すなわち、親プロセッサと子プロセッサは、一応、異なる処理手順で処理を行うものの、符号化の際の主な処理部は同一の手順で行われるものである。
【００６０】
以下、各プロセッサの処理について説明する。まず、親プロセッサである第１のプロセッサ２-1は、図８のフローチャートに示すような処理を行う。すなわち、符号化処理を開始したら（ステップＳ７０）、シーケンス・ヘッダを生成し（ステップＳ７１）、ＧＯＰ・ヘッダを生成し（ステップＳ７２）、ピクチャ・ヘッダを生成し（ステップＳ７３）、スライス・ヘッダを生成する（ステップＳ７４）。そして、スライス・ヘッダの生成が終了したら、親プロセッサは子プロセッサを起動する（ステップＳ７５）。
【００６１】
子プロセッサの起動が終了したら、親プロセッサは、子プロセッサと同様の符号化に係わる処理を行う。すなわち、まず、処理すべきマクロブロックの番号を取得し（ステップＳ７６）、そのマクロブロックの符号化処理を行う（ステップＳ７７）。次に、前のマクロブロックの可変長符号化処理が終了するのを確認して（ステップＳ７８）、可変長符号化処理を行い（ステップＳ７９）、さらに、局所復号化処理を行う（ステップＳ８０）。
【００６２】
このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ８１）、スライス内の全ての処理が終了したら、子プロセッサにおける全ての処理が終了するまで待つ（ステップＳ８２）。そして、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ８３）、１ＧＯＰの全てのピクチャの処理が終了したら、次のＧＯＰの処理に移る（ステップＳ８４）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ８５）、処理を終了する（ステップＳ８６）。
【００６３】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図９のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ７５の処理で起動され符号化処理を開始したら（ステップＳ９０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ９１）、そのマクロブロックの符号化処理を行う（ステップＳ９２）。次に、前のマクロブロックの可変長符号化処理が終了するのを確認して（ステップＳ９３）、可変長符号化処理を行い（ステップＳ９４）、さらに、局所復号化処理を行う（ステップＳ９５）。このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ９６）、スライス内の全ての処理が終了したら、子プロセッサにおける処理を終了する（ステップＳ９７）。
【００６４】
次に、このような処理手順で３個のプロセッサ２-1〜２-3が動作して符号化処理を行う場合の、並列処理部１の動作について、図１０を参照して説明する。図１０は、３個のプロセッサ２-1〜２-3における符号化処理の状態を示すタイムチャートである。なお、図１０における各処理を示す標記は、図４に示した標記と同一であるので説明を省略する。
【００６５】
図示のごとく、符号化処理を開始したら、３個のプロセッサ２-1〜２-3で、各々、マクロブロック０、マクロブロック１およびマクロブロック２の符号化処理ＭＢ０−ＥＮＣ，ＭＢ１−ＥＮＣ，ＭＢ２−ＥＮＣを開始する。そして、第１のプロセッサ２-1においては、符号化処理ＭＢ０−ＥＮＣが終了したら、引き続きそのマクロブロック０の可変長符号化処理ＭＢ０−ＶＬＣを行い、さらに、マクロブロック０の局所復号化処理ＭＢ０−ＤＥＣを行う。また、マクロブロック０の局所復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック、すなわち、マクロブロック３に対する処理を符号化処理ＭＢ３−ＥＮＣから開始する。
【００６６】
一方、第２のプロセッサ２-2は、マクロブロック１の符号化処理ＭＢ１−ＥＮＣが終了した時点では、まだ前のマクロブロック０の可変長符号化処理ＭＢ０−ＶＬＣが第１のプロセッサ２-1で行われているので、この可変長符号化処理の終了を待ち、これが終了したらマクロブロック１の可変長符号化処理ＭＢ１−ＶＬＣを開始する。そして、その可変長符号化処理ＭＢ１−ＶＬＣが終了したら、そのマクロブロック１の局所復号化処理ＭＢ１−ＤＥＣを行う。また、そのマクロブロック１の局所復号化処理ＭＢ１−ＤＥＣが終了したら、次のマクロブロック４に対する符号化処理ＭＢ４−ＥＮＣを開始する。
【００６７】
また、第３のプロセッサ２-3においても、マクロブロック２の符号化処理ＭＢ２−ＥＮＣが終了した時点ではまだ前のマクロブロック０およびマクロブロック１の可変長符号化処理ＭＢ０−ＶＬＣおよびＭＢ１−ＶＬＣが終了していないので、これらの処理の終了を待つ。そして、マクロブロック０およびマクロブロック１の可変長符号化処理が終了したら、マクロブロック２の可変長符号化処理ＭＢ２−ＶＬＣを行う。そして、その可変長符号化処理ＭＢ２−ＶＬＣが終了したら、そのマクロブロック２の局所復号化処理ＭＢ２−ＤＥＣを行う。また、そのマクロブロック２の局所復号化処理ＭＢ２−ＤＥＣが終了したら、次のマクロブロック５に対する符号化処理ＭＢ５−ＥＮＣを開始する。
【００６８】
このようにして、各プロセッサ２-1〜２-3においては、順次処理対象のマクロブロックｘを選択して、そのマクロブロックｘに対する符号化処理ＭＢｘ−ＥＮＣ、可変長符号化処理ＭＢｘ−ＶＬＣおよび局所復号化処理ＭＢｘ−ＤＥＣを行う。このように処理を行うことで、可変長符号化処理ＭＢｘ−ＶＬＣのみは、前のマクロブロックｘ−１に対する可変長符号化処理ＭＢ（ｘ−１）−ＶＬＣが終了していない場合には処理の開始を待機させられるが、その他の箇所は全く並行して処理を行うことができる。
【００６９】
そして、その可変長符号化処理ＭＢｘ−ＶＬＣにおいても、処理の開始時こそ、図１０に示すように、各プロセッサ２-1〜２-3で同時に符号化処理が開始されるため、可変長符号化処理の開始の要求が重なり、プロセッサ２-2，２-3に遊びが生じているが、その後は、必然的に各プロセッサにおける処理工程がずれることになり、このような遊びが生じ難くなる。図１０に示す例においても、第３のプロセッサ２-3におけるマクロブロック５の可変長符号化処理ＭＢ５−ＶＬＣがわずかに待たされているのみで、その他には、全く遊びが生じていない。
【００７０】
次に、第２の画像符号化／復号化装置において復号化処理を行う場合の、各プロセッサ２-iにおける処理について説明する。復号化処理の場合も、前述した第１の画像符号化／復号化装置と同様に、１つの親プロセッサとその他のプロセッサを予め決定し、各々で異なる所定の処理を行わせる。しかしながら、この親プロセッサは、ヘッダの復号化と子プロセッサの起動を行う点のみが子プロセッサの処理と異なるものであり、実際の復号化処理に係わる可変長復号化処理および復号化処理は、親プロセッサおよび子プロセッサの両方で同様の手順により行う。すなわち、親プロセッサと子プロセッサは、一応、異なる処理手順で処理を行うものの、復号化の際の主な処理部は同一の手順で行われるものである。
【００７１】
以下、各プロセッサの処理について説明する。まず、親プロセッサである第１のプロセッサ２-1は、図１１のフローチャートに示すような処理を行う。すなわち、復号化処理を開始したら（ステップＳ１００）、シーケンス・ヘッダを復号化し（ステップＳ１０１）、ＧＯＰ・ヘッダを復号化し（ステップＳ１０２）、ピクチャ・ヘッダを復号化し（ステップＳ１０３）、スライス・ヘッダを復号化する（ステップＳ１０４）。そして、スライス・ヘッダの復号化が終了したら、親プロセッサは子プロセッサを起動する（ステップＳ１０５）。
【００７２】
子プロセッサの起動が終了したら、親プロセッサは、子プロセッサと同様の復号化に係わる処理を行う。すなわち、まず、処理すべきマクロブロックの番号を取得し（ステップＳ１０６）、前のマクロブロックの可変長復号化処理が終了していることを確認して（ステップＳ１０７）、そのマクロブロックの可変長復号化処理を行う（ステップＳ１０８）。そして、可変長復号化処理が終了したら、そのマクロブロックの復号化処理を行う（ステップＳ１０９）。
【００７３】
このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ１１０）、スライス内の全ての処理が終了したら、子プロセッサにおける全ての処理が終了するまで待つ（ステップＳ１１１）。そして、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ１１２）、１ＧＯＰの全てのピクチャの処理が終了したら、次のＧＯＰの処理に移る（ステップＳ１１３）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ１１４）、処理を終了する（ステップＳ１１５）。
【００７４】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図１２のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ１０５の処理で起動され復号化処理を開始したら（ステップＳ１２０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ１２１）、前のマクロブロックの可変長復号化処理が終了していることを確認して（ステップＳ１２２）、そのマクロブロックの可変長復号化処理を行う（ステップＳ１２３）。次に、可変長復号化処理が終了したら、そのマクロブロックの復号化処理を行う（ステップＳ１２４）。このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ１２５）、スライス内の全ての処理が終了したら、子プロセッサにおける処理を終了する（ステップＳ１２６）。
【００７５】
次に、このような処理手順で３個のプロセッサ２-1〜２-3が動作して復号化処理を行う場合の、並列処理部１の動作について、図１３を参照して説明する。図１３は、３個のプロセッサ２-1〜２-3における復号化処理の状態を示すタイムチャートである。なお、図１３における各処理を示す標記は、図７に示した標記と同一であるので説明を省略する。
【００７６】
図示のごとく、復号化処理を開始したら、まず、第１のプロセッサ２-1で最小のマクロブロック０の可変長復号化処理ＭＢ０−ＶＬＤを行う。第２のプロセッサ２-2は、マクロブロック１に対する処理を行うものであるが、可変長復号化処理については、マクロブロックごとに順に行う必要があるので、第１のプロセッサ２-1におけるマクロブロック０の可変長復号化処理ＭＢ０−ＶＬＤが終了するのを待って、マクロブロック１の可変長復号化処理ＭＢ１−ＶＬＤを行う。第３のプロセッサ２-3も同様に、第１のプロセッサ２-1におけるマクロブロック０に対する可変長復号化処理ＭＢ０−ＶＬＤ、および、第２のプロセッサ２-2におけるマクロブロック１に対する可変長復号化処理ＭＢ１−ＶＬＤが終了するのを待って、マクロブロック２の可変長復号化処理ＭＢ２−ＶＬＤを行う。
【００７７】
マクロブロック０に対する可変長符号化処理ＭＢ０−ＶＬＤが終了した第１のプロセッサ２-1においては、引き続きそのマクロブロック０に対する復号化処理ＭＢ０−ＤＥＣを行う。そして、その復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック３に対する処理を開始する。しかし、この時に、図１３に示すように、前のマクロブロック２に対する可変長符号化処理ＭＢ２−ＶＬＤが終了していなければ、これを待って、マクロブロック３に対する可変長復号化処理ＭＢ３−ＶＬＤを開始する。
【００７８】
以後、同様に、各各プロセッサ２-1〜２-3においては、順次処理対象のマクロブロックｘを選択して、そのマクロブロックｘに対する可変長復号化処理ＭＢｘ−ＶＬＤおよび復号化処理ＭＢｘ−ＤＥＣを行う。このように処理を行うことで、可変長復号化処理ＭＢｘ−ＶＬＤは、前のマクロブロックｘ−１に対する可変長復号化処理ＭＢ（ｘ−１）−ＶＬＤが終了していない場合には処理の開始を待機させられるが、その他の箇所は全く並行して処理を行うことができる。
【００７９】
そして、その可変長復号化処理ＭＢｘ−ＶＬＤにおいても、処理の開始時こそ、図１３に示すように、各プロセッサ２-1〜２-3で同時に復号化処理が開始されるため、第２のプロセッサ２-2および第３のプロセッサ２-3が待機させられており、処理に遊びが生じているが、その後は、必然的に各プロセッサにおける処理工程がずれることになり、このような遊びが生じ難くなる。図１３に示す例においても、第１のプロセッサ２-1におけるマクロブロック３の可変長復号化処理ＭＢ３−ＶＬＤがわずかに待たされているのみで、その他には、全く遊びが生じていない。
【００８０】
このように、第２の画像符号化／復号化装置においては、ＭＰＥＧ符号化処理および復号化処理を行う際に、並列処理可能な符号化処理部分、局所復号化処理部分および復号化処理部分のみならず、逐次処理する必要のある可変長符号化処理部分および可変長復号化処理部分も、各プロセッサにおいて分散処理するようにしている。したがって、この逐次処理部分の負荷をも、各プロセッサに均等に分散することができ、図１０および図１３に示したように、第１の画像符号化／復号化装置と比較してプロセッサの遊び時間を大幅に少なくすることができる。そして、その結果、全体の符号化および復号化の処理速度を大幅に向上させることができる。なお、これはプロセッサ台数が２台の並列計算機システムでは、さらに顕著になる。
【００８１】
また、第２の画像符号化／復号化装置の並列処理部１においては、複数のプロセッサ２-1〜２-nの各々において、振り分けられた処理対象のマクロブロックについての一連の符号化処理、一連の復号化処理を一貫して行っている。そのため、各プロセッサ間の同期をとったり、データ通信などの負荷を少なくすることができる。また、その結果、処理時間の全てを符号化および復号化処理にあてることができる。結果的に、各プロセッサにおける負荷も実質的に均等になり、効率よく、また高速に符号化処理および復号化処理が行える。また、全てのプロセッサを、実質的に同一の制御、処理手順で動作させることができるので、装置構成が簡単になる。さらに本発明は、プロセッサ台数に依存しないスケーラブルな並列処理方式のため、様々な構成の並列計算機システムに適用できる。
【００８２】
なお、本発明は、本実施の形態にのみ限られるものではなく、任意好適な種々の改変が可能である。たとえば、前述した実施の形態の並列処理部において、親プロセッサは必ず１台であるが、子プロセッサの台数に制約はなく、何台でもよい。また、子プロセッサが取得するマクロブロック番号は、オペレーティング・システムが動的に決定する場合もあれば、コンパイラやハードウェアによって、静的に一意に決まっている場合もあり、任意の方法により決定してよい。
【００８３】
また、各プロセッサで実行されるプログラムは、ＲＯＭに予め記憶して画像符号化／復号化装置の並列処理部に具備されるような構成でもよいし、ハードディスク、ＣＤ−ＲＯＭなどの記憶媒体上に格納しておき、実行時にプログラムＲＡＭなどに読み込んで参照されるような構成でもよい。
【００８４】
また、本実施の形態においては、本発明に係わる処理装置として、図１に示したように、共有メモリ型の並列計算機システムを例示したが、装置構成はこれに限られるものではない。共有メモリを有しておらず、いわゆるメッセージ通信によりデータの転送などを行うメッセージ通信型並列計算機システムであってもよい。また、本実施の形態のような、各プロセッサが緊密に連結された並列計算機システムでなくとも、各々が独立した計算機装置であり、それらが任意の通信手段により接続されて協働して所望の処理を行うように構成されたようなシステムであってもよい。すなわち、計算機装置の実際の構成は、任意に決定してよい。
【００８５】
また、前述した画像符号化／復号化装置の並列処理部は、プログラムに従って所定の動作を行うプロセッサを複数有し、それらが並列に動作して所望の処理を行うような構成であったが、専用のハードウェアにより構成され並列に動作する複数の処理部を有するような構成であってもよい。たとえば、ＭＰＥＧの符号化／復号化専用回路、画像コーデック用ＤＳＰ、メディアプロセッサなどの、可変長符号化／復号化処理のための専用回路などにも適用可能である。
【００８６】
また、本実施の形態においては、符号化および復号化の際に行う変換方式としてＤＣＴを用いた。しかし、この変換方式は任意の直交変換方式を用いてよい。たとえば、高速フーリエ変換（ＦＦＴ）や離散フーリエ変換（ＤＦＴ）などのフーリエ変換、アダマール変換、Ｋ−Ｌ変換などの、任意の変換を用いてよい。また、本発明は、本実施の形態において例示した動画像の符号化処理および復号化処理についてのみ適用可能なものではない。たとえば、音声データやテキストデータの符号化および復号化など、任意のデータの符号化および復号化に適用可能である。
【００８７】
【発明の効果】
以上説明したように、本発明のデータ処理方法、データ処理装置及び記録媒体によれば、たとえば画像データなどの符号化および復号化を行う際に、複数の演算処理装置の各々に均等かつ効率よく負荷を配分することができ、また、演算処理装置間における同期をとるための通信やデータ通信を少なくすることができる。その結果、そのような符号化および復号化を高速に行うことができ、また、制御方法や装置構成などを簡単にすることができる。
【００８８】
また、本発明のデータ処理方法、データ処理装置及び記録媒体によれば、たとえば画像データなどの符号化および復号化を複数の演算処理装置を用いた並列処理により行う際に、各演算処理装置に均等かつ効率よく負荷を配分することができる。また、各演算処理装置間で同期をとるための通信やデータ通信を少なくすることができる。その結果、簡単な制御で、そのような符号化および復号化を高速に行うことができる。また、本発明のデータ処理方法、データ処理装置及び記録媒体は、その負荷の配分の方法が演算処理装置の個数などその並列処理装置の構成に依存しない、スケーラブルな方法のため、様々な構成の並列処理装置に適用することができる。
【図面の簡単な説明】
【図１】図１は、本発明に係わる画像符号化／復号化装置の並列処理部の構成を示す概略ブロック図である。
【図２】図２は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、これまでの並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図３】図３は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、これまでの並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図４】図４は、図１に示した並列処理部において、これまでの並列処理方法により画像の符号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図５】図５は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、これまでの並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図６】図６は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、これまでの並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図７】図７は、図１に示した並列処理部において、これまでの並列処理方法により画像の復号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図８】図８は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、本発明に係わる並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図９】図９は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、本発明に係わる並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図１０】図１０は、図１に示した並列処理部において、本発明に係わる並列処理方法により画像の符号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図１１】図１１は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、本発明に係わる並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図１２】図１２は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、本発明に係わる並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図１３】図１３は、図１に示した並列処理部において、本発明に係わる並列処理方法により画像の復号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図１４】図１４は、ＭＰＥＧ符号化における画像データの構造を示す図である。
【図１５】図１５は、ＭＰＥＧ符号化された画像データビットストリームの構造を示す図である。
【図１６】図１６は、ＭＰＥＧ符号化を行うための処理装置の構成を示すブロック図である。
【図１７】図１７は、ＭＰＥＧ符号化を行って図１５に示したようなビットストリームを生成する処理の流れを示すフローチャートである。
【図１８】図１８は、逐次処理によりＭＰＥＧ符号化を行う場合の処理装置の動作を示すタイムチャートである。
【図１９】図１９は、ＭＰＥＧ復号化を行うための処理装置の構成を示すブロック図である。
【図２０】図２０は、ＭＰＥＧ復号化を行って図１５に示したようなビットストリームを生成する処理の流れを示すフローチャートである。
【図２１】図２１は、逐次処理によりＭＰＥＧ復号化を行う場合の処理装置の動作を示すタイムチャートである。
【符号の説明】
１，９…画像符号化／復号化装置の並列処理部、２…プロセッサ、３…メモリ、４…結合網、１６０…符号化装置、１６１…動きベクトル検出部、１６２…減算器、１６３…離散コサイン変換部、１６４…量子化部、１６５…可変長符号化部、１６６…逆量子化部、１６７…逆離散コサイン変換部、１６８…加算器、１６９…動き補償部、１７０…エンコード制御部、２００…復号化装置、２０１…可変長復号化部、２０２…逆量子化部、２０３…逆離散コサイン変換部、２０４…加算器、２０５…動き補償部、２０６…デコード制御部
【発明の属する技術分野】
本発明は、たとえばＭＰＥＧ(Moving Picture coding Experts Groupによる高品質動画符号化方式)のような、ビデオデータやオーディオデータなどのデータを、可変長データからなるビットストリームに変換する符号化方式およびその復号化方式に関し、特に、並列処理によりその符号化および復号化を高速に行うデータ処理方法、データ処理装置及び記録媒体に関する。
【０００２】
【従来の技術】
現在、広く用いられている画像の標準的符号化および復号化方式である、ＭＰＥＧ方式（ＭＰＥＧ１およびＭＰＥＧ２）について説明する。図１４は、ＭＰＥＧにおける、画像データの構造を示す図である。図１４に示すように、ＭＰＥＧの画像データは階層構造に構成されている。各階層は、上位から順に、ビデオ・シーケンス（以降、単にシーケンスと言う）、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、スライス、マクロブロック、ブロックとなっている。ＭＰＥＧ符号化では、画像データはこの階層構造に基づいて順次符号化され、ビットストリームに変換される。
【０００３】
図１５に、ＭＰＥＧ符号化されたデータのビットストリームの構造を示す。図１５のビットストリームでは、各ピクチャはｊ個のスライスからなり、各スライスはｉ個のマクロブロックからなる。また、図１４に示した階層のうちブロック以外は符号化モードなどが格納されたヘッダを持つ。したがって、ビットストリームの構成をビデオ・シーケンスの先頭から列挙すると、シーケンス・ヘッダ（ＳＥＱＨ）１５１、ＧＯＰ・ヘッダ（ＧＯＰＨ）１５２、ピクチャ・ヘッダ（ＰＨ）１５３、スライス・ヘッダ（ＳＨ）１５４、マクロブロック・ヘッダ（ＭＨ）１５５、マクロブロック０の圧縮データ（ＭＢ０）１５６、マクロブロック・ヘッダ（ＭＨ）１５７、マクロブロック１の圧縮データ（ＭＢ１）１５８・・・となる。なお、ビットストリームに含まれるマクロブロックの圧縮データのサイズは可変長であり、画像の性質などによって変動する。また、ＭＰＥＧ復号化では、このビットストリームが順次復号化され、図１４の階層構造に基づいて画像が再構成される。
【０００４】
次に、ＭＰＥＧによる符号化処理および復号化処理を行うための、処理装置の構成、処理アルゴリズムおよび処理の流れについて具体的に説明する。まず、符号化処理について説明する。図１６は、ＭＰＥＧ符号化を行うための一般的な処理装置の構成を示すブロック図である。図１６に示す符号化装置１６０は、動きベクトル検出部（ＭＥ）１６１、減算器１６２、離散コサイン変換部（ＦＤＣＴ）１６３、量子化部１６４、可変長符号化部（ＶＬＣ）１６５，逆量子化部（ＩＱ）１６６、逆離散コサイン変換部（ＩＤＣＴ）１６７、加算器１６８、動き補償部（ＭＣ）１６９およびエンコード制御部１７０を有する。
【０００５】
このような構成の符号化装置１６０においては、入力された画像データの符号化モードがＰ（Predictive coded）ピクチャまたはＢ（Bidirectionally predictive coded）ピクチャの場合には、動きベクトル検出部１６１でマクロブロック単位に動き補償予測が行われ、減算器１６２で予測誤差が検出され、その予測誤差に対して、離散コサイン変換部１６３でＤＣＴを行ってＤＣＴ係数が求められる。また、符号化モードがＩ（Intra coded）ピクチャの場合には、画素値がそのまま離散コサイン変換部１６３に入力されてＤＣＴが行われ、ＤＣＴ係数が求められる。
【０００６】
求められたＤＣＴ係数が、量子化部１６４で量子化され、可変長符号化部１６５で動きベクトルや符号化モード情報とともに可変長符号化されることにより、符号化ビットストリームが生成される。また、量子化部１６４で生成された量子化データは、逆量子化部１６６で逆量子化され、逆離散コサイン変換部１６７でＩＤＣＴされて元の予測誤差に復元され、加算器１６８で参照画像に加算され、動き補償部１６９において参照画像が生成される。なお、エンコード制御部１７０は、これら符号化装置１６０の各部の動作を制御する。
【０００７】
このような符号化処理は、一般に、動きベクトル検出部１６１における動きベクトル検出処理から量子化部１６４における量子化処理までの符号化処理、ビットストリームを生成する可変長符号化部１６５、および、逆量子化部１６６における逆量子化処理から動き補償部１６９における動き補償処理までの局所復号化処理の、３つの処理部に大別される。
【０００８】
次に、このような符号化処理を行い、図１５に示したような構造の符号化ビットストリームを生成するための処理の流れについて、図１７を参照して説明する。図１７は、ＭＰＥＧ符号化を行ってビットストリームを生成する処理の流れを示すフローチャートである。符号化処理を開始したら（ステップＳ１８０）、シーケンス・ヘッダを生成し（ステップＳ１８１）、ＧＯＰ・ヘッダを生成し（ステップＳ１８２）、ピクチャ・ヘッダを生成し（ステップＳ１８３）、スライス・ヘッダを生成する（ステップＳ１８４）。
【０００９】
各階層のヘッダの生成が終了したら、マクロブロック符号化を行い（ステップＳ１８５）、マクロブロック可変長符号化を行い（ステップＳ１８６）、マクロブロック局所符号化を行う（ステップＳ１８７）。そして、スライス内の全てのマクロブロックについて符号化処理が終了したら、次のスライスの処理に移る（ステップＳ１８８）。以下同様に、１つのピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ１８９）、１ＧＯＰの全ての処理が終了したら、次のＧＯＰの処理に移る（ステップＳ１９０）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ１８１）、処理を終了する（ステップＳ１９２）。
【００１０】
また、このような符号化処理を、たとえばＤＳＰ（デジタル・シグナル・プロセッサ）などの演算処理装置により逐次処理する場合の、タイムチャートを図１８に示す。図１８に示すように、演算処理装置においては、図１６に示したフローチャートの各処理を、各マクロブロックごとに順に行うことになる。なお、図１８において、処理ＭＢｘ−ＥＮＣは、第（ｘ＋１）番目のマクロブロックｘのデータに対する符号化処理を示し、処理ＭＢｘ−ＶＬＣは、第（ｘ＋１）番目のマクロブロックｘのデータに対する可変長符号化処理を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）番目のマクロブロックｘのデータに対する局所符号化処理を示す。
【００１１】
次に、復号化処理について説明する。図１９は、ＭＥＰＧ復号化を行うための一般的な処理装置の構成を示すブロック図である。図１９に示す復号化装置２００は、可変長復号化部（ＶＬＤ）２０１、逆量子化部（ＩＱ）２０２、逆離散コサイン変換部（ＩＤＣＴ）２０３、加算器２０４、動き補償部（ＭＣ）２０５およびデコード制御部２０６を有する。
【００１２】
このような構成の復号化装置２００においては、入力された符号化データのビットストリームは、可変長復号化部２０１で復号化され、マクロブロックごとの符号化モード、動きベクトル、量子化情報および量子化ＤＣＴ係数が分離される。復号化された量子化ＤＣＴ係数は、逆量子化部２０２で逆量子化されてＤＣＴ係数に復元され、逆離散コサイン変換部２０３によりＩＤＣＴされて画素空間データに変換される。
【００１３】
そして、そのブロックが動き補償予測モードの場合には、加算器２０４で動き補償予測されたブロックデータが加算されて元のデータが復元され出力される。また、動き補償部２０５では、復号された画像に基づいて、動き補償予測を行い、加算器２０４において加算されるデータを生成しておく。なお、第１の可変長復号化部（ＶＬＤ）２０６は、これら復号化装置２００の各部の動作を制御する。
【００１４】
なお、このような復号化処理は、一般に、ビットストリームを解読する可変長復号化部２０１における可変長復号化処理と、逆量子化部２０２における逆量子化から動き補償部２０５における動き補償処理までの復号化処理の、２つの処理部に大別される。
【００１５】
次に、このような符号化処理を行い、図１５に示したような構造の符号化ビットストリームを復号するための処理の流れについて、図２０を参照して説明する。図２０は、ＭＰＥＧ復号化を行って元の画像データを生成する処理の流れを示すフローチャートである。復号化処理を開始したら（ステップＳ２１０）、シーケンス・ヘッダを復号化し（ステップＳ２１１）、ＧＯＰ・ヘッダを復号化し（ステップＳ２１２）、ピクチャ・ヘッダを復号化し（ステップＳ２１３）、スライス・ヘッダを復号化する（ステップＳ２１４）。
【００１６】
各階層のヘッダの復号化が終了したら、マクロブロック可変長復号化を行い（ステップＳ２１５）、マクロブロックの復号化処理を行う（ステップＳ２１６）。そして、スライス内の全てのマクロブロックについて復号化処理が終了したら、次のスライスの処理に移る（ステップＳ２１７）。以下同様に、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ２１８）、１ＧＯＰの全ての処理が終了したら、次のＧＯＰの処理に移る（ステップＳ２１９）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ２２０）、処理を終了する（ステップＳ２２１）。
【００１７】
また、このような復号化処理を、たとえばＤＳＰ（デジタル・シグナル・プロセッサ）などの演算処理装置により逐次処理する場合の、タイムチャートを図２１に示す。図２１に示すように、演算処理装置においては、図２０に示したフローチャートの各処理を、各スライスごとに、また、各スライス内では各マクロブロックごとに順に行うことになる。なお、図１８において、処理ＳＨ−ＶＬＤは、スライス・ヘッダ復号化処理を示し、ＭＢｘ−ＶＬＤは、第（ｘ＋１）番目のマクロブロックｘの符号化データに対する可変長復号化処理を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）番目のマクロブロックｘの符号化データに対する復号化処理を示す。
【００１８】
【発明が解決しようとする課題】
ところで、このような画像などのデータの符号化および復号化を、複数の演算処理装置を有する並列処理装置により効率よく高速に行いたいという要望がある。しかしながら、これまでの並列処理装置および並列処理方法では、種々の問題があり十分に効率よく高速な処理が行えなかった。具体的には、まず、前述した符号化処理および復号化処理を並列処理により効率よく行おうとした場合、どの工程をどのように複数の演算処理装置に振り分ければよいか、決定するのが難しいという問題がある。
【００１９】
また、このような符号化処理および復号化処理においては、可変長データを処理対象としているため、この可変長符号化処理および可変長復号化処理についてはデータ処理の順番として逐次処理を行わざるを得ない。そのため、この逐次処理部分の実行時に並列処理が中断されたり、また、この逐次処理部分がネックとなって処理速度が制限されたりする場合がある。また、各演算処理装置における処理の実行時間が等しければ負荷が均等になり効率よい処理が行えるが、各工程の処理時間は異なるために、各演算処理装置の負荷は不均等になり、効率よい処理が行えないという問題も生じる。
【００２０】
また、このような並列処理方法では、たとえば前述した画像データの場合には１つのビデオセグメントであるような、１つのデータに対する処理を複数の演算処理装置で分割して行っているため、データの授受に伴う同期や通信の制御を行う必要があり、装置の構成や制御方法などが複雑になるという問題もある。さらに、各演算処理装置で行う処理が異なるため、個々の演算処理装置に対して処理プログラムを用意し、また、個々の演算処理装置に対して別個に処理の制御を行わなければならず、一層装置の構成や制御方法などが複雑になるという問題もある。
【００２１】
したがって、本発明の目的は、複数の演算処理装置を有し、たとえば画像データなどの符号化処理および復号化処理を高速に行うことができ、構成が簡単な、符号化装置および復号化装置を提供することにある。また、本発明の他の目的は、任意の構成の並列処理装置に適用可能であり、たとえば画像データなどの符号化処理および復号化処理を高速に行うことができるデータ処理方法、データ処理装置及び記録媒体を提供することにある。
【００２２】
【課題を解決するための手段】
したがって、本発明のデータ処理装置は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、可変長符号化処理を逐次処理する第１プロセッサと、符号化処理及び局所復号化処理を並列に処理する複数の第２プロセッサと、前記第１プロセッサにおいてｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、前記複数の第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して割り当てる割当手段と、を有し、前記割当手段は、前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てる。
【００２３】
また、本発明のデータ処理装置は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、可変長符号化処理を逐次処理し、かつ、符号化処理及び局所復号化処理を並列に処理する複数のプロセッサと、前記複数のプロセッサのうちのいずれかのプロセッサに対して、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する符号化処理、可変長符号化処理、局所復号化処理を順次行わせる割当手段と、を有し、前記割当手段は、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させる。
【００２４】
また、本発明のデータ処理装置は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う場合に、可変長符号化処理を逐次処理し、かつ、符号化処理及び局所復号化処理を並列に処理する複数のプロセッサと、前記複数のプロセッサのうちのいずれかのプロセッサに対して、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を順次行わせる割当手段と、を有し、前記割当手段は、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させる。
【００２５】
また、本発明のデータ処理方法は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理を第１プロセッサが逐次処理させるステップと、前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、複数の第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して並列処理させるように割り当てるステップと、前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てるステップと、を有する。
また、本発明のデータ処理方法は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する、符号化処理を並列処理させ、可変長符号化処理を逐次処理させ、局所復号化処理を並列処理させるように、複数のプロセッサのうちのいずれかのプロセッサに対して割り当てるステップと、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させるステップと、を有する。
また、本発明のデータ処理方法は、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う場合に、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を、複数のプロセッサのうちのいずれかのプロセッサに順次実行させるステップと、前記複数のプロセッサのうちのいずれかのプロセッサにおいて前記ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長復号化処理が終了したことを条件に、当該ｎ番目のマクロブロックまたはスライスに対する復号化処理を前記複数のプロセッサのうち、処理を実行していない他のプロセッサに実行させるステップと、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させるステップと、を有する。
また、本発明のプログラムは、画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う処理を第１プロセッサ及び第２プロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理を逐次処理させる手順と、前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、複数の前記第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して並列処理させるように割り当てる手順と、前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てる手順と、を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体である。
画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う処理を複数のプロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する、符号化処理を並列処理させ、可変長符号化処理を逐次処理させ、局所復号化処理を並列処理させるように、前記複数のプロセッサのうちのいずれかのプロセッサに順次割り当てる手順と、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させる手順と、を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体である。
画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う処理を複数のプロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を、前記複数のプロセッサのうちのいずれかのプロセッサに順次実行させる手順と、前記複数のプロセッサのうちのいずれかのプロセッサにおいて前記ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長復号化処理が終了したことを条件に、当該ｎ番目のマクロブロックまたはスライスに対する復号化処理を前記複数のプロセッサのうち、処理を実行していない他のプロセッサに実行させる手順と、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させる手順と、を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体である。
【００２６】
【発明の実施の形態】
本発明の実施の形態について、図１〜図１３を参照して説明する。本実施の形態においては、複数のプロセッサにより並列処理を行い、ＭＰＥＧ２により動画像の符号化および復号化を行う、画像符号化／復号化装置を例示して本発明を説明する。
【００２７】
なお、ＭＰＥＧ符号化および復号化の並列処理を行う際の処理単位としては、図１４に示した各階層のいずれか、あるいは画素が考えられるが、本実施の形態においては、マクロブロックを並列処理単位として選択した場合について説明する。マクロブロックを並列処理単位とした場合、１スライス内においては符号化処理、局所復号化処理および復号化処理は並列実行できるが、可変長符号化処理および可変長復号化処理については逐次実行する必要がある。これは、可変長符号化処理および可変長復号化処理ではマクロブロックの圧縮データが可変長であり、ビットストリーム上におけるマクロブロックの圧縮データの先頭位置が、直前のマクロブロックの可変長符号化処理または可変長復号化処理が完了するまで決定しないためである。なお、この制約は、スライスを並列処理単位にした場合も同様である。
【００２８】
第１の画像符号化／復号化装置まず、並列処理により前述したような画像の符号化および復号化を行う、これまでの画像符号化／復号化装置について説明する。図１は、その画像符号化／復号化装置の並列処理部の構成を示す概略ブロック図である。図１に示すように、画像符号化／復号化装置の並列処理部９は、ｎ個のプロセッサ２-1〜２-n、メモリ３および結合網４を有する。
【００２９】
まず、この並列処理部９の構成について説明する。ｎ個のプロセッサ２-1〜２-nは、各々独立して所定の演算処理を行うプロセッサである。各プロセッサ２-i（ｉ＝１〜ｎ）は、実行する演算処理プログラムが格納されるプログラムＲＯＭまたはプログラムＲＡＭ、演算に係わるデータなどを記憶するＲＡＭを有している。そして、プロセッサ２-iは、このプログラムＲＯＭまたはプログラムＲＡＭに予め記憶されているプログラムに従って所定の動作を行う。
【００３０】
なお、本実施の形態においてはｎ＝３、すなわち、並列処理部９は３つのｎ個のプロセッサ２-1〜２-3を有するものとする。また、以下の説明では、各プロセッサ２-1〜２-nについて、画像データの符号化および復号化に関する処理についてのみ述べるが、これと並行して、いずれか１つのプロセッサ２-i（ｉ＝１〜ｎ）において、あるいは、ｎ個のプロセッサ２-1〜２-n各々において、並列処理部９全体の動作を制御するための処理も行われる。そして、この制御動作により、各プロセッサ２-1〜２-nが協働して、また同期して、以下に説明するような動作をするものである。
【００３１】
メモリ３は、ｎ個のプロセッサ２-1〜２-nの共有メモリである。メモリ３には、処理対象の画像データや処理結果のデータが記憶され、ｎ個のプロセッサ２-1〜２-nにより適宜データの読み出しおよび書き込みが行われる。結合網４は、ｎ個のプロセッサ２-1〜２-nが協働して動作するように、また、ｎ個のプロセッサ２-1〜２-nがメモリ３を適宜参照するように、ｎ個のプロセッサ２-1〜２-nおよびメモリ３を相互に接続する接続部である。
【００３２】
次に、このような構成の並列処理部９において、前述したような動画像の符号化処理を行う場合の、各プロセッサ２-i（ｉ＝１〜３）における処理、および、並列処理部９の動作について説明する。まず、各プロセッサ２-iにおける処理について説明する。並列処理部９においては、各マクロブロックの可変長符号化処理を１つのプロセッサ（以降、このプロセッサを親プロセッサと言う。）に固定して割り当てて逐次実行させ、符号化処理および局所復号化処理をその他のプロセッサ（以降、このプロセッサを子プロセッサと言う。）に割り当てて、並列実行を行う。図１に示す並列処理部９においては、第１のプロセッサ２-1を親プロセッサ、第２および第３のプロセッサ２-2，２-3を子プロセッサとする。
【００３３】
まず、親プロセッサである第１のプロセッサ２-1は、図２のフローチャートに示すような処理を行う。すなわち、符号化処理を開始したら（ステップＳ１０）、シーケンス・ヘッダを生成し（ステップＳ１１）、ＧＯＰ・ヘッダを生成し（ステップＳ１２）、ピクチャ・ヘッダを生成し（ステップＳ１３）、スライス・ヘッダを生成する（ステップＳ１４）。スライス・ヘッダの生成が終了したら、親プロセッサは子プロセッサを起動し（ステップＳ１５）、子プロセッサにおける符号化処理の終了待ち状態に入る（ステップＳ１６）。
【００３４】
子プロセッサにおけるマクロブロックの符号化処理が終了したら（ステップＳ１６）、そのマクロブロックの可変長符号化処理を始める（ステップＳ１７）。なお、この可変長符号化処理は、前述したような制約により逐次実行しなくてはならない。したがって、たとえマクロブロック１の符号化処理の方がマクロブロック０の符号化処理よりも先に終了したとしても、プロセッサ０は必ずマクロブロック０の可変長符号化処理を先に行う。
【００３５】
親プロセッサは、スライス内の全ての処理が終了するまで、この手順を繰り返し（ステップＳ１８）、スライス内の全ての処理が終了したら、子プロセッサにおける全ての処理が終了するまで待つ（ステップＳ１９）。以下同様に、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ２０）、１ＧＯＰの全てのピクチャの処理が終了したら、次のＧＯＰの処理に移る（ステップＳ２１）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ２２）、処理を終了する（ステップＳ２３）。
【００３６】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図３のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ１５の処理で起動され符号化処理を開始したら（ステップＳ３０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ３１）、そのマクロブロックの符号化処理を行う（ステップＳ３２）。符号化処理が終了したら、親プロセッサにおける可変長符号化処理の終了を待ち（ステップＳ３３）、可変長符号化処理が終了したら、局所復号化処理を行う（ステップＳ３４）。スライス内の全ての処理が終了するまで、この手順を繰り返し（ステップＳ３５）、スライス内の全ての処理が終了したら（ステップＳ３５）、子プロセッサの処理は終了する（ステップＳ３６）。
【００３７】
なお、これらの親プロセッサおよび子プロセッサの各処理を行うプログラムは、各プロセッサ２-iに対して設けられたプログラムＲＯＭまたはプログラムＲＡＭに予め記憶しておく。そして、このプログラムに従って各プロセッサ２-iが動作することにより、実際にこれらの処理が行われる。
【００３８】
次に、動画像の符号化処理を行う場合の、並列処理部９の動作について、図４を参照して説明する。図４は、３個のプロセッサ２-1〜２-3における符号化処理の状態を示すタイムチャートである。なお、図４において、処理ＭＢｘ−ＥＮＣは、第（ｘ＋１）のマクロブロックｘに対する符号化処理（図３におけるステップＳ３２）を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）のビデオセグメントｘに対する局所復号化処理（図３におけるステップＳ３４）を示し、処理ＭＢｘ−ＶＬＣは、第（ｘ＋１）のビデオセグメントｘに対する可変長符号化処理（図２における、ステップＳ１７）を示す。
【００３９】
図４に示すように、符号化処理を開始したら、まず、第２のプロセッサ２-2および第３のプロセッサ２-3においてマクロブロック０およびマクロブロック１の符号化処理ＭＢ０−ＥＮＣ，ＭＢ１−ＥＮＣが行われる。第２のプロセッサ２-2におけるマクロブロック０の符号化処理ＭＢ０−ＥＮＣが終了したら、その符号化されたデータに対して第１のプロセッサ２-1において可変長符号化処理ＭＢ０−ＶＬＣが行われる。第１のプロセッサ２-1でマクロブロック０の可変長符号化処理ＭＢ０−ＶＬＣを行っている間に、第３のプロセッサ２-3におけるマクロブロック１の符号化処理ＭＢ１−ＥＮＣは終了するので、第１のプロセッサ２-1は、引き続きマクロブロック１の符号化データに対する可変長符号化処理ＭＢ１−ＶＬＣを行う。
【００４０】
一方、第２のプロセッサ２-2においては、第１のプロセッサ２-1においてマクロブロック０に対する可変長符号化処理ＭＢ０−ＶＬＣが終了したら、そのデータに対する局所復号化処理ＭＢ０−ＤＥＣを行う。そして、この局所復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック２に対する符号化処理ＭＢ２−ＥＮＣを行う。第３のプロセッサ２-3においても、同様に、第１のプロセッサ２-1においてマクロブロック１に対する可変長符号化処理ＭＢ１−ＶＬＣが終了したら、そのデータに対する局所復号化処理ＭＢ０−ＤＥＣを行う。そして、この局所復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック３に対する符号化処理ＭＢ３−ＥＮＣを行う。
【００４１】
以下、同様に、第１のプロセッサ２-1においては、第２のプロセッサ２-2または第３のプロセッサ２-3において、次に処理すべきマクロブロックの符号化処理ＭＢｘ−ＥＮＣが終了したら、その符号化されたデータの復号化処理ＭＢｘ−ＶＬＣを順に行う。また、第２のプロセッサ２-2および第３のプロセッサ２-3においては、第１のプロセッサ２-1において可変長符号化処理ＭＢｘ−ＶＬＣが終了したら、そのマクロブロックに対する局所符号化処理ＭＢｘ−ＤＥＣを行い、その処理終了後、引き続き、次のマクロブロックｘ＋１に対する符号化処理ＭＢｘ−ＥＮＣを行う。
【００４２】
なお、可変長符号化処理は、テーブル変換により固定長データから可変長データを生成するフェーズと可変長データをまとめてビットストリームを生成するフェーズとに分けることができる。この２つのフェーズとも逐次実行してもよいし、後半フェーズだけ逐次実行して前半フェーズは並列実行しても構わない。ただし、後者の方式では前半フェーズと後半フェ−ズ間にバッファメモリが必要となる。
【００４３】
次に、並列処理部９において、前述したような動画像の復号化処理を行う場合の、各プロセッサ２-i（ｉ＝１〜３）における処理、および、並列処理部９の動作について説明する。まず、各プロセッサ２-iにおける処理について説明する。並列処理部９においては、各マクロブロックの可変長復号化処理を１つのプロセッサ（以降、このプロセッサを親プロセッサと言う。）に固定して割り当てて逐次実行させ、復号化処理をその他のプロセッサ（以降、このプロセッサを子プロセッサと言う。）に割り当てて、並列実行を行う。図１に示す並列処理部９においては、第１のプロセッサ２-1を親プロセッサ、第２および第３のプロセッサ２-2，２-3を子プロセッサとする。
【００４４】
まず、親プロセッサである第１のプロセッサ２-1は、図５のフローチャートに示すような処理を行う。すなわち、復号化処理を開始したら（ステップＳ４０）、シーケンス・ヘッダを復号化し（ステップＳ４１）、ＧＯＰ・ヘッダを復号化し（ステップＳ４２）、ピクチャ・ヘッダを復号化し（ステップＳ４３）、スライス・ヘッダを復号化する（ステップＳ４４）。スライス・ヘッダの復号化が終了したら、親プロセッサは子プロセッサを起動し（ステップＳ４５）、マクロブロックに対して可変長復号化処理を行う（ステップＳ４６）。親プロセッサは、スライス内の全てのマクロブロックに対してこの処理が終了するまで、この可変長復号化処理（ステップＳ４６）を繰り返し行う。
【００４５】
スライス内の全てのマクロブロックに対する可変長復号化処理が終了したら、子プロセッサにおける全ての処理が終了するまで待ち（ステップＳ４８）、子プロセッサにおける処理が終了したら（ステップＳ４８）、次のピクチャに対する処理に移る（ステップＳ４９）。１ＧＯＰの全てのピクチャの処理が終了したら（ステップＳ４９）、次のＧＯＰの処理に移り（ステップＳ５０）、全てのＧＯＰの処理が終了したら（ステップＳ５０）、次のシーケンスの処理に移る（ステップＳ５１）。そして、これらの処理を、全てのシーケンスが終了するまで繰り返したら（ステップＳ５１）、処理を終了する（ステップＳ５２）。
【００４６】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図６のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ４５の処理で起動され復号化処理を開始したら（ステップＳ６０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ６１）、親プロセッサのステップＳ４６における当該マクロブロックの可変長復号化処理の終了を待つ（ステップＳ６２）。そして、可変長復号化処理が終了したら、そのデータを用いてマクロブロックの復号化処理を行う（ステップＳ６３）。そして、スライス内の全てのマクロブロックの処理が終了するまで、この手順を繰り返し（ステップＳ６４）、スライス内の全ての処理が終了したら（ステップＳ６４）、子プロセッサの処理は終了する（ステップＳ６５）。
【００４７】
なお、これらの親プロセッサおよび子プロセッサの各処理を行うプログラムは、各プロセッサ２-iに対して設けられたプログラムＲＯＭまたはプログラムＲＡＭに予め記憶しておく。そして、このプログラムに従って各プロセッサ２-iが動作することにより、実際にこれらの処理が行われる。また、可変長復号化処理でスライスを並列処理単位とした場合、可変長復号化処理をすることなしに、ビットストリーム上の次のスライスの先頭を見つけることができる。これは、スライスの先頭に置かれるスライス・スタートコードをスキャンして探すことにより可能になる。したがって、このスキャン処理のみを逐次的に行い、可変長復号化処理を含めた他の処理を並列に行う処理方法も可能である。
【００４８】
次に、動画像の復号化処理を行う場合の、並列処理部９の動作について、図７を参照して説明する。図７は、３個のプロセッサ２-1〜２-3における復号化処理の状態を示すタイムチャートである。なお、図７において、処理ＭＢｘ−ＶＬＤは、第（ｘ＋１）のマクロブロックｘに対する可変長復号化処理（図５におけるステップＳ４６）を示し、処理ＭＢｘ−ＤＥＣは、第（ｘ＋１）のビデオセグメントｘに対する復号化処理（図６におけるステップＳ６３）を示す。
【００４９】
図７に示すように、復号化処理を開始したら、第１のプロセッサ２-1においては、マクロブロック０より、順次可変長復号化処理を行う。第２のプロセッサ２-2においては、第１のプロセッサ２-1において、マクロブロック０の可変長復号化処理が終了したら、このデータに対して復号化処理ＭＢ０−ＤＥＣを行う。また、第３のプロセッサ２-3においては、その次のマクロブロック１の可変長復号化処理が第１のプロセッサ２-1において終了したら、このデータに対して福愚押下処理ＭＢ１−ＤＥＣを行う。以後、第２のプロセッサ２-2または第３のプロセッサ２-3の、復号化処理の終了した方のプロセッサが、第１のプロセッサ２-1で可変長復号化された次のマクロブロックのデータを取り込んで、符号化処理を行う。
【００５０】
このように、第１の画像符号化／復号化装置においては、符号化処理および復号化処理の処理工程を、各々、並列処理が可能な工程と、並列処理が不可能で逐次処理が必要な可変長符号化／復号化に係わる工程に分割し、逐次処理が必要な工程は親プロセッサに振り分け、並列処理が可能な工程は子プロセッサに振り分け、符号化処理および復号化処理を行うようにしている。したがって、順次入力されるデータは、これら３個のプロセッサ２-1〜２-3で順次処理され、所望の圧縮符号化データへ、または、復元された画像データへ変換される。そして、このように、並列処理により画像の符号化処理および復号化処理を行うことにより、通常の、１つのプロセッサにより処理を行う場合に比べて高速に処理を行うことができる。
【００５１】
第２の画像符号化／復号化装置しかしながら、第１の画像符号化／復号化装置においては、逐次処理部分（可変長符号化処理および可変長復号化処理）を、特定のプロセッサ（第１のプロセッサ２-1）に固定して割り当てて逐次実行させていたため、３個のプロセッサ２-1〜２-3間で負荷が不均等になるという問題を見い出した。このような場合、逐次処理部分と並列処理部分の実行時間の比が、逐次処理部分を実行するプロセッサと並列処理部分を実行するプロセッサ台数の比に比例していれば負荷は均等になるが、そうでなければ各プロセッサの負荷が不均等になり、性能低下を引き起こす。
【００５２】
たとえば、図４に示したＭＰＥＧ符号化の並列処理においては、可変長符号化処理の負荷が比較的軽いため、特に第１のプロセッサ２-1に遊びが頻繁に生じている。これはプロセッサ台数が２台の並列計算機システムでは、さらに顕著になる。また、図７に示したＭＰＥＧ復号化の並列処理においても、可変長復号化処理の負荷が比較的軽いため、第１のプロセッサ２-1は１スライス分の可変長復号化処理が終了した時点で、第２のプロセッサ２-2および第３のプロセッサ２-3における全ての復号化処理が終了するまでの間、遊ぶことになる。
【００５３】
さらに、第１の画像符号化／復号化装置においては、各プロセッサで実行する処理が異なるため、各プロセッサを別々に制御したり、同期をとってデータの授受や通信を行う必要があり、制御が複雑化するという問題も生じている。
【００５４】
そこで、そのような問題を解決し、より一層高速に画像の符号化処理および復号化処理が行え、さらに構成や制御方法なども簡単にすることのできる、本発明に係わる画像符号化／復号化装置について、第２の画像符号化／復号化装置として説明する。
【００５５】
第２の画像符号化／復号化装置のハードウェア構成は、前述した第１の画像符号化／復号化装置と同一である。すなわち、その並列処理部１は、図１に示したような構成であり、ｎ個のプロセッサ２-1〜２-n、メモリ３および結合網４を有する。なお、これらの各構成部は、各々ハードウェア構成が第１の画像符号化／復号化装置の並列処理部９の場合と同一なので、同一の符号を用いて説明する。また、ｎ個のプロセッサ２-1〜２-n〜結合網４の機能および構成も、前述した第１の画像符号化／復号化装置の並列処理部９の場合と同じなのでその説明を省略する。また、第２の画像符号化／復号化装置の並列処理部１の場合も、プロセッサ２の個数ｎは３である。
【００５６】
このような第１の画像符号化／復号化装置の並列処理部９と同じハードウェア構成の第２の画像符号化／復号化装置の並列処理部１であるが、動画像の符号化処理および復号化処理の処理方法および各プロセッサ２-i（ｉ＝１〜３）の動作などは、第１の画像符号化／復号化装置と異なる。すなわち、３個のプロセッサ２-1〜２-3に対して設けられているプログラムＲＯＭまたはプログラムＲＡＭに記憶されるプログラムが第１の画像符号化／復号化装置の場合とは異なり、これにより第２の画像符号化／復号化装置の並列処理部１は全体として第１の画像符号化／復号化装置の並列処理部９とは異なる処理を行う。
【００５７】
そして、第２の画像符号化／復号化装置においては、前記課題を解決するために、並列処理部分のみならず逐次処理部分も各プロセッサに分担して実行させるようにしている。符号化に関して、第２の画像符号化／復号化装置の並列処理部１においては、各マクロブロックの可変長符号化処理を各プロセッサが分担して逐次的に行う。したがって、各プロセッサは、担当するマクロブロックについて、符号化処理、可変長符号化処理、局所復号化処理の全てを行う。この際、あるマクロブロックの可変長符号化処理を始める時点で、前のマクロブロックの可変長符号化処理が終了していない場合に限り、その可変長符号化処理の終了を待つ。また、復号化に関して、第２の画像符号化／復号化装置の並列処理部１においては、各マクロブロックの可変長復号化処理をも各プロセッサが分担して逐次的に行う。したがって、各プロセッサは、担当するマクロブロックについて、可変長復号化処理、復号化処理の両方を行う。この際、あるマクロブロックの可変長復号化処理が終了していない場合に限り、その可変長復号化処理の終了を待つ。
【００５８】
以下、第２の画像符号化／復号化装置の並列処理部１において、動画像の符号化処理および復号化処理を行う場合の各プロセッサ２-i（ｉ＝１〜３）における処理、および、並列処理部１の動作について説明する。
【００５９】
まず、符号化処理を行う場合の、各プロセッサ２-iにおける処理について説明する。第２の画像符号化／復号化装置の並列処理部１においては、前述した第１の画像符号化／復号化装置と同様に、１つの親プロセッサとその他のプロセッサを予め決定し、各々で異なる所定の処理を行わせる。しかしながら、この親プロセッサと子プロセッサにおける処理の違いは、親プロセッサにおいてヘッダの生成と子プロセッサの起動を行う点のみであり、実際の符号化処理に係わる符号化処理、可変長符号化処理および局所復号化処理は、親プロセッサおよび子プロセッサの両方で同様の手順により行う。すなわち、親プロセッサと子プロセッサは、一応、異なる処理手順で処理を行うものの、符号化の際の主な処理部は同一の手順で行われるものである。
【００６０】
以下、各プロセッサの処理について説明する。まず、親プロセッサである第１のプロセッサ２-1は、図８のフローチャートに示すような処理を行う。すなわち、符号化処理を開始したら（ステップＳ７０）、シーケンス・ヘッダを生成し（ステップＳ７１）、ＧＯＰ・ヘッダを生成し（ステップＳ７２）、ピクチャ・ヘッダを生成し（ステップＳ７３）、スライス・ヘッダを生成する（ステップＳ７４）。そして、スライス・ヘッダの生成が終了したら、親プロセッサは子プロセッサを起動する（ステップＳ７５）。
【００６１】
子プロセッサの起動が終了したら、親プロセッサは、子プロセッサと同様の符号化に係わる処理を行う。すなわち、まず、処理すべきマクロブロックの番号を取得し（ステップＳ７６）、そのマクロブロックの符号化処理を行う（ステップＳ７７）。次に、前のマクロブロックの可変長符号化処理が終了するのを確認して（ステップＳ７８）、可変長符号化処理を行い（ステップＳ７９）、さらに、局所復号化処理を行う（ステップＳ８０）。
【００６２】
このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ８１）、スライス内の全ての処理が終了したら、子プロセッサにおける全ての処理が終了するまで待つ（ステップＳ８２）。そして、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ８３）、１ＧＯＰの全てのピクチャの処理が終了したら、次のＧＯＰの処理に移る（ステップＳ８４）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ８５）、処理を終了する（ステップＳ８６）。
【００６３】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図９のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ７５の処理で起動され符号化処理を開始したら（ステップＳ９０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ９１）、そのマクロブロックの符号化処理を行う（ステップＳ９２）。次に、前のマクロブロックの可変長符号化処理が終了するのを確認して（ステップＳ９３）、可変長符号化処理を行い（ステップＳ９４）、さらに、局所復号化処理を行う（ステップＳ９５）。このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ９６）、スライス内の全ての処理が終了したら、子プロセッサにおける処理を終了する（ステップＳ９７）。
【００６４】
次に、このような処理手順で３個のプロセッサ２-1〜２-3が動作して符号化処理を行う場合の、並列処理部１の動作について、図１０を参照して説明する。図１０は、３個のプロセッサ２-1〜２-3における符号化処理の状態を示すタイムチャートである。なお、図１０における各処理を示す標記は、図４に示した標記と同一であるので説明を省略する。
【００６５】
図示のごとく、符号化処理を開始したら、３個のプロセッサ２-1〜２-3で、各々、マクロブロック０、マクロブロック１およびマクロブロック２の符号化処理ＭＢ０−ＥＮＣ，ＭＢ１−ＥＮＣ，ＭＢ２−ＥＮＣを開始する。そして、第１のプロセッサ２-1においては、符号化処理ＭＢ０−ＥＮＣが終了したら、引き続きそのマクロブロック０の可変長符号化処理ＭＢ０−ＶＬＣを行い、さらに、マクロブロック０の局所復号化処理ＭＢ０−ＤＥＣを行う。また、マクロブロック０の局所復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック、すなわち、マクロブロック３に対する処理を符号化処理ＭＢ３−ＥＮＣから開始する。
【００６６】
一方、第２のプロセッサ２-2は、マクロブロック１の符号化処理ＭＢ１−ＥＮＣが終了した時点では、まだ前のマクロブロック０の可変長符号化処理ＭＢ０−ＶＬＣが第１のプロセッサ２-1で行われているので、この可変長符号化処理の終了を待ち、これが終了したらマクロブロック１の可変長符号化処理ＭＢ１−ＶＬＣを開始する。そして、その可変長符号化処理ＭＢ１−ＶＬＣが終了したら、そのマクロブロック１の局所復号化処理ＭＢ１−ＤＥＣを行う。また、そのマクロブロック１の局所復号化処理ＭＢ１−ＤＥＣが終了したら、次のマクロブロック４に対する符号化処理ＭＢ４−ＥＮＣを開始する。
【００６７】
また、第３のプロセッサ２-3においても、マクロブロック２の符号化処理ＭＢ２−ＥＮＣが終了した時点ではまだ前のマクロブロック０およびマクロブロック１の可変長符号化処理ＭＢ０−ＶＬＣおよびＭＢ１−ＶＬＣが終了していないので、これらの処理の終了を待つ。そして、マクロブロック０およびマクロブロック１の可変長符号化処理が終了したら、マクロブロック２の可変長符号化処理ＭＢ２−ＶＬＣを行う。そして、その可変長符号化処理ＭＢ２−ＶＬＣが終了したら、そのマクロブロック２の局所復号化処理ＭＢ２−ＤＥＣを行う。また、そのマクロブロック２の局所復号化処理ＭＢ２−ＤＥＣが終了したら、次のマクロブロック５に対する符号化処理ＭＢ５−ＥＮＣを開始する。
【００６８】
このようにして、各プロセッサ２-1〜２-3においては、順次処理対象のマクロブロックｘを選択して、そのマクロブロックｘに対する符号化処理ＭＢｘ−ＥＮＣ、可変長符号化処理ＭＢｘ−ＶＬＣおよび局所復号化処理ＭＢｘ−ＤＥＣを行う。このように処理を行うことで、可変長符号化処理ＭＢｘ−ＶＬＣのみは、前のマクロブロックｘ−１に対する可変長符号化処理ＭＢ（ｘ−１）−ＶＬＣが終了していない場合には処理の開始を待機させられるが、その他の箇所は全く並行して処理を行うことができる。
【００６９】
そして、その可変長符号化処理ＭＢｘ−ＶＬＣにおいても、処理の開始時こそ、図１０に示すように、各プロセッサ２-1〜２-3で同時に符号化処理が開始されるため、可変長符号化処理の開始の要求が重なり、プロセッサ２-2，２-3に遊びが生じているが、その後は、必然的に各プロセッサにおける処理工程がずれることになり、このような遊びが生じ難くなる。図１０に示す例においても、第３のプロセッサ２-3におけるマクロブロック５の可変長符号化処理ＭＢ５−ＶＬＣがわずかに待たされているのみで、その他には、全く遊びが生じていない。
【００７０】
次に、第２の画像符号化／復号化装置において復号化処理を行う場合の、各プロセッサ２-iにおける処理について説明する。復号化処理の場合も、前述した第１の画像符号化／復号化装置と同様に、１つの親プロセッサとその他のプロセッサを予め決定し、各々で異なる所定の処理を行わせる。しかしながら、この親プロセッサは、ヘッダの復号化と子プロセッサの起動を行う点のみが子プロセッサの処理と異なるものであり、実際の復号化処理に係わる可変長復号化処理および復号化処理は、親プロセッサおよび子プロセッサの両方で同様の手順により行う。すなわち、親プロセッサと子プロセッサは、一応、異なる処理手順で処理を行うものの、復号化の際の主な処理部は同一の手順で行われるものである。
【００７１】
以下、各プロセッサの処理について説明する。まず、親プロセッサである第１のプロセッサ２-1は、図１１のフローチャートに示すような処理を行う。すなわち、復号化処理を開始したら（ステップＳ１００）、シーケンス・ヘッダを復号化し（ステップＳ１０１）、ＧＯＰ・ヘッダを復号化し（ステップＳ１０２）、ピクチャ・ヘッダを復号化し（ステップＳ１０３）、スライス・ヘッダを復号化する（ステップＳ１０４）。そして、スライス・ヘッダの復号化が終了したら、親プロセッサは子プロセッサを起動する（ステップＳ１０５）。
【００７２】
子プロセッサの起動が終了したら、親プロセッサは、子プロセッサと同様の復号化に係わる処理を行う。すなわち、まず、処理すべきマクロブロックの番号を取得し（ステップＳ１０６）、前のマクロブロックの可変長復号化処理が終了していることを確認して（ステップＳ１０７）、そのマクロブロックの可変長復号化処理を行う（ステップＳ１０８）。そして、可変長復号化処理が終了したら、そのマクロブロックの復号化処理を行う（ステップＳ１０９）。
【００７３】
このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ１１０）、スライス内の全ての処理が終了したら、子プロセッサにおける全ての処理が終了するまで待つ（ステップＳ１１１）。そして、１ピクチャの全ての処理が終了したら、次のピクチャの処理に移り（ステップＳ１１２）、１ＧＯＰの全てのピクチャの処理が終了したら、次のＧＯＰの処理に移る（ステップＳ１１３）。そして、これらの処理を、シーケンスが終了するまで繰り返したら（ステップＳ１１４）、処理を終了する（ステップＳ１１５）。
【００７４】
次に、子プロセッサである第２および第３のプロセッサ２-2，２-3は、図１２のフローチャートに示すような処理を行う。すなわち、親プロセッサにおけるステップＳ１０５の処理で起動され復号化処理を開始したら（ステップＳ１２０）、まず、処理すべきマクロブロックの番号を取得し（ステップＳ１２１）、前のマクロブロックの可変長復号化処理が終了していることを確認して（ステップＳ１２２）、そのマクロブロックの可変長復号化処理を行う（ステップＳ１２３）。次に、可変長復号化処理が終了したら、そのマクロブロックの復号化処理を行う（ステップＳ１２４）。このような手順を、スライス内の全ての処理が終了するまで繰り返し（ステップＳ１２５）、スライス内の全ての処理が終了したら、子プロセッサにおける処理を終了する（ステップＳ１２６）。
【００７５】
次に、このような処理手順で３個のプロセッサ２-1〜２-3が動作して復号化処理を行う場合の、並列処理部１の動作について、図１３を参照して説明する。図１３は、３個のプロセッサ２-1〜２-3における復号化処理の状態を示すタイムチャートである。なお、図１３における各処理を示す標記は、図７に示した標記と同一であるので説明を省略する。
【００７６】
図示のごとく、復号化処理を開始したら、まず、第１のプロセッサ２-1で最小のマクロブロック０の可変長復号化処理ＭＢ０−ＶＬＤを行う。第２のプロセッサ２-2は、マクロブロック１に対する処理を行うものであるが、可変長復号化処理については、マクロブロックごとに順に行う必要があるので、第１のプロセッサ２-1におけるマクロブロック０の可変長復号化処理ＭＢ０−ＶＬＤが終了するのを待って、マクロブロック１の可変長復号化処理ＭＢ１−ＶＬＤを行う。第３のプロセッサ２-3も同様に、第１のプロセッサ２-1におけるマクロブロック０に対する可変長復号化処理ＭＢ０−ＶＬＤ、および、第２のプロセッサ２-2におけるマクロブロック１に対する可変長復号化処理ＭＢ１−ＶＬＤが終了するのを待って、マクロブロック２の可変長復号化処理ＭＢ２−ＶＬＤを行う。
【００７７】
マクロブロック０に対する可変長符号化処理ＭＢ０−ＶＬＤが終了した第１のプロセッサ２-1においては、引き続きそのマクロブロック０に対する復号化処理ＭＢ０−ＤＥＣを行う。そして、その復号化処理ＭＢ０−ＤＥＣが終了したら、次のマクロブロック３に対する処理を開始する。しかし、この時に、図１３に示すように、前のマクロブロック２に対する可変長符号化処理ＭＢ２−ＶＬＤが終了していなければ、これを待って、マクロブロック３に対する可変長復号化処理ＭＢ３−ＶＬＤを開始する。
【００７８】
以後、同様に、各各プロセッサ２-1〜２-3においては、順次処理対象のマクロブロックｘを選択して、そのマクロブロックｘに対する可変長復号化処理ＭＢｘ−ＶＬＤおよび復号化処理ＭＢｘ−ＤＥＣを行う。このように処理を行うことで、可変長復号化処理ＭＢｘ−ＶＬＤは、前のマクロブロックｘ−１に対する可変長復号化処理ＭＢ（ｘ−１）−ＶＬＤが終了していない場合には処理の開始を待機させられるが、その他の箇所は全く並行して処理を行うことができる。
【００７９】
そして、その可変長復号化処理ＭＢｘ−ＶＬＤにおいても、処理の開始時こそ、図１３に示すように、各プロセッサ２-1〜２-3で同時に復号化処理が開始されるため、第２のプロセッサ２-2および第３のプロセッサ２-3が待機させられており、処理に遊びが生じているが、その後は、必然的に各プロセッサにおける処理工程がずれることになり、このような遊びが生じ難くなる。図１３に示す例においても、第１のプロセッサ２-1におけるマクロブロック３の可変長復号化処理ＭＢ３−ＶＬＤがわずかに待たされているのみで、その他には、全く遊びが生じていない。
【００８０】
このように、第２の画像符号化／復号化装置においては、ＭＰＥＧ符号化処理および復号化処理を行う際に、並列処理可能な符号化処理部分、局所復号化処理部分および復号化処理部分のみならず、逐次処理する必要のある可変長符号化処理部分および可変長復号化処理部分も、各プロセッサにおいて分散処理するようにしている。したがって、この逐次処理部分の負荷をも、各プロセッサに均等に分散することができ、図１０および図１３に示したように、第１の画像符号化／復号化装置と比較してプロセッサの遊び時間を大幅に少なくすることができる。そして、その結果、全体の符号化および復号化の処理速度を大幅に向上させることができる。なお、これはプロセッサ台数が２台の並列計算機システムでは、さらに顕著になる。
【００８１】
また、第２の画像符号化／復号化装置の並列処理部１においては、複数のプロセッサ２-1〜２-nの各々において、振り分けられた処理対象のマクロブロックについての一連の符号化処理、一連の復号化処理を一貫して行っている。そのため、各プロセッサ間の同期をとったり、データ通信などの負荷を少なくすることができる。また、その結果、処理時間の全てを符号化および復号化処理にあてることができる。結果的に、各プロセッサにおける負荷も実質的に均等になり、効率よく、また高速に符号化処理および復号化処理が行える。また、全てのプロセッサを、実質的に同一の制御、処理手順で動作させることができるので、装置構成が簡単になる。さらに本発明は、プロセッサ台数に依存しないスケーラブルな並列処理方式のため、様々な構成の並列計算機システムに適用できる。
【００８２】
なお、本発明は、本実施の形態にのみ限られるものではなく、任意好適な種々の改変が可能である。たとえば、前述した実施の形態の並列処理部において、親プロセッサは必ず１台であるが、子プロセッサの台数に制約はなく、何台でもよい。また、子プロセッサが取得するマクロブロック番号は、オペレーティング・システムが動的に決定する場合もあれば、コンパイラやハードウェアによって、静的に一意に決まっている場合もあり、任意の方法により決定してよい。
【００８３】
また、各プロセッサで実行されるプログラムは、ＲＯＭに予め記憶して画像符号化／復号化装置の並列処理部に具備されるような構成でもよいし、ハードディスク、ＣＤ−ＲＯＭなどの記憶媒体上に格納しておき、実行時にプログラムＲＡＭなどに読み込んで参照されるような構成でもよい。
【００８４】
また、本実施の形態においては、本発明に係わる処理装置として、図１に示したように、共有メモリ型の並列計算機システムを例示したが、装置構成はこれに限られるものではない。共有メモリを有しておらず、いわゆるメッセージ通信によりデータの転送などを行うメッセージ通信型並列計算機システムであってもよい。また、本実施の形態のような、各プロセッサが緊密に連結された並列計算機システムでなくとも、各々が独立した計算機装置であり、それらが任意の通信手段により接続されて協働して所望の処理を行うように構成されたようなシステムであってもよい。すなわち、計算機装置の実際の構成は、任意に決定してよい。
【００８５】
また、前述した画像符号化／復号化装置の並列処理部は、プログラムに従って所定の動作を行うプロセッサを複数有し、それらが並列に動作して所望の処理を行うような構成であったが、専用のハードウェアにより構成され並列に動作する複数の処理部を有するような構成であってもよい。たとえば、ＭＰＥＧの符号化／復号化専用回路、画像コーデック用ＤＳＰ、メディアプロセッサなどの、可変長符号化／復号化処理のための専用回路などにも適用可能である。
【００８６】
また、本実施の形態においては、符号化および復号化の際に行う変換方式としてＤＣＴを用いた。しかし、この変換方式は任意の直交変換方式を用いてよい。たとえば、高速フーリエ変換（ＦＦＴ）や離散フーリエ変換（ＤＦＴ）などのフーリエ変換、アダマール変換、Ｋ−Ｌ変換などの、任意の変換を用いてよい。また、本発明は、本実施の形態において例示した動画像の符号化処理および復号化処理についてのみ適用可能なものではない。たとえば、音声データやテキストデータの符号化および復号化など、任意のデータの符号化および復号化に適用可能である。
【００８７】
【発明の効果】
以上説明したように、本発明のデータ処理方法、データ処理装置及び記録媒体によれば、たとえば画像データなどの符号化および復号化を行う際に、複数の演算処理装置の各々に均等かつ効率よく負荷を配分することができ、また、演算処理装置間における同期をとるための通信やデータ通信を少なくすることができる。その結果、そのような符号化および復号化を高速に行うことができ、また、制御方法や装置構成などを簡単にすることができる。
【００８８】
また、本発明のデータ処理方法、データ処理装置及び記録媒体によれば、たとえば画像データなどの符号化および復号化を複数の演算処理装置を用いた並列処理により行う際に、各演算処理装置に均等かつ効率よく負荷を配分することができる。また、各演算処理装置間で同期をとるための通信やデータ通信を少なくすることができる。その結果、簡単な制御で、そのような符号化および復号化を高速に行うことができる。また、本発明のデータ処理方法、データ処理装置及び記録媒体は、その負荷の配分の方法が演算処理装置の個数などその並列処理装置の構成に依存しない、スケーラブルな方法のため、様々な構成の並列処理装置に適用することができる。
【図面の簡単な説明】
【図１】図１は、本発明に係わる画像符号化／復号化装置の並列処理部の構成を示す概略ブロック図である。
【図２】図２は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、これまでの並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図３】図３は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、これまでの並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図４】図４は、図１に示した並列処理部において、これまでの並列処理方法により画像の符号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図５】図５は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、これまでの並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図６】図６は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、これまでの並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図７】図７は、図１に示した並列処理部において、これまでの並列処理方法により画像の復号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図８】図８は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、本発明に係わる並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図９】図９は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、本発明に係わる並列処理方法により画像の符号化を行う場合の処理を示すフローチャートである。
【図１０】図１０は、図１に示した並列処理部において、本発明に係わる並列処理方法により画像の符号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図１１】図１１は、図１に示した並列処理部の親プロセッサ（第１のプロセッサ）において、本発明に係わる並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図１２】図１２は、図１に示した並列処理部の子プロセッサ（第２〜第ｎのプロセッサ）において、本発明に係わる並列処理方法により画像の復号化を行う場合の処理を示すフローチャートである。
【図１３】図１３は、図１に示した並列処理部において、本発明に係わる並列処理方法により画像の復号化を行う場合の、各プロセッサにおける処理の状態を示すタイムチャートである。
【図１４】図１４は、ＭＰＥＧ符号化における画像データの構造を示す図である。
【図１５】図１５は、ＭＰＥＧ符号化された画像データビットストリームの構造を示す図である。
【図１６】図１６は、ＭＰＥＧ符号化を行うための処理装置の構成を示すブロック図である。
【図１７】図１７は、ＭＰＥＧ符号化を行って図１５に示したようなビットストリームを生成する処理の流れを示すフローチャートである。
【図１８】図１８は、逐次処理によりＭＰＥＧ符号化を行う場合の処理装置の動作を示すタイムチャートである。
【図１９】図１９は、ＭＰＥＧ復号化を行うための処理装置の構成を示すブロック図である。
【図２０】図２０は、ＭＰＥＧ復号化を行って図１５に示したようなビットストリームを生成する処理の流れを示すフローチャートである。
【図２１】図２１は、逐次処理によりＭＰＥＧ復号化を行う場合の処理装置の動作を示すタイムチャートである。
【符号の説明】
１，９…画像符号化／復号化装置の並列処理部、２…プロセッサ、３…メモリ、４…結合網、１６０…符号化装置、１６１…動きベクトル検出部、１６２…減算器、１６３…離散コサイン変換部、１６４…量子化部、１６５…可変長符号化部、１６６…逆量子化部、１６７…逆離散コサイン変換部、１６８…加算器、１６９…動き補償部、１７０…エンコード制御部、２００…復号化装置、２０１…可変長復号化部、２０２…逆量子化部、２０３…逆離散コサイン変換部、２０４…加算器、２０５…動き補償部、２０６…デコード制御部
Claims (9)
- 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、
可変長符号化処理を逐次処理する第１プロセッサと、
符号化処理及び局所復号化処理を並列に処理する複数の第２プロセッサと、
前記第１プロセッサにおいてｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、前記複数の第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して割り当てる割当手段と、
を有し、
前記割当手段は、前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てる
データ処理装置。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、
可変長符号化処理を逐次処理し、かつ、符号化処理及び局所復号化処理を並列に処理する複数のプロセッサと、
前記複数のプロセッサのうちのいずれかのプロセッサに対して、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する符号化処理、可変長符号化処理、局所復号化処理を順次行わせる割当手段と、
を有し、
前記割当手段は、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させる
データ処理装置。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う場合に、
可変長符号化処理を逐次処理し、かつ、符号化処理及び局所復号化処理を並列に処理する複数のプロセッサと、
前記複数のプロセッサのうちのいずれかのプロセッサに対して、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を順次行わせる割当手段と、
を有し、
前記割当手段は、前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させる
データ処理装置。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、
ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理を第１プロセッサが逐次処理させるステップと、
前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、複数の第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して並列処理させるように割り当てるステップと、
前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てるステップと、
を有するデータ処理方法。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う場合に、
ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する、符号化処理を並列処理させ、可変長符号化処理を逐次処理させ、局所復号化処理を並列処理させるように、複数のプロセッサのうちのいずれかのプロセッサに対して割り当てるステップと、
前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させるステップと、
を有するデータ処理方法。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う場合に、
ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を、複数のプロセッサのうちのいずれかのプロセッサに順次実行させるステップと、
前記複数のプロセッサのうちのいずれかのプロセッサにおいて前記ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長復号化処理が終了したことを条件に、当該ｎ番目のマクロブロックまたはスライスに対する復号化処理を前記複数のプロセッサのうち、処理を実行していない他のプロセッサに実行させるステップと、
前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させるステップと、
を有するデータ処理方法。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う処理を第１プロセッサ及び第２プロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、
前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長符号化処理を逐次処理させる手順と、
前記第１プロセッサにおいて、ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する局所復号化処理と、前記ｎ番目のマクロブロックまたはスライスの次に処理すべきマクロブロックまたはスライスに対する符号化処理とを、複数の前記第２プロセッサのうちの処理を実行していないいずれかの第２プロセッサに対して並列処理させるように割り当てる手順と、
前記複数の第２プロセッサのいずれかにより前記ｎ番目のマクロブロックまたはスライスに対する符号化処理が終了したことを条件に、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理を前記第１プロセッサに対して割り当てる手順と、
を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して符号化処理を行う処理を複数のプロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、
ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する、符号化処理を並列処理させ、可変長符号化処理を逐次処理させ、局所復号化処理を並列処理させるように、前記複数のプロセッサのうちのいずれかのプロセッサに順次割り当てる手順と、
前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長符号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長符号化処理の開始を待機させる手順と、
を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体。 - 画像データを分割して得られるＮ個のマクロブロックまたはスライスに対して復号化処理を行う処理を複数のプロセッサを有するコンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体であって、
ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する復号化処理、可変長復号化処理を、前記複数のプロセッサのうちのいずれかのプロセッサに順次実行させる手順と、
前記複数のプロセッサのうちのいずれかのプロセッサにおいて前記ｎ番目のマクロブロックまたはスライス（ｎは１からＮまでの整数）に対する可変長復号化処理が終了したことを条件に、当該ｎ番目のマクロブロックまたはスライスに対する復号化処理を前記複数のプロセッサのうち、処理を実行していない他のプロセッサに実行させる手順と、
前記複数のプロセッサのうちのいずれかのプロセッサにおいて、前記ｎ番目のマクロブロックまたはスライスに対する可変長復号化処理が終了するまで、前記複数のプロセッサのうちの他のプロセッサに対して、ｎ＋１番目のマクロブロックまたはスライスに対する可変長復号化処理の開始を待機させる手順と、
を前記コンピュータに実行させるプログラムを記録した、前記コンピュータが読み取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20035398A JP4427827B2 (ja) | 1998-07-15 | 1998-07-15 | データ処理方法、データ処理装置及び記録媒体 |
| US09/352,422 US6870883B2 (en) | 1998-07-15 | 1999-07-12 | Parallel encoding and decoding processor system and method |
| US11/052,190 US20050147174A1 (en) | 1998-07-15 | 2005-02-07 | Encoding apparatus and method of same and decoding apparatus and method of same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20035398A JP4427827B2 (ja) | 1998-07-15 | 1998-07-15 | データ処理方法、データ処理装置及び記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000030047A JP2000030047A (ja) | 2000-01-28 |
| JP2000030047A5 JP2000030047A5 (ja) | 2005-09-08 |
| JP4427827B2 true JP4427827B2 (ja) | 2010-03-10 |
Family
ID=16422895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20035398A Expired - Fee Related JP4427827B2 (ja) | 1998-07-15 | 1998-07-15 | データ処理方法、データ処理装置及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6870883B2 (ja) |
| JP (1) | JP4427827B2 (ja) |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020114388A1 (en) * | 2000-04-14 | 2002-08-22 | Mamoru Ueda | Decoder and decoding method, recorded medium, and program |
| US7088720B1 (en) * | 2000-08-07 | 2006-08-08 | Sbc Technology Resources, Inc. | Multiservice use of network connection capability under user-to-network interface signaling |
| US7073118B2 (en) * | 2001-09-17 | 2006-07-04 | Digeo, Inc. | Apparatus and method for saturating decoder values |
| US7440523B2 (en) * | 2001-10-04 | 2008-10-21 | Digeo, Inc. | Apparatus and method for decode arbitration in a multi-stream multimedia system |
| US7181070B2 (en) * | 2001-10-30 | 2007-02-20 | Altera Corporation | Methods and apparatus for multiple stage video decoding |
| JP2003150395A (ja) * | 2001-11-15 | 2003-05-23 | Nec Corp | プロセッサとそのプログラム転送方法 |
| JP4335516B2 (ja) | 2001-12-04 | 2009-09-30 | パナソニック株式会社 | 複数のプロセッサを用いた動画像符号化装置およびその方法 |
| US8401084B2 (en) * | 2002-04-01 | 2013-03-19 | Broadcom Corporation | System and method for multi-row decoding of video with dependent rows |
| ATE456901T1 (de) * | 2002-04-08 | 2010-02-15 | Eighting Kk | Netzwerk-spielverfahren, netzwerk-spielendgerät und server |
| JP2005005844A (ja) * | 2003-06-10 | 2005-01-06 | Hitachi Ltd | 計算装置及び符号化処理プログラム |
| US7782940B2 (en) * | 2003-08-01 | 2010-08-24 | Polycom, Inc. | Methods for encoding or decoding in a videoconference system to reduce problems associated with noisy image acquisition |
| JP3879741B2 (ja) * | 2004-02-25 | 2007-02-14 | ソニー株式会社 | 画像情報符号化装置および画像情報符号化方法 |
| JP2006031480A (ja) * | 2004-07-16 | 2006-02-02 | Sony Corp | 情報処理システム及び情報処理方法、並びにコンピュータプログラム |
| EP1624704B1 (en) * | 2004-07-29 | 2010-03-31 | STMicroelectronics Pvt. Ltd | Video decoder with parallel processors for decoding macro-blocks |
| WO2006088644A1 (en) | 2005-02-16 | 2006-08-24 | Thomson Licensing | Agile decoder |
| JP4374548B2 (ja) * | 2005-04-15 | 2009-12-02 | ソニー株式会社 | 復号装置および方法、記録媒体、並びに、プログラム |
| JP4609223B2 (ja) * | 2005-07-25 | 2011-01-12 | 富士ゼロックス株式会社 | 画像データ処理装置、画像データ処理方法、及び画像データ処理プログラム |
| CN101243690B (zh) * | 2005-08-17 | 2011-02-23 | 三叉微系统(远东)有限公司 | 保持高速缓存器位置的视频编码和解码方法 |
| JP4534910B2 (ja) * | 2005-08-26 | 2010-09-01 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| JP5042568B2 (ja) * | 2006-09-07 | 2012-10-03 | 富士通株式会社 | Ｍｐｅｇデコーダ及びｍｐｅｇエンコーダ |
| US8250618B2 (en) * | 2006-09-18 | 2012-08-21 | Elemental Technologies, Inc. | Real-time network adaptive digital video encoding/decoding |
| JP4825644B2 (ja) * | 2006-11-14 | 2011-11-30 | ルネサスエレクトロニクス株式会社 | 画像復号装置、画像符号化装置、およびシステムｌｓｉ |
| KR100817022B1 (ko) * | 2006-11-15 | 2008-03-26 | 한국전자통신연구원 | 스타-메쉬 혼합형 구조를 갖는 온칩 네트워크 기반의동영상 디코더 |
| US20080152014A1 (en) * | 2006-12-21 | 2008-06-26 | On Demand Microelectronics | Method and apparatus for encoding and decoding of video streams |
| US20080162743A1 (en) * | 2006-12-28 | 2008-07-03 | On Demand Microelectronics | Method and apparatus to select and modify elements of vectors |
| KR101343407B1 (ko) * | 2007-02-26 | 2013-12-20 | 삼성전자주식회사 | 부가 데이터 전송이 가능한 디지털 송신 시스템 및 그 방법 |
| US8184715B1 (en) | 2007-08-09 | 2012-05-22 | Elemental Technologies, Inc. | Method for efficiently executing video encoding operations on stream processor architectures |
| JP2009048469A (ja) * | 2007-08-21 | 2009-03-05 | Fujitsu Ltd | 情報処理装置及び情報処理方法 |
| US8121197B2 (en) * | 2007-11-13 | 2012-02-21 | Elemental Technologies, Inc. | Video encoding and decoding using parallel processors |
| KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
| WO2009128030A1 (en) * | 2008-04-18 | 2009-10-22 | Koninklijke Philips Electronics N.V. | An improved dual carrier modulation precoding |
| JP5309700B2 (ja) * | 2008-06-03 | 2013-10-09 | 富士通株式会社 | 動画像復号装置および符号化装置 |
| US8041132B2 (en) * | 2008-06-27 | 2011-10-18 | Freescale Semiconductor, Inc. | System and method for load balancing a video signal in a multi-core processor |
| US8311111B2 (en) * | 2008-09-11 | 2012-11-13 | Google Inc. | System and method for decoding using parallel processing |
| KR101590633B1 (ko) * | 2008-11-11 | 2016-02-02 | 삼성전자주식회사 | 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법 |
| JP5067361B2 (ja) * | 2008-12-25 | 2012-11-07 | ソニー株式会社 | エンコーダ及びデコーダ、符号方法及び復号方法、並びに記録媒体 |
| US20100220215A1 (en) * | 2009-01-12 | 2010-09-02 | Jorge Rubinstein | Video acquisition and processing systems |
| JP5275454B2 (ja) * | 2009-03-31 | 2013-08-28 | パナソニック株式会社 | 画像復号装置 |
| US8379718B2 (en) * | 2009-09-02 | 2013-02-19 | Sony Computer Entertainment Inc. | Parallel digital picture encoding |
| US8737825B2 (en) * | 2009-09-10 | 2014-05-27 | Apple Inc. | Video format for digital video recorder |
| JP2011066843A (ja) * | 2009-09-18 | 2011-03-31 | Toshiba Corp | 並列符号化装置及びプログラム並びに画像データの符号化方法 |
| WO2011142569A2 (en) * | 2010-05-10 | 2011-11-17 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting and receiving layered coded video |
| US8982964B2 (en) | 2010-09-16 | 2015-03-17 | Panasonic Intellectual Property Management Co., Ltd. | Image decoding device, image coding device, methods thereof, programs thereof, integrated circuits thereof, and transcoding device |
| US9712835B2 (en) | 2011-03-29 | 2017-07-18 | Lyrical Labs LLC | Video encoding system and method |
| US9100657B1 (en) | 2011-12-07 | 2015-08-04 | Google Inc. | Encoding time management in parallel real-time video encoding |
| JP5979406B2 (ja) * | 2012-02-22 | 2016-08-24 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
| US9195684B2 (en) | 2012-03-02 | 2015-11-24 | Cleversafe, Inc. | Redundant task execution in a distributed storage and task network |
| WO2013140485A1 (ja) | 2012-03-17 | 2013-09-26 | 富士通株式会社 | 符号化装置、復号化装置、符号化方法および復号化方法 |
| US10255944B2 (en) * | 2012-06-27 | 2019-04-09 | Marvell World Trade Ltd. | Systems and methods for reading and decoding encoded data from a storage device |
| US20140072027A1 (en) * | 2012-09-12 | 2014-03-13 | Ati Technologies Ulc | System for video compression |
| US9319702B2 (en) | 2012-12-03 | 2016-04-19 | Intel Corporation | Dynamic slice resizing while encoding video |
| US9299166B2 (en) * | 2012-12-13 | 2016-03-29 | Qualcomm Incorporated | Image compression method and apparatus for bandwidth saving |
| US10045032B2 (en) | 2013-01-24 | 2018-08-07 | Intel Corporation | Efficient region of interest detection |
| JP6244642B2 (ja) * | 2013-04-10 | 2017-12-13 | 富士通株式会社 | 符号化装置、復号化装置、符号化方法、復号化方法およびプログラム |
| US11425395B2 (en) | 2013-08-20 | 2022-08-23 | Google Llc | Encoding and decoding using tiling |
| US9794574B2 (en) | 2016-01-11 | 2017-10-17 | Google Inc. | Adaptive tile data size coding for video and image compression |
| US10542258B2 (en) | 2016-01-25 | 2020-01-21 | Google Llc | Tile copying for video compression |
| US10531134B2 (en) | 2017-11-10 | 2020-01-07 | Akamai Technologies, Inc. | Determining a time budget for transcoding of video |
| CN109819178B (zh) * | 2017-11-21 | 2022-07-08 | 虹软科技股份有限公司 | 一种用于帧处理的方法和装置 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5115309A (en) * | 1990-09-10 | 1992-05-19 | At&T Bell Laboratories | Method and apparatus for dynamic channel bandwidth allocation among multiple parallel video coders |
| JP3093499B2 (ja) * | 1992-03-06 | 2000-10-03 | 三菱電機株式会社 | シーンチェンジ検出装置 |
| JPH05324583A (ja) * | 1992-05-26 | 1993-12-07 | Dainippon Screen Mfg Co Ltd | 画像データ処理装置 |
| KR0128244B1 (ko) * | 1992-09-23 | 1998-04-02 | 배순훈 | 병렬 구조를 갖는 부호 화상 데이타의 복호 장치 |
| JP3190755B2 (ja) * | 1993-01-22 | 2001-07-23 | 株式会社東芝 | 復号装置 |
| US5583500A (en) * | 1993-02-10 | 1996-12-10 | Ricoh Corporation | Method and apparatus for parallel encoding and decoding of data |
| US5376968A (en) * | 1993-03-11 | 1994-12-27 | General Instrument Corporation | Adaptive compression of digital video data using different modes such as PCM and DPCM |
| KR100213015B1 (ko) * | 1994-03-31 | 1999-08-02 | 윤종용 | 양자화 방법 및 회로 |
| EP0687112B1 (en) * | 1994-06-08 | 2006-09-20 | Matsushita Electric Industrial Co., Ltd. | Image conversion apparatus |
| JPH0837662A (ja) * | 1994-07-22 | 1996-02-06 | Hitachi Ltd | 画像符号化復号化装置 |
| US5532744A (en) * | 1994-08-22 | 1996-07-02 | Philips Electronics North America Corporation | Method and apparatus for decoding digital video using parallel processing |
| IT1266945B1 (it) * | 1994-09-29 | 1997-01-21 | Cselt Centro Studi Lab Telecom | Procedimento di multiplazione per flussi di segnali audiovisivi codificati secondo lo standard mpeg1. |
| KR100197190B1 (ko) * | 1994-10-12 | 1999-06-15 | 모리시다 요이치 | 런렝스 부호의 복호회로 |
| JP3279852B2 (ja) * | 1994-12-14 | 2002-04-30 | 株式会社日立製作所 | 信号復号装置 |
| US5757668A (en) * | 1995-05-24 | 1998-05-26 | Motorola Inc. | Device, method and digital video encoder of complexity scalable block-matching motion estimation utilizing adaptive threshold termination |
| US5650860A (en) * | 1995-12-26 | 1997-07-22 | C-Cube Microsystems, Inc. | Adaptive quantization |
| JPH10164581A (ja) * | 1996-12-03 | 1998-06-19 | Sony Corp | 画像信号符号化方法及び装置、信号記録媒体 |
| JPH11215009A (ja) * | 1998-01-22 | 1999-08-06 | Sony Corp | 符号復号装置 |
-
1998
- 1998-07-15 JP JP20035398A patent/JP4427827B2/ja not_active Expired - Fee Related
-
1999
- 1999-07-12 US US09/352,422 patent/US6870883B2/en not_active Expired - Fee Related
-
2005
- 2005-02-07 US US11/052,190 patent/US20050147174A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20050147174A1 (en) | 2005-07-07 |
| US20020031184A1 (en) | 2002-03-14 |
| US6870883B2 (en) | 2005-03-22 |
| JP2000030047A (ja) | 2000-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4427827B2 (ja) | データ処理方法、データ処理装置及び記録媒体 | |
| TWI415446B (zh) | 用於視頻壓縮的並行處理裝置 | |
| TWI330042B (ja) | ||
| Shen et al. | Parallel implementation of an MPEG-1 encoder: faster than real time | |
| US9872018B2 (en) | Random access point (RAP) formation using intra refreshing technique in video coding | |
| JP3856262B2 (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
| JP3548136B2 (ja) | 画像処理装置 | |
| JP2010283893A (ja) | スキップマクロブロックコード化 | |
| US7227589B1 (en) | Method and apparatus for video decoding on a multiprocessor system | |
| US6172621B1 (en) | Coding apparatus and method of same and decoding apparatus and method of same | |
| JP2000295616A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体 | |
| JP2007251865A (ja) | 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体 | |
| KR100510756B1 (ko) | 화상복호화장치와 그 방법 및 화상재생장치 | |
| KR20170075759A (ko) | 대용량 병렬 처리를 위해 비디오 신호를 엔트로피 인코딩 또는 엔트로피 디코딩하는 방법 및 장치 | |
| KR100683380B1 (ko) | 영상 압축 부호화를 위한 변환 및 역변환 방법 및 장치 | |
| JP2008182527A (ja) | 画像符号化装置及び方法、並びに撮像システム | |
| JP3014031B2 (ja) | 動画圧縮装置 | |
| JP2006279574A (ja) | 復号装置と方法 | |
| JP3871348B2 (ja) | 画像信号復号化装置及び画像信号復号化方法 | |
| JPH10111792A (ja) | 画像処理装置 | |
| JP2010141513A (ja) | 演算装置及び動画像符号化装置 | |
| JP2010034802A (ja) | 動画像符号化装置およびその制御方法 | |
| JP3401761B2 (ja) | 動画像圧縮符号化・復号化方法、動画像圧縮符号化・復号化装置、動画像符号化伝送方法、動画像符号化伝送システムおよび動画像圧縮符号化・復号化プログラムを記録した記録媒体 | |
| KR20060028848A (ko) | 멀티 타임 스캔 방식에 기초한 인터 모드 인코딩 및디코딩 방법 및 장치 | |
| KR100754167B1 (ko) | 다양한 크기의 블록에 대한 변환/역변환 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050311 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091207 |
|
| LAPS | Cancellation because of no payment of annual fees |