JP4470613B2 - 画像復号装置及び画像符号化装置 - Google Patents

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）システムに使用するＭＰＥＧデコーダ及びＭＰＥＧエンコーダ等、画像復号装置及び画像符号化装置に関する。具体的には、画像復号装置及び画像符号化装置の処理性能向上化技術に関する。

例えば、ＭＰＥＧデコーダ及びＭＰＥＧエンコーダは、デジタルハイビジョン放送等、扱う画像の大画面化に伴い、処理性能向上が望まれている。ＭＰＥＧデコーダ及びＭＰＥＧエンコーダの処理性能向上を図る手法として、「動作周波数の高速化」、「処理の並列化」等が考えられるが、「動作周波数の高速化」には、プロセス技術の向上や高速動作可能な回路等が必要である。

他方、「処理の並列化」に関しては、ＭＰＥＧデコーダの場合、フレーム（ピクチャ）間の予測処理及び可変長復号処理が必要なため、符号圧縮されたビットストリームを前から順番に処理していく必要があり、単純な処理の並列化は難しく、処理の並列化には様々な工夫が行なわれてきた。

図７はＭＰＥＧ−２におけるフレーム画像の構成を示す図である。図７に示すように、ＭＰＥＧ−２におけるフレーム１は、横長の帯状の領域である複数のスライス２から構成され、スライス２は、複数のマクロブロック３から構成され、マクロブロック３は、４つの輝度ブロック４〜７と２つの色差ブロック８、９から構成される。

そこで、従来、ＭＰＥＧデコーダにおける並列処理手法として、ブロックレベルでの並列処理（ブロックを処理単位として、複数のブロックを並列処理する手法）や、スライスレベルでの並列処理（スライスを処理単位として、複数のスライスを並列処理する手法）等が提案されている。

図８は従来のＭＰＥＧデコーダの一例の要部の構成図である。図８に示す従来のＭＰＥＧデコーダは、ブロックレベルでの並列処理を６並列で行うものであり、１０はＭＰＥＧデジタル画像のビットストリームを入力して可変長復号を行う可変長復号部、１１−０〜１１−５はブロックを処理単位として逆量子化、逆離散コサイン変換を行うブロック処理部、１２は動き補償部、１３はフレームメモリである。

図９は従来のＭＰＥＧデコーダの他の例の要部の構成図である。図９に示す従来のＭＰＥＧデコーダは、スライスレベルでの並列処理を４並列で行うものであり、１４−０〜１４−３はＭＰＥＧデジタル画像のビットストリームからスライスを検出するスライス検出部、１５−０〜１５−３はスライスを処理単位として可変長復号、逆量子化、逆離散コサイン変換、動き補償を行うスライス処理部、１６はフレームメモリである。
特開平９−２６１６４１号公報 特開２００１−２８５８７６号公報

図８に示す従来のＭＰＥＧデコーダにおいては、可変長復号部１０がビットストリーム解析を行い、ブロックＹ０〜Ｙ３、Ｃｂ、Ｃｒをブロック処理部１１−０〜１１−５に振り分けることになるが、可変長復号処理はシリアル処理で行なう必要があるため、可変長復号部１０については高速動作が必要であり、動作周波数を上げなければならないという問題点があった。

図９に示す従来のＭＰＥＧデコーダは、ＭＰＥＧ−２規格にはマクロブロックライン毎にスライスヘッダと呼ばれるユニークコードが存在することを利用しているが、ＭＰＥＧ−４規格では、ＶＯＰ（video object plane）内に、そのようなユニークコードが存在しないため、スライスレベル相当の並列処理はできないという問題点があった。

本発明は、かかる点に鑑み、動作周波数を上げることなく、高い処理性能を実現することができるようにした画像復号装置及び画像符号化装置を提供することを目的とする。

本発明の画像復号装置は、複数のピクチャデコード処理部を有し、各ピクチャデコード処理部は、一ピクチャをデコード処理単位とし、前記複数のピクチャデコード処理部は、異なる複数のピクチャを並列してデコード処理し、各ピクチャデコード処理部による各マクロブロックのデコードを、該マクロブロックが参照するピクチャ上の参照画像領域であって、他のピクチャデコード処理部がデコード処理中の前記参照画像領域のデコード完了に応じて開始するというものである。

本発明の画像符号化装置は、複数のピクチャエンコード処理部を有し、各ピクチャエンコード処理部は、一ピクチャをエンコード処理単位とし、前記複数のピクチャエンコード処理部は、異なる複数のピクチャを並列してエンコード処理し、各ピクチャエンコード処理部による各マクロブロックのエンコードを、該マクロブロックが参照するピクチャ上の参照画像領域であって、他のピクチャエンコード処理部がエンコード処理中の前記参照画像領域のエンコード完了に応じて開始するというものである。

本発明の画像復号装置においては、前記複数のピクチャデコード処理部は、異なる複数のピクチャを並列してデコード処理し、各ピクチャデコード処理部による各マクロブロックのデコードを、該マクロブロックが参照するピクチャ上の参照画像領域であって、他のピクチャデコード処理部がデコード処理中の前記参照画像領域のデコード完了に応じて開始するとしているので、動作周波数を上げることなく、高い処理性能を実現することができる。

本発明の画像符号化装置においては、前記複数のピクチャエンコード処理部は、異なる複数のピクチャを並列してエンコード処理し、各ピクチャエンコード処理部による各マクロブロックのエンコードを、該マクロブロックが参照するピクチャ上の参照画像領域であって、他のピクチャエンコード処理部がエンコード処理中の前記参照画像領域のエンコード完了に応じて開始するとしているので、動作周波数を上げることなく、高い処理性能を実現することができる。

以下、図１〜図６を参照して、本発明の画像復号装置及び画像符号化装置の実施形態について、本発明の画像復号装置及び画像符号化装置をＭＰＥＧ−４システム用のＭＰＥＧデコーダ及びＭＰＥＧエンコーダに適用した場合を例にして説明する。

（本発明の画像復号装置の第１実施形態）
図１は本発明の画像復号装置の第１実施形態（ＭＰＥＧデコーダ）の要部の構成図である。本発明の画像復号装置の第１実施形態は、ピクチャレベルでの並列処理を４並列で行うもの、即ち、ＶＯＰを処理単位として、４つのＶＯＰを並列してデコード処理するものであり、１７はビットストリーム解析部、１８−０〜１８−３はピクチャデコード処理部であるＶＯＰデコーダ、１９はフレームメモリ、２０はメモリ制御部である。

ビットストリーム解析部１７は、ＭＰＥＧ−４デジタル画像のビットストリームを入力し、ＶＯＰのスタートコード（0x000001B6）を検出し、ＶＯＰデコーダ１８−０〜１８−３に対して、ＶＯＰデコーダ１８−０〜１８−３が４つのＶＯＰを並列してデコード処理できるように、デコードを担当させるＶＯＰを振り分けるものである。

ビットストリーム解析部１７では、ビットストリームのヘッダに含まれるＦＣＯＤＥが解析されてマクロブロックのデコードに必要な参照画像領域範囲情報が取得され、この参照画像領域範囲情報から、ＶＯＰデコーダ１８−０〜１８−３でのＶＯＰのデコード処理に必要なタイミングが算出される。

そこで、ビットストリーム解析部１７は、ＶＯＰデコーダ１８−０〜１８−３での各マクロブロックのデコード処理開始タイミングが、各マクロブロックが必要とする参照画像領域のデコード完了後となるように、ＶＯＰデコーダ１８−０〜１８−３のデコード処理開始制御を行う。

ＶＯＰデコーダ１８−０〜１８−３は、ＶＯＰを処理単位として、ＶＯＰのデコード処理、即ち、可変長復号、逆量子化、逆離散コサイン変換及び動き補償を行うものであり、２０−０〜２０−３は可変長復号部、２１−０〜２１−３は逆量子化部、２２−０〜２２−３は逆離散コサイン変換部、２３−０〜２３−３は動き補償部である。

ここに、ビットストリーム解析部１７は、ＶＯＰデコーダ１８−０〜１８−３におけるデコード処理がマクロブロック単位で同期するようにＶＯＰデコーダ１８−０〜１８−３にマクロブロック処理起動信号を与え、ＶＯＰデコーダ１８−０〜１８−３でのデコード処理が１マクロブロックずつ進行するように制御する。したがって、ＶＯＰデコーダ１８−０〜１８−３では、マクロブロックを単位として、パイプライン処理方式により複数のＶＯＰのデコード処理が並列して行われることになる。

フレームメモリ１９は、ＶＯＰデコーダ１８−０〜１８−３から出力されるデコード画像を記憶させるものであり、複数フレームのデコード画像を記憶する容量を持つものである。メモリ制御部２０は、ＶＯＰデコーダ１８−０〜１８−３から出力されるデコード画像のフレームメモリ１９への書き込み及びフレームメモリ１９に記憶された参照画像の動き補償部２３−０〜２３−３への転送等を制御するものである。

図２は本発明の画像復号装置の第１実施形態の動作例を示す図であり、図２（Ａ）はＶＯＰデコーダ１８−０〜１８−３でのデコード処理タイミング、図２（Ｂ）は図２（Ａ）に示す時刻Ｔでのデコード進行状況を示している。なお、マクロブロックの参照画像領域範囲＝±３２（ＦＣＯＤＥ＝２）であり、ビットストリームのＶＯＰ並びはＩ−ＶＯＰとＰ−ＶＯＰのみで構成され、Ｉ０、Ｐ１、Ｐ２、Ｐ３がそれぞれＶＯＰデコーダ１８−０、１８−１、１８−２、１８−３に振り分けられた場合を例にしている。

マクロブロックの参照画像領域範囲＝±３２であるから、ＶＯＰデコーダ１８−１は、ＶＯＰデコーダ１８−０がＩ０のフレーム上部の３段目のマクロブロックのデコード処理が完了した時点でＰ１のデコード処理を開始することができ、ＶＯＰデコーダ１８−２は、ＶＯＰデコーダ１８−１がＰ１のフレーム上部の３段目のマクロブロックのデコード処理が完了した時点でＰ２のデコード処理を開始することができ、ＶＯＰデコーダ１８−３は、ＶＯＰデコーダ１８−２がＰ２のフレーム上部の３段目のマクロブロックのデコード処理が完了した時点でＰ３のデコード処理を開始することができる。

これらのデコード開始制御は、前述したように、ビットストリーム解析部１７が行うことになるが、このようなタイミングで、ＶＯＰデコーダ１８−０、１８−１、１８−２、１８−３でのＩ０、Ｐ１、Ｐ２、Ｐ３のデコード処理を開始すると、図２（Ａ）に示す時刻ＴでのＶＯＰデコーダ１８−０〜１８−３におけるＩ０、Ｐ１、Ｐ２、Ｐ３のデコード進行状況は、図２（Ｂ）に示すようになる。

なお、図２（Ｂ）において、２４はＶＯＰデコーダ１８−０での処理マクロブロック、２５はＶＯＰデコーダ１８−１での処理マクロブロック、２６はＶＯＰデコーダ１８−２での処理マクロブロック、２７はＶＯＰデコーダ１８−３での処理マクロブロック、２８は処理マクロブロック２５の動きベクトル範囲、２９は処理マクロブロック２６の動きベクトル範囲、３０は処理マクロブロック２７の動きベクトル範囲を示している。

以上のように、本発明の画像復号装置の第１実施形態によれば、ＶＯＰデコーダ１８−０〜１８−３は、各マクロブロックのデコード処理開始タイミングが各マクロブロックが必要とする参照画像領域のデコード完了後となるように制御されるので、４つのＶＯＰを並列してデコード処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。なお、処理性能を、ＶＯＰをシリアル処理する場合と同一にする場合には、ＶＯＰデコーダ１８−０〜１８−３の動作周波数を１／４にすることができ、低消費電力化を図ることができる。

（本発明の画像復号装置の第２実施形態）
図３は本発明の画像復号装置の第２実施形態（ＭＰＥＧデコーダ）の要部の構成図である。本発明の画像復号装置の第２実施形態は、本発明の画像復号装置の第１実施形態と同様に、ピクチャレベルでの並列処理を４並列で行うもの、即ち、ＶＯＰを処理単位として、４つのＶＯＰを並列してデコード処理するものであり、３１−０〜３１−３はピクチャデコード処理部であるＶＯＰデコーダ、３２はフレームメモリ、３３はメモリ制御部、３４はデコード制御部である。

ＶＯＰデコーダ３１−０〜３１−３は、入力するＭＰＥＧ−４デジタル画像のビットストリームからの特定のＶＯＰの検出と、ＶＯＰのデコード処理、即ち、可変長復号、逆量子化、逆離散コサイン変換、動き補償を行うものであり、３５−０〜３５−３はＶＯＰ検出部、３６−０〜３６−３は可変長復号部、３７−０〜３７−３は逆量子化部、３８−０〜３８−３は逆離散コサイン変換部、３９−０〜３９−３は動き補償部である。

また、ＶＯＰデコーダ３１−０〜３１−３は、参照画像領域位置演算部４０−０〜４０−３を有し、これら参照画像領域位置演算部４０−０〜４０−３から、現在処理中のマクロブロックのＶＯＰ内位置情報とともに、現在処理中のマクロブロックが必要とする参照画像領域位置情報をデコード制御部３４に出力する。

フレームメモリ３２は、ＶＯＰデコーダ３１−０〜３１−３から出力されるデコード画像を記憶させるものであり、複数フレームのデコード画像を記憶する容量を持つものである。メモリ制御部３３は、ＶＯＰデコーダ３１−０〜３１−３から出力されるデコード画像のフレームメモリ３２への書き込み及びフレームメモリ３２に記憶された参照画像の動き補償部３９−０〜３９−３への転送等を制御するものである。

デコード制御部３４は、入力されるビットストリーム内のＶＯＰのＶＯＰデコーダ３１−０〜３１−３に対する割り当てを行う。これに対応して、ＶＯＰ検出部３１−０〜３１−３は、入力するビットストリームから、割り当てられた特定のＶＯＰを検出することになる。

また、デコード制御部３４は、ＶＯＰデコーダ３１−０〜３１−３から出力される現在処理中のマクロブロックのＶＯＰ内位置情報と、現在処理中のマクロブロックが必要とする参照画像領域位置情報を入力し、各マクロブロックのデコード処理開始タイミングが各マクロブロックが必要とする参照画像領域のデコード完了後となるようにＶＯＰデコーダ３１−０〜３１−３にマクロブロック処理起動信号を与え、ＶＯＰデコーダ３１−０〜３１−３に対してマクロブロック単位でデコード処理の開始指示や待機指示を行う。したがって、ＶＯＰデコーダ３１−０〜３１−３では、マクロブロックを単位として、パイプライン処理方式により複数のＶＯＰのデコード処理が並列して行われることになる。

図４は本発明の画像復号装置の第２実施形態の動作例を示す図である。図４（Ａ）はＶＯＰデコーダ３１−０〜３１−３でのデコード処理タイミング、図４（Ｂ）は図４（Ａ）に示す時刻Ｔでのデコード進行状況を示している。なお、ビットストリームのＶＯＰ並びはＩ−ＶＯＰとＰ−ＶＯＰのみで構成され、Ｉ０、Ｐ１、Ｐ２、Ｐ３がそれぞれＶＯＰデコーダ３１−０、３１−１、３１−２、３１−３に振り分けられた場合を例にしている。

この場合、ＶＯＰデコーダ３１−０〜３１−３のＶＯＰ検出部３５−０〜３５−３は、ビットストリーム内のＶＯＰのスタートコード（0x000001B6）を検出し、そのヘッダ内情報（vop_coding_typeやvop_time_increment等）に基づいて、デコード制御部３４から割り当てられた特定のＶＯＰを検出する。ここに、ＶＯＰ検出部３５−０がＩ０を検出すると、Ｉ０は参照画を必要としないので、ＶＯＰデコーダ３１−０は、直ちにＩ０のデコードを開始する。

次に、ＶＯＰ検出部３５−１がＰ１を検出すると、ＶＯＰデコード開始の待機状態となる。そして、参照画像領域位置演算部４０−１は、Ｐ１の最初のマクロブロックヘッダ情報から、参照画Ｉ０の内、最初のマクロブロックＭＢ０の処理に必要な参照画像領域位置を算出し、マクロブロックＭＢ０のＶＯＰ内位置情報及び参照画像領域位置情報をデコード制御部３４に通知する。デコード制御部３４は、Ｉ０のマクロブロックのデコード処理進行状況を監視し、Ｐ１のＭＢ０が必要な参照画像領域位置のデコードが完成した後に、ＶＯＰデコーダ３１−１に対して、Ｐ１のＭＢ０デコード処理開始信号を発行する。

以下、同様に、参照画像領域位置演算部４０−０〜４０−３は、ＶＯＰデコーダ３１−０〜３１−３がデコードするマクロブロックのピクチャ内位置情報及び参照画像領域位置情報をデコード制御部３４に通知し、デコード制御部３４は、マクロブロック単位でＶＯＰデコーダ３１−０〜３１−３におけるデコード処理の起動及び待機を制御する。

なお、図４（Ｂ）において、４１はＶＯＰデコーダ３１−０での処理マクロブロック、４２はＶＯＰデコーダ３１−１での処理マクロブロック、４３はＶＯＰデコーダ３１−２での処理マクロブロック、４４はＶＯＰデコーダ３１−３での処理マクロブロック、４５は処理マクロブロック４２の参照画像領域、４６は処理マクロブロック４３の参照画像領域、４７は処理マクロブロック４４の参照画像領域を示している。

ここで、例えば、ＶＯＰデコーダ３１−２での処理マクロブロック４３の動きベクトルが、ＶＯＰデコーダ３１−１での未処理領域４６を指していた場合には、ＶＯＰデコーダ３１−２での処理マクロブロック４３のデコード処理は、ＶＯＰデコーダ３１−２での参照画像領域４６のデコードが完成するまで待機するように、デコード制御部３４により制御される。

以上のように、本発明の画像復号装置の第２実施形態によれば、ＶＯＰデコーダ３１−０〜３１−３は、各マクロブロックのデコード処理開始タイミングを各マクロブロックが必要とする参照画像領域のデコード完了後となるように制御されるので、４つのＶＯＰを並列処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。なお、処理性能を、ＶＯＰをシリアル処理する場合と同一にする場合には、ＶＯＰデコーダ３１−０〜３１−３の動作周波数を１／４にすることができ、低消費電力化を図ることができる。

なお、特許文献１には、可変長復号処理、逆量子化処理、逆離散コサイン変換処理を、ブロックを処理単位として、パイプライン処理方式で複数のブロックを並列してデコード処理するＭＰＥＧデコーダが記載されているが、本発明の画像復号装置の第１実施形態及び第２実施形態は、ピクチャレベルでの並列処理を行うものであり、特許文献１から示唆されるものではない。

（本発明のＭＰＥＧエンコーダの一実施形態）
図５は本発明の画像符号化装置の一実施形態（ＭＰＥＧエンコーダ）の要部の構成図である。本発明の画像符号化装置の一実施形態は、ピクチャレベルの並列処理を２並列で行うもの、即ち、ＶＯＰを処理単位として、２つのＶＯＰを並列してエンコード処理するものであり、４７はフレームメモリ、４８はメモリ制御部、４９−０、４９−１はピクチャエンコード処理部であるＶＯＰエンコーダ、５０−０、５０−１はストリームバッファ、５１はストリーム合成部である。

フレームメモリ４７は、外部から与えられる入力画像及びＶＯＰエンコーダ４９−０、４９−１で作成されるローカルデコード画像を記憶させるためのものである。メモリ制御部４８は、入力画像のフレームメモリ４７への書き込み及びフレームメモリ４７が記憶するＶＯＰのＶＯＰエンコーダ４９−０、４９−１への振り分け、ＶＯＰエンコーダ４９−０、４９−１で作成されたローカルデコード画像のフレームメモリ４７への書き込み及びフレームメモリ４７からＶＯＰエンコーダ４９−０、４９−１への参照画像の転送等を制御するものである。

メモリ制御部４８は、マクロブロックが必要とする参照画像領域範囲を基に、ＶＯＰエンコーダ４９−０、４９−１での各マクロブロックのエンコード処理開始タイミングが、各マクロブロックが必要とする参照画像領域のエンコード完了後となるように、エンコーダを担当させるＶＯＰをＶＯＰエンコーダ４９−０、４９−１に振り分け、エンコード処理の開始及び待機を制御して、ＶＯＰエンコーダ４９−０、４９−１で２つのＶＯＰのエンコード処理を並列して行わせる。

ＶＯＰエンコーダ４９−０、４９−１は、メモリ制御部４８により振り分けられた入力画像の中のＶＯＰのエンコードを行うものであり、５２−０、５２−１は動きベクトル算出部、５３−０、５３−１は処理対象マクロブロックと、対応する予測マクロブロックとの差分を求める減算器、５４−０、５４−１は離散コサイン変換部、５５−０、５５−１は量子化部、５６−０、５６−１は可変長符号化部、５７−０、５７−１は逆量子化部、５８−０、５８−１は逆離散コサイン変換部、５９−０、５９−１は復元した差分信号と参照画像とを加算することによりローカルデコード画像を作成する加算器である。

ここに、メモリ制御部４８は、ＶＯＰエンコーダ４９−０、４９−１でのエンコード処理がマクロブロック単位で同期するようにＶＯＰエンコーダ４９−０、４９−１にマクロブロック処理起動信号を与え、ＶＯＰエンコーダ４９−０、４９−１でのエンコード処理が１マクロブロックずつ進行するように制御する。したがって、ＶＯＰエンコーダ４９−０、４９−１では、マクロブロックを単位として、パイプライン処理方式により複数のＶＯＰのエンコード処理が並列して行われることになる。

ストリームバッファ５０−０は、ＶＯＰエンコーダ４９−０から出力されるビットストリームを一時的に格納するもの、ストリームバッファ５０−１はＶＯＰ４９−１から出力されるビットストリームを一時的に格納するもの、ストリーム合成部５１は、ストリームバッファ５０−０、５０−１に一時的に格納されたビットストリームを合成するものである。

本実施形態においては、ＶＯＰエンコーダ４９−０、４９−１でエンコードするマクロブロックが必要とする参照画像領域範囲は動きベクトル算出部５２−０、５２−１が決めるが、必ずしも、ＦＣＯＤＥ情報と一致する必要はなく、「ＦＣＯＤＥ情報が示す参照画像領域範囲≧実際にＶＯＰエンコーダ４９−０、４９−１が使用する参照画像領域範囲」であれば良い。

図６は本発明の画像符号化装置の一実施形態の動作例を示す図である。図６（Ａ）はＶＯＰエンコーダ４９−０、４９−１でのエンコード処理タイミング、図６（Ｂ）は図６（Ａ）に示す時刻Ｔでのエンコード進行状況を示している。なお、参照画像領域範囲＝±３２（ＦＣＯＤＥ＝２）であり、作成されるビットストリームのＶＯＰ並びはＩ−ＶＯＰとＰ−ＶＯＰのみで構成され、Ｉ０、Ｐ１がそれぞれＶＯＰエンコーダ４９−０、４９−１で作成される場合を例にしている。

参照画像領域範囲＝±３２であるから、ＶＯＰエンコーダ４９−１は、ＶＯＰエンコーダ４９−０がＩ０のフレーム上部の３段目のマクロブロックのエンコード処理が完了した時点でＰ１のエンコード処理を開始することができる。このエンコード開始制御は、前述したようにメモリ制御部４８が行うことになるが、このようなタイミングで、ＶＯＰエンコーダ４９−０、４９−１でのＩ０、Ｐ１のエンコーダを開始すると、図６（Ａ）に示す時刻ＴでのＶＯＰエンコーダ４９−０、４９−１におけるＩ０、Ｐ１のエンコード進行状況は、図６（Ｂ）に示すようになる。

なお、図６（Ｂ）において、６０はＶＯＰエンコーダ４９−０での処理マクロブロック、６１はＶＯＰエンコーダ４９−１での処理マクロブロック、６２は処理マクロブロック６１の動きベクトル範囲を示している。

以上のように、本発明の画像符号化装置の一実施形態によれば、ＶＯＰエンコーダ４９−０、４９−１は、各マクロブロックのエンコード処理開始タイミングを各マクロブロックが必要とする参照画像領域のエンコード完了後となるように制御されるので、２つのＶＯＰを並列してエンコード処理することができる。したがって、動作周波数を上げることなく、高い処理性能を実現することができる。なお、処理性能を、ピクチャをシリアル処理する場合と同一にする場合には、ＶＯＰエンコーダ４９−０、４９−１の動作周波数を１／２にすることができ、低消費電力化を図ることができる。

なお、特許文献２には、１つのピクチャを４つの画像に分割し、４つの分割画像を並列処理するＭＰＥＧエンコーダが記載されているが、本発明の画像符号化装置の一実施形態は、ピクチャレベルでの並列処理を行うものであり、特許文献２から示唆されるものではない。

上述の実施形態では、本発明の画像復号装置及び画像符号化装置をＭＰＥＧ−４システム用のＭＰＥＧデコーダ及びＭＰＥＧエンコーダに適用した場合を例にして説明したが、本発明の画像復号装置及び画像符号化装置は、その他、ＭＰＥＧ−２システム用のＭＰＥＧデコーダ及びＭＰＥＧエンコーダ等の画像復号装置及び画像符号化装置に適用することができる。

ここで、本発明の画像復号装置及び画像符号化装置を整理すると、本発明の画像復号装置及び画像符号化装置には、少なくとも、以下の画像復号装置及び画像符号化装置が含まれる。

（付記１）複数のピクチャデコード処理部を有し、各ピクチャデコード処理部は、一ピクチャをデコード処理単位とし、前記複数のピクチャデコード処理部は、複数のピクチャを並列してデコード処理し、各ピクチャデコード処理部の各マクロブロックのデコード処理開始タイミングを、参照する前記ピクチャ上の前記各マクロブロックが必要とする参照画像領域のデコード完了後とすることを特徴とする画像復号装置。

（付記２）入力するビットストリームを解析して前記複数のピクチャデコード処理部にピクチャを振り分けるビットストリーム解析部を有することを特徴とする付記１記載の画像復号装置。

（付記３）前記ビットストリーム解析部は、前記ビットストリームからマクロブロックの参照画像領域範囲情報を抽出し、前記参照画像領域範囲情報に基づいて、前記複数のピクチャデコード処理部の各マクロブロックのデコード処理開始タイミングが前記各マクロブロックが必要とする参照画像領域のデコード完了後となるように、前記複数のピクチャデコード処理部のデコード処理起動制御を行うことを特徴とする付記２記載の画像復号装置。

（付記４）前記ビットストリーム解析部は、各ピクチャデコード処理部におけるデコード処理がマクロブロック単位で同期するように各ピクチャデコード処理部にマクロブロック処理起動信号を与え、各ピクチャデコード処理部でのデコード処理が１マクロブロックずつ進行するように制御することを特徴とする付記３記載の画像復号装置。

（付記５）前記複数のピクチャデコード処理部は、各々、入力するビットストリームから特定のピクチャのみを検出するピクチャ検出部を有することを特徴とする付記１記載の画像復号装置。

（付記６）前記複数のピクチャデコード処理部は、各々、デコードするマクロブロックのピクチャ内位置情報及び参照画像領域位置情報を制御部に通知する手段を有し、前記制御部は、マクロブロック単位で前記複数のピクチャデコード処理部でのデコード処理の開始及び待機を制御することを特徴とする付記５記載の画像復号装置。

（付記７）複数のピクチャエンコード処理部を有し、各ピクチャエンコード処理部は、一ピクチャをエンコード処理単位とし、前記複数のピクチャエンコード処理部は、複数のピクチャを並列してエンコード処理し、各ピクチャエンコード処理部の各マクロブロックのエンコード処理開始タイミングを、参照する前記ピクチャ上の前記各マクロブロックが必要とする参照画像領域のエンコード完了後とすることを特徴とする画像符号化装置。

（付記８）前記複数のピクチャエンコード処理部にピクチャを振り分ける制御部を有し、前記制御部は、マクロブロックの参照画像領域情報から、前記複数のピクチャエンコード処理部の各マクロブロックのエンコード処理開始タイミングが、各マクロブロックが必要とする参照画像領域のエンコード完了後となるように、前記複数のピクチャエンコード処理部のエンコード処理起動制御を行うことを特徴とする付記７記載の画像符号化装置。

（付記９）前記制御部は、前記複数のピクチャエンコード処理部におけるエンコード処理がマクロブロック単位で同期するように、前記複数のピクチャエンコード処理部のエンコード処理起動制御をマクロブロック単位で行うことを特徴とする付記８記載の画像符号化装置。

本発明の画像復号装置の第１実施形態（ＭＰＥＧデコーダ）の要部の構成図である。 本発明の画像復号装置の第１実施形態（ＭＰＥＧデコーダ）の動作例を示す図である。 本発明の画像復号装置の第２実施形態（ＭＰＥＧデコーダ）の要部の構成図である。 本発明の画像復号装置の第２実施形態（ＭＰＥＧデコーダ）の動作例を示す図である。 本発明の画像符号化装置の一実施形態（ＭＰＥＧエンコーダ）の要部の構成図である。 本発明の画像符号化装置の一実施形態（ＭＰＥＧエンコーダ）の動作例を示す図である。 ＭＰＥＧ−２におけるフレーム画像の構成を示す図である。 従来のＭＰＥＧデコーダの一例の要部の構成図である。 従来のＭＰＥＧデコーダの他の例の要部の構成図である。

符号の説明

１７…ビットストリーム解析部
１８−０〜１８−３…ＶＯＰデコーダ
１９…フレームメモリ
２０…メモリ制御部
２０−０〜２０−３…可変長復号部
２１−０〜２１−３…逆量子化部
２２−０〜２２−３…逆離散コサイン変換部
２３−０〜２３−３…動き補償部
３１−０〜３１−３…ＶＯＰデコーダ
３２…フレームメモリ
３３…メモリ制御部
３４…デコード制御部
３５−０〜３５−３…ＶＯＰ検出部
３６−０〜３６−３…可変長復号部
３７−０〜３７−３…逆量子化部
３８−０〜３８−３…逆離散コサイン変換部
３９−０〜３９−３…動き補償部
４０−０〜４０−３…参照画像領域位置演算部
４７…フレームメモリ
４８…メモリ制御部
４９−０、４９−１…ＶＯＰエンコーダ
５０−０、５０−１…ストリームバッファ
５１…ストリーム合成部
５２−０、５２−１…動きベクトル算出部
５３−０、５３−１…減算部
５４−０、５４−１…離散コサイン変換部
５５−０、５５−１…量子化部
５６−０、５６−１…可変長符号化部
５７−０、５７−１…逆量子化部
５８−０、５８−１…逆離散コサイン変換部
５９−０、５９−１…加算器

Claims (5)

1. 複数のピクチャデコード処理部を有し、
   各ピクチャデコード処理部は、一ピクチャをデコード処理単位とし、
   前記複数のピクチャデコード処理部は、異なる複数のピクチャを並列してデコード処理し、
   各ピクチャデコード処理部による各マクロブロックのデコードを、該マクロブロックが参照するピクチャ上の参照画像領域であって、他のピクチャデコード処理部がデコード処理中の前記参照画像領域のデコード完了に応じて開始することを特徴とする画像復号装置。
2. 入力するビットストリームを解析して前記複数のピクチャデコード処理部にピクチャを振り分けるビットストリーム解析部を有することを特徴とする請求項１記載の画像復号装置。
3. 前記複数のピクチャデコード処理部は、各々、入力するビットストリームから特定のピクチャのみを検出するピクチャ検出部を有することを特徴とする請求項１記載の画像復号装置。
4. 前記複数のピクチャデコード処理部は、各々、デコードするマクロブロックのピクチャ内位置情報及び参照画像領域位置情報を制御部に通知する手段を有し、
   前記制御部は、マクロブロック単位で前記複数のピクチャデコード処理部でのデコード処理の開始及び待機を制御することを特徴とする請求項３記載の画像復号装置。
5. 複数のピクチャエンコード処理部を有し、
   各ピクチャエンコード処理部は、一ピクチャをエンコード処理単位とし、
   前記複数のピクチャエンコード処理部は、異なる複数のピクチャを並列してエンコード処理し、
   各ピクチャエンコード処理部による各マクロブロックのエンコードを、該マクロブロックが参照するピクチャ上の参照画像領域であって、他のピクチャエンコード処理部がエンコード処理中の前記参照画像領域のエンコード完了に応じて開始することを特徴とする画像符号化装置。

Images