JP4411131B2 - 符号化動画像再生装置 - Google Patents

Description

この発明は符号化動画像再生装置に関し、特に、ＭＰＥＧ２等により符号化された動画像を再生する際に、フレームメモリサイズを削減することが可能な符号化動画像再生装置に関する。

これまで、符号化動画像データの復号処理で、フレームメモリサイズを削減する方法としては、岩橋らの「低域ドリフトのないスケーラブル・デコーダ」（信学技報 DSP94-108）に示されているようなスケーラブルデコーダ（図２）がある。本来、スケーラブルデコーダは符号化データの一部を用いて復号する装置であるが、図の場合、次数の削減された逆DCT(IDCT:Inverse Discrete Cosine Transform) を用いることによってフレームメモリサイズを削減することができる。

MPEG2 などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化DCT 係数は逆量子化器２で逆量子化され、8 x 8 DCT 係数が得られる。8 x 8DCT係数の内4 x 4 係数のみを用いて、4 x 4 IDCTで２次元の逆DCT 処理を行うと、もとの画像の縦横共に１／２の4 x 4 画素データが得られる。復号するブロックが動き補償ブロックの場合は、動き補償部８からの動き補償ブロックを加算して画像復元を行う。復元された画像はもとの画像に比べ縦横共に１／２に縮小されているため、拡大器１１で画面を拡大処理して、後段の図示しない表示用メモリに順次蓄積され、表示される。

更に、復元された画像データは、フレームメモリ６に蓄積される。この場合も、復元された画像が縦横ともに１／２であるため、必要となるフレームメモリサイズも元の１／４のサイズになる。また、動き補償も縮小された空間で行うため、動きベクトル変換器１２で動きベクトルを縦横１／２に変換してフレームメモリ６から該当するブロックを抽出する。また、２次元IDCTを横方向のみ4x4 IDCTを用い、縦方向は8x8IDCT を用いた場合、画像サイズおよびフレームメモリサイズは元の１／２になる。
岩橋らの「低域ドリフトのないスケーラブル・デコーダ」（信学技報 DSP94-108）

前記したような従来の方式では、IDCTのサイズを変更することによって、フレームメモリサイズを削減することが可能になるが、符号化側と復号側での予測画像の不一致によりドリフト雑音が生じ、画質劣化の原因になるという問題点があった。また、復元された画像の解像度も元の１／２、１／４になるため、復号画像の品質が劣化するという問題点もあった。

この発明は、前記問題点を解決し、符号化動画像データを復元する際に、ドリフト雑音を抑制し、かつ復号する解像度をなるべく低減させずに、フレームメモリサイズのみを削減することが可能な符号化動画像再生装置を提供することを目的とする。

この発明は、復号された動画像データを圧縮する圧縮手段と、前記圧縮手段から出力されたデータを蓄積する蓄積手段と、前記蓄積手段から出力されたデータを伸張する伸張手段と、前記伸張手段から出力された動画像データに対して動き補償予測を行う動き補償予測手段とを具備し、前記圧縮手段は、前記復号された動画像データを圧縮対象画素と、所定の周期ごとの非圧縮対象画素とに分け、圧縮対象画素については、非圧縮対象画素を用いて予測し、予測誤差を量子化することにより、蓄積されたデータのランダムアクセスを実現するようにした点に特徴がある。

この発明によれば、フレームメモリに入力される画像データを劣化させることなく、あるいはわずかな劣化で圧縮し、また従来のフレームメモリの削減方法と比べてドリフト雑音や解像度劣化を抑制することができる。また、差分符号化を採用してもランダムアクセスが可能となる。

以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の符号化動画像再生装置の第１の実施例の構成を示すブロック図である。 MPEG2などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化DCT 係数は逆量子化器２で逆量子化され、Ｎ×ＮDCT 係数が得られる。なお、MPEG方式の場合Ｎ＝８である。そして、逆ＤＣＴ変換器３で逆ＤＣＴ処理によりＮ×Ｎの差分画素データが得られる。加算器４は、差分画素データとフレームメモリ６から読み出された画像データとを加算し、再生画像データを出力する。復号するブロックが動き補償ブロックの場合は、動き補償部８において、動き補償に必要なブロックをフレームメモリ６から読み出して画像復元を行う。なお、出力データは後段の図示しない表示用メモリに順次蓄積され、表示される。

復元された画像データは、更に圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。以上のように、本発明はフレームメモリに入力される画素データを圧縮することにより、フレームメモリサイズを削減した点に特徴がある。

図３は、圧縮器５の構成を示すブロック図である。圧縮器５では、入力画素データは減算器２０に入力され、予測器２４から出力される予測値が減算されて、予測誤差Δが求められ、量子化器２１で量子化処理される。また、量子化されたデータは逆量子化器２５、加算器２３および予測器２４からなる局所復号器によって復号される。入力された画素データをＸ、予測された画素データをＰＸとすると、
Δ＝Ｘ−ＰＸ
となる。

ＰＸはいくつかの方法で求めることができる。図５は、予測値ＰＸの各種予測方法を示す説明図である。図５において横軸は画素の水平方向を示す。ここでは水平方向の予測を例にとって説明する。また、斜線を付した画素は予測を用いずに画素値そのものを符号化する画素であり、白丸の画素は予測して圧縮符号化する画素を示す。動き補償を行うためには、フレームメモリの任意の位置からブロックを読み出すランダムアクセスが必要であるが、所定の周期ごとに画素値そのものを記憶することによって、差分符号化を採用してもランダムアクセスが可能となる。

図５（ａ）は、左隣の画素を用いて予測する方式である。例えばＸ１に関する予測画素をＰＸ１とすると、
ＰＸ１＝Ｘ０、 Δ１＝Ｘ１−Ｘ０
としてΔ１を符号化する。Ｘ２については、符号化され、局所復元されたＸ１（ＲＸ１とする）を用いて予測する。従って、Ｘ２については予測画素をＰＸ２とすると、
ＰＸ２＝ＲＸ１、 Δ２＝Ｘ２−ＲＸ１
として、Δ２を符号化する。ただし、ＰＮ画素毎の画素は予測を用いず符号化する。ＰＮは２以上の整数で、無限大の場合は最初の画素のみを予測を用いずに符号化する。

図５（ｂ）は予測符号化を用いずに符号化する画素のみを用いて予測符号化を行う例で、図でＸ１、Ｘ２、Ｘ３はすべてＸ０から予測する。例えばＸ３については予測画素をＰＸ３とすると、
ＰＸ３＝Ｘ０、 Δ３＝Ｘ３−Ｘ０
として、Δ３を符号化する。ただし、ＰＮ画素毎の画素は予測を用いずに符号化する。

図５（ｃ）は、予測する画素に複数の復号された画素を用いて予測する方法の１例を示したものである。図で、例えばＸ１は水平方向に隣接するＸ０とＸ４を用いて予測する。この場合、予測画素ＰＸ１は、
ＰＸ１＝αＸ０＋βＸ４
となる。αとβは重み係数で、α＝β＝１／２として単純平均として用いたいり、画素間距離に応じて加重平均を取り、α＝３／４、β＝１／４とすることが可能である。

上記予測方法は水平方向のみならず、垂直方向でも同様に処理することが可能である。また、予測も垂直方向のみならず、対角線方向の予測も可能である。図６は、図５（ｃ）の予測を２次元空間に拡張した例を示す説明図である。ここで、Ｘ００、Ｘ０２、Ｘ２０、Ｘ２２は予測せずに符号化する画素である。予測方法については、Ｘ０１は同一水平上の画素Ｘ００、Ｘ０２を用いて予測する。また、Ｘ１０は垂直方向に位置するＸ００とＸ２０を用い、Ｘ１１は対角線方向に位置するＸ００とＸ２２を用いて予測することができる。

図７は、量子化器２１の特性例を示すグラフである。図７においては横軸が入力値で縦軸が出力値である。また、Ｑは量子化ステップサイズである。図７の点線で示す特性（ａ）は線形量子化器の特性を示している。例えば、入力値をＸ、出力値となる量子化代表値をＹとすると、（Ｑ／２）≦Ｘ＜（３Ｑ／２）では Ｙ＝Ｑとなる。また、実線で示す特性（ｂ）はMPEG等で用いられているデッドゾーン付きの線形量子化器で、入力値が±Ｑの間は０が出力される。量子化器２１はこれらを含む線形量子化器の他に非線形量子化器を用いることも可能である。また、画素によって量子化方法を変更することも可能である。例えば、図４で示した予測を用いずに符号化する画素については、全く量子化の処理を行わず、直接入力値を出力することも可能である。

符号器２２については、固定長符号化器やMPEGで用いられているような可変長符号化器を利用することが可能である。固定長符号化器の場合、例えば６４個の量子化代表値が得られる場合、各データは６ビットで表現することができる。また、２の補数表現を用いて符号化情報量を削減することも可能である。例えば、画素データは８ビットで表され、予測誤差Δが−２５５〜＋２５５で量子化ステップＱが４の場合、図７（ａ）の量子化器を用いると−２５２、−２４８…０…２４８、２５２の１２７種類の量子化代表値が得られる。そして、１２７個のデータを表現するためには７ビット必要となる。

しかし、ある画素Ｘに対して予測誤差Δは必ず２５６個ダイナミックレンジに収まることを利用すると量子化代表値は６４個のデータで表現でき、６ビットで表現することができる。例えばＰ＝０の場合、Ｘの範囲は０から２５５の範囲なので、Δ＝Ｘ−Ｐの範囲は０から２５５となる。また、Ｐ＝２５５の場合、Δの場合は−２５５から０までの範囲となる。このようにΔは常に２５６個のダイナミックレンジに収まるため、量子化ステップＱが４の場合、量子化代表値も６４個のデータで表現できる。

図４は、伸長器７の構成を示すブロック図である。フレームメモリに蓄積された圧縮画素データは、まず復号器３０では、図３の符号器２２の逆の処理が行われ、固定長符号や可変長符号などの符号から量子化データが得られる。量子化データは逆量子化器３１において逆量子化処理が行われ、予測誤差Δが復元される。例えば図７（ａ）の量子化特性を用いた場合、量子化代表値は０、Ｑ、２Ｑ、…となり、量子化ステップＱが４、量子化データが０、１、…６３の場合、Δは０、４、８、１２、…２５２となる。

さらに、予測誤差Δは加算器３２で予測値Ｐと加算されて画素Ｘが復号される。即ち、Ｘ＝Ｐ＋Δとなる。なお、予測器３３については、図３の予測器２４と全く同一の装置を用いることが可能である。また、逆量子化処理については図７の線形量子化処理や非線形量子化処理の逆処理を用いることができる。

次に第２実施例について説明する。図８は、本発明の復号装置の第２実施例の構成を示すブロック図である。 MPEG2などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化DCT 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ DCT係数が得られる。Ｋ×Ｍ逆ＤＣＴ変換器４０では、Ｎ×ＮDCT 係数の内、低周波成分のＫ×Ｍ部分（K,M ≦N)のみを水平方向にＫ×Ｋの逆ＤＣＴ処理、垂直方向にＭ×Ｍの逆ＤＣＴ処理を行って、Ｋ×Ｍの画素データを得る。復号するブロックが動き補償ブロックの場合は動き補償部８からの動き補償ブロックを加算器４で加算して画像復元する。

更に、復元された画像データは、圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。ただし、動きベクトルについては、動きベクトル変換器１２によって、可変長復号器１から得られる動きベクトルMVを水平、垂直それぞれＫ／Ｎ、Ｍ／Ｎにスケーリングした動きベクトルMV’を用いて動き補償を行う。また、復元された画像は拡大器４１で必要な画像サイズに変換する。例えば、符号化画像サイズと同一にするためには、垂直、水平それぞれＮ／Ｋ、Ｎ／Ｍ倍に拡大スケーリングする。

以上のように、本発明は削減したサイズのＩＤＣＴ４０とフレームメモリに入力される画素データの圧縮の双方を用いることにより、フレームメモリサイズを削減した点に特徴がある。

ここでＫ×ＭIDCTについて図１０（ａ）を用いて説明する。図１０（ａ）はＮ×ＮDCT 係数を示したものである。Ｋ×ＭIDCTはこのＮ×Ｎ DCT係数の内、低周波成分から水平方向にＫ個、垂直方向にＭラインの領域のＫ×Ｍ個のDCT 係数を用いてIDCT処理を行う。このIDCT処理は水平方向にＫ×ＫIDCT、垂直方向にＭ×Ｍ IDCT を用いて処理し、Ｋ×Ｍの画素ブロックデータが得られる。

動きベクトル変換器１２では、動きベクトルMVを水平、垂直それぞれK/N 、M/N 倍してMV’として出力する。従って、水平、垂直方向のMV、MV’をそれぞれMVx 、MVx ’、MVy 、MVy ’とすると、
MVx ’＝ MVx × K / N
MVy ’＝ MVy × M / N
となる。ただし、演算精度は整数精度の他、少数点精度で求めることができ、動き補償もMPEGで用いられているような小数点精度の動き補償を適用することができる。

拡大器４１は、復元された画像を必要な画像サイズに変換する。例えば、符号化画像サイズと同一にするためには、垂直、水平それぞれＮ／Ｋ、Ｎ／Ｍ倍に拡大スケーリングする。この処理は線形内挿により実現することができる。例えば３画素を４画素に変換する場合には、元の連続する画素値をR0, R1, R2、求める画素値をQ0,Q1,Q2,Q3 とすると、Q0,Q1,Q2,Q3 はR0,R1,R2の画素位置の距離比により以下のようにして求めることができる。
Q0 = R0 , Q1 = 1/3 R0 + 2/3 R1
Q2 = 2/3 R1 + 1/3 R2 , Q3 = R2

図９は本発明の再生装置の第３実施例の構成を示すブロック図である。MPEG2 などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化DCT 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ DCT係数が得られる。ゼロパッドＩＤＣＴ（0 Pad IDCT）５０では、逆量子化器２から出力されたＮ×Ｎ DCT係数の内、低周波成分のＫ×Ｍ部分以外は０で埋めて、Ｎ×Ｎの逆ＤＣＴ処理を行い、Ｎ×Ｎの画素データを得る。図１０（ｂ）は、ゼロパッドIDCTの説明図である。ゼロパッドIDCT５０では、Ｎ×Ｎ DCT係数の内、低周波側からＫ×Ｍ個の係数以外の係数を０とし、Ｎ×ＮのIDCTを行うことによりＮ×Ｎの画素データを得る。復号するブロックが動き補償ブロックの場合は、動き補償部８からの動き補償ブロックを加算器４で加算して画像復元する。

更に、復元された画像データは、圧縮器５で画素データが再度圧縮され、フレームメモリ６に蓄積される。圧縮された画素データは動き補償で必要となるブロックを抽出する際に、伸長器７で動き補償ブロック内の画素がすべて復号され、動き補償部８で動き補償処理される。以上のように、本実施例は、ある領域を０で埋めてIDCTを行い、フレームメモリに入力される画素データを圧縮することにより、フレームメモリサイズを削減した点に特徴がある。このような構成によって、逆ＤＣＴ変換器から出力される差分画像データの高周波成分を削減することにより、フレームメモリ６に記憶される画像データの精度に対して相性が良くなる。

図１１は、本発明の再生装置の第４の実施例の構成を示すブロック図である。MPEG2 などで符号化された動画像データは可変長復号器１で可変長復号され、そこで得られた量子化DCT 係数は逆量子化器２で逆量子化され、Ｎ×Ｎ DCT係数が得られる。IDCT３で逆ＤＣＴ処理によりＮ×Ｎの画素データが得られる。復号するブロックが動き補償ブロックの場合は動き補償部８からの動き補償ブロックを加算して画像復元を行う。

更に、復元された画像データは、ダウンサンプラ６０で画素データ数が削減され、フレームメモリ６に蓄積される。削減された画素データは動き補償で必要となるブロックを抽出する際に、アップサンプラ６１でブロック内の画素がすべて復元され動き補償部８で動き補償処理される。

ダウンサンプラ６０は、例えばＳＮ画素毎（ＳＮ＞０、ＳＮは整数）の画素のみをサンプルし、それ以外の画素は廃棄することにより、１：Ｎの割合で画素データ数を削減する。これにより、フレームメモリに記録する画素データ数は１／ＳＮになる。アップサンプラ６１は、例えば線形補間により廃棄された画素データを復元するものである。例えばX0とX3がフレームメモリ６に記録された画素データであるものとすると、X1、X2はX0とX3の距離比を用いてそれぞれ以下のように求めることができる。
X1 = 2/3 X0 + 1/3 X3, X2 = 1/3 X0 + 2/3 X3

図１２、１３は、本発明の再生装置の第５の実施例の要部構成を示すブロック図である。第５の実施例は、図１に示す第１の実施例において、圧縮器５および伸長器７に、それぞれ図１２および図１３に示す構成を採用したものである。図１２は、第５実施例における圧縮器５の構成を示すブロック図である。Ｓ×Ｔアダマール変換器７０は、画素データをＳ×Ｔブロック（Ｓ、Ｔは正の整数）毎にアダマール変換し、周波数領域のデータに変換する。この出力データは量子化器２１により量子化され、符号器２２によって符号化される。量子化器２１、符号器２２については第１の実施例と同様の方式を用いることができ、量子化器２１については、ブロック内の係数の位置や大きさに応じて量子化ステップＱを変化させることも可能である。

図１３は第５実施例における伸長器７の構成を示すブロック図である。フレームメモリ６に蓄積された圧縮画像データは、まず復号器３０によって量子化データが復元され、該量子化データは逆量子化器３１によってＳ×Ｔブロック毎の周波数領域データに復元される。そして、周波数領域データはＳ×Ｔ逆アダマール変換器７１によって画像データに復元される。復号器３０や逆量子化器３１については、実施例１と同様の方式を用いることができる。なお、第５実施例においてはアダマール変換を用いる例を開示したが、アダマール変換の代わりにＤＣＴなどの他の直交変換を採用することも可能である。

以上、実施例を開示したが、更に以下に述べるような変形例も考えられる。変換符号化については、DCT のみならず、ウェーブレット（Wavelet ）変換などあらゆる変換符号化に適用することが可能である。

本実施例については、量子化器を使用する例を開示したが、量子化器を用いない構成も可能であり、この場合ロスレス（完全に復元可能な）符号化を行うことが可能である。

本発明の各機能ブロックは、例えばパソコンやワークステーション等のコンピュータによって全てソフトウェアにより処理を行うことが可能であり、また専用のＬＳＩ等により処理することも可能である。

本発明の再生装置の第１実施例の構成を示すブロック図である。 従来の再生装置の構成を示すブロック図である。 圧縮器５の構成を示すブロック図である。 伸長器７の構成を示すブロック図である。 予測値ＰＸの各種予測方法を示す説明図である。 図５ｃの予測を２次元空間に拡張した例を示す説明図である。 量子化器２１の特性例を示すグラフである。 本発明の再生装置の第２実施例の構成を示すブロック図である。 本発明の再生装置の第３実施例の構成を示すブロック図である。 第２、第３実施例に関するIDCTの方式例を示す説明図である。 再生装置の第４実施例の構成を示すブロック図である。 第５実施例の圧縮器５の構成を示すブロック図である。 第５実施例の伸長器７の構成を示すブロック図である。

符号の説明

１…可変長復号器、２…逆量子化器、３…逆ＤＣＴ変換器、４…加算器、５…圧縮器、６…フレームメモリ、７…伸長器、８…動き補償部、１０…４×４逆ＤＣＴ変換器、１１、４１…拡大器、１２…動きベクトル変換器、２０…減算器、２１…量子化器、２２…符号器、２３、３２…加算器、２４、３３…予測器、３０…復号器、３１…逆量子化器、４０…Ｋ×Ｍ逆ＤＣＴ変換器、５０…ゼロパッド逆ＤＣＴ変換器、６０…ダウンサンプラ、６１…アップサンプラ、７０…アダマール変換器、７１…逆アダマール変換器

Claims (1)

1. 復号された動画像データを圧縮する圧縮手段と、
   前記圧縮手段から出力されたデータを蓄積する蓄積手段と、
   前記蓄積手段から出力されたデータを伸張する伸張手段と、
   前記伸張手段から出力された動画像データに対して動き補償予測を行う動き補償予測手段とを具備し、
   前記圧縮手段は、前記復号された動画像データを圧縮対象画素と、所定の周期ごとの非圧縮対象画素とに分け、
   圧縮対象画素については、非圧縮対象画素を用いて予測し、予測誤差を量子化することにより、蓄積されたデータのランダムアクセスを実現することを特徴とする符号化動画像再生装置。

Images