JP3990011B2

JP3990011B2 - 復号画像変換回路および復号画像変換装置

Info

Publication number: JP3990011B2
Application number: JP30108997A
Authority: JP
Inventors: 真人山崎
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1997-10-31
Filing date: 1997-10-31
Publication date: 2007-10-10
Anticipated expiration: 2017-10-31
Also published as: JPH11136686A; US6452968B2; US20010043654A1

Description

【０００１】
【発明の属する技術分野】
本発明は、復号画像変換回路および復号画像変換装置に関するものであり、より具体的にはさらに復号画像変換方法および復号画像変換プログラムが記録されたコンピュータ読み取り可能な情報記録媒体に関し、たとえば、MPEG（Moving Picture Coding Experts Group）2 などの標準化方式に基づいて符号化されたデータを復号化し画像の表示を行うための回路や装置などへの適用に関する。
【０００２】
【従来の技術】
従来技術で開示されるMPEG2 による画像符号化方式では、１フレームの画像を16×16画素のマクロブロックと呼ばれる単位に切り分けて時空間で冗長な情報の圧縮を行い、またランダムアクセス機能と高い符号化効率を得るために画像のフレーム単位にＩ（Intra coded ）ピクチャ、Ｐ（Predictive coded）ピクチャ、Ｂ（Bidirectinally Predictive coded ）ピクチャの３つのピクチャ符号化タイプを設けている。
【０００３】
Ｉピクチャは、フレーム内符号化画面で、他画面とは独立して符号化（イントラ符号化）され、画面の全てのマクロブロックがイントラ符号化される。Ｉピクチャを周期的に配置することによって、ランダムアクセスや、エラー回復ポインタとして用いることができる。ただし、Ｉピクチャの頻度が高くなると総合的な符号化効率が落ちる。シーンの切り替わり点や予測効率が悪い画像については、Ｉピクチャの方が一般的に符号化効率が良い。
【０００４】
Ｐピクチャは、前方向予測符号化画面で、時間的に過去に位置するＩピクチャまたはＰピクチャから予測符号化を行う。前方向のみの予測を用いて符号化される。
【０００５】
Ｂピクチャは、双方向予測符号化画面で、時間的に前後に位置するＩピクチャまたはＰピクチャを用いて前方向、後方向または両方向の画面から予測符号化を行い、予測方向はマクロブロック単位に決定される。Ｂピクチャの導入により、物体の消失や出現があるような領域に対しても、時間的に前後の画像を用いて的確に予測符号化を行うことができ、符号化効率も大きく向上させている。
【０００６】
これら３種類のピクチャの組み合わせは自由で、符号化装置が目的に合わせて設定することになる。符号化を行う順番については、時間的に後方に位置するＩピクチャ、ＰピクチャがＢピクチャに先行して符号化されるため、たとえば、図２に示すように、原画像がB0,B1,I2,B3,B4,P5,B6,B7,P8,B9,B10,P11,B12,B13 になることに対して、エンコード（符号化）処理がI2,B0,B1,P5,B3,B4,P8,B6,B7,P11,B9,B10,P14,B12,B13 のような順に符号化される。デコード（復号化）処理もこの順序で行われ、画像出力するときには、もとの順番であるB0,B1,I2,B3,B4,P5,B6,B7,P8,B9,B10,P11,B12,B13 のような順番になおして再生画像を表示する。
【０００７】
図３は、従来例のMPEG2 標準化方式に基づいて符号化された画像データを復号するMPEG2 復号化回路の基本構成図である。まず、符号化されたビットストリームは、受信バッファ回路41に蓄積される。その符号化データは、VLC （Variable Length Code）デコーダ回路42で各種のデータに分離される。その中の量子化DCT 係数は逆量子化回路43で逆量子化されDCT 係数が得られ、逆DCT 回路44で逆DCT 変換されたのち、Ｉピクチャの画像データであれば、そのままで２つあるフレームメモリ（FM）45、46の内のいずれかの一つに格納される。
【０００８】
Ｐピクチャの画像データであれば、一方のフレームメモリ45または46内の復号位置に対応するマクロブロックの位置を基に与えられた動きベクトルに応じて動き補償の処理を動き補償回路47、48で行い、得られた画素値がスイッチ回路34で選択され加算回路50で加算されて、他方のフレームメモリ45または46に格納される。Ｂピクチャの画像データであれば、２つの画像フレームのそれぞれに用意された動きベクトルを用いて動き補償回路47、48で動き補償の処理を行い、平均回路49で平均を求め得られた画素値がスイッチ回路34で選択され、加算回路50で加算されて再生画像を作成するが、この画像はいずれのフレームメモリ回路45、46にも格納されない。なお、フレームメモリ45、46は、交互に使われるものとする。
【０００９】
再生画像の出力ポート36は、Ｂピクチャの処理のときには、処理画像をそのまま出力する。Ｉピクチャ、Ｐピクチャの場合は、フレームメモリ45、46から出力することで前述した符号化の順と画像出力の順を直して表示することが可能となる。
【００１０】
しかし、実際のMPEG2 復号化回路では、表示画像のデータを出力する順序が通常インタレースであるため、マクロブロック単位で処理され出力されるMPEG2 復号化回路の後段にマクロブロック／ラスタス変換のためのメモリが必要であり、もし、ピクチャのコーディングタイプがフィールド構造でなくフレーム構造で行われている場合は、インタレースで出力するときに最低でも１／２フールド分の画像データを格納するためのメモリが必要となる。
【００１１】
従来、このような問題を解決するために、一例として、特開平7-59084 号公報に記載されている発明の「画像処理システム」が提案されている。この文献に記載されている「画像処理システム」では、画像ブロックに対してパケットにより到達する圧縮データを処理するシステムを提示している。
【００１２】
図４は、前述の「画像処理システム」に使用されているMPEG復号画像表示装置の構成図である。この図に示すように、Ｉピクチャ用フレームメモリFM1 、Ｐピクチャ用フレームメモリFM2 に加え、ＢピクチャのためのフレームメモリFM3 を専用に設け、合計３つのフレームメモリFM1,FM2,FM3 を持つことでマクロブロック／ラスタ変換とフレーム構造のピクチャに対しても問題なくインタレース順に画像データを出力できる構成にされている。
【００１３】
さらに、前述の特開平7-59084 号公報に記載されている発明の「画像処理システム」の表示方法について述べる。このシステムでは、メモリコントローラがアクセスするために必要となるフレームメモリエリアFM1 〜FM3 を決定するために４つの画像ポインタRP、FP、BP、DPが使用される。これらはそれぞれ現在の再生画像、前方の画像（前方画像）、後方の画像（後方画像）および現在のディスプレイ画像の位置を示すポインタである。
【００１４】
図５は、従来例の各ピクチャ時の復号、表示時のフレームメモリポインタの推移を示す図である。この図において符号化されたフレーム画像を復号するときの順番と表示するときの順番およびそのときの各画像ポインタの値を示す。一番目の画像IOが復号されるとき、画像はまだディスプレイされない。再生画像ポインタRPは、画像IOを記憶するための空きエリア、たとえば、フレームメモリFM1 を示している。
【００１５】
画像P1が復号されると、画像IOは必ずディスプレイされる。再生画像ポインタRPは例えば、フレームメモリFM2 を示しており、さらにディスプレイ画像ポインタDPは、画像IOが存在するフレームメモリFM1 を示している。P1の予測画像には、再生時に前方画像IOが必要であるので、前方画像ポインタFPもフレームメモリFM1 を示している。
【００１６】
画像B2が復号されると、この画像B2もディスプレイされる画像である。再生画像ポインタRPとディスプレイ画像ポインタDPの両方はまだフリーなエリアFM3 を示している。復号化において、画像B2には前方画像IOおよび後方画像P1が必要である。このとき前方画像ポインタFPと後方画像ポインタBPは、それぞれエリアFM1 およびFM2 を示している。
【００１７】
復号化されるとき画像をディスプレイすることができるようにするため、実際のディスプレイでは一般にはほぼ１／２画像だけ遅延させる。これはピクチャのコーディングタイプがフレーム構造時に、表示の順が一ラインおきに読み出すインタレースでも表示を行うときまでには常に読み出すされる位置の画像データの復号処理が終了するようにするために行う方法である。
【００１８】
画像B3が復号されると、その画像もディスプレイされる。画像B3には、復号化のとき画像IOとP1が必要であるので、画像IOとP1は、前方画像ポインタFPおよび後方画像ポインタBPによって前述と同じフレームメモリFM1 とFM2 を用いて、画像B3はフレームメモリFM3 内に記憶される。このときディスプレイ画像ポインタDPも前述の画像B2のときと同様FM3 が示される。
【００１９】
しかし、画像B3が、フレームメモリFM3 内に再生され画像が書かれるとき、フレームメモリFM3 に記憶されている画像B2がディスプレイされる。このときディスプレイされる画像B2が再生された画像B3によって重ね書きされそうになると、画像B3のデータを与えている図４で示しているVLD 回路51を停止させる。これは、シーケンサ63によって制御する。シーケンサ63は復号化されたマクロブロック位置がディスプレイ画像の表示位置を超えないように監視しVLD 回路51に対して動作を制御するイネーブル信号を用いて制御する。
【００２０】
画像P4が復号されると、画像P1は必ずディスプレイされる。この画像P4は、その後フリーとなるフレームメモリFM1 内に記憶される。このとき再生画像ポインタDPは、画像P1が記憶されるフレームメモリFM2 を示す。画像P4には、復号化のとき前方画像P1が必要である。前方画像ポインタFPは、フレームメモリFM2 を示す。
【００２１】
図５において、画像B5が復号されると、この画像も必ずディスプレイされる。画像B5は、フリーにされるフレームメモリFM3 内に記憶される。このとき再生画像ポインタRPとディスプレイ画像DPポインタはフレームメモリFM3 を示している。画像B5には前方画像P1と既に復号化された後方画像P4が必要である。前方画像ポインタP4と後方画像ポインタBPはそれぞれフレームメモリFM2 とFM1 を示している。
【００２２】
【発明が解決しようとする課題】
しかしながら、前述のような従来の画像処理システムでは、図６に示すようにＢピクチャを復号するために１フレーム時間内に参照画像として最大２フレーム（前方予測画面と後方予測画面）分の画像を読み出し、再生された復号画像を格納するために１フレーム分格納し、さらに表示のために１フレーム分の画像を読み出していた。このように画像復号と復号画像変換（表示）のために従来の画像処理システムでは１フレーム時間内に４フレーム分の画像を転送できるだけのフレームメモリバスを必要としていた。前述の図４では、フレームメモリバスMBUSがこのフレームメモリバスに当たる。そのため、フレームメモリを高速にアクセスするためにフレームメモリのバス幅（ビット幅）を増加したり、高速にアクセス可能なフレームメモリを用いたりする必要があり、高価なシステムになってしまっていた。
【００２３】
このようなことから、フレームメモリへのアクセスを低減し、メモリバス幅を大きくしなくても簡単な回路構成で復号画像データを表示用の画像データ列（ラスタスキャンデータ）に変換することができる復号画像変換回路、復号画像変換装置、復号画像変換方法および復号画像変換プログラムが記録されたコンピュータ読み取り可能な情報記録媒体の実現が要請されている。
【００２４】
【課題を解決するための手段】
そこで、本発明によれば、ピクチャタイプに応じて画面を並べ替えたフレーム画像を複数の小エリアの画像データに分割して符号化が行われた画像符号化データに対して復号化を行うことにより得られた復号画像データを入力し、小エリアの画像データごとにラスタスキャンデータに変換する復号画像変換回路は、小エリアの画像データに対応した画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、この水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮手段と、画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプがフレーム内符号化画面（Ｉピクチャ）および前方向予測符号化画面（Ｐピクチャ）の圧縮画像データを格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段と、画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプが双方向予測符号化画面（Ｂピクチャ）の圧縮画像データを格納する双方向予測符号化ピクチャ用圧縮画像データ格納手段と、フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段および双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納されている圧縮画像データを元の画面順に取り込み、画像伸張処理を行いラスタスキャンデータを得る画像伸張手段とを含む。
【００２５】
このような構成を採ることで、画像復号データを圧縮したＩピクチャおよびＰピクチャとＢピクチャとのタイミングを取りながら伸張処理してラスタスキャンデータに変換することができ、フレーム内符号化・フレーム間順方向予測符号化ピクチャ用圧縮画像データ格納手段および双方向予測符号化ピクチャ用圧縮画像データ格納手段はＩピクチャ、Ｐピクチャ、Ｂピクチャを圧縮した画像データを格納するので大きい格納容量を必要とせず、非常に簡単な構成で変換することができる。
【００２６】
また、本発明によれば、ピクチャタイプに応じて画面を並べ替えた後量子化および直交変換により符号化された画像符号化データを取り込み、逆量子化および逆直交変換を行うことにより画像データを生成して出力する逆変換手段と、ピクチャタイプがＩピクチャおよびＰピクチャの画像復号データを格納する２つの格納領域を含むメモリ手段と、逆変換手段からＩピクチャの画像データが出力されたとき、この画像データを画像復号データとして出力すると共にメモリ手段の格納領域に格納し、Ｐピクチャの画像データが出力されたとき、このＰピクチャの前方に位置するＩピクチャまたはＰピクチャの画像復号データをメモリ手段の一方の格納領域から読み出して画像データに加算することにより画像復号データを得て出力すると共にメモリ手段の他方の格納領域に格納し、ピクチャタイプがＢピクチャの画像データが出力されたとき、メモリ手段の２つの格納領域から画像復号データを読み出して平均値を算出し、この平均値を画像データに加算することにより画像復号データを得て出力する加算手段と、加算手段から出力される画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、この水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮手段と、画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプがＩピクチャおよびＰピクチャの圧縮画像データを格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段と、画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプがＢピクチャの圧縮画像データを格納する双方向予測符号化ピクチャ用圧縮画像データ格納手段と、フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段および双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納されている圧縮画像データを元の画面順に取り込み、画像伸張処理を行いラスタスキャンデータを得る画像伸張手段とを含む。
【００２７】
さらに、本発明によれば、ピクチャタイプに応じて画面を並べ替えたフレーム画像を複数の小エリアの画像データに分割して符号化が行われた画像符号化データに対して復号化を行うことにより得られた画像復号データに基づき、小エリアの画像データごとにラスタスキャンデータに変換する復号画像変換方法は、小エリアの画像データに対応した画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、この水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮工程と、画像圧縮工程で得られた圧縮画像データの内、ピクチャタイプがＩピクチャおよびＰピクチャの圧縮画像データをフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段に格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納工程と、画像圧縮工程で得られた圧縮画像データの内、ピクチャタイプがＢピクチャの圧縮画像データを双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納する双方向予測符号化ピクチャ用圧縮画像データ格納工程と、フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段および双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納されている圧縮画像データを元の画面順に読み出し、画像伸張処理を行って前記ラスタスキャンデータを得る画像伸張工程とを含む。
【００２８】
さらにまた、本発明によれば、ピクチャタイプに応じて画面を並べ替えたフレーム画像を複数の小エリアの画像データに分割して符号化が行われた画像符号化データに対して復号化を行うことにより得られた画像復号データに基づき、小エリアの画像データごとにラスタスキャンデータに変換する復号画像変換プログラムが記録されたコンピュータ読み取り可能な情報記録媒体は、小エリアの画像データに対応した画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、この水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮手順と、画像圧縮手順で得られた圧縮画像データの内、ピクチャタイプがＩピクチャおよびＰピクチャの圧縮画像データをフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段に格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手順と、画像圧縮手順で得られた圧縮画像データの内、ピクチャタイプがＢピクチャの圧縮画像データを双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納する双方向予測符号化ピクチャ用圧縮画像データ格納手順と、フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段および双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納されている画像圧縮データを元の画面順に読み出し、画像伸張処理を行ってラスタスキャンデータを得る画像伸張手順とを含む。
【００２９】
以上のような構成を採ることで、小エリアの画像データごとの画像復号データからラスタスキャンデータに変換するために、画像復号データをフレームイメージで水平方向に連続する画素データ列に分割し、この水平方向画像データ列に対して画像圧縮処理を行い、圧縮したＩピクチャおよびＰピクチャをＩ・Ｐピクチャ用圧縮画像データ格納手段に格納し、圧縮したＢピクチャをＢピクチャ用圧縮画像データ格納手段に格納し、これらの圧縮したＩピクチャおよびＰピクチャと圧縮したＢピクチャとに対して画像伸張処理を行いラスタスキャンデータにすることで、復号画像変換装置としては、従来のようなＩ、Ｐ、Ｂピクチャ用の３面のフレームメモリを持つ必要がない。フレームメモリとしては、画像復号用のＩ、Ｐピクチャ用の２面のフレームメモリを持つだけでよい。復号画像変換では、圧縮データを格納することができる程度の記憶手段を持つだけでよい。
【００３０】
したがって、フレーム内符号化画像メモリ手段（たとえば、フレームメモリ）と、フレーム間順方向予測符号化画像メモリ手段（たとえば、フレームメモリ）は、画像復号処理だけに使用して、１フレームの表示時間内に２フレーム分のアクセスでよく、前述の従来の図４の構成による方法に比べて低速で画像復号処理を行うことができるようになる。
【００３１】
【発明の実施の形態】
次に本発明の好適な実施例を図面を用いて説明する。先ず、図７は、本実施例のMPEG2 復号化回路19および復号画像変換回路31からなる復号画像変換装置の構成図である（第１の実施例）。この図において、受信バッファ回路21は、入力ポート20から与えられる画像符号化データのビットストリームを取り込み、一時格納し所定のタイミングでVLC （Variable Length Code）デコーダ回路22に与える。VLC デコーダ回路22は、受信バッファ回路21から与えられる画像符号化データに対して可変長復号化を行い圧縮画像データを得て逆量子化回路23に与える。
【００３２】
逆量子化回路23は、圧縮画像データを逆量子化し離散コサイン変換係数を求めて逆DCT 回路24に与える。逆DCT 回路24は逆量子化回路23から与えられる離散コサイン変換係数に対して逆DCT を行いＩピクチャ、Ｐピクチャ、Ｂピクチャを得て加算回路30に与える。
【００３３】
加算回路30は、逆DCT 回路24から与えられるＩピクチャについてはそのまま出力し、たとえばフレームメモリ25に格納すると共に入力ポート10に与え、Ｐピクチャが与えられるとたとえばフレームメモリ回路26からの動き補償後の画像データと加算しフレームメモリ25に格納すると共に入力ポート10に与え、Ｂピクチャが与えられるとフレームメモリ25、26からの動きベクトルに応じて動き補償回路27、28で動き補償を実施した画像データに基づき、平均回路29で予測画素値を算出して、スイッチ回路34を介して画素単位の加算を行い加算結果を入力ポート10に与える。これにより、入力ポート10には、再生されたＩピクチャ、Ｐピクチャ、Ｂピクチャが入力される。
【００３４】
復号画像変換回路31は、入力ポート10に与えられたＩピクチャ、Ｐピクチャ、Ｂピクチャをマクロブロック単位で画像圧縮し、タイミング調整を図り画像伸張処理を行ってラスタスキャンデータを出力ポート15に出力する。
【００３５】
この図７において、MPEG2 復号化回路19の入力ポート20には画像符号化データのビットストリームが入力され、受信バッファ回路21に一時格納された後、MPEG2 の復号手順にしたがってVLC デコーダ回路22によって各種パラメータと圧縮画像データとを分解し、圧縮画像データは逆量子化回路23で逆量子化され、逆DCT 回路24で逆DCT が行われ復号処理が行われる。
【００３６】
逆DCT 回路24から出力される画像データがＩピクチャの場合は、そのまま２つあるフレームメモリ25、26の内の一つ、たとえばフレームメモリ25に格納されると同時に、図１に示す入力ポート10を通して復号画像変換回路31に与える。Ｐピクチャの場合は、２つの内の一方のたとえばフレームメモリ26から動き補償を実施した画像データを読み出して、画素単位の加算が加算回路30で行われ、加算結果は読み出されたフレームメモリ26とは反対のフレームメモリ25に格納されると同時にＩピクチャ時と同様に入力ポート10を通して復号画像表示装置31に与えられる。Ｂピクチャの場合は、２つのフレームメモリ25、26から動きベクトルに応じて動き補償回路27、28で動き補償を実施した画像データを読み出して、平均回路29で予測画素値を算出して、Ｐピクチャ時と同様に画素単位の加算が加算回路30で行われる。このＢピクチャ復号画像データは、フレームメモリ25、26には格納されず、入力ポート10を通して復号画像変換回路31だけに与えられる。
【００３７】
このように、MPEG2 による画像符号化データのビットストリームを復号する場合、復号画像変換回路31には、復号されたマクロブロック単位の画像データが入力ポート10に入力される。この復号画像変換回路31では、入力ポート10から入力されたマクロブロック単位の画像データを通常のテレビジョンなどに代表されるインタレースの画像列に変換する処理が行われる。以下にその動作を説明する。
【００３８】
先ず、図８は、本実施例のフレーム画像のマクロブロックの構成図である。この図において、たとえば、フレーム画像の大きさが水平方向に720 画素、垂直方向に480 画素である場合、16×16画素で構成されるマクロブロックは1350個存在し、符号化されるときの転送順はラスタ走査順に行われ、画像の左上部マクロブロックM1から始まり、左から右に画像の右部のマクロブロックM45 まで転送すると１段下がった最左部のマクロブロックM46 を転送し、また左から右に移動する動作を繰り返し、最後は右下部のマクロブロックM1350 を転送して終了する。
【００３９】
前述の図７のMPEG2 復号化回路19の画像復号処理と復号画像変換回路31の復号画像変換処理とを復号画像変換プログラムでコンピュータを動作させることによって実現することもできる。この場合の復号画像変換プログラムが記録されたコンピュータ読み取り可能な情報記録媒体としては、主記憶装置や補助記憶装置などがある。具体的には、ROM やフラッシュメモリや不揮発性RAM や磁気ディスク装置や光ディスク装置やICメモリカードや磁気テープ装置などに記録される。
【００４０】
図１は、本実施例の復号画像変換回路31の一例を示す回路構成図である。この図において、表示画像圧縮回路11は、入力ポート10から与えられるＩ、Ｐ、Ｂピクチャの画像復号化データがマクロブロック単位で与えられるとハフマン符号化方式によって画像圧縮し、ＩピクチャおよびＰピクチャの圧縮データをＩ・Ｐピクチャ用圧縮データ格納メモリ回路12に与え、Ｂピクチャの圧縮データをＢピクチャ用圧縮データ格納メモリ回路13に与える。Ｉ・Ｐピクチャ用圧縮データ格納メモリ回路12は、表示画像圧縮回路11から与えられるＩピクチャおよびＰピクチャの圧縮データを格納し、ラスタスキャンデータに変換するため所定のタイミングで読み出して表示画像伸張回路14に与える。
【００４１】
Ｂピクチャ用圧縮データ格納メモリ回路13は、表示画像圧縮回路11から与えられるＢピクチャの圧縮データを格納し、ラスタスキャンデータに変換するため所定のタイミングで読み出して表示画像伸張回路14に与える。表示画像伸張回路14は、Ｉ・Ｐピクチャ用圧縮データ格納メモリ回路12から与えられるＩピクチャおよびＰピクチャの圧縮データと、Ｂピクチャ用圧縮データ格納メモリ回路13から与えられるＢピクチャの圧縮データとをハフマン符号化に対する画像伸張処理によってラスタスキャンデータにし出力ポート15に出力する。
【００４２】
図１の入力ポート10から図８で説明した順番にマクロブロックが入力され、表示画像圧縮回路11に与えられる。この表示画像圧縮回路11では、マクロブロック単位で入力されてきた画像データを16個の水平方向画像列の方向に所定の圧縮比で画像圧縮を行い、Ｉピクチャ、Ｐピクチャの場合はＩ・Ｐピクチャ用圧縮データ格納メモリ回路12に格納し、Ｂピクチャの場合はＢピクチャ用圧縮データ格納メモリ回路13に格納する。Ｉ・Ｐピクチャ用圧縮データ格納メモリ回路12は、ラスタスキャンデータを形成し得る所定のタイミングで読み出し、Ｂピクチャ用圧縮データ格納メモリ回路13もラスタスキャンデータを形成し得る所定のタイミングで読み出し、表示画像伸張回路14は、圧縮されているＩピクチャ、Ｐピクチャ、およびＢピクチャに対して画像伸張処理を行いラスタスキャンデータを出力する。
【００４３】
なお、表示画像圧縮回路11からＩ・Ｐピクチャ用圧縮データ格納メモリ回路12、Ｂピクチャ用圧縮データ格納メモリ回路13に格納するために、表示画像圧縮回路11とメモリ回路12、13との間に、いずれのメモリ回路へ格納させるかを調停する調停回路を設けることも好ましい。
【００４４】
また、Ｉ・Ｐピクチャ用圧縮データ格納メモリ回路12、Ｂピクチャ用圧縮データ格納メモリ回路13の記憶領域を、画像復号化回路19の参照フレーム画像（フレーム画像）を記憶するための１組の大容量ダイナミックRAM のアドレス空間に割り振ることもよい。このときには、参照画像の読み出しのときと、画像圧縮データの格納のときが同時にならないように調停回路を設けるとよい。そして、図１のような構成と工程によってラスタスキャンデータに変換することでメモリ容量を大きく確保することなく、簡単な構成で迅速に変換することができる。
【００４５】
次に、表示画像圧縮回路11の具体的な一例の構成を次に述べる。図９は、図１の復号画像変換回路31で使用される表示画像圧縮回路11の構成図であり、ハフマン符号化方式を採用した回路である。この図において、入力段メモリ回路91は、マクロブロック単位に復号されるマクロブロック画素データを一時格納するメモリ回路であり、一つ以上のマクロブロックデータを格納するだけの格納容量とするとよい。
【００４６】
そして、入力段メモリ回路91は、格納されているマクロブロック画素データをシーケンサ回路（SEQ ）92の制御に従って読み出しレジスタ回路93に与える。このシーケンサ回路92は、本表示画像圧縮回路11内の各構成回路を制御するものであり、入力段メモリ回路91からマクロブロックの画素データをフレームイメージで水平方向に読み出す制御から、バイトアライン回路97から圧縮データを出力させるタイミングの制御までを管理する回路である。
【００４７】
レジスタ93は、入力段メモリ回路91からのマクロブロックの画素データを一時格納し、次のレジスタ回路94と差分回路95とに与える。レジスタ回路94は、レジスタ回路93から与えられるマクロブロックの画素データを一時格納し次の差分回路95に与える。レジスタ回路93、94は、フレームイメージで水平方向に隣接する画素データを一時格納する。
【００４８】
差分回路95は、レジスタ回路93、94から与えられるマクロブロックの画素データの差分を求め差分値をルックアップテーブル回路（LUT ）96に与える。ルックアップテーブル回路96は、発生頻度に応じたハフマン符号テーブルであり、前述の差分回路95から出力される差分値をアドレスとして可変長符号化データを出力しバイトアライン回路（BA）97に与える。このバイトアライン回路97は、ルックアップテーブル回路96から与えられる可変長符号化データをたとえば８ビット単位にまとめる処理を行い、圧縮データとしてバイトデータで出力する。さらに、本表示画像圧縮回路11は、どのようなまとまりで処理され出力されているかを表す付加情報98も付加して出力する。
【００４９】
本表示画像圧縮回路11に入力された画像復号化されたマクロブロックは、入力段メモリ回路91に一時格納される。次に、一つのマクロブロックの入力が終了すると、シーケンサ回路92からマクロブロックの読み出し指令が発生し、マクロブロックの左上の画素データから水平方向に16画素連続して読み出される。このときに左端の画素データの符号化時は差分回路95では差分動作が行われず、画素値そのものの値がルックアップテーブル回路96で可変長符号化される。その次のデータはその画素値の左側の値を予測値として差分回路95で差分され、その誤差値が前述と同様にルックアップテーブル回路96で可変長符号化される。
【００５０】
マクロブロックの右側のデータが可変長符号化された時点でバイトアライン回路97は、バイトの切れ目までスタッフィング動作を行い圧縮データを出力する。この動作でマクロブロックの最上ラインの圧縮データの転送が終了する。以上のような動作を１マクロブロック当たり16ライン存在するので、１ライン毎に行い合計16回行うことで１マクロブロックの圧縮処理が終了する。
【００５１】
なお、画像圧縮の方法としてハフマン符号化を説明したが、ほかに算術符号化や、他のデータ圧縮方式でもよい。
【００５２】
このようにして、図１において、表示画像圧縮回路11で水平方向に圧縮されたデータが、Ｉ・Ｐピクチャ用圧縮データ格納メモリ回路12と、Ｂピクチャ用圧縮データ格納メモリ回路13に転送される。ここで、Ｂピクチャ用圧縮データ格納メモリ回路13は、マクロブロック書き込み／ラスタ方向読み出しの変換のためだけに用いられるのでなくフレーム構造で送られてきた画像データをインタレースに直すためにも使用される。また、このＩ・Ｐピクチャ用圧縮データ格納メモリ回路12は、マクロブロック書き込み／ラスタ方向読み出しおよびフレーム構造で送られてきた画像データをインタレースに直すためだけでなく、前述の図２において処理の順、メディア上の順、表示画像の順を示したように、送られてくる符号化データのピクチャの順と表示の順が異なるためその順番を入れ替えるための遅延バッファとしても使用される。
【００５３】
表示画像伸張回路14では、表示のタイミングに合わせて、必要とされる場所の圧縮データをインタレースの順に今現在復号を行っているピクチャタイプから今回表示を行うピクチャがＩ、Ｐ、Ｂピクチャのいずれかを認識しそれにしたがってＩ・Ｐピクチャ用圧縮データ格納メモリ回路12またはＢピクチャ用圧縮データ格納メモリ回路13から元の画面順で読み出す処理を行い、前述の表示画像圧縮回路11で行われた処理の逆処理によって画像伸張処理を行い、元に戻されたラスタスキャンデータが出力ポート15から出力される。
【００５４】
なお、前述の表示画像圧縮回路11において、水平方向に圧縮する画像データ列の単位を便宜上マクロブロックの大きさと同じ16画素で説明したが、他の画素数でもよい。
【００５５】
図10は、表示画像伸張回路14の具体的な一例の回路構成図である。この図10において、切り出し回路100 は、圧縮データおよび付加情報を取り込み、付加されている付加情報から８ビット単位の可変長符号化データを求め逆変換ルックアップテーブル（LUT ）回路101 に与える。この逆変換ルックアップテーブル回路101 は、可変長符号化データに対応する差分値に変換し、この差分値を加算回路102 に与える。この加算回路102 は、レジスタ回路103 に一時格納されている画像データと加算し加算結果を再生したマクロブロック画素データとしてレジスタ回路103 とバッファメモリ回路104 とに与える。このバッファメモリ回路104 は、マクロブロック画素データを一時格納し適当なタイミングで読み出してラスタスキャンデータとして出力する。
【００５６】
前述の表示画像圧縮回路11および表示画像伸張回路14で行う圧縮処理および伸張処理を行う復号画像変換プログラムを作成することでコンピュータを動作させて同じ機能を実現することができる。
【００５７】
以上のように図１に示した復号画像変換回路31の構成および処理工程を用いることでマクロブロック／ラスタスキャン（インタレース、ノンインタレース）などの変換処理を本回路で実現することができるので、従来のようにフレームメモリ回路を３面持つ必要が無くなり、フレームメモリ回路を２面で画像復号処理を行うことができる。これに伴って、フレームメモリ回路は画像復号処理にだけ使用することができるので、従来は１フレーム分の表示時間内に４フレーム分の転送速度が必要であったものが２フレーム分の転送速度で十分となり、従来より１／２のメモリアクセスで画像復号処理を行うことが可能になる。これにより従来よりメモリアクセスのためのメモリバスのビット幅を小さくすることも可能になり、低速アクセスの画像メモリを使用することも可能になり、効率的な処理を実現することができる。
【００５８】
また、画像復号処理用に設ける参照フレーム画像を格納するＩピクチャおよびＰピクチャ用の大容量のダイナミックRAM のメモリ空間の一部に、復号画像変換回路31で使用するＩピクチャ・Ｐピクチャ用圧縮データ格納メモリ回路12およびＢピクチャ用圧縮データ格納メモリ回路13の格納領域を割り振る場合、復号画像を圧縮して格納するので、従来のように表示用に１フレーム分のメモリ容量を使用していた方式に比較して転送表示データ量並びにダイナミックRAM 内で占有する記憶容量を少なくすることができる。また、ラスタスキャンデータを読み出すときにフレームイメージで水平方向に圧縮がかけられているので、メモリアクセスに時間がかからず、高速に読み出す効果がある。
【００５９】
次に、図11は、復号画像変換回路においてＩピクチャおよびＰピクチャデータを圧縮せず、Ｂピクチャだけを圧縮・伸張処理し、ＩピクチャおよびＰピクチャデータはタイミング調整を図り、元の画面順のラスタスキャンデータにするための復号画像変換装置の構成図である（第２の実施例）。
【００６０】
この図において、前述の図７の構成回路と同様な部分には、同じ符号を付与しており、同じ構成回路の説明は省略する。そこで、画像復号化回路19A のフレームメモリ回路25、26のＩピクチャおよびＰピクチャの画像データをスイッチ回路32に与える。スイッチ回路32は、フレームメモリ回路25、26から与えられるＩピクチャおよびＰピクチャの画像データを択一的に選択出力しFIFO回路33に与える。FIFO回路33は、スイッチ回路32から与えられるＩピクチャまたはＰピクチャの画像データを一時格納し先入れ先出し（first-in first-out）でラスタスキャンデータを形成し得るタイミングで読み出して出力ポート15に出力する。
【００６１】
一方、復号画像変換回路31A は、入力ポート10からＢピクチャの画像データを取り込み、このＢピクチャ画像データに対して画像圧縮・伸張処理を行いラスタスキャンデータにする。そして、このラスタスキャンデータをFIFO回路33から出力されるＩピクチャおよびＰピクチャのラスタスキャンデータと共に出力ポート15に出力する。このように、FIFO回路33と復号画像変換回路31A は、出力ポート15から元の画面順のラスタスキャンデータ出力されるように動作する。
【００６２】
図12は、図11で使用されている復号画像変換回路31A の一例の回路構成図である（第２の実施例）。この図において、表示画像圧縮回路11は、入力ポート10に与えられるＢピクチャ画像データを取り込み、前述の図９のような回路構成で、ハフマン符号化方式を適用して画像圧縮を行い、圧縮データをＢピクチャ用圧縮データ格納メモリ回路13に与える。このＢピクチャ用圧縮データ格納メモリ回路13は、圧縮されたＢピクチャ用圧縮データを格納し、Ｉピクチャ、Ｐピクチャとの関係で適当なタイミングで読み出して表示画像伸張回路14に与える。この表示画像伸張回路14は、Ｂピクチャ用圧縮データ格納メモリ回路13から読み出されたＢピクチャ用圧縮データに対して、前述の図10のような構成によって画像伸張処理を行いラスタスキャンデータを得て出力ポート15に出力する。
【００６３】
以上のように図12に示した復号画像変換回路31A を用いることでマクロブロック／ラスタスキャン（インタレース、ノンインタレース）などの変換処理などを本回路で実現することができるので、従来のようにフレームメモリ回路を３面持つ必要が無くなり、２面のフレームメモリ回路で画像復号処理を行うことができる。これに伴って、フレームメモリ回路は画像復号処理にだけ使用することができるので、従来は１フレーム分の表示時間内に４フレーム分の転送速度が必要であったものが２フレーム分の転送速度で十分となり、従来より１／２のメモリアクセスで画像復号処理を行うことが可能になる。これにより従来よりメモリアクセスのためのメモリバスのビット幅を小さくすることも可能になり、低速アクセスの画像メモリを使用することも可能になる。
【００６４】
また、画像復号処理用に設ける参照フレーム画像を格納するＩピクチャおよびＰピクチャ用の大容量のダイナミックRAM のメモリ空間の一部に、復号画像変換回路31A で使用するＢピクチャ用圧縮データ格納メモリ回路13の格納領域を割り振る場合、復号画像を圧縮して格納するので、従来のように表示用に１フレーム分のメモリ容量を使用していた方式に比較して転送する表示画像データ量並びにダイナミックRAM 内で占有する記憶容量を少なくすることができる。また、ラスタスキャンデータを読み出すときにフレームイメージで水平方向に圧縮がかけられているので、メモリアクセスに時間がかからず、高速に読み出す効果がある。
【００６５】
さらに、図11,12 のような構成および処理工程を採ることで、復号画像変換回路31A でＩピクチャ、Ｐピクチャに対する画像圧縮伸張を行う必要がなく、前述の図７の構成に比べて構成が簡単になる。また、画像圧縮および伸張処理にかかる時間も短縮される。さらに、図11および図12の画像復号処理および復号画像変換を行うプログラムを作成し、このプログラムでコンピュータを動作させて実現することもできる。
【００６６】
なお、以上の例においては、MPEG2 標準化方式に基づいて符号化された画像データを例にして説明したが、MPEG1 や、フレーム画像をブロック化して送る符号化方式であるITU-T 勧告H.261 （デジタル動画像圧縮）や静止画符号化用のJPEG（Joint Photographic Coding Experts Group ）などの符号化方式で符号化された画像データに対しても前述の復号画像変換装置や復号画像変換回路を適用することができる。
【００６７】
【発明の効果】
以上述べたように本発明は、画像復号データをフレームイメージで水平方向に連続する画素データ列に分割し、この水平方向画像データ列に対して画像圧縮処理を行い、圧縮したＩピクチャおよびＰピクチャをＩ・Ｐピクチャ用圧縮画像データ格納手段に格納し、圧縮したＢピクチャをＢピクチャ用圧縮画像データ格納手段に格納し、これらの圧縮したＩピクチャおよびＰピクチャと圧縮したＢピクチャとに対して画像伸張処理を行いラスタスキャンデータにすることで、フレームメモリとしては、画像復号用のＩ、Ｐピクチャ用の２つのフレームメモリを持つだけでよく、２つのフレームメモリは、画像復号処理だけに使用して、１フレームの表示時間内に２フレーム分のアクセスでよく、従来に比べて低速で画像復号処理を行うことができる。したがって、フレームメモリへのアクセスを低減し、メモリバス幅を大きくしなくても簡単な回路構成で復号画像を表示用の画像データ列（ラスタスキャンデータ）に変換することができる。
【図面の簡単な説明】
【図１】本発明の実施例のＩピクチャ、Ｐピクチャ、Ｂピクチャを画像圧縮処理後伸張処理してラスタスキャンデータに変換する復号画像変換回路の構成図である（第１の実施例）。
【図２】従来例のＩピクチャ、Ｂピクチャ、Ｐピクチャなどの３種類のピクチャの符号化を行う場合の処理の順やメディア上の順や表示画像の順などを示す図である。
【図３】従来例のMPEG2 復号化回路の基本構成図である。
【図４】従来例のMPEG復号画像表示装置の構成図である。
【図５】従来例のＩピクチャ、Ｐピクチャ、Ｂピクチャ時の復号、表示時のフレームメモリポインタの推移を示す図である。
【図６】従来例のＩピクチャ、Ｐピクチャ、Ｂピクチャ時の復号、表示時のフレームメモリアクセス回数を示す図である。
【図７】図１の復号画像変換回路と画像復号化回路とを含む復号画像変換装置の構成図である（第１の実施例）。
【図８】本実施例のフレーム画像のマクロブロックの構成図である。
【図９】図１の復号画像変換回路で使用される表示画像圧縮回路の構成図である。
【図１０】図１の復号画像変換回路で使用される表示画像伸張回路の構成図である。
【図１１】Ｂピクチャだけを復号画像変換回路で圧縮処理し、ＩピクチャとＰピクチャとは圧縮処理せずラスタスキャンデータにする復号画像変換装置の構成図である（第２の実施例）。
【図１２】図１１の復号画像変換装置で使用される復号画像変換回路の構成図である。
【符号の説明】
11 表示画像圧縮回路
12 Ｉ・Ｐピクチャ用圧縮データ格納メモリ回路
13 Ｂピクチャ用圧縮データ格納メモリ回路
14 表示画像伸張回路
19 MPEG2 復号化回路
25、26 フレームメモリ回路
31 復号画像変換回路

Claims

ピクチャタイプに応じて画面を並べ替えたフレーム画像を複数の小エリアの画像データに分割して符号化が行われた画像符号化データに対して復号化を行うことにより得られた復号画像データを入力し、前記小エリアの画像データごとにラスタスキャンデータに変換する復号画像変換回路において、該回路は、
前記小エリアの画像データに対応した前記画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、該水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮手段と、
該画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段と、
前記画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを格納する双方向予測符号化ピクチャ用圧縮画像データ格納手段と、
前記フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段および前記双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納されている圧縮画像データを元の画面順に取り込み、画像伸張処理を行い前記ラスタスキャンデータを得る画像伸張手段とを含むことを特徴とする復号画像変換回路。
請求項１に記載の復号画像変換回路において、前記画像圧縮手段は、
前記水平方向画像データ列の隣接する画素間の差分値を求める差分値算出部と、
該差分値の発生頻度に応じた可変長符号を出力する変換部と、
該可変長符号を所定のビット数を単位としたバイトにまとめて圧縮画像データとして出力する圧縮画像データ出力部とを含むことを特徴とする復号画像変換回路。
請求項１に記載の復号画像変換回路において、前記画像圧縮手段は、
前記水平方向画像データ列の隣接する画素間の差分値を求める差分値算出部と、
該差分値の発生頻度に応じた可変長符号を出力する変換部と、
該可変長符号を所定のビット数を単位としたバイトにまとめて圧縮画像データとして出力する圧縮画像データ出力部とを含み、
前記画像伸張手段は、
前記フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段および前記双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納されている画像圧縮データを取り込んで前記可変長符号を検出し、該可変長符号に対応する隣接画素間の差分値を得る逆変換部と、
該差分値から加算演算によって水平方向画像データ列を求め、ラスタスキャンデータを出力する画像伸張データ出力部とを含むことを特徴とする復号画像変換回路。
ピクチャタイプに応じて画面を並べ替えた後量子化および直交変換により符号化された画像符号化データを取り込み、逆量子化および逆直交変換を行うことにより画像データを生成して出力する逆変換手段と、
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを格納する２つの格納領域を含むメモリ手段と、
前記逆変換手段からフレーム内符号化画面の画像データが出力されたとき、該画像データを画像復号データとして出力すると共に前記メモリ手段の格納領域に格納し、前方向予測符号化画面の画像データが出力されたとき、該前方向予測符号化画面の前方に位置するフレーム内符号化画面または前方向予測符号化画面の画像復号データを前記メモリ手段の一方の格納領域から読み出して前記画像データに加算することにより画像復号データを得て出力すると共に前記メモリ手段の他方の格納領域に格納し、ピクチャタイプが双方向予測符号化画面の画像データが出力されたとき、前記メモリ手段の２つの格納領域から画像復号データを読み出して平均値を算出し、該平均値を前記画像データに加算することにより画像復号データを得て出力する加算手段と、
前記加算手段から出力される画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、該水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮手段と、
該画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段と、
前記画像圧縮手段で得られた圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを格納する双方向予測符号化ピクチャ用圧縮画像データ格納手段と、
前記フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段および前記双方向予測符号化ピクチャ用圧縮画像データ格納手段に格納されている圧縮画像データを元の画面順に取り込み、画像伸張処理を行いラスタスキャンデータを得る画像伸張手段とを含むことを特徴とする復号画像変換装置。
請求項４に記載の復号画像変換装置において、前記メモリ手段の２つの格納領域と、前記フレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手段の格納領域と、前記双方向予測符号化ピクチャ用圧縮画像データ格納手段の格納領域とを同一のメモリ空間に割り振ることを特徴とする復号画像変換装置。
ピクチャタイプに応じて画面を並べ替えた後量子化および直交変換により符号化された画像符号化データを取り込み、逆量子化および逆直交変換を行うことにより画像データを生成して出力する逆変換手段と、
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを格納する２つの格納領域を含むメモリ手段と、
前記逆変換手段からフレーム内符号化画面の画像データが出力されたとき、該画像データを画像復号データとして前記メモリ手段の格納領域に格納し、前方向予測符号化画面の画像データが出力されたとき、該前方向予測符号化画面の前方に位置するフレーム内符号化画面または前方向予測符号化画面の画像復号データを前記メモリ手段の一方の格納領域から読み出して前記画像データに加算することにより画像復号データを得て前記メモリ手段の他方の格納領域に格納し、ピクチャタイプが双方向予測符号化画面の画像データが出力されたとき、前記メモリ手段の２つの格納領域から画像復号データを読み出して平均値を算出し、該平均値を前記画像データに加算することにより画像復号データを得て出力する加算手段と、
前記メモリ手段の格納領域に格納されているフレーム内符号化画面または前方向予測符号化画面の画像復号データを選択して読み出し、一時記憶の後ラスタスキャンデータを形成し得るタイミングで読み出してラスタスキャンデータにするタイミング調整手段と、
前記加算手段から出力される双方向予測符号化画面の復号データをラスタスキャンデータにする復号画像変換手段とを含むことを特徴とする復号画像変換装置。
請求項６に記載の復号画像変換装置において、前記タイミング調整手段は、先入れ先出し記憶手段を使用して構成されることを特徴とする復号画像変換装置。
請求項６に記載の復号画像変換装置において、前記復号画像変換手段は、
前記加算手段から出力される双方向予測符号化画面の復号データに対して画像圧縮を行う画像圧縮部と、
該画像圧縮部で画像圧縮された画像データを格納する圧縮画像データ格納部と、
該圧縮画像データ格納部に格納されている圧縮画像データを取り込み、画像伸張処理を行いラスタスキャンデータにする画像伸張部とを含むことを特徴とする復号画像変換装置。
請求項８に記載の復号画像変換装置において、
前記復号画像変換手段の圧縮画像データ格納部の格納領域と前記メモリ手段の格納領域とを同一のメモリ空間に割り振ることを特徴とする復号画像変換装置。
圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを格納する第１の格納手段と、前記圧縮画像データの内、前記ピクチャタイプが双方向予測符号化画面の圧縮画像データを格納する第２の格納手段とを有する復号画像変換回路を使って、前記ピクチャタイプに応じて画面を並べ替えたフレーム画像を複数の小エリアの画像データに分割して符号化が行われた画像符号化データに対して復号化を行うことにより得られた画像復号データに基づき、前記小エリアの画像データごとにラスタスキャンデータに変換する復号画像変換方法において、該方法は、
前記小エリアの画像データに対応した前記画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、該水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮工程と、
該画像圧縮工程で得られた圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを前記第１の格納手段に格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納工程と、
前記画像圧縮工程で得られた圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを前記第２の格納手段に格納する双方向予測符号化ピクチャ用圧縮画像データ格納工程と、
前記第１の格納手段および前記第２の格納手段に格納されている圧縮画像データを元の画面順に読み出し、画像伸張処理を行って前記ラスタスキャンデータを得る画像伸張工程とを含むことを特徴とする復号画像変換方法。
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを格納する２つの格納領域を含むメモリ手段と、前記圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを格納する第１の格納手段と、前記圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを格納する第２の格納手段とを有する復号画像変換装置を使用する復号画像変換方法において、該方法は、
前記ピクチャタイプに応じて画面を並べ替えた後量子化および直交変換により符号化された画像符号化データを取り込み、逆量子化および逆直交変換を行い画像復号データを得る逆変換工程と、
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを前記メモリ手段の２つの格納領域に格納する格納工程と、
前記逆変換工程でフレーム内符号化画面の画像データが得られたとき、該画像データを画像復号データとして出力すると共に前記メモリ手段の格納領域に格納し、前方向予測符号化画面の画像データが得られたとき、該前方向予測符号化画面の前方に位置するフレーム内符号化画面または前方向予測符号化画面の画像復号データを前記メモリ手段の一方の格納領域から読み出して前記画像データに加算することにより画像復号データを得て出力すると共に前記メモリ手段の他方の格納領域に格納し、ピクチャタイプが双方向予測符号化画面の画像データが得られたとき、前記メモリ手段の２つの格納領域から画像復号データを読み出して平均値を算出し、該平均値を前記画像データに加算することにより画像復号データを得て出力する加算工程と、
該加算工程で得られた画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、該水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮工程と、
該画像圧縮工程で得られた圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを前記第１の格納手段に格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納工程と、
前記画像圧縮工程で得られた圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを前記第２の格納手段に格納する双方向予測符号化ピクチャ用圧縮画像データ格納工程と、
前記第１の格納手段および前記第２の格納手段に格納されている圧縮画像データを元の画面順に取り込み、画像伸張処理を行ってラスタスキャンデータを得る画像伸張工程とを含むことを特徴とする復号画像変換方法。
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを格納する２つの格納領域を含むメモリ手段を有する復号画像変換装置を使用する復号画像変換方法において、該方法は、
前記ピクチャタイプに応じて画面を並べ替えた後量子化および直交変換により符号化された画像符号化データを取り込み、逆量子化および逆直交変換を行い画像復号データを得る逆変換工程と、
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを前記メモリ手段の２つの格納領域に格納する格納工程と、
前記逆変換工程でフレーム内符号化画面の画像データが得られたとき、該画像データを画像復号データとして前記メモリ手段の格納領域に格納し、前方向予測符号化画面の画像データが得られたとき、該前方向予測符号化画面の前方に位置するフレーム内符号化画面または前方向予測符号化画面の画像復号データを前記メモリ手段の一方の格納領域から読み出して前記画像データに加算することにより画像復号データを得て前記メモリ手段の他方の格納領域に格納し、ピクチャタイプが双方向予測符号化画面の画像データが得られたとき、前記メモリ手段の２つの格納領域から画像復号データを読み出して平均値を算出し、該平均値を前記画像データに加算することにより画像復号データを得て出力する加算工程と、
前記メモリ手段の格納領域に格納されているフレーム内符号化画面または前方向予測符号化画面の画像復号データを選択して読み出し、一時記憶の後ラスタスキャンデータを形成し得るタイミングで読み出してラスタスキャンデータにするタイミング調整工程と、
前記加算工程で得られた双方向予測符号化画面の復号データをラスタスキャンデータにする復号画像変換工程とを含むことを特徴とする復号画像変換方法。
圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを格納する第１の格納手段と、前記圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを格納する第２の格納手段とを有するコンピュータを使って、前記ピクチャタイプに応じて画面を並べ替えたフレーム画像を複数の小エリアの画像データに分割して符号化が行われた画像符号化データに対して復号化を行うことにより得られた画像復号データに基づき、前記小エリアの画像データごとにラスタスキャンデータに変換する復号画像変換プログラムが記録されたコンピュータ読み取り可能な情報記録媒体において、該復号画像変換プログラムは、
前記小エリアの画像データに対応した前記画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、該水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮手順と、
該画像圧縮手順で得られた圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを前記第１の格納手段に格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手順と、
前記画像圧縮手順で得られた圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを前記第２の格納手段に格納する双方向予測符号化ピクチャ用圧縮画像データ格納手順と、
前記第１の格納手段および前記第２の格納手段に格納されている画像圧縮データを元の画面順に読み出し、画像伸張処理を行って前記ラスタスキャンデータを得る画像伸張手順とを含むことを特徴とする復号画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを格納する２つの格納領域を含むメモリ手段と、前記圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを格納する第１の格納手段と、前記圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを格納する第２の格納手段とを有するコンピュータを使用する復号画像変換プログラムが記録されたコンピュータ読み取り可能な情報記録媒体において、該復号画像変換プログラムは、
前記ピクチャタイプに応じて画面を並べ替えた後量子化および直交変換により符号化された画像符号化データを取り込み、逆量子化および逆直交変換を行い画像復号データを得る逆変換手順と、
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを前記メモリ手段の２つの格納領域に格納する格納手順と、
前記逆変換手順でフレーム内符号化画面の画像データが得られたとき、該画像データを画像復号データとして出力すると共に前記メモリ手段の格納領域に格納し、前方向予測符号化画面の画像データが得られたとき、該前方向予測符号化画面の前方に位置するフレーム内符号化画面または前方向予測符号化画面の画像復号データを前記メモリ手段の一方の格納領域から読み出して前記画像データに加算することにより画像復号データを得て出力すると共に前記メモリ手段の他方の格納領域に格納し、ピクチャタイプが双方向予測符号化画面の画像データが得られたとき、前記メモリ手段の２つの格納領域から画像復号データを読み出して平均値を算出し、該平均値を前記画像データに加算することにより画像復号データを得て出力する加算手順と、
該加算手順で出力された画像復号データをフレームイメージで水平方向に連続する水平方向画素データ列に分割し、該水平方向画像データ列に対して画像圧縮処理を行って圧縮画像データを得る画像圧縮手順と、
該画像圧縮手順で得られた圧縮画像データの内、ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の圧縮画像データを前記第１の格納手段に格納するフレーム内符号化・前方向予測符号化ピクチャ用圧縮画像データ格納手順と、
前記画像圧縮手順で得られた圧縮画像データの内、ピクチャタイプが双方向予測符号化画面の圧縮画像データを前記第２の格納手段に格納する双方向予測符号化ピクチャ用圧縮画像データ格納手順と、
前記第１の格納手段および前記第２の格納手段に格納されている圧縮画像データを元の画面順に取り込み、画像伸張処理を行いラスタスキャンデータを得る画像伸張手順とを含むことを特徴とする復号画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体。
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを格納する２つの格納領域を含むメモリ手段を有するコンピュータを使用する復号画像変換プログラムが記録されたコンピュータ読み取り可能な情報記録媒体において、該復号画像変換プログラムは、
前記ピクチャタイプに応じて画面を並べ替えた後量子化および直交変換により符号化された画像符号化データを取り込み、逆量子化および逆直交変換を行い画像復号データを得る逆変換手順と、
ピクチャタイプがフレーム内符号化画面および前方向予測符号化画面の画像復号データを前記メモリ手段の２つの格納領域に格納する格納手順と、
前記逆変換手順でフレーム内符号化画面の画像データが得られたとき、該画像データを画像復号データとして前記メモリ手段の格納領域に格納し、前方向予測符号化画面の画像データが得られたとき、該前方向予測符号化画面の前方に位置するフレーム内符号化画面または前方向予測符号化画面の画像復号データを前記メモリ手段の一方の格納領域から読み出して前記画像データに加算することにより画像復号データを得て前記メモリ手段の他方の格納領域に格納し、ピクチャタイプが双方向予測符号化画面の画像データが得られたとき、前記メモリ手段の２つの格納領域から画像復号データを読み出して平均値を算出し、該平均値を前記画像データに加算することにより画像復号データを得て出力する加算手順と、
前記メモリ手段の格納領域に格納されているフレーム内符号化画面または前方向予測符号化画面の画像復号データを選択して読み出し、一時記憶の後ラスタスキャンデータを形成し得るタイミングで読み出してラスタスキャンデータにするタイミング調整手順と、
前記加算手順で出力された双方向予測符号化画面の復号データをラスタスキャンデータにする復号画像変換手順とを含むことを特徴とする復号画像変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体。