JP4209631B2 - 符号化装置、復号化装置、及び、圧縮伸長システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データを圧縮して、フレーム単位で記憶する符号化装置、復号化装置及びその関連技術に関する。
【０００２】
【従来の技術】
国際標準であるＭＰＥＧ−４あるいはＨ．２６３などの動画像圧縮符号化方式で、動画像データを符号化する際には、フレーム内の空間的相関を利用した圧縮の他に、フレーム間の時間的相関を利用した圧縮を行う。
【０００３】
フレーム間の時間的相関を利用する場合、符号化対象フレームの直前に符号化したフレームを参照して動き補償を行い、動き補償により得た予測フレームと符号化対象フレームとの差分データを圧縮して符号化する。
【０００４】
従って、上記した動画像圧縮符号化方式で動画像データの圧縮を行う動画像符号化装置、及び、上記した動画像圧縮符号化方式で圧縮された動画像データの復号を行う動画像復号化装置、においては、参照するフレームを記憶するためのフレームメモリが必要となる。
【０００５】
また、このような、動画像符号化装置、及び、動画像復号化装置、において、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）と呼ばれる、前方フレームと後方フレームとの双方向から予測して動き補償を行うフレームを用いる場合には、入力される画像データと出力する画像データとでフレームの順番が異なる。このため、さらに並べ替えのためのフレームメモリが必要となる。
【０００６】
一般に、画像のデータ量は大きく、このため、フレームメモリの容量も大きい。従って、フレームメモリの容量を削減できる様々な技術が提案されている。
【０００７】
フレームメモリの容量を削減できる従来の復号化装置としては、例えば、特開平９−２４７６７３号公報に開示された動画像復号化装置、又は、特開平９−２６１６３５号公報に開示された動画像復号化装置、などがある。
【０００８】
まず、特開平９−２４７６７３号公報に開示された動画像復号化装置について、図面を用いて説明する。
【０００９】
図１６は、従来の動画像復号化装置のブロック図である。図１６に示すように、この従来の動画像復号化装置は、可変長復号化回路９００、逆量子化回路９１０、逆直交変換回路９２０、加算器９３０、画像データ記憶部９４０、及び、動き補償回路９５０、を具備する。
【００１０】
画像データ記憶部９４０は、圧縮回路９４１、フレームメモリ９４２、及び、伸長回路９４３、を含む。
【００１１】
さて、次に、図１６の従来の動画像復号化装置における処理の流れを説明する。可変長復号化回路９００は、入力される動画像符号化データに対して可変長復号化処理を施して、逆量子化回路９１０に出力する。
【００１２】
逆量子化回路９１０は、入力された画像データに対して逆量子化処理を施して、逆直交変換回路９２０に出力する。
【００１３】
逆直交変換回路９２０は、入力された画像データがフレーム間圧縮された画像データである場合は、逆直交変換処理を施した画像データを、加算器９３０に出力する。
【００１４】
一方、入力された画像データがフレーム間圧縮された画像データでない場合は、逆直交変換回路９２０は、逆直交変換処理を施した画像データを、復号した動画像データとして、外部及び画像データ記憶部９４０に出力する。
【００１５】
さて、加算器９３０は、動き補償回路９５０から入力される動き補償済みの画像データと、逆直交変換回路９２０から入力される画像データである差分データと、を加算して、その加算結果を、復号化した動画像データとして、外部及び画像データ記憶部９４０に出力する。
【００１６】
画像データ記憶部９４０は、逆直交変換回路９２０から入力された画像データ、及び、加算器９３０から入力された画像データ、を次のフレームの復号化処理における参照フレームの画像データとして記憶する。この点は、後で詳しく説明する。
【００１７】
動き補償回路９５０は、可変長復号化回路９００から復号して入力される動きベクトルと、画像データ記憶部９４０から入力される参照フレームの画像データと、を受け取り、動き補償を行い、加算器９３０に出力する。
【００１８】
さて、次に、画像データ記憶部９４０の詳細を説明する。画像データ記憶部９４０では、圧縮回路９４１は、フレームメモリ９４２の記憶容量を削減するために、加算器９３０から入力される参照フレームの画像データ、及び、逆直交変換回路９２０から入力さる参照フレームの画像データ、を圧縮する。
【００１９】
フレームメモリ９４２は、圧縮された参照フレームの画像データを記憶する。伸長回路９４３は、圧縮手段９４１により圧縮されて、フレームメモリ９４２に記憶された参照フレームの画像データを伸長して、動き補償回路９５０へ出力する。
【００２０】
さて、次に、特開平９−２６１６３５号公報に開示された従来の動画像復号化装置について、簡単に説明する。
【００２１】
この従来の動画像復号化装置は、復号した画像を圧縮して、フレームメモリに蓄積するデータ圧縮回路と、データ圧縮回路による圧縮データを伸長するデータ伸長回路と、を具備する。
【００２２】
このようにして、参照画像の記憶と復号画像の並べ替えのために必要なフレームメモリの容量を削減できるようにしている。
【００２３】
【発明が解決しようとする課題】
さて、現在、低ビットレート環境下においても高画質の動画像通信を可能とすることを目的としたＨ．２６Ｌと呼ばれる動画像圧縮符号化方式の国際標準規格の策定が行われている。
【００２４】
このＨ．２６Ｌでは、前方向予測に用いる参照フレームとして、直前のフレームだけでなく、複数のフレームの中から１枚のフレームを選択して使用可能とすることが検討されている。
【００２５】
このように、参照フレームとして複数のフレームを使用する動画像符号化装置又は動画像復号化装置においては、画像データ記憶部９４０のフレームメモリ９４２が記憶する参照フレームのデータ量がさらに大きくなる。
【００２６】
このため、参照フレームとして１つのフレームを使用する場合よりも、画像データ記憶部９４０のフレームメモリ９４２の記憶容量の削減の必要性がより大きくなる。
【００２７】
つまり、画像データ記憶部のフレームメモリの記憶容量を削減することを目的とした従来の動画像復号化装置よりも、より画像データ記憶部９４０のフレームメモリ９４２の記憶容量を削減できる技術が求められる。
【００２８】
また、参照フレームとして複数のフレームを使用できる場合において、従来の動画像復号化装置の画像データ記憶部９４０を適用して、複数の参照フレームを一様に圧縮したのでは、圧縮及び伸長のための処理量が増加する。
【００２９】
そこで、本発明は、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる符号化装置、復号化装置及びその関連技術を提供することを目的とする。
【００３０】
【００３１】
【課題を解決するための手段】
本発明に係る符号化装置又は復号化装置に備えられる画像データ記憶装置では、画像データを圧縮する圧縮手段と、複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、圧縮手段に対応して設けられ、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する第２の記憶手段と、圧縮手段により圧縮されて、第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備える。
【００３２】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第１の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第２の記憶手段に記憶させることができる。
【００３３】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【００３４】
また、使用頻度が低いフレームの画像データは、圧縮して第２の記憶手段に記憶させることで、記憶容量の削減を図ることができる。
【００３５】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。
【００３６】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【００３７】
本発明に係る符号化装置又は復号化装置に備えられる画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第２の記憶手段と、圧縮手段により圧縮されて、第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮率は、互いに異なる。
【００３８】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第１の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第２の記憶手段に記憶させることができる。
【００３９】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【００４０】
また、画像処理の際の使用頻度が低くなるに従って、より大きい圧縮率の圧縮手段で画像データを圧縮して、対応する第２の記憶手段に記憶させることで、記憶容量の削減を一層効果的に図ることができる。
【００４１】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した一層適切な記憶形態を選択できる。
【００４２】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【００４３】
本発明の符号化装置又は復号化装置に備えられる画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第２の記憶手段と、圧縮手段により圧縮されて、第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮方式は、互いに異なる。
【００４４】
この構成によれば、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【００４５】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【００４６】
【発明の実施の形態】
第１の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データを圧縮する圧縮手段と、複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、圧縮手段に対応して設けられ、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する第２の記憶手段と、圧縮手段により圧縮されて、第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備える。
【００４７】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第１の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第２の記憶手段に記憶させることができる。
【００４８】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【００４９】
また、使用頻度が低いフレームの画像データは、圧縮して第２の記憶手段に記憶させることで、記憶容量の削減を図ることができる。
【００５０】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。
【００５１】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【００５２】
第２の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第２の記憶手段と、圧縮手段により圧縮されて、第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮率は、互いに異なる。
【００５３】
この構成によれば、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずに第１の記憶手段に記憶させ、使用頻度が低いフレームの画像データは、圧縮して第２の記憶手段に記憶させることができる。
【００５４】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【００５５】
また、画像処理の際の使用頻度が低くなるに従って、より大きい圧縮率の圧縮手段で画像データを圧縮して、対応する第２の記憶手段に記憶させることで、記憶容量の削減を一層効果的に図ることができる。
【００５６】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した一層適切な記憶形態を選択できる。
【００５７】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【００５８】
第３の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、予め定められた単数又は複数の圧縮手段は、可逆圧縮を実行し、他の圧縮手段は、非可逆圧縮を実行する。
【００５９】
この構成によれば、使用頻度が高い画像データは、圧縮せずに第１の記憶手段に記憶させ、使用頻度が低い画像データは、可逆圧縮して第２の画像データ記憶手段に記憶させ、さらに使用頻度が低い画像データは、非可逆圧縮して第２の記憶手段に記憶させることができる。
【００６０】
あるいは、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮して決定した優先順位に従って、優先順位が高い画像データは、圧縮せずに第１の記憶手段に記憶させ、優先順位が低い画像データは、可逆圧縮して第２の画像データ記憶手段に記憶させ、さらに優先順位が低い画像データは、非可逆圧縮して第２の記憶手段に記憶させることができる。
【００６１】
このように、複数のフレームの画像データを記憶する画像データ記憶装置において、より一層適切な記憶形態を選択することができるため、処理量の増加の抑制を考慮した記憶容量の削減をより一層効果的に図ることができる。
【００６２】
第４の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データ伸長手段は、複数の圧縮手段に対応して設けられる複数の伸長手段を含み、伸長手段は、対応する圧縮手段により圧縮されて、対応する第２の記憶手段に記憶された画像データを伸長する。
【００６３】
この構成によれば、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【００６４】
第５の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段は、画素データを間引くことによって、画像データを圧縮し、画像データ伸長手段は、画素データを補間することによって、圧縮手段により圧縮された画像データを伸長する。
【００６５】
この構成によれば、画像データの圧縮処理及び伸長処理を高速に行うことができる。なぜなら、間引き処理及び補間処理は、比較的簡単な処理だからである。
【００６６】
また、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。なぜなら、第２の記憶手段には、間引きにより圧縮した画像データが記憶されているからである。
【００６７】
従って、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させる際の処理を高速に行うことができる。
【００６８】
また、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第２の記憶手段で共有できる。なぜなら、圧縮処理は間引きにより行われ、これに応じて、伸長処理は補間により行われるからである。
従って、回路規模の削減を図ることができる。
【００６９】
第６の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段は、画像データに対してウェーブレット変換を施すことによって得られた周波数領域成分からなる複数のブロックから、予め定められたブロックを削減することによって、画像データを圧縮し、画像データ伸長手段は、圧縮手段により圧縮された画像データに対して、圧縮により削除された予め定められたブロックを予め定められたデータで補間し、逆ウェーブレット変換を施すことによって、圧縮手段により圧縮された画像データを伸長する。
【００７０】
この構成によれば、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。なぜなら、第２の記憶手段には、ウェーブレット変換により得られた周波数領域成分からなるブロックが記憶されるからである。
【００７１】
従って、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させる際の処理を高速に行うことができる。
【００７２】
また、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第２の記憶手段で共有できる。なぜなら、圧縮処理は、ウェーブレット変換、及び、周波数領域成分からなるブロックの削除、により行われ、これに応じて、伸長処理は、周波数領域成分からなるブロックの補間、及び、逆ウェーブレット変換、により行われるからである。
従って、回路規模の削減を図ることができる。
【００７３】
また、人間の視覚にとっては、画像データの高周波領域成分よりも低周波領域成分が重要となるため、圧縮手段による圧縮の際に、高周波領域成分から削除することにすれば、人間の視覚に重要な低周波領域成分が残って、伸長後の画像データを使用した画像処理後の画像の画質の劣化を軽減できる。
【００７４】
第７の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第１の記憶手段、第２の記憶手段、圧縮手段、及び、画像データ伸長手段、に対して、第１の記憶手段及び第２の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える。
【００７５】
この構成によれば、第１の記憶手段及び第２の記憶手段が記憶している画像データの更新が可能となる。
【００７６】
第８の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第１の記憶手段、第２の記憶手段、及び、圧縮手段、に対して、第１の記憶手段及び第２の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える。
【００７７】
この構成によれば、第１の記憶手段及び第２の記憶手段が記憶している画像データの更新が可能となる。
【００７８】
また、更新処理で画像データ伸長手段を使用しないため、更新処理の高速化が可能となる。
【００７９】
第９の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段は、ｍ×ｎ（ｍ、ｎは自然数）画素のブロック単位で圧縮を行い、画像データ伸長手段は、ｍ×ｎ（ｍ、ｎは自然数）画素のブロック単位で伸長を行う。
【００８０】
この構成によれば、フレーム単位の画像データを記憶する第１の記憶手段又は第２の記憶手段から、画像データを、ｍ×ｎ画素のブロック単位で読み出すことができる。
【００８１】
第１０の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データを圧縮する複数の圧縮手段と、単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、複数の圧縮手段に対応して設けられ、各々が、対応する圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第２の記憶手段と、圧縮手段により圧縮されて、第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、圧縮手段の各々の圧縮方式は、互いに異なる。
【００８２】
この構成によれば、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【００８３】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【００８４】
第１１の発明に係る符号化装置では、第１の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた符号化を施す。
【００８５】
この構成によれば、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【００８６】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【００８７】
第１２の発明に係る符号化装置では、現在の符号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の符号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の符号化対象であるフレームを含むグループは、少なくとも１枚の参照フレームを含み、画像データ記憶装置の圧縮手段は、参照フレームのみからなるグループに対応して設けられ、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第１の記憶手段は、現在の符号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の第２の記憶手段は、参照フレームのみからなるグループに対応して設けられ、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶する。
【００８８】
この構成によれば、現在の符号化対象であるフレームに時間的に近い参照フレームは圧縮せずに記憶され、現在の符号化対象であるフレームに時間的に遠い参照フレームは圧縮して記憶される。
【００８９】
つまり、使用頻度が高い参照フレームの画像データは圧縮せずに記憶され、使用頻度が低い参照フレームの画像データは圧縮されて記憶される。
【００９０】
従って、使用頻度が低い参照フレームには、少ない記憶領域を割り当てることができる。
【００９１】
このように、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【００９２】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【００９３】
第１３の発明に係る符号化装置では、第２の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた符号化を施す。
【００９４】
この構成によれば、複数のフレームを符号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【００９５】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【００９６】
第１４の発明に係る符号化装置では、現在の符号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の符号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の符号化対象であるフレームを含むグループは、現在の符号化対象であるフレームのみからなり、又は、現在の符号化対象であるフレーム及び参照フレームからなり、画像データ記憶装置の複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第１の記憶手段は、現在の符号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の複数の第２の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、第２の記憶手段の各々は、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、現在の符号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する圧縮手段の圧縮率より大きい。
【００９７】
この構成によれば、参照フレームについては、現在の符号化対象であるフレームに時間的に遠くなるに従って、高い圧縮率で圧縮されて記憶される。
【００９８】
つまり、参照フレームについては、使用頻度が低くなるに従って、高い圧縮率で圧縮されて記憶される。
【００９９】
従って、使用頻度が低くなるに従って、１枚の参照フレームに割り当てる記憶領域を、グループ単位で段階的に少なくすることができる。
【０１００】
このように、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【０１０１】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０１０２】
第１５の発明に係る復号化装置では、第１の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた復号化を実行する。
【０１０３】
この構成によれば、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【０１０４】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０１０５】
第１６の発明に係る復号化装置では、現在の復号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の復号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の復号化対象であるフレームを含むグループは、少なくとも１枚の参照フレームを含み、画像データ記憶装置の圧縮手段は、参照フレームのみからなるグループに対応して設けられ、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第１の記憶手段は、現在の復号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の第２の記憶手段は、参照フレームのみからなるグループに対応して設けられ、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶する。
【０１０６】
この構成によれば、現在の復号化対象であるフレームに時間的に近い参照フレームは圧縮せずに記憶され、現在の復号化対象であるフレームに時間的に遠い参照フレームは圧縮して記憶される。
【０１０７】
つまり、使用頻度が高い参照フレームの画像データは圧縮せずに記憶され、使用頻度が低い参照フレームの画像データは圧縮されて記憶される。
【０１０８】
従って、使用頻度が低い参照フレームには、少ない記憶領域を割り当てることができる。
【０１０９】
このように、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【０１１０】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０１１１】
第１７の発明に係る復号化装置では、第２の発明に係る画像データ記憶装置を備え、画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた復号化を実行する。
【０１１２】
この構成によれば、複数のフレームを復号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【０１１３】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０１１４】
第１８の発明に係る復号化装置では、現在の復号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、現在の復号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、過去のフレームは、画面間予測を実行する際の参照フレームであり、現在の復号化対象であるフレームを含むグループは、現在の復号化対象であるフレームのみからなり、又は、現在の復号化対象であるフレーム及び参照フレームからなり、画像データ記憶装置の複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、画像データ記憶装置の第１の記憶手段は、現在の復号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、画像データ記憶装置の複数の第２の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、第２の記憶手段の各々は、対応する圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、現在の復号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する圧縮手段の圧縮率より大きい。
【０１１５】
この構成によれば、参照フレームについては、現在の復号化の対象であるフレームに時間的に遠くなるに従って、高い圧縮率で圧縮されて記憶される。
【０１１６】
つまり、参照フレームについては、使用頻度が低くなるに従って、高い圧縮率で圧縮されて記憶される。
【０１１７】
従って、使用頻度が低くなるに従って、１枚の参照フレームに割り当てる記憶領域を、グループ単位で段階的に少なくすることができる。
【０１１８】
このように、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【０１１９】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０１２０】
第１９の発明に係る圧縮伸長システムでは、第１１の発明に係る符号化装置と、第１５ の発明に係る復号化装置と、を備え、符号化装置は、画像データ記憶装置による画像データの圧縮に関する情報と、符号化が施された画像データと、を多重化し、多重化データを生成する多重化手段をさらに備え、復号化装置は、受け取った多重化データを、圧縮に関する情報と、符号化された画像データと、に分離する分離手段をさらに備える。
【０１２１】
この構成によれば、復号化装置の画像データ記憶装置は、符号化装置の画像データ記憶装置で用いた圧縮に関する情報を用いて、圧縮及び伸長ができる。
【０１２２】
このため、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【０１２３】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【０１２４】
第２０の発明に係る圧縮伸長システムでは、第１３の発明に係る符号化装置と、第１７の発明に係る復号化装置と、を備え、符号化装置は、画像データ記憶装置による画像データの圧縮に関する情報と、符号化が施された画像データと、を多重化し、多重化データを生成する多重化手段をさらに備え、復号化装置は、受け取った多重化データを、圧縮に関する情報と、符号化された画像データと、に分離する分離手段をさらに備える。
【０１２５】
この構成によれば、復号化装置の画像データ記憶装置は、符号化装置の画像データ記憶装置で用いた圧縮に関する情報を用いて、圧縮及び伸長ができる。
【０１２６】
このため、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【０１２７】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【０１２８】
以下、図面を参照して本発明の実施の形態を説明する。
（実施の形態１）
【０１２９】
図１は、本発明の実施の形態１における画像データ記憶装置のブロック図である。
【０１３０】
図１に示すように、この画像データ記憶装置は、画像データ圧縮手段１、画像データ記憶手段２、画像データ伸長手段３、及び、制御手段４、を具備する。
【０１３１】
画像データ圧縮手段１は、Ｉ個（「Ｉ」は１以上の整数）の圧縮回路Ａ１、Ａ２、…、ＡＩを含む。
【０１３２】
ここで、圧縮回路Ａ１、Ａ２、…、ＡＩを包括的に表現するときは、圧縮回路Ａｉとする。
【０１３３】
画像データ記憶手段２は、Ｊ個（「Ｊ」は１以上の整数）のフレームメモリＭ１、Ｍ２、…、ＭＪを含む。
【０１３４】
ここで、フレームメモリＭ１、Ｍ２、…、ＭＪを包括的に表現するときは、フレームメモリＭｊとする。
【０１３５】
画像データ伸長手段３は、Ｉ個（「Ｉ」は１以上の整数）の伸長回路Ｂ１、Ｂ２、…、ＢＩを含む。この伸長回路Ｂ１、Ｂ２、…、ＢＩは、圧縮回路Ａ１、Ａ２、…、ＡＩに対応して設けられる。
【０１３６】
ここで、伸長回路Ｂ１、Ｂ２、…、ＢＩを包括的に表現するときは、伸長回路Ｂｉとする。
【０１３７】
制御手段４は、メモリ制御手段４１、及び、制御回路４２、を含む。
【０１３８】
さて、まず、図１に示した画像データ記憶装置の動作を簡単に説明する。
データバス５は、画像データ記憶装置の外部またはデータバス８から入力される画像データを入力とする。
【０１３９】
そして、データバス５は、入力した画像データを、画像データ圧縮手段１の圧縮回路Ａｉまたはデータバス６へ出力する。
【０１４０】
画像データ圧縮手段１の圧縮回路Ａｉは、入力される画像データを圧縮する。データバス６は、データバス５または画像データ圧縮手段１の圧縮回路Ａｉが出力する画像データを入力とする。
【０１４１】
そして、データバス６は、入力された画像データを、画像データ記憶手段２のフレームメモリＭｊへ出力する。
【０１４２】
画像データ記憶手段３のフレームメモリＭｊは、データバス６から入力される画像データをフレーム単位で記憶する。
【０１４３】
データバス７は、画像データ記憶手段２のフレームメモリＭｊが出力する画像データを入力とする。
【０１４４】
そして、データバス７は、入力された画像データを、データバス８または画像データ伸長手段３の伸長回路Ｂｉへ出力する。
【０１４５】
画像データ伸長手段３の伸長回路Ｂｉは、入力される画像データを伸長する。データバス８は、画像データ伸長手段３の伸長回路Ｂｉまたはデータバス７が出力する画像データを入力とする。
【０１４６】
そして、データバス８は、入力された画像データを、画像データ記憶装置の外部またはデータバス５へ出力する。
【０１４７】
制御手段４は、画像データ記憶装置の外部から入力される制御信号Ｓに基づき、画像データ圧縮手段１、画像データ記憶手段２、及び、画像データ伸長手段３、を制御する。
【０１４８】
次に、図１の画像データ記憶装置の動作を詳細に説明する。
画像データが、１６×１６画素のマクロブロック単位で、画像データ記憶装置の外部からデータバス５に入力される。
【０１４９】
一方、画像データ記憶手段２に画像データを記憶する際の記憶形態が、制御手段４に対して、外部から入力される制御信号Ｓによって指定される。
【０１５０】
この記憶形態には、画像データを圧縮せずに記憶する形態、及び、画像データを圧縮して記憶する形態、がある。
【０１５１】
さらに、画像データを圧縮して記憶する形態には、圧縮回路Ａ１で圧縮して記憶する形態、圧縮回路Ａ２で圧縮して記憶する形態、…、圧縮回路ＡＩで圧縮して記憶する形態、というＩ個の形態がある。
【０１５２】
なお、制御信号Ｓによる記憶形態の指定は、フレーム単位で行われる。
【０１５３】
さて、記憶形態が画像データを圧縮せずに記憶する形態である旨の制御信号Ｓを受けた制御手段４では、制御回路４２が、データバス５を制御して、データバス５に入力された画像データを、データバス６へ与える。
【０１５４】
一方、圧縮回路Ａｉを指定して、記憶形態が画像データを圧縮して記憶する形態である旨の制御信号Ｓを受けた制御手段４では、制御回路４２が、データバス５を制御して、データバス５に入力された画像データを、制御信号Ｓにより指定された圧縮回路Ａｉへ与える。
【０１５５】
そして、その圧縮回路Ａｉは、制御回路４２の指示に従って、データバス５から入力された画像データを圧縮し、データバス６へ出力する。
【０１５６】
圧縮に際しては、圧縮回路Ａｉと制御回路４２との間で、圧縮時におけるパラメータ（以下、「圧縮パラメータ」と呼ぶ。）、圧縮開始・終了等の制御信号、及び、符号ビット数等の圧縮情報、が取り交わされる。
【０１５７】
圧縮回路Ａ１〜ＡＩの各々は、圧縮した画像データの１フレーム当たりのデータ量が、圧縮回路Ａｉの相互間で異なるような、圧縮方式及び圧縮率を備えている。
【０１５８】
つまり、圧縮回路Ａ１〜ＡＩの各々の圧縮率は、互いに異なっている。なお、圧縮回路Ａ１〜ＡＩの各々の圧縮率が、互いに異なっていればよく、圧縮方式は、同じでも、異なっていてもよい。
【０１５９】
圧縮回路Ａｉが備える圧縮方式としては、例えば、画面内の空間的相関を利用して隣接画素の差分データをエントロピー符号化する方式、ＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）等の直交変換を施して周波数変換し量子化後のデータをエントロピー符号化する方式、ウェーブレット変換等のサブバンド符号化方式、又は、一定の間隔でダウンサンプリングすることで間引きを行う方式、などがある。
【０１６０】
さて、データバス５から直接データバス６へ入力された圧縮されていない画像データ、及び、圧縮回路Ａｉからデータバス６に入力された圧縮された画像データ、はフレームメモリＭ１〜ＭＪのうちのいずれかに書き込まれる。
【０１６１】
フレームメモリＭｊへの画像データの書き込みの際には、メモリ制御手段４１は、画像データの書き込みを行うフレームメモリＭｊと、書き込みを行うフレームメモリＭｊにおけるアドレスと、を指定する。
【０１６２】
また、メモリ制御手段４１は、画像データ記憶手段２に記憶されている画像データを、マクロブロック単位で任意に外部へ出力できるように、フレームメモリＭｊへの画像データの記憶に関する情報（以下、「記憶関連情報」と呼ぶ。）を保持する。
【０１６３】
図２は、メモリ制御手段４１が保持する第１の記憶関連情報の説明図である。図２に示すように、第１の記憶関連情報は、フレームメモリＭ１〜ＭＪの各々に対して、記憶しているフレームの番号、記憶形態、及び、伸長時に必要な圧縮パラメータ、を関連づけたものである。
【０１６４】
図２のフレームメモリの欄の「Ｍ１〜ＭＪ」は、図１のフレームメモリＭ１〜ＭＪに付した符号Ｍ１〜ＭＪと対応している。
【０１６５】
フレーム番号の欄には、各フレームメモリＭ１〜ＭＪが記憶ているフレームの識別番号を記載している。
【０１６６】
記憶形態の欄に示している「Ａ０」は、記憶形態が圧縮せずに記憶する形態であることを示している。
【０１６７】
記憶形態の欄に示している「Ａ１〜ＡＩ」は、図１の圧縮回路Ａ１〜ＡＩに付した符号Ａ１〜ＡＩと対応しており、例えば、記憶形態の欄の「Ａ１」は、記憶形態が圧縮回路Ａ１により圧縮して記憶する形態であることを示している。
【０１６８】
圧縮パラメータの欄には、各圧縮回路Ａ１〜ＡＩにおける圧縮パラメータ（圧縮時に用いたパラメータ）を記載している。
【０１６９】
図３は、メモリ制御手段４１が保持する第２の記憶関連情報の説明図である。メモリ制御手段４１は、図３に示すような第２の記憶関連情報を、フレームメモリＭ１〜ＭＪごとに保持する。
【０１７０】
図３に示すように、第２の記憶関連情報は、記憶しているフレームのマクロブロックの番号に対して、そのマクロブロックの番号の画像データが記憶されている記憶領域の先頭アドレスを関連づけたものである。
【０１７１】
なお、図３のマクロブロックの番号の欄の「Ｋ」は、１フレームに含まれるマクロブロックの数を表す。
【０１７２】
ここまでは、画像データをフレームメモリＭｊに書き込む際の説明である。フレームメモリＭｊから画像データを読み出すときには、読み出すべきマクロブロックが属するフレームの番号を表す情報及び読み出すべきマクロブロックの番号を表す情報、が外部から制御手段４に制御信号Ｓとして与えられる。
【０１７３】
そして、メモリ制御手段４１は、第１の記憶関連情報（図２）を参照して、読み出すべきマクロブロックが属するフレームの番号から、読み出すべきマクロブロックの属するフレームが記憶されているフレームメモリＭｊを特定する。
【０１７４】
さらに、メモリ制御手段４１は、第２の記憶関連情報（図３）を参照して、読み出すべきマクロブロックの番号から、読み出すべきマクロブロックの画像データが記憶されている記憶領域の先頭アドレスを特定する。
【０１７５】
そして、メモリ制御手段４１は、該当するフレームメモリＭｊに対して、該当する記憶領域から、読み出すべきマクロブロックの画像データをデータバス７に出力するように指示する。
【０１７６】
この指示を受けたフレームメモリＭｊは、該当する記憶領域から、読み出すべきマクロブロックの画像データをデータバス７に出力する。
【０１７７】
データバス７に入力された読み出すべきマクロブロックの画像データが圧縮されていない場合は、その画像データは、データバス８に直接出力される。
【０１７８】
一方、データバス７に入力された読み出すべきマクロブロックの画像データが圧縮されている場合は、メモリ制御手段４１は、第１の記憶関連情報（図２）を参照して、読み出すべきマクロブロックが属するフレームの番号から、その画像データの記憶形態を特定する。
【０１７９】
さらに、メモリ制御手段４１は、特定した記憶形態から、その画像データを圧縮した圧縮回路Ａｉを特定する。
【０１８０】
そして、制御回路４２は、データバス７を制御して、メモリ制御手段４１が特定した圧縮回路Ａｉに対応する伸長回路Ｂｉに対して、データバス７に入力された読み出すべきマクロブロックの画像データを出力する。
【０１８１】
メモリ制御手段４１が特定した圧縮回路Ａｉに対応する伸長回路Ｂｉは、メモリ制御手段４１から、第１の記憶関連情報の圧縮パラメータを受け取り、この圧縮パラメータに基づいて、データバス７から入力した読み出すべきマクロブロックの画像データを伸長する。伸長されたその画像データは、データバス８へ出力される。
【０１８２】
さて、データバス８に入力された読み出すべきマクロブロックの画像データは、順次外部へ出力される。
【０１８３】
なお、Ｉ個の伸長回路Ｂ１〜ＢＩとＩ個の圧縮回路Ａ１〜ＡＩと、は１対１に対応しており、伸長回路Ｂｉは対応する圧縮回路Ａｉが圧縮した画像データを伸長する。
【０１８４】
つまり、伸長回路Ｂｉは、対応する圧縮回路Ａｉに対応する伸長方式を備える。
【０１８５】
さて、外部からの制御信号Ｓによって、制御手段４に対して、画像データ記憶手段２に記憶している画像データの記憶形態を変更する指示があった場合には、次のような処理が行われる。
【０１８６】
この場合、新たな記憶形態を表す情報、記憶形態を変更すべきマクロブロックが属するフレームの番号を表す情報及び記憶形態を変更すべきマクロブロックの番号を表す情報、が外部から制御手段４に制御信号Ｓとして与えられる。
【０１８７】
そして、メモリ制御手段４１は、第１の記憶関連情報（図２）を参照して、記憶形態を変更すべきマクロブロックが属するフレームの番号から、記憶形態を変更すべきマクロブロックの属するフレームが記憶されているフレームメモリＭｊを特定する。
【０１８８】
さらに、メモリ制御手段４１は、第２の記憶関連情報（図３）を参照して、記憶形態を変更すべきマクロブロックの番号から、記憶形態を変更すべきマクロブロックの画像データが記憶されている記憶領域の先頭アドレスを特定する。
【０１８９】
そして、メモリ制御手段４１は、該当するフレームメモリＭｊに対して、該当する記憶領域から、記憶形態を変更すべきマクロブロックの画像データをデータバス７に出力するように指示する。
【０１９０】
この指示を受けたフレームメモリＭｊは、該当する記憶領域から、記憶形態を変更すべきマクロブロックの画像データをデータバス７に出力する。
【０１９１】
データバス７に入力された記憶形態を変更すべきマクロブロックの画像データが圧縮されていない場合は、その画像データは、データバス８に直接出力される。
【０１９２】
一方、データバス７に入力された記憶形態を変更すべきマクロブロックの画像データが圧縮されている場合は、メモリ制御手段４１は、第１の記憶関連情報（図２）を参照して、記憶形態を変更すべきマクロブロックが属するフレームの番号から、その画像データの記憶形態を特定する。
【０１９３】
さらに、メモリ制御手段４１は、特定した記憶形態から、その画像データを圧縮した圧縮回路Ａｉを特定する。
【０１９４】
そして、制御回路４２は、データバス７を制御して、メモリ制御手段４１が特定した圧縮回路Ａｉに対応する伸長回路Ｂｉに対して、データバス７に入力された記憶形態を変更すべきマクロブロックの画像データを出力する。
【０１９５】
メモリ制御手段４１が特定した圧縮回路Ａｉに対応する伸長回路Ｂｉは、メモリ制御手段４１から、第１の記憶関連情報の圧縮パラメータを受け取り、この圧縮パラメータに基づいて、データバス７から入力した記憶形態を変更すべきマクロブロックの画像データを伸長する。伸長されたその画像データは、データバス８へ出力される。
【０１９６】
さて、制御回路４２は、データバス８へ入力された記憶形態を変更すべきマクロブロックの画像データをデータバス５へ出力する。
【０１９７】
さらに、制御回路４２は、データバス５を制御して、データバス５に入力された記憶形態を変更すべきマクロブロックの画像データを、新たな記憶形態に対応する圧縮回路Ａｉへ与える。
【０１９８】
そして、その圧縮回路Ａｉは、制御回路４２の指示に従って、データバス５から入力された記憶形態を変更すべきマクロブロックの画像データを圧縮し、データバス６へ出力する。
【０１９９】
制御回路４２は、第１の記憶関連情報（図２）を参照して、新たな記憶形態に関する情報から、記憶形態を変更すべきマクロブロックの画像データを記憶するフレームメモリＭｊを特定する。
【０２００】
そして、制御回路４２は、データバス６を制御して、データバス６へ入力された記憶形態を変更すべきマクロブロックの画像データを、特定したフレームメモリＭｊに与える。
【０２０１】
そして、そのフレームメモリＭｊは、データバス６から入力された記憶形態を変更すべきマクロブロックの画像データを記憶する。以上のようにして、記憶形態の変更が実行される。
【０２０２】
さて、本実施の形態において、Ｉ（圧縮回路Ａｉ及び伸長回路Ｂｉの数）＝１、Ｊ（フレームメモリＭｊの数）＝２、として、圧縮しない画像データを記憶するフレームメモリＭ１が、複数枚のフレームの画像データを記憶するとする。
【０２０３】
この場合は、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずにフレームメモリＭ１に記憶させ、使用頻度が低いフレームの画像データは、圧縮してフレームメモリＭ２に記憶させることができる。
【０２０４】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【０２０５】
また、使用頻度が低いフレームの画像データは、圧縮してフレームメモリＭ２に記憶させることで、記憶容量の削減を図ることができる。
【０２０６】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【０２０７】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０２０８】
さて、本実施の形態において、「Ｉ（圧縮回路Ａｉ及び伸長回路Ｂｉの数）」を２以上、「Ｊ（フレームメモリＭｊの数）」を３以上、として、圧縮しない画像データを記憶するフレームメモリＭ１が、１枚又は複数枚のフレームの画像データを記憶するとする。
【０２０９】
この場合は、画像処理の際に使用頻度が高いフレームの画像データは、圧縮せずにフレームメモリＭ１に記憶させ、使用頻度が低いフレームの画像データは、圧縮してフレームメモリＭ２〜ＭＪに記憶させることができる。
【０２１０】
このため、記憶している画像データを伸長するための処理量の増加を抑制でき、また、記憶する画像データを圧縮するための処理量の増加を抑制できる。
【０２１１】
また、画像処理の際の使用頻度が低くなるに従って、より大きい圧縮率の圧縮回路Ａｉで画像データを圧縮して、対応するフレームメモリＭｊに記憶させることで、記憶容量の削減を一層効果的に図ることができる。
【０２１２】
以上のように、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【０２１３】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０２１４】
なお、本実施の形態では、フレームメモリＭｊへの蓄積処理、及び、フレームメモリＭｊからの出力処理、のデータ処理単位は、１６×１６画素のマクロブロック単位として説明した。
【０２１５】
ただし、データ処理単位は、マクロブロック単位に限定するものではない。例えば、８×８画素、８×１６画素等、データ処理単位となるブロックサイズは、任意に決定できる。
【０２１６】
【０２１７】
【０２１８】
【０２１９】
また、上記した図１の画像データ記憶装置では、圧縮回路Ａ１〜ＡＩの各々の圧縮率は、互いに異なっていた。
【０２２０】
しかし、これに限定されるものではなく、例えば、圧縮回路Ａ１〜ＡＩの各々の圧縮方式を、互いに異なるようにすることもできる。この場合、圧縮回路Ａ１〜ＡＩの各々の圧縮率は、互いに同じにすることもできるし、異なるようにすることもできる。
【０２２１】
【０２２２】
【０２２３】
本発明の実施の形態１における動画像圧縮伸長システムは、動画像符号化装置及び動画像復号化装置、を備える。まず、この動画像符号化装置について説明する。
【０２２４】
図４は、本発明の実施の形態１における動画像符号化装置のブロック図である。
【０２２５】
図４に示すように、この動画像符号化装置は、減算器１０、直交変換回路２０、量子化回路３０、可変長符号化回路４０、逆量子化回路５０、逆直交変換回路６０、加算器７０、画像データ記憶装置８０、動き補償回路９０、及び、動き検出回路１００、を具備する、
【０２２６】
この動画像符号化装置は、Ｈ．２６３あるいはＭＰＥＧ−４等の動画像符号化方式で用いられている動き補償と直交変換との組み合わせによるハイブリッド形式による符号化を実現する。
【０２２７】
また、画像データ記憶装置８０は、図１に示した実施の形態１における画像データ記憶装置と同様のものである。
【０２２８】
この動画像符号化装置による符号化方式では、動き補償において参照できる画像（以下、「参照フレーム」と呼ぶ。）は、符号化対象フレームより以前に符号化を行った複数枚のフレームとする。
【０２２９】
なお、参照フレームは、符号化対象フレームより過去のフレームということになる。
【０２３０】
さて、次に、図４の動画像符号化装置における処理の流れを説明する。動画像符号化装置に動画像データが入力されると、まず、動き検出回路１００において動きベクトルの検出が行われる。
【０２３１】
動き検出回路１００は、動画像符号化装置の外部から入力された符号化対象となる動画像データと、画像データ記憶装置８０から入力された参照フレームの画像データと、を用いて、動きベクトルを検出し、動き補償回路９０に出力する。
【０２３２】
動き補償回路９０は、動き検出回路１００から入力された動きベクトルと、画像データ記憶装置８０から入力された参照フレームの画像データと、を用いて、動き補償を行う。
【０２３３】
減算器１０は、動き検出に用いた符号化対象となる動画像データから、動き補償回路９０から入力される動き補償済みの画像データを減算し、差分データを求めて、直交変換回路２０に出力する。
【０２３４】
なお、これまでの処理は、動き補償を行う場合についての処理であり、フレーム間で差分を取らず動き補償を行わない場合には、外部から入力される動画像データは、減算器１０による処理を行わず、そのまま直交変換回路２０に入力される。
【０２３５】
直交変換回路２０は、入力された画像データに対して直交変換処理を施し、量子化回路３０に出力する。
【０２３６】
量子化回路３０は、入力された画像データに対して量子化処理を施し、可変長符号化回路４０に出力する。
【０２３７】
可変長符号化回路４０は、入力された画像データに対して可変長符号化処理を施し、動画像符号化データとして外部に出力する。
【０２３８】
一方、局所的復号化と呼ばれる処理が行われる。量子化回路３０は、量子化した画像データを、可変長符号化回路４０に出力すると同時に、逆量子化回路５０に出力する。
【０２３９】
逆量子化回路５０は、入力された画像データに対して、量子化回路３０による量子化時と同じ量子化テーブルによる逆量子化処理を施し、逆直交変換回路６０に出力する。
【０２４０】
逆直交変換回路６０は、入力された画像データに対して、逆直交変換処理を施し、加算器７０又は画像データ記憶装置８０に出力する。
【０２４１】
この場合、逆直交変換回路６０に入力された画像データが、動き補償を行ったものであるときは、逆直交変換処理が施された画像データは、加算器７０に出力される。
【０２４２】
一方、逆直交変換回路６０に入力された画像データが、動き補償を行ったものでないときは、逆直交変換処理が施された画像データは、復号された画像データとして、画像データ記憶装置８０に出力される。
【０２４３】
さて、加算器７０は、動き補償回路９０から入力される動き補償済みの画像データと、逆直交変換回路６０から入力される画像データである差分データと、を加算することにより、直交変換及び量子化された画像データを復号して、画像データ記憶装置８０に出力する。
【０２４４】
画像データ記憶装置８０は、逆直交変換回路６０から入力された画像データ、及び、加算器７０から入力された画像データ、を次のフレームの符号化処理における参照フレームの画像データとして記憶する。
【０２４５】
次に、実施の形態１における動画像復号化装置について説明する。
図５は、本発明の実施の形態１における動画像復号化装置のブロック図である。なお、図５において、図４と同様の部分については、同一の符号を付して説明を適宜省略する。
【０２４６】
図５に示すように、この動画像復号化装置は、可変長復号化回路１１０、逆量子化回路５０、逆直交変換回路６０、加算器７０、画像データ記憶装置８０、及び、動き補償回路９０、を具備する。
【０２４７】
この動画像復号化装置による復号化方式においても、上記した動画像符号化装置と同様、動き補償において参照できる画像（参照フレーム）は、復号化対象フレームより以前に復号化を行った複数枚のフレームとする。
【０２４８】
なお、参照フレームは、復号化対象フレームより過去のフレームということになる。
【０２４９】
さて、次に、図５の動画像復号化装置における処理の流れを説明する。可変長復号化回路１１０は、入力される動画像符号化データに対して可変長復号化処理を施して、逆量子化回路５０に出力する。
【０２５０】
逆量子化回路５０は、入力された画像データに対して逆量子化処理を施して、逆直交変換回路６０に出力する。
【０２５１】
逆直交変換回路６０は、入力された画像データがフレーム間圧縮された画像データである場合は、逆直交変換処理を施した画像データを、加算器７０に出力する。
【０２５２】
一方、逆直交変換回路５０は、入力された画像データがフレーム間圧縮された画像データでない場合は、逆直交変換処理を施した画像データを、復号した動画像データとして、外部及び画像データ記憶装置８０に出力する。
【０２５３】
さて、加算器７０は、動き補償回路９０から入力される動き補償済みの画像データと、逆直交変換回路６０から入力される画像データである差分データと、を加算して、その加算結果を、復号化した動画像データとして、外部及び画像データ記憶装置８０に出力する。
【０２５４】
画像データ記憶装置８０は、逆直交変換回路６０から入力された画像データ、及び、加算器７０から入力された画像データ、を次のフレームの復号化処理における参照フレームの画像データとして記憶する。
【０２５５】
動き補償回路９０は、可変長復号化回路１１０から復号して入力される動きベクトルと、画像データ記憶装置８０から入力される参照フレームの画像データと、を受け取り、動き補償を行う。
【０２５６】
さて、次に、図５の動画像復号化装置における画像データ記憶装置８０の詳細を説明する。
【０２５７】
図６は、図５の動画像復号化装置における画像データ記憶装置８０のブロック図である。なお、図６において、図１と同様の部分については、同一の符号を付して説明を適宜省略する。
【０２５８】
図６に示すように、図５の画像データ記憶装置８０は、画像データ圧縮手段１、画像データ記憶手段２、画像データ伸長手段３、及び、制御手段４、を含む。
【０２５９】
画像データ圧縮手段１は、圧縮回路Ａ１、Ａ２、Ａ３を含む。
【０２６０】
画像データ記憶手段２は、フレームメモリＭ１、Ｍ２、Ｍ３、Ｍ４を含む。フレームメモリＭ１は、フレーム領域Ｍ１ａ、Ｍ１ｂを含む。フレームメモリＭ２は、フレーム領域Ｍ２ａ、Ｍ２ｂを含む。フレームメモリＭ３は、フレーム領域Ｍ３ａ、Ｍ３ｂを含む。フレームメモリＭ４は、フレーム領域Ｍ４ａ、Ｍ４ｂ、Ｍ４ｃ、Ｍ４ｄを含む。
【０２６１】
なお、フレームメモリＭ２〜Ｍ４は、それぞれ、圧縮回路Ａ１〜Ａ３に対応して設けられる。
【０２６２】
画像データ伸長手段３は、伸長回路Ｂ１、Ｂ２、Ｂ３を含む。なお、伸長回路Ｂ１〜Ｂ３は、それぞれ、圧縮回路Ａ１〜Ａ３に対応して設けられる。
【０２６３】
制御手段４は、メモリ制御手段４１及び制御回路４２を含む。メモリ制御手段４１は、メモリ制御回路ＭＣ１、ＭＣ２、ＭＣ３、ＭＣ４を含む。
【０２６４】
なお、メモリ制御回路ＭＣ１〜ＭＣ４は、それぞれ、フレームメモリＭ１〜Ｍ４に対応して設けられる。
【０２６５】
さて、次に、図６の各構成の機能・動作を説明する。
まず、画像データ記憶手段２について説明する。
【０２６６】
フレームメモリＭ１は、復号化対象フレームと、復号化において参照できるフレーム（参照フレーム）と、を記憶する。具体的には、次の通りである。
【０２６７】
フレーム領域Ｍ１ａ、Ｍ１ｂは、フレームメモリＭ１のアドレス領域を２つに分けたものである。
【０２６８】
そして、フレーム領域Ｍ１ａ、Ｍ１ｂは、それぞれ、１フレーム分の画像データを記憶する。
【０２６９】
２つのフレーム領域Ｍ１ａ、Ｍ１ｂの一方は、復号化対象フレームを記憶し、他方は、参照フレームを記憶する。
【０２７０】
フレームメモリＭ２、Ｍ３は、それぞれ、２枚の参照フレームを記憶する。具体的には、次の通りである。
【０２７１】
フレーム領域Ｍ２ａ、Ｍ２ｂは、フレームメモリＭ２のアドレス領域を２つに分けたものであり、フレーム領域Ｍ３ａ、Ｍ３ｂは、フレームメモリＭ３のアドレス領域を２つに分けたものである。
【０２７２】
そして、フレーム領域Ｍ２ａ、Ｍ２ｂ、Ｍ３ａ、Ｍ３ｂは、それぞれ、１フレーム分の画像データ（参照フレームの画像データ）を記憶する。
【０２７３】
フレームメモリＭ４は、４枚の参照フレームを記憶する。具体的には、次の通りである。
【０２７４】
フレーム領域Ｍ４ａ、Ｍ４ｂ、Ｍ４ｃ、Ｍ４ｄは、フレームメモリＭ４のアドレス領域を４つに分けたものである。
【０２７５】
そして、フレーム領域Ｍ４ａ、Ｍ４ｂ、Ｍ４ｃ、Ｍ４ｄは、それぞれ、１フレーム分の画像データ（参照フレームの画像データ）を記憶する。
【０２７６】
以上のことから分かるように、本実施の形態では、参照フレームの数は、９枚である。
【０２７７】
次に、画像データ圧縮手段１及び画像データ伸長手段３について説明する。
圧縮回路Ａ１は、フレームメモリＭ１のフレーム領域Ｍ１ａ又はフレーム領域Ｍ１ｂに記憶された画像データを可逆圧縮符号化し、データ量を圧縮して、フレームメモリＭ２へ出力する。
【０２７８】
伸長回路Ｂ１は、圧縮回路Ａで可逆圧縮符号化されて、フレームメモリＭ２のフレーム領域Ｍ２ａ又はフレーム領域Ｍ２ｂに記憶された画像データを復号し、元の画像データに伸長する。
【０２７９】
圧縮回路Ａ２は、伸長回路Ｂ１で伸長された画像データを非可逆圧縮符号化し、データ量を圧縮して、フレームメモリＭ３へ出力する。
【０２８０】
伸長回路Ｂ２は、圧縮回路Ａ２で圧縮符号化されて、フレームメモリＭ３のフレーム領域Ｍ３ａ又はフレーム領域Ｍ３ｂに記憶された画像データを復号し、元の画像データに伸長する。
【０２８１】
圧縮回路Ａ３は、伸長回路Ｂ２で伸長された画像データを非可逆圧縮符号化し、データ量を圧縮して、フレームメモリＭ４へ出力する。
【０２８２】
伸長回路Ｂ３は、圧縮回路Ａ３で圧縮符号化されて、フレームメモリＭ４のフレーム領域Ｍ４ａ、フレーム領域Ｍ４ｂ、フレーム領域Ｍ４ｃ、又は、フレーム領域Ｍ４ｄに記憶された画像データを復号し、元の画像データに伸長する。
【０２８３】
ここで、圧縮回路Ａ１の圧縮率＞圧縮回路Ａ２の圧縮率＞圧縮回路Ａ３の圧縮率、である。
【０２８４】
なお、圧縮回路Ａ１の圧縮符号化方式が、可逆圧縮符号化方式であり、圧縮回路Ａ２、Ａ３の圧縮符号化方式が、非可逆圧縮符号化方式であれば、圧縮回路Ａ１〜Ａ３における圧縮符号化方式は、実施の形態１における圧縮回路Ａｉと同様に、特定の圧縮符号化方式に限定されるものではない。
【０２８５】
次に、制御手段４について説明する。
メモリ制御回路ＭＣ１は、フレームメモリＭ１への画像データの書き込み時、及び、フレームメモリＭ１からの画像データの読み出し時、のアドレス生成及び管理を行う。
【０２８６】
同様に、メモリ制御回路ＭＣ２〜ＭＣ４は、対応するフレームメモリＭ２〜Ｍ４への画像データの書き込み時、及び、対応するフレームメモリＭ２〜Ｍ４からの画像データの読み出し時、のアドレス生成及び管理を行う。
【０２８７】
制御回路４２は、メモリ制御回路ＭＣ１〜ＭＣ４、画像データ圧縮手段１、及び、画像データ伸長手段３、を制御する。
【０２８８】
さて、次に、画像データ記憶手段２への画像データの書き込みについて説明する。
【０２８９】
図６の画像データ記憶装置には、フレームが順次入力されるが、入力されたあるフレームを基準にして、先に入力されたフレームを、前のフレーム、と呼ぶ。
【０２９０】
なお、前のフレームを、基準となるフレームより過去のフレームと呼ぶこともある。
【０２９１】
フレームメモリＭ１のフレーム領域Ｍ１ａ及びフレーム領域Ｍ１ｂは、復号対象フレームの画像データ、及び、復号対象フレームを基準に１フレーム前の参照フレームの画像データを記憶する。
【０２９２】
フレームメモリＭ２のフレーム領域Ｍ２ａ及びフレーム領域Ｍ２ｂは、復号対象フレームを基準に２フレーム前及び３フレーム前の参照フレームの画像データを記憶する。
【０２９３】
フレームメモリＭ３のフレーム領域Ｍ３ａ及びフレーム領域Ｍ３ｂは、復号対象フレームを基準に４フレーム前及び５フレーム前の参照フレームの画像データを記憶する。
【０２９４】
フレームメモリＭ４のフレーム領域Ｍ４ａ、フレーム領域Ｍ４ｂ、フレーム領域Ｍ４ｃ、及び、フレーム領域Ｍ４ｄは、復号対象フレームを基準に６フレーム前、７フレーム前、８フレーム前、及び、９フレーム前の参照フレームの画像データを記憶する。
【０２９５】
ここで、フレームメモリＭ１での画像データの記憶形態は、画像データ記憶装置の外部から入力された画像データを圧縮せずに記憶する形態である。
【０２９６】
フレームメモリＭ２での画像データの記憶形態は、画像データを圧縮回路Ａ１で可逆圧縮符号化して記憶する形態である。
【０２９７】
フレームメモリＭ３での画像データの記憶形態は、画像データを圧縮回路Ａ２で非可逆圧縮符号化して記憶する形態である。
【０２９８】
フレームメモリＭ４での画像データの記憶形態は、画像データを圧縮回路Ａ３で非可逆圧縮符号化して記憶する形態である。
【０２９９】
ただし、圧縮回路Ａ３は、圧縮回路Ａ２よりも大きい圧縮率で非可逆圧縮符号化を行う。
【０３００】
以上のように、フレームメモリＭ２〜Ｍ４の各々は、画像データを圧縮して記憶する。
【０３０１】
このため、フレームメモリＭ２〜Ｍ４の各々では、画像データを圧縮せずに記憶するフレームメモリＭ１と比較して、１フレーム当たりの記憶容量を削減できる。
【０３０２】
また、フレームメモリＭ３、Ｍ４の各々は、画像データを非可逆圧縮符号化して記憶する。
【０３０３】
このため、フレームメモリＭ３、Ｍ４の各々では、画像データを可逆圧縮符号化して記憶するフレームメモリＭ２と比較して、１フレーム当たりの記憶容量を削減できる。
【０３０４】
また、フレームメモリＭ４は、画像データを、圧縮回路Ａ２より圧縮率が大きい圧縮回路Ａ３で圧縮して記憶する。
【０３０５】
このため、フレームメモリＭ４では、画像データを圧縮回路Ａ２で圧縮して記憶するフレームメモリＭ３と比較して、１フレーム当たりの記憶容量を削減できる。
【０３０６】
以上のように、画像データ記憶手段２では、複数のフレームメモリＭ１〜Ｍ４を設けて、段階的に１フレーム当たりの記憶領域を少なくしている。
【０３０７】
さて、次に、画像データ記憶手段２からの画像データの読み出しについて説明する。
【０３０８】
画像データ記憶手段２から画像データを読み出す際には、制御信号Ｓによって、読み出すべきマクロブロックが制御回路４２に指定される。
【０３０９】
そして、制御回路４２は、指定されたマクロブロックを記憶しているフレームメモリＭ１〜Ｍ４の制御を行っているメモリ制御回路ＭＣ１〜ＭＣ４に対して、指定されたマクロブロックを読み出すように指示する。
【０３１０】
読み出すべきマクロブロックが、フレームメモリＭ１に記憶されている場合には、読み出すべきマクロブロックの画像データは圧縮符号化されていないので、画像データ記憶装置の外部へ直接出力される。
【０３１１】
読み出すべきマクロブロックが、フレームメモリＭ２〜Ｍ４に記憶されている場合には、対応する伸長回路Ｂ１〜Ｂ３により復号されて、画像データ記憶装置の外部へ出力される。
【０３１２】
なお、メモリ制御手段４１は、実施の形態１におけるメモリ制御手段４１と同様に、画像データ記憶手段２に記憶されたフレームの画像データをマクロブロック単位で任意に外部へ出力できるように、第１の記憶関連情報（図２参照）及び第２の記憶関連情報（図３参照）を保持する。
【０３１３】
このように、画像データ記憶装置から外部へ画像データを読み出す処理（画像データ伸長手段３による伸長復号化処理及び外部への出力）は、マクロブロック単位で行われる。
【０３１４】
同様に、画像データ記憶装置の外部から入力された画像データを書き込む処理（外部からの入力、及び、画像データ圧縮手段１による圧縮符号化処理）も、マクロブロック単位で行われる。
【０３１５】
マクロブロック単位での処理を行う際の各フレームメモリＭ１〜Ｍ４におけるアドレス制御は、対応するメモリ制御回路ＭＣ１〜ＭＣ４が行う。
【０３１６】
さて、次に、フレームメモリＭ１〜Ｍ４に記憶された画像データの更新時の動作を説明する。
【０３１７】
図７は、フレームメモリＭ１〜Ｍ４に記憶された画像データの更新時の動作の説明図である。
【０３１８】
図７では、状態１、状態２−１、状態２−２、状態２−３、及び、状態３において、フレームメモリＭ１〜Ｍ４のフレーム領域Ｍ１ａ、Ｍ１ｂ、Ｍ２ａ、Ｍ２ｂ、Ｍ３ａ、Ｍ３ｂ、Ｍ４ａ〜Ｍ４ｄに、何番目のフレームが記憶されているかを示している。また、番号が小さくなるほど、前のフレーム（過去のフレーム）であるとする。
【０３１９】
さて、状態１は、ｓ番目のフレームの復号が完了した時点でのフレームメモリＭ１〜Ｍ４の状態を表している。「ｓ」は、１０以上の整数である。
【０３２０】
つまり、状態１では、フレームメモリＭ１のフレーム領域Ｍ１ａには、ｓ番目のフレームが記憶され、フレーム領域Ｍ１ｂには、ｓ−１番目のフレームが記憶され、フレームメモリＭ２のフレーム領域Ｍ２ａには、ｓ−２番目のフレームが記憶され、フレーム領域Ｍ２ｂには、ｓ−３番目のフレームが記憶され、フレームメモリＭ３のフレーム領域Ｍ３ａには、ｓ−４番目のフレームが記憶され、フレーム領域Ｍ３ｂには、ｓ−５番目のフレームが記憶され、フレームメモリＭ４のフレーム領域Ｍ４ａには、ｓ−６番目のフレームが記憶され、フレーム領域Ｍ４ｂには、ｓ−７番目のフレームが記憶され、フレーム領域Ｍ４ｃには、ｓ−８番目のフレームが記憶され、フレーム領域Ｍ４ｄには、ｓ−９番目のフレームが記憶される。
【０３２１】
なお、状態１では、ｓ番目のフレームが、復号対象フレームである。ｓ−１番目のフレームが、復号対象フレームより１フレーム前の参照フレームであり、ｓ−２番目のフレームが、復号対象フレームより２フレーム前の参照フレームであり、ｓ−３番目のフレームが、復号対象フレームより３フレーム前の参照フレームであり、ｓ−４番目のフレームが、復号対象フレームより４フレーム前の参照フレームであり、ｓ−５番目のフレームが、復号対象フレームより５フレーム前の参照フレームであり、ｓ−６番目のフレームが、復号対象フレームより６フレーム前の参照フレームであり、ｓ−７番目のフレームが、復号対象フレームより７フレーム前の参照フレームであり、ｓ−８番目のフレームが、復号対象フレームより８フレーム前の参照フレームであり、ｓ−９番目のフレームが、復号対象フレームより９フレーム前の参照フレームである。
【０３２２】
さて、次のフレームであるｓ＋１番目のフレームの復号処理に移る前に、参照フレームの更新を行わなければならない。
【０３２３】
参照フレームの更新の際は、各フレームメモリＭ１〜Ｍ４において、時間的に最も古い参照フレームを記憶しているフレーム領域に、新たに記憶する参照フレームの画像データが上書きされる。この点を詳しく説明する。
【０３２４】
状態２−１は、６〜９フレーム前の参照フレームを記憶するフレームメモリＭ４（状態１）に記憶された参照フレームを更新する際のフレームメモリＭ１〜Ｍ４の状態を表している。
【０３２５】
フレームメモリＭ４に記憶された参照フレームを更新する際の動作を、状態２−１を参照しながら説明する。
【０３２６】
ｓ−６、ｓ−７、及び、ｓ−８番目の参照フレームを記憶するフレーム領域Ｍ４ａ〜Ｍ４ｃは、ｓ＋１番目のフレームの復号時における７〜９フレーム前の参照フレームとして、記憶している参照フレームをそのまま保持する。
【０３２７】
一方、状態１では５フレーム前の参照フレームであったｓ−５番目の参照フレームの画像データが、フレーム領域Ｍ３ｂから読み出されて、伸長回路Ｂ２で伸長され、圧縮回路Ａ３で再圧縮される。
【０３２８】
そして、ｓ＋１番目のフレームの復号時には参照フレームとして必要のないｓ−９番目の参照フレームを記憶しているフレーム領域Ｍ４ｄに、再圧縮されたｓ−５番目の参照フレームの画像データが書き込まれる。
【０３２９】
フレーム領域Ｍ４ｄに書き込まれたｓ−５番目の参照フレームの画像データが、ｓ＋１番目のフレームの復号時における６フレーム前の参照フレームとなる。 状態２−２は、４、５フレーム前の参照フレームを記憶するフレームメモリＭ３（状態１）に記憶された参照フレームを更新する際のフレームメモリＭ１〜Ｍ４の状態を表している。
【０３３０】
フレームメモリＭ３に記憶された参照フレームを更新する際の動作を、状態２−２を参照しながら説明する。
【０３３１】
ｓ−４番目の参照フレームを記憶するフレーム領域Ｍ３ａは、ｓ＋１番目のフレームの復号時における５フレーム前の参照フレームとして、記憶している参照フレームをそのまま保持する。
【０３３２】
一方、状態１では３フレーム前の参照フレームであったｓ−３番目の参照フレームの画像データが、フレーム領域Ｍ２ｂから読み出されて、伸長回路Ｂ１で伸長され、圧縮回路Ａ２で再圧縮される。
【０３３３】
そして、状態１ではｓ−５番目の参照フレームを記憶していたフレーム領域Ｍ３ｂに、再圧縮されたｓ−３番目の参照フレームの画像データが書き込まれる。
【０３３４】
フレーム領域Ｍ３ｂに書き込まれたｓ−３番目の参照フレームの画像データが、ｓ＋１番目のフレームの復号時における４フレーム前の参照フレームとなる。
【０３３５】
状態２−３は、２、３フレーム前の参照フレームを記憶するフレームメモリＭ２（状態１）に記憶された参照フレームを更新する際のフレームメモリＭ１〜Ｍ４の状態を表している。
【０３３６】
フレームメモリＭ２に記憶された参照フレームを更新する際の動作を、状態２−３を参照しながら説明する。
【０３３７】
ｓ−２番目の参照フレームを記憶するフレーム領域Ｍ２ａは、ｓ＋１番目のフレームの復号時における３フレーム前の参照フレームとして、記憶している参照フレームをそのまま保持する。
【０３３８】
一方、状態１では１フレーム前の参照フレームであったｓ−１番目の参照フレームの画像データが、フレーム領域Ｍ１ｂから読み出されて、圧縮回路Ａ１で圧縮される。
【０３３９】
そして、状態１ではｓ−３番目の参照フレームを記憶していたフレーム領域Ｍ２ｂに、圧縮されたｓ−１番目の参照フレームの画像データが書き込まれる。
【０３４０】
フレーム領域Ｍ２ｂに書き込まれたｓ−１番目の参照フレームの画像データが、ｓ＋１番目のフレームの復号時における２フレーム前の参照フレームとなる。
【０３４１】
状態３は、ｓ＋１番目のフレームの復号開始時のフレームメモリＭ１〜Ｍ４の状態を表している。
【０３４２】
フレームメモリＭ１に記憶された参照フレームを更新する際の動作を、状態３を参照しながら説明する。
【０３４３】
ｓ番目のフレームを記憶するフレーム領域Ｍ１ａは、ｓ＋１番目のフレームの復号時における１フレーム前の参照フレームとして、記憶しているフレームをそのまま保持する。
【０３４４】
以上のようにして、フレームメモリＭ１〜Ｍ４に記憶された参照フレームが更新される。
【０３４５】
なお、マクロブロック単位でのデータの入出力が可能であるため、各フレームメモリＭ１〜Ｍ４における参照フレームの更新は、並列して行うことができる（並列処理可能）。よって、処理時間の短縮が図れる。
【０３４６】
さて、以上のように、本実施の形態では、フレームメモリＭ２〜Ｍ４には、圧縮符号化を行った画像データが記憶される。
【０３４７】
このため、フレームメモリＭ２〜Ｍ４の各々では、圧縮せずに画像データを記憶するフレームメモリＭ１と比較して、１フレーム当たりの記憶容量を削減できる。
【０３４８】
また、フレームメモリＭ３、Ｍ４には、非可逆圧縮符号化を行った画像データが記憶される。
【０３４９】
このため、フレームメモリＭ３、Ｍ４の各々では、可逆圧縮符号化を行った画像データを記憶するフレームメモリＭ２と比較して、記憶容量を削減できる。
【０３５０】
また、フレームメモリＭ４は、画像データを、圧縮回路Ａ２より圧縮率が大きい圧縮回路Ａ３で圧縮して記憶する。
【０３５１】
このため、フレームメモリＭ４では、画像データを圧縮回路Ａ２で圧縮して記憶するフレームメモリＭ３と比較して、１フレーム当たりの記憶容量を削減できる。
【０３５２】
以上のように、本実施の形態では、復号対象フレームを基準にして、時間的に過去になるにしたがって、１フレームに割り当てる記憶領域が小さくなるため、画像データ記憶手段２の記憶容量の大幅な削減が可能となる。
【０３５３】
なお、非可逆圧縮符号化を行った場合には、復号の際に画像データの劣化が生じる。
【０３５４】
このため、非可逆圧縮された画像データを参照フレームとして用いた場合、復号した画像の画質が劣化し、以降イントラフレームが再生されるまで、誤差が蓄積される。
【０３５５】
しかし、動画像におけるフレーム間の相関を考えた場合、時間的に近い程相関が高く、遠い程相関が低い傾向が強く、参照フレームとして使用される頻度も時間的に近いものが使用される割合が高い。
【０３５６】
つまり、復号対象フレームを基準にして、１フレーム前の参照フレームを使用することが最も多く、次に、２、３フレーム前、次に、４、５フレーム前、次に、６〜９フレーム前の参照フレームという順になる。
【０３５７】
このように、非可逆圧縮符号化が行われる４〜９フレーム前の参照フレームを使用する頻度は低い。
【０３５８】
従って、非可逆圧縮符号化が施された参照フレームを使用することによる復号後の画像の画質の劣化は極力回避される。
【０３５９】
さて、圧縮された画像データを参照フレームとして使用する場合には、伸長回路Ｂ１〜Ｂ３で伸長しなければならい。
【０３６０】
このため、動画像復号化装置による復号処理時には、伸長回路Ｂ１〜Ｂ３による伸長処理のための時間を余計に要してしまう。
【０３６１】
しかし、使用頻度が最も高い１フレーム前の参照フレームの画像データは、圧縮せずに記憶しているため、伸長処理のための時間は必要がない。
【０３６２】
従って、本実施の形態では、動画像復号化装置による復号化処理において、伸長処理のための時間を大幅に削減できる。
【０３６３】
さて、これまで説明してきたように、本実施の形態では、参照フレームの時間的位置によって使用される頻度が異なる傾向に着目している。
【０３６４】
そして、画像データ記憶手段２のフレームメモリＭ１〜Ｍ４では、復号対象フレームに時間的に近く、使用頻度が高い参照フレームに、記憶領域を多く割り当て、時間的に遠く使用頻度が低い参照フレームには、記憶領域の割り当てを段階的に少なくしている。この場合、使用頻度が最も高い参照フレームは、圧縮せずに記憶する。
【０３６５】
こうすることで、圧縮処理及び伸長処理の増加による復号化処理時間の増加を抑制しながらも、画像データ記憶手段２の記憶容量の削減を可能としている。
【０３６６】
さて、上記では、図５の動画像復号化装置における画像データ記憶装置８０について説明したが、図４の動画像符号化装置における画像データ記憶装置８０も、図６に示した画像データ記憶装置と同様の構成を有し、同様の動作及び効果を有する。
【０３６７】
なお、本実施の形態では、参照フレームの数を９枚とした。ただし、参照フレームの数は、これに限定されるものではなく、任意の数とすることができる。
【０３６８】
また、本実施の形態では、フレームメモリＭ１〜Ｍ３の各々では、フレーム領域を２つとし、フレームメモリＭ４では、フレーム領域を４つとした。
【０３６９】
ただし、１つのフレームメモリ当たりのフレーム領域の数は、これに限定されるものではなく、任意の数のフレーム領域を設けることができる。
【０３７０】
また、本実施の形態では、画像データ記憶手段２における記憶形態は、４種類とし、４つのフレームメモリＭ１〜Ｍ４を設けた。
【０３７１】
ただし、画像データ記憶手段２における記憶形態の種類は、これに限定されるこのではなく、任意の種類の記憶形態を採用し、任意の数のフレームメモリを設けることができる。
【０３７２】
つまり、記憶形態の種類に応じて、圧縮回路及び伸長回路を適宜挿入または削除して、フレームメモリの数を変えることもできる。
【０３７３】
また、本実施の形態では、符号化対象フレームの１フレーム前の参照フレームは、圧縮せずに記憶したが、圧縮して記憶することもできる。
【０３７４】
ただし、使用頻度を考慮すると、圧縮せずに記憶することが好ましい。
【０３７５】
また、本実施の形態では、画像データ圧縮手段１による圧縮方式として、可逆圧縮及び非可逆圧縮を採用したが、各圧縮回路による圧縮率を異ならせ、可逆圧縮だけ、あるいは、非可逆圧縮だけ、を採用することもできる。
【０３７６】
また、本実施の形態では、画像データ圧縮手段１において、可逆圧縮を行う圧縮回路を１つ、非可逆圧縮を行う圧縮回路を２つとした。
【０３７７】
ただし、可逆圧縮を行う圧縮回路及び非可逆圧縮を行う圧縮回路の数は、これに限定されるものではない。
【０３７８】
また、本実施の形態では、フレームメモリＭｊへの蓄積処理、及び、フレームメモリＭｊからの出力処理、のデータ処理単位は、１６×１６画素のマクロブロック単位として説明した。
【０３７９】
ただし、データ処理単位は、マクロブロック単位に限定するものではない。例えば、８×８画素、８×１６画素等、データ処理単位となるブロックサイズは、任意に決定できる。
【０３８０】
また、図４の動画像符号化装置及び図５の動画像復号化装置の画像データ記憶装置８０として、図６の画像データ記憶装置のみならず、図１の画像データ記憶装置を使用できる。
【０３８１】
また、上記では、図４の動画像符号化装置と、図５の動画像復号化装置と、を組み合わせた動画像圧縮伸長システムを説明したが、必ずしも両者を組み合わせて使用する必要はなく、図４の動画像符号化装置と、一般的な動画像復号化装置と、を組み合わせて使用したり、また、一般的な動画像符号化装置と、図５の動画像復号化装置と、を組み合わせて使用することもできる。
【０３８２】
また、実施の形態１と同様に、上記した図６の画像データ記憶装置は、それ単体で使用することもできる。
【０３８３】
この場合、例えば、静止画像を記憶するために用いることができる。そして、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。このため、この場合も、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０３８４】
また、上記した図６の画像データ記憶装置では、圧縮回路Ａ１〜Ａ３の各々の圧縮率は、互いに異なっていた。
【０３８５】
しかし、これに限定されるものではなく、例えば、圧縮回路Ａ１〜Ａ３の各々の圧縮方式を、互いに異なるようにすることもできる。この場合、圧縮回路Ａ１〜Ａ３の各々の圧縮率は、互いに同じにすることもできるし、異なるようにすることもできる。
【０３８６】
これにより、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【０３８７】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【０３８８】
（実施の形態２）
本発明の実施の形態２における動画像圧縮伸長システムは、動画像符号化装置及び動画像復号化装置、を備える。
【０３８９】
この動画像符号化装置の全体構成は、図４の動画像符号化装置の全体構成と同様である。
【０３９０】
従って、実施の形態２では、図４の動画像符号化装置を、実施の形態２における動画像符号化装置として説明する。
【０３９１】
この動画像復号化装置の全体構成は、図５の動画像復号化装置の全体構成と同様である。
【０３９２】
従って、実施の形態２では、図５の動画像復号化装置を、実施の形態２における動画像復号化装置として説明する。
【０３９３】
実施の形態２における図５の動画像復号化装置の画像データ記憶装置８０について説明する。
【０３９４】
実施の形態２における図５の動画像復号化装置の画像データ記憶装置８０では、図６の画像データ圧縮手段１による圧縮方式を、間引きによる圧縮方式にし、図６の画像データ伸長手段３による伸長方式を、線形補間による伸長方式にしたものである。以下、具体的に説明する。
【０３９５】
図８は、実施の形態２における図５の画像データ記憶装置８０のブロック図である。
【０３９６】
なお、図８において、図６と同様の部分については、同一の符号を付して、説明を適宜省略する。
【０３９７】
図８に示すように、この画像データ記憶装置は、画像データ圧縮手段１、画像データ記憶手段２、画像データ伸長手段３、及び、制御手段４、を具備する。
【０３９８】
画像データ圧縮手段１は、間引き回路Ｃ１、Ｃ２、Ｃ３を含む。なお、間引き回路Ｃ１、Ｃ２、Ｃ３は、それぞれ、図６の圧縮手段Ａ１、Ａ２、Ａ３に相当する。
【０３９９】
画像データ伸長手段３は、補間回路３１を含む。なお、補間回路３１は、図６の伸長回路Ｂ１〜Ｂ３に相当する。
【０４００】
画像データ記憶手段２及び制御手段４の構成は、それぞれ、図６の画像データ記憶手段２及び制御手段４と同様である。
【０４０１】
さて、次に、図８の画像データ記憶装置の動作を説明する。図８の画像データ記憶装置の動作は、圧縮及び伸長処理を除けば、図６の画像データ記憶装置の動作と同様である。従って、以下では、実施の形態１と異なる点を中心に説明する。
【０４０２】
間引き回路Ｃ１〜Ｃ３による間引き処理、及び、補間回路３１による補間処理、について説明する。まず、間引き処理について説明する。
【０４０３】
図９は、縦方向に行う間引き処理の説明図である。図９（ａ）は、間引き前の画像データの例示図、図９（ｂ）は、間引き後の画像データの例示図である。
【０４０４】
図９において、白い円及び黒い円の各々は、１つの画素データを表している。
【０４０５】
図９（ａ）に示すように、画像データが、８×８画素の画素ブロック２００であり、この画素ブロックに対して、縦方向に間引き処理を行う場合を説明する。
【０４０６】
この場合、黒い円で表される画素データを取り除くことにより、縦方向の間引き処理が実行される。
【０４０７】
その結果、図９（ｂ）に示すように、画素ブロック２００と比較して、縦方向に１／２にデータ量が圧縮された画素ブロック２１０を得ることができる。
【０４０８】
図１０は、横方向に行う間引き処理の説明図である。図１０（ａ）は、間引き前の画像データの例示図、図１０（ｂ）は、間引き後の画像データの例示図である。
【０４０９】
図１０において、白い円及び黒い円の各々は、１つの画素データを表している。
【０４１０】
図１０（ａ）に示すように、画像データが、８×８画素の画素ブロック３００であり、この画素ブロックに対して、横方向に間引き処理を行う場合を説明する。
【０４１１】
この場合、黒い円で表される画素データを取り除くことにより、横方向の間引き処理が実行される。
【０４１２】
その結果、図１０（ｂ）に示すように、画素ブロック３００と比較して、横方向に１／２にデータ量が圧縮された画素ブロック３１０を得ることができる。
【０４１３】
次に、補間処理について説明する。補間処理は、間引き処理の逆の処理を行うものである。
【０４１４】
つまり、図９（ｂ）の画素ブロック２１０における上下に隣接する画素データを利用した線形補間により、画素ブロック２００における黒い円の画素データに相当する画素データを求め、求めた画素データを該当する位置に挿入することにより、縦方向の補間処理が実行される。
【０４１５】
また、図１０（ｂ）の画素ブロック３１０における左右に隣接する画素データを利用した線形補間により、画素ブロック３００における黒い円の画素データに相当する画素データを求め、求めた画素データを該当する位置に挿入することにより、横方向の補間処理が実行される。
【０４１６】
さて、次に、図８の間引き回路Ｃ１〜Ｃ３及び補間回路３１の動作を、フレームメモリＭ１〜Ｍ４との関連で具体的に説明する。
【０４１７】
図１１は、フレームメモリＭ１〜Ｍ４に記憶される画像データの概念図である。図１１（ａ）は、フレームメモリＭ１に記憶される画像データの概念図、図１１（ｂ）は、フレームメモリＭ２に記憶される画像データの概念図、図１１（ｃ）は、フレームメモリＭ３に記憶される画像データの概念図、図１１（ｄ）は、フレームメモリＭ４に記憶される画像データの概念図、である。
【０４１８】
フレームメモリＭ１の記憶形態は、画像データを圧縮せずに記憶する形態であるため、図１１（ａ）に示すように、フレームメモリＭ１のフレーム領域Ｍ１ａ、Ｍ１ｂの各々には、間引き処理が施されないＳ×Ｔ画素の画素ブロック４００が記憶される。
【０４１９】
従って、フレームメモリＭ１には、画像データが、画像データ記憶装置の外部から直接入力され、そして、記憶される。
なお、ここでは、１フレームは、Ｓ×Ｔ画素からなるとする。
【０４２０】
間引き回路Ｃ１、Ｃ３は、縦方向に間引き処理を行う回路であり、間引き回路Ｃ２は、横方向の間引き処理を行う回路である。
【０４２１】
従って、図１１（ｂ）に示すように、フレームメモリＭ２のフレーム領域Ｍ２ａ、Ｍ２ｂの各々には、間引き回路Ｃ１により縦方向に間引きされて、画素ブロック４００と比較して、データ量が縦方向に１／２に圧縮された画素ブロック４１０が記憶される。
【０４２２】
また、図１１（ｃ）に示すように、フレームメモリＭ３のフレーム領域Ｍ３ａ、Ｍ３ｂの各々には、間引き回路Ｃ２により横方向に間引きされて、画素ブロック４１０と比較して、データ量が横方向に１／２に圧縮された画素ブロック４２０が記憶される。
【０４２３】
また、図１１（ｄ）に示すように、フレームメモリＭ４のフレーム領域Ｍ４ａ〜Ｍ４ｄの各々には、間引き回路Ｃ３により縦方向に間引きされて、画素ブロック４２０と比較して、データ量が縦方向に１／２に圧縮された画素ブロック４３０が記憶される。
【０４２４】
さて、補間回路３１は、必要な回数の補間処理を繰り返して、間引き処理により間引いた画素を復元する。
【０４２５】
さて、本実施の形態では、画像データ記憶手段２に記憶された参照フレームの更新処理において、フレームメモリＭ２からフレームメモリＭ３へ記憶形態を変更して参照フレームを移す場合、及び、フレームメモリＭ３からフレームメモリＭ４へ記憶形態を変更して参照フレームを移す場合に、実施の形態１とは違って、伸長回路を経由せずに、間引き回路Ｃ２又は間引き回路Ｃ３により、直接、圧縮処理を行うことが可能である。加えて、間引き処理は、比較的簡単な処理である。
【０４２６】
このため、画像データ記憶手段２に記憶された参照フレームの更新処理を高速に行うことが可能である。
【０４２７】
また、本実施の形態では、画像データ記憶装置から外部へ画像データを読み出す処理（画像データ伸長手段３の補間回路３１による補間処理及び外部への出力）は、任意のブロックサイズで行うことができる。
【０４２８】
また、画像データ記憶装置の外部から入力された画像データを書き込む処理（外部からの入力、及び、画像データ圧縮手段１の間引き回路Ｃ１〜Ｃ３による間引き処理）も、任意のブロックサイズで行うことができる。
【０４２９】
また、本実施の形態では、フレームメモリＭ２〜Ｍ４に記憶された画像データは、間引き回路Ｃ１〜Ｃ３による間引き処理により圧縮された画像データである。
【０４３０】
このため、フレームメモリＭ２〜Ｍ４に記憶された画像データの伸長処理は、線形補間により行うことができる。
【０４３１】
従って、３つのフレームメモリＭ２〜Ｍ４で、線形補間を行う補間回路３１を共有でき、回路規模の削減を図ることができる。
【０４３２】
また、本実施の形態では、実施の形態１と同様に、各参照フレームは、使用頻度を考慮した適切な記憶形態で記憶される。
【０４３３】
その結果、本実施の形態では、実施の形態１と同様に、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０４３４】
さて、上記では、図５の動画像復号化装置における画像データ記憶装置８０について説明をしたが、図４の動画像符号化装置における画像データ記憶装置８０も、図８に示した画像データ記憶装置と同様の構成を有し、同様の動作及び効果を有する。
【０４３５】
なお、本実施の形態では、１画素毎に画素データを間引くことにより、間引き処理を行ったが、間引きを行う画素の間隔は、これに限定されるものではない。
【０４３６】
また、本実施の形態では、縦方向、横方向、及び、縦方向、という順序で間引きを行ったが、間引きの方向の順番は、これに限定されるものではない。
【０４３７】
また、本実施の形態では、間引き回路Ｃ１では、縦方向だけ、間引き回路Ｃ２では、横方向だけ、間引き回路Ｃ３では、縦方向だけ、というように、各間引き回路Ｃ１〜Ｃ３による間引きの方向を一方向としたが、一度に横方向と縦方向との間引きを行うことも可能である。
【０４３８】
また、本実施の形態では、補間回路３１は、上下に隣接する画素データを利用した線形補間、あるいは、左右に隣接する画素データを利用した線形補間、を行った。
【０４３９】
ただし、このような２画素を用いた線形補間に限定されるものではなく、近隣の４画素、近隣の８画素、等、任意の数の画素を用いた補間方法を採用することもできる。
【０４４０】
また、図４の動画像符号化装置及び図５の動画像復号化装置の画像データ記憶装置８０として、図８の画像データ記憶装置のみならず、図１の画像データ記憶装置を使用できる。
【０４４１】
また、上記では、図４の動画像符号化装置と、図５の動画像復号化装置と、を組み合わせた動画像圧縮伸長システムを説明したが、必ずしも両者を組み合わせて使用する必要はなく、図４の動画像符号化装置と、一般的な動画像復号化装置と、を組み合わせて使用したり、また、一般的な動画像符号化装置と、図５の動画像復号化装置と、を組み合わせて使用することもできる。
【０４４２】
また、実施の形態１と同様に、上記した図８の画像データ記憶装置は、それ単体で使用することもできる。
【０４４３】
この場合、例えば、静止画像を記憶するために用いることができる。そして、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。このため、この場合も、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０４４４】
（実施の形態３）
本発明の実施の形態３における動画像圧縮伸長システムは、動画像符号化装置及び動画像復号化装置、を備える。
【０４４５】
この動画像符号化装置の全体構成は、図４の動画像符号化装置の全体構成と同様である。
【０４４６】
従って、実施の形態３では、図４の動画像符号化装置を、実施の形態３における動画像符号化装置として説明する。
【０４４７】
この動画像復号化装置の全体構成は、図５の動画像復号化装置の全体構成と同様である。
【０４４８】
従って、実施の形態３では、図５の動画像復号化装置を、実施の形態３における動画像復号化装置として説明する。
【０４４９】
実施の形態３における図５の動画像復号化装置の画像データ記憶装置８０について説明する。
【０４５０】
実施の形態３における図５の動画像復号化装置の画像データ記憶装置８０では、図６の画像データ圧縮手段１による圧縮方式を、ウェーブレット変換による圧縮方式にし、図６の画像データ伸長手段３による伸長方式を、逆ウェーブレット変換による伸長方式にしたものである。以下、具体的に説明する。
【０４５１】
図１２は、実施の形態３における図５の画像データ記憶装置８０のブロック図である。
【０４５２】
なお、図１２において、図６と同様の部分については、同一の符号を付して、説明を適宜省略する。
【０４５３】
図１２に示すように、この画像データ記憶装置は、画像データ圧縮手段１、画像データ記憶手段２、画像データ伸長手段３、及び、制御手段４、を具備する。
【０４５４】
画像データ圧縮手段１は、ウェーブレット変換回路Ｄ１、Ｄ２、及び、データ削減回路Ｅ１、Ｅ２、Ｅ３、を含む。
【０４５５】
なお、ウェーブレット変換回路Ｄ１及びデータ削減回路Ｅ１は、図６の圧縮手段Ａ１に相当し、データ削減回路Ｅ２は、図６の圧縮手段Ａ２に相当し、ウェーブレット変換回路Ｄ２及びデータ削減回路Ｅ３は、図６の圧縮手段Ａ３に相当する。
【０４５６】
画像データ伸長手段３は、逆ウェーブレット変換回路３２、及び、データ補間回路３３、を含む。
【０４５７】
なお、逆ウェーブレット変換回路３２、及び、データ補間回路３３は、図６の伸長回路Ｂ１〜Ｂ３に相当する。
【０４５８】
画像データ記憶手段２及び制御手段４の構成は、それぞれ、図６の画像データ記憶手段２及び制御手段４と同様である。
【０４５９】
さて、次に、図１２の画像データ記憶装置の動作を説明する。図１２の画像データ記憶装置の動作は、圧縮及び伸長処理を除けば、図６の画像データ記憶装置の動作と同様である。従って、以下では、実施の形態１と異なる点を中心に説明する。
【０４６０】
ウェーブレット変換回路Ｄ１、Ｄ２によるウェーブレット変換、及び、逆ウェーブレット変換回路３２による逆ウェーブレット変換、について説明する。まず、ウェーブレット変換について説明する。
【０４６１】
図１３は、ウェーブレット変換の説明図である。図１３（ａ）は、ウェーブレット変換前の画像データの概念図、図１３（ｂ）は、ウェーブレット変換後の画像データの概念図である。
【０４６２】
ウェーブレット変換は、画像データを低周波領域の成分と高周波領域の成分とに分割するフィルタ処理である。
【０４６３】
そして、画像データは、２次元データであるため、１回のウェーブレット変換処理では、縦方向及び横方向に２度のフィルタ処理を行うこととなる。
【０４６４】
図１３（ａ）に示す画素ブロック５００が、ウェーブレット変換を施す画像データとする。
【０４６５】
画素ブロック５００に対して、ウェーブレット変換を施すと、図１３（ｂ）に示すように、４つのブロック５１０ａ、５１０ｂ、５１０ｃ、５１０ｄに４等分されたブロック５１０を得ることができる。
【０４６６】
ブロック５１０ａは、横方向及び縦方向共に低周波領域成分の画像データからなるＬＬ成分ブロックである。
【０４６７】
ブロック５１０ｂは、横方向は低周波領域成分、縦方向は高周波領域成分の画像データからなるＬＨ成分ブロックである。
【０４６８】
ブロック５１０ｃは、横方向は高周波領域成分、縦方向は低周波領域成分の画像データからなるＨＬ成分ブロックである。
【０４６９】
ブロック５１０ｄは、横方向及び縦方向共に高周波領域成分の画像データからなるＨＨ成分ブロックである。
【０４７０】
次に、逆ウェーブレット変換について説明する。逆ウェーブレット変換は、ウェーブレット変換処理の逆フィルタ処理であり、ブロック５１０から画素ブロック５００に変換する処理である。
【０４７１】
なお、ブロック５１０を構成する４つのブロック５１０ａ〜５１０ｄのうちの削減されたブロックについては、データ補間回路３３が、削減されたブロックのウェーブレット変換係数の全てに「０」を補間し、その後、逆ウェーブレット変換回路３２が、逆ウェーブレット変換処理を行う。
【０４７２】
さて、次に、図１２の画像データ圧縮手段１及び画像データ伸長手段３の動作を、フレームメモリＭ１〜Ｍ４との関連で具体的に説明する。
【０４７３】
図１４は、フレームメモリＭ１〜Ｍ４に記憶される画像データの概念図である。図１４（ａ）は、フレームメモリＭ１に記憶される画像データの概念図、図１４（ｂ）は、フレームメモリＭ２に記憶される画像データの概念図、図１４（ｃ）は、フレームメモリＭ３に記憶される画像データの概念図、図１４（ｄ）は、フレームメモリＭ４に記憶される画像データの概念図、である。
【０４７４】
フレームメモリＭ１の記憶形態は、画像データを圧縮せずに記憶する形態であるため、図１４（ａ）に示すように、フレームメモリＭ１のフレーム領域Ｍ１ａ、Ｍ１ｂの各々には、ウェーブレット変換が施されないＳ×Ｔ画素の画素ブロック６００が記憶される。
【０４７５】
従って、フレームメモリＭ１には、画像データが、画像データ記憶装置の外部から直接入力され、そして、記憶される。
なお、ここでは、１フレームは、Ｓ×Ｔ画素からなるとする。
【０４７６】
さて、ウェーブレット変換回路Ｄ１は、フレームメモリＭ１から読み出した画素ブロック６００に対して、ウェーブレット変換を施し、ＬＬ成分ブロック、ＬＨ成分ブロック、ＨＬ成分ブロック、及び、ＨＨ成分ブロック、からなるブロック（図１３（ｂ）参照）を生成する。
【０４７７】
そして、データ削減回路Ｅ１は、そのブロックから、ＨＬ成分ブロック、及び、ＨＨ成分ブロック、を削除し、ＬＬ成分ブロック、及び、ＬＨ成分ブロック、からなるブロックを、フレームメモリＭ２へ出力する。
【０４７８】
従って、図１４（ｂ）に示すように、フレームメモリＭ２のフレーム領域Ｍ２ａ、Ｍ２ｂの各々には、ＬＬ成分ブロック、及び、ＬＨ成分ブロック、からなるブロック６１０が記憶される。
【０４７９】
このブロック６１０のデータ量は、画素ブロック６００と比較して、１／２である。
【０４８０】
さて、データ削減回路Ｅ２は、フレームメモリＭ２から読み出したブロック６１０から、ＬＨ成分ブロック、を削除し、ＬＬ成分ブロックのみからなるブロックを、フレームメモリＭ３へ出力する。
【０４８１】
従って、図１４（ｃ）に示すように、フレームメモリＭ３のフレーム領域Ｍ３ａ、Ｍ３ｂの各々には、ＬＬ成分ブロックのみからなるブロック６２０が記憶される。
【０４８２】
このブロック６２０のデータ量は、ブロック６１０と比較して、１／２である。
【０４８３】
さて、ウェーブレット変換回路Ｄ２は、フレームメモリＭ３から読み出したブロック６２０に対して、ウェーブレット変換を施し、ＬＬ成分ブロック、ＬＨ成分ブロック、ＨＬ成分ブロック、及び、ＨＨ成分ブロック、からなるブロックを生成する。
【０４８４】
ここで、ＬＬ成分ブロックのみからなるブロックに対して、ウェーブレット変換を施して、生成されるＬＬ成分を、ＬＬ＿ＬＬ成分と表現し、生成されるＬＨ成分をＬＬ＿ＬＨ成分と表現し、生成されるＨＬ成分を、ＬＬ＿ＨＬ成分と表現し、生成されるＨＨ成分をＬＬ＿ＨＨ成分と表現する。
【０４８５】
そうすると、データ削減回路Ｅ３は、ＬＬ＿ＬＬ成分ブロック、ＬＬ＿ＬＨ成分ブロック、ＬＬ＿ＨＬ成分ブロック、及び、ＬＬ＿ＨＨ成分ブロック、からなるブロックから、ＬＬ＿ＨＬ成分ブロック及びＬＬ＿ＨＨ成分ブロックを削除し、ＬＬ＿ＬＬ成分ブロック及びＬＬ＿ＬＨ成分ブロックからなるブロックを、フレームメモリＭ４へ出力する。
【０４８６】
従って、図１４（ｄ）に示すように、フレームメモリＭ４のフレーム領域Ｍ４ａ〜Ｍ４ｄの各々には、ＬＬ＿ＬＬ成分ブロック及びＬＬ＿ＬＨ成分ブロックからなるブロック６３０が記憶される。
【０４８７】
このブロック６３０のデータ量は、ブロック６２０と比較して、１／２である。
【０４８８】
さて、フレームメモリＭ２〜Ｍ４に記憶された画像データを伸長する際は、データ補間回路３３が、データ削減回路Ｅ１〜Ｅ３により削除されたブロックのウェーブレット変換係数を「０」で補間する。
【０４８９】
そして、逆ウェーブレット変換回路３２は、削除されていないブロック及び補間により得たブロックからなるブロックに対して、逆フィルタ処理を施して、元の画素ブロックに復元する。
【０４９０】
さて、本実施の形態では、画像データ記憶手段２に記憶された参照フレームの更新処理において、フレームメモリＭ２からフレームメモリＭ３へ記憶形態を変更して参照フレームを移す場合、伸長処理を行う逆ウェーブレット変換回路３２を経由せずに、データ削減回路Ｅ２による圧縮処理を行う。
【０４９１】
また、画像データ記憶手段２に記憶された参照フレームの更新処理において、フレームメモリＭ３からフレームメモリＭ４へ記憶形態を変更して参照フレームを移す場合に、伸長処理を行う逆ウェーブレット変換回路３２を経由せずに、ウェーブレット変換回路Ｄ２及びデータ削減回路Ｅ３による圧縮処理を行う。
【０４９２】
以上のように、伸長処理を行う逆ウェーブレット変換回路３２を経由しないため、画像データ記憶手段２に記憶された参照フレームの更新処理を高速に行うことが可能である。
【０４９３】
また、本実施の形態では、フレームメモリＭ２〜Ｍ４に記憶された画像データは、ウェーブレット変換回路Ｄ１、Ｄ２及びデータ削減回路Ｅ１〜Ｅ３より圧縮された画像データである。
【０４９４】
このため、フレームメモリＭ２〜Ｍ４に記憶された画像データの伸長処理は、補間及び逆ウェーブレット変換により行うことができる。
【０４９５】
従って、３つのフレームメモリＭ２〜Ｍ４で、補間を行うデータ補間回路３３及び逆ウェーブレット変換を行う逆ウェーブレット変換回路３２を共有でき、回路規模の削減を図ることができる。
【０４９６】
また、人間の視覚にとっては、画像データの高周波領域成分よりも低周波領域成分が重要となる。このため、画像データ圧縮手段１による圧縮の際は、高周波領域成分から削除している。
【０４９７】
本実施の形態では、データ削減回路Ｅ１は、ＨＬ成分ブロック及びＨＨ成分ブロックを削除し、データ削減回路Ｅ２は、ＬＨ成分ブロックを削除し、データ削減回路Ｅ３は、ＬＬ＿ＨＬ成分ブロック及びＬＬ＿ＨＨ成分ブロックを削除している。
【０４９８】
こうすることで、人間の視覚に重要となる低周波領域成分が残って、伸長後の画像データを参照フレームとして使用して復号した画像の画質の劣化を軽減できる。
【０４９９】
また、本実施の形態では、実施の形態１と同様に、各参照フレームは、使用頻度を考慮した適切な記憶形態で記憶される。
【０５００】
その結果、本実施の形態では、実施の形態１と同様に、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５０１】
なお、本実施の形態では、説明の便宜のため、図１４（ａ）に示す画素ブロック６００が、１フレームの画像データであるとして説明した。
【０５０２】
ただし、１回のウェーブレット変換処理の画素ブロックのサイズは、これに限定されるものではない。
【０５０３】
１フレームの画素ブロックを複数の画素ブロックに分割して、分割した各画素ブロックに対してウェーブレット変換処理を行い、各周波数領域成分を集めて、１フレーム分の画像データとすることもできる。この点を、図１４を参照しながら、具体例を挙げて説明する。
【０５０４】
１フレームの画素ブロックを、例えば、４等分して、１／４の画素ブロックがデータ処理単位とする。
【０５０５】
そして、この１／４の画素ブロックが、Ｓ×Ｔ画素からなるとする。そうすると、圧縮しない図１４（ａ）に示す１／４の画素ブロック６００を４つ集めて、１フレーム分の画像データとし、この１フレーム分の画像データが、フレームメモリＭ１のフレーム領域Ｍ１ａ、Ｍ１ｂの各々に記憶される。
【０５０６】
ウェーブレット変換回路Ｄ１は、フレームメモリＭ１から読み出した１／４の画素ブロック６００に対して、ウェーブレット変換を施し、ＬＬ成分ブロック、ＬＨ成分ブロック、ＨＬ成分ブロック、及び、ＨＨ成分ブロック、からなるブロック（図１３（ｂ）参照）を生成する。
【０５０７】
そして、データ削減回路Ｅ１は、そのブロックから、ＨＬ成分ブロック、及び、ＨＨ成分ブロック、を削除し、ＬＬ成分ブロック、及び、ＬＨ成分ブロック、からなるブロックを、フレームメモリＭ２へ出力する。
【０５０８】
このような、ＬＬ成分ブロック、及び、ＬＨ成分ブロック、からなるブロックが、他の３つの１／４の画素ブロック６００に対しても生成され、フレームメモリＭ２へ出力される。
【０５０９】
従って、図１４（ｂ）に示すように、ＬＬ成分ブロック、及び、ＬＨ成分ブロック、からなるブロック６１０を４つ集めて、１フレーム分の画像データとし、この１フレーム分の画像データが、フレームメモリＭ２のフレーム領域Ｍ２ａ、Ｍ２ｂの各々に記憶される。
【０５１０】
データ削減回路Ｅ２は、フレームメモリＭ２から読み出したブロック６１０から、ＬＨ成分ブロック、を削除し、ＬＬ成分ブロックのみからなるブロックを、フレームメモリＭ３へ出力する。
【０５１１】
このような、ＬＬ成分ブロックのみからなるブロックが、他の３つのブロック６１０に対しても生成され、フレームメモリＭ３へ出力される。
【０５１２】
従って、図１４（ｃ）に示すように、ＬＬ成分ブロックのみからなるブロッ６２０を４つ集めて、１フレーム分の画像データとし、この１フレーム分の画像データが、フレームメモリＭ３のフレーム領域Ｍ３ａ、Ｍ３ｂの各々に記憶される。
【０５１３】
ウェーブレット変換回路Ｄ２は、フレームメモリＭ３から読み出したブロック６２０に対して、ウェーブレット変換を施し、ＬＬ＿ＬＬ成分ブロック、ＬＬ＿ＬＨ成分ブロック、ＬＬ＿ＨＬ成分ブロック、及び、ＬＬ＿ＨＨ成分ブロック、からなるブロックを生成する。
【０５１４】
データ削減回路Ｅ３は、ＬＬ＿ＬＬ成分ブロック、ＬＬ＿ＬＨ成分ブロック、ＬＬ＿ＨＬ成分ブロック、及び、ＬＬ＿ＨＨ成分ブロック、からなるブロックから、ＬＬ＿ＨＬ成分ブロック及びＬＬ＿ＨＨ成分ブロックを削除し、ＬＬ＿ＬＬ成分ブロック及びＬＬ＿ＬＨ成分ブロックからなるブロックを、フレームメモリＭ４へ出力する。
【０５１５】
このような、ＬＬ＿ＬＬ成分ブロック及びＬＬ＿ＬＨ成分ブロックからなるブロックが、他の３つのブロック６２０に対しても生成され、フレームメモリＭ４へ出力される。
【０５１６】
従って、図１４（ｄ）に示すように、ＬＬ＿ＬＬ成分ブロック及びＬＬ＿ＬＨ成分ブロックからなるブロック６３０を４つ集めて、１フレーム分の画像データとし、この１フレーム分の画像データが、フレームメモリＭ４のフレーム領域Ｍ４ａ〜Ｍ４ｄの各々に記憶される。
【０５１７】
さて、上記では、図５の動画像復号化装置における画像データ記憶装置８０について説明をしたが、図４の動画像符号化装置における画像データ記憶装置８０も、図１２に示した画像データ記憶装置と同様の構成を有し、同様の動作及び効果を有する。
【０５１８】
なお、図４の動画像符号化装置及び図５の動画像復号化装置の画像データ記憶装置８０として、図１２の画像データ記憶装置のみならず、図１の画像データ記憶装置を使用できる。
【０５１９】
また、上記では、図４の動画像符号化装置と、図５の動画像復号化装置と、を組み合わせた動画像圧縮伸長システムを説明したが、必ずしも両者を組み合わせて使用する必要はなく、図４の動画像符号化装置と、一般的な動画像復号化装置と、を組み合わせて使用したり、また、一般的な動画像符号化装置と、図５の動画像復号化装置と、を組み合わせて使用することもできる。
【０５２０】
また、実施の形態１と同様に、上記した図１２の画像データ記憶装置は、それ単体で使用することもできる。
【０５２１】
この場合、例えば、静止画像を記憶するために用いることができる。そして、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。このため、この場合も、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５２２】
（実施の形態４）
図１５は、本発明の実施の形態４における動画像圧縮伸長システムのブロックである。なお、図１５において、図４又は図５と同様の部分については同一の符号を付して説明を適宜省略する。
【０５２３】
図１５に示すように、この動画像圧縮伸長システムの動画像符号化装置１０００は、図４の動画像符号化装置の構成に、多重化回路１１００を加えたものである。
【０５２４】
また、この動画像圧縮伸長システムの動画像復号化装置２０００は、図５の動画像復号化装置の構成に、分離回路２１００を加えたものである。
【０５２５】
なお、動画像符号化装置１０００の画像データ記憶装置８０と、動画像復号化装置２０００の画像データ記憶装置８０と、は同様のものである。
【０５２６】
さて、次に、図４及び図５と異なる点を中心に、動作を説明する。
多重化回路１１００は、可変長符号化回路４０から入力される動画像符号化データと、画像データ記憶装置８０から入力される参照フレームの圧縮に関する情報と、の多重化を行い、多重化データとして、通信路１５００に送出する。
【０５２７】
ここで、参照フレームの圧縮に関する情報とは、符号化対象フレームに用いた参照フレームを、動画像符号化装置１０００の画像データ記憶装置８０に記憶した際に用いた圧縮パラメータ（図２参照）の情報である。
【０５２８】
動画像復号化装置２０００の分離回路２１００は、多重化回路１１００が送出した多重化データを、通信路１５００から入力する。
【０５２９】
そして、分離回路２１００は、多重化データを、動画像符号化データと、参照フレームの圧縮に関する情報と、に分離する。
【０５３０】
分離回路２１００は、この動画像符号化データを可変長復号化回路１１０に出力し、この参照フレームの圧縮に関する情報を画像データ記憶装置８０に出力する。
【０５３１】
そして、動画像復号化装置２０００の画像データ記憶装置８０は、動画像符号化装置１０００の画像データ記憶装置８０で用いた圧縮に関する情報を用いて、参照フレームの圧縮及び伸長を行う。
【０５３２】
このため、動画像復号化装置２０００の画像データ記憶装置８０が、参照フレームを非可逆圧縮して記憶し伸長する場合でも、動画像符号化装置１０００で符号化の際に用いる参照フレームと、動画像復号化装置２０００で復号化の際に用いる参照フレームと、が同一となる。
【０５３３】
このため、本実施の形態では、動画像符号化装置１０００と動画像復号化装置２０００との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、動画像符号化装置１０００及び動画像復号化装置２０００の画像データ記憶装置８０のフレームメモリの記憶容量の削減を行うことができる。
【０５３４】
なお、図１５の動画像符号化装置１０００及び動画像復号化装置２０００の画像データ記憶装置８０として、図６の画像データ記憶装置のみならず、図１、図８、又は、図１２の画像データ記憶装置を使用できる。
【０５３５】
【発明の効果】
第１の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した適切な記憶形態を選択できる。
【０５３６】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５３７】
第２の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、複数のフレームの画像データを記憶する画像データ記憶装置において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。その他、画像データの使用目的に応じて、画像データの画質、記憶枚数、等を考慮した一層適切な記憶形態を選択できる。
【０５３８】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０５３９】
第３の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、複数のフレームの画像データを記憶する画像データ記憶装置において、より一層適切な記憶形態を選択することができるため、処理量の増加の抑制を考慮した記憶容量の削減をより一層効果的に図ることができる。
【０５４０】
第４の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５４１】
第５の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、画像データの圧縮処理及び伸長処理を高速に行うことができる。
【０５４２】
また、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。
【０５４３】
従って、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させる際の処理を高速に行うことができる。
【０５４４】
また、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第２の記憶手段で共有できる。従って、回路規模の削減を図ることができる。
【０５４５】
第６の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させるときに、伸長処理を行うことなく、圧縮処理を行うことができる。
【０５４６】
従って、ある第２の記憶手段に記憶された画像データを、記憶形態を変更して、他の第２の記憶手段に記憶させる際の処理を高速に行うことができる。
【０５４７】
また、圧縮手段が複数設けられ、これに対応して、第２の記憶手段が複数設けられている場合において、画像データ伸長手段を、複数の第２の記憶手段で共有できる。従って、回路規模の削減を図ることができる。
【０５４８】
また、人間の視覚にとっては、画像データの高周波領域成分よりも低周波領域成分が重要となるため、圧縮手段による圧縮の際に、高周波領域成分から削除することにすれば、人間の視覚に重要な低周波領域成分が残って、伸長後の画像データを使用した画像処理後の画像の画質の劣化を軽減できる。
【０５４９】
第７の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第１の記憶手段及び第２の記憶手段が記憶している画像データの更新が可能となる。
【０５５０】
第８の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、第１の記憶手段及び第２の記憶手段が記憶している画像データの更新が可能となる。
【０５５１】
また、更新処理で画像データ伸長手段を使用しないため、更新処理の高速化が可能となる。
【０５５２】
第９の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、フレーム単位の画像データを記憶する第１の記憶手段又は第２の記憶手段から、画像データを、ｍ×ｎ画素のブロック単位で読み出すことができる。
【０５５３】
第１０の発明に係る符号化装置又は復号化装置に備えられる、画像データ記憶装置では、ユーザは、画像データを、圧縮せずに記憶するのか、あるいは、圧縮して記憶するのか、さらに、圧縮して記憶する場合は、どの圧縮方式で圧縮して記憶するのか、をフレーム単位で任意に選択できる。
【０５５４】
その結果、ユーザの利便性の向上を図りながらも、記憶容量の削減を図ることができる。
【０５５５】
第１１の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【０５５６】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５５７】
第１２の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【０５５８】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５５９】
第１３の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【０５６０】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０５６１】
第１４の発明に係る符号化装置では、複数のフレームを符号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【０５６２】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０５６３】
第１５の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームに対して、使用頻度を考慮した適切な記憶形態を選択できる。
【０５６４】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５６５】
第１６の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した適切な記憶形態で記憶される。
【０５６６】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を図ることができる。
【０５６７】
第１７の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各フレームに対して、使用頻度を考慮した一層適切な記憶形態を選択できる。
【０５６８】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０５６９】
第１８の発明に係る復号化装置では、複数のフレームを復号化の際の参照フレームとするこができる場合において、各参照フレームは、それぞれの使用頻度を考慮した一層適切な記憶形態で記憶される。
【０５７０】
その結果、処理量の増加の抑制を図りながらも、記憶容量の削減を一層効果的に図ることができる。
【０５７１】
第１９の発明に係る圧縮伸長システムでは、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【０５７２】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【０５７３】
第２０の発明に係る圧縮伸長システムでは、復号化装置の画像データ記憶装置において、参照フレームを非可逆圧縮して記憶し伸長する場合でも、符号化装置と復号化装置とで参照フレームは同一となる。
【０５７４】
その結果、符号化装置と復号化装置との間での参照フレームの画像データの不一致に起因する画質の劣化を防止しながらも、符号化装置及び復号化装置の画像データ記憶装置の記憶容量の削減を行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における画像データ記憶装置のブロック図
【図２】 同第１の記憶関連情報の説明図
【図３】 同第２の記憶関連情報の説明図
【図４】 本発明の実施の形態１における動画像圧縮伸長システムの動画像符号化装置のブロック図
【図５】 同動画像復号化装置のブロック図
【図６】 同動画像復号化装置の画像データ記憶装置のブロック図
【図７】 同画像データ記憶装置における更新処理の説明図
【図８】 本発明の実施の形態２における動画像圧縮伸長システムの動画像復号化装置の画像データ記憶装置のブロック図
【図９】 （ａ）同縦方向の間引き前の画像データの概念図
（ｂ）同縦方向の間引き後の画像データの概念図
【図１０】 （ａ）同横方向の間引き前の画像データの概念図
（ｂ）同横方向の間引き後の画像データの概念図
【図１１】 （ａ）同フレームメモリＭ１に記憶される画像データの概念図
（ｂ）同フレームメモリＭ２に記憶される画像データの概念図
（ｃ）同フレームメモリＭ３に記憶される画像データの概念図
（ｄ）同フレームメモリＭ４に記憶される画像データの概念図
【図１２】 本発明の実施の形態３における動画像圧縮伸長システムの動画像復号化装置の画像データ記憶装置のブロック図
【図１３】 （ａ）同ウェーブレット変換前の画像データの概念図
（ｂ）同ウェーブレット変換後の画像データの概念図
【図１４】 （ａ）同フレームメモリＭ１に記憶される画像データの概念図
（ｂ）同フレームメモリＭ２に記憶される画像データの概念図
（ｃ）同フレームメモリＭ３に記憶される画像データの概念図
（ｄ）同フレームメモリＭ４に記憶される画像データの概念図
【図１５】 本発明の実施の形態４における動画像圧縮伸長システムのブロック図
【図１６】 従来の動画像復号化装置のブロック図
【符号の説明】
１ 画像データ圧縮手段
２ 画像データ記憶手段
３ 画像データ伸長手段
４ 制御手段
５、６、７、８ データバス
１０ 減算器
２０ 直交変換回路
３０ 量子化回路
３１ 補間回路
３２ 逆ウェーブレット変換回路
３３ データ補間回路
４０ 可変長符号化回路
４１ メモリ制御手段
４２ 制御回路
５０、９１０ 逆量子化回路
６０、９２０ 逆直交変換回路
７０、９３０ 加算器
８０ 画像データ記憶装置
９０、９５０ 動き補償回路
１００ 動き検出回路
１１０、９００ 可変長復号化回路
２００、２１０、３００、３１０、４００、４１０、４２０、４３０、５００、６００ 画素ブロック
５１０、５１０ａ〜５１０ｄ、６１０、６２０、６３０ ブロック
９４０ 画像データ記憶部
１０００ 動画像符号化装置
１１００ 多重化回路
２０００ 動画像復号化装置
２１００ 分離回路
Ａ１〜ＡＩ、９４１ 圧縮回路
Ｍ１〜ＭＪ、９４２ フレームメモリ
Ｂ１〜ＢＩ、９４３ 伸長回路
ＭＣ１〜ＭＣ４ メモリ制御回路
Ｍ１ａ、Ｍ１ｂ、Ｍ２ａ、Ｍ２ｂ、Ｍ３ａ、Ｍ３ｂ、Ｍ４ａ〜Ｍ４ｄ フレーム領域
Ｃ１〜Ｃ３ 間引き回路
Ｄ１、Ｄ２ ウェーブレット変換回路
Ｅ１〜Ｅ３ データ削減回路

Claims (9)

1. 画像データ記憶装置を備え、前記画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた符号化を施す符号化装置であって、
   前記画像データ記憶装置は、
   画像データを圧縮する複数の圧縮手段と、
   複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、
   前記複数の圧縮手段に対応して設けられ、各々が、対応する前記圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第２の記憶手段と、
   前記圧縮手段により圧縮されて、前記第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、前記圧縮手段の各々の圧縮率は、互いに異なり、
   現在の符号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、前記現在の符号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、
   前記過去のフレームは、画面間予測を実行する際の参照フレームであり、
   前記現在の符号化対象であるフレームを含むグループは、前記現在の符号化対象であるフレームのみからなり、又は、前記現在の符号化対象であるフレーム及び参照フレームからなり、
   前記画像データ記憶装置の前記複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、
   前記画像データ記憶装置の前記第１の記憶手段は、前記現在の符号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、
   前記画像データ記憶装置の前記複数の第２の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記第２の記憶手段の各々は、対応する前記圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、
   前記圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、前記現在の符号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する前記圧縮手段の圧縮率より大きい、ことを特徴とする符号化装置。
2. 画像データ記憶装置を備え、前記画像データ記憶装置が記憶するフレームの画像データを参照フレームの画像データとして、画面間予測を用いた復号化を施す復号化装置であって、
   前記画像データ記憶装置は、
   画像データを圧縮する複数の圧縮手段と、
   単数又は複数のフレームの圧縮されていない画像データをフレーム単位で記憶する第１の記憶手段と、
   前記複数の圧縮手段に対応して設けられ、各々が、対応する前記圧縮手段により圧縮された画像データをフレーム単位で記憶する複数の第２の記憶手段と、
   前記複数の圧縮手段に対応して設けられる複数の伸長手段を含み、前記伸長手段は、対応する前記圧縮手段により圧縮されて、対応する前記第２の記憶手段に記憶された画像データを伸長する画像データ伸長手段と、を備え、前記圧縮手段の各々の圧縮率は、互いに異なり、
   現在の復号化対象であるフレームを基準として、時間的に連続した予め定められた数の過去のフレーム、及び、前記現在の復号化対象であるフレーム、からなるフレーム群において、現在から過去にわたって時間的に連続するように、各々が予め定められた数のフレームからなる複数のグループを構成し、
   前記過去のフレームは、画面間予測を実行する際の参照フレームであり、
   前記現在の復号化対象であるフレームを含むグループは、前記現在の復号化対象であるフレームのみからなり、又は、前記現在の復号化対象であるフレーム及び参照フレームからなり、
   前記画像データ記憶装置の前記複数の圧縮手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記圧縮手段は、対応するグループに属する参照フレームの画像データを圧縮し、
   前記画像データ記憶装置の前記第１の記憶手段は、前記現在の復号化対象であるフレームを含むグループに対応して設けられ、対応するグループに属するフレームの圧縮されていない画像データを記憶し、
   前記画像データ記憶装置の前記複数の第２の記憶手段は、参照フレームのみからなる複数のグループに対応して設けられ、前記第２の記憶手段の各々は、対応する前記圧縮手段により圧縮された、対応するグループに属する参照フレームの画像データを記憶し、
   前記圧縮手段の圧縮率は、その圧縮手段に対応するグループに属する参照フレームより、前記現在の復号化対象であるフレームに時間的に近い参照フレームを含むグループに対応する前記圧縮手段の圧縮率より大きい、ことを特徴とする復号化装置。
3. 予め定められた単数又は複数の前記圧縮手段は、可逆圧縮を実行し、他の圧縮手段は、非可逆圧縮を実行する、ことを特徴とする請求項１記載の符号化装置。
4. 予め定められた単数又は複数の前記圧縮手段は、可逆圧縮を実行し、他の圧縮手段は、非可逆圧縮を実行する、ことを特徴とする請求項２記載の復号化装置。
5. 前記第１の記憶手段、前記第２の記憶手段、前記圧縮手段、及び、前記画像データ伸長手段、に対して、前記第１の記憶手段及び前記第２の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える、ことを特徴とする請求項１または３に記載の符号化装置。
6. 前記第１の記憶手段、前記第２の記憶手段、前記圧縮手段、及び、前記画像データ伸長手段、に対して、前記第１の記憶手段及び前記第２の記憶手段が記憶している画像データの記憶形態を変更する指示を与える制御手段をさらに備える、ことを特徴とする請求項２または４に記載の復号化装置。
7. 前記圧縮手段の各々の圧縮方式は、互いに異なる、ことを特徴とする請求項１記載の符号化装置。
8. 前記圧縮手段の各々の圧縮方式は、互いに異なる、ことを特徴とする請求項２記載の復号化装置。
9. 請求項１記載の符号化装置と、
   請求項２記載の復号化装置と、を備え、
   前記符号化装置は、前記画像データ記憶装置による画像データの圧縮に関する情報と、符号化が施された画像データと、を多重化し、多重化データを生成する多重化手段をさらに備え、
   前記復号化装置は、受け取った前記多重化データを、前記圧縮に関する情報と、前記符号化された画像データと、に分離する分離手段をさらに備える、ことを特徴とする圧縮伸長システム。

Images