JP4185086B2 - 画像処理装置 - Google Patents

Description

本発明は、フレーム間の相関に基づいて符号化を行う予測符号化方式を使用して画像を処理する画像符号化装置或いは画像復号化装置といった画像処理装置などに関し、特に、例えば高解像度の動画像を処理するような場合においても、予測用のフレームを記憶するためのメモリに必要となる容量を小さくした画像処理装置などに関する。

例えば、画像符号化装置により画像を圧縮符号化して送信し、画像復号化装置により受信した圧縮符号化画像を復号化する画像伝送システムが実施されている。
一般に、連続したフレームで構成される動画像のデータ圧縮では、前後するフレームの相関を利用してデータの圧縮を行うことで圧縮効率を高めている。このように前後するフレームの相関を利用した予測符号化方式としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２やＭＰＥＧ−４などがよく知られている。

図１４には、画像伝送システムの一例を示してある。
本例の画像伝送システムは、動画像を構成する前後するフレームの相関を利用してデータの圧縮を行う画像符号化装置３８１と、符号化されたストリームを再生可能な画像データに復号化する画像復号化装置３８２とをネットワーク３８３を介して接続して構成されている。
画像符号化装置３８１では、まず、カメラなどの映像入力部３９１から出力された映像信号をＡ／Ｄ変換器３９２でデジタル化する。Ａ／Ｄ変換器３９２から出力されたデジタル画像データをフレームメモリ３９３に格納する。フレームメモリ３９３では、例えば、ＭＰＥＧ−４やＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）においてはマクロブロックと呼ばれる１６×１６の正方ブロックにフレームを分割し、これをマクロブロック単位で符号化処理部３９４へ出力する。

符号化処理部３９４は、予測用フレームメモリ３９６に予測用フレームが格納されている場合には前後のフレームとの相関を用いた符号化処理を行い、格納されていない場合にはフレーム内の隣接画素との相関を用いた符号化処理を行う。また、予測用フレームが格納されていても、フレーム内相関符号化は行うことができる。
これに従って、符号化対象となるデータを入力した符号化処理部３９４は、所定の符号化処理を行い、符号化ストリームをストリームバッファ３９７へ出力する。また、符号化処理部３９４は、符号化ストリームを復号化処理部３９５へ出力する。符号化ストリームを入力した復号化処理部３９５は、符号化されたデータを復号化して、復号化された画像データを予測用フレームメモリ３９６に格納する。
符号化ストリームを入力したストリームバッファ３９７は、符号化ストリームを通信制御部３９８へ出力する。通信制御部３９８は、ＴＣＰ／ＩＰなどの所定の通信手順に従って、ネットワーク３８３を介して、画像復号化装置３８２へ符号化ストリームを送信する。

画像復号化装置３８２では、通信制御部４０１が、画像符号化装置３８１から符号化ストリームを受信し、受信した符号化ストリームをストリームバッファ４０２へ出力する。ストリームバッファ４０２は、符号化ストリームを復号化処理部４０３へ出力する。復号化処理部４０３は、入力した符号化ストリームを復号化し、復号化された画像データをフレームメモリ４０５に格納する。また、復号化処理部４０３は、復号化データを予測フレームメモリ４０４に格納する。ここで、復号化処理部４０３は、復号化しようとしているフレームが予測を用いて符号化されている場合には、予測用フレームメモリ４０４に格納されている予測用フレームデータを用いて復号化を行う。
復号化された画像データを入力したフレームメモリ４０５から出力された画像データをＤ／Ａ変換器４０６でアナログ信号へ変換する。このアナログ信号はモニタなどの映像出力部４０７で再生される。

特開平８−２４２４４６号公報

図１４に示されるような予測符号化方式を使用した画像符号化装置３８１や画像復号化装置３８２では、予測用フレームメモリ３９６、４０４を必要とし、これに必要とされるメモリサイズは符号化対象とする動画像の画素数と予測用に蓄積するフレーム数に依存する。
しかしながら、近年では、撮像素子の高性能化に伴い、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）などのように１００万画素を超える非常に高い解像度を有する動画像が増えてきている。これに伴い、画像符号化装置３８１により符号化対象とする動画像についても、高解像度化が進んでおり、予測用フレームメモリ３９６、４０４に必要なメモリ量が増大してしまうといった問題があった。

本発明は、このような従来の事情に鑑み為されたもので、例えば高解像度の動画像を処理するような場合においても、フレーム間の相関に基づいて符号化を行う予測符号化方式を使用して画像を処理するに際して、予測用のフレームを記憶するためのメモリに必要となる容量を小さくすることができる画像符号化装置或いは画像復号化装置といった画像処理装置などを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置では、次のような構成により、画像を符号化又は復号化する。
すなわち、処理手段が、処理対象となる画像のフレームを親フレームとし、当該親フレームを複数に分割して生成されるフレームを子フレームとし、それぞれの子フレームに対して、子フレーム内の相関を用いる方式或いは子フレーム間の相関を用いる方式を使用して、画像を符号化又は復号化する。
従って、子フレームを単位として画像の符号化又は復号化が行われるため、子フレーム間の相関を用いる方式において、参照フレームとして記憶することが必要なデータ量を子フレームに相当する小さいデータ量とすることができる。これにより、例えば高解像度の動画像を処理するような場合においても、フレーム間の相関に基づいて符号化を行う予測符号化方式を使用して画像を処理するに際して、予測用のフレームを記憶するためのメモリに必要となる容量を小さくすることができる。

ここで、画像処理装置としては、例えば、画像を符号化する画像符号化装置や、画像を復号化する画像復号化装置や、これら両方の機能を備えた装置などとして構成することが可能である。
また、処理対象となる画像としては、例えば、連続した複数のフレームから構成される動画像が用いられるが、静止画像が用いられてもよい。
また、１つの親フレームが分割されて生成される複数の子フレームの数としては、種々な数が用いられてもよい。
また、親フレームを複数の子フレームに分割する態様としては、種々な態様が用いられてもよく、例えば、親フレーム内で隣接する画素位置の画素を異なる子フレームに含めるように、当該親フレームを構成する画素を複数の子フレームに分配して、生成される複数の子フレームの間の相関が高くなるようにするのが好ましい。

また、子フレームを符号化する態様としては、例えば、所定の一部の子フレームについては当該子フレームの内の相関を用いる方式により符号化し、他の子フレームについてはいずれか別の所定の子フレームを参照フレームとして当該別の所定の子フレームとの間の相関を用いる方式により符号化する。
また、子フレーム内の相関としては、例えば、同一の子フレーム内で隣接する画素位置の画素値の相関などが用いられる。
また、子フレーム間の相関としては、例えば、異なる子フレーム間で対応する画素位置の画素値の相関などが用いられる。
また、子フレームを復号化する方式としては、当該子フレームが符号化された方式に対応した方式が用いられる。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記処理手段は、連続した複数の親フレームを処理する場合に、子フレーム間の相関を用いる方式として、所定の親フレームに属する複数の子フレームの中で１番目に処理される子フレームを参照フレームとする方式を使用する。
従って、例えば図３に示されるパターンＡや図４に示されるパターンＣのように、親フレームに属する１番目に処理される子フレームが参照フレームとされることにより、参照フレームに異常が発生して他の子フレームの符号化や復号化ができなくなってしまうことを抑制することができる。
ここで、或る子フレームの参照フレームとしては、例えば、当該或る子フレームが属する親フレームに属する他の子フレームが用いられてもよく、或いは、他の親フレームに属する子フレームが用いられてもよい。

或いは、前記処理手段は、連続した複数の親フレームを処理する場合に、子フレーム間の相関を用いる方式として、各親フレーム毎に独立に子フレーム間の相関を用いる方式を使用する。
従って、例えば図３に示されるパターンＢのように、各親フレーム毎に、独立して、子フレーム間の相関が用いられることにより、或る親フレームに属する参照フレームに異常が発生しても、他の親フレームに属する子フレームの符号化や復号化ができなくなってしまうことを防止することができる。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記処理手段は、処理対象となる画像の親フレームに属する複数の子フレームについて平均画像のフレームを生成し、当該平均画像のフレームを子フレームとみなして、当該平均画像のフレームについては子フレーム内の相関を用いる方式を使用するとともに、他の子フレームについては当該平均画像のフレーム又は１つ前のフレームを参照フレームとして子フレーム間の相関を用いる方式を使用して、符号化又は復号化する。
従って、或る親フレームから生成された複数の子フレームについて、これら複数の子フレームの平均画像のフレーム又は１つ前のフレームを参照フレームとして、それ以外の子フレームが符号化又は復号化されるため、参照フレームと子フレームとの相関性を高めて、フレーム間相関での符号化効率を高めることができる。また、平均画像のフレームではフレーム内の相関が高くなるため、フレーム内相関での符号化効率を高めることができる。

ここで、或る親フレームから生成された複数の子フレームについて、平均画像のフレームを用いる場合には、例えば、これら複数の子フレームのうちの１つの子フレームについては符号化や復号化をしなくても、他の子フレーム（平均画像のフレームを含む）から復元することができる。
また、複数の子フレームの平均画像のフレームとしては、種々な平均化が行われてもよく、例えば、縦横（高さと幅）の画素配置が同一である複数の子フレームについて各画素位置の画素の画素値の平均値から構成されるフレームを用いることができる。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記処理手段は、画像を符号化する場合に、１つのフレームを分割して生成される複数のフレームの中の１つ以上のフレームを更に分割することを１回以上繰り返して行って、子フレームより小さいサイズのフレームを生成して符号化する。
従って、親フレーム及び子フレームのほかに、更に小さいサイズのフレームを生成することができる。

又は、前記処理手段は、画像を復号化する場合に、所定のサイズ以下のフレームのみを復号化する。
従って、親フレーム、子フレーム、及び更に小さいサイズのフレームが存在する場合に、必要なサイズのフレームのみを復号化することにより、復号化処理の効率化を図ることができる。一例として、画像符号化装置により種々なサイズのフレームを生成して符号化し、複数の画像復号化装置のそれぞれが自装置に適したサイズのフレームまでを復号化して、それより大きいサイズのフレームについては復号化しないことにより、処理の効率化を図ることができる。

ここで、１つのフレームを分割して生成される複数のフレームの中で少なくとも１つのフレームを更に分割すれば、より小さいサイズのフレームを生成することができる。
また、フレームの分割を繰り返して行う回数としては、種々な回数が用いられてもよい。

本発明に係る画像処理システムでは、次のような構成により、画像符号化装置により画像を符号化し、当該符号化された画像を画像復号化装置により復号化する。
すなわち、前記画像符号化装置では、符号化入力手段が、処理対象となる画像を入力する。分割手段が、前記符号化入力手段により入力された画像のフレームを親フレームとして、当該親フレームを複数に分割したフレームを子フレームとして生成する。符号化手段が、前記分割手段により生成された子フレームを、それぞれの子フレームに対して、子フレーム内の相関を用いる方式或いは子フレーム間の相関を用いる方式を使用して、符号化する。符号化記憶手段が、子フレーム間の相関を用いる場合における参照フレームを記憶する。符号化出力手段が、前記符号化手段により符号化された画像を出力する。
また、前記画像復号化装置では、復号化入力手段が、符号化された画像を入力する。復号化手段が、前記復号化入力手段により入力された符号化された画像に基づいて、符号化に使用された方式に対応した方式により、子フレームを復号化する。復号化記憶手段が、子フレーム間の相関を用いる場合における参照フレームを記憶する。結合手段が、前記復号化手段により復号化された子フレームを結合して親フレームを生成する。復号化出力手段が、前記結合手段により生成された親フレームの画像を出力する。
従って、子フレーム間の相関を用いて子フレームを符号化又は復号化する場合に当該相関の相手として参照されるフレームである参照フレームとして、親フレームが用いられる場合と比べて、子フレームを用いることにより、参照フレームのサイズを小さくすることができ、画像符号化装置や画像復号化装置において、参照フレームを記憶するために必要となる記憶容量を小さくすることができる。

ここで、符号化記憶手段や復号化記憶手段としては、それぞれ、例えば、メモリを用いて構成することができる。
また、画像を入力する手段としては、例えば、画像を撮像入力してその画像のデータを取得する手段や、或いは、他の装置から出力される画像のデータを入力する手段などを用いることができる。
また、画像を出力する手段としては、例えば、画像を表示出力する手段や、或いは、他の装置へ画像のデータを出力する手段などを用いることができる。
また、画像符号化装置と画像復号化装置との間では、例えば、符号化された画像の伝送が行われてもよく、或いは、符号化された画像が記録媒体に記録された形で受け渡されてもよい。

なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置において各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置を構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
本発明に係る記録媒体では、装置を構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理を当該コンピュータに実行させる。

以上説明したように、本発明に係る画像処理装置などによると、処理対象となる画像のフレームを親フレームとし、当該親フレームを複数に分割して生成されるフレームを子フレームとし、それぞれの子フレームに対して、子フレーム内の相関を用いる方式或いは子フレーム間の相関を用いる方式を使用して、画像を符号化又は復号化するようにしたため、子フレーム間の相関を用いる方式において、参照フレームとして記憶することが必要なデータ量を小さいデータ量とすることができる。

本発明に係る実施例を図面を参照して説明する。
本明細書では、フレーム間の相関を用いた符号化を予測符号化と呼んでいる。予測符号化方式では、特に、連続したフレームを有する動画像などにおいて、符号化対象となるフレームとその前後のフレームとの高い相関性を利用して、前後のフレームから該当するフレームの画素情報を予測する。このような符号化により、画像情報の圧縮を行うことができる。
また、フレーム間の相関を用いて符号化を行ったフレームをＰ（Ｐｒｅｄｉｃｔｉｏｎ）フレームと呼び、フレーム内の画素相関のみを用いて符号化を行ったフレームをＩ（Ｉｎｔｒａ）フレームと呼ぶ。これらのＩフレーム、Ｐフレームという概念は、例えば本実施例では符号化対象とする単位が分割された子フレームなどの単位であるという点を除いては、ＭＰＥＧ−２やＭＰＥＧ−４などの規格で一般に用いられているＩ、Ｐという概念と同様である。
また、本実施例では、分割元となるもともとのフレームを親フレームと呼び、親フレームが分割されたフレームをそれぞれ子フレームと呼ぶ。また、子フレームを分割したものをそれぞれ孫フレームと呼び、以降も同様である。

本発明の第１実施例を説明する。
図１には、本発明の一実施例に係る画像伝送システムの一例を示してある。
本例の画像伝送システムは、映像入力部１１と接続された画像符号化装置１と、映像出力部３９と接続された画像復号化装置２とをネットワーク３を介して接続して構成されている。
本例の画像符号化装置１は、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器１２と、フレームメモリ１３と、フレーム分割部１４と、符号化処理部１５と、符号化処理制御部１６と、復号化処理部１７と、予測用フレームメモリ１８と、ストリームバッファ１９と、通信制御部２０を備えている。
本例の画像復号化装置２は、通信制御部３１と、ストリームバッファ３２と、復号化処理部３３と、予測用フレームメモリ３４と、フレームメモリ３５と、復号化処理制御部３６と、フレーム結合部３７と、Ｄ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換器３８を備えている。

本例の画像符号化装置１により行われる動作の概要を示す。
カメラなどの映像入力部１１により映像が撮像などされて映像信号（画像信号）が取得される。画像符号化装置１では、映像入力部１１から出力された映像信号を入力してＡ／Ｄ変換器１２でデジタル化し、Ａ／Ｄ変換器１２から出力されたデジタル画像データをフレームメモリ１３に格納する。デジタル画像データを入力したフレームメモリ１３は、フレーム分割部１４へデジタル画像データを出力する。デジタル画像データを入力したフレーム分割部１４は、所定の方式で親フレームを子フレームに分割する。分割された子フレームのデータは、再度フレームメモリ１３に格納され、子フレーム毎に符号化処理部１５により符号化される。

符号化処理部１５は、予測用フレームメモリ１８に予測用フレームが格納されている場合には予測符号化処理を行い、格納されていない場合にはフレーム内の隣接画素との相関を用いた符号化を行う。符号化処理を行った符号化処理部１５は、符号化ストリームをストリームバッファ１９へ出力する。また、符号化処理部１５は符号化ストリームを復号化処理部１７へ出力する。符号化ストリームを入力した復号化処理部１７は、符号化されたデータを復号化して、復号化されたデータを予測用フレームメモリ１８に格納する。
符号化処理制御部１６は、符号化処理部１５により行われる符号化処理の状況に応じて、主に、符号化処理の打切り制御を行う。
符号化ストリームを入力したストリームバッファ１９は、符号化ストリームを通信制御部２０へ出力する。通信制御部２０は、ＴＣＰ／ＩＰなどの所定の通信手順に従って、ネットワーク３を介して、画像復号化装置２へ符号化ストリームを送信する。

本例の画像復号化装置２により行われる動作の概要を示す。
画像復号化装置２では、通信制御部３１が、ネットワーク３を介して画像符号化装置１から符号化ストリームを受信し、受信した符号化ストリームをストリームバッファ３２へ出力する。ストリームバッファ３２は、入力した符号化ストリームを復号化処理部３３へ出力する。復号化処理部３３は、入力した符号化ストリームを復号化し、復号化された画像データをフレームメモリ３５に格納する。また、復号化処理部３３は、復号化データを予測用フレームメモリ３４に格納する。ここで、復号化処理部３３は、復号化しようとしているフレームが予測を用いて符号化されている場合には、予測用フレームメモリ３４に格納されている予測用フレームデータを用いて復号化を行う。
復号化処理制御部３６は、復号化処理部３３により行われる復号化処理の状況に応じて、主に、復号化処理の打切り制御を行う。

フレームメモリ３５は、該当フレームの子フレームの全てが格納されると、子フレームの画像データをフレーム結合部３７へ出力する。子フレームの画像データを入力したフレーム結合部３７は、所定の方式で子フレームを結合し、結合された画像データをＤ／Ａ変換器３８へ出力する。この画像データはＤ／Ａ変換器３８でアナログ化され、アナログ信号に変換された映像信号が映像出力部３９へ出力される。
この映像信号は、モニタなどの映像出力部３９により再生される。

本例の符号化処理や復号化処理について詳しく説明する。
まず、符号化処理について説明する。
図２には、フレーム分割部１４によりフレームを分割する方式の一例を示してある。
本例では、動画像を構成する各フレーム（親フレーム）について、１枚の親フレーム４１を４枚の子フレーム６１、６２、６３、６４に分割する。
図２において、画素位置５１は、親フレーム４１における（２ｎ−１，２ｍ−１）の画素位置を示す。画素位置５２は、親フレーム４１の（２ｎ，２ｍ−１）の画素位置を示す。画素位置５３は、親フレーム４１の（２ｎ−１，２ｍ）の画素位置を示す。画素位置５４は、親フレーム４１の（２ｎ，２ｍ）の画素位置を示す。
ここで、ｎ、ｍはそれぞれ１以上の整数であり、座標は（幅方向の画素位置、高さ方向の画素位置）を表す。具体的には、親フレーム４１の幅＝Ｗ、親フレーム４１の高さ＝Ｈとして、ｎ＝１、２、３、・・・、Ｗ／２であり、ｍ＝１、２、３、・・・、Ｈ／２である。

本例のフレーム分割方式では、図２に示される各画素位置５１〜５４毎にフレームを分割し、４枚の子フレーム６１〜６４を構成する。つまり、各子フレーム６１〜６４は、各画素位置５１〜５４に該当する画素の前後左右の位置関係を保って並べたものとなっている。
ここで、例えば、一般に自然画像では隣接画素間に強い相関性があり、解像度が高くなるほど近傍画素との相関は強くなる傾向にあるため、本例の方式でフレームを分割することにより、分割された子フレーム６１〜６４同士は近似性が高くなり強い相関性を有する。本例では、このような子フレーム６１〜６４同士の強い相関性を利用して、子フレーム６１〜６４間に例えば従来の予測符号化方式と同様な符号化処理を行う。この場合、予測用フレームメモリ１８、３４としては、子フレーム分のメモリサイズが必要となる。

従って、本例では、子フレーム毎に符号化及び復号化を行うことにより、予測用フレームメモリ１８、３４に必要なメモリ量を子フレーム１枚分に削減することが可能である。このように、予測用フレームメモリ１８、３４に必要なメモリ量として、例えば従来では親フレーム１枚分のメモリサイズを必要としていたが、本例では、子フレーム１枚分つまり親フレームに対して（１／４）枚分のメモリサイズに削減することができ、予測用フレームメモリ１８、３４に必要なメモリ量の省メモリ化を実現することができる。

図３、図４及び図５には、連続する２枚以上の親フレームを符号化する場合に、子フレームを符号化するシーケンスの例を示してある。
フレーム符号化シーケンスとして、図３にはパターンＡ及びパターンＢを示してあり、図４にはパターンＣを示してある。本例では、これら３つのパターンＡ、Ｂ、Ｃのうちのいずれかを固定的に或いは可変に設定して使用する。
また、図５にはパターンＤを示してある。なお、本例では、パターンＤと比べてパターンＡ、Ｂ、Ｃの方が好ましいことからパターンＡ、Ｂ、Ｃを使用するが、パターンＤを使用することも可能である。

図３には、パターンＡに関して、１枚の親フレーム７１及びそれから生成された４枚の子フレーム８１〜８４と、当該親フレーム７１の次に続く１枚の親フレーム７２及びそれから生成された４枚の子フレーム８５〜８８を示してある。また、矢印は予測の参照先（予測先）となるフレームを指し示している。
本例では、２枚の親フレーム７１、７２（又は、３枚以上の親フレーム）において、最初の１枚の子フレーム８１についてはフレーム内での画素相関を用いて符号化されてＩフレームとなっており、続く７枚（又は、それ以上）の子フレーム８２〜８８については子フレーム間の相関を用いて符号化されてＰフレームとなっている。
また、親フレーム中で１番目の子フレームであるＰフレームの予測先は前の親フレームに属する子フレームの中で１番目に符号化された子フレームとなっており、親フレーム中で２番目以降のそれぞれの子フレームであるＰフレームの予測先は当該親フレームに属する子フレームの中で１番目に符号化された子フレームとなっている。つまり、親フレーム７１に含まれる２、３、４番目の子フレーム８２、８３、８４と親フレーム７２に含まれる１番目の子フレーム８５は親フレーム７１に含まれる１番目の子フレーム８１との間の相関を用いて符号化され、親フレーム７２に含まれる２、３、４番目の子フレーム８６、８７、８８は当該親フレーム７２に含まれる１番目の子フレーム８５との間の相関を用いて符号化される。

図３には、パターンＢに関して、１枚の親フレーム９１及びそれから生成された４枚の子フレーム１０１〜１０４と、当該親フレーム９１の次に続く１枚の親フレーム９２及びそれから生成された４枚の子フレーム１０５〜１０８を示してある。また、矢印は予測の参照先（予測先）となるフレームを指し示している。
本例では、各親フレーム９１、９２において、最初の１枚の子フレーム１０１、１０５についてはフレーム内での画素相関を用いて符号化されてＩフレームとなっており、続く３枚の子フレーム１０２〜１０４、１０６〜１０８については子フレーム間の相関を用いて符号化されてＰフレームとなっている。
このように、各親フレーム９１、９２に属する子フレームの中で１番目に符号化される子フレーム１０１、１０５が全てＩフレームとして符号化される。
また、それぞれのＰフレームの予測先としては、１フレーム前に符号化した子フレームを予測用フレームとして用いる。具体的には、Ｐフレームである子フレーム１０２〜１０４は、それぞれ、１つ前に符号化された子フレーム１０１〜１０３との間の相関を用いて符号化される。また、Ｐフレームである子フレーム１０６〜１０８は、それぞれ、１つ前に符号化された子フレーム１０５〜１０７との間の相関を用いて符号化される。
なお、他のパターンの例として、各親フレーム９１、９２において、２番目以降に符号化されるそれぞれの子フレーム１０２〜１０４、１０６〜１０８は、１番目に符号化される子フレーム１０１、１０５との間の相関を用いて符号化され、当該１番目に符号化される子フレーム１０１、１０５を予測先とするようなパターンを用いることもできる。本例では、いずれのパターンが用いられてもよい。

図４には、パターンＣに関して、１枚の親フレーム１１１及びそれから生成された４枚の子フレーム１２１〜１２４と、当該親フレーム１１１の次に続く１枚の親フレーム１１２及びそれから生成された４枚の子フレーム１２５〜１２８と、当該親フレーム１１２の次に続く１枚の親フレーム１１３及びそれから生成された４枚の子フレーム１２９〜１３２を示してある。また、矢印は予測の参照先（予測先）となるフレームを指し示している。
本例では、３枚の親フレーム１１１、１１２、１１３（又は、４枚以上の親フレーム）において、最初の１枚の子フレーム１２１についてはフレーム内での画素相関を用いて符号化されてＩフレームとなっており、続く１１枚（又は、それ以上）の子フレーム１２２〜１３２については子フレーム間の相関を用いて符号化されてＰフレームとなっている。
また、Ｉフレームを有する親フレーム１１１においては、２番目以降に符号化されたそれぞれの子フレーム１２２〜１２４は、１番目に符号化された子フレーム１２１との間の相関を用いて符号化され、当該１番目に符号化された子フレーム１２１を予測先とする。また、Ｉフレームを有しない各親フレーム１１２、１１３に属するそれぞれの子フレーム１２５〜２８、１２９〜１３２の予測先は、１つ前の親フレーム１１１、１１２に属する子フレームの中で１番目に符号化された子フレーム１２１、１２５となっており、具体的には、子フレーム１２５〜１２８のそれぞれは子フレーム１２１との間の相関を用いて符号化され、子フレーム１２９〜１３２のそれぞれは子フレーム１２５との間の相関を用いて符号化される。

図５には、パターンＤに関して、１枚の親フレーム１４１及びそれから生成された４枚の子フレーム１５１〜１５４と、当該親フレーム１４１の次に続く１枚の親フレーム１４２及びそれから生成された４枚の子フレーム１５５〜１５８を示してある。また、矢印は予測の参照先（予測先）となるフレームを指し示している。
本例では、２枚の親フレーム１４１、１４２（又は、３枚以上の親フレーム）において、最初に符号化される１枚の子フレーム１５１についてはフレーム内での画素相関を用いて符号化されてＩフレームとなっており、続く７枚（又は、それ以上）の子フレーム１５２〜１５８については子フレーム間の相関を用いて符号化されてＰフレームとなっている。
また、それぞれのＰフレームの予測先としては、１フレーム前に符号化した子フレームを予測用フレームとして用いる。具体的には、Ｐフレームである子フレーム１５２〜１５８は、それぞれ、１つ前に符号化された子フレーム１５１〜１５７との間の相関を用いて符号化される。

図６には、符号化ストリームの内部構造であるデータシンタクスの一例を示してある。
本例の符号化ストリームは、ストリーム全体のヘッダ情報（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ）１６１に続いて、子フレーム毎のヘッダ情報（Ｈｅａｄｅｒ）１６２、１６４、１６６、１６８と符号化された画像データ（Ｖｉｄｅｏ ｄａｔａ）１６３、１６５、１６７、１６９との組が４枚分配置されて構成される。
子フレーム毎のヘッダ情報１６２、１６４、１６６、１６８は、それぞれ、所定のヘッダ情報部（Ｈｅａｄｅｒ Ｉｎｆｏ）１７１と、親フレームのフレーム番号の情報（ｆｒａｍｅ＿ｎｕｍ）１７２と、子フレームのフレーム番号の情報（ｓｕｂ＿ｆｒａｍｅ＿ｎｕｍ）１７３から構成されている。

ここで、ストリーム全体のヘッダ情報１６１は、ストリーム全体の復号化に必要なパラメータなどの情報を含む。
子フレーム毎のヘッダ情報１６２、１６４、１６６、１６８は、該当する子フレームの復号化に必要なパラメータなどの情報を含む。
子フレーム毎の符号化画像データ１６３、１６５、１６７、１６９は、該当する子フレームの画像データが符号化されたデータである。
本例では、ストリーム全体のヘッダ情報１６１には、例えば従来の符号化方式で用いられているヘッダ情報と同様な情報に加えて、フレーム符号化シーケンスのパターンを示すヘッダ情報（ｆｒａｍｅ＿ｓｅｑｕｅｎｃｅ）が付加される。

ここで、フレーム符号化シーケンスのパターンを示すヘッダ情報（ｆｒａｍｅ＿ｓｅｑｕｅｎｃｅ）としては、例えば、フレーム符号化シーケンスにパターンＡを用いた場合には００を指定し、パターンＢを用いた場合には０１を指定し、パターンＣを用いた場合には１０を指定する。また、フレーム符号化シーケンスが２種類であれば０と１で指定することができる。
また、本例では、子フレーム毎のヘッダ情報１６２、１６４、１６６、１６８には、それぞれ、例えば従来の予測符号化方式で用いられているのと同様なヘッダ情報部１７１に加えて、親フレームのフレーム番号の情報１７２と子フレームのフレーム番号の情報１７３が付加される。これにより、子フレームを正常に復号化することを可能とする。

ここで、親フレームのフレーム番号の情報１７２により特定される番号は、全体のストリームの中で再生された順番を示す番号である。同一の親フレームに属する子フレームは、それぞれ、親フレームのフレーム番号の情報１７２として同一の情報を有する。
また、子フレームのフレーム番号の情報１７３により、同一の親フレームに属するそれぞれの子フレームの種類を識別することができる。本例では、１枚の親フレームを４分割としており、子フレームのフレーム番号の情報１７３としては０、１、２、３の４つの値をとる。例えば、図２に示される例では、子フレーム６１のフレーム番号の情報を０とし、子フレーム６２のフレーム番号の情報を１とし、子フレーム６３のフレーム番号の情報を２とし、子フレーム６４のフレーム番号の情報を３とすることにより、それぞれの復号化した子フレーム６１〜６４が親フレーム４１に対していずれの画素位置５１〜５４に該当するかを識別することができる。

図７には、本例の符号化処理制御部１６により符号化処理を制御する様子の一例を示してある。
本例の画像符号化装置１では、所定の長さの時間であるフレームリフレッシュ間隔毎に、フレームメモリ１３内の画像データが最新の画像データにリフレッシュされるとする。この場合、親フレーム１枚分つまり子フレーム４枚分の符号化処理をフレームリフレッシュ間隔内に終える必要がある。
なお、本例では、符号化処理制御部１６がフレームリフレッシュ間隔毎にフレームリフレッシュ信号をフレームメモリ１３へ出力することにより、フレームメモリ１３内の画像データを次のデータへリフレッシュさせる。

図７において、最初の親フレーム１８１から生成された４枚の子フレームの符号化処理１９１〜１９４については、フレームリフレッシュ間隔内に符号化処理を終えているため問題ない。
次の親フレーム１８２から生成された４枚の子フレームの符号化処理１９５〜１９８については、３枚目の子フレームの符号化処理１９７が終了した時点でフレームリフレッシュ間隔を超過している。仮に、更に４枚目の子フレームの符号化処理１９８を行うと、次の親フレーム１８３に関する１枚目の子フレームの符号化処理１９９以降の符号化処理に影響が生ずるため、本例の符号化処理制御部１６では符号化処理を打ち切るための符号化打切り制御信号を符号化処理部１５へ送信する。
符号化処理部１５は、符号化打切り制御信号を入力すると、そのときに処理中である親フレーム１８２について残りの子フレームの符号化処理１９８を中止し、次の親フレーム１８３に該当する子フレームの符号化処理１９９〜２０２を開始する。

次に、復号化処理について説明する。
図８には、本例の復号化処理制御部３６により復号化処理を制御する様子の一例を示してある。
本例の画像復号化装置２では、所定の長さの時間である映像出力リフレッシュ間隔毎に、フレームメモリ３５内の画像データが最新の画像データにリフレッシュされるとする。この場合、親フレーム１枚分つまり子フレーム４枚分の復号化処理を映像出力リフレッシュ間隔内に終える必要がある。
なお、本例では、復号化処理制御部３６が映像出力リフレッシュ間隔毎に映像出力リフレッシュ信号をフレームメモリ３５へ出力することにより、フレームメモリ３５内の画像データを次のデータへリフレッシュさせる。

復号化処理制御部３６は、符号化処理制御部１６と同様に親フレーム１枚分の復号化処理がリフレッシュ間隔内に終了しない場合には、又は、画像符号化装置１と画像復号化装置２との間のデータ通信状況により符号化ストリームが届かないような場合には、打切り制御を行う。
図８において、最初の親フレーム２１１に属する４枚の子フレームの復号化処理２２１〜２２４については、映像出力リフレッシュ間隔内に復号化処理を終えているため問題ない。
次の親フレーム２１２に属する４枚の子フレームの復号化処理２２５〜２２８については、３枚目の子フレームの復号化処理２２７が終了した時点で映像出力リフレッシュ間隔を超過している。仮に、更に４枚目の子フレームの復号化処理２２８を行うと、次の親フレーム２１３に関する１枚目の子フレームの復号化処理２２９以降の復号化処理に影響が生ずるため、本例の復号化処理制御部３６では復号化処理を打ち切るための復号化打切り制御信号を復号化処理部３３へ送信する。
復号化処理部３３は、復号化打切り制御信号を入力すると、そのときに処理中である親フレーム２１２について残りの子フレームの復号化処理２２８を中止し、次の親フレーム２１３に属する子フレームの復号化処理２２９〜２３２を開始する。

ここで、図３に示されるパターンＡ及びパターンＢ、図４に示されるパターンＣ、図５に示されるパターンＤについて、復号化処理の打ち切り時における状況を考察する。
まず、パターンＤのフレーム符号化シーケンスを用いた場合には、符号化されたストリームを符号化された順番に順次復号化する必要があるため、復号化処理において打切り制御が為されると、次のＩフレームが現れるまでは、打ち切られた子フレーム以降の子フレーム（Ｐフレーム）の復号化ができなくなる。
これに対して、パターンＡ、Ｂ、Ｃでは、復号化処理の打切り制御が発生しても、後続する子フレームを復号することが可能である。

パターンＡのフレーム符号化シーケンスを用いた場合には、各親フレーム７１、７２の１枚目の子フレーム８１、８５が予測先となっているため、符号化処理や復号化処理が途中で打ち切られても、後続する子フレームを処理することが可能である。例えば、親フレーム７１について、復号化処理部３３により１枚目の子フレーム８１の復号化処理を行って、復号化された画像データを予測用フレームメモリ３４に格納し、その後、続く子フレーム８２、８３、８４の復号化処理が打ち切られたときにおいても、次の親フレーム７２に属する最初の子フレーム８５については、予測用フレームメモリ３４に予測先となる子フレーム８１の復号化された画像データが存在するため、正常に復号化を行うことが可能となる。

パターンＢのフレーム符号化シーケンスを用いた場合には、各親フレーム９１、９２の１枚目の子フレーム１０１、１０５が予測先となっているため、符号化処理や復号化処理が途中で打ち切られても、後続する子フレームを処理することが可能である。また、パターンＢでは、各親フレーム９１、９２が独立に符号化されており独立に復号化することが可能であるため、ランダムアクセスが可能である。
パターンＣのフレーム符号化シーケンスを用いた場合には、各親フレーム１１１、１１２、１１３の１枚目の子フレーム１２１、１２５、１２９が予測先となっているため、例えばパターンＡと同様に、符号化処理や復号化処理が途中で打ち切られても、後続する子フレームを処理することが可能である。

図９には、フレーム結合部３７により復号化された子フレームの画像データを結合する方式の一例を示してある。
本例のフレーム結合方式は、図２に示されるフレーム分割方式に対応しており、概略的には逆の向きの処理を行う。
具体的には、或る親フレーム２５１について、分割された４枚の子フレーム２４１〜２４４が正常に復号化されてフレームメモリ３５に格納された場合には、これらの子フレーム２４１〜２４４を結合して１枚の親フレーム２５１を構成する。
なお、子フレーム２４１は親フレーム２５１中の（２ｎ−１，２ｍ−１）に相当する画素位置２６１の集合であり、子フレーム２４２は親フレーム２５１中の（２ｎ，２ｍ−１）に相当する画素位置２６２の集合であり、子フレーム２４３は親フレーム２５１中の（２ｎ−１，２ｍ）に相当する画素位置２６３の集合であり、子フレーム２４４は親フレーム２５１中の（２ｎ，２ｍ）に相当する画素位置２６４の集合である。

また、例えば、１枚の親フレームについて、符号化打切り制御により符号化された子フレームが４枚未満であった場合や、或いは、復号化打ち切り制御によりフレームメモリ３５に格納された子フレームが４枚未満であった場合には、フレームメモリ３５に格納された子フレームに対しては図９に示されるのと同様な結合操作を行い、不足する画素成分については補間処理を行う。補間方法としては、種々なものが用いられてもよく、例えば、隣接画素の平均値で補間する方法や、隣接画素で補間する方法などを用いることができる。
なお、本例では、リアルタイム性を保った再生を行うことができ、つまり画像符号化装置１の側で送り出す子フレームの数を制御することができるため、符号量の制御が容易であり、画像復号化装置２で受信したストリームを再生するまでに要する時間の低遅延化を実現することができる。

ここで、本例では、１枚の親フレームを４枚の子フレームに分割する場合を示したが、分割数は４に限定されず、種々な数が用いられてもよい。
また、図３、図４、図５に示される各パターンＡ、Ｂ、Ｃ、Ｄでは、Ｉフレームが生成される親フレームにおいて、図２に示される左上の子フレーム（Ａ１）６１をＩフレームとしたが、この代わりに、他の位置の子フレーム（Ｂ１、Ｃ１、Ｄ１）６２、６３、６４をＩフレームとすることも可能である。
また、本例の符号化方式及び復号化方式では、予測用フレームの枚数として、過去に符号化した１枚を用いる場合を示したが、これに限定されず、２枚以上の予測用フレーム（予測先）が用いられてもよい。
また、ＭＰＥＧ−２やＭＰＥＧ−４などの規格の中には、符号化対象とする画像よりも時間軸上で未来にあたる画像を予測フレームにするＢフレームという概念が存在する。本例では、過去の画像を予測フレームとして、このようなＢフレームを用いていないが、本例のように子フレームの単位で予測符号化する場合にＢフレームを用いることも可能である。

以上のように、本例の画像符号化装置１や画像復号化装置２では、例えば、連続する複数のフレーム（親フレーム）から構成される動画像データを処理する場合に、符号化対象となる画像データのフレーム（親フレーム）を複数の子フレームに分割して、前後のフレームの相関を用いて符号化を行う予測符号化を子フレームに適用することで、予測用フレームメモリ１８、３４には子フレームのデータを格納することとした。
従って、例えば、親フレームを４枚の子フレームに分割する場合には、親フレームを予測符号化する場合と比べて、予測用フレームメモリ１８、３４には（１／４）の解像度の子フレームを格納すればよく、予測用フレームメモリ１８、３４に必要なメモリサイズを（１／４）倍にすることができる。これにより、例えば高解像度の動画像を処理するような場合においても、予測用フレームメモリ１８、３４に必要となるメモリ量を削減して節約することができ、高能率な処理を実現することができる。

なお、本例の画像符号化装置１では、映像入力部１１から画像を入力する機能により符号化入力手段が構成されており、フレーム分割部１４の機能により分割手段が構成されており、符号化処理部１５の機能や符号化処理制御部１６の機能により符号化手段が構成されており、復号化処理部１７により復号化された参照フレームを予測用フレームメモリ１８が記憶する機能により符号化記憶手段が構成されており、通信制御部２０の機能により符号化出力手段が構成されている。また、これら各種の機能により処理手段が構成されている。
また、本例の画像復号化装置２では、通信制御部３１の機能により復号化入力手段が構成されており、復号化処理部３３の機能や復号化処理制御部３６の機能により復号化手段が構成されており、予測用フレームメモリ３４の機能により復号化記憶手段が構成されており、フレーム結合部３７の機能により結合手段が構成されており、映像出力部３９へ画像を出力する機能により復号化出力手段が構成されている。また、これら各種の機能により処理手段が構成されている。

本発明の第２実施例を説明する。
なお、第１実施例の場合と異なる点について詳しく説明し、同様な部分については説明を省略する。
本例では、子フレームの平均画像を用いて予測符号化を行う。
図１０には、子フレームの平均画像を作成する様子の一例を示してある。
具体的には、同一の親フレームを分割して生成された４枚の子フレーム２８１〜２８４について、平均化部２７１により各画素位置の画素値の平均値を取得し、各画素位置の画素値として当該平均値を有する画像フレームを子フレーム２８１〜２８４の平均画像２９１として作成する。
なお、平均化部２７１の機能は、例えば、画像符号化装置１のフレーム分割部１４或いは符号化処理部１５などに備えられる。

図１１には、平均画像を用いたフレーム符号化シーケンスの一例を示してある。
本例では、１枚の親フレーム３０１について、最初に平均画像３１１のフレームをＩフレームとして符号化し、続いて、平均画像３１１のフレームを予測の参照先（予測先）として、３枚の子フレーム３１２、３１３、３１４のそれぞれをＰフレームとして符号化する。他の例として、１枚の親フレーム３０１について、最初に平均画像３１１のフレームをＩフレームとして符号化し、続いて、１つ前のフレーム３１１、３１２、３１３を予測の参照先（予測先）として、３枚の子フレーム３１２、３１３、３１４のそれぞれをＰフレームとして符号化する構成とすることも可能である。つまり、子フレーム３１２のみについて平均画像３１１のフレームを予測先とし、子フレーム３１３は子フレーム３１２を予測先とし、子フレーム３１４は子フレーム３１３を予測先としてもよい。
また、残りの１枚の子フレーム３１５については、画像復号化装置２において復号化した平均画像３１１のフレーム及び他の３枚の子フレーム３１２、３１３、３１４を用いて復元することが可能であるため、画像符号化装置１では子フレーム３１５については符号化を行わず画像復号化装置２に対して送信することも行わない。ここで、残りの１枚の子フレーム３１５を復元する機能は、例えば、画像復号化装置２の復号化処理部３３に備えられる。
なお、本例においても、例えば、図３や図４や図５に示されるのと同様なフレーム符号化シーケンスを用いることができ、この場合、Ｉフレームは平均画像のフレームに限定するのが好ましい。

本例の画像符号化装置１や画像復号化装置２では、平均画像Ｚ１を原画像の各画素間の平均値を算出することにより生成するため、画素間のエッジ成分が少なくなり、高周波成分の少ない画像が生成される。このため、親フレーム中の該当する画素位置から画素を取り出して構成した子フレームＡ１、Ｂ１、Ｃ１、Ｄ１よりも符号化しやすい画像となり、このような子フレームＡ１、Ｂ１、Ｃ１、Ｄ１よりも高い符号化効率が得られる。
また、平均画像Ｚ１を参照フレームとして子フレームＡ１、Ｂ１、Ｃ１を符号化する場合には、例えば、Ｈ．２６４符号化方式（規格ＩＳＯ／ＩＥＣ １４４９６−１０）などで用いられている小数画素精度の動きベクトル探索を行うことで、子フレームＡ１、Ｂ１、Ｃ１の画素位置の画素を平均画像Ｚ１から予測することができるため、予測精度が向上し、高い符号化効率を得ることができる。また、平均画像を作らない場合においても、同様に小数画素精度の動き探索で子フレームＡ１、Ｂ１、Ｃ１の画素位置の画素を予測することが可能である。

本発明の第３実施例を説明する。
なお、第１実施例の場合と異なる点について詳しく説明し、同様な部分については説明を省略する。
本例では、符号化対象となるフレームを繰り返して分割して符号化する。
図１２には、フレーム分割部１４によりフレームを分割する方式の一例を示してある。
本例では、親フレーム３２１を４枚の子フレーム３３１、３３２、３３３、３３４に分割し、更に、そのうちの１枚の子フレーム３３１を４枚の孫フレーム３４１、３４２、３４３、３４４に分割する。

そして、符号化処理では、細かく分割した孫フレーム３４１〜３４４を最初に符号化する。本例では、４枚ある孫フレームのうち左上の孫フレーム（Ａ２）３４１をＩフレームとして符号化し、この孫フレーム３４１を参照フレームとして他の孫フレーム（Ｂ２、Ｃ２、Ｄ２）３４２、３４３、３４４を符号化する。これら４枚の孫フレーム３４１〜３４４の復号化により子フレーム３３１を再構成することが可能であり、この子フレーム（Ａ１）３３１を参照フレームとして他の子フレーム（Ｂ１、Ｃ１、Ｄ１）３３２、３３３、３３４を符号化する。画像符号化装置１では、画像復号化装置２に対して、１枚の子フレーム３３１を分割した４枚の孫フレーム３４１〜３４４の符号化画像と、他の子フレーム３３２〜３３４の符号化画像を送信する。

図１３には、親フレームを符号化する場合に、子フレーム及び孫フレームを符号化するシーケンスの例を示してある。
本例では、１枚の親フレーム３５１について、１枚目の子フレーム３６１を分割した４枚の孫フレーム３７１〜３７４の中で、１枚目の孫フレーム３７１をＩフレームとして符号化するとともに、この孫フレーム３７１を予測先として、２、３、４枚目の孫フレーム３７２、３７３、３７４のそれぞれをＰフレームとして符号化してあり、また、１枚目の子フレーム３６１を予測先として、２、３、４枚目の子フレーム３６２、３６３、３６４のそれぞれをＰフレームとして符号化している。
このような符号化データを復号化する場合には、まず、孫フレーム群の中で予測先となっている孫フレーム３７１を復号化し、復号化された当該孫フレーム３７１を参照フレームとして、残りの孫フレーム３７２、３７３、３７４を復号化する。全ての孫フレーム３７１〜３７４を復号化すると、これらの孫フレーム３７１〜３７４から子フレーム３６１を再構成し、この子フレーム３６１を参照フレームとして、残りの子フレーム３６２、３６３、３６４を復号化する。

本例の画像符号化装置１や画像復号化装置２では、多種多様な復号化処理能力を有する画像復号化装置群（複数の画像復号化装置）のそれぞれにより、それぞれに最適な画像サイズで復号化画像を得るようなことができる。
例えば、デジタルシネマのように大きな画像サイズ（例えば、４０９６画素×２０４８画素）の符号化を行う場合には、親フレームを子フレームに分割しても、子フレームの画像サイズは標準テレビ画像の解像度よりも高い。このような場合には、処理能力が低い画像復号化装置では子フレーム１枚すら所定処理時間内に復号化することができない、又は、画像復号化装置で子フレーム分のフレームメモリを確保することができないこともある。

これに対して、本例の構成では、画像復号化装置２では、１枚の孫フレームを復号化すれば、縦横（１／４）ずつに原画像をサブサンプリングした復号化画像を得ることができる。復号化処理能力が低い画像復号化装置では、孫フレームのみを復号化することで、解像度が低い動画像を再生することが可能となる。一方、画像復号化装置の能力に余裕がある場合には、その処理能力に応じて、更に、残りの孫フレームや子フレームを復号化することで、より高い解像度の復号化画像を再生することができる。

また、本例のような構成は、例えば、１つの符号化ストリームについて、携帯電話端末装置などでは孫フレームのみを復号化して再生し、高解像度モニタなどでは原画像と同じ解像度まで復号化して再生するようなシステムに適用して好適なものである。この場合、画像符号化装置１では、例えば、携帯電話端末装置などに対しては１枚の孫フレーム（Ｉフレーム）の符号化画像のみを送信するような構成とすることもできる。また、携帯電話端末装置などにおいて復号化処理における打切り制御を行うことで、不要な符号化画像の受信をしないようにする構成とすることもできる。
ここで、本例では、親フレームを子フレームに分割して更に孫フレームに分割した場合を示したが、更に細かく分割を繰り返すような態様が用いられてもよい。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の第１実施例に係る画像伝送システムの構成例を示す図である。 フレーム分割方式の一例を示す図である。 フレーム符号化シーケンスの例を示す図である。 フレーム符号化シーケンスの例を示す図である。 フレーム符号化シーケンスの例を示す図である。 符号化ストリームの内部構造の一例を示す図である。 符号化処理の制御方式の一例を示す図である。 復号化処理の制御方式の一例を示す図である。 フレーム結合方式の一例を示す図である。 本発明の第２実施例に係る子フレームの平均画像の作成の一例を示す図である。 フレーム符号化シーケンスの一例を示す図である。 本発明の第３実施例に係るフレーム分割方式の一例を示す図である。 フレーム符号化シーケンスの一例を示す図である。 画像伝送システムの一例を示す図である。

符号の説明

１、３８１・・画像符号化装置、 ２、３８２・・画像復号化装置、 ３、３８３・・ネットワーク、 １１、３９１・・画像入力部、 １２、３９２・・Ａ／Ｄ変換器、 １３、３５、３９３、４０５・・フレームメモリ、 １４・・フレーム分割部、 １５、３９４・・符号化処理部、 １６・・符号化処理制御部、 １７、３３、３９５、４０３・・復号化処理部、 １８、３４、３９６、４０４・・予測用フレームメモリ、 １９、３２、３９７、４０２・・ストリームバッファ、 ２０、３１、３９８、４０１・・通信制御部、 ３６・・復号化処理制御部、 ３７・・フレーム結合部、 ３８、４０６・・Ｄ／Ａ変換器、 ３９、４０７・・映像出力部、 ４１、６１〜６４、７１、７２、８１〜８８、９１、９２、１０１〜１０８、１１１〜１１３、１２１〜１３２、１４１、１４２、１５１〜１５８、１８１〜１８３、２１１〜２１３、２４１〜２４４、２５１、２８１〜２８４、３０１、３１１〜３１５、３２１、３３１〜３３４、３４１〜３４４、３５１、３６１〜３６４、３７１〜３７４・・フレーム、 ５１〜５４、２６１〜２６４・・画素位置、 １６１、１６２、１６４、１６６、１６８・・ヘッダ情報、 １６３、１６５、１６７、１６９・・符号化画像データ、 １７１・・ヘッダ情報部、 １７２、１７３・・フレーム番号、 １９１〜２０２・・符号化処理、 ２２１〜２３２・・復号化処理、 ２７１・・平均化部、 ２９１・・平均画像、

Claims (6)

1. 画像符号化装置により動画像を符号化し、当該符号化された動画像を画像復号化装置により復号化する画像処理システムにおいて、
   前記画像符号化装置は、処理対象となる動画像を入力する符号化入力手段と、
   前記符号化入力手段により入力された動画像を構成するフレームを親フレームとして、分割後のフレーム間に高い相関性が保たれるように当該親フレームを複数個に分割したフレームを子フレームとして生成する分割手段と、
   前記分割手段により１つの親フレームから分割された複数個の子フレームについて平均画像のフレームを生成し、当該平均画像のフレームについてはフレーム内符号化方式を使用するとともに、前記複数個から１個を除いた子フレームについては当該平均画像のフレーム又は１つ前の子フレームを参照フレームとして予測符号化方式を使用して、これらのフレームを符号化する符号化手段と、
   前記予測符号化方式による符号化に用いる参照フレームを記憶する符号化記憶手段と、
   前記符号化手段により符号化された画像を出力する符号化出力手段と、を備え、
   前記画像復号化装置は、符号化された画像を入力する復号化入力手段と、
   前記復号化入力手段により入力された符号化された画像から、前記１つの親フレームに対応する前記平均画像のフレーム及び前記複数個から１個を除いた子フレームを復号化するとともに、前記複数個から除かれた１個の子フレームを復元する復号化手段と、
   復号化された参照フレームを記憶する復号化記憶手段と、
   前記復号化手段により復号化された子フレーム及び復元された子フレームを結合して親フレームを生成する結合手段と、
   前記結合手段により生成された親フレームの画像を出力する復号化出力手段と、を備えた、
   ことを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記符号化手段は、予測符号化方式を使用する場合、小数画素精度の動きベクトル探索を行って、符号化する子フレームを参照フレームから予測するようにした、
   ことを特徴とする画像処理システム。
3. 請求項２に記載の画像処理システムにおいて、
   前記分割手段は、前記親フレームを４個の子フレームに分割するものであって、親フレームにおいて隣接する４画素を単位として、当該４画素がそれぞれ別の子フレームに属するように分割されるものであり、
   前記復号化記憶手段の容量は、親フレーム１枚分に必要な容量より少ない、
   ことを特徴とする画像処理システム。
4. 請求項３に記載の画像処理システムにおいて、
   前記画像符号化装置は、画像を符号化する場合に、１つのフレームを分割して生成される複数のフレームの中の１つのフレームを更に分割することを１回以上繰り返して行って、子フレームより小さいサイズのフレームを生成して符号化し、
   前記画像復号化装置は、画像を復号化する場合に、所定のサイズ以下のフレームのみを復号化する、
   ことを特徴とする画像処理システム。
5. 請求項２に記載の画像処理システムにおいて、
   前記符号化手段は、１つの親フレームを符号化する際に、最初に前記平均画像のフレームが符号化ストリームに出力されるように符号化し、
   前記親フレームの符号化処理が、所定の長さの時間であるフレームリフレッシュ間隔を超過したときに、符号化打ち切り信号を受けて、超過した残りの子フレームの符号化処理を中止する、
   ことを特徴とする画像処理システム。
6. 動画像を符号化し、当該符号化された動画像を復号化する画像処理方法において、
   処理対象となる動画像を入力する符号化入力ステップと、
   前記符号化入力ステップにより入力された動画像を構成するフレームを親フレームとして、分割後のフレーム間に高い相関性が保たれるように当該親フレームを複数個に分割したフレームを子フレームとして生成する分割ステップと、
   前記分割ステップにより１つの親フレームから分割された複数個の子フレームについて平均画像のフレームを生成し、当該平均画像のフレームについてはフレーム内符号化方式を使用するとともに、前記複数個から１個を除いた子フレームについては当該平均画像のフレーム又は１つ前の子フレームを参照フレームとして予測符号化方式を使用して、これらのフレームを符号化する符号化ステップと、
   前記予測符号化方式による符号化に用いる参照フレームを記憶する符号化記憶ステップと、
   前記符号化ステップにより符号化された画像を出力する符号化出力ステップと、
   符号化された画像を入力する復号化入力ステップと、
   前記復号化入力ステップにより入力された符号化された画像から、前記１つの親フレームに対応する前記平均画像のフレーム及び前記複数個から１個を除いた子フレームを復号化するとともに、前記複数個から除かれた１個の子フレームを復元する復号化ステップと、
   復号化された参照フレームを記憶する復号化記憶ステップと、
   前記復号化ステップにより復号化された子フレーム及び復元された子フレームを結合して親フレームを生成する結合ステップと、
   前記結合ステップにより生成された親フレームの画像を出力する復号化出力ステップと、
   を有することを特徴とする画像処理方法。

Images