JP4209783B2 - 画像圧縮装置、画像再生装置、画像圧縮方法、画像再生方法、画像圧縮プログラム、及び画像再生プログラム - Google Patents

Description

本発明は、画像圧縮装置、画像再生装置、画像圧縮方法、画像再生方法、画像圧縮プログラム、及び画像再生プログラムに関するものである。

近年、デジタルカメラやカメラ付き携帯電話の普及を背景に、画像データの蓄積や伝送が広く行われるようになっている。一般に、画像データの符号化には、画像データの容量を効率的に削減することが可能な非可逆符号化方式が用いられている。

動画像の非可逆符号化方式の一例として、ＩＴＵ−Ｔ勧告の国際標準規格であるＨ．２６４動画像符号化方式がある。Ｈ．２６４のイントラ符号化フレーム（Ｉフレーム）では、画面内予測を用いたフレーム内符号化によって動画像の圧縮がなされる。また、インター符号化フレーム（Ｐフレーム）では、フレーム間符号化によって動画像の圧縮がなされる。フレーム間符号化処理では、符号化済の画像データが参照フレームとされ、符号化対象となる画像データの当該参照フレームに対する動き予測が行なわれ、参照フレームと符号化対の画像データとの予測誤差が符号化される。

ところで、フレーム内符号化処理のみによって生成される圧縮データの容量は、フレーム間符号化処理によって生成される圧縮データの容量に比して、大きい。そのため、フレーム内符号化処理のみによって生成される圧縮データの容量を削減するための方法が種々提案されている。その一種として、動画像の各フレームを符号化する際に、前フレームとの相関をブロックごとに相関を調べ、相関が少ないブロック内の画像のみを有効ブロックとして符号化し、有効ブロックを特定するためのブロック情報と共に符号化されたデータを送出する方法がある（例えば、特許文献１及び特許文献２を参照）。
特開平７−１３１７９４号公報 特開平５−２８４３６８号公報

しかしながら、上述した方法では、有効ブロック以外の無効ブロックの画像が符号化されないので、動画像の編集作業を容易に行うことができない。すなわち、動画像を構成する複数のフレームの一部を除去するといった編集作業を容易に行うことができない。一方、全ブロックをフレーム内符号化処理によって符号化した圧縮データを用いて動画像を再生する場合には、フレーム内の背景部分といった画素値の変化が少ない領域において、フリッカといった雑音が生じる。この雑音は、量子化レベルの相違や画面内予測方法の相違に基づくものである。

そこで、本発明は、再生時に雑音が抑制されるように、かつ、動画像の編集が容易となるように動画像を符号化する画像圧縮装置、画像圧縮方法、及び画像圧縮プログラムを提供することを目的としている。また、本発明の目的は、上記画像圧縮装置によって符号化された圧縮データを用いて動画像を再生する画像再生装置、画像再生方法、及び画像再生プログラムを提供することを目的としている。

本発明の画像圧縮装置は、（ａ）動画像を構成する複数のフレーム各々を符号化対象フレームとしてフレーム内符号化処理を施すことによって圧縮画像データを生成するフレーム内符号化手段と、（ｂ）符号化対象フレームより１フレーム前のフレームを記憶する記憶手段と、（ｃ）上記記憶手段に記憶されたフレームと上記符号化対象フレームとの差分演算を所定サイズのブロックごとに実行することによって差分データを生成する差分データ生成手段と、（ｄ）上記符号化対象フレームのブロック各々について、上記差分データ生成手段によって生成された該ブロックに関する上記差分データが所定の閾値より小さい場合には上記動画像の再生時にそのブロックの表示を更新しない旨を示し、該差分データが所定の閾値以上の場合には上記動画像の再生時にそのブロックの表示を更新する旨を示す表示更新データを生成する更新データ生成手段と、（ｅ）上記表示更新データにエントロピー符号化処理を施すことによって圧縮表示更新データを生成する表示更新データ圧縮手段と、を備える。

また、本発明の画像圧縮方法は、（ａ）フレーム内符号化手段が、動画像を構成する複数のフレーム各々を符号化対象フレームとしてフレーム内符号化処理を施すことによって圧縮画像データを生成するフレーム内符号化ステップと、（ｂ）記憶手段が、符号化対象フレームより１フレーム前のフレームを記憶する記憶ステップと、（ｃ）差分データ生成手段が、上記記憶手段に記憶されたフレームと上記符号化対象フレームとの差分演算を所定サイズのブロックごとに実行することによって差分データを生成する差分データ生成ステップと、（ｄ）更新データ生成手段が、上記符号化対象フレームのブロック各々について、上記差分データ生成手段によって生成された該ブロックに関する上記差分データが所定の閾値より小さい場合には上記動画像の再生時にそのブロックの表示を更新しない旨を示し、該差分データが所定の閾値以上の場合には上記動画像の再生時にそのブロックの表示を更新する旨を示す表示更新データを生成する更新データ生成ステップと、（ｅ）表示更新データ圧縮手段が、上記表示更新データをエントロピー符号化処理に施すことによって圧縮表示更新データを生成する表示更新データ圧縮ステップと、を含む。

また、本発明の画像圧縮プログラムは、コンピュータを、（ａ）動画像を構成する複数のフレーム各々を符号化対象フレームとしてフレーム内符号化処理を施すことによって圧縮画像データを生成するフレーム内符号化手段と、（ｂ）符号化対象フレームより１フレーム前のフレームを記憶する記憶手段と、（ｃ）上記記憶手段に記憶されたフレームと上記符号化対象フレームとの差分演算を所定サイズのブロックごとに実行することによって差分データを生成する差分データ生成手段と、（ｄ）上記符号化対象フレームのブロック各々について、上記差分データ生成手段によって生成された該ブロックに関する上記差分データが所定の閾値より小さい場合には上記動画像の再生時にそのブロックの表示を更新しない旨を示し、該差分データが所定の閾値以上の場合には上記動画像の再生時にそのブロックの表示を更新する旨を示す表示更新データを生成する更新データ生成手段と、（ｅ）上記表示更新データにエントロピー符号化処理を施すことによって圧縮表示更新データを生成する表示更新データ圧縮手段と、として機能させる。

本発明によれば、全てのフレームの全てのブロックにフレーム内符号化処理が適用されることによって圧縮画像データが生成されるので、動画像の編集が容易となるように動画像が符号化される。また、一つ前のフレームの対応ブロックとの相関が大きいブロックについては表示を更新せず、相関が小さいブロックについては表示を更新することを示す表示更新データが、上記の差分データに基づいて生成される。すなわち、この表示更新データは、一つ前のフレームの対応ブロックからの画素値の変化が少ないブロックは表示が更新されないようにするためのデータである。この表示更新データがエントロピー符号化されることによって、画素値の変化が少ないブロックの表示が動画像の再生時に更新されないようにするための圧縮表示更新データを圧縮データに含めることができる。したがって、本発明によれば、再生時に雑音が抑制されるように動画像が符号化される。

また、上述した本発明において、上記表示更新データ圧縮手段は、符号化すべき表示更新データを有する符号化対象のブロックに隣接するブロックの上記表示更新データに基づいて、当該符号化対象のブロックの上記表示更新データに対するコンテキストを生成し、上記エントロピー符号化処理として該コンテキストを用いた算術符号化処理を用いて、上記符号化対象のブロックの上記表示更新データを符号化することが好ましい。

本発明の画像再生装置は、（ａ）入力される圧縮画像データにフレーム内符号化処理の逆符号化処理を施すことによって、動画像を構成する複数のフレーム各々の復号画像を生成するフレーム内復号手段と、（ｂ）動画像再生時に上記フレームを所定サイズに分割したブロック各々に関してそのブロックの表示を更新するか否かを特定するための表示更新データがエントロピー符号化処理によって符号化された圧縮表示更新データに、エントロピー復号処理を施すことによって表示更新データを復号する表示更新データ復号手段と、（ｃ）再生対象のフレームより一フレーム前に再生された表示画像を記憶する記憶手段と、（ｄ）上記再生対象のフレームを再生する際に、上記表示更新データに基づいて表示を更新しないブロックであると特定されるブロックには、上記記憶手段に記憶された上記表示画像における対応のブロックの画像を用い、上記表示更新データに基づいて表示を更新するブロックであると特定されるブロックには、上記再生対象のフレームの復号画像における当該ブロックの画像を用いることによって、上記再生対象のフレームの表示画像を生成する表示画像制御手段とを備える

また、本発明の画像再生方法は、（ａ）フレーム内復号手段が、入力される圧縮画像データにフレーム内符号化処理の逆符号化処理を施すことによって、動画像を構成する複数のフレーム各々の復号画像を生成するフレーム内復号ステップと、（ｂ）表示更新データ復号手段が、動画像再生時に上記フレームを所定サイズに分割したブロック各々に関してそのブロックの表示を更新するか否かを特定するための表示更新データがエントロピー符号化処理によって符号化された圧縮表示更新データに、エントロピー復号処理を施すことによって表示更新データを復号する表示更新データ復号ステップと、（ｃ）記憶手段が、再生対象のフレームより一フレーム前に再生された表示画像を記憶する記憶ステップと、（ｄ）表示画像制御手段が、上記再生対象のフレームを再生する際に、上記表示更新データに基づいて表示を更新しないブロックであると特定されるブロックには、上記記憶手段に記憶された上記表示画像における対応のブロックの画像を用い、上記表示更新データに基づいて表示を更新するブロックであると特定されるブロックには、上記再生対象のフレームの復号画像における当該ブロックの画像を用いることによって、上記再生対象のフレームの表示画像を生成する表示画像制御ステップとを含む。

また、本発明の画像再生プログラムは、コンピュータを、（ａ）入力される圧縮画像データにフレーム内符号化処理の逆符号化処理を施すことによって、動画像を構成する複数のフレーム各々の復号画像を生成するフレーム内復号手段と、（ｂ）動画像再生時に上記フレームを所定サイズに分割したブロック各々に関してそのブロックの表示を更新するか否かを特定するための表示更新データがエントロピー符号化処理によって符号化された圧縮表示更新データに、エントロピー復号処理を施すことによって表示更新データを復号する表示更新データ復号手段と、（ｃ）再生対象のフレームより一フレーム前に再生された表示画像を記憶する記憶手段と、（ｄ）上記再生対象のフレームを再生する際に、上記表示更新データに基づいて表示を更新しないブロックであると特定されるブロックには、上記記憶手段に記憶された上記表示画像における対応のブロックの画像を用い、上記表示更新データに基づいて表示を更新するブロックであると特定されるブロックには、上記再生対象のフレームの復号画像における当該ブロックの画像を用いることによって、上記再生対象のフレームの表示画像を生成する表示画像制御手段と、として機能させる。

本発明によれば、上述した本発明の画像圧縮装置によって生成された圧縮データ（圧縮画像データ、圧縮表示更新データ）に基づいて、画素値の変化の少ない領域のノイズを抑制しつつ動画像を再生することが可能となる。

また、上述した本発明において、上記表示更新データ復号手段は、復号すべき表示更新データを有する復号対象のブロックに隣接するブロックの上記表示更新データに基づいて、当該復号対象のブロックの上記表示更新データに対するコンテキストを生成し、上記エントロピー復号処理として該コンテキストを用いた算術復号処理を用いて、上記復号対象のブロックの上記表示更新データを復号することが好ましい。

以上説明したように、本発明によれば、再生時に雑音が抑制されるように、かつ、動画像の編集が容易となるように動画像を符号化する画像圧縮装置、画像圧縮方法、及び画像圧縮プログラムが提供される。また、本発明によれば、上記画像圧縮装置によって符号化された圧縮データを用いて動画像を再生する画像再生装置、画像再生方法、及び画像再生プログラムが提供される。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。

まず、本発明の実施形態に係る画像圧縮装置について説明する。図１は、本発明の実施形態に係る画像圧縮装置の構成を示す図である。図１に示す画像圧縮装置１０は、物理的に、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、画像圧縮装置１０は、携帯電話といった移動通信端末であってもよい。すなわち、画像圧縮装置１０には、情報処理可能な装置が広く適用され得る。

図１に示されるように、画像圧縮装置１０は、機能的に、イントラフレーム符号化部（フレーム内符号化手段）１２、記憶部（記憶手段）１４と、差分データ生成部（差分データ生成手段）１６と、表示更新データ生成部（更新データ生成手段）１８と、表示更新データ圧縮部（表示更新データ圧縮手段）２０と、を備える。

イントラフレーム符号化部１２は、入力される動画像を受け取る。この動画像は、複数のフレームから構成されている。イントラフレーム符号化部１２は、複数のフレーム各々を符号化対象フレームとしてフレーム内符号化処理を施すことによって、圧縮画像データを生成する。ここでのフレーム内符号化処理には、例えば、ＩＳＯ／ＩＥＣにて標準化されたＪＰＥＧ、ＪＰＥＧ２０００等の静止画像符号化方式や、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の動画像符号化方式におけるイントラフレーム符号化処理、ＩＴＵ−Ｔ勧告のＨ．２６１、Ｈ．２６３、Ｈ．２６４等の動画像符号化方式におけるイントラフレーム符号化処理等を用いることができる。

記憶部１４は、入力される動画像を受け、符号化対象フレームの一つ前のフレームを記憶するメモリである。

差分データ生成部１６は、符号化対象フレームと記憶部１４に記憶されている一つ前のフレームを用いて、差分データを生成する。より具体的に、差分データ生成部１６は、符号化対象フレーム及び一つ前のフレーム（以下、「前フレーム」という。）をそれぞれ、所定サイズのブロックに分割する。このブロックのサイズとしては、例えば、輝度信号に対して８×８画素ブロック、色差信号に対して４×４画素のブロックとすることができる。なお、ブロックのサイズ及び形状は、この例に限定されるものではない。

差分データ生成部１６は、符号化対象フレームのブロックと前フレームにおける対応ブロックとの画素値の差分演算を実行することによって差分データを生成する。差分データは、例えば、当該ブロック内の差分値の絶対値を加算した値であることができる。差分データ生成部１６は、符号化対象フレームを分割した全ブロックについて差分データを生成し、表示更新データ生成部１８に出力する。

表示更新データ生成部１８は、上記の差分データに基づいて、動画像の再生時にブロックの表示を更新するか否かに関する表示更新データを生成する。具体的に、表示更新データ生成部１８は、処理対象のブロックに関する上記の差分データが所定の閾値より小さい場合には、再生時にそのブロックの表示を更新しない旨を示す情報とし、差分データが所定の閾値以上の場合には、そのブロックの表示を更新する旨の情報とした表示更新データを生成する。すなわち、表示更新データは、前フレームの対応ブロックとの相関が大きいブロックは表示を更新せず、相関が小さいブロックは表示を更新することを特定するための情報となっている。表示更新データには、例えば、表示を更新しないことを示す情報として「０」を、表示を更新することを示す情報として「１」を用いることができる。

表示更新データ圧縮部２０は、表示更新データ生成部１８によって生成された表示更新データにエントロピー符号化処理を施すことによって圧縮表示更新データを生成する。具体的に、表示更新データ圧縮部２０は、以下に説明するコンテキストを用いた算術符号化処理によって、表示更新データを符号化する。

図２は、表示更新データの算術符号化処理に用いるコンテキストを説明するための図である。また、図３は、表示更新データの算術符号化処理に用いる確率テーブルの一例を示す図である。この算術符号化処理には、画像の背景部分のように画素値の変化が少ないために表示を更新する必要のないブロックが、互いに隣接している可能性が高いという画像の性質が利用され、これによって表示更新データの圧縮効率が高められている。

すなわち、図２に示すように、表示更新データ圧縮部２０は、処理対象のブロックＸについて、このブロックＸの上のブロックＡ、右上のブロックＢ、及び左のブロックＣの表示更新データの中間値を予測データＤとし、予測データＤが「０」の場合には、図３に示す確率テーブルＰ０を用いてブロックＸの表示更新データの算術符号化処理を行う。一方、予測データＤが「１」の場合に、表示更新データ圧縮部２０は、図３に示す確率テーブルＰ１を用いてブロックＸの表示更新データの算術符号化処理を行う。ここで、確率テーブルＰ０では「０」の確率の初期値が高く、確率テーブルＰ１では「１」の確率の初期値が高くなっているので、予測データＤが「０」の場合には確率テーブルＰ０を用い、予測データＤが「１」の場合には確率テーブルＰ１を用いることによって、算術符号化処理による圧縮効率を高めることができる。

なお、算術符号化処理に用いる確率テーブルは、図２に示すものに限られない。図４は、表示更新データの算術符号化処理に用いる確率テーブルの他の一例を示す図である。この図４に示す確率テーブルを用いる場合には、コンテキストＣＴＸをＣＴＸ＝（ブロックＡの表示更新データ）＋（ブロックＣの表示更新データ）とし、コンテキストＣＴＸの値が「０」の場合には図４に示す確率テーブルＰ２を、コンテキストＣＴＸの値が「１」の場合には確率テーブルＰ３を、コンテキストＣＴＸの値が「２」の場合には確率テーブルＰ３をそれぞれ用いて、算術符号化処理を実行することができる。この場合にも、画素値の変化が少ないブロックが互いに隣接している可能性が高いという画像の性質を利用して、表示更新データの圧縮効率を高めることができる。

以上のように生成された圧縮画像データ、圧縮表示更新データは蓄積メディアに蓄積され、或いはネットワークを通じて伝送される。

次に、画像圧縮装置１０の動作について説明し、併せて本発明の実施形態に係る画像圧縮方法について説明する。図５は、本発明の実施形態に係る画像圧縮方法を示すフローチャートである。

図５に示すように、まず、この画像圧縮方法においては、画像圧縮装置１０に動画像が入力される（ステップＳ０１）。次いで、イントラフレーム符号化部１２が、符号化対象フレームにフレーム内符号化処理が施されることによって、圧縮画像データを生成する（ステップＳ０２）。

次に、差分データ生成部１６が、差分データを生成する（ステップＳ０３）。具体的に、差分データ生成部１６は、符号化対象フレームと記憶部１４に記憶された前フレームとの差分データを所定サイズのブロックごとに求める。符号化対象フレームの全ブロックに関する差分データが生成された後、記憶部１４によって記憶されているフレームが次のフレームに更新される（ステップＳ０４）。

次に、表示更新データ生成部１８が、表示更新データを生成する（ステップＳ０５）。具体的に、表示更新データ生成部１８が、上記の差分データと所定の閾値とを比較し、差分データが所定の閾値より小さい場合には「０」、差分データが所定の閾値より小さい場合には「１」とした表示更新データを生成する。

次いで、表示更新データ圧縮部２０が、表示更新データ生成部１８によって生成された表示更新データを算術符号化処理によって圧縮する（ステップＳ０６）。具体的に、表示更新データ圧縮部２０は、図２に示すように処理対象のブロックの周囲のブロックからコンテキストを生成する。表示更新データ圧縮部２０は、そのコンテキストの値にしたがって、図３或いは図４に示す確率テーブルを選択して、算術符号化処理を行い、圧縮表示更新データを生成する。

次いで、ステップＳ０１〜Ｓ０６の処理を行うべきフレームが残されているか否かが判断される。すなわち符号処理が終了したか否かが判断される（ステップＳ０７）。符号化処理が終了していない場合には、次のフレームを符号化対象フレームとしてステップＳ０１からの処理が繰り返され、一方、符号化処理が終了している場合には、画像圧縮方法の一連の処理が終了される。

次に、コンピュータを画像圧縮装置１０として動作させるための画像圧縮プログラムについて説明する。図６は、本発明の実施形態に係る画像圧縮プログラムの構成を示す図である。図６に示す画像圧縮プログラム３０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリによって提供される。また、画像圧縮プログラム３０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。

図６に示すように、画像圧縮プログラム３０は、処理を統括するメインモジュール３１と、イントラフレーム符号化モジュール３２と、記憶モジュール３４と、差分データ生成モジュール３６と、表示更新データ生成モジュール３８と、表示更新データ圧縮モジュール４０とを備えて構成されている。イントラフレーム符号化モジュール３２、記憶モジュール３４、差分データ生成モジュール３６、表示更新データ生成モジュール３８、表示更新データ圧縮モジュール４０がコンピュータに実行させる機能は、上述した対応のイントラフレーム符号化部１２、記憶部１４、差分データ生成部１６、表示更新データ生成部１８、表示更新データ圧縮部２０とそれぞれ同様である。

以下、本実施形態にかかる画像圧縮装置１０の作用及び効果を説明する。画像圧縮装置１０では、イントラフレーム符号化部１２によって全てのフレームの全てのブロックにフレーム内符号化処理が適用されることによって圧縮画像データが生成されるので、動画像の編集が容易となるように動画像が符号化される。

また、表示更新データ生成部１８によって、一つ前のフレームの対応ブロックとの相関が大きいブロックについては表示を更新せず、相関が小さいブロックについては表示を更新することを示す表示更新データが、差分データに基づいて生成される。この表示更新データが、表示更新データ圧縮部２０によって、エントロピー符号化されることによって、画素値の変化が少ないブロックの表示が動画像の再生時に更新されないようにするための圧縮表示更新データを圧縮データに含められる。したがって、画像圧縮装置１０は、画像の背景部分のように画素値の変化の少ない領域における再生時の雑音が抑制されるように、動画像を符号化することができる。

また、表示更新データ圧縮部２０が、表示更新データの符号化対象のブロックの周囲のブロックにおける表示更新データをコンテキストとして用い、算術符号化処理に用いるテーブルを切り替えるので、圧縮効率を高い圧縮表示更新データを生成することができる。

次に、本発明の実施形態に係る画像再生装置について説明する。図７は、本発明の実施形態に係る画像再生装置の構成を示す図である。図７に示す画像再生装置５０は、画像圧縮装置１０によって生成された圧縮データ（圧縮画像データ、圧縮表示更新データ）を用いて動画像を再生する装置である。画像再生装置５０は、物理的に、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、画像再生装置５０は、携帯電話といった移動通信端末であってもよい。すなわち、画像再生装置５０には、情報処理可能な装置が広く適用され得る。

図７に示すように、画像再生装置５０は、機能的に、イントラフレーム復号部（フレーム内復号手段）５２と、表示更新データ復号部（表示更新データ復号手段）５４と、表示画像制御部（表示画像制御手段）５６と、記憶部５８（記憶手段）とを備える。

イントラフレーム復号部５２は、フレーム内符号化処理によって符号化された圧縮画像データをフレーム内符号化処理の逆符号化処理によって復号し、動画像を構成する複数のフレーム各々の復号画像を生成する。

表示更新データ復号部５４は、圧縮表示更新データをエントロピー復号処理によって復号し、表示更新データを生成する。具体的に、表示更新データ復号部５４は、画像圧縮装置１０の表示更新データ圧縮部２０と同様にコンテキストを生成し、そのコンテキストを用いた逆算術復号符号化処理によって表示更新データを生成する。逆算術復号符号化処理には、図３或いは図４に示す確率テーブルが用いられる。確率テーブルは、表示更新データ圧縮部２０による処理と同様に、上記のコンテキストの値によって切り替えられる。

表示画像制御部５６は、表示更新データ復号部５４によって復号された表示更新データを参照して、表示画像を生成する。具体的に、処理対象のブロックの表示更新データが表示を更新しない旨（例えば、データが「０」の場合）を示す場合に、表示画像制御部５６は、記憶部５８に記憶されている一フレーム前のフレームの対応ブロックの画像を表示画像に組み込む。一方、処理対象のブロックの表示更新データが表示を更新する旨（例えば、データが「１」の場合）を示す場合に、表示画像制御部５６は、イントラフレーム復号部５２によって復号された再生対象の復号画像を表示画像に組み込む。

次に、画像再生装置５０の動作を説明し、併せて本発明の実施形態に係る画像再生方法について説明する。図８は、本発明の実施形態に係る画像再生方法を示すフローチャートである。

図８に示すように、この画像再生方法では、まず、画像再生装置５０に圧縮データが入力される（ステップＳ１１）。具体的に、圧縮画像データがイントラフレーム復号部５２に入力され、圧縮表示更新データが表示更新データ復号部５４に入力される。

次に、イントラフレーム復号部５２が、圧縮画像データをフレーム内復号処理によって復号し、動画像を構成する複数のフレーム各々の復号画像を生成する（ステップＳ１２）。

次いで、表示更新データ復号部５４が、圧縮表示更新データを上述した算術符号化処理によって復号し、表示更新データを生成する（ステップＳ１３）。

次に、表示画像制御部５６が、表示画像を生成する（ステップＳ１４）。具体的に、表示画像制御部５６が、処理対象のブロックに関する表示更新データを参照して、当該表示更新データが表示を更新しない旨を示す場合には、記憶部５８に記憶されている一フレーム前のフレームの対応ブロックの画像を表示画像に組み込む。一方、当該表示更新データが表示を更新する旨を示す場合には、表示画像制御部５６は、イントラフレーム復号部５２によって生成された再生対象のフレームの対応ブロックの画像を表示画像に組み込む。

ステップＳ１１〜Ｓ１５の処理が、再生対象フレームの全てのブロックについて実行された後、記憶部５８に記憶されているフレームが、表示画像制御部５６によって生成された表示画像によって更新される。すなわち、記憶部５８に記憶されている画像が、次のフレームの画像に更新される（ステップＳ１５）。

次いで、動画像の全てのフレームについてステップＳ１１〜Ｓ１５の処理が適用されたか否かが判断される。すなわち、復号処理が終了したか否かが判断される（ステップＳ１６）。この判断の結果、全てのフレームに対するステップＳ１１〜Ｓ１５の処理が終了していない場合には、処理が未完了のフレームについてステップＳ１１〜Ｓ１５の処理の適用が繰り返される。一方、復号処理が終了している場合には、この画像再生方法の一連の処理が終了される。

次に、コンピュータを画像再生装置５０として動作させる画像再生プログラムについて説明する。図９は、本発明の実施形態に係る画像再生プログラムの構成を示す図である。図９に示す画像再生プログラム６０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリによって提供される。また、画像再生プログラム６０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。

図９に示すように、画像再生プログラム６０は、処理を統括するメインモジュール６１と、イントラフレーム復号モジュール６２と、表示更新データ復号モジュール６４と、表示画像生成モジュール６６と、記憶モジュール６８とを備える。

イントラフレーム復号モジュール６２、表示更新データ復号モジュール６４、表示画像生成モジュール６６、記憶モジュール６８がコンピュータに実行させる機能は、上述した対応のイントラフレーム復号部５２、表示更新データ復号部５４、表示画像制御部５６、記憶部５８それぞれと同様である。

以上説明した画像再生装置５０によれば、上述した画像圧縮装置１０によって生成された圧縮データに基づいて、画像の背景部分といった画素値の変化の少ない領域において雑音を抑えつつ動画像を再生することができる。また、画像再生装置５０には、動画像の全フレームにフレーム内符号化処理が適用された画像圧縮データが入力されるので、編集作業が容易とされている。

なお、本実施形態においては、復号画像のフレーム内雑音を除去するためのデブロッキングフィルタ等、ポストフィルタを用いる処理についての説明は省略したが、画像再生装置５０は、表示画像に対してポストフィルリングを行うこともできる。また、ポストフィルタリングは、イントラフレーム復号部５２によって生成される復号画像に適用されても良い。

図１は、本発明の実施形態に係る画像圧縮装置の構成を示す図である。 図２は、表示更新データの算術符号化処理に用いるコンテキストを説明するための図である。 図３は、表示更新データの算術符号化処理に用いる確率テーブルの一例を示す図である。 図４は、表示更新データの算術符号化処理に用いる確率テーブルの他の一例を示す図である。 図５は、本発明の実施形態に係る画像圧縮方法を示すフローチャートである。 図６は、本発明の実施形態に係る画像圧縮プログラムの構成を示す図である。 図７は、本発明の実施形態に係る画像再生装置の構成を示す図である。 図８は、本発明の実施形態に係る画像再生方法を示すフローチャートである。 図９は、本発明の実施形態に係る画像再生プログラムの構成を示す図である。

符号の説明

１０…画像圧縮装置、１２…イントラフレーム符号化部、１４…記憶部、１６…差分データ生成部、１８…表示更新データ生成部、２０…表示更新データ圧縮部、５０…画像再生装置、５２…イントラフレーム復号部、５４…表示更新データ復号部、５６…表示画像制御部、５８…記憶部。

Claims (8)

1. 動画像を構成する複数のフレーム各々を符号化対象フレームとしてフレーム内符号化処理を施すことによって圧縮画像データを生成するフレーム内符号化手段と、
   符号化対象フレームより１フレーム前のフレームを記憶する記憶手段と、
   前記記憶手段に記憶されたフレームと前記符号化対象フレームとの差分演算を所定サイズのブロックごとに実行することによって差分データを生成する差分データ生成手段と、
   前記符号化対象フレームのブロック各々について、前記差分データ生成手段によって生成された該ブロックに関する前記差分データが所定の閾値より小さい場合には前記動画像の再生時にそのブロックの表示を更新しない旨を示し、該差分データが前記所定の閾値以上の場合には前記動画像の再生時にそのブロックの表示を更新する旨を示す表示更新データを生成する更新データ生成手段と、
   前記表示更新データにエントロピー符号化処理を施すことによって圧縮表示更新データを生成する表示更新データ圧縮手段と
   を備える画像圧縮装置。
   
2. 前記表示更新データ圧縮手段は、符号化すべき表示更新データを有する符号化対象のブロックに隣接するブロックの前記表示更新データに基づいて、当該符号化対象のブロックの前記表示更新データに対するコンテキストを生成し、前記エントロピー符号化処理として該コンテキストを用いた算術符号化処理を用いて、前記符号化対象のブロックの前記表示更新データを符号化する、請求項１に記載の画像圧縮装置。
3. 入力される圧縮画像データにフレーム内符号化処理の逆符号化処理を施すことによって、動画像を構成する複数のフレーム各々の復号画像を生成するフレーム内復号手段と、
   動画像再生時に前記フレームを所定サイズに分割したブロック各々に関してそのブロックの表示を更新するか否かを特定するための表示更新データがエントロピー符号化処理によって符号化された圧縮表示更新データに、エントロピー復号処理を施すことによって表示更新データを復号する表示更新データ復号手段と、
   再生対象のフレームより一フレーム前に再生された表示画像を記憶する記憶手段と、
   前記再生対象のフレームを再生する際に、前記表示更新データに基づいて表示を更新しないブロックであると特定されるブロックには、前記記憶手段に記憶された前記表示画像における対応のブロックの画像を用い、前記表示更新データに基づいて表示を更新するブロックであると特定されるブロックには、前記再生対象のフレームの復号画像における当該ブロックの画像を用いることによって、前記再生対象のフレームの表示画像を生成する表示画像制御手段と
   を備える画像再生装置。
4. 前記表示更新データ復号手段は、復号すべき表示更新データを有する復号対象のブロックに隣接するブロックの前記表示更新データに基づいて、当該復号対象のブロックの前記表示更新データに対するコンテキストを生成し、前記エントロピー復号処理として該コンテキストを用いた算術復号処理を用いて、前記復号対象のブロックの前記表示更新データを復号する、請求項３に記載の画像再生装置。
5. フレーム内符号化手段が、動画像を構成する複数のフレーム各々を符号化対象フレームとしてフレーム内符号化処理を施すことによって圧縮画像データを生成するフレーム内符号化ステップと、
   記憶手段が、符号化対象フレームより１フレーム前のフレームを記憶する記憶ステップと、
   差分データ生成手段が、前記記憶手段に記憶されたフレームと前記符号化対象フレームとの差分演算を所定サイズのブロックごとに実行することによって差分データを生成する差分データ生成ステップと、
   更新データ生成手段が、前記符号化対象フレームのブロック各々について、前記差分データ生成手段によって生成された該ブロックに関する前記差分データが所定の閾値より小さい場合には前記動画像の再生時にそのブロックの表示を更新しない旨を示し、該差分データが前記所定の閾値以上の場合には前記動画像の再生時にそのブロックの表示を更新する旨を示す表示更新データを生成する更新データ生成ステップと、
   表示更新データ圧縮手段が、前記表示更新データにエントロピー符号化処理を施すことによって圧縮表示更新データを生成する表示更新データ圧縮ステップと
   を含む画像圧縮方法。
   
6. フレーム内復号手段が、入力される圧縮画像データにフレーム内符号化処理の逆符号化処理を施すことによって、動画像を構成する複数のフレーム各々の復号画像を生成するフレーム内復号ステップと、
   表示更新データ復号手段が、動画像再生時に前記フレームを所定サイズに分割したブロック各々に関してそのブロックの表示を更新するか否かを特定するための表示更新データがエントロピー符号化処理によって符号化された圧縮表示更新データに、エントロピー復号処理を施すことによって表示更新データを復号する表示更新データ復号ステップと、
   記憶手段が、再生対象のフレームより一フレーム前に再生された表示画像を記憶する記憶ステップと、
   表示画像制御手段が、前記再生対象のフレームを再生する際に、前記表示更新データに基づいて表示を更新しないブロックであると特定されるブロックには、前記記憶手段に記憶された前記表示画像における対応のブロックの画像を用い、前記表示更新データに基づいて表示を更新するブロックであると特定されるブロックには、前記再生対象のフレームの復号画像における当該ブロックの画像を用いることによって、前記再生対象のフレームの表示画像を生成する表示画像制御ステップと
   を含む画像再生方法。
7. コンピュータを、
   動画像を構成する複数のフレーム各々を符号化対象フレームとしてフレーム内符号化処理を施すことによって圧縮画像データを生成するフレーム内符号化手段と、
   符号化対象フレームより１フレーム前のフレームを記憶する記憶手段と、
   前記記憶手段に記憶されたフレームと前記符号化対象フレームとの差分演算を所定サイズのブロックごとに実行することによって差分データを生成する差分データ生成手段と、
   前記符号化対象フレームのブロック各々について、前記差分データ生成手段によって生成された該ブロックに関する前記差分データが所定の閾値より小さい場合には前記動画像の再生時にそのブロックの表示を更新しない旨を示し、該差分データが前記所定の閾値以上の場合には前記動画像の再生時にそのブロックの表示を更新する旨を示す表示更新データを生成する更新データ生成手段と、
   前記表示更新データにエントロピー符号化処理を施すことによって圧縮表示更新データを生成する表示更新データ圧縮手段と、
   として機能させるための画像圧縮プログラム。
   
8. コンピュータを、
   入力される圧縮画像データにフレーム内符号化処理の逆符号化処理を施すことによって、動画像を構成する複数のフレーム各々の復号画像を生成するフレーム内復号手段と、
   動画像再生時に前記フレームを所定サイズに分割したブロック各々に関してそのブロックの表示を更新するか否かを特定するための表示更新データがエントロピー符号化処理によって符号化された圧縮表示更新データに、エントロピー復号処理を施すことによって表示更新データを復号する表示更新データ復号手段と、
   再生対象のフレームより一フレーム前に再生された表示画像を記憶する記憶手段と、
   前記再生対象のフレームを再生する際に、前記表示更新データに基づいて表示を更新しないブロックであると特定されるブロックには、前記記憶手段に記憶された前記表示画像における対応のブロックの画像を用い、前記表示更新データに基づいて表示を更新するブロックであると特定されるブロックには、前記再生対象のフレームの復号画像における当該ブロックの画像を用いることによって、前記再生対象のフレームの表示画像を生成する表示画像制御手段と、
   として機能させるための画像再生プログラム。

Images