JP4715222B2 - 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム - Google Patents

Description

本発明は、符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関する。

近年、テレビ番組などのコンテンツをデジタル信号でＨＤ（ハードディスク）やＤＶＤ（Digital Versatile Disk）などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。

ＨＤやＤＶＤを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。

一方で、デジタル記録再生装置の普及により、ＤＶＤなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。

図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。

図１において、画像処理システム１は、ＤＶＤなどの光ディスク等の記録媒体に記録されたコンテンツの画像信号を再生し、その結果得られるアナログ画像信号を出力する再生装置１１、再生装置１１が出力するアナログ画像信号を画像として表示するディスプレイ１２、および、再生装置１１が出力するアナログ画像信号を利用して、光ディスク等の記録媒体に記録する記録装置１３により構成されている。

再生装置１１は、復号部２１とＤ／Ａ（Digital-to-Analog）変換部２２とから構成されている。復号部２１は、図示せぬ記録媒体から読み出した符号化デジタル画像信号を復号し、その結果得られるデジタル画像信号をＤ／Ａ変換部２２に供給する。Ｄ／Ａ変換部２２は、復号部２１から供給されたデジタル画像信号をアナログ信号に変換し、その結果得られるアナログ画像信号を出力する。

ディスプレイ１２は、例えばＣＲＴ(Cathode-Ray Tube)やＬＣＤ（Liquid Crystal Display）等で構成され、Ｄ／Ａ変換部２２からのアナログ画像信号を画像として表示する。これにより、ユーザは、記録媒体に記録されている画像信号に対応する画像を見ることができる。

また、再生装置１１から出力されたアナログ画像信号は、記録装置１３にも供給(入力)される。

記録装置１３は、Ａ／Ｄ（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力されるアナログ画像信号を光ディスク等の図示せぬ記録媒体に記録する。

Ａ／Ｄ変換部３１には、再生装置１１が出力するアナログ画像信号が入力される。Ａ／Ｄ変換部３１は、入力されたアナログ画像信号をデジタル信号に変換し、その結果得られるデジタル画像信号を符号化部３２に供給する。符号化部３２は、Ａ／Ｄ変換部３１からのデジタル画像信号を符号化し、その結果得られる符号化デジタル画像信号を記録部３３に供給する。記録部３３は、符号化デジタル画像信号を記録媒体に記録する。

以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログ画像信号を利用して、再生された記録媒体と異なる記録媒体に画像信号を記録することができる。即ち、再生装置１１が出力するアナログ画像信号を利用して、コンテンツ（の画像信号）が、不正にコピーされるおそれがある。

従来、このようなアナログ画像信号を利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止することが提案されている。

しかしながら、アナログ画像信号をスクランブル処理して出力する、あるいはアナログ画像信号の出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。

そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献１参照）。

２００４−２８９６８５号公報

特許文献１に記載の手法では、アナログ画像信号をＡ／Ｄ変換することにより得られるデジタル画像信号の位相ずれなどのアナログノイズに着目し、そのデジタル画像信号に対してアナログノイズを考慮した符号化を行うことによって、コピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。

本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。

本発明の符号化装置は、画像データを所定数のブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段とを備え、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化手段は、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定することを特徴とする。

２次微分情報検出手段には、注目画素と、注目画素の周辺画素を抽出する抽出手段と、注目画素と周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出手段とを備えさせるようにすることができる。

所定の量子化ビット数は、ダイナミックレンジを基に定められるようにすることができる。

画像データにノイズを付加するノイズ付加手段を更に備えさせるようにすることができる。

複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化手段と、符号化手段により符号化された第１のフレームデータを復号して処理済フレームデータを生成する復号手段と、復号手段により生成された処理済フレームデータと、第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成手段とを更に備えさせるようにすることができ、ブロック分割手段に供給される画像データは、差分画像データであるものとすることができる。

本発明の符号化方法は、画像データを所定数のブロックに分割するブロック分割ステップと、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップとを含み、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化ステップの処理では、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定することを特徴とする。

本発明の第１の記録媒体に記録されているプログラムは、コンピュータに、画像データを所定数のブロックに分割するブロック分割ステップと、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップとを含み、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化ステップの処理では、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定する処理を実行させる。

本発明の第１のプログラムは、コンピュータに、画像データを所定数のブロックに分割するブロック分割ステップと、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップとを含み、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化ステップの処理では、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定する処理を実行させる。

本発明の復号装置は、注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である2次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出手段と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段とを備えることを特徴とする。

逆量子化手段により得られた画素データに、ノイズを付加するノイズ付加手段を更に備えさせるようにすることができる。

逆量子化手段から出力された第１のフレームデータと、逆量子化手段から出力された第２のフレームデータを加算する加算手段を更に備えさせるようにすることができ、検出手段には、複数のフレームデータにより構成される符号化画像データの入力を受けさせることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。

フレーム内符号化された基準フレームデータと、他のフレームデータを用いて符号化された予測フレームデータとを含む複数のフレームデータにより構成される符号化画像データの入力を受けて、基準フレームデータと予測フレームデータとに分離する分離手段と、分離手段により分離された基準フレームデータを復号する復号手段と、逆量子化手段から出力された予測フレームデータと、復号手段により復号された基準フレームデータとを加算する加算手段とを更に備えさせるようにすることができ、検出手段は、分離手段により分離された予測フレームデータの入力を受け、基準フレームデータは、予測フレームデータより時間的に１フレーム前のフレームデータであるようにすることができる。

本発明の復号方法は、注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出ステップと、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップとを含むことを特徴とする。

本発明の第２の記録媒体に記録されているプログラムは、コンピュータに、注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出ステップと、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップとを含む処理を実行させる。

本発明の第２のプログラムは、コンピュータに、注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出ステップと、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップとを含む処理を実行させる。

本発明の第１の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、符号化部は、画像データを所定数のブロックに分割するブロック分割手段と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段とを備え、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化手段は、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定することを特徴とする。

本発明の第２の画像処理システムは、符号化部および復号部を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、復号部は、画像データの注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出手段と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段とを備えることを特徴とする。

本発明の符号化装置および方法、第１のプログラム、並びに、第１の画像処理システムにおいては、画像データが所定数のブロックに分割され、分割されたブロックに含まれる各画素に対して、２次微分情報が検出され、検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化が実行される。なお、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である。また、量子化は、詳細には、ブロックごとに、ダイナミックレンジが検出されて、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値が設定され、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかが決定されることにより行われる。

本発明の復号装置および方法、第２のプログラム、並びに、第２の画像処理システムにおいては、注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である2次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力が受けられ、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値が検出され、検出された情報を基に逆量子化が実行されて、得られた画像データが出力される。

本発明によれば、画像データを符号化することができ、特に、２次微分情報を用いて、より簡単に、コピー前の画像データに基づいて表示される画像の画質を落とさずに、画質を維持したまま画像データをコピーすることを不可能にすることができる。

また、他の本発明によれば、画像データを復号することができ、特に、２次微分情報を用いて、より簡単に、コピー前の画像データに基づいて表示される画像の画質を落とさずに、画質を維持したまま画像データをコピーすることを不可能にすることができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

更に、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の符号化装置（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）は、画像データを所定数のブロックに分割するブロック分割手段（例えば、図４または図２０のブロック分割部１０１）と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段（例えば、図４または図２０の２次微分情報判定部１０２）と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段（例えば、図４または図２０の量子化部１０３）とを備え、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化手段は、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定することを特徴とする。

２次微分情報検出手段は、注目画素と、注目画素の周辺画素を抽出する抽出手段（例えば、図７の注目画素選択部１３１およびタップ抽出部１３２）と、注目画素と周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出手段（例えば、図７の判定部１３３）とを備えることができる。

画像データにノイズを付加するノイズ付加手段（例えば、図２または図１６のＡ／Ｄ変換部８１）を更に備えることができる。

複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化手段（例えば、図１８のＡＤＲＣ処理部２４２および２次微分情報保存処理部２４４）と、符号化手段により符号化された第１のフレームデータを復号して処理済フレームデータを生成する復号手段（例えば、図１８の基準フレームの復号部２４３および差分画像の復号部２４５）と、復号手段により生成された処理済フレームデータと、第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成手段（例えば、図１８の差分画像生成部２４６）とを更に備えることができ、ブロック分割手段に供給される画像データは、差分画像データであるものとすることができる。

請求項６に記載の符号化方法は、画像データの供給を受けて符号化する符号化装置（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）の符号化方法であって、画像データを所定数のブロックに分割するブロック分割ステップ（例えば、図１３のステップＳ１または図２４のステップＳ１１４の処理）と、ブロック分割ステップの処理により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップ（例えば、図１３のステップＳ２または図２４のステップＳ１１５の処理）と、２次微分情報検出ステップの処理により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化ステップ（例えば、図１３のステップＳ３乃至Ｓ１１または図２４のステップＳ１１６乃至Ｓ１２４の処理）とを含み、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化ステップの処理では、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定することを特徴とする。

また、請求項７に記載の記録媒体に記録されているプログラム、および、請求項８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項６に記載の符号化方法と同様である。

請求項９に記載の復号装置（例えば、図２の再生機６１、復号部７１、または、復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）は、注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である2次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出手段（例えば、図１２または図２２の特徴量検出部１５１）と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段（例えば、図１２または図２２の逆量子化部１５２）とを備えることを特徴とする。

逆量子化手段により得られた画素データに、ノイズを付加するノイズ付加手段（例えば、図２または図１６のＤ／Ａ変換部７２またはＤ／Ａ変換部８５）を更に備えることができる。

逆量子化手段から出力された第１のフレームデータと、逆量子化手段から出力された第２のフレームデータを加算する加算手段（例えば、図２１の加算部２７４）を更に備えることができ、検出手段は、複数のフレームデータにより構成される符号化画像データの入力を受けることができ、第２のフレームデータは、第１のフレームデータより時間的に１フレーム前のフレームデータであるものとすることができる。

フレーム内符号化された基準フレームデータと、他のフレームデータを用いて符号化された予測フレームデータとを含む複数のフレームデータにより構成される符号化画像データの入力を受けて、基準フレームデータと予測フレームデータとに分離する分離手段（例えば、図２１の基準フレーム／差分画像分離部２７１）と、分離手段により分離された基準フレームデータを復号する復号手段（例えば、図２１のＡＤＲＣ処理の逆量子化部２７２）と、逆量子化手段から出力された予測フレームデータと、復号手段により復号された基準フレームデータとを加算する加算手段（例えば、図２１の加算部２７４）とを更に備えることができ、検出手段は、分離手段により分離された予測フレームデータの入力を受け、基準フレームデータは、予測フレームデータより時間的に１フレーム前のフレームデータであるようにすることができる。

請求項１３に記載の復号方法は、符号化画像データの供給を受けて復号する復号装置（例えば、図２の再生機６１、復号部７１、または、復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）の復号方法であって、注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出ステップ（例えば、図１５のステップＳ５１または図２７のステップＳ１７６の処理）と、検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップ（例えば、図５のステップＳ５２または図２７のステップＳ１７７の処理）とを含むことを特徴とする。

また、請求項１４に記載の記録媒体に記録されているプログラム、および、請求項１５に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１３に記載の復号方法と同様である。

請求項１６に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、符号化部は、画像データを所定数のブロックに分割するブロック分割手段（例えば、図４または図２０のブロック分割部１０１）と、ブロック分割手段により分割されたブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段（例えば、図４または図２０の２次微分情報判定部１０２）と、２次微分情報検出手段により検出された２次微分情報に基づいて、量子化結果に２次微分情報が保たれるように量子化を実行する量子化手段（例えば、図４または図２０の量子化部１０３）とを備え、２次微分情報は、注目画素と、注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報であり、量子化手段は、ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることにより、各画素がいずれの量子化代表値に量子化されるかを決定することを特徴とする。

請求項１７に記載の画像処理システムは、符号化部（例えば、図２の符号化装置６３または符号化部８２、もしくは、図１６の符号化装置２０１または符号化部２１１）および復号部（例えば、図２の復号部７１または復号部８４、もしくは、図１６の再生機２０２、または復号部２１２）を含み、符号化部および復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、画像データが劣化するようになされている画像処理システムであって、復号部は、画像データの注目画素と注目画素の周辺画素との画素値によって描かれる軌跡が、注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、注目画素に対応する２次微分情報が上に凸であることを示していた場合、注目画素より大きな量子化代表値のうち一番近い値を、注目画素の量子化代表値とし、注目画素に対応する２次微分情報が下に凸であることを示していた場合、注目画素より小さな量子化代表値のうち一番近い値を、注目画素の量子化代表値とすることで、注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出手段（例えば、図１２または図２２の特徴量検出部１５１）と、検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段（例えば、図１２または図２２の逆量子化部１５２）とを備えることを特徴とする。

以下、図を参照して、本発明の実施の形態について説明する。

図２は、本発明を適用した画像表示システム５１の構成を示すブロック図である。

この画像表示システム５１は、アナログの画像データを出力する再生機６１と、再生機６１から出力される画像データによる画像を表示するディスプレイ６２と、再生機６１から出力されるアナログ画像データを符号化する符号化装置６３により構成されている。

再生機６１は、復号部７１およびＤ／Ａ（Digital-to-Analog）変換部７２を備えている。復号部７１は、図示しない光ディスク等の記録媒体から再生された、符号化されている画像データを復号し、Ｄ／Ａ変換部７２に供給する。Ｄ／Ａ変換部７２は、復号されて得られたデジタルの画像データをアナログの画像データに変換し、アナログの画像データを出力する。ディスプレイ６２は、例えばＣＲＴ（Cathode-Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal Display）等で構成され、供給されたアナログ画像データを表示する。

符号化装置６３は、Ａ／Ｄ（Analog-to-Digital）変換部８１、符号化部８２、記録部８３、復号部８４、Ｄ／Ａ変換部８５、および、ディスプレイ８６で構成され、主に、静止画像データ、または、他のフレーム画像データを用いた符号化処理（例えば、フレーム間予測符号化など）を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような処理を施すことができるように構成されている。Ａ／Ｄ変換部８１は、再生機６１より出力されるアナログの画像データを、Ａ／Ｄ変換し、符号化部８２に供給する。符号化部８２は、デジタルの画像データを符号化し、記録部８３および復号部８４に供給する。記録部８３は、供給されたデジタルの符号化画像データを、光ディスク等の記録媒体に記録する。復号部８４は、供給されたデジタルの符号化画像データを復号し、Ｄ／Ａ変換部８５に供給する。Ｄ／Ａ変換部８５は、復号されて得られたデジタルの画像データをアナログデータに変換し、アナログの画像データをディスプレイ８６に出力する。ディスプレイ８６は、例えばＣＲＴディスプレイ、ＬＣＤ等で構成され、供給されたアナログ画像データを表示する。

ところで、Ｄ／Ａ変換部７２においてデジタルの画像データをＤ／Ａ変換するとき、Ａ／Ｄ変換部８１においてアナログの画像データをＡ／Ｄ変換するとき、および、Ｄ／Ａ変換部８５においてデジタルの画像データをＤ／Ａ変換するとき、その変換処理において、高周波成分の歪みや位相ずれなどが生じる。すなわち、高周波成分の歪みや位相ずれなどが、画像データに付加される。この高周波成分の歪みや位相ずれなどは、アナログノイズとも称される。

このアナログノイズのうち、高周波成分の歪みは、主にホワイトノイズと呼ばれるノイズに起因するものである。

図３を参照して、ホワイトノイズに起因する高周波成分の歪みについて説明する。

Ｄ／Ａ変換部７２、および、Ｄ／Ａ変換部８５において、デジタルの画像データがアナログの画像データに変換される過程で、または、Ａ／Ｄ変換部８１において、アナログの画像データがデジタルの画像データに変換される過程において、周波数成分がほぼ均一なホワイトノイズが画像データに付加される。ホワイトノイズのレベルは、時系列でランダムに変化し、その分布はほぼ正規分布に従う。すなわち、各画素に対応するアナログの画像データに付加されるホワイトノイズのレベルはランダムに変化する。

したがって、例えば、復号部７１から出力されるデジタル画像データにおいて、水平方向と垂直方向に整列して位置する画素のうちの所定の１ラインに含まれる複数の画素の画素値が、図３Ａに示されるように、同一の画素値を有していたとしても、Ｄ／Ａ変換部７２よりＤ／Ａ変換されて伝送され、更に、Ａ／Ｄ変換部８１によりＡ／Ｄ変換された後のデジタルの画像データのうち、上述した１ラインに含まれる複数の画素（変換前は同一の画素値を有していた画素）の画素値は、図３Ｂに示されるように、もとの値を中心値としたある程度の範囲内に分散された値となってしまう。これらの分散された値と、もとの値との差異は乱数で表現される性質のものであり、一律に決まるものではない。その結果、画像データに高周波成分の歪みが生じる。また、水平方向だけでなく、垂直方向にも同様に高周波成分の歪みが生じる。なお、各画素に付加されるホワイトノイズのレベルの散らばり具合によっては、高周波成分以外の成分の歪みが生じる場合もある。

このように、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５においては、デジタルの画像データがアナログの画像データに変換される過程において、水平方向と垂直方向の２次元に、データの歪みが生じてしまう。

なお、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、上述したホワイトノイズなどを必ず付加するようにしても良い。また、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、上述したホワイトノイズに代わって、例えば、ピンクノイズなど、不均一な周波数特性を有するノイズ成分を出力されるデータに付加するようにしても良い。

更に、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含む、上述したアナログノイズは、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５において実行される変換処理時以外にも、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データを伝送する際に、アナログの画像データに付加される場合もある。

また、Ｄ／Ａ変換部７２は復号部７１と、Ａ／Ｄ変換部８１は、符号化部８２と、Ｄ／Ａ変換部８５は復号部８４と、それぞれ、１つの構成要素として構成とするようにしても良い。

また、図２の再生機６１および符号化装置６３を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、Ｄ／Ａ変換部７２と復号部７１とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部８２や復号部８４をそれぞれ独立した装置として構成したり、Ａ／Ｄ変換部８１と符号化部８２との２つの構成要素を持つ１つの装置として構成したり、Ｄ／Ａ変換部８５と復号部８４との２つの構成要素を持つ１つの装置として構成するようにしてもよい。

図２を用いて説明した、本発明を適用した画像表示システム５１の符号化装置６３においては、主に、静止画像データ、または、他のフレーム画像データを用いた符号化処理を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような符号化および復号が行われるような構成となっている。

図４は、符号化装置６３の符号化部８２の更に詳細な構成を示すブロック図である。

ブロック分割部１０１は、供給されたデジタルの画像データを、所定の大きさのブロックに分割し、デジタルの画像データの各画素の画素値を、ブロック単位で２次微分情報判定部１０２に供給する。

２次微分情報判定部１０２は、各画素の２次微分情報（注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかという情報）を求めて、各画素の２次微分情報とブロック単位の画素値を、量子化部１０３に供給する。２次微分情報判定部１０２が実行する各画素の２次微分情報の取得処理についての詳細は、後述する。

量子化部１０３は、供給された各画素の２次微分情報とブロック単位の画素値を基に、量子化後も２次微分情報が保たれるように量子化を行い、量子化データとして、各ブロックの最小値、各ブロックのダイナミックレンジ、および、各画素の量子化コードを出力する。

量子化部１０３により実行される量子化は、２次微分情報判定部１０２から供給された各画素の２次微分情報とブロック単位の画素値を基に、ＡＤＲＣ（Adaptive Dynamic Range Coding）を基本とした方法で実行される。

ＡＤＲＣとは、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力する可変長符号化方式であり、画像のデータは、複数の画素からなるブロックに分割された後、それらのブロックごとに、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジが検出されて、ブロックのダイナミックレンジを基に、各画素値を元の量子化ビット数（例えば、８ビット）よりも少ないビット数で量子化されるものである。具体的には、図５に示されるように、ダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値が等間隔（例えば、図５中、三角印で示される値）に分割され、各画素の画素値が、最も近い量子化代表値とされることにより、量子化が実行される。ＡＤＲＣ方式を適用した場合、ブロックにおけるダイナミックレンジが小さいほど、少ないビット数で量子化することができ、量子化ひずみの増大を抑えつつ、画素の画素値の冗長度のみを除去して、更にデータ量を少なくすることが可能である。

これに対して、符号化部８２において実行される符号化処理は、図５を用いて説明したＡＤＲＣと同様に、入力された画像のデータのダイナミックレンジに適応した可変長の符号を出力する可変長符号化方式であり、画像のデータは、ブロック分割部１０１において複数の画素からなるブロックに分割された後、それらのブロックごとに、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジが検出されて、ブロックのダイナミックレンジを基に、各画素値が元の量子化ビット数（例えば、８ビット）よりも少ないビット数で量子化されるものである。しかしながら、符号化部８２において実行される符号化処理において、量子化部１０３は、図５を用いて説明したＡＤＲＣのように、各画素の画素値が最も近い量子化代表値とすることにより、量子化を実行するのではなく、２次微分情報判定部１０２により求められたそれぞれの画素の周辺画素に対する２次微分情報が正の値であるか負の値であるか、すなわち、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかを基に、量子化を実行する。

すなわち、量子化部１０３においては、図６に示されるように、ブロック内の各画素について、上に凸ならば、注目画素より大きな量子化代表値のうち一番近い値が、注目画素の量子化代表値とされ、下に凸ならば、注目画素より小さな量子化代表値のうち一番近い値が、注目画素の量子化代表値とされる。

これにより、量子化部１０３により実行される量子化結果は、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかという２次微分情報が反映されたものとなる。

図７は、図４の２次微分情報判定部１０２の更に詳細な構成を示すブロック図である。

２次微分情報判定部１０２は、注目画素選択部１３１、タップ抽出部１３２、および、判定部１３３により構成されている。

注目画素選択部１３１は、入力された各ブロックの画素値から注目画素を選択し、注目画素の画素位置をタップ抽出部１３２に出力するとともに、注目画素の画素値を判定部１３３に出力する。

タップ抽出部１３２は、注目画素選択部１３１から供給された注目画素の位置を基に、２次微分情報の判定を行うための周辺画素を選択し、その画素値と位置情報を判定部１３３に出力する。

判定部１３３は、注目画素の画素値と周辺画素の画素値を用いて、２次微分情報（すなわち、上に凸であるか、または、下に凸であるか）を求め、各画素の２次微分情報とブロック単位の各画素の画素値を、量子化部１０３に供給する。

具体的には、ブロック内の注目画素の位置によって、タップ抽出部１３２により抽出される周辺画素の取り扱いが異なり、更に、周辺画素の取り扱いとともに、２次微分情報の求め方も異なる。

まず、図８を参照して、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて端部ではなく、その上下左右にブロック内の他の画素が位置している画素が注目画素である場合の周辺画素の選択と２次微分情報の算出について説明する。

タップ抽出部１３２は、注目画素選択部１３１により選択された注目画素値をＬｃとして、注目画素の上側の隣接画素値をＬｕ、下側の隣接画素値をＬｄ、右側の隣接画素値をＬｒ、左側の隣接画素値をＬｌとして、タップを抽出する。判定部１３３は、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｌと画素値Ｌｒとを結ぶ直線Ｆｌr、および、画素値Ｌｕと画素値Ｌｄとを結ぶ直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｌrよりも大きく、かつ、直線Ｆｕｄよりも大きいとき、この画素に対する２次微分情報は、「上に凸」であるものとし、画素値Ｌｃが、直線Ｆｌrよりも小さく、かつ、直線Ｆｕｄよりも小さいとき、この画素に対する２次微分情報は、「下に凸」であるものとする。

また、判定部１３３は、同様にして、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｌと画素値Ｌｒとを結ぶ直線Ｆｌr、および、画素値Ｌｕと画素値Ｌｄとを結ぶ直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｌrよりも大きく、かつ、直線Ｆｕｄよりも小さいとき、「点Ｌｃと直線Ｆｌｒとの距離＞点Ｌｃと直線Ｆｕｄとの距離」のであれば「上に凸」であるものとし、「点Ｌｃと直線Ｆｌｒとの距離＜点Ｌｃと直線Ｆｕｄとの距離」であれば「下に凸」であるものとし、画素値Ｌｃが、直線Ｆｌrよりも小さく、かつ、直線Ｆｕｄよりも大きいとき、「点Ｌｃと直線Ｆｌｒとの距離＞点Ｌｃと直線Ｆｕｄとの距離」であれば「下に凸」であるものとし、「点Ｌｃと直線Ｆｌｒとの距離＜点Ｌｃと直線Ｆｕｄとの距離」であれば「上に凸」であるものとする。

次に、図９を参照して、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて、角の位置を除いた端部であり、その左右にブロック内の他の画素が位置しているが、その上下のいずれかの画素はブロック内に存在しない画素が注目画素である場合の周辺画素の選択と２次微分情報の算出について説明する。

タップ抽出部１３２は、注目画素選択部１３１により選択された注目画素値をＬｃとし、右側の隣接画素値をＬｒ、左側の隣接画素値をＬｌとして、タップを抽出する。判定部１３３は、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｌと画素値Ｌｒとを結ぶ直線Ｆｌrに対して、画素値Ｌｃが、直線Ｆｌrよりも大きいとき、この画素に対する２次微分情報は、「上に凸」であるものとし、直線Ｆｌrに対して、画素値Ｌｃが、直線Ｆｌrよりも小さいとき、この画素に対する２次微分情報は、「下に凸」であるものとする。

次に、図１０を参照して、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて、角の位置を除いた端部であり、その上下にブロック内の他の画素が位置しているが、その左右のいずれかの画素はブロック内に存在しない画素が注目画素である場合の周辺画素の選択と２次微分情報の算出について説明する。

タップ抽出部１３２は、注目画素選択部１３１により選択された注目画素値をＬｃとし、上側の隣接画素値をＬｕ、下側の隣接画素値をＬｄとして、タップを抽出する。判定部１３３は、各画素の２次微分情報(「上に凸」か「下に凸」かという情報)を求めるにあたって、縦軸を画素値、横軸を相対的な画素位置として、画素値Ｌｕと画素値Ｌｄとを結ぶ直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｕｄよりも大きいとき、この画素に対する２次微分情報は、「上に凸」であるものとし、直線Ｆｕｄに対して、画素値Ｌｃが、直線Ｆｕｄよりも小さいとき、この画素に対する２次微分情報は、「下に凸」であるものとする。

また、図１１に示されるように、注目画素選択部１３１により選択された注目画素が、ブロック内の図中の点線で囲まれた範囲にある画素、すなわち、ブロックにおいて、角の位置にある画素が注目画素となった場合、２次微分情報判定部１０２は、画素の２次微分情報(「上に凸」か「下に凸」かという情報)の判定を実行しない。

なお、図８乃至図１１においては、ブロック分割部１０１において実行されるブロック分割が、８×８のブロック単位で実行される場合について説明しているが、ブロック分割部１０１において実行されるブロック分割は、８×８以外のいかなる単位で行われるものであっても良く、２次微分情報判定部１０２は、上述した場合と同様にして、各画素の２次微分情報を求めるようにすることができる。

また、ここでは、注目画素に対して、その上下左右に隣接して位置する１つの画素の画素値を基に、画素の２次微分情報(「上に凸」か「下に凸」かという情報)の判定を実行するものとして説明しているが、画素の２次微分情報は、注目画素に対して、その上下左右に隣接して位置する画素以外の、注目画素の周辺の所定の画素を基に求めるようにしても良い。具体的には、画素の２次微分情報は、例えば、注目画素に対して、斜めの位置に位置する画素や、その上下左右に１つの画素を挟んで位置する画素など、上下左右に隣接して位置する画素以外の位置の１つの画素の画素値を基に求めるようにしても良く、また、例えば、注目画素に対して、その上下左右または斜めに隣接して位置する２つ以上の所定の数の画素の画素値を基に求めるようにしても良い。

このようにして、２次微分情報に基づいて符号化された画像データは、図２に示される記録部８３に供給されて記録されるか、または、復号部８４に供給されて、復号され、Ｄ／Ａ変換部８５に供給されて、アナログデータに変換された後、ディスプレイ８６に供給されて、表示される。

次に、図１２は、図２の復号部７１および復号部８４の更に詳細な構成を示すブロック図である。

復号部８４は、特徴量検出部１５１および逆量子化部１５２により構成される。

特徴量検出部１５１は、供給された符号化画像データの各ブロックの最小値とダイナミックレンジを検出する。そして、特徴量検出部１５１は、各ブロックの最小値とダイナミックレンジ、および、量子化コードを、逆量子化部１５２に供給する。

逆量子化部１５２は、供給された情報を基にＡＤＲＣの逆量子化を実行して復号部８４に供給された符号化画像データを画素値に復号し、得られた画像データを出力する。

復号部７１により復号されて得られた画像データは、図２に示されるＤ／Ａ変換部７２に供給されて、アナログデータに変換された後、ディスプレイ６２に供給されて表示されたり、符号化部６３に供給される。また、復号部８４により復号されて得られた画像データは、図２に示されるＤ／Ａ変換部８５に供給されて、アナログデータに変換された後、ディスプレイ８６に供給されて、表示される。

次に、図１３のフローチャートを参照して、符号化部８２が実行する符号化処理１について説明する。

ステップＳ１において、ブロック分割部１０１は、供給された画像データを、所定のブロックに分割し、２次微分情報判定部１０２に供給する。

このとき供給されたデジタルの画像データは、再生機６１の復号部７１で復号され、Ｄ／Ａ変換部７２でアナログデータに変換されて、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データが伝送されて、Ａ／Ｄ変換部８１において、デジタルの画像データに変換されたものである。したがって、ステップＳ１において、ブロック分割部１０１に供給されたデジタルの画像データには、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１のデータ変換処理の過程で、または、その間の伝送路上で、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含むアナログノイズが付加されている。

なお、上述したように、Ｄ／Ａ変換部７２またはＡ／Ｄ変換部８１において、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分が積極的に付加されている場合もある。そのような場合、ステップＳ１の前の段階において、Ａ／Ｄ変換部８１は、供給されたアナログの画像データをデジタルの画像データに変換するとともに、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を付加する処理を実行し、ノイズ成分が付加されたデジタルの画像データを、符号化部８２に供給する。

ステップＳ２において、図１４のフローチャートを用いて後述する２次微分情報検出処理が実行される。

ステップＳ３において、量子化部１０３は、２次微分情報判定部１０２から供給された、ブロック内の画素値を基に、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジを検出する。

ステップＳ４において、量子化部１０３は、ステップＳ３において検出されたそれぞれのブロックのダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値を等間隔に分割し、それぞれのブロックにおける量子化代表値を決定する。

ステップＳ５において、量子化部１０３は、すべてのブロックの処理が終了したか否かを判断する。ステップＳ５において、すべてのブロックの処理が終了したと判断された場合、処理は、後述するステップＳ１２に進む。

ステップＳ５において、すべてのブロックの処理が終了していないと判断された場合、ステップＳ６において、量子化部１０３は、２次微分情報判定部１０２から供給された情報から、ブロック内の未処理の画素、すなわち、以下の処理における注目画素の画素値と２次微分情報を取得する。

ステップＳ７において、量子化部１０３は、注目画素の２次微分情報は、上に凸であるか否かを判断する。

ステップＳ７において、注目画素の２次微分情報は、上に凸であると判断された場合、ステップＳ８において、量子化部１０３は、注目画素より大きな量子化代表値のうち一番近い値を対応する画素の量子化代表値とし、処理は、ステップＳ１０に進む。

ステップＳ７において、注目画素の２次微分情報は、上に凸ではない、すなわち、下に凸であると判断された場合、ステップＳ９において、量子化部１０３は、注目画素より小さな量子化代表値のうち一番近い値を対応する画素の量子化代表値とする。

ステップＳ８またはステップＳ９の処理の終了後、ステップＳ１０において、量子化部１０３は、量子化代表値を量子化コードに変換する。

ステップＳ１１において、量子化部１０３は、ブロック内のすべての画素の量子化コードが得られたか否かを判断する。

ステップＳ１１において、ブロック内のすべての画素の量子化コードが得られていないと判断された場合、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。ステップＳ１１において、ブロック内のすべての画素の量子化コードが得られたと判断された場合、処理は、ステップＳ５に戻り、それ以降の処理が繰り返される。

ステップＳ５において、すべてのブロックの処理が終了したと判断された場合、ステップＳ１２において、量子化部１０３は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、量子化データとして出力し、処理が終了される。

このような処理により、２次微分情報を用いて、画像データが符号化される。

次に、図１４のフローチャートを参照して、図１３のステップＳ２において実行される２次微分情報検出処理について説明する。

ステップＳ３１において、２次微分情報判定部１０２は、ブロック分割部１０１から供給されたデジタル画像データから、注目画素の情報を取得する。

ステップＳ３２において、２次微分情報判定部１０２は、図８乃至図１１を用いて説明したように、ブロック内の位置にしたがって、注目画素の周辺の画素のうち、２次微分情報を求めるための画素を選択する。

ステップＳ３３において、２次微分情報判定部１０２は、注目画素、および、ステップＳ３２において取得された２次微分情報を求めるための周辺画素の画素値を基に、注目画素に対応する２次微分情報、すなわち、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかを求める。

ステップＳ３４において、２次微分情報判定部１０２は、すべての画素の処理が終了したか否かを判断する。ステップＳ３４において、すべての画素の処理が終了していないと判断された場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。ステップＳ３４において、すべての画素の処理が終了したと判断された場合、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。

このような処理により、注目画素と周辺画素との画素値によって描かれる軌跡が、注目画素において、「上に凸」であるか「下に凸」であるかを示す２次微分情報が取得される。

次に、図１５のフローチャートを参照して、復号部７１または復号部８４が実行する復号処理１について説明する。

ステップＳ５１において、特徴量検出部１５１は、供給された符号化画像データから、各ブロックの最小値とダイナミックレンジを検出し、逆量子化部１５２に供給する。

ステップＳ５２において、逆量子化部１５２は、特徴量検出部１５１から供給された各ブロックの最小値とダイナミックレンジを基に、ＡＤＲＣの逆量子化を実行し、処理が終了される。

このような処理により、図１３および図１４を用いて説明した処理により符号化された画像データが復号される。

このとき復号部７１または復号部８４から、復号されて出力されるデジタルの画像データは、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５でアナログデータに変換されて、伝送されたり、ディスプレイ６２またはディスプレイ８６に供給されて表示される。したがって、ステップＳ５２において出力されるデジタルの画像データには、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５のデータ変換処理の過程で、または、その伝送路上で、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含むアナログノイズが付加される。

なお、上述したように、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５において、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分が積極的に付加される場合もある。そのような場合、ステップＳ５２の次のステップとして、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５は、供給されたデジタルの画像データをアナログの画像データに変換するとともに、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を付加する処理を実行し、ノイズ成分が付加されたアナログの画像データを出力して外部装置に供給したり、ディスプレイ８６またはディスプレイ８６に供給して、対応する画像を表示させる。

上述したように、図２を用いて説明した、本発明を適用した画像表示システム５１の符号化装置６３においては、特に、静止画像データ、または、フレーム間予測符号化など、他のフレーム画像データを用いた符号化処理を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるようなフレーム単位の画像の符号化および復号が行われるような構成となっている。

次に、図１６を参照して、動画像データにおいて、他のフレーム画像データを用いて符号化処理および復号処理を行うことができるようにするとともに、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような符号化および復号が行われるようになされている、本発明を適用した画像表示システム１８１について説明する。

なお、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、再生機２０２は、復号部７１に代わって復号部２１２が設けられている以外は、図２の再生機６１と基本的に同様の構成を有し、符号化装置２０１は、符号化部８２に代わって符号化部２１１が設けられ、復号部８４に代わって復号部２１２が設けられている以外は、図２の符号化装置６３と基本的に同様の構成を有している。

符号化部２１１は、図１７に示されるように、ある一定の間隔、または、任意の間隔で設定される基準フレームをフレーム内符号化（例えば、ＡＤＲＣなど）するとともに、それ以外のフレームは、１つ前のフレームとの差分を、上述した２次微分情報を用いて符号化することができるようになされている。

そして、復号部２１２は、基準フレームはフレーム内符号化され、それ以外のフレームは１つ前のフレームとの差分が２次微分情報を用いて符号化された符号化データの供給を受け、これを復号することができるようになされている。

また、図２を用いて説明した場合と同様に、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５においては、デジタルの画像データがアナログの画像データに変換されたり、アナログの画像データがデジタルの画像データに変換されるので、その過程において、水平方向と垂直方向の２次元に、データの歪みが生じてしまう。

なお、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、上述したホワイトノイズなどを必ず付加するようにしても良い。また、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５は、上述したホワイトノイズに代わって、例えば、ピンクノイズなど、不均一な周波数特性を有するノイズ成分を出力されるデータに付加するようにしても良い。

更に、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含むアナログノイズは、Ｄ／Ａ変換部７２、Ａ／Ｄ変換部８１、および、Ｄ／Ａ変換部８５において実行される変換処理時以外にも、Ｄ／Ａ変換部７２からＡ／Ｄ変換部８１へアナログの画像データを伝送する際に、アナログの画像データに付加される場合もある。

また、Ｄ／Ａ変換部７２は復号部２１２と、Ａ／Ｄ変換部８１は、符号化部２１１と、Ｄ／Ａ変換部８５は復号部２１２と、それぞれ、１つの構成要素として構成とするようにしても良い。

また、図１６の再生機２０２および符号化装置２０１を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、Ｄ／Ａ変換部７２と復号部２１２とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部２１１や復号部２１２をそれぞれ独立した装置として構成したり、Ａ／Ｄ変換部８１と符号化部２１１との２つの構成要素を持つ１つの装置として構成したり、Ｄ／Ａ変換部８５と復号部２１２との２つの構成要素を持つ１つの装置として構成するようにしてもよい。

図１８は、図１６の符号化部２１１の更に詳細な構成を示すブロック図である。

基準フレーム導出部２４１は、供給されたフレームデータを基準フレームとその他のフレームに分け、基準フレームをＡＤＲＣ処理部２４２に供給し、その他のフレームを差分画像生成部２４６に供給する。

ＡＤＲＣ処理部２４２は、基準フレームに対してＡＤＲＣ処理を行い、基準フレームであることを示すフラグ情報、各ブロックの最小値、各ブロックのダイナミックレンジ、および、量子化コードを、量子化データとして出力するとともに、基準フレームの復号部２４３に供給する。

基準フレームの復号部２４３は、ＡＤＲＣ処理部２４２から供給された基準フレームの量子化コードに対して、ＡＤＲＣの逆量子化を行い、復号後の画像データを差分画像生成部２４６に供給する。

差分画像生成部２４６は、連続する２つのフレームの差分画像を生成するが、このとき、１つ前のフレームは、一旦符号化された後復号されて得られるフレーム画像データである。

図１９を用いて、差分画像生成部２４６の具体的な処理について説明する。

基準フレームは、図１７に示したようにある一定の間隔、または、任意の間隔で設定される。

差分画像生成部２４６は、基準フレームとその次のフレームとの差分画像を生成する場合、基準フレームの復号部２４３から供給される、一旦符号化された後復号されて得られた基準フレームの生成画像０と、基準フレーム導出部２４１から供給される基準フレームの次のフレーム（基準フレーム＋１フレーム）とを用いて差分画像１を生成し、生成された差分画像を２次微分情報保存処理部２４４に供給する。

そして、差分画像生成部２４６は、基準フレーム以外のフレームとその次のフレームとの差分画像を生成する場合、後述する差分画像の復号部２４５から供給される、差分画像を一旦符号化した後復号されて得られる生成画像（生成画像１、生成画像２・・・）と、基準フレーム導出部２４１から供給される次のフレーム（基準フレーム＋２フレーム以降）とを用いて差分画像２以降を生成し、生成された差分画像を２次微分情報保存処理部２４４に供給する。

２次微分情報保存処理部２４４は、供給された差分画像データを符号化し、出力するとともに、差分画像の復号部２４５に供給する。

２次微分情報保存処理部２４４の更に詳細な構成は、図２０に示されるように、図４を用いて説明した符号化部８２と基本的に同一であり、図４を用いて説明した符号化部８２と同様の処理が実行される。

差分画像の復号部２４５は、２次微分情報保存処理部２４４から供給された符号化データを復号し、差分画像生成部２４６に供給する。

図２１は、図１６の復号部２１２の更に詳細な構成を示すブロック図である。

基準フレーム／差分画像分離部２７１は、入力された量子化データに基準フレームであることを示すフラグがあるか否かを基に、基準フレームのデータと差分画像の量子化データを分離し、基準フレームの量子化データをＡＤＲＣ処理の逆量子化部２７２に供給し、差分画像の量子化データは２次微分情報逆量子化部２７３に供給する。

ＡＤＲＣ処理の逆量子化部２７２は、ＡＤＲＣの逆量子化を行い、生成された画像を出力するとともに、加算部２７４に供給する。

２次微分情報逆量子化部２７３は、供給された差分画像の量子化データを逆量子化し、生成された差分画像を加算部２７４に供給する。

２次微分情報逆量子化部２７３の更に詳細な構成は、図２２に示されるように、図１２を用いて説明した復号部７１または復号部８４と基本的に同一であり、図１２を用いて説明した復号部７１または復号部８４と同様の処理が実行される。

加算部２７４は、生成された逆量子化データと、一つ前の復号画像を加算することにより、復号画像を生成して出力するとともに、次の逆量子化データを生成するために、生成された復号画像を復号画像保存部２７５に供給する。

加算部２７４は、ＡＤＲＣ処理の逆量子化部２７２から供給された基準フレームの復号画像に、２次微分情報逆量子化部２７３から供給された差分画像の復号画像を加算して、基準フレームの次のフレームの差分画像の復号画像を生成するとともに、復号画像保存部２７５に生成された復号画像を供給する。また、加算部２７４は、復号画像保存部２７５から供給された１フレーム前の復号された画像に、２次微分情報逆量子化部２７３から供給された差分画像の復号画像を加算して、基準フレームおよび基準フレームの次のフレームの差分画像の復号画像を生成するとともに、復号画像保存部２７５に生成された復号画像を供給する。

復号画像保存部２７５は、加算部２７４から供給された復号画像データを一時保存し、次のフレームの復号処理が開始されたとき、保存されている復号画像を加算部２７４に供給する。

次に、図２３乃至図２５のフローチャートを参照して、符号化部２１１が実行する符号化処理２について説明する。

ステップＳ１０１において、基準フレーム導出部２４１は、供給されたフレーム画像データに基準フレームであることを示すフラグがあるか否かを基に、供給されたフレーム画像データが基準フレームであるか、その他のフレームであるかを決定する。

ステップＳ１０２において、基準フレーム導出部２４１は、供給されたフレーム画像データは基準フレームであるか否かを判断する。ステップＳ１０２において、供給されたフレーム画像データは基準フレームではないと判断された場合、処理は、後述するステップＳ１１３に進む。

ステップＳ１０２において、供給されたフレーム画像データは基準フレームであると判断された場合、ステップＳ１０３において、基準フレーム導出部２４１は、供給されたフレーム画像データをＡＤＲＣ処理部２４２に供給する。ＡＤＲＣ処理部２４２は、供給された画像データをブロックに分割する。

ステップＳ１０４において、ＡＤＲＣ処理部２４２は、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジを検出する。

ステップＳ１０５において、ＡＤＲＣ処理部２４２は、ダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値を等間隔に分割し、量子化代表値を決定する。

ステップＳ１０６において、ＡＤＲＣ処理部２４２は、すべてのブロックの処理が終了したか否かを判断する。ステップＳ１０６において、すべてのブロックの処理が終了したと判断された場合、処理は、後述するステップＳ１１０に進む。

ステップＳ１０６において、すべてのブロックの処理が終了していないと判断された場合、ステップＳ１０７において、ＡＤＲＣ処理部２４２は、ブロック内の未処理の画素の画素値を取得し、最も近い量子化代表値に対応させる。

ステップＳ１０８において、ＡＤＲＣ処理部２４２は、量子化代表値を量子化コードに変換する。

ステップＳ１０９において、ＡＤＲＣ処理部２４２は、ブロック内のすべての画素の量子化コードが得られたか否かを判断する。ステップＳ１０９において、ブロック内のすべての画素の量子化コードが得られていないと判断された場合、処理は、ステップＳ１０７に戻り、それ以降の処理が繰り返される。

ステップＳ１０９において、ブロック内のすべての画素の量子化コードが得られたと判断された場合、処理は、ステップＳ１０６に戻り、それ以降の処理が繰り返される。

ステップＳ１０６において、すべてのブロックの処理が終了したと判断された場合、ステップＳ１１０において、ＡＤＲＣ処理部２４２は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、量子化データとして、記録部８３または復号部２１２に出力するとともに、基準フレームの復号部２４３に供給する。

ステップＳ１１１において、基準フレームの復号部２４３は、符号化された基準フレームの供給を受け、基準フレームをＡＤＲＣの逆量子化処理により復号し、差分画像生成部２４６に供給する。

ステップＳ１１２において、基準フレーム導出部２４１は、処理されたフレームは最後のフレームであったか否かを判断する。ステップＳ１１２において、処理されたフレームは最後のフレームではないと判断された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。ステップＳ１１２において、処理されたフレームは最後のフレームであったと判断された場合、処理は、終了される。

ステップＳ１０２において、供給されたフレーム画像データは基準フレームではないと判断された場合、ステップＳ１１３において、差分画像生成部２４６により、図２６のフローチャートを用いて後述する差分画像生成処理が実行される。

ステップＳ１１４において、２次微分情報保存処理部２４４のブロック分割部１０１は、供給された画像データを、所定のブロックに分割し、２次微分情報判定部１０２に供給する。

このとき供給された画像データは、差分画像生成部２４６から供給された、ステップＳ１１３の処理により生成された差分画像である。

ステップＳ１１５乃至ステップＳ１２４において、図１３を用いて説明した符号化処理１のステップＳ２乃至ステップＳ１１における処理と同様の処理が実行される。

すなわち、２次微分情報判定部１０２により、図１４のフローチャートを用いて説明した２次微分情報検出処理が実行され、差分画像データの各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジが検出されて、ダイナミックレンジを基に定められる量子化ビット数で、ブロック内の最大値と最小値との間の画素値が等間隔に分割されて、量子化代表値が決定される。

そして、ブロック内の未処理の画素の画素値と２次微分情報が取得されて、２次微分情報は、上に凸であるか否かが判断され、判断結果を基に、注目画素より大きな量子化代表値のうち一番近い値を対応する画素、または、注目画素より小さな量子化代表値のうち一番近い値が、対応する画素の量子化代表値とされ、量子化代表値が量子化コードに変換される。そして、ブロック内のすべての画素の量子化コードが得られるまで、量子化コードを得るための処理が繰り返される。

ステップＳ１１８において、すべてのブロックの処理が終了したと判断された場合、ステップＳ１２５において、量子化部１０３は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、量子化データとして、記録部８３または復号部２１２に出力する。

ステップＳ１２６において、基準フレーム導出部２４１は、処理されたフレームは最後のフレームであるか否かを判断する。

ステップＳ１２６において、処理されたフレームは最後のフレームではないと判断された場合、ステップＳ１２７において、量子化部１０３は、各ブロックの最小値、ダイナミックレンジ、および、量子化コードを、差分画像の復号部２４５に供給する。

差分画像の復号部２４５は、ステップＳ１２８において、符号化された差分画像データを復号し、ステップＳ１２９において、図１９を用いて説明した生成画像を生成して、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。

ステップＳ１２６において、処理されたフレームは最後のフレームではないと判断された場合、処理は、終了される。

このような処理により、図１７に示したようにある一定の間隔、または、任意の間隔で設定された基準フレーム以外のフレームにおいては、差分画像を生成し、差分画像の２次微分情報を用いて、画像データが符号化される。

次に、図２６のフローチャートを参照して、図２４のステップＳ１１３において実行される、差分画像生成処理について説明する。

ステップＳ１５１において、差分画像生成部２４６は、次に、基準フレームと、その次のフレームとの差分画像が生成されるか否かを判断する。

ステップＳ１５１において、次に生成される差分画像が、基準フレームと、その次のフレームとの差分画像（例えば、図１９の差分画像１）であると判断された場合、ステップＳ１５２において、差分画像生成部２４６は、基準フレームの復号部２４３から供給された、ＡＤＲＣの後、復号された基準フレームと、基準フレーム導出部２４１から供給された、基準フレームの次のフレーム（処理対象フレーム）との差分画像を生成し、２次微分情報保存処理部２４４に供給して、処理は、図２４のステップＳ１１３に戻り、ステップＳ１１４に進む。

ステップＳ１５１において、次に生成される差分画像が、基準フレームではない画像同士の差分画像（例えば、図１９の差分画像２）であると判断された場合、ステップＳ１５３において、差分画像生成部２４６は、差分画像の復号部２４５から供給された、処理対象フレームの前のフレーム（基準フレームではない）に対応する生成画像と、基準フレーム導出部２４１から供給された、処理対象フレームとの差分画像を生成し、２次微分情報保存処理部２４４に供給して、処理は、図２４のステップＳ１１３に戻り、ステップＳ１１４に進む。

このような処理により、差分画像が生成され、基準フレームの符号化に用いられる。

次に、図２７のフローチャートを参照して、復号部２１２が実行する復号処理２について説明する。

ステップＳ２７１において、復号部２１２の基準フレーム／差分画像分離部２７１は、供給されたフレーム画像データが基準フレームであるか、その他のフレームであるかを決定する。

ステップＳ２７２において、基準フレーム／差分画像分離部２７１は、供給された符号化フレーム画像データは、基準フレームであるか否かを判断する。ステップＳ１７２において、基準フレームではないと判断された場合、処理は、後述するステップＳ１７６に進む。

ステップＳ１７２において、基準フレームであると判断された場合、ステップＳ１７３において、基準フレーム／差分画像分離部２７１は、供給された符号化フレーム画像データをＡＤＲＣ処理の逆量子化部２７２に供給する。ＡＤＲＣ処理の逆量子化部２７２は、ＡＤＲＣの逆量子化を実行する。

ステップＳ１７４において、ＡＤＲＣ処理の逆量子化部２７２は、ＡＤＲＣの逆量子化により復号された画像データを、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５に出力するとともに、加算部２７４へ供給する。

ステップＳ１７５において、基準フレーム／差分画像分離部２７１は、処理を実行したのは、最後のフレームであるか否かを判断する。ステップＳ１７５において、最後のフレームではないと判断された場合、処理は、ステップＳ１７１に戻り、それ以降の処理が繰り返される。ステップＳ１７５において、最後のフレームであると判断された場合、処理が終了される。

ステップＳ１７２において、基準フレームではないと判断された場合、ステップＳ１７６において、基準フレーム／差分画像分離部２７１は、供給された符号化フレーム画像データを、２次微分情報の逆量子化部２７３に供給する。２次微分情報の逆量子化部２７３の特徴量検出部１５１は、供給された符号化画像データから、各ブロックの最小値とダイナミックレンジを検出し、逆量子化部１５２に供給する。

ステップＳ１７７において、逆量子化部１５２は、特徴量検出部１５１から供給された各ブロックの最小値とダイナミックレンジを基に、ＡＤＲＣの逆量子化を実行する。

ステップＳ１７８において、逆量子化部１５２は、ＡＤＲＣの逆量子化処理により得られた差分画像データを、加算部２７４に供給する。

ステップＳ１７９において、加算部２７４は、ＡＤＲＣ処理の逆量子化部２７２、または、復号画像保存部２７５から供給された１フレーム前の復号画像データと、差分画像の復号画像データとを加算して、Ｄ／Ａ変換部７２またはＤ／Ａ変換部８５に出力する。

ステップＳ１８０において、加算部２７４は、ステップＳ１７９の処理により加算されて得られた復号画像データを、次のフレームの復号画像データを生成するために、復号画像保存部２７５に供給する。復号画像保存部２７５は、供給された復号画像データを保存する。

ステップＳ１８１において、基準フレーム／差分画像分離部２７１は、処理を実行したのは、最後のフレームであるか否かを判断する。

ステップＳ１８１において、最後のフレームではないと判断された場合、ステップＳ１８２において、復号画像保存部２７５は、保存されている復号画像データを加算部２７４へ供給し、処理は、ステップＳ１７１に戻り、それ以降の処理が繰り返される。ステップＳ１８１において、最後のフレームであると判断された場合、処理が終了される。

このような処理により、差分画像の２次微分情報を用いて符号化された画像データを復号することができる。

以上説明した処理により、本発明を適用した符号化装置を用いて符号化された画像データは、復号および符号化を繰り返すことにより、画像の劣化が進む。

例えば、図２８に示されるように、原画像が符号化され、記録媒体に記録されて、図２の再生機６１の復号部２１または図１６の再生機２０２の復号部２１２に供給される。すなわち、復号部２１または復号部２１２で復号されて出力される画像データが、１回目の符号化および復号を施された画像データである。そして、Ｄ／Ａ変換部７２においてアナログ画像信号に変換され、伝送される。伝送されたアナログデータは、ディスプレイ６２で表示されるか、符号化装置６３または符号化装置２０１に供給される。

すなわち、ディスプレイ６２に表示される画像や、図２の符号化装置６３または図１６の符号化装置２０１に供給される画像は、１回目の符号化・復号が施された画像に、上述したような高周波歪みが付加された画像である。符号化装置６３または符号化装置２０１に供給されたアナログの画像データは、更に、Ａ／Ｄ変換部８１においてデジタル信号に変換されるので、ここでも、ノイズが付加される。

そして、符号化部８２または符号化部２１１において符号化された画像データは、記録部８３により所定の記録媒体に記録されるか、復号部８４または復号部２１２において復号されて、Ｄ／Ａ変換部８５でアナログデータに変換され、ディスプレイ８６で再生される。記録部８３により所定の記録媒体に記録されたデータを表示させるためには、この記録媒体を図２の再生機６１または図１６の再生機２０２で再生させ、ディスプレイ６２において表示させる必要がある。

すなわち、１回目の符号化・復号が施された画像に、上述したような高周波歪みが付加された画像を記録媒体に記録（いわゆる、ダビングまたはコピーを実行）し、再生させる場合、再生される画像は、２回目の符号化・復号が施された画像となる。

２次微分情報を用いた符号化処理を実行する符号化部８２または符号化部２１１では、図６を用いて説明したように、図５を用いて説明したＡＤＲＣを用いた符号化と比較して、符号化・復号が施されることにより、ホワイトノイズなどにより情報が大きく劣化する。したがって、２回目の符号化・復号が施された画像は、上述したような高周波歪みにより、大きく劣化する。

したがって、記録媒体に記録された符号化デジタル画像信号を再生機６１または再生機２０２で再生して得られる、ディスプレイ６２に表示される画像の画質や、符号化部８２で符号化された後、記録部８３に記録されずに、復号部８４または復号部２１２において復号されて、Ｄ／Ａ変換部８５でアナログデータに変換され、ディスプレイ８６に表示される画像の画質は、再生機６１または再生機２０２から出力されるアナログ画像信号による画像に比べて大幅に劣化したものとなる。

すなわち、本発明を適用した画像表示システムによると、再生機６１または再生機２０２から出力されるアナログ画像信号を、良好な画質を維持したまま記録媒体に記録する（ダビングする、コピーする）ことが不可能となる。

更に、３回目、４回目・・・と、符号化・復号を繰り返す（ダビング、コピーを繰り返す）と、画像はますます劣化する。

したがって、本発明を適用した図２の画像表示システム５１は、特に、静止画像データ、または、フレーム間予測符号化など、他のフレーム画像データを用いた符号化処理を行わない動画像データに対して、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような静止画像の符号化および復号が行われるような構成となっている。

また、本発明を適用した図１６の画像表示システム１８１は、動画像データに対して、他のフレーム画像データを用いて符号化処理および復号処理を行うことができるようにするとともに、コピー前のデータによる出力の質を落とすことなく、良好な質を維持したままでのコピーを不可能とすることができるような符号化および復号が行われるような構成となっている。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２の画像表示システム５１または図１６の画像表示システム１８１の一部またはすべては、図２９に示されるようなパーソナルコンピュータ３０１により構成される。

図２９において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

従来の画像表示システムの構成を示すブロック図である。 本発明を適用した、画像表示システムの構成を示すブロック図である。 ホワイトノイズについて説明するための図である。 図２の符号化部の更に詳細な構成を示すブロック図である。 ＡＤＲＣについて説明するための図である。 ＡＤＲＣと比較して、本発明に用いられる量子化について説明するための図である。 図４の２次微分情報判定部の更に詳細な構成を示すブロック図である。 周辺画素の取扱いと２次微分情報の求め方について説明するための図である。 周辺画素の取扱いと２次微分情報の求め方について説明するための図である。 周辺画素の取扱いと２次微分情報の求め方について説明するための図である。 周辺画素の取扱いと２次微分情報の求め方について説明するための図である。 図２の復号部の更に詳細な構成を示すブロック図である。 符号化処理１について説明するためのフローチャートである。 ２次微分情報検出処理について説明するためのフローチャートである。 復号処理１について説明するためのフローチャートである。 本発明を適用した、画像表示システムの構成を示すブロック図である。 基準フレームについて説明するための図である。 図１６の符号化部の更に詳細な構成を示すブロック図である。 差分画像について説明するための図である。 図１８の２次微分情報保存処理部の更に詳細な構成を示すブロック図である。 図１６の復号部の更に詳細な構成を示すブロック図である。 図２１の２次微分情報逆量子化部の更に詳細な構成を示すブロック図である。 符号化処理２について説明するためのフローチャートである。 符号化処理２について説明するためのフローチャートである。 符号化処理２について説明するためのフローチャートである。 差分画像生成処理について説明するためのフローチャートである。 復号処理２について説明するためのフローチャートである。 符号化・復号の繰り返しについて説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

５１ 画像表示システム， ６１ 再生機， ６２ 符号化装置， ７１ 復号部， ７２ Ｄ／Ａ変換部， ８１ Ａ／Ｄ変換部， ８２ 符号化部， ８３ 記録部， ８４ 復号部， ８５ Ｄ／Ａ変換部， ８６ ディスプレイ， １０１ ブロック分割部， １０２ ２次微分情報判定部， １０３ 量子化部， １３１ 注目画素選択部， １３２ タップ抽出部， １３３ 判定部， １５１ 特徴量抽出部， １５２ 逆量子化部， ２０１ 符号化装置， ２０２ 再生機， ２１１ 符号化部， ２１ 復号部， ２４１ 基準フレーム導出部， ２４２ ＡＤＲＣ処理部， ２４３ 基準フレームの復号部， ２４４ ２次微分情報保存処理部， ２４５ 差分画像の復号部， ２５６ 差分画像生成部， ２７１ 基準フレーム／差分画像分離部， ２７２ ＡＤＲＣ処理の逆量子化部， ２７３ ２次微分情報逆量子化部， ２７４ 加算部， ２７５ 復号画像保存部

Claims (17)

1. 画像データの供給を受けて符号化する符号化装置において、
   前記画像データを所定数のブロックに分割するブロック分割手段と、
   前記ブロック分割手段により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、
   前記２次微分情報検出手段により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化手段と
   を備え、
   前記２次微分情報は、注目画素と、前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報であり、
   前記量子化手段は、
   前記ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、前記ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、
   前記２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることにより、各画素がいずれの前記量子化代表値に量子化されるかを決定する
   ことを特徴とする符号化装置。
2. 前記２次微分情報検出手段は、
   前記注目画素と、前記注目画素の周辺画素を抽出する抽出手段と、
   前記注目画素と前記周辺画素との画素値によって描かれる軌跡の２次微分を求める２次微分情報算出手段と
   を備えることを特徴とする請求項１に記載の符号化装置。
3. 前記所定の量子化ビット数は、前記ダイナミックレンジを基に定められる
   ことを特徴とする請求項１に記載の符号化装置。
4. 前記画像データにノイズを付加するノイズ付加手段
   を更に備えることを特徴とする請求項１に記載の符号化装置。
5. 複数のフレームデータからなる入力画像データにおいて、第１のフレームデータを符号化する符号化手段と、
   前記符号化手段により符号化された前記第１のフレームデータを復号して処理済フレームデータを生成する復号手段と、
   前記復号手段により生成された前記処理済フレームデータと、前記第１のフレームデータより時間的に１フレーム前の第２のフレームデータとの差分画像データを生成する差分画像データ生成手段と
   を更に備え、
   前記ブロック分割手段に供給される前記画像データは、前記差分画像データである
   ことを特徴とする請求項１に記載の符号化装置。
6. 画像データの供給を受けて符号化する符号化装置の符号化方法において、
   前記画像データを所定数のブロックに分割するブロック分割ステップと、
   前記ブロック分割ステップの処理により分割された前記ブロックに含まれる各画素に対
   して、２次微分情報を検出する２次微分情報検出ステップと、
   前記２次微分情報検出ステップの処理により検出された前記２次微分情報に基づいて、
   量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化ステップと
   を含み、
   前記２次微分情報は、注目画素と、前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報であり、
   前記量子化ステップの処理では、
   前記ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、前記ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、
   前記２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることにより、各画素がいずれの前記量子化代表値に量子化されるかを決定する
   ことを特徴とする符号化方法。
7. コンピュータに、
   画像データを所定数のブロックに分割するブロック分割ステップと、
   前記ブロック分割ステップの処理により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、
   前記２次微分情報検出ステップの処理により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化ステップと
   を含み、
   前記２次微分情報は、注目画素と、前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報であり、
   前記量子化ステップの処理では、
   前記ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、前記ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、
   前記２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることにより、各画素がいずれの前記量子化代表値に量子化されるかを決定する
   処理を実行させるためのプログラムが記録されている記録媒体。
8. コンピュータに、
   画像データを所定数のブロックに分割するブロック分割ステップと、
   前記ブロック分割ステップの処理により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出ステップと、
   前記２次微分情報検出ステップの処理により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化ステップと
   を含み、
   前記２次微分情報は、注目画素と、前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報であり、
   前記量子化ステップの処理では、
   前記ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、前記ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、
   前記２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることにより、各画素がいずれの前記量子化代表値に量子化されるかを決定する
   処理を実行させるためのプログラム。
9. 符号化画像データの供給を受けて復号する復号装置において、
   注目画素と前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である2次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることで、前記注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された前記符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出手段と、
   前記検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段と
   を備えることを特徴とする復号装置。
10. 前記逆量子化手段により得られた前記画素データに、ノイズを付加するノイズ付加手段
    を更に備えることを特徴とする請求項９に記載の復号装置。
11. 前記逆量子化手段から出力された第１のフレームデータと、前記逆量子化手段から出力された第２のフレームデータを加算する加算手段を更に備え、
    前記検出手段は、複数のフレームデータにより構成される前記符号化画像データの入力を受け、
    前記第２のフレームデータは、前記第１のフレームデータより時間的に１フレーム前のフレームデータである
    ことを特徴とする請求項９に記載の復号装置。
12. フレーム内符号化された基準フレームデータと、他のフレームデータを用いて符号化された予測フレームデータとを含む複数のフレームデータにより構成される前記符号化画像データの入力を受けて、前記基準フレームデータと前記予測フレームデータとに分離する分離手段と、
    前記分離手段により分離された前記基準フレームデータを復号する復号手段と、
    前記逆量子化手段から出力された前記予測フレームデータと、前記復号手段により復号された前記基準フレームデータとを加算する加算手段と
    を更に備え、
    前記検出手段は、前記分離手段により分離された前記予測フレームデータの入力を受け、
    前記基準フレームデータは、前記予測フレームデータより時間的に１フレーム前のフレームデータである
    ことを特徴とする請求項９に記載の復号装置。
13. 符号化画像データの供給を受けて復号する復号装置の復号方法において、
    注目画素と前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることで、前記注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された前記符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出ステップと、
    前記検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップと
    を含むことを特徴とする復号方法。
14. コンピュータに、
    注目画素と前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることで、前記注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出ステップと、
    前記検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップと
    を含む処理を実行させるためのプログラムが記録されている記録媒体。
15. コンピュータに、
    注目画素と前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることで、前記注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出ステップと、
    前記検出ステップの処理により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化ステップと
    を含む処理を実行させるためのプログラム。
16. 符号化部および復号部を含み、前記符号化部および前記復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
    前記符号化部は、
    前記画像データを所定数のブロックに分割するブロック分割手段と、
    前記ブロック分割手段により分割された前記ブロックに含まれる各画素に対して、２次微分情報を検出する２次微分情報検出手段と、
    前記２次微分情報検出手段により検出された前記２次微分情報に基づいて、量子化結果に前記２次微分情報が保たれるように量子化を実行する量子化手段と
    を備え、
    前記２次微分情報は、注目画素と、前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報であり、
    前記量子化手段は、
    前記ブロックごとに、ダイナミックレンジを検出して、所定の量子化ビット数を基に、前記ブロック内の画素の画素値の最大値と最小値との間が等間隔となるように量子化代表値を設定し、
    前記２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな前記量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることにより、各画素がいずれの前記量子化代表値に量子化されるかを決定する
    ことを特徴とする画像処理システム。
17. 符号化部および復号部を含み、前記符号化部および前記復号部において、画像データに対して符号化処理および復号処理を繰り返すことにより、前記画像データが劣化するようになされている画像処理システムにおいて、
    前記復号部は、
    前記画像データの注目画素と前記注目画素の周辺画素との画素値によって描かれる軌跡が、前記注目画素において、上に凸であるか下に凸であるかを示す情報である２次微分情報を基に、前記注目画素に対応する前記２次微分情報が上に凸であることを示していた場合、前記注目画素より大きな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とし、前記注目画素に対応する前記２次微分情報が下に凸であることを示していた場合、前記注目画素より小さな量子化代表値のうち一番近い値を、前記注目画素の量子化代表値とすることで、前記注目画素がいずれの量子化代表値に量子化されるかを決定することにより符号化された符号化画像データの入力を受け、入力された前記符号化画像データの各ブロックの最小値とダイナミックレンジ、および、量子化代表値を検出する検出手段と、
    前記検出手段により検出された情報を基に逆量子化を実行して、得られた画像データを出力する逆量子化手段と
    を備える
    ことを特徴とする画像処理システム。

Images