JP4697519B2 - 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4697519B2
JP4697519B2 JP2005029776A JP2005029776A JP4697519B2 JP 4697519 B2 JP4697519 B2 JP 4697519B2 JP 2005029776 A JP2005029776 A JP 2005029776A JP 2005029776 A JP2005029776 A JP 2005029776A JP 4697519 B2 JP4697519 B2 JP 4697519B2
Authority
JP
Japan
Prior art keywords
image
encoding
block
decoding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005029776A
Other languages
English (en)
Other versions
JP2006217426A (ja
JP2006217426A5 (ja
Inventor
哲二郎 近藤
智宏 安岡
哲也 村上
左近 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005029776A priority Critical patent/JP4697519B2/ja
Publication of JP2006217426A publication Critical patent/JP2006217426A/ja
Publication of JP2006217426A5 publication Critical patent/JP2006217426A5/ja
Application granted granted Critical
Publication of JP4697519B2 publication Critical patent/JP4697519B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関する。
近年、テレビ番組などのコンテンツをデジタル信号でHD（ハードディスク）やDVD(Digital Versatile Disk)などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。
HDやDVDを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。
一方で、デジタル記録再生装置の普及により、DVDなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。
図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。
図１において、画像処理システム１は、DVDなどの光ディスク等の記録媒体に記録されたコンテンツの画像信号を再生し、その結果得られるアナログ画像信号Vanを出力する再生装置１１、再生装置１１が出力するアナログ画像信号Vanを画像として表示するディスプレイ１２、および、再生装置１１が出力するアナログ画像信号Vanを利用して、光ディスク等の記録媒体に記録する記録装置１３により構成されている。
再生装置１１は、復号化部２１とD/A（Digital-to-Analog）変換部２２とから構成されている。復号化部２１は、図示せぬ記録媒体から読み出した符号化デジタル画像信号を復号化し、その結果得られるデジタル画像信号をD/A変換部２２に供給する。D/A変換部２２は、復号化部２１から供給されたデジタル画像信号をアナログ信号に変換し、その結果得られるアナログ画像信号Vanを出力する。
ディスプレイ１２は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部２２からのアナログ画像信号Vanを画像として表示する。これにより、ユーザは、記録媒体に記録されている画像信号に対応する画像を見ることができる。
また、再生装置１１から出力されたアナログ画像信号Vanは、記録装置１３にも供給(入力)される。
記録装置１３は、A/D（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力されるアナログ画像信号Vanを光ディスク等の図示せぬ記録媒体に記録する。
A/D変換部３１には、再生装置１１が出力するアナログ画像信号Vanが入力される。A/D変換部３１は、入力されたアナログ画像信号Vanをデジタル信号に変換し、その結果得られるデジタル画像信号Vdgを符号化部３２に供給する。符号化部３２は、A/D変換部３１からのデジタル画像信号Vdgを符号化し、その結果得られる符号化デジタル画像信号Vcdを記録部３３に供給する。記録部３３は、符号化デジタル画像信号Vcdを記録媒体に記録する。
以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログ画像信号Vanを利用して、再生された記録媒体と異なる記録媒体に画像信号を記録することができる。即ち、再生装置１１が出力するアナログ画像信号Vanを利用して、コンテンツ（の画像信号）が、不正にコピーされるおそれがある。
従来、このようなアナログ画像信号Vanを利用した不正コピーを防止するために、著作権保護がなされている場合には、アナログ画像信号Vanをスクランブル処理して出力する、あるいはアナログ画像信号Vanの出力を禁止することが提案されている（例えば、特許文献１参照）。
また、再生側の圧縮復号部または記録側の圧縮符号化部のいずれか一方もしくは両方に雑音情報発生部を設け、デジタルビデオデータに１回の処理では画像再生時に識別できない程度の雑音情報を埋め込むことにより、コピー自体は可能であるが、複数回繰り返すと画像が著しく劣化し、これによって実質的にコピーの回数を制限するデジタルビデオ装置が提案されている（例えば、特許文献２参照）。
しかしながら、上述した特許文献１のようにアナログ画像信号Vanをスクランブル処理して出力する、あるいはアナログ画像信号Vanの出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。
また、上述した特許文献２のように、再生側の圧縮復号部または記録側の圧縮符号化部で雑音情報を埋め込む方法では、雑音情報発生部とこれを埋め込むための回路が必要となり、回路規模が増大するという問題がある。
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献３参照）。
特開２００１−２４５２７０号公報 特開平１０−２８９５２２号公報 特開２００４−２８９６８５号公報
特許文献３に記載の手法では、アナログ画像信号をA/D変換することにより得られるデジタル画像信号の位相ズレ等のアナログノイズに着目し、そのデジタル画像信号に対してアナログノイズに着目した符号化を行うことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。
本発明の第１の側面の符号化装置は、第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化装置において、前記第１の画像を符号化する第１の符号化手段と、前記第２の画像を符号化する第２の符号化手段とを備え、前記第１の符号化手段は、前記第１の画像を複数のブロックに分割するブロック分割手段と、前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出するソート順算出手段と、前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とする予測画素値生成手段と、前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出手段と、前記差分データを符号化する符号化手段とを有し、前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きいことを特徴とする。
前記予測画素値生成手段には、前記最大値および最小値を用いて直線を算出させ、その直線によって求められる画素値を、前記ブロックを構成する各画素の予測画素値とさせることができる。
前記第２の符号化手段には、前記第２の画像を複数のブロックに分割するブロック分割手段と、前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段と、前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段と、前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出手段と、前記ブロックを構成する各画素の残差と前記残差の最小値との差分データを算出する差分データ算出手段と、前記ダイナミックレンジに応じて前記差分データを符号化する符号化手段とを有するようにさせることができる。
前記最小値算出手段には、前記残差の回帰式を算出させ、前記回帰式の係数として得られる前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出させることができる。
前記第２の符号化手段には、前記第２の画像を複数のブロックに分割するブロック分割手段と、前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段と、前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段と、前記残差を第１の符号化方式で符号化する第１の残差符号化手段と、前記残差を第２の符号化方式で符号化する第２の残差符号化手段と、前記第１または第２の方式のどちらを採用するかを判定する判定手段と、前記判定手段の判定結果に応じて、前記第１または第２の残差符号化手段の出力を選択する選択手段とを有するようにさせることができる。
前記入力画像データにノイズを付加するノイズ付加手段をさらに設け、前記ノイズ付加手段によりノイズが付加された前記入力画像データが、前記第１の符号化手段または前記第２の符号化手段に供給されるようにすることができる。
本発明の第１の側面の符号化方法は、第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化装置の符号化方法において、前記第１の画像を複数のブロックに分割し、前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出し、前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とし、前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出し、前記差分データを符号化することで、前記第１の画像を符号化する第１の符号化ステップと、前記第２の画像を符号化する第２の符号化ステップとを含み、前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きいことを特徴とする。
本発明の第１の側面の記録媒体は、第１の画像と第２の画像を少なくとも有する動画像の入力画像データに対して、コンピュータに、前記第１の画像を複数のブロックに分割し、前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出し、前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とし、前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出し、前記差分データを符号化することで、前記第１の画像を符号化する第１の符号化ステップと、前記第２の画像を符号化する第２の符号化ステップとを実行させ、前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明の第１の側面のプログラムは、第１の画像と第２の画像を少なくとも有する動画像の入力画像データに対して、コンピュータに、前記第１の画像を複数のブロックに分割し、前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出し、前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とし、前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出し、前記差分データを符号化することで、前記第１の画像を符号化する第１の符号化ステップと、前記第２の画像を符号化する第２の符号化ステップとを実行させ、前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる処理を実行させるためのプログラムである。
本発明の第１の側面においては、動画像を構成する第１の画像と第２の画像のうち、第１の画像が複数のブロックに分割され、ブロックを構成する各画素の画素値の大きさに応じて各画素がソートされるとともに、ソートしたときのソート結果を表すソート順情報、並びに、ブロックを構成する画素の最大値および最小値が算出され、最大値および最小値からブロックを構成する各画素の予測画素値が生成される。そして、ソート順情報を用いて、生成された予測画素値が、ソートされる前の空間位相に配置された予測画素値とされ、ブロックを構成する各画素の画素値と予測画素値との差分データが算出され、差分データを符号化することで、第１の画像が符号化される。また、第２の画像も符号化される。このとき、符号化された第１の画像を復号した第３の画像を第１の画像と比較した場合の画質の劣化の程度は、符号化された第２の画像を復号した第４の画像を第２の画像と比較した場合の画質の劣化より大きくなる。
本発明の第２の側面の復号装置は、動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データと、前記第２の画像が符号化された第２の符号化データとを取得する取得手段と、前記第１の符号化データを復号する第１の復号手段と、前記第２の符号化データを復号する第２の復号手段とを備え、前記取得手段は、前記第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、前記１のブロックを構成する画素の最大値および最小値、並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得し、前記第１の復号手段は、前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、前記符号化差分データを前記差分データに復号し、復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号し、前記第１の復号手段において復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、前記第２の復号手段において復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きいことを特徴とする。
前記予測画素値生成手段には、前記最大値および最小値を用いて直線を算出し、その直線によって求められる画素値を、前記ブロックを構成する各画素の予測画素値とさせることができる。
前記第２の復号手段には、前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差、前記残差の最小値、および、前記残差と前記残差の最小値との差分データが符号化された符号化差分データを取得する取得手段と、前記符号化差分データを前記差分データに復号する差分データ復号手段と、前記差分データ復号手段により復号された前記差分データと前記残差の最小値とを加算する残差加算手段と、前記残差加算手段の出力と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段とを有するようにさせることができる。
前記第２の復号手段には、前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差が符号化された符号化残差データ、および、前記符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得手段と、前記符号化方式判定結果が前記第１の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第１の残差データ復号手段と、前記符号化方式判定結果が前記第２の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第２の残差データ復号手段と、前記第１または第２の残差データ復号手段により復号された前記残差データと、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段とを有するようにさせることができる。
前記第１または第２の復号手段の出力にノイズを付加するノイズ付加手段をさらに設けることができる。
本発明の第２の側面の復号方法は、動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、前記１のブロックを構成する画素の最大値および最小値、並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得するとともに、前記第２の画像が符号化された第２の符号化データを取得する取得ステップと、前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、前記符号化差分データを前記差分データに復号し、復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号する第１の復号ステップと、前記第２の符号化データを復号する第２の復号ステップとを含み、前記第１の復号ステップにおいて復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、前記第２の復号ステップにおいて復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きいことを特徴とする。
本発明の第２の側面の記録媒体は、コンピュータに、動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、前記１のブロックを構成する画素の最大値および最小値、並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得するとともに、前記第２の画像が符号化された第２の符号化データを取得する取得ステップと、前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、前記符号化差分データを前記差分データに復号し、復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号する第１の復号ステップと、前記第２の符号化データを復号する第２の復号ステップとを実行させ、前記第１の復号ステップにおいて復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、前記第２の復号ステップにおいて復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明の第２の側面のプログラムは、コンピュータに、動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、前記１のブロックを構成する画素の最大値および最小値、並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得するとともに、前記第２の画像が符号化された第２の符号化データを取得する取得ステップと、前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、前記符号化差分データを前記差分データに復号し、復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号する第１の復号ステップと、前記第２の符号化データを復号する第２の復号ステップとを実行させ、前記第１の復号ステップにおいて復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、前記第２の復号ステップにおいて復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる処理を実行させるためのプログラムである。
本発明の第２の側面においては、動画像を構成する第１の画像と第２の画像のうちの、第１の画像が符号化された第１の符号化データとして、第１の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値の大きさに応じて各画素をソートしたときのソート結果を表すソート順情報、１のブロックを構成する画素の最大値および最小値、並びに、最大値および最小値を用いて生成される１のブロックを構成する各画素の予測画素値と画素値との差分データが符号化された符号化差分データからなるデータが取得されるとともに、第２の画像が符号化された第２の符号化データが取得され、最大値および最小値から、画素値の大きさに応じてソートされている、１のブロックを構成する各画素の予測画素値が生成され、生成された予測画素値が、ソート順情報に基づいて、ソートされる前の空間位相に配置され、符号化差分データが差分データに復号され、復号された差分データと、生成された予測画素値とを加算する処理が少なくとも行われることで、第１の符号化データが復号される。また、第２の符号化データも復号される。このとき、復号された第３の画像を第１の画像と比較した場合の画質の劣化の程度は、復号された第４の画像を第２の画像と比較した場合の画質の劣化より大きくなる。
本発明の第３の側面の画像処理システムは、第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、前記符号化部は、前記第１の画像を符号化する第１の符号化手段と、前記第２の画像を符号化する第２の符号化手段とを備え、前記第１の符号化手段は、前記第１の画像を複数のブロックに分割するブロック分割手段と、前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出するソート順算出手段と、前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とする予測画素値生成手段と、前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出手段と、前記差分データを符号化する符号化手段とを有し、前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きいことを特徴とする。
本発明の第３の側面においては、符号化部において、動画像を構成する第１の画像と第２の画像のうちの、第１の画像が複数のブロックに分割され、ブロックを構成する各画素の画素値の大きさに応じて各画素がソートされるとともに、ソートしたときのソート結果を表すソート順情報、並びに、ブロックを構成する画素の最大値および最小値が算出され、最大値および最小値からブロックを構成する各画素の予測画素値が生成される。そして、ソート順情報を用いて、生成された予測画素値が、ソートされる前の空間位相に配置された予測画素値とされ、ブロックを構成する各画素の画素値と予測画素値との差分データが算出され、差分データを符号化することで、第１の画像が符号化される。また、第２の画像も符号化される。このとき、符号化された第１の画像を復号した第３の画像を第１の画像と比較した場合の画質の劣化の程度は、符号化された第２の画像を復号した第４の画像を第２の画像と比較した場合の画質の劣化より大きくなる。
本発明の第４の側面の画像処理システムは、第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、前記復号部は、前記第１の画像が符号化された第１の符号化データと、前記第２の画像が符号化された第２の符号化データとを取得する取得手段と、前記第１の符号化データを復号する第１の復号手段と、前記第２の符号化データを復号する第２の復号手段とを備え、前記取得手段は、前記第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、前記１のブロックを構成する画素の最大値および最小値、並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得し、前記第１の復号手段は、前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、前記符号化差分データを前記差分データに復号し、復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号し、前記第１の復号手段において復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、前記第２の復号手段において復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きいことを特徴とする。
本発明の第４の側面においては、復号部において、動画像を構成する第１の画像と第２の画像のうちの、第１の画像が符号化された第１の符号化データとして、第１の画像が分割された複数のブロックのうちの１のブロックについての、１のブロックを構成する各画素の画素値の大きさに応じて各画素をソートしたときのソート結果を表すソート順情報、１のブロックを構成する画素の最大値および最小値、並びに、最大値および最小値を用いて生成される１のブロックを構成する各画素の予測画素値と画素値との差分データが符号化された符号化差分データからなるデータが取得されるとともに、第２の画像が符号化された第２の符号化データが取得され、最大値および最小値から、画素値の大きさに応じてソートされている、１のブロックを構成する各画素の予測画素値が生成され、生成された予測画素値が、ソート順情報に基づいて、ソートされる前の空間位相に配置され、符号化差分データが差分データに復号され、復号された差分データと、生成された予測画素値とを加算する処理が少なくとも行われることで、第１の符号化データが復号される。また、第２の符号化データも復号される。このとき、復号された第３の画像を第１の画像と比較した場合の画質の劣化の程度は、復号された第４の画像を第２の画像と比較した場合の画質の劣化より大きくなる。
本発明によれば、アナログ信号を利用した不正コピーを防止することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
請求項１に記載の符号化装置は、
第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化装置（例えば、図２の記録部１４１）において、
前記第１の画像（例えば、図３の基準フレームの画像）を符号化する第１の符号化手段（例えば、図４の基準フレーム符号化部２０３）と、
前記第２の画像（例えば、図３の予測フレームの画像）を符号化する第２の符号化手段（例えば、図２の予測フレーム符号化部２０５）と
を備え、
前記第１の符号化手段は、
前記第１の画像を複数のブロックに分割するブロック分割手段（例えば、図２２のブロック化回路２２２）と、
前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出するソート順算出手段（例えば、図２２のソート順算出回路３２１）と、
前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とする予測画素値生成手段（例えば、図２２の予測画素値生成回路３２２）と、
前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出手段（例えば、図２２の減算器３２３）と、
前記差分データを符号化する符号化手段（例えば、図２２のブロック符号化回路３２４）と
を有し、
前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
ことを特徴とする。
請求項３に記載の符号化装置は、
前記第２の符号化手段は、
前記第２の画像を複数のブロックに分割するブロック分割手段（例えば、図９のブロック化回路２４２）と、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段（例えば、図９の動きベクトル検出回路２４３）と、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段（例えば、図９の残差算出回路２４４）と、
前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出手段（例えば、図９の回帰回路２４６）と、
前記ブロックを構成する各画素の残差と前記残差の最小値との差分データを算出する差分データ算出手段（例えば、図９の減算器２４７）と、
前記ダイナミックレンジに応じて前記差分データを符号化する符号化手段（例えば、図９のブロック符号化回路２４８）と
を有する
ことを特徴とする。
請求項５に記載の符号化装置は、
前記第２の符号化手段は、
前記第２の画像を複数のブロックに分割するブロック分割手段（例えば、図３１のブロック化回路２４２）と、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段（例えば、図３１の動きベクトル検出回路２４３）と、
前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段（例えば、図３１の残差算出回路２４４）と、
前記残差を第１の符号化方式で符号化する第１の残差符号化手段（例えば、図３１のADRC符号化部３４１）と、
前記残差を第２の符号化方式で符号化する第２の残差符号化手段（例えば、図３１の直交変換符号化部３４２）と、
前記第１または第２の方式のどちらを採用するかを判定する判定手段（例えば、図３１の符号化判定回路３４５）と、
前記判定手段の判定結果に応じて、前記第１または第２の残差符号化手段の出力を選択する選択手段（例えば、図３１の選択回路３４６）と
を有する
ことを特徴とする。
請求項６に記載の符号化装置は、
前記入力画像データにノイズを付加するノイズ付加手段（例えば、図２のA/D変換部１５１または図５０のノイズ付加部５０１）をさらに備え、
前記ノイズ付加手段によりノイズが付加された前記入力画像データが、前記第１の符号化手段または前記第２の符号化手段に供給される
ことを特徴とする。
請求項７に記載の符号化方法は、
第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化装置の符号化方法において、
前記第１の画像を複数のブロックに分割し、
前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出し、
前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とし、
前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出し、
前記差分データを符号化することで、前記第１の画像を符号化する第１の符号化ステップ（例えば、図４１のステップＳ１７４の処理）と、
前記第２の画像を符号化する第２の符号化ステップ（例えば、図４１のステップＳ１７７の処理）と
を含み、
前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
ことを特徴とする。
請求項８に記載の記録媒体に記録されたプログラム、請求項９に記載のプログラムの各ステップの具体例も、請求項７に記載の符号化方法の各ステップの発明の実施の形態における具体例と同様である。
請求項１０に記載の復号装置（例えば、図２の再生部１４２）は、
動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データと、前記第２の画像が符号化された第２の符号化データとを取得する取得手段（例えば、図１７の復号化選択回路２７２）と、
前記第１の符号化データ（基準フレームの符号化デジタル画像信号Vcd1）を復号する第１の復号手段（例えば、図１７の基準フレーム復号化部２７３）と、
前記第２の符号化データ（予測フレームの符号化デジタル画像信号Vcd1）を復号する第２の復号手段（例えば、図１７の予測フレーム復号化部２７４）と
を備え、
前記取得手段は、前記第１の符号化データとして、
前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
前記１のブロックを構成する画素の最大値および最小値、
並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得し、
前記第１の復号手段は、
前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、
前記符号化差分データを前記差分データに復号し、
復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号し、
前記第１の復号手段において復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
前記第２の復号手段において復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
ことを特徴とする。
請求項１２に記載の復号装置は、
前記第２の復号手段は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差、
前記残差の最小値、
および、前記残差と前記残差の最小値との差分データが符号化された符号化差分データを取得する取得手段（例えば、図２０のデータ分解回路３０２）と、
前記符号化差分データを前記差分データに復号する差分データ復号手段（例えば、図２０のブロック復号化回路３０４）と、
前記差分データ復号手段により復号された前記差分データと前記残差の最小値とを加算する残差加算手段（例えば、図２０の加算器３０５）と、
前記残差加算手段の出力と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段（例えば、図２０の加算器３０６）と
を有する
ことを特徴とする。
請求項１３に記載の復号装置は、
前記第２の復号手段は、
前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差が符号化された符号化残差データ、
および、前記符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得手段（例えば、図３７のデータ分解回路４３２）と、
前記符号化方式判定結果が前記第１の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第１の残差データ復号手段（例えば、図３７のADRC復号化部４３５）と、
前記符号化方式判定結果が前記第２の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第２の残差データ復号手段（例えば、図３７の直交変換復号化部４３６）と、
前記第１または第２の残差データ復号手段により復号された前記残差データと、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段（例えば、図３７の加算器３０６）と
を有する
ことを特徴とする。
請求項１４に記載の復号装置は、
前記第１または第２の復号手段の出力にノイズを付加するノイズ付加手段（例えば、図２のD/A変換部１５６または図５２のノイズ付加部５０３）をさらに備える
ことを特徴とする。
請求項１５に記載の復号方法は、
動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
前記１のブロックを構成する画素の最大値および最小値、
並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得するとともに、前記第２の画像が符号化された第２の符号化データを取得する取得ステップ（例えば、図４１のステップＳ１７９の処理）と、
前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、
前記符号化差分データを前記差分データに復号し、
復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号する第１の復号ステップ（例えば、図４１のステップＳ１８１の処理）と、
前記第２の符号化データを復号する第２の復号ステップ（例えば、図４１のステップＳ１８３の処理）と
を含み、
前記第１の復号ステップにおいて復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
前記第２の復号ステップにおいて復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
ことを特徴とする。
請求項１６に記載の記録媒体に記録されたプログラム、請求項１７に記載のプログラムの各ステップの具体例も、請求項１５に記載の復号方法の各ステップの発明の実施の形態における具体例と同様である。
以下、図を参照して、本発明の実施の形態について説明する。
図２は、本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
図２において、画像処理システム１０１は、DVDなどの光ディスク等の記録媒体１２１に記録された画像信号を再生し、その結果得られるアナログ画像信号Van1を出力する再生装置１１１、再生装置１１１が出力するアナログ画像信号Van1を画像として表示するディスプレイ１１２、および、再生装置１１１が出力するアナログ画像信号Van1を利用して、光ディスク等の記録媒体１２２に画像信号を記録する記録装置１１３により構成されている。
再生装置１１１は、復号化部１３１とD/A（Digital-to-Analog）変換部１３２とから構成されている。復号化部１３１は、記録媒体１２１から読み出した符号化デジタル画像信号を復号化し（復号し）、その結果得られる復号化デジタル画像信号Vdg0をD/A変換部１３２に供給する。D/A変換部１３２は、復号化部１３１から供給された復号化デジタル画像信号Vdg0をアナログ信号に変換し、その結果得られるアナログ画像信号Van1を出力する。
ここで、再生装置１１１（のD/A変換部１３２）から出力されるアナログ画像信号Van1は、復号化デジタル画像信号Vdg0をアナログ信号に変換したときに自然に生じる信号の歪み（以下、アナログ歪みと称する）を伴うものとなっている。例えば、アナログ歪みには、D/A変換器１３２でアナログ信号に変換する際に高周波成分が除去されることで生じる歪み、D/A変換器１３２でアナログ信号に変換する際に信号の位相がずれることで生じる歪み等がある。なお、このアナログ歪みによる画像の劣化（画質）を評価する方法としては、S/N(Signal-to-Noise)評価、視覚評価（視覚的劣化の評価）等がある。
ディスプレイ１１２は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部１３２からのアナログ画像信号Van1に対応する画像を表示する。これにより、ユーザは、記録媒体１２１に記録された画像信号に対応する画像を見ることができる。
また、再生装置１１１から出力されたアナログ画像信号Van1（入力画像データ）は、記録装置１１３にも供給(入力)される。
記録装置１１３は、再生装置１１１からのアナログ画像信号Van1を符号化デジタル画像信号Vcd1に符号化して、記録媒体１２２に記録する記録部１４１（符号化装置）、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が復号化されてディスプレイに表示されたときの画像を確認するために、符号化デジタル画像信号Vcd1を再生する再生部１４２（復号装置）、および、再生部１４２が再生した画像を表示するディスプレイ１４３により構成されている。
記録部１４１は、A/D（Analog-to-Digital）変換部１５１、符号化部１５２、および媒体記録部１５３により構成され、入力されるアナログ画像信号Van1をデジタル信号に変換して符号化した符号化デジタル画像信号Vcd1を記録媒体１２２に記録する。これにより、再生装置１１１からのアナログ画像信号Van1を利用したコピーが行われることとなる。
A/D変換部１５１には、再生装置１１１が出力するアナログ画像信号Van1が入力される。A/D変換部１５１は、入力されたアナログ画像信号Van1をデジタル信号に変換し、その結果得られるデジタル画像信号Vdg1を符号化部１５２に供給する。
符号化部１５２は、A/D変換部１５１からのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を媒体記録部１５３および再生部１４２（の復号化部１５５）に供給する。媒体記録部１５３は、符号化部１５２からの符号化デジタル画像信号Vcd1を記録媒体１２２に記録する。
再生部１４２は、上述したように、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が（例えば、再生装置１１１などの）所定の再生装置において、復号化されてディスプレイに表示されたときの画像を確認するためのものである。従って、再生部１４２は、再生装置１１１の復号化部１３１およびD/A変換部１３２それぞれと同様の構成を有する、復号化部１５５およびD/A変換部１５６により構成されている。
復号化部１５５は、符号化部１５２からの符号化デジタル画像信号Vcd1を復号化し（復号し）、その結果得られる復号化デジタル画像信号Vdg2をD/A変換部１５６に供給する。D/A変換部１５６は、復号化部１５５から供給された復号化デジタル画像信号Vdg2をアナログ信号に変換し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
ディスプレイ１４３は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部１５６からのアナログ画像信号Van2に対応する画像を表示する。これにより、ユーザは、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が再生されたときの画像を確認する（見る）ことができる。
以上のように構成される記録装置１１３では、再生装置１１１からのアナログ画像信号Van1を利用して、符号化デジタル画像信号Vcd1を記録媒体１２２に記録するとともに、その記録媒体１２２に記録された符号化デジタル画像信号Vcd1が、（例えば、再生装置１１１などの）所定の再生装置において再生されてディスプレイ１１２に表示されたときの画像を確認することができる。なお、符号化部１５２または復号化部１５５では、それぞれに入力されるデジタル画像信号Vdg1または符号化デジタル画像信号Vcd1を、フレーム単位で処理するものとする。
図２の画像処理システム１０１において、記録装置１１３で記録された（コピーされた）記録媒体１２２を再生装置１１１で再生したときにディスプレイ１１２に表示される（再生部１４２から出力されるアナログ画像信号Van2と同一のアナログ画像信号による）画像の画質（例えば、S/N比など）は、コピー元の記録媒体１２１を再生装置１１１で再生したときにディスプレイ１１２に表示される（アナログ画像Van1による）画像の画質よりも、著しく劣化したものとなる。
そこで、以下では、再生装置１１１から出力されるアナログ画像信号Van1を利用して画像信号をコピーした場合に、コピーされた画像信号を再生した画像の画質が劣化するような符号化および復号化を行う符号化部１５２および復号化部１５５について詳しく説明する。
なお、記録装置１１３の符号化部１５２は、図３に示すように、所定の枚数ごとに（所定の時間間隔で）フレーム単位の画像（フレーム画像）を基準フレームに設定し、基準フレーム以外の画像を予測フレームとする。図３においては、５枚ごとに基準フレームが設定されている。
また、符号化部１５２は、基準フレームの画像と予測フレームの画像とで、異なる符号化を行い、基準フレームの画像の画質を劣化させ、予測フレームの画像に対しては画質を劣化させない（画質が同程度に維持される）ようにして、基準フレームの画像と予測フレームの画像とが連続して再生されたときに、画質の異なる画像が交互に再生（表示）されることにより、全体として違和感を生じるような画質の劣化をさせる。
（符号化部１５２の実施形態）
図４は、図２の記録装置１１３における、符号化部１５２の構成例を示すブロック図である。
図４の符号化部１５２は、入力端子２０１、符号化選択回路２０２、基準フレーム符号化部２０３、ローカルデコード部２０４、予測フレーム符号化部２０５、および出力端子２０６により構成されている。
A/D変換部１５１（図２）からのデジタル画像信号Vdg1は、入力端子２０１を介して、符号化選択回路２０２に供給される。符号化選択回路２０２は、入力端子２０１から供給されるデジタル画像信号Vdg1を、基準フレーム符号化部２０３または予測フレーム符号化部２０５に供給する。この場合、符号化選択回路２０２は、デジタル画像信号Vdg1に対応する画像が、図３で上述した基準フレームの画像であるか、または予測フレームの画像であるかに応じて、それぞれ、基準フレーム符号化部２０３または予測フレーム符号化部２０５にデジタル画像信号Vdg1を供給する。
即ち、符号化選択回路２０２は、デジタル画像信号Vdg1に対応する画像が基準フレームの画像（第1の画像）である場合、そのデジタル画像信号Vdg1を基準フレーム符号化部２０３に供給し、デジタル画像信号Vdg1に対応する画像が予測フレームの画像（第２の画像）である場合、そのデジタル画像信号Vdg1を予測フレーム符号化部２０５に供給する。
基準フレーム符号化部２０３は、符号化選択回路２０２から供給される、基準フレームのデジタル画像信号Vdg1を符号化し、それにより得られるデジタル画像信号を符号化デジタル画像信号Vcd1としてローカルデコード部２０４および出力端子２０６に供給する。
ローカルデコード部２０４は、基準フレーム符号化部２０３から供給される符号化デジタル画像信号Vcd1を復号化し（ローカルデコードし）、予測フレーム符号化部２０５に供給する。この符号化デジタル画像信号Vcd1が復号化された復号化デジタル画像信号は、予測フレーム符号化部２０５が動き補償を行うための参照画像となる。なお、ローカルデコード部２０４が予測フレーム符号化部２０５に供給する復号化デジタル画像信号は、復号化部１５５（図２）で復号されて、出力される復号化デジタル画像信号Vdg2と同一の画像信号であり、ローカルデコード部２０４は、図１８を参照して後述する基準フレーム復号化部２７３の構成と同様の構成を有している。
予測フレーム符号化部２０５は、符号化選択回路２０２から供給されたデジタル画像信号Vdg1に対応するフレーム（以下、現フレームとも称する）の画像の１つ前のフレーム（以下、前フレームとも称する）の画像から動き補償を行うことにより、符号化選択回路２０２からの予測フレーム（現フレーム）のデジタル画像信号Vdg1を符号化する。即ち、予測フレーム符号化部２０５は、符号化選択回路２０２から供給される、現フレームのデジタル画像信号Vdg1と、前フレームのデジタル画像信号との差分データを符号化し、それにより得られるデジタル画像信号を符号化デジタル画像信号Vcd1として出力端子２０６に供給する。
なお、予測フレーム符号化部２０５において、前フレームの画像が基準フレームの画像である場合、予測フレーム符号化部２０５は、符号化選択回路２０２から供給されるデジタル画像信号Vdg1と、ローカルデコード部２０４から供給される復号化デジタル画像信号との差分データを符号化する。また、前フレームの画像が予測フレームの画像である場合、予測フレーム符号化部２０５は、符号化選択回路２０２から供給されるデジタル画像信号Vdg1と、自身で内部に記憶しておいた前フレームの復号化デジタル画像信号との差分データを符号化する。
出力端子２０６は、基準フレーム符号化部２０３または予測フレーム符号化部２０５からの符号化デジタル画像信号Vcd1を出力する。
（基準フレーム符号化部２０３の第１の実施形態）
図５は、図４の基準フレーム符号化部２０３の第１の実施形態の構成例を示すブロック図である。
図５の基準フレーム符号化部２０３は、入力端子２２１、ブロック化回路２２２、最大値検出回路２２３、最小値検出回路２２４、減算器２２５および２２６、ブロック符号化回路２２７、データ合成回路２２８、および出力端子２２９により構成されている。
符号化選択回路２０２（図４）からのデジタル画像信号Vdg1は、入力端子２２１を介して、ブロック化回路２２２に供給される。
ブロック化回路２２２は、基準フレームの画像を、それぞれが所定の画素数を有する複数のブロックBLに分割し、最大値検出回路２２３、最小値検出回路２２４、および減算器２２６に供給する。これにより、ブロック化回路２２２以降では、ブロック化回路２２２によって分割された複数のブロックBLのそれぞれが注目ブロックBLcとされ、注目ブロックBLcに対して処理が行われる。なお、本実施の形態では、ブロックBLのサイズは、例えば、４×４画素（水平方向×垂直方向）であるとする。
最大値検出回路２２３は、注目ブロックBLcを構成する画素の画素値（以下、入力画素値とも称する）の最大値Vcdmaxを検出し、減算器２２５に供給する。また、最小値検出回路２２４は、注目ブロックBLcを構成する画素の画素値の最小値Vcdmin（以下、単に注目ブロックBLcの最小値Vcdminと称する）を検出し、減算器２２５および２２６、並びにデータ合成回路２２８に供給する。
減算器２２５は、画素値の最大値Vcdmaxから最小値Vcdminを減算し、注目ブロックBLcを構成する画素の画素値のダイナミックレンジVcddr（＝Vcdmax−Vcdmin）（以下、単に注目ブロックBLcのダイナミックレンジVcddrと称する）を算出し、ブロック符号化回路２２７およびデータ合成回路２２８に供給する。
減算器２２６は、ブロック回路２２２から供給される、注目ブロックBLcを構成する各画素の画素値から、注目ブロックBLcの最小値Vcdminを減算し、その結果得られる差分データをブロック符号化回路２２７に供給する。
ブロック符号化回路２２７は、注目ブロックBLcを構成する各画素について、減算器２２６からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２２８に供給する。
具体的には、ブロック符号化回路２２７は、注目ブロックBLcを構成する各画素について、減算器２２５からのダイナミックレンジVcddrに応じた量子化ステップ（量子化ビット数）で、減算器２２６からの差分データを量子化する。
例えば、入力画素値が０乃至２５５の値を取り得る場合、０< Vcddr <４のときの量子化ビット数ｎを０、５< Vcddr <１３のときの量子化ビット数ｎを１、１４< Vcddr <３５のときの量子化ビット数ｎを２、３６< Vcddr <１０３のときの量子化ビット数ｎを３、１０４< Vcddr <２５５のときの量子化ビット数ｎを４とするように、ダイナミックレンジVcddrが大きいほど量子化ビット数ｎを大きくなるように量子化ステップが決定される。なお、量子化ビット数は、固定とすることも可能である。
そして、ブロック符号化回路２２７では、ダイナミックレンジVcddrを２n等分するようにレベルの範囲が設定され、差分データがどのレベルの範囲に属するかによって、ｎビットのADRCコードが割り当てられる。この割り当てられたADRCコードが符号化データVcdoとして、データ合成回路２２８に供給される。
データ合成回路２２８は、１フレーム（基準フレーム）を構成する複数のブロックBLそれぞれの、減算器２２５からのダイナミックレンジVcddr、最小値検出回路２２４からの最小値Vcdmin、およびブロック符号化回路２２７からの符号化データVcdoを合成し、符号化デジタル画像信号Vcd1として出力端子２２９に供給する。
出力端子２２９は、データ合成回路２２８から供給される符号化デジタル画像信号Vcd1を出力する。
図６は、ブロック化回路２２２がデジタル画像信号Vdg1に対応する画像を複数のブロックBLに分割した例を示している。
ブロック化回路２２２では、例えば、６４０×４８０画素などの所定の画素数を有する画像が、図６に示すように、４×４画素の複数のブロックBLに分割される。そして、この複数のブロックBLそれぞれが、注目ブロックBLcとされることになる。なお、図６における丸（○）は、画像を構成する各画素を表している。
図７は、量子化ビット数ｎが２である場合の、ブロック符号化回路２２７における符号化（量子化）とそれに対応する復号化（逆量子化）を説明する図である。
量子化ビット数ｎが２である場合、ダイナミックレンジVcddrが４（＝２2）等分されるようにレベルの範囲が設定され、差分データが４等分されたどの範囲に属するかによって、２ビットのADRCコードが割り当てられる。
即ち、差分データの最小値Min乃至閾値th1の最も下のレベルの範囲に、差分データが属する場合、「００」のADRCコードが割り当てられる。また、閾値th1乃至th2の下から２番目のレベルの範囲に、差分データが属する場合、「０１」のADRCコードが割り当てられる。さらに、閾値th2乃至th3の下から３番目のレベルの範囲に、差分データが属する場合、「１０」のADRCコードが割り当てられる。そして、閾値th3乃至差分データの最大値Maxの最も上のレベルの範囲に属する場合、「１１」のADRCコードが割り当てられる。
また、後述する基準フレーム復号化部２７３のブロック復号化回路２９３（図１８）でADRCコード（符号化データVcdo）が復号化される際には、「００」，「０１」，「１０」、または「１１」のADRCコード（符号化データVcdo）は、それぞれ、ダイナミックレンジVcddrを４等分して得られる最も下のレベルの範囲の中心値L1、下から２番目のレベルの範囲の中心値L2、下から３番目のレベルの範囲の中心値L3、または最も上のレベルの範囲の中心値L4に、逆量子化される。
上述した量子化の処理は、いわゆるADRC（Adaptive Dynamic Range Coding）処理による符号化処理（ADRC符号化処理）である。
次に、図８のフローチャートを参照して、図５の基準フレーム符号化部２０３の基準フレーム符号化処理について説明する。
初めに、ステップＳ１において、ブロック化回路２２２は、入力端子２２１を介して符号化選択回路２０２から供給されるデジタル画像信号Vdg1に対応する１フレームの画像を、それぞれが４×４画素で構成される複数のブロックBL単位に分割し、最大値検出回路２２３、最小値検出回路２２４、および減算器２２６に供給する。
ステップＳ２において、複数に分割されたブロックBLのうちの１のブロックBLが注目ブロックBLcとされる。また、ステップＳ２において、最大値検出回路２２３は、その注目ブロックBLcを構成する画素の画素値（入力画素値）の最大値Vcdmaxを検出し、減算器２２５に供給する。
ステップＳ３において、最小値検出回路２２４は、注目ブロックBLcを構成する画素の画素値の最小値Vcdmin（注目ブロックBLcの最小値Vcdmin）を検出し、減算器２２５、減算器２２６、およびデータ合成回路２２８に供給する。
ステップＳ４において、減算器２２５は、注目ブロックBLcのダイナミックレンジVcddr（＝Vcdmax−Vcdmin）を算出し、ブロック符号化回路２２７およびデータ合成回路２２８に供給する。
ステップＳ５において、減算器２２６は、注目ブロックBLcを構成する各画素の差分データを算出する。即ち、減算器２２６は、注目ブロックBLcを構成する各画素の画素値から、注目ブロックBLcの最小値Vcdminを減算し、その結果得られる差分データをブロック符号化回路２２７に供給する。
ステップＳ６において、ブロック符号化回路２２７は、減算器２２６からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２２８に供給する。即ち、ステップＳ６において、ブロック符号化回路２２７は、減算器２２５からのダイナミックレンジVcddrに応じた量子化ステップ（量子化ビット数）で、減算器２２６からの差分データを量子化する。そして、ブロック符号化回路２２７は、符号化データVcdoをデータ合成回路２２８に供給する。
ステップＳ７において、データ合成回路２２８は、符号化選択回路２０２から供給された１フレームを構成する画像の全てのブロックBLについて処理したか、即ち、１フレームの画像の全てのブロックBLを注目ブロックBLcとして上述したステップＳ２乃至Ｓ６の処理を行ったか否かを判定する。
ステップＳ７で、全てのブロックBLについて処理していないと判定された場合、ステップＳ２に戻り、まだ処理していないブロックBLが注目ブロックBLcとされる。そして、その注目ブロックBLcに対して、ステップＳ２乃至Ｓ７の処理が繰り返される。
一方、ステップＳ７で、全てのブロックBLについて処理したと判定された場合、ステップＳ８に進み、データ合成回路２２８は、１フレーム分の符号化デジタル画像信号Vcd1を、出力端子２２９を介して出力する。
ステップＳ８の処理後、ステップＳ９に進み、基準フレーム符号化部２０３は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
ステップＳ９で、まだ処理するフレームの画像があると判定された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
一方、ステップＳ９で、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
（予測フレーム符号化部２０５の第１の実施形態）
図９は、図４の予測フレーム符号化部２０５の第１の実施形態の構成例を示すブロック図である。
図９の予測フレーム符号化部２０５は、入力端子２４１、ブロック化回路２４２、動きベクトル検出回路２４３、残差算出回路２４４、ソート処理回路２４５、回帰回路２４６、減算器２４７、ブロック符号化回路２４８、データ合成回路２４９、ローカルデコード部２５０、フレームメモリ２５１、および出力端子２５２により構成されている。
符号化選択回路２０２（図４）からのデジタル画像信号Vdg1は、入力端子２４１を介して、ブロック化回路２４２に供給される。
ブロック化回路２４２は、予測フレームの画像を、それぞれが所定の画素数を有する複数のブロックBL’に分割し、動きベクトル検出回路２４３および残差算出回路２４４に供給する。これにより、ブロック化回路２４２以降では、ブロック化回路２４２によって分割された複数のブロックBL’のそれぞれを注目ブロックBLc’として、処理が行われる。なお、本実施の形態では、ブロックBL’のサイズは、例えば、８×８画素（水平方向×垂直方向）であるとする。
動きベクトル検出回路２４３は、注目ブロックBLc’について、フレームメモリ２５１から供給される前フレームの画像（参照画像）から、注目ブロックBLc’の動きベクトルVcdmvを検出し、残差算出回路２４４およびデータ合成回路２４９に供給する。
残差算出回路２４４は、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mv内の、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差（差分）を算出し、ソート処理回路２４５および減算器２４７に供給する。
ソート処理回路２４５は、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差を、画素値の小さい順にソートし、ソートされた残差を回帰回路２４６に供給する。
回帰回路２４６は、ソートされた残差を直線として表す回帰式を演算する。この場合、後述するように、残差の最小値VcdminおよびダイナミックレンジVcddrが、回帰式の係数として得られる。回帰回路２４６は、回帰式の係数として得られる残差の最小値Vcdminを減算器２４７およびデータ合成回路２４９に、残差のダイナミックレンジVcddrをブロック符号化回路２４８およびデータ合成回路２４９に、それぞれ供給する。
減算器２４７は、残差算出回路２４４からの、注目ブロックBLc’を構成する各画素の残差から、残差の最小値Vcdminを減算し（残差の最小値Vcdmin分オフセットし）、その結果得られる差分データをブロック符号化回路２４８に供給する。
ブロック符号化回路２４８は、減算器２４７からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２４９に供給する。
具体的には、ブロック符号化回路２４８は、減算器２４７からのダイナミックレンジVcddrに応じた量子化ステップ（量子化ビット数）で、減算器２４７からの差分データを量子化（符号化）する。
例えば、残差算出回路２４４の出力である残差が−２５５乃至２５５の値を取り得る場合、０< Vcddr <８のときの量子化ビット数ｎを０、９< Vcddr <２６のときの量子化ビット数ｎを１、２７< Vcddr <７０のときの量子化ビット数ｎを２、７１< Vcddr <２０６のときの量子化ビット数ｎを３、２０７< Vcddr <５１１のときの量子化ビット数ｎを４とするように、ダイナミックレンジVcddrが大きいほど量子化ビット数ｎを大きくなるように量子化ステップが決定される。なお、量子化ビット数は、固定とすることも可能である。
そして、ブロック符号化回路２４８では、ダイナミックレンジVcddrを２n分類するようにレベルの範囲が設定され、差分データが２n分類された、どのレベルの範囲に属するかによって、ｎビットのADRCコードが割り当てられる。この割り当てられたADRCコードが符号化データVcdoとして、データ合成回路２２８に供給される。
データ合成回路２４９は、１フレーム（予測フレーム）を構成する複数のブロックBL’それぞれの、動きベクトル検出回路２４３からの動きベクトルVcdmv、回帰回路２４６からの残差の最小値VcdminおよびダイナミックレンジVcddr、並びにブロック符号化回路２４８からの符号化データVcdoを合成し、符号化デジタル画像信号Vcd1としてローカルデコード部２５０および出力端子２５２に供給（出力）する。
ローカルデコード部２５０は、フレームメモリ２５１に記憶されている復号化デジタル画像信号による画像を用いて、データ合成回路２４９からの符号化デジタル画像信号Vcd1を復号化し、復号化デジタル画像信号としてフレームメモリ２５１に供給する（フレームメモリ２５１を更新する）。フレームメモリ２５１に記憶される復号化デジタル画像信号は、予測フレーム符号化部２０５が次の予測フレームのデジタル画像信号Vdg1を符号化する際の参照画像となる画像信号である。なお、ローカルデコード部２５０は、後述する予測フレーム復号化部２７４（図２０）が有する構成の一部と同様の構成を有している。
フレームメモリ２５１は、動きベクトル検出回路２４３が上述した動きベクトルVcdmvを検出するために現フレームの画像との比較の対象となる参照画像を記憶する。ここで、参照画像は、現フレームより１フレーム前（所定時間前）の画像であり、前フレームの画像が基準フレームの画像である場合には、その画像信号が、ローカルデコード部２０４（図４）からフレームメモリ２５１に供給される。また、前フレームの画像が予測フレームの画像である場合には、その画像信号が、ローカルデコード部２５０からフレームメモリ２５１に供給される。
図１０乃至図１５を参照して、予測フレーム符号化部２０５の処理についてさらに説明する。
図１０は、ブロック化回路２４２がデジタル画像信号Vdg1に対応する画像を複数のブロックBL’に分割した例を示している。
ブロック化回路２４２では、例えば、６４０×４８０画素などの所定の画素数を有する画像が、図１０に示すように、８×８画素の複数のブロックBL’に分割される。そして、この複数のブロックBL’それぞれが、注目ブロックBLc’とされることになる。なお、図１０における丸（○）は、画像を構成する各画素を表している。
動きベクトル検出回路２４３は、ブロック化回路２４２から供給される現フレームのブロックBL’の１つを注目ブロックBLc’とし、フレームメモリ２５１から供給される前フレームの画像に対して、サーチ範囲SRを設定する。ここで、サーチ範囲SRは、例えば、図１１に示すように、前フレームの画像の注目ブロックBLc’と同一の位置BLP’から、左右（水平方向）および上下（垂直方向）に所定の画素数だけ大きい範囲とする。図１１では、注目ブロックBLc’より左右および上下方向の両側にそれぞれ８画素だけ大きい範囲がサーチ範囲SRとされている。
そして、動きベクトル検出回路２４３は、図１２に示すように、例えば、注目ブロックBLc’と、サーチ範囲SR内の注目ブロックBLc’と同一サイズを有するブロックとのブロックマッチングなどを行うことにより、注目ブロックBLc’の動きベクトルVcdmvを検出する。ブロックマッチングでは、例えば、注目ブロックBLc’とサーチ範囲SR内のブロックとの対応する画素どうしの画素値の差分絶対値の総和が最小となるサーチ範囲SR内のブロックがブロックBL’mvとして検出される
残差算出回路２４４は、注目ブロックBLc’と、動きベクトル検出回路２４３から供給される動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mvとも称する）との、対応する画素どうしの画素値の残差（差分）を算出する。
図１３左上のマトリックスは、残差算出回路２４４で算出された、注目ブロックBLc’とブロックBL’ｍｖとの残差を示している。
ソート処理回路２４５は、この６４個の残差を、図１３右上に示すように、その値が小さい順となるようにソートする。そして、ソート処理回路２４５は、重複している残差のデータを除去する。その結果、残差のデータの個数は、図１３左下に示すように、２８個（０乃至２７のソート順）に削減されている。
さらに、ソート処理回路２４５は、横軸のソート順の値を正規化する。即ち、図１３右下に示すように、ソート順の最小値（０）が０、最大値（２７）が１となるように、０乃至２７のソート順それぞれを変換する。
ソート処理回路２４５は、正規化されたソート順の順番と残差の組を回帰回路２４６に供給する。具体的には、ソート処理回路２４５は、重複が除去された後のすべての残差について、０乃至１の範囲内の値で表されるソート順をX、そのときの残差の値をYとするXとYの全ての組を回帰回路２４６に供給する。
回帰回路２４６は、図１４に示すように、ソート処理回路２４５から供給されるXとYの組のデータ（残差）から、XY平面における１次の回帰式Y＝aX＋ｂを算出する。この場合、X軸は、上述したように、０乃至１の範囲に正規化されているため、得られる回帰式の係数aは、残差の最小値Vcdminを表し、係数ｂは、残差のダイナミックレンジVcddrを表すことになる。このようにして算出された残差の最小値Vcdminが減算器２４７およびデータ合成回路２４９に供給されるとともに、残差のダイナミックレンジVcddrがブロック符号化回路２４８およびデータ合成回路２４９に供給される。
なお、回帰式によって算出される残差の最小値VcdminおよびダイナミックレンジVcddrは、図１４に示すように、実際の残差からそのまま算出した場合の最小値およびダイナミックレンジとは異なる場合が多い。
図１５は、量子化ビット数ｎが２である場合の、ブロック符号化回路２２７における符号化（量子化）とそれに対応する復号化（逆量子化）を説明する図である。
量子化ビット数ｎが２である場合、ダイナミックレンジVcddrが４（＝２2）に分類されるようにレベルの範囲が設定され、差分データが４つに分類されたどの範囲に属するかによって、２ビットのADRCコードが割り当てられる。
即ち、差分データの最小値Min乃至閾値th1の最も下のレベルの範囲に差分データが属する場合、「００」のADRCコードが割り当てられる。また、閾値th1乃至th2の下から２番目のレベルの範囲に差分データが属する場合、「０１」のADRCコードが割り当てられる。さらに、閾値th2乃至th3の下から３番目のレベルの範囲に差分データが属する場合、「１０」のADRCコードが割り当てられる。そして、閾値th3乃至差分データの最大値Maxの最も上のレベルの範囲に差分データが属する場合に、「１１」のADRCコードが割り当てられる。
なお、下から２番目のレベルの範囲および下から３番目のレベルの範囲それぞれのデータの幅は、最も下のレベルの範囲のデータの幅と、最も上のレベルの範囲のデータの幅とを合わせたデータの幅と等しくなっている。即ち、ダイナミックレンジVcddrが、下から２番目のレベルの範囲、下から３番目のレベルの範囲、および、最も下のレベルの範囲と最も上のレベルの範囲とを合わせた範囲で、３（＝２2−１）等分されるように４つのレベルの範囲に分類されている。
また、ブロック符号化回路２４８で用いられるダイナミックレンジVcddrは、回帰回路２４６で算出された回帰式から得られた値であり、実際の残差から算出した値ではないため、上述したように、差分データが最小値Minより小さいものや、最大値Maxより大きいものが存在する場合が考えられる。この場合、最小値Minより小さい差分データは、最小値Minに、最大値Maxより大きい差分データは、最大値Maxに置き換えられる。
後述する予測フレーム復号化部２７４のブロック復号化回路３０４（図２０）では、「００」，「０１」，「１０」、または「１１」のADRCコード（符号化データVcdo）は、それぞれ、ダイナミックレンジVcddrを３（＝２2−１）等分して得られる最も下のレベルの範囲の下限値L1、最も下のレベルの範囲と真ん中のレベルの範囲との境界値L2、真ん中のレベルの範囲と最も上のレベルの範囲との境界値L3、または最も上のレベルの範囲の上限値L4に、逆量子化される。
次に、図１６のフローチャートを参照して、図９の予測フレーム符号化部２０５の予測フレーム符号化処理について説明する。
初めに、ステップＳ２１において、ブロック化回路２４２は、入力端子２４１を介して符号化選択回路２０２から供給される、デジタル画像信号Vdg1に対応する１フレームの画像を、それぞれが８×８画素で構成される複数のブロックBL’に分割し、動きベクトル検出回路２４３および残差算出回路２４４に供給する。
ステップＳ２２において、複数に分割されたブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ２２において、動きベクトル検出回路２４３は、注目ブロックBLc’について、フレームメモリ２５１から供給される前フレームの画像から、注目ブロックBLc’の動きベクトルVcdmvを検出し、残差算出回路２４４およびデータ合成回路２４９に供給する。
ステップＳ２３において、残差算出回路２４４は、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mv（動きベクトル先のブロックBL’mv）内の、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差を算出し、ソート処理回路２４５および減算器２４７に供給する。
ステップＳ２４において、ソート処理回路２４５は、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差を小さい順にソートし、ソートされた残差を回帰回路２４６に供給する。
ステップＳ２５において、回帰回路２４６は、ソートされた残差の回帰式を演算する。即ち、回帰回路２４６は、回帰式の係数aで表される残差の最小値Vcdmin、および回帰式の係数ｂで表される残差のダイナミックレンジVcddrを演算し、残差の最小値Vcdminを減算器２４７およびデータ合成回路２４９に、残差のダイナミックレンジVcddrをブロック符号化回路２４８およびデータ合成回路２４９に、それぞれ供給する。
ステップＳ２６において、減算器２４７は、注目ブロックBLc’を構成する各画素の差分データを算出する。即ち、減算器２４７は、残差算出回路２４４からの、注目ブロックBLc’を構成する各画素の残差から、残差の最小値Vcdminを減算し、その結果得られる差分データをブロック符号化回路２４８に供給する。
ステップＳ２７において、ブロック符号化回路２４８は、減算器２４７からの差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路２４９に供給する。
ステップＳ２８において、データ合成回路２４９は、符号化選択回路２０２から供給された１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ２２乃至Ｓ２７の処理を行ったか否かを判定する。
ステップＳ２８で、全てのブロックBL’について処理していないと判定された場合、ステップＳ２２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ２２乃至Ｓ２８の処理が繰り返される。
一方、ステップＳ２８で、全てのブロックBL’について処理したと判定された場合、ステップＳ２９に進み、データ合成回路２４９は、１フレーム分の符号化デジタル画像信号Vcd1をローカルデコード部２５０および出力端子２５２に供給（出力）する。
ステップＳ２９の処理後、ステップＳ３０に進み、予測フレーム符号化部２０５は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
ステップＳ３０で、まだ処理するフレームの画像があると判定された場合、ステップＳ３１に進み、ローカルデコード部２５０は、符号化デジタル画像信号Vcd1をローカルデコードする。そして、ステップＳ３２に進み、ローカルデコード部２５０は、符号化デジタル画像信号Vcd1をローカルデコードして得られる復号化デジタル画像信号をフレームメモリ２５１に記憶させて、ステップＳ２１に戻る。なお、ステップＳ３２において、次に（現フレームとして）予測フレーム符号化部２０５に入力される画像の１つ前のフレームの画像が基準フレームとなる場合には、その前フレームの画像は、ローカルデコード部２０４（図４）から供給されるため、予測フレーム符号化部２０５のローカルデコード部２５０は、復号化デジタル画像信号をフレームメモリ２５１に記憶させない。
一方、ステップＳ３０で、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
以上のように、図１６の予測フレーム符号化処理によれば、予測フレーム符号化部２０５は、予測フレームを構成する複数のブロックBL’それぞれを注目ブロックBLc’とし、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの対応する画素の残差を算出する。そして、予測フレーム符号化部２０５は、残差の回帰式を求めて、注目ブロックBLc’の残差の最小値VcdminおよびダイナミックレンジVcddrを演算する。そして、予測フレーム符号化部２０５は、注目ブロックBLc’の差分データ（注目ブロックBLc’を構成する各画素の残差と残差の最小値Vcdminとの差分のデータ）を符号化する。
ここで、予測フレーム符号化部２０５において演算される、注目ブロックBLc’における残差の最小値VcdminおよびダイナミックレンジVcddは、注目ブロックBLc’の実際の残差の最小値およびダイナミックレンジとは異なる、いわば理想的な残差の最小値およびダイナミックレンジであると言える。従って、予測フレーム符号化処理では、ブロックBL’ごとに残差の特性に合わせた最適な（理想的な）符号化（量子化）を行うことができる。これにより、予測フレーム符号化部２０５の予測フレーム符号化処理によって符号化された符号化デジタル画像信号Vcd1を復号化したときの画像の画質の劣化は少ない（生じない）。
（復号化部１５５の実施形態）
図１７は、図２の記録装置１１３における、復号化部１５５の構成例を示すブロック図である。
図１７の復号化部１５５は、入力端子２７１、復号化選択回路２７２、基準フレーム復号化部２７３、予測フレーム復号化部２７４、および出力端子２７５により構成されている。
符号化部１５２（図２）からの符号化デジタル画像信号Vcd1は、入力端子２７１を介して、復号化選択回路２７２に供給される。この符号化デジタル画像信号Vcd1は、上述した符号化部１５２と同様に、基準フレームの画像と予測フレームの画像とに設定される。復号化選択回路２７２は、符号化デジタル画像信号Vcd1に対応する画像が基準フレームの画像である場合、入力端子２７１から供給される符号化デジタル画像信号Vcd1を基準フレーム復号化部２７３に供給し、符号化デジタル画像信号Vcd1に対応する画像が予測フレームの画像である場合、入力端子２７１から供給される符号化デジタル画像信号Vcd1を予測フレーム復号化部２７４に供給する。
基準フレーム復号化部２７３は、復号化選択回路２７２から供給される、基準フレームの符号化デジタル画像信号Vcd1を復号化し、それにより得られるデジタル画像信号を復号化デジタル画像信号Vdg2として予測フレーム復号化部２７４および出力端子２７５に供給する。
予測フレーム復号化部２７４は、復号化選択回路２７２から供給される、予測フレームの符号化デジタル画像信号Vcd1を復号化し、それにより得られるデジタル画像信号を復号化デジタル画像信号Vdg2として出力端子２７５に供給する。
（基準フレーム復号化部２７３の第１の実施形態）
図１８は、図１７の基準フレーム復号化部２７３の第１の実施形態の構成例を示すブロック図である。
図１８の基準フレーム復号化部２７３は、入力端子２９１、データ分解回路２９２、ブロック復号化回路２９３、加算器２９４、ブロック分解回路２９５、および出力端子２９６により構成される。
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子２９１を介して、データ分解回路２９２に供給（入力）される。
データ分解回路２９２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBLそれぞれの、ブロックBLを構成する画素の画素値のダイナミックレンジVcddrおよび最小値Vcdmin、並びに各画素の差分データが符号化された符号化データVcdoに分解し、取得する。
そして、データ分解回路２９２は、複数のブロックBLそれぞれの、画素値のダイナミックレンジVcddrおよび符号化データVcdoをブロック復号化回路２９３に供給するとともに、画素値の最小値Vcdminを加算器２９４に供給する。
これにより、データ分解回路２９２以降の、ブロック復号化回路２９３、加算器２９４、およびブロック分解回路２９５では、基準フレーム符号化部２０３と同様に、分解された複数のブロックBLのそれぞれを注目ブロックBLcとして、処理が行われる。
ブロック復号化回路２９３は、図７を参照して説明したように、注目ブロックBLcを構成する各画素について、画素値のダイナミックレンジVcddrに応じて注目ブロックBLcの符号化データVcdoを復号化（逆量子化）し、その結果得られる差分データを加算器２９４に供給する。
加算器２９４は、注目ブロックBLcを構成する各画素について、差分データと画素値の最小値Vcdminとを加算して、注目ブロックBLcを構成する各画素の出力画素値を得る。そして、加算器２９４は、注目ブロックBLcを構成する各画素の出力画素値をブロック分解回路２９５に供給する。
ブロック分解回路２９５は、加算器２９４から供給される注目ブロックBLcを構成する各画素の出力画素値を、複数のブロックBLに分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBLから１フレームの画像を構成する。そして、ブロック分解回路２９５は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を出力端子２９６に供給する。出力端子２９６は、ブロック分解回路２９５からの復号化デジタル画像信号Vdg2を出力する。
次に、図１９のフローチャートを参照して、基準フレーム復号化部２７３の基準フレーム復号化処理について説明する。
初めに、ステップＳ４１において、データ分解回路２９２は、入力端子２９１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBLそれぞれの、ブロックBLを構成する画素の画素値のダイナミックレンジVcddrおよび最小値Vcdmin、並びに差分データが符号化された符号化データVcdoに分解し、取得する。
また、ステップＳ４１において、データ分解回路２９２は、複数のブロックBLそれぞれの、画素値のダイナミックレンジVcddrおよび符号化データVcdoをブロック復号化回路２９３に供給するとともに、画素値の最小値Vcdminを加算器２９４に供給する。
ステップＳ４２において、複数に分解されたブロックBLのうちの１つのブロックBLが注目ブロックBLcとされる。また、ステップＳ４２において、ブロック復号化回路２９３は、注目ブロックBLcを構成する各画素について、画素値のダイナミックレンジVcddrに応じて注目ブロックBLcの符号化データVcdoを復号化（逆量子化）し、その結果得られる差分データを加算器２９４に供給する。
ステップＳ４３において、加算器２９４は、注目ブロックBLcを構成する各画素について、差分データと画素値の最小値Vcdminとを加算して、注目ブロックBLcを構成する各画素の出力画素値を得る。また、ステップＳ４３において、加算器２９４は、注目ブロックBLcを構成する各画素の出力画素値をブロック分解回路２９５に供給する。
ステップＳ４４において、ブロック分解回路２９５は、加算器２９４から供給される注目ブロックBLcを構成する各画素の出力画素値を、ブロックBLに分割する前のフレーム上の位置に戻す。
ステップＳ４５において、ブロック分解回路２９５は、１フレームの画像を構成する全てのブロックBLについて処理したか、即ち、１フレームの画像の全てのブロックBLを注目ブロックBLcとして上述したステップＳ４２乃至Ｓ４４の処理を行ったか否かを判定する。
ステップＳ４５で、全てのブロックBLについて処理していないと判定された場合、ステップＳ４２に戻り、まだ処理していないブロックBLが注目ブロックBLcとされる。そして、その注目ブロックBLcに対して、ステップＳ４２乃至Ｓ４５の処理が繰り返される。
一方、ステップＳ４５で、全てのブロックBLについて処理したと判定された場合、ステップＳ４６に進み、ブロック分解回路２９５は、１フレーム分の復号化デジタル画像信号Vdg2を、出力端子２９６を介して出力する。
そして、ステップＳ４７に進み、基準フレーム復号化部２７３は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されたか否かを判定する。
ステップＳ４７において、まだ処理するフレームの画像があると判定された場合、ステップＳ４１に戻り、それ以降の処理が繰り返される。
一方、ステップＳ４７において、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されない場合、処理を終了する。
（予測フレーム復号化部２７４の第１の実施形態）
図２０は、図１７の予測フレーム復号化部２７４の第１の実施形態の構成例を示すブロック図である。
図２０の予測フレーム復号化部２７４は、入力端子３０１、データ分解回路３０２、動きベクトル先抽出回路３０３、ブロック復号化回路３０４、加算回路３０５および３０６、ブロック分解回路３０７、フレームメモリ３０８、並びに出力端子３０９により構成されている。
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子３０１を介して、データ分解回路３０２に供給（入力）される。
データ分解回路３０２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、動きベクトルVcdmv、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの対応する画素どうしの残差（差分）の最小値VcdminおよびダイナミックレンジVcddr、並びに符号化データVcdoに分解し、取得する。
そして、データ分解回路３０２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、残差のダイナミックレンジVcddrと符号化データVcdoとをブロック復号化回路３０４に供給し、残差の最小値Vcdminを加算器３０５に供給する。
これにより、データ分解回路３０２以降の、動きベクトル先抽出回路３０３、ブロック復号化回路３０４、加算回路３０５および３０６、並びにブロック分解回路３０７では、予測フレーム符号化部２０５と同様に、分解された複数のブロックBL’のそれぞれを注目ブロックBLc’として、処理が行われる。
動きベクトル先抽出回路３０３は、フレームメモリ３０８に記憶されている前フレームの画像（参照画像）から、動きベクトルVcdmvによって特定されるブロックBL’mv（注目ブロックBLc’に対応する動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
ブロック復号化回路３０４は、図１５を参照して説明したように、注目ブロックBLc’を構成する各画素について、残差のダイナミックレンジVcddrに応じて符号化データVcdoを復号化（逆量子化）し、その結果得られる差分データを加算器３０５に供給する。
加算器３０５は、注目ブロックBLc’を構成する各画素について、差分データと残差の最小値Vcdminとを加算して、その加算結果を加算器３０６に供給する。
加算器３０６は、注目ブロックBLc’を構成する各画素について、加算器３０５の加算結果（加算器３０５の出力）と、動きベクトル先のブロックBL’mvの、注目ブロックBLc’の画素と対応する画素の画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。そして、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBLから１フレームの画像を構成する。そして、ブロック分解回路２９５は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を、フレームメモリ３０８および出力端子３０９に供給する。
フレームメモリ３０８は、動きベクトル先抽出回路３０３が動きベクトル先のブロックBL’mvを抽出するための参照画像（前フレームの画像）を記憶する。ここで、前フレームの画像が基準フレームの画像である場合には、その画像信号が、基準フレーム復号化部２７３（図１７）からフレームメモリ３０８に供給される。また、前フレームの画像が予測フレームの画像である場合には、その画像信号が、ブロック分解回路３０７からフレームメモリ３０８に供給される。
出力端子３０９は、ブロック分解回路３０７からの復号化デジタル画像信号Vdg2を出力する。
なお、上述した図９のローカルデコード部２５０は、図２０において点線で示されている、データ分解回路３０２、動きベクトル先抽出回路３０３、ブロック復号化回路３０４、加算回路３０５および３０６、並びにブロック分解回路３０７の構成と同様に構成されている。
次に、図２１のフローチャートを参照して、図２０の予測フレーム復号化部２７４の予測フレーム復号化処理について説明する。
初めに、ステップＳ６１において、データ分解回路３０２は、入力端子３０１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、ブロックBL’の動きベクトルVcdmv、残差の最小値VcdminおよびダイナミックレンジVcddr、並びに符号化データVcdoに分解して、取得する。
また、ステップＳ６１において、データ分解回路３０２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、残差のダイナミックレンジVcddrおよび符号化データVcdoをブロック復号化回路３０４に供給し、残差の最小値Vcdminを加算器３０５に供給する。
ステップＳ６２において、複数のブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ６２において、動きベクトル先抽出回路３０３は、フレームメモリ３０８に記憶されている前フレームの画像から、動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
ステップＳ６３において、ブロック復号化回路３０４は、注目ブロックBLc’を構成する各画素について、残差のダイナミックレンジVcddrに応じて符号化データVcdoを復号化（逆量子化）し、その結果得られる各画素の差分データを加算器３０５に供給する。
ステップＳ６４において、加算器３０５は、注目ブロックBLc’を構成する各画素について、差分データと残差の最小値Vcdminとを加算して、その加算結果を加算器３０６に供給する。
ステップＳ６５において、加算器３０６は、注目ブロックBLc’を構成する各画素について、加算器３０５の加算結果と、動きベクトル先のブロックBL’mvの、注目ブロックBLc’の画素と対応する画素の画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。また、ステップＳ６５において、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
ステップＳ６６において、ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻す。
ステップＳ６７において、ブロック分解回路３０７は、１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ６２乃至Ｓ６６の処理を行ったか否かを判定する。
ステップＳ６７で、全てのブロックBL’について処理していないと判定された場合、ステップＳ６２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ６２乃至Ｓ６７の処理が繰り返される。
一方、ステップＳ６７で、全てのブロックBL’について処理したと判定された場合、ステップＳ６８に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を出力端子３０９に供給（出力）する。
そして、ステップＳ６９に進み、予測フレーム復号化部２７４は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されたか否かを判定する。
ステップＳ６９において、まだ処理するフレームの画像があると判定された場合、ステップＳ７０に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を、フレームメモリ３０８に供給し、記憶させる。なお、次に(現フレームとして)予測フレーム復号化部２７４に入力される画像の１つ前のフレームの画像が基準フレームの画像となる場合には、その前フレームの画像（復号化デジタル画像信号Vdg2）は、基準フレーム復号化部２７３（図１７）から供給されるため、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2をフレームメモリ３０８に供給しない。
一方、ステップＳ６９において、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームが復号化選択回路２７２から供給されない場合、処理を終了する。
（基準フレーム符号化部２０３の第２の実施形態）
図２２は、図４の基準フレーム符号化部２０３の第２の実施形態の構成例を示すブロック図である。
基準フレーム符号化部２０３は、入力端子２２１、ブロック化回路２２２、ソート順算出回路３２１、予測画素値生成回路３２２、減算器３２３、ブロック符号化回路３２４、データ合成回路３２５、および出力端子２２９により構成されている。
符号化選択回路２０２（図４）からのデジタル画像信号Vdg1は、入力端子２２１を介して、ブロック化回路２２２に供給される。
ブロック化回路２２２は、基準フレームの画像を、複数のブロックBL’に分割し、ソート順算出回路３２１および減算器３２３に供給する。これにより、ブロック化回路２２２以降では、ブロック化回路２２２が分割した複数のブロックBL’それぞれを注目ブロックBLc’として、処理が行われる。なお、本実施の形態では、ブロックBL’のサイズは、上述した実施の形態と同様に、例えば、８×８画素（水平方向×垂直方向）である。
ソート順算出回路３２１は、注目ブロックBLc’を構成する各画素を、画素値（入力画素値）の大きい順に並び換える。より詳しく言えば、ソート順算出回路３２１は、ブロック化回路２２２から供給されたときのラスター順に並んでいる注目ブロックBLc’を構成する各画素を、画素値の大きい順（ソート順）に並び換えるとともに、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdmin（注目ブロックBLc’を構成する画素の特徴量を表すパラメータ）を算出する。また、ソート順算出回路３２１は、ソート順に並び換えられた各画素が、並び換えられる前の空間位相（以下、適宜、元の空間位相という）では（ラスター順では）、どこに存在していたかを表すソート順情報Vcdsを算出する。
ソート順算出回路３２１は、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdminを予測回路３３１およびデータ合成回路３２５に供給し、注目ブロックBLc’のソート順情報Vcdsを逆ソート回路３３２およびデータ合成回路３２５に供給する。
予測画素値生成回路３２２は、予測回路３３１および逆ソート回路３３２により構成され、画素値の最大値Vcdmaxおよび最小値Vcdmin（パラメータ）、並びにソート順情報Vcdsに基づいて、ソートされる前の空間位相に配置された、注目ブロックBLc’を構成する各画素の予測画素値を算出（生成）する。
予測回路３３１には、上述したように、画素値の最大値Vcdmaxおよび最小値Vcdminがソート順算出回路３２１から供給される。予測回路３３１は、画素値の最大値Vcdmaxと最小値Vcdminとを用いて直線を算出し、その直線によって求められる画素値を注目ブロックBLc’を構成する各画素の予測画素値として、逆ソート回路３３２に供給する。なお、ここでは、注目ブロックBLc’を構成する各画素の予測画素値は、画素値の大きい順にソートされた状態となっている。
逆ソート回路３３２は、ソート順算出回路３２１からのソート順情報Vcdsに基づいて、予測回路３３１からの注目ブロックBLc’を構成する各画素の予測画素値を、元の空間位相（ラスター順）に並び換える（ソートされる前の空間位相に逆ソートする）。そして、逆ソート回路３３２は、元の空間位相に並び換えられた、注目ブロックBLc’を構成する各画素の予測画素値を減算器３２３に供給する。
減算器３２３は、注目ブロックBLc’を構成する各画素について、差分データを算出し、ブロック符号化回路３２４に供給する。即ち、減算器３２３は、注目ブロックBLc’を構成する各画素について、ブロック化回路２２２からの入力画素値から、逆ソート回路３３２からの予測画素値を減算し、その結果得られる差分データをブロック符号化回路３２４に供給する。
ブロック符号化回路３２４は、減算器３２３からの供給される、注目ブロックBLc’を構成する各画素の差分データを符号化し、符号化データVcdoをデータ合成回路３２５に供給する。
即ち、ブロック符号化回路３２４は、減算器１４６から供給される注目ブロックBLc’を構成する各画素の差分データに対して、DCT（Discrete Cosine Transform）変換を施し、その結果得られるDCT係数を量子化する。また、ブロック符号化回路３２４は、量子化されたDCT係数を、例えばハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。なお、ブロック符号化回路３２４は、後述するように、高周波成分を除去する符号化を行う。
データ合成回路３２５は、１フレーム（基準フレーム）を構成する複数のブロックBL’の、ソート順算出回路３２１からの画素値の最大値Vcdmax、画素値の最小値Vcdmin、ソート順情報Vcdsと、ブロック符号化回路３２４からの符号化データVcdoとを合成し、符号化デジタル画像信号Vcd1として出力端子２２９に供給する。
出力端子２２９は、データ合成回路３２５から供給される符号化デジタル画像信号Vcd1を出力する。
図２３乃至図２９を参照して、基準フレーム符号化部２０３の処理についてさらに説明する。
図２３は、ブロック化回路２２２がデジタル画像信号Vdg1に対応する画像を複数のブロックBL’に分割した例を示している。
ブロック化回路２２２では、例えば、６４０×４８０画素などの所定の画素数を有する画像が、図２３に示すように、８×８画素の複数のブロックBL’に分割される。この複数のブロックBL’のそれぞれが注目ブロックBLc’とされることになる。なお、図２３における丸（○）は、画像を構成する各画素を表している。
図２４および図２５は、ソート順算出回路３２１が算出する、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdmin、並びにソート順情報Vcdsを説明する図である。
ソート順算出回路３２１には、ラスター順に並んでいる注目ブロックBLc’の各画素の画素値が、ブロック化回路２２２から供給される。そこで、横軸を、ラスター順の０乃至６３の順番で表す各画素の位置、縦軸を、その画素の画素値（入力画素値）として注目ブロックBLc’を構成する各画素の画素値をプロットすると、例えば、図２４左側に示すようになる。
ソート順算出回路３２１は、入力画素値の大きい順に注目ブロックBLc’を構成する各画素を並び換える（ソートする）。この場合、横軸を各画素のソート順（０乃至６３）、縦軸を入力画素値とする図２４右側のグラフからわかるように、ソート順の０番目の入力画素値が、注目ブロックBLc’における入力画素値の最大値Vcdmaxとなり、ソート順の６３番目の入力画素値が、注目ブロックBLc’における入力画素値の最小値Vcdminとなる。
また、ソート順算出回路３２１は、ソート順に並び換えられた各画素が、並び換えられる前の空間位相では（即ち、ラスター順では）、どこに存在していたかを表すソート順情報Vcdsを算出する。図２４では、注目ブロックBLc’を構成する各画素の位置に、その画素のソート後の順番（ソート順）が記憶されるようにして、ソート順情報Vcdsが提供されるようになされている。
例えば、図２４のソート順情報Vcdsにおいて四角で囲まれている、注目ブロックBLc’の一番左上角の位置の画素には、「４０」のソート順が対応付けられており、元の空間位相でその位置にあった画素のソート順が、４０番目であることを表している。また、図２４のソート順情報Vcdsにおいて丸で囲まれている、注目ブロックBLc’の左上角の位置の画素から、右に４番目および下に２番目の位置の画素には、「０」のソート順が対応付けられており、元の空間位相において、その位置にあった画素のソート順が、０番目であることを表している。即ち、丸で囲まれている画素が、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxを有する画素であることを表している。
従って、ソート順に並べ換えられた注目ブロックBLc’を構成する各画素は、図２５に示すように、ソート順情報Vcdsを利用することにより、元の空間位相（ラスター順）に戻すことが可能となる。
予測回路３３１は、図２６に示すように注目ブロックBLc’を構成する各画素をソートして得られる画素値の最大値Vcdmaxおよび最小値Vcdminを用いて直線を算出し、その直線によって求められる注目ブロックBLc’を構成する各画素の予測画素値を得る。
即ち、予測回路３３１は、図２６に示すように、横軸を、注目ブロックBLc’を構成する各画素のソート順（０乃至６３）とし、縦軸を、注目ブロックBLc’を構成する各画素の予測画素値とした場合に、画素値の最大値Vcdmaxをソート順の０番目の予測画素値に割り当て、画素値の最小値Vcdminをソート順の６３番目の予測画素値に割り当てる。また、予測回路３３１は、ソート順が１乃至６２番目の画素の予測画素値それぞれを、最大値Vcdmaxの点と最小値Vcdminの点との２点を結ぶ直線上の値とする。
即ち、予測回路３１における、ソート順Si番目の予測画素値PSiは、次式で求められる。
PSi＝｛Vcdmax×（N−１−Si）＋Vcdmin×Si｝／（N-1）
ここで、Nは、注目ブロックBLc’の総画素数（ここでは、６４）を表す。
図２６では、Vcdmax＝２３８，Vcdmin＝１６７であるので、例えば、ソート順０，１，・・・，６２，６３番目の予測画素値P0，P1，・・・，P62，P63は、それぞれ次のようになる。
P0＝｛２３８×（６３−０）＋１６７×０｝／６３＝２３８
P1＝｛２３８×（６３−１）＋１６７×１｝／６３＝２３７
・
P62＝｛２３８×（６３−６２）＋１６７×６２｝／６３＝１６８
P63＝｛２３８×（６３−６３）＋１６７×６３｝／６３＝１６７
以上のようにして算出される注目ブロックBLc’を構成する各画素の予測画素値が、逆ソート回路３３２に供給される。
逆ソート回路３３２は、図２７に示すように、ソート順算出回路３２１からのソート順情報Vcdsに基づいて、予測回路３３１からの予測画素値を、元の空間位相（ラスター順）に並び換える。
図２７下側に示す２次元波形は、予測回路３３１からのソート順に応じた予測画素値を、元の空間位相（ラスター順）に並び換えた、注目ブロックBLc’を構成する各画素の予測画素値の波形（以下、予測波形と称する）を示している。ここで、X軸は、注目ブロックBLc’を構成する画素の水平方向の位置を表し、Y軸は、注目ブロックBLc’を構成する画素の垂直方向の位置を表し、Z軸は、予測回路３３１により計算された予測画素値を表す。なお、図２７下側の２次元波形では、例えば、ソート順情報Vcdsの左上角の位置にある画素は、左下角（座標（０，０））の位置に配置されており、注目ブロックBLc’を構成する各画素の配置が、図２７右上に示すソート情報Vcdsの配置と異なっている。
逆ソート回路３３２で元の空間位相に並び換えられた注目ブロックBLc’を構成する各画素の予測画素値は、減算器３２３に供給される。
そして、減算器３２３において、注目ブロックBLc’を構成する各画素について、図２８に示すように、ブロック化回路２２２が出力する入力画素値から、予測画素値が減算され、差分データとなる。この注目ブロックBLc’を構成する各画素の差分データがブロック符号化回路３２４に供給される。以下において、図２８左上側に示される注目ブロックBLc’を構成する各画素の画素値で表される２次元波形を入力波形と称し、図２８下側に示される注目ブロックBLc’を構成する各画素の差分データで表される２次元波形を差分波形と称する。
ブロック符号化回路３２４は、減算器３２３から供給される差分データを符号化し、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。
即ち、ブロック符号化回路３２４は、減算器３２３から供給される注目ブロックBLc’を構成する各画素の差分データに対して、DCT（Discrete Cosine Transform）変換を施し、その結果得られるDCT係数を量子化する。ここで、ブロック符号化回路３２４は、DCT係数の量子化を行う際、例えば、図２９に示すような高周波成分を除去する量子化テーブルを用いて量子化を行う。
さらに、ブロック符号化回路３２４は、量子化されたDCT係数を、例えばハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。
次に、図３０のフローチャートを参照して、図２２の基準フレーム符号化部２０３の符号化処理について説明する。
初めに、ステップＳ８１において、ブロック化回路２２２は、入力端子２２１を介して符号化選択回路２０２から供給される、デジタル画像信号Vdg1に対応する画像を、それぞれが８×８画素で構成される複数のブロックBL’に分割し、ソート順算出回路３２１および減算器３２３に供給する。
ステップＳ８２において、ソート順算出回路３２１は、ブロック化回路２２２から供給された複数のブロックBL’のうちの１のブロックBL’を注目ブロックBLc’として、注目ブロックBLc’を構成する各画素を、画素値の大きい順にソートする。また、ステップＳ８２において、ソート順算出回路３２１は、注目ブロックBLc’を構成する画素の画素値の最大値Vcdmaxおよび最小値Vcdmin、並びに注目ブロックBLc’のソート順情報Vcdsを算出する。算出された画素値の最大値Vcdmaxおよび最小値Vcdminは、予測回路３３１およびデータ合成回路３２５に供給され、ソート順情報Vcdsは、逆ソート回路３３２およびデータ合成回路３２５に供給される。
ステップＳ８３において、予測回路３３１は、注目ブロックBLc’を構成する各画素について、画素値の最大値Vcdmaxと最小値Vcdminとを用いた直線により予測画素値を算出し、逆ソート回路３３２に供給する。
ステップＳ８４において、逆ソート回路３３２は、注目ブロックBLc’を構成する各画素について、ソート順算出回路３２１からのソート順情報Vcdsに基づいて、予測回路３３１からの予測画素値を、元の空間位相（ラスター順）に並び換える（逆ソートする）。
ステップＳ８５において、減算器３２３は、注目ブロックBLc’を構成する各画素について、ブロック化回路２２２からの入力画素値から、逆ソート回路３３２からの予測画素値を減算して、入力画素値と予測画素値との差分データを算出し、ブロック符号化回路３２４に供給する。
ステップＳ８６において、ブロック符号化回路３２４は、減算器１４６から供給される、注目ブロックBLc’を構成する各画素の差分データを符号化し、その結果得られる符号化データVcdoを、データ合成回路３２５に供給する。即ち、ステップＳ８６において、ブロック符号化回路３２４は、減算器１４６から供給される注目ブロックBLc’を構成する各画素の差分データに対して、DCT変換を施し、その結果得られるDCT係数を量子化する。また、ブロック符号化回路３２４は、量子化されたDCT係数を、例えばハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdoをデータ合成回路３２５に供給する。
ステップＳ８７において、基準フレーム符号化部２０３は、符号化選択回路２０２から供給された１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ８２乃至Ｓ８６の処理を行ったか否かを判定する。
ステップＳ８７で、全てのブロックBL’について処理していないと判定された場合、ステップＳ８２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ８２乃至Ｓ８７の処理が繰り返される。
一方、ステップＳ８７で、全てのブロックBL’について処理したと判定された場合、ステップＳ８８に進み、データ合成回路３２５は、１フレーム分の符号化デジタル画像信号Vcd1を、出力端子２２９を介して出力する。
ステップＳ８８の処理後、ステップＳ８９に進み、基準フレーム符号化部２０３は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
ステップＳ８９で、まだ処理するフレームの画像があると判定された場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。
一方、ステップＳ８９で、処理するフレームの画像がない、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
（予測フレーム符号化部２０５の第２の実施形態）
図３１は、図４の予測フレーム符号化部２０５の第２の実施形態の構成例を示すブロック図である。
図３１の予測フレーム符号化部２０５は、入力端子２４１、ブロック化回路２４２、動きベクトル検出回路２４３、残差算出回路２４４、フレームメモリ２５１、出力端子２５２、ADRC符号化部３４１、直交変換符号化部３４２、ADRCローカルデコード部３４３、直交変換ローカルデコード部３４４、符号化判定回路３４５、選択回路３４６、データ合成回路３４７、およびローカルデコード部３４８により構成されている。
図３１の予測フレーム符号化部２０５において、図９で示した予測フレーム符号化部２０５と対応する部分については同一の符号を付してあり、その説明を適宜省略する。即ち、図３１のブロック化回路２４２、動きベクトル検出回路２４３、残差算出回路２４４、フレームメモリ２５１、および出力端子２５２は、図９の予測フレーム符号化部２０５と同様に構成されている。
残差算出回路２４４では、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mvの、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差が算出される。その残差が、ADRC符号化部３４１、直交変換符号化部３４２、および符号化判定回路３４５に供給される。
ADRC符号化部３４１は、残差算出回路２４４からの残差をADRC符号化方式による符号化を行い、残差が符号化された符号化データVcdo’をADRCローカルデコード部３４３および選択回路３４６に供給する。
直交変換符号化部３４２は、残差算出回路２４４からの残差をDCT変換またはDST（Discrete sine Transform）変換などの直交変換符号化方式による符号化を行い、残差が符号化された符号化データVcdo”を直交変換ローカルデコード部３４４および選択回路３４６に供給する。
ADRCローカルデコード部３４３は、ADRC符号化部３４１から供給される符号化データVcdo’を復号化し（ローカルデコードし）、その結果得られる復号化データ（残差）を符号化判定回路３４５に供給する。
直交変換ローカルデコード部３４４は、直交変換符号化部３４２から供給される符号化データVcdo”を復号化し（ローカルデコードし）、その結果得られる復号化データ（残差）を符号化判定回路３４５に供給する。
符号化判定回路３４５は、ADRCローカルデコード部３４３から供給される復号化データ（残差）と直交変換ローカルデコード部３４４から供給される復号化データ（残差）とを比較し、ADRC符号化方式と直交変換符号化方式のうちのどちらの符号化方式を採用するかを判定し、その判定結果を表す判定情報Vcdjgを選択回路３４６およびデータ合成回路３４７に供給する。
即ち、符号化判定回路３４５は、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差と、各画素に対応するADRCローカルデコード部３４３によりデコードされた残差、または、直交変換ローカルデコード部３４４によりデコードされた残差とを比較して、符号化歪みの少ない符号化方式を採用する。そして、採用された符号化方式を表す判定情報Vcdjgが選択回路３４６およびデータ合成回路３４７に供給される。
選択回路３４６は、符号化判定回路３４５からの判定情報Vcdjgに基づいて、ADRC符号化部３４１の出力（符号化データVcdo’）、または、直交変換符号化部３４２の出力（符号化データ”）のいずれか一方を選択し、その出力を符号化データVcdoとして、データ合成回路３４７に供給する。
データ合成回路２４９は、上述した各ブロックにおいて１フレーム（予測フレーム）を構成する複数のブロックBL’それぞれを注目ブロックBLc’として処理することによって得られる、１フレームの画像の全てのブロックBL’の、動きベクトル検出回路２４３からの動きベクトルVcdmv、符号化判定回路３４５からの判定情報Vcdjg、および、選択回路３４６からの符号化データVcdoを合成し、その結果を１フレームの符号化デジタル画像信号Vcd1として、ローカルデコード部３４８および出力端子２５２に供給（出力）する。
ローカルデコード部３４８は、図９（予測フレーム符号化部２０５の第１の実施形態）のローカルデコード部２５０と同様に、フレームメモリ２５１に記憶されている復号化デジタル画像信号による参照画像を用いて、データ合成回路３４７からの符号化デジタル画像信号Vcd1を復号化し、復号化デジタル画像信号としてフレームメモリ２５１に供給する（フレームメモリ２５１を更新する）。なお、ローカルデコード部３４８は、後述する予測フレーム復号化部２７４（図３７）が有する構成の一部と同様の構成を有している。
図３２は、図３１のADRC符号化部３４１の詳細な構成例を示すブロック図である。
図３２のADRC符号化部３４１は、入力端子３６１、最大値検出回路３６２、最小値検出回路３６３、減算器３６４および３６５、ブロック符号化回路３６６、データ合成回路３６７、および出力端子３６８により構成されている。
入力端子３６１には、残差算出回路２４４（図３１）から注目ブロックBLc’を構成する各画素の残差が入力される。入力端子３６１は、注目ブロックBLc’を構成する各画素の残差を最大値検出回路３６２、最小値検出回路３６３、および減算器３６５に供給する。
最大値検出回路３６２は、注目ブロックBLc’を構成する画素の残差の最大値Vblmaxを検出し、減算器２２５に供給する。また、最小値検出回路２６３は、注目ブロックBLc’を構成する画素の残差の最小値Vblminを検出し、減算器３６４および３６５、並びにデータ合成回路３６７に供給する。
減算器３６４は、残差の最大値Vblmaxから最小値Vblminを減算し、注目ブロックBLc’を構成する画素の残差のダイナミックレンジVbldr（＝Vblmax−Vblmin）を算出し、ブロック符号化回路３６６およびデータ合成回路３６７に供給する。
減算器３６５は、入力端子３６１から供給される注目ブロックBLc’を構成する各画素の残差から、残差の最小値Vcdminをそれぞれ減算し、その結果得られる、注目ブロックBLc’を構成する各画素の残差データをブロック符号化回路３６６に供給する。
ブロック符号化回路３６６は、注目ブロックBLc’を構成する各画素について、減算器３６５からの残差データを符号化し、その結果得られる符号化データVbloをデータ合成回路３６７に供給する。換言すれば、ブロック符号化回路３６６は、注目ブロックBLc’を構成する各画素について、減算器３６４からのダイナミックレンジVbldrに応じた量子化ステップ（量子化ビット数）で、減算器３６５からの残差データを量子化する。
例えば、残差データが−２５５乃至２５５の値を取り得る場合、０< Vcddr <８のときの量子化ビット数ｎを０、９< Vcddr <２６のときの量子化ビット数ｎを１、２７< Vcddr <７０のときの量子化ビット数ｎを２、７１< Vcddr <２０６のときの量子化ビット数ｎを３、２０７< Vcddr <５１１のときの量子化ビット数ｎを４とするように、ダイナミックレンジVcddrが大きいほど量子化ビット数ｎを大きくなるように量子化ステップが決定される。なお、量子化ビット数は、固定とすることも可能である。
そして、ブロック符号化回路３６６では、図１５を参照して上述したように、ダイナミックレンジVcddrを２n分類するようにレベルの範囲が設定され、残差データが２n分類された、どのレベルの範囲に属するかによって、ｎビットのADRCコードが割り当てられる。この割り当てられたADRCコードが、注目ブロックBLc’の符号化データVcdo’として出力端子３６８から出力される。
データ合成回路３６７は、注目ブロックBLc’の、減算器３６４からのダイナミックレンジVbldr、最小値検出回路３６３からの残差の最小値Vblmin、およびブロック符号化回路３６６からの符号化データVbloを合成し、符号化データVcdo’として出力端子２２９に供給する。
出力端子２２９は、データ合成回路２２８から供給される符号化データVcdo’を出力する。
以上のように構成されるADRC符号化部３４１では、注目ブロックBLc’を構成する各画素の残差を、ADRC符号化処理による符号化を行うことにより、符号化データVcdo’としてADRCローカルデコード部３４３および選択回路３４６に供給される。
図３３は、例えば、DCT変換を行う直交変換符号化部３４２の詳細な構成例を示すブロック図である。
図３３の直交変換符号化部３４２は、入力端子３８１、DCT回路３８２、量子化回路３８３、エントロピー符号化回路３８４、および出力端子３８５により構成されている。
入力端子３８１には、残差算出回路２４４（図３１）から注目ブロックBLc’を構成する各画素の残差が入力される。入力端子３８１は、注目ブロックBLc’を構成する各画素の残差をDCT回路３８２に供給する。
DCT回路３８２は、注目ブロックBLc’を構成する各画素の残差に対して、直交変換としてのDCT変換を行うことにより、DCT係数を算出し、量子化回路３８３に供給する。
量子化回路３８３は、DCT回路３８２からのDCT係数を所定の量子化テーブルを用いて、量子化を行う。また、量子化回路３８３は、量子化されたDCT係数をエントロピー符号化回路３８４に供給する。ここで、量子化回路３８３は、DCT係数を量子化する場合、高周波成分を除去する量子化テーブルを採用する。
エントロピー符号化回路３８４は、量子化されたDCT係数を、例えば、ハフマン符号などによるエントロピー符号化（可変長符号化）を行い、その結果得られる符号化データVcdo”を出力端子３８５に供給する。
出力端子３８５は、エントロピー符号化回路３８４から供給される符号化データVcdo”を出力する。
以上のように構成される直交変換符号化部３４２では、残差算出回路２４４からの注目ブロックBLc’を構成する各画素の残差を、DCT変換またはDST（Discrete sine Transform）変換などの直交変換符号化方式による符号化を行うことにより、注目ブロックBLc’の符号化データVcdo”が直交変換ローカルデコード部３４４および選択回路３４６に供給される。
次に、図３４のフローチャートを参照して、図３１の予測フレーム符号化部２０５の予測フレーム符号化処理について説明する。
初めに、ステップＳ１０１において、ブロック化回路２４２は、入力端子２４１を介して符号化選択回路２０２から供給される、デジタル画像信号Vdg1に対応する１フレームの画像を、それぞれが８×８画素を有する複数のブロックBL’に分割し、動きベクトル検出回路２４３および残差算出回路２４４に供給する。
ステップＳ１０２において、複数に分割されたブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ１０２において、動きベクトル検出回路２４３は、注目ブロックBLc’について、フレームメモリ２５１から供給される前フレームの画像から、注目ブロックBLc’の動きベクトルVcdmvを検出し、残差算出回路２４４およびデータ合成回路３４７に供給する。
ステップＳ１０３において、残差算出回路２４４は、注目ブロックBLc’を構成する各画素の画素値と、前フレームの画像内の動きベクトルVcdmvが表すブロックBL’mv（動きベクトル先のブロックBL’mv）内の、注目ブロックBLc’を構成する各画素に対応する画素の画素値との残差を算出し、ADRC符号化部３４１、直交変換符号化部３４２、および符号化判定回路３４５に供給する。
ステップＳ１０４において、ADRC符号化部３４１は、残差算出回路２４４からの残差をADRC符号化する。ステップＳ１０４において残差が符号化された符号化データVcdo’は、ADRCローカルデコード部３４３および選択回路３４６に供給される。
ステップＳ１０５において、ADRCローカルデコード部３４３は、ADRC符号化部３４１から供給される符号化データVcdo’をローカルデコードする。ステップＳ１０５でローカルデコードされた復号化データ（残差）は、符号化判定回路３４５に供給される。
ステップＳ１０６において、直交変換符号化部３４２は、残差算出回路２４４からの残差をDCT変換などの直交変換符号化する。ステップＳ１０６において残差が符号化された符号化データVcdo”は、直交変換ローカルデコード部３４４および選択回路３４６に供給される。
ステップＳ１０７において、ADRCローカルデコード部３４３は、ADRC符号化部３４１から供給される符号化データVcdo’をローカルデコードする。ステップＳ１０７でローカルデコードされた復号化データ（残差）は、符号化判定回路３４５に供給される。
ステップＳ１０８において、符号化判定回路３４５は、ADRCローカルデコード部３４３から供給される復号化データと直交変換ローカルデコード部３４４から供給される復号化データとを比較し、ADRC符号化方式または直交変換符号化方式のうちの、より符号化歪みの少ない符号化方式を選択する。そして、符号化判定回路３４５は、より符号化歪みの少ない符号化方式を表す判定情報Vcdjgを選択回路３４６およびデータ合成回路３４７に供給して、ステップＳ１０９に進む。
ステップＳ１０９において、データ合成回路３４７は、符号化選択回路２０２（図４）から供給された１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ１０２乃至Ｓ１０８の処理を行ったか否かを判定する。
ステップＳ１０９で、全てのブロックBL’について処理していないと判定された場合、ステップＳ１０２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ１０２乃至Ｓ１０９の処理が繰り返される。
一方、ステップＳ１０９で、全てのブロックBL’について処理したと判定された場合、ステップＳ１１０に進み、データ合成回路３４７は、１フレーム分の符号化デジタル画像信号Vcd1をローカルデコード部３４８および出力端子２５２に供給（出力）する。
ステップＳ１１０の処理後、ステップＳ１１１に進み、予測フレーム符号化部２０５は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されたか否かを判定する。
ステップＳ１１１で、まだ処理するフレームの画像があると判定された場合、ステップＳ１１２に進み、ローカルデコード部３４８は、符号化デジタル画像信号Vcd1をローカルデコードする。そして、ステップＳ１１３に進み、ローカルデコード部３４８は、符号化デジタル画像信号Vcd1をローカルデコードして得られる復号化デジタル画像信号をフレームメモリ２５１に記憶させて、ステップＳ１０１に戻る。なお、ステップＳ１１３において、次に（現フレームとして）予測フレーム符号化部２０５に入力される画像の１つ前のフレームの画像が基準フレームとなる場合には、その前フレームの画像は、ローカルデコード部２０４（図４）から供給されるため、予測フレーム符号化部２０５のローカルデコード部３４８は、復号化デジタル画像信号をフレームメモリ２５１に記憶させない。
一方、ステップＳ１１１で、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームの画像が符号化選択回路２０２から供給されない場合、処理を終了する。
以上のように、図１６の予測フレーム符号化処理によれば、予測フレーム符号化部２０５は、予測フレームを構成する複数のブロックBL’それぞれを注目ブロックBLc’とし、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの対応する画素の画素値の残差を算出する。そして、予測フレーム符号化部２０５は、残差をADRC符号化および直交変換符号化（CDT変換符号化）するとともに、ADRC符号化および直交変換符号化により符号化された符号化データVcdo’およびVcdo”のそれぞれをローカルデコードする。そして、予測フレーム符号化部２０５は、ローカルデコードした結果から、ADRC符号化方式または直交変換符号化方式のうちの、より符号化歪みの少ない符号化方式を選択し、選択された符号化方式で符号化された符号化データを出力する。即ち、予測フレーム符号化処理では、ブロックBL’ごとに残差の特性に合わせた最適な符号化方式を選択し、符号化を行うことができる。
これにより、予測フレーム符号化部２０５の予測フレーム符号化処理によって符号化された符号化デジタル画像信号Vcd1を復号化したときの画質の劣化は少ない（生じない）。
（基準フレーム復号化部２７３の第２の実施形態）
図３５は、図１７の基準フレーム復号化部２７３の第２の実施形態の構成例を示すブロック図である。
図３５の基準フレーム復号化部２７３は、入力端子４０１、データ分解回路４０２、予測画素値生成回路４０３、ブロック復号化回路４０４、加算器４０５、ブロック分解回路２９５、および出力端子２９６により構成されている。
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子４０１を介して、データ分解回路４０２に供給される。
データ分解回路４０２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdmin、ソート順情報Vcds、並びに符号化データVcdoのそれぞれに分解し、取得する。そして、データ分解回路４０２は、複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdminと、ソート順情報Vcdsとを予測画素値生成回路４０３に供給し、符号化データVcdoをブロック復号化回路４０４に供給する。
これによりデータ分解回路４０２以降の、予測画素値生成回路４０３（予測回路４１１および逆ソート回路４１２）、ブロック復号化回路４０４、加算器４０５、およびブロック分解回路２９５では、基準フレーム符号化部２０３と同様に、分解された複数のブロックBL’のそれぞれを注目ブロックBLc’として、処理が行われる。
予測画素値生成回路４０３は、図２２の基準フレーム符号化部２０３の予測画素値生成回路３２２の予測回路３３１および逆ソート回路３３２とそれぞれ同様の、予測回路４１１および逆ソート回路４１２を有し、データ分解回路４０２から供給される画素値の最大値Vcdmaxおよび最小値Vcdmin、並びにソート順情報Vcdsから、ソートされる前の空間位相に配置された、注目ブロックBLc’を構成する各画素の予測画素値を算出（生成）する。
即ち、予測回路４１１には、画素値の最大値Vcdmaxおよび最小値Vcdminがデータ分解回路４０２から供給される。予測回路４１１は、図２６を参照して説明したように、画素値の最大値Vcdmaxと最小値Vcdminとを用いて直線を算出し、その直線によって求められる画素値を（画素値の大きさに応じてソートされている）予測画素値として、逆ソート回路４１２に供給する。
逆ソート回路４１２は、データ分解回路４０２からのソート順情報Vcdsに基づいて、予測回路４１１からの予測画素値を、元の空間位相（ラスター順）に並び換える（逆ソートする）。そして、逆ソート回路４１２は、元の空間位相に並び換えられた予測画素値を加算器４０５に供給する。
ブロック復号化回路４０４は、データ分解回路４０２からの符号化データVcdoを復号する。即ち、ブロック復号化回路４０４は、データ分解回路４０２からの符号化データVcdoを逆量子化し、逆量子化された符号化データVcdoに対し、逆DCT変換を施すことにより、注目ブロックBLc’を構成する各画素の差分データを算出し、加算器４０５に供給する。
加算器４０５は、注目ブロックBLc’を構成する各画素について、ブロック復号化回路４０４からの差分データと、逆ソート回路４１２からの予測画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。そして、加算器４０５は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路２９５に供給する。
ブロック分解回路２９５は、加算器４０５から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBL’から１フレームを構成する。そして、ブロック分解回路２９５は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を出力端子２９６に供給する。出力端子２９６は、ブロック分解回路２９５からの復号化デジタル画像信号Vdg2を出力する。
次に、図３６のフローチャートを参照して、図３５の基準フレーム復号化部２７３の復号化処理を説明する。
初めに、ステップＳ１３１において、データ分解回路４０２は、入力端子４０１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdmin、ソート順情報Vcds、並びに符号化データVcdoのそれぞれに分解し、取得する。また、ステップＳ１３１において、データ分解回路４０２は、複数のブロックBL’それぞれの、画素値の最大値Vcdmaxおよび最小値Vcdmin、並びにソート順情報Vcdsを予測画素値生成回路４０３に供給するとともに、符号化データVcdoをブロック復号化回路４０４に供給する。
ステップＳ１３２において、複数のブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ１３２において、予測回路４１１は、画素値の最大値Vcdmaxと最小値Vcdminとを用いて直線を算出し、その直線から、注目ブロックBLc’を構成する各画素の予測画素値を算出して、逆ソート回路４１２に供給する。
ステップＳ１３３において、逆ソート回路４１２は、ソート順情報Vcdsに基づいて、注目ブロックBLc’を構成する各画素の予測画素値を、元の空間位相（ラスター順）に並び換える（逆ソートする）。また、ステップＳ１３３において、逆ソート回路４１２は、元の空間位相に並び換えられた予測画素値を加算器４０５に供給する。
ステップＳ１３４において、ブロック復号化回路４０４は、符号化データVcdoを復号化し（逆量子化および逆DCT変換を施し）、注目ブロックBLc’を構成する各画素の差分データを算出する。ブロック復号化回路４０４は、算出された注目ブロックBLc’を構成する各画素の差分データを加算器４０５に供給する。
ステップＳ１３５において、加算器４０５は、注目ブロックBLc’を構成する各画素について、ブロック復号化回路４０４からの差分データと、逆ソート回路４１２からの予測画素値とを加算し、出力画素値としてブロック分解回路２９５に供給する。
ステップＳ１３６において、ブロック分解回路２９５は、加算器４０５から供給される、注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置に戻す。
ステップＳ１３７において、復号化部１５５は、１フレームを構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’それぞれを注目ブロックBLc’としたか否かを判定する。ステップＳ１３７において、１フレームの画像の全てのブロックBL’について処理していないと判定された場合、ステップＳ１３２に戻り、まだ注目ブロックBLc’とされていないブロックBL’が注目ブロックBLc’とされ、ステップＳ１３２乃至Ｓ１３７の処理が繰り返される。
一方、ステップＳ１３７で、１フレームの画像の全てのブロックBL’について処理したと判定された場合、ステップＳ１３８に進み、ブロック分解回路２９５は、１フレーム分の復号化デジタル画像信号Vdg2を、出力端子２９６を介して出力する。
ステップＳ１３９において、復号部１５５は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が符号化部１５２から供給されたか否かを判定する。
ステップＳ１３９において、まだ処理するフレームの画像があると判定された場合、ステップＳ１３１に戻り、それ以降の処理が繰り返される。
一方、ステップＳ１３９において、処理するフレームの画像がない、即ち、次に処理するフレームの画像が符号化部１５２から供給されない場合、処理を終了する。
（予測フレーム復号化部２７４の第２の実施形態）
図３７は、図１７の予測フレーム復号化部２７４の第２の実施形態の構成例を示すブロック図である。
図３７の予測フレーム復号化部２７４は、入力端子４３１、データ分解回路４３２、動きベクトル先抽出回路３０３、選択回路４３４、ADRC復号化部４３５、直交変換復号化部４３６、加算回路３０６、ブロック分解回路３０７、フレームメモリ３０８、および出力端子３０９により構成されている。
ここで、図３７の予測フレーム復号化部２７４において、図２０で示した予測フレーム復号化部２７４と対応する部分については同一の符号を付してあり、その説明を適宜省略する。即ち、図３７の動きベクトル先抽出回路３０３、加算回路３０６、ブロック分解回路３０７、フレームメモリ３０８、および出力端子３０９は、図２０の予測フレーム復号化部２７４と同様に構成されている。
復号化選択回路２７２（図１７）からの符号化デジタル画像信号Vcd1は、入力端子４３１を介して、データ分解回路４３２に供給される。
データ分解回路４３２は、符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、動きベクトルVcdmv、ADRC符号化方式または直交変換符号化方式のいずれか一方を表す判定情報Vcdjg、および符号化データVcdoに分解して、取得する。
そして、データ分解回路４３２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、判定情報Vcdjgおよび符号化データVcdoを選択回路４３４に供給する。
これにより、データ分解回路４３２以降の、動きベクトル先抽出回路３０３、選択回路４３４、ADRC復号化部４３５、直交変換復号化部４３６、加算器３０６、およびブロック分解回路３０７では、予測フレーム符号化部２０５と同様に、複数のブロックBLのそれぞれを注目ブロックBLc’として、処理が行われる。
動きベクトル先抽出回路３０３は、注目ブロックBLc’について、フレームメモリ３０８に記憶されている前フレームの画像（参照画像）から、動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
選択回路４３４は、判定情報Vcdjgに応じて、ADRC復号化部４３５または直交変換復号化部４３６を選択する。即ち、選択回路４３４は、判定情報VcdjgがADRC符号化方式を表す場合、データ分解回路４３２から判定情報Vcdjgと同時に供給される、注目ブロックBLc’の符号化データVcdoがADRC復号化部４３５に供給されるようする。また、選択回路４３４は、判定情報Vcdjgが直交変換符号化方式を表す場合、データ分解回路４３２から判定情報Vcdjgと同時に供給される、注目ブロックBLc’の符号化データVcdoが直交変換復号化部４３６に供給されるようする。
ADRC復号化部４３５は、選択回路４３４を介して、データ分解回路４３２から供給される符号化データVcdoを復号化する。ここでは、図３１のADRC符号化処理に対応する復号化が行われる。これにより、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差が得られる。
直交変換復号化部４３６は、選択回路４３４を介して、データ分解回路４３２から供給される符号化データVcdoを復号化する。ここで、図３１の直交変換符号化処理に対応する復号化が行われる。これにより、注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差が得られる。
ADRC復号化部４３５または直交変換復号化部４３６で得られた、注目ブロックBLc’と動きベクトルVcdmv先のブロックBL’mvとの各画素の残差は、加算器３０６に供給される。
加算器３０６は、注目ブロックBLc’を構成する各画素について、ADRC復号化部４３５または直交変換復号化部４３６からの残差と、動きベクトル先のブロックBL’mvの画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。そして、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻し、分割された複数のブロックBL’から１フレームの画像を構成する。そして、ブロック分解回路３０７は、１フレーム分の画像としての復号化デジタル画像信号Vdg2を、フレームメモリ３０８および出力端子３０９に供給する。
なお、上述した図３１のローカルデコード部３４８は、図３７において点線で示されている、データ分解回路４３２、動きベクトル先抽出回路３０３、選択回路４３４、ADRC復号化部４３５、直交変換復号化部４３６、加算回路３０６、並びにブロック分解回路３０７の構成と同様に構成されている。
図３８は、図３７のADRC復号化部４３５の詳細な構成例を示すブロック図である。
図３８のADRC復号化部４３５は、入力端子４５１、データ分解回路４５２、ブロック復号化回路４５３、加算器４５４、および出力端子４５５により構成されている。
データ分解回路４５２は、入力端子４５１を介して、ADRC符号化方式（ADRC符号化処理）により符号化された、注目ブロックBLc’の符号化データVcdo（Vcdo’）を、注目ブロックBLc’を構成する画素の残差のダイナミックレンジVbldrおよび最小値Vblmin、並びに注目ブロックBLc’を構成する各画素の残差データが符号化された符号化データVbloに分解し、取得する。
そして、データ分解回路４５２は、残差のダイナミックレンジVbldrおよび符号化データVbloをブロック復号化回路４５３に供給するとともに、残差の最小値Vblminを加算器４５４に供給する。
ブロック復号化回路４５３は、図１５を参照して説明したように、注目ブロックBLc’を構成する各画素について、残差のダイナミックレンジVbldrに応じて符号化データVbloを復号化（逆量子化）し、その結果得られる注目ブロックBLc’を構成する各画素の残差データを加算器４５４に供給する。
加算器４５４は、注目ブロックBLc’を構成する各画素について、残差データと残差の最小値Vblminとを加算して、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）を得る。そして、加算器４５４は、注目ブロックBLc’を構成する各画素の残差を出力端子４５５に供給する。出力端子４５５は、注目ブロックBLc’を構成する各画素の残差を出力する。
以上のように構成されるADRC復号化部４３５では、符号化データVcdoを復号化することより、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）が得られる。
図３９は、図３７の直交変換復号化部４３６の詳細な構成例を示すブロック図である。
図３９の直交変換復号化部４３６は、出力端子４７１、エントロピー復号化回路４７２、逆量子化回路４７３、逆DCT回路４７４、および出力端子４７５により構成される。
エントロピー復号化回路４７２は、入力端子４７１を介して、直交変換符号化方式（直交変換符号化処理）により符号化され、例えば、ハフマン符号などで表された、注目ブロックBLc’を構成する各画素の残差が符号化された符号化データVcdo（Vcdo”）を、エントロピー復号化し、その結果得られる量子化されたDCT係数を逆量子化回路４７３に供給する。
逆量子化回路４７３は、エントロピー復号化回路４７２からの量子化されたDCT係数の逆量子化を行う。そして、逆量子化回路４７３は、逆量子化により得られるDCT係数を逆DCT回路４７４に供給する。
逆DCT回路４７４は、逆量子化回路４７３からのDCT係数の逆DCT変換を行うことにより、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）を算出し、出力端子４７５に供給する。出力端子４７５は、注目ブロックBLc’を構成する各画素の残差を出力する。
以上のように構成される直交変換復号化部４３６では、符号化データVcdoを復号化することにより、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトル先のブロックBL’mvとの各画素の残差）が得られる。
次に、図４０のフローチャートを参照して、図３７の予測フレーム復号化部２７４の予測フレーム復号化処理について説明する。
初めに、ステップＳ１５１において、データ分解回路４３２は、入力端子４３１を介して供給される符号化デジタル画像信号Vcd1を、１フレームを構成する複数のブロックBL’それぞれの、動きベクトルVcdmv、ADRC符号化方式または直交変換符号化方式のいずれか一方を表す判定情報Vcdjg、および符号化データVcdoに分解し、取得する。
また、ステップＳ１５１において、データ分解回路４３２は、複数のブロックBL’それぞれの、動きベクトルVcdmvを動きベクトル先抽出回路３０３に供給し、判定情報Vcdjgおよび符号化データVcdoを選択回路４３４に供給する。
ステップＳ１５２において、複数に分解されたブロックBL’のうちの１のブロックBL’が注目ブロックBLc’とされる。また、ステップＳ１５２において、動きベクトル先抽出回路３０３は、フレームメモリ３０８に記憶されている前フレームの画像から、動きベクトルVcdmvによって特定されるブロックBL’mv（動きベクトル先のブロックBL’mv）を抽出し、加算器３０６に供給する。
ステップＳ１５３において、選択回路４３４は、判定情報Vcdjgに応じて、ADRC復号化部４３５または直交変換復号化部４３６（復号化方式）を選択する。
ステップＳ１５４において、選択回路４３４により選択され、符号化データVcdoが供給されたADRC復号化部４３５または直交変換復号化部４３６は、符号化データVcdoを復号化する。そして、ADRC復号化部４３５または直交変換復号化部４３６は、復号化した結果得られる、注目ブロックBLc’を構成する各画素の残差（注目ブロックBLc’と動きベクトルVcdmv先のブロックBL’mvとの各画素の残差）を加算器３０６に供給する。
ステップＳ１５５において、加算器３０６は、注目ブロックBLc’を構成する各画素について、ADRC復号化部４３５または直交変換復号化部４３６からの残差と、動きベクトル先のブロックBL’mvの画素値とを加算して、注目ブロックBLc’を構成する各画素の出力画素値を得る。また、ステップＳ１５５において、加算器３０６は、注目ブロックBLc’を構成する各画素の出力画素値をブロック分解回路３０７に供給する。
ステップＳ１５６において、ブロック分解回路３０７は、加算器３０６から供給される注目ブロックBLc’を構成する各画素の出力画素値を、複数のブロックBL’に分割する前のフレーム上の位置（ラスター順）に戻す。
ステップＳ１５７において、ブロック分解回路３０７は、１フレームの画像を構成する全てのブロックBL’について処理したか、即ち、１フレームの画像の全てのブロックBL’を注目ブロックBLc’として上述したステップＳ１５２乃至Ｓ１５６の処理を行ったか否かを判定する。
ステップＳ１５７で、全てのブロックBL’について処理していないと判定された場合、ステップＳ１５２に戻り、まだ処理していないブロックBL’が注目ブロックBLc’とされる。そして、その注目ブロックBLc’に対して、ステップＳ１５２乃至Ｓ１５７の処理が繰り返される。
一方、ステップＳ１５７で、全てのブロックBL’について処理したと判定された場合、ステップＳ１５８に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を出力端子３０９に供給（出力）する。
そして、ステップＳ１５９に進み、予測フレーム復号化部２７４は、まだ処理するフレームの画像があるか、即ち、次に処理するフレームの画像が復号化選択回路２７２から供給されたか否かを判定する。
ステップＳ１５９において、まだ処理するフレームの画像があると判定された場合、ステップＳ１６０に進み、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2を、フレームメモリ３０８に供給し、記憶させる。なお、次に(現フレームとして)予測フレーム復号化部２７４に入力される画像の１つ前のフレームの画像が基準フレームの画像となる場合には、その画像信号が基準フレーム復号化部２７３（図１７）から供給されるため、ブロック分解回路３０７は、１フレーム分の復号化デジタル画像信号Vdg2をフレームメモリ３０８に供給しない。
一方、ステップＳ１５９において、処理するフレームの画像がないと判定された場合、即ち、次に処理するフレームが復号化選択回路２７２から供給されない場合、処理を終了する。
次に、図４１のフローチャートを参照して、図２の記録装置１１３による、再生装置１１１から出力されるアナログ画像信号Van1を利用して、画像信号を記録媒体１２２に記録する（コピーする）とともに、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が所定の再生装置において、復号化されてディスプレイに表示されるときの画像をディスプレイ１４３で確認する記録確認処理について説明する。
初めに、ステップＳ１７１において、A/D変換部１５１は、入力されたアナログ画像信号Van1をデジタル信号に変換し、その結果得られるデジタル画像信号Vdg1を符号化部１５２に供給する。
ステップＳ１７２において、符号化部１５２の符号化選択回路２０２は、図３を参照して上述したように、A/D変換部１５１から供給されたデジタル画像信号Vdg1に対応するフレーム単位の画像を基準フレームまたは予測フレームの画像に設定する。また、ステップＳ１７２において、符号化選択回路２０２は、その画像が基準フレームに設定された画像であるか否かを判定する。
ステップＳ１７２で、画像が基準フレームに設定された画像であると判定された場合、ステップＳ１７３に進み、符号化選択回路２０２は、そのデジタル画像信号Vdg1を基準フレーム符号化部２０３に供給する。
そして、ステップＳ１７４において、基準フレーム符号化部２０３は、A/D変換部１５１からの基準フレームのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を、符号化部１５２のローカルデコード部２０４、媒体記録部１５３、および再生部１４２（の復号化部１５５）に供給する。
ステップＳ１７５において、符号化部１５２のローカルデコード部２０４は、デジタル画像信号Vdg1をローカルデコードして、予測フレーム符号化部２０５に供給する。
一方、ステップＳ１７２で、画像が予測フレームに設定された画像であると判定された場合、ステップＳ１７６に進み、符号化選択回路２０２は、そのデジタル画像信号Vdg1を予測フレーム符号化部２０５に供給する。
そして、ステップＳ１７７において、予測フレーム符号化部２０５は、A/D変換部１５１からの予測フレームのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcd1を、媒体記録部１５３および再生部１４２（の復号化部１５５）に供給する。
ステップＳ１７５またはＳ１７７の処理後、ステップＳ１７８において、媒体記録部１５３は、符号化部１５２からの符号化デジタル画像信号Vcd1を記録媒体１２２に記録する。
ステップＳ１７９において、復号化部１５５の復号化選択回路２７２は、符号化部１５２の符号化選択回路２０２と同様に、符号化部１５２から供給された符号化デジタル画像信号Vcd1に対応するフレーム単位の画像を取得し、基準フレームまたは予測フレームの画像に設定する。また、ステップＳ１７９において、復号化選択回路２７２は、その画像が基準フレームに設定された画像であるか否かを判定する。
ステップＳ１７９で、画像が基準フレームに設定された画像であると判定された場合、ステップＳ１８０に進み、復号化選択回路２７２は、その符号化デジタル画像信号Vcd1を基準フレーム復号化部２７３に供給する。
ステップＳ１８１において、基準フレーム復号化部２７３は、符号化部１５２からの符号化デジタル画像信号Vcd1を復号化し、その結果得られる復号化デジタル画像信号Vdg2を予測フレーム復号化部２７４およびD/A変換部１５６に供給する。
一方、ステップＳ１７９で、画像が予測フレームに設定された画像であると判定された場合、ステップＳ１８２に進み、復号化選択回路２７２は、その符号化デジタル画像信号Vcd1を予測フレーム復号化部２７４に供給する。
ステップＳ１８３において、予測フレーム復号化部２７４は、符号化部１５２からの符号化デジタル画像信号Vcd1を復号化し、その結果得られる復号化デジタル画像信号Vdg2をD/A変換部１５６に供給する。
ステップＳ１８１またはＳ１８３の処理後、ステップＳ１８４において、D/A変換部１５６は、復号化部１５５から供給された復号化デジタル画像信号Vdg2をアナログ信号に変換し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
ステップＳ１８５において、ディスプレイ１４３は、D/A変換部１５６からのアナログ画像信号Van2に対応する画像を表示する。
以上のようにして、再生装置１１１で再生され、出力されたアナログ歪みを伴うアナログ画像信号Van1がデジタル画像信号Vdg1にA/D変換され、そのデジタル画像信号Vdg1が、フレームごとに基準フレームまたは予測フレームに設定される。そして、基準フレームまたは予測フレームに応じたデジタル画像信号Vdg1の符号化が行われ、記録媒体１２２に記録される。即ち、アナログ歪みを伴うアナログ画像信号Van1に基づくコピーが行われる。
ここで、再生装置１１１から出力されるアナログ歪みを伴うアナログ画像信号Van1は、記録媒体１２１に記録されている符号化デジタル画像信号が復号化部１３１で復号化されて、出力される信号である。即ち、再生装置１１１から出力されるアナログ歪みを伴うアナログ画像信号Van1は、１回目の符号化および復号化が行われた信号である。
また、１回目の符号化および復号化が行われたアナログ画像信号Van1に基づいてコピーされ、記録媒体１２２に記録された符号化デジタル画像信号Vcd1が、再生装置１１１において再生（復号化）され、出力された場合、再生装置１１１から出力されることになるアナログ画像信号は、再生部１４２から出力されるアナログ画像信号Van2と同様に、２回目の符号化および復号化が行われた信号となる。
この場合、基準フレームのデジタル画像信号Vdg1に対して、２回目の符号化および復号化が行われた復号化デジタル画像信号Vdg2は、コピー元の記録媒体１２１から再生された信号である、１回目の符号化および復号化が行われた復号化デジタル画像信号Vdg0に比べて、画質が大幅に劣化したものとなる。
そこで、図４２乃至図４８を参照して、基準フレームのデジタル画像信号Vdg1に対する、１回目の符号化および復号化に対する、２回目の符号化および復号化の画質の劣化について説明する。
図４２を参照して、基準フレーム符号化部２０３および基準フレーム復号化部２７３の第1の実施形態による、２回目の符号化および復号化による画質の劣化について説明する。
基準フレーム符号化部２０３および基準フレーム復号化部２７３の第1の実施形態によれば、図４２に示すように、１回目の復号化後のブロックBL（基準フレームを構成する所定のブロックBL）を構成する画素の画素値のダイナミックレンジDR’は、１回目の符号化前のブロックBLを構成する画素の画素値のダイナミックレンジDRより小さくなる（１回目の符号化前のブロックBLを構成する画素の画素値の最大値MAXおよび最小値MINが、１回目の復号化後には、最大値MAX’およびMIN’にそれぞれ変更される）。
これにより、２回目のデジタル画像信号Vdg1の符号化において、ブロックBLを構成する各画素を量子化した際に、新たな量子化歪みが発生するとともに、２回目の復号化後のブロックBLを構成する画素の画素値のダイナミックレンジも、図４２で示す１回目の復号化後と同様に、２回目の符号化前のダイナミックレンジよりさらに小さくなるため、２回目の符号化により符号化された符号化デジタル画像信号Vcd1を復号した復号化デジタル画像信号Vdg2は、１回目の符号化および復号化が行われた復号化デジタル画像信号Vdg0に比べて、画質が大幅に劣化したものとなる。
上述したように、２回目の復号化後のブロックBLを構成する画素の画素値のダイナミックレンジも、図４２で示す１回目の復号化後と同様に、２回目の符号化前のダイナミックレンジよりさらに小さくなるため、３回目の符号化および復号化後の復号化デジタル画像信号は、２回目の符号化および復号化後の復号化デジタル画像信号Vdg2に比べて、さらに画質が劣化したものとなる。
これに対して、予測フレーム符号化部２０５および予測フレーム復号化部２７４の第１の実施形態では、上述したように、１回目および２回目のいずれの符号化においても、ブロックBL’ごとに残差の特性に合わせた最適な符号化を行うため、予測フレーム符号化部２０５において符号化された符号化デジタル画像信号Vcd1を復号化したときの画質の劣化は少ない（生じない）。
次に、図４３乃至図４８を参照して、基準フレーム符号化部２０３および基準フレーム復号化部２７３の第２の実施形態による、２回目の符号化および復号化による画質の劣化について説明する。
図４３左側は、１回目の符号化前の基準フレーム内の所定のブロックBLの差分波形を示しており、図４３右側は、そのブロックBLの差分波形を符号化してから、復号化された後の差分波形を示している。即ち、図４３右側に示す差分波形が１回目の符号化および復号化を行った後の差分波形（ブロックBLを構成する各画素の差分データ）を示している。
１回目の符号化および復号化では、図４３に示すように、ブロックBLの差分波形に大きな変化（歪み）は見られない。従って、１回目の符号化および復号化では、符号化歪み（量子化歪み）による僅かな歪みが生じるものの、基本的にはデジタル画像信号の劣化は起こらない。また、このことは、見方を変えれば、基準フレーム符号化部２０３および基準フレーム復号化部２７３を用いてデジタル画像信号のままコピーをする場合には、画質の劣化が発生しない（画質の劣化を防止することができる）とも言える。
図４３左側と同一の、図４４右上側に示す復号化後のブロックBLの差分波形が、基準フレーム復号化部２７３において、予測画素値生成回路４０３によるブロックBLの予測波形（図４４左上側）と加算器４０５で加算され、出力波形（図４４下側）となって出力される。図４４下側に示すブロックBLの出力波形が、再生装置１１１の復号化部１３１から出力されるブロックBLの復号化デジタル画像信号Vdg0に相当する。
再生装置１１１では、復号化デジタル画像信号Vdg0が、アナログ信号に変換されたときのアナログ歪みを伴うアナログ画像信号Van1として出力される。そして、記録装置１１３において、アナログ画像信号Van1がデジタル信号に変換されたデジタル画像信号Vdg1が、基準フレーム符号化部２０３で符号化される。
基準フレーム符号化部２０３は、１回目の符号化と同様の符号化を行うものの、デジタル画像信号Vdg1がアナログ歪みと１回目の符号化歪みによって、ソート順算出回路１６３において算出されるソート順情報Vcds（ソート順）が、１回目のソート順情報Vcds（ソート順）と大きく異なるものとなる。
図４５は、２回目の符号化において、ソート順算出回路３２１で求められたブロックBLを構成する画素の画素値の最大値Vcdmax、最小値Vcdmin、およびブロックBLのソート順情報Vcdsに基づく、予測画素値生成回路３２２の処理結果を示した図である。
図４５に示すブロックBLのソート順情報Vcdsにおいて、例えば、丸の点線で示されているソート順が「３９」番目の画素の左隣には、ソート順が「１」番目の画素が配置され、丸の点線で示されているソート順が「３９」番目の画素の右隣には、ソート順が「２」番目の画素が配置されている。これは、ソート順が「３９」番目の画素と両隣の画素は、ソート順が大きく異なることを表している。ある画素の画素値と、その画素の近傍の画素の画素値の間には相関があり、ソート順において大きな変化が少ないのが一般的である。しかしながら、アナログ歪みと１回目の符号化歪みによって、２回目の符号化におけるソート順情報Vcds（ソート順）が、１回目のソート順情報Vcds（ソート順）と大きく異なるようになり、丸の点線で示されている画素のように、近傍の画素のソート順との差が大きい画素が発生する。なお、図４５のソート順情報Vcdsにおいて、例えば、四角の点線で示されているソート順が「４３」番目の画素や、「４」番目の画素も、近傍の画素のソート順との差が大きい画素となっている。これにより、符号化部１５２の予測画素値生成回路１６４において生成される予測波形は、図４５下側に示すように、ギザギザしたような高周波成分を有する波形となる。
そして、図４５下側と同一の、図４６右上側示す予測波形が、ブロックBLの入力波形（図４６左上側）から減算され、ブロックBLの差分波形（図４６下側）となる。入力波形から予測波形が減算された差分波形は、予測波形の高周波成分が残るため、同様に、高周波成分を有する波形となる。
しかしながら、基準フレーム符号化部２０３のブロック符号化回路３２４における符号化は、上述したように高周波成分を除去する符号化を行うため、図４７に示すように、高周波成分を有する符号化前のブロックBLの差分波形（図４７左側）を符号化し、さらにそれを復号化した場合、復号化後のブロックBLの差分波形は、図４７右側に示すように、大きく歪んだ（高周波成分が除去された）波形となる。
従って、図４８に示すように、２回目の復号化において、ブロックBLの予測波形（図４８左上側）と、復号化後のブロックBLの差分波形（図４８右上側）とを加算して得られるブロックBLの出力波形も大きく歪んだ波形となる。即ち、図４４に示した１回目のブロックBLの出力波形と比較して、２回目のブロックBLの出力波形（図４８下側）は、大きく歪んだ波形となり、画質が劣化したものとなる。
以上のように、コピーされた記録媒体１２２から再生された信号である、２回目の符号化および復号化が行われた基準フレームの復号化デジタル画像信号Vdg2は、コピー元の記録媒体１２１から再生された信号である、１回目の符号化および復号化が行われた基準フレームの復号化デジタル画像信号Vdg0に比べて、画質が大幅に劣化したものとなる。
なお、再生装置１１１から出力されるアナログ画像信号Van1が２回目の符号化および復号化が行われた信号である場合には、次にコピーされた記録媒体１２２から再生される信号は、３回目の符号化および復号化が行われたアナログ画像信号Van2となり、その画像は、より一層劣化したものとなる。即ち、符号化および復号化を繰り返す度に、記録媒体１２２に記録される画像信号による画質が劣化していくことになる。
これに対して、予測フレーム符号化部２０５および予測フレーム復号化部２７４の第２の実施形態では、上述したように、１回目および２回目のいずれの符号化においても、ブロックBL(BL’)ごとに残差の特性に合わせた最適な符号化方式を選択し、符号化を行うため、予測フレーム符号化部２０５において符号化された符号化デジタル画像信号Vcd1を復号化したときの画質の劣化は少ない（生じない）。
従って、図４９に示すように、２回目の符号化および復号化を経た画像は、画質が劣化した（基準フレームの）画像が所定枚数ごとに（所定間隔で）表示されるため、画像を連続して見たときに一定の間隔で劣化した画像が知覚され、視覚的に大きな劣化を生じる結果（劣化効果）となる。
従って、記録再生装置１１３によれば、良好な画質を維持したままでのアナログ画像信号を利用したコピーは不可能となり、２回目以降の符号化および復号化された画像信号に対応する画像の画質を著しく劣化させることにより、アナログ画像信号（アナログ信号）を利用した不正コピーを防止することができる。
また、図２の画像処理システム１０１では、自然に生じるアナログ歪みを使って画質を劣化させて不正コピーを防止するため、アナログ画像信号Van1に対して（画質を劣化させる等の）特別の処理を行っていない。従って、不正コピーを防止するための特別の回路など（手段）を必要とせず構成が複雑となる（回路規模が増大する）というような問題も発生しない。なお、図２の画像処理システム１０１では、再生装置１１１のD/A変換部１３２において復号化デジタル画像信号Vdg0をアナログ信号に変換したときに生じるアナログ歪みを利用した例について説明したが、D/A変換部１３２からA/D変換部１５１までの伝送路において生じるアナログ歪み、またはA/D変換部１５１において生じるアナログ歪みについても同様の効果（復号化デジタル画像信号Vdg2の画質の大幅な劣化）となる。
さらに、上述した図２の画像処理システム１０１では、自然に生じるアナログ歪みの他に、再生装置１１１から出力されるアナログ画像信号Van1に対して、意図的にアナログ歪みを生じさせるノイズ（アナログノイズ）を付加させるようにすることも可能である。
図５０は、本発明を適用した画像処理システムのその他の実施の形態の構成例を示すブロック図である。
なお、図５０において、図２の画像処理システム１０１と対応する部分については、同一の符号を付してあり、その説明を省略する。
即ち、図５０の画像処理システム１０１では、記録装置１１３の記録部１４１において、ノイズ付加部５０１が新たに設けられている他は、図２の画像処理システム１０１と同様に構成されている。
再生装置１１１から出力されるアナログ画像信号Van1は、記録装置１のノイズ付加部５０１に入力される。ノイズ付加部５０１は、入力されるアナログ画像信号Van1にノイズを付加して、A/D変換部１５１に供給する。
図５１のフローチャートを参照して、図５０の記録装置１１３による記録確認処理について説明する。
初めに、ステップＳ２０１において、ノイズ付加部５０１は、再生装置１１１からのアナログ画像信号Van1にノイズを付加して、A/D変換部１５１に供給する。
ステップＳ２０２乃至Ｓ２１６では、図４１のステップＳ１７１乃至Ｓ１８５と同様の処理が行われる。即ち、A/D変換部１５１において、ノイズが付加されることにより、さらに大きなアナログ歪みを伴うアナログ画像信号Van1がデジタル信号に変換され、符号化部１５２において、デジタル画像信号Vdg1が符号化デジタル画像信号Vcd1に符号化される。そして、その符号化デジタル画像信号Vcd1が記録媒体１２２に記録される。また、符号化デジタル画像信号Vcd1は、復号化デジタル画像信号Vdg2に復号化され、さらにアナログ信号（アナログ画像信号Van2）に変換され、ディスプレイ１４３に画像として表示される。
以上のように、図５０の記録装置１１３では、自然に生じるアナログ歪みだけでなく、意図的にノイズを付加することによりアナログ歪みを生じさせた（アナログ歪みを伴う）アナログ画像信号Van1を符号化する。この場合、２回目以降の符号化および復号化によって、画質をさらに著しく劣化させることになり、アナログ画像信号を利用した不正コピーを防止することができる。
なお、アナログ画像信号にノイズを意図的に付加する場合、再生装置１１１がノイズを付加してからアナログ画像信号Van1を出力するようにしてもよい。
即ち、図５２は、本発明を適用した画像処理システムのさらにその他の実施の形態の構成例を示すブロック図である。
なお、図５２において、図２の画像処理システム１０１と対応する部分については、同一の符号を付してあり、その説明を省略する。
即ち、図５２の画像処理システム１０１では、再生装置１１１において、ノイズ付加部５０２が新たに設けられており、それに対応して、再生装置１１１と同様の構成とされる記録装置１１３の再生部１４２においても、ノイズ付加部５０３が設けられている他は、図２の画像処理システム１０１と同様に構成されている。
再生装置１１１のノイズ付加部５０２には、記録媒体１２１から再生されたアナログ画像信号がD/A変換部１３２から供給される。ノイズ付加部５０２は、D/A変換部１３２からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van1をディスプレイ１１２および記録装置１１３に出力する。
記録装置１１３の再生部１４２においても同様に、アナログ画像信号がD/A変換部１５６からノイズ付加部５０３に供給される。ノイズ付加部５０３は、D/A変換部１５６からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
図５３のフローチャートを参照して、図５２の記録装置１１３による記録確認処理について説明する。
ステップＳ２３１乃至Ｓ２４４では、図４１のステップＳ１７１乃至Ｓ１８４と同様の処理が行われる。即ち、A/D変換部１５１において、再生装置１１１からのアナログ画像信号Van1がデジタル信号に変換され、符号化部１５２において、デジタル画像信号Vdg1が符号化デジタル画像信号Vcd1に符号化される。そして、その符号化デジタル画像信号Vcd1が記録媒体１２２に記録される。また、符号化デジタル画像信号Vcd1は、復号化デジタル画像信号Vdg2に復号化され、さらにアナログ信号に変換される。
そして、ステップＳ２４４の処理後、ステップＳ２４５に進み、ノイズ付加部５０３は、D/A変換部１５６からのアナログ画像信号にノイズを付加し、その結果得られるアナログ画像信号Van2をディスプレイ１４３に出力する。
ステップＳ２４６において、ディスプレイ１４３は、ノイズ付加部５０３からのアナログ画像信号Van2による画像を表示して、処理を終了する。
以上のように、アナログ画像信号Van1が、自然に生じるアナログ歪みだけでなく、意図的にノイズを付加したことにより、さらに大きなアナログ歪みを伴う場合においても、良好な画質を維持したままでのアナログ画像信号を利用したコピーは不可能となる。即ち、２回目以降の符号化および復号化された画像信号に対応する画像の画質をさらに著しく劣化させることにより、アナログ画像信号を利用した不正コピーを防止することができる。
上述した図２２のブロック符号化回路３２４では、減算器３２３から供給される注目ブロックBL’の各画素の残差データに対して、DCT変換を行うことにより、高周波成分を除去する符号化を行うようにしたが、ブロック符号化回路３２４では、高周波成分を除去するものであれば、その他のDST（Discrete sine Transform）変換やFFT(Fast Fourier Transform)変換などを採用することができる。この場合、図３５のブロック復号化回路４０４では、ブロック符号化回路３２４に対応する復号化が行われる。
また、上述した実施の形態では、１フレームを構成する複数のブロックBL（BL’）それぞれを順次注目ブロックBLc（BLc’）として処理するようにしたが、１フレームの全てのブロックBLが、同時に（並行して）処理するようにしてもよい。さらに、符号化部１５２および復号化部１５５は、フレーム単位で画像を処理するようにしたが、フレーム単位に限定されない。例えば、フィールド単位や複数フレーム単位で並行に処理するようにしてもよい。
上述した記録確認処理、符号化処理、復号化処理などの一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図５４に示されるような（パーソナル）コンピュータにプログラムを実行させることにより実現することができる。
図５４において、CPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６０８からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６０５も接続されている。
入出力インタフェース６０５には、キーボード、マウス、入力端子などよりなる入力部６０６、CRT(Cathode Ray Tube)，LCD(Liquid Crystal display)などよりなるディスプレイ、出力端子、並びにスピーカなどよりなる出力部６０７、ハードディスクなどより構成される記憶部６０８、ターミナルアダプタ、ADSL（Asymmetric Digital Subscriber Line）モデムや、LAN (Local Area Network)カード等より構成される通信部６０９が接続されている。通信部６０９は、インターネットなどの各種のネットワークを介しての通信処理を行う。
入出力インタフェース６０５にはまた、ドライブ７１０が接続され、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory) DVD Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、或いは半導体メモリなどのリムーバブルメディア（記録媒体）７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６０８にインストールされる。
図５４において、プログラムを実行するCPU６０１が、例えば、図２のA/D変換部１５１、符号化部１５２、復号化部１５５（復号化部１３１）、およびD/A変換部１５６（D/A変換部１３２）に対応し、ドライブ３１０が媒体記録部１５３に対応する。また、ディスプレイ１４３は、出力部６０７に対応する。
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
従来の画像処理システムの構成の一例を示すブロック図である。 本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 基準フレームと予測フレームを説明する図である。 図２の符号化部１５２の構成例を示すブロック図である。 図４の基準フレーム符号化部２０３の第１の実施形態の構成例を示すブロック図である。 基準フレームの画像をブロックBLに分割した例を示す図である。 ブロック符号化回路２２７における符号化とそれに対応する復号化を説明する図である。 基準フレーム符号化部２０３の基準フレーム符号化処理について説明するフローチャートである。 図４の予測フレーム符号化部２０５の第１の実施形態の構成例を示すブロック図である。 予測フレームの画像をブロックBL’に分割した例を示す図である。 動きベクトル先のブロックBL’mvの検出について説明する図である。 動きベクトル先のブロックBL’mvの検出について説明する図である。 ソート処理回路２４５のソート処理について説明する図である。 回帰回路２４６の回帰式の算出について説明する図である。 ブロック符号化回路２２７の符号化およびそれに対応する復号化を説明する図である。 図９の予測フレーム符号化部２０５の予測フレーム符号化処理について説明するフローチャートである。 図２の復号化部１５５の構成例を示すブロック図である。 図１７の基準フレーム復号化部２７３の第１の実施形態の構成例を示すブロック図である。 基準フレーム復号化部２７３の基準フレーム復号化処理について説明するフローチャートである。 図１７の予測フレーム復号化部２７４の第１の実施形態の構成例を示すブロック図である。 図２０の予測フレーム復号化部２７４の予測フレーム復号化処理について説明するフローチャートである。 図４の基準フレーム符号化部２０３の第２の実施形態の構成例を示すブロック図である。 基準フレームの画像をブロックBL’に分割した例を示す図である。 ソート順算出回路３２１のソート処理について説明する図である。 ソート順算出回路３２１のソート処理について説明する図である。 予測回路３３１による処理を説明する図である。 逆ソート回路３３２による処理を説明する図である。 注目ブロックBLc’の差分波形を説明する図である。 ブロック符号化回路３２４で用いられる量子化テーブルの例を示す図である。 図２２の基準フレーム符号化部２０３の符号化処理について説明するフローチャートである。 図４の予測フレーム符号化部２０５の第２の実施形態の構成例を示すブロック図である。 図３１のADRC符号化部３４１の詳細な構成例を示すブロック図である。 図３１の直交変換符号化部３４２の詳細な構成例を示すブロック図である。 図３１の予測フレーム符号化部２０５の予測フレーム符号化処理について説明するフローチャートである。 図１７の基準フレーム復号化部２７３の第２の実施形態の構成例を示すブロック図である。 図３５の基準フレーム復号化部２７３の復号化処理を説明するフローチャートである。 図１７の予測フレーム復号化部２７４の第２の実施形態の構成例を示すブロック図である。 図３７のADRC復号化部４３５の詳細な構成例を示すブロック図である。 図３７の直交変換復号化部４３６の詳細な構成例を示すブロック図である。 図３７の予測フレーム復号化部２７４の予測フレーム復号化処理を説明するフローチャートである。 図２の記録装置１１３の記録確認処理を説明するフローチャートである。 ２回目の符号化および復号化による画質の劣化について説明する図である。 ２回目の符号化および復号化による画質の劣化について説明する図である。 ２回目の符号化および復号化による画質の劣化について説明する図である。 ２回目の符号化および復号化による画質の劣化について説明する図である。 ２回目の符号化および復号化による画質の劣化について説明する図である。 ２回目の符号化および復号化による画質の劣化について説明する図である。 ２回目の符号化および復号化による画質の劣化について説明する図である。 ２回目以降の符号化および復号化による画質の劣化について説明する図である。 本発明を適用した画像処理システムのその他の実施の形態の構成例を示すブロック図である。 図５０の記録装置１１３による記録確認処理を説明するフローチャートである。 本発明を適用した画像処理システムのさらにその他の実施の形態の構成例を示すブロック図である。 図５２の記録装置１１３による記録確認処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１０１ 画像処理システム， １１３ 記録装置， １４１ 記録部， １４２ 再生部， １５２ 符号化部， １５５ 復号化部， ２０１ 入力端子， ２０２ 符号化選択回路， ２０３ 基準フレーム符号化部， ２０４ ローカルデコード部， ２０５ 予測フレーム符号化部， ２０６ 出力端子， ２２１ 入力端子， ２２２ ブロック化回路， ２２３ 最大値検出回路， ２２４ 最小値検出回路， ２２５，２２６ 減算器， ２２７ ブロック符号化回路， ２２８ データ合成回路， ２２９ 出力端子， ２４１ 入力端子， ２４２ ブロック化回路， ２４３ 動きベクトル検出回路， ２４４ 残差算出回路， ２４５ ソート処理回路， ２４６ 回帰回路， ２４７ 減算器， ２４８ ブロック符号化回路， ２４９ データ合成回路， ２５０ ローカルデコード部， ２７１ 入力端子， ２７２ 復号化選択回路， ２７３ 基準フレーム復号化部， ２７４ 予測フレーム復号化部， ２９１ 入力端子， ２９２ データ分解回路， ２９３ ブロック復号化回路， ２９４ 加算器， ２９５ ブロック分解回路， ２９６ 出力端子， ３０１ 入力端子， ３０２ データ分解回路， ３０３ 動きベクトル先抽出回路， ３０４ ブロック復号化回路， ３０５，３０６ 加算器， ３０７ ブロック分解回路， ３０９ 出力端子， ３２１ ソート順算出回路， ３２２ 予測画素値生成回路， ３２３ 減算器， ３２４ ブロック符号化回路， ３２５ データ合成回路， ３３１ 予測回路， ３３２ 逆ソート回路， ３４１ ADRC符号化部， ３４２ 直交変換符号化部， ３４３ ADRCローカルデコード部， ３４４ 直交変換ローカルデコード部， ３４５ 符号化判定回路， ３４６ 選択回路， ３４７ データ合成回路， ３４８ ローカルデコード部， ４０１ 入力端子， ４０２ データ分解回路， ４０３ 予測画素値生成回路， ４０４ ブロック復号化回路， ４０５ 加算器， ４１１ 予測回路， ４１２ 逆ソート回路， ４３１ 入力端子， ４３２ データ分解回路， ４３４ 選択回路， ４３５ ADRC復号化部， ４３６ 直行変換復号化部， ５０１乃至５０３ ノイズ付加部

Claims (19)

  1. 第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化装置において、
    前記第１の画像を符号化する第１の符号化手段と、
    前記第２の画像を符号化する第２の符号化手段と
    を備え、
    前記第１の符号化手段は、
    前記第１の画像を複数のブロックに分割するブロック分割手段と、
    前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出するソート順算出手段と、
    前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とする予測画素値生成手段と、
    前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出手段と、
    前記差分データを符号化する符号化手段と
    を有し、
    前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
    前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
    ことを特徴とする符号化装置。
  2. 前記予測画素値生成手段は、前記最大値および最小値を用いて直線を算出し、その直線によって求められる画素値を、前記ブロックを構成する各画素の予測画素値とする
    ことを特徴とする請求項１に記載の符号化装置。
  3. 前記第２の符号化手段は、
    前記第２の画像を複数のブロックに分割するブロック分割手段と、
    前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段と、
    前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段と、
    前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する最小値算出手段と、
    前記ブロックを構成する各画素の残差と前記残差の最小値との差分データを算出する差分データ算出手段と、
    前記ダイナミックレンジに応じて前記差分データを符号化する符号化手段と
    を有する
    ことを特徴とする請求項１に記載の符号化装置。
  4. 前記最小値算出手段は、前記残差の回帰式を算出し、前記回帰式の係数として得られる前記ブロックを構成する各画素の残差の最小値およびダイナミックレンジを算出する
    ことを特徴とする請求項３に記載の符号化装置。
  5. 前記第２の符号化手段は、
    前記第２の画像を複数のブロックに分割するブロック分割手段と、
    前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から、前記ブロックの動きベクトルを検出する動きベクトル検出手段と、
    前記ブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差を算出する残差算出手段と、
    前記残差を第１の符号化方式で符号化する第１の残差符号化手段と、
    前記残差を第２の符号化方式で符号化する第２の残差符号化手段と、
    前記第１または第２の方式のどちらを採用するかを判定する判定手段と、
    前記判定手段の判定結果に応じて、前記第１または第２の残差符号化手段の出力を選択する選択手段と
    を有する
    ことを特徴とする請求項１に記載の符号化装置。
  6. 前記入力画像データにノイズを付加するノイズ付加手段をさらに備え、
    前記ノイズ付加手段によりノイズが付加された前記入力画像データが、前記第１の符号化手段または前記第２の符号化手段に供給される
    ことを特徴とする請求項１に記載の符号化装置。
  7. 第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化装置の符号化方法において、
    前記第１の画像を複数のブロックに分割し、
    前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出し、
    前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とし、
    前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出し、
    前記差分データを符号化することで、前記第１の画像を符号化する第１の符号化ステップと、
    前記第２の画像を符号化する第２の符号化ステップと
    を含み、
    前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
    前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
    ことを特徴とする符号化方法。
  8. 第１の画像と第２の画像を少なくとも有する動画像の入力画像データに対して、コンピュータに、
    前記第１の画像を複数のブロックに分割し、
    前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出し、
    前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とし、
    前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出し、
    前記差分データを符号化することで、前記第１の画像を符号化する第１の符号化ステップと、
    前記第２の画像を符号化する第２の符号化ステップと
    を実行させ、
    前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、
    前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  9. 第１の画像と第２の画像を少なくとも有する動画像の入力画像データに対して、コンピュータに、
    前記第１の画像を複数のブロックに分割し、
    前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出し、
    前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とし、
    前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出し、
    前記差分データを符号化することで、前記第１の画像を符号化する第１の符号化ステップと、
    前記第２の画像を符号化する第２の符号化ステップと
    を実行させ、
    前記第１の符号化ステップにおいて符号化された前記第1の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、
    前記第２の符号化ステップにおいて符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる
    処理を実行させるためのプログラム。
  10. 動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データと、前記第２の画像が符号化された第２の符号化データとを取得する取得手段と、
    前記第１の符号化データを復号する第１の復号手段と、
    前記第２の符号化データを復号する第２の復号手段と
    を備え、
    前記取得手段は、前記第１の符号化データとして、
    前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
    前記１のブロックを構成する画素の最大値および最小値、
    並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得し、
    前記第１の復号手段は、
    前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、
    前記符号化差分データを前記差分データに復号し、
    復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号し、
    前記第１の復号手段において復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
    前記第２の復号手段において復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
    ことを特徴とする復号装置。
  11. 前記予測画素値生成手段は、前記最大値および最小値を用いて直線を算出し、その直線によって求められる画素値を、前記ブロックを構成する各画素の予測画素値とする
    ことを特徴とする請求項１０に記載の復号装置。
  12. 前記第２の復号手段は、
    前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
    前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差、
    前記残差の最小値、
    および、前記残差と前記残差の最小値との差分データが符号化された符号化差分データを取得する取得手段と、
    前記符号化差分データを前記差分データに復号する差分データ復号手段と、
    前記差分データ復号手段により復号された前記差分データと前記残差の最小値とを加算する残差加算手段と、
    前記残差加算手段の出力と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段と
    を有する
    ことを特徴とする請求項１０に記載の復号装置。
  13. 前記第２の復号手段は、
    前記第２の画像より所定時間前の画像で前記第２の画像との比較の対象となる参照画像から検出された動きベクトル、
    前記第２の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値と、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値との残差が符号化された符号化残差データ、
    および、前記符号化残差データが第１の符号化方式か、または第２の符号化方式のどちらで符号化されたかを表す符号化方式判定結果を取得する取得手段と、
    前記符号化方式判定結果が前記第１の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第１の残差データ復号手段と、
    前記符号化方式判定結果が前記第２の符号化方式を表す場合に、前記符号化残差データを前記残差データに復号する第２の残差データ復号手段と、
    前記第１または第２の残差データ復号手段により復号された前記残差データと、前記参照画像の前記動きベクトルが表すブロック内の、前記各画素に対応する画素の画素値とを加算する画素値加算手段と
    を有する
    ことを特徴とする請求項１０に記載の復号装置。
  14. 前記第１または第２の復号手段の出力にノイズを付加するノイズ付加手段をさらに備える
    ことを特徴とする請求項１０に記載の復号装置。
  15. 動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
    前記１のブロックを構成する画素の最大値および最小値、
    並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得するとともに、前記第２の画像が符号化された第２の符号化データを取得する取得ステップと、
    前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、
    前記符号化差分データを前記差分データに復号し、
    復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号する第１の復号ステップと、
    前記第２の符号化データを復号する第２の復号ステップと
    を含み、
    前記第１の復号ステップにおいて復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
    前記第２の復号ステップにおいて復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
    ことを特徴とする復号方法。
  16. コンピュータに、
    動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
    前記１のブロックを構成する画素の最大値および最小値、
    並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得するとともに、前記第２の画像が符号化された第２の符号化データを取得する取得ステップと、
    前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、
    前記符号化差分データを前記差分データに復号し、
    復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号する第１の復号ステップと、
    前記第２の符号化データを復号する第２の復号ステップと
    を実行させ、
    前記第１の復号ステップにおいて復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、
    前記第２の復号ステップにおいて復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  17. コンピュータに、
    動画像を構成する第１の画像と第２の画像のうちの、前記第１の画像が符号化された第１の符号化データとして、前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
    前記１のブロックを構成する画素の最大値および最小値、
    並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得するとともに、前記第２の画像が符号化された第２の符号化データを取得する取得ステップと、
    前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、
    前記符号化差分データを前記差分データに復号し、
    復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号する第１の復号ステップと、
    前記第２の符号化データを復号する第２の復号ステップと
    を実行させ、
    前記第１の復号ステップにおいて復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度が、
    前記第２の復号ステップにおいて復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きくなる
    処理を実行させるためのプログラム。
  18. 第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、
    前記符号化部は、
    前記第１の画像を符号化する第１の符号化手段と、
    前記第２の画像を符号化する第２の符号化手段と
    を備え、
    前記第１の符号化手段は、
    前記第１の画像を複数のブロックに分割するブロック分割手段と、
    前記ブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートするとともに、ソートしたときのソート結果を表すソート順情報、並びに、前記ブロックを構成する画素の最大値および最小値を算出するソート順算出手段と、
    前記最大値および最小値から前記ブロックを構成する各画素の予測画素値を生成し、前記ソート順情報を用いて、生成された前記予測画素値を、ソートされる前の空間位相に配置された前記予測画素値とする予測画素値生成手段と、
    前記ブロックを構成する各画素の画素値と前記予測画素値との差分データを算出する差分データ算出手段と、
    前記差分データを符号化する符号化手段と
    を有し、
    前記第１の符号化手段において符号化された前記第１の画像を復号した第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
    前記第２の符号化手段において符号化された前記第２の画像を復号した第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
    ことを特徴とする画像処理システム。
  19. 第１の画像と第２の画像を少なくとも有する動画像の入力画像データを符号化する符号化部および符号化された前記入力画像データを復号する復号部を備え、前記入力画像データに対して符号化および復号を繰り返すと前記入力画像データに対応する画像の画質が劣化する画像処理システムにおいて、
    前記復号部は、
    前記第１の画像が符号化された第１の符号化データと、前記第２の画像が符号化された第２の符号化データとを取得する取得手段と、
    前記第１の符号化データを復号する第１の復号手段と、
    前記第２の符号化データを復号する第２の復号手段と
    を備え、
    前記取得手段は、前記第１の符号化データとして、
    前記第１の画像が分割された複数のブロックのうちの１のブロックについての、前記１のブロックを構成する各画素の画素値の大きさに応じて前記各画素をソートしたときのソート結果を表すソート順情報、
    前記１のブロックを構成する画素の最大値および最小値、
    並びに、前記最大値および最小値を用いて生成される前記１のブロックを構成する各画素の予測画素値と前記画素値との差分データが符号化された符号化差分データからなるデータを取得し、
    前記第１の復号手段は、
    前記最大値および最小値から、画素値の大きさに応じてソートされている、前記１のブロックを構成する各画素の予測画素値を生成し、生成された前記予測画素値を、前記ソート順情報に基づいて、ソートされる前の空間位相に配置し、
    前記符号化差分データを前記差分データに復号し、
    復号された前記差分データと、生成された前記予測画素値とを加算する処理を少なくとも行うことで、前記第１の符号化データを復号し、
    前記第１の復号手段において復号された第３の画像を前記第１の画像と比較した場合の画質の劣化の程度は、
    前記第２の復号手段において復号された第４の画像を前記第２の画像と比較した場合の画質の劣化より大きい
    ことを特徴とする画像処理システム。
JP2005029776A 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム Expired - Fee Related JP4697519B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005029776A JP4697519B2 (ja) 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005029776A JP4697519B2 (ja) 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2006217426A JP2006217426A (ja) 2006-08-17
JP2006217426A5 JP2006217426A5 (ja) 2007-10-11
JP4697519B2 true JP4697519B2 (ja) 2011-06-08

Family

ID=36980238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005029776A Expired - Fee Related JP4697519B2 (ja) 2005-02-04 2005-02-04 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4697519B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224587A (ja) * 1999-02-03 2000-08-11 Mitsubishi Electric Corp 画像符号化方式および画像符号化装置
JP2001501069A (ja) * 1997-07-16 2001-01-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法及び装置、及び対応する復号化装置
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001501069A (ja) * 1997-07-16 2001-01-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法及び装置、及び対応する復号化装置
JP2000224587A (ja) * 1999-02-03 2000-08-11 Mitsubishi Electric Corp 画像符号化方式および画像符号化装置
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法

Also Published As

Publication number Publication date
JP2006217426A (ja) 2006-08-17

Similar Documents

Publication Publication Date Title
JP4556124B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
Wu et al. Reversible image watermarking on prediction errors by efficient histogram modification
KR101168500B1 (ko) 멀티미디어 컨텐츠에 워터마크 정보를 동적으로 임베딩하는 방법, 장치 및 시스템
Xue et al. An adaptive steganographic scheme for H. 264/AVC video with distortion optimization
JP4742614B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
JP5139995B2 (ja) ストリームに透かしを入れる方法及び装置
JP4697519B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4552677B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4725127B2 (ja) 復号装置および方法、記録媒体、並びにプログラム
Mohaghegh et al. H. 264 copyright protection with motion vector watermarking
JP2006217403A (ja) 符号化装置および方法、復号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP4556694B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4716086B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4556125B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4577043B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4573110B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4715222B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4696577B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP4573112B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP2006238373A (ja) 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム
JP4581733B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム
JP4591767B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP2006229460A (ja) 符号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP4730585B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2006352846A (ja) ウォータマーク埋込方法及び装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110216

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees