JP4554138B2 - 画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラム - Google Patents
画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4554138B2 JP4554138B2 JP2002018290A JP2002018290A JP4554138B2 JP 4554138 B2 JP4554138 B2 JP 4554138B2 JP 2002018290 A JP2002018290 A JP 2002018290A JP 2002018290 A JP2002018290 A JP 2002018290A JP 4554138 B2 JP4554138 B2 JP 4554138B2
- Authority
- JP
- Japan
- Prior art keywords
- correction data
- prediction
- original image
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関し、特に、原画像とほぼ同一の復号画像が得られるように、画像を、例えば間引くことにより符号化する場合において、より原画像に近い画像を符号化し、復号することができるようにした、画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来より、画像の符号化方法については、種々の方法が提案されているが、そのうちの１つに、例えば、画像を、その画素を間引くこと（subsampling）により圧縮して符号化する方法がある。
【０００３】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
このように復号画像の解像度が劣化する原因として、第１に、間引いた画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
そこで、本出願人は、例えば、特願平９−２０８４８３号として、図１に示されるような画像符号化装置を先に提案した。
【０００６】
図１の例においては、縮小画像作成部１１が、入力された画像データを、例えば９個の画素から１つの画素だけを選択する（間引く）ことで縮小画像データを生成する。補正部１２は、制御部１５より供給される制御信号に基づいて、縮小画像作成部１１より供給される縮小画像データを補正して、補正データを生成する。ローカルデコード部１３は、補正部１２により生成された補正データを、クラス分類適応処理を利用してデコードし、元の画像を予測する予測値を生成する。誤差算出部１４は、ローカルデコード部１３により算出された予測値を入力画像データと比較し、その誤差を予測誤差として算出して、制御部１５に供給する。
【０００７】
制御部１５は、誤差算出部１４により算出された予測誤差に基づいて制御信号を生成し、補正部１２に供給する。補正部１２は、この制御信号に基づいて縮小画像データを補正して、ローカルデコード部１３に供給する。
【０００８】
以上のような処理が繰り返し実行されることで、予測誤差が所定値以下になったとき、制御部１５は、そのとき補正部１２より出力される補正データを最適圧縮データとして、そのときローカルデコード部１３により予測処理に用いられた予測係数とともに多重化部１６に供給し、多重化させ、符号化データとして出力させる。
【０００９】
【発明が解決しようとする課題】
しかしながら、先の提案においては、ローカルデコード部１３において、予測処理に用いられる補正データが同一のフレーム内の補正データとされているため、特に、動きがある画像を正確に元の画像により近い画像として復号することが困難である課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、より正確に、原画像に近い画像を復号することができるようにするものである。
【００１１】
【課題を解決するための手段】
【００１６】
本発明の画像符号化装置は、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮手段と、圧縮手段により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正手段と、補正手段により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データを保持するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方を保持する補正データ保持手段と、補正データ保持手段により保持されている第１の補正データの注目ブロックを設定する注目ブロック設定手段と、補正データ保持手段により保持されている第２の補正データまたは第３の補正データから、注目ブロック設定手段により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得手段と、注目ブロック設定手段により設定された注目ブロックと、取得手段により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、抽出手段により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算手段と、第１の原画像に対する演算手段により演算された予測値の予測誤差が最小となる場合における、取得手段により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成手段と、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力手段とを備えることを特徴とする。
【００１７】
前記出力手段は、予測係数をさらに出力することができる。
前記演算手段は、予測係数と、抽出手段により抽出された予測補正データとの線形結合により、予測値を演算するようにすることができる。
前記補正データ保持手段により保持されている第１の補正データを、その値に基づく性質に応じて所定のクラスに分類するクラス分類手段をさらに備え、予測係数保持手段は、クラス分類手段により分類されたクラスに対応する予測係数を出力し、演算手段は、クラス分類手段により分類されたクラスに対応する予測係数と、抽出手段により抽出された予測補正データとを、予測値を演算するための予測式に代入することで予測値を演算するようにすることができる。
前記予測誤差を算出する予測誤差算出手段と、予測誤差算出手段により算出された予測誤差が所定の値以下であるか、または補正回数が所定回数以上であるかのいずれかである場合、補正データが適正であると判定する判定手段とをさらに備え、出力手段は、判定手段により補正データが適正であると判定された場合、補正データと、対応する所定の位置ベクトルを出力するようにすることができる。
【００１８】
本発明の画像符号化方法は、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、圧縮ステップの処理により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正ステップと、補正ステップの処理により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、補正データ保持制御ステップの処理により保持が制御されている第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、補正データ保持制御ステップの処理により保持が制御されている第２の補正データまたは第３の補正データから、注目ブロック設定ステップの処理により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得ステップと、注目ブロック設定ステップの処理により設定された注目ブロックと、取得ステップの処理により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、予測係数と、抽出ステップの処理により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算ステップと、第１の原画像に対する演算ステップの処理により演算された予測値の予測誤差が最小となる場合における、取得ステップの処理により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成ステップと、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力ステップと含むことを特徴とする。
【００１９】
本発明の第１の記録媒体のプログラムは、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、圧縮ステップの処理により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正ステップと、補正ステップの処理により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、補正データ保持制御ステップの処理により保持が制御されている第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、補正データ保持制御ステップの処理により保持が制御されている第２の補正データまたは第３の補正データから、注目ブロック設定ステップの処理により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得ステップと、注目ブロック設定ステップの処理により設定された注目ブロックと、取得ステップの処理により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、予測係数と、抽出ステップの処理により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算ステップと、第１の原画像に対する演算ステップの処理により演算された予測値の予測誤差が最小となる場合における、取得ステップの処理により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成ステップと、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力ステップと含むことを特徴とする。
【００２０】
本発明の第１のプログラムは、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、圧縮ステップの処理により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正ステップと、補正ステップの処理により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、補正データ保持制御ステップの処理により保持が制御されている第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、補正データ保持制御ステップの処理により保持が制御されている第２の補正データまたは第３の補正データから、注目ブロック設定ステップの処理により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得ステップと、注目ブロック設定ステップの処理により設定された注目ブロックと、取得ステップの処理により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、予測係数と、抽出ステップの処理により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算ステップと、第１の原画像に対する演算ステップの処理により演算された予測値の予測誤差が最小となる場合における、取得ステップの処理により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成ステップと、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力ステップとをコンピュータに実行させることを特徴とする。
【００２１】
本発明の画像復号装置は、補正データを含む処理対象データを取得する取得手段と、取得手段により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離手段と、分離手段により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離手段により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算手段とを備えることを特徴とする。
【００２２】
前記分離手段は、処理対象データから予測係数をさらに分離し、予測係数保持
手段は、分離手段により分離された予測係数を保持することができる。
【００２３】
本発明の画像復号方法は、補正データを含む処理対象データを取得する取得ステップと、取得ステップの処理により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離ステップと、分離ステップの処理により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離ステップの処理により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持ステップと、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算ステップとを含むことを特徴とする。
【００２４】
本発明の第２の記録媒体のプログラムは、原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置のプログラムであって、補正データを含む処理対象データを取得する取得ステップと、取得ステップの処理により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離ステップと、分離ステップの処理により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離ステップの処理により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持ステップと、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算ステップとを含むことを特徴とする。
【００２５】
本発明の第３のプログラムは、原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置を制御するコンピュータに、補正データを含む処理対象データを取得する取得ステップと、取得ステップの処理により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離ステップと、分離ステップの処理により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離ステップの処理により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持ステップと、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算ステップとを実行させることを特徴とする。
本発明の画像処理システムは、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮手段と、圧縮手段により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正手段と、補正手段により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データを保持するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方を保持する補正データ保持手段と、補正データ保持手段により保持されている第１の補正データの注目ブロックを設定する注目ブロック設定手段と、補正データ保持手段により保持されている第２の補正データまたは第３の補正データから、注目ブロック設定手段により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得手段と、注目ブロック設定手段により設定された注目ブロックと、取得手段により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、抽出手段により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算手段と、第１の原画像に対する演算手段により演算された予測値の予測誤差が最小となる場合における、取得手段により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成手段と、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力手段とを備える画像符号化装置と、補正データを含む処理対象データを取得する取得手段と、取得手段により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離手段と、分離手段により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離手段により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算手段とを備える画像復号装置とを含む。
【００２７】
本発明の画像符号化装置および方法、第１の記録媒体、並びにプログラムにおいては、予測係数と、予測補正データに基づいて予測値が演算され、予測値の予測誤差が最小となる場合における所定の位置ベクトルが生成される。そして、予測誤差が、最小となる場合における補正データと対応する所定の位置ベクトルが出力される。
【００２８】
本発明の画像復号装置および方法、第２の記録媒体、並びにプログラムにおいては、処理対象データから補正データと所定の位置ベクトルが分離され、分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データが抽出され、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値が演算される。
本発明の画像処理システムにおいては、画像符号化装置により、予測係数と、予測補正データに基づいて予測値が演算され、予測値の予測誤差が最小となる場合における所定の位置ベクトルが生成される。そして、予測誤差が、最小となる場合における補正データと対応する所定の位置ベクトルが出力される。また、画像復号装置により、処理対象データから補正データと所定の位置ベクトルが分離され、分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データが抽出され、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値が演算される。
【００２９】
【発明の実施の形態】
図２は、本発明を適用した画像処理装置の一実施の形態の構成を示している。
【００３０】
送信装置４１には、ディジタル化された画像データが供給される。送信装置４１は、入力された画像データを、例えば図３に示されるように、１／９に間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、さらにクラス分類適応処理により予測し、例えば、光ディスク、光磁気ディスク、磁気テープ、相変化ディスク、その他でなる記録媒体４２に記録したり、または、例えば、地上波、衛星回線、電話回線、ＣＡＴＶ網、インターネット、その他の伝送路４３を介して伝送する。
【００３１】
受信装置４４では、記録媒体４２に記録された符号化データが再生され、または、伝送路４３を介して伝送されてくる符号化データが受信される。その符号化データは、図４に示されるように、クラス分類適応処理に基づいて、伸張、復号される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００３２】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置、その他の、画像の記録または再生を行う装置、あるいはまた、例えば、テレビ電話装置、テレビジョン放送システム、ＣＡＴＶシステム、その他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置４１が出力する符号化データのデータ量が少ないため、図２の画像処理装置は、伝送レートの低い、例えば、携帯電話機、その他の、移動に便利な携帯端末などにも適用可能である。
【００３３】
図５は、図２の送信装置４１のハードウェアの構成例を示している。
【００３４】
Ｉ／Ｆ（InterFace）６１は、外部から供給される画像データの受信処理と、送信機／記録装置６６に対しての、符号化データの送信処理を行う。ROM（Read Only Memory）６２は、IPL（Initial Program Loading）用のプログラムその他を記憶している。RAM（Random Access Memory）６３は、外部記憶装置６５に記録されているシステムプログラム（OS（Operating System））やアプリケーションプログラムを記憶したり、また、CPU（Central Processing Unit）６４の動作上必要なデータを記憶する。CPU６４は、ROM６２に記憶されているIPLプログラムにしたがい、外部記憶装置６５からシステムプログラムおよびアプリケーションプログラムを、RAM６３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ６１から供給される画像データについての、後述するような符号化処理を行う。
【００３５】
外部記憶装置６５は、例えば、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、または半導体メモリ７４などでなり、上述したように、CPU６４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、CPU６４が動作上必要とするデータも記憶している。送信機／記録装置６６は、Ｉ／Ｆ６１から供給される符号化データを、記録媒体４２に記録したり、または伝送路４３を介して伝送する。
【００３６】
なお、Ｉ／Ｆ６１，ROM６２，RAM６３，CPU６４、および外部記憶装置６５は、相互にバスを介して接続されている。
【００３７】
以上のように構成される送信装置４１においては、Ｉ／Ｆ６１に画像データが供給されると、その画像データは、CPU６４に供給される。CPU６４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ６１に供給する。Ｉ／Ｆ６１は、符号化データを受信すると、それを、送信機／記録装置６６に供給する。送信機／記録装置６６は、Ｉ／Ｆ６１からの符号化データを、記録媒体４２に記録したり、または伝送路４３を介して伝送する。
【００３８】
図６は、図５の送信装置４１の、送信機／記録装置６６を除く部分の機能的な構成例を示している。
【００３９】
符号化すべき画像データは、縮小画像作成部１１１および誤差算出部１１５に供給される。縮小画像生成部１１１は、画像データを、その画素を、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の縮小画像データ）を補正部１１２に出力する。補正部１１２は、制御部１１６からの制御信号にしたがって、圧縮データを補正する。補正部１１２における補正の結果得られる補正データは、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に供給される。動き推定部１１３は、画像データと補正データから画像の動きを推定し、動きベクトルをローカルデコード部１１４に出力する。
【００４０】
ローカルデコード部１１４は、補正部１１２からの補正データと動き推定部１１３からの動きベクトルに基づいて、元の画像を予測し、その予測値を、誤差算出部１１５に供給する。なお、ローカルデコード部１１４は、後述するように、補正データと予測係数との線形結合により、予測値を算出する。そして、ローカルデコード部１１４は、予測値を、誤差算出部１１５に供給する他、そのとき求めたクラスごとの予測係数を、制御部１１６に供給する。
【００４１】
誤差算出部１１５は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部１１４からの予測値の予測誤差を算出する。この予測誤差は、誤差情報として、制御部１１６に供給される。
【００４２】
制御部１１６は、誤差算出部１１５からの誤差情報に基づいて、補正部１１２が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。そして、制御部１１６は、補正部１１２が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、補正部１１２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させる。また、制御部１１６は、補正部１１２が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、補正部１１２から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部１１７に供給するとともに、ローカルデコード部１１４から供給されたクラスごとの予測係数と、動き推定部１１３から供給される動きベクトルを多重化部１１７に供給する。
【００４３】
多重化部１１７は、制御部１１６からの最適圧縮データ（補正データ）と、クラスごとの予測係数、および動きベクトルを多重化し、その多重化結果を、符号化データとして、送信機／記録装置６６（図５）に供給する。
【００４４】
次に、図７のフローチャートを参照して、送信装置４１が実行する符号化処理について説明する。縮小画像作成部１１１に対して、画像データが供給されると、縮小画像作成部１１１は、ステップＳ１１において、縮小画像作成処理を実行する。
【００４５】
図８は、縮小画像作成処理の１つの例としての単純間引き処理を表している。
最初に、ステップＳ３１において、縮小画像作成部１１１は、圧縮される前の画像データを、ｍ×ｎ個の画素データで構成されるブロックに分割する。次に、ステップＳ３２において、ｍ×ｎ個の画素データの中から１つの画素データを抽出し、その画素データをそのブロックを代表する１つの画素データとする。
【００４６】
ステップＳ３３において、縮小画像作成部１１１は、以上の処理が、そのフレームの全てのブロックについて終了したか否かを判定し、まだ処理していないブロックが残っている場合には、ステップＳ３１に戻り、それ以降の処理を繰り返し実行する。全てのブロックについての処理が終了したと判定された場合、処理は終了される。
【００４７】
すなわち、この例においては、図９に示されるように、例えば３×３個（ｍ＝ｎ＝３）の画素データａ１乃至ａ９の中から、中央の１個の画素ａ５が選択される。同様にして、隣の３×３個のｂ１乃至ｂ９の９個の画素の中から、中央の画素ｂ５が選択される。
【００４８】
以上のような単純間引き処理が繰り返し実行されることで、入力された画像データは、１／９の縮小画像データに圧縮される。
【００４９】
図１０は、縮小画像作成処理の他の例を表している。この例においては、ステップＳ５１において、縮小画像作成部１１１は、入力された画像データをｍ×ｎ個のブロックに分割する。ステップＳ５２において、縮小画像作成部１１１は、ステップＳ５１の処理で分割されたｍ×ｎ個の画素の平均値を計算する。そして、その平均値をｍ×ｎ個の画素で構成されるブロックを代表する１つの画素とする。
【００５０】
ステップＳ５３において、縮小画像作成部１１１は、全てのブロックについて同様の処理を実行したか否かを判定し、まだ処理していないブロックが残っている場合にはステップＳ５１に戻り、それ以降の処理を繰り返し実行する。全てのブロックについての処理が終了したと判定された場合、処理は終了される。
【００５１】
このようにして、例えば、図１１に示されるように、ａ１乃至ａ９の３×３個の画素の平均値Ａが、次式に基づいて演算される。
【００５２】
【数１】
【００５３】
また、画素ｂ１乃至ｂ９の３×３個の画素の平均値Ｂが次式に基づいて演算される。
【００５４】
【数２】
【００５５】
さらに、同様に、画素ｃ１乃至ｃ９の３×３個の画素の平均値Ｃが次式に基づいて演算される。
【００５６】
【数３】
【００５７】
縮小画像作成部１１１で生成された縮小画像データ（圧縮データ）は、補正部１１２に供給され、最初は補正が行われずに、そのまま補正データとして、ローカルデコード部１１４と動き推定部１１３に供給される。
【００５８】
ステップＳ１２において、動き推定部１１３は、補正部１１２より供給された補正データに基づいて画像の動きを検出し、その動きに対応する動きベクトルを生成して、ローカルデコード部１１４と制御部１１６に出力する。この動きベクトル推定処理の詳細については、図１４と図１５を参照して後述する。
【００５９】
次に、ステップＳ１３において、ローカルデコード部１１４は、補正部１１２からの補正データ（最初は、上述したように縮小画像データそのもの）を、クラス分類適応処理に基づいてデコードする（復号する）。
【００６０】
この復号処理の詳細については、図１６乃至図１９を参照して後述するが、ローカルデコード部１１４は、補正部１１２より供給される補正データから、動き推定部１１３より供給される動きベクトルに基づいて、予測処理を行うための補正データ（予測タップ）で構成される予測値計算用ブロック（予測対象データ）を抽出し、その抽出した予測対象データに対して、クラス毎の予測係数を線形結合させることで、予測値を演算する。ローカルデコード部１１４で生成された予測値は、誤差算出部１１５に供給され、用いられた予測係数は、制御部１１６に供給される。
【００６１】
ここで、ローカルデコード部１１４が出力する予測値で構成される画像は、受信装置４４（図２）側において得られる復号画像と同一のものである。
【００６２】
ステップＳ１４において誤差算出部１１５は、ローカルデコード部１１４より供給された予測値と画像データ（縮小される前の画像データ）との予測誤差を算出し、誤差情報として制御部１１６に供給する。
【００６３】
ステップＳ１５において、制御部１１６は、誤差算出部１１５からの誤差情報に基づいて、最適化処理を実行する。すなわち、制御部１１６は、誤差算出部１１５からの予測誤差に基づいて、圧縮データを補正させる。補正部１１２は、制御部１１６からの制御信号に基づいて、補正量（後述する補正値Δ）を変更して圧縮データを補正し、その結果得られる補正データを動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力する。
【００６４】
ステップＳ１６において、動き推定部１１３は、画像の動きを再び検出し、動きベクトルを生成する。このとき、処理対象とされている補正データは、ステップＳ１２における場合とは異なる値に補正されているため、異なる動きベクトルが得られる可能性がある。
【００６５】
動き推定部１１３により生成された動きベクトルは、ローカルデコード部１１４に供給される。ローカルデコード部１１４は、ステップＳ１７において、ステップＳ１６の処理で動き推定部１１３により生成された動きベクトルを利用して、補正データの中から予測値計算用ブロックを抽出し、クラス分類適応処理を施すことで予測値を演算する。このとき、処理対象とされている予測値計算用ブロックは、ステップＳ１３の処理における場合と異なるものとなるため、多くの場合、得られる予測値も異なるものとなる。
【００６６】
ステップＳ１８において、誤差算出部１１５は、ステップＳ１７の処理でローカルデコード部１１４により生成された予測値の元の画像（原画像）の画像データとの差（予測誤差）を算出し、誤差情報として制御部１１６に出力する。
【００６７】
制御部１１６は、ステップＳ１９において、補正部１１２により生成された補正データを、原画像の符号化結果とすることの適正さを判定する。具体的には、例えば、予測誤差が所定の閾値εより小さいか否か、あるいは最適化処理を行った回数が、予め設定された所定の回数に達したか否かが判定される。予測誤差が所定の閾値εより大きい場合、あるいは、最適化の処理回数がまだ所定の回数に達していない場合、ステップＳ１５に戻り、それ以降の処理が繰り返し実行される。
【００６８】
ステップＳ１９において、予測誤差が所定の閾値εより小さくなったと判定された場合、あるいは最適化処理が所定の回数実行されたと判定された場合、制御部１１６は、補正データを原画像の符号化結果とすることが適正であると判定し、ステップＳ２０において、補正部１１２より、そのとき得られる補正データを最適圧縮データとして多重化部１１７に供給するとともに、ローカルデコード部１１４より、そのとき予測に用いられていた予測係数と、動き推定部１１３により生成された動きベクトルを多重化部１１７に出力する。多重化部１１７は、制御部１１６より供給される最適圧縮データ、予測係数および動きベクトルを多重化し、符号化データとして送信機／記録装置６６に供給する。
【００６９】
送信機／記録装置６６は、この符号化データを、記録媒体４２に記録したり、伝送路４３を介して伝送する。
【００７０】
以上のように、予測誤差が所定の閾値ε以下となるか、または、最適化処理が所定回数に達したときにおける、縮小画像データを補正した補正データを、原画像の符号化結果とするようにしたので、受信装置４４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００７１】
図１２は、図６の補正部１１２の構成例を示している。
【００７２】
補正回路１３１は、制御部１１６（図６）からの制御信号にしたがって、補正値ROM１３２にアドレスを与え、これにより、補正値Δを読み出す。そして、補正回路１３１は、縮小画像作成部１１１からの縮小画像データ（圧縮データ）に対して、補正値ROM１３２からの補正値Δを、例えば加算することで、補正データを生成し、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に供給する。補正値ROM１３２は、縮小画像作成部１１１が出力する圧縮データを補正するための、各種の補正値Δの組合せ（例えば、１フレーム分の圧縮データを補正するための補正値の組合せなど）を記憶しており、補正回路１３１から供給されるアドレスに対応する補正値Δの組合せを読み出して、補正回路１３１に供給する。
【００７３】
次に、図１３を参照して、図１２の補正部１１２の処理について説明する。
【００７４】
補正回路１３１は、縮小画像作成部１１１から圧縮データを受信すると、ステップＳ７１において、制御部１１６（図６）から制御信号を受信したかどうかを判定する。ステップＳ７１において、制御信号を受信していないと判定された場合、ステップＳ７２およびＳ７３の処理をスキップしてステップＳ７４に進み、補正回路１３１は、縮小画像作成部１１１からの圧縮データを、そのまま補正データとして、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力し、ステップＳ７１に戻る。
【００７５】
即ち、制御部１１６は、上述したように、誤差情報に基づいて、補正部１１２（補正回路１３１）を制御するようになされており、縮小画像作成部１１１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部１１５から出力されないため）、制御部１１６からは制御信号は出力されない。このため、縮小画像作成部１１１から圧縮データが出力された直後は、補正回路１３１は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力する。
【００７６】
一方、ステップＳ７１において、制御部１１６からの制御信号を受信したと判定された場合、ステップＳ７２に進み、補正回路１３１は、その制御信号にしたがったアドレスを、補正値ROM１３２に出力する。これにより、ステップＳ７２では、補正値ROM１３２から、そのアドレスに記憶されている、１フレーム分の圧縮データを補正するための補正値Δの組合せ（集合）が読み出され、補正回路１３１に供給される。補正回路１３１は、補正値ROM１３２から補正値Δの組合せを受信すると、ステップＳ７３において、１フレームの圧縮データそれぞれに、対応する補正値Δを加算し、これにより、圧縮データを補正した補正データを算出する。その後は、ステップＳ７４に進み、補正データが、補正回路１３１から動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力され、ステップＳ７１に戻る。
【００７７】
以上のようにして、補正部１１２は、制御部１１６の制御にしたがって、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。
【００７８】
なお、制御部１１６は、例えば、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、補正部１１２に供給するようになされており、補正部１１２は、ステップＳ７１において、そのような制御信号を受信したかどうかも判定する。ステップＳ７１において、１フレームの画像についての符号化を終了した旨の制御信号を受信したと判定された場合、補正部１１２は、そのフレーム（フィールド）に対する処理を終了し、次のフレームが供給された場合、ステップＳ７１乃至Ｓ７４の処理を繰り返す。
【００７９】
図１４は、動き推定部１１３の構成例を表している。フレームメモリ１５１乃至１５３には、補正部１１２より出力された補正データが、１フレームづつ順次入力され、記憶される。その結果、フレームメモリ１５２には、現在フレーム（後述する図１９の現在フレーム２０１）の補正データが記憶され、後段のフレームメモリ１５３には、現在フレーム２０１より時間的に１フレーム分だけ前の前フレーム（図１９の前フレーム２０２）の補正データが記憶され、フレームメモリ１５２より前段のフレームメモリ１５１には、現在フレームより１フレームだけ時間的に後の後フレーム（図１９の後フレーム２０３）の補正データが記憶される。
【００８０】
注目ブロック選択部１５４は、フレームメモリ１５２に記憶されている現在フレームの補正データの中から注目補正データ（後述する図１９の注目補正データ２１１）を中心とする所定の範囲の注目ブロックを選択し、予測値計算用ブロック化回路１６５に出力する。注目ブロック選択部１５４により選択された注目補正データの位置情報は、相対位置変化部１５５と相対位置変化部１５６に供給される。
【００８１】
相対位置変化部１５５は、注目補正データ２１１の位置に対応する後フレーム２０３の注目対応補正データ２３１（図１９）を中心として、所定の探索範囲内において、補正データの位置を変化させた位置情報をフレームメモリ１５１に供給し、その位置に対応する補正データをフレームメモリ１５１から読み出し、任意画素取得部１５７に出力する。
【００８２】
同様に、相対位置変化部１５６は、注目補正データ２１１に対応する前フレーム２０２の注目対応補正データ２１１（図１９）を中心として、所定の探索範囲内において、補正データの位置を変化させた位置情報をフレームメモリ１５３に出力し、その位置情報に対応する補正データを読み出し、任意画素取得部１５８に供給する。
【００８３】
任意画素取得部１５７により取得された後フレーム２０３の探索範囲内の補正データと、任意画素取得部１５８により取得された前フレーム２０２の探索範囲内の補正データは、予測値計算用ブロック化回路１６５に供給される。予測値計算用ブロック化回路１６５は、注目ブロック選択部１５４より供給された補正データ、並びに任意画素取得部１５７および任意画素取得部１５８より供給された補正データに基づいて、予測値計算用ブロックを生成し、その補正データを予測回路１６６に供給する。
【００８４】
クラス分類用ブロック化回路１６１は、注目ブロック選択部１５４を介して、フレームメモリ１５２より読み出された現在フレーム２０１の補正データからクラス分類用ブロックを抽出する。ADRC処理回路１６２は、クラス分類用ブロック化回路１６１より供給されたクラス分類用ブロックの補正データを、１ビットADRC処理する。
【００８５】
クラス分類回路１６３は、ADRC処理回路１６２より供給されたデータに基づいて、クラスコードを生成し、予測係数ROM１６４に出力する。予測係数ROM１６４は、クラス分類回路１６３より供給されたクラスコードに対応する予測係数を読み出し、予測回路１６６に出力する。
【００８６】
予測回路１６６は、予測値計算用ブロック化回路１６５より供給された補正データ（予測値計算用ブロック）と、予測係数ROM１６４より供給された予測係数との線形１次結合を計算して、注目補正データ２１１に対応する注目画素の予測値を演算する。
【００８７】
比較器１６７は、予測回路１６６より供給された予測値を内蔵するメモリ１６７Ａに記憶するとともに、相対位置変化部１５５と相対位置変化部１５６より供給された相対アドレス情報を、メモリ１６７Ａに記憶する。比較器１６７は、予測回路１６６により予測された予測値と入力画像データとの差を演算し、その差に対応する予測誤差が最小となる位置に対応する相対アドレス情報に基づいて、前フレーム２０２における前フレーム動きベクトルと、後フレーム２０３における後フレーム動きベクトルとを生成する。
【００８８】
これらのクラス分類用ブロック化回路１６１、ADRC処理回路１６２、クラス分類回路１６３、予測係数ROM１６４、予測値計算用ブロック化回路１６５、予測回路１６６、および比較器１６７により、クラス分類適応処理回路１５９が構成されている。
【００８９】
次に、図１４の動き推定部１１３の動きベクトル推定処理について、図１５のフローチャートを参照して説明する。
【００９０】
ステップＳ９１において、比較器１６７は、メモリ１６７Ａに比較値をセットする。この比較値は、後述するステップＳ９８において、評価値と比較するのに用いられる。この比較値は、評価値の最小値を検出するために用いられるので、このステップＳ９１の処理では、最大値に設定される。
【００９１】
ステップＳ９２において、相対位置変化部１５５と相対位置変化部１５６は、それぞれ内蔵する相対アドレス用メモリをクリアする。ステップＳ９３において、注目ブロック選択部１５４により、現在フレームの予測タップ取得処理が実行される。
【００９２】
すなわち、注目ブロック選択部１５４は、初期設定されたアドレスに基づいて、フレームメモリ１５２に記憶されている現在フレーム２０１の補正データから注目補正データ２１１を中心とする所定の範囲の予測タップ（補正データ）を読み出し、予測値計算用ブロック化回路１６５に出力する。後述する図１９の例においては、注目補正データ２１１を中心とする５×５の予測タップ２１３より構成される予測値計算用ブロック２５１が選択され、予測値計算用ブロック化回路１６５に入力される。
【００９３】
ステップＳ９４において、相対位置変化部１５６は、前フレーム予測タップ取得処理を実行する。すなわち、相対位置変化部１５６は、フレームメモリ１５３に記憶されている前フレーム２０２の補正データの中から、注目対応補正データ２２１を中心とする所定の探索内の１つの予測タップ２２２を選択し、その予測タップ２２２をフレームメモリ１５３から読み出して、任意画素取得ブロック１５８に出力する。任意画素取得ブロック１５８は、この予測タップ２２２を予測値計算用ブロック化回路１６５に出力する。
【００９４】
ステップＳ９５において、相対位置変化部１５５は、後フレーム予測タップ取得処理を実行する。すなわち、相対位置変化部１５５は、フレームメモリ１５１に記憶されている後フレーム２０３の補正データから、注目対応補正データ２３１を中心とする所定の探索範囲内の１つの予測タップ２３２を、フレームメモリ１５１から読み出し、任意画素取得部１５７に出力する。任意画素取得部１５７は、この予測タップ２３２を予測値計算用ブロック化回路１６５に出力する。
【００９５】
予測値計算用ブロック化回路１６５は、ステップＳ９３乃至ステップＳ９５の処理で取得された現在フレーム２０１の５×５個の補正データ、前フレーム２０２の１個の予測タップ（補正データ）２２２、および後フレーム２０３の１個の予測タップ（補正データ）２３２を、予測値計算用ブロックとして、予測回路１６６に出力する。
【００９６】
一方、ステップＳ９６において、クラス分類適応処理が実行される。すなわち、クラス分類用ブロック化回路１６１は、フレームメモリ１５２に記憶されている現在フレーム２０１の補正データのうち、注目ブロック選択部１５４を介して供給される注目ブロックの補正データから、例えば、後述する図１７に示されるクラス分類用ブロック２４２を構成する３×３個の補正データを読み出して、ADRC処理回路１６２に出力する。
【００９７】
ADRC処理回路１６２は、クラス分類用ブロック化回路１６１より供給された３×３個の補正データを、１ビットADRC処理して、９ビットのデータとして、クラス分類回路１６３に出力する。クラス分類回路１６３は、ADRC処理回路１６２より供給された９ビットのデータに基づいて、クラスコードを生成し、予測係数ROM１６４に出力する。予測係数ROM１６４は、クラス分類回路１６３より入力されたクラスコードに対応する予測係数を読み出し、予測回路１６６に出力する。なお、このようなADRC処理とクラス分類を行うことの意義については、図２１乃至図２４を参照して後述する。
【００９８】
予測回路１６６は、予測値計算用ブロック化回路１６５より入力された２７個の補正データと、予測係数ROM１６４より供給された２７個の予測係数との線形１次結合に基づいて、予測値を演算し、比較器１６７に出力する。
【００９９】
ステップＳ９７において、比較器１６７は、予測残差計算処理を実行する。すなわち、比較器１６７は、予測回路１６６より供給された予測値と、入力画像データとの差を予測残差として計算する。
【０１００】
ステップＳ９８において、比較器１６７は、ステップＳ９７の処理で計算した予測残差としての評価値と、ステップＳ９１の処理でセットされた比較値との大きさを比較する。評価値が比較値より小さいと判定された場合、ステップＳ９９に進み、比較器１６７は、ステップＳ９１の処理で最大値にセットされた比較値を、ステップＳ９７の処理で計算された評価値（予測残差）で書き換える（更新する）。
【０１０１】
ステップＳ１００において、比較器１６７は、そのとき予測値計算用ブロック化回路１６５において、予測値計算用ブロックとして構成されている後フレーム２０３の予測タップ２３２の注目対応補正データ２３１からの相対アドレス情報に基づく動きベクトル２３３を、メモリ１６７Ａに記憶する。
【０１０２】
ステップＳ９８において、評価値が比較値と等しいか、それより大きいと判定された場合には、ステップＳ９９とステップＳ１００の処理がスキップされる。
【０１０３】
ステップＳ１０１において、相対位置変化部１５５は、後フレーム２０３における所定の探索範囲内の探索が終了したか否かを判定し、まだ探索していない範囲が残っている場合には、ステップＳ１０２に進み、相対位置を変化させる。その後、ステップＳ９５に戻り、それ以降の処理が繰り返し実行される。
【０１０４】
以上の処理が繰り返されることで、フレームメモリ１５１に記憶された後フレーム２０３の予測タップ２３２のうち、予測誤差が最も小さい予測タップに対応する動きベクトル２３３がメモリ１６７Ａに記憶される。
【０１０５】
ステップＳ１０１において、後フレーム２０３の探索範囲内の処理が終了したと判定された場合、ステップＳ１０３に進み、相対位置変化部１５６は、前フレームの探索範囲の探索が全て終了したか否かを判定する。前フレーム２０２の探索範囲内の探索がまだ終了していない場合には、ステップＳ１０４に戻り、相対位置変化部１５６は、前フレーム２０２の予測タップ２２２の位置を探索範囲内において、異なる位置に変化させる。
【０１０６】
その後、ステップＳ９４に戻り、その変化された相対位置の予測タップ２２２が任意画素取得部１５７から予測値計算用ブロック化回路１６５に供給される。
【０１０７】
以下、ステップＳ９５乃至ステップＳ１０３の処理が前フレームの探索範囲内の全てにおいて、探索を終了したと判定されるまで、繰り返し実行される。
【０１０８】
以上の処理の結果、メモリ１６７Ａには、ステップＳ９８乃至Ｓ１００の処理により探索範囲内において、予測誤差が最小となる予測値に対応する前フレーム動きベクトル２２３と、後フレーム動きベクトル２３３が記憶される。
【０１０９】
ステップＳ１０５において、比較器１６７は、ステップＳ１００の処理で格納された相対アドレス（動きベクトル）をローカルデコーダ部１１４に出力する。
【０１１０】
図１６は、図６のローカルデコード部１１４の構成例を示している。
【０１１１】
補正部１１２からの補正データは、クラス分類用ブロック化回路２６１および予測値計算用ブロック化回路２６２に供給される。クラス分類用ブロック化回路２６１は、現在フレームの補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化する。
【０１１２】
即ち、いま、図１７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、黒の円形の印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路２６１は、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの補正データＸ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９個の補正データで構成されるクラス分類用ブロック２４２を構成する。このクラス分類用ブロック２４２は、クラス分類適応処理回路２６３に供給される。
【０１１３】
なお、この場合、クラス分類用ブロック２４２は、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロック２４２の形状は、正方形である必要はなく、その他、例えば、図１８に示されるように菱形にしたり、長方形、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【０１１４】
予測値計算用ブロック化回路２６２は、動きベクトルに基づいて、補正データを、元の画像の予測値を計算するための単位である、注目補正データを基準とした予測値計算用ブロックにブロック化する。即ち、現在フレームにおいては、図１７に示されるように、補正データＸij（図中、黒い円形の印で示す部分）を中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路２６２は、例えば、注目補正データＸijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロック２５１を構成する。
【０１１５】
具体的には、例えば、図１７において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の９画素の予測値の計算のために、現在フレームにおいては、画素Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される（この場合の注目補正データは、Ｘ33となる）。
【０１１６】
予測値計算用ブロック化回路２６２は、さらに、動き推定部１１３より供給される動きベクトルに基づいて、図１９に示されるように、現在フレーム２０１より時間的に前の前フレーム２０２と、時間的に後の後フレーム２０３の補正データからも、予測値計算用ブロック部２５１を構成する補正データを抽出する。
【０１１７】
図１９の現在フレーム２０１は、図１７に示されるフレームである。図１９には、図１７に黒い丸印で示される補正データのみが示されている。すなわち、図１９においては、図１７における白い丸印で示される原画像の画素は、その図示が省略されている。
【０１１８】
現在フレーム２０１の注目補正データ２１１は、図１７の注目補正データＸ33に対応し、注目補正データ２１１より左側に２個、かつ上側に２個移動した位置の補正データ２１２は、図１７の補正データＸ11に対応し、注目補正データ２１１のすぐ上の補正データとしての予測タップ２１３は、図１７の補正データＸ23に対応する。
【０１１９】
現在フレーム（ｔ＝Ｔのフレーム）２０１より時間的に１フレーム前の前フレーム（ｔ＝Ｔ−１のフレーム）２０２における注目対応補正データ２２１は、現在フレーム２０１の注目補正データ２１１に対応する位置の補正データである。
予測タップ２２２を構成する補正データは、動き推定部１１３の動きベクトル検出部１５５により検出された前フレーム動きベクトル２２３に基づいて、注目補正データ２２１を移動した位置の補正データである。予測値計算用ブロック化回路２６２は、この予測タップ２２２も、予測値計算用ブロック２５１を構成する補正データとして抽出する。
【０１２０】
同様に、予測値計算用ブロック化回路２６２は、現在フレーム２０１より時間的に後の後フレーム（ｔ＝Ｔ＋１のフレーム）２０３における、現在フレーム２０１の注目補正データ２１１に対応する位置の補正データである注目対応補正データ２３１を、動きベクトル検出部１５４により検出された後フレーム動きベクトル２３３に基づいて移動した位置の補正データである予測タップ２３２を、予測値計算用ブロック２５１を構成する補正データとして抽出する。
【０１２１】
このように、この例においては、現在フレーム内の補正データだけでなく、現在フレームより時間的に前、または後のフレームの補正データが、予測値計算用ブロック２５を構成する補正データとされるため、特に、原画像が動画像である場合においても、正確に原画像を復元することが可能となる。
【０１２２】
図２０は、横軸を時間軸方向とし、縦軸をフレームの水平方向または垂直方向として、図１９の前フレーム２６２、現在フレーム２０１、および後フレーム２０３の注目補正データと予測タップの位置関係を表している。
【０１２３】
予測値計算用ブロック化回路２６２において得られた予測値計算用ブロック２５１の補正データは、クラス分類適応処理回路２６３に供給される。
【０１２４】
なお、予測値計算用ブロック２５１についても、クラス分類用ブロック２４２における場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロック２５１を構成する画素数は、クラス分類用ブロック２４２を構成する画素数よりも多くするのが望ましい。
【０１２５】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素（補正データ）が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【０１２６】
クラス分類適応処理回路２６３は、ADRC（Adaptive Dynamic Range Coding）処理回路２４４、クラス分類回路２６５、予測係数ROM２６６、および予測回路２６７で構成され、クラス分類適応処理を行う。
【０１２７】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【０１２８】
ここで、クラス分類処理および適応処理について簡単に説明する。
【０１２９】
まず、クラス分類処理について説明する。
【０１３０】
いま、例えば、図２１に示されるように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図２２に示されるように、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路２６５において行われる。
【０１３１】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【０１３２】
ところで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロック２４２は、３×３の９個の補正データで構成される。従って、このようなクラス分類用ブロック２４２を対象にクラス分類処理を行うものとすると、（２8）9という膨大な数のクラスが発生することになる。
【０１３３】
そこで、本実施の形態においては、ADRC処理回路２６４において、クラス分類用ブロック２４２に対して、ADRC処理が施され、これにより、クラス分類用ブロック２４２を構成する補正データのビット数を小さくすることで、クラス数が削減される。
【０１３４】
即ち、例えば、いま、説明を簡単にするため、図２３に示されるように、４個の画素（補正データ）で構成されるブロックを考えると、ADRC処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮが、そのブロックの局所的なダイナミックレンジとされ、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【０１３５】
即ち、ブロック内の各画素値から、最小値ＭＩＮが減算され、その減算された値がＤＲ／２Kで除算される。そして、各画素値は、その結果得られる除算値に対応するコード（ADRCコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図２４に示されるように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側（受信装置４４）において、ADRCコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【０１３６】
このようなADRC処理はノンエッジマッチングと呼ばれる。
【０１３７】
なお、ADRC処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【０１３８】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うADRC処理を施すことにより、上述したように、クラス数を削減することができ、このようなADRC処理が、ADRC処理回路２６４において行われる。
【０１３９】
なお、本実施の形態では、クラス分類回路２６５において、ADRC処理回路２６４から出力されるADRCコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【０１４０】
次に、適応処理について説明する。
【０１４１】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（補正データの値）（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１４２】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１４３】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数４】
で定義すると、次のような観測方程式が成立する。
【０１４４】
ＸＷ＝Ｙ’
・・・（２）
【０１４５】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数５】
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１４６】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１４７】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数６】
を最小にすることで求めることができる。
【０１４８】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１４９】
【数７】
・・・（４）
【０１５０】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１５１】
【数８】
・・・（５）
【０１５２】
式（４）および（５）より、式（６）が得られる。
【０１５３】
【数９】
・・・（６）
【０１５４】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１５５】
【数１０】
・・・（７）
【０１５６】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１５７】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理に基づく予測処理が、予測回路２６７において行われる。
【０１５８】
なお、適応処理は、間引かれた画像（圧縮データ）には含まれていない、元の画像に含まれる成分が再現される点で、単なる補間処理とは異なる。即ち、適応処理は、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１５９】
次に、図２５のフローチャートを参照して、図１６のローカルデコード部１１４の処理について説明する。
【０１６０】
ローカルデコード部１１４においては、まず最初に、ステップＳ１２１において、補正部１１２からの補正データがブロック化される。即ち、クラス分類用ブロック化回路２６１において、補正データが、注目補正データ（図１７の補正データＸ33）を中心とする３×３画素のクラス分類用ブロック２４２（図１７）にブロック化され、クラス分類適応処理回路２６３に供給されるとともに、予測値計算用ブロック化回路２６２において、現在フレームの補正データが、注目補正データ２１１（Ｘ33）を中心とする５×５画素の予測値計算用ブロック２５１（図１７、図１９）にブロック化される。
【０１６１】
さらにまた、予測値計算用ブロック化回路２６２は、動き推定部１１３より供給される前フレーム動きベクトル２２３に対応して求められる前フレーム２０２の補正データである予測タップ２２２と、後フレーム動きベクトル２３３に対応して求められる後フレーム２０３の補正データである予測タップ２３２を、それぞれ予測値計算用ブロック２５１を構成する補正データとする（図１９）。従って、この例の場合、結局、合計２７個（＝５×５＋１＋１）の補正データが予測値計算用ブロック２５１の補正データとしてクラス分類適応処理回路２６３に供給される。
【０１６２】
クラス分類適応処理回路２６３において、クラス分類用ブロック２４２はADRC処理回路２６４に供給され、予測値計算用ブロック２５１は予測回路２６７に供給される。
【０１６３】
ADRC処理回路２６４は、クラス分類用ブロック２４２を受信すると、ステップＳ１２２において、そのクラス分類用ブロック２４２に対して、例えば、１ビットのADRC（１ビットで再量子化を行うADRC）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路２６５に出力する。クラス分類回路２６５は、ステップＳ１２３において、ADRC処理が施されたクラス分類用ブロック２４２に基づいて、クラス分類処理を実行する。即ち、ADRC処理が施されたクラス分類用ブロック２４２を構成する各補正データのレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロック２４２を構成する注目補正データ２１１（中心に配置された補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、予測係数ROM２６６に供給される。
【０１６４】
なお、本実施の形態においては、１ビットのADRC処理が施された３×３の９個の補正データで構成されるクラス分類用ブロック２４２に対して、クラス分類処理が施されるので、各クラス分類用ブロック２４２は、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１６５】
そして、ステップＳ１２４に進み、予測係数ROM２６６において、クラス分類回路２６５からのクラス情報に基づいて、予測係数が読み出され、予測回路２６７に供給される。予測回路２６７は、ステップＳ１２５において、各クラスごとに適応処理を施し、これにより、１フレームの元の画像データ（原画像データ）の予測値を算出する。
【０１６６】
即ち、本実施の形態においては、例えば、クラスごとに２７×９個の予測係数が読み出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する元画像の画素と、その画素の周りに隣接する８個の元画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２７×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１６７】
具体的には、例えば、いま、図１７に示した補正データ（注目補正データ）Ｘ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロック２４２についてのクラス情報Ｃが、クラス分類回路２６５から出力され、また、そのクラス分類用ブロック２４２に対応する予測値計算用ブロック２５１として、現在フレームの補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55と、前フレームの予測タップ２２２としての対応する補正データＸmv1と、後フレームの予測タップ２３２としての補正データＸmv2でなる予測値計算用ブロック２５１が、予測値計算用ブロック化回路２６２から出力される。
【０１６８】
そして、クラス情報Ｃについての予測係数ｗ1乃至ｗ27と、予測値計算用ブロック２５１とを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１６９】
【０１７０】
ステップＳ１２５では、以上のようにして、２７×９個のクラスごとの予測係数を用いて、注目補正データを中心とする３×３個の原画像の画素の予測値が求められる。
【０１７１】
その後、ステップＳ１２６に進み、クラスごとの２７×９個の予測係数は制御部１１６に供給され、３×３個の予測値は誤差算出部１１５に供給される。そして、ステップＳ１２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。
【０１７２】
図２６は、図６の誤差算出部１１５の構成例を示している。
【０１７３】
ブロック化回路３５１には、元の画像データ（縮小される前の原画像の画像データ）が供給されている。ブロック化回路３５１は、その画像データを、ローカルデコード部１１４から出力される予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロック（例えば、図１７に四角形で囲んで示すような３×３画素のブロック）を、自乗誤差算出回路３５２に出力する。自乗誤差算出回路３５２には、上述したように、ブロック化回路３５１から元の画像データのブロックが供給される他、ローカルデコード部１１４から予測値が、９個単位（３×３画素のブロック単位）で供給される。自乗誤差算出回路３５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部３５５に供給する。
【０１７４】
即ち、自乗誤差算出回路は３５２は、演算器３５３および３５４で構成されている。演算器３５３は、ブロック化回路３５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器３５４に供給する。演算器３５４は、演算器３５３の出力（元の画像データと予測値との差分）を自乗し、積算部３５５に供給する。
【０１７５】
積算部３５５は、自乗誤差算出回路３５２から自乗誤差を受信すると、メモリ３５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ３５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求める。さらに、積算部３５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ３５６から読み出し、誤差情報として、制御部１１６に供給する。メモリ３５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部３５５の出力値を記憶する。
【０１７６】
次に、その動作について、図２７のフローチャートを参照して説明する。誤差算出部１１５では、まず最初に、ステップＳ１３１において、メモリ３５６の記憶値が、例えば０にクリア（初期化）され、ステップＳ１３２に進み、ブロック化回路３５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路３５２に供給される。自乗誤差算出回路３５２では、ステップＳ１３３において、ブロック化回路３５１から供給されるブロックを構成する、元の画像（原画像）の画像データと、ローカルデコード部１１４から供給される予測値との自乗誤差が算出される。
【０１７７】
即ち、ステップＳ１３３では、演算器３５３において、ブロック化回路３５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器３５４に供給される。演算器３５４は、演算器３５３の出力を自乗し、積算部３５５に供給する。
【０１７８】
積算部３５５は、自乗誤差算出回路３５２から自乗誤差を受信すると、ステップＳ１３４において、メモリ３５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部３５５において算出された自乗誤差の積算値は、メモリ３５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１７９】
そして、積算部３５５では、ステップＳ１３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ１３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ１３２に戻り、再び、ステップＳ１３２からの処理が繰り返される。また、ステップＳ１３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ１３６に進み、積算部３５５は、メモリ３５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、制御部１１６に出力する。そして、ステップＳ１３１に戻り、次のフレームについての原画像および予測値が供給されるのを待って、再び、ステップＳ１３１からの処理が繰り返される。
【０１８０】
従って、誤差算出部１１５では、元の画像データをＹij（ｋ）とするとともに、その予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１８１】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１８２】
図２８は、図６の制御部１１６の構成例を示している。
【０１８３】
動きベクトルメモリ３６０は、動き推定部１１３から供給された動きベクトルを記憶する。予測係数メモリ３６１は、ローカルデコード部１１４から供給される予測係数を記憶する。補正データメモリ３６２は、補正部１１２から供給される補正データを記憶する。
【０１８４】
なお、補正データメモリ３６２は、補正部１１２において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶する。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部１１４からは、その新たな補正データに対応する、新たなクラスごとの予測係数のセットが出力されるが、予測係数メモリ３６１も、このように新たなクラスごとの予測係数が供給された場合には、既に記憶しているクラスごとの予測係数（前回のクラスごとの予測係数）に代えて、その新たなクラスごとの予測係数を記憶する。動きベクトルメモリ３６０も同様に、最初の動きベクトルに順次更新する処理を行う。
【０１８５】
誤差情報メモリ３６３は、誤差算出部１１５から供給される誤差情報を記憶する。なお、誤差情報メモリ３６３は、誤差算出部１１５から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶する（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持する）。また、誤差情報メモリ３６３は、新たなフレームについての処理が開始されるごとにクリアされる。
【０１８６】
比較回路３６４は、誤差情報メモリ３６３に記憶された今回の誤差情報と、予め設定されている所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行う。比較回路３６４における比較結果は、制御回路３６５に供給される。
【０１８７】
制御回路３６５は、比較回路３６４における比較結果に基づいて、補正データメモリ３６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、補正部１１２（補正回路１３１）（図１２）に供給する。また、制御回路３６５は、補正データメモリ３６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ３６１に記憶されているクラスごとの予測係数を読み出し、多重化部１１７に出力するとともに、補正データメモリ３６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部１１７に供給する。さらに、この場合、制御回路３６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、補正部１１２に出力し、これにより、上述したように、補正部１１２に、次のフレームについての処理を開始させる。
【０１８８】
次に、図２９を参照して、制御部１１６が実行する最適化処理について説明する。
【０１８９】
制御部１１６では、まず最初に、ステップＳ１４１において、誤差算出部１１５から誤差情報を受信したかどうかが、比較回路３６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ１４１に戻る。また、ステップＳ１４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ３６３に誤差情報が記憶された場合、ステップＳ１４２に進み、比較回路３６４において、誤差情報メモリ３６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１９０】
ステップＳ１４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路３６４において、誤差情報メモリ３６３に記憶されている前回の誤差情報が読み出される。そして、比較回路３６４は、ステップＳ１４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１９１】
なお、１フレームについての処理が開始され、最初に誤差情報が供給された場合には、誤差情報メモリ３６３には、前回の誤差情報は記憶されていない。そこで、この場合には、制御部１１６においては、ステップＳ１４３以降の処理は行われず、制御回路３６５において、所定の初期アドレスを補正値ROM１３２に出力するように、補正回路１３１（図１２）を制御する制御信号が出力される。
【０１９２】
ステップＳ１４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ１４４に進み、制御回路３６５は、補正値Δを、前回と同様に変化させるように指示する制御信号を、補正回路１３１に出力し、ステップＳ１４１に戻る。また、ステップＳ１４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ１４５に進み、制御回路３６５は、補正値Δを、前回と逆に変化させるように指示する制御信号を、補正回路１３１に出力し、ステップＳ１４１に戻る。
【０１９３】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路３６５は、補正値Δを、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力する。
【０１９４】
そして、ステップＳ１４１乃至Ｓ１４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ１４２において、今回の誤差情報が、所定の閾値εより小さくなったと判定された場合、ステップＳ１４６に進み、制御回路３６５は、予測係数メモリ３６１に記憶されているクラスごとの予測係数を読み出すとともに、補正データメモリ３６２に記憶されている１フレームの補正データを、最適圧縮データとして読み出し、多重化部１１７に供給される。また、動きベクトルメモリ３６０に記憶されている最適圧縮データに対応する動きベクトルも、読み出され、多重化部１１７に供給され、処理を終了する。
【０１９５】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図２９に示すフローチャートにしたがった処理が繰り返される。
【０１９６】
なお、補正回路１３１には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路３６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、例えば、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値Δだけ補正するような処理を行わせる制御信号を、制御回路３６５から補正回路１３１に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１９７】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４４（図２）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１９８】
また、画像は、間引き処理により圧縮される他、ADRC処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置４１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１９９】
図３０は、図２の受信装置４４のハードウェアの構成例を表している。
【０２００】
受信機／再生装置４６６は、送信装置４１が符号化データを記録した記録媒体４２を再生したり、送信装置４１が伝送路４３を介して伝送した符号化データを受信する。I/F４６１は、受信機／再生装置４６６に対しての符号化データの受信処理を行うとともに、復号された画像データを図示せぬ装置に出力する処理を実行する。
【０２０１】
ROM（Read Only Memory）４６２は、IPL（Initial Program Loading）用のプログラムその他を記憶している。RAM（Random Access Memory）４６３は、外部記憶装置４６５に記録されているシステムプログラム（OS（Operating System））やアプリケーションプログラムを記憶したり、また、CPU（Central Processing Unit）４６４の動作上必要なデータを記憶する。CPU４６４は、ROM４６２に記憶されているIPLプログラムにしたがい、外部記憶装置４６５からシステムプログラムおよびアプリケーションプログラムを、RAM４６３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ４６１から供給される符号化データについての、後述するような復号処理を行う。
【０２０２】
外部記憶装置４６５は、例えば、磁気ディスク４７１、光ディスク４７２、光磁気ディスク４７３、または半導体メモリ４７４などでなり、上述したように、CPU４６４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、CPU４６４の動作上必要なデータも記憶している。
【０２０３】
なお、Ｉ／Ｆ４６１，ROM４６２，RAM４６３，CPU４６４、および外部記憶装置４６５は、相互にバスを介して接続されている。
【０２０４】
以上のように構成される受信装置４４においては、Ｉ／Ｆ４６１に受信機／再生装置４６６から符号化データが供給されると、その符号化データは、CPU４６４に供給される。CPU４６４は、符号化データを復号し、その結果得られる復号データを、Ｉ／Ｆ４６１に供給する。Ｉ／Ｆ４６１は、復号データ（画像データ）を受信すると、それを、図示せぬディスプレイ等に出力し、表示させる。
【０２０５】
図３１は、図３０の受信装置４４の受信機／再生装置４６６を除く部分の機能的な構成例を示している。
【０２０６】
受信機／再生装置４６６においては、記録媒体４２に記録された符号化データが再生されるか、または伝送路４３を介して伝送されてくる符号化データ（処理対象データ）が受信されるか、分離部５７２に供給される。分離部５７２では、符号化データから、補正データ（最適圧縮データ）、クラスごとの予測係数、および動きベクトルが抽出される。補正データは、クラス分類用ブロック化回路５７３、および予測値計算用ブロック化回路５７７に供給され、クラスごとの予測係数は、予測回路５７６に供給されて、その内蔵するメモリ５７６Ａに記憶される。また、動きベクトルは、予測値計算用ブロック化回路５７７に供給される。
【０２０７】
クラス分類用ブロック化回路５７３、ADRC処理回路５７４、クラス分類回路５７５、予測回路５７６、または予測値計算用ブロック化回路５７７は、図１６におけるクラス分類用ブロック化回路２６１、ADRC処理回路２６４、クラス分類回路２６５、予測回路２６７、または予測値計算用ブロック化回路２６２と、それぞれ同様に構成されている。従って、これらのブロックにおいては、図１４と図１６における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路５７７からは予測値計算用ブロックが出力され、また、クラス分類回路５７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路５７６に供給される。
【０２０８】
予測回路５７６は、クラス分類回路５７５から供給されるクラス情報に対応した２７×９個の予測係数を、メモリ５７６Ａから読み出し、その２７×９個の予測係数と、予測値計算用ブロック化回路５７７から供給される５×５画素の予測値計算用ブロック２５１を構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される画像を、復号画像として、例えば、１フレーム単位で出力する。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０２０９】
次に、図３１の受信装置４４の復号処理について、図３２のフローチャートを参照して説明する。
【０２１０】
最初に、ステップＳ１６０において、受信機／再生装置４６６は、符号化データを取得し、ステップＳ１６１において、分離部５７２は、受信機／再生装置４６６より供給された符号化データから、補正データと予測係数を分離し、補正データをクラス分類用ブロック化回路５７３、動き推定部５７７、および予測値計算用ブロック化回路５７７に供給するとともに、予測係数を予測回路５７６のメモリ５７６Ａに供給する。
【０２１１】
ステップＳ１６２において、クラス分類用ブロック化回路５７３は、クラス分類用ブロック化処理を行い、クラス分類用ブロックをADRC処理回路５７４に供給する。
【０２１２】
ステップＳ１６３において、ADRC処理回路５７４は、クラス分類用ブロック化回路５７３より供給されたクラス分類用ブロックの補正データを１ビットADRC処理し、クラス分類回路５７５に出力する。
【０２１３】
クラス分類回路５７５は、ステップＳ１６４において、ADRC処理回路５７４より供給されたデータに基づいて、クラス分類処理を行い、クラスコードを予測回路５７６に出力する。
【０２１４】
ステップＳ１６５において、予測回路５７６は、メモリ５７６Ａに記憶されている、クラスコードに対応する予測係数を読み出す。
【０２１５】
予測値計算用ブロック化回路５７７は、ステップＳ１６６において、分離部５７２より供給される前フレーム動きベクトルと後フレーム動きベクトルに基づいて、やはり分離部５７２より供給される補正データの中から、予測値計算用ブロックを構成する補正データを抽出する。
【０２１６】
ステップＳ１６７において、予測回路５７６は、ステップＳ１６５の処理で読み出した、クラス分類回路５７５から供給されるクラス情報に対応した２７×９個の予測係数と、予測値計算用ブロック化回路５７７から供給される２７個の予測値計算用ブロックを構成する補正データとを用い、式（１）に従って、原画像の３×３画素の予測値を算出する。
【０２１７】
その後、ステップＳ１６８に進み、予測回路５７６は、ステップＳ１６７の処理で算出した予測値を復号結果として出力する。
【０２１８】
なお、受信側においては、図３１に示すような受信装置４４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）が劣化したものとなる。
【０２１９】
図３３は、図１６の予測係数ROM２６６に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０２２０】
この画像処理装置には、あらゆる画像に適応可能な予測係数を得るための学習用の画像データ（学習用画像）が供給される。図１４に示される動き推定部１１３と同様に構成される動き推定部５９０は、入力された画像データから、前フレーム動きベクトルと後フレーム動きベクトルを検出し、学習用ブロック化回路５９１に供給する。
【０２２１】
学習用ブロック化回路５９１は、動き推定部５９０から供給される動きベクトルに基づいて、画像データから学習用ブロックを抽出し、ADRC処理回路５９３と学習データメモリ５９６に供給する。ADRC処理回路５９３は、学習用ブロック化回路５９１より供給される学習用ブロックを１ビットADRC処理し、処理した結果をクラス分類回路５９４に出力する。
【０２２２】
クラス分類回路５９４は、ADRC処理回路５９３より供給されたデータをクラス分類し、得られた結果をスイッチ５９５の端子ａを介して学習データメモリ５９６のアドレス端子に供給する。
【０２２３】
スイッチ５９５はまた、端子ｂからカウンタ５９７の出力を学習データメモリ５９６のアドレス端子に供給する。
【０２２４】
教師用ブロック化回路５９２は、画像データから教師用ブロックを抽出し、教師データメモリ５９８に出力する。教師データメモリ５９８のアドレス端子には、スイッチ５９５により、端子ａから取り込まれたクラス分類回路５９４の出力、または端子ｂから取り込まれたカウンタ５９７の出力が供給されている。
【０２２５】
演算回路５９９は、学習データメモリ５９６の出力と、教師データメモリ５９８の出力とを演算し、演算して得られた結果をメモリ６００に供給する。メモリ６００のアドレス端子には、カウンタ５９７の出力が供給されている。
【０２２６】
次に、図３４のフローチャートを参照して、図３３の画像処理装置の学習処理について説明する。
【０２２７】
ステップＳ１８１において、動き推定部５９０は、入力された画像データから前フレーム動きベクトルと後フレーム動きベクトルを抽出し、学習量ブロック化回路５９１に出力する。
【０２２８】
学習用ブロック化回路５９１は、ステップＳ１８２において、入力される画像データから、例えば、図１７に黒い円形の印で示した位置関係の２５画素（５×５画素）、並びに、図１９に示される前フレームの予測タップ２２２と後フレームの予測タップ２３２に対応する２個の画素を抽出し、この２７画素で構成されるブロックを、学習用ブロックとして、ADRC処理５９３および学習データメモリ５９６に供給する。
【０２２９】
また、教師用ブロック化回路５９２は、ステップＳ１８３において、入力される画像データから、例えば、３×３個の９画素で構成されるブロックを生成し、この９画素で構成されるブロックを、教師用ブロックとして、教師データメモリ５９８に供給する。
【０２３０】
なお、学習用ブロック化回路５９１において、例えば、図１７と図１９に黒い円形の印で示した位置関係の２７画素を含む学習用ブロックが生成されるとき、教師用ブロック化回路５９２では、図１７に四角形で囲んで示される３×３画素の教師用ブロックが生成される。
【０２３１】
ADRC処理回路５９３は、ステップＳ１８４において、学習用ブロックを構成する２７画素から、例えば、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図１６のADRC処理回路２６４における場合と同様に、１ビットのADRC処理を施す。ADRC処理の施された３×３画素のブロックは、クラス分類回路５９４に供給される。クラス分類回路５９４は、ステップＳ１８５において、図１６のクラス分類回路２６５における場合と同様に、ADRC処理回路５９３からのブロックをクラス分類処理し、それにより得られるクラス情報を、スイッチ５９５の端子ａを介して、学習データメモリ５９６および教師データメモリ５９８に供給する。
【０２３２】
学習データメモリ５９６または教師データメモリ５９８は、それぞれステップＳ１８６，Ｓ１８７において、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路５９１からの学習用ブロックまたは教師用ブロック化回路５９２からの教師用ブロックを、それぞれ記憶する。
【０２３３】
従って、学習データメモリ５９６において、例えば、図１７と図１９に黒い円形の印で示した２７（＝５×５＋２）個の画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ５９８においては、そのアドレスと同一のアドレスに、図１７において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０２３４】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１６のローカルデコード部１１４において、その学習用ブロックを構成する２７画素と同一の位置関係を有する２７個の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ５９６と、教師用データメモリ５９８とにおいて、同一のアドレスに記憶される。
【０２３５】
なお、学習用データメモリ５９６と教師用データメモリ５９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０２３６】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ５９６と教師データメモリ５９８に記憶されると、ステップＳ１８８において、端子ａを選択していたスイッチ５９５が、端子ｂに切り替わり、これにより、カウンタ５９７の出力が、アドレスとして、学習データメモリ５９６および教師データメモリ５９８に供給される。カウンタ５９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ５９６または教師データメモリ５９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路５９９に供給される。
【０２３７】
従って、演算回路５９９には、カウンタ５９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０２３８】
演算回路５９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０２３９】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２４０】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０２４１】
そこで、演算回路５９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。従って、この処理をクラスごとに行うことにより、各クラスごとに、２７×９個の予測係数が生成される。
【０２４２】
演算回路５９９において求められた、クラスごとの予測係数は、ステップＳ１８９において、メモリ６００に供給される。メモリ６００には、演算回路５９９からの予測係数の他、カウンタ５９７からカウント値が供給されており、これにより、メモリ６００においては、演算回路５９９からの予測係数が、カウンタ５９７からのカウント値に対応するアドレスに記憶される。
【０２４３】
以上のようにして、メモリ６００には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２７×９個の予測係数が記憶される。
【０２４４】
図１６の予測係数ROM２６６には、以上のようにしてメモリ６００に記憶されたクラスごとの予測係数が記憶される。
【０２４５】
なお、図１９の例においては、現在フレーム２０１の１フレーム前の前フレーム２０２と、１フレーム後の後フレーム２０３からも予測タップを抽出するようにしたが、例えば、図３５に示されるように、前フレーム２０２よりさらに１フレーム前の前フレーム２０４において、注目補正データ４５１に対して動きベクトル４５３に対応する位置の補正データを予測タップ４５２として抽出し、さらに、後フレーム２０３よりさらに１フレームだけ後の後フレーム２０５における注目対応補正データ４６１に対して動きベクトル４６３に対応する位置の補正データで構成される予測タップ４６２を抽出し、それらも予測値計算用ブロックの補正データとすることができる。
【０２４６】
また、以上においては、現在フレームより前のフレームと後のフレームの両方から予測タップを抽出するようにしたが、少なくとも一方からだけ予測タップを抽出するようにしてもよい。
【０２４７】
但し、時間的により広い範囲から予測タップを抽出するようにした方が、動きが速い動画像が原画像である場合においても、より、原画像に近い画像を復号することが可能となる。
【０２４８】
以上においては、動き推定部１１３、ローカルデコード部１１４、および誤差算出部１１５を別の構成としたが、これらを一体に構成することも可能である。
図３６は、この場合における動き推定部１１３（ローカルデコード部１１４および誤差算出部１１５）の構成例を表している。すなわち、この例においては、比較器１６７より予測誤差に基づく誤差情報が制御部１１６に供給される。また、予測係数ROM１６４から読み出された予測係数が、制御部１１６に供給される。
【０２４９】
従って、図６における動き推定部１１３、ローカルデコード部１１４、および誤差算出部１１５を一体化した構成とすることができる。
【０２５０】
図３７は、動き推定部１１３の他の構成例を表している。
【０２５１】
この動き推定部１１３においては、フレームメモリ７２０乃至７２２に、補正データが１フレーム分づつ順次転送され、保持される。従って、フレームメモリ７２１には現在フレームの補正データが、フレームメモリ７２２には前フレームの補正データが、そして、フレームメモリ７２０には後フレームの補正データが、それぞれ保持される。
【０２５２】
アドレス設定部７２３−１は、フレームメモリ７２０，７２２に記憶されている補正データのうち、所定の探索範囲（フレームメモリ７２１に記憶されている現在フレーム２０１の注目補正データ２１１に対応する探索範囲）内の第１の位置（動きベクトルｖ０に対応する位置）の予測タップを構成する任意の数の補正データのアドレスを設定し、そのアドレスに対応する補正データ、すなわち、予測タップを構成する補正データを読み出し、クラス分類適応処理回路７２４−１に供給する。アドレス設定部７２３−１は、また、フレームメモリ７２１に記憶されている補正データのうち、注目補正データ２１１を中心とする所定の範囲の予測タップを構成する補正データを読み出し、クラス分類適応処理回路７２４−１に供給する。さらに、また、アドレス設定部７２３−１は、フレームメモリ７２１に記憶されている現在フレームから、クラスタップを構成する補正データを読み出し、クラス分類適応処理回路７２４−１に供給する。
【０２５３】
クラス分類適応処理回路７２４−１は、アドレス設定部７２３−１より供給された予測タップとクラスタップの補正データに基づいて、クラス分類適応処理を行い、注目補正データ２１１に対応する注目画素の予測値を演算する。
【０２５４】
アドレス設定部７２３−２は、探索範囲内の第２の位置（第２の動きベクトルｖ１に対応する位置）の予測タップとクラスタップの画素データを抽出し、クラス分類適応処理回路７２４−２に供給する。クラス分類適応処理回路７２４−２は、アドレス設定部７２３−２より供給された予測タップとクラスタップの補正データに基づいて、クラス分類適応処理を行い、予測値を演算する。
【０２５５】
同様の構成が、探索範囲内を探索して得られる動きベクトルの数（ｎ個）だけ設けられている。すなわち、アドレス設定部とクラス分類適応処理部の組み合わせがｎ組用意されている。例えば、探索範囲が水平方向と垂直方向ともにマイナス８からプラス８までであるとすると、ｎの数は２８９（＝１７×１７）となる。
【０２５６】
比較器７２５は、クラス分類適応処理回路７２４−１乃至７２４−ｎから供給されるｎ個の予測値を、入力画像データの注目画素と比較し、その差を予測残差として検出するとともに、予測残差のうちの最初の予測残差を評価値として選択する。
【０２５７】
閾値判定部７２６は、比較器７２５より供給される最小の予測残差（評価値）を閾値と比較する。評価値が閾値と等しいか、それより小さい場合には、閾値判定部７２６は、動きベクトルを出力する。閾値判定部７２６は、予測残差が閾値よりも大きい場合には、予測残差そのものを出力する。
【０２５８】
次に、図３７の動き推定部１１３の処理について、図３８と図３９のフローチャートを参照して説明する。
【０２５９】
なお、アドレス設定部７２３−１乃至７２３−ｎは、例えば、図１６におけるクラス分類用ブロック化回路２６１と予測値計算用ブロック化回路７４２を内蔵しており、クラス分類適応処理回路７２４−１乃至７２４−ｎは、それぞれ図１６のクラス分類適応処理回路２６３と同様に、ADRC処理回路、クラス分類回路、予測係数ROM、および予測回路を内蔵している。
【０２６０】
最初に、ステップＳ２１０において、閾値判定部２６は、伝送判定閾値をセットする。この伝送判定閾値は、後述するステップＳ２２６の処理で利用される。
【０２６１】
ステップＳ２１１において、前フレームデータを蓄積する処理が実行され、ステップＳ２１２において、現在フレームデータを蓄積する処理が実行され、ステップＳ２１３において、後フレームデータを蓄積する処理が実行される。すなわち、例えば、１フレーム分の画像データが、フレームメモリ７２０に記憶された後、再びそこから読み出され、フレームメモリ７２１に転送され、そこからさらにフレームメモリ７２２に転送され、記憶される。そして、フレームメモリ７２１には、それに続く新たな１フレーム分の補正データが記憶され、さらにフレームメモリ７２０には、その後の１フレーム分の補正データが記憶される。このようにして、フレームメモリ７２２には、前フレームの補正データが記憶され、フレームメモリ７２１には、現在フレーム（前フレームより時間的に１フレームだけ後のフレーム）の補正データが蓄積され、フレームメモリ７２０には、後フレーム（現在フレームより時間的に１フレームだけ後のフレーム）の補正データが蓄積される。
【０２６２】
ステップＳ２１４において、フレームメモリ７２１は、アドレス設定部７２３−１乃至７２３−ｎの制御に基づいて、記憶している現在フレームの補正データの中から注目補正データを抽出し、比較器７２５と閾値判定部７２６に供給する。
【０２６３】
ステップＳ２１５において、比較器７２５は、比較値をセットする。この比較値は、最小の予測残差としての評価値を求めるために、ステップＳ２２４の処理で、より小さい予測残差の値に更新されるものであり、初期値としては、最大値がセットされる。この比較値は、ステップＳ２２３の処理で利用される。
【０２６４】
次に、ステップＳ２１６において、アドレス設定部７２３−１乃至７２３−ｎは、それぞれステップＳ２１４の処理で抽出された注目補正データに対応するアドレスを設定する。これにより、アドレス設定部７２３−１乃至７２３−ｎから、注目補正データに対応する探索範囲内における、各探索位置（動きベクトル）に対応するクラスタップと予測タップを含む補正データが、対応するクラス分類適応処理回路７２４−１乃至７２４−ｎに取り込み可能となる。
【０２６５】
そこで、ステップＳ２１７において、アドレス設定部７２３−１乃至７２３−ｎのクラス分類用ブロック化回路は、供給された補正データの中からクラスタップを抽出する。
【０２６６】
クラス分類適応処理回路７２４−１乃至７２４−ｎのADRC処理回路は、ステップＳ２１８において、クラスタップを構成する９個の補正データに対して、１ビットADRC処理を施す。これにより、９個の補正データがそれぞれ０または１の値に変換されて、９ビットのデータがクラス分類適応処理回路７２４−１乃至７２４−ｎのクラス分類回路に供給される。クラス分類回路は、ADRC処理回路より供給される９ビットのデータに基づいて、その９個の補正データで構成されるクラスタップに対応するクラスコードを決定し、クラス分類適応処理回路７２４−１乃至７２４−ｎの予測係数ROMに出力する。
【０２６７】
クラス分類適応処理回路７２４−１乃至７２４−ｎの予測係数ROMは、ステップＳ２１９において、クラス分類回路より供給されたクラスコードに対する予測係数を読み出し、クラス分類適応処理回路７２４−１乃至７２４−ｎの予測回路に出力する。
【０２６８】
ステップＳ２２０において、予測回路は、アドレス設定部７２３−１乃至７２３−ｎより供給される補正データから、クラスタップを構成する補正データを取得する。
【０２６９】
予測回路は、ステップＳ２２１において、予測値計算処理を実行する。すなわち、予測回路は、予測値計算用ブロック化回路より供給された予測タップを構成する補正データと、予測係数ROMより供給される予測係数の線形１次結合を演算して、予測値を算出し、比較器７２５に出力する。
【０２７０】
比較器７２５は、ステップＳ２２２において、予測残差計算処理を実行する。
すなわち、比較器７２５は、クラス分類適応処理回路７２４（いまの場合、クラス分類適応処理回路７２４−１）より供給される予測値と、入力画像データを構成する注目画素（真値）との差を演算することで、予測残差を計算する。
【０２７１】
ステップＳ２２３において、比較器７２５は、ステップＳ２２２の処理で求めた予測残差（評価値）を比較値と比較する。この比較値は、いまの場合、ステップＳ２１５の処理で最大値に設定されている。従って、評価値は、比較値より小さいと判定され、ステップＳ２２４に進み、比較器７２５は、ステップＳ２１５の処理で最大値にセットされた比較値の値を、ステップＳ２２２の処理で計算された予測残差（評価値）に更新する。すなわち、比較値として、より小さい値が設定される。
【０２７２】
ステップＳ２２５において、閾値判定部７２６は、ステップＳ２２２の処理で求められた評価値に対応する動きベクトルを内蔵するメモリに保持する（既に保持されている動きベクトルがある場合には、更新する）。いまの場合、クラス分類適応処理回路７２４−１の出力が処理されているので、この動きベクトルは、ｖ０となる。
【０２７３】
ステップＳ２２６において、閾値判定部７２６は、ステップＳ２２２の処理で得られた予測残差（評価値）と、ステップＳ２１１の処理でセットされた伝送判定閾値とを比較する。予測残差（評価値）が伝送判定閾値と等しいか、それより大きいと判定された場合、ステップＳ２２７において、閾値判定部７２６は、ステップＳ２２２の処理で計算された予測残差を評価値として保持する。
【０２７４】
予測残差（評価値）が伝送判定閾値より小さいと判定された場合には、ステップＳ２２７の処理はスキップされる。
【０２７５】
ステップＳ２２３において、予測残差（評価値）が比較値と等しいか、それより大きいと判定された場合には、ステップＳ２２４乃至ステップＳ２２７の処理はスキップされる。
【０２７６】
ステップＳ２２８において、閾値判定部７２６は、探索範囲内の全ての位置の処理を終了したか否かを判定する。すなわち、クラス分類適応処理回路７２４−１乃至７２４−ｎの全ての出力に対する処理を完了したか否かがここで判定される。クラス分類適応処理回路２４−１乃至２４−ｎの出力のうち、まだ処理していないものが残っている場合には、ステップＳ２１６に戻り、それ以降の処理が繰り返し実行される。
【０２７７】
以上のようにして、ステップＳ２１６乃至ステップＳ２２８の処理がクラス分類適応処理回路７２４−１乃至７２４−ｎが出力するｎ個の予測値の全てに対して実行される。
【０２７８】
ステップＳ２２８で探索範囲内の全ての位置の処理が終了したと判定された場合、ステップＳ２２９に進み、閾値判定部７２６は、伝送判定閾値より小さい予測残差（評価値）が保存されているか否かを判定する。すなわち、探索範囲内の全ての位置の処理により、ｎ個の予測残差（評価値）が得られることになるが、そのｎ個の予測残差のうち、少なくとも１つ伝送判定閾値より小さいものがある場合には、その中で最小のものに対応する動きベクトルがステップＳ２２５の処理で保持されている。そこで、その場合には、ステップＳ２３０において、閾値判定部７２６は、ステップＳ２２５の処理で保持した動きベクトルを読み出し、出力する。
【０２７９】
ステップＳ２２９において、伝送判定閾値より小さい評価値が存在しないと判定された場合、閾値判定部７２６、ステップＳ２３１において、ステップＳ２２７の処理により保持されている予測残差（評価値）を出力する処理を実行する。
【０２８０】
すなわち、ｎ個の予測残差（評価値）が全て伝送判定閾値と等しいか、それより大きい場合には、そのうちの最小の値に対応する予測残差がステップＳ２２７の処理で保持されている。そこで、閾値判定部２２６は、その予測残差を、いま対象とされている検索範囲の評価値（最小の予測残差）として、出力する。
【０２８１】
ステップＳ２３０，Ｓ２３１の処理の後、ステップＳ２３２において、閾値判定部７２６は、１フレーム内の全ての探索範囲の処理が終了したか否かを判定し、まだ終了していない探索範囲が残っている場合には、ステップＳ２１４に戻り、それ以降の処理が繰り返し実行される。
【０２８２】
ステップＳ２３２において、全ての探索範囲の処理が終了したと判定された場合、処理は終了される。
【０２８３】
この例の場合、制御部１１６は、閾値判定部７２６より動きベクトルが供給されてきた場合には、その動きベクトルに、伝送するデータが、動きベクトルであることを表すフラグを付加し、閾値判定部７２６より供給されてきたのが、予測残差（評価値）である場合には、伝送するデータが動きベクトルではないことを表す（予測残差であることを表す）フラグを付加する。
【０２８４】
図７のステップＳ２０において、制御部１１６は、閾値判定部７２６より供給された動きベクトルとフラグ、または予測残差（評価値）とフラグを多重化部１１７に供給して量子化し、伝送路に伝させる。
【０２８５】
図４０は、以上の処理のうち、前フレームに対する処理を表している。同図に示されるように、フレームメモリ７２１に記憶されている現在フレーム２０１において、所定の補正データが注目補正データ２１１として選択される。そして、フレームメモリ７２２に記憶されている前フレーム２０２の注目補正データ２１１に対応する補正データが注目対応補正データ２２１として選択され、注目対応補正データ２２１を中心とする所定の範囲が、探索範囲７８１として設定される。
【０２８６】
探索範囲７８１内において、所定の範囲の補正データが予測タップ７８２として選択され、予測タップ７８２を構成する補正データに基づいて、上述したように、予測値が演算される。そして、その予測値と注目画素との差が予測残差として算出される。
【０２８７】
予測タップ７８２は、探索範囲７８１内を、予測タップ７８２−１乃至７８２−ｎとして示されるように、ｎ個の位置に、順次移動される。そして、ｎ個の予測タップのそれぞれに対応して得られるｎ個の予測残差の中から最小のものがその探索範囲７８１の評価値として選択される。
【０２８８】
以上のような処理が、現在フレーム２０１の中の全ての補正データを注目補正データ２１１として順次選択することで実行される。
【０２８９】
以上においては、簡単のため、現在フレーム２０１と前フレーム２０２との間の処理についてのみ説明したが、実際には、同様の処理が後フレーム２０３と組み合わされて、同時に行われる。
【０２９０】
このように、この実施の形態においては、動きベクトルは、予測残差が閾値より小さい場合にのみ伝送され、予測残差が閾値より大きい場合には、予測残差そのものが伝送される。
【０２９１】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２９２】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２９３】
また、本実施の形態では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようする場合において、圧縮データの補正の回数に、上限を設けるようにすることも可能である。即ち、例えば、リアルタイムで画像の伝送を行う場合などにおいては、１フレームについての処理が、所定の期間内に終了することが必要であるが、誤差情報は、そのような所定の期間内に収束するとは限らない。そこで、補正の回数に上限を設けることにより、所定の期間内に、誤差情報が閾値ε以下に収束しないときは、そのフレームについての処理を終了し（そのときにおける補正データを、符号化結果とし）、次のフレームについての処理を開始するようにすることが可能である。
【０２９４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２９５】
この記録媒体は、図５と図３０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７１，４７１（フロッピディスクを含む）、光ディスク７２，４７２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク７３，４７３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ７４，４７４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM６２，４６２や、ハードディスクなどで構成される。
【０２９６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２９８】
【発明の効果】
本発明によれば、より適正に補正された補正データを得ることができ、より原画像に近い復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】従来の画像圧縮処理を行う装置の構成例を示すブロック図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図３】図２の送信装置における圧縮処理を説明する図である。
【図４】図２における受信装置の復号処理を説明する図である。
【図５】図２の送信装置の構成例を示すブロック図である。
【図６】図２の送信装置の機能的構成例を示すブロック図である。
【図７】図６の送信装置の動作を説明するフローチャートである。
【図８】単純間引き処理を説明するフローチャートである。
【図９】単純間引き処理を説明する図である。
【図１０】画像平均処理を説明するフローチャートである。
【図１１】画像平均処理を説明する図である。
【図１２】図６の補正部の構成例を示すブロック図である。
【図１３】図１２の補正部の動作を説明するフローチャートである。
【図１４】図６の送信装置の動き推定部の構成例を示すブロック図である。
【図１５】図１４の動き推定部の処理を説明するフローチャートである。
【図１６】図６のローカルデコード部の構成例を示すブロック図である。
【図１７】クラス分類用ブロックを説明する図である。
【図１８】クラス分類用ブロックの他の例を説明する図である。
【図１９】予測値計算用ブロックを説明する図である。
【図２０】予測値計算用ブロックを説明する他の図である。
【図２１】クラス分類処理を説明するための図である。
【図２２】クラス分類処理を説明するための図である。
【図２３】 ADRC処理を説明するための図である。
【図２４】 ADRC処理を説明するための図である。
【図２５】図１６のローカルデコード部の動作を説明するフローチャートである。
【図２６】図６の誤差算出部の構成例を示すブロック図である。
【図２７】図２６の誤差算出部の動作を説明するフローチャートである。
【図２８】図６の制御部の構成例を示すブロック図である。
【図２９】図２８の制御部の動作を説明するフローチャートである。
【図３０】図２の受信装置の構成例を示すブロック図である。
【図３１】図２の受信装置の機能的構成例を示すブロック図である。
【図３２】図３１の受信装置の動作を説明するフローチャートである。
【図３３】図１６の予測係数ROMに記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図３４】図３３の画像処理装置の動作を説明するフローチャートである。
【図３５】予測タップを説明する図である。
【図３６】動き推定部の他の構成例を示すブロック図である。
【図３７】動き推定部のさらに他の構成例を示すブロック図である。
【図３８】図３７の動き推定部の処理を説明するフローチャートである。
【図３９】図３７の動き推定部の処理を説明するフローチャートである。
【図４０】図３７の動き推定部の処理を説明する図である。
【符号の説明】
４１ 送信装置， ４２ 記録媒体， ４３ 伝送路， ４４ 受信装置， １１１ 縮小画像生成部， １１２ 補正部， １１３ 動き推定部， １１４ローカルデコード部， １１５ 誤差算出部， １１６ 制御部， １１７ 多重化部， １３１ 補正回路， １３２ 補正値ROM， １５１，１５２，１５３ フレームメモリ， ２６１ クラス分類用ブロック化回路， ２６２ 予測値計算用ブロック化回路， ２６３ クラス分類適応処理回路， ２６４ ADRC処理回路， ２６５ クラス分類回路， ２６６ 予測係数ROM， ２６７ 予測回路， ３５１ ブロック化回路， ３５２ 自乗誤差算出回路， ３５３，３５４ 演算器， ３５５ 積算部， ３５６ メモリ， ３６１ 予測係数メモリ， ３６２ 補正データメモリ， ３６３ 誤差情報メモリ， ３６４ 比較回路， ３６５ 制御回路， ５７２ 分離部， ５７３ クラス分類用ブロック化回路， ５７４ ADRC処理回路， ５７５ クラス分類回路， ５７６予測回路， ５７６Ａ メモリ， ５７７ 予測値計算用ブロック化回路， ５９０ 動き推定部， ５９１ 学習用ブロック化回路， ５９２ 教師用ブロック化回路， ５９３ ADRC処理回路， ５９４ クラス分類回路， ５９５ スイッチ， ５９６ 学習データメモリ， ５９７ カウンタ， ５９８ 教師データメモリ， ５９９ 演算回路， ６００ メモリ
【発明の属する技術分野】
本発明は、画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関し、特に、原画像とほぼ同一の復号画像が得られるように、画像を、例えば間引くことにより符号化する場合において、より原画像に近い画像を符号化し、復号することができるようにした、画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来より、画像の符号化方法については、種々の方法が提案されているが、そのうちの１つに、例えば、画像を、その画素を間引くこと（subsampling）により圧縮して符号化する方法がある。
【０００３】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
このように復号画像の解像度が劣化する原因として、第１に、間引いた画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
そこで、本出願人は、例えば、特願平９−２０８４８３号として、図１に示されるような画像符号化装置を先に提案した。
【０００６】
図１の例においては、縮小画像作成部１１が、入力された画像データを、例えば９個の画素から１つの画素だけを選択する（間引く）ことで縮小画像データを生成する。補正部１２は、制御部１５より供給される制御信号に基づいて、縮小画像作成部１１より供給される縮小画像データを補正して、補正データを生成する。ローカルデコード部１３は、補正部１２により生成された補正データを、クラス分類適応処理を利用してデコードし、元の画像を予測する予測値を生成する。誤差算出部１４は、ローカルデコード部１３により算出された予測値を入力画像データと比較し、その誤差を予測誤差として算出して、制御部１５に供給する。
【０００７】
制御部１５は、誤差算出部１４により算出された予測誤差に基づいて制御信号を生成し、補正部１２に供給する。補正部１２は、この制御信号に基づいて縮小画像データを補正して、ローカルデコード部１３に供給する。
【０００８】
以上のような処理が繰り返し実行されることで、予測誤差が所定値以下になったとき、制御部１５は、そのとき補正部１２より出力される補正データを最適圧縮データとして、そのときローカルデコード部１３により予測処理に用いられた予測係数とともに多重化部１６に供給し、多重化させ、符号化データとして出力させる。
【０００９】
【発明が解決しようとする課題】
しかしながら、先の提案においては、ローカルデコード部１３において、予測処理に用いられる補正データが同一のフレーム内の補正データとされているため、特に、動きがある画像を正確に元の画像により近い画像として復号することが困難である課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、より正確に、原画像に近い画像を復号することができるようにするものである。
【００１１】
【課題を解決するための手段】
【００１６】
本発明の画像符号化装置は、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮手段と、圧縮手段により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正手段と、補正手段により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データを保持するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方を保持する補正データ保持手段と、補正データ保持手段により保持されている第１の補正データの注目ブロックを設定する注目ブロック設定手段と、補正データ保持手段により保持されている第２の補正データまたは第３の補正データから、注目ブロック設定手段により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得手段と、注目ブロック設定手段により設定された注目ブロックと、取得手段により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、抽出手段により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算手段と、第１の原画像に対する演算手段により演算された予測値の予測誤差が最小となる場合における、取得手段により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成手段と、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力手段とを備えることを特徴とする。
【００１７】
前記出力手段は、予測係数をさらに出力することができる。
前記演算手段は、予測係数と、抽出手段により抽出された予測補正データとの線形結合により、予測値を演算するようにすることができる。
前記補正データ保持手段により保持されている第１の補正データを、その値に基づく性質に応じて所定のクラスに分類するクラス分類手段をさらに備え、予測係数保持手段は、クラス分類手段により分類されたクラスに対応する予測係数を出力し、演算手段は、クラス分類手段により分類されたクラスに対応する予測係数と、抽出手段により抽出された予測補正データとを、予測値を演算するための予測式に代入することで予測値を演算するようにすることができる。
前記予測誤差を算出する予測誤差算出手段と、予測誤差算出手段により算出された予測誤差が所定の値以下であるか、または補正回数が所定回数以上であるかのいずれかである場合、補正データが適正であると判定する判定手段とをさらに備え、出力手段は、判定手段により補正データが適正であると判定された場合、補正データと、対応する所定の位置ベクトルを出力するようにすることができる。
【００１８】
本発明の画像符号化方法は、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、圧縮ステップの処理により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正ステップと、補正ステップの処理により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、補正データ保持制御ステップの処理により保持が制御されている第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、補正データ保持制御ステップの処理により保持が制御されている第２の補正データまたは第３の補正データから、注目ブロック設定ステップの処理により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得ステップと、注目ブロック設定ステップの処理により設定された注目ブロックと、取得ステップの処理により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、予測係数と、抽出ステップの処理により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算ステップと、第１の原画像に対する演算ステップの処理により演算された予測値の予測誤差が最小となる場合における、取得ステップの処理により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成ステップと、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力ステップと含むことを特徴とする。
【００１９】
本発明の第１の記録媒体のプログラムは、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、圧縮ステップの処理により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正ステップと、補正ステップの処理により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、補正データ保持制御ステップの処理により保持が制御されている第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、補正データ保持制御ステップの処理により保持が制御されている第２の補正データまたは第３の補正データから、注目ブロック設定ステップの処理により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得ステップと、注目ブロック設定ステップの処理により設定された注目ブロックと、取得ステップの処理により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、予測係数と、抽出ステップの処理により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算ステップと、第１の原画像に対する演算ステップの処理により演算された予測値の予測誤差が最小となる場合における、取得ステップの処理により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成ステップと、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力ステップと含むことを特徴とする。
【００２０】
本発明の第１のプログラムは、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、圧縮ステップの処理により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正ステップと、補正ステップの処理により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、補正データ保持制御ステップの処理により保持が制御されている第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、補正データ保持制御ステップの処理により保持が制御されている第２の補正データまたは第３の補正データから、注目ブロック設定ステップの処理により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得ステップと、注目ブロック設定ステップの処理により設定された注目ブロックと、取得ステップの処理により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、予測係数と、抽出ステップの処理により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算ステップと、第１の原画像に対する演算ステップの処理により演算された予測値の予測誤差が最小となる場合における、取得ステップの処理により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成ステップと、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力ステップとをコンピュータに実行させることを特徴とする。
【００２１】
本発明の画像復号装置は、補正データを含む処理対象データを取得する取得手段と、取得手段により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離手段と、分離手段により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離手段により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算手段とを備えることを特徴とする。
【００２２】
前記分離手段は、処理対象データから予測係数をさらに分離し、予測係数保持
手段は、分離手段により分離された予測係数を保持することができる。
【００２３】
本発明の画像復号方法は、補正データを含む処理対象データを取得する取得ステップと、取得ステップの処理により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離ステップと、分離ステップの処理により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離ステップの処理により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持ステップと、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算ステップとを含むことを特徴とする。
【００２４】
本発明の第２の記録媒体のプログラムは、原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置のプログラムであって、補正データを含む処理対象データを取得する取得ステップと、取得ステップの処理により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離ステップと、分離ステップの処理により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離ステップの処理により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持ステップと、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算ステップとを含むことを特徴とする。
【００２５】
本発明の第３のプログラムは、原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置を制御するコンピュータに、補正データを含む処理対象データを取得する取得ステップと、取得ステップの処理により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離ステップと、分離ステップの処理により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離ステップの処理により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持ステップと、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算ステップとを実行させることを特徴とする。
本発明の画像処理システムは、原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮手段と、圧縮手段により生成された縮小画像データの画素値を補正した補正データから演算された原画像の予測値の原画像に対する予測誤差が収束するように繰り返し補正することで、補正データを生成する補正手段と、補正手段により生成された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データを保持するとともに、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方を保持する補正データ保持手段と、補正データ保持手段により保持されている第１の補正データの注目ブロックを設定する注目ブロック設定手段と、補正データ保持手段により保持されている第２の補正データまたは第３の補正データから、注目ブロック設定手段により設定された注目ブロックに対応する位置の第２の補正データまたは第３の補正データを取得する取得手段と、注目ブロック設定手段により設定された注目ブロックと、取得手段により取得された第２の補正データまたは第３の補正データ中の注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、第１の原画像を予測するのに必要な予測補正データとして抽出する抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、抽出手段により抽出された予測補正データとを、予測式に代入することで予測値を演算する演算手段と、第１の原画像に対する演算手段により演算された予測値の予測誤差が最小となる場合における、取得手段により取得された第２の補正データまたは第３の補正データの注目ブロックに対する相対的位置に基づいて、所定の位置ベクトルを生成する生成手段と、予測値の予測誤差が最小となる場合における、補正データと、対応する所定の位置ベクトルを出力する出力手段とを備える画像符号化装置と、補正データを含む処理対象データを取得する取得手段と、取得手段により取得された処理対象データから補正データと所定の位置ベクトルを分離する分離手段と、分離手段により分離された補正データであって、原画像のうちの第１の原画像に対応する第１の補正データと、第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに分離手段により分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データを抽出する予測対象画像データ抽出手段と、予測値を演算するための予測式の係数である予測係数を保持し、予測係数を出力する予測係数保持手段と、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値を演算する演算手段とを備える画像復号装置とを含む。
【００２７】
本発明の画像符号化装置および方法、第１の記録媒体、並びにプログラムにおいては、予測係数と、予測補正データに基づいて予測値が演算され、予測値の予測誤差が最小となる場合における所定の位置ベクトルが生成される。そして、予測誤差が、最小となる場合における補正データと対応する所定の位置ベクトルが出力される。
【００２８】
本発明の画像復号装置および方法、第２の記録媒体、並びにプログラムにおいては、処理対象データから補正データと所定の位置ベクトルが分離され、分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データが抽出され、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値が演算される。
本発明の画像処理システムにおいては、画像符号化装置により、予測係数と、予測補正データに基づいて予測値が演算され、予測値の予測誤差が最小となる場合における所定の位置ベクトルが生成される。そして、予測誤差が、最小となる場合における補正データと対応する所定の位置ベクトルが出力される。また、画像復号装置により、処理対象データから補正データと所定の位置ベクトルが分離され、分離された所定の位置ベクトルに基づいて、第１の原画像を予測するのに用いる補正データとしての予測対象画像データが抽出され、予測係数と、予測対象画像データとを、前記予測式に代入することで、第１の原画像の予測値が演算される。
【００２９】
【発明の実施の形態】
図２は、本発明を適用した画像処理装置の一実施の形態の構成を示している。
【００３０】
送信装置４１には、ディジタル化された画像データが供給される。送信装置４１は、入力された画像データを、例えば図３に示されるように、１／９に間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、さらにクラス分類適応処理により予測し、例えば、光ディスク、光磁気ディスク、磁気テープ、相変化ディスク、その他でなる記録媒体４２に記録したり、または、例えば、地上波、衛星回線、電話回線、ＣＡＴＶ網、インターネット、その他の伝送路４３を介して伝送する。
【００３１】
受信装置４４では、記録媒体４２に記録された符号化データが再生され、または、伝送路４３を介して伝送されてくる符号化データが受信される。その符号化データは、図４に示されるように、クラス分類適応処理に基づいて、伸張、復号される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。
【００３２】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置、その他の、画像の記録または再生を行う装置、あるいはまた、例えば、テレビ電話装置、テレビジョン放送システム、ＣＡＴＶシステム、その他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置４１が出力する符号化データのデータ量が少ないため、図２の画像処理装置は、伝送レートの低い、例えば、携帯電話機、その他の、移動に便利な携帯端末などにも適用可能である。
【００３３】
図５は、図２の送信装置４１のハードウェアの構成例を示している。
【００３４】
Ｉ／Ｆ（InterFace）６１は、外部から供給される画像データの受信処理と、送信機／記録装置６６に対しての、符号化データの送信処理を行う。ROM（Read Only Memory）６２は、IPL（Initial Program Loading）用のプログラムその他を記憶している。RAM（Random Access Memory）６３は、外部記憶装置６５に記録されているシステムプログラム（OS（Operating System））やアプリケーションプログラムを記憶したり、また、CPU（Central Processing Unit）６４の動作上必要なデータを記憶する。CPU６４は、ROM６２に記憶されているIPLプログラムにしたがい、外部記憶装置６５からシステムプログラムおよびアプリケーションプログラムを、RAM６３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ６１から供給される画像データについての、後述するような符号化処理を行う。
【００３５】
外部記憶装置６５は、例えば、磁気ディスク７１、光ディスク７２、光磁気ディスク７３、または半導体メモリ７４などでなり、上述したように、CPU６４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、CPU６４が動作上必要とするデータも記憶している。送信機／記録装置６６は、Ｉ／Ｆ６１から供給される符号化データを、記録媒体４２に記録したり、または伝送路４３を介して伝送する。
【００３６】
なお、Ｉ／Ｆ６１，ROM６２，RAM６３，CPU６４、および外部記憶装置６５は、相互にバスを介して接続されている。
【００３７】
以上のように構成される送信装置４１においては、Ｉ／Ｆ６１に画像データが供給されると、その画像データは、CPU６４に供給される。CPU６４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ６１に供給する。Ｉ／Ｆ６１は、符号化データを受信すると、それを、送信機／記録装置６６に供給する。送信機／記録装置６６は、Ｉ／Ｆ６１からの符号化データを、記録媒体４２に記録したり、または伝送路４３を介して伝送する。
【００３８】
図６は、図５の送信装置４１の、送信機／記録装置６６を除く部分の機能的な構成例を示している。
【００３９】
符号化すべき画像データは、縮小画像作成部１１１および誤差算出部１１５に供給される。縮小画像生成部１１１は、画像データを、その画素を、例えば、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の縮小画像データ）を補正部１１２に出力する。補正部１１２は、制御部１１６からの制御信号にしたがって、圧縮データを補正する。補正部１１２における補正の結果得られる補正データは、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に供給される。動き推定部１１３は、画像データと補正データから画像の動きを推定し、動きベクトルをローカルデコード部１１４に出力する。
【００４０】
ローカルデコード部１１４は、補正部１１２からの補正データと動き推定部１１３からの動きベクトルに基づいて、元の画像を予測し、その予測値を、誤差算出部１１５に供給する。なお、ローカルデコード部１１４は、後述するように、補正データと予測係数との線形結合により、予測値を算出する。そして、ローカルデコード部１１４は、予測値を、誤差算出部１１５に供給する他、そのとき求めたクラスごとの予測係数を、制御部１１６に供給する。
【００４１】
誤差算出部１１５は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部１１４からの予測値の予測誤差を算出する。この予測誤差は、誤差情報として、制御部１１６に供給される。
【００４２】
制御部１１６は、誤差算出部１１５からの誤差情報に基づいて、補正部１１２が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。そして、制御部１１６は、補正部１１２が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、補正部１１２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させる。また、制御部１１６は、補正部１１２が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、補正部１１２から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部１１７に供給するとともに、ローカルデコード部１１４から供給されたクラスごとの予測係数と、動き推定部１１３から供給される動きベクトルを多重化部１１７に供給する。
【００４３】
多重化部１１７は、制御部１１６からの最適圧縮データ（補正データ）と、クラスごとの予測係数、および動きベクトルを多重化し、その多重化結果を、符号化データとして、送信機／記録装置６６（図５）に供給する。
【００４４】
次に、図７のフローチャートを参照して、送信装置４１が実行する符号化処理について説明する。縮小画像作成部１１１に対して、画像データが供給されると、縮小画像作成部１１１は、ステップＳ１１において、縮小画像作成処理を実行する。
【００４５】
図８は、縮小画像作成処理の１つの例としての単純間引き処理を表している。
最初に、ステップＳ３１において、縮小画像作成部１１１は、圧縮される前の画像データを、ｍ×ｎ個の画素データで構成されるブロックに分割する。次に、ステップＳ３２において、ｍ×ｎ個の画素データの中から１つの画素データを抽出し、その画素データをそのブロックを代表する１つの画素データとする。
【００４６】
ステップＳ３３において、縮小画像作成部１１１は、以上の処理が、そのフレームの全てのブロックについて終了したか否かを判定し、まだ処理していないブロックが残っている場合には、ステップＳ３１に戻り、それ以降の処理を繰り返し実行する。全てのブロックについての処理が終了したと判定された場合、処理は終了される。
【００４７】
すなわち、この例においては、図９に示されるように、例えば３×３個（ｍ＝ｎ＝３）の画素データａ１乃至ａ９の中から、中央の１個の画素ａ５が選択される。同様にして、隣の３×３個のｂ１乃至ｂ９の９個の画素の中から、中央の画素ｂ５が選択される。
【００４８】
以上のような単純間引き処理が繰り返し実行されることで、入力された画像データは、１／９の縮小画像データに圧縮される。
【００４９】
図１０は、縮小画像作成処理の他の例を表している。この例においては、ステップＳ５１において、縮小画像作成部１１１は、入力された画像データをｍ×ｎ個のブロックに分割する。ステップＳ５２において、縮小画像作成部１１１は、ステップＳ５１の処理で分割されたｍ×ｎ個の画素の平均値を計算する。そして、その平均値をｍ×ｎ個の画素で構成されるブロックを代表する１つの画素とする。
【００５０】
ステップＳ５３において、縮小画像作成部１１１は、全てのブロックについて同様の処理を実行したか否かを判定し、まだ処理していないブロックが残っている場合にはステップＳ５１に戻り、それ以降の処理を繰り返し実行する。全てのブロックについての処理が終了したと判定された場合、処理は終了される。
【００５１】
このようにして、例えば、図１１に示されるように、ａ１乃至ａ９の３×３個の画素の平均値Ａが、次式に基づいて演算される。
【００５２】
【数１】
また、画素ｂ１乃至ｂ９の３×３個の画素の平均値Ｂが次式に基づいて演算される。
【００５４】
【数２】
さらに、同様に、画素ｃ１乃至ｃ９の３×３個の画素の平均値Ｃが次式に基づいて演算される。
【００５６】
【数３】
縮小画像作成部１１１で生成された縮小画像データ（圧縮データ）は、補正部１１２に供給され、最初は補正が行われずに、そのまま補正データとして、ローカルデコード部１１４と動き推定部１１３に供給される。
【００５８】
ステップＳ１２において、動き推定部１１３は、補正部１１２より供給された補正データに基づいて画像の動きを検出し、その動きに対応する動きベクトルを生成して、ローカルデコード部１１４と制御部１１６に出力する。この動きベクトル推定処理の詳細については、図１４と図１５を参照して後述する。
【００５９】
次に、ステップＳ１３において、ローカルデコード部１１４は、補正部１１２からの補正データ（最初は、上述したように縮小画像データそのもの）を、クラス分類適応処理に基づいてデコードする（復号する）。
【００６０】
この復号処理の詳細については、図１６乃至図１９を参照して後述するが、ローカルデコード部１１４は、補正部１１２より供給される補正データから、動き推定部１１３より供給される動きベクトルに基づいて、予測処理を行うための補正データ（予測タップ）で構成される予測値計算用ブロック（予測対象データ）を抽出し、その抽出した予測対象データに対して、クラス毎の予測係数を線形結合させることで、予測値を演算する。ローカルデコード部１１４で生成された予測値は、誤差算出部１１５に供給され、用いられた予測係数は、制御部１１６に供給される。
【００６１】
ここで、ローカルデコード部１１４が出力する予測値で構成される画像は、受信装置４４（図２）側において得られる復号画像と同一のものである。
【００６２】
ステップＳ１４において誤差算出部１１５は、ローカルデコード部１１４より供給された予測値と画像データ（縮小される前の画像データ）との予測誤差を算出し、誤差情報として制御部１１６に供給する。
【００６３】
ステップＳ１５において、制御部１１６は、誤差算出部１１５からの誤差情報に基づいて、最適化処理を実行する。すなわち、制御部１１６は、誤差算出部１１５からの予測誤差に基づいて、圧縮データを補正させる。補正部１１２は、制御部１１６からの制御信号に基づいて、補正量（後述する補正値Δ）を変更して圧縮データを補正し、その結果得られる補正データを動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力する。
【００６４】
ステップＳ１６において、動き推定部１１３は、画像の動きを再び検出し、動きベクトルを生成する。このとき、処理対象とされている補正データは、ステップＳ１２における場合とは異なる値に補正されているため、異なる動きベクトルが得られる可能性がある。
【００６５】
動き推定部１１３により生成された動きベクトルは、ローカルデコード部１１４に供給される。ローカルデコード部１１４は、ステップＳ１７において、ステップＳ１６の処理で動き推定部１１３により生成された動きベクトルを利用して、補正データの中から予測値計算用ブロックを抽出し、クラス分類適応処理を施すことで予測値を演算する。このとき、処理対象とされている予測値計算用ブロックは、ステップＳ１３の処理における場合と異なるものとなるため、多くの場合、得られる予測値も異なるものとなる。
【００６６】
ステップＳ１８において、誤差算出部１１５は、ステップＳ１７の処理でローカルデコード部１１４により生成された予測値の元の画像（原画像）の画像データとの差（予測誤差）を算出し、誤差情報として制御部１１６に出力する。
【００６７】
制御部１１６は、ステップＳ１９において、補正部１１２により生成された補正データを、原画像の符号化結果とすることの適正さを判定する。具体的には、例えば、予測誤差が所定の閾値εより小さいか否か、あるいは最適化処理を行った回数が、予め設定された所定の回数に達したか否かが判定される。予測誤差が所定の閾値εより大きい場合、あるいは、最適化の処理回数がまだ所定の回数に達していない場合、ステップＳ１５に戻り、それ以降の処理が繰り返し実行される。
【００６８】
ステップＳ１９において、予測誤差が所定の閾値εより小さくなったと判定された場合、あるいは最適化処理が所定の回数実行されたと判定された場合、制御部１１６は、補正データを原画像の符号化結果とすることが適正であると判定し、ステップＳ２０において、補正部１１２より、そのとき得られる補正データを最適圧縮データとして多重化部１１７に供給するとともに、ローカルデコード部１１４より、そのとき予測に用いられていた予測係数と、動き推定部１１３により生成された動きベクトルを多重化部１１７に出力する。多重化部１１７は、制御部１１６より供給される最適圧縮データ、予測係数および動きベクトルを多重化し、符号化データとして送信機／記録装置６６に供給する。
【００６９】
送信機／記録装置６６は、この符号化データを、記録媒体４２に記録したり、伝送路４３を介して伝送する。
【００７０】
以上のように、予測誤差が所定の閾値ε以下となるか、または、最適化処理が所定回数に達したときにおける、縮小画像データを補正した補正データを、原画像の符号化結果とするようにしたので、受信装置４４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。
【００７１】
図１２は、図６の補正部１１２の構成例を示している。
【００７２】
補正回路１３１は、制御部１１６（図６）からの制御信号にしたがって、補正値ROM１３２にアドレスを与え、これにより、補正値Δを読み出す。そして、補正回路１３１は、縮小画像作成部１１１からの縮小画像データ（圧縮データ）に対して、補正値ROM１３２からの補正値Δを、例えば加算することで、補正データを生成し、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に供給する。補正値ROM１３２は、縮小画像作成部１１１が出力する圧縮データを補正するための、各種の補正値Δの組合せ（例えば、１フレーム分の圧縮データを補正するための補正値の組合せなど）を記憶しており、補正回路１３１から供給されるアドレスに対応する補正値Δの組合せを読み出して、補正回路１３１に供給する。
【００７３】
次に、図１３を参照して、図１２の補正部１１２の処理について説明する。
【００７４】
補正回路１３１は、縮小画像作成部１１１から圧縮データを受信すると、ステップＳ７１において、制御部１１６（図６）から制御信号を受信したかどうかを判定する。ステップＳ７１において、制御信号を受信していないと判定された場合、ステップＳ７２およびＳ７３の処理をスキップしてステップＳ７４に進み、補正回路１３１は、縮小画像作成部１１１からの圧縮データを、そのまま補正データとして、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力し、ステップＳ７１に戻る。
【００７５】
即ち、制御部１１６は、上述したように、誤差情報に基づいて、補正部１１２（補正回路１３１）を制御するようになされており、縮小画像作成部１１１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部１１５から出力されないため）、制御部１１６からは制御信号は出力されない。このため、縮小画像作成部１１１から圧縮データが出力された直後は、補正回路１３１は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力する。
【００７６】
一方、ステップＳ７１において、制御部１１６からの制御信号を受信したと判定された場合、ステップＳ７２に進み、補正回路１３１は、その制御信号にしたがったアドレスを、補正値ROM１３２に出力する。これにより、ステップＳ７２では、補正値ROM１３２から、そのアドレスに記憶されている、１フレーム分の圧縮データを補正するための補正値Δの組合せ（集合）が読み出され、補正回路１３１に供給される。補正回路１３１は、補正値ROM１３２から補正値Δの組合せを受信すると、ステップＳ７３において、１フレームの圧縮データそれぞれに、対応する補正値Δを加算し、これにより、圧縮データを補正した補正データを算出する。その後は、ステップＳ７４に進み、補正データが、補正回路１３１から動き推定部１１３、ローカルデコード部１１４、および制御部１１６に出力され、ステップＳ７１に戻る。
【００７７】
以上のようにして、補正部１１２は、制御部１１６の制御にしたがって、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。
【００７８】
なお、制御部１１６は、例えば、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、補正部１１２に供給するようになされており、補正部１１２は、ステップＳ７１において、そのような制御信号を受信したかどうかも判定する。ステップＳ７１において、１フレームの画像についての符号化を終了した旨の制御信号を受信したと判定された場合、補正部１１２は、そのフレーム（フィールド）に対する処理を終了し、次のフレームが供給された場合、ステップＳ７１乃至Ｓ７４の処理を繰り返す。
【００７９】
図１４は、動き推定部１１３の構成例を表している。フレームメモリ１５１乃至１５３には、補正部１１２より出力された補正データが、１フレームづつ順次入力され、記憶される。その結果、フレームメモリ１５２には、現在フレーム（後述する図１９の現在フレーム２０１）の補正データが記憶され、後段のフレームメモリ１５３には、現在フレーム２０１より時間的に１フレーム分だけ前の前フレーム（図１９の前フレーム２０２）の補正データが記憶され、フレームメモリ１５２より前段のフレームメモリ１５１には、現在フレームより１フレームだけ時間的に後の後フレーム（図１９の後フレーム２０３）の補正データが記憶される。
【００８０】
注目ブロック選択部１５４は、フレームメモリ１５２に記憶されている現在フレームの補正データの中から注目補正データ（後述する図１９の注目補正データ２１１）を中心とする所定の範囲の注目ブロックを選択し、予測値計算用ブロック化回路１６５に出力する。注目ブロック選択部１５４により選択された注目補正データの位置情報は、相対位置変化部１５５と相対位置変化部１５６に供給される。
【００８１】
相対位置変化部１５５は、注目補正データ２１１の位置に対応する後フレーム２０３の注目対応補正データ２３１（図１９）を中心として、所定の探索範囲内において、補正データの位置を変化させた位置情報をフレームメモリ１５１に供給し、その位置に対応する補正データをフレームメモリ１５１から読み出し、任意画素取得部１５７に出力する。
【００８２】
同様に、相対位置変化部１５６は、注目補正データ２１１に対応する前フレーム２０２の注目対応補正データ２１１（図１９）を中心として、所定の探索範囲内において、補正データの位置を変化させた位置情報をフレームメモリ１５３に出力し、その位置情報に対応する補正データを読み出し、任意画素取得部１５８に供給する。
【００８３】
任意画素取得部１５７により取得された後フレーム２０３の探索範囲内の補正データと、任意画素取得部１５８により取得された前フレーム２０２の探索範囲内の補正データは、予測値計算用ブロック化回路１６５に供給される。予測値計算用ブロック化回路１６５は、注目ブロック選択部１５４より供給された補正データ、並びに任意画素取得部１５７および任意画素取得部１５８より供給された補正データに基づいて、予測値計算用ブロックを生成し、その補正データを予測回路１６６に供給する。
【００８４】
クラス分類用ブロック化回路１６１は、注目ブロック選択部１５４を介して、フレームメモリ１５２より読み出された現在フレーム２０１の補正データからクラス分類用ブロックを抽出する。ADRC処理回路１６２は、クラス分類用ブロック化回路１６１より供給されたクラス分類用ブロックの補正データを、１ビットADRC処理する。
【００８５】
クラス分類回路１６３は、ADRC処理回路１６２より供給されたデータに基づいて、クラスコードを生成し、予測係数ROM１６４に出力する。予測係数ROM１６４は、クラス分類回路１６３より供給されたクラスコードに対応する予測係数を読み出し、予測回路１６６に出力する。
【００８６】
予測回路１６６は、予測値計算用ブロック化回路１６５より供給された補正データ（予測値計算用ブロック）と、予測係数ROM１６４より供給された予測係数との線形１次結合を計算して、注目補正データ２１１に対応する注目画素の予測値を演算する。
【００８７】
比較器１６７は、予測回路１６６より供給された予測値を内蔵するメモリ１６７Ａに記憶するとともに、相対位置変化部１５５と相対位置変化部１５６より供給された相対アドレス情報を、メモリ１６７Ａに記憶する。比較器１６７は、予測回路１６６により予測された予測値と入力画像データとの差を演算し、その差に対応する予測誤差が最小となる位置に対応する相対アドレス情報に基づいて、前フレーム２０２における前フレーム動きベクトルと、後フレーム２０３における後フレーム動きベクトルとを生成する。
【００８８】
これらのクラス分類用ブロック化回路１６１、ADRC処理回路１６２、クラス分類回路１６３、予測係数ROM１６４、予測値計算用ブロック化回路１６５、予測回路１６６、および比較器１６７により、クラス分類適応処理回路１５９が構成されている。
【００８９】
次に、図１４の動き推定部１１３の動きベクトル推定処理について、図１５のフローチャートを参照して説明する。
【００９０】
ステップＳ９１において、比較器１６７は、メモリ１６７Ａに比較値をセットする。この比較値は、後述するステップＳ９８において、評価値と比較するのに用いられる。この比較値は、評価値の最小値を検出するために用いられるので、このステップＳ９１の処理では、最大値に設定される。
【００９１】
ステップＳ９２において、相対位置変化部１５５と相対位置変化部１５６は、それぞれ内蔵する相対アドレス用メモリをクリアする。ステップＳ９３において、注目ブロック選択部１５４により、現在フレームの予測タップ取得処理が実行される。
【００９２】
すなわち、注目ブロック選択部１５４は、初期設定されたアドレスに基づいて、フレームメモリ１５２に記憶されている現在フレーム２０１の補正データから注目補正データ２１１を中心とする所定の範囲の予測タップ（補正データ）を読み出し、予測値計算用ブロック化回路１６５に出力する。後述する図１９の例においては、注目補正データ２１１を中心とする５×５の予測タップ２１３より構成される予測値計算用ブロック２５１が選択され、予測値計算用ブロック化回路１６５に入力される。
【００９３】
ステップＳ９４において、相対位置変化部１５６は、前フレーム予測タップ取得処理を実行する。すなわち、相対位置変化部１５６は、フレームメモリ１５３に記憶されている前フレーム２０２の補正データの中から、注目対応補正データ２２１を中心とする所定の探索内の１つの予測タップ２２２を選択し、その予測タップ２２２をフレームメモリ１５３から読み出して、任意画素取得ブロック１５８に出力する。任意画素取得ブロック１５８は、この予測タップ２２２を予測値計算用ブロック化回路１６５に出力する。
【００９４】
ステップＳ９５において、相対位置変化部１５５は、後フレーム予測タップ取得処理を実行する。すなわち、相対位置変化部１５５は、フレームメモリ１５１に記憶されている後フレーム２０３の補正データから、注目対応補正データ２３１を中心とする所定の探索範囲内の１つの予測タップ２３２を、フレームメモリ１５１から読み出し、任意画素取得部１５７に出力する。任意画素取得部１５７は、この予測タップ２３２を予測値計算用ブロック化回路１６５に出力する。
【００９５】
予測値計算用ブロック化回路１６５は、ステップＳ９３乃至ステップＳ９５の処理で取得された現在フレーム２０１の５×５個の補正データ、前フレーム２０２の１個の予測タップ（補正データ）２２２、および後フレーム２０３の１個の予測タップ（補正データ）２３２を、予測値計算用ブロックとして、予測回路１６６に出力する。
【００９６】
一方、ステップＳ９６において、クラス分類適応処理が実行される。すなわち、クラス分類用ブロック化回路１６１は、フレームメモリ１５２に記憶されている現在フレーム２０１の補正データのうち、注目ブロック選択部１５４を介して供給される注目ブロックの補正データから、例えば、後述する図１７に示されるクラス分類用ブロック２４２を構成する３×３個の補正データを読み出して、ADRC処理回路１６２に出力する。
【００９７】
ADRC処理回路１６２は、クラス分類用ブロック化回路１６１より供給された３×３個の補正データを、１ビットADRC処理して、９ビットのデータとして、クラス分類回路１６３に出力する。クラス分類回路１６３は、ADRC処理回路１６２より供給された９ビットのデータに基づいて、クラスコードを生成し、予測係数ROM１６４に出力する。予測係数ROM１６４は、クラス分類回路１６３より入力されたクラスコードに対応する予測係数を読み出し、予測回路１６６に出力する。なお、このようなADRC処理とクラス分類を行うことの意義については、図２１乃至図２４を参照して後述する。
【００９８】
予測回路１６６は、予測値計算用ブロック化回路１６５より入力された２７個の補正データと、予測係数ROM１６４より供給された２７個の予測係数との線形１次結合に基づいて、予測値を演算し、比較器１６７に出力する。
【００９９】
ステップＳ９７において、比較器１６７は、予測残差計算処理を実行する。すなわち、比較器１６７は、予測回路１６６より供給された予測値と、入力画像データとの差を予測残差として計算する。
【０１００】
ステップＳ９８において、比較器１６７は、ステップＳ９７の処理で計算した予測残差としての評価値と、ステップＳ９１の処理でセットされた比較値との大きさを比較する。評価値が比較値より小さいと判定された場合、ステップＳ９９に進み、比較器１６７は、ステップＳ９１の処理で最大値にセットされた比較値を、ステップＳ９７の処理で計算された評価値（予測残差）で書き換える（更新する）。
【０１０１】
ステップＳ１００において、比較器１６７は、そのとき予測値計算用ブロック化回路１６５において、予測値計算用ブロックとして構成されている後フレーム２０３の予測タップ２３２の注目対応補正データ２３１からの相対アドレス情報に基づく動きベクトル２３３を、メモリ１６７Ａに記憶する。
【０１０２】
ステップＳ９８において、評価値が比較値と等しいか、それより大きいと判定された場合には、ステップＳ９９とステップＳ１００の処理がスキップされる。
【０１０３】
ステップＳ１０１において、相対位置変化部１５５は、後フレーム２０３における所定の探索範囲内の探索が終了したか否かを判定し、まだ探索していない範囲が残っている場合には、ステップＳ１０２に進み、相対位置を変化させる。その後、ステップＳ９５に戻り、それ以降の処理が繰り返し実行される。
【０１０４】
以上の処理が繰り返されることで、フレームメモリ１５１に記憶された後フレーム２０３の予測タップ２３２のうち、予測誤差が最も小さい予測タップに対応する動きベクトル２３３がメモリ１６７Ａに記憶される。
【０１０５】
ステップＳ１０１において、後フレーム２０３の探索範囲内の処理が終了したと判定された場合、ステップＳ１０３に進み、相対位置変化部１５６は、前フレームの探索範囲の探索が全て終了したか否かを判定する。前フレーム２０２の探索範囲内の探索がまだ終了していない場合には、ステップＳ１０４に戻り、相対位置変化部１５６は、前フレーム２０２の予測タップ２２２の位置を探索範囲内において、異なる位置に変化させる。
【０１０６】
その後、ステップＳ９４に戻り、その変化された相対位置の予測タップ２２２が任意画素取得部１５７から予測値計算用ブロック化回路１６５に供給される。
【０１０７】
以下、ステップＳ９５乃至ステップＳ１０３の処理が前フレームの探索範囲内の全てにおいて、探索を終了したと判定されるまで、繰り返し実行される。
【０１０８】
以上の処理の結果、メモリ１６７Ａには、ステップＳ９８乃至Ｓ１００の処理により探索範囲内において、予測誤差が最小となる予測値に対応する前フレーム動きベクトル２２３と、後フレーム動きベクトル２３３が記憶される。
【０１０９】
ステップＳ１０５において、比較器１６７は、ステップＳ１００の処理で格納された相対アドレス（動きベクトル）をローカルデコーダ部１１４に出力する。
【０１１０】
図１６は、図６のローカルデコード部１１４の構成例を示している。
【０１１１】
補正部１１２からの補正データは、クラス分類用ブロック化回路２６１および予測値計算用ブロック化回路２６２に供給される。クラス分類用ブロック化回路２６１は、現在フレームの補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化する。
【０１１２】
即ち、いま、図１７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、黒の円形の印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路２６１は、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの補正データＸ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９個の補正データで構成されるクラス分類用ブロック２４２を構成する。このクラス分類用ブロック２４２は、クラス分類適応処理回路２６３に供給される。
【０１１３】
なお、この場合、クラス分類用ブロック２４２は、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロック２４２の形状は、正方形である必要はなく、その他、例えば、図１８に示されるように菱形にしたり、長方形、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。
【０１１４】
予測値計算用ブロック化回路２６２は、動きベクトルに基づいて、補正データを、元の画像の予測値を計算するための単位である、注目補正データを基準とした予測値計算用ブロックにブロック化する。即ち、現在フレームにおいては、図１７に示されるように、補正データＸij（図中、黒い円形の印で示す部分）を中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すとすると、画素Ｙij（１）乃至Ｙij（９）の予測値の計算のために、予測値計算用ブロック化回路２６２は、例えば、注目補正データＸijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)で構成される正方形状の予測値計算用ブロック２５１を構成する。
【０１１５】
具体的には、例えば、図１７において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の９画素の予測値の計算のために、現在フレームにおいては、画素Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される（この場合の注目補正データは、Ｘ33となる）。
【０１１６】
予測値計算用ブロック化回路２６２は、さらに、動き推定部１１３より供給される動きベクトルに基づいて、図１９に示されるように、現在フレーム２０１より時間的に前の前フレーム２０２と、時間的に後の後フレーム２０３の補正データからも、予測値計算用ブロック部２５１を構成する補正データを抽出する。
【０１１７】
図１９の現在フレーム２０１は、図１７に示されるフレームである。図１９には、図１７に黒い丸印で示される補正データのみが示されている。すなわち、図１９においては、図１７における白い丸印で示される原画像の画素は、その図示が省略されている。
【０１１８】
現在フレーム２０１の注目補正データ２１１は、図１７の注目補正データＸ33に対応し、注目補正データ２１１より左側に２個、かつ上側に２個移動した位置の補正データ２１２は、図１７の補正データＸ11に対応し、注目補正データ２１１のすぐ上の補正データとしての予測タップ２１３は、図１７の補正データＸ23に対応する。
【０１１９】
現在フレーム（ｔ＝Ｔのフレーム）２０１より時間的に１フレーム前の前フレーム（ｔ＝Ｔ−１のフレーム）２０２における注目対応補正データ２２１は、現在フレーム２０１の注目補正データ２１１に対応する位置の補正データである。
予測タップ２２２を構成する補正データは、動き推定部１１３の動きベクトル検出部１５５により検出された前フレーム動きベクトル２２３に基づいて、注目補正データ２２１を移動した位置の補正データである。予測値計算用ブロック化回路２６２は、この予測タップ２２２も、予測値計算用ブロック２５１を構成する補正データとして抽出する。
【０１２０】
同様に、予測値計算用ブロック化回路２６２は、現在フレーム２０１より時間的に後の後フレーム（ｔ＝Ｔ＋１のフレーム）２０３における、現在フレーム２０１の注目補正データ２１１に対応する位置の補正データである注目対応補正データ２３１を、動きベクトル検出部１５４により検出された後フレーム動きベクトル２３３に基づいて移動した位置の補正データである予測タップ２３２を、予測値計算用ブロック２５１を構成する補正データとして抽出する。
【０１２１】
このように、この例においては、現在フレーム内の補正データだけでなく、現在フレームより時間的に前、または後のフレームの補正データが、予測値計算用ブロック２５を構成する補正データとされるため、特に、原画像が動画像である場合においても、正確に原画像を復元することが可能となる。
【０１２２】
図２０は、横軸を時間軸方向とし、縦軸をフレームの水平方向または垂直方向として、図１９の前フレーム２６２、現在フレーム２０１、および後フレーム２０３の注目補正データと予測タップの位置関係を表している。
【０１２３】
予測値計算用ブロック化回路２６２において得られた予測値計算用ブロック２５１の補正データは、クラス分類適応処理回路２６３に供給される。
【０１２４】
なお、予測値計算用ブロック２５１についても、クラス分類用ブロック２４２における場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロック２５１を構成する画素数は、クラス分類用ブロック２４２を構成する画素数よりも多くするのが望ましい。
【０１２５】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素（補正データ）が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【０１２６】
クラス分類適応処理回路２６３は、ADRC（Adaptive Dynamic Range Coding）処理回路２４４、クラス分類回路２６５、予測係数ROM２６６、および予測回路２６７で構成され、クラス分類適応処理を行う。
【０１２７】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【０１２８】
ここで、クラス分類処理および適応処理について簡単に説明する。
【０１２９】
まず、クラス分類処理について説明する。
【０１３０】
いま、例えば、図２１に示されるように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図２２に示されるように、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路２６５において行われる。
【０１３１】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【０１３２】
ところで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロック２４２は、３×３の９個の補正データで構成される。従って、このようなクラス分類用ブロック２４２を対象にクラス分類処理を行うものとすると、（２8）9という膨大な数のクラスが発生することになる。
【０１３３】
そこで、本実施の形態においては、ADRC処理回路２６４において、クラス分類用ブロック２４２に対して、ADRC処理が施され、これにより、クラス分類用ブロック２４２を構成する補正データのビット数を小さくすることで、クラス数が削減される。
【０１３４】
即ち、例えば、いま、説明を簡単にするため、図２３に示されるように、４個の画素（補正データ）で構成されるブロックを考えると、ADRC処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮが、そのブロックの局所的なダイナミックレンジとされ、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【０１３５】
即ち、ブロック内の各画素値から、最小値ＭＩＮが減算され、その減算された値がＤＲ／２Kで除算される。そして、各画素値は、その結果得られる除算値に対応するコード（ADRCコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図２４に示されるように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側（受信装置４４）において、ADRCコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【０１３６】
このようなADRC処理はノンエッジマッチングと呼ばれる。
【０１３７】
なお、ADRC処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【０１３８】
ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うADRC処理を施すことにより、上述したように、クラス数を削減することができ、このようなADRC処理が、ADRC処理回路２６４において行われる。
【０１３９】
なお、本実施の形態では、クラス分類回路２６５において、ADRC処理回路２６４から出力されるADRCコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【０１４０】
次に、適応処理について説明する。
【０１４１】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（補正データの値）（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１４２】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１４３】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数４】
【０１４４】
ＸＷ＝Ｙ’
・・・（２）
【０１４５】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数５】
【０１４６】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１４７】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数６】
【０１４８】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１４９】
【数７】
【０１５０】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１５１】
【数８】
【０１５２】
式（４）および（５）より、式（６）が得られる。
【０１５３】
【数９】
【０１５４】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１５５】
【数１０】
【０１５６】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１５７】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理に基づく予測処理が、予測回路２６７において行われる。
【０１５８】
なお、適応処理は、間引かれた画像（圧縮データ）には含まれていない、元の画像に含まれる成分が再現される点で、単なる補間処理とは異なる。即ち、適応処理は、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１５９】
次に、図２５のフローチャートを参照して、図１６のローカルデコード部１１４の処理について説明する。
【０１６０】
ローカルデコード部１１４においては、まず最初に、ステップＳ１２１において、補正部１１２からの補正データがブロック化される。即ち、クラス分類用ブロック化回路２６１において、補正データが、注目補正データ（図１７の補正データＸ33）を中心とする３×３画素のクラス分類用ブロック２４２（図１７）にブロック化され、クラス分類適応処理回路２６３に供給されるとともに、予測値計算用ブロック化回路２６２において、現在フレームの補正データが、注目補正データ２１１（Ｘ33）を中心とする５×５画素の予測値計算用ブロック２５１（図１７、図１９）にブロック化される。
【０１６１】
さらにまた、予測値計算用ブロック化回路２６２は、動き推定部１１３より供給される前フレーム動きベクトル２２３に対応して求められる前フレーム２０２の補正データである予測タップ２２２と、後フレーム動きベクトル２３３に対応して求められる後フレーム２０３の補正データである予測タップ２３２を、それぞれ予測値計算用ブロック２５１を構成する補正データとする（図１９）。従って、この例の場合、結局、合計２７個（＝５×５＋１＋１）の補正データが予測値計算用ブロック２５１の補正データとしてクラス分類適応処理回路２６３に供給される。
【０１６２】
クラス分類適応処理回路２６３において、クラス分類用ブロック２４２はADRC処理回路２６４に供給され、予測値計算用ブロック２５１は予測回路２６７に供給される。
【０１６３】
ADRC処理回路２６４は、クラス分類用ブロック２４２を受信すると、ステップＳ１２２において、そのクラス分類用ブロック２４２に対して、例えば、１ビットのADRC（１ビットで再量子化を行うADRC）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路２６５に出力する。クラス分類回路２６５は、ステップＳ１２３において、ADRC処理が施されたクラス分類用ブロック２４２に基づいて、クラス分類処理を実行する。即ち、ADRC処理が施されたクラス分類用ブロック２４２を構成する各補正データのレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロック２４２を構成する注目補正データ２１１（中心に配置された補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、予測係数ROM２６６に供給される。
【０１６４】
なお、本実施の形態においては、１ビットのADRC処理が施された３×３の９個の補正データで構成されるクラス分類用ブロック２４２に対して、クラス分類処理が施されるので、各クラス分類用ブロック２４２は、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１６５】
そして、ステップＳ１２４に進み、予測係数ROM２６６において、クラス分類回路２６５からのクラス情報に基づいて、予測係数が読み出され、予測回路２６７に供給される。予測回路２６７は、ステップＳ１２５において、各クラスごとに適応処理を施し、これにより、１フレームの元の画像データ（原画像データ）の予測値を算出する。
【０１６６】
即ち、本実施の形態においては、例えば、クラスごとに２７×９個の予測係数が読み出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する元画像の画素と、その画素の周りに隣接する８個の元画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２７×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１６７】
具体的には、例えば、いま、図１７に示した補正データ（注目補正データ）Ｘ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロック２４２についてのクラス情報Ｃが、クラス分類回路２６５から出力され、また、そのクラス分類用ブロック２４２に対応する予測値計算用ブロック２５１として、現在フレームの補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55と、前フレームの予測タップ２２２としての対応する補正データＸmv1と、後フレームの予測タップ２３２としての補正データＸmv2でなる予測値計算用ブロック２５１が、予測値計算用ブロック化回路２６２から出力される。
【０１６８】
そして、クラス情報Ｃについての予測係数ｗ1乃至ｗ27と、予測値計算用ブロック２５１とを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１６９】
ステップＳ１２５では、以上のようにして、２７×９個のクラスごとの予測係数を用いて、注目補正データを中心とする３×３個の原画像の画素の予測値が求められる。
【０１７１】
その後、ステップＳ１２６に進み、クラスごとの２７×９個の予測係数は制御部１１６に供給され、３×３個の予測値は誤差算出部１１５に供給される。そして、ステップＳ１２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。
【０１７２】
図２６は、図６の誤差算出部１１５の構成例を示している。
【０１７３】
ブロック化回路３５１には、元の画像データ（縮小される前の原画像の画像データ）が供給されている。ブロック化回路３５１は、その画像データを、ローカルデコード部１１４から出力される予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロック（例えば、図１７に四角形で囲んで示すような３×３画素のブロック）を、自乗誤差算出回路３５２に出力する。自乗誤差算出回路３５２には、上述したように、ブロック化回路３５１から元の画像データのブロックが供給される他、ローカルデコード部１１４から予測値が、９個単位（３×３画素のブロック単位）で供給される。自乗誤差算出回路３５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部３５５に供給する。
【０１７４】
即ち、自乗誤差算出回路は３５２は、演算器３５３および３５４で構成されている。演算器３５３は、ブロック化回路３５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器３５４に供給する。演算器３５４は、演算器３５３の出力（元の画像データと予測値との差分）を自乗し、積算部３５５に供給する。
【０１７５】
積算部３５５は、自乗誤差算出回路３５２から自乗誤差を受信すると、メモリ３５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ３５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求める。さらに、積算部３５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ３５６から読み出し、誤差情報として、制御部１１６に供給する。メモリ３５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部３５５の出力値を記憶する。
【０１７６】
次に、その動作について、図２７のフローチャートを参照して説明する。誤差算出部１１５では、まず最初に、ステップＳ１３１において、メモリ３５６の記憶値が、例えば０にクリア（初期化）され、ステップＳ１３２に進み、ブロック化回路３５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路３５２に供給される。自乗誤差算出回路３５２では、ステップＳ１３３において、ブロック化回路３５１から供給されるブロックを構成する、元の画像（原画像）の画像データと、ローカルデコード部１１４から供給される予測値との自乗誤差が算出される。
【０１７７】
即ち、ステップＳ１３３では、演算器３５３において、ブロック化回路３５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器３５４に供給される。演算器３５４は、演算器３５３の出力を自乗し、積算部３５５に供給する。
【０１７８】
積算部３５５は、自乗誤差算出回路３５２から自乗誤差を受信すると、ステップＳ１３４において、メモリ３５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部３５５において算出された自乗誤差の積算値は、メモリ３５６に供給され、前回の記憶値に上書きされることで記憶される。
【０１７９】
そして、積算部３５５では、ステップＳ１３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ１３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ１３２に戻り、再び、ステップＳ１３２からの処理が繰り返される。また、ステップＳ１３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ１３６に進み、積算部３５５は、メモリ３５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、制御部１１６に出力する。そして、ステップＳ１３１に戻り、次のフレームについての原画像および予測値が供給されるのを待って、再び、ステップＳ１３１からの処理が繰り返される。
【０１８０】
従って、誤差算出部１１５では、元の画像データをＹij（ｋ）とするとともに、その予測値をＥ［Ｙij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。
【０１８１】
Ｑ＝Σ（Ｙij（ｋ）−Ｅ［Ｙij（ｋ）］）2
但し、Σは、１フレーム分についてのサメーションを意味する。
【０１８２】
図２８は、図６の制御部１１６の構成例を示している。
【０１８３】
動きベクトルメモリ３６０は、動き推定部１１３から供給された動きベクトルを記憶する。予測係数メモリ３６１は、ローカルデコード部１１４から供給される予測係数を記憶する。補正データメモリ３６２は、補正部１１２から供給される補正データを記憶する。
【０１８４】
なお、補正データメモリ３６２は、補正部１１２において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶する。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部１１４からは、その新たな補正データに対応する、新たなクラスごとの予測係数のセットが出力されるが、予測係数メモリ３６１も、このように新たなクラスごとの予測係数が供給された場合には、既に記憶しているクラスごとの予測係数（前回のクラスごとの予測係数）に代えて、その新たなクラスごとの予測係数を記憶する。動きベクトルメモリ３６０も同様に、最初の動きベクトルに順次更新する処理を行う。
【０１８５】
誤差情報メモリ３６３は、誤差算出部１１５から供給される誤差情報を記憶する。なお、誤差情報メモリ３６３は、誤差算出部１１５から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶する（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持する）。また、誤差情報メモリ３６３は、新たなフレームについての処理が開始されるごとにクリアされる。
【０１８６】
比較回路３６４は、誤差情報メモリ３６３に記憶された今回の誤差情報と、予め設定されている所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行う。比較回路３６４における比較結果は、制御回路３６５に供給される。
【０１８７】
制御回路３６５は、比較回路３６４における比較結果に基づいて、補正データメモリ３６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、補正部１１２（補正回路１３１）（図１２）に供給する。また、制御回路３６５は、補正データメモリ３６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ３６１に記憶されているクラスごとの予測係数を読み出し、多重化部１１７に出力するとともに、補正データメモリ３６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部１１７に供給する。さらに、この場合、制御回路３６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、補正部１１２に出力し、これにより、上述したように、補正部１１２に、次のフレームについての処理を開始させる。
【０１８８】
次に、図２９を参照して、制御部１１６が実行する最適化処理について説明する。
【０１８９】
制御部１１６では、まず最初に、ステップＳ１４１において、誤差算出部１１５から誤差情報を受信したかどうかが、比較回路３６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ１４１に戻る。また、ステップＳ１４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ３６３に誤差情報が記憶された場合、ステップＳ１４２に進み、比較回路３６４において、誤差情報メモリ３６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。
【０１９０】
ステップＳ１４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路３６４において、誤差情報メモリ３６３に記憶されている前回の誤差情報が読み出される。そして、比較回路３６４は、ステップＳ１４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。
【０１９１】
なお、１フレームについての処理が開始され、最初に誤差情報が供給された場合には、誤差情報メモリ３６３には、前回の誤差情報は記憶されていない。そこで、この場合には、制御部１１６においては、ステップＳ１４３以降の処理は行われず、制御回路３６５において、所定の初期アドレスを補正値ROM１３２に出力するように、補正回路１３１（図１２）を制御する制御信号が出力される。
【０１９２】
ステップＳ１４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ１４４に進み、制御回路３６５は、補正値Δを、前回と同様に変化させるように指示する制御信号を、補正回路１３１に出力し、ステップＳ１４１に戻る。また、ステップＳ１４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ１４５に進み、制御回路３６５は、補正値Δを、前回と逆に変化させるように指示する制御信号を、補正回路１３１に出力し、ステップＳ１４１に戻る。
【０１９３】
なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路３６５は、補正値Δを、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力する。
【０１９４】
そして、ステップＳ１４１乃至Ｓ１４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ１４２において、今回の誤差情報が、所定の閾値εより小さくなったと判定された場合、ステップＳ１４６に進み、制御回路３６５は、予測係数メモリ３６１に記憶されているクラスごとの予測係数を読み出すとともに、補正データメモリ３６２に記憶されている１フレームの補正データを、最適圧縮データとして読み出し、多重化部１１７に供給される。また、動きベクトルメモリ３６０に記憶されている最適圧縮データに対応する動きベクトルも、読み出され、多重化部１１７に供給され、処理を終了する。
【０１９５】
その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図２９に示すフローチャートにしたがった処理が繰り返される。
【０１９６】
なお、補正回路１３１には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路３６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、例えば、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値Δだけ補正するような処理を行わせる制御信号を、制御回路３６５から補正回路１３１に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。
【０１９７】
以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４４（図２）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。
【０１９８】
また、画像は、間引き処理により圧縮される他、ADRC処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置４１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。
【０１９９】
図３０は、図２の受信装置４４のハードウェアの構成例を表している。
【０２００】
受信機／再生装置４６６は、送信装置４１が符号化データを記録した記録媒体４２を再生したり、送信装置４１が伝送路４３を介して伝送した符号化データを受信する。I/F４６１は、受信機／再生装置４６６に対しての符号化データの受信処理を行うとともに、復号された画像データを図示せぬ装置に出力する処理を実行する。
【０２０１】
ROM（Read Only Memory）４６２は、IPL（Initial Program Loading）用のプログラムその他を記憶している。RAM（Random Access Memory）４６３は、外部記憶装置４６５に記録されているシステムプログラム（OS（Operating System））やアプリケーションプログラムを記憶したり、また、CPU（Central Processing Unit）４６４の動作上必要なデータを記憶する。CPU４６４は、ROM４６２に記憶されているIPLプログラムにしたがい、外部記憶装置４６５からシステムプログラムおよびアプリケーションプログラムを、RAM４６３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ４６１から供給される符号化データについての、後述するような復号処理を行う。
【０２０２】
外部記憶装置４６５は、例えば、磁気ディスク４７１、光ディスク４７２、光磁気ディスク４７３、または半導体メモリ４７４などでなり、上述したように、CPU４６４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、CPU４６４の動作上必要なデータも記憶している。
【０２０３】
なお、Ｉ／Ｆ４６１，ROM４６２，RAM４６３，CPU４６４、および外部記憶装置４６５は、相互にバスを介して接続されている。
【０２０４】
以上のように構成される受信装置４４においては、Ｉ／Ｆ４６１に受信機／再生装置４６６から符号化データが供給されると、その符号化データは、CPU４６４に供給される。CPU４６４は、符号化データを復号し、その結果得られる復号データを、Ｉ／Ｆ４６１に供給する。Ｉ／Ｆ４６１は、復号データ（画像データ）を受信すると、それを、図示せぬディスプレイ等に出力し、表示させる。
【０２０５】
図３１は、図３０の受信装置４４の受信機／再生装置４６６を除く部分の機能的な構成例を示している。
【０２０６】
受信機／再生装置４６６においては、記録媒体４２に記録された符号化データが再生されるか、または伝送路４３を介して伝送されてくる符号化データ（処理対象データ）が受信されるか、分離部５７２に供給される。分離部５７２では、符号化データから、補正データ（最適圧縮データ）、クラスごとの予測係数、および動きベクトルが抽出される。補正データは、クラス分類用ブロック化回路５７３、および予測値計算用ブロック化回路５７７に供給され、クラスごとの予測係数は、予測回路５７６に供給されて、その内蔵するメモリ５７６Ａに記憶される。また、動きベクトルは、予測値計算用ブロック化回路５７７に供給される。
【０２０７】
クラス分類用ブロック化回路５７３、ADRC処理回路５７４、クラス分類回路５７５、予測回路５７６、または予測値計算用ブロック化回路５７７は、図１６におけるクラス分類用ブロック化回路２６１、ADRC処理回路２６４、クラス分類回路２６５、予測回路２６７、または予測値計算用ブロック化回路２６２と、それぞれ同様に構成されている。従って、これらのブロックにおいては、図１４と図１６における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路５７７からは予測値計算用ブロックが出力され、また、クラス分類回路５７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路５７６に供給される。
【０２０８】
予測回路５７６は、クラス分類回路５７５から供給されるクラス情報に対応した２７×９個の予測係数を、メモリ５７６Ａから読み出し、その２７×９個の予測係数と、予測値計算用ブロック化回路５７７から供給される５×５画素の予測値計算用ブロック２５１を構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される画像を、復号画像として、例えば、１フレーム単位で出力する。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０２０９】
次に、図３１の受信装置４４の復号処理について、図３２のフローチャートを参照して説明する。
【０２１０】
最初に、ステップＳ１６０において、受信機／再生装置４６６は、符号化データを取得し、ステップＳ１６１において、分離部５７２は、受信機／再生装置４６６より供給された符号化データから、補正データと予測係数を分離し、補正データをクラス分類用ブロック化回路５７３、動き推定部５７７、および予測値計算用ブロック化回路５７７に供給するとともに、予測係数を予測回路５７６のメモリ５７６Ａに供給する。
【０２１１】
ステップＳ１６２において、クラス分類用ブロック化回路５７３は、クラス分類用ブロック化処理を行い、クラス分類用ブロックをADRC処理回路５７４に供給する。
【０２１２】
ステップＳ１６３において、ADRC処理回路５７４は、クラス分類用ブロック化回路５７３より供給されたクラス分類用ブロックの補正データを１ビットADRC処理し、クラス分類回路５７５に出力する。
【０２１３】
クラス分類回路５７５は、ステップＳ１６４において、ADRC処理回路５７４より供給されたデータに基づいて、クラス分類処理を行い、クラスコードを予測回路５７６に出力する。
【０２１４】
ステップＳ１６５において、予測回路５７６は、メモリ５７６Ａに記憶されている、クラスコードに対応する予測係数を読み出す。
【０２１５】
予測値計算用ブロック化回路５７７は、ステップＳ１６６において、分離部５７２より供給される前フレーム動きベクトルと後フレーム動きベクトルに基づいて、やはり分離部５７２より供給される補正データの中から、予測値計算用ブロックを構成する補正データを抽出する。
【０２１６】
ステップＳ１６７において、予測回路５７６は、ステップＳ１６５の処理で読み出した、クラス分類回路５７５から供給されるクラス情報に対応した２７×９個の予測係数と、予測値計算用ブロック化回路５７７から供給される２７個の予測値計算用ブロックを構成する補正データとを用い、式（１）に従って、原画像の３×３画素の予測値を算出する。
【０２１７】
その後、ステップＳ１６８に進み、予測回路５７６は、ステップＳ１６７の処理で算出した予測値を復号結果として出力する。
【０２１８】
なお、受信側においては、図３１に示すような受信装置４４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）が劣化したものとなる。
【０２１９】
図３３は、図１６の予測係数ROM２６６に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。
【０２２０】
この画像処理装置には、あらゆる画像に適応可能な予測係数を得るための学習用の画像データ（学習用画像）が供給される。図１４に示される動き推定部１１３と同様に構成される動き推定部５９０は、入力された画像データから、前フレーム動きベクトルと後フレーム動きベクトルを検出し、学習用ブロック化回路５９１に供給する。
【０２２１】
学習用ブロック化回路５９１は、動き推定部５９０から供給される動きベクトルに基づいて、画像データから学習用ブロックを抽出し、ADRC処理回路５９３と学習データメモリ５９６に供給する。ADRC処理回路５９３は、学習用ブロック化回路５９１より供給される学習用ブロックを１ビットADRC処理し、処理した結果をクラス分類回路５９４に出力する。
【０２２２】
クラス分類回路５９４は、ADRC処理回路５９３より供給されたデータをクラス分類し、得られた結果をスイッチ５９５の端子ａを介して学習データメモリ５９６のアドレス端子に供給する。
【０２２３】
スイッチ５９５はまた、端子ｂからカウンタ５９７の出力を学習データメモリ５９６のアドレス端子に供給する。
【０２２４】
教師用ブロック化回路５９２は、画像データから教師用ブロックを抽出し、教師データメモリ５９８に出力する。教師データメモリ５９８のアドレス端子には、スイッチ５９５により、端子ａから取り込まれたクラス分類回路５９４の出力、または端子ｂから取り込まれたカウンタ５９７の出力が供給されている。
【０２２５】
演算回路５９９は、学習データメモリ５９６の出力と、教師データメモリ５９８の出力とを演算し、演算して得られた結果をメモリ６００に供給する。メモリ６００のアドレス端子には、カウンタ５９７の出力が供給されている。
【０２２６】
次に、図３４のフローチャートを参照して、図３３の画像処理装置の学習処理について説明する。
【０２２７】
ステップＳ１８１において、動き推定部５９０は、入力された画像データから前フレーム動きベクトルと後フレーム動きベクトルを抽出し、学習量ブロック化回路５９１に出力する。
【０２２８】
学習用ブロック化回路５９１は、ステップＳ１８２において、入力される画像データから、例えば、図１７に黒い円形の印で示した位置関係の２５画素（５×５画素）、並びに、図１９に示される前フレームの予測タップ２２２と後フレームの予測タップ２３２に対応する２個の画素を抽出し、この２７画素で構成されるブロックを、学習用ブロックとして、ADRC処理５９３および学習データメモリ５９６に供給する。
【０２２９】
また、教師用ブロック化回路５９２は、ステップＳ１８３において、入力される画像データから、例えば、３×３個の９画素で構成されるブロックを生成し、この９画素で構成されるブロックを、教師用ブロックとして、教師データメモリ５９８に供給する。
【０２３０】
なお、学習用ブロック化回路５９１において、例えば、図１７と図１９に黒い円形の印で示した位置関係の２７画素を含む学習用ブロックが生成されるとき、教師用ブロック化回路５９２では、図１７に四角形で囲んで示される３×３画素の教師用ブロックが生成される。
【０２３１】
ADRC処理回路５９３は、ステップＳ１８４において、学習用ブロックを構成する２７画素から、例えば、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図１６のADRC処理回路２６４における場合と同様に、１ビットのADRC処理を施す。ADRC処理の施された３×３画素のブロックは、クラス分類回路５９４に供給される。クラス分類回路５９４は、ステップＳ１８５において、図１６のクラス分類回路２６５における場合と同様に、ADRC処理回路５９３からのブロックをクラス分類処理し、それにより得られるクラス情報を、スイッチ５９５の端子ａを介して、学習データメモリ５９６および教師データメモリ５９８に供給する。
【０２３２】
学習データメモリ５９６または教師データメモリ５９８は、それぞれステップＳ１８６，Ｓ１８７において、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路５９１からの学習用ブロックまたは教師用ブロック化回路５９２からの教師用ブロックを、それぞれ記憶する。
【０２３３】
従って、学習データメモリ５９６において、例えば、図１７と図１９に黒い円形の印で示した２７（＝５×５＋２）個の画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ５９８においては、そのアドレスと同一のアドレスに、図１７において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０２３４】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１６のローカルデコード部１１４において、その学習用ブロックを構成する２７画素と同一の位置関係を有する２７個の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ５９６と、教師用データメモリ５９８とにおいて、同一のアドレスに記憶される。
【０２３５】
なお、学習用データメモリ５９６と教師用データメモリ５９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。
【０２３６】
学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ５９６と教師データメモリ５９８に記憶されると、ステップＳ１８８において、端子ａを選択していたスイッチ５９５が、端子ｂに切り替わり、これにより、カウンタ５９７の出力が、アドレスとして、学習データメモリ５９６および教師データメモリ５９８に供給される。カウンタ５９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ５９６または教師データメモリ５９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路５９９に供給される。
【０２３７】
従って、演算回路５９９には、カウンタ５９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０２３８】
演算回路５９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０２３９】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２４０】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０２４１】
そこで、演算回路５９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。従って、この処理をクラスごとに行うことにより、各クラスごとに、２７×９個の予測係数が生成される。
【０２４２】
演算回路５９９において求められた、クラスごとの予測係数は、ステップＳ１８９において、メモリ６００に供給される。メモリ６００には、演算回路５９９からの予測係数の他、カウンタ５９７からカウント値が供給されており、これにより、メモリ６００においては、演算回路５９９からの予測係数が、カウンタ５９７からのカウント値に対応するアドレスに記憶される。
【０２４３】
以上のようにして、メモリ６００には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２７×９個の予測係数が記憶される。
【０２４４】
図１６の予測係数ROM２６６には、以上のようにしてメモリ６００に記憶されたクラスごとの予測係数が記憶される。
【０２４５】
なお、図１９の例においては、現在フレーム２０１の１フレーム前の前フレーム２０２と、１フレーム後の後フレーム２０３からも予測タップを抽出するようにしたが、例えば、図３５に示されるように、前フレーム２０２よりさらに１フレーム前の前フレーム２０４において、注目補正データ４５１に対して動きベクトル４５３に対応する位置の補正データを予測タップ４５２として抽出し、さらに、後フレーム２０３よりさらに１フレームだけ後の後フレーム２０５における注目対応補正データ４６１に対して動きベクトル４６３に対応する位置の補正データで構成される予測タップ４６２を抽出し、それらも予測値計算用ブロックの補正データとすることができる。
【０２４６】
また、以上においては、現在フレームより前のフレームと後のフレームの両方から予測タップを抽出するようにしたが、少なくとも一方からだけ予測タップを抽出するようにしてもよい。
【０２４７】
但し、時間的により広い範囲から予測タップを抽出するようにした方が、動きが速い動画像が原画像である場合においても、より、原画像に近い画像を復号することが可能となる。
【０２４８】
以上においては、動き推定部１１３、ローカルデコード部１１４、および誤差算出部１１５を別の構成としたが、これらを一体に構成することも可能である。
図３６は、この場合における動き推定部１１３（ローカルデコード部１１４および誤差算出部１１５）の構成例を表している。すなわち、この例においては、比較器１６７より予測誤差に基づく誤差情報が制御部１１６に供給される。また、予測係数ROM１６４から読み出された予測係数が、制御部１１６に供給される。
【０２４９】
従って、図６における動き推定部１１３、ローカルデコード部１１４、および誤差算出部１１５を一体化した構成とすることができる。
【０２５０】
図３７は、動き推定部１１３の他の構成例を表している。
【０２５１】
この動き推定部１１３においては、フレームメモリ７２０乃至７２２に、補正データが１フレーム分づつ順次転送され、保持される。従って、フレームメモリ７２１には現在フレームの補正データが、フレームメモリ７２２には前フレームの補正データが、そして、フレームメモリ７２０には後フレームの補正データが、それぞれ保持される。
【０２５２】
アドレス設定部７２３−１は、フレームメモリ７２０，７２２に記憶されている補正データのうち、所定の探索範囲（フレームメモリ７２１に記憶されている現在フレーム２０１の注目補正データ２１１に対応する探索範囲）内の第１の位置（動きベクトルｖ０に対応する位置）の予測タップを構成する任意の数の補正データのアドレスを設定し、そのアドレスに対応する補正データ、すなわち、予測タップを構成する補正データを読み出し、クラス分類適応処理回路７２４−１に供給する。アドレス設定部７２３−１は、また、フレームメモリ７２１に記憶されている補正データのうち、注目補正データ２１１を中心とする所定の範囲の予測タップを構成する補正データを読み出し、クラス分類適応処理回路７２４−１に供給する。さらに、また、アドレス設定部７２３−１は、フレームメモリ７２１に記憶されている現在フレームから、クラスタップを構成する補正データを読み出し、クラス分類適応処理回路７２４−１に供給する。
【０２５３】
クラス分類適応処理回路７２４−１は、アドレス設定部７２３−１より供給された予測タップとクラスタップの補正データに基づいて、クラス分類適応処理を行い、注目補正データ２１１に対応する注目画素の予測値を演算する。
【０２５４】
アドレス設定部７２３−２は、探索範囲内の第２の位置（第２の動きベクトルｖ１に対応する位置）の予測タップとクラスタップの画素データを抽出し、クラス分類適応処理回路７２４−２に供給する。クラス分類適応処理回路７２４−２は、アドレス設定部７２３−２より供給された予測タップとクラスタップの補正データに基づいて、クラス分類適応処理を行い、予測値を演算する。
【０２５５】
同様の構成が、探索範囲内を探索して得られる動きベクトルの数（ｎ個）だけ設けられている。すなわち、アドレス設定部とクラス分類適応処理部の組み合わせがｎ組用意されている。例えば、探索範囲が水平方向と垂直方向ともにマイナス８からプラス８までであるとすると、ｎの数は２８９（＝１７×１７）となる。
【０２５６】
比較器７２５は、クラス分類適応処理回路７２４−１乃至７２４−ｎから供給されるｎ個の予測値を、入力画像データの注目画素と比較し、その差を予測残差として検出するとともに、予測残差のうちの最初の予測残差を評価値として選択する。
【０２５７】
閾値判定部７２６は、比較器７２５より供給される最小の予測残差（評価値）を閾値と比較する。評価値が閾値と等しいか、それより小さい場合には、閾値判定部７２６は、動きベクトルを出力する。閾値判定部７２６は、予測残差が閾値よりも大きい場合には、予測残差そのものを出力する。
【０２５８】
次に、図３７の動き推定部１１３の処理について、図３８と図３９のフローチャートを参照して説明する。
【０２５９】
なお、アドレス設定部７２３−１乃至７２３−ｎは、例えば、図１６におけるクラス分類用ブロック化回路２６１と予測値計算用ブロック化回路７４２を内蔵しており、クラス分類適応処理回路７２４−１乃至７２４−ｎは、それぞれ図１６のクラス分類適応処理回路２６３と同様に、ADRC処理回路、クラス分類回路、予測係数ROM、および予測回路を内蔵している。
【０２６０】
最初に、ステップＳ２１０において、閾値判定部２６は、伝送判定閾値をセットする。この伝送判定閾値は、後述するステップＳ２２６の処理で利用される。
【０２６１】
ステップＳ２１１において、前フレームデータを蓄積する処理が実行され、ステップＳ２１２において、現在フレームデータを蓄積する処理が実行され、ステップＳ２１３において、後フレームデータを蓄積する処理が実行される。すなわち、例えば、１フレーム分の画像データが、フレームメモリ７２０に記憶された後、再びそこから読み出され、フレームメモリ７２１に転送され、そこからさらにフレームメモリ７２２に転送され、記憶される。そして、フレームメモリ７２１には、それに続く新たな１フレーム分の補正データが記憶され、さらにフレームメモリ７２０には、その後の１フレーム分の補正データが記憶される。このようにして、フレームメモリ７２２には、前フレームの補正データが記憶され、フレームメモリ７２１には、現在フレーム（前フレームより時間的に１フレームだけ後のフレーム）の補正データが蓄積され、フレームメモリ７２０には、後フレーム（現在フレームより時間的に１フレームだけ後のフレーム）の補正データが蓄積される。
【０２６２】
ステップＳ２１４において、フレームメモリ７２１は、アドレス設定部７２３−１乃至７２３−ｎの制御に基づいて、記憶している現在フレームの補正データの中から注目補正データを抽出し、比較器７２５と閾値判定部７２６に供給する。
【０２６３】
ステップＳ２１５において、比較器７２５は、比較値をセットする。この比較値は、最小の予測残差としての評価値を求めるために、ステップＳ２２４の処理で、より小さい予測残差の値に更新されるものであり、初期値としては、最大値がセットされる。この比較値は、ステップＳ２２３の処理で利用される。
【０２６４】
次に、ステップＳ２１６において、アドレス設定部７２３−１乃至７２３−ｎは、それぞれステップＳ２１４の処理で抽出された注目補正データに対応するアドレスを設定する。これにより、アドレス設定部７２３−１乃至７２３−ｎから、注目補正データに対応する探索範囲内における、各探索位置（動きベクトル）に対応するクラスタップと予測タップを含む補正データが、対応するクラス分類適応処理回路７２４−１乃至７２４−ｎに取り込み可能となる。
【０２６５】
そこで、ステップＳ２１７において、アドレス設定部７２３−１乃至７２３−ｎのクラス分類用ブロック化回路は、供給された補正データの中からクラスタップを抽出する。
【０２６６】
クラス分類適応処理回路７２４−１乃至７２４−ｎのADRC処理回路は、ステップＳ２１８において、クラスタップを構成する９個の補正データに対して、１ビットADRC処理を施す。これにより、９個の補正データがそれぞれ０または１の値に変換されて、９ビットのデータがクラス分類適応処理回路７２４−１乃至７２４−ｎのクラス分類回路に供給される。クラス分類回路は、ADRC処理回路より供給される９ビットのデータに基づいて、その９個の補正データで構成されるクラスタップに対応するクラスコードを決定し、クラス分類適応処理回路７２４−１乃至７２４−ｎの予測係数ROMに出力する。
【０２６７】
クラス分類適応処理回路７２４−１乃至７２４−ｎの予測係数ROMは、ステップＳ２１９において、クラス分類回路より供給されたクラスコードに対する予測係数を読み出し、クラス分類適応処理回路７２４−１乃至７２４−ｎの予測回路に出力する。
【０２６８】
ステップＳ２２０において、予測回路は、アドレス設定部７２３−１乃至７２３−ｎより供給される補正データから、クラスタップを構成する補正データを取得する。
【０２６９】
予測回路は、ステップＳ２２１において、予測値計算処理を実行する。すなわち、予測回路は、予測値計算用ブロック化回路より供給された予測タップを構成する補正データと、予測係数ROMより供給される予測係数の線形１次結合を演算して、予測値を算出し、比較器７２５に出力する。
【０２７０】
比較器７２５は、ステップＳ２２２において、予測残差計算処理を実行する。
すなわち、比較器７２５は、クラス分類適応処理回路７２４（いまの場合、クラス分類適応処理回路７２４−１）より供給される予測値と、入力画像データを構成する注目画素（真値）との差を演算することで、予測残差を計算する。
【０２７１】
ステップＳ２２３において、比較器７２５は、ステップＳ２２２の処理で求めた予測残差（評価値）を比較値と比較する。この比較値は、いまの場合、ステップＳ２１５の処理で最大値に設定されている。従って、評価値は、比較値より小さいと判定され、ステップＳ２２４に進み、比較器７２５は、ステップＳ２１５の処理で最大値にセットされた比較値の値を、ステップＳ２２２の処理で計算された予測残差（評価値）に更新する。すなわち、比較値として、より小さい値が設定される。
【０２７２】
ステップＳ２２５において、閾値判定部７２６は、ステップＳ２２２の処理で求められた評価値に対応する動きベクトルを内蔵するメモリに保持する（既に保持されている動きベクトルがある場合には、更新する）。いまの場合、クラス分類適応処理回路７２４−１の出力が処理されているので、この動きベクトルは、ｖ０となる。
【０２７３】
ステップＳ２２６において、閾値判定部７２６は、ステップＳ２２２の処理で得られた予測残差（評価値）と、ステップＳ２１１の処理でセットされた伝送判定閾値とを比較する。予測残差（評価値）が伝送判定閾値と等しいか、それより大きいと判定された場合、ステップＳ２２７において、閾値判定部７２６は、ステップＳ２２２の処理で計算された予測残差を評価値として保持する。
【０２７４】
予測残差（評価値）が伝送判定閾値より小さいと判定された場合には、ステップＳ２２７の処理はスキップされる。
【０２７５】
ステップＳ２２３において、予測残差（評価値）が比較値と等しいか、それより大きいと判定された場合には、ステップＳ２２４乃至ステップＳ２２７の処理はスキップされる。
【０２７６】
ステップＳ２２８において、閾値判定部７２６は、探索範囲内の全ての位置の処理を終了したか否かを判定する。すなわち、クラス分類適応処理回路７２４−１乃至７２４−ｎの全ての出力に対する処理を完了したか否かがここで判定される。クラス分類適応処理回路２４−１乃至２４−ｎの出力のうち、まだ処理していないものが残っている場合には、ステップＳ２１６に戻り、それ以降の処理が繰り返し実行される。
【０２７７】
以上のようにして、ステップＳ２１６乃至ステップＳ２２８の処理がクラス分類適応処理回路７２４−１乃至７２４−ｎが出力するｎ個の予測値の全てに対して実行される。
【０２７８】
ステップＳ２２８で探索範囲内の全ての位置の処理が終了したと判定された場合、ステップＳ２２９に進み、閾値判定部７２６は、伝送判定閾値より小さい予測残差（評価値）が保存されているか否かを判定する。すなわち、探索範囲内の全ての位置の処理により、ｎ個の予測残差（評価値）が得られることになるが、そのｎ個の予測残差のうち、少なくとも１つ伝送判定閾値より小さいものがある場合には、その中で最小のものに対応する動きベクトルがステップＳ２２５の処理で保持されている。そこで、その場合には、ステップＳ２３０において、閾値判定部７２６は、ステップＳ２２５の処理で保持した動きベクトルを読み出し、出力する。
【０２７９】
ステップＳ２２９において、伝送判定閾値より小さい評価値が存在しないと判定された場合、閾値判定部７２６、ステップＳ２３１において、ステップＳ２２７の処理により保持されている予測残差（評価値）を出力する処理を実行する。
【０２８０】
すなわち、ｎ個の予測残差（評価値）が全て伝送判定閾値と等しいか、それより大きい場合には、そのうちの最小の値に対応する予測残差がステップＳ２２７の処理で保持されている。そこで、閾値判定部２２６は、その予測残差を、いま対象とされている検索範囲の評価値（最小の予測残差）として、出力する。
【０２８１】
ステップＳ２３０，Ｓ２３１の処理の後、ステップＳ２３２において、閾値判定部７２６は、１フレーム内の全ての探索範囲の処理が終了したか否かを判定し、まだ終了していない探索範囲が残っている場合には、ステップＳ２１４に戻り、それ以降の処理が繰り返し実行される。
【０２８２】
ステップＳ２３２において、全ての探索範囲の処理が終了したと判定された場合、処理は終了される。
【０２８３】
この例の場合、制御部１１６は、閾値判定部７２６より動きベクトルが供給されてきた場合には、その動きベクトルに、伝送するデータが、動きベクトルであることを表すフラグを付加し、閾値判定部７２６より供給されてきたのが、予測残差（評価値）である場合には、伝送するデータが動きベクトルではないことを表す（予測残差であることを表す）フラグを付加する。
【０２８４】
図７のステップＳ２０において、制御部１１６は、閾値判定部７２６より供給された動きベクトルとフラグ、または予測残差（評価値）とフラグを多重化部１１７に供給して量子化し、伝送路に伝させる。
【０２８５】
図４０は、以上の処理のうち、前フレームに対する処理を表している。同図に示されるように、フレームメモリ７２１に記憶されている現在フレーム２０１において、所定の補正データが注目補正データ２１１として選択される。そして、フレームメモリ７２２に記憶されている前フレーム２０２の注目補正データ２１１に対応する補正データが注目対応補正データ２２１として選択され、注目対応補正データ２２１を中心とする所定の範囲が、探索範囲７８１として設定される。
【０２８６】
探索範囲７８１内において、所定の範囲の補正データが予測タップ７８２として選択され、予測タップ７８２を構成する補正データに基づいて、上述したように、予測値が演算される。そして、その予測値と注目画素との差が予測残差として算出される。
【０２８７】
予測タップ７８２は、探索範囲７８１内を、予測タップ７８２−１乃至７８２−ｎとして示されるように、ｎ個の位置に、順次移動される。そして、ｎ個の予測タップのそれぞれに対応して得られるｎ個の予測残差の中から最小のものがその探索範囲７８１の評価値として選択される。
【０２８８】
以上のような処理が、現在フレーム２０１の中の全ての補正データを注目補正データ２１１として順次選択することで実行される。
【０２８９】
以上においては、簡単のため、現在フレーム２０１と前フレーム２０２との間の処理についてのみ説明したが、実際には、同様の処理が後フレーム２０３と組み合わされて、同時に行われる。
【０２９０】
このように、この実施の形態においては、動きベクトルは、予測残差が閾値より小さい場合にのみ伝送され、予測残差が閾値より大きい場合には、予測残差そのものが伝送される。
【０２９１】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２９２】
なお、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２９３】
また、本実施の形態では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようする場合において、圧縮データの補正の回数に、上限を設けるようにすることも可能である。即ち、例えば、リアルタイムで画像の伝送を行う場合などにおいては、１フレームについての処理が、所定の期間内に終了することが必要であるが、誤差情報は、そのような所定の期間内に収束するとは限らない。そこで、補正の回数に上限を設けることにより、所定の期間内に、誤差情報が閾値ε以下に収束しないときは、そのフレームについての処理を終了し（そのときにおける補正データを、符号化結果とし）、次のフレームについての処理を開始するようにすることが可能である。
【０２９４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２９５】
この記録媒体は、図５と図３０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７１，４７１（フロッピディスクを含む）、光ディスク７２，４７２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク７３，４７３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ７４，４７４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM６２，４６２や、ハードディスクなどで構成される。
【０２９６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２９８】
【発明の効果】
本発明によれば、より適正に補正された補正データを得ることができ、より原画像に近い復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】従来の画像圧縮処理を行う装置の構成例を示すブロック図である。
【図２】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図３】図２の送信装置における圧縮処理を説明する図である。
【図４】図２における受信装置の復号処理を説明する図である。
【図５】図２の送信装置の構成例を示すブロック図である。
【図６】図２の送信装置の機能的構成例を示すブロック図である。
【図７】図６の送信装置の動作を説明するフローチャートである。
【図８】単純間引き処理を説明するフローチャートである。
【図９】単純間引き処理を説明する図である。
【図１０】画像平均処理を説明するフローチャートである。
【図１１】画像平均処理を説明する図である。
【図１２】図６の補正部の構成例を示すブロック図である。
【図１３】図１２の補正部の動作を説明するフローチャートである。
【図１４】図６の送信装置の動き推定部の構成例を示すブロック図である。
【図１５】図１４の動き推定部の処理を説明するフローチャートである。
【図１６】図６のローカルデコード部の構成例を示すブロック図である。
【図１７】クラス分類用ブロックを説明する図である。
【図１８】クラス分類用ブロックの他の例を説明する図である。
【図１９】予測値計算用ブロックを説明する図である。
【図２０】予測値計算用ブロックを説明する他の図である。
【図２１】クラス分類処理を説明するための図である。
【図２２】クラス分類処理を説明するための図である。
【図２３】 ADRC処理を説明するための図である。
【図２４】 ADRC処理を説明するための図である。
【図２５】図１６のローカルデコード部の動作を説明するフローチャートである。
【図２６】図６の誤差算出部の構成例を示すブロック図である。
【図２７】図２６の誤差算出部の動作を説明するフローチャートである。
【図２８】図６の制御部の構成例を示すブロック図である。
【図２９】図２８の制御部の動作を説明するフローチャートである。
【図３０】図２の受信装置の構成例を示すブロック図である。
【図３１】図２の受信装置の機能的構成例を示すブロック図である。
【図３２】図３１の受信装置の動作を説明するフローチャートである。
【図３３】図１６の予測係数ROMに記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。
【図３４】図３３の画像処理装置の動作を説明するフローチャートである。
【図３５】予測タップを説明する図である。
【図３６】動き推定部の他の構成例を示すブロック図である。
【図３７】動き推定部のさらに他の構成例を示すブロック図である。
【図３８】図３７の動き推定部の処理を説明するフローチャートである。
【図３９】図３７の動き推定部の処理を説明するフローチャートである。
【図４０】図３７の動き推定部の処理を説明する図である。
【符号の説明】
４１ 送信装置， ４２ 記録媒体， ４３ 伝送路， ４４ 受信装置， １１１ 縮小画像生成部， １１２ 補正部， １１３ 動き推定部， １１４ローカルデコード部， １１５ 誤差算出部， １１６ 制御部， １１７ 多重化部， １３１ 補正回路， １３２ 補正値ROM， １５１，１５２，１５３ フレームメモリ， ２６１ クラス分類用ブロック化回路， ２６２ 予測値計算用ブロック化回路， ２６３ クラス分類適応処理回路， ２６４ ADRC処理回路， ２６５ クラス分類回路， ２６６ 予測係数ROM， ２６７ 予測回路， ３５１ ブロック化回路， ３５２ 自乗誤差算出回路， ３５３，３５４ 演算器， ３５５ 積算部， ３５６ メモリ， ３６１ 予測係数メモリ， ３６２ 補正データメモリ， ３６３ 誤差情報メモリ， ３６４ 比較回路， ３６５ 制御回路， ５７２ 分離部， ５７３ クラス分類用ブロック化回路， ５７４ ADRC処理回路， ５７５ クラス分類回路， ５７６予測回路， ５７６Ａ メモリ， ５７７ 予測値計算用ブロック化回路， ５９０ 動き推定部， ５９１ 学習用ブロック化回路， ５９２ 教師用ブロック化回路， ５９３ ADRC処理回路， ５９４ クラス分類回路， ５９５ スイッチ， ５９６ 学習データメモリ， ５９７ カウンタ， ５９８ 教師データメモリ， ５９９ 演算回路， ６００ メモリ
Claims (14)
- 原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮手段と、
前記圧縮手段により生成された前記縮小画像データの画素値を補正した補正データから演算された前記原画像の予測値の前記原画像に対する予測誤差が収束するように繰り返し補正することで、前記補正データを生成する補正手段と、
前記補正手段により生成された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データを保持するとともに、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方を保持する補正データ保持手段と、
前記補正データ保持手段により保持されている前記第１の補正データの注目ブロックを設定する注目ブロック設定手段と、
前記補正データ保持手段により保持されている前記第２の補正データまたは前記第３の補正データから、前記注目ブロック設定手段により設定された前記注目ブロックに対応する位置の前記第２の補正データまたは前記第３の補正データを取得する取得手段と、
前記注目ブロック設定手段により設定された前記注目ブロックと、前記取得手段により取得された前記第２の補正データまたは前記第３の補正データ中の前記注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、前記第１の原画像を予測するのに必要な予測補正データとして抽出する抽出手段と、
前記予測値を演算するための予測式の係数である予測係数を保持し、前記予測係数を出力する予測係数保持手段と、
前記予測係数と、前記抽出手段により抽出された前記予測補正データとを、前記予測式に代入することで予測値を演算する演算手段と、
前記第１の原画像に対する前記演算手段により演算された前記予測値の予測誤差が最小となる場合における、前記取得手段により取得された前記第２の補正データまたは前記第３の補正データの前記注目ブロックに対する相対的位置に基づいて、前記所定の位置ベクトルを生成する生成手段と、
前記予測値の予測誤差が最小となる場合における、前記補正データと、対応する前記所定の位置ベクトルを出力する出力手段と
を備えることを特徴とする画像符号化装置。 - 前記出力手段は、前記予測係数をさらに出力する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記演算手段は、前記予測係数と、前記抽出手段により抽出された前記予測補正データとの線形結合により、予測値を演算する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記補正データ保持手段により保持されている前記第１の補正データを、その値に基づく性質に応じて所定のクラスに分類するクラス分類手段をさらに備え、
前記予測係数保持手段は、前記クラス分類手段により分類された前記クラスに対応する前記予測係数を出力し、
前記演算手段は、前記クラス分類手段により分類された前記クラスに対応する前記予測係数と、前記抽出手段により抽出された前記予測補正データとを、前記予測値を演算するための予測式に代入することで予測値を演算する
ことを特徴とする請求項１に記載の画像符号化装置。 - 前記予測誤差を算出する予測誤差算出手段と、
前記予測誤差算出手段により算出された前記予測誤差が所定の値以下であるか、または補正回数が所定回数以上であるかのいずれかである場合、前記補正データが適正であると判定する判定手段とをさらに備え、
前記出力手段は、前記判定手段により前記補正データが適正であると判定された場合、前記補正データと、対応する前記所定の位置ベクトルを出力する
ことを特徴とする請求項１に記載の画像符号化装置。 - 原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、
前記圧縮ステップの処理により生成された前記縮小画像データの画素値を補正した補正データから演算された前記原画像の予測値の前記原画像に対する予測誤差が収束するように繰り返し補正することで、前記補正データを生成する補正ステップと、
前記補正ステップの処理により生成された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、
前記補正データ保持制御ステップの処理により保持が制御されている前記第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、
前記補正データ保持制御ステップの処理により保持が制御されている前記第２の補正データまたは前記第３の補正データから、前記注目ブロック設定ステップの処理により設定された前記注目ブロックに対応する位置の前記第２の補正データまたは前記第３の補正データを取得する取得ステップと、
前記注目ブロック設定ステップの処理により設定された前記注目ブロックと、前記取得ステップの処理により取得された前記第２の補正データまたは前記第３の補正データ中の前記注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、前記第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、
前記予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、
前記予測係数と、前記抽出ステップの処理により抽出された前記予測補正データとを、前記予測式に代入することで予測値を演算する演算ステップと、
前記第１の原画像に対する前記演算ステップの処理により演算された前記予測値の予測誤差が最小となる場合における、前記取得ステップの処理により取得された前記第２の補正データまたは前記第３の補正データの前記注目ブロックに対する相対的位置に基づいて、前記所定の位置ベクトルを生成する生成ステップと、
前記予測値の予測誤差が最小となる場合における、前記補正データと、対応する前記所定の位置ベクトルを出力する出力ステップと
を含むことを特徴とする画像符号化方法。 - 原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、
前記圧縮ステップの処理により生成された前記縮小画像データの画素値を補正した補正データから演算された前記原画像の予測値の前記原画像に対する予測誤差が収束するように繰り返し補正することで、前記補正データを生成する補正ステップと、
前記補正ステップの処理により生成された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、
前記補正データ保持制御ステップの処理により保持が制御されている前記第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、
前記補正データ保持制御ステップの処理により保持が制御されている前記第２の補正データまたは前記第３の補正データから、前記注目ブロック設定ステップの処理により設定された前記注目ブロックに対応する位置の前記第２の補正データまたは前記第３の補正データを取得する取得ステップと、
前記注目ブロック設定ステップの処理により設定された前記注目ブロックと、前記取得ステップの処理により取得された前記第２の補正データまたは前記第３の補正データ中の前記注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、前記第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、
前記予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、
前記予測係数と、前記抽出ステップの処理により抽出された前記予測補正データとを、前記予測式に代入することで予測値を演算する演算ステップと、
前記第１の原画像に対する前記演算ステップの処理により演算された前記予測値の予測誤差が最小となる場合における、前記取得ステップの処理により取得された前記第２の補正データまたは前記第３の補正データの前記注目ブロックに対する相対的位置に基づいて、前記所定の位置ベクトルを生成する生成ステップと、
前記予測値の予測誤差が最小となる場合における、前記補正データと、対応する前記所定の位置ベクトルを出力する出力ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮ステップと、
前記圧縮ステップの処理により生成された前記縮小画像データの画素値を補正した補正データから演算された前記原画像の予測値の前記原画像に対する予測誤差が収束するように繰り返し補正することで、前記補正データを生成する補正ステップと、
前記補正ステップの処理により生成された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データの保持を制御するとともに、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方の保持を制御する補正データ保持制御ステップと、
前記補正データ保持制御ステップの処理により保持が制御されている前記第１の補正データの注目ブロックを設定する注目ブロック設定ステップと、
前記補正データ保持制御ステップの処理により保持が制御されている前記第２の補正データまたは前記第３の補正データから、前記注目ブロック設定ステップの処理により設定された前記注目ブロックに対応する位置の前記第２の補正データまたは前記第３の補正データを取得する取得ステップと、
前記注目ブロック設定ステップの処理により設定された前記注目ブロックと、前記取得ステップの処理により取得された前記第２の補正データまたは前記第３の補正データ中の前記注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、前記第１の原画像を予測するのに必要な予測補正データとして抽出する抽出ステップと、
前記予測値を演算するための予測式の係数である予測係数を出力する予測係数出力ステップと、
前記予測係数と、前記抽出ステップの処理により抽出された前記予測補正データとを、前記予測式に代入することで予測値を演算する演算ステップと、
前記第１の原画像に対する前記演算ステップの処理により演算された前記予測値の予測誤差が最小となる場合における、前記取得ステップの処理により取得された前記第２の補正データまたは前記第３の補正データの前記注目ブロックに対する相対的位置に基づいて、前記所定の位置ベクトルを生成する生成ステップと、
前記予測値の予測誤差が最小となる場合における、前記補正データと、対応する前記所定の位置ベクトルを出力する出力ステップと
をコンピュータに実行させるプログラム。 - 原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、前記原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置において、
前記補正データを含む処理対象データを取得する取得手段と、
前記取得手段により取得された前記処理対象データから前記補正データと所定の位置ベクトルを分離する分離手段と、
前記分離手段により分離された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データと、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに前記分離手段により分離された前記所定の位置ベクトルに基づいて、前記第１の原画像を予測するのに用いる前記補正データとしての予測対象画像データを抽出する予測対象画像データ抽出手段と、
予測値を演算するための予測式の係数である予測係数を保持し、前記予測係数を出力する予測係数保持手段と、
前記予測係数と、前記予測対象画像データとを、前記予測式に代入することで、前記第１の原画像の予測値を演算する演算手段と
を備えることを特徴とする画像復号装置。 - 前記分離手段は、前記処理対象データから前記予測係数をさらに分離し、
前記予測係数保持手段は、前記分離手段により分離された前記予測係数を保持する
ことを特徴とする請求項９に記載の画像復号装置。 - 原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、前記原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置の画像復号方法において、
前記補正データを含む処理対象データを取得する取得ステップと、
前記取得ステップの処理により取得された前記処理対象データから前記補正データと所定の位置ベクトルを分離する分離ステップと、
前記分離ステップの処理により分離された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データと、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに前記分離ステップの処理により分離された前記所定の位置ベクトルに基づいて、前記第１の原画像を予測するのに用いる前記補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、
前記予測値を演算するための予測式の係数である予測係数を保持し、前記予測係数を出力する予測係数保持ステップと、
前記予測係数と、前記予測対象画像データとを、前記予測式に代入することで、前記第１の原画像の予測値を演算する演算ステップと
を含むことを特徴とする画像復号方法。 - 原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、前記原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置のプログラムであって、
前記補正データを含む処理対象データを取得する取得ステップと、
前記取得ステップの処理により取得された前記処理対象データから前記補正データと所定の位置ベクトルを分離する分離ステップと、
前記分離ステップの処理により分離された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データと、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに前記分離ステップの処理により分離された前記所定の位置ベクトルに基づいて、前記第１の原画像を予測するのに用いる前記補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、
前記予測値を演算するための予測式の係数である予測係数を保持し、前記予測係数を出力する予測係数保持ステップと、
前記予測係数と、前記予測対象画像データとを、前記予測式に代入することで、前記第１の原画像の予測値を演算する演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 原画像の画素数を少なくすることにより圧縮することで生成された縮小画像データを、前記原画像との予測誤差に基づいて補正することで符号化されて生成された補正データを復号する画像復号装置を制御するコンピュータに、
前記補正データを含む処理対象データを取得する取得ステップと、
前記取得ステップの処理により取得された前記処理対象データから前記補正データと所定の位置ベクトルを分離する分離ステップと、
前記分離ステップの処理により分離された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データと、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに前記分離ステップの処理により分離された前記所定の位置ベクトルに基づいて、前記第１の原画像を予測するのに用いる前記補正データとしての予測対象画像データを抽出する予測対象画像データ抽出ステップと、
前記予測値を演算するための予測式の係数である予測係数を保持し、前記予測係数を出力する予測係数保持ステップと、
前記予測係数と、前記予測対象画像データとを、前記予測式に代入することで、前記第１の原画像の予測値を演算する演算ステップと
を実行させることを特徴とするプログラム。 - 原画像の画素数を少なくすることにより圧縮し、縮小画像データを生成する圧縮手段と、
前記圧縮手段により生成された前記縮小画像データの画素値を補正した補正データから演算された前記原画像の予測値の前記原画像に対する予測誤差が収束するように繰り返し補正することで、前記補正データを生成する補正手段と、
前記補正手段により生成された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データを保持するとともに、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データの少なくとも一方を保持する補正データ保持手段と、
前記補正データ保持手段により保持されている前記第１の補正データの注目ブロックを設定する注目ブロック設定手段と、
前記補正データ保持手段により保持されている前記第２の補正データまたは前記第３の補正データから、前記注目ブロック設定手段により設定された前記注目ブロックに対応する位置の前記第２の補正データまたは前記第３の補正データを取得する取得手段と、
前記注目ブロック設定手段により設定された前記注目ブロックと、前記取得手段により取得された前記第２の補正データまたは前記第３の補正データ中の前記注目ブロックの中心位置に対して所定の位置ベクトルに対応する位置の補正データを、前記第１の原画像を予測するのに必要な予測補正データとして抽出する抽出手段と、
前記予測値を演算するための予測式の係数である予測係数を保持し、前記予測係数を出力する予測係数保持手段と、
前記予測係数と、前記抽出手段により抽出された前記予測補正データとを、前記予測式に代入することで予測値を演算する演算手段と、
前記第１の原画像に対する前記演算手段により演算された前記予測値の予測誤差が最小となる場合における、前記取得手段により取得された前記第２の補正データまたは前記第３の補正データの前記注目ブロックに対する相対的位置に基づいて、前記所定の位置ベクトルを生成する生成手段と、
前記予測値の予測誤差が最小となる場合における、前記補正データと、対応する前記所定の位置ベクトルを出力する出力手段とを備える画像符号化装置と、
前記補正データを含む処理対象データを取得する取得手段と、
前記取得手段により取得された前記処理対象データから前記補正データと所定の位置ベクトルを分離する分離手段と、
前記分離手段により分離された前記補正データであって、前記原画像のうちの第１の原画像に対応する第１の補正データと、前記第１の原画像より時間的に前の第２の原画像に対応する第２の補正データ、または前記第１の原画像より時間的に後の第３の原画像に対応する第３の補正データのうちの少なくとも一方、並びに前記分離手段により分離された前記所定の位置ベクトルに基づいて、前記第１の原画像を予測するのに用いる前記補正データとしての予測対象画像データを抽出する予測対象画像データ抽出手段と、
前記予測値を演算するための予測式の係数である予測係数を保持し、前記予測係数を出力する予測係数保持手段と、
前記予測係数と、前記予測対象画像データとを、前記予測式に代入することで、前記第１の原画像の予測値を演算する演算手段とを備える画像復号装置と
を含む画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018290A JP4554138B2 (ja) | 2002-01-28 | 2002-01-28 | 画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018290A JP4554138B2 (ja) | 2002-01-28 | 2002-01-28 | 画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003219429A JP2003219429A (ja) | 2003-07-31 |
| JP4554138B2 true JP4554138B2 (ja) | 2010-09-29 |
Family
ID=27653702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002018290A Expired - Fee Related JP4554138B2 (ja) | 2002-01-28 | 2002-01-28 | 画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4554138B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004010706A1 (ja) * | 2002-07-19 | 2004-01-29 | Sony Corporation | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
-
2002
- 2002-01-28 JP JP2002018290A patent/JP4554138B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003219429A (ja) | 2003-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH1032837A (ja) | 画像処理装置および方法、並びに画像符号化装置および方法 | |
| JP4462823B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| WO2017191749A1 (ja) | 画像処理装置及び画像処理方法 | |
| JPWO2018131524A1 (ja) | 画像処理装置及び画像処理方法 | |
| US20070092005A1 (en) | Method and apparatus for encoding, method and apparatus for decoding, program, and storage medium | |
| KR100574732B1 (ko) | 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체 | |
| KR100504415B1 (ko) | 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체 | |
| JPH11187407A (ja) | 画像符号化装置および画像符号化方法、提供媒体、画像復号装置および画像復号方法、並びに学習装置および学習方法 | |
| JP4554138B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、画像処理システム、記録媒体、並びにプログラム | |
| JP4518727B2 (ja) | 画像符号化装置および方法、記録媒体、並びにプログラム | |
| JP2012104969A (ja) | 動きベクトル生成装置、動きベクトル生成方法及びコンピュータプログラム | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| Marvasti-Zadeh et al. | A novel boundary matching algorithm for video temporal error concealment | |
| JP4016249B2 (ja) | 画像符号化装置および符号化方法、画像復号装置および復号方法、記録媒体、プログラム、並びに、画像処理システム | |
| JP4120916B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP4534951B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP4552262B2 (ja) | ノイズ低減装置および方法 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP3912628B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 | |
| JP3952326B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP4748127B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP4552264B2 (ja) | エラー修整装置および方法 | |
| JP4566877B2 (ja) | 画像処理装置および方法 | |
| JP4496494B2 (ja) | 画像符号化装置および画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070822 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |