JP4126709B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4126709B2 JP4126709B2 JP16785698A JP16785698A JP4126709B2 JP 4126709 B2 JP4126709 B2 JP 4126709B2 JP 16785698 A JP16785698 A JP 16785698A JP 16785698 A JP16785698 A JP 16785698A JP 4126709 B2 JP4126709 B2 JP 4126709B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- data
- thinned
- image data
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 67
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 32
- 230000002123 temporal effect Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 13
- 230000006866 deterioration Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 description 52
- 230000005540 biological transmission Effects 0.000 description 46
- 230000000903 blocking effect Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 19
- 238000005070 sampling Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに情報記録媒体および伝送方法に関し、特に、動画像の画質等の劣化を低減することができるようにする画像処理装置および画像処理方法、並びに情報記録媒体および伝送方法に関する。
【０００２】
【従来の技術】
従来より、動画像を表示するときの走査方法の１つとして、インターレース走査がある。
【０００３】
即ち、例えば、ビデオカメラなどで画像を撮影した場合に、本来ならば、図１８に示すように、その内蔵するＣＣＤ（Charge Coupled Device）などの光電変換素子が有する画素と同一配置の画素（同図において、○印で示す）で、各フレームを構成し、伝送や記録を行うのが、画質や解像度などの面からは理想的である。
【０００４】
しかしながら、これでは、伝送や記録等する情報量が多くなる。そこで、情報量の低減のために、図１９に示すように、最初の画面（インターレース走査では、フィールド）は、奇数ラインの画素（同図において●印で示す）を間引いて、偶数ラインの画素（同図において○印で示す）だけで構成され、次の画面は、偶数ラインの画素（同図において●印で示す）を間引いて、奇数ラインの画素（同図において○印で示す）だけで構成され、さらに次の画面は、最初の画面と同様に構成され、以下、同様にして、画面が構成される。
【０００５】
ここで、インターレース走査は、上述したことから、情報量を低減するための画素を間引く手法の１つと考えることができるので、このような間引きの手法を、以下、適宜、インターレース間引きという。
【０００６】
【発明が解決しようとする課題】
ところで、画像の垂直方向の解像度は、そのライン数に依存する。従って、インターレース間引きを行うと、その間引き後の画像の垂直方向の解像度は、間引き前の画像の垂直方向の解像度の１／２になる。その結果、垂直方向の速い変化を表現するのが困難となり、そのような動きがあると、画質が劣化する課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、間引きによる画質の劣化を低減することができるようにするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段と、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段と修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力する出力手段とを備えることを特徴とする。
【０００９】
請求項２に記載の画像処理方法は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成し、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力することを特徴とする。
【００１３】
請求項３に記載の画像処理装置は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段を備えることを特徴とする。
【００１４】
請求項１に記載の画像処理装置においては、間引き手段が、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、ビット間引き手段が、生成した間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するようになされている。そして、出力手段が、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力するようになされている。
【００１５】
請求項２に記載の画像処理方法においては、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するようになされている。そして、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力するようになされている。
【００１９】
請求項３に記載の画像処理装置においては、復元手段が、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元するようになされている。
【００２０】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２１】
即ち、請求項１に記載の画像処理装置は、動画像を構成する画像データを、復元時の画質の劣化を抑制して圧縮する画像処理装置において、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段（例えば、図１に示すサブサンプリング回路２など）と、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段（例えば、図１４に示すビット落とし回路５１など）と、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力する出力手段（例えば、図１に示す送信処理回路４など）とを備えることを特徴とする。
【００２７】
請求項３に記載の画像処理装置は、動画像を構成する画像データの画素を間引くことによって生成された間引きデータを伸張する画像処理装置において、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データを受信する受信手段（例えば、図１４に示す受信処理回路８など）と、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段（例えば、図１４に示すブロック化回路５２、クラスタリング回路５３、メモリ５４、画素データ作成回路５５、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および合成回路１０など）とを備えることを特徴とする。
【００２８】
請求項４に記載の画像処理装置は、復元手段が、修正間引き画像データを構成する複数の画素のうちの１つである注目画素に対し、注目画素の周辺に位置する周辺画素の画素値に応じた所定の第１のクラスを決定する第１の決定手段（例えば、図１４に示すクラスタリング回路５３など）と、注目画素の第１のクラスに対応するデータであって、かつ、注目画素のビット間引き前の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データと、注目画素の周辺に位置する周辺画素の画素値との第１の積和演算によって、注目画素のビット間引き前の元の画素値を発生する第１の発生手段（例えば、図１４に示すメモリ５４および画素データ作成回路５５など）と、間引き画像データ上に存在しない補間すべき補間画素に対し、補間画素の周辺に位置する、第１の発生手段によって発生されたビット間引き前の間引き画像データの画素の画素値に応じた所定の第２のクラスを決定する第２の決定手段（例えば、図１４に示すクラスタリング回路１２など）と、補間画素の第２のクラスに対応するデータであって、かつ、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データと、補間画素の周辺に位置する周辺画素の画素値との第２の積和演算によって、補間画素の画素値を発生する第２の発生手段（例えば、図１４に示すメモリ１３および補間データ作成回路１４など）とを有することを特徴とする。
【００２９】
請求項５に記載の画像処理装置は、第１の発生手段が、学習用の修正間引き画像データによる第１の積和演算の結果と、学習用の間引き画像データとの誤差を最小にする学習を、第１のクラス毎に予め行うことによって生成された第１の予測データを第１のクラス毎に記憶している記憶手段（例えば、図１４に示すメモリ５４など）を有し、第１の決定手段が出力する第１のクラスに対応する第１の予測データを、記憶手段から読み出し、その読み出された第１の予測データと、注目画素の周辺に位置する周辺画素の画素値との第１の積和演算によって、間引き画像データを発生することを特徴とする。
【００３０】
請求項６に記載の画像処理装置は、第２の発生手段が、学習用の間引き画像データによる第２の積和演算の結果と、学習用の画像データとの誤差を最小にする学習を、第２のクラス毎に予め行うことによって生成された第２の予測データを第２のクラス毎に記憶している記憶手段（例えば、図１４に示すメモリ１３など）を有し、第２の決定手段が出力する第２のクラスに対応する第２の予測データを読み出し、その読み出された第２の予測データと、補間画素の周辺に位置する周辺画素の画素値との第２の積和演算によって、補間画素の画素値を発生することを特徴とする。
【００３１】
請求項７に記載の画像処理装置は、記憶手段が、第１の予測データとして、第１の積和演算に用いる、第１のクラス毎の予測係数のセットを記憶しており、第１の発生手段が、第１の決定手段が出力する第１のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、修正間引き画像データの、注目画素の周辺に位置する複数の画素の画素値との第１の積和演算によって間引き画像データを算出する演算手段（例えば、図１４に示す画素データ作成回路５５など）をさらに有することを特徴とする。
【００３２】
請求項８に記載の画像処理装置は、記憶手段が、第２の予測データとして、第２の積和演算に用いる、第２のクラス毎の予測係数のセットを記憶しており、第２の発生手段が、第２の決定手段が出力する第２のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、補間画素の周辺に位置する、間引き画像データの複数の画素の画素値との第２の積和演算によって、補間画素の画素値を算出する演算手段（例えば、図１４に示す補間データ作成回路１４など）をさらに有することを特徴とする。
【００３３】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００３４】
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の第１の実施の形態の構成例を示している。
【００３５】
この送受信システムは、送信装置１００と受信装置２００とで構成されている。そして、送信装置１００は、入力端子１、サブサンプリング回路２、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像データの画素を間引くことにより圧縮して送信するようになされている。また、受信装置２００は、入力端子７、受信処理回路８、デコーダ９、合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像データを伸張するようになされている。
【００３６】
即ち、送信装置１００には、例えば、図示せぬビデオカメラなどで撮影され、その内蔵するＣＣＤなどの光電変換素子が有する画素と同一配置の画素で、各フレームが構成される動画像（以下、適宜、全画素動画像という）のディジタル画像データが供給される。ここで、このような全画素動画像は、いわゆるプログレッシブカメラ（光電変換素子上の画素すべてを、いわゆるラスタスキャン順に走査して、１フレームの画像信号として出力するビデオカメラ）や、全画素カメラ（光電変換素子上の画素すべてにおける信号を、一度に、１フレームの画像信号として出力するビデオカメラ）などによって得ることができる。
【００３７】
このディジタル画像データは、入力端子１を介して、サブサンプリング回路２に供給される。サブサンプリング回路２では、そのディジタル画像データとしての動画像を構成する各フレームの画素が、例えば、図２に示すように、空間方向および時間方向の両方向に、五の目格子状に間引かれることにより圧縮される。
【００３８】
ここで、図２において（後述する図３、図４、図７、図１２、および図１５においても同様）、●印および○印の両方が、全画素動画像を構成するフレームの画素を示している。そして、そのうちの●印が、サブサンプリング回路２において間引かれた画素（以下、適宜、間引き画素（画素データ）という）を示しており、○印が、サブサンプリング回路２において間引きが行われることにより残った画素（以下、適宜、間引き後画素（画素データ）という）を示している。
【００３９】
即ち、サブサンプリング回路２では、全画素動画像の第１フレームについては、例えば、図３（Ａ）に示すように、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ａ）に●印で示す）が間引かれ、以下、同様にして、奇数フレームについては、空間方向に、五の目格子状に間引きが行われる。また、第２フレームについては、例えば、図３（Ｂ）に示すように、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ｂ）に●印で示す）が間引かれ、以下、同様にして、偶数フレームについても、空間方向に、五の目格子状に間引きが行われる。
【００４０】
さらに、この場合、ある１ラインまたは１列に注目すれば、例えば、図４に示すように、第１フレームでは、その注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が間引かれ、第２フレームでは、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において●印で示す）が間引かれる。そして、第３フレームでは、再び、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が間引かれ、以下、同様にして、間引きが行われることにより、サブサンプリング回路２では、時間方向にも、五の目格子状に間引きが行われる。
【００４１】
全画素動画像の各フレームについて、以上のように、空間方向および時間方向の両方向に、五の目格子状に間引き（以下、適宜、空間／時間五の目間引きという）が行われることにより、空間方向および時間方向のいずれの方向にも、画素が１つおきに存在するようになる。従って、空間／時間五の目間引き後の情報量は、単純には、前述のインターレース間引きを行った場合と同様に、元の情報量の１／２になる。
【００４２】
ここで、図５は、空間／時間五の目間引き後の画像の空間周波数帯域（同図において斜線を付してある部分）を示している。空間／時間五の目間引き後の画像の空間周波数帯域は、同図に示すように長方形状になり、その結果、水平方向および垂直方向の解像度は勿論、斜め方向の解像度も、ある程度保たれる。
【００４３】
なお、これに対して、図６は、空間方向にのみ五の目格子状に間引き（隣接するフレームにおいて、間引かれる画素の変わらない五の目間引き）を行った場合の、その間引き後の画像の空間周波数帯域（同図において斜線を付してある部分）を示している。この場合、その空間周波数帯域は、ひし形状になり、その結果、水平方向および垂直方向の解像度は、元の解像度に維持されるが、斜め方向の解像度は、元の１／２に低下する。
【００４４】
従って、空間／時間五の目間引きを行うことにより、情報量を低減することができる他、水平方向、垂直方向、および斜め方向のいずれの解像度も維持することができる。その結果、これらのいずれの方向の速い変化をも表現することが可能となり、そのような動きがある場合の画質の劣化を低減（防止）することが可能となる。但し、ある１フレームだけに注目すれば、空間／時間五の目間引きであっても、斜め方向の解像度は低下する。
【００４５】
図１に戻り、サブサンプリング回路２において空間／時間五の目間引きの施された間引き後画素（画素データ）からなる間引き画像データが、エンコーダ３に供給される。エンコーダ３では、サブサンプリング回路２からのデータ（間引き後画素（画素データ）で構成される画像データ）が高能率符号化される。ここで、高能率符号化方式としては、例えば、ＤＣＴ（Discrete Cosine Transform）などの直交変換と動き補償を用いたハイブリッド方式や、ＤＣＴと量子化を用いたハイブリッド方式、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いるものなどがある。なお、ＡＤＲＣについては、例えば、本件出願人が先に出願した特開昭６１−１４４９８９号公報などに、その詳細が開示されている。
【００４６】
エンコーダ３において、間引き画像データが高能率符号化されることにより得られる符号化データは、送信処理回路４に供給される。送信処理回路４では、エンコーダ３からの符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、所定の伝送路６を介して送信される。なお、伝送路６には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスク、相変化ディスクその他の記録媒体も含まれる。
【００４７】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、デコーダ９に供給される。デコーダ９では、送信装置の１００のエンコーダ３の符号化処理と対応する復号処理でその符号化データがデコードされることにより、間引き後画素（画素データ）で構成される間引き画像データとされ、合成回路１０およびブロック化回路１１に供給される。
【００４８】
ブロック化回路１１は、例えば、図７に示すように、所定の位置（補間すべき位置）に対する注目間引き画素ｘの空間方向の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄを１つのブロックにしてクラスタップ及び予測タップを生成し、クラスタップをクラスタリング回路１２に、予測タップを補間データ作成回路１４にそれぞれ供給する。なお、ブロック化回路１１は、すべての間引き画素について、その上下左右に隣接する間引き後画素（画素データ）でなるブロックを構成し、そのブロックを構成する間引き後画素を、クラスタップとしてクラスタリング回路１２に供給するとともに、予測タップとして補間データ作成回路１４に供給する。なお、ここでは、クラスタップ及び予測タップとは同一の間引き後画素から構成することとしたが、クラスタップと予測タップとは、異なる間引き後画素から構成することも可能である。
【００４９】
クラスタリング回路１２は、ブロック化回路１１からのブロック、即ち、クラスタップを、それを構成する間引き後画素の性質に応じて所定のクラスにクラスタリングする。
【００５０】
ここで、クラスタリングについて簡単に説明する。
【００５１】
いま、例えば、図８（Ａ）に示すように、２×２画素でなるブロック（クラスタップ）を考え、各画素が、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとすると、この２×２の４画素のブロック（クラスタップ）は、各画素のレベル分布により、図８（Ｂ）に示すように、１６（＝（２1）4）パターンにクラス分けすることができる。このようなクラス分けが、クラスタリングであり、クラスタリング回路１２において行われる。
【００５２】
ここで、通常、各画素には、例えば８ビット程度が（その画素値を表現するために）割り当てられる。また、本実施の形態においては、上述したように、ブロック（クラスタップ）は４画素で構成される。従って、このようなブロック（クラスタップ）を対象にクラスタリングを行ったのでは、（２8）4という膨大な数のクラスが生じることになる。
【００５３】
そこで、クラスタリング回路１２では、ブロック（クラスタップ）に対して、例えば、ＡＤＲＣ処理を施し、これにより、ブロックを構成する画素のビット数を少なくし、クラス数を削減するようになされている。
【００５４】
即ち、例えば、いま、説明を簡単にするため、図９（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００５５】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図９（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００５６】
なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。
【００５７】
また、クラスタリングは、上述したように、ブロック（クラスタップ）を構成する各画素のレベルそのものに基づいて行う他、例えば、ブロック（クラスタップ）を構成する画素のレベルの傾向（例えば、すべての画素のレベルがほぼ揃っているとか、右にある画素のレベルが他の画素のレベルよりも高いまたは低いとかなど）など基づいて行うことも可能である。
【００５８】
ここで、図９は、２ビットＡＤＲＣを示しているが、クラスタリング回路１２では、例えば、１ビットＡＤＲＣ（Ｋ＝１のＡＤＲＣ）が行われるようになされている。
【００５９】
再び、図１に戻り、以上のようなクラスタリングにより得られたクラスは、メモリ１３に対して、アドレスとして与えられる。メモリ１３は、全画素動画像を構成する画素から間引かれた間引き画素ｘを予測するための予測データを、クラスごとに記憶しており、クラスタリング回路１２からアドレスとしてのクラスが与えられると、そのクラスに対応する予測データを読み出し、補間データ作成回路１４に供給する。
【００６０】
ここで、いまの場合、メモリ１３においては、例えば、所定の位置（補間すべき位置）に対する注目間引き画素ｘを、その上下左右に隣接する間引き後画素（画素データ）ａ乃至ｄ（図７）（予測タップ）を用いた線形一次式により予測するための、その線形一次式の係数のセットｗ1，ｗ2，ｗ3，ｗ4が、予測データとして記憶されている。従って、メモリ１３から補間データ作成回路１４には、注目間引き画素に対するクラスに対応する係数のセットｗ1乃至ｗ4が、予測データとして供給される。
【００６１】
補間データ作成回路１４は、予測データとしての係数のセットｗ1乃至ｗ4を受信すると、その予測データとしての係数のセットｗ1乃至ｗ4と、ブロック化回路１１から供給されたブロック（予測タップ）を構成する間引き後画素（画素データ）の画素値ａ乃至ｄとを用いて、次の線形一次式を演算することにより、注目間引き画素（画素データ）ｘを生成（予測）する。
ｘ＝ｗ1ａ＋ｗ2ｂ＋ｗ3ｃ＋ｗ4ｄ・・・（１）
【００６２】
補間データ作成回路１４で求められた注目間引き画素（画素データ）ｘは、合成回路１０に出力される。合成回路１０は、間引き後画素を出力するタイミングでは、デコーダ９から供給される間引き後画素（画素データ）を選択し、また、間引き画素を出力するタイミングでは、補間データ作成回路１４から供給される間引き画素（画素データ）（式（１）により得られるｘ）を選択して、出力端子１５から出力する。この結果、出力端子１５からは、全画素動画像を構成するフレームのデータが出力される。
【００６３】
次に、間引き画素（画素データ）ｘを求めるのに、式（１）の線形一次式を構成するための予測データとしての係数のセットｗ1，ｗ2，ｗ3，ｗ4は、学習により求められるようになされている。
【００６４】
図１０は、予測データとしての係数のセットｗ1，ｗ2，ｗ3，ｗ4を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【００６５】
入力端子２１には、学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データの係数のセットｗ1，ｗ2，ｗ3，ｗ4の作成を考慮した標準的なものであるのが望ましい。
【００６６】
入力端子２１に入力された全画素動画像のフレームは、ブロック化回路２２に供給される。ブロック化回路２２は、そこに供給されたフレームを構成する画素（画素データ）から、図７に示した注目間引き画素ｘとなる画素（画素データ）を注目画素（画素データ）として、その注目画素（画素データ）に対して間引き後画素ａ乃至ｄとなる画素（画素データ）を選択し、その４つの画素（画素データ）でブロック（クラスタップ及び予測タップ）を構成して、クラスタリング回路２４に供給する。さらに、ブロック化回路２２は、そのブロックを構成する４つの画素（画素データ）に、注目画素（画素データ）を加えた合計５画素（画素データ）を、データメモリ２３の入力端子ＩＮに供給する。
【００６７】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、スイッチ２５の端子２５ａに供給する。ここで、スイッチ２５は、学習用の全画素動画像から得られるすべてのブロックについてのクラスタリングが終了するまでは、端子２５ａを選択しており、従って、クラスタリング回路２４が出力する各注目間引き画素に対するクラスは、スイッチ２５を介して、データメモリ２３のアドレス端子ＡＤに供給される。
【００６８】
データメモリ２３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給される画像データを記憶する。
【００６９】
ここで、例えば、学習用の全画素動画像から得られるすべてのブロック（クラスタップ）のうち、所定のクラスＣｌａｓｓに分類されるものについての注目画素（画素データ）をｘ1，ｘ2，・・・，ｘnとする。また、注目画素（画素データ）ｘ1の上下左右に隣接する画素（画素データ）をａ1，ｂ1，ｃ1，ｄ1と、注目画素（画素データ）ｘ2の上下左右に隣接する画素（画素データ）をａ2，ｂ2，ｃ2，ｄ2と、・・・、注目画素（画素データ）ｘnの上下左右に隣接する画素（画素データ）をａn，ｂn，ｃn，ｄnと、それぞれする。この場合、上述の処理により、メモリ２３の、クラスＣｌａｓｓに対応するアドレスには、ｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnの各画素データが記憶される。
【００７０】
学習用の全画素動画像から得られるすべてのブロック（クラスタップ）についてのクラスタリングが終了すると、スイッチ２５は端子２５ｂを選択する。端子２５ｂには、カウンタ２６の出力が供給されるようになされており、カウンタ２６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ２６が発生するアドレスは、スイッチ２５を介して出力される。
【００７１】
カウンタ２６からスイッチ２５を介して出力されるアドレスは、データメモリ２３のアドレス端子ＡＤと、メモリ２８のアドレス端子ＡＤとに供給される。
【００７２】
データメモリ２３においては、そのアドレス端子ＡＤに供給される、カウンタ２６からのアドレスにしたがって、その記憶内容（注目画素（画素データ）とそれに隣接する４つの画素（画素データ））が読み出され、最小自乗法演算回路２７に供給される。最小自乗法演算回路２７では、データメモリ２３から供給されるデータに基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ4が求められる。
【００７３】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路２７では、データメモリ２３の、クラスＣｌａｓｓに対応するアドレスに記憶されたデータｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnを用いて、式（１）に対応する、以下のような連立方程式がたてられる。
【００７４】
そして、最小自乗法演算回路２７は、式（２）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ4を求める。他のクラスについての予測データも同様にして求められる。
【００７５】
最小自乗法演算回路２７で求められた予測データとしての係数のセットｗ1乃至ｗ4は、メモリ２８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ4は、メモリ２３において、データｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnが記憶されていたアドレスと同一のメモリ２８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ２８に記憶される。
【００７６】
図１のメモリ１３には、以上のようにしてメモリ２８に記憶された予測データが記憶されている。
【００７７】
次に、図１のメモリ１３には、予測データとして、式（１）に示した線形一次式を計算するための係数のセットではなく、画素値そのものを記憶させておくようにすることができる。
【００７８】
図１１は、画素値を予測データとしてメモリ１３に記憶させる場合の、その予測データを求める学習装置の第２の実施の形態の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。
【００７９】
入力端子２１には、学習用の全画素動画像が入力され、その全画素動画像のフレームは、ブロック化回路２２に供給される。ブロック化回路２２は、そこに供給されたフレームを構成する画素から、図１０における場合と同様にブロック（クラスタップ）を構成し、クラスタリング回路２４に供給する。さらに、ブロック化回路２２は、注目間引き画素ｘとなる注目画素（画素データ）だけを演算器３４に供給する。
【００８０】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、データメモリ３０のアドレス端子ＡＤと、度数メモリ３１のアドレス端子ＡＤとに供給する。
【００８１】
ここで、データメモリ３０および度数メモリ３１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【００８２】
度数メモリ３１では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ３１から出力された度数は、演算器３２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ３１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【００８３】
一方、データメモリ３０では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ３０の出力は、演算器３３に供給される。演算器３３には、さらに、度数メモリ３１が出力する度数も供給されており、そこでは、この度数と、データメモリ３０の出力とが乗算される。この乗算結果は、演算器３４に供給される。
【００８４】
演算器３４では、演算器３３における乗算結果と、ブロック化回路２２からの注目画素（画素データ）の画素値とが加算され、その加算値は、演算器３５に供給される。演算器３５には、さらに、演算器３２による度数のインクリメント結果も供給されており、そこでは、演算器３４の加算結果を被除数とするとともに、加算器３２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ３０の入力端子ＩＮに供給され、クラスタリング回路２４が出力するクラスに対応するアドレスに記憶される（上書きされる）。
【００８５】
図１１の学習装置において、データメモリ３０および度数メモリ３１のあるアドレスａｄへのアクセスが最初に行われる場合には、ブロック化回路２２から演算器３４に供給されるデータｘ１がそのまま、データメモリ３０のアドレスａｄに書き込まれ、また、度数メモリ３１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにブロック化回路２２から演算器３４に供給されるデータがｘ２であったとすると、演算器３２の出力は２となり、また、演算器３４の出力はｘ１＋ｘ２となるから、演算器３５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ３０のアドレスａｄに書き込まれる。そして、度数メモリ３１のアドレスａｄには、演算器３２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにブロック化回路２２から演算器３４に供給されるデータがｘ３であったとすると、同様の処理により、データメモリ３０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ３１のアドレスａｄには、３が書き込まれる。
【００８６】
以上のようにして、データメモリ３０には、各クラスに分類される注目画素（画素データ）の画素値の平均値が記憶される。
【００８７】
なお、図１のメモリ１３に、データメモリ３０に記憶された画素値を、予測用データとして記憶させる場合には、その予測用データとしての画素値を、メモリ１３から読み出すことが、間引き画素を予測することになるから、補間データ作成回路１４は設ける必要がなくなる。
【００８８】
ところで、上述の場合には、図１のブロック化回路１１において、図７に示したように、注目間引き画素ｘの空間方向の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄで１つのブロック（クラスタップ及び予測タップ）を構成するようにしたが、ブロックは、注目間引き画素ｘの時間方向に隣接する間引き後画素も含めて構成することが可能である。
【００８９】
即ち、例えば、図１２に示すように、第ｎフレームのある注目間引き画素ｘについてブロックを構成する場合においては、同一フレーム内の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄ、並びに第ｎ−１フレームの、注目間引き画素ｘと同一位置にある間引き後画素（画素データ）ｅ、および第ｎ＋１フレームの、注目間引き画素ｘと同一位置にある間引き後画素（画素データ）ｆの合計６画素（画素データ）でブロック（クラスタップ及び予測タップ）を構成することが可能である。
【００９０】
この場合、時間方向の間引き後画素（画素データ）ｅ，ｆをも考慮してクラスタリングや、式（１）の演算が行われるので、間引き画素ｘを、より元のものに近いものに復元することが可能となる。なお、この場合、学習時においても、同様にブロックを構成する必要がある。また、ブロック（クラスタップや予測タップ）は、注目間引き画素ｘの時間方向にある間引き後画素だけで構成することも可能である。
【００９１】
また、本実施の形態では、ある間引き画素に注目した場合において、クラスタリングに用いる間引き後画素と、式（１）に示した線形一次式を計算するのに用いる間引き後画素（予測タップ）とを同一のものとしたが、これらは、同一である必要はない。即ち、クラスタリングと式（１）の演算とには、それぞれ別々の間引き後画素の集合を用いることができる。さらに、画像の空間的な特徴（アクティビティ）や動き等に応じてクラスタップや予測タップの構成の仕方を適応的に変えることも可能である。
【００９２】
また、クラスタリングに用いる間引き後画素（クラスタップ）や、式（１）に示した線形一次式を計算するのに用いる間引き後画素（予測タップ）は、間引き画素に対して、空間的または時間的に隣接している必要はない。但し、間引き画素の周辺にある間引き後画素を用いるのが望ましい。
【００９３】
また、図１のクラスタリング回路１２では、ＡＤＲＣ処理を用い、その結果得られる空間的なアクティビティに基いてクラスを決定するようにしたが、その他、例えば、ブロックの動きを検出し、その動きをクラスに用いたり、ＡＤＲＣ処理と動き検出の組み合せに基いてクラスを決定することも可能である。
【００９４】
さらに、本実施の形態では、受信装置２００において、間引き画素のみを生成することとしたが、同様の手法で、間引き後画素をも新たに生成することが可能である。この場合、合成回路１０は必要なくなる。
【００９５】
また、本実施の形態において、動画像を構成する各フレームの各画素が８ビットであるとしたが、画素のビット数は８ビットに限定されるものではなく、１０ビット、１２ビットなどの８ビットより多いビットでもよいし、もちろん、８ビットより少ないビットでもいい。
【００９６】
次に、以上では、受信装置２００において、学習を行うことにより得られた予測用データを用いて、間引き画素を予測するようにしたので、間引き後画素で構成される画像に含まれていない高周波成分も復元することができるが、間引き画素の復元は、単純な補間によって行うことも可能である。
【００９７】
図１３は、そのような送受信システムの第２の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、この送受信システムは、ブロック化回路１１、クラスタリング回路１２、メモリ１３、および補間データ作成回路１４に代えて、補間フィルタ４０が設けられている他は、図１の送受信システムと同様に構成されている。
【００９８】
補間フィルタ４０では、デコーダ９からの間引き後画素（画素データ）のうち、間引き画素の周辺にある間引き後画素（画素データ）の平均値などが求められ、これが、その間引き画素（画素データ）の補間値として、合成回路１０に出力される。
【００９９】
なお、この場合、図１における場合のように、間引き後画素（画素データ）で構成される画像データに含まれていない高周波成分を復元することはできないが、受信装置２００の構成を簡単化することができる。
【０１００】
次に、図１４は、本発明を適用した送受信システムの第３の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。
【０１０１】
この第３の実施の形態の送受信システムは、送信装置１００と受信装置２００とで構成されている。送信装置１００は、入力端子１、サブサンプリング回路２、ビット落とし回路５１、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像データの画素を間引き、さらに間引き後の画素のレベル方向のビットを減らすことにより圧縮して送信するようになされている。受信装置２００は、入力端子７、受信処理回路８、デコーダ９、ブロック化回路５２、クラスタリング回路５３、メモリ５４、画素データ作成回路５５、画像メモリ５６、合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像データを伸張するようになされている。
【０１０２】
即ち、送信装置１００には、例えば、第１の実施の形態における場合と同様に、各フレームが構成される動画像（全画素動画像）のディジタル画像データが供給される。なお、このディジタル画像データを構成する各画素は、例えば１２ビットである（１２ビットで表される）とする。このディジタル画像データは、入力端子１を介して、サブサンプリング回路２に供給される。サブサンプリング回路２では、図１で示される第１の実施の形態における場合と同様に、そこに供給されるディジタル画像データとしての動画像を構成する各フレームの画素が、例えば、図２に示したように、空間方向および時間方向の両方向に、五の目格子状に間引かれることにより圧縮される。つまり、全画素動画像の各フレームについて、空間方向および時間方向の両方向に、五の目格子状に間引き（空間／時間五の目間引き）が行われることにより、空間方向および時間方向のいずれの方向にも、画素が１つおきに存在する間引き画像データが生成される。サブサンプリング回路２において空間／時間五の目間引きの施された間引き後画素（画素データ）からなる間引き画像データは、ビット落とし回路５１に供給される。
【０１０３】
ビット落とし回路５１は、サブサンプリング回路２から供給された間引き画像データの各画素（画素データ）の１２ビットのうち、例えば、ＬＳＢ（Least Significant Bit）から４ビット分のビット（下位４ビット）を削除して、８ビットのビット修正画素（画素データ）を生成する。そして、この各ビット修正画素(画素データ)からなる修正間引き画像データが、エンコーダ３に供給される。
【０１０４】
エンコーダ３では、図３に示される第１の実施の形態と同様に、修正間引き画像データが高能率符号化され、符号化データとして送信処理回路４に供給される。送信処理回路４では、図３に示される第１の実施の形態と同様に、符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、同様に、所定の伝送路６を介して送信される。
【０１０５】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、デコーダ９に供給される。デコーダ９では、送信装置の１００のエンコーダ３の符号化処理と対応する復号処理でその符号化データがデコードされることにより、ビット修正画素（画素データ）で構成される修正間引き画像データとされ、ブロック化回路５２に供給される。
【０１０６】
ブロック化回路５２は、例えば、図１５に示すように、注目すべきビット修正画素ｘ’と、その空間方向の上下左右及び斜めに隣接する８つのビット修正画素（画素データ）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈとを１つのブロックにし、このブロックを、クラスタップおよび予測タップとする。クラスタップはクラスタリング回路５３に、予測タップは画素データ作成回路５５に、それぞれ供給される。なお、ブロック化回路５２は、すべてのビット修正画素について、その上下左右及び斜めに隣接するビット修正画素（画素データ）でなるブロックを構成し、そのブロックを、クラスタップとしてクラスタリング回路５３に供給するとともに、予測タップとして補間データ作成回路５５にも供給する。なお、ここでは、クラスタップと予測タップは同一のものとしているが、異なるものとすることも可能である。
【０１０７】
クラスタリング回路５３は、ブロック化回路５２からのクラスタップを、それを構成するビット修正画素の性質に応じて所定のクラスにクラスタリングする。クラスタリングについては、第１の実施の形態を説明する際に図８及び図９を用いて説明したため、ここではその説明は省略する。
【０１０８】
クラスタリング回路５３は、ブロック（クラスタップ）を構成する９つのビット修正画素(画素データ)ｘ’およびＡ乃至Ｈに対して、例えば、１ビットＡＤＲＣ処理を施し、注目ビット修正画素ｘ’に対するクラスを表す９ビット（＝log2（２1）9のクラスコードを発生する。
【０１０９】
クラスタリング回路５３のクラスタリングにより得られるクラスは、メモリ５４に対して、アドレスとして与えられる。メモリ５４は、８ビットに修正されたビット修正画素ｘ’から元の１２ビットの画素を予測するための予測データを、クラスごとに記憶しており、クラスタリング回路５３からアドレスとしてのクラスが与えられると、そのクラスに対応する予測データを読み出し、画素データ作成回路５５に供給する。
【０１１０】
ここで、いまの場合、メモリ５４においては、例えば、所定の位置の注目ビット修正画素ｘ’を、その上下左右に隣接するビット修正画素（画素データ）Ａ乃至Ｈ（図１５）（予測タップ）を用いた線形一次式により予測するための、その線形一次式の係数のセットｗ1，ｗ2，ｗ3，ｗ4，ｗ5，ｗ6，ｗ7，ｗ8，ｗ9が、予測データとして記憶されている。従って、メモリ５５から画素データ作成回路５５には、注目ビット修正画素ｘ’に対するクラスに対応する係数のセットｗ1乃至ｗ9が、予測データとして供給される。
【０１１１】
画素データ作成回路５５は、予測データとしての係数のセットｗ1乃至ｗ9を受信すると、その予測データとしての係数のセットｗ1乃至ｗ9と、ブロック化回路１１から供給されたブロック（予測タップ）を構成するビット修正画素（画素データ）の画素値ｘ’およびＡ乃至Ｈとを用いて、次の線形一次式を演算することにより、８ビットの注目ビット修正画素ｘ’とする前の、元の１２ビットの画素（画素データ）ｘを生成（予測）する。
ｘ＝ｗ1Ａ＋ｗ2Ｂ＋ｗ3Ｃ…＋ｗ8Ｈ＋ｗ9ｘ’・・・（３）
【０１１２】
画素データ作成回路５５で求められた画素ｘは、画像メモリ５６に供給されて記憶される。以上の処理が、例えば１フレームにおいて行われて、ぞれぞれ生成された画素データが画像メモリに記憶される。この画像メモリ５６に記憶された画素からなる画像データは、送信装置１００のサブサンプリング回路２の出力である間引き画像データとほぼ同一の間引き画像データとして復元される。
【０１１３】
また、画像メモリ５６に記憶された間引き画像データは、図１に示される第１の実施の形態の受信装置２００のデコーダ９から出力された間引き画像データと同様のものであり、第３の実施の形態においても、画像メモリ５６に記憶された間引き画像データは、図１に示される第１の実施の形態と同様に、間引き画素が生成され、画像データが復元される。この結果、出力端子１５からは、全画素動画像を構成するフレームのデータが出力される。なお、図１４に示される第３の実施の形態の受信装置２００の合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４の構成及び動作は、第１の実施の形態と同様であるため、ここではその説明を省略する。
【０１１４】
次に、８ビットのビット修正画素（画素データ）ｘ’から１２ビットの復元画素（画素データ）ｘを求めるのに、式（３）の線形一次式を構成する予測データとしての係数のセットｗ1乃至ｗ9は、学習により求められるようになされている。
【０１１５】
図１６は、８ビットのビット修正画素（画素データ）ｘ’から１２ビットの復元画素（画素データ）ｘを求めるための予測データとしての係数のセットｗ1乃至ｗ9を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【０１１６】
入力端子２１には、各画素が１２ビットである学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データの係数のセットｗ1乃至ｗ9の作成を考慮した標準的なものであるのが望ましい。
【０１１７】
入力端子６１に入力された全画素動画像のフレームは、ブロック化及びビット落とし回路６２に供給される。ブロック化及びビット落とし回路６２は、そこに供給されたフレームを構成する画素から、図１５に示した所定の注目ビット修正画素ｘ’に対応する１２ビットの画素ｘを注目画素（画素データ）として、注目画素ｘと、ビット修正画素（画素データ）Ａ乃至Ｈに対応する１２ビットの画素（画素データ）との合計９画素を選択する。さらに、ブロック化及びビット落とし回路６２は、この選択された９つの画素（画素データ）の各画素の１２ビットのうち、ＬＳＢから４ビット分、即ち、下位４ビットを削除して、８ビットのビット修正画素（画素データ）を生成する。そして、ブロック化及びビット落とし回路６２は、その生成された８つのビット修正画素（画素データ）でブロックを構成し、クラスタップとして、クラスタリング回路６４に供給する。さらに、ブロック化及びビット落とし回路６２は、そのブロックを構成する９つのビット修正画素（画素データ）に、注目画素（画素データ）ｘを加えた合計１０画素（画素データ）を、データメモリ２３の入力端子ＩＮに供給する。
【０１１８】
クラスタリング回路６４は、図１４のクラスタリング回路５３と同様に、そこに供給されるブロック（クラスタップ）を用いてクラスタリングを行い、その結果得られるクラスを、スイッチ６５の端子６５ａに供給する。ここで、スイッチ６５は、学習用の全画素動画像から得られるすべてのブロックについてのクラスタリングが終了するまでは、端子６５ａを選択しており、従って、クラスタリング回路６４が出力する各注目ビット修正画素に対するクラスは、スイッチ６５を介して、データメモリ６３のアドレス端子ＡＤに供給される。
【０１１９】
データメモリ６３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給される画像データを記憶する。
【０１２０】
ここで、例えば、学習用の全画素動画像から得られるすべてのブロック（クラスタップ）のうち、所定のクラスＣｌａｓｓに分類されるものについての注目ビット修正画素（画素データ）をｘ1’，ｘ2’，・・・，ｘn’とする。また、注目ビット修正画素ｘ1の上下左右及び斜めに隣接するビット修正画素（画素データ）をＡ1，Ｂ1，Ｃ1，Ｄ1，Ｅ1，Ｆ1，Ｇ1，Ｈ1と、注目ビット修正画素（画素データ）ｘ2の上下左右及び斜めに隣接するビット修正画素（画素データ）をＡ2，Ｂ2，Ｃ2，Ｄ2，Ｅ2，Ｆ2，Ｇ2，Ｈ2と、・・・、注目ビット修正画素（画素データ）ｘnの上下左右及び斜めに隣接するビット修正画素（画素データ）をＡn，Ｂn，Ｃn，Ｄn，Ｅn，Ｆn，Ｇn，Ｈnと、それぞれする。また、８ビットの注目ビット修正画素ｘ1’，ｘ2’，・・・，ｘn’とする前の、元の１２ビットの画素を、ｘ1，ｘ2，・・・，ｘnとする。この場合、上述の処理により、メモリ６３の、クラスＣｌａｓｓに対応するアドレスには、ｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnの各画素データが記憶される。
【０１２１】
学習用の全画素動画像から得られるすべてのブロック（クラスタップ）についてのクラスタリングが終了すると、スイッチ６５は端子６５ｂを選択する。端子６５ｂには、カウンタ６６の出力が供給されるようになされており、カウンタ６６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ６６が発生するアドレスは、スイッチ６５を介して出力される。
【０１２２】
カウンタ６６からスイッチ６５を介して出力されるアドレスは、データメモリ６３のアドレス端子ＡＤと、メモリ６８のアドレス端子ＡＤとに供給される。
【０１２３】
データメモリ６３においては、そのアドレス端子ＡＤに供給される、カウンタ６６からのアドレスにしたがって、その記憶内容（注目画素ｘ、その注目ビット修正画素ｘ’、及びそれに隣接するビット修正画素Ａ乃至Ｈ）が読み出され、最小自乗法演算回路６７に供給される。最小自乗法演算回路６７では、データメモリ６３から供給されるデータに基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ9が求められる。
【０１２４】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路６７では、データメモリ６３の、クラスＣｌａｓｓに対応するアドレスに記憶されたデータｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnを用いて、式（１）に対応する、以下のような連立方程式がたてられる。
【０１２５】
そして、最小自乗法演算回路６７は、式（４）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ9を求める。他のクラスについての予測データも同様にして求められる。
【０１２６】
最小自乗法演算回路６７で求められた予測データとしての係数のセットｗ1乃至ｗ9は、メモリ６８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ9は、メモリ６３において、データｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnが記憶されていたアドレスと同一のメモリ６８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ６８に記憶される。
【０１２７】
図１４のメモリ５４には、以上のようにしてメモリ６８に記憶された予測データが記憶されている。なお、図１４のメモリ１３には、図１０の学習装置によって、各画素が１２ビットの学習用の全画素動画像を用いて学習が行われることにより得られる予測データとしての係数のセットが記憶されている。
【０１２８】
次に、図１４のメモリ５４には、図１のメモリ１３と同様に、予測データとして、式（３）に示した線形一次式を計算するための係数のセットではなく、画素値そのものを記憶させておくようにすることができる。
【０１２９】
図１７は、画素値を予測データとしてメモリ５４に記憶させる場合の、その予測データを求める学習装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してある。
【０１３０】
入力端子６１に入力された全画素動画像のフレームは、ブロック化及びビット落とし回路回路６２に供給される。ブロック化及びビット落とし回路６２は、そこに供給されたフレームを構成する画素から、図１６における場合と同様に、注目ビット修正画素ｘ’及びそれに隣接するビット修正画素Ａ乃至Ｈからなるブロック（クラスタップ）を構成し、クラスタリング回路６４に供給する。さらに、ブロック化及びビット落とし回路６２は、注目ビット修正画素ｘ’に対応する元の１２ビットの注目画素（画素データ）ｘだけを演算器７４に供給する。
【０１３１】
クラスタリング回路６４は、図１６における場合６２と同様に、ブロック化及びビット落とし回路６２から供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、データメモリ７０のアドレス端子ＡＤと、度数メモリ７１のアドレス端子ＡＤとに供給する。
【０１３２】
ここで、データメモリ７０および度数メモリ７１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【０１３３】
度数メモリ７１では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ７１から出力された度数は、演算器７２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ７１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【０１３４】
一方、データメモリ７０では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ７０の出力は、演算器７３に供給される。演算器７３には、さらに、度数メモリ７１が出力する度数も供給されており、そこでは、この度数と、データメモリ７０の出力とが乗算される。この乗算結果は、演算器７４に供給される。
【０１３５】
演算器７４では、演算器７３における乗算結果と、ブロック化及びビット落とし回路６２からの注目画素（画素データ）ｘの画素値とが加算され、その加算値は、演算器７５に供給される。演算器７５には、さらに、演算器７２による度数のインクリメント結果も供給されており、そこでは、演算器７４の加算結果を被除数とするとともに、加算器７２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ７０の入力端子ＩＮに供給され、クラスタリング回路６４が出力するクラスに対応するアドレスに記憶される（上書きされる）。
【０１３６】
図１７の学習装置において、データメモリ７０および度数メモリ７１のあるアドレスａｄへのアクセスが最初に行われる場合には、ブロック化及びビット落とし回路６２から演算器７４に供給されるデータｘ１がそのまま、データメモリ６０のアドレスａｄに書き込まれ、また、度数メモリ７１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにブロック化及びビット落とし回路６２から演算器７４に供給されるデータがｘ２であったとすると、演算器７２の出力は２となり、また、演算器７４の出力はｘ１＋ｘ２となるから、演算器７５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ７０のアドレスａｄに書き込まれる。そして、度数メモリ７１のアドレスａｄには、演算器７２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにブロック化及びビット落とし回路６２から演算器７４に供給されるデータがｘ３であったとすると、同様の処理により、データメモリ７０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ７１のアドレスａｄには、３が書き込まれる。
【０１３７】
以上のようにして、データメモリ７０には、各クラスに分類される注目ビット修正画素に対応する元の１２ビットの画素値の平均値が記憶される。
【０１３８】
なお、図１４のメモリ５４に、データメモリ７０に記憶された画素値を、予測用データとして記憶させる場合には、その予測用データとしての画素値を、メモリ５４から読み出すことが、注目ビット修正画素の元の１２ビットの画素値を予測することになるから、画素データ作成回路５５は設ける必要がなくなる。
【０１３９】
ところで、上述の場合には、図１４のブロック化回路５２や、図１６、図１７のブロック化及びビット落とし回路６２において、図１５に示したように、注目ビット修正画素ｘ’と、その空間方向の上下左右及び斜めに隣接する８つのビット修正画素（画素データ）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈとで１つのブロック（クラスタップ、予測タップ）を構成するようにしたが、ブロックは、注目ビット修正画素ｘ’の時間方向に隣接するビット修正画素も含めて構成することが可能である。この場合、時間方向のビット修正画素（画素データ）をも考慮してクラスタリングや、式（３）の演算が行われるので、注目ビット修正画素ｘ’を、より元の値に近い１２ビットの画素値に復元することが可能となる。なお、この場合、学習時においても、同様にブロックを構成する必要がある。また、ブロック（クラスタップや予測タップ）は、注目ビット修正画素ｘの時間方向にあるビット修正画素だけで構成することも可能である。
【０１４０】
さらに、上述の場合には、ある注目ビット修正画素について、クラスタリングに用いるビット修正画素（クラスタップ）と、式（３）に示した線形一次式を計算するのに用いるビット修正画素（予測タップ）とを同一のものとしたが、これらは、同一である必要はない。即ち、クラスタリングと式（３）の演算とには、それぞれ別々のビット修正画素の集合を用いることができる。なお、画像の空間的な特徴（アクティビティ）や動き等に応じてクラスタップや予測タップの構成の仕方を適応的に変えてもよい。
【０１４１】
また、クラスタリングに用いるビット修正画素や、式（３）に示した線形一次式を計算するのに用いるビット修正画素は、注目ビット修正画素に対して、空間的または時間的に隣接している必要はない。但し、注目ビット修正画素の周辺にあるビット修正画素を用いるのが望ましい。
【０１４２】
さらに、注目ビット修正画素のクラスは、ＡＤＲＣ処理を用いて空間的なアクティビティに基いて決定する他、例えば、ブロックの動きを検出してその動きに対応して決めてもよいし、ＡＤＲＣ処理と動き検出の組み合せに基いて決定するようにしてもよい。
【０１４３】
また、ビット修正画素を対象とする場合において、動画像を構成する各フレームの各画素のビット数は１２ビットに限定されるものではなく、例えば、８ビット、１０ビット、１６ビットなどの別のビットでもいい。
【０１４４】
なお、画像メモリ５６からの画像データを処理する後続する回路（ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、合成回路１０）に対する変形例は図１における場合と同様であるため、ここでの記載は省略する。
【０１４５】
以上のように、動画像を構成する各フレームの画素が、空間方向および時間方向の両方向に、五の目格子状に間引かれるので、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【０１４６】
また、動画像を構成する各フレームの画素を、空間方向および時間方向の両方向に、五の目格子状に間引くことにより得られる間引き後画素から元の画像が生成されるので、画質の劣化の少ない画像を得ることが可能となる。
【０１４７】
さらに、動画像を構成する各フレームの画素が、空間方向および時間方向の両方向に、五の目格子状に間引かれ、間引き画素の各画素のビットがさらにビット間引きされる場合においては、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を、より低減することが可能となる。
【０１４８】
また、動画像を構成する各フレームの画素を、空間方向および時間方向の両方向に、五の目格子状に間引き、間引き後画素の各画素のビットをさらにビット間引きすることにより得られる間引き後画素から元の画像が生成される場合には、画質の劣化の少ない画像を得ることが可能となる。
【０１４９】
従って、ディジタル画像データを伝送し、そのディジタル画像データを復元する際に、画質劣化が少ない新しい画像フォーマットを提供することができる。
【０１５０】
以上、本発明を適用した送受信システムについて説明したが、このような送受信システムは、テレビジョン放送は勿論、画像を記録／再生する場合などにも用いることができる。
【０１５１】
【発明の効果】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データが生成される。従って、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【０１５２】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データが伝送される。従って、その間引き画像データから、画質の劣化の少ない画像を得ることが可能となる。
【０１５３】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データを用いて、間引かれた画素が生成され、元の画像データが復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【０１５４】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらにその画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを元の画素値に戻すことにより間引き画像データが生成される。さらに、その間引き画像データを用いて、間引かれた画素が生成され、元の画像データが復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した送受信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１のサブサンプリング回路２の処理を説明するための図である。
【図３】図１のサブサンプリング回路２の処理を説明するための図である。
【図４】図１のサブサンプリング回路２の処理を説明するための図である。
【図５】図１のサブサンプリング回路２が出力する画像の空間周波数帯域を示す図である。
【図６】単純な五の目間引きを行って得られる画像の空間周波数帯域を示す図である。
【図７】図１のブロック化回路１１の処理を説明するための図である。
【図８】図１のクラスタリング回路１２の処理を説明するための図である。
【図９】クラスタリングに利用するＡＤＲＣを説明するための図である。
【図１０】図１のメモリ１３に記憶させる予測データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１１】図１のメモリ１３に記憶させる予測データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１２】図１のブロック化回路１１の処理を説明するための図である。
【図１３】本発明を適用した送受信システムの第２実施の形態の構成例を示すブロック図である。
【図１４】本発明を適用した送受信システムの第３実施の形態の構成例を示すブロック図である。
【図１５】図１４のクラスタリング回路５３の処理を説明するための図である。
【図１６】図１４のメモリ５４に記憶させる予測データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１７】図１４のメモリ５４に記憶させる予測データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１８】インターレース間引きがされる前の画像を示す図である。
【図１９】インターレース間引きがされる後の画像を示す図である。
【符号の説明】
１ 入力端子， ２ サブサンプリング回路， ３ エンコーダ， ４ 送信処理装置， ５ 出力端子， ６ 伝送路， ７ 入力端子， ８ 受信処理回路， ９ デコーダ， １０ 合成回路， １１ ブロック化回路， １２ クラスタリング回路， １３ メモリ， １４ 補間データ作成回路， １５ 出力端子， ２１ 入力端子， ２２ ブロック化回路， ２３ データメモリ，２４ クラスタリング回路， ２５ スイッチ， ２５ａ，２５ｂ 端子， ２６ カウンタ， ２７ 最小自乗法演算回路， ２８ メモリ， ３０ データメモリ， ３１ 度数メモリ， ３２乃至３５ 演算器， ４０ 補間フィルタ， ５１ ビット落とし回路，５２ ブロック化回路， ５３ クラスタリング回路， ５４ メモリ， ５５ 画素データ作成回路， ５６ 画像メモリ，１００ 送信装置， ２００ 受信装置， ６２ ブロック化及びビット落とし回路， ６３ データメモリ， ６４ クラスタリング回路， ６５ スイッチ， ６５ａ，６５ｂ 端子， ６６ カウンタ， ６７ 最小自乗法演算回路， ６８ メモリ，７０ データメモリ， ７１ 度数メモリ， ７２乃至７５演算器， １００ 送信装置， ２００ 受信装置
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに情報記録媒体および伝送方法に関し、特に、動画像の画質等の劣化を低減することができるようにする画像処理装置および画像処理方法、並びに情報記録媒体および伝送方法に関する。
【０００２】
【従来の技術】
従来より、動画像を表示するときの走査方法の１つとして、インターレース走査がある。
【０００３】
即ち、例えば、ビデオカメラなどで画像を撮影した場合に、本来ならば、図１８に示すように、その内蔵するＣＣＤ（Charge Coupled Device）などの光電変換素子が有する画素と同一配置の画素（同図において、○印で示す）で、各フレームを構成し、伝送や記録を行うのが、画質や解像度などの面からは理想的である。
【０００４】
しかしながら、これでは、伝送や記録等する情報量が多くなる。そこで、情報量の低減のために、図１９に示すように、最初の画面（インターレース走査では、フィールド）は、奇数ラインの画素（同図において●印で示す）を間引いて、偶数ラインの画素（同図において○印で示す）だけで構成され、次の画面は、偶数ラインの画素（同図において●印で示す）を間引いて、奇数ラインの画素（同図において○印で示す）だけで構成され、さらに次の画面は、最初の画面と同様に構成され、以下、同様にして、画面が構成される。
【０００５】
ここで、インターレース走査は、上述したことから、情報量を低減するための画素を間引く手法の１つと考えることができるので、このような間引きの手法を、以下、適宜、インターレース間引きという。
【０００６】
【発明が解決しようとする課題】
ところで、画像の垂直方向の解像度は、そのライン数に依存する。従って、インターレース間引きを行うと、その間引き後の画像の垂直方向の解像度は、間引き前の画像の垂直方向の解像度の１／２になる。その結果、垂直方向の速い変化を表現するのが困難となり、そのような動きがあると、画質が劣化する課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、間引きによる画質の劣化を低減することができるようにするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段と、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段と修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力する出力手段とを備えることを特徴とする。
【０００９】
請求項２に記載の画像処理方法は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成し、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力することを特徴とする。
【００１３】
請求項３に記載の画像処理装置は、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段を備えることを特徴とする。
【００１４】
請求項１に記載の画像処理装置においては、間引き手段が、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、ビット間引き手段が、生成した間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するようになされている。そして、出力手段が、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力するようになされている。
【００１５】
請求項２に記載の画像処理方法においては、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するようになされている。そして、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力するようになされている。
【００１９】
請求項３に記載の画像処理装置においては、復元手段が、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元するようになされている。
【００２０】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００２１】
即ち、請求項１に記載の画像処理装置は、動画像を構成する画像データを、復元時の画質の劣化を抑制して圧縮する画像処理装置において、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段（例えば、図１に示すサブサンプリング回路２など）と、間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段（例えば、図１４に示すビット落とし回路５１など）と、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元処理によって、元の画像データに復元される修正間引き画像データを出力する出力手段（例えば、図１に示す送信処理回路４など）とを備えることを特徴とする。
【００２７】
請求項３に記載の画像処理装置は、動画像を構成する画像データの画素を間引くことによって生成された間引きデータを伸張する画像処理装置において、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データを受信する受信手段（例えば、図１４に示す受信処理回路８など）と、修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの第１の積和演算によって元の画素値に戻すことにより間引き画像データを生成するとともに、生成した間引き画像データ上に存在しない補間すべき補間画素の画素値を、補間画素の周辺に位置する周辺画素の画素値と、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの第２の積和演算、または補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段（例えば、図１４に示すブロック化回路５２、クラスタリング回路５３、メモリ５４、画素データ作成回路５５、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および合成回路１０など）とを備えることを特徴とする。
【００２８】
請求項４に記載の画像処理装置は、復元手段が、修正間引き画像データを構成する複数の画素のうちの１つである注目画素に対し、注目画素の周辺に位置する周辺画素の画素値に応じた所定の第１のクラスを決定する第１の決定手段（例えば、図１４に示すクラスタリング回路５３など）と、注目画素の第１のクラスに対応するデータであって、かつ、注目画素のビット間引き前の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データと、注目画素の周辺に位置する周辺画素の画素値との第１の積和演算によって、注目画素のビット間引き前の元の画素値を発生する第１の発生手段（例えば、図１４に示すメモリ５４および画素データ作成回路５５など）と、間引き画像データ上に存在しない補間すべき補間画素に対し、補間画素の周辺に位置する、第１の発生手段によって発生されたビット間引き前の間引き画像データの画素の画素値に応じた所定の第２のクラスを決定する第２の決定手段（例えば、図１４に示すクラスタリング回路１２など）と、補間画素の第２のクラスに対応するデータであって、かつ、補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データと、補間画素の周辺に位置する周辺画素の画素値との第２の積和演算によって、補間画素の画素値を発生する第２の発生手段（例えば、図１４に示すメモリ１３および補間データ作成回路１４など）とを有することを特徴とする。
【００２９】
請求項５に記載の画像処理装置は、第１の発生手段が、学習用の修正間引き画像データによる第１の積和演算の結果と、学習用の間引き画像データとの誤差を最小にする学習を、第１のクラス毎に予め行うことによって生成された第１の予測データを第１のクラス毎に記憶している記憶手段（例えば、図１４に示すメモリ５４など）を有し、第１の決定手段が出力する第１のクラスに対応する第１の予測データを、記憶手段から読み出し、その読み出された第１の予測データと、注目画素の周辺に位置する周辺画素の画素値との第１の積和演算によって、間引き画像データを発生することを特徴とする。
【００３０】
請求項６に記載の画像処理装置は、第２の発生手段が、学習用の間引き画像データによる第２の積和演算の結果と、学習用の画像データとの誤差を最小にする学習を、第２のクラス毎に予め行うことによって生成された第２の予測データを第２のクラス毎に記憶している記憶手段（例えば、図１４に示すメモリ１３など）を有し、第２の決定手段が出力する第２のクラスに対応する第２の予測データを読み出し、その読み出された第２の予測データと、補間画素の周辺に位置する周辺画素の画素値との第２の積和演算によって、補間画素の画素値を発生することを特徴とする。
【００３１】
請求項７に記載の画像処理装置は、記憶手段が、第１の予測データとして、第１の積和演算に用いる、第１のクラス毎の予測係数のセットを記憶しており、第１の発生手段が、第１の決定手段が出力する第１のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、修正間引き画像データの、注目画素の周辺に位置する複数の画素の画素値との第１の積和演算によって間引き画像データを算出する演算手段（例えば、図１４に示す画素データ作成回路５５など）をさらに有することを特徴とする。
【００３２】
請求項８に記載の画像処理装置は、記憶手段が、第２の予測データとして、第２の積和演算に用いる、第２のクラス毎の予測係数のセットを記憶しており、第２の発生手段が、第２の決定手段が出力する第２のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、補間画素の周辺に位置する、間引き画像データの複数の画素の画素値との第２の積和演算によって、補間画素の画素値を算出する演算手段（例えば、図１４に示す補間データ作成回路１４など）をさらに有することを特徴とする。
【００３３】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００３４】
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の第１の実施の形態の構成例を示している。
【００３５】
この送受信システムは、送信装置１００と受信装置２００とで構成されている。そして、送信装置１００は、入力端子１、サブサンプリング回路２、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像データの画素を間引くことにより圧縮して送信するようになされている。また、受信装置２００は、入力端子７、受信処理回路８、デコーダ９、合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像データを伸張するようになされている。
【００３６】
即ち、送信装置１００には、例えば、図示せぬビデオカメラなどで撮影され、その内蔵するＣＣＤなどの光電変換素子が有する画素と同一配置の画素で、各フレームが構成される動画像（以下、適宜、全画素動画像という）のディジタル画像データが供給される。ここで、このような全画素動画像は、いわゆるプログレッシブカメラ（光電変換素子上の画素すべてを、いわゆるラスタスキャン順に走査して、１フレームの画像信号として出力するビデオカメラ）や、全画素カメラ（光電変換素子上の画素すべてにおける信号を、一度に、１フレームの画像信号として出力するビデオカメラ）などによって得ることができる。
【００３７】
このディジタル画像データは、入力端子１を介して、サブサンプリング回路２に供給される。サブサンプリング回路２では、そのディジタル画像データとしての動画像を構成する各フレームの画素が、例えば、図２に示すように、空間方向および時間方向の両方向に、五の目格子状に間引かれることにより圧縮される。
【００３８】
ここで、図２において（後述する図３、図４、図７、図１２、および図１５においても同様）、●印および○印の両方が、全画素動画像を構成するフレームの画素を示している。そして、そのうちの●印が、サブサンプリング回路２において間引かれた画素（以下、適宜、間引き画素（画素データ）という）を示しており、○印が、サブサンプリング回路２において間引きが行われることにより残った画素（以下、適宜、間引き後画素（画素データ）という）を示している。
【００３９】
即ち、サブサンプリング回路２では、全画素動画像の第１フレームについては、例えば、図３（Ａ）に示すように、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ａ）に●印で示す）が間引かれ、以下、同様にして、奇数フレームについては、空間方向に、五の目格子状に間引きが行われる。また、第２フレームについては、例えば、図３（Ｂ）に示すように、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ｂ）に●印で示す）が間引かれ、以下、同様にして、偶数フレームについても、空間方向に、五の目格子状に間引きが行われる。
【００４０】
さらに、この場合、ある１ラインまたは１列に注目すれば、例えば、図４に示すように、第１フレームでは、その注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が間引かれ、第２フレームでは、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において●印で示す）が間引かれる。そして、第３フレームでは、再び、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が間引かれ、以下、同様にして、間引きが行われることにより、サブサンプリング回路２では、時間方向にも、五の目格子状に間引きが行われる。
【００４１】
全画素動画像の各フレームについて、以上のように、空間方向および時間方向の両方向に、五の目格子状に間引き（以下、適宜、空間／時間五の目間引きという）が行われることにより、空間方向および時間方向のいずれの方向にも、画素が１つおきに存在するようになる。従って、空間／時間五の目間引き後の情報量は、単純には、前述のインターレース間引きを行った場合と同様に、元の情報量の１／２になる。
【００４２】
ここで、図５は、空間／時間五の目間引き後の画像の空間周波数帯域（同図において斜線を付してある部分）を示している。空間／時間五の目間引き後の画像の空間周波数帯域は、同図に示すように長方形状になり、その結果、水平方向および垂直方向の解像度は勿論、斜め方向の解像度も、ある程度保たれる。
【００４３】
なお、これに対して、図６は、空間方向にのみ五の目格子状に間引き（隣接するフレームにおいて、間引かれる画素の変わらない五の目間引き）を行った場合の、その間引き後の画像の空間周波数帯域（同図において斜線を付してある部分）を示している。この場合、その空間周波数帯域は、ひし形状になり、その結果、水平方向および垂直方向の解像度は、元の解像度に維持されるが、斜め方向の解像度は、元の１／２に低下する。
【００４４】
従って、空間／時間五の目間引きを行うことにより、情報量を低減することができる他、水平方向、垂直方向、および斜め方向のいずれの解像度も維持することができる。その結果、これらのいずれの方向の速い変化をも表現することが可能となり、そのような動きがある場合の画質の劣化を低減（防止）することが可能となる。但し、ある１フレームだけに注目すれば、空間／時間五の目間引きであっても、斜め方向の解像度は低下する。
【００４５】
図１に戻り、サブサンプリング回路２において空間／時間五の目間引きの施された間引き後画素（画素データ）からなる間引き画像データが、エンコーダ３に供給される。エンコーダ３では、サブサンプリング回路２からのデータ（間引き後画素（画素データ）で構成される画像データ）が高能率符号化される。ここで、高能率符号化方式としては、例えば、ＤＣＴ（Discrete Cosine Transform）などの直交変換と動き補償を用いたハイブリッド方式や、ＤＣＴと量子化を用いたハイブリッド方式、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いるものなどがある。なお、ＡＤＲＣについては、例えば、本件出願人が先に出願した特開昭６１−１４４９８９号公報などに、その詳細が開示されている。
【００４６】
エンコーダ３において、間引き画像データが高能率符号化されることにより得られる符号化データは、送信処理回路４に供給される。送信処理回路４では、エンコーダ３からの符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、所定の伝送路６を介して送信される。なお、伝送路６には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスク、相変化ディスクその他の記録媒体も含まれる。
【００４７】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、デコーダ９に供給される。デコーダ９では、送信装置の１００のエンコーダ３の符号化処理と対応する復号処理でその符号化データがデコードされることにより、間引き後画素（画素データ）で構成される間引き画像データとされ、合成回路１０およびブロック化回路１１に供給される。
【００４８】
ブロック化回路１１は、例えば、図７に示すように、所定の位置（補間すべき位置）に対する注目間引き画素ｘの空間方向の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄを１つのブロックにしてクラスタップ及び予測タップを生成し、クラスタップをクラスタリング回路１２に、予測タップを補間データ作成回路１４にそれぞれ供給する。なお、ブロック化回路１１は、すべての間引き画素について、その上下左右に隣接する間引き後画素（画素データ）でなるブロックを構成し、そのブロックを構成する間引き後画素を、クラスタップとしてクラスタリング回路１２に供給するとともに、予測タップとして補間データ作成回路１４に供給する。なお、ここでは、クラスタップ及び予測タップとは同一の間引き後画素から構成することとしたが、クラスタップと予測タップとは、異なる間引き後画素から構成することも可能である。
【００４９】
クラスタリング回路１２は、ブロック化回路１１からのブロック、即ち、クラスタップを、それを構成する間引き後画素の性質に応じて所定のクラスにクラスタリングする。
【００５０】
ここで、クラスタリングについて簡単に説明する。
【００５１】
いま、例えば、図８（Ａ）に示すように、２×２画素でなるブロック（クラスタップ）を考え、各画素が、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとすると、この２×２の４画素のブロック（クラスタップ）は、各画素のレベル分布により、図８（Ｂ）に示すように、１６（＝（２1）4）パターンにクラス分けすることができる。このようなクラス分けが、クラスタリングであり、クラスタリング回路１２において行われる。
【００５２】
ここで、通常、各画素には、例えば８ビット程度が（その画素値を表現するために）割り当てられる。また、本実施の形態においては、上述したように、ブロック（クラスタップ）は４画素で構成される。従って、このようなブロック（クラスタップ）を対象にクラスタリングを行ったのでは、（２8）4という膨大な数のクラスが生じることになる。
【００５３】
そこで、クラスタリング回路１２では、ブロック（クラスタップ）に対して、例えば、ＡＤＲＣ処理を施し、これにより、ブロックを構成する画素のビット数を少なくし、クラス数を削減するようになされている。
【００５４】
即ち、例えば、いま、説明を簡単にするため、図９（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００５５】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図９（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００５６】
なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。
【００５７】
また、クラスタリングは、上述したように、ブロック（クラスタップ）を構成する各画素のレベルそのものに基づいて行う他、例えば、ブロック（クラスタップ）を構成する画素のレベルの傾向（例えば、すべての画素のレベルがほぼ揃っているとか、右にある画素のレベルが他の画素のレベルよりも高いまたは低いとかなど）など基づいて行うことも可能である。
【００５８】
ここで、図９は、２ビットＡＤＲＣを示しているが、クラスタリング回路１２では、例えば、１ビットＡＤＲＣ（Ｋ＝１のＡＤＲＣ）が行われるようになされている。
【００５９】
再び、図１に戻り、以上のようなクラスタリングにより得られたクラスは、メモリ１３に対して、アドレスとして与えられる。メモリ１３は、全画素動画像を構成する画素から間引かれた間引き画素ｘを予測するための予測データを、クラスごとに記憶しており、クラスタリング回路１２からアドレスとしてのクラスが与えられると、そのクラスに対応する予測データを読み出し、補間データ作成回路１４に供給する。
【００６０】
ここで、いまの場合、メモリ１３においては、例えば、所定の位置（補間すべき位置）に対する注目間引き画素ｘを、その上下左右に隣接する間引き後画素（画素データ）ａ乃至ｄ（図７）（予測タップ）を用いた線形一次式により予測するための、その線形一次式の係数のセットｗ1，ｗ2，ｗ3，ｗ4が、予測データとして記憶されている。従って、メモリ１３から補間データ作成回路１４には、注目間引き画素に対するクラスに対応する係数のセットｗ1乃至ｗ4が、予測データとして供給される。
【００６１】
補間データ作成回路１４は、予測データとしての係数のセットｗ1乃至ｗ4を受信すると、その予測データとしての係数のセットｗ1乃至ｗ4と、ブロック化回路１１から供給されたブロック（予測タップ）を構成する間引き後画素（画素データ）の画素値ａ乃至ｄとを用いて、次の線形一次式を演算することにより、注目間引き画素（画素データ）ｘを生成（予測）する。
ｘ＝ｗ1ａ＋ｗ2ｂ＋ｗ3ｃ＋ｗ4ｄ・・・（１）
【００６２】
補間データ作成回路１４で求められた注目間引き画素（画素データ）ｘは、合成回路１０に出力される。合成回路１０は、間引き後画素を出力するタイミングでは、デコーダ９から供給される間引き後画素（画素データ）を選択し、また、間引き画素を出力するタイミングでは、補間データ作成回路１４から供給される間引き画素（画素データ）（式（１）により得られるｘ）を選択して、出力端子１５から出力する。この結果、出力端子１５からは、全画素動画像を構成するフレームのデータが出力される。
【００６３】
次に、間引き画素（画素データ）ｘを求めるのに、式（１）の線形一次式を構成するための予測データとしての係数のセットｗ1，ｗ2，ｗ3，ｗ4は、学習により求められるようになされている。
【００６４】
図１０は、予測データとしての係数のセットｗ1，ｗ2，ｗ3，ｗ4を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【００６５】
入力端子２１には、学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データの係数のセットｗ1，ｗ2，ｗ3，ｗ4の作成を考慮した標準的なものであるのが望ましい。
【００６６】
入力端子２１に入力された全画素動画像のフレームは、ブロック化回路２２に供給される。ブロック化回路２２は、そこに供給されたフレームを構成する画素（画素データ）から、図７に示した注目間引き画素ｘとなる画素（画素データ）を注目画素（画素データ）として、その注目画素（画素データ）に対して間引き後画素ａ乃至ｄとなる画素（画素データ）を選択し、その４つの画素（画素データ）でブロック（クラスタップ及び予測タップ）を構成して、クラスタリング回路２４に供給する。さらに、ブロック化回路２２は、そのブロックを構成する４つの画素（画素データ）に、注目画素（画素データ）を加えた合計５画素（画素データ）を、データメモリ２３の入力端子ＩＮに供給する。
【００６７】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、スイッチ２５の端子２５ａに供給する。ここで、スイッチ２５は、学習用の全画素動画像から得られるすべてのブロックについてのクラスタリングが終了するまでは、端子２５ａを選択しており、従って、クラスタリング回路２４が出力する各注目間引き画素に対するクラスは、スイッチ２５を介して、データメモリ２３のアドレス端子ＡＤに供給される。
【００６８】
データメモリ２３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給される画像データを記憶する。
【００６９】
ここで、例えば、学習用の全画素動画像から得られるすべてのブロック（クラスタップ）のうち、所定のクラスＣｌａｓｓに分類されるものについての注目画素（画素データ）をｘ1，ｘ2，・・・，ｘnとする。また、注目画素（画素データ）ｘ1の上下左右に隣接する画素（画素データ）をａ1，ｂ1，ｃ1，ｄ1と、注目画素（画素データ）ｘ2の上下左右に隣接する画素（画素データ）をａ2，ｂ2，ｃ2，ｄ2と、・・・、注目画素（画素データ）ｘnの上下左右に隣接する画素（画素データ）をａn，ｂn，ｃn，ｄnと、それぞれする。この場合、上述の処理により、メモリ２３の、クラスＣｌａｓｓに対応するアドレスには、ｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnの各画素データが記憶される。
【００７０】
学習用の全画素動画像から得られるすべてのブロック（クラスタップ）についてのクラスタリングが終了すると、スイッチ２５は端子２５ｂを選択する。端子２５ｂには、カウンタ２６の出力が供給されるようになされており、カウンタ２６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ２６が発生するアドレスは、スイッチ２５を介して出力される。
【００７１】
カウンタ２６からスイッチ２５を介して出力されるアドレスは、データメモリ２３のアドレス端子ＡＤと、メモリ２８のアドレス端子ＡＤとに供給される。
【００７２】
データメモリ２３においては、そのアドレス端子ＡＤに供給される、カウンタ２６からのアドレスにしたがって、その記憶内容（注目画素（画素データ）とそれに隣接する４つの画素（画素データ））が読み出され、最小自乗法演算回路２７に供給される。最小自乗法演算回路２７では、データメモリ２３から供給されるデータに基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ4が求められる。
【００７３】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路２７では、データメモリ２３の、クラスＣｌａｓｓに対応するアドレスに記憶されたデータｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnを用いて、式（１）に対応する、以下のような連立方程式がたてられる。
そして、最小自乗法演算回路２７は、式（２）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ4を求める。他のクラスについての予測データも同様にして求められる。
【００７５】
最小自乗法演算回路２７で求められた予測データとしての係数のセットｗ1乃至ｗ4は、メモリ２８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ4は、メモリ２３において、データｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄnが記憶されていたアドレスと同一のメモリ２８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ２８に記憶される。
【００７６】
図１のメモリ１３には、以上のようにしてメモリ２８に記憶された予測データが記憶されている。
【００７７】
次に、図１のメモリ１３には、予測データとして、式（１）に示した線形一次式を計算するための係数のセットではなく、画素値そのものを記憶させておくようにすることができる。
【００７８】
図１１は、画素値を予測データとしてメモリ１３に記憶させる場合の、その予測データを求める学習装置の第２の実施の形態の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。
【００７９】
入力端子２１には、学習用の全画素動画像が入力され、その全画素動画像のフレームは、ブロック化回路２２に供給される。ブロック化回路２２は、そこに供給されたフレームを構成する画素から、図１０における場合と同様にブロック（クラスタップ）を構成し、クラスタリング回路２４に供給する。さらに、ブロック化回路２２は、注目間引き画素ｘとなる注目画素（画素データ）だけを演算器３４に供給する。
【００８０】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、データメモリ３０のアドレス端子ＡＤと、度数メモリ３１のアドレス端子ＡＤとに供給する。
【００８１】
ここで、データメモリ３０および度数メモリ３１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【００８２】
度数メモリ３１では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ３１から出力された度数は、演算器３２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ３１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【００８３】
一方、データメモリ３０では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ３０の出力は、演算器３３に供給される。演算器３３には、さらに、度数メモリ３１が出力する度数も供給されており、そこでは、この度数と、データメモリ３０の出力とが乗算される。この乗算結果は、演算器３４に供給される。
【００８４】
演算器３４では、演算器３３における乗算結果と、ブロック化回路２２からの注目画素（画素データ）の画素値とが加算され、その加算値は、演算器３５に供給される。演算器３５には、さらに、演算器３２による度数のインクリメント結果も供給されており、そこでは、演算器３４の加算結果を被除数とするとともに、加算器３２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ３０の入力端子ＩＮに供給され、クラスタリング回路２４が出力するクラスに対応するアドレスに記憶される（上書きされる）。
【００８５】
図１１の学習装置において、データメモリ３０および度数メモリ３１のあるアドレスａｄへのアクセスが最初に行われる場合には、ブロック化回路２２から演算器３４に供給されるデータｘ１がそのまま、データメモリ３０のアドレスａｄに書き込まれ、また、度数メモリ３１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにブロック化回路２２から演算器３４に供給されるデータがｘ２であったとすると、演算器３２の出力は２となり、また、演算器３４の出力はｘ１＋ｘ２となるから、演算器３５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ３０のアドレスａｄに書き込まれる。そして、度数メモリ３１のアドレスａｄには、演算器３２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにブロック化回路２２から演算器３４に供給されるデータがｘ３であったとすると、同様の処理により、データメモリ３０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ３１のアドレスａｄには、３が書き込まれる。
【００８６】
以上のようにして、データメモリ３０には、各クラスに分類される注目画素（画素データ）の画素値の平均値が記憶される。
【００８７】
なお、図１のメモリ１３に、データメモリ３０に記憶された画素値を、予測用データとして記憶させる場合には、その予測用データとしての画素値を、メモリ１３から読み出すことが、間引き画素を予測することになるから、補間データ作成回路１４は設ける必要がなくなる。
【００８８】
ところで、上述の場合には、図１のブロック化回路１１において、図７に示したように、注目間引き画素ｘの空間方向の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄで１つのブロック（クラスタップ及び予測タップ）を構成するようにしたが、ブロックは、注目間引き画素ｘの時間方向に隣接する間引き後画素も含めて構成することが可能である。
【００８９】
即ち、例えば、図１２に示すように、第ｎフレームのある注目間引き画素ｘについてブロックを構成する場合においては、同一フレーム内の上下左右に隣接する４つの間引き後画素（画素データ）ａ，ｂ，ｃ，ｄ、並びに第ｎ−１フレームの、注目間引き画素ｘと同一位置にある間引き後画素（画素データ）ｅ、および第ｎ＋１フレームの、注目間引き画素ｘと同一位置にある間引き後画素（画素データ）ｆの合計６画素（画素データ）でブロック（クラスタップ及び予測タップ）を構成することが可能である。
【００９０】
この場合、時間方向の間引き後画素（画素データ）ｅ，ｆをも考慮してクラスタリングや、式（１）の演算が行われるので、間引き画素ｘを、より元のものに近いものに復元することが可能となる。なお、この場合、学習時においても、同様にブロックを構成する必要がある。また、ブロック（クラスタップや予測タップ）は、注目間引き画素ｘの時間方向にある間引き後画素だけで構成することも可能である。
【００９１】
また、本実施の形態では、ある間引き画素に注目した場合において、クラスタリングに用いる間引き後画素と、式（１）に示した線形一次式を計算するのに用いる間引き後画素（予測タップ）とを同一のものとしたが、これらは、同一である必要はない。即ち、クラスタリングと式（１）の演算とには、それぞれ別々の間引き後画素の集合を用いることができる。さらに、画像の空間的な特徴（アクティビティ）や動き等に応じてクラスタップや予測タップの構成の仕方を適応的に変えることも可能である。
【００９２】
また、クラスタリングに用いる間引き後画素（クラスタップ）や、式（１）に示した線形一次式を計算するのに用いる間引き後画素（予測タップ）は、間引き画素に対して、空間的または時間的に隣接している必要はない。但し、間引き画素の周辺にある間引き後画素を用いるのが望ましい。
【００９３】
また、図１のクラスタリング回路１２では、ＡＤＲＣ処理を用い、その結果得られる空間的なアクティビティに基いてクラスを決定するようにしたが、その他、例えば、ブロックの動きを検出し、その動きをクラスに用いたり、ＡＤＲＣ処理と動き検出の組み合せに基いてクラスを決定することも可能である。
【００９４】
さらに、本実施の形態では、受信装置２００において、間引き画素のみを生成することとしたが、同様の手法で、間引き後画素をも新たに生成することが可能である。この場合、合成回路１０は必要なくなる。
【００９５】
また、本実施の形態において、動画像を構成する各フレームの各画素が８ビットであるとしたが、画素のビット数は８ビットに限定されるものではなく、１０ビット、１２ビットなどの８ビットより多いビットでもよいし、もちろん、８ビットより少ないビットでもいい。
【００９６】
次に、以上では、受信装置２００において、学習を行うことにより得られた予測用データを用いて、間引き画素を予測するようにしたので、間引き後画素で構成される画像に含まれていない高周波成分も復元することができるが、間引き画素の復元は、単純な補間によって行うことも可能である。
【００９７】
図１３は、そのような送受信システムの第２の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、この送受信システムは、ブロック化回路１１、クラスタリング回路１２、メモリ１３、および補間データ作成回路１４に代えて、補間フィルタ４０が設けられている他は、図１の送受信システムと同様に構成されている。
【００９８】
補間フィルタ４０では、デコーダ９からの間引き後画素（画素データ）のうち、間引き画素の周辺にある間引き後画素（画素データ）の平均値などが求められ、これが、その間引き画素（画素データ）の補間値として、合成回路１０に出力される。
【００９９】
なお、この場合、図１における場合のように、間引き後画素（画素データ）で構成される画像データに含まれていない高周波成分を復元することはできないが、受信装置２００の構成を簡単化することができる。
【０１００】
次に、図１４は、本発明を適用した送受信システムの第３の実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。
【０１０１】
この第３の実施の形態の送受信システムは、送信装置１００と受信装置２００とで構成されている。送信装置１００は、入力端子１、サブサンプリング回路２、ビット落とし回路５１、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像データの画素を間引き、さらに間引き後の画素のレベル方向のビットを減らすことにより圧縮して送信するようになされている。受信装置２００は、入力端子７、受信処理回路８、デコーダ９、ブロック化回路５２、クラスタリング回路５３、メモリ５４、画素データ作成回路５５、画像メモリ５６、合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像データを伸張するようになされている。
【０１０２】
即ち、送信装置１００には、例えば、第１の実施の形態における場合と同様に、各フレームが構成される動画像（全画素動画像）のディジタル画像データが供給される。なお、このディジタル画像データを構成する各画素は、例えば１２ビットである（１２ビットで表される）とする。このディジタル画像データは、入力端子１を介して、サブサンプリング回路２に供給される。サブサンプリング回路２では、図１で示される第１の実施の形態における場合と同様に、そこに供給されるディジタル画像データとしての動画像を構成する各フレームの画素が、例えば、図２に示したように、空間方向および時間方向の両方向に、五の目格子状に間引かれることにより圧縮される。つまり、全画素動画像の各フレームについて、空間方向および時間方向の両方向に、五の目格子状に間引き（空間／時間五の目間引き）が行われることにより、空間方向および時間方向のいずれの方向にも、画素が１つおきに存在する間引き画像データが生成される。サブサンプリング回路２において空間／時間五の目間引きの施された間引き後画素（画素データ）からなる間引き画像データは、ビット落とし回路５１に供給される。
【０１０３】
ビット落とし回路５１は、サブサンプリング回路２から供給された間引き画像データの各画素（画素データ）の１２ビットのうち、例えば、ＬＳＢ（Least Significant Bit）から４ビット分のビット（下位４ビット）を削除して、８ビットのビット修正画素（画素データ）を生成する。そして、この各ビット修正画素(画素データ)からなる修正間引き画像データが、エンコーダ３に供給される。
【０１０４】
エンコーダ３では、図３に示される第１の実施の形態と同様に、修正間引き画像データが高能率符号化され、符号化データとして送信処理回路４に供給される。送信処理回路４では、図３に示される第１の実施の形態と同様に、符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、同様に、所定の伝送路６を介して送信される。
【０１０５】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、デコーダ９に供給される。デコーダ９では、送信装置の１００のエンコーダ３の符号化処理と対応する復号処理でその符号化データがデコードされることにより、ビット修正画素（画素データ）で構成される修正間引き画像データとされ、ブロック化回路５２に供給される。
【０１０６】
ブロック化回路５２は、例えば、図１５に示すように、注目すべきビット修正画素ｘ’と、その空間方向の上下左右及び斜めに隣接する８つのビット修正画素（画素データ）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈとを１つのブロックにし、このブロックを、クラスタップおよび予測タップとする。クラスタップはクラスタリング回路５３に、予測タップは画素データ作成回路５５に、それぞれ供給される。なお、ブロック化回路５２は、すべてのビット修正画素について、その上下左右及び斜めに隣接するビット修正画素（画素データ）でなるブロックを構成し、そのブロックを、クラスタップとしてクラスタリング回路５３に供給するとともに、予測タップとして補間データ作成回路５５にも供給する。なお、ここでは、クラスタップと予測タップは同一のものとしているが、異なるものとすることも可能である。
【０１０７】
クラスタリング回路５３は、ブロック化回路５２からのクラスタップを、それを構成するビット修正画素の性質に応じて所定のクラスにクラスタリングする。クラスタリングについては、第１の実施の形態を説明する際に図８及び図９を用いて説明したため、ここではその説明は省略する。
【０１０８】
クラスタリング回路５３は、ブロック（クラスタップ）を構成する９つのビット修正画素(画素データ)ｘ’およびＡ乃至Ｈに対して、例えば、１ビットＡＤＲＣ処理を施し、注目ビット修正画素ｘ’に対するクラスを表す９ビット（＝log2（２1）9のクラスコードを発生する。
【０１０９】
クラスタリング回路５３のクラスタリングにより得られるクラスは、メモリ５４に対して、アドレスとして与えられる。メモリ５４は、８ビットに修正されたビット修正画素ｘ’から元の１２ビットの画素を予測するための予測データを、クラスごとに記憶しており、クラスタリング回路５３からアドレスとしてのクラスが与えられると、そのクラスに対応する予測データを読み出し、画素データ作成回路５５に供給する。
【０１１０】
ここで、いまの場合、メモリ５４においては、例えば、所定の位置の注目ビット修正画素ｘ’を、その上下左右に隣接するビット修正画素（画素データ）Ａ乃至Ｈ（図１５）（予測タップ）を用いた線形一次式により予測するための、その線形一次式の係数のセットｗ1，ｗ2，ｗ3，ｗ4，ｗ5，ｗ6，ｗ7，ｗ8，ｗ9が、予測データとして記憶されている。従って、メモリ５５から画素データ作成回路５５には、注目ビット修正画素ｘ’に対するクラスに対応する係数のセットｗ1乃至ｗ9が、予測データとして供給される。
【０１１１】
画素データ作成回路５５は、予測データとしての係数のセットｗ1乃至ｗ9を受信すると、その予測データとしての係数のセットｗ1乃至ｗ9と、ブロック化回路１１から供給されたブロック（予測タップ）を構成するビット修正画素（画素データ）の画素値ｘ’およびＡ乃至Ｈとを用いて、次の線形一次式を演算することにより、８ビットの注目ビット修正画素ｘ’とする前の、元の１２ビットの画素（画素データ）ｘを生成（予測）する。
ｘ＝ｗ1Ａ＋ｗ2Ｂ＋ｗ3Ｃ…＋ｗ8Ｈ＋ｗ9ｘ’・・・（３）
【０１１２】
画素データ作成回路５５で求められた画素ｘは、画像メモリ５６に供給されて記憶される。以上の処理が、例えば１フレームにおいて行われて、ぞれぞれ生成された画素データが画像メモリに記憶される。この画像メモリ５６に記憶された画素からなる画像データは、送信装置１００のサブサンプリング回路２の出力である間引き画像データとほぼ同一の間引き画像データとして復元される。
【０１１３】
また、画像メモリ５６に記憶された間引き画像データは、図１に示される第１の実施の形態の受信装置２００のデコーダ９から出力された間引き画像データと同様のものであり、第３の実施の形態においても、画像メモリ５６に記憶された間引き画像データは、図１に示される第１の実施の形態と同様に、間引き画素が生成され、画像データが復元される。この結果、出力端子１５からは、全画素動画像を構成するフレームのデータが出力される。なお、図１４に示される第３の実施の形態の受信装置２００の合成回路１０、ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４の構成及び動作は、第１の実施の形態と同様であるため、ここではその説明を省略する。
【０１１４】
次に、８ビットのビット修正画素（画素データ）ｘ’から１２ビットの復元画素（画素データ）ｘを求めるのに、式（３）の線形一次式を構成する予測データとしての係数のセットｗ1乃至ｗ9は、学習により求められるようになされている。
【０１１５】
図１６は、８ビットのビット修正画素（画素データ）ｘ’から１２ビットの復元画素（画素データ）ｘを求めるための予測データとしての係数のセットｗ1乃至ｗ9を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【０１１６】
入力端子２１には、各画素が１２ビットである学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データの係数のセットｗ1乃至ｗ9の作成を考慮した標準的なものであるのが望ましい。
【０１１７】
入力端子６１に入力された全画素動画像のフレームは、ブロック化及びビット落とし回路６２に供給される。ブロック化及びビット落とし回路６２は、そこに供給されたフレームを構成する画素から、図１５に示した所定の注目ビット修正画素ｘ’に対応する１２ビットの画素ｘを注目画素（画素データ）として、注目画素ｘと、ビット修正画素（画素データ）Ａ乃至Ｈに対応する１２ビットの画素（画素データ）との合計９画素を選択する。さらに、ブロック化及びビット落とし回路６２は、この選択された９つの画素（画素データ）の各画素の１２ビットのうち、ＬＳＢから４ビット分、即ち、下位４ビットを削除して、８ビットのビット修正画素（画素データ）を生成する。そして、ブロック化及びビット落とし回路６２は、その生成された８つのビット修正画素（画素データ）でブロックを構成し、クラスタップとして、クラスタリング回路６４に供給する。さらに、ブロック化及びビット落とし回路６２は、そのブロックを構成する９つのビット修正画素（画素データ）に、注目画素（画素データ）ｘを加えた合計１０画素（画素データ）を、データメモリ２３の入力端子ＩＮに供給する。
【０１１８】
クラスタリング回路６４は、図１４のクラスタリング回路５３と同様に、そこに供給されるブロック（クラスタップ）を用いてクラスタリングを行い、その結果得られるクラスを、スイッチ６５の端子６５ａに供給する。ここで、スイッチ６５は、学習用の全画素動画像から得られるすべてのブロックについてのクラスタリングが終了するまでは、端子６５ａを選択しており、従って、クラスタリング回路６４が出力する各注目ビット修正画素に対するクラスは、スイッチ６５を介して、データメモリ６３のアドレス端子ＡＤに供給される。
【０１１９】
データメモリ６３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給される画像データを記憶する。
【０１２０】
ここで、例えば、学習用の全画素動画像から得られるすべてのブロック（クラスタップ）のうち、所定のクラスＣｌａｓｓに分類されるものについての注目ビット修正画素（画素データ）をｘ1’，ｘ2’，・・・，ｘn’とする。また、注目ビット修正画素ｘ1の上下左右及び斜めに隣接するビット修正画素（画素データ）をＡ1，Ｂ1，Ｃ1，Ｄ1，Ｅ1，Ｆ1，Ｇ1，Ｈ1と、注目ビット修正画素（画素データ）ｘ2の上下左右及び斜めに隣接するビット修正画素（画素データ）をＡ2，Ｂ2，Ｃ2，Ｄ2，Ｅ2，Ｆ2，Ｇ2，Ｈ2と、・・・、注目ビット修正画素（画素データ）ｘnの上下左右及び斜めに隣接するビット修正画素（画素データ）をＡn，Ｂn，Ｃn，Ｄn，Ｅn，Ｆn，Ｇn，Ｈnと、それぞれする。また、８ビットの注目ビット修正画素ｘ1’，ｘ2’，・・・，ｘn’とする前の、元の１２ビットの画素を、ｘ1，ｘ2，・・・，ｘnとする。この場合、上述の処理により、メモリ６３の、クラスＣｌａｓｓに対応するアドレスには、ｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnの各画素データが記憶される。
【０１２１】
学習用の全画素動画像から得られるすべてのブロック（クラスタップ）についてのクラスタリングが終了すると、スイッチ６５は端子６５ｂを選択する。端子６５ｂには、カウンタ６６の出力が供給されるようになされており、カウンタ６６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ６６が発生するアドレスは、スイッチ６５を介して出力される。
【０１２２】
カウンタ６６からスイッチ６５を介して出力されるアドレスは、データメモリ６３のアドレス端子ＡＤと、メモリ６８のアドレス端子ＡＤとに供給される。
【０１２３】
データメモリ６３においては、そのアドレス端子ＡＤに供給される、カウンタ６６からのアドレスにしたがって、その記憶内容（注目画素ｘ、その注目ビット修正画素ｘ’、及びそれに隣接するビット修正画素Ａ乃至Ｈ）が読み出され、最小自乗法演算回路６７に供給される。最小自乗法演算回路６７では、データメモリ６３から供給されるデータに基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ9が求められる。
【０１２４】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路６７では、データメモリ６３の、クラスＣｌａｓｓに対応するアドレスに記憶されたデータｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnを用いて、式（１）に対応する、以下のような連立方程式がたてられる。
そして、最小自乗法演算回路６７は、式（４）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ9を求める。他のクラスについての予測データも同様にして求められる。
【０１２６】
最小自乗法演算回路６７で求められた予測データとしての係数のセットｗ1乃至ｗ9は、メモリ６８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ9は、メモリ６３において、データｘ1，ｘ2，・・・，ｘn，ｘ1’，ｘ2’，・・・，ｘn’，Ａ1，Ａ2，・・・，Ａn，Ｂ1，Ｂ2，・・・，Ｂn，Ｃ1，Ｃ2，・・・，Ｃn，Ｄ1，Ｄ2，・・・，Ｄn，Ｅ1，Ｅ2，・・・，Ｅn，Ｆ1，Ｆ2，・・・，Ｆn，Ｇ1，Ｇ2，・・・，Ｇn，Ｈ1，Ｈ2，・・・，Ｈnが記憶されていたアドレスと同一のメモリ６８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ６８に記憶される。
【０１２７】
図１４のメモリ５４には、以上のようにしてメモリ６８に記憶された予測データが記憶されている。なお、図１４のメモリ１３には、図１０の学習装置によって、各画素が１２ビットの学習用の全画素動画像を用いて学習が行われることにより得られる予測データとしての係数のセットが記憶されている。
【０１２８】
次に、図１４のメモリ５４には、図１のメモリ１３と同様に、予測データとして、式（３）に示した線形一次式を計算するための係数のセットではなく、画素値そのものを記憶させておくようにすることができる。
【０１２９】
図１７は、画素値を予測データとしてメモリ５４に記憶させる場合の、その予測データを求める学習装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してある。
【０１３０】
入力端子６１に入力された全画素動画像のフレームは、ブロック化及びビット落とし回路回路６２に供給される。ブロック化及びビット落とし回路６２は、そこに供給されたフレームを構成する画素から、図１６における場合と同様に、注目ビット修正画素ｘ’及びそれに隣接するビット修正画素Ａ乃至Ｈからなるブロック（クラスタップ）を構成し、クラスタリング回路６４に供給する。さらに、ブロック化及びビット落とし回路６２は、注目ビット修正画素ｘ’に対応する元の１２ビットの注目画素（画素データ）ｘだけを演算器７４に供給する。
【０１３１】
クラスタリング回路６４は、図１６における場合６２と同様に、ブロック化及びビット落とし回路６２から供給されるブロック（クラスタップ）をクラスタリングし、その結果得られるクラスを、データメモリ７０のアドレス端子ＡＤと、度数メモリ７１のアドレス端子ＡＤとに供給する。
【０１３２】
ここで、データメモリ７０および度数メモリ７１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【０１３３】
度数メモリ７１では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ７１から出力された度数は、演算器７２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ７１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【０１３４】
一方、データメモリ７０では、そのアドレス端子ＡＤに、アドレスとしてのクラスが供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ７０の出力は、演算器７３に供給される。演算器７３には、さらに、度数メモリ７１が出力する度数も供給されており、そこでは、この度数と、データメモリ７０の出力とが乗算される。この乗算結果は、演算器７４に供給される。
【０１３５】
演算器７４では、演算器７３における乗算結果と、ブロック化及びビット落とし回路６２からの注目画素（画素データ）ｘの画素値とが加算され、その加算値は、演算器７５に供給される。演算器７５には、さらに、演算器７２による度数のインクリメント結果も供給されており、そこでは、演算器７４の加算結果を被除数とするとともに、加算器７２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ７０の入力端子ＩＮに供給され、クラスタリング回路６４が出力するクラスに対応するアドレスに記憶される（上書きされる）。
【０１３６】
図１７の学習装置において、データメモリ７０および度数メモリ７１のあるアドレスａｄへのアクセスが最初に行われる場合には、ブロック化及びビット落とし回路６２から演算器７４に供給されるデータｘ１がそのまま、データメモリ６０のアドレスａｄに書き込まれ、また、度数メモリ７１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにブロック化及びビット落とし回路６２から演算器７４に供給されるデータがｘ２であったとすると、演算器７２の出力は２となり、また、演算器７４の出力はｘ１＋ｘ２となるから、演算器７５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ７０のアドレスａｄに書き込まれる。そして、度数メモリ７１のアドレスａｄには、演算器７２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにブロック化及びビット落とし回路６２から演算器７４に供給されるデータがｘ３であったとすると、同様の処理により、データメモリ７０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ７１のアドレスａｄには、３が書き込まれる。
【０１３７】
以上のようにして、データメモリ７０には、各クラスに分類される注目ビット修正画素に対応する元の１２ビットの画素値の平均値が記憶される。
【０１３８】
なお、図１４のメモリ５４に、データメモリ７０に記憶された画素値を、予測用データとして記憶させる場合には、その予測用データとしての画素値を、メモリ５４から読み出すことが、注目ビット修正画素の元の１２ビットの画素値を予測することになるから、画素データ作成回路５５は設ける必要がなくなる。
【０１３９】
ところで、上述の場合には、図１４のブロック化回路５２や、図１６、図１７のブロック化及びビット落とし回路６２において、図１５に示したように、注目ビット修正画素ｘ’と、その空間方向の上下左右及び斜めに隣接する８つのビット修正画素（画素データ）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈとで１つのブロック（クラスタップ、予測タップ）を構成するようにしたが、ブロックは、注目ビット修正画素ｘ’の時間方向に隣接するビット修正画素も含めて構成することが可能である。この場合、時間方向のビット修正画素（画素データ）をも考慮してクラスタリングや、式（３）の演算が行われるので、注目ビット修正画素ｘ’を、より元の値に近い１２ビットの画素値に復元することが可能となる。なお、この場合、学習時においても、同様にブロックを構成する必要がある。また、ブロック（クラスタップや予測タップ）は、注目ビット修正画素ｘの時間方向にあるビット修正画素だけで構成することも可能である。
【０１４０】
さらに、上述の場合には、ある注目ビット修正画素について、クラスタリングに用いるビット修正画素（クラスタップ）と、式（３）に示した線形一次式を計算するのに用いるビット修正画素（予測タップ）とを同一のものとしたが、これらは、同一である必要はない。即ち、クラスタリングと式（３）の演算とには、それぞれ別々のビット修正画素の集合を用いることができる。なお、画像の空間的な特徴（アクティビティ）や動き等に応じてクラスタップや予測タップの構成の仕方を適応的に変えてもよい。
【０１４１】
また、クラスタリングに用いるビット修正画素や、式（３）に示した線形一次式を計算するのに用いるビット修正画素は、注目ビット修正画素に対して、空間的または時間的に隣接している必要はない。但し、注目ビット修正画素の周辺にあるビット修正画素を用いるのが望ましい。
【０１４２】
さらに、注目ビット修正画素のクラスは、ＡＤＲＣ処理を用いて空間的なアクティビティに基いて決定する他、例えば、ブロックの動きを検出してその動きに対応して決めてもよいし、ＡＤＲＣ処理と動き検出の組み合せに基いて決定するようにしてもよい。
【０１４３】
また、ビット修正画素を対象とする場合において、動画像を構成する各フレームの各画素のビット数は１２ビットに限定されるものではなく、例えば、８ビット、１０ビット、１６ビットなどの別のビットでもいい。
【０１４４】
なお、画像メモリ５６からの画像データを処理する後続する回路（ブロック化回路１１、クラスタリング回路１２、メモリ１３、補間データ作成回路１４、合成回路１０）に対する変形例は図１における場合と同様であるため、ここでの記載は省略する。
【０１４５】
以上のように、動画像を構成する各フレームの画素が、空間方向および時間方向の両方向に、五の目格子状に間引かれるので、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【０１４６】
また、動画像を構成する各フレームの画素を、空間方向および時間方向の両方向に、五の目格子状に間引くことにより得られる間引き後画素から元の画像が生成されるので、画質の劣化の少ない画像を得ることが可能となる。
【０１４７】
さらに、動画像を構成する各フレームの画素が、空間方向および時間方向の両方向に、五の目格子状に間引かれ、間引き画素の各画素のビットがさらにビット間引きされる場合においては、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を、より低減することが可能となる。
【０１４８】
また、動画像を構成する各フレームの画素を、空間方向および時間方向の両方向に、五の目格子状に間引き、間引き後画素の各画素のビットをさらにビット間引きすることにより得られる間引き後画素から元の画像が生成される場合には、画質の劣化の少ない画像を得ることが可能となる。
【０１４９】
従って、ディジタル画像データを伝送し、そのディジタル画像データを復元する際に、画質劣化が少ない新しい画像フォーマットを提供することができる。
【０１５０】
以上、本発明を適用した送受信システムについて説明したが、このような送受信システムは、テレビジョン放送は勿論、画像を記録／再生する場合などにも用いることができる。
【０１５１】
【発明の効果】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データが生成される。従って、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【０１５２】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データが伝送される。従って、その間引き画像データから、画質の劣化の少ない画像を得ることが可能となる。
【０１５３】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データを用いて、間引かれた画素が生成され、元の画像データが復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【０１５４】
本発明によれば、動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらにその画素のレベル方向のビット間引きすることより得られた修正間引き画像データの各画素のレベルを元の画素値に戻すことにより間引き画像データが生成される。さらに、その間引き画像データを用いて、間引かれた画素が生成され、元の画像データが復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した送受信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１のサブサンプリング回路２の処理を説明するための図である。
【図３】図１のサブサンプリング回路２の処理を説明するための図である。
【図４】図１のサブサンプリング回路２の処理を説明するための図である。
【図５】図１のサブサンプリング回路２が出力する画像の空間周波数帯域を示す図である。
【図６】単純な五の目間引きを行って得られる画像の空間周波数帯域を示す図である。
【図７】図１のブロック化回路１１の処理を説明するための図である。
【図８】図１のクラスタリング回路１２の処理を説明するための図である。
【図９】クラスタリングに利用するＡＤＲＣを説明するための図である。
【図１０】図１のメモリ１３に記憶させる予測データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１１】図１のメモリ１３に記憶させる予測データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１２】図１のブロック化回路１１の処理を説明するための図である。
【図１３】本発明を適用した送受信システムの第２実施の形態の構成例を示すブロック図である。
【図１４】本発明を適用した送受信システムの第３実施の形態の構成例を示すブロック図である。
【図１５】図１４のクラスタリング回路５３の処理を説明するための図である。
【図１６】図１４のメモリ５４に記憶させる予測データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１７】図１４のメモリ５４に記憶させる予測データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１８】インターレース間引きがされる前の画像を示す図である。
【図１９】インターレース間引きがされる後の画像を示す図である。
【符号の説明】
１ 入力端子， ２ サブサンプリング回路， ３ エンコーダ， ４ 送信処理装置， ５ 出力端子， ６ 伝送路， ７ 入力端子， ８ 受信処理回路， ９ デコーダ， １０ 合成回路， １１ ブロック化回路， １２ クラスタリング回路， １３ メモリ， １４ 補間データ作成回路， １５ 出力端子， ２１ 入力端子， ２２ ブロック化回路， ２３ データメモリ，２４ クラスタリング回路， ２５ スイッチ， ２５ａ，２５ｂ 端子， ２６ カウンタ， ２７ 最小自乗法演算回路， ２８ メモリ， ３０ データメモリ， ３１ 度数メモリ， ３２乃至３５ 演算器， ４０ 補間フィルタ， ５１ ビット落とし回路，５２ ブロック化回路， ５３ クラスタリング回路， ５４ メモリ， ５５ 画素データ作成回路， ５６ 画像メモリ，１００ 送信装置， ２００ 受信装置， ６２ ブロック化及びビット落とし回路， ６３ データメモリ， ６４ クラスタリング回路， ６５ スイッチ， ６５ａ，６５ｂ 端子， ６６ カウンタ， ６７ 最小自乗法演算回路， ６８ メモリ，７０ データメモリ， ７１ 度数メモリ， ７２乃至７５演算器， １００ 送信装置， ２００ 受信装置
Claims (10)
- 動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理装置において、
動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成する間引き手段と、
上記間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成するビット間引き手段と、
上記修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの上記第１の積和演算によって元の画素値に戻すことにより上記間引き画像データを生成するとともに、生成した上記間引き画像データ上に存在しない補間すべき補間画素の画素値を、上記補間画素の周辺に位置する周辺画素の画素値と、上記補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの上記第２の積和演算、または上記補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する上記復元処理によって、元の画像データに復元される上記修正間引き画像データを出力する出力手段と
を備えることを特徴とする画像処理装置。 - 動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理方法において、
動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより間引き画像データを生成し、
上記間引き画像データを構成する各画素に対して、その画素のレベル方向のビット間引きを施すことにより修正間引き画像データを生成し、
上記修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの上記第１の積和演算によって元の画素値に戻すことにより上記間引き画像データを生成するとともに、生成した上記間引き画像データ上に存在しない補間すべき補間画素の画素値を、上記補間画素の周辺に位置する周辺画素の画素値と、上記補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの上記第２の積和演算、または上記補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する上記復元処理によって、元の画像データに復元される上記修正間引き画像データを出力する
ことを特徴とする画像処理方法。 - 動画像を構成する画像データの画素を間引くことによって生成された間引きデータを伸張する画像処理装置において、
動画像を構成する各フレームの画素が、空間方向及び時間方向の両方向に五の目格子状に配置されるように、各フレーム毎に画素を間引くことにより生成された間引き画像データの各画素を、さらに、間引かれずに残った各画素のレベル方向のビット間引きすることより得られた修正間引き画像データを受信する受信手段と、
上記修正間引き画像データの各画素のレベルを、各画素の周辺に位置する周辺画素の画素値と、各画素の元の画素値を予測する第１の積和演算に用いるデータである第１の予測データとの上記第１の積和演算によって元の画素値に戻すことにより上記間引き画像データを生成するとともに、生成した上記間引き画像データ上に存在しない補間すべき補間画素の画素値を、上記補間画素の周辺に位置する周辺画素の画素値と、上記補間画素の画素値を予測する第２の積和演算に用いるデータである第２の予測データとの上記第２の積和演算、または上記補間画素の周辺に位置する周辺画素の画素値による補間によって生成することにより、元の画像データを復元する復元手段と
を備えることを特徴とする画像処理装置。 - 上記復元手段は、
上記修正間引き画像データを構成する複数の画素のうちの１つである注目画素に対し、上記注目画素の周辺に位置する周辺画素の画素値に応じた所定の第１のクラスを決定する第１の決定手段と、
上記注目画素の第１のクラスに対応するデータであって、かつ、上記注目画素のビット間引き前の元の画素値を予測する上記第１の積和演算に用いるデータである上記第１の予測データと、上記注目画素の周辺に位置する周辺画素の画素値との上記第１の積和演算によって、上記注目画素のビット間引き前の元の画素値を発生する第１の発生手段と、
上記間引き画像データ上に存在しない補間すべき補間画素に対し、上記補間画素の周辺に位置する、上記第１の発生手段によって発生されたビット間引き前の上記間引き画像データの画素の画素値に応じた所定の第２のクラスを決定する第２の決定手段と、
上記補間画素の第２のクラスに対応するデータであって、かつ、上記補間画素の画素値を予測する上記第２の積和演算に用いるデータである上記第２の予測データと、上記補間画素の周辺に位置する周辺画素の画素値との上記第２の積和演算によって、上記補間画素の画素値を発生する第２の発生手段と
を有する
ことを特徴とする請求項３に記載の画像処理装置。 - 上記第１の発生手段は、
学習用の上記修正間引き画像データによる上記第１の積和演算の結果と、学習用の上記間引き画像データとの誤差を最小にする学習を、上記第１のクラス毎に予め行うことによって生成された上記第１の予測データを上記第１のクラス毎に記憶している記憶手段を有し、
上記第１の決定手段が出力する第１のクラスに対応する上記第１の予測データを、上記記憶手段から読み出し、その読み出された上記第１の予測データと、上記注目画素の周辺に位置する周辺画素の画素値との上記第１の積和演算によって、上記間引き画像データを発生する
ことを特徴とする請求項４に記載の画像処理装置。 - 上記第２の発生手段は、
学習用の上記間引き画像データによる上記第２の積和演算の結果と、学習用の上記画像データとの誤差を最小にする学習を、上記第２のクラス毎に予め行うことによって生成された上記第２の予測データを上記第２のクラス毎に記憶している記憶手段を有し、
上記第２の決定手段が出力する第２のクラスに対応する上記第２の予測データを読み出し、その読み出された上記第２の予測データと、上記補間画素の周辺に位置する周辺画素の画素値との上記第２の積和演算によって、上記補間画素の画素値を発生する
ことを特徴とする請求項４に記載の画像処理装置。 - 上記記憶手段は、上記第１の予測データとして、上記第１の積和演算に用いる、上記第１のクラス毎の予測係数のセットを記憶しており、
上記第１の発生手段は、上記第１の決定手段が出力する第１のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、上記修正間引き画像データの、上記注目画素の周辺に位置する複数の画素の画素値との上記第１の積和演算によって上記間引き画像データを算出する演算手段をさらに有する
ことを特徴とする請求項５に記載の画像処理装置。 - 上記記憶手段は、上記第２の予測データとして、上記第２の積和演算に用いる、上記第２のクラス毎の予測係数のセットを記憶しており、
上記第２の発生手段は、上記第２の決定手段が出力する第２のクラスに対応する予測係数のセットを読み出し、その読み出された予測のセットと、上記補間画素の周辺に位置する、上記間引き画像データの複数の画素の画素値との上記第２の積和演算によって、上記補間画素の画素値を算出する演算手段をさらに有する
ことを特徴とする請求項６に記載の画像処理装置。 - 上記第１の決定手段は、上記修正間引き画像データの上記注目画素に対して、空間方向若しくは時間方向のうちのいずれか一方、または両方に位置する上記修正間引き画像データの画素の画素値に応じた上記第１のクラスを決定する
ことを特徴とする請求項４に記載の画像処理装置。 - 上記第２の決定手段は、上記補間画素に対して、空間方向若しくは時間方向のうちのいずれか一方、または両方に位置する上記間引き画像データの画素の画素値に応じた上記第２のクラスを決定する
ことを特徴とする請求項４に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16785698A JP4126709B2 (ja) | 1997-06-16 | 1998-06-16 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-158318 | 1997-06-16 | ||
| JP15831897 | 1997-06-16 | ||
| JP16785698A JP4126709B2 (ja) | 1997-06-16 | 1998-06-16 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1175180A JPH1175180A (ja) | 1999-03-16 |
| JP4126709B2 true JP4126709B2 (ja) | 2008-07-30 |
Family
ID=15669022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16785698A Expired - Fee Related JP4126709B2 (ja) | 1997-06-16 | 1998-06-16 | 画像処理装置および画像処理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6463178B1 (ja) |
| EP (1) | EP0920215A4 (ja) |
| JP (1) | JP4126709B2 (ja) |
| KR (1) | KR100601743B1 (ja) |
| IL (1) | IL128423A (ja) |
| WO (1) | WO1998058497A1 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6625319B1 (en) * | 1999-03-30 | 2003-09-23 | Koninklijke Philips Electronics N.V. | Image compression using content-based image similarity |
| EP1755344A3 (en) * | 2000-02-29 | 2010-12-22 | Sony Corporation | Data processing device and method, recording medium, and program |
| JP4552261B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 |
| JP4552263B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 |
| JP4552264B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | エラー修整装置および方法 |
| KR100731708B1 (ko) * | 2000-05-09 | 2007-06-25 | 소니 가부시끼 가이샤 | 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체 |
| EP1176807A1 (en) * | 2000-07-24 | 2002-01-30 | Agilent Technologies, Inc. (a Delaware corporation) | Skewed pixel pattern sub-sampling for image sensor |
| US7324709B1 (en) * | 2001-07-13 | 2008-01-29 | Pixelworks, Inc. | Method and apparatus for two-dimensional image scaling |
| US7171059B1 (en) * | 2002-05-23 | 2007-01-30 | Pixelworks, Inc. | Method and apparatus for two-dimensional image scaling |
| GB2392793A (en) * | 2002-07-31 | 2004-03-10 | Blip X Ltd | Video compression by removing complementary sets of pixels |
| US7805024B2 (en) * | 2004-05-05 | 2010-09-28 | Nokia Corporation | Method and apparatus to provide efficient multimedia content storage |
| US20060008154A1 (en) * | 2004-07-01 | 2006-01-12 | Belle Ronny V | Video compression and decompression to virtually quadruple image resolution |
| JP4735063B2 (ja) * | 2005-06-10 | 2011-07-27 | ソニー株式会社 | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム |
| WO2010008808A2 (en) * | 2008-06-23 | 2010-01-21 | Pixsense, Inc. | Compressed domain system and method for compression gains in encoded data |
| US8077990B2 (en) * | 2006-04-28 | 2011-12-13 | Pixsense Inc. | Efficient content compression and decompression system and method |
| JP5188080B2 (ja) * | 2007-03-06 | 2013-04-24 | キヤノン株式会社 | 撮像装置、撮像装置の駆動方法、及び読み出し装置 |
| US10136118B2 (en) * | 2008-07-20 | 2018-11-20 | Dolby Laboratories Licensing Corporation | Compatible stereoscopic video delivery |
| JP4743319B2 (ja) * | 2009-10-21 | 2011-08-10 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、学習装置および学習方法 |
| KR101643773B1 (ko) * | 2009-12-03 | 2016-07-28 | 삼성전자주식회사 | 프리뷰 영상의 화질을 개선하기 위한 장치 및 방법 |
| US8639057B1 (en) * | 2012-03-19 | 2014-01-28 | The Modern Video Company | Artifact removal method and system for contoured images and video |
| US10015507B2 (en) | 2013-05-20 | 2018-07-03 | Cinova Media | Transform system and method in video and image compression |
| US10462477B2 (en) | 2015-02-25 | 2019-10-29 | Cinova Media | Partial evaluator system and method |
| US10460700B1 (en) | 2015-10-12 | 2019-10-29 | Cinova Media | Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems |
| US10439706B2 (en) * | 2015-10-30 | 2019-10-08 | Paris Michaels | Mobile satellite communication system |
| US10944971B1 (en) | 2017-05-22 | 2021-03-09 | Cinova Media | Method and apparatus for frame accurate field of view switching for virtual reality |
| JPWO2021241266A1 (ja) * | 2020-05-29 | 2021-12-02 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5193003A (en) | 1989-08-15 | 1993-03-09 | Sony Corporation | Apparatus for decoding digital video data with small memory requirement |
| JPH04365278A (ja) * | 1991-06-13 | 1992-12-17 | Matsushita Electric Ind Co Ltd | 多画面表示回路 |
| US5335298A (en) * | 1991-08-19 | 1994-08-02 | The United States Of America As Represented By The Secretary Of The Army | Automated extraction of airport runway patterns from radar imagery |
| JP3438233B2 (ja) | 1992-05-22 | 2003-08-18 | ソニー株式会社 | 画像変換装置および方法 |
| JP3104439B2 (ja) * | 1992-11-13 | 2000-10-30 | ソニー株式会社 | 高能率符号化及び／又は復号化装置 |
| KR100360206B1 (ko) | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
| JP3271096B2 (ja) | 1993-07-27 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号処理装置 |
| JP3470373B2 (ja) | 1994-01-18 | 2003-11-25 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
| JP3470380B2 (ja) | 1994-02-25 | 2003-11-25 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
| US5946044A (en) * | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
| JPH09101765A (ja) * | 1995-07-31 | 1997-04-15 | Canon Inc | 画像処理装置 |
| JP3294071B2 (ja) * | 1995-08-01 | 2002-06-17 | 京セラ株式会社 | 画像形成方法及び画像形成装置 |
| JP2776409B2 (ja) * | 1995-08-02 | 1998-07-16 | 日本電気株式会社 | 皮膚紋様並びに指紋紋様の分類装置 |
| JPH09322165A (ja) * | 1996-05-31 | 1997-12-12 | Sony Corp | 画像復号化装置とその方法、および、画像再生装置 |
| US5912708A (en) | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
-
1998
- 1998-06-16 KR KR1019997001310A patent/KR100601743B1/ko not_active IP Right Cessation
- 1998-06-16 WO PCT/JP1998/002646 patent/WO1998058497A1/ja active IP Right Grant
- 1998-06-16 JP JP16785698A patent/JP4126709B2/ja not_active Expired - Fee Related
- 1998-06-16 US US09/242,348 patent/US6463178B1/en not_active Expired - Fee Related
- 1998-06-16 IL IL12842398A patent/IL128423A/xx not_active IP Right Cessation
- 1998-06-16 EP EP98924641A patent/EP0920215A4/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US6463178B1 (en) | 2002-10-08 |
| KR20000068192A (ko) | 2000-11-25 |
| WO1998058497A1 (en) | 1998-12-23 |
| IL128423A0 (en) | 2000-01-31 |
| KR100601743B1 (ko) | 2006-07-19 |
| EP0920215A4 (en) | 2005-09-21 |
| IL128423A (en) | 2003-07-31 |
| JPH1175180A (ja) | 1999-03-16 |
| EP0920215A1 (en) | 1999-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| CA2228166C (en) | Image predictive coding apparatus and method, image predictive decoding apparatus and method and recording medium | |
| EP1351509B1 (en) | Differential encoding (DPCM) for video data | |
| JPH07147681A (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| WO1994014278A1 (en) | Image signal converter | |
| US5561532A (en) | Image reproducing apparatus | |
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| US20110135009A1 (en) | Combined lossy and lossless video compression | |
| JP3915855B2 (ja) | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 | |
| JPH11178011A (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像処理装置および画像処理方法、並びに記録媒体 | |
| KR100537123B1 (ko) | 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체 | |
| KR100574732B1 (ko) | 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3758211B2 (ja) | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 | |
| JP3271095B2 (ja) | ディジタル画像信号の高能率符号化装置および復号装置 | |
| JPH10136381A (ja) | 動画像符号化復号化装置及びその方法 | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| KR100238829B1 (ko) | 화상신호 처리장치 및 화상신호 처리방법 | |
| JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP4123452B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3480461B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3988738B2 (ja) | 画像変換装置および画像変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080504 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |