JPH1032837A - 画像処理装置および方法、並びに画像符号化装置および方法 - Google Patents

画像処理装置および方法、並びに画像符号化装置および方法

Info

Publication number
JPH1032837A
JPH1032837A JP20662596A JP20662596A JPH1032837A JP H1032837 A JPH1032837 A JP H1032837A JP 20662596 A JP20662596 A JP 20662596A JP 20662596 A JP20662596 A JP 20662596A JP H1032837 A JPH1032837 A JP H1032837A
Authority
JP
Japan
Prior art keywords
data
circuit
image
prediction
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20662596A
Other languages
English (en)
Other versions
JP3748088B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP20662596A priority Critical patent/JP3748088B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP97930821A priority patent/EP0851690A4/en
Priority to KR10-1998-0701960A priority patent/KR100518100B1/ko
Priority to PCT/JP1997/002481 priority patent/WO1998003020A1/ja
Priority to US09/043,359 priority patent/US6266454B1/en
Publication of JPH1032837A publication Critical patent/JPH1032837A/ja
Priority to US09/776,025 priority patent/US6757435B2/en
Priority to US10/761,534 priority patent/US7155057B2/en
Application granted granted Critical
Publication of JP3748088B2 publication Critical patent/JP3748088B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • H04N11/042Codec means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4015Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]

Abstract

(57)【要約】 【課題】 空間解像度が低い画像を、効率的、かつ、高
精度で空間解像度の高い画像に変換する。 【解決手段】 画素データをR,G,Bの色空間上のベ
クトルで表し、高解像度のR成分を予測するのに、低解
像度のR成分だけでなくR,G,Bの成分を利用する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに画像符号化装置および方法に関し、特
に、効率よく、かつ、精度良く、予測を行うことができ
るようにした画像処理装置および方法、並びに画像符号
化装置および方法に関する。
【0002】
【従来の技術】従来より、空間解像度の低い画像を空間
解像度のより高い画像に変換して表示することが行われ
ている。この場合、空間解像度の低い画素データから、
より多くの画素データを補間する(生成する)ようにし
ている。
【0003】
【発明が解決しようとする課題】従来、このような補間
処理を行うのに、空間解像度の低い画素データが、例え
ばR,G,Bのコンポーネント信号により構成されてい
るとき、各コンポーネント信号毎に、独立に補間処理を
行うようにしていた。
【0004】すなわち、空間解像度の高いRの画素デー
タは、空間解像度の低いRの画素データから生成し、空
間解像度の高いGの画素データは、空間解像度の低いG
の画素データから生成し、空間解像度の高いBの画素デ
ータは、空間解像度の低いBの画素データから生成する
ようにしていた。
【0005】その結果、効率が悪くなるばかりでなく、
良好な精度を得ることができない課題があった。
【0006】本発明はこのような状況に鑑みてなされた
ものであり、効率と精度を改善するようにするものであ
る。
【0007】
【課題を解決するための手段】請求項1に記載の画像処
理装置は、第1の画像の第1の画素データを取得する取
得手段と、第1の画素データを構成するコンポーネント
信号のうちの、少なくとも第1のコンポーネント信号と
第2のコンポーネント信号を用いて、第2の画像の第2
の画素データを構成する第1のコンポーネント信号を予
測するとともに、第1の画素データを構成するコンポー
ネント信号のうちの、少なくとも第1のコンポーネント
信号と第2のコンポーネント信号を用いて、第2の画像
の第2の画素データを構成する第2のコンポーネント信
号を予測する予測手段とを備えることを特徴とする。
【0008】請求項5に記載の画像処理方法は、第1の
画像の第1の画素データを取得する取得ステップと、第
1の画素データを構成するコンポーネント信号のうち
の、少なくとも第1のコンポーネント信号と第2のコン
ポーネント信号を用いて、第2の画像の第2の画素デー
タを構成する第1のコンポーネント信号を予測するとと
もに、第1の画素データを構成するコンポーネント信号
のうちの、少なくとも第1のコンポーネント信号と第2
のコンポーネント信号を用いて、第2の画像の第2の画
素データを構成する第2のコンポーネント信号を予測す
る予測ステップとを備えることを特徴とする。
【0009】請求項6に記載の画像符号化装置は、色空
間上のベクトルで表した複数の画素データを少なくする
ことにより圧縮する圧縮手段と、圧縮した画素データの
クラスを分類する分類手段と、クラスに対応する、色空
間上のベクトルで表される画素データを含む予測データ
を記憶する記憶手段と、予測データを用いて、画像を予
測する予測手段とを備えることを特徴とする。
【0010】請求項10に記載の画像符号化方法は、色
空間上のベクトルで表した複数の画素データを少なくす
ることにより圧縮する圧縮ステップと、圧縮した画素デ
ータのクラスを分類する分類ステップと、クラスに対応
する、色空間上のベクトルで表される画素データを含む
予測データを記憶する記憶ステップと、予測データを用
いて、画像を予測する予測ステップとを備えることを特
徴とする。
【0011】請求項1に記載の画像処理装置および請求
項5に記載の画像処理方法においては、空間解像度のよ
り高い第2の画像の1つのコンポーネント信号が、空間
解像度の低い第1の画像の複数のコンポーネント信号か
ら生成される。
【0012】請求項6に記載の画像符号化装置および請
求項10に記載の画像符号化方法においては、色空間上
のベクトルで表される画素データを含む予測データを利
用して、画像が予測される。
【0013】
【発明の実施の形態】以下に本発明の実施例を説明する
が、特許請求の範囲に記載の発明の各手段と以下の実施
例との対応関係を明らかにするために、各手段の後の括
弧内に、対応する実施例(但し一例)を付加して本発明
の特徴を記述すると、次のようになる。但し勿論この記
載は、各手段を記載したものに限定することを意味する
ものではない。
【0014】すなわち、請求項1に記載の画像処理装置
は、第1の画像の第1の画素データを取得する取得手段
(例えば、図1のデコーダ13)と、第1の画素データ
を構成するコンポーネント信号のうちの、少なくとも第
1のコンポーネント信号と第2のコンポーネント信号を
用いて、第2の画像の第2の画素データを構成する第1
のコンポーネント信号を予測するとともに、第1の画素
データを構成するコンポーネント信号のうちの、少なく
とも第1のコンポーネント信号と第2のコンポーネント
信号を用いて、第2の画像の第2の画素データを構成す
る第2のコンポーネント信号を予測する予測手段(例え
ば、図1のデータ生成回路219)とを備えることを特
徴とする。
【0015】請求項6に記載の画像符号化装置は、色空
間上のベクトルで表した複数の画素データを少なくする
ことにより圧縮する圧縮手段(例えば、図8の間引き回
路31)と、圧縮した画素データのクラスを分類する分
類手段(例えば、図10のクラス分類回路45)と、ク
ラスに対応する、色空間上のベクトルで表される画素デ
ータを含む予測データ(例えば、予測係数)を記憶する
記憶手段(例えば、図19の予測係数ROM81)と、
予測データを用いて、画像を予測する予測手段(例え
ば、図19の予測回路82)とを備えることを特徴とす
る。
【0016】図1は、送信側から画像データを間引いて
伝送し、受信側で、間引かれた画素を生成して再生する
システムの構成例を示している。伝送するディジタルビ
デオデータは、送信装置1の入力端子201からサブサ
ンプリング回路202に入力され、水平方向に1つおき
の画素データが間引かれ、伝送すべきデータ量が半分に
なるようになされている。エンコーダ203は、サブサ
ンプリング回路202から供給されたデータを、例えば
DCT(Discrete Cosine Transform)などの直交変換
符号や、ADRC(Adaptive Dynamic Range Coding)
などにより高能率符号化し、データ量をさらに低減する
ようになされている。送信処理回路204は、エンコー
ダ203の出力に対して、エラー訂正符号化、フレーム
化、チャンネル符号化などの処理を行い、出力端子20
5から伝送路3に出力したり、光ディスク、磁気ディス
クなどの記録媒体2に記録する。
【0017】伝送路3または記録媒体2から供給された
データは、受信装置4の入力端子211から受信処理回
路212に入力され、チャンネル符号化の復号化処理、
フレーム分解処理、エラー訂正処理などが行われるよう
になされている。デコーダ213は、送信装置1側のエ
ンコーダ203に対応する復号処理を行うようになされ
ている。デコーダ213の出力は、同時化回路215と
合成回路214に供給されている。
【0018】同時化回路215は、デコーダ213の出
力を、処理対象とする画素データが同じタイミングで発
生するようにタイミング調整を行い、調整後のデータを
ADRC処理回路216とデータ生成回路219に出力
している。ADRC処理回路216は、同時化回路21
5より供給されたデータを、1ビットでADRC処理
し、処理結果をクラス分類回路217に出力する。クラ
ス分類回路217は、ADRC処理回路216より供給
されたデータに対応するクラス分類処理を行い、分類さ
れたクラスを示す信号をROM(Read Only Memory)2
18にアドレスとして出力するようになされている。
【0019】ROM218は、クラス分類回路217よ
り供給されるクラスに対応するアドレスに記憶されてい
る係数データを読み出し、データ生成回路219に出力
するようになされている。データ生成回路219は、同
時化回路215より供給されたデータに、ROM218
より供給された係数データを乗算し、新たな画素データ
を生成して、合成回路214に出力している。合成回路
214は、デコーダ213より供給された、元々存在す
る画素データと、データ生成回路219により生成され
た画素データとを合成し、出力端子220から図示せぬ
CRTなどに出力し、表示させるようになされている。
【0020】次に、その動作について説明する。入力端
子201より入力されたディジタル画像データは、例え
ば図2に示すように、水平方向に1つおきに、サブサン
プリング回路202において間引かれる。図2におい
て、○印は、間引かれて残った画素データを表し、×印
は、間引かれて伝送されない画素データを表している。
これにより、伝送すべき画素データが半分になる。
【0021】この画素データは、エンコーダ203によ
りエンコードされた後、送信処理回路204により所定
の処理が施され、出力端子205から伝送路3または記
録媒体2に伝送される。
【0022】受信処理回路212は、入力端子211か
ら伝送路3または記録媒体2からの伝送データを受信
し、デコーダ213に出力する。デコーダ213は、入
力されたデータをデコードし、デコードした結果得られ
た画素データ(図2において、○印で示す画素データ)
を合成回路214と同時化回路215に出力する。
【0023】同時化回路215は、処理対象とする画素
データが、同じタイミングで発生するように、所定の遅
延を施す処理などを実行する。これにより、例えば図2
に示す、省略されている画素Y1の上(X1)、左
(X2)、右(X3)および下(X4)に位置する画素デ
ータX1乃至X4が、ADRC処理回路216とデータ生
成回路219に、同じタイミングで供給される。
【0024】ADRC処理回路216は、入力された4
個の画素データX1乃至X4により構成される1個のブロ
ックのADRC処理を実行する。この実施例において
は、図3に示すように、各画素データXは、R,G,B
の各成分で規定される色空間上のベクトル(XR,XG
B)で構成されている。XR,XG,XBは、それぞれ画
素データXのR,G,Bのコンポーネント成分を表し、
例えば、それぞれが8ビットで表現されている。ADR
C処理回路216は、1ビットADRC処理を実行する
ため、例えば、画素データX1のR成分XR1を1ビット
で表し、G成分XG 1を1ビットで表し、またB成分XB1
を1ビットで表す。すなわち、本来、24ビット(=3
×8)で表されていた画素データX1を、3ビット(=
3×1)のデータとする。他の画素データX2乃至X
4も、同様に3ビットの画素データに変換され、それぞ
れが3ビットで表される画素データ(X1,X2,X3
4)としてクラス分類回路217に供給される。
【0025】クラス分類回路217は、入力された合計
12ビット(=4×3)のデータをクラスに分類し、そ
の分類したクラスを表すクラスデータ信号を生成し、R
OM218に出力する。すなわち、この実施例の場合、
12ビットでクラスが表されるため、4096(=
12)通りのクラスが存在することになる。
【0026】ROM218には、各クラス毎に予測係数
wが記憶されており、クラス分類回路217から所定の
クラスを表す信号が供給されると、そのクラスに対応す
るアドレスに記憶されている予測係数wが読み出され、
データ生成回路219に供給される。
【0027】データ生成回路219は、ROM218よ
り供給される予測係数wと、同時化回路215より供給
される画素データX1乃至X4を用いて、次式に示すよう
な演算を行って、図2に示す画素データY1を生成す
る。 YR1=w1(R)XR1+w2(R)XG1+w3(R)XB1
+w4(R)XR2+w5(R)XG2+w6(R)XB2+w7
(R)XR3+w8(R)XG3+w9(R)XB3+w
10(R)XR4+w11(R)XG4+w12(R)XB4G1=w1(G)XR1+w2(G)XG1+w3(G)XB1
+w4(G)XR2+w5(G)XG2+w6(G)XB2+w7
(G)XR3+w8(G)XG3+w9(G)XB3+w
10(G)XR4+w11(G)XG4+w12(G)XB4B1=w1(B)XR1+w2(B)XG1+w3(B)XB1
+w4(B)XR2+w5(B)XG2+w6(B)XB2+w7
(B)XR3+w8(B)XG3+w9(B)XB3+w
10(B)XR4+w11(B)XG4+w12(B)XB4
【0028】なお、wi(R),wi(G),wi(B)
は、それぞれR,G,B用の予測係数を表している。
【0029】上記式より明らかなように、この実施例に
おいては、画素データY1のR成分YR1が、周囲の画素
1乃至X4のR成分XR1乃至XR4だけでなく、G成分X
G1乃至XG4、並びにB成分XB1乃至XB4から生成され
る。同様に、画素データY1のG成分YG1と、B成分Y
B1も、それぞれ画素データX1乃至X4の対応する成分だ
けでなく、すべての成分XR1乃至XR4,XG1乃至XG4
B1乃至XB4から生成される。
【0030】画像、特に、テレビカメラを用いて撮影し
たような自然な画像は相関を有し、比較的近傍の画素ほ
ど強い相関を有する。従って、新たな画素データを演算
により生成する場合、より近傍の画素データをもとに、
その演算を行う方が、より効率的に、また、高精度で新
たな画素データを生成することができる。
【0031】すなわち、上記式に示すように、例えば、
画素データY1のR成分YR1を求めるのに、XR1乃至X
B4の合計12個のデータを用いているのであるが、例え
ば、このYR1を演算により求めるのに、12個のR成分
だけを用いるようにするには、R成分は各画素に1個し
か存在しないから、結局合計12画素のR成分を利用す
る必要がある。このようにすれば、必然的に、いま注目
している画素Y1から、より遠くに離れている画素デー
タを用いざるを得ず、効率と精度が劣化することにな
る。
【0032】そこで、本実施例のように、各画素が有す
るR,G,B成分を用いて、注目画素のR成分(G成分
とB成分も同様)を生成するようにすれば、より近い位
置の画素データから必要な数のデータを得ることができ
る。従って、それだけ効率的に、高精度の画素データを
生成することができる。
【0033】合成回路214は、以上のようにして、デ
ータ生成回路219により生成された新たな画素データ
Yと、デコーダ213より供給される元々存在する画素
データXとを合成し、出力端子220から出力する。従
って、出力端子220から出力される画素データは、受
信回路212で受信した画素データXにより構成される
画像より、空間解像度が高い画像となっている(図1の
サブサンプリング回路202でサブサンプリングされる
前の画像と同一の解像度の画像となっている)。
【0034】ROM218には、上記した式の予測係数
wが記憶されているのであるが、この予測係数wのテー
ブルは、例えば図4に示す装置から得ることができる。
【0035】すなわち、図4の実施例においては、入力
端子231からディジタルビデオ信号が入力され、同時
化回路232に供給されている。この入力端子231に
入力されるディジタルビデオ信号は、テーブルを作成す
る上において必要な標準的な信号(従って、間引かれる
前の高解像度の画像の信号)であることが好ましく、例
えば標準的な絵柄の静止画像からなる信号を採用するこ
とができる。同時化回路232は、図1の同時化回路2
15と同様に、図2に示す画素データX1乃至X4が同時
に出力されるように、タイミング調整を行う。同時化回
路232より出力された画素データは、ADRC処理回
路233とデータメモリ237に供給される。
【0036】ADRC処理回路233は、入力された画
素データを1ビットでADRC処理し、クラス分類回路
234に出力する。クラス分類回路234は、ADRC
処理回路233より入力されたデータをクラス分類し、
分類したクラスに対応する信号をスイッチ235の接点
Aを介してデータメモリ237にアドレスとして供給す
る。すなわち、同時化回路232、ADRC処理回路2
33、およびクラス分類回路234は、図1における同
時化回路215、ADRC処理回路216、およびクラ
ス分類回路217における場合と同様の処理を行う。
【0037】カウンタ236は、図示せぬ回路から供給
されるクロックCKをカウントし、そのカウント値をス
イッチ235の接点Cを介して、データメモリ237に
アドレスとして供給している。
【0038】データメモリ237は、スイッチ235を
介してクラス分類回路234からアドレスが供給されて
いるとき、そのアドレスに同時化回路232から供給さ
れるデータを書き込み、カウンタ236からスイッチ2
35を介してアドレスが供給されているとき、そのアド
レスに記憶されているデータを読み出し、最小自乗法演
算回路238に出力するようになされている。最小自乗
法演算回路238は、データメモリ237から供給され
た画素データに対して、最小自乗法に基づく演算を行
い、予測係数wiを演算し、メモリ239に出力するよ
うになされている。メモリ239は、スイッチ235を
介してカウンタ236から供給されるアドレスに、最小
自乗法演算回路238から供給される予測係数wiを書
き込むようになされている。
【0039】次に、その動作について説明する。予測係
数を決定するための学習のためのディジタルビデオデー
タが同時化回路232において同時化され、ADRC処
理回路233で1ビットのADRC処理が行われた後、
クラス分類回路234に入力され、クラス分類される。
いまの場合、図1における場合と同様に、4画素がクラ
ス分類のための1ブロックとされ、各画素は、ADRC
処理回路233において、各R,G,B成分が1ビット
でADRC処理されるため、クラス分類回路234から
12ビットのクラスデータがスイッチ235の接点Aを
介してデータメモリ237にアドレスとして供給され
る。データメモリ237は、このアドレスに、同時化回
路232より供給される画素データを記憶させる。
【0040】なお、ここで、記憶させる画素データは、
図1のサブサンプリング回路202でサブサンプリング
される前の状態の、より高い空間解像度を有する画像の
画素データである。従って、図2における○印の画素デ
ータXiはもとより、×印で示す画像データYiも記憶さ
れる。
【0041】上記式に示すように、1つの成分の画像デ
ータ、例えばYR1を演算する係数は、w1(R)乃至w
12(R)の12個存在する。従って、これらの12個の
予測係数を求めるには、12個の予測係数を未知数とす
る12個の連立方程式が各クラスにおいて必要となる。
データメモリ237には、この連立方程式を解くのに必
要な数の画素データが少なくとも記憶される。
【0042】必要な数の画素データがデータメモリ23
7に記憶された後、スイッチ235が接点C側に切り替
えられる。カウンタ236は、クロックCKをカウント
し、そのカウント値を出力しているので、データメモリ
237には、1ずつインクリメントする値が、読み出し
アドレスとして入力される。データメモリ237は、入
力された読み出しアドレスに対応する画素データを読み
出し、最小自乗法演算回路238に出力する。最小自乗
法演算回路238は、上記した式に対して、具体的デー
タを当てはめ、予測係数wiを変数とする連立方程式を
生成し、その連立方程式を解き、予測係数wiを求め
る。
【0043】そして、演算により求めた予測係数wi
用いて、所定の画素データ(例えば、上記した画素デー
タY1のR成分YR1)を求める(予測する)。そして、
演算(予測)により求めたYR1の値と、実際の画素デー
タYR1との誤差を演算し、その誤差の自乗が最小となる
ように予測係数wiを演算する。演算により求められた
予測係数wiは、いまデータメモリ237から読み出さ
れた画素データのアドレスと対応するメモリ239のア
ドレスに書き込まれる。このようにして、メモリ239
には、予測係数wiが記憶される。そして、この記憶内
容が、図1に示すROM218に書き込まれる。
【0044】なお、上記実施例においては、ROM21
8(メモリ239)に、予測係数wiを書き込むように
したが、係数が乗算された後のデータそのものを書き込
むようにすることも可能である。このようにすれば、図
1におけるデータ生成回路219は不要となる。
【0045】図5は、送信装置1の他の構成例を示して
いる。
【0046】I/F(InterFace)11は、外部から供
給される画像データの受信処理と、送信機/記録装置1
6に対しての、符号化データの送信処理を行うようにな
されている。ROM(Read Only Memory)12は、IP
L(Initial Program Loading)用のプログラムその他
を記憶している。RAM(Random Access Memory)13
は、外部記憶装置15に記録されているシステムプログ
ラム(OS(Operating System))やアプリケーション
プログラムを記憶したり、また、CPU(Central Proc
essing Unit)14の動作上必要なデータを記憶するよ
うになされている。CPU14は、ROM12に記憶さ
れているIPLプログラムに従い、外部記憶装置15か
らシステムプログラムおよびアプリケーションプログラ
ムを、RAM13に展開し、そのシステムプログラムの
制御の下、アプリケーションプログラムを実行すること
で、I/F11から供給される画像データについての、
後述するような符号化処理を行うようになされている。
外部記憶装置15は、例えば、磁気ディスク装置などで
なり、上述したように、CPU14が実行するシステム
プログラムやアプリケーションプログラムを記憶してい
る他、CPU14の動作上必要なデータも記憶してい
る。送信機/記録装置16は、I/F11から供給され
る符号化データを、記録媒体2に記録し、または伝送路
3を介して伝送するようになされている。
【0047】なお、I/F11,ROM12,RAM1
3,CPU14、および外部記憶装置15は、相互にバ
スを介して接続されている。
【0048】以上のように構成される送信装置1におい
ては、I/F11に画像データが供給されると、その画
像データは、CPU14に供給される。CPU14は、
画像データを符号化し、その結果得られる符号化データ
を、I/F11に供給する。I/F11は、符号化デー
タを受信すると、それを、送信機/記録装置16に供給
する。送信機/記録装置16では、I/F11からの符
号化データが、記録媒体2に記録され、または伝送路3
を介して伝送される。
【0049】図6は、図5の送信装置1の、送信機/記
録装置16を除く部分の機能的なブロック図である。
【0050】符号化すべき画像データは、圧縮部21、
ローカルデコード部22、および誤差算出部23に供給
されるようになされている。圧縮部21は、画像データ
を、その画素を、単純に間引くことにより圧縮し、その
結果得られる圧縮データ(間引きが行われた後の画像デ
ータ)を、判定部24からの制御に従って補正するよう
になされている。圧縮部21における補正の結果得られ
る補正データは、ローカルデコード部22および判定部
24に供給するようになされている。
【0051】ローカルデコード部22は、圧縮部21か
らの補正データに基づいて、元の画像を予測し、その予
測値を、誤差算出部23に供給するようになされてい
る。なお、ローカルデコード部22は、後述するよう
に、補正データとの線形結合により、予測値を算出する
ための予測係数を求める適応処理を行い、その予測係数
に基づいて、予測値を求めるようになされており、上述
したように、予測値を、誤差算出部23に供給する他、
そのとき求めた予測係数を、判定部24に供給するよう
にもなされている。
【0052】誤差算出部23は、そこに入力される、元
の画像データ(原画像)に対する、ローカルデコード部
22からの予測値の予測誤差を算出するようになされて
いる。この予測誤差は、誤差情報として、判定部24に
供給されるようになされている。
【0053】判定部24は、誤差算出部23からの誤差
情報に基づいて、圧縮部21が出力した補正データを、
元の画像の符号化結果とすることの適正さを判定するよ
うになされている。そして、判定部24は、圧縮部21
が出力した補正データを、元の画像の符号化結果とする
ことが適正でないと判定した場合には、圧縮部21を制
御し、さらに、圧縮データを補正させ、その結果得られ
る新たな補正データを出力させるようになされている。
また、判定部24は、圧縮部21が出力した補正データ
を、元の画像の符号化結果とすることが適正であると判
定した場合には、圧縮部21から供給された補正データ
を、最適な圧縮データ(以下、適宜、最適圧縮データと
いう)として多重化部25に供給するとともに、ローカ
ルデコード部22から供給された予測係数を多重化部2
5に供給するようになされている。
【0054】多重化部25は、判定部24からの最適圧
縮データ(補正データ)と、予測係数とを多重化し、そ
の多重化結果を、符号化データとして、送信機/記録装
置16(図5)に供給するようになされている。
【0055】次に、図7のフローチャートを参照して、
その動作について説明する。圧縮部21に対して、画像
データが供給されると、圧縮部21は、ステップS1に
おいて、その画像データを間引くことにより圧縮し、最
初は、補正を行わずに、ローカルデコード部22および
判定部24に出力する。ローカルデコード部22では、
ステップS2において、圧縮部21からの補正データ
(最初は、上述したように、画像データを、単純に間引
いた圧縮データそのもの)がローカルデコードされる。
【0056】即ち、ステップS2では、圧縮部21から
の補正データとの線形結合により、元の画像の予測値を
算出するための予測係数を求める適応処理が行われ、そ
の予測係数に基づいて、予測値が求められる。ローカル
デコード部22において求められた予測値は誤差算出部
23に、また、予測係数は判定部24に供給される。
【0057】ここで、ローカルデコード部22が出力す
る予測値で構成される画像は、受信装置4側において得
られる復号画像と同一のものである。
【0058】誤差算出部23は、ローカルデコード部2
2から、元の画像の予測値を受信すると、ステップS3
において、元の画像データに対する、ローカルデコード
部22からの予測値の予測誤差を算出し、誤差情報とし
て、判定部24に供給する。判定部24は、誤差算出部
23から誤差情報を受信すると、ステップS4におい
て、その誤差情報に基づいて、圧縮部21が出力した補
正データを、元の画像の符号化結果とすることの適正さ
を判定する。
【0059】即ち、ステップS4においては、誤差情報
が所定の閾値ε以下であるかどうかが判定される。ステ
ップS4において、誤差情報が所定の閾値ε以下でない
と判定された場合、圧縮部21が出力した補正データ
を、元の画像の符号化データとするのは適正でないと認
識され、ステップS5に進み、判定部24は、圧縮部2
1を制御し、これにより、圧縮データを補正させる。圧
縮部21は、判定部24の制御に従って、補正量(後述
する補正値△)を変えて、圧縮データを補正し、その結
果得られる補正データを、ローカルデコード部22およ
び判定部24に出力する。そして、ステップS2に戻
り、以下、同様の処理が繰り返される。
【0060】一方、ステップS4において、誤差情報が
所定の閾値ε以下であると判定された場合、圧縮部21
が出力した補正データを、元の画像の符号化結果とする
のは適正であると認識され、判定部24は、所定の閾値
ε以下の誤差情報が得られたときの補正データを、最適
圧縮データとして、予測係数とともに、多重化部25に
出力する。多重化部25では、ステップS6において、
判定部24からの最適圧縮データと予測係数とが多重化
され、その結果得られる符号化データが出力されて、処
理を終了する。
【0061】以上のように、誤差情報が所定の閾値ε以
下となったときにおける、圧縮データを補正した補正デ
ータを、元の画像の符号化結果とするようにしたので、
受信装置4側においては、その補正データに基づいて、
元の画像(原画像)とほぼ同一の画像を得ることが可能
となる。
【0062】次に、図8は、図6の圧縮部21の構成例
を示している。
【0063】符号化すべき画像データは、間引き回路3
1に入力されるようになされており、間引き回路31
は、入力された画像データを1/N(いまの場合、1/
2)に間引くようになされている。従って、間引き回路
31からは、画像データを、1/Nに圧縮した圧縮デー
タが出力されるようになされている。この圧縮データ
は、間引き回路31から補正回路32に供給されるよう
になされている。
【0064】補正回路32は、判定部24(図6)から
の制御信号に従って、補正値ROM33にアドレスを与
え、これにより、補正値△を読み出すようになされてい
る。そして、補正回路32は、間引き回路31からの圧
縮データに対して、補正値ROM33からの補正値△
を、例えば加算することで、補正データを生成し、ロー
カルデコード部22および判定部24に供給するように
なされている。補正値ROM33は、間引き回路31が
出力する圧縮データを補正するための、各種の補正値△
の組合せ(例えば、1フレーム分の圧縮データを補正す
るための補正値の組合せなど)を記憶しており、補正回
路32から供給されるアドレスに対応する補正値△の組
合せを読み出して、補正回路32に供給するようになさ
れている。
【0065】次に、図9を参照して、図8の圧縮部21
の処理について説明する。
【0066】例えば、1フレーム(フィールド)分など
の画像データが、間引き回路31に供給されると、間引
き回路31は、ステップS11において、その画像デー
タを1/Nに間引き、その結果得られる圧縮データを、
補正回路32に出力する。
【0067】ここで、間引き回路31は、図2に示すよ
うに、画像データを、例えば、各ライン毎に1/2に間
引くようになされている。なお、間引き回路31は、以
上のような処理を、例えば、1フレーム(フィールド)
単位で行うようになされている。従って、間引き回路3
1から補正回路32に対しては、1フレームの画像デー
タが1/2に間引きされた圧縮データとして供給され
る。但し、間引き回路31における間引き処理は、その
他、1フレームの画像を幾つかのブロックに分割し、そ
のブロック単位で行うようにすることも可能である。
【0068】補正回路32は、間引き回路31から圧縮
データを受信すると、ステップS12において、判定部
24(図6)から制御信号を受信したかどうかを判定す
る。ステップS12において、制御信号を受信していな
いと判定された場合、ステップS15に進み、補正回路
32は、間引き回路31からの圧縮データを、そのまま
補正データとして、ローカルデコード部22および判定
部24に出力し、ステップS12に戻る。
【0069】即ち、判定部24は、上述したように、誤
差情報に基づいて、圧縮部21(補正回路32)を制御
するようになされており、間引き回路31から圧縮デー
タが出力された直後は、まだ、誤差情報が得られないた
め(誤差情報が、誤差算出部23から出力されないた
め)、判定部24からは制御信号は出力されない。この
ため、間引き回路31から圧縮データが出力された直後
は、補正回路32は、その圧縮データを補正せず(0を
加算する補正をして)、そのまま補正データとして、ロ
ーカルデコード部22および判定部24に出力する。
【0070】一方、ステップS12において、判定部2
4からの制御信号を受信したと判定された場合、ステッ
プS13において、補正回路32は、その制御信号に従
ったアドレスを、補正値ROM33に出力する。これに
より、ステップS13では、補正値ROM33から、そ
のアドレスに記憶されている、1フレーム分の圧縮デー
タを補正するための補正値△の組合せ(集合)が読み出
され、補正回路32に供給される。補正回路32は、補
正値ROM33から補正値△の組合せを受信すると、ス
テップS14において、1フレームの圧縮データそれぞ
れに、対応する補正値△を加算し、これにより、圧縮デ
ータを補正した補正データを算出する。その後は、ステ
ップS15に進み、補正データが、補正回路32からロ
ーカルデコード部22および判定部24に出力され、ス
テップS12に戻る。
【0071】以上のようにして、圧縮部21は、判定部
24の制御に従って、圧縮データを、種々の値に補正し
た補正データを出力することを繰り返す。
【0072】なお、判定部24は、1フレームの画像に
ついての符号化を終了すると、その旨を表す制御信号
を、圧縮部21に供給するようになされており、圧縮部
21は、その制御信号を受信すると、次のフレームの画
像に対して、図9のフローチャートに従った処理を施す
ようになされている。
【0073】また、上述の場合においては、間引き回路
31に、2画素に1個の割合で画素データ(画素値)を
抽出させることにより、圧縮データを生成させるように
したが、その他、例えば、3×3画素の平均値を算出
し、その平均値を、3×3画素の中心の画素の画素値と
して、圧縮データを生成させるようにすることなども可
能である。
【0074】次に、図10は、図6のローカルデコード
部22の構成例を示している。
【0075】圧縮部21からの補正データは、クラス分
類用ブロック化回路41および予測値計算用ブロック化
回路42に供給されるようになされている。クラス分類
用ブロック化回路41は、補正データを、その性質に応
じて所定のクラスに分類するための単位であるクラス分
類用ブロックにブロック化するようになされている。
【0076】即ち、いま、クラス分類用ブロック化回路
41は、図2に示す4つの画素X1,X2,X3,X4の合
計4画素で構成されるクラス分類用ブロックを構成する
ようになされている。このクラス分類用ブロックは、ク
ラス分類適応処理回路43に供給されるようになされて
いる。
【0077】なお、この場合、クラス分類用ブロック
は、4画素でなる十文字形状のブロックで構成されるこ
ととなるが、クラス分類用ブロックの形状は、その他、
例えば、長方形や、正方形、その他の任意な形とするこ
とが可能である。また、クラス分類用ブロックを構成す
る画素数も、4画素に限定されるものではない。
【0078】予測値計算用ブロック化回路42は、補正
データを、元の画像の予測値を計算するための単位であ
る予測値計算用ブロックにブロック化するようになされ
ている。この実施例の場合、そのブロックはクラス分類
用のブロックと同一とされ、図2の画素データX1乃至
4により、そのブロックが構成される。
【0079】このように、この実施例の場合、予測値計
算用ブロック化回路42は、クラス分類用ブロック化回
路41と同一の範囲をブロック化するため、両者は共用
するようにしてもよい。
【0080】予測値計算用ブロック化回路42において
得られた予測値計算用ブロックは、クラス分類適応処理
回路43に供給されるようになされている。
【0081】なお、予測値計算用ブロックについても、
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、予測値計算用ブロックを構成する画素数は、
クラス分類用ブロックを構成する画素数以上とするのが
望ましい。
【0082】また、上述のようなブロック化を行う場合
において(ブロック化以外の処理についても同様)、画
像の画枠付近では、対応する画素が存在しないことがあ
るが、この場合には、例えば、画枠を構成する画素と同
一の画素が、その外側に存在するものとして処理を行
う。
【0083】クラス分類適応処理回路43は、ADRC
(Adaptive Dynamic Range Coding)処理回路、クラス
分類回路45、および適応処理回路46で構成され、ク
ラス分類適応処理を行うようになされている。
【0084】クラス分類適応処理とは、入力信号を、そ
の特徴に基づいて幾つかのクラスに分類し、各クラスの
入力信号に、そのクラスに適切な適応処理を施すもの
で、大きく、クラス分類処理と適応処理とに分かれてい
る。
【0085】ここで、クラス分類処理および適応処理に
ついて簡単に説明する。
【0086】まず、クラス分類処理について説明する。
【0087】いま、例えば、図11(A)に示すよう
に、ある注目画素と、それに隣接する3つの画素によ
り、2×2画素でなるブロック(クラス分類用ブロッ
ク)を構成し、また、各画素は、1ビットで表現される
(0または1のうちのいずれかのレベルをとる)ものと
する。この場合、2×2の4画素のブロックは、各画素
のレベル分布により、図11(B)に示すように、16
(=(214)パターンに分類することができる。この
ようなパターン分けが、クラス分類処理であり、クラス
分類回路45において行われる。
【0088】なお、クラス分類処理は、画像(ブロック
内の画像)のアクティビティ(画像の複雑さ)(変化の
激しさ)などをも考慮して行うようにすることが可能で
ある。
【0089】ここで、通常、各画素には、例えば8ビッ
ト程度が割り当てられる。また、本実施例においては、
上述したように、クラス分類用ブロックは、3×3の9
画素で構成される。従って、このようなクラス分類用ブ
ロックを対象にクラス分類処理を行ったのでは、
(289という膨大な数のクラスに分類されることにな
る。
【0090】そこで、本実施例においては、ADRC処
理回路44において、クラス分類用ブロックに対して、
ADRC処理が施されるようになされており、これによ
り、クラス分類用ブロックを構成する画素のビット数を
小さくすることで、クラス数を削減するようになされて
いる。
【0091】即ち、例えば、いま、説明を簡単にするた
め、図12(A)に示すように、直線上に並んだ4画素
で構成されるブロックを考えると、ADRC処理におい
ては、その画素値の最大値MAXと最小値MINが検出
される。そして、DR=MAX−MINを、ブロックの
局所的なダイナミックレンジとし、このダイナミックレ
ンジDRに基づいて、ブロックを構成する画素の画素値
がKビットに再量子化される。
【0092】即ち、ブロック内の各画素値から、最小値
MINを減算し、その減算値をDR/2Kで除算する。
そして、その結果得られる除算値に対応するコード(A
DRCコード)に変換される。具体的には、例えば、K
=2とした場合、図12(B)に示すように、除算値
が、ダイナミックレンジDRを4(=22)等分して得
られるいずれの範囲に属するかが判定され、除算値が、
最も下のレベルの範囲、下から2番目のレベルの範囲、
下から3番目のレベルの範囲、または最も上のレベルの
範囲に属する場合には、それぞれ、例えば、00B,0
1B,10B、または11Bなどの2ビットにコード化
される(Bは2進数であることを表す)。そして、復号
側においては、ADRCコード00B,01B,10
B、または11Bは、ダイナミックレンジDRを4等分
して得られる最も下のレベルの範囲の中心値L00、下か
ら2番目のレベルの範囲の中心値L01、下から3番目の
レベルの範囲の中心値L10、または最も上のレベルの範
囲の中心値L11に変換され、その値に、最小値MINが
加算されることで復号が行われる。
【0093】ここで、このようなADRC処理はノンエ
ッジマッチングと呼ばれる。このようなノンエッジマッ
チングに対して、図12(C)に示すように、ダイナミ
ックレンジDRを4等分して得られる最も下のレベルの
範囲に属する画素値の平均値MIN’、またはその最も
上のレベルの範囲に属する画素値の平均値MAX’に、
ADRCコード00Bまたは11Bそれぞれを変換する
とともに、MAX’−MIN’で規定されるダイナミッ
クレンジDR’を等分(3等分)するレベルに、ADR
Cコード01Bと10Bを変換することにより、ADR
Cコードの復号を行うようなADRC処理があり、これ
は、エッジマッチングと呼ばれる。
【0094】なお、ADRC処理については、本件出願
人が先に出願した、例えば、特開平3−53778号公
報などに、その詳細が開示されている。
【0095】ブロックを構成する画素に割り当てられて
いるビット数より少ないビット数で再量子化を行うAD
RC処理を施すことにより、上述したように、クラス数
を削減することができ、このようなADRC処理が、A
DRC処理回路44において行われるようになされてい
る。
【0096】なお、本実施例では、クラス分類回路45
において、ADRC処理回路44から出力されるADR
Cコードに基づいて、クラス分類処理が行われるが、ク
ラス分類処理は、その他、例えば、DPCM(予測符号
化)や、BTC(Block Truncation Coding)、VQ
(ベクトル量子化)、DCT(離散コサイン変換)、ア
ダマール変換などを施したデータを対象に行うようにす
ることも可能である。
【0097】次に、適応処理について説明する。
【0098】例えば、いま、元の画像の画素値yの予測
値E[y]を、その周辺の幾つかの画素の画素値(以
下、適宜、学習データという)x1,x2,・・・と、所
定の予測係数w1,w2,・・・の線形結合により規定さ
れる線形1次結合モデルにより求めることを考える。こ
の場合、予測値E[y]は、次式で表すことができる。
【0099】 E[y]=w11+w22+・・・ ・・・(1)
【0100】そこで、一般化するために、予測係数wの
集合でなる行列W、学習データの集合でなる行列X、お
よび予測値E[y]の集合でなる行列Y’を、
【数1】 で定義すると、次のような観測方程式が成立する。
【0101】 XW=Y’ ・・・(2)
【0102】そして、この観測方程式に最小自乗法を適
用して、元の画像の画素値yに近い予測値E[y]を求
めることを考える。この場合、元の画像の画素値(以
下、適宜、教師データという)yの集合でなる行列Y、
および元の画像の画素値yに対する予測値E[y]の残
差eの集合でなる行列Eを、
【数2】 で定義すると、式(2)から、次のような残差方程式が
成立する。
【0103】 XW=Y+E ・・・(3)
【0104】この場合、元の画像の画素値yに近い予測
値E[y]を求めるための予測係数wiは、自乗誤差
【数3】 を最小にすることで求めることができる。
【0105】従って、上述の自乗誤差を予測係数wi
微分したものが0になる場合、即ち、次式を満たす予測
係数wiが、元の画像の画素値yに近い予測値E[y]
を求めるため最適値ということになる。
【0106】
【数4】 ・・・(4)
【0107】そこで、まず、式(3)を、予測係数wi
で微分することにより、次式が成立する。
【0108】
【数5】 ・・・(5)
【0109】式(4)および(5)より、式(6)が得
られる。
【0110】
【数6】 ・・・(6)
【0111】さらに、式(3)の残差方程式における学
習データx、予測係数w、教師データy、および残差e
の関係を考慮すると、式(6)から、次のような正規方
程式を得ることができる。
【0112】
【数7】 ・・・(7)
【0113】式(7)の正規方程式は、求めるべき予測
係数wの数と同じ数だけたてることができ、従って、式
(7)を解くことで、最適な予測係数wを求めることが
できる。なお、式(7)を解くにあたっては、例えば、
掃き出し法(Gauss-Jordanの消去法)などを適用するこ
とが可能である。
【0114】以上のようにして、最適な予測係数wを求
め、さらに、その予測係数wを用い、式(1)により、
元の画像の画素値yに近い予測値E[y]を求めるのが
適応処理であり、この適応処理が、適応処理回路46に
おいて行われるようになされている。
【0115】なお、適応処理は、間引かれた画像には含
まれていない、元の画像に含まれる成分が再現される点
で、補間処理とは異なる。即ち、適応処理では、式
(1)だけを見る限りは、いわゆる補間フィルタを用い
ての補間処理と同一であるが、その補間フィルタのタッ
プ係数に相当する予測係数wが、教師データyを用いて
の、いわば学習により求められるため、元の画像に含ま
れる成分を再現することができる。このことから、適応
処理は、いわば画像の創造作用がある処理ということが
できる。
【0116】次に、図13のフローチャートを参照し
て、図10のローカルデコード部22の処理について説
明する。
【0117】ローカルデコード部22においては、まず
最初に、ステップS21において、圧縮部21からの補
正データがブロック化される。即ち、クラス分類用ブロ
ック化回路41において、補正データが、4画素のクラ
ス分類用ブロックにブロック化され、クラス分類適応処
理回路43に供給されるとともに、予測値計算用ブロッ
ク化回路42において、補正データが4画素の予測値計
算用ブロックにブロック化され、クラス分類適応処理回
路43に供給される。
【0118】クラス分類適応処理回路43には、上述し
たように、クラス分類用ブロックおよび予測値計算用ブ
ロックの他、元の画像データが供給されるようになされ
ており、クラス分類用ブロックはADRC処理部44
に、予測値計算用ブロックおよび元の画像データは適応
処理回路46に供給されるようになされている。
【0119】ADRC処理回路44は、クラス分類用ブ
ロックを受信すると、ステップS22において、そのク
ラス分類用ブロックに対して、例えば、1ビットのAD
RC(1ビットで再量子化を行うADRC)処理を施
し、これにより、補正データを、1ビットに変換(符号
化)して、クラス分類回路45に出力する。クラス分類
回路45は、ステップS23において、ADRC処理が
施されたクラス分類用ブロックに対して、クラス分類処
理を施し、そのクラス分類用ブロックが属するクラスを
判定する。このクラスの判定結果は、クラス情報とし
て、適応処理回路46に供給される。
【0120】なお、本実施例においては、R,G,Bの
各成分が1ビットのADRC処理が施された4画素で構
成されるクラス分類用ブロックに対して、クラス分類処
理が施されるので、各クラス分類用ブロックは、409
6(=(234)のクラスのうちのいずれかに分類され
ることになる。
【0121】そして、ステップS24に進み、適応処理
回路46において、クラス分類回路45からのクラス情
報に基づいて、各クラスごとに適応処理が施され、これ
により、予測係数および元の画像データの予測値が算出
される。
【0122】即ち、本実施例においては、例えば、ある
1つの画素に注目した場合に、その注目画素の周りに隣
接する4個の画素でなる予測値計算用ブロックを用い
て、適応処理が行われる。
【0123】具体的には、例えば、いま、図2に示した
4個の補正データX1,X2,X3,X4でなるクラス分類
用ブロックについてのクラス情報Cが、クラス分類回路
45から出力され、また、予測値計算用ブロックとし
て、4画素の補正データX1,X2,X3,X4でなる予測
値計算用ブロックが、予測値計算用ブロック化回路42
から出力されたものとすると、まず、その予測値計算用
ブロックを構成する補正データを、学習データとすると
ともに、元の画像における、補正データY1を、教師デ
ータとして、式(7)に示した正規方程式がたてられ
る。
【0124】さらに、クラス情報Cにクラス分類される
他の予測値計算用ブロックについても同様にして、正規
方程式がたてられ、画素値YR1の予測値E[YR1]を求
めるための予測係数w1(R)乃至w12(R)を算出す
ることができるだけの数の正規方程式が得られると(従
って、そのような数の正規方程式が得られるまでは、ス
テップS24では、正規方程式をたてる処理までが行わ
れる)、その正規方程式を解くことで、クラス情報Cに
ついて、画素値YR1の予測値E[YR1]を求めるのに最
適な予測係数w1(R)乃至w12(R)が算出される。
そして、式(1)に対応する次式に従って、予測値E
[YR1]が求められる。YG1,YB1などについても同様
である。
【0125】E[YR1]=w1(R)XR1+w2(R)X
G1+w3(R)XB1+w4(R)XR2+w5(R)XG2
6(R)XB2+w7(R)XR3+w8(R)XG3+w
9(R)XB3+w10(R)XR4+w11(R)XG4+w12
(R)XB4 E[YG1]=w1(G)XR1+w2(G)XG1+w
3(G)XB1+w4(G)XR2+w5(G)XG2+w
6(G)XB2+w7(G)XR3+w8(G)XG3+w
9(G)XB3+w10(G)XR4+w11(G)XG4+w12
(G)XB4 E[YB1]=w1(B)XR1+w2(B)XG1+w
3(B)XB1+w4(B)XR2+w5(B)XG2+w
6(B)XB2+w7(B)XR3+w8(B)XG3+w
9(B)XB3+w10(B)XR4+w11(B)XG4+w12
(B)XB4
【0126】ステップS24において、以上のようにし
て各画素のR,G,Bの各成分についての予測係数が求
められると、予測値が誤差算出部23に出力されるとと
もに、予測係数が判定部24に出力され、ステップS2
1に戻り、以下同様の処理が繰り返される。
【0127】次に、図14は、図6の誤差算出部23の
構成例を示している。
【0128】ブロック化回路51には、元の画像データ
が供給されるようになされており、ブロック化回路51
は、その画素データを、ローカルデコード部22から出
力される予測値に対応する画素単位でブロック化し、そ
の結果得られるブロックの画素(いまの場合、このブロ
ックは1個の画素(図2のY1)により構成される)
を、自乗誤差算出回路52に出力するようになされてい
る。自乗誤差算出部52には、上述したように、ブロッ
ク化回路51から画素データが供給される他、ローカル
デコード部22から予測値としての画素データが供給さ
れるようになされており、自乗誤差算出回路52は、原
画像に対する、予測値の予測誤差としての自乗誤差を算
出し、積算部55に供給するようになされている。
【0129】即ち、自動誤差算出回路は52は、演算器
53および54で構成されている。演算器53は、ブロ
ック化回路51からのブロック化された画像データそれ
ぞれから、対応する予測値を減算し、その減算値を、演
算器54に供給するようになされている。演算器54
は、演算器53の出力(元の画像データと予測値との差
分)を自乗し、積算部55に供給するようになされてい
る。
【0130】積算部55は、自乗誤差算出回路52から
自乗誤差を受信すると、メモリ56の記憶値を読み出
し、その記憶値と自乗誤差とを加算して、再び、メモリ
56に供給して記憶させることを繰り返すことで、自乗
誤差の積算値(誤差分散)を求めるようになされてい
る。さらに、積算部55は、所定量(例えば、1フレー
ム分など)についての自乗誤差の積算が終了すると、そ
の積算値を、メモリ56から読み出し、誤差情報とし
て、判定部24に供給するようになされている。メモリ
56は、1フレームについての処理が終了するごとに、
その記憶値をクリアしながら、積算部55の出力値を記
憶するようになされている。
【0131】次に、その動作について、図15のフロー
チャートを参照して説明する。誤差算出部23では、ま
ず最初に、ステップS31において、メモリ56の記憶
値が、例えば0にクリアされ、ステップS32に進み、
ブロック化回路51において、画像データが、上述した
ようにブロック化され、その結果得られるブロックが、
自乗誤差算出回路52に供給される。自乗誤差算出回路
52では、ステップS33において、ブロック化回路5
1から供給されるブロックを構成する、元の画像の画像
データと、ローカルデコード部22から供給される予測
値との自乗誤差が算出される。
【0132】即ち、ステップS33では、演算器53に
おいて、ブロック化回路51より供給されたブロック化
された画像データそれぞれから、対応する予測値が減算
され、演算器54に供給される。さらに、ステップS3
3では、演算器54において、演算器53の出力が自乗
され、積算部55に供給される。
【0133】積算部55は、自乗誤差算出回路52から
自乗誤差を受信すると、ステップS34において、メモ
リ56の記憶値を読み出し、その記憶値と自乗誤差とを
加算することで、自乗誤差の積算値を求める。積算部5
5において算出された自乗誤差の積算値は、メモリ56
に供給され、前回の記憶値に上書きされることで記憶さ
れる。
【0134】そして、積算部55では、ステップS35
において、所定量としての、例えば、1フレーム分につ
いての自乗誤差の積算が終了したかどうかが判定され
る。ステップS35において、1フレーム分についての
自乗誤差の積算が終了していないと判定された場合、ス
テップS32に戻り、再び、ステップS32からの処理
を繰り返す。また、ステップS35において、1フレー
ム分についての自乗誤差の積算が終了したと判定された
場合、ステップS36に進み、積算部55は、メモリ5
6に記憶された1フレーム分についての自乗誤差の積算
値を読み出し、誤差情報として、判定部24に出力す
る。そして、ステップS31に戻り、再び、ステップS
31からの処理を繰り返す。
【0135】従って、誤差算出部23では、元の画像デ
ータをYiとするとともに、その予測値をE[Yi]とす
るとき、次式に従った演算が行われることで、誤差情報
Qが算出される。
【0136】Q=(Σ(Yi)−E[Yi])2 但し、Σは、1フレーム分についてのサメーションを意
味する。
【0137】次に、図16は、図6の判定部24の構成
例を示している。
【0138】予測係数メモリ61は、ローカルデコード
部22から供給される予測係数を記憶するようになされ
ている。補正データメモリ62は、圧縮部21から供給
される補正データを記憶するようになされている。
【0139】なお、補正データメモリ62は、圧縮部2
1において、圧縮データが新たに補正され、これによ
り、新たな補正データが供給された場合には、既に記憶
している補正データ(前回の補正データ)に代えて、新
たな補正データを記憶するようになされている。また、
このように補正データが、新たなものに更新されるタイ
ミングで、ローカルデコード部22からは、その新たな
補正データに対応する、新たな予測係数のセットが出力
されるが、予測係数メモリ61においても、このように
新たな予測係数が供給された場合には、既に記憶してい
る予測係数(前回の予測係数)に代えて、その新たな予
測係数を記憶するようになされている。
【0140】誤差情報メモリ63は、誤差算出部23か
ら供給される誤差情報を記憶するようになされている。
なお、誤差情報メモリ63は、誤差算出部23から、今
回供給された誤差情報の他に、前回供給された誤差情報
も記憶するようになされている(新たな誤差情報が供給
されても、さらに新たな誤差情報が供給されるまでは、
既に記憶している誤差情報を保持するようになされてい
る)。なお、誤差情報メモリ63は、新たなフレームに
ついての処理が開始されるごとにクリアされるようにな
されている。
【0141】比較回路64は、誤差情報メモリ63に記
憶された今回の誤差情報と、所定の閾値εとを比較し、
さらに、必要に応じて、今回の誤差情報と前回の誤差情
報との比較も行うようになされている。比較回路64に
おける比較結果は、制御回路65に供給されるようにな
されている。
【0142】制御回路65は、比較回路64における比
較結果に基づいて、補正データメモリ62に記憶された
補正データを、元の画像の符号化結果とすることの適正
(最適)さを判定し、最適でないと認識(判定)した場
合には、新たな補正データの出力を要求する制御信号
を、圧縮部21(補正回路32)(図8)に供給するよ
うになされている。また、制御回路65は、補正データ
メモリ62に記憶された補正データを、元の画像の符号
化結果とすることが最適であると認識した場合には、予
測係数メモリ61に記憶されている予測係数を読み出
し、多重化部25に出力するとともに、補正データメモ
リ62に記憶されている補正データを読み出し、最適圧
縮データとして、やはり多重化部25に供給するように
なされている。さらに、この場合、制御回路65は、1
フレームの画像についての符号化を終了した旨を表す制
御信号を、圧縮部21に出力し、これにより、上述した
ように、圧縮部21に、次のフレームについての処理を
開始させるようになされている。
【0143】次に、図17を参照して、判定部24の動
作について説明する。判定部24では、まず最初に、ス
テップS41において、誤差算出部23から誤差情報を
受信したかどうかが、比較回路64によって判定され、
誤差情報を受信していないと判定された場合、ステップ
S41に戻る。また、ステップS41において、誤差情
報を受信したと判定された場合、即ち、誤差情報メモリ
63に誤差情報が記憶された場合、ステップS42に進
み、比較回路64において、誤差情報メモリ63に、い
ま記憶された誤差情報(今回の誤差情報)と、所定の閾
値εとが比較され、いずれが大きいかが判定される。
【0144】ステップS42において、今回の誤差情報
が、所定の閾値ε以上であると判定された場合、比較回
路64において、誤差情報メモリ63に記憶されている
前回の誤差情報が読み出される。そして、比較回路64
は、ステップS43において、前回の誤差情報と、今回
の誤差情報とを比較し、いずれが大きいかを判定する。
【0145】ここで、1フレームについての処理が開始
され、最初に誤差情報が供給されたときには、誤差情報
メモリ63には、前回の誤差情報は記憶されていないの
で、この場合には、判定部24においては、ステップS
43以降の処理は行われず、制御回路65において、所
定の初期アドレスを出力するように、補正回路32(図
8)を制御する制御信号が出力されるようになされてい
る。
【0146】ステップS43において、今回の誤差情報
が、前回の誤差情報以下であると判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が減少
した場合、ステップS44に進み、制御回路65は、補
正値△を、前回と同様に変化させるように指示する制御
信号を、補正回路32に出力し、ステップS41に戻
る。また、ステップS43において、今回の誤差情報
が、前回の誤差情報より大きいと判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が増加
した場合、ステップS45に進み、制御回路65は、補
正値△を、前回と逆に変化させるように指示する制御信
号を、補正回路32に出力し、ステップS41に戻る。
【0147】なお、減少し続けていた誤差情報が、ある
タイミングで上昇するようになったときは、制御回路6
5は、補正値△を、いままでの場合の、例えば1/2の
大きさで、前回と逆に変化させるように指示する制御信
号を出力するようになされている。
【0148】そして、ステップS41乃至S45の処理
を繰り返すことにより、誤差情報が減少し、これによ
り、ステップS42において、今回の誤差情報が、所定
の閾値εより小さいと判定された場合、ステップS46
に進み、制御回路65は、予測係数メモリ61に記憶さ
れている予測係数を読み出すとともに、補正データメモ
リ62に記憶されている補正データを読み出し、多重化
部25に供給して、処理を終了する。
【0149】その後は、次のフレームについての誤差情
報が供給されるのを待って、再び、図17に示すフロー
チャートに従った処理を繰り返す。
【0150】なお、補正回路32には、圧縮データの補
正は、1フレームすべての圧縮データについて行わせる
ようにすることもできるし、その一部の圧縮データにつ
いてだけ行わせるようにすることもできる。一部の圧縮
データについてだけ補正を行う場合においては、制御回
路65に、例えば、誤差情報に対する影響の強い画素を
検出させ、そのような画素についての圧縮データだけを
補正するようにすることができる。誤差情報に対する影
響の強い画素は、例えば、次のようにして検出すること
ができる。即ち、まず最初に、間引き後に残った画素に
ついての圧縮データをそのまま用いて処理を行うことに
より、その誤差情報を得る。そして、間引き後に残った
画素についての圧縮データを、1つずつ、同一の補正値
△だけ補正するような処理を行わせる制御信号を、制御
回路65から補正回路32に出力し、その結果得られる
誤差情報を、圧縮データをそのまま用いた場合に得られ
た誤差情報と比較し、その差が、所定値以上となる画素
を、誤差情報に対する影響の強い画素として検出すれば
良い。
【0151】以上のように、誤差情報を所定の閾値εよ
り小さくする(以下にする)まで、圧縮データの補正が
繰り返され、誤差情報が所定の閾値εより小さくなった
ときにおける補正データが、画像の符号化結果として出
力されるので、受信装置4においては、間引き後の画像
を構成する画素の画素値を、元の画像を復元するのに最
も適当な値にした補正データから、原画像と同一(ほぼ
同一)の復号画像を得ることが可能となる。
【0152】また、画像は、間引き処理により圧縮され
る他、ADRC処理およびクラス分類適応処理などによ
っても圧縮されるため、非常に高圧縮率の符号化データ
を得ることができる。なお、送信装置1における、以上
のような符号化処理は、間引きによる圧縮処理と、クラ
ス分類適応処理とを、いわば有機的に統合して用いるこ
とにより、高能率圧縮を実現するものであり、このこと
から統合符号化処理ということができる。
【0153】次に、図18は、図1の受信装置4のさら
に他の構成例を示している。
【0154】受信機/再生装置71においては、記録媒
体2に記録された符号化データが再生され、または伝送
路3を介して伝送されてくる符号化データが受信され、
分離部72に供給される。分離部72では、符号化デー
タが、補正データと予測係数に分離され、補正データ
は、クラス分類用ブロック化回路73および予測値計算
用ブロック化回路77に供給され、予測係数は、予測回
路76に供給される。
【0155】クラス分類用ブロック化回路73、ADR
C処理回路74、クラス分類回路75、または予測値計
算用ブロック化回路77は、図10におけるクラス分類
用ブロック化回路41、ADRC処理回路44、クラス
分類回路45、または予測値計算用ブロック化回路42
それぞれと同様に構成されており、従って、これらのブ
ロックにおいては、図10における場合と同様の処理が
行われ、これにより、予測値計算用ブロック化回路77
からは予測値計算用ブロックが出力され、また、クラス
分類回路75からはクラス情報が出力される。これらの
予測値計算用ブロックおよびクラス情報は、予測回路7
6に供給される。
【0156】予測回路76では、クラス情報に対応した
予測係数と、予測値計算用ブロック化回路77から供給
される予測値計算用ブロックを構成する補正データとを
用い、式(1)に従って予測値が算出され、そのような
予測値で構成される1フレームの画像が、復号画像とし
て出力される。この復号画像は、上述したように、元の
画像とほぼ同一の画像となる。
【0157】なお、受信側においては、図18に示すよ
うな受信装置4でなくても、間引きされた画像を単純な
補間により復号する装置により、予測係数を用いずに、
通常の補間を行うことで復号画像を得ることができる。
但し、この場合に得られる復号画像は、画質(解像度)
の劣化したものとなる。
【0158】ところで、上述の場合おいては、図6のロ
ーカルデコード部22において予測係数を求め、これを
用いて、予測値を算出するようにしたが、ローカルデコ
ード部22では、予測係数を求めずに、予測値を算出す
るようにすることが可能である。
【0159】即ち、図19は、図6のローカルデコード
部22の他の構成例を示している。なお、図中、図10
における場合と対応する部分については、同一の符号を
付してある。即ち、図19のローカルデコード部22
は、適応処理回路46に代えて、予測係数ROM81お
よび予測回路82が設けられている他は、図10におけ
る場合と同様に構成されている。
【0160】予測係数ROM81は、あらかじめ学習
(後述する)により求められたクラスごとの予測係数を
記憶しており、クラス分類回路45が出力するクラス情
報を受信し、そのクラス情報に対応するアドレスに記憶
されている予測係数を読み出して、予測回路82に供給
する。
【0161】予測回路82では、予測値計算用ブロック
化回路42からの予測値計算用ブロックと、予測係数R
OM81からの予測係数とを用いて、式(1)(具体的
には、例えば、式(8))に示した線形1次式が計算さ
れ、これにより、元の画像の予測値が算出される。
【0162】従って、図19のクラス分類適応処理回路
43によれば、元の画像を用いずに、その予測値が算出
される。
【0163】次に、図20は、図19の予測係数ROM
81に記憶されている予測係数を得るための学習を行う
画像処理装置の構成例を示している。
【0164】学習用ブロック化回路91および教師用ブ
ロック化回路92には、あらゆる画像に適用可能な予測
係数を得るための(従って間引き処理が行われる前の)
学習用の画像データ(学習用画像)が供給されるように
なされている。
【0165】学習用ブロック化回路91は、入力される
画像データから、例えば、4画素(例えば、図2のX1
乃至X4)を抽出し、この4画素で構成されるブロック
を、学習用ブロックとして、ADRC処理93および学
習データメモリ96に供給する。
【0166】また、教師用ブロック化回路92では、入
力される画像データから、例えば、1画素(図2の
1)で構成されるブロックが生成され、この1画素で
構成されるブロックが、教師用ブロックとして、教師デ
ータメモリ98に供給される。
【0167】なお、学習用ブロック化回路91におい
て、所定の数の画素で構成される学習用ブロックが生成
されるとき、教師用ブロック化回路92では、対応する
画素の教師用ブロックが生成されるようになされてい
る。
【0168】ADRC処理回路93は、学習用ブロック
を構成する4画素でなるブロックに対して、図19のA
DRC処理回路44における場合と同様に、1ビットの
ADRC処理を施す。ADRC処理の施された、4画素
のブロックは、クラス分類回路94に供給される。クラ
ス分類回路94では、ADRC処理回路93からのブロ
ックがクラス分類され、それにより得られるクラス情報
が、スイッチ95の端子aを介して、学習データメモリ
96および教師データメモリ98に供給される。
【0169】学習データメモリ96または教師データメ
モリ98では、そこに供給されるクラス情報に対応する
アドレスに、学習用ブロック化回路91からの学習用ブ
ロックまたは教師用ブロック化回路92からの教師用ブ
ロックが、それぞれ記憶される。
【0170】従って、学習データメモリ96において、
4画素(図2のX1乃至X4)でなるブロックが学習用ブ
ロックとして、あるアドレスに記憶されたとすると、教
師データメモリ98においては、そのアドレスと同一の
アドレスに、それに対応する1画素(図2のY1)のブ
ロックが、教師用ブロックとして記憶される。
【0171】以下、同様の処理が、あらかじめ用意され
たすべての学習用の画像について繰り返され、これによ
り、学習用ブロックと、図19のローカルデコード部2
2において、その学習用ブロックを構成する4画素と同
一の位置関係を有する4個の補正データで構成される予
測値計算用ブロックを用いて予測値が求められる1個の
画素で構成される教師用ブロックとが、学習用データメ
モリ96と、教師用データメモリ98とにおいて、同一
のアドレスに記憶される。
【0172】なお、学習用データメモリ96と教師用デ
ータメモリ98においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、複数の学習用ブロックと教師用
ブロックを記憶することができるようになされている。
【0173】学習用画像すべてについての学習用ブロッ
クと教師用ブロックとが、学習データメモリ96と教師
データメモリ98に記憶されると、端子aを選択してい
たスイッチ95が、端子bに切り替わり、これにより、
カウンタ97の出力が、アドレスとして、学習データメ
モリ96および教師データメモリ98に供給される。カ
ウンタ97は、所定のクロックをカウントし、そのカウ
ント値を出力しており、学習データメモリ96または教
師データメモリ98では、そのカウント値に対応するア
ドレスに記憶された学習用ブロックまたは教師用ブロッ
クが読み出され、演算回路99に供給される。
【0174】従って、演算回路99には、カウンタ97
のカウント値に対応するクラスの学習用ブロックのセッ
トと、教師用ブロックのセットとが供給される。
【0175】演算回路99は、あるクラスについての学
習用ブロックのセットと、教師用ブロックのセットとを
受信すると、それらを用いて、最小自乗法により、誤差
を最小とする予測係数を算出する。
【0176】即ち、例えば、いま、学習用ブロックを構
成する画素の画素値を、x1,x2,x3,・・・とし、
求めるべき予測係数をw1,w2,w3,・・・とすると
き、これらの線形1次結合により、教師用ブロックを構
成する、ある画素の画素値yを求めるには、予測係数w
1,w2,w3,・・・は、次式を満たす必要がある。
【0177】y=w11+w22+w33+・・・
【0178】そこで、演算回路99では、同一クラスの
学習用ブロックと、対応する教師用ブロックとから、真
値yに対する、予測値w11+w22+w33+・・・
の自乗誤差を最小とする予測係数w1,w2,w3,・・
・が、上述した式(7)に示す正規方程式をたてて解く
ことにより求められる。
【0179】演算回路99において求められた、クラス
ごとの予測係数は、メモリ100に供給される。メモリ
100には、演算回路99からの予測係数の他、カウン
タ97からカウント値が供給されており、これにより、
メモリ100においては、演算回路99からの予測係数
が、カウンタ97からのカウント値に対応するアドレス
に記憶される。
【0180】以上のようにして、メモリ100には、各
クラスに対応するアドレスに、そのクラスのブロックの
画素を予測するのに最適な予測係数が記憶される。
【0181】図19の予測係数ROM81には、以上の
ようにしてメモリ100に記憶された予測係数が記憶さ
れている。
【0182】なお、予測係数ROM81には、各クラス
に対応するアドレスに、予測係数を記憶させるのではな
く、教師用ブロックを構成する画素値の平均値などを記
憶させるようにすることが可能である。この場合、クラ
ス情報が与えられると、そのクラスに対応する画素値が
出力されることになり、図19のローカルデコード部2
2において、予測値計算用ブロック化回路42および予
測回路82を設けずに済むようになる。
【0183】また、図19に示したようにローカルデコ
ード部22を構成する場合においては、図18に示した
受信装置4は、受信機/再生装置71の後段を、図19
のクラス分類適応処理回路43と同様に構成するように
すれば良い。
【0184】なお、本実施例においては、誤差情報とし
て、誤差の自乗和を用いるようにしたが、誤差情報とし
ては、その他、例えば、誤差の絶対値和や、その3乗以
上したものの和などを用いるようにすることが可能であ
る。いずれを誤差情報として用いるかは、例えば、その
収束性などに基づいて決定するようにすることが可能で
ある。
【0185】また、本実施例では、誤差情報が、所定の
閾値ε以下になるまで、圧縮データの補正を繰り返し行
うようにしたが、圧縮データの補正の回数には、上限を
設けるようにすることも可能である。即ち、例えば、リ
アルタイムで画像の伝送を行う場合などにおいては、1
フレームについての処理が、所定の期間内に終了するこ
とが必要であるが、誤差情報は、そのような所定の期間
内に収束するとは限らない。そこで、補正の回数に上限
を設けることにより、所定の期間内に、誤差情報が閾値
ε以下に収束しないときは、そのフレームについての処
理を終了し(そのときにおける補正データを、符号化結
果とし)、次のフレームについての処理を開始するよう
にすることが可能である。
【0186】さらに、本実施例においては、1フレーム
の画像からブロックを構成するようにしたが、ブロック
は、その他、例えば、時系列に連続する複数フレームに
おける、同一位置の画素から構成するようにすることも
可能である。
【0187】また、本実施例では、圧縮部21におい
て、画像を、単純に間引き、即ち、2画素毎に1個の画
素を抽出し、これを圧縮データとするようにしたが、圧
縮部21には、その他、例えば、ブロックを構成する複
数個の画素の平均値などを求めさせ、その平均値を、そ
のブロックにおける中心画素の画素値とすることによ
り、その画素数を少なくし(間引き)、これを圧縮デー
タとするようにすることも可能である。
【0188】図21は、この場合における送信装置1の
構成例を示している。
【0189】ブロック化回路111には、符号化すべき
画像データが入力されるようになされており、ブロック
化回路111は、画像データを、その性質に応じて所定
のクラスに分類するための単位であるクラス分類用ブロ
ックにブロック化し、ADRC処理回路112および遅
延回路115に供給するようになされている。
【0190】ADRC処理回路112は、ブロック化回
路111からのブロック(クラス分類用ブロック)に対
してADRC処理を施し、その結果得られるADRCコ
ードで構成されるブロックを、クラス分類回路113に
供給するようになされている。
【0191】このADRC処理より、クラス分類用ブロ
ックを構成する画素のビット数が低減されるようになさ
れている。
【0192】クラス分類回路113は、ADRC処理回
路112からのブロックを、その性質に応じて所定のク
ラスに分類するクラス分類処理を行い、そのブロックが
いずれのクラスに属するかを、クラス情報として、マッ
ピング係数メモリ114に供給するようになされてい
る。
【0193】マッピング係数メモリ114は、後述する
ような学習(マッピング係数学習)により得られるマッ
ピング係数を、クラス情報ごとに記憶しており、クラス
分類回路113から供給されるクラス情報をアドレスと
して、そのアドレスに記憶されているマッピング係数を
読み出し、演算回路116に供給するようになされてい
る。
【0194】遅延回路115は、ブロック化回路111
から供給されるブロックを、そのブロックのクラス情報
に対応するマッピング係数が、マッピング係数メモリ1
14から読み出されるまで遅延し、演算回路116に供
給するようになされている。
【0195】演算回路116は、遅延回路115から供
給されるブロックを構成する画素の画素値と、マッピン
グ係数メモリ114から供給される、そのブロックのク
ラスに対応するマッピング係数とを用いて所定の演算を
行うことにより、画像を、その画素数を間引いた(少な
くした)符号化した符号化データを算出するようになさ
れている。即ち、演算回路116は、ブロック化回路1
11が出力するブロックを構成する各画素の画素値(元
の画像の画素値)をy1,y2,・・・とするとともに、
マッピング係数メモリ114が出力する、そのブロック
のクラスに対応するマッピング係数をk1,k2,・・・
とするとき、それらを引数とする所定の関数値f
(y1,y2,・・・,k1,k2,・・・)を演算し、そ
の関数値f(y1,y2,・・・,k1,k2,・・・)
を、ブロック化回路111が出力するブロック(クラス
分類用ブロック)を構成する画素のうちの、例えば中心
の画素の画素値として出力するようになされている。
【0196】従って、ブロック化回路111が出力する
クラス分類用ブロックを構成する画素数をN画素とする
と、演算回路116は、画像データを1/Nに間引き、
これを、符号化データとして出力するようになされてい
る。
【0197】なお、演算回路116が出力する符号化デ
ータは、N画素で構成されるブロックの中心の1個の画
素を選択して出力するような、いわば単純な間引き処理
により得られるものではなく、上述したように、そのブ
ロックを構成するN画素により規定される関数値f(y
1,y2,・・・,k1,k2,・・・)であるが、この関
数値f(y1,y2,・・・,k1,k2,・・・)は、見
方を変えれば、単純な間引き処理により得られる、ブロ
ックの中心の画素の画素値を、その周辺の画素値に基づ
いて補正したものと考えることができる。そこで、マッ
ピング係数と、ブロックを構成する画素との演算の結果
得られるデータである符号化データを、以下、適宜、補
正データともいう。
【0198】また、演算回路116における演算処理
は、ブロック化回路111が出力するクラス分類用ブロ
ックを構成する各画素の画素値を、関数値f(y1
2,・・・,k1,k2,・・・)にマッピング(写
像)する処理とも考えることができる。そこで、そのよ
うな処理に用いられる係数k1,k2,・・・をマッピン
グ係数と呼んでいる。
【0199】送信機/記録装置117は、演算回路11
6から符号化データとして供給される補正データを、記
録媒体2に記録し、または伝送路3を介して伝送するよ
うになされている。
【0200】次に、図22のフローチャートを参照し
て、その動作について説明する。
【0201】ブロック化回路111には、例えば、1フ
レーム(フィールド)単位で画像データが供給されるよ
うになされており、ブロック化回路111では、ステッ
プS61において、1フレームの画像が、クラス分類用
ブロックにブロック化される。即ち、ブロック化回路1
11は、例えば、5画素でなるクラス分類用ブロックに
分割し、ADRC処理回路112および遅延回路115
に供給する。
【0202】なお、この場合、クラス分類用ブロック
は、5画素でなる十文字形状のブロックで構成されるこ
ととなるが、クラス分類用ブロックの形状は、その他、
例えば、長方形や、正方形、その他の任意な形とするこ
とが可能である。また、クラス分類用ブロックを構成す
る画素数も、5画素に限定されるものではない。さら
に、クラス分類用ブロックは、隣接する画素どうしで構
成するのではなく、離れた画素どうしで構成するように
することも可能である。但し、その形状および画素数
は、後述する学習(マッピング係数学習)時における場
合のものと一致している必要がある。
【0203】ADRC処理回路112は、ブロック化回
路111からクラス分類用ブロックを受信すると、ステ
ップS62において、そのブロックのうちの中心の画素
(図2のY1)を除く4個の画素(図2のX1乃至X4
に対して、例えば、1ビットのADRC処理を施し、こ
れにより、R,G,Bの各画素が、それぞれ1ビットで
表現される画素で構成されるブロックとする。ADRC
処理の施されたクラス分類用ブロックは、クラス分類回
路113に供給される。
【0204】クラス分類回路113では、ステップS6
3において、ADRC処理回路112からのクラス分類
用ブロックがクラス分類され、その結果得られるクラス
情報が、マッピング係数メモリ114に、アドレスとし
て供給される。これにより、マッピング係数メモリ11
4からは、クラス分類回路113より供給されたクラス
情報に対応するマッピング係数が読み出され、演算回路
116に供給される。
【0205】一方、遅延回路115では、ブロック化回
路111からのクラス分類用ブロックの5画素データが
遅延され、そのブロックのクラス情報に対応するマッピ
ング係数が、マッピング係数メモリ114から読み出さ
れるのを待って、演算器116に供給される。演算器1
16では、ステップS64において、遅延回路115か
らのクラス分類用ブロックを構成する各画素の画素値
と、マッピング係数メモリ114からのマッピング係数
を用いて、上述した関数値f(・)(この関数fのかっ
こ内の・は、画素値X1,X2,・・・と、マッピング係
数k1,k2,・・・の集合を表すものとする)が演算さ
れることにより、クラス分類用ブロックを構成する中心
の画素(中心画素)の画素値を補正した補正データが算
出される。いまの場合、図2の画素データX1乃至X4
画素データY1(X5)とから、画素データY1(X5)の
位置の1個の画素データが生成される。また、このブロ
ック化は、画素データに対して重複して行われ、最終的
に、1/2の画素データが間引かれる。そして、この処
理でも、上述したように、Rの成分(Gの成分もしくは
Bの成分)を生成するのに、Rの成分(Gの成分もしく
はBの成分)だけでなく、Gの成分とBの成分(Rの成
分とBの成分、またはRの成分とGの成分)が利用され
る。この補正データは、画像を符号化した符号化データ
として、送信機/記録装置117に供給される。
【0206】送信機/記録装置117では、ステップS
65において、演算回路116からの符号化データが、
記録媒体2に記録され、または伝送路3を介して伝送さ
れる。
【0207】そして、ステップS66に進み、1フレー
ム分の画像データについての処理が終了したかどうかが
判定される。ステップS66において、1フレーム分の
画像データについての処理が、まだ終了していないと判
定された場合、ステップS62に戻り、次のクラス分類
用ブロックを対象に、ステップS62以下の処理が繰り
返される。また、ステップS66において、1フレーム
分の画像データについての処理が終了したと判定された
場合、ステップS61に戻り、次のフレームを対象に、
ステップS61以下の処理が繰り返される。
【0208】次に、図23は、図21のマッピング係数
メモリ114に記憶されているマッピング係数を算出す
るための学習(マッピング係数学習)処理を行う画像処
理装置の構成例を示している。
【0209】メモリ121には、学習に適したディジタ
ル画像データ(以下、適宜、学習用画像という)が1フ
レーム以上記憶されている。ブロック化回路122は、
メモリ121に記憶されている画像データを読み出し、
図21のブロック化回路111から出力されるクラス分
類用ブロックと同一のブロックを構成して、ADRC処
理回路123および演算回路126に供給するようにな
されている。
【0210】ADRC処理回路123またはクラス分類
回路124は、図21のADRC処理回路112または
クラス分類回路113における場合とそれぞれ同様の処
理を行うようになされている。従って、クラス分類回路
124からは、ブロック化回路122が出力するブロッ
クのクラス情報が出力されるようになされている。そし
て、このクラス情報は、マッピング係数メモリ131
に、アドレスとして供給されるようになされている。
【0211】演算回路126は、ブロック化回路122
から供給されるブロックを構成する画素と、マッピング
係数メモリ131から供給されるマッピング係数とを用
いて、図21の演算回路116における場合と同一の演
算を行い、その結果得られる補正データ(関数値f
(・))を、ローカルデコード部127に供給するよう
になされている。
【0212】ローカルデコード部127は、演算回路1
26から供給される補正データに基づいて、元の学習用
画像の予測値(ブロック化回路122が出力するブロッ
クを構成する画素の画素値の予測値)を予測し(算出
し)、誤差算出部128に供給するようになされてい
る。誤差算出部128は、ローカルデコード部127か
ら供給される予測値に対応する学習用画像の画素値(真
値)をメモリ121から読み出し、その学習用画像の画
素値に対する、予測値の予測誤差を算出(検出)し、そ
の予測誤差を、誤差情報として、判定部129に供給す
るようになされている。
【0213】判定部129は、誤差算出部128からの
誤差情報と、所定の閾値ε1とを比較し、その比較結果
に対応して、マッピング係数設定回路130を制御する
ようになされている。マッピング係数設定回路130
は、判定部129の制御に従って、クラス分類回路12
4におけるクラス分類の結果得られるクラス数と同一の
数のマッピング係数のセットを設定(変更)し、マッピ
ング係数メモリ131に供給するようになされている。
【0214】マッピング係数メモリ131は、マッピン
グ係数設定回路130から供給されるマッピング係数を
一時記憶するようになされている。なお、マッピング係
数メモリ131は、クラス分類回路124においてクラ
ス分類されるクラスの数だけのマッピング係数(マッピ
ング係数のセット)を記憶することのできる記憶領域を
有しており、各記憶領域においては、マッピング係数設
定回路130から、新たなマッピング係数が供給される
と、既に記憶しているマッピング係数に代えて、その新
たなマッピング係数が記憶されるようになされている。
【0215】また、マッピング係数メモリ131は、ク
ラス分類回路124から供給されるクラス情報に対応す
るアドレスに記憶されたマッピング係数を読み出し、演
算回路126に供給するようにもなされている。
【0216】次に、図24のフローチャートを参照し
て、その動作について説明する。
【0217】まず最初に、マッピング係数設定回路13
0は、ステップS71においてマッピング係数の初期値
のセットを、クラス分類回路124においてクラス分類
されるクラスの数だけ設定し、マッピング係数メモリ1
31に供給する。マッピング係数メモリ131では、マ
ッピング係数設定回路130からのマッピング係数(初
期値)が、対応するクラスのアドレスに記憶される。
【0218】そして、ブロック化回路122は、ステッ
プS72において、メモリ121に記憶されている学習
用画像すべてを、図21のブロック化回路111におけ
る場合と同様に、5画素(図2のX1乃至X4,Y1)の
ブロックにブロック化する。さらに、ブロック化回路1
21は、そのブロックを、メモリ121から読み出し、
ADRC処理回路123および演算回路126に順次供
給する。
【0219】ADRC処理回路123では、ステップS
73において、ブロック化回路122からのブロックの
うちの4画素(図2のX1乃至X4)に対して、図21の
ADRC処理回路112における場合と同様に、1ビッ
トのADRC処理が施され、クラス分類回路124に供
給される。クラス分類回路124では、ステップS74
において、ADRC処理回路123から供給されたブロ
ックのクラスが決定され、そのクラス情報が、アドレス
として、マッピング係数メモリ131に供給される。こ
れにより、ステップS75において、マッピング係数メ
モリ131の、クラス分類回路124から供給されるク
ラス情報に対応するアドレスから、マッピング係数が読
み出され、演算回路126に供給される。
【0220】演算回路126は、ブロック化回路122
からのブロックの5画素(図2のX1乃至X4,Y1)を
受信するとともに、マッピング係数メモリ131から、
そのブロックのクラスに対応するマッピング係数を受信
すると、ステップS76において、そのマッピング係数
と、ブロック化回路122から供給されるブロックを構
成する5画素の画素値とを用いて、上述の関数値f
(・)を演算する。この演算結果は、ブロック化回路1
22から供給されるブロックの中心画素の画素値を補正
した補正データとして、ローカルデコード部127に供
給される。
【0221】即ち、例えば、上述の図2において、X1
乃至X4,Y1のブロックが、ブロック化回路122から
出力されたものとすると、演算回路126では、その画
素値を補正した補正データが求められ、ローカルデコー
ド部27に出力される。
【0222】但し、演算回路26では、ブロック化回路
122におけるブロック化が、画素データに対して重複
して行われ、学習用画像を構成する画素数が、1/2に
間引かれ、ローカルデコード部27に供給される。
【0223】図24に戻り、ステップS76で補正デー
タが算出された後は、ステップS77に進み、メモリ1
21に記憶されたすべての学習用画像についての補正デ
ータが求められたかどうかが判定される。ステップS7
7において、すべての学習用画像についての補正データ
が、まだ求められていないと判定された場合、ステップ
S73に戻り、すべての学習用画像についての補正デー
タが求められるまで、ステップS73乃至S77の処理
を繰り返す。
【0224】また、ステップS77において、すべての
学習用画像についての補正データが求められたと判定さ
れた場合、即ち、メモリ121に記憶されたすべての学
習用画像を、1/2に間引いた間引き画像が得られた場
合(但し、この間引き画像は、学習用画像を、単純に1
/2に間引いたものではなく、マッピング係数との演算
により画素値が求められたものである)、ステップS7
8に進み、ローカルデコード部127において、その間
引き画像がローカルデコードされることにより、元の学
習用画像の予測値が算出される。この予測値は、誤差算
出部128に供給される。
【0225】ここで、このローカルデコード部127に
おいて得られる予測値で構成される画像(但し、後述す
るように、誤差算出部128から出力される誤差情報が
閾値ε1より小さくなったときにおけるもの)は、受信
装置4側において得られる復号画像と同一のものであ
る。
【0226】誤差算出部128では、ステップS79に
おいて、メモリ121から学習用画像が読み出され、そ
の学習用画像に対する、ローカルデコード部127から
供給される予測値の予測誤差が算出される。即ち、学習
用画像の画素値をYijと表すとともに、ローカルデコー
ド部127から出力される、その予測値をE[Yij]と
表すとき、誤差算出部128では、次式で示される誤差
分散(誤差の自乗和)Qが算出され、これが、誤差情報
として、判定部129に供給される。
【0227】Q=Σ(Yij−E[Yij])2 但し、上式において、Σは、学習用画像の画素すべてに
ついてのサメーションを表す。
【0228】判定部129は、誤差算出部128から誤
差情報を受信すると、その誤差情報と所定の閾値ε1と
を比較し、ステップS80において、その大小関係を判
定する。ステップS80において、誤差情報が閾値ε1
以上であると判定された場合、即ち、ローカルデコード
部127において得られる予測値で構成される画像が、
元の学習用画像と同一であるとは認められない場合、判
定部129は、マッピング係数設定回路130に制御信
号を出力する。マッピング係数設定回路130は、ステ
ップS81において、判定部129からの制御信号に従
い、マッピング係数を変更し、その変更後のマッピング
係数を、マッピング係数メモリ131に新たに記憶させ
る。
【0229】そして、ステップS73に戻り、マッピン
グ係数メモリ131に記憶された、変更後のマッピング
係数を用いて、再び、ステップS73以下の処理が繰り
返される。
【0230】ここで、マッピング係数設定回路130に
おける、マッピング係数の変更は、ランダムに行っても
良いし、また、今回の誤差情報が、前回の誤差情報より
小さくなった場合には、前回と同様の傾向で変化させ、
今回の誤差情報が、前回の誤差情報より大きくなった場
合には、前回と逆の傾向で変化させるようにすることも
できる。
【0231】さらに、マッピング係数の変更は、すべて
のクラスについて行うようにすることもできるし、その
一部のクラスについてだけ行うようにすることもでき
る。一部のクラスについてのマッピング係数だけの変更
を行う場合においては、例えば、誤差情報に対する影響
の強いクラスを検出させ、そのようなクラスについての
マッピング係数だけを変更するようにすることができ
る。誤差情報に対する影響の強いクラスは、例えば、次
のようにして検出することができる。即ち、まず最初
に、マッピング係数の初期値を用いて処理を行うことに
より、その誤差情報を得る。そして、マッピング係数
を、1クラスごとに同一の量だけ変化させ、その結果得
られる誤差情報を、初期値を用いた場合に得られた誤差
情報と比較し、その差が、所定値以上となるクラスを、
誤差情報に対する影響の強いクラスとして検出すれば良
い。
【0232】また、マッピング係数が、上述したk1,
k2,・・・のように複数で1セットとされている場合
には、その中の誤差情報に対する影響の強いものだけを
変更させるようにすることもできる。
【0233】さらに、上述の場合においては、マッピン
グ係数を、クラスごとに設定するようにしたが、マッピ
ング係数は、その他、例えば、ブロックごとに独立して
設定したり、また、近接するブロック単位などで設定し
たりするようにすることが可能である。
【0234】但し、マッピング係数を、例えば、ブロッ
クごとに独立して設定するようにした場合などにおいて
は、ある1つのクラスに対して、複数セットのマッピン
グ係数が得られることがある(この逆に、マッピング係
数が、1セットも得られないクラスが生じることもあ
る)。マッピング係数は、最終的には、クラスごとに決
める必要があるため、上述のように、あるクラスに対し
て、複数セットのマッピング係数が得られた場合には、
複数セットのマッピング係数を対象に、何らかの処理を
行うことで、1セットのマッピング係数を決める必要が
ある。
【0235】一方、ステップS80において、誤差情報
が閾値ε1より小さいと判定された場合、即ち、ローカ
ルデコード部127において得られる予測値で構成され
る画像が、元の学習用画像と同一であると認められる場
合、処理を終了する。
【0236】この時点で、マッピング係数メモリ131
に記憶されている、クラスごとのマッピング係数が、も
との画像と同一と認められる復号画像(予測値)を復元
することができる補正データを得るために最適なものと
して、図21のマッピング係数メモリ114にセットさ
れている。
【0237】従って、このようなマッピング係数を用い
て補正データを生成することで、受信装置4側において
は、元の画像とほぼ同一の画像を得ることが可能とな
る。
【0238】なお、図23の実施例においては、上述し
たように、ブロック化回路122において、画像が4画
素にブロック化され、また、ADRC処理回路123に
おいて、1ビットのADRC処理が行われるので、クラ
ス分類回路124によるクラス分類により得られるクラ
ス数は4096であり、従って、4096セットのマッ
ピング係数が得られる。
【0239】次に、図25は、図23のローカルデコー
ド部127の構成例を示している。
【0240】演算回路126からの補正データは、クラ
ス分類用ブロック化回路141および予測値計算用ブロ
ック化回路142に供給されるようになされている。ク
ラス分類用ブロック化回路141は、補正データを、そ
の性質に応じて所定のクラスに分類するための単位であ
るクラス分類用ブロックにブロック化するようになされ
ている。
【0241】なお、図25のクラス分類用ブロック化回
路141において得られるクラス分類用ブロックは、予
測値を求めるブロックのクラスを決定するために構成さ
れるものであり、この点で、補正データを算出するブロ
ックのクラスを決定するために、図21のブロック化回
路111で生成されるものとは異なる。
【0242】予測値計算用ブロック化回路142は、補
正データを、元の画像(ここでは、学習用画像)の予測
値を計算するための単位である予測値計算用ブロックに
ブロック化するようになされている。
【0243】予測値計算用ブロック化回路142におい
て得られた予測値計算用ブロックは、予測回路146に
供給されるようになされている。
【0244】なお、予測値計算用ブロックについても、
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、ローカルデコード部127において、予測値
計算用ブロックを構成する画素数は、クラス分類用ブロ
ックを構成する画素数よりも多くするのが望ましい。
【0245】また、上述のようなブロック化を行う場合
において(ブロック化以外の処理についても同様)、画
像の画枠付近では、対応する画素が存在しないことがあ
るが、この場合には、例えば、画枠を構成する画素と同
一の画素が、その外側に存在するものとして処理を行
う。
【0246】ADRC処理回路143は、クラス分類用
ブロック化回路141が出力するブロック(クラス分類
用ブロック)を対象に、例えば、1ビットのADRC処
理を施し、クラス分類回路144に供給するようになさ
れている。クラス分類回路144は、ADRC処理回路
143からのブロックをクラス分類し、その分類結果と
してのクラス情報を、予測係数ROM145に供給する
ようになされている。予測係数ROM145は、予測係
数を記憶しており、クラス分類回路144からクラス情
報を受信すると、そのクラス情報に対応するアドレスに
記憶されている予測係数を読み出し、予測回路146に
供給するようになされている。なお、予測係数ROM1
45に記憶されている予測係数は、後述する学習(予測
係数学習)により得られたものである。
【0247】予測回路146は、予測値計算用ブロック
化回路142からの予測値計算用ブロックと、予測係数
ROM145からの予測係数とを用いて、元の画像(学
習用画像)の予測値を算出(予測)するようになされて
いる。
【0248】次に、図26のフローチャートを参照し
て、その動作について説明する。
【0249】ローカルデコード部127においては、ま
ず最初に、ステップS91において、演算回路126か
らの補正データが順次受信されてブロック化される。即
ち、クラス分類用ブロック化回路141において、補正
データが、4画素(図2のX1乃至X4)のクラス分類用
ブロックにブロック化され、ADRC処理回路143に
供給されるとともに、予測値計算用ブロック化回路14
2において、補正データが4画素の予測値計算用ブロッ
クにブロック化され、予測回路146に供給される。
【0250】なお、クラス分類用ブロック化回路141
と予測値計算用ブロック化回路142では、対応するク
ラス分類用ブロックと予測値計算用ブロックが生成され
る。
【0251】ADRC処理回路143は、クラス分類用
ブロックを受信すると、ステップS92において、その
クラス分類用ブロックに対して、例えば、1ビットのA
DRC(1ビットで再量子化を行うADRC)処理を施
し、これにより、補正データを、1ビットに変換(符号
化)して、クラス分類回路144に出力する。クラス分
類回路144は、ステップS93において、ADRC処
理が施されたクラス分類用ブロックに対して、クラス分
類処理を施し、そのクラス分類用ブロックが属するクラ
スを判定する。このクラスの判定結果は、クラス情報と
して、予測係数ROM145に供給される。
【0252】なお、図25の実施例においては、R,
G,Bの各成分がそれぞれ1ビットのADRC処理が施
された4画素で構成されるクラス分類用ブロックに対し
て、クラス分類処理が施されるので、各クラス分類用ブ
ロックは、4096(=212)のクラスのうちのいずれ
かに分類されることになる。
【0253】そして、ステップS94に進み、予測係数
ROM145の、クラス分類回路144からのクラス情
報に対応するアドレスから予測係数が読み出され、ステ
ップS95において、予測回路146は、その予測係数
と、予測値計算用ブロック化回路142からの予測値計
算用ブロックを構成する4個の画素値とを用い、例え
ば、次のような線形1次式に従って、元の画像の画素値
yの予測値E[y]を算出する。
【0254】E[y]=w11+w22+・・・ 但し、w1,w2,・・・は予測係数を表し、x1,x2
・・・は予測値計算用ブロックを構成する画素の画素値
(補正データ)を表す。但し、x1,x2,・・・は、そ
れぞれR,G,Bの成分を有し、w1,w2,・・・も、
R,G,B用の係数で構成される。
【0255】ここで、図25の実施例においては、上述
したように、予測値計算用ブロックを構成する4画素か
ら、1画素の予測値が算出されるようになされている。
【0256】即ち、例えば、いま、図2に示した補正デ
ータX1乃至X4でなるクラス分類用ブロックについての
クラス情報Cが、クラス分類回路144から出力され、
また、予測値計算用ブロックとして、X1乃至X4でなる
予測値計算用ブロックが、予測値計算用ブロック化回路
142から出力されたものとする。
【0257】さらに、予測係数ROM145には、クラ
ス情報Cに対応するアドレスに、予測係数のセットとし
て、w1(R)乃至w12(R)、w1(G)乃至w
12(G)、w1(B)乃至w12(B)が記憶されている
ものとすると、これにより、上述した場合と同様に、例
えば各画素の各成分YRi,YGi,YBiの予測値E
[YRi],E[YGi],E[YBi]が算出される。
【0258】ステップS94において、以上のようにし
て予測値が求められると、ステップS91に戻り、以
下、ステップS91乃至S94の処理が繰り返され、こ
れにより、4画素単位で予測値が求められていく。
【0259】図25の予測係数ROM145に記憶され
ている予測係数を得るための学習(予測係数学習)を行
う画像処理装置は、図20に示した場合と同様の構成と
なる。そこで、この説明は省略する。
【0260】次に、図27は、図21のマッピング係数
メモリ114に記憶されているマッピング係数を算出す
るための学習(マッピング係数学習)処理を行う画像処
理装置の他の構成例を示している。
【0261】なお、図23の画像処理装置によれば、関
数fが、例えば、線形1次式で表される場合の他、非線
形な式や、2次以上の式で表される場合も、最適な予測
係数を求めることができるが、図27の画像処理装置で
は、関数fが、線形1次式で表される場合にのみ、最適
な予測係数を求めることができるようになされている。
【0262】即ち、図27の画像処理装置は、図21に
おいて、ブロック化回路111が出力するブロックを構
成する4画素(図2のX1,X2,X3,X4)の画素値を
1,y2,y3,y4(それぞれが、R,G,B成分を有
する)とするとともに、マッピング係数メモリ114が
出力するマッピング係数をk1,k2,k3,k4(それぞ
れが、R,G,B成分を有する)とする場合において、
演算回路116が、次式に従って関数値f(y1,y2
・・・,k1,k2,・・・)を演算して補正データを求
めるようになされているときに用いることができる。
【0263】 f(・)=k11+k22+k33+k44
【0264】最適補正データ算出部170には、学習に
適した学習用画像が、例えば、1フレーム単位などで供
給されるようになされている。最適補正データ算出部1
70は、圧縮部171、補正部172、ローカルデコー
ド部173、誤差算出部174、および判定部175で
構成され、そこに入力される学習用画像から、その画素
数を少なくして圧縮した画像であって、元の画像を予測
するのに最適な画像を構成する画素値(以下、適宜、最
適補正データという)を算出し、ラッチ回路176に供
給するようになされている。
【0265】即ち、最適補正データ算出部170に供給
された学習用画像は、圧縮部171および誤差算出部1
74に供給されるようになされている。圧縮部171
は、図21の演算回路116が画素を間引く割合と同一
の割合で、学習用画像を単純に間引き、即ち、本実施例
においては、学習用画像を1/2に単純に間引き、これ
により学習用画像を圧縮して補正部172に供給するよ
うになされている。
【0266】補正部172は、圧縮部171から供給さ
れる、単純な間引きが行われて圧縮されたデータ(以
下、適宜、圧縮データという)を、判定部175からの
制御に従って補正するようになされている。補正部17
2における補正の結果得られるデータ(このデータも、
図21の演算回路116の出力と同様に、5画素のブロ
ックの中心画素の画素値を補正したものであるので、以
下、適宜、補正データという)は、ローカルデコード部
173に供給するようになされている。
【0267】ローカルデコード部173は、図23のロ
ーカルデコード部127における場合と同様にして、補
正部172からの補正データに基づいて、元の画像(学
習用画像)を予測し、その予測値を、誤差算出部174
に供給するようになされている。
【0268】誤差算出部174は、図23の誤差算出部
128における場合と同様にして、そこに入力される、
元の画像データに対する、ローカルデコード部173か
らの予測値の予測誤差を算出するようになされている。
この予測誤差は、誤差情報として、判定部175に供給
されるようになされている。
【0269】判定部175は、誤差算出部174からの
誤差情報に基づいて、補正部172が出力した補正デー
タを、元の画像の圧縮結果とすることの適正さを判定す
るようになされている。そして、判定部175は、補正
部172が出力した補正データを、元の画像の圧縮結果
とすることが適正でないと判定した場合には、補正部1
72を制御し、さらに、圧縮データを補正させ、その結
果得られる新たな補正データを出力させるようになされ
ている。また、判定部175は、補正部172が出力し
た補正データを、元の画像の圧縮結果とすることが適正
であると判定した場合には、補正部172から供給され
た補正データを、最適補正データとして、ラッチ回路1
76に供給するようになされている。
【0270】ラッチ回路176は、メモリ176Aを内
蔵しており、そのメモリ176Aに、補正部172から
供給される最適補正データを記憶させるようになされて
いる。さらに、ラッチ回路176は、メモリ176Aに
記憶された最適補正データのうち、ブロック化回路17
7のメモリ177Aから読み出されるブロックの中心画
素に対応するものを読み出し、メモリ180に供給する
ようになされている。なお、ラッチ回路176は、メモ
リ176Aに、1フレーム分の補正データが記憶される
と、その旨を示す制御信号を、ブロック化回路177に
出力するようになされている。
【0271】ブロック化回路177には、最適補正デー
タ算出部170と同様に、学習用画像が1フレーム単位
で供給されるようになされている。ブロック化回路17
7は、メモリ177Aを内蔵しており、そのメモリ17
7Aに、そこに供給される学習用画像を記憶させるよう
になされている。また、ブロック化回路177は、ラッ
チ回路176から制御信号を受信すると、メモリ177
Aに記憶された学習用画像を、図21のブロック化回路
111における場合と同様に、5画素で構成されるブロ
ックに分割し、そのブロックを順次読み出して、ADR
C処理回路178およびメモリ180に供給するように
なされている。
【0272】なお、ブロック化回路177は、その内蔵
するメモリ177Aからブロックを読み出すときに、そ
のブロックの位置を示す制御信号を、ラッチ回路176
に供給するようになされている。ラッチ回路176で
は、この制御信号に基づいて、メモリ177Aから読み
出される5画素のブロックが認識され、上述したよう
に、そのブロックの中心画素に対応する最適補正データ
が、メモリ176Aから読み出されるようになされてい
る。即ち、これにより、メモリ180に対しては、ある
5画素のブロックと、そのブロックに対応する最適補正
データとが同時に供給されるようになされている。
【0273】ADRC処理回路178またはクラス分類
回路179は、図21のADRC処理回路112または
クラス分類回路113とそれぞれ同様に構成されてい
る。そして、クラス分類回路179が出力する、ブロッ
ク化回路177からのブロックについてのクラス情報
は、メモリ180に対して、アドレスとして供給される
ようになされている。
【0274】メモリ180は、クラス分類回路179か
ら供給されるクラス情報に対応するアドレスに、ラッチ
回路176から供給される最適補正データと、ブロック
化回路177から供給されるブロックとを対応付けて記
憶するようになされている。なお、メモリ180は、1
つのアドレスに複数の情報を記憶することができるよう
になされており、これにより、あるクラス情報に対応す
る最適補正データおよびブロックを、複数セット記憶す
ることができるようになされている。
【0275】演算回路181は、メモリ180に記憶さ
れた、学習用画像の5画素のブロックを構成する5画素
1,y2,y3,y4,y5と、そのブロックに対応付け
られている最適補正データy’とを読み出し、これらに
最小自乗法を適用することで、クラスごとに、マッピン
グ係数k1乃至k5を求め、メモリ182に供給するよう
になされている。メモリ182は、演算回路181から
供給されるクラスごとのマッピング係数k1乃至k5を、
そのクラスに対応したアドレスに記憶するようになされ
ている。
【0276】次に、図28のフローチャートを参照し
て、その動作について説明する。
【0277】学習用画像が入力されると、その学習用画
像は、ブロック化回路177のメモリ177Aに記憶さ
れるとともに、最適補正データ算出部170に供給され
る。最適補正データ算出部170は、学習用画像を受信
すると、ステップS101において、その学習用画像に
ついての最適補正データを算出する。
【0278】このステップS101の処理は、図7のフ
ローチャートの処理と同様である。すなわち、まず、圧
縮部171が、ステップS1において、学習用画像を、
1/2に間引くことにより圧縮データを生成し、補正部
172を介して、即ち、最初は、補正を行わずに、ロー
カルデコード部173に出力する。ローカルデコード部
173では、ステップS2において、補正部172から
の補正データ(最初は、上述したように、画像データ
を、単純に間引いた圧縮データそのもの)に基づいて、
元の画像の予測値が算出される(ローカルデコードが行
われる)。この予測値は、誤差算出部174に供給され
る。
【0279】誤差算出部174は、ローカルデコード部
173から、元の画像の予測値を受信すると、ステップ
S3において、元の画像データに対する、ローカルデコ
ード部173からの予測値の予測誤差を算出し、誤差情
報として、判定部175に供給する。判定部175は、
誤差算出部174から誤差情報を受信すると、ステップ
S4において、その誤差情報に基づいて、補正部172
が出力した補正データを、元の画像の圧縮結果とするこ
との適正さを判定する。
【0280】即ち、ステップS4においては、誤差情報
が所定の閾値ε以下であるかどうかが判定される。ステ
ップS4において、誤差情報が所定の閾値ε以下でない
と判定された場合、補正部172が出力した補正データ
を、元の画像の圧縮結果とするのは適正でないと認識さ
れ、ステップS5に進み、判定部175は、補正部17
2を制御し、これにより、圧縮部171から出力された
圧縮データを補正させる。補正部172は、判定部17
5の制御に従って、補正量(補正値△)を変えて、圧縮
データを補正し、その結果得られる補正データを、ロー
カルデコード部173に出力する。そして、ステップS
2に戻り、以下、同様の処理が繰り返される。
【0281】なお、圧縮データの補正は、例えば、上述
の図23で説明した、マッピング係数の変更と同様にし
て行うことが可能である。
【0282】一方、ステップS4において、誤差情報が
所定の閾値ε以下であると判定された場合、補正部17
2が出力した補正データを、元の画像の圧縮結果とする
のは適正であると認識され、判定部175は、所定の閾
値ε以下の誤差情報が得られたときの補正データを、最
適補正データとして、補正部172からラッチ回路17
6に出力させ、その内蔵するメモリ176Aに記憶させ
て、リターンする。
【0283】以上のようにして、誤差情報が所定の閾値
ε以下となったときにおける、圧縮データを補正した補
正データが、最適補正データとして、メモリ176Aに
記憶させる。なお、この最適補正データは、誤差情報を
所定の閾値ε以下とするものであるから、これを用い
て、予測値を算出することにより、元の画像(原画像)
とほぼ同一の画像を得ることができる。
【0284】図28に戻り、ラッチ回路176は、その
メモリ176Aに、1フレーム分の最適補正データを記
憶すると、制御信号を、ブロック化回路177に出力す
る。ブロック化回路177は、ラッチ回路176から制
御信号を受信すると、ステップS102において、メモ
リ177Aに記憶された学習用画像を、5画素で構成さ
れるブロックに分割する。そして、ブロック化回路17
7は、メモリ177Aに記憶された学習用画像のブロッ
クを読み出して、ADRC処理回路178およびメモリ
180に供給する。
【0285】また、同時に、ブロック化回路177は、
メモリ177Aからブロックを読み出すときに、そのブ
ロックの位置を示す制御信号を、ラッチ回路176に供
給し、ラッチ回路176は、その制御信号に対応して、
メモリ177Aから読み出された5画素のブロックを認
識し、そのブロックの中心画素に対応する最適補正デー
タを読み出して、メモリ180に供給する。
【0286】そして、ステップS103に進み、ADR
C処理回路178において、ブロック化回路177から
のブロックがADRC処理され、さらに、クラス分類回
路179において、そのブロックがクラス分類される。
このクラス分類結果は、アドレスとして、メモリ180
に供給される。
【0287】メモリ180では、ステップS104にお
いて、クラス分類回路179から供給されるクラス情報
に対応するアドレスに、ラッチ回路176から供給され
る最適補正データと、ブロック化回路177から供給さ
れるブロック(学習データ)とが対応付けられて記憶さ
れる。
【0288】そして、ステップS105に進み、メモリ
180に、1フレーム分のブロックおよび最適補正デー
タが記憶されたかどうかが判定される。ステップS10
5において、メモリ180に、1フレーム分のブロック
および最適補正データが、まだ記憶されていないと判定
された場合、ブロック化回路177から次のブロックが
読み出されるとともに、ラッチ回路176からそのブロ
ックに対応する最適補正データが読み出され、ステップ
S103に戻り、以下、ステップS103以降の処理を
繰り返す。
【0289】また、ステップS105において、メモリ
180に、1フレーム分のブロックおよび最適補正デー
タが記憶されたと判定された場合、ステップS106に
進み、学習用画像すべてについて処理が終了したかどう
かが判定される。ステップS106において、学習用画
像すべてについての処理が、まだ終了していないと判定
された場合、ステップS101に戻り、次の学習用画像
について、ステップS101からの処理が繰り返され
る。
【0290】一方、ステップS106において、学習用
画像すべてについての処理が終了したと判定された場
合、ステップS107に進み、演算回路181は、メモ
リ180に記憶された最適補正データとブロックとを、
クラスごとに読み出し、これらにより、式(7)に示し
たような正規方程式をたてる。さらに、演算回路181
は、ステップS108において、その正規方程式を解く
ことで、誤差を最小にする、クラスごとのマッピング係
数を算出する。このマッピング係数は、ステップS10
9において、メモリ12に供給されて記憶され、処理を
終了する。
【0291】関数fが、線形1次式で表される場合にお
いては、以上のようにしてメモリ182に記憶されたマ
ッピング係数を、図21のマッピング係数メモリ114
に記憶させ、これを用いて画像の符号化を行うことがで
きる。
【0292】なお、クラスによっては、マッピング係数
を求めることができるだけの数の正規方程式が得られな
い場合がある。このような場合は、図21の演算回路1
16において、ブロック化回路111から出力されるブ
ロックを構成する5画素の、例えば平均値などが出力さ
れるようなマッピング係数、即ち、k1乃至k5=1/5
などが、デフォルトの値として設定される。
【0293】次に、図29は、図21の送信装置に対応
する受信装置4の構成例を示している。
【0294】受信機/再生装置191においては、記録
媒体2に記録された符号化データが再生され、または伝
送路3を介して伝送されてくる符号化データが受信さ
れ、デコード部192に供給される。
【0295】デコード部192は、図25に示したロー
カルデコード部127におけるクラス分類用ブロック化
回路141乃至予測回路146にそれぞれ対応するクラ
ス分類用ブロック化回路193乃至予測回路198で構
成されており、従って、デコード部192では、図25
のローカルデコード部127における場合と同様にし
て、補正データから予測値が求められ、この予測値で構
成される画像が復号画像として出力される。
【0296】補正データは、誤差情報を所定の閾値以下
とするものであり、従って、受信装置4においては、元
の画像とほぼ同一の画像を得ることができる。
【0297】なお、受信側においては、図29に示すよ
うな受信装置4でなくても、間引きされた画像を補間に
より復号する装置により、通常の補間を行うことで復号
画像を得ることができる。但し、この場合に得られる復
号画像は、画質(解像度)の劣化したものとなる。
【0298】以上においては、R,G,Bのコンポーネ
ント成分を用いて画素データを表現するようにしたが、
コンポーネント信号としては、この他、それぞれ次の式
で表される輝度信号Y、色信号I、および色信号Qの組
み合わせ、輝度信号Y、色差信号R−Y、および色差信
号B−Yの組み合わせ、または、主に印刷の分野におい
て用いられているC(シアン)、M(マゼンダ)、Y
(イエロー)、さらに必要に応じて加えられるK(ブラ
ック)の組み合わせを用いることができる。
【0299】I=0.60R−0.28G−0.32B Q=0.21R−0.52G+0.31B R−Y= 0.7R−0.59G−0.11B B−Y=−0.3R−0.59G+0.89B C=255−R M=255−G Y=255−B 但し、C,M,Rは、R,G,Bをそれぞれ8ビットと
する加法混色で表現されている。
【0300】
【発明の効果】以上の如く、請求項1に記載の画像処理
装置および請求項5に記載の画像処理方法によれば、第
2の画像の第1のコンポーネント信号を、第1の画像の
第1のコンポーネント信号と第2のコンポーネント信号
から予測し、また、第2の画像の第2のコンポーネント
信号を、第1の画像の第1のコンポーネント信号と第2
のコンポーネント信号とから予測するようにしたので、
効率的に高精度に予測処理を行うことが可能となる。
【0301】請求項6に記載の画像符号化装置および請
求項10に記載の画像符号化方法によれば、色空間上の
ベクトルで表した複数の画素データを含む予測データを
用いて、画像を予測するようにしたので、効率的に画像
を符号化することができるとともに、高精度で画像を復
号化することができるように、画像を符号化することが
可能となる。
【図面の簡単な説明】
【図1】本発明の画像処理装置を応用したシステムの構
成例を示すブロック図である。
【図2】図1のサブサンプリング回路の動作を説明する
図である。
【図3】図1の実施例における画素データを説明する図
である。
【図4】図1のROM218の記憶内容を生成する装置
の構成例を示すブロック図である。
【図5】図1の送信装置1の他の構成例を示すブロック
図である。
【図6】図5の送信装置1の機能的構成例を示すブロッ
ク図である。
【図7】図6の送信装置1の動作を説明するためのフロ
ーチャートである。
【図8】図6の圧縮部21の構成例を示すブロック図で
ある。
【図9】図8の圧縮部21の動作を説明するためのフロ
ーチャートである。
【図10】図6のローカルデコード部22の構成例を示
すブロック図である。
【図11】クラス分類処理を説明するための図である。
【図12】ADRC処理を説明するための図である。
【図13】図10のローカルデコード部22の動作を説
明するためのフローチャートである。
【図14】図6の誤差算出部23の構成例を示すブロッ
ク図である。
【図15】図14の誤差算出部23の動作を説明するた
めのフローチャートである。
【図16】図6の判定部24の構成例を示すブロック図
である。
【図17】図16の判定部24の動作を説明するための
フローチャートである。
【図18】図1の受信装置4のさらに他の構成例を示す
ブロック図である。
【図19】図6のローカルデコード部22の他の構成例
を示すブロック図である。
【図20】図19の予測係数ROM81に記憶されてい
る予測係数を算出する画像処理装置の一実施例の構成を
示すブロック図である。
【図21】図1の送信装置1の他の構成例を示すブロッ
ク図である。
【図22】図21の送信装置の動作を説明するためのフ
ローチャートである。
【図23】マッピング係数を得るための学習を行う画像
処理装置の第1実施例の構成を示すブロック図である。
【図24】図23の画像処理装置の動作を説明するため
のフローチャートである。
【図25】図23のローカルデコード部127の構成例
を示すブロック図である。
【図26】図25のローカルデコード部127の処理を
説明するためのフローチャートである。
【図27】マッピング係数を得るための学習を行う画像
処理装置の第2実施例の構成を示すブロック図である。
【図28】図27の画像処理装置の動作を説明するため
のフローチャートである。
【図29】図1の受信装置4の他の構成例を示すブロッ
ク図である。
【符号の説明】
1 送信装置, 2 記録媒体, 3 伝送路, 4
受信装置, 11 I/F, 12 ROM, 13
RAM, 14 CPU, 15 外部記憶装置, 1
6 送信機/記録装置, 21 圧縮部, 22 ロー
カルデコード部, 23 誤差算出部, 24 判定
部, 25 多重化部, 31 間引き回路, 32
補正回路, 33 補正値ROM, 41 クラス分類
用ブロック化回路, 42 予測値計算用ブロック化回
路, 43 クラス分類適応処理回路, 44 ADR
C処理回路, 45 クラス分類回路, 46 適応処
理回路, 51 ブロック化回路, 52 自乗誤差算
出回路, 53,54 演算器, 55 積算部, 5
6 メモリ, 61 予測係数メモリ, 62 補正デ
ータメモリ, 63 誤差情報メモリ, 64 比較回
路, 65 制御回路, 71 受信機/再生装置,
72 分離部, 73 クラス分類用ブロック化回路,
74 ADRC処理回路, 75 クラス分類回路,
76 予測回路, 77 予測値計算用ブロック化回
路, 81 予測係数ROM, 82予測回路, 91
学習用ブロック化回路, 92 教師用ブロック化回
路,93 ADRC処理回路, 94 クラス分類回
路, 95 スイッチ, 96学習データメモリ, 9
7 カウンタ, 98 教師データメモリ, 99演算
回路, 100 メモリ

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 それぞれが複数のコンポーネント信号に
    より構成されている画素データからなる空間解像度の低
    い第1の画像から、空間解像度のより高い第2の画像を
    生成する画像処理装置において、 前記第1の画像の第1の画素データを取得する取得手段
    と、 前記第1の画素データを構成する前記コンポーネント信
    号のうちの、少なくとも第1のコンポーネント信号と第
    2のコンポーネント信号を用いて、前記第2の画像の第
    2の画素データを構成する第1のコンポーネント信号を
    予測するとともに、前記第1の画素データを構成する前
    記コンポーネント信号のうちの、少なくとも前記第1の
    コンポーネント信号と第2のコンポーネント信号を用い
    て、前記第2の画像の第2の画素データを構成する第2
    のコンポーネント信号を予測する予測手段とを備えるこ
    とを特徴とする画像処理装置。
  2. 【請求項2】 前記第1の画素データをクラスに分類す
    るクラス分類手段と、 前記クラスに対応する予測データを記憶する記憶手段と
    をさらに備え、 前記予測手段は、前記予測データを用いて前記予測を行
    うことを特徴とする請求項1に記載の画像処理装置。
  3. 【請求項3】 前記画素データは、3つの前記コンポー
    ネント信号により構成されていることを特徴とする請求
    項1に記載の画像処理装置。
  4. 【請求項4】 前記コンポーネント信号は、R,G,B
    信号であることを特徴とする請求項3に記載の画像処理
    装置。
  5. 【請求項5】 それぞれが複数のコンポーネント信号に
    より構成されている画素データからなる空間解像度の低
    い第1の画像から、空間解像度のより高い第2の画像を
    生成する画像処理方法において、 前記第1の画像の第1の画素データを取得する取得ステ
    ップと、 前記第1の画素データを構成する前記コンポーネント信
    号のうちの、少なくとも第1のコンポーネント信号と第
    2のコンポーネント信号を用いて、前記第2の画像の第
    2の画素データを構成する第1のコンポーネント信号を
    予測するとともに、前記第1の画素データを構成する前
    記コンポーネント信号のうちの、少なくとも前記第1の
    コンポーネント信号と第2のコンポーネント信号を用い
    て、前記第2の画像の第2の画素データを構成する第2
    のコンポーネント信号を予測する予測ステップとを備え
    ることを特徴とする画像処理方法。
  6. 【請求項6】 色空間上のベクトルで表した複数の画素
    データを少なくすることにより圧縮する圧縮手段と、 圧縮した前記画素データのクラスを分類する分類手段
    と、 前記クラスに対応する、前記色空間上のベクトルで表さ
    れる前記画素データを含む予測データを記憶する記憶手
    段と、 前記予測データを用いて、画像を予測する予測手段とを
    備えることを特徴とする画像符号化装置。
  7. 【請求項7】 前記圧縮手段は、9個の画素の中から、
    中央の1個の画素を抽出することを特徴とする請求項6
    に記載の画像符号化装置。
  8. 【請求項8】 前記圧縮手段は、複数の画素データに対
    して、所定の係数を乗算して、1個の画素データを生成
    することを特徴とする請求項6に記載の画像符号化装
    置。
  9. 【請求項9】 前記分類手段は、前記画素データに対し
    て1ビットのADRCを施して、前記クラスを分類する
    ことを特徴とする請求項6に記載の画像符号化装置。
  10. 【請求項10】 色空間上のベクトルで表した複数の画
    素データを少なくすることにより圧縮する圧縮ステップ
    と、 圧縮した前記画素データのクラスを分類する分類ステッ
    プと、 前記クラスに対応する、前記色空間上のベクトルで表さ
    れる前記画素データを含む予測データを記憶する記憶ス
    テップと、 前記予測データを用いて、画像を予測する予測ステップ
    とを備えることを特徴とする画像符号化方法。
JP20662596A 1996-07-17 1996-07-17 画像処理装置および方法、並びに学習装置および方法 Expired - Fee Related JP3748088B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP20662596A JP3748088B2 (ja) 1996-07-17 1996-07-17 画像処理装置および方法、並びに学習装置および方法
KR10-1998-0701960A KR100518100B1 (ko) 1996-07-17 1997-07-17 화상처리장치및방법,및화상부호화장치및방법
PCT/JP1997/002481 WO1998003020A1 (fr) 1996-07-17 1997-07-17 Dispositif et procede de traitement d'images et dispositif et procede de codage d'images
US09/043,359 US6266454B1 (en) 1996-07-17 1997-07-17 Device and method for processing, image and device and method for encoding image
EP97930821A EP0851690A4 (en) 1996-07-17 1997-07-17 DEVICE AND METHOD FOR IMAGE PROCESSING AND DEVICE AND METHOD FOR IMAGE CODING
US09/776,025 US6757435B2 (en) 1996-07-17 2001-02-02 Apparatus for and method of processing image and apparatus for and method of encoding image
US10/761,534 US7155057B2 (en) 1996-07-17 2004-01-21 Apparatus for and method of processing image and apparatus for and method of encoding image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20662596A JP3748088B2 (ja) 1996-07-17 1996-07-17 画像処理装置および方法、並びに学習装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005302050A Division JP4566877B2 (ja) 2005-10-17 2005-10-17 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPH1032837A true JPH1032837A (ja) 1998-02-03
JP3748088B2 JP3748088B2 (ja) 2006-02-22

Family

ID=16526477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20662596A Expired - Fee Related JP3748088B2 (ja) 1996-07-17 1996-07-17 画像処理装置および方法、並びに学習装置および方法

Country Status (5)

Country Link
US (3) US6266454B1 (ja)
EP (1) EP0851690A4 (ja)
JP (1) JP3748088B2 (ja)
KR (1) KR100518100B1 (ja)
WO (1) WO1998003020A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308021A (ja) * 1999-04-20 2000-11-02 Niigata Seimitsu Kk 画像処理回路
US6549672B1 (en) * 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6337122B1 (en) * 2000-01-11 2002-01-08 Micron Technology, Inc. Stereolithographically marked semiconductors devices and methods
US9503789B2 (en) * 2000-08-03 2016-11-22 Cox Communications, Inc. Customized user interface generation in a video on demand environment
US7171059B1 (en) * 2002-05-23 2007-01-30 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7324709B1 (en) * 2001-07-13 2008-01-29 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US9113846B2 (en) * 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
US20050187433A1 (en) * 2001-07-26 2005-08-25 Given Imaging Ltd. In-vivo imaging device providing constant bit rate transmission
TW559737B (en) * 2001-11-02 2003-11-01 Ind Tech Res Inst Color conversion method for preference color
US7453936B2 (en) * 2001-11-09 2008-11-18 Sony Corporation Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system
JP4055203B2 (ja) 2002-09-12 2008-03-05 ソニー株式会社 データ処理装置およびデータ処理方法、記録媒体、並びにプログラム
US7212676B2 (en) * 2002-12-30 2007-05-01 Intel Corporation Match MSB digital image compression
EP1445734B1 (en) * 2003-02-06 2007-08-08 STMicroelectronics S.r.l. Method and apparatus for texture compression
US7382937B2 (en) * 2003-03-07 2008-06-03 Hewlett-Packard Development Company, L.P. Method and apparatus for re-constructing high-resolution images
WO2005102281A2 (en) * 2004-04-16 2005-11-03 University Of Massachusetts Porous calcium phosphate networks for synthetic bone material
JP2006259663A (ja) * 2004-06-30 2006-09-28 Canon Inc 画像処理方法、画像表示装置、映像受信表示装置および画像処理装置
US6995526B1 (en) * 2004-08-09 2006-02-07 National Semiconductor Corporation Digitally controlled vertical C linearity correction with constant start and end points without using an AGC
DE102005016827A1 (de) 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
US20060262210A1 (en) * 2005-05-19 2006-11-23 Micron Technology, Inc. Method and apparatus for column-wise suppression of noise in an imager
JP4351658B2 (ja) * 2005-07-21 2009-10-28 マイクロン テクノロジー, インク. メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
WO2007084062A2 (en) * 2006-01-23 2007-07-26 Telefonaktiebolaget Lm Ericsson (Publ). Image processing
US8605797B2 (en) * 2006-02-15 2013-12-10 Samsung Electronics Co., Ltd. Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium
JP4169768B2 (ja) * 2006-02-24 2008-10-22 三菱電機株式会社 画像符号化装置、画像処理装置、画像符号化方法、及び画像処理方法
JP2007312126A (ja) * 2006-05-18 2007-11-29 Toshiba Corp 画像処理回路
US8331663B2 (en) * 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
US8842739B2 (en) * 2007-07-20 2014-09-23 Samsung Electronics Co., Ltd. Method and system for communication of uncompressed video information in wireless systems
US8243823B2 (en) * 2007-08-29 2012-08-14 Samsung Electronics Co., Ltd. Method and system for wireless communication of uncompressed video information
US20090323810A1 (en) * 2008-06-26 2009-12-31 Mediatek Inc. Video encoding apparatuses and methods with decoupled data dependency
US8270466B2 (en) * 2008-10-03 2012-09-18 Sony Corporation Adaptive decimation filter
US8249160B2 (en) 2008-10-03 2012-08-21 Sony Corporation Extracting multiple classified adaptive decimation filters
US9369759B2 (en) * 2009-04-15 2016-06-14 Samsung Electronics Co., Ltd. Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
US9176928B2 (en) * 2009-07-07 2015-11-03 L3 Communication Integrated Systems, L.P. System for convergence evaluation for stationary method iterative linear solvers
UA109312C2 (uk) 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
JP2014200000A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
CA3066051A1 (en) * 2017-06-04 2018-12-13 Killer Whale L.T.D Toilet cleaning devices systems and methods

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2575351B1 (fr) * 1984-12-21 1988-05-13 Thomson Csf Procede adaptatif de codage et de decodage d'une suite d'images par transformation, et dispositifs pour la mise en oeuvre de ce procede
JPS61205093A (ja) * 1985-03-08 1986-09-11 Mitsubishi Electric Corp カラ−静止画像高能率符号化装置
EP0632656A3 (en) 1985-02-28 1995-03-08 Mitsubishi Electric Corp Inter-image coding apparatus with adaptive vector quantization.
JPS639390A (ja) * 1986-06-30 1988-01-16 アメリカン テレフオン アンド テレグラフ カムパニ− デジタルビデオ伝送システム
JP2550573B2 (ja) * 1987-04-28 1996-11-06 ソニー株式会社 カラ−テレビジヨン信号の高能率符号化装置
GB2231460B (en) * 1989-05-04 1993-06-30 Sony Corp Spatial interpolation of digital video signals
EP0416833B1 (en) * 1989-09-05 2000-01-05 Canon Kabushiki Kaisha Color image encoding
JP2844861B2 (ja) * 1990-06-29 1999-01-13 ソニー株式会社 画像信号の高能率符号化装置及び符号化方法
US5631979A (en) * 1992-10-26 1997-05-20 Eastman Kodak Company Pixel value estimation technique using non-linear prediction
JPH06152970A (ja) * 1992-11-02 1994-05-31 Fujitsu Ltd 画像圧縮方法及び画像処理装置
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
JP3640405B2 (ja) * 1993-09-07 2005-04-20 ソニー株式会社 画像情報符号化装置および復号装置
US5663764A (en) * 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
JP4190576B2 (ja) * 1994-08-31 2008-12-03 ソニー株式会社 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置
GB2293938B (en) * 1994-10-04 1999-01-20 Winbond Electronics Corp Apparatus for digital video format conversion

Also Published As

Publication number Publication date
EP0851690A1 (en) 1998-07-01
JP3748088B2 (ja) 2006-02-22
KR100518100B1 (ko) 2005-12-30
EP0851690A4 (en) 2002-05-29
US20050018916A1 (en) 2005-01-27
US7155057B2 (en) 2006-12-26
US6266454B1 (en) 2001-07-24
US20010031091A1 (en) 2001-10-18
WO1998003020A1 (fr) 1998-01-22
US6757435B2 (en) 2004-06-29

Similar Documents

Publication Publication Date Title
JP3748088B2 (ja) 画像処理装置および方法、並びに学習装置および方法
KR100529662B1 (ko) 화상코딩및디코딩장치,및계층적코딩및디코딩방법
KR100538731B1 (ko) 화소블록의클래스정보에대응되는매핑계수를이용하는화상부호화및화상복호화
KR100537123B1 (ko) 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체
KR100574732B1 (ko) 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체
JPH11187407A (ja) 画像符号化装置および画像符号化方法、提供媒体、画像復号装置および画像復号方法、並びに学習装置および学習方法
WO1998030028A1 (en) Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium
JP3747970B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
JP3844031B2 (ja) 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
JP4566877B2 (ja) 画像処理装置および方法
JP4534951B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JP4807349B2 (ja) 学習装置および方法
JP3912629B2 (ja) 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体
JP2006101535A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体
JP3952326B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JP3963184B2 (ja) 信号処理装置及び信号処理方法
EP1298934A1 (en) Apparatus and method for image coding and decoding
JP4487900B2 (ja) 画像処理システム
JP4496494B2 (ja) 画像符号化装置および画像符号化方法
JP2002199393A (ja) ディジタル画像信号処理装置および処理方法
JP2005117682A (ja) 係数生成装置および方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131209

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees