JPH10191353A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 少ないデータ量で、元の画像とほぼ同一の復
号画像を得ることができるようにする。 【解決手段】 圧縮部２１において、原画像を間引くこ
とにより得られる圧縮データが補正され、補正データが
出力される。ローカルデコード部２２では、その補正デ
ータを用いて線形補間が行われ、その結果得られる補間
データに基づいて、原画像が予測され、その予測値が出
力される。そして、誤差算出部２３において、原画像に
対する、予測値の予測誤差が算出される。以上の処理
が、判定部２４において、予測誤差が所定値以下である
と判定されるまで繰り返され、予測誤差が所定値以下に
なったときにおける補正データが、原画像の符号化結果
として出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号化装置および画像復号化
方法、並びに記録媒体に関する。特に、原画像とほぼ同
一の復号画像が得られるように、画像を間引いて圧縮符
号化する画像符号化装置および画像符号化方法、画像復
号化装置および画像符号化方法、並びに記録媒体に関す
る。

【０００２】

【従来の技術】従来より、画像の圧縮方法については、
種々の方法が提案されているが、そのうちの１つに、画
像を、その画素を間引くことにより圧縮する方法があ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うに間引いて圧縮した画像を、単純に補間により伸張し
た場合、その結果得られる復号画像の解像度が劣化す
る。

【０００４】ここで、このように復号画像の解像度が劣
化する原因として、第１に、間引い画像には、元の画像
に含まれる高周波数成分が含まれていないことと、第２
に、間引き後の画像を構成する画素の画素値が、元の画
像を復元するのに、必ずしも適当でないことが考えられ
る。

【０００５】本発明は、このような状況に鑑みてなされ
たものであり、原画像と同一（ほぼ同一）の復号画像が
得られるように、画像を間引いて圧縮符号化することが
できるようにするものである。

【０００６】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、原画像を圧縮することにより得られる圧縮
データを補正し、補正データを出力する補正手段と、補
正データを用いて補間を行う補間手段と、補間手段によ
る補間の結果得られる補間データに基づいて、原画像を
予測し、その予測値を出力する予測手段と、原画像に対
する、予測値の予測誤差を算出する算出手段と、予測誤
差に基づいて、補正手段が出力する補正データの適正さ
を判定する判定手段と、判定手段による判定結果に対応
して、補正データを、原画像の符号化結果として出力す
る出力手段とを備えることを特徴とする。

【０００７】請求項４に記載の画像符号化方法は、原画
像を圧縮することにより得られる圧縮データを補正し
て、補正データを出力し、補正データを用いて補間を行
うことにより補間データを出力し、補間データに基づい
て、原画像を予測して、その予測値を出力し、原画像に
対する、予測値の予測誤差を算出することを、予測誤差
が所定値以下になるまで繰り返し、予測誤差が所定値以
下になったときにおける補正データを、原画像の符号化
結果として出力することを特徴とする。

【０００８】請求項５に記載の画像復号化装置は、符号
化データが、原画像を圧縮することにより得られる圧縮
データを補正して、補正データを出力し、補正データを
用いて補間を行うことにより補間データを出力し、補間
データに基づいて、原画像を予測して、その予測値を出
力し、原画像に対する、予測値の予測誤差を算出するこ
とを、予測誤差が所定値以下になるまで繰り返すことに
より得られた、予測誤差が所定値以下になったときにお
ける補正データである場合、符号化データを用いて補間
を行う補間手段と、補間手段による補間の結果得られる
補間データに基づいて、原画像の予測値を算出する予測
手段とを備えることを特徴とする。

【０００９】請求項６に記載の画像復号化方法は、符号
化データが、原画像を圧縮することにより得られる圧縮
データを補正して、補正データを出力し、補正データを
用いて補間を行うことにより補間データを出力し、補間
データに基づいて、原画像を予測して、その予測値を出
力し、原画像に対する、予測値の予測誤差を算出するこ
とを、予測誤差が所定値以下になるまで繰り返すことに
より得られた、予測誤差が所定値以下になったときにお
ける補正データである場合、符号化データを用いて補間
を行うことにより補間データを求め、補間データに基づ
いて、原画像の予測値を算出することを特徴とする。

【００１０】請求項７に記載の記録媒体は、符号化デー
タが、原画像を圧縮することにより得られる圧縮データ
を補正して、補正データを出力し、補正データを用いて
補間を行うことにより補間データを出力し、補間データ
に基づいて、原画像を予測して、その予測値を出力し、
原画像に対する、予測値の予測誤差を算出することを、
予測誤差が所定値以下になるまで繰り返すことにより得
られた、予測誤差が所定値以下になったときにおける補
正データであることを特徴とする。

【００１１】請求項８に記載の画像符号化装置は、原画
像を圧縮することにより得られる圧縮データを補正し、
補正データを出力する補正手段と、補正データに基づい
て、原画像を予測し、その予測値を出力する予測手段
と、原画像に対する、予測値の予測誤差を算出する算出
手段と、予測誤差に基づいて、補正手段が出力する補正
データの適正さを判定する判定手段と、判定手段による
判定結果に対応して、補正データを、原画像の符号化結
果として出力する出力手段とを備え、予測手段が、所定
の注目画素を含む所定の範囲内の画素についての補正デ
ータに基づいて、予測値を算出し、補正手段が、予測値
の予測誤差に対応して、所定の注目画素のみについての
圧縮データを補正することを特徴とする。

【００１２】請求項９に記載の画像符号化方法は、原画
像を圧縮することにより得られる圧縮データを補正し
て、補正データを出力し、補正データに基づいて、原画
像を予測して、その予測値を出力し、原画像に対する、
予測値の予測誤差を算出することを、予測誤差が所定値
以下になるまで繰り返し、予測誤差が所定値以下になっ
たときにおける補正データを、原画像の符号化結果とし
て出力する画像符号化方法であって、予測値を、所定の
注目画素を含む所定の範囲内の画素についての補正デー
タに基づいて算出し、予測値の予測誤差に対応して、所
定の注目画素のみについての圧縮データを補正すること
を特徴とする。

【００１３】請求項１０に記載の記録媒体は、原画像を
圧縮することにより得られる圧縮データを補正して、補
正データを出力し、補正データに基づいて、原画像を予
測して、その予測値を出力し、原画像に対する、予測値
の予測誤差を算出することを、予測誤差が所定値以下に
なるまで繰り返し、予測誤差が所定値以下になったとき
における補正データが、原画像を符号化した符号化デー
タとして記録されている記録媒体であって、符号化デー
タが、予測値を、所定の注目画素を含む所定の範囲内の
画素についての補正データに基づいて算出し、予測値の
予測誤差に対応して、所定の注目画素のみについての圧
縮データを補正することをにより得られたものであるこ
とを特徴とする。

【００１４】請求項１に記載の画像符号化装置において
は、補正手段は、原画像を圧縮することにより得られる
圧縮データを補正し、補正データを出力するようになさ
れている。補間手段は、補正データを用いて補間を行
い、予測手段は、補間手段による補間の結果得られる補
間データに基づいて、原画像を予測し、その予測値を出
力するようになされている。算出手段は、原画像に対す
る、予測値の予測誤差を算出し、判定手段は、予測誤差
に基づいて、補正手段が出力する補正データの適正さを
判定するようになされている。出力手段は、判定手段に
よる判定結果に対応して、補正データを、原画像の符号
化結果として出力するようになされている。

【００１５】請求項４に記載の画像符号化方法において
は、原画像を圧縮することにより得られる圧縮データを
補正して、補正データを出力し、補正データを用いて補
間を行うことにより補間データを出力し、補間データに
基づいて、原画像を予測して、その予測値を出力し、原
画像に対する、予測値の予測誤差を算出することを、予
測誤差が所定値以下になるまで繰り返し、予測誤差が所
定値以下になったときにおける補正データを、原画像の
符号化結果として出力するようになされている。

【００１６】請求項５に記載の画像復号化装置において
は、符号化データが、原画像を圧縮することにより得ら
れる圧縮データを補正して、補正データを出力し、補正
データを用いて補間を行うことにより補間データを出力
し、補間データに基づいて、原画像を予測して、その予
測値を出力し、原画像に対する、予測値の予測誤差を算
出することを、予測誤差が所定値以下になるまで繰り返
すことにより得られた、予測誤差が所定値以下になった
ときにおける補正データである場合において、補間手段
は、符号化データを用いて補間を行い、予測手段は、補
間手段による補間の結果得られる補間データに基づい
て、原画像の予測値を算出するようになされている。

【００１７】請求項６に記載の画像復号化方法において
は、符号化データが、原画像を圧縮することにより得ら
れる圧縮データを補正して、補正データを出力し、補正
データを用いて補間を行うことにより補間データを出力
し、補間データに基づいて、原画像を予測して、その予
測値を出力し、原画像に対する、予測値の予測誤差を算
出することを、予測誤差が所定値以下になるまで繰り返
すことにより得られた、予測誤差が所定値以下になった
ときにおける補正データである場合において、符号化デ
ータを用いて補間を行うことにより補間データを求め、
補間データに基づいて、原画像の予測値を算出するよう
になされている。

【００１８】請求項７に記載の記録媒体には、原画像を
圧縮することにより得られる圧縮データを補正して、補
正データを出力し、補正データを用いて補間を行うこと
により補間データを出力し、補間データに基づいて、原
画像を予測して、その予測値を出力し、原画像に対す
る、予測値の予測誤差を算出することを、予測誤差が所
定値以下になるまで繰り返すことにより得られた、予測
誤差が所定値以下になったときにおける補正データが、
符号化データとして記録されている。

【００１９】請求項８に記載の画像符号化装置において
は、補正手段は、原画像を圧縮することにより得られる
圧縮データを補正し、補正データを出力するようになさ
れている。予測手段は、補正データに基づいて、原画像
を予測し、その予測値を出力し、算出手段は、原画像に
対する、予測値の予測誤差を算出するようになされてい
る。判定手段は、予測誤差に基づいて、補正手段が出力
する補正データの適正さを判定し、出力手段は、判定手
段による判定結果に対応して、補正データを、原画像の
符号化結果として出力するようになされている。この場
合において、予測手段が、所定の注目画素を含む所定の
範囲内の画素についての補正データに基づいて、予測値
を算出し、補正手段が、予測値の予測誤差に対応して、
所定の注目画素のみについての圧縮データを補正するよ
うになされている。

【００２０】請求項９に記載の画像符号化方法において
は、原画像を圧縮することにより得られる圧縮データを
補正して、補正データを出力し、補正データに基づい
て、原画像を予測して、その予測値を出力し、原画像に
対する、予測値の予測誤差を算出することを、予測誤差
が所定値以下になるまで繰り返し、予測誤差が所定値以
下になったときにおける補正データを、原画像の符号化
結果として出力するようになされている。この場合にお
いて、予測値を、所定の注目画素を含む所定の範囲内の
画素についての補正データに基づいて算出し、予測値の
予測誤差に対応して、所定の注目画素のみについての圧
縮データを補正するようになされている。

【００２１】請求項１０に記載の記録媒体には、原画像
を圧縮することにより得られる圧縮データを補正して、
補正データを出力し、補正データに基づいて、原画像を
予測して、その予測値を出力し、原画像に対する、予測
値の予測誤差を算出することを、予測誤差が所定値以下
になるまで繰り返し、予測誤差が所定値以下になったと
きにおける補正データが、原画像を符号化した符号化デ
ータとして記録されている。さらに、この符号化データ
は、予測値を、所定の注目画素を含む所定の範囲内の画
素についての補正データに基づいて算出し、予測値の予
測誤差に対応して、所定の注目画素のみについての圧縮
データを補正することをにより得られたものとなってい
る。

【００２２】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施例との対応関係を明らかにするため
に、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００２３】即ち、請求項１に記載の画像符号化装置
は、画像を符号化する画像符号化装置であって、原画像
を、その画素数を少なくすることにより圧縮する圧縮手
段（例えば、図５に示す間引き回路３１など）と、原画
像を圧縮することにより得られる圧縮データを補正し、
補正データを出力する補正手段（例えば、図５に示す補
正回路３２など）と、補正データを用いて補間を行う補
間手段（例えば、図８に示す線形補間回路４０など）
と、補間手段による補間の結果得られる補間データに基
づいて、原画像を予測し、その予測値を出力する予測手
段（例えば、図８に示すクラス分類適応処理回路４３な
ど）と、原画像に対する、予測値の予測誤差を算出する
算出手段（例えば、図３に示す誤差算出部２３など）
と、予測誤差に基づいて、補正手段が出力する補正デー
タの適正さを判定する判定手段（例えば、図３に示す判
定部２４など）と、判定手段による判定結果に対応し
て、補正データを、原画像の符号化結果として出力する
出力手段（例えば、図３に示す判定部２４など）とを備
えることを特徴とする。

【００２４】請求項５に記載の画像復号化装置は、画像
を符号化した符号化データを復号化する画像復号化装置
であって、符号化データが、原画像を、その画素数を少
なくすることにより圧縮し、原画像を圧縮することによ
り得られる圧縮データを補正して、補正データを出力
し、補正データを用いて補間を行うことにより補間デー
タを出力し、補間データに基づいて、原画像を予測し
て、その予測値を出力し、原画像に対する、予測値の予
測誤差を算出することを、予測誤差が所定値以下になる
まで繰り返すことにより得られた、予測誤差が所定値以
下になったときにおける補正データである場合、符号化
データを用いて補間を行う補間手段（例えば、図１６に
示す線形補間回路７８など）と、補間手段による補間の
結果得られる補間データに基づいて、原画像の予測値を
算出する予測手段（例えば、図１６に示す予測回路７６
など）とを備えることを特徴とする。

【００２５】請求項８に記載の画像符号化装置は、画像
を符号化する画像符号化装置であって、原画像を、その
画素数を少なくすることにより圧縮する圧縮手段（例え
ば、図３に示す圧縮部２１など）と、原画像を圧縮する
ことにより得られる圧縮データを補正し、補正データを
出力する補正手段（例えば、図３に示す圧縮部２１な
ど）と、補正データに基づいて、原画像を予測し、その
予測値を出力する予測手段（例えば、図３に示すローカ
ルデコード部２２など）と、原画像に対する、予測値の
予測誤差を算出する算出手段（例えば、図３に示す誤差
算出部２３など）と、予測誤差に基づいて、補正手段が
出力する補正データの適正さを判定する判定手段（例え
ば、図３に示す判定部２４など）と、判定手段による判
定結果に対応して、補正データを、原画像の符号化結果
として出力する出力手段（例えば、図３に示す判定部２
４など）とを備え、予測手段が、所定の注目画素を含む
所定の範囲内の画素についての補正データに基づいて、
予測値を算出し、補正手段が、予測値の予測誤差に対応
して、所定の注目画素のみについての圧縮データを補正
することを特徴とする。

【００２６】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００２７】図１は、本発明を適用した画像処理装置の
一実施の形態の構成を示している。送信装置１には、デ
ィジタル化された画像データが供給されるようになされ
ている。送信装置１は、入力された画像データを間引く
こと（その画素数を少なくすること）により圧縮、符号
化し、その結果得られる符号化データを、例えば、光デ
ィスクや、光磁気ディスク、磁気テープその他でなる記
録媒体２に記録し、または、例えば、地上波や、衛星回
線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して
伝送する。

【００２８】受信装置４では、記録媒体２に記録された
符号化データが再生され、または、伝送路３を介して伝
送されてくる符号化データが受信され、その符号化デー
タを伸張、復号化し、その結果得られる復号画像を、図
示せぬディスプレイに供給して表示させる。

【００２９】なお、以上のような画像処理装置は、例え
ば、光ディスク装置や、光磁気ディスク装置、磁気テー
プ装置その他の、画像の記録／再生を行う装置や、ある
いはまた、例えば、テレビ電話装置や、テレビジョン放
送システム、ＣＡＴＶシステムその他の、画像の伝送を
行う装置などに適用される。また、後述するように、送
信装置１が出力する符号化データのデータ量が少ないた
め、図１の画像処理装置は、伝送レートの低い、例え
ば、携帯電話機その他の、移動に便利な携帯端末などに
も適用可能である。

【００３０】図２は、送信装置１の構成例を示してい
る。

【００３１】Ｉ／Ｆ（InterFace）１１は、外部から供
給される画像データの受信処理と、送信機／記録装置１
６に対しての、符号化データの送信処理を行うようにな
されている。ＲＯＭ（Read Only Memory）１２は、ＩＰ
Ｌ（Initial Program Loading）用のプログラムその他
を記憶している。ＲＡＭ（Random Access Memory）１３
は、外部記憶装置１５に記録されているシステムプログ
ラム（ＯＳ（Operating System））やアプリケーション
プログラムを記憶したり、また、ＣＰＵ（Central Proc
essing Unit）１４の動作上必要なデータを記憶するよ
うになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶さ
れているＩＰＬプログラムにしたがい、外部記憶装置１
５からシステムプログラムおよびアプリケーションプロ
グラムを、ＲＡＭ１３に展開し、そのシステムプログラ
ムの制御の下、アプリケーションプログラムを実行する
ことで、Ｉ／Ｆ１１から供給される画像データについて
の、後述するような符号化処理を行うようになされてい
る。外部記憶装置１５は、例えば、磁気ディスク装置な
どでなり、上述したように、ＣＰＵ１４が実行するシス
テムプログラムやアプリケーションプログラムを記憶し
ている他、ＣＰＵ１４の動作上必要なデータも記憶して
いる。送信機／記録装置１６は、Ｉ／Ｆ１１から供給さ
れる符号化データを、記録媒体２に記録し、または伝送
路３を介して伝送するようになされている。

【００３２】なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１
３，ＣＰＵ１４、および外部記憶装置１５は、相互にバ
スを介して接続されている。

【００３３】以上のように構成される送信装置１におい
ては、Ｉ／Ｆ１１に画像データが供給されると、その画
像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、
画像データを符号化し、その結果得られる符号化データ
を、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化デー
タを受信すると、それを、送信機／記録装置１６に供給
する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符
号化データが、記録媒体２に記録され、または伝送路３
を介して伝送される。

【００３４】図３は、図２の送信装置１の、送信機／記
録装置１６を除く部分の機能的なブロック図である。

【００３５】符号化すべき画像データは、圧縮部２１、
ローカルデコード部２２、および誤差算出部２３に供給
されるようになされている。圧縮部２１は、画像データ
を、その画素を、例えば、単純に間引くことにより圧縮
し、その結果得られる圧縮データ（間引きが行われた後
の画像データ）を、判定部２４からの制御にしたがって
補正するようになされている。圧縮部２１における補正
の結果得られる補正データは、ローカルデコード部２２
および判定部２４に供給するようになされている。

【００３６】ローカルデコード部２２は、圧縮部２１か
らの補正データに基づいて、元の画像を予測し、その予
測値を、誤差算出部２３に供給するようになされてい
る。なお、ローカルデコード部２２は、後述するよう
に、補正データとの線形結合により、予測値を算出する
ための予測係数を求める適応処理を行い、その予測係数
に基づいて、予測値を求めるようになされており、上述
したように、予測値を、誤差算出部２３に供給する他、
そのとき求めた予測係数を、判定部２４に供給するよう
にもなされている。

【００３７】誤差算出部２３は、そこに入力される、元
の画像データ（原画像）に対する、ローカルデコード部
２２からの予測値の予測誤差を算出するようになされて
いる。この予測誤差は、誤差情報として、判定部２４に
供給されるようになされている。

【００３８】判定部２４は、誤差算出部２３からの誤差
情報に基づいて、圧縮部２１が出力した補正データを、
元の画像の符号化結果とすることの適正さを判定するよ
うになされている。そして、判定部２４は、圧縮部２１
が出力した補正データを、元の画像の符号化結果とする
ことが適正でないと判定した場合には、圧縮部２１を制
御し、さらに、圧縮データを補正させ、その結果得られ
る新たな補正データを出力させるようになされている。
また、判定部２４は、圧縮部２１が出力した補正データ
を、元の画像の符号化結果とすることが適正であると判
定した場合には、圧縮部２１から供給された補正データ
を、最適な圧縮データ（以下、適宜、最適圧縮データと
いう）として多重化部２５に供給するとともに、ローカ
ルデコード部２２から供給された予測係数を多重化部２
５に供給するようになされている。

【００３９】多重化部２５は、判定部２４からの最適圧
縮データ（補正データ）と、予測係数とを多重化し、そ
の多重化結果を、符号化データとして、送信機／記録装
置１６（図２）に供給するようになされている。

【００４０】次に、図４のフローチャートを参照して、
その動作について説明する。圧縮部２１に対して、画像
データが供給されると、圧縮部２１は、ステップＳ１に
おいて、その画像データを間引くことにより圧縮し、最
初は、補正を行わずに、ローカルデコード部２２および
判定部２４に出力する。ローカルデコード部２２では、
ステップＳ２において、圧縮部２１からの補正データ
（最初は、上述したように、画像データを、単純に間引
いた圧縮データそのもの）がローカルデコードされる。

【００４１】即ち、ステップＳ２では、圧縮部２１から
の補正データとの線形結合により、元の画像の予測値を
算出するための予測係数を求める適応処理が行われ、そ
の予測係数に基づいて、予測値が求められる。ローカル
デコード部２２において求められた予測値は誤差算出部
２３に、また、予測係数は判定部２４に供給される。

【００４２】ここで、ローカルデコード部２２が出力す
る予測値で構成される画像は、受信装置４（図１）側に
おいて得られる復号画像と同一のものである。

【００４３】誤差算出部２３は、ローカルデコード部２
２から、元の画像の予測値を受信すると、ステップＳ３
において、元の画像データに対する、ローカルデコード
部２２からの予測値の予測誤差を算出し、誤差情報とし
て、判定部２４に供給する。判定部２４は、誤差算出部
２３から誤差情報を受信すると、ステップＳ４におい
て、その誤差情報に基づいて、圧縮部２１が出力した補
正データを、元の画像の符号化結果とすることの適正さ
を判定する。

【００４４】即ち、ステップＳ４においては、誤差情報
が所定の閾値ε以下であるかどうかが判定される。ステ
ップＳ４において、誤差情報が所定の閾値ε以下でない
と判定された場合、圧縮部２１が出力した補正データ
を、元の画像の符号化データとするのは適正でないと認
識され、ステップＳ５に進み、判定部２４は、圧縮部２
１を制御し、これにより、圧縮データを補正させる。圧
縮部２１は、判定部２４の制御にしたがって、圧縮デー
タを補正し、その結果得られる補正データを、ローカル
デコード部２２および判定部２４に出力する。そして、
ステップＳ２に戻り、以下、同様の処理が繰り返され
る。

【００４５】一方、ステップＳ４において、誤差情報が
所定の閾値ε以下であると判定された場合、圧縮部２１
が出力した補正データを、元の画像の符号化結果とする
のは適正であると認識され、判定部２４は、所定の閾値
ε以下の誤差情報が得られたときの補正データを、最適
圧縮データとして、予測係数とともに、多重化部２５に
出力する。多重化部２５では、ステップＳ６において、
判定部２４からの最適圧縮データと予測係数とが多重化
され、その結果得られる符号化データが出力されて、処
理を終了する。

【００４６】以上のように、誤差情報が所定の閾値ε以
下となったときにおける、圧縮データを補正した補正デ
ータ（最適圧縮データ）を、元の画像の符号化結果とす
るようにしたので、受信装置４側においては、その補正
データに基づいて、元の画像（原画像）とほぼ同一の画
像を得ることが可能となる。

【００４７】次に、図５は、図３の圧縮部２１の構成例
を示している。

【００４８】符号化すべき画像データは、ダウンフィル
タ３０に入力されるようになされている。ダウンフィル
タ３０は、例えば、ハーフバンドの１次元の３１タップ
のローパスフィルタで、符号化すべき画像データをフィ
ルタリングして、間引き回路３１に供給するようになさ
れている。間引き回路３１は、ダウンフィルタ３０から
の画像データを１／Ｎに間引くようになされている。従
って、間引き回路３１からは、画像データを、１／Ｎに
圧縮した圧縮データが出力されるようになされている。
この圧縮データは、間引き回路３１から補正回路３２に
供給されるようになされている。

【００４９】補正回路３２は、判定部２４（図３）から
の制御信号にしたがった補正値△を、間引き回路３１か
らの圧縮データに対して、例えば加算することで、補正
データを生成し、ローカルデコード部２２および判定部
２４に供給するようになされている。

【００５０】次に、図６を参照して、図５の圧縮部２１
の処理について説明する。

【００５１】例えば、１フレーム（フィールド）分など
の画像データが、ダウンフィルタ３０に供給されると、
ダウンフィルタ３０では、ステップＳ１０において、そ
の画像データがフィルタリングされる。即ち、ダウンフ
ィルタ３０としての、例えば、ハーフバンドの１次元の
３１タップのローパスフィルタが、画像データに対し
て、まず垂直方向にかけられ、その後水平方向にかけら
れる。ダウンフィルタ３０におけるフィルタリング結果
としての画像データは、間引き回路３１に出力される。

【００５２】ここで、ダウンフィルタ３０は、１次元
や、３１タップのものなどに限定されるものではない。
即ち、ダウンフィルタ３０としては、例えば、２次元の
３×３のローパスフィルタや、５×５のローパスフィル
タなどを用いることが可能である。まだ、ダウンフィル
タ３０は、必ずしも設ける必要はない。即ち、間引き回
路３１には、符号化すべき画像データをそのまま入力す
るようにすることが可能である。

【００５３】間引き回路３１では、ステップＳ１１にお
いて、ダウンフィルタ３０からの画像データが１／Ｎに
間引かれ（サブサンプリングされ）、その結果得られる
圧縮データが、補正回路３２に出力される。

【００５４】ここで、間引き回路３１は、図７に示すよ
うに、入力された画像データを、例えば、１／９に間引
くようになされている。即ち、間引き回路３１は、３×
３（横×縦）の９画素を１単位とし、各単位の中心の画
素（同図において、●印で示す部分）についての画素値
のみを抽出し、他の部分（同図において、○印で示す部
分）を削除する。なお、間引き回路３１は、以上のよう
な処理を、例えば、１フレーム（フィールド）単位で行
うようになされている。従って、間引き回路３１から補
正回路３２に対しては、１フレームの画像データが１／
９に間引きされた圧縮データが供給される。但し、間引
き回路３１における間引き処理は、その他、１フレーム
の画像を幾つかのブロックに分割し、そのブロック単位
で行うようにすることも可能である。

【００５５】補正回路３２は、間引き回路３１から圧縮
データを受信すると、ステップＳ１２において、判定部
２４（図３）から制御信号を受信したかどうかを判定す
る。ステップＳ１２において、制御信号を受信していな
いと判定された場合、ステップＳ１３をスキップして、
ステップＳ１４に進み、補正回路３２は、間引き回路３
１からの圧縮データを、そのまま補正データとして、ロ
ーカルデコード部２２および判定部２４に出力し、ステ
ップＳ１２に戻る。

【００５６】即ち、判定部２４は、上述したように、誤
差情報に基づいて、圧縮部２１（補正回路３２）を制御
するようになされており、間引き回路３１から圧縮デー
タが出力された直後は、まだ、誤差情報が得られないた
め（誤差情報が、誤差算出部２３から出力されないた
め）、判定部２４からは制御信号は出力されない。この
ため、間引き回路３１から圧縮データが出力された直後
は、補正回路３２は、その圧縮データを補正せず（０を
加算する補正をして）、そのまま補正データとして、ロ
ーカルデコード部２２および判定部２４に出力する。

【００５７】一方、ステップＳ１２において、判定部２
４からの制御信号を受信したと判定された場合、ステッ
プＳ１３において、補正回路３２は、その制御信号にし
たがった補正値△を、１フレームの圧縮データそれぞれ
に加算し、これにより、圧縮データを補正した補正デー
タを算出する。ここで、１フレームの圧縮データそれぞ
れに加算する補正値△は、同一の値である必要はなく、
異なった値を用いることができる（むしろ、通常は、異
なった値の方が好ましい）。

【００５８】補正データの算出後は、ステップＳ１３か
らＳ１４に進み、その補正データが、補正回路３２から
ローカルデコード部２２および判定部２４に出力され、
ステップＳ１２に戻る。

【００５９】以上のようにして、圧縮部２１は、判定部
２４の制御にしたがって、圧縮データを、種々の値に補
正した補正データを出力することを繰り返す。

【００６０】なお、判定部２４は、１フレームの画像に
ついての符号化を終了すると、その旨を表す制御信号
を、圧縮部２１に供給するようになされており、圧縮部
２１は、その制御信号を受信すると、次のフレームの画
像に対して、図６のフローチャートにしたがった処理を
施すようになされている。

【００６１】また、上述の場合においては、間引き回路
３１に、３×３画素の中心の画素についての画素データ
（画素値）のみを抽出させることにより、圧縮データを
生成させるようにしたが、その他、例えば、３×３画素
の平均値を算出し、その平均値を、３×３画素の中心の
画素の画素値として、圧縮データを生成させるようにす
ることなども可能である。

【００６２】次に、図８は、図３のローカルデコード部
２２の構成例を示している。

【００６３】圧縮部２１からの補正データは、線形補間
回路４０およびクラス分類用ブロック化回路４１に供給
されるようになされている。線形補間回路４０は、補正
データを用いて線形補間を行い、これにより補間データ
を算出するようになされている。即ち、圧縮部２１から
供給される補正データは、図７に●印で示した間引き後
の画素についてのものであるが、線形補間回路４０は、
この補正データを用いて線形補間を行うことで、同図に
○印で示した間引き前の画素についての画素値である補
間データを求めるようになされている。

【００６４】ここで、以下、適宜、補間データというと
きには、図７において●印で示した画像についての補正
データをも含むものとする。

【００６５】線形補間回路４０で求められた補間データ
は、予測値計算用ブロック化回路４２に供給されるよう
になされている。

【００６６】クラス分類用ブロック化回路４１は、圧縮
部２１からの補正データを、その性質に応じて所定のク
ラスに分類するための単位であるクラス分類用ブロック
にブロック化するようになされている。

【００６７】即ち、いま、図７において、上からｉ番目
で、左からｊ番目の補正データ（圧縮データ）（または
画素）（図中、●印で示す部分）をＸ_ijと表すとする
と、クラス分類用ブロック化回路４１は、Ｘ_ijを注目画
素とする場合、例えば、その注目画素Ｘ_ijの左上、上、
右上、左、右、左下、下、右下に隣接する８つの画素Ｘ
_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_i(j-1)，Ｘ
_i(j+1)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i+1)(j+1)に、自
身を含め、合計９画素で構成されるクラス分類用ブロッ
ク（注目画素Ｘ_ijを、後述するクラス分類するためのタ
ップ（クラス分類用タップ））を構成するようになされ
ている。このクラス分類用ブロックは、クラス分類適応
処理回路４３に供給されるようになされている。

【００６８】なお、この場合、クラス分類用ブロック
は、３×３画素（３×３の補正データ）でなる正方形状
のブロックで構成されることとなるが、クラス分類用ブ
ロックの形状は、正方形である必要はなく、その他、例
えば、長方形や、十文字形、その他の任意な形とするこ
とが可能である。また、クラス分類用ブロックを構成す
る画素数も、３×３の９画素に限定されるものではな
い。

【００６９】予測値計算用ブロック化回路４２は、線形
補間回路４０からの補間データを、元の画像の予測値を
計算するための単位である予測値計算用ブロック（予測
タップ）にブロック化するようになされている。

【００７０】即ち、いま、図７において、間引き後の画
素（図中、●印で示す部分）のうちの１つを注目画素Ｘ
_ijとして、その注目画素Ｘ_ijを中心とする、元の画像
（原画像）における３×３の９画素の画素値を、その最
も左から右方向、かつ上から下方向に、Ｙ_ij（１），Ｙ
_ij（２），Ｙ_ij（３），Ｙ_ij（４），Ｙ_ij（５），Ｙ_ij
（６），Ｙ_ij（７），Ｙ_ij（８），Ｙ_ij（９）と表すと
すると、予測値計算用ブロック化回路４２は、例えば、
画素Ｙ_ij（１）乃至Ｙ_ij（９）の予測値の計算のため
に、注目画素Ｘ_ijを中心とする２５の補間（線形補間）
後の画素で構成されるひし形状の予測値計算用ブロック
を構成するようになされている。

【００７１】具体的には、例えば、図７において、Ｘ₃₃
を注目画素とするとき、同図で実線の四角形で囲む、元
の画像における画素Ｙ₃₃（１）乃至Ｙ₃₃（９）の予測値
の計算のためには、同図において点線で囲むひし形の範
囲の２５画素（２５の補間データ）から、予測値計算用
ブロックが構成される。

【００７２】予測値計算用ブロック化回路４２において
得られた予測値計算用ブロックは、クラス分類適応処理
回路４３に供給されるようになされている。

【００７３】なお、予測値計算用ブロックについても、
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、予測値計算用ブロックを構成する画素数は、
クラス分類用ブロックを構成する画素数よりも多くする
のが望ましい。

【００７４】また、上述のようなブロック化を行う場合
において（ブロック化以外の処理についても同様）、画
像の画枠付近では、対応する画素が存在しないことがあ
るが、この場合には、例えば、画枠を構成する画素と同
一の画素が、その外側に存在するものとして処理を行う
ようにすることができる。

【００７５】クラス分類適応処理回路４３は、ＡＤＲＣ
（Adaptive Dynamic Range Coding）処理回路、クラス
分類回路４５、および適応処理回路４６で構成され、ク
ラス分類適応処理を行うようになされている。

【００７６】クラス分類適応処理とは、入力信号を、そ
の特徴に基づいて幾つかのクラスに分類し、各クラスの
入力信号に、そのクラスに適切な適応処理を施すもの
で、大きく、クラス分類処理と適応処理とに分かれてい
る。

【００７７】ここで、クラス分類処理および適応処理に
ついて簡単に説明する。

【００７８】まず、クラス分類処理について説明する。

【００７９】いま、例えば、図９（Ａ）に示すように、
ある注目画素と、それに隣接する３つの画素により、２
×２画素でなるブロック（クラス分類用ブロック）を構
成し、また、各画素は、１ビットで表現される（０また
は１のうちのいずれかのレベルをとる）ものとする。こ
の場合、２×２の４画素のブロックは、各画素のレベル
分布により、図９（Ｂ）に示すように、１６（＝
（２¹）⁴）パターンに分類することができる。このよう
なパターン分けが、クラス分類処理であり、クラス分類
回路４５において行われる。

【００８０】なお、クラス分類処理は、画像（ブロック
内の画像）のアクティビティ（画像の複雑さ）（変化の
激しさ）などをも考慮して行うようにすることが可能で
ある。

【００８１】ここで、通常、各画素には、例えば８ビッ
ト程度が割り当てられる。また、本実施の形態において
は、上述したように、クラス分類用ブロックは、３×３
の９画素で構成される。従って、このようなクラス分類
用ブロックを対象にクラス分類処理を行ったのでは、
（２⁸）⁹という膨大な数のクラスに分類されることにな
る。

【００８２】そこで、本実施の形態においては、ＡＤＲ
Ｃ処理回路４４において、クラス分類用ブロックに対し
て、ＡＤＲＣ処理が施されるようになされており、これ
により、クラス分類用ブロックを構成する画素のビット
数を小さくすることで、クラス数を削減するようになさ
れている。

【００８３】即ち、例えば、いま、説明を簡単にするた
め、図１０（Ａ）に示すように、直線上に並んだ４画素
で構成されるブロックを考えると、ＡＤＲＣ処理におい
ては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出
される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの
局所的なダイナミックレンジとし、このダイナミックレ
ンジＤＲに基づいて、ブロックを構成する画素の画素値
がＫビットに再量子化される。

【００８４】即ち、ブロック内の各画素値から、最小値
ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。
そして、その結果得られる除算値に対応するコード（Ａ
ＤＲＣコード）に変換される。具体的には、例えば、Ｋ
＝２とした場合、図１０（Ｂ）に示すように、除算値
が、ダイナミックレンジＤＲを４（＝２²）等分して得
られるいずれの範囲に属するかが判定され、除算値が、
最も下のレベルの範囲、下から２番目のレベルの範囲、
下から３番目のレベルの範囲、または最も上のレベルの
範囲に属する場合には、それぞれ、例えば、００Ｂ，０
１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化
される（Ｂは２進数であることを表す）。そして、復号
側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０
Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分
して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下か
ら２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目の
レベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範
囲の中心値Ｌ₁₁に変換され、その値に、最小値ＭＩＮが
加算されることで復号が行われる。

【００８５】ここで、このようなＡＤＲＣ処理はノンエ
ッジマッチングと呼ばれる。このようなノンエッジマッ
チングに対して、図１０（Ｃ）に示すように、ダイナミ
ックレンジＤＲを４等分して得られる最も下のレベルの
範囲に属する画素値の平均値ＭＩＮ’、またはその最も
上のレベルの範囲に属する画素値の平均値ＭＡＸ’に、
ＡＤＲＣコード００Ｂまたは１１Ｂそれぞれを変換する
とともに、ＭＡＸ’−ＭＩＮ’で規定されるダイナミッ
クレンジＤＲ’を等分（３等分）するレベルに、ＡＤＲ
Ｃコード０１Ｂと１０Ｂを変換することにより、ＡＤＲ
Ｃコードの復号を行うようなＡＤＲＣ処理があり、これ
は、エッジマッチングと呼ばれる。

【００８６】なお、ＡＤＲＣ処理については、本件出願
人が先に出願した、例えば、特開平３−５３７７８号公
報などに、その詳細が開示されている。

【００８７】ブロックを構成する各画素に割り当てられ
ているビット数より少ないビット数で再量子化を行うＡ
ＤＲＣ処理を施すことにより、上述したように、クラス
数を削減することができ、このようなＡＤＲＣ処理が、
ＡＤＲＣ処理回路４４において行われるようになされて
いる。

【００８８】なお、本実施の形態では、クラス分類回路
４５において、ＡＤＲＣ処理回路４４から出力されるＡ
ＤＲＣコードに基づいて、クラス分類処理が行われる
が、クラス分類処理は、その他、例えば、ＤＰＣＭ（予
測符号化）や、ＢＴＣ（BlockTruncation Coding）、Ｖ
Ｑ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、
アダマール変換などを施したデータを対象に行うように
することも可能である。

【００８９】次に、適応処理について説明する。

【００９０】例えば、いま、元の画像の画素値ｙの予測
値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以
下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所
定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定さ
れる線形１次結合モデルにより求めることを考える。こ
の場合、予測値Ｅ［ｙ］は、次式で表すことができる。

【００９１】 Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・ ・・・（１）

【００９２】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】 で定義すると、次のような観測方程式が成立する。

【００９３】ＸＷ＝Ｙ’・・・（２）

【００９４】そして、この観測方程式に最小自乗法を適
用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、元の画像の画素値（以
下、適宜、教師データという）ｙの集合でなる行列Ｙ、
および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残
差ｅの集合でなる行列Ｅを、

【数２】 で定義すると、式（２）から、次のような残差方程式が
成立する。

【００９５】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００９６】この場合、元の画像の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

【数３】 を最小にすることで求めることができる。

【００９７】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【００９８】

【数４】 ・・・（４）

【００９９】そこで、まず、式（３）を、予測係数ｗ_i
で微分することにより、次式が成立する。

【０１００】

【数５】 ・・・（５）

【０１０１】式（４）および（５）より、式（６）が得
られる。

【０１０２】

【数６】 ・・・（６）

【０１０３】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【０１０４】

【数７】 ・・・（７）

【０１０５】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで、最適な予測係数ｗを求めることが
できる。なお、式（７）を解くにあたっては、例えば、
掃き出し法（Gauss-Jordanの消去法）などを適用するこ
とが可能である。

【０１０６】以上のようにして、最適な予測係数ｗを求
め、さらに、その予測係数ｗを用い、式（１）により、
元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが
適応処理であり（広義には、あらかじめ予測係数ｗを求
めておき、その予測係数ｗを用いて、予測値Ｅ［ｙ］を
求めることも、適応処理に含まれるものとする）、この
適応処理が、適応処理回路４６において行われるように
なされている。

【０１０７】なお、適応処理は、間引かれた画像には含
まれていない、元の画像に含まれる成分が再現される点
で、補間処理とは異なる。即ち、適応処理では、式
（１）だけを見る限りは、いわゆる補間フィルタを用い
ての補間処理と同一であるが、その補間フィルタのタッ
プ係数に相当する予測係数ｗが、教師データｙを用いて
の、いわば学習により求められるため、元の画像に含ま
れる成分を再現することができる。このことから、適応
処理は、いわば画像の創造作用がある処理ということが
できる。

【０１０８】次に、図１１のフローチャートを参照し
て、図８のローカルデコード部２２の処理について説明
する。

【０１０９】ローカルデコード部２２においては、まず
最初に、ステップＳ２０において、線形補間回路４０に
よって、圧縮部２１からの補正データを用いて線形補間
が行われることにより、補間データが求められ、予測値
計算用ブロック化回路４２に供給される。

【０１１０】そして、ステップＳ２１において、圧縮部
２１が出力する補正データまたは線形補間回路４０が出
力する補間データが、クラス分類用ブロック化回路４１
または予測値計算用ブロック化回路４２において、それ
ぞれブロック化される。

【０１１１】即ち、上述したように、クラス分類用ブロ
ック化回路４１において、補正データが、ある注目画素
を中心とする３×３画素のクラス分類用ブロックにブロ
ック化され、クラス分類適応処理回路４３に供給される
とともに、予測値計算用ブロック化回路４２において、
補間データが、注目画素を中心とする２５画素の予測値
計算用ブロックにブロック化され、やはり、クラス分類
適応処理回路４３に供給される。

【０１１２】クラス分類適応処理回路４３には、上述し
たように、クラス分類用ブロックおよび予測値計算用ブ
ロックの他、元の画像データが供給されるようになされ
ており、クラス分類用ブロックはＡＤＲＣ処理部４４
に、予測値計算用ブロックおよび元の画像データは適応
処理回路４６に供給されるようになされている。

【０１１３】ＡＤＲＣ処理回路４４は、クラス分類用ブ
ロックを受信すると、ステップＳ２２において、そのク
ラス分類用ブロックに対して、例えば、１ビットのＡＤ
ＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施
し、これにより、補正データを、１ビットに変換（符号
化）して、クラス分類回路４５に出力する。クラス分類
回路４５は、ステップＳ２３において、ＡＤＲＣ処理が
施されたクラス分類用ブロックに対して、クラス分類処
理を施し、そのクラス分類用ブロックに含まれる注目画
素が属するクラスを判定する。このクラスの判定結果
は、クラス情報として、適応処理回路４６に供給され
る。

【０１１４】なお、本実施の形態においては、１ビット
のＡＤＲＣ処理が施された３×３の９画素で構成される
クラス分類用ブロックに対して、クラス分類処理が施さ
れるので、各クラス分類用ブロックは、５１２（＝（２
¹）⁹）のクラスのうちのいずれかに分類されることにな
る。

【０１１５】そして、ステップＳ２４に進み、適応処理
回路４６において、クラス分類回路４５からのクラス情
報に基づいて、各クラスごとに適応処理が施され、これ
により、予測係数および元の画像データの予測値が算出
される。

【０１１６】即ち、本実施の形態においては、例えば、
ある１つの補正データに注目した場合に、その注目補正
データに対応する画素（注目画素）と、その画素の周り
に隣接する８個の画素の、合計９個の画素についての予
測値および予測係数が、注目補正データを中心とする２
５画素の補間データでなる予測値計算用ブロックを用い
て、適応処理が行われることにより算出される。

【０１１７】具体的には、例えば、いま、図７に示した
画素Ｘ₃₃を注目画素とし、この注目画素Ｘ₃₃を中心とす
る３×３の画素（間引き後の画素）についての補正デー
タＸ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₄₂，Ｘ₄₃，
Ｘ₄₄でなるクラス分類用ブロックに基づいてクラス分類
が行われ、これにより、注目画素Ｘ₃₃についてのクラス
情報Ｃが、クラス分類回路４５から出力されたとする。

【０１１８】さらに、予測値計算用ブロックとして、注
目画素Ｘ₃₃を中心とする、図７で点線で囲んで示す２５
画素（間引き後の画素を補間して得られた画素）につい
ての補間データ（補正データＸ₂₃，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，
Ｘ₄₃を含む２５の補間データ）でなる予測値計算用ブロ
ックが、予測値計算用ブロック化回路４２から出力され
たものとする。

【０１１９】この場合、まず、予測値計算用ブロックを
構成する補間データを、学習データとするとともに、元
の画像における、補間データ（補正データ）Ｘ₃₃を中心
とする３×３画素（図７において四角形で囲んである部
分）の画素値Ｙ₃₃（１）乃至Ｙ₃₃（９）を、教師データ
として、式（７）に示した正規方程式がたてられる。

【０１２０】さらに、クラス情報Ｃにクラス分類される
他の予測値計算用ブロックについても同様にして、正規
方程式がたてられ、画素値Ｙ₃₃（ｋ）（ここでは、ｋ＝
１，２，・・・，９）の予測値Ｅ［Ｙ₃₃（ｋ）］を求め
るための予測係数ｗ₁（ｋ）乃至ｗ₂₅（ｋ）（本実施の
形態では、１つの予測値を求めるのに学習データが２５
個用いられるので、それに対応して、予測係数ｗも２５
個必要となる）を算出することができるだけの数の正規
方程式が得られると（従って、そのような数の正規方程
式が得られるまで、ステップＳ２４では、正規方程式を
たてる処理までが行われる）、その正規方程式を解くこ
とで、クラス情報Ｃについて、画素値Ｙ₃₃（ｋ）の予測
値Ｅ［Ｙ₃₃（ｋ）］を求めるのに最適な予測係数ｗ
₁（ｋ）乃至ｗ_{2 5}（ｋ）が算出される。

【０１２１】そして、予測値計算用ブロックを構成する
２５の補間データを、ｘ₁，ｘ₂，・・・，ｘ₂₅と表すと
き、予測値Ｅ［Ｙ₃₃（ｋ）］は、式（１）に対応する次
式にしたがって求められる。

【０１２２】 Ｅ［Ｙ₃₃（ｋ）］＝ｗ₁（ｋ）ｘ₁＋ｗ₂（ｋ）ｘ₂＋ ・・・ ＋ｗ₂₄（ｋ）ｘ₂₄＋ｗ₂₅（ｋ）ｘ₂₅ ・・・（８）

【０１２３】ステップＳ２４において、以上のようにし
て９個の予測値および２５×９個の予測係数が求められ
ると、予測値は誤差算出部２３に、予測係数は判定部２
４に、それぞれ出力され、ステップＳ２１に戻り、まだ
注目画素とされていない画素（間引き後の画素）を新た
に注目画素として、以下同様の処理が繰り返される。

【０１２４】次に、図１２は、図３の誤差算出部２３の
構成例を示している。

【０１２５】ブロック化回路５１には、元の画像データ
が供給されるようになされており、そこでは、ブロック
化回路５１は、その画像データを、ローカルデコード部
２２から出力される予測値に対応する９個単位でブロッ
ク化し、その結果得られる３×３画素のブロック（例え
ば、図７に実線の四角形で囲んで示すような３×３画素
のブロック）を、自乗誤差算出回路５２に出力するよう
になされている。自乗誤差算出部５２には、上述したよ
うに、ブロック化回路５１からブロックが供給される
他、ローカルデコード部２２から予測値が、９個単位
（３×３画素のブロック単位）で供給されるようになさ
れており、自乗誤差算出回路５２は、原画像に対する、
予測値の予測誤差としての自乗誤差を算出し、積算部５
５に供給するようになされている。

【０１２６】即ち、自動誤差算出回路は５２は、演算器
５３および５４で構成されている。演算器５３は、ブロ
ック化回路５１からのブロック化された画像データそれ
ぞれから、対応する予測値を減算し、その減算値を、演
算器５４に供給するようになされている。演算器５４
は、演算器５３の出力（元の画像データと予測値との差
分）を自乗し、積算部５５に供給するようになされてい
る。

【０１２７】積算部５５は、自乗誤差算出回路５２から
自乗誤差を受信すると、メモリ５６の記憶値を読み出
し、その記憶値と自乗誤差とを加算して、再び、メモリ
５６に供給して記憶させることを繰り返すことで、自乗
誤差の積算値（誤差分散）を求めるようになされてい
る。さらに、積算部５５は、所定量（例えば、１フレー
ム分など）についての自乗誤差の積算が終了すると、そ
の積算値を、メモリ５６から読み出し、誤差情報とし
て、判定部２４に供給するようになされている。メモリ
５６は、１フレームについての処理が終了するごとに、
その記憶値をクリアしながら、積算部５５の出力値を記
憶するようになされている。

【０１２８】次に、その動作について、図１３のフロー
チャートを参照して説明する。誤差算出部２３では、ま
ず最初に、ステップＳ３１において、メモリ５６の記憶
値が、例えば０にクリアされ、ステップＳ３２に進み、
ブロック化回路５１において、画像データが、上述した
ようにブロック化され、その結果得られるブロックが、
自乗誤差算出回路５２に供給される。自乗誤差算出回路
５２では、ステップＳ３３において、ブロック化回路５
１から供給されるブロックを構成する、元の画像の画像
データと、ローカルデコード部２２から供給される予測
値との自乗誤差が算出される。

【０１２９】即ち、ステップＳ３３では、演算器５３に
おいて、ブロック化回路５１より供給されたブロック化
された画像データそれぞれから、対応する予測値が減算
され、演算器５４に供給される。さらに、ステップＳ３
３では、演算器５４において、演算器５３の出力が自乗
され、積算部５５に供給される。

【０１３０】積算部５５は、自乗誤差算出回路５２から
自乗誤差を受信すると、ステップＳ３４において、メモ
リ５６の記憶値を読み出し、その記憶値と自乗誤差とを
加算することで、自乗誤差の積算値を求める。積算部５
５において算出された自乗誤差の積算値は、メモリ５６
に供給され、前回の記憶値に上書きされることで記憶さ
れる。

【０１３１】そして、積算部５５では、ステップＳ３５
において、所定量としての、例えば、１フレーム分につ
いての自乗誤差の積算が終了したかどうかが判定され
る。ステップＳ３５において、１フレーム分についての
自乗誤差の積算が終了していないと判定された場合、ス
テップＳ３２に戻り、再び、ステップＳ３２からの処理
を繰り返す。また、ステップＳ３５において、１フレー
ム分についての自乗誤差の積算が終了したと判定された
場合、ステップＳ３６に進み、積算部５５は、メモリ５
６に記憶された１フレーム分についての自乗誤差の積算
値を読み出し、誤差情報として、判定部２４に出力す
る。そして、ステップＳ３１に戻り、再び、ステップＳ
３１からの処理を繰り返す。

【０１３２】従って、誤差算出部２３では、左からｉ番
目で、上からｊ番目の、元の画像データをＹ_ij（ｋ）と
するとともに、その予測値をＥ［Ｙ_ij（ｋ）］とすると
き、次式にしたがった演算が行われることで、誤差情報
Ｑが算出される。

【０１３３】 Ｑ＝Σ（Ｙ_ij（ｋ）−Ｅ［Ｙ_ij（ｋ）］）² 但し、Σは、１フレーム分についてのサメーションを意
味する。

【０１３４】次に、図１４は、図３の判定部２４の構成
例を示している。

【０１３５】予測係数メモリ６１は、ローカルデコード
部２２から供給される予測係数を記憶するようになされ
ている。補正データメモリ６２は、圧縮部２１から供給
される補正データを記憶するようになされている。

【０１３６】なお、補正データメモリ６２は、圧縮部２
１において、圧縮データが新たに補正され、これによ
り、新たな補正データが供給された場合には、既に記憶
している補正データ（前回の補正データ）に代えて、新
たな補正データを記憶するようになされている。また、
このように補正データが、新たなものに更新されるタイ
ミングで、ローカルデコード部２２からは、その新たな
補正データに対応する、新たな予測係数のセットが出力
されるが、予測係数メモリ６１においても、このように
新たな予測係数が供給された場合には、既に記憶してい
る予測係数（前回の予測係数）に代えて、その新たな予
測係数を記憶するようになされている。

【０１３７】誤差情報メモリ６３は、誤差算出部２３か
ら供給される誤差情報を記憶するようになされている。
なお、誤差情報メモリ６３は、誤差算出部２３から、今
回供給された誤差情報の他に、前回供給された誤差情報
も記憶するようになされている（新たな誤差情報が供給
されても、さらに新たな誤差情報が供給されるまでは、
既に記憶している誤差情報を保持するようになされてい
る）。なお、誤差情報メモリ６３は、新たなフレームに
ついての処理が開始されるごとにクリアされるようにな
されている。

【０１３８】比較回路６４は、誤差情報メモリ６３に記
憶された今回の誤差情報と、所定の閾値εとを比較し、
さらに、必要に応じて、今回の誤差情報と前回の誤差情
報との比較も行うようになされている。比較回路６４に
おける比較結果は、制御回路６５に供給されるようにな
されている。

【０１３９】制御回路６５は、比較回路６４における比
較結果に基づいて、補正データメモリ６２に記憶された
補正データを、元の画像の符号化結果とすることの適正
（最適）さを判定し、最適でないと認識（判定）した場
合には、新たな補正データの出力を要求する制御信号
を、圧縮部２１（補正回路３２）（図５）に供給するよ
うになされている。また、制御回路６５は、補正データ
メモリ６２に記憶された補正データを、元の画像の符号
化結果とすることが最適であると認識した場合には、予
測係数メモリ６１に記憶されている予測係数を読み出
し、多重化部２５に出力するとともに、補正データメモ
リ６２に記憶されている補正データを読み出し、最適圧
縮データとして、やはり多重化部２５に供給するように
なされている。さらに、この場合、制御回路６５は、１
フレームの画像についての符号化を終了した旨を表す制
御信号を、圧縮部２１に出力し、これにより、上述した
ように、圧縮部２１に、次のフレームについての処理を
開始させるようになされている。

【０１４０】次に、図１５を参照して、判定部２４の動
作について説明する。判定部２４では、まず最初に、ス
テップＳ４１において、誤差算出部２３から誤差情報を
受信したかどうかが、比較回路６４によって判定され、
誤差情報を受信していないと判定された場合、ステップ
Ｓ４１に戻る。また、ステップＳ４１において、誤差情
報を受信したと判定された場合、即ち、誤差情報メモリ
６３に誤差情報が記憶された場合、ステップＳ４２に進
み、比較回路６４において、誤差情報メモリ６３に、い
ま記憶された誤差情報（今回の誤差情報）と、所定の閾
値εとが比較され、いずれが大きいかが判定される。

【０１４１】ステップＳ４２において、今回の誤差情報
が、所定の閾値ε以上であると判定された場合、比較回
路６４において、誤差情報メモリ６３に記憶されている
前回の誤差情報が読み出される。そして、比較回路６４
は、ステップＳ４３において、前回の誤差情報と、今回
の誤差情報とを比較し、いずれが大きいかを判定する。

【０１４２】ここで、１フレームについての処理が開始
され、最初に誤差情報が供給されたときには、誤差情報
メモリ６３には、前回の誤差情報は記憶されていないの
で、この場合には、判定部２４においては、ステップＳ
４３以降の処理は行われず、制御回路６５において、所
定の初期アドレスを出力するように、補正回路３２（図
５）を制御する制御信号が出力されるようになされてい
る。

【０１４３】ステップＳ４３において、今回の誤差情報
が、前回の誤差情報以下であると判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が減少
した場合、ステップＳ４４に進み、制御回路６５は、補
正値△を、前回と同様に変化させるように指示する制御
信号を、補正回路３２に出力し、ステップＳ４１に戻
る。また、ステップＳ４３において、今回の誤差情報
が、前回の誤差情報より大きいと判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が増加
した場合、ステップＳ４５に進み、制御回路６５は、補
正値△を、前回と逆に変化させるように指示する制御信
号を、補正回路３２に出力し、ステップＳ４１に戻る。

【０１４４】なお、減少し続けていた誤差情報が、ある
タイミングで上昇するようになったときは、制御回路６
５は、補正値△を、いままでの場合の、例えば１／２の
大きさで、前回と逆に変化させるように指示する制御信
号を出力するようになされている。

【０１４５】そして、ステップＳ４１乃至Ｓ４５の処理
を繰り返すことにより、誤差情報が減少し、これによ
り、ステップＳ４２において、今回の誤差情報が、所定
の閾値εより小さいと判定された場合、ステップＳ４６
に進み、制御回路６５は、予測係数メモリ６１に記憶さ
れている予測係数を読み出すとともに、補正データメモ
リ６２に記憶されている補正データを読み出し、多重化
部２５に供給して、処理を終了する。

【０１４６】その後は、次のフレームについての誤差情
報が供給されるのを待って、再び、図１５に示すフロー
チャートにしたがった処理を繰り返す。

【０１４７】なお、補正回路３２には、圧縮データの補
正は、１フレームすべての圧縮データについて行わせる
ようにすることもできるし、その一部の圧縮データにつ
いてだけ行わせるようにすることもできる。一部の圧縮
データについてだけ補正を行う場合においては、制御回
路６５に、例えば、誤差情報に対する影響の強い画素を
検出させ、そのような画素についての圧縮データだけを
補正するようにすることができる。誤差情報に対する影
響の強い画素は、例えば、次のようにして検出すること
ができる。即ち、まず最初に、間引き後に残った画素に
ついての圧縮データをそのまま用いて処理を行うことに
より、その誤差情報を得る。そして、間引き後に残った
画素についての圧縮データを、１つずつ、同一の補正値
△だけ補正するような処理を行わせる制御信号を、制御
回路６５から補正回路３２に出力し、その結果得られる
誤差情報を、圧縮データをそのまま用いた場合に得られ
た誤差情報と比較し、その差が、所定値以上となる画素
を、誤差情報に対する影響の強い画素として検出すれば
良い。

【０１４８】以上のように、誤差情報を所定の閾値εよ
り小さくする（以下にする）まで、圧縮データの補正が
繰り返され、誤差情報が所定の閾値εより小さくなった
ときにおける補正データが、画像の符号化結果として出
力されるので、受信装置４（図１）においては、間引き
後の画像を構成する画素の画素値を、元の画像を復元す
るのに最も適当な値にした補正データから、原画像と同
一（ほぼ同一）の復号画像を得ることが可能となる。

【０１４９】また、画像は、間引き処理により圧縮され
る他、ＡＤＲＣ処理およびクラス分類適応処理などによ
っても圧縮されるため、非常に高圧縮率の符号化データ
を得ることができる。なお、送信装置１における、以上
のような符号化処理は、間引きによる圧縮処理と、クラ
ス分類適応処理とを、いわば有機的に統合して用いるこ
とにより、高能率圧縮を実現するものであり、このこと
から統合符号化処理ということができる。

【０１５０】次に、図１６は、図１の受信装置４の構成
例を示している。

【０１５１】受信機／再生装置７１においては、記録媒
体２に記録された符号化データが再生され、または伝送
路３を介して伝送されてくる符号化データが受信され、
分離部７２に供給される。分離部７２では、符号化デー
タが、補正データと予測係数に分離され、補正データ
は、クラス分類用ブロック化回路７３および線形補間回
路７８に供給され、予測係数は、予測回路７６に供給さ
れる。

【０１５２】クラス分類用ブロック化回路７３、ＡＤＲ
Ｃ処理回路７４、クラス分類回路７５、予測値計算用ブ
ロック化回路７７、または線形補間回路７８は、図８に
おけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理
回路４４、クラス分類回路４５、予測値計算用ブロック
化回路４２、または線形補間回路４０それぞれと同様に
構成されており、従って、これらのブロックにおいて
は、図８における場合と同様の処理が行われ、これによ
り、予測値計算用ブロック化回路７７からは予測値計算
用ブロックが出力され、また、クラス分類回路７５から
はクラス情報が出力される。これらの予測値計算用ブロ
ックおよびクラス情報は、予測回路７６に供給される。

【０１５３】予測回路７６では、クラス情報に対応した
予測係数と、予測値計算用ブロック化回路７７から供給
される予測値計算用ブロックを構成する補間データとを
用い、式（１）にしたがって予測値が算出され、そのよ
うな予測値で構成される１フレームの画像が、復号画像
として出力される。この復号画像は、上述したように、
元の画像とほぼ同一の画像となる。

【０１５４】なお、受信側においては、図１６に示すよ
うな受信装置４でなくても、間引きされた画像を単純な
補間により復号する装置により、予測係数を用いずに、
通常の補間を行うことで復号画像を得ることができる。
但し、この場合に得られる復号画像は、画質（解像度）
の劣化したものとなる。

【０１５５】ところで、図８に示したローカルデコード
部２２においては、まず予測係数を求め、これを用い
て、予測値を算出するようにしたが、ローカルデコード
部２２では、予測係数を求めずに、あらかじめ求められ
た予測係数を用いて、予測値を算出するようにすること
が可能である。

【０１５６】即ち、図１７は、図３のローカルデコード
部２２の他の構成例を示している。なお、図中、図８に
おける場合と対応する部分については、同一の符号を付
してある。即ち、図１７のローカルデコード部２２は、
適応処理回路４６に代えて、予測係数ＲＯＭ８１および
予測回路８２が設けられている他は、図８における場合
と同様に構成されている。

【０１５７】予測係数ＲＯＭ８１は、あらかじめ学習
（後述する）により求められたクラスごとの予測係数を
記憶しており、クラス分類回路４４が出力するクラス情
報を受信し、そのクラス情報に対応するアドレスに記憶
されている予測係数を読み出して、予測回路８２に供給
する。

【０１５８】予測回路８２では、予測値計算用ブロック
化回路４２からの予測値計算用ブロックと、予測係数Ｒ
ＯＭ８１からの予測係数とを用いて、式（１）（具体的
には、例えば、式（８））に示した線形１次式が計算さ
れ、これにより、元の画像の予測値が算出される。

【０１５９】従って、図１７のクラス分類適応処理回路
４３によれば、元の画像を用いずに、その予測値を算出
することができる。

【０１６０】次に、図１８は、図１７の予測係数ＲＯＭ
８１に記憶されている予測係数を得るための学習を行う
画像処理装置の構成例を示している。

【０１６１】間引き回路９１および教師用ブロック化回
路９２には、あらゆる画像に適用可能な予測係数を得る
ための学習用の画像データ（学習用画像）が供給される
ようになされている。

【０１６２】間引き回路９１は、例えば、図５における
間引き回路３１と同様に、入力された画像データを１／
９に間引くことにより、圧縮データを生成し、クラス分
類用ブロック化回路１０１および線形補間回路１０２に
供給する。

【０１６３】クラス分類用ブロック化回路１０１、ＡＤ
ＲＣ処理回路９３、またはクラス分類回路９４では、図
１７のクラス分類用ブロック化回路４１、ＡＤＲＣ処理
回路４４、またはクラス分類回路４５における場合とそ
れぞれ同様の処理が行われ、これにより得られるクラス
情報が、クラス分類回路９４から、スイッチ９５の端子
ａを介して、学習データメモリ９６および教師データメ
モリ９８に供給される。

【０１６４】また、線形補間回路１０２または学習用ブ
ロック化回路１０３では、図１７の線形補間回路４０ま
たは予測値計算用ブロック化回路４２における場合とそ
れぞれ同様の処理が行われ、これにより、学習ブロック
化回路１０３は、図１７の予測値計算用ブロック化回路
４２が出力する予測値計算用ブロックと同様に構成され
るブロックを構成し、学習用ブロックとして、学習デー
タメモリ９６に供給する。

【０１６５】一方、教師用ブロック化回路９２では、入
力された画像データから、例えば、３×３の９画素で構
成されるブロックが生成され、この９画素で構成される
ブロックが、教師用ブロックとして、教師データメモリ
９８に供給される。即ち、例えば、学習用ブロック化回
路１０３において、図７で点線で囲んで示した、画素Ｘ
₃₃を注目画素とする予測値計算用ブロックと同一の学習
用ブロックが構成されるとき、教師用ブロック化回路９
２では、図７で実線で囲んで示した、３×３の９画素で
構成される教師用ブロックが、原画像（学習用画像）か
ら構成され、教師データメモリ９８に供給される。

【０１６６】学習データメモリ９６または教師データメ
モリ９８では、そこに供給されるクラス情報に対応する
アドレスに、学習用ブロック化回路９１からの学習用ブ
ロックまたは教師用ブロック化回路９２からの教師用ブ
ロックが、それぞれ記憶される。

【０１６７】従って、学習データメモリ９６において、
例えば、図７で点線で囲んで示した２５画素（補間デー
タ）でなるブロックが学習用ブロックとして、あるアド
レスに記憶されたとすると、教師データメモリ９８にお
いては、そのアドレスと同一のアドレスに、同図で実線
で囲んで示した３×３画素（元の画像データ）のブロッ
クが、教師用ブロックとして記憶される。

【０１６８】以下、同様の処理が、あらかじめ用意され
たすべての学習用の画像について繰り返され、これによ
り、学習用ブロックと、図１７のローカルデコード部２
２において、その学習用ブロックを構成する２５画素と
同一の位置関係を有する２５の補間データで構成される
予測値計算用ブロックを用いて予測値が求められる９画
素で構成される教師用ブロックとが、学習用データメモ
リ９６と、教師用データメモリ９８とにおいて、同一の
アドレスに記憶される。

【０１６９】なお、学習用データメモリ９６と教師用デ
ータメモリ９８においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、複数の学習用ブロックと教師用
ブロックを記憶することができるようになされている。

【０１７０】学習用画像すべてについての学習用ブロッ
クと教師用ブロックとが、学習データメモリ９６と教師
データメモリ９８に記憶されると、端子ａを選択してい
たスイッチ９５が、端子ｂに切り替わり、これにより、
カウンタ９７の出力が、アドレスとして、学習データメ
モリ９６および教師データメモリ９８に供給される。カ
ウンタ９７は、所定のクロックをカウントし、そのカウ
ント値を出力しており、学習データメモリ９６または教
師データメモリ９８では、そのカウント値に対応するア
ドレスに記憶された学習用ブロックまたは教師用ブロッ
クが読み出され、演算回路９９に供給される。

【０１７１】従って、演算回路９９には、カウンタ９７
のカウント値に対応するクラスの学習用ブロックのセッ
トと、教師用ブロックのセットとが供給される。

【０１７２】演算回路９９は、あるクラスについての学
習用ブロックのセットと、教師用ブロックのセットとを
受信すると、それらを用いて、最小自乗法により、誤差
を最小とする予測係数を算出する。

【０１７３】即ち、例えば、いま、学習用ブロックを構
成する画素の画素値（補間データ）を、ｘ₁，ｘ₂，
ｘ₃，・・・とし、求めるべき予測係数をｗ₁，ｗ₂，
ｗ₃，・・・とするとき、これらの線形１次結合によ
り、教師用ブロックを構成する、ある画素の画素値ｙを
求めるには、予測係数ｗ₁，ｗ₂，ｗ₃，・・・は、次式
を満たす必要がある。

【０１７４】ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・

【０１７５】そこで、演算回路９９では、同一クラスの
学習用ブロックと、対応する教師用ブロックとから、真
値ｙに対する、予測値ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・
の自乗誤差を最小とする予測係数ｗ₁，ｗ₂，ｗ₃，・・
・が、上述した式（７）に示す正規方程式をたてて解く
ことにより求められる。

【０１７６】演算回路９９において求められた、クラス
ごとの予測係数は、メモリ１００に供給される。メモリ
１００には、演算回路９９からの予測係数の他、カウン
タ９７からカウント値が供給されており、これにより、
メモリ１００においては、演算回路９９からの予測係数
が、カウンタ９７からのカウント値に対応するアドレス
に記憶される。

【０１７７】以上のようにして、メモリ１００には、各
クラスに対応するアドレスに、そのクラスのブロックの
画素を予測するのに最適な予測係数が記憶される。

【０１７８】図１７の予測係数ＲＯＭ８１には、以上の
ようにしてメモリ１００に記憶された予測係数が記憶さ
れている。

【０１７９】なお、予測係数ＲＯＭ８１には、各クラス
に対応するアドレスに、予測係数を記憶させるのではな
く、教師用ブロックを構成する画素値の平均値などを記
憶させるようにすることが可能である。この場合、クラ
ス情報が与えられると、そのクラスに対応する画素値が
出力されることになり、図１７のローカルデコード部２
２において、予測値計算用ブロック化回路４２および予
測回路８２を設けずに済むようになる。

【０１８０】また、図１７に示したようにローカルデコ
ード部２２を構成する場合においては、図１６に示した
受信装置４は、受信機／再生装置７１の後段を、図１７
のローカルデコード部２２と同様に構成するようにすれ
ば良い。

【０１８１】以上、本発明を適用した画像処理装置につ
いて説明したが、このような画像処理装置は、例えば、
ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号
化する場合の他、データ量の多い、いわゆるハイビジョ
ン方式のテレビジョン信号などを符号化する場合に、特
に有効である。また、本発明は、いわゆる階層符号化を
行う場合などにも適用可能である。

【０１８２】なお、本実施の形態においては、誤差情報
として、誤差の自乗和を用いるようにしたが、誤差情報
としては、その他、例えば、誤差の絶対値和や、その３
乗以上したものの和などを用いるようにすることが可能
である。いずれを誤差情報として用いるかは、例えば、
その収束性などに基づいて決定するようにすることが可
能である。

【０１８３】また、本実施の形態では、誤差情報が、所
定の閾値ε以下になるまで、圧縮データの補正を繰り返
し行うようにしたが、圧縮データの補正の回数には、上
限を設けるようにすることも可能である。

【０１８４】さらに、本実施の形態においては、１フレ
ームの画像からブロックを構成するようにしたが、ブロ
ックは、その他、例えば、時系列に連続する複数フレー
ムにおける、同一位置の画素から構成するようにするこ
とも可能である。

【０１８５】また、本実施の形態では、圧縮部２１にお
いて、画像を、単純に間引き、即ち、３×３画素のブロ
ックにおける中心画素を抽出し、これを圧縮データとす
るようにしたが、圧縮部２１には、その他、例えば、ブ
ロックを構成する９画素の平均値などを求めさせ、その
平均値を、ブロックにおける中心画素の画素値とするこ
とにより、その画素数を少なくし（間引き）、これを圧
縮データとするようにすることも可能である。

【０１８６】さらに、本実施の形態では、補間データ
を、線形補間により求めるようにしたが、補間データ
は、その他、例えば、非線形な補間などによって求める
ことも可能である。

【０１８７】また、本実施の形態では、補正データを用
いて線形補間を行うことにより、補間データを求め、こ
の補間データに対して適応処理を施すようにしたが、適
応処理は、補正データを対象に施すことも可能である。
但し、補正データは、図７に●印で示したように、間引
き後の画素における画素値であり、いわば疎らなもので
ある。これに対して、補間データは、補正データを用い
て、図７に○印で示した画素の画素値を補間したもので
あり、いわば密のものである。従って、補正データによ
って構成される画像に含まれない成分は、それを用いて
線形補間を行うことにより得られる補間データにも含ま
れないが、補間データは密であることから、例えば、原
画像の画素値の変化が比較的急峻な場合などには、疎で
ある補正データよりも、密な補間データに対して適応処
理を施して予測値を求める方が、より予測誤差の小さい
ものを得ることができる。

【０１８８】さらに、本実施の形態では、圧縮データを
補正し、補正データを求め、さらに、補正データを用い
て補間データを求めて適応処理を施し、その結果得られ
る予測値の予測誤差に基づいて、補正量を変えて、圧縮
データを補正することを繰り返すようにしたが、その
他、例えば、適応処理により得られた予測値を間引き、
その間引きにより得られたデータを、予測値の予測誤差
に基づいて補正し、これを補正データとして用いるよう
にすることも可能である。

【０１８９】また、本実施の形態では、図７に点線で囲
んで示したように、注目画素を中心とするひし形状の範
囲内にある２５画素の補間データにより、予測値計算用
ブロックを構成するようにしたが、その他、予測値計算
用ブロックは、例えば、図１９に示すように、注目画素
を中心とするひし形状の範囲内にある５画素の補間デー
タや、正方形状の範囲内にある９画素の補間データ、ひ
し形状の範囲内にある１３画素の補間データ、正方形状
の範囲内にある４９画素の補間データなどで構成するこ
とも可能である。

【０１９０】さらに、本実施の形態では、基本的に、補
正データに対応する画素（間引き後の画素）を注目画素
とするようにしたが、補正データ以外の補間データに対
応する画素（線形補間により得られる画素）を、注目画
素とすることも可能である。

【０１９１】また、本実施の形態では、９画素で構成さ
れるクラス分類用ブロックに対して、１ビットのＡＤＲ
Ｃ処理を施し、その処理結果を、５１２（＝２⁹）のク
ラスにクラス分類するようにしたが、クラス分類は、そ
の他、例えば、クラス分類用ブロックのアクティビティ
およびダイナミックレンジなどに基づいて行うことも可
能である。

【０１９２】即ち、いま、例えば、図２０に●印で示
す、補正データに対応する９画素でクラス分類用ブロッ
クが構成される場合において、その中心の画素（注目画
素）と、周辺の８画素それぞれとの差分の絶対値をアク
ティビティと定義すると、クラス分類用ブロックで、ア
クティビティが最も大きい方向は、同図に矢印で示す８
方向のいずれかとなる。従って、この場合、アクティビ
ティだけを用いると、注目画素を８クラスのうちのいず
れかに分類することができる。また、クラス分類用ブロ
ックを構成する９画素の画素値（補正データ）の中の最
大値と最小値との差分を、そのクラス分類用ブロックの
ダイナミックレンジＤＲと定義し、このダイナミックレ
ンジＤＲによって、４つの場合分けをするとすると、注
目画素を４つのクラスのうちのいずれかに分類すること
ができる。このようなアクティビティおよびダイナミッ
クレンジの両方に基づいて、クラス分類用ブロックのク
ラス分類を行う場合、そのクラス分類用ブロックは、３
２（＝８×４）のクラスに分類される。

【０１９３】なお、ダイナミックレンジＤＲによる場合
分けの方法としては、例えば、ダイナミックレンジＤＲ
を非線形量子化する方法などがある。即ち、例えば、ダ
イナミックレンジＤＲが８ビットで表されるとすると、
その値が、例えば、０以上８未満、８以上２４未満、２
４以上５６未満、５６以上２５５未満のうちのいずれで
あるかによって、４通りに場合分けすることができる。

【０１９４】クラス分類は、以上ようなアクティビティ
およびダイナミックレンジの組合せの他、例えば、エッ
ジの検出結果とダイナミックレンジとの組合せや、相関
方向とダイナミックレンジとの組合せなどに基づいても
行うことが可能である。

【０１９５】さらに、本実施の形態では、１フレームの
予測誤差の総和（正確には、予測誤差の２乗和）である
誤差情報Ｑを求め、その誤差情報Ｑに対応して、１フレ
ームの圧縮データを補正するようにしたが、圧縮データ
の補正は、このように１フレーム単位で行うのではな
く、間引き後の画素ごとに行うようにすることも可能で
ある。

【０１９６】即ち、この場合、図２１のフローチャート
に示すように、まず最初に、圧縮部２１は、ステップＳ
５１において、図４のステップＳ１における場合と同様
に、画像データを間引くことにより圧縮し、最初は、補
正を行わずに、ローカルデコード部２２および判定部２
４に出力する。ローカルデコード部２２では、ステップ
Ｓ５２において、間引き後の画素のうちの１つが注目画
素として抽出され、ステップＳ５３に進む。ステップＳ
５３では、ローカルデコード部２２の線形補間回路４０
において、図２２で●印で示す注目画素と、その周辺の
８画素（間引き後の画素）との画素値である補正データ
（最初は、画像データを、単純に間引いた圧縮データそ
のもの）を用いて線形補間が行われることにより、予測
値計算用ブロックを構成するのに必要な画素についての
補間データが生成され、ステップＳ５４に進み、クラス
分類適応処理回路４３において、その予測値計算用ブロ
ックだけを用いて、図２２で実線で囲んで示す注目画素
と、その周辺の８画素（線形補間後の画素）との合計９
画素についての予測値と予測係数が算出される。

【０１９７】ステップＳ５４で求められた予測値または
予測係数は、ローカルデコード部２２から、誤差算出部
２３または判定部２４にそれぞれ出力される。

【０１９８】誤差算出部２３は、ローカルデコード部２
２から、９画素についての予測値を受信すると、ステッ
プＳ５５において、元の画像データに対する、ローカル
デコード部２２からの９画素についての予測値の予測誤
差をそれぞれ算出し、判定部２４に供給する。判定部２
４は、誤差算出部２３から９画素についての予測誤差を
受信すると、ステップＳ５６において、例えば、その９
画素についての予測誤差のうちの最大値（以下、適宜、
最大予測誤差という）を検出し、その最大予測誤差が所
定の閾値未満であるかどうかを判定する。

【０１９９】ステップＳ５６において、最大予測誤差が
所定の閾値未満でないと判定された場合、ステップＳ５
７に進み、判定部２４は、圧縮部２１を制御し、これに
より、圧縮データのうち、注目画素についてのものだけ
を補正させる。圧縮部２１は、判定部２４の制御にした
がって、注目画素についての圧縮データだけを補正し、
その結果得られる補正データを、ローカルデコード部２
２および判定部２４に出力する。そして、ステップＳ５
３に戻り、以下、同様の処理が繰り返される。

【０２００】従って、この場合、ステップＳ５３では、
補正された注目画素についての補正データと、前回の処
理と同一の、周辺の８画素（間引き後の画素）について
の補正データとを用いて線形補間が行われることによ
り、予測値計算用ブロックを構成するのに必要な画素に
ついての補間データが生成される。

【０２０１】一方、ステップＳ５６において、最大予測
誤差が所定の閾値未満であると判定された場合、判定部
２４は、所定の閾値未満の最大予測誤差が得られたとき
の、注目画素についての補正データを、最適圧縮データ
として、予測係数とともに、多重化部２５に出力し、ス
テップＳ５８に進む。ステップＳ５８では、間引き後の
画素すべてを対象に処理を行ったかどうかが判定され、
行っていないと判定された場合、ステップＳ５２に戻
り、まだ注目画素とされていない画素（間引き後の画
素）を、新たに注目画素として、ステップＳ５３以下の
処理を繰り返す。

【０２０２】また、ステップＳ５８において、間引き後
の画素すべてを注目画素として処理を行ったと判定され
た場合、ステップＳ５９に進み、多重化部２５におい
て、いままでに判定部２４から出力された最適圧縮デー
タと予測係数とが多重化され、その結果得られる符号化
データが出力されて、処理を終了する。

【０２０３】以上のように、圧縮データの補正を１画素
単位（注目画素単位）で行う場合、１フレーム単位で行
う場合に比較して、予測誤差の収束性が向上すると考え
られる。

【０２０４】なお、上述の場合においては、９画素につ
いての予測誤差のうちの最大値である最大予測誤差に基
づいて、圧縮データの補正を行うようにしたが、圧縮デ
ータの補正は、その他、その９画素それぞれについての
予測誤差の絶対値和などに基づいて行うことも可能であ
る。

【０２０５】

【発明の効果】請求項１に記載の画像符号化装置および
請求項４に記載の画像符号化方法によれば、原画像を圧
縮することにより得られる圧縮データが補正されて、補
正データが出力され、補正データを用いて補間が行われ
ることにより補間データが出力され、その補間データに
基づいて、原画像が予測されて、その予測値が出力さ
れ、原画像に対する、予測値の予測誤差が算出される。
そして、予測誤差が、例えば、所定値以下になるなどし
て、補正データが適正となったときにおける、その補正
データが、原画像の符号化結果として出力される。従っ
て、その補正データにより、原画像とほぼ同一の復号画
像を得ることが可能となる。

【０２０６】請求項５に記載の画像復号化装置および請
求項６に記載の画像復号化方法によれば、符号化データ
が、原画像を圧縮することにより得られる圧縮データを
補正して、補正データを出力し、補正データを用いて補
間を行うことにより補間データを出力し、補間データに
基づいて、原画像を予測して、その予測値を出力し、原
画像に対する、予測値の予測誤差を算出することを、予
測誤差が所定値以下になるまで繰り返すことにより得ら
れた、予測誤差が所定値以下になったときにおける補正
データである場合において、その符号化データを用いて
補間を行うことにより補間データが求められ、その補間
データに基づいて、原画像の予測値が算出される。従っ
て、原画像とほぼ同一の復号画像を得ることが可能とな
る。

【０２０７】請求項７に記載の記録媒体には、原画像を
圧縮することにより得られる圧縮データを補正して、補
正データを出力し、補正データを用いて補間を行うこと
により補間データを出力し、補間データに基づいて、原
画像を予測して、その予測値を出力し、原画像に対す
る、予測値の予測誤差を算出することを、予測誤差が所
定値以下になるまで繰り返すことにより得られた、予測
誤差が所定値以下になったときにおける補正データが、
符号化データとして記録されている。従って、その符号
化データにより、原画像とほぼ同一の復号画像を得るこ
とが可能となる。

【０２０８】請求項８に記載の画像符号化装置および請
求項９に記載の画像符号化方法によれば、原画像を圧縮
することにより得られる圧縮データが補正されて、補正
データが出力され、補正データに基づいて、原画像が予
測されて、その予測値が出力され、原画像に対する、予
測値の予測誤差が算出される。この場合において、予測
値は、所定の注目画素を含む所定の範囲内の画素につい
ての補正データに基づいて算出され、予測値の予測誤差
に対応して、所定の注目画素のみについての圧縮データ
が補正される。そして、予測誤差が、例えば、所定値以
下になるなどして、補正データが適正となったときにお
ける、その補正データが、原画像の符号化結果として出
力される。従って、その補正データにより、原画像とほ
ぼ同一の復号画像を得ることが可能となる。

【０２０９】請求項１０に記載の記録媒体には、原画像
を圧縮することにより得られる圧縮データを補正して、
補正データを出力し、補正データに基づいて、原画像を
予測して、その予測値を出力し、原画像に対する、予測
値の予測誤差を算出することを、予測誤差が所定値以下
になるまで繰り返し、予測誤差が所定値以下になったと
きにおける補正データが、原画像を符号化した符号化デ
ータとして記録されている。さらに、この符号化データ
は、予測値を、所定の注目画素を含む所定の範囲内の画
素についての補正データに基づいて算出し、予測値の予
測誤差に対応して、所定の注目画素のみについての圧縮
データを補正することをにより得られたものとなってい
る。従って、その符号化データにより、原画像とほぼ同
一の復号画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施の形態
の構成を示すブロック図である。

【図２】図１の送信装置１の構成例を示すブロック図で
ある。

【図３】図２の送信装置１の機能的構成例を示すブロッ
ク図である。

【図４】図３の送信装置１の動作を説明するためのフロ
ーチャートである。

【図５】図３の圧縮部２１の構成例を示すブロック図で
ある。

【図６】図５の圧縮部２１の動作を説明するためのフロ
ーチャートである。

【図７】図５の間引き回路３１の処理を説明するための
図である。

【図８】図３のローカルデコード部２２の構成例を示す
ブロック図である。

【図９】クラス分類処理を説明するための図である。

【図１０】ＡＤＲＣ処理を説明するための図である。

【図１１】図８のローカルデコード部２２の動作を説明
するためのフローチャートである。

【図１２】図３の誤差算出部２３の構成例を示すブロッ
ク図である。

【図１３】図１２の誤差算出部２３の動作を説明するた
めのフローチャートである。

【図１４】図３の判定部２４の構成例を示すブロック図
である。

【図１５】図１４の判定部２４の動作を説明するための
フローチャートである。

【図１６】図１の受信装置４の構成例を示すブロック図
である。

【図１７】図３のローカルデコード部２２の他の構成例
を示すブロック図である。

【図１８】図１７の予測係数ＲＯＭ８１に記憶されてい
る予測係数を算出する画像処理装置の一実施の形態の構
成を示すブロック図である。

【図１９】予測値計算用ブロックの構成例を説明するた
めの図である。

【図２０】クラス分類の方法を説明するための図であ
る。

【図２１】圧縮データの補正を、１画素単位で行う場合
の処理を説明するためのフローチャートである。

【図２２】圧縮データの補正を、１画素単位で行う場合
の処理を説明するための図である。

【符号の説明】

１ 送信装置， ２ 記録媒体， ３ 伝送路， ４
受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３
ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １
６ 送信機／記録装置， ２１ 圧縮部， ２２ ロー
カルデコード部， ２３ 誤差算出部， ２４ 判定
部， ２５ 多重化部， ３０ ダウンフィルタ， ３
１ 間引き回路， ３２ 補正回路， ４０ 線形補間
回路， ４１ クラス分類用ブロック化回路， ４２
予測値計算用ブロック化回路， ４３ クラス分類適応
処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス
分類回路， ４６ 適応処理回路， ５１ ブロック化
回路， ５２ 自乗誤差算出回路， ５３，５４ 演算
器， ５５ 積算部， ５６ メモリ， ６１ 予測係
数メモリ， ６２ 補正データメモリ， ６３ 誤差情
報メモリ， ６４ 比較回路， ６５ 制御回路， ７
１ 受信機／再生装置， ７２ 分離部， ７３ クラ
ス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路，
７５ クラス分類回路， ７６ 予測回路， ７７
予測値計算用ブロック化回路， ７８線形補間回路，
８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 間
引き回路， ９２ 教師用ブロック化回路， ９３ Ａ
ＤＲＣ処理回路， ９４ クラス分類回路， ９５ ス
イッチ， ９６ 学習データメモリ， ９７ カウン
タ， ９８ 教師データメモリ， ９９ 演算回路，
１００ メモリ， １０１クラス分類用ブロック化回
路， １０２ 線形補間回路， １０３ 学習用ブロッ
ク化回路

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像を符号化する画像符号化装置であっ
   て、 原画像を、その画素数を少なくすることにより圧縮する
   圧縮手段と、 前記原画像を圧縮することにより得られる圧縮データを
   補正し、補正データを出力する補正手段と、 前記補正データを用いて補間を行う補間手段と、 前記補間手段による補間の結果得られる補間データに基
   づいて、前記原画像を予測し、その予測値を出力する予
   測手段と、 前記原画像に対する、前記予測値の予測誤差を算出する
   算出手段と、 前記予測誤差に基づいて、前記補正手段が出力する前記
   補正データの適正さを判定する判定手段と、 前記判定手段による判定結果に対応して、前記補正デー
   タを、前記原画像の符号化結果として出力する出力手段
   とを備えることを特徴とする画像符号化装置。
2. 【請求項２】 前記判定手段は、前記予測誤差が所定値
   以下であるかどうかによって、前記補正データの適正さ
   を判定し、 前記出力手段は、前記予測誤差が所定値以下になったと
   きにおける前記補正データを出力することを特徴とする
   請求項１に記載の画像符号化装置。
3. 【請求項３】 前記予測手段は、所定の注目画素を含む
   所定の範囲内の画素についての前記補間データに基づい
   て、前記予測値を算出し、 前記補正手段は、前記予測値の予測誤差に対応して、前
   記所定の注目画素のみについての前記圧縮データを補正
   することを特徴とする請求項１に記載の画像符号化装
   置。
4. 【請求項４】 画像を符号化する画像符号化方法であっ
   て、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データを
   補正して、補正データを出力し、 前記補正データを用いて補間を行うことにより補間デー
   タを出力し、 前記補間データに基づいて、前記原画像を予測して、そ
   の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出する
   ことを、前記予測誤差が所定値以下になるまで繰り返
   し、 前記予測誤差が所定値以下になったときにおける前記補
   正データを、前記原画像の符号化結果として出力するこ
   とを特徴とする画像符号化方法。
5. 【請求項５】 画像を符号化した符号化データを復号化
   する画像復号化装置であって、 前記符号化データが、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データを
   補正して、補正データを出力し、 前記補正データを用いて補間を行うことにより補間デー
   タを出力し、 前記補間データに基づいて、前記原画像を予測して、そ
   の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出する
   ことを、前記予測誤差が所定値以下になるまで繰り返す
   ことにより得られた、前記予測誤差が所定値以下になっ
   たときにおける前記補正データである場合、 前記符号化データを用いて補間を行う補間手段と、 前記補間手段による補間の結果得られる補間データに基
   づいて、前記原画像の予測値を算出する予測手段とを備
   えることを特徴とする画像復号化装置。
6. 【請求項６】 画像を符号化した符号化データを復号化
   する画像復号化方法であって、 前記符号化データが、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データを
   補正して、補正データを出力し、 前記補正データを用いて補間を行うことにより補間デー
   タを出力し、 前記補間データに基づいて、前記原画像を予測して、そ
   の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出する
   ことを、前記予測誤差が所定値以下になるまで繰り返す
   ことにより得られた、前記予測誤差が所定値以下になっ
   たときにおける前記補正データである場合、 前記符号化データを用いて補間を行うことにより補間デ
   ータを求め、 前記補間データに基づいて、前記原画像の予測値を算出
   することを特徴とする画像復号化方法。
7. 【請求項７】 画像を符号化した符号化データが記録さ
   れている記録媒体であって、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データを
   補正して、補正データを出力し、 前記補正データを用いて補間を行うことにより補間デー
   タを出力し、 前記補間データに基づいて、前記原画像を予測して、そ
   の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出する
   ことを、前記予測誤差が所定値以下になるまで繰り返す
   ことにより得られた、前記予測誤差が所定値以下になっ
   たときにおける前記補正データであることを特徴とする
   記録媒体。
8. 【請求項８】 画像を符号化する画像符号化装置であっ
   て、 原画像を、その画素数を少なくすることにより圧縮する
   圧縮手段と、 前記原画像を圧縮することにより得られる圧縮データを
   補正し、補正データを出力する補正手段と、 前記補正データに基づいて、前記原画像を予測し、その
   予測値を出力する予測手段と、 前記原画像に対する、前記予測値の予測誤差を算出する
   算出手段と、 前記予測誤差に基づいて、前記補正手段が出力する前記
   補正データの適正さを判定する判定手段と、 前記判定手段による判定結果に対応して、前記補正デー
   タを、前記原画像の符号化結果として出力する出力手段
   とを備え、 前記予測手段は、所定の注目画素を含む所定の範囲内の
   画素についての前記補正データに基づいて、前記予測値
   を算出し、 前記補正手段は、前記予測値の予測誤差に対応して、前
   記所定の注目画素のみについての圧縮データを補正する
   ことを特徴とする画像符号化装置。
9. 【請求項９】 原画像を、その画素数を少なくすること
   により圧縮し、 前記原画像を圧縮することにより得られる圧縮データを
   補正して、補正データを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
   の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出する
   ことを、前記予測誤差が所定値以下になるまで繰り返
   し、 前記予測誤差が所定値以下になったときにおける前記補
   正データを、前記原画像の符号化結果として出力する画
   像符号化方法であって、 前記予測値を、所定の注目画素を含む所定の範囲内の画
   素についての前記補正データに基づいて算出し、 前記予測値の予測誤差に対応して、前記所定の注目画素
   のみについての圧縮データを補正することを特徴とする
   画像符号化方法。
10. 【請求項１０】 原画像を、その画素数を少なくするこ
    とにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データを
    補正して、補正データを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
    の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出する
    ことを、前記予測誤差が所定値以下になるまで繰り返
    し、 前記予測誤差が所定値以下になったときにおける前記補
    正データが、前記原画像を符号化した符号化データとし
    て記録されている記録媒体であって、 前記符号化データは、 前記予測値を、所定の注目画素を含む所定の範囲内の画
    素についての前記補正データに基づいて算出し、 前記予測値の予測誤差に対応して、前記所定の注目画素
    のみについての圧縮データを補正することをにより得ら
    れたものであることを特徴とする記録媒体。