JPH10243405A

JPH10243405A - 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、並びに記録媒体

Info

Publication number: JPH10243405A
Application number: JP35762397A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Kenji Takahashi; 健治高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-12-26
Filing date: 1997-12-25
Publication date: 1998-09-11
Anticipated expiration: 2017-12-25
Also published as: JP3844030B2

Abstract

(57)【要約】【課題】符号化効率を劣化させずに、原画像により近
い復号画像を得る。【解決手段】ＨＤ画像を間引くことにより得られるＳ
Ｄ画像を構成するＳＤ画素（図１４で○印で示す）の近
傍に、仮想の画素である仮想画素（同図で◎印で示す）
を想定し、その画素値が、ＨＤ画像から求められ、ＳＤ
画素の画素値の一部に代えて、仮想画素の画素値の一部
が配置される。そして、ＳＤ画素のうちの１つを注目画
素として、その周辺のＳＤ画素および仮想画素から予測
タップが形成され、予測タップと、所定の予測係数との
線形結合により、ＨＤ画像の予測値を求める適応処理が
行われる。さらに、適応処理により求められた予測値
の、ＨＤ画像に対する予測誤差が算出され、予測誤差に
対応して、注目画素の画素値が補正される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号符号化装
置および画像信号符号化方法、画像信号復号装置および
画像信号復号方法、並びに記録媒体に関する。特に、原
画像とほぼ同一の復号画像が得られるように、画像を間
引いて圧縮符号化する画像信号符号化装置および画像信
号符号化方法、画像信号復号装置および画像信号復号方
法、並びに記録媒体に関する。

【０００２】

【従来の技術】例えば、標準解像度または低解像度の画
像（以下、適宜、ＳＤ（Standard Definition）画像と
いう）を、高解像度の画像（以下、適宜、ＨＤ（High D
efinition）画像という）に変換したり、また、画像を
拡大したりする場合においては、いわゆる補間フィルタ
などによって、不足している画素の画素値の補間（補
償）が行われるようになされている。

【０００３】しかしながら、補間フィルタによって画素
の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画
像の成分（高周波成分）を復元することはできないた
め、高解像度の画像を得ることは困難であった。

【０００４】そこで、本件出願人は、ＳＤ画像を、そこ
に含まれていない高周波成分をも含むＨＤ画像に変換す
る画像変換装置（画像変換回路）を先に提案している。

【０００５】この画像変換装置においては、ＳＤ画像
と、所定の予測係数との線形結合により、ＨＤ画像の画
素の予測値を求める適応処理を行うことで、ＳＤ画像に
は含まれていない高周波成分が復元されるようになされ
ている。

【０００６】即ち、例えば、いま、ＨＤ画像を構成する
画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測
値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する
画素）の画素値（以下、適宜、学習データという）
ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・
の線形結合により規定される線形１次結合モデルにより
求めることを考える。この場合、予測値Ｅ［ｙ］は、次
式で表すことができる。

【０００７】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０００８】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】で定義すると、次のような観測方程式が成立する。

【０００９】ＸＷ＝Ｙ’・・・（２）

【００１０】そして、この観測方程式に最小自乗法を適
用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなるＨＤ画
素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【００１１】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００１２】この場合、ＨＤ画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

【数３】を最小にすることで求めることができる。

【００１３】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【００１４】

【数４】・・・（４）

【００１５】そこで、まず、式（３）を、予測係数ｗ_i
で微分することにより、次式が成立する。

【００１６】

【数５】・・・（５）

【００１７】式（４）および（５）より、式（６）が得
られる。

【００１８】

【数６】・・・（６）

【００１９】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【００２０】

【数７】・・・（７）

【００２１】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗにかかる係数で構成される
行列が正則である必要がある）、最適な予測係数ｗを求
めることができる。なお、式（７）を解くにあたって
は、例えば、掃き出し法（Gauss-Jordanの消去法）など
を適用することが可能である。

【００２２】以上のようにして、最適な予測係数ｗを求
め、さらに、その予測係数ｗを用い、式（１）により、
ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが
適応処理である（但し、あらかじめ予測係数ｗを求めて
おき、その予測係数ｗから、予測値を求めるのも、適応
処理に含まれるものとする）。

【００２３】なお、適応処理は、ＳＤ画像には含まれて
いない、ＨＤ画像に含まれる成分が再現される点で、補
間処理とは異なる。即ち、適応処理では、式（１）だけ
を見る限りは、いわゆる補間フィルタを用いての補間処
理と同一であるが、その補間フィルタのタップ係数に相
当する予測係数ｗが、教師データｙを用いて、いわば学
習により求められるため、ＨＤ画像に含まれる成分を再
現することができる。即ち、容易に、高解像度の画像を
得ることができる。このことから、適応処理は、いわば
画像の創造作用がある処理ということができる。

【００２４】図２４は、画像の特徴（クラス）に基づい
て行われる、以上のような適応処理により、ＳＤ画像を
ＨＤ画像に変換する画像変換装置の一例の構成を示して
いる。

【００２５】ＳＤ画像は、クラス分類回路１０１および
遅延回路１０２に供給されるようになされており、クラ
ス分類回路１０１では、ＳＤ画像を構成するＳＤ画素が
順次、注目画素とされ、その注目画素が、所定のクラス
にクラス分類される。

【００２６】即ち、クラス分類回路１０１は、まず最初
に、注目画素の周辺にあるＳＤ画素を幾つか集めてブロ
ックを構成し（以下、適宜、処理ブロックという）、そ
の処理ブロックを構成する、例えばすべてのＳＤ画素の
画素値のパターンにあらかじめ割り当てられた値を、注
目画素のクラスとして、係数ＲＯＭ１０４のアドレス端
子（ＡＤ）に供給する。

【００２７】具体的には、クラス分類回路１０１は、例
えば、図２５に点線の四角形で囲んで示すように、注目
画素を中心とする５×５のＳＤ画素（同図において○印
で示す）でなる処理ブロックを、ＳＤ画像から抽出し、
これらの２５のＳＤ画素の画素値のパターンに対応する
値を、注目画素のクラスとして出力する。

【００２８】ここで、各ＳＤ画素の画素値を表すのに、
例えば、８ビットなどの多くのビット数が割り当てられ
ている場合、２５のＳＤ画素の画素値のパターン数は、
（２⁸）²⁵通りという莫大な数となり、その後の処理の
迅速化が困難となる。

【００２９】そこで、クラス分類を行う前の前処理とし
て、処理ブロックには、それを構成するＳＤ画素のビッ
ト数を低減するための処理である、例えばＡＤＲＣ（Ad
aptiv Dynamic Range Coding）処理などが施される。

【００３０】即ち、ＡＤＲＣ処理では、まず、処理ブロ
ックを構成する２５のＳＤ画素から、その画素値の最大
のもの（以下、適宜、最大画素という）と最小のもの
（以下、適宜、最小画素という）とが検出される。そし
て、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮ
との差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤ
Ｒを処理ブロックの局所的なダイナミックレンジとす
る。このダイナミックレンジＤＲに基づいて、処理ブロ
ックを構成する各画素値が、元の割当ビット数より少な
いＫビットに再量子化される。つまり、処理ブロックを
構成する各画素値から最小画素の画素値ＭＩＮが減算さ
れ、各減算値が、ＤＲ／２^Kで除算される。

【００３１】その結果、処理ブロックを構成する各画素
値はＫビットで表現されるようになる。従って、例えば
Ｋ＝１とした場合、２５のＳＤ画素の画素値のパターン
数は、（２¹）²⁵通りになり、ＡＤＲＣ処理を行わない
場合に比較して、パターン数を非常に少ないものとする
ことができる。なお、画素値を、このようにＫビットに
するＡＤＲＣ処理を、以下、適宜、ＫビットＡＤＲＣ処
理という。

【００３２】係数ＲＯＭ１０４は、あらかじめ学習が行
われることにより求められた予測係数のセットを、クラ
ス毎に記憶しており、クラス分類回路１０１からクラス
が供給されると、そのクラスに対応するアドレスに記憶
されている予測係数のセットを読み出し、予測演算回路
１０５に供給する。

【００３３】一方、遅延回路１０２では、予測演算回路
１０５に対して、係数ＲＯＭ１０４から予測係数のセッ
トが供給されるタイミングと、後述する予測タップ生成
回路１０３から予測タップが供給されるタイミングとを
一致させるために必要な時間だけ、ＳＤ画像が遅延さ
れ、予測タップ生成回路１０３に供給される。

【００３４】予測タップ生成回路１０３では、そこに供
給されるＳＤ画像から、予測演算回路１０５において所
定のＨＤ画素の予測値を求めるのに用いるＳＤ画素が抽
出され、これが予測タップとして、予測演算回路１０５
に供給される。即ち、予測タップ生成回路１０３では、
ＳＤ画像から、例えば、クラス分類回路１０１で抽出さ
れたとの同一の処理ブロックが抽出され、その処理ブロ
ックを構成するＳＤ画素が、予測タップとして、予測演
算回路１０５に供給される。

【００３５】予測演算回路１０５では、係数ＲＯＭ１０
４からの予測係数ｗ，ｗ₂，・・・と、予測タップ生成
回路１０３からの予測タップｘ₁，ｘ₂，・・・とを用い
て、式（１）に示した演算、即ち、適応処理が行われる
ことにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、
これが、ＨＤ画素の画素値として出力される。

【００３６】即ち、ここでは、例えば、図２５において
実線の四角形で囲む、注目画素を中心とする３×３のＨ
Ｄ画素（同図において・点で示す）の予測値が、１つ
（１セット）の予測タップから求められるようになされ
ており、この場合、予測演算回路１０５では、この９個
のＨＤ画素について、式（１）の演算が行われる。従っ
て、係数ＲＯＭ１０４では、１のクラスに対応するアド
レスに、９セットの予測係数のセットが記憶されてい
る。

【００３７】以下同様の処理が、その他のＳＤ画素を順
次注目画素として行われ、これにより、ＳＤ画像がＨＤ
画像に変換される。

【００３８】次に、図２６は、図２４の係数ＲＯＭ１０
４に記憶させる予測係数を算出する学習処理を行う学習
装置の構成例を示している。

【００３９】学習における教師データｙとなるべきＨＤ
画像が、間引き回路１１１および遅延回路１１４に供給
されるようになされており、間引き回路１１１では、Ｈ
Ｄ画像が、例えば、その画素数が間引かれることにより
少なくされ、これによりＳＤ画像とされる。このＳＤ画
像は、クラス分類回路１１２および予測タップ生成回路
１１３に供給される。

【００４０】クラス分類回路１１２または予測タップ生
成回路１１３では、図２４のクラス分類回路１０１また
は予測タップ生成回路１０３における場合と同様の処理
が行われ、これにより注目画素のクラスまたは予測タッ
プがそれぞれ出力される。クラス分類回路１１２が出力
するクラスは、予測タップメモリ１１５および教師デー
タメモリ１１６のアドレス端子（ＡＤ）に供給され、予
測タップ生成回路１１３が出力する予測タップは、予測
タップメモリ１１５に供給される。

【００４１】予測タップメモリ１１５では、クラス分類
回路１１２から供給されるクラスに対応するアドレス
に、予測タップ生成回路１１３から供給される予測タッ
プが記憶される。

【００４２】一方、遅延回路１１４では、注目画素に対
応するクラスが、クラス分類回路１１２から教師データ
メモリ１１６に供給される時間だけ、ＨＤ画像が遅延さ
れ、そのうちの、注目画素であるＳＤ画素の周辺にある
ＨＤ画素の画素値だけが、教師データとして、教師デー
タメモリ１１６に供給される。

【００４３】そして、教師データメモリ１１６では、ク
ラス分類回路１１２から供給されるクラスに対応するア
ドレスに、遅延回路１１４から供給される教師データが
記憶される。

【００４４】以下同様の処理が、あらかじめ学習用に用
意されたすべてのＨＤ画像を構成するすべてのＨＤ画素
が注目画素とされるまで繰り返される。

【００４５】以上のようにして、予測タップメモリ１１
５または教師データメモリ１１６の同一のアドレスそれ
ぞれには、図２５において○印で示したＳＤ画素または
図２５において・印で示したＨＤ画素とそれぞれ同一の
位置関係にあるＳＤ画素またはＨＤ画素が、学習データ
ｘまたは教師データｙとして記憶される。

【００４６】なお、予測タップメモリ１１５と教師デー
タメモリ１１６においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、同一のクラスに分類される複数
の学習データｘと教師データｙを記憶することができる
ようになされている。

【００４７】その後、演算回路１１７は、予測タップメ
モリ１１５または教師データメモリ１１６から、同一ア
ドレスに記憶されている学習データとしての予測タップ
または教師データとしてのＨＤ画素の画素値を読み出
し、それらを用いて、最小自乗法によって、予測値と教
師データとの間の誤差を最小にする予測係数のセットを
算出する。即ち、演算回路１１７では、クラス毎に、式
（７）に示した正規方程式がたてられ、これを解くこと
によりクラス毎の予測係数のセットが求められる。

【００４８】以上のようにして、演算回路１１７で求め
られたクラス毎の予測係数のセットが、図２４の係数Ｒ
ＯＭ１０４における、そのクラスに対応するアドレスに
記憶されている。

【００４９】なお、以上のような学習処理において、予
測係数を求めるのに必要な数の正規方程式が得られない
クラスが生じる場合があるが、そのようなクラスについ
ては、例えば、クラスを無視して正規方程式をたてて解
くことにより得られる予測係数のセットなどが、いわば
デフォルトの予測係数のセットとして用いられる。

【００５０】ところで、図２４の画像変換装置によれ
ば、ＨＤ画像の画素数を間引くなどして少なくすること
により得られるＳＤ画像から、上述したように、そこに
含まれていない高周波成分をも含むＨＤ画像を得ること
ができるが、元のＨＤ画像に近づけるのには限界があ
る。その理由として、ＨＤ画像の画素数を間引いただけ
のＳＤ画像の画素（ＳＤ画素）の画素値が、元のＨＤ画
像を復元するのに、最適ではないことが考えられる。

【００５１】そこで、本件出願人は、元のＨＤ画像によ
り近い画質の復号画像を得ることができるようにするた
め、適応処理を利用した画像の圧縮（符号化）について
先に提案している（例えば、特願平８−２０６５５２号
など）。

【００５２】即ち、図２７は、適応処理によって、元の
ＨＤ画像により近い復号画像を得ることができるよう
に、そのＨＤ画像を、最適なＳＤ画像に圧縮（符号化）
する画像符号化装置の構成例を示している。

【００５３】符号化対象のＨＤ画像は、間引き部１２１
および誤差算出部１２４に供給される。

【００５４】間引き部１２１では、ＨＤ画像が、例え
ば、単純に間引かれることによりＳＤ画像とされ、補正
部１２２に供給される。補正部１２２は、間引き部１２
１からＳＤ画像を受信すると、最初は、そのＳＤ画像
を、そのままローカルデコード部１２３に出力する。ロ
ーカルデコード部１２３は、例えば、図２４に示した画
像変換装置と同様に構成され、補正部１２２からのＳＤ
画像を用いて、上述したような適応処理を行うことによ
り、ＨＤ画素の予測値を算出し、誤差算出部１２４に出
力する。誤差算出部１２４は、ローカルデコード部１２
３からのＨＤ画素の予測値の、元のＨＤ画素に対する予
測誤差を算出し、制御部１２５に出力する。制御部１２
５は、誤差算出部１２４からの予測誤差に対応して、補
正部１２２を制御する。

【００５５】即ち、これにより、補正部１２２は、間引
き部１２１からのＳＤ画像の画素値を、制御部１２５か
らの制御に従って補正し、ローカルデコード部１２３に
出力する。ローカルデコード部１２３では、補正部１２
２から供給される補正後のＳＤ画像を用いて、再び、Ｈ
Ｄ画像の予測値が求められる。

【００５６】以下、例えば、誤差算出部１２４が出力す
る予測誤差が、所定値以下となるまで、同様の処理が繰
り返される。

【００５７】そして、誤差算出部１２４が出力する予測
誤差が、所定値以下となると、制御部１２５は、補正部
１２２を制御し、これにより、予測誤差が所定値以下と
なったときの、補正後のＳＤ画像を、ＨＤ画像の最適な
符号化結果として出力させる。

【００５８】従って、この補正後のＳＤ画像によれば、
それに適応処理を施すことにより、予測誤差が所定値以
下のＨＤ画像を得ることができる。

【００５９】ここで、以上のようにして、図２７の画像
符号化装置から出力されるＳＤ画像は、元のＨＤ画像に
より近い復号画像を得るのに、最適なものということが
できるから、この画像符号化装置の補正部１２２、ロー
カルデコード部１２３、誤差算出部１２４、および制御
部１２５で構成される系が行う処理は、最適化処理とい
うことができる。

【００６０】

【発明が解決しようとする課題】ところで、元のＨＤ画
素の画素値に、より近い予測値を得るためには、適応処
理において用いる予測タップを、その予測値を求めよう
とするＨＤ画素に近い、多くのＳＤ画素から構成するの
が望ましい。

【００６１】しかしながら、予測タップを、多くのＳＤ
画素から構成すると、予測値を求めようとするＨＤ画素
から遠いＳＤ画素が予測タップに含まれるようになる。
従って、この場合、予測値を求めようとするＨＤ画素が
表示する物体とは異なる物体を表示するＳＤ画素が予測
タップに含まれることがあり、その結果、予測値の精度
が劣化し、その予測値で構成される復号画像が劣化する
こととなる。

【００６２】そこで、図２７の画像符号化装置の間引き
部１２１において、ＨＤ画像から間引く画素数を少なく
し、これにより、予測値を求めようとするＨＤ画素から
近い位置のＳＤ画素を増加させる方法があるが、これで
は、符号化効率が劣化することになる。

【００６３】本発明は、このような状況に鑑みてなされ
たものであり、符号化効率を劣化させることなく、原画
像により近い復号画像を得ることができるようにするも
のである。

【００６４】

【課題を解決するための手段】請求項１に記載の画像信
号符号化装置は、圧縮画像信号を構成する画素である圧
縮画素の近傍に、仮想の画素である仮想画素を想定し、
その仮想画素の画素値を、原画像信号から算出する仮想
画素算出手段と、圧縮画素の画素値の一部を、仮想画素
の画素値の一部に置き換える置換手段と、圧縮画像信号
を構成する圧縮画素のうちの１つを注目画素として、そ
の注目画素の近傍の圧縮画素および仮想画素から予測タ
ップを形成する予測タップ形成手段と、予測タップと、
所定の予測係数とから、原画像信号を予測し、その予測
値を出力する予測手段と、予測値の、原画像信号に対す
る予測誤差を算出する予測誤差算出手段と、予測誤差に
対応して、圧縮画像信号を構成する圧縮画素の画素値を
補正する補正手段とを備えることを特徴とする。

【００６５】請求項８に記載の画像信号符号化方法は、
圧縮画像信号を構成する画素である圧縮画素の近傍に、
仮想の画素である仮想画素を想定し、その仮想画素の画
素値を、原画像信号から算出する仮想画素算出ステップ
と、圧縮画素の画素値の一部を、仮想画素の画素値の一
部に置き換える置換ステップと、圧縮画像信号を構成す
る圧縮画素のうちの１つを注目画素として、その注目画
素の近傍の圧縮画素および仮想画素から予測タップを形
成する予測タップ形成ステップと、予測タップと、所定
の予測係数とから、原画像信号を予測し、その予測値を
出力する予測ステップと、予測値の、原画像信号に対す
る予測誤差を算出する予測誤差算出ステップと、予測誤
差に対応して、圧縮画像信号を構成する圧縮画素の画素
値を補正する補正ステップとを備えることを特徴とす
る。

【００６６】請求項１５に記載の画像信号復号装置は、
原画像信号の画素数より少ない画素数の圧縮画像信号を
発生し、圧縮画像信号を構成する画素である圧縮画素の
近傍に、仮想の画素である仮想画素を想定し、その仮想
画素の画素値を、原画像信号から算出し、圧縮画素の画
素値の一部を、仮想画素の画素値の一部に置き換え、圧
縮画像信号を構成する圧縮画素のうちの１つを注目画素
として、その注目画素の近傍の圧縮画素および仮想画素
から予測タップを形成し、予測タップと、所定の予測係
数とから、原画像信号を予測し、その予測値を出力し、
予測値の、原画像信号に対する予測誤差を算出し、予測
誤差に対応して、圧縮画像信号を構成する圧縮画素の画
素値を補正し、その補正された圧縮画像信号を、原画像
信号を得るのに最適な最適圧縮画像信号として、その最
適圧縮画像信号を、原画像信号の符号化結果として出力
することにより得られる最適圧縮画像信号を構成する画
素のうちの１つを注目画素として、その注目画素の近傍
の画素から予測タップを形成する予測タップ形成手段
と、予測タップと、所定の予測係数とから、原画像信号
を予測し、その予測値を出力する予測手段とを備えるこ
とを特徴とする。

【００６７】請求項２２に記載の画像信号復号方法は、
原画像信号の画素数より少ない画素数の圧縮画像信号を
発生し、圧縮画像信号を構成する画素である圧縮画素の
近傍に、仮想の画素である仮想画素を想定し、その仮想
画素の画素値を、原画像信号から算出し、圧縮画素の画
素値の一部を、仮想画素の画素値の一部に置き換え、圧
縮画像信号を構成する圧縮画素のうちの１つを注目画素
として、その注目画素の近傍の圧縮画素および仮想画素
から予測タップを形成し、予測タップと、所定の予測係
数とから、原画像信号を予測し、その予測値を出力し、
予測値の、原画像信号に対する予測誤差を算出し、予測
誤差に対応して、圧縮画像信号を構成する圧縮画素の画
素値を補正し、その補正された圧縮画像信号を、原画像
信号を得るのに最適な最適圧縮画像信号として、その最
適圧縮画像信号を、原画像信号の符号化結果として出力
することにより得られる最適圧縮画像信号を構成する画
素のうちの１つを注目画素として、その注目画素の近傍
の画素から予測タップを形成する予測タップ形成ステッ
プと、予測タップと、所定の予測係数とから、原画像信
号を予測し、その予測値を出力する予測ステップとを備
えることを特徴とする。

【００６８】請求項２９に記載の記録媒体は、原画像信
号の画素数より少ない画素数の圧縮画像信号を発生し、
圧縮画像信号を構成する画素である圧縮画素の近傍に、
仮想の画素である仮想画素を想定し、その仮想画素の画
素値を、原画像信号から算出し、圧縮画素の画素値の一
部を、仮想画素の画素値の一部に置き換え、圧縮画像信
号を構成する圧縮画素のうちの１つを注目画素として、
その注目画素の近傍の圧縮画素および仮想画素から予測
タップを形成し、予測タップと、所定の予測係数とか
ら、原画像信号を予測し、その予測値を出力し、予測値
の、原画像信号に対する予測誤差を算出し、予測誤差に
対応して、圧縮画像信号を構成する圧縮画素の画素値を
補正し、その補正された圧縮画像信号を、原画像信号を
得るのに最適な最適圧縮画像信号として、その最適圧縮
画像信号を、原画像信号の符号化結果として出力するこ
とにより得られる最適圧縮画像信号を含む符号化データ
が記録されていることを特徴とする。

【００６９】請求項１に記載の画像信号符号化装置にお
いては、仮想画素算出手段は、圧縮画像信号を構成する
画素である圧縮画素の近傍に、仮想の画素である仮想画
素を想定し、その仮想画素の画素値を、原画像信号から
算出するようになされている。置換手段は、圧縮画素の
画素値の一部を、仮想画素の画素値の一部に置き換え、
予測タップ形成手段は、圧縮画像信号を構成する圧縮画
素のうちの１つを注目画素として、その注目画素の近傍
の圧縮画素および仮想画素から予測タップを形成するよ
うになされている。予測手段は、予測タップと、所定の
予測係数とから、原画像信号を予測し、その予測値を出
力するようになされている。予測誤差算出手段は、予測
値の、原画像信号に対する予測誤差を算出し、補正手段
は、予測誤差に対応して、圧縮画像信号を構成する圧縮
画素の画素値を補正するようになされている。

【００７０】請求項８に記載の画像信号符号化方法にお
いては、圧縮画像信号を構成する画素である圧縮画素の
近傍に、仮想の画素である仮想画素を想定し、その仮想
画素の画素値を、原画像信号から算出し、圧縮画素の画
素値の一部を、仮想画素の画素値の一部に置き換え、圧
縮画像信号を構成する圧縮画素のうちの１つを注目画素
として、その注目画素の近傍の圧縮画素および仮想画素
から予測タップを形成し、予測タップと、所定の予測係
数とから、原画像信号を予測し、その予測値を出力し、
予測値の、原画像信号に対する予測誤差を算出し、予測
誤差に対応して、圧縮画像信号を構成する圧縮画素の画
素値を補正するようになされている。

【００７１】請求項１５に記載の画像信号復号装置にお
いては、予測タップ形成手段は、最適圧縮画像信号を構
成する画素のうちの１つを注目画素として、その注目画
素の近傍の画素から予測タップを形成し、予測手段は、
予測タップと、所定の予測係数とから、原画像信号を予
測し、その予測値を出力するようになされている。

【００７２】請求項２２に記載の画像信号復号方法にお
いては、最適圧縮画像信号を構成する画素のうちの１つ
を注目画素として、その注目画素の近傍の画素から予測
タップを形成し、予測タップと、所定の予測係数とか
ら、原画像信号を予測し、その予測値を出力するように
なされている。

【００７３】請求項２９に記載の記録媒体には、原画像
信号の画素数より少ない画素数の圧縮画像信号を発生
し、圧縮画像信号を構成する画素である圧縮画素の近傍
に、仮想の画素である仮想画素を想定し、その仮想画素
の画素値を、原画像信号から算出し、圧縮画素の画素値
の一部を、仮想画素の画素値の一部に置き換え、圧縮画
像信号を構成する圧縮画素のうちの１つを注目画素とし
て、その注目画素の近傍の圧縮画素および仮想画素から
予測タップを形成し、予測タップと、所定の予測係数と
から、原画像信号を予測し、その予測値を出力し、予測
値の、原画像信号に対する予測誤差を算出し、予測誤差
に対応して、圧縮画像信号を構成する圧縮画素の画素値
を補正し、その補正された圧縮画像信号を、原画像信号
を得るのに最適な最適圧縮画像信号として、その最適圧
縮画像信号を、原画像信号の符号化結果として出力する
ことにより得られる最適圧縮画像信号を含む符号化デー
タが記録されている。

【００７４】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段（またはステップ）と以下の実施の形態との対応関
係を明らかにするために、各手段の後の括弧内に、対応
する実施の形態（但し、一例）を付加して、本発明の特
徴を記述すると、次のようになる。

【００７５】即ち、請求項１に記載の画像信号符号化装
置は、画像信号を符号化する画像信号符号化装置であっ
て、原画像信号の画素数より少ない画素数の圧縮画像信
号を発生する圧縮手段（例えば、図４に示す間引き回路
３１など）と、圧縮画像信号を構成する画素である圧縮
画素の近傍に、仮想の画素である仮想画素を想定し、そ
の仮想画素の画素値を、原画像信号から算出する仮想画
素算出手段（例えば、図４に示す仮想画像形成回路３２
など）と、圧縮画素の画素値の一部を、仮想画素の画素
値の一部に置き換える置換手段（例えば、図４に示す仮
想画像形成回路３２など）と、圧縮画像信号を構成する
圧縮画素のうちの１つを注目画素として、その注目画素
の近傍の圧縮画素および仮想画素から予測タップを形成
する予測タップ形成手段（例えば、図１１に示す予測タ
ップ生成回路１０３など）と、予測タップと、所定の予
測係数とから、原画像信号を予測し、その予測値を出力
する予測手段（例えば、図１１に示す予測演算回路１０
５など）と、予測値の、原画像信号に対する予測誤差を
算出する予測誤差算出手段（例えば、図９に示す誤差算
出回路４４など）と、予測誤差に対応して、圧縮画像信
号を構成する圧縮画素の画素値を補正する補正手段（例
えば、図９に示す補正回路４２など）と、補正手段が出
力する圧縮画像信号を、原画像信号を得るのに最適な最
適圧縮画像信号として、その最適圧縮画像信号を、原画
像信号の符号化結果として出力する出力手段（例えば、
図９に示す多重化回路４６など）とを備えることを特徴
とする。

【００７６】請求項２に記載の画像信号符号化装置は、
原画像信号と、圧縮手段によって発生された圧縮画像信
号または補正手段によって補正された圧縮画像信号とに
基づいて、予測係数を演算する演算手段（例えば、図１
０に示す演算回路１１７など）をさらに備え、出力手段
が、最適圧縮画像信号と予測係数とを、原画像信号の符
号化結果として出力することを特徴とする。

【００７７】請求項３に記載の画像信号符号化装置は、
予測係数が、学習のための原画像信号である学習用原画
像信号と、その学習用原画像信号から求めた、それより
画素数の少ない学習用圧縮画像信号とを用いて、あらか
じめ学習を行うことにより求められており、予測係数を
記憶する記憶手段（例えば、図１１に示す係数ＲＡＭ１
０４’など）をさらに備えることを特徴とする。

【００７８】請求項４に記載の画像信号符号化装置は、
注目画素を、所定のクラスに分類するクラス分類手段
（例えば、図１１に示すクラス分類回路１０１など）を
さらに備え、予測手段が、注目画素について形成された
予測タップと、その注目画素のクラスに対応する予測係
数とから、予測値を求めることを特徴とする。

【００７９】請求項５に記載の画像信号符号化装置は、
原画像信号と、圧縮手段によって発生された圧縮画像信
号または補正手段によって補正された圧縮画像信号とに
基づいて、クラスごとの予測係数を演算する演算手段
（例えば、図１０に示す演算回路１１７など）をさらに
備え、出力手段が、最適圧縮画像信号とクラスごとの予
測係数とを、原画像信号の符号化結果として出力するこ
とを特徴とする。

【００８０】請求項６に記載の画像信号符号化装置は、
予測係数が、学習のための原画像信号である学習用原画
像信号と、その学習用原画像信号から求めた、それより
画素数の少ない学習用圧縮画像信号とを用いて、あらか
じめ学習を行うことにより、クラスごとに求められてお
り、クラスごとの予測係数を記憶する記憶手段（例え
ば、図１１に示す係数ＲＡＭ１０４’など）をさらに備
えることを特徴とする。

【００８１】請求項８に記載の画像信号符号化方法は、
画像信号を符号化する画像信号符号化方法であって、原
画像信号の画素数より少ない画素数の圧縮画像信号を発
生する圧縮ステップ（例えば、図８に示すプログラムの
処理ステップＳ３など）と、圧縮画像信号を構成する画
素である圧縮画素の近傍に、仮想の画素である仮想画素
を想定し、その仮想画素の画素値を、原画像信号から算
出する仮想画素算出ステップ（例えば、図８に示すプロ
グラムの処理ステップＳ７など）と、圧縮画素の画素値
の一部を、仮想画素の画素値の一部に置き換える置換ス
テップ（例えば、図８に示すプログラムの処理ステップ
Ｓ８など）と、圧縮画像信号を構成する圧縮画素のうち
の１つを注目画素として、その注目画素の近傍の圧縮画
素および仮想画素から予測タップを形成する予測タップ
形成ステップ（例えば、図１５に示すプログラムの処理
ステップＳ３３や、図１７に示すプログラムの処理ステ
ップＳ５３など）と、予測タップと、所定の予測係数と
から、原画像信号を予測し、その予測値を出力する予測
ステップ（例えば、図１５に示すプログラムの処理ステ
ップＳ３３や、図１７に示すプログラムの処理ステップ
Ｓ５３など）と、予測値の、原画像信号に対する予測誤
差を算出する予測誤差算出ステップ（例えば、図１５に
示すプログラムの処理ステップＳ３３や、図１７に示す
プログラムの処理ステップＳ５３など）と、予測誤差に
対応して、圧縮画像信号を構成する圧縮画素の画素値を
補正する補正ステップ（例えば、図１５に示すプログラ
ムの処理ステップＳ３５，Ｓ３８，Ｓ３９，Ｓ４２，Ｓ
４４乃至Ｓ４６や、図１７に示すプログラムの処理ステ
ップＳ５５，Ｓ５８，Ｓ５９，Ｓ６２，Ｓ６４乃至Ｓ６
６など）と、補正ステップにおいて補正された圧縮画像
信号を、原画像信号を得るのに最適な最適圧縮画像信号
として、その最適圧縮画像信号を、原画像信号の符号化
結果として出力する出力ステップ（例えば、図１２に示
すプログラムの処理ステップＳ１９など）とを備えるこ
とを特徴とする。

【００８２】請求項９に記載の画像信号符号化方法は、
原画像信号と、圧縮ステップにおいて発生された圧縮画
像信号または補正ステップにおいて補正された圧縮画像
信号とに基づいて、予測係数を演算する演算ステップ
（例えば、図１２に示すプログラムの処理ステップＳ１
１やＳ１８など）をさらに備え、出力ステップにおい
て、最適圧縮画像信号と予測係数とを、原画像信号の符
号化結果として出力することを特徴とする。

【００８３】請求項１１に記載の画像信号符号化方法
は、注目画素を、所定のクラスに分類するクラス分類ス
テップ（例えば、図１５に示すプログラムの処理ステッ
プＳ３３や、図１７に示すプログラムの処理ステップＳ
５３など）をさらに備え、予測ステップにおいて、注目
画素について形成された予測タップと、その注目画素の
クラスに対応する予測係数とから、予測値を求めること
を特徴とする。

【００８４】請求項１２に記載の画像信号符号化方法
は、原画像信号と、圧縮ステップにおいて発生された圧
縮画像信号または補正ステップにおいて補正された圧縮
画像信号とに基づいて、クラスごとの予測係数を演算す
る演算ステップ（例えば、図１２に示すプログラムの処
理ステップＳ１１やＳ１８など）をさらに備え、出力ス
テップにおいて、最適圧縮画像信号とクラスごとの予測
係数とを、原画像信号の符号化結果として出力すること
を特徴とする。

【００８５】請求項１５に記載の画像信号復号装置は、
原画像信号の画素数より少ない画素数の圧縮画像信号を
発生し、圧縮画像信号を構成する画素である圧縮画素の
近傍に、仮想の画素である仮想画素を想定し、その仮想
画素の画素値を、原画像信号から算出し、圧縮画素の画
素値の一部を、仮想画素の画素値の一部に置き換え、圧
縮画像信号を構成する圧縮画素のうちの１つを注目画素
として、その注目画素の近傍の圧縮画素および仮想画素
から予測タップを形成し、予測タップと、所定の予測係
数とから、原画像信号を予測し、その予測値を出力し、
予測値の、原画像信号に対する予測誤差を算出し、予測
誤差に対応して、圧縮画像信号を構成する圧縮画素の画
素値を補正し、その補正された圧縮画像信号を、原画像
信号を得るのに最適な最適圧縮画像信号として、その最
適圧縮画像信号を、原画像信号の符号化結果として出力
することにより得られる最適圧縮画像信号を含む符号化
データを復号する画像信号復号装置であって、最適圧縮
画像信号を構成する画素のうちの１つを注目画素とし
て、その注目画素の近傍の画素から予測タップを形成す
る予測タップ形成手段（例えば、図２１に示す予測タッ
プ生成回路２０３など）と、予測タップと、所定の予測
係数とから、原画像信号を予測し、その予測値を出力す
る予測手段（例えば、図２１に示す予測演算回路２０５
など）とを備えることを特徴とする。

【００８６】請求項１７に記載の画像信号復号装置は、
予測係数が、学習のための原画像信号である学習用原画
像信号と、その学習用原画像信号から求めた、それより
画素数の少ない学習用圧縮画像信号とを用いて、あらか
じめ学習を行うことにより求められており、予測係数を
記憶する記憶手段（例えば、図２１に示す係数ＲＡＭ２
０４など）をさらに備えることを特徴とする。

【００８７】請求項１８に記載の画像信号復号装置は、
最適圧縮画像信号を構成する画素のうち、注目画素とし
たものを、所定のクラスに分類するクラス分類手段（例
えば、図２１に示すクラス分類回路２０１など）をさら
に備え、予測手段が、注目画素について形成された予測
タップと、その注目画素のクラスに対応する予測係数と
から、予測値を求めることを特徴とする。

【００８８】請求項２０に記載の画像信号復号装置は、
予測係数が、学習のための原画像信号である学習用原画
像信号と、その学習用原画像信号から求めた、それより
画素数の少ない学習用圧縮画像信号とを用いて、あらか
じめ学習を行うことにより、クラスごとに求められてお
り、クラスごとの予測係数を記憶する記憶手段（例え
ば、図２１に示す係数ＲＡＭ２０４など）をさらに備え
ることを特徴とする。

【００８９】請求項２２に記載の画像信号復号方法は、
原画像信号の画素数より少ない画素数の圧縮画像信号を
発生し、圧縮画像信号を構成する画素である圧縮画素の
近傍に、仮想の画素である仮想画素を想定し、その仮想
画素の画素値を、原画像信号から算出し、圧縮画素の画
素値の一部を、仮想画素の画素値の一部に置き換え、圧
縮画像信号を構成する圧縮画素のうちの１つを注目画素
として、その注目画素の近傍の圧縮画素および仮想画素
から予測タップを形成し、予測タップと、所定の予測係
数とから、原画像信号を予測し、その予測値を出力し、
予測値の、原画像信号に対する予測誤差を算出し、予測
誤差に対応して、圧縮画像信号を構成する圧縮画素の画
素値を補正し、その補正された圧縮画像信号を、原画像
信号を得るのに最適な最適圧縮画像信号として、その最
適圧縮画像信号を、原画像信号の符号化結果として出力
することにより得られる最適圧縮画像信号を含む符号化
データを復号する画像信号復号方法であって、最適圧縮
画像信号を構成する画素のうちの１つを注目画素とし
て、その注目画素の近傍の画素から予測タップを形成す
る予測タップ形成ステップ（例えば、図２２に示すプロ
グラムの処理ステップＳ９１など）と、予測タップと、
所定の予測係数とから、原画像信号を予測し、その予測
値を出力する予測ステップ（例えば、図２２に示すプロ
グラムの処理ステップＳ９２など）とを備えることを特
徴とする。

【００９０】請求項２５に記載の画像信号復号方法は、
最適圧縮画像信号を構成する画素のうち、注目画素とし
たものを、所定のクラスに分類するクラス分類ステップ
（例えば、図２２に示すプログラムの処理ステップＳ９
１など）をさらに備え、予測ステップにおいて、注目画
素について形成された予測タップと、その注目画素のク
ラスに対応する予測係数とから、予測値を求めることを
特徴とする。

【００９１】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００９２】図１は、本発明を適用した画像処理装置の
一実施の形態の構成を示している。送信装置１には、デ
ィジタル化されたＨＤ画像の画像データが供給されるよ
うになされている。送信装置１は、入力された画像デー
タを間引くこと（その画素数を少なくすること）により
圧縮、符号化し、その結果得られるＳＤ画像の画像デー
タを、ＨＤ画像の符号化データとして、例えば、光ディ
スクや、光磁気ディスク、磁気テープその他でなる記録
媒体２に記録し、または、例えば、地上波や、衛星回
線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して
伝送する。

【００９３】受信装置４では、記録媒体２に記録された
符号化データが再生され、または、伝送路３を介して伝
送されてくる符号化データが受信され、その符号化デー
タを伸張、復号化し、その結果得られるＨＤ画像の復号
画像を、図示せぬディスプレイに供給して表示させる。

【００９４】なお、以上のような画像処理装置は、例え
ば、光ディスク装置や、光磁気ディスク装置、磁気テー
プ装置その他の、画像の記録／再生を行う装置や、ある
いはまた、例えば、テレビ電話装置や、テレビジョン放
送システム、ＣＡＴＶシステムその他の、画像の伝送を
行う装置などに適用される。また、後述するように、送
信装置１が出力する符号化データのデータ量が少ないた
め、図１の画像処理装置は、伝送レートの低い、例え
ば、携帯電話機その他の、移動に便利な携帯端末などに
も適用可能である。

【００９５】図２は、送信装置１の構成例を示してい
る。

【００９６】Ｉ／Ｆ（InterFace）１１は、外部から供
給されるＨＤ画像の画像データの受信処理と、送信機／
記録装置１６に対しての、符号化データの送信処理を行
うようになされている。ＲＯＭ（Read Only Memory）１
２は、ＩＰＬ（Initial Program Loading）用のプログ
ラムその他を記憶している。ＲＡＭ（Random Access Me
mory）１３は、外部記憶装置１５に記録されているシス
テムプログラム（ＯＳ（Operating System））やアプリ
ケーションプログラムを記憶したり、また、ＣＰＵ（Ce
ntral Processing Unit）１４の動作上必要なデータを
記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１
２に記憶されているＩＰＬプログラムにしたがい、外部
記憶装置１５からシステムプログラムおよびアプリケー
ションプログラムを、ＲＡＭ１３に展開し、そのシステ
ムプログラムの制御の下、アプリケーションプログラム
を実行することで、Ｉ／Ｆ１１から供給される画像デー
タについての、後述するような符号化処理を行うように
なされている。外部記憶装置１５は、例えば、磁気ディ
スク装置などでなり、上述したように、ＣＰＵ１４が実
行するシステムプログラムやアプリケーションプログラ
ムを記憶している他、ＣＰＵ１４の動作上必要なデータ
も記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１
から供給される符号化データを、記録媒体２に記録し、
または伝送路３を介して伝送するようになされている。

【００９７】なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１
３，ＣＰＵ１４、および外部記憶装置１５は、相互にバ
スを介して接続されている。なお、図２において、送信
装置１は、ＣＰＵを用いた構成であるが、ハードロジッ
クで構成することも可能である。

【００９８】以上のように構成される送信装置１におい
ては、Ｉ／Ｆ１１にＨＤ画像の画像データが供給される
と、その画像データは、ＣＰＵ１４に供給される。ＣＰ
Ｕ１４は、画像データを符号化し、その結果得られる符
号化データとしてのＳＤ画像を、Ｉ／Ｆ１１に供給す
る。Ｉ／Ｆ１１は、符号化データを受信すると、それ
を、送信機／記録装置１６に供給する。送信機／記録装
置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒
体２に記録され、または伝送路３を介して伝送される。

【００９９】図３は、図２の送信装置１の、送信機／記
録装置１６を除く部分の機能的なブロック図である。

【０１００】符号化すべき画像データとしてのＨＤ画像
は、前処理部２１および最適化部２２に供給されるよう
になされている。

【０１０１】前処理部２１は、ＨＤ画像（原画像）を、
その画素数を少なくすることにより圧縮し、その結果得
られるＳＤ画像（圧縮画像）を構成するＳＤ画素の近傍
に、仮想の画素である仮想画素を想定し、その仮想画素
の画素値を、ＨＤ画像から求める。さらに、前処理部２
１は、ＳＤ画素の画素値の一部に代えて、仮想画素の画
素値の一部を配置し、最適化部２２に供給する。

【０１０２】最適化部２２は、前処理部２１からのＳＤ
画素を順次注目画素として、最適化処理を行う。即ち、
最適化部２２は、注目画素の周辺のＳＤ画素および仮想
画素から予測タップを形成し、その予測タップと予測係
数のセットとの線形結合により、原画像の予測値を求め
る適応処理を行う。さらに、最適化部２２は、その予測
値の、元のＨＤ画像に対する予測誤差を算出し、その予
測誤差に対応して、注目画素の画素値を補正する。そし
て、最適化部２２は、その補正された注目画素の画素値
を用いて、同様の処理を、例えば、その予測誤差が所定
値以下になるまで繰り返し、元のＨＤ画像の予測値を得
るのに最適な注目画素であるＳＤ画素の画素値を求め
る。

【０１０３】また、最適化部２２は、前処理部２１から
の、例えば、１フレーム（または１フィールド）のＳＤ
画像を構成するＳＤ画素すべてを注目画素として、上述
の処理を行った後、その結果得られる最適ＳＤ画像を用
いて適応処理を行うことにより、予測誤差をより小さく
するクラス毎の予測係数のセットを求める。即ち、最適
化部２２は、最適ＳＤ画像を用いて、クラス毎の予測係
数のセットを、予測誤差がより小さくなるように更新す
る。そして、そのクラス毎の予測係数のセットを用い
て、再度、最適化処理を繰り返す。そして、例えば、１
フレーム分の予測誤差の絶対値和が所定の閾値以下とな
るか、あるいは、クラス毎の予測係数のセットの更新を
所定回数だけ行うと、そのとき得られている最適ＳＤ画
像とクラス毎の予測係数のセットとを、ＨＤ画像の符号
化結果である符号化データとして出力する。

【０１０４】次に、図４は、図３の前処理部２１の構成
例を示している。

【０１０５】符号化すべきＨＤ画像は、間引き回路３１
および仮想画素形成回路３２に供給されるようになされ
ている。

【０１０６】間引き回路３１は、ＨＤ画像の画素数を、
例えば、間引くことにより少なくし、ＳＤ画像を構成し
て、仮想画素形成回路３２に供給するようになされてい
る。即ち、間引き回路３１は、例えば、ＨＤ画像を、横
×縦が３×３画素の９画素でなる正方形状のブロックに
分割し、各ブロックの幾つかの画素（後述）の平均値
を、その中心の画素の画素値として、ＳＤ画像を構成す
るようになされている。これにより、間引き回路３１で
は、例えば、図５（Ａ）に・印で示すＨＤ画素からなる
ＨＤ画像から、それを１／９に間引いた、同図（Ｂ）に
○印で示すＳＤ画素からなるＳＤ画像が構成される。

【０１０７】なお、間引き回路３１には、その他、例え
ば、上述のブロックの中心の画素だけを抽出させて、Ｓ
Ｄ画像を構成させるようにすることなども可能である。

【０１０８】仮想画素形成回路３２は、間引き回路３１
からのＳＤ画像を構成するＳＤ画素の近傍に、仮想の画
素である仮想画素を想定し、その画素値を、ＨＤ画像か
ら求めるようになされている。即ち、仮想画素形成回路
３２は、例えば、図６に○印で示すＳＤ画素の左上、左
下、右上、および右下の位置に、図６に◎印で示す仮想
画素を想定する。そして、仮想画素形成回路３２は、仮
想画素の位置に対応する、例えば４つのＨＤ画素（図５
（Ａ）に点線の四角形で囲んで示す）の画素値の平均値
を求め、これを、その仮想画素の画素値とする。

【０１０９】さらに、仮想画素形成回路３２は、例え
ば、１つのＳＤ画素に対して、１つの仮想画素を対応付
け、ＳＤ画素の画素値の一部に代えて、対応付けられた
仮想画素の画素値の一部を配置するようになされてい
る。即ち、例えば、ＨＤ画素の画素値が８ビットで表さ
れていたとすると、その平均値であるＳＤ画素および仮
想画素の画素値も８ビットで表すことができる。この場
合、仮想画素形成回路３２は、例えば、図７に示すよう
に、ＳＤ画素の画素値のＬＳＢ（Least Significant Bi
t）側の４ビットに代えて、仮想画素の画素値のＭＳＢ
（Most SignificantBit）を配置する。つまり、仮想画
素形成回路３２は、ＳＤ画素または仮想画素の画素値そ
れぞれから、ＭＳＢ側の４ビットを取り出し、ＳＤ画素
から取り出した４ビットをＭＳＢ側に配置するととも
に、仮想画素から取り出した４ビットをＬＳＢ側に配置
して、８ビットのデータを構成し、これをＳＤ画素の画
素値とする。

【０１１０】以上のようなＳＤ画素で構成されるＳＤ画
像が、最適化部２２（図３）に供給されるようになされ
ている。

【０１１１】次に、図８のフローチャートを参照して、
前処理部２１の動作について説明する。

【０１１２】前処理部２１に、符号化すべきＨＤ画像が
入力されると、そのＨＤ画像は、間引き回路３１および
仮想画素形成回路３２に供給される。間引き回路３１
は、ＨＤ画像を受信すると、その画素数を間引き、ＳＤ
画像を構成する。

【０１１３】即ち、間引き回路３１では、まず最初に、
ステップＳ１において、ＨＤ画像が、例えば、３×３画
素のＨＤ画像のブロックに分割され、ステップＳ２に進
む。

【０１１４】ここで、本実施の形態において、ＨＤ画像
は、例えば、輝度信号Ｙと、色差信号Ｕ，Ｖとから構成
され、ステップＳ１では、輝度信号のブロックと色差信
号のブロックとが構成されるようになされている。

【０１１５】ステップＳ２では、いずれかのブロックが
注目ブロックとされ、その注目ブロックが輝度信号のブ
ロックであるかどうかが判定される。ステップＳ２にお
いて、注目ブロックが輝度信号のブロックであると判定
された場合、ステップＳ３に進み、間引き回路３１にお
いて、例えば、その注目ブロックに含まれる中心のＨＤ
画素で交差する十字形の範囲にある５個のＨＤ画素の画
素値の平均値が計算され、その平均値が、注目ブロック
の中心の画素（ＳＤ画素）の画素値とされ、ステップＳ
５に進む。

【０１１６】一方、ステップＳ２において、注目ブロッ
クが輝度信号のブロックでないと判定された場合、即
ち、注目ブロックが色差信号のブロックである場合、ス
テップＳ４に進み、間引き回路３１において、例えば、
その注目ブロックを構成する３×３のＨＤ画素の画素値
の平均値が計算され、その平均値が、注目ブロックの中
心の画素（ＳＤ画素）の画素値とされ、ステップＳ５に
進む。

【０１１７】ステップＳ５では、ステップＳ１で構成さ
れたブロックすべてを、注目ブロックとして処理したか
どうかが判定され、まだ、すべてのブロックを、注目ブ
ロックとして処理していないと判定された場合、ステッ
プＳ２に戻り、まだ注目ブロックとしていないブロック
を、新たに注目ブロックとして、同様の処理を繰り返
す。また、ステップＳ５において、すべてのブロック
を、注目ブロックとして処理したと判定された場合、即
ち、ＳＤ画像が構成された場合、そのＳＤ画像が、間引
き回路３１から仮想画素形成回路３２に供給される。

【０１１８】仮想画素形成回路３２は、間引き回路３１
からＳＤ画像を受信すると、ステップＳ６において、そ
のＳＤ画像を構成するＳＤ画素のうちの１つを注目画素
とし、その注目画素が輝度信号のものかどうかを判定す
る。ステップＳ６において、注目画素が輝度信号のもの
であると判定された場合、ステップＳ７に進み、仮想画
素形成回路３２は、注目画素に対応する仮想画素の画素
値を、上述したようにＨＤ画素の画素値から求める。さ
らに、仮想画素形成回路３２は、ステップＳ８に進み、
図７で説明したように、注目画素の画素値のＬＳＢ側の
４ビットに代えて、対応する仮想画素の画素値のＭＳＢ
側の４ビットを配置し、ステップＳ９に進む。

【０１１９】一方、ステップＳ６において、注目画素が
輝度信号のものでないと判定された場合、即ち、色差信
号のものである場合、ステップＳ７およびＳ８をスキッ
プして、ステップＳ９に進み、すべてのＳＤ画素を注目
画素として処理を行ったかどうかが判定される。ステッ
プＳ９において、まだ、すべてのＳＤ画素を注目画素と
していないと判定された場合、ステップＳ６に戻り、ま
だ注目画素としていないＳＤ画素を新たに注目画素とし
て、同様の処理を繰り返す。また、ステップＳ９におい
て、すべてのＳＤ画素を注目画素として処理を行ったと
判定された場合、画素値のＬＳＢ側の４ビットが、仮想
画素の画素値のＭＳＢ側の４ビットに置き換えられたＳ
Ｄ画素で構成されるＳＤ画像が、仮想画素形成回路３２
から最適化部２２（図３）に出力され、処理を終了す
る。

【０１２０】前処理部２１では、以上の処理が、例え
ば、１フレーム単位で繰り返される。

【０１２１】ここで、本実施の形態では、輝度信号につ
いてのみ、仮想画素が構成されるようになっており、色
差信号については、ＳＤ画素だけで構成される予測タッ
プが用いられるようになされている。従って、仮想画素
の画素値のＭＳＢ側の４ビットに置き換えが行われるの
は、輝度信号についてのみで、色差信号については、そ
のような置き換えは行われない。

【０１２２】次に、図９は、図３の最適化部２２の構成
例を示している。

【０１２３】前処理部２１（仮想画素形成回路３２）か
らのＳＤ画像は、クラス分類適応処理回路（予測係数生
成）４１および補正回路４２に供給されるようになされ
ており、ＨＤ画像は、クラス分類適応処理回路（予測係
数生成）４１および誤差算出回路４４に供給されるよう
になされている。

【０１２４】クラス分類適応処理回路（予測係数生成）
４１は、ＨＤ画像を受信するとともに、前処理部２１か
らＳＤ画像を受信すると、そのＨＤ画像とＳＤ画像を用
いて、クラス毎に適応処理を行うことにより、クラス毎
の予測係数のセットｗを算出し、クラス分類適応処理回
路４３および多重化回路４６に出力するようになされて
いる。

【０１２５】ここで、図１０は、クラス分類適応処理回
路（予測係数生成）４１の構成例を示している。なお、
図中、図２６の学習装置における場合と対応する部分に
ついては、同一の符号を付してある。即ち、クラス分類
適応処理回路（予測係数生成）４１は、間引き回路１１
１が設けられていないことを除けば、図２６の学習装置
と基本的に同様に構成されている。但し、クラス分類回
路１１２および予測タップ生成回路１１３には、前処理
部２１または補正回路４２からのＳＤ画像が供給され、
また、遅延回路１１４には、前処理部２１に供給される
ＨＤ画像と同一のＨＤ画像が供給されるようになされて
おり、クラスタップ（後述）形成および予測タップ形成
に関する動作が異なる。クラス分類適応処理回路（予測
係数生成）４１の動作については、後述する。

【０１２６】図９に戻り、補正回路４２は、ＳＤ画像を
構成するＳＤ画素の画素値を、制御回路４５の制御に従
って補正し、その補正した画素値を、クラス分類適応処
理回路（予測係数生成）４１，４３、および多重化回路
４６に出力するようになされている。クラス分類適応処
理回路４３は、補正回路４２から供給されるＳＤ画素
と、クラス分類適応処理回路（予測係数生成）４１から
供給されるクラス毎の予測係数のセットｗを用いて適応
処理を行うことにより、ＨＤ画素の予測値を求め、誤差
算出回路４４に供給するようになされている。

【０１２７】ここで、図１１は、クラス分類適応処理回
路４３の構成例を示している。なお、図中、図２４の画
像変換装置における場合と対応する部分については、同
一の符号を付してある。即ち、クラス分類適応処理回路
４３は、係数ＲＯＭ１０４に替えてクラス毎の予測係数
のセットの書換可能な係数ＲＡＭ１０４’が設けられて
いる他は、図２４の画像変換装置と基本的に同様に構成
されている。この係数ＲＡＭ１０４’には、図９のクラ
ス分類適応処理回路４３からクラス毎の予測係数のセッ
トが供給されて記憶されるようになされており、また、
クラスタップ形成および予測タップ形成に関する動作
が、図２４における場合とは異なる。クラス分類適応処
理回路４３の動作については後述する。

【０１２８】再び、図９に戻り、誤差算出回路４４は、
クラス分類適応処理回路４３からのＨＤ画素の予測値
の、真のＨＤ画素の画素値に対する予測誤差を算出し、
制御回路４５に出力するようになされている。制御回路
４５は、誤差算出回路４４からの予測誤差に対応して、
補正回路４２におけるＳＤ画素の画素値の補正量を制御
するようになされている。多重化回路４６は、クラス分
類適応処理回路（予測係数生成）４１が出力する予測係
数ｗと、補正回路４２が出力する、補正されたＳＤ画素
の画素値とを多重化し、符号化データとして出力するよ
うになされている。

【０１２９】次に、図１２のフローチャートを参照し
て、最適化部２２の処理について説明する。

【０１３０】クラス分類適応処理回路（予測係数生成）
４１は、前処理部２１からＳＤ画像を受信すると、ステ
ップＳ１１において、そのＳＤ画像と、ＨＤ画像とを用
いて適応処理を行うことにより、クラス毎の予測係数の
セットを算出する。

【０１３１】即ち、クラス分類適応処理回路（予測係数
生成）４１は、ＳＤ画像を構成するＳＤ画素を順次注目
画素とし、その注目画素についてクラス分類用のタップ
（以下、適宜、クラスタップという）を構成し、クラス
分類を行う。

【０１３２】ここで、本実施の形態では、注目画素につ
いて、例えば、次のようなクラスタップが構成され、ク
ラス分類が行われるようになされている。

【０１３３】即ち、輝度信号については、例えば、図１
３（Ａ）に示すように、注目画素を中心とする、ひし形
状の範囲の５個のＳＤ画素と４個の仮想画素との合計９
画素によって、クラスタップが構成される。そして、こ
の９画素の画素値のうちの最大値と最小値との差をダイ
ナミックレンジＤＲとし、このダイナミックレンジＤＲ
を用いて、クラスタップのうちの、注目画素と、それに
隣接する４個の仮想画素との合計５画素（図１３（Ａ）
において点線で囲む５画素）が１ビットＡＤＲＣ処理さ
れる。そして、その５画素の画素値のパターンが、注目
画素のクラスとされる。従って、この場合、クラスタッ
プのうちの、注目画素を中心とする５画素を１ビットＡ
ＤＲＣ処理して得られる画素値のパターンは５ビットで
表現されるから、輝度信号は、３２（＝２⁵）クラスの
うちのいずれかにクラス分類される。

【０１３４】なお、仮想画素の画素値としては、その仮
想画素が対応付けられたＳＤ画素の画素値のＬＳＢ側の
４ビットを、４ビットだけ左シフト（２⁴を乗算）した
ものに、例えば、８（＝２³）などを加算した値が用い
られる。但し、仮想画素の画素値としては、その他、Ｓ
Ｄ画素の画素値のＬＳＢ側の４ビットを、４ビットだけ
左シフトしたものをそのまま用いたり、また、その左シ
フトしたものに、８以外の０以上１６（＝２⁴）未満の
値を加算したものを用いることも可能である。

【０１３５】また、ＳＤ画素の画素値は、図７で説明し
たように、そのＬＳＢ側の４ビットが、対応する仮想画
素の画素値のＭＳＢ側の４ビットであるが、その８ビッ
トの値が、ＳＤ画素の画素値としてそのまま用いられ
る。但し、ＳＤ画素の画素値としては、例えば、そのＬ
ＳＢ側の４ビットを、ランダムに発生させた０以上１６
（＝２⁴）未満の値に置き換えたものを用いることも可
能である。

【０１３６】一方、色差信号については、例えば、図１
３（Ｂ）に示すように、注目画素を中心とする、正方形
状の範囲の９のＳＤ画素によって、クラスタップが構成
される。そして、この９画素の画素値のうちの最大値と
最小値との差をダイナミックレンジＤＲとし、このダイ
ナミックレンジＤＲを用いて、クラスタップのうちの、
注目画素を中心とするひし形状の範囲の５のＳＤ画素
（図１３（Ｂ）において点線で囲む５画素）が１ビット
ＡＤＲＣ処理される。そして、その５画素の画素値のパ
ターンが、注目画素のクラスとされる。従って、この場
合、クラスタップのうちの、注目画素を中心とする５画
素を１ビットＡＤＲＣ処理して得られる画素値のパター
ンは５ビットで表現されるから、色差信号も、輝度信号
と同様に、３２（＝２⁵）クラスのうちのいずれかにク
ラス分類される。

【０１３７】クラス分類適応処理回路（予測係数生成）
４１では、以上のようにして、注目画素のクラスが決定
された後、予測タップが構成される。即ち、クラス分類
適応処理回路（予測係数生成）４１は、注目画素が色差
信号のものである場合、例えば、図１４に示すように、
その注目画素を中心とする７×５（横×縦）の３５のＳ
Ｄ画素（同図において、実線または点線の○印で示す）
で予測タップを構成する。また、クラス分類適応処理回
路（予測係数生成）４１は、注目画素が輝度信号のもの
である場合、色差信号における場合と同様に、３５の画
素で予測タップを構成するが、７×５のＳＤ画素のう
ち、その最も左上、左下、右上、および右下のＳＤ画素
（同図において、点線の○印で示す）に代えて、注目画
素に隣接する仮想画素を用いて、予測タップを構成す
る。

【０１３８】そして、クラス分類適応処理回路（予測係
数生成）４１では、各クラス毎に、予測タップとＨＤ画
像とを用いて、式（７）の正規方程式がたてられ、それ
を解くことにより、クラス毎の予測係数のセットｗが求
められる。なお、この場合、正規方程式は、注目画素に
対して、例えば、前述の図２５に実線の四角形で囲んだ
範囲の位置関係にあるＨＤ画素を用いてたてられる。

【０１３９】クラス分類適応処理回路（予測係数生成）
４１で求められたクラス毎の予測係数のセットｗは、ク
ラス分類適応処理回路４３に供給され、係数ＲＡＭ１０
４’（図１１）に記憶される。

【０１４０】クラス分類適応処理回路（予測係数生成）
４１においてクラス毎の予測係数のセットが求められる
と、最適化部２２では、ステップＳ１２において、前処
理部２１からのＳＤ画像を構成するＳＤ画素のうちの１
つが注目画素とされ、その注目画素が輝度信号のものか
どうかが判定される。ステップＳ１２において、注目画
素が輝度信号のものであると判定された場合、ステップ
Ｓ１３に進み、補正回路４２、クラス分類適応処理回路
４３、誤差算出回路４４、および制御回路４５におい
て、注目画素の画素値のＭＳＢ側の４ビットを対象に、
最適化処理が行われ、ステップＳ１４に進む。ステップ
Ｓ１４では、注目画素の画素値の残りのＬＳＢ側の４ビ
ットを対象に、最適化処理が行われ、ステップＳ１６に
進む。

【０１４１】一方、ステップＳ１２において、注目画素
が輝度信号のものでないと判定された場合、即ち、色差
信号のものである場合、ステップＳ１５に進み、補正回
路４２、クラス分類適応処理回路４３、誤差算出回路４
４、および制御回路４５において、色差信号を対象に、
最適化処理が行われ、ステップＳ１６に進む。

【０１４２】ステップＳ１６では、前処理部２１からの
ＳＤ画像を構成するＳＤ画素すべてを対象に処理を行っ
たかどうかが判定され、まだ行っていないと判定された
場合、ステップＳ１２に戻り、まだ注目画素とされてい
ないＳＤ画素を、新たに注目画素として、同様の処理を
繰り返す。

【０１４３】また、ステップＳ１６において、ＳＤ画素
をすべて注目画素として処理を行ったと判定された場
合、ステップＳ１７に進み、ＳＤ画素から予測されるＨ
Ｄ画素の予測値の、１フレーム分の予測誤差の総和が所
定の閾値ε以下であるかどうかが判定される。ステップ
Ｓ１７において、１フレーム分の予測誤差の総和が所定
の閾値ε以下でないと判定された場合、ステップＳ１１
に戻り、上述の場合と同様の処理が繰り返される。但
し、この場合、クラス分類適応処理回路（予測係数生
成）４１では、ステップＳ１１において、前処理部２１
が出力したＳＤ画素の画素値ではなく、補正回路４２が
出力する、後述する最適なＳＤ画素の画素値を用いて
（クラス分類回路１１２および予測タップ生成回路１１
３（図１０）に対して、補正回路４２からの最適なＳＤ
画素が入力されて）、同様の処理によりクラス毎の予測
係数のセットが求められる（更新される）。

【０１４４】そして、ステップＳ１７において、１フレ
ーム分の予測誤差の総和が所定の閾値ε以下であると判
定された場合、ステップＳ１８に進み、クラス分類適応
処理回路（予測係数生成）４１において、そのとき補正
回路４２が出力しているＳＤ画素の画素値を用いてクラ
ス毎の予測係数のセットが算出され、ステップＳ１９に
進む。そして、ステップＳ１９では、そのＳＤ画素の画
素値とクラス毎の予測係数のセットとが、多重化回路４
６において多重化され、符号化データとして出力され
て、処理を終了する。

【０１４５】その後、最適化部２２では、次のフレーム
についてのＨＤ画像とＳＤ画像とが供給されるのを待っ
て、同様の処理が行われる。

【０１４６】次に、図１５のフローチャートを参照し
て、図１２のステップＳ１３における注目画素の画素値
のＭＳＢ側の４ビットを対象とした最適化処理について
詳述する。

【０１４７】クラス分類適応処理回路（予測係数生成）
４１においてクラス毎の予測係数のセットが求められ、
これが、クラス分類適応処理回路４３に供給されると、
前処理部２１からのＳＤ画像を構成するＳＤ画素のうち
の１つが注目画素とされ、制御回路４５は、ステップＳ
３１において、注目画素の画素値を補正する補正量を表
す変数△を、例えば０に初期化する。また、ステップＳ
３１では、補正量を変化させる変化量（以下、適宜、オ
フセット量という）を表す変数Ｓに、初期値としての、
例えば１６がセットされる。

【０１４８】即ち、いまの場合、注目画素の画素値のＭ
ＳＢ側の４ビットを対象としているので、オフセット量
Ｓには、そのＭＳＢ側の４ビットを変化させるための最
小値である１６（＝２⁴）がセットされる。

【０１４９】さらに、ステップＳ３１では、注目画素の
補正の回数をカウントする変数ｉに、初期値としての−
１がセットされ、ステップＳ３２に進む。ステップＳ３
２では、回数ｉが１だけインクリメントされ、ステップ
Ｓ３３に進み、注目画素の画素値を補正量△だけ補正し
た補正値を用いて適応処理を行った場合に、その補正に
より影響を受けるＨＤ画素の予測値の予測誤差Ｅが算出
される。

【０１５０】即ち、この場合、補正回路４２は、注目画
素の画素値に、例えば、補正量△を加算し、その加算値
を、注目画素の画素値として、クラス分類適応処理回路
４３に出力する。ここで、注目画素について、最初にス
テップＳ３３の処理が施される場合、即ち、回数ｉ＝０
の場合、補正量△は、ステップＳ３１でセットされた初
期値である０のままであるから、補正回路４２からは、
注目画素の画素値がそのまま出力される。

【０１５１】クラス分類適応処理回路４３では、クラス
分類適応処理回路（予測係数生成）４１における場合と
同様に、図１３に示したクラスタップが形成されるとと
もに、図１４に示した形の予測タップが形成される。即
ち、予測タップは、注目画素を中心とする７×５のＳＤ
画素のうち、注目画素から最も遠い左上、左下、右上、
および右下のＳＤ画素に代えて、注目画素に隣接する４
つの仮想画素を用いて構成される。

【０１５２】さらに、そのクラスタップに対応して、注
目画素がクラス分類され、その結果得られるクラスに対
応する予測係数のセットが、クラス分類適応処理回路
（予測係数生成）４１から供給され、係数ＲＡＭ１０
４’（図１１）に記憶されている予測係数のセットの中
から選択される。そして、その選択された予測係数のセ
ットと予測タップとから、式（１）に示した線形１次式
を演算することにより、ＨＤ画素の画素値の予測値が求
められる。

【０１５３】また、クラス分類適応処理回路４３では、
注目画素の画素値を補正量△だけ補正した場合に、少な
くとも、その補正により影響を受けるＨＤ画素について
も、同様にして、予測値が求められる。

【０１５４】即ち、例えば、いま、図１６に示すよう
に、ＳＤ画素Ａを注目画素として補正をしたとする。本
実施の形態では、予測タップは、簡単には、７×５のＳ
Ｄ画素が含まれる範囲で構成されるので、このような７
×５のＳＤ画素から予測タップが構成される場合に、そ
の予測タップにＳＤ画素Ａが含まれるケースであって、
ＳＤ画素Ａから最も離れたＳＤ画素が注目画素とされる
のは、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×
５画素の予測タップが構成されるケースである。そし
て、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×５
画素の予測タップが構成された場合、本実施の形態で
は、同図に実線で囲んで示す範囲ｂ，ｃ，ｄ，ｅの中の
３×３のＨＤ画素の予測値がそれぞれ求められる。従っ
て、ＳＤ画素Ａを注目画素として、その画素値を補正し
た場合に、その補正により影響を受けるのは、最悪のケ
ースで、範囲ｂ，ｃ，ｄ，ｅを含む最小の長方形であ
る、図１６において点線で示す範囲内の２１×１５のＨ
Ｄ画素の予測値ということになる。

【０１５５】従って、本実施の形態では、クラス分類適
応処理回路４３において、少なくとも、このような２１
×１５のＨＤ画素の予測値が求められる。

【０１５６】クラス分類適応処理回路４３で求められた
ＨＤ画素の予測値は、誤差算出回路４４に供給される。
誤差算出回路４４では、クラス分類適応処理回路４３か
らのＨＤ画素の予測値から、対応するＨＤ画素の真の画
素値が減算され、その減算値である予測誤差の、例えば
自乗和が求められる。そして、この自乗和が、誤差情報
Ｅとして、制御回路４５に供給される。

【０１５７】制御回路４５は、誤差算出回路４４から誤
差情報を受信すると、ステップＳ３４において、回数ｉ
が０であるかどうかを判定する。ステップＳ３４におい
て、回数ｉが０であると判定された場合、即ち、制御回
路４５が受信した誤差情報Ｅが、注目画素の補正を行わ
ずに得られたものである場合、ステップＳ３５に進み、
注目画素の補正を行わずに得られた誤差情報（未補正時
の誤差情報）を記憶する変数Ｅ₀に、誤差情報Ｅがセッ
トされ、また、前回得られた誤差情報を記憶する変数
Ｅ’にも、誤差情報Ｅがセットされる。さらに、ステッ
プＳ３５では、補正量△が、オフセット量Ｓだけインク
リメントされ、制御回路４５は、それにより得られた補
正量△だけ、注目画素の画素値を補正するように、補正
回路４２を制御する。その後は、ステップＳ３２に戻
り、以下、同様の処理を繰り返す。

【０１５８】この場合、ステップＳ３２において、回数
ｉは１だけインクリメントされて１となるから、ステッ
プＳ３４では、回数ｉが０でないと判定され、ステップ
Ｓ３６に進む。ステップＳ３６では、回数ｉが１である
かどうかが判定される。この場合、回数ｉは１となって
いるから、ステップＳ３６では、回数ｉは１であると判
定され、ステップＳ３７に進み、前回の誤差情報Ｅ’
が、今回の誤差情報Ｅ以上であるかどうかが判定され
る。ステップＳ３７において、前回の誤差情報Ｅ’が、
今回の誤差情報Ｅ以上でないと判定された場合、即ち、
補正量△だけ注目画素の画素値を補正することにより、
今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’（ここで
は、補正をしてない場合の誤差情報）より増加した場
合、ステップＳ３８に進み、制御回路４５は、オフセッ
ト量Ｓに、−１を乗算したものを、新たなオフセット量
Ｓとし、さらに、補正量△をオフセット量Ｓの２倍だけ
インクリメントし、ステップＳ３２に戻る。

【０１５９】即ち、注目画素の画素値を、補正量△（こ
の場合、△＝Ｓ）だけ補正することにより、補正しなか
ったときよりも誤差が増加した場合には、オフセット量
Ｓの符号が反転される（本実施の形態では、ステップＳ
３１において正の値がオフセット量Ｓにセットされてい
るので、ステップＳ３８では、オフセット量Ｓの符号
は、正から負にされる）。さらに、前回はＳであった補
正量△が、−Ｓにされる。

【０１６０】また、ステップＳ３７において、前回の誤
差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定され
た場合、即ち、補正量△だけ注目画素の画素値を補正す
ることにより、今回の誤差情報Ｅが、前回の誤差情報
Ｅ’より減少した場合（または前回の誤差情報Ｅ’と同
じである場合）、ステップＳ３９に進み、制御回路４５
は、補正量△をオフセット量Ｓだけインクリメントする
とともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅを
セットすることにより更新して、ステップＳ３２に戻
る。

【０１６１】この場合、ステップＳ３２において、回数
ｉは、さらに１だけインクリメントされて２となるか
ら、ステップＳ３４またはＳ３６では、回数ｉが０また
は１でないとそれぞれ判定され、その結果、ステップＳ
３６からＳ４０に進む。ステップＳ４０では、回数ｉが
２であるかどうかが判定される。いま、回数ｉは２とな
っているから、ステップＳ４０では、回数ｉは２である
と判定され、ステップＳ４１に進み、未補正時の誤差情
報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセット
量Ｓが負であるかどうかが判定される。

【０１６２】ステップＳ４０において、未補正時の誤差
情報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセッ
ト量Ｓが負であると判定された場合、即ち、注目画素を
＋Ｓだけ補正しても、また、−Ｓだけ補正しても、補正
しないときより誤差が増加する場合、ステップＳ４２に
進み、補正量△が０とされ、ステップＳ４６に進む。

【０１６３】また、ステップＳ４０において、未補正時
の誤差情報Ｅ₀が今回の誤差情報Ｅ以下でないか、また
はオフセット量Ｓが負でないと判定された場合、ステッ
プＳ４３に進み、前回の誤差情報Ｅ’が、今回の誤差情
報Ｅ以上であるかどうかが判定される。ステップＳ４３
において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以
上であると判定された場合、即ち、補正量△だけ注目画
素の画素値を補正することにより、今回の誤差情報Ｅ
が、前回の誤差情報Ｅ’より減少した場合、ステップＳ
４４に進み、制御回路４５は、補正量△をオフセット量
Ｓだけインクリメントするとともに、前回の誤差情報
Ｅ’に、今回の誤差情報Ｅをセットすることにより更新
して、ステップＳ３２に戻る。

【０１６４】この場合、ステップＳ３２において、回数
ｉは、さらに１だけインクリメントされて３となるか
ら、以下では、ステップＳ３４，Ｓ３６、またはＳ４０
において、回数ｉが０，１、または２でないとそれぞれ
判定され、その結果、ステップＳ４０からＳ４３に進
む。従って、ステップＳ４３において、前回の誤差情報
Ｅ’が、今回の誤差情報Ｅ以上でないと判定されるま
で、ステップＳ３２乃至Ｓ３４、Ｓ３６，Ｓ４０，Ｓ４
３，Ｓ４４のループ処理が繰り返される。

【０１６５】そして、ステップＳ４３において、前回の
誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定さ
れた場合、即ち、補正量△だけ注目画素の画素値を補正
することにより、今回の誤差情報Ｅの方が、前回の誤差
情報Ｅ’より増加した場合、ステップＳ４５に進み、制
御回路４５は、補正量△をオフセット量Ｓだけデクリメ
ントし、ステップＳ４６に進む。即ち、この場合、補正
量△は、誤差が増加する前の値とされる。

【０１６６】ステップＳ４６では、制御回路４５は、補
正回路４２を制御することにより、ステップＳ４２また
はＳ４５で得られた補正量△だけ注目画素の画素値を補
正させ、これにより、注目画素の画素値は、適応処理に
より予測値を得るのに、予測誤差が最小となるような最
適なものに補正される。

【０１６７】以上のようにして、注目画素の画素値のＭ
ＳＢ側の４ビットが、ＨＤ画像の予測値を求めるのに、
最適なものに最適化された後、リターンする。

【０１６８】次に、図１７のフローチャートを参照し
て、図１２のステップＳ１４における注目画素の画素値
のＬＳＢ側の４ビットを対象とした最適化処理について
詳述する。

【０１６９】この場合、ステップＳ５１乃至Ｓ６６にお
いて、基本的に、図１５のステップＳ３１乃至Ｓ４６に
おける場合とそれぞれ同様の処理が行われる。

【０１７０】但し、ステップＳ５１では、オフセット量
Ｓには、初期値として、１６ではなく１がセットされ
る。即ち、いまの場合、注目画素の画素値のＬＳＢ側の
４ビットを対象としているので、オフセット量Ｓには、
そのＬＳＢ側の４ビットを変化させるための最小値であ
る１（＝２⁰）がセットされる。

【０１７１】また、ステップＳ６６では、図１５のステ
ップＳ４６における場合と同様に、注目画素の画素値が
補正量△だけ補正されるが、これにより、その注目画素
に対応する仮想画素の画素値も、補正量△の１６（＝２
⁴）倍の量だけ補正される。これは、次のような理由に
よる。即ち、注目画素のＬＳＢ側の４ビットは、図７で
説明したように、対応する仮想画素のＭＳＢの４ビット
を表しており、例えば、いま、図１８に示すように、注
目画素に対して、その左斜め下に隣接する仮想画素が対
応付けられているとすると、注目画素のＬＳＢ側の４ビ
ットを補正するということは、その左下に隣接する仮想
画素の画素値のＭＳＢ側の４ビットを補正することにな
るからである。

【０１７２】次に、図１９のフローチャートを参照し
て、図１２のステップＳ１５における注目画素が色差信
号のものである場合の最適化処理について詳述する。

【０１７３】この場合も、ステップＳ７１乃至Ｓ８６に
おいて、基本的に、図１５のステップＳ３１乃至Ｓ４６
における場合とそれぞれ同様の処理が行われる。

【０１７４】但し、ステップＳ７１では、オフセット量
Ｓには、初期値として、１６ではなく１がセットされ
る。即ち、色差信号については、８ビットの画素値を変
化させるための最小値である１（＝２⁰）がセットされ
る。

【０１７５】次に、図２０は、図１の受信装置４の構成
例を示している。

【０１７６】受信機／再生装置７１においては、記録媒
体２に記録された符号化データが再生され、または伝送
路３を介して伝送されてくる符号化データが受信され、
分離部７２に供給される。分離部７２では、符号化デー
タが、ＳＤ画像（最適ＳＤ画像）の画像データとクラス
毎の予測係数のセットｗとに分離され、いずれもクラス
分類適応処理回路７３に供給される。

【０１７７】クラス分類適応処理回路７３は、図９に示
した最適化部２２を構成するクラス分類適応処理回路４
３と同様にして、ＨＤ画像の予測値が求められ、これが
復号画像として出力される。この復号画像は、元の画像
とほぼ同一の画像となる。

【０１７８】図２１は、図２０のクラス分類適応処理回
路７３の構成例を示している。

【０１７９】クラス分類適応処理回路７３は、クラス分
類回路２０１、遅延回路２０２、予測タップ生成回路２
０３、係数ＲＡＭ２０４、予測演算回路２０５で構成さ
れ、これらは、図１１に示したクラス分類適応処理回路
４３を構成するクラス分類回路１０１、遅延回路１０
２、予測タップ生成回路１０３、係数ＲＡＭ１０４’、
予測演算回路１０５とそれぞれ同様に構成されている。

【０１８０】以上のように構成されるクラス分類適応処
理回路７３では、分離部７２からクラス毎の予測係数の
セットが供給されると、その予測係数のセットが、係数
ＲＡＭ２０４に記憶される。そして、クラス分類適応処
理回路７３では、係数ＲＡＭ２０４に記憶されたクラス
毎の予測係数のセットを用いて、分離部７２から供給さ
れるＳＤ画像に対して、クラス分類適応処理回路４３に
おける場合と同様の処理が行われることで、ＨＤ画像の
予測値が求められる。

【０１８１】即ち、図２２のフローチャートに示すよう
に、まず最初に、ステップＳ９１において、図１３また
は図１４で説明したようなクラスタップまたは予測タッ
プが、クラス分類回路２０１または予測タップ生成回路
２０３において、それぞれ形成される。さらに、クラス
分類回路２０１では、クラスタップがクラス分類され、
その結果得られるクラスが、アドレスとして、予測係数
ＲＡＭ２０４に与えられる。予測係数ＲＡＭ２０４で
は、クラス分類回路２０１からのクラスに対応した予測
係数が読み出され、予測演算回路２０５に供給される。

【０１８２】そして、ステップＳ９２において、予測演
算回路２０５は、係数ＲＡＭ２０４から供給される予測
係数のセットと、予測タップ生成回路２０３が形成した
予測タップとを用いて、ＨＤ画像の予測値を求め、処理
を終了する。

【０１８３】なお、受信側においては、図２０に示すよ
うな受信装置４でなくても、間引きされた画像を単純な
補間により復号する装置により、予測係数を用いずに、
通常の補間を行うことで復号画像を得ることができる。
但し、この場合に得られる復号画像は、画質（解像度）
の劣化したものとなる。

【０１８４】以上のように、ＨＤ画像を圧縮することに
より得られるＳＤ画像を構成するＳＤ画素の近傍に仮想
画素を想定し、その画素値を、ＨＤ画像から求めるよう
にしたので、注目画素に近く、かつ多くの画素から予測
タップを形成することができ、その結果、その予測タッ
プを用いて復号化を行うことで、元のＨＤ画像により近
い復号画像を得ることが可能となる。

【０１８５】さらに、ＳＤ画素の画素値のＬＳＢ側の４
ビットに代えて、仮想画素の画素値のＭＳＢ側の４ビッ
トを配置するようにしたので、符号化効率が劣化するこ
ともない。

【０１８６】以上、本発明を、ＨＤ画像を符号化／復号
化する画像処理装置に適用した場合について説明した
が、本発明は、その他、ＳＤ画像などの標準解像度の画
像その他を符号化／復号化する場合にも適用可能であ
る。即ち、例えば、ＮＴＳＣ方式などの標準方式のテレ
ビジョン信号を間引いて符号化／復号化する場合にも適
用可能である。但し、本発明は、データ量の多い、いわ
ゆるハイビジョン方式のテレビジョン信号などを符号化
／復号化する場合に、特に有効である。また、本発明
は、オリジナルの画像から各階層の画像データを生成し
て符号化するいわゆる階層符号化を行う場合などにも適
用可能である。

【０１８７】なお、本実施の形態では、輝度信号につい
てのみ、仮想画素をも用いて予測タップを形成するよう
にしたが、色差信号についても同様に、仮想画素を用い
て予測タップを形成することが可能である。

【０１８８】また、本実施の形態においては、５×７画
素をベースにして予測タップを形成するようにしたが、
予測タップは、５×７画素に限定されるものではない。

【０１８９】さらに、本実施の形態では、仮想画素を用
いて予測タップを形成する場合に、５×７の３５画素で
なるブロックをベースとして、図１４に示したような３
５画素からなる予測タップを形成するようにしたが、そ
の他、例えば図２３に示すように、注目画素から遠いＳ
Ｄ画素に代えて、その注目画素に近い仮想画素を、さら
に多く用いて、予測タップを形成するようにすることも
可能である。

【０１９０】また、本実施の形態では、ＳＤ画素の画素
値のＬＳＢ側の４ビットに代えて、仮想画素の画素値の
ＭＳＢ側の４ビットを配置するようにしたが、その他、
例えば、ＳＤ画素の画素値のＬＳＢ側の３ビットや２ビ
ットに代えて、仮想画素の画素値のＭＳＢ側の３ビット
や２ビットを配置するようにすることも可能である。但
し、本件発明者が行ったシミュレーションによれば、Ｓ
Ｄ画素の画素値を８ビットで表す場合においては、ＳＤ
画素の画素値のＬＳＢ側の４ビットに代えて、仮想画素
の画素値のＭＳＢ側の４ビットを配置したものによる復
号画像のＳ／Ｎが最も良くなる結果が得られた。また、
ＳＤ画像の画素値を置き換えるビット数が多い方が、階
調が向上する傾向があった。

【０１９１】さらに、本実施の形態では、間引き回路３
１において、ＨＤ画像を１／９に間引いてＳＤ画像を構
成するようにしたが、ＳＤ画像は、その他の間引き率で
ＨＤ画像を間引いて構成することも可能である。

【０１９２】また、本実施の形態では、図６に示したよ
うに、斜めに隣接するＳＤ画素どうしの間に、１の仮想
画素を設けるようにしたが、その間には、２以上の仮想
画素を設けるようにすることも可能である。

【０１９３】さらに、本実施の形態では、送信装置１を
構成する最適化部２２（図９）にクラス分類適応処理回
路（予測係数生成）４１を設け、クラス毎の予測係数の
セットを更新するようにしたが、クラス毎の予測係数の
セットは更新せずに、あらかじめ求めておいたものを、
そのまま使用することも可能である。即ち、前述の図２
６に示したような学習装置によって、あらかじめクラス
毎の予測係数のセットを学習により求めておき、それ
を、クラス分類適応処理回路４３において用いるように
することが可能である。この場合、クラス分類適応回路
４３は、図２４に示される画像変換装置と同様に構成す
ることができ、学習装置によってあらかじめ求められた
クラス毎の予測係数のセットを、係数ＲＯＭ１０４の中
に記憶させておけばよい。この場合、クラス分類適応処
理回路（予測係数生成）４１は設ける必要がなくなり、
装置の簡素化を図ることが可能となる。

【０１９４】また、このような送信装置１に対応する、
受信装置４（図２０）では、あらかじめ求めたおいたク
ラス毎の予測係数のセットを記憶しておき、クラス分類
適応処理回路７３において、その予測係数を用いて、予
測値を求めるようにすれば良い。この場合、クラス分類
適応処理回路７３は、図２４に示される画像変換装置と
同様に構成することができる。そして、前述の図２６に
示したような学習装置によって、あらかじめクラス毎の
予測係数のセットを学習により求めておき、このクラス
毎の予測係数のセットを、係数ＲＯＭ１０４の中に記憶
させておけばよい。

【０１９５】また、図１５においては、注目画素の画素
値を、オフセット量Ｓとしての１６ずつ補正することに
より、予測誤差Ｅが最初に極小となる補正量△を検出す
るようにしたが、その他、例えば、注目画素の画素値が
とり得る値すべてについて予測誤差Ｅを求め、その最小
値を検出し、その場合の補正量△によって、注目画素の
画素値を補正するようにすることも可能である。この場
合、処理に時間を要することとなるが、よりＳ／Ｎの高
い復号画像を得ることが可能となる。

【０１９６】さらに、このように注目画素の画素値がと
り得る値すべてについて予測誤差Ｅを求める場合には、
注目画素の画素値の初期値は、どのような値（但し、注
目画素の画素値がとり得る範囲内の値）であっても良
い。即ち、この場合、初期値がどのような値であって
も、予測誤差Ｅを最小にする補正値△を求めることがで
きる。

【０１９７】また、以上のことは、図１７および図１９
で説明した処理についても同様である。

【０１９８】なお、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考えうる。従って、本
発明の要旨は、上述の実施の形態に限定されるものでは
ない。

【０１９９】

【発明の効果】本発明の画像信号符号化装置および画像
信号符号化方法によれば、圧縮画像信号を構成する画素
である圧縮画素の近傍に、仮想の画素である仮想画素が
想定され、その仮想画素の画素値が、原画像信号から算
出される。さらに、圧縮画素の画素値の一部が、仮想画
素の画素値の一部に置き換えられ、圧縮画像信号を構成
する圧縮画素のうちの１つを注目画素として、その注目
画素の近傍の圧縮画素および仮想画素から予測タップが
形成される。その後、予測タップと、所定の予測係数と
から、原画像信号が予測され、それにより得られる予測
値の、原画像信号に対する予測誤差が算出される。そし
て、その予測誤差に対応して、圧縮画像信号を構成する
圧縮画素の画素値が補正される。従って、符号化効率を
劣化させることなく、補正後の圧縮画像から、原画像に
より近い復号画像を得ることが可能となる。

【０２００】本発明の画像信号復号装置および画像信号
復号方法によれば、最適圧縮画像信号を構成する画素の
うちの１つを注目画素として、その注目画素の近傍の画
素から予測タップが形成され、予測タップと、所定の予
測係数とから、原画像信号が予測される。この場合にお
いて、最適圧縮画像信号は、原画像信号の画素数より少
ない画素数の圧縮画像信号を発生し、圧縮画像信号を構
成する画素である圧縮画素の近傍に、仮想の画素である
仮想画素を想定し、その仮想画素の画素値を、原画像信
号から算出し、圧縮画素の画素値の一部を、仮想画素の
画素値の一部に置き換え、圧縮画像信号を構成する圧縮
画素のうちの１つを注目画素として、その注目画素の近
傍の圧縮画素および仮想画素から予測タップを形成し、
予測タップと、所定の予測係数とから、原画像信号を予
測し、その予測値を出力し、予測値の、原画像信号に対
する予測誤差を算出し、予測誤差に対応して、圧縮画像
信号を構成する圧縮画素の画素値を補正し、その補正さ
れた圧縮画像信号を、原画像信号を得るのに最適な最適
圧縮画像信号として、その最適圧縮画像信号を、原画像
信号の符号化結果として出力することにより得られたも
のとなっている。従って、原画像により近い復号画像を
得ることが可能となる。

【０２０１】本発明の記録媒体には、原画像信号の画素
数より少ない画素数の圧縮画像信号を発生し、圧縮画像
信号を構成する画素である圧縮画素の近傍に、仮想の画
素である仮想画素を想定し、その仮想画素の画素値を、
原画像信号から算出し、圧縮画素の画素値の一部を、仮
想画素の画素値の一部に置き換え、圧縮画像信号を構成
する圧縮画素のうちの１つを注目画素として、その注目
画素の近傍の圧縮画素および仮想画素から予測タップを
形成し、予測タップと、所定の予測係数とから、原画像
信号を予測し、その予測値を出力し、予測値の、原画像
信号に対する予測誤差を算出し、予測誤差に対応して、
圧縮画像信号を構成する圧縮画素の画素値を補正し、そ
の補正された圧縮画像信号を、原画像信号を得るのに最
適な最適圧縮画像信号として、その最適圧縮画像信号
を、原画像信号の符号化結果として出力することをによ
り得られる最適圧縮画像信号を含む符号化データが記録
されている。従って、その符号化データから、原画像に
より近い復号画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施の形態
の構成を示すブロック図である。

【図２】図１の送信装置１の構成例を示すブロック図で
ある。

【図３】図２の送信装置１の機能的構成例を示すブロッ
ク図である。

【図４】図３の前処理部２１の構成例を示すブロック図
である。

【図５】図４の間引き回路３１の処理を説明するための
図である。

【図６】図４の仮想画素形成回路３２の処理を説明する
ための図である。

【図７】図４の仮想画素形成回路３２の処理を説明する
ための図である。

【図８】図４の前処理部２１の動作を説明するためのフ
ローチャートである。

【図９】図３の最適化部２２の構成例を示すブロック図
である。

【図１０】図９のクラス分類適応処理回路（予測係数生
成）４１の構成例を示すブロック図である。

【図１１】図９のクラス分類適応処理回路４３の構成例
を示すブロック図である。

【図１２】図９の最適化部２２の動作を説明するための
フローチャートである。

【図１３】図９のクラス分類適応処理回路（予測係数生
成）４１がクラス分類を行うときに形成するクラスタッ
プを示す図である。

【図１４】図９のクラス分類適応処理回路（予測係数生
成）４１が適応処理を行うときに形成する予測タップを
示す図である。

【図１５】図１２のステップＳ１３の処理のより詳細を
説明するためのフローチャートである。

【図１６】図１５のステップＳ３３の処理を説明するた
めの図である。

【図１７】図１２のステップＳ１４の処理のより詳細を
説明するためのフローチャートである。

【図１８】図１７のステップＳ６６の処理を説明するた
めの図である。

【図１９】図１２のステップＳ１５の処理のより詳細を
説明するためのフローチャートである。

【図２０】図１の受信装置４の構成例を示すブロック図
である。

【図２１】図２０のクラス分類適応処理回路７３の構成
例を示すブロック図である。

【図２２】図２１のクラス分類適応処理回路７３の動作
を説明するためのフローチャートである。

【図２３】予測タップの他の構成例を示す図である。

【図２４】本件出願人が先に提案した画像変換装置の構
成例を示すブロック図である。

【図２５】図２４のクラス分類回路１０１の処理を説明
するための図である。

【図２６】本件出願人が先に提案した学習装置の構成例
を示すブロック図である。

【図２７】本件出願人が先に提案した画像符号化装置の
構成例を示すブロック図である。

【符号の説明】

１送信装置，２記録媒体，３伝送路，４
受信装置，１１Ｉ／Ｆ，１２ＲＯＭ，１３
ＲＡＭ，１４ＣＰＵ，１５外部記憶装置，１
６送信機／記録装置，２１前処理部，２２最
適化部，３１間引き回路，３２仮想画素形成回
路，４１クラス分類適応処理回路（予測係数生
成），４２補正回路，４３クラス分類適応処理
回路，４４誤差算出回路，４５制御回路，４６
多重化回路，７１受信機／再生装置，７２分
離部，７３クラス分類適応処理回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 1/41 Ｇ０６Ｆ 15/66 ３５５Ｃ

Claims

【特許請求の範囲】

【請求項１】画像信号を符号化する画像信号符号化装
置であって、原画像信号の画素数より少ない画素数の圧縮画像信号を
発生する圧縮手段と、前記圧縮画像信号を構成する画素である圧縮画素の近傍
に、仮想の画素である仮想画素を想定し、その仮想画素
の画素値を、前記原画像信号から算出する仮想画素算出
手段と、前記圧縮画素の画素値の一部を、前記仮想画素の画素値
の一部に置き換える置換手段と、前記圧縮画像信号を構成する圧縮画素のうちの１つを注
目画素として、その注目画素の近傍の前記圧縮画素およ
び仮想画素から予測タップを形成する予測タップ形成手
段と、前記予測タップと、所定の予測係数とから、前記原画像
信号を予測し、その予測値を出力する予測手段と、前記予測値の、前記原画像信号に対する予測誤差を算出
する予測誤差算出手段と、前記予測誤差に対応して、前記圧縮画像信号を構成する
圧縮画素の画素値を補正する補正手段と、前記補正手段が出力する前記圧縮画像信号を、前記原画
像信号を得るのに最適な最適圧縮画像信号として、その
最適圧縮画像信号を、前記原画像信号の符号化結果とし
て出力する出力手段とを備えることを特徴とする画像信
号符号化装置。
【請求項２】前記原画像信号と、前記圧縮手段によっ
て発生された圧縮画像信号または前記補正手段によって
補正された圧縮画像信号とに基づいて、前記予測係数を
演算する演算手段をさらに備え、前記出力手段は、前記最適圧縮画像信号と前記予測係数
とを、前記原画像信号の符号化結果として出力すること
を特徴とする請求項１に記載の画像信号符号化装置。
【請求項３】前記予測係数は、学習のための原画像信
号である学習用原画像信号と、その学習用原画像信号か
ら求めた、それより画素数の少ない学習用圧縮画像信号
とを用いて、あらかじめ学習を行うことにより求められ
ており、前記予測係数を記憶する記憶手段をさらに備えることを
特徴とする請求項１に記載の画像信号符号化装置。
【請求項４】前記注目画素を、所定のクラスに分類す
るクラス分類手段をさらに備え、前記予測手段は、前記注目画素について形成された前記
予測タップと、その注目画素のクラスに対応する前記予
測係数とから、前記予測値を求めることを特徴とする請
求項１に記載の画像信号符号化装置。
【請求項５】前記原画像信号と、前記圧縮手段によっ
て発生された圧縮画像信号または前記補正手段によって
補正された圧縮画像信号とに基づいて、前記クラスごと
の予測係数を演算する演算手段をさらに備え、前記出力手段は、前記最適圧縮画像信号と前記クラスご
との予測係数とを、前記原画像信号の符号化結果として
出力することを特徴とする請求項４に記載の画像信号符
号化装置。
【請求項６】前記予測係数は、学習のための原画像信
号である学習用原画像信号と、その学習用原画像信号か
ら求めた、それより画素数の少ない学習用圧縮画像信号
とを用いて、あらかじめ学習を行うことにより、前記ク
ラスごとに求められており、前記クラスごとの予測係数を記憶する記憶手段をさらに
備えることを特徴とする請求項４に記載の画像信号符号
化装置。
【請求項７】前記置換手段は、前記圧縮画素の画素値
の下位ビットを、前記仮想画素の画素値の上位ビットに
置き換えることを特徴とする請求項１に記載の画像信号
符号化装置。
【請求項８】画像信号を符号化する画像信号符号化方
法であって、原画像信号の画素数より少ない画素数の圧縮画像信号を
発生する圧縮ステップと、前記圧縮画像信号を構成する画素である圧縮画素の近傍
に、仮想の画素である仮想画素を想定し、その仮想画素
の画素値を、前記原画像信号から算出する仮想画素算出
ステップと、前記圧縮画素の画素値の一部を、前記仮想画素の画素値
の一部に置き換える置換ステップと、前記圧縮画像信号を構成する圧縮画素のうちの１つを注
目画素として、その注目画素の近傍の前記圧縮画素およ
び仮想画素から予測タップを形成する予測タップ形成ス
テップと、前記予測タップと、所定の予測係数とから、前記原画像
信号を予測し、その予測値を出力する予測ステップと、前記予測値の、前記原画像信号に対する予測誤差を算出
する予測誤差算出ステップと、前記予測誤差に対応して、前記圧縮画像信号を構成する
圧縮画素の画素値を補正する補正ステップと、前記補正ステップにおいて補正された前記圧縮画像信号
を、前記原画像信号を得るのに最適な最適圧縮画像信号
として、その最適圧縮画像信号を、前記原画像信号の符
号化結果として出力する出力ステップとを備えることを
特徴とする画像信号符号化方法。
【請求項９】前記原画像信号と、前記圧縮ステップに
おいて発生された圧縮画像信号または前記補正ステップ
において補正された圧縮画像信号とに基づいて、前記予
測係数を演算する演算ステップをさらに備え、前記出力ステップにおいて、前記最適圧縮画像信号と前
記予測係数とを、前記原画像信号の符号化結果として出
力することを特徴とする請求項８に記載の画像信号符号
化方法。
【請求項１０】前記予測係数は、学習のための原画像
信号である学習用原画像信号と、その学習用原画像信号
から求めた、それより画素数の少ない学習用圧縮画像信
号とを用いて、あらかじめ学習を行うことにより求めら
れて記憶されており、前記予測ステップにおいて、あらかじめ学習を行うこと
により求められて記憶されている前記予測係数を用い
て、前記予測値を求めることを特徴とする請求項８に記
載の画像信号符号化方法。
【請求項１１】前記注目画素を、所定のクラスに分類
するクラス分類ステップをさらに備え、前記予測ステップにおいて、前記注目画素について形成
された前記予測タップと、その注目画素のクラスに対応
する前記予測係数とから、前記予測値を求めることを特
徴とする請求項８に記載の画像信号符号化方法。
【請求項１２】前記原画像信号と、前記圧縮ステップ
において発生された圧縮画像信号または前記補正ステッ
プにおいて補正された圧縮画像信号とに基づいて、前記
クラスごとの予測係数を演算する演算ステップをさらに
備え、前記出力ステップにおいて、前記最適圧縮画像信号と前
記クラスごとの予測係数とを、前記原画像信号の符号化
結果として出力することを特徴とする請求項１１に記載
の画像信号符号化方法。
【請求項１３】前記予測係数は、学習のための原画像
信号である学習用原画像信号と、その学習用原画像信号
から求めた、それより画素数の少ない学習用圧縮画像信
号とを用いて、あらかじめ学習を行うことにより、前記
クラスごとに求められて記憶されており、前記予測ステップにおいて、あらかじめ学習を行うこと
により求められて記憶されている前記クラスごとの予測
係数を用いて、前記予測値を求めることを特徴とする請
求項１１に記載の画像信号符号化方法。
【請求項１４】前記置換ステップにおいて、前記圧縮
画素の画素値の下位ビットを、前記仮想画素の画素値の
上位ビットに置き換えることを特徴とする請求項８に記
載の画像信号符号化方法。
【請求項１５】原画像信号の画素数より少ない画素数
の圧縮画像信号を発生し、前記圧縮画像信号を構成する画素である圧縮画素の近傍
に、仮想の画素である仮想画素を想定し、その仮想画素
の画素値を、前記原画像信号から算出し、前記圧縮画素の画素値の一部を、前記仮想画素の画素値
の一部に置き換え、前記圧縮画像信号を構成する圧縮画素のうちの１つを注
目画素として、その注目画素の近傍の前記圧縮画素およ
び仮想画素から予測タップを形成し、前記予測タップと、所定の予測係数とから、前記原画像
信号を予測し、その予測値を出力し、前記予測値の、前記原画像信号に対する予測誤差を算出
し、前記予測誤差に対応して、前記圧縮画像信号を構成する
圧縮画素の画素値を補正し、その補正された前記圧縮画像信号を、前記原画像信号を
得るのに最適な最適圧縮画像信号として、その最適圧縮
画像信号を、前記原画像信号の符号化結果として出力す
ることにより得られる前記最適圧縮画像信号を含む符号
化データを復号する画像信号復号装置であって、前記最適圧縮画像信号を構成する画素のうちの１つを注
目画素として、その注目画素の近傍の画素から予測タッ
プを形成する予測タップ形成手段と、前記予測タップと、所定の予測係数とから、前記原画像
信号を予測し、その予測値を出力する予測手段とを備え
ることを特徴とする画像信号復号装置。
【請求項１６】前記予測係数は、前記符号化データに
含まれていることを特徴とする請求項１５に記載の画像
信号復号装置。
【請求項１７】前記予測係数は、学習のための原画像
信号である学習用原画像信号と、その学習用原画像信号
から求めた、それより画素数の少ない学習用圧縮画像信
号とを用いて、あらかじめ学習を行うことにより求めら
れており、前記予測係数を記憶する記憶手段をさらに備えることを
特徴とする請求項１５に記載の画像信号復号装置。
【請求項１８】前記最適圧縮画像信号を構成する画素
のうち、前記注目画素としたものを、所定のクラスに分
類するクラス分類手段をさらに備え、前記予測手段は、前記注目画素について形成された前記
予測タップと、その注目画素のクラスに対応する前記予
測係数とから、前記予測値を求めることを特徴とする請
求項１５に記載の画像信号復号装置。
【請求項１９】前記クラスごとの予測係数は、前記符
号化データに含まれていることを特徴とする請求項１８
に記載の画像信号復号装置。
【請求項２０】前記予測係数は、学習のための原画像
信号である学習用原画像信号と、その学習用原画像信号
から求めた、それより画素数の少ない学習用圧縮画像信
号とを用いて、あらかじめ学習を行うことにより、前記
クラスごとに求められており、前記クラスごとの予測係数を記憶する記憶手段をさらに
備えることを特徴とする請求項１８に記載の画像信号復
号装置。
【請求項２１】前記最適圧縮画像信号を構成する画素
の画素値の下位ビットが、前記仮想画素の画素値の上位
ビットに置き換えられていることを特徴とする請求項１
５に記載の画像信号復号装置。
【請求項２２】原画像信号の画素数より少ない画素数
の圧縮画像信号を発生し、前記圧縮画像信号を構成する画素である圧縮画素の近傍
に、仮想の画素である仮想画素を想定し、その仮想画素
の画素値を、前記原画像信号から算出し、前記圧縮画素の画素値の一部を、前記仮想画素の画素値
の一部に置き換え、前記圧縮画像信号を構成する圧縮画素のうちの１つを注
目画素として、その注目画素の近傍の前記圧縮画素およ
び仮想画素から予測タップを形成し、前記予測タップと、所定の予測係数とから、前記原画像
信号を予測し、その予測値を出力し、前記予測値の、前記原画像信号に対する予測誤差を算出
し、前記予測誤差に対応して、前記圧縮画像信号を構成する
圧縮画素の画素値を補正し、その補正された前記圧縮画像信号を、前記原画像信号を
得るのに最適な最適圧縮画像信号として、その最適圧縮
画像信号を、前記原画像信号の符号化結果として出力す
ることにより得られる前記最適圧縮画像信号を含む符号
化データを復号する画像信号復号方法であって、前記最適圧縮画像信号を構成する画素のうちの１つを注
目画素として、その注目画素の近傍の画素から予測タッ
プを形成する予測タップ形成ステップと、前記予測タップと、所定の予測係数とから、前記原画像
信号を予測し、その予測値を出力する予測ステップとを
備えることを特徴とする画像信号復号方法。
【請求項２３】前記予測係数は、前記符号化データに
含まれていることを特徴とする請求項２２に記載の画像
信号復号方法。
【請求項２４】前記予測係数は、学習のための原画像
信号である学習用原画像信号と、その学習用原画像信号
から求めた、それより画素数の少ない学習用圧縮画像信
号とを用いて、あらかじめ学習を行うことにより求めら
れて記憶されており、前記予測ステップにおいて、あらかじめ学習を行うこと
により求められて記憶されている前記予測係数を用い
て、前記予測値を求めることを特徴とする請求項２２に
記載の画像信号復号方法。
【請求項２５】前記最適圧縮画像信号を構成する画素
のうち、前記注目画素としたものを、所定のクラスに分
類するクラス分類ステップをさらに備え、前記予測ステップにおいて、前記注目画素について形成
された前記予測タップと、その注目画素のクラスに対応
する前記予測係数とから、前記予測値を求めることを特
徴とする請求項２２に記載の画像信号復号方法。
【請求項２６】前記クラスごとの予測係数は、前記符
号化データに含まれていることを特徴とする請求項２５
に記載の画像信号復号方法。
【請求項２７】前記予測係数は、学習のための原画像
信号である学習用原画像信号と、その学習用原画像信号
から求めた、それより画素数の少ない学習用圧縮画像信
号とを用いて、あらかじめ学習を行うことにより、前記
クラスごとに求められて記憶されており、前記予測ステップにおいて、あらかじめ学習を行うこと
により求められて記憶されている前記クラスごとの予測
係数を用いて、前記予測値を求めることを特徴とする請
求項２５に記載の画像信号復号方法。
【請求項２８】前記最適圧縮画像信号を構成する画素
の画素値の下位ビットが、前記仮想画素の画素値の上位
ビットに置き換えられていることを特徴とする請求項２
２に記載の画像信号復号方法。
【請求項２９】原画像信号の画素数より少ない画素数
の圧縮画像信号を発生し、前記圧縮画像信号を構成する画素である圧縮画素の近傍
に、仮想の画素である仮想画素を想定し、その仮想画素
の画素値を、前記原画像信号から算出し、前記圧縮画素の画素値の一部を、前記仮想画素の画素値
の一部に置き換え、前記圧縮画像信号を構成する圧縮画素のうちの１つを注
目画素として、その注目画素の近傍の前記圧縮画素およ
び仮想画素から予測タップを形成し、前記予測タップと、所定の予測係数とから、前記原画像
信号を予測し、その予測値を出力し、前記予測値の、前記原画像信号に対する予測誤差を算出
し、前記予測誤差に対応して、前記圧縮画像信号を構成する
圧縮画素の画素値を補正し、その補正された前記圧縮画像信号を、前記原画像信号を
得るのに最適な最適圧縮画像信号として、その最適圧縮
画像信号を、前記原画像信号の符号化結果として出力す
ることにより得られる前記最適圧縮画像信号を含む符号
化データが記録されていることを特徴とする記録媒体。