JPH0767028A - 画像復元装置及び方法 - Google Patents

Abstract

(57)【要約】 【構成】 ディジタル画像信号の画質が劣化した画像を
復元する装置であって、入力端子１を介して供給される
劣化の生じている入力画像を複数のブロックに分割する
（入力画像を走査変換する）ブロック化回路２と、ブロ
ック化されたデータを複数のクラスに分類してその分類
に対応するクラスコードを出力するクラスコード発生回
路３と、クラスコードに応じて入力画像に対応する劣化
の無い画像を出力する（予め学習最適化されたデータを
出力する）ＲＯＭテーブル４とを有してなる。 【効果】 劣化の原因が特定できない場合や、逆関数が
一様に決定できない場合であっても、劣化した画像の復
元ができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、劣化した画像を劣化の
無い画像に復元（修復）する画像復元装置及び方法に関
するものである。

【０００２】

【従来の技術】従来より、画質の劣化した画像を復元す
る場合には、劣化の原因を解析してその劣化のモデル関
数を求め、上記劣化した画像に対して上記劣化のモデル
関数に対応する逆関数を施すことにより画像復元を行う
ようにしている。

【０００３】

【発明が解決しようとする課題】ところで、上記劣化の
原因としては、カメラ（ビデオカメラ等の画像撮影装
置）の一様な動きによるものや、カメラの光学系による
ボケ等の各種のものが考えられる。したがって、上記画
像を復元する場合には、それぞれの劣化の原因によって
上記劣化のモデル関数も異なることになる。

【０００４】このようなことから、劣化を復元しようと
する場合には、その劣化の原因を特定できないと、上記
モデル関数が決定できず、復元が困難となる。

【０００５】また、劣化原因のモデル関数を立てること
ができたとしても、復元するための逆関数が存在しない
場合が多々あり、その場合の最適なモデルの評価も困難
となっている。

【０００６】すなわち、画質の劣化した画像を復元する
場合には、劣化原因を解析し、劣化モデル関数を決定
し、その逆関数を施すことにより復元を行うが、上述の
ように劣化の原因が特定できない場合や逆関数が一様に
決定できない場合には復元が困難となる。

【０００７】そこで、本発明は、上述したようなことに
鑑み、劣化の原因が特定できない場合や、逆関数が一様
に決定できない場合であっても、劣化した画像の復元が
できる画像復元装置及び方法を提供することを目的とし
ている。

【０００８】

【課題を解決するための手段】本発明は、上述の目的を
達成するために提案されたものであり、本発明の画像復
元装置は、ディジタル画像信号の画質が劣化した画像を
復元する装置であって、劣化の生じている入力画像を複
数のブロックに分割する（入力画像を走査変換する）ブ
ロック化手段と、ブロック化されたデータを複数のクラ
スに分類してその分類に対応するクラスコードを出力す
るクラス分類手段と、上記クラスコードに応じて入力画
像に対応する劣化の無い画像を出力する（予め学習最適
化されたデータを出力する）無劣化画像出力手段とを有
してなるものである。

【０００９】ここで、上記無劣化画像出力手段は、劣化
の無い画像をブロック化したデータと当該ブロック化し
た劣化の無い画像を所定の劣化関数により劣化させた画
像に対してクラス分類を施したデータとで予め学習した
結果（学習値）を、上記クラスコードに対応させたテー
ブルとして記憶している。或いは、上記無劣化画像出力
手段は、劣化した画像をブロック化してクラス分類した
データと劣化の無い画像をブロック化したデータとで予
め学習した結果（学習値）を、上記クラスコードに対応
させたテーブルとして記憶している。

【００１０】また、本発明の画像復元方法は、劣化の生
じている入力画像を複数のブロックに分割するブロック
化工程と、ブロック化されたデータを複数のクラスに分
類してその分類に対応するクラスコードを出力するクラ
ス分類工程と、上記クラスコードに応じて入力画像に対
応する劣化の無い画像を出力する無劣化画像出力工程と
を有してなるものである。

【００１１】ここで、上記無劣化画像出力工程では、劣
化の無い画像をブロック化したデータと当該ブロック化
した劣化の無い画像を所定の劣化関数により劣化させた
画像に対してクラス分類を施したデータとで予め学習し
て得た複数の学習値から、上記クラスコードに対応した
学習値を取り出す。或いは、上記無劣化画像出力工程で
は、劣化した画像をブロック化してクラス分類したデー
タと劣化の無い画像をブロック化したデータとで予め学
習して得た複数の学習値から、上記クラスコードに対応
した学習値を取り出す。

【００１２】

【作用】本発明によれば、画質の劣化した画像をブロッ
ク毎にクラス分類したデータと劣化の無い画像のブロッ
クデータとで予め学習して得た結果（復元テーブル）を
保存している。すなわち、学習によるテーブルは、劣化
した画像と劣化の無い画像との間で学習されているた
め、劣化した画像のクラス分類によるクラスコードに対
応した学習値をこのテーブルから取り出す（劣化した画
像の代わりに劣化のない復元画像をあてはめる（マッピ
ング））ようにすることで、劣化が修復された画像を得
ることができるようになる。また、一度テーブルを作成
すれば、画像の復元はテーブルを読み出す処理のみであ
るため、処理が簡単となる。

【００１３】

【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。

【００１４】本発明の第１の実施例の画像復元装置は、
ディジタル画像信号の画質が劣化した画像を復元する装
置であって、図１に示すように、入力端子１を介して供
給される劣化の生じている入力画像を複数のブロックに
分割する（入力画像を走査変換する）ブロック化回路２
と、ブロック化されたデータを複数のクラスに分類して
その分類に対応するクラスコードを出力するクラス分類
手段であるクラスコード発生回路３と、上記クラスコー
ドに応じて入力画像に対応する劣化の無い画像を出力す
る（予め学習最適化されたデータを出力する）無劣化画
像出力手段であるＲＯＭテーブル４とを有してなるもの
である。

【００１５】ここで、上記ＲＯＭテーブル４は、劣化の
無い画像をブロック化したデータと当該ブロック化した
劣化の無い画像を後述する所定の劣化関数により劣化さ
せた画像に対してクラス分類を施したデータとで予め学
習した結果（学習値）を、上記クラスコードに対応させ
たテーブルとして記憶している（後述する第１の具体
例）。或いは、劣化した画像をブロック化してクラス分
類したデータと劣化の無い画像をブロック化したデータ
とで予め学習した結果（学習値）を、上記クラスコード
に対応させたテーブルとして記憶している（後述する第
２の具体例）。また、上記クラスコード発生回路３は、
後述するような高次多項式をモデル式として用いて、入
力画像に最も近い形状を表す式の係数群を求め、この係
数群に応じてクラス分類を行う。

【００１６】ここで、本発明実施例の画像復元装置の構
成の説明に先立ち、画像復元における学習とＲＯＭテー
ブルの生成について説明する。

【００１７】画像復元を予め学習したテーブルで行おう
とする場合、劣化した画像と劣化の無いきれいな画像と
の間で学習処理をする必要がある。学習に用いる劣化画
像を得る方法としては、例えば被写体を固定しておき、
カメラを動かして流れ画像を生成したり、カメラの焦点
を故意にずらせてボケ画像を生成する等の方法がある。

【００１８】ここで、劣化画像を用いて学習を行うとき
の処理の流れの第１の具体例を図２に示す。

【００１９】この図２において、ステップＳ９では劣化
の無い画像が供給される。次のステップＳ１０では上記
劣化無し画像をブロック化し、ステップＳ１３に送る。
また、ステップＳ１０の劣化無し画像は、ステップＳ１
１において既知の劣化関数を用いて劣化させる。その
後、ステップＳ１２では上記劣化関数で劣化させたブロ
ックデータをクラスに分類するクラスタリングを行い、
ステップＳ１３に進む。なお、クラス分類とは、ブロッ
ク化した画像データを用いたパターン分類のことであ
る。

【００２０】ステップＳ１３では、上記ステップＳ１０
からの劣化無しのブロックデータと、上記ステップＳ１
２からの劣化させてクラス分類したブロックデータとの
間でトレーニング（学習）を行う。

【００２１】ステップＳ１４では、あらゆるクラス学習
が十分に行われる程度に、画像を構成する全てのブロッ
クに対して学習が繰り返し行われたか否かの判断を行
う。このステップＳ１４でノーと判断された場合はステ
ップＳ１０に戻り、イエスと判断されるとステップＳ１
５に進む。

【００２２】ステップＳ１５では、クラス毎に学習され
た最適値でマッピングテーブルを生成する。これがＲＯ
Ｍテーブルとなる。

【００２３】上記第１の具体例では、劣化無し画像を劣
化関数によって劣化させることで劣化画像を生成してい
るが、以下に述べる第２の具体例のように、予め上述し
たようにカメラの移動や焦点をずらす等して生成した劣
化画像を用いて学習を行うこともでき、この場合の処理
の流れは例えば図３に示すようになる。

【００２４】この図３において、ステップＳ１では予め
物理的に生成した劣化画像が、ステップＳ２では劣化の
無い画像が供給される。ステップＳ３では上記劣化画像
をブロック化し、ステップＳ４ではステップＳ３でのブ
ロック化に対応する位置で上記劣化無し画像をブロック
化する。

【００２５】ステップＳ３の次のステップＳ５では、上
記劣化画像のブロックデータをクラスに分類するクラス
タリングを行う。このクラス分類もブロック化した画像
データを用いたパターン分類のことである。

【００２６】ステップＳ５とステップＳ４の処理後に進
むステップＳ６では、上記劣化画像と劣化無し画像のブ
ロック間でトレーニング（学習）を行う。

【００２７】ステップＳ７では、あらゆるクラス学習が
十分に行われる程度に、画像を構成する全てのブロック
に対して学習が繰り返し行われたか否かの判断を行う。
このステップＳ７でノーと判断された場合、劣化画像に
対してはステップＳ３へ、また劣化無し画像に対しては
テップＳ４に戻る。ステップＳ７でイエスと判断される
と、ステップＳ８に進む。

【００２８】ステップＳ８では、クラス毎に学習された
最適値でマッピングテーブルを生成する。これがＲＯＭ
テーブルとなる。

【００２９】なお、上記劣化画像のブロックと対応する
劣化無し画像のブロックをどのように学習するかでいく
つかのパターンがある。例えば、劣化画像のブロックと
劣化無し画像のブロックで学習を行って出力する場合
や、画素で学習を行って出力する場合がある。さらに学
習するデータとして入力画像そのものを学習する場合
や、劣化フィルタとの差分量を学習する場合等もある。

【００３０】また、上記第１，第２の具体例におけるク
ラスには、実データを用いることもできるが、実現性を
考えたメモリ容量を考慮に入れると、クラス分類にデー
タ圧縮等を用いることが考えられる。

【００３１】データ圧縮には、例えば、後述する画像信
号のダイナミックレンジに応じた適応量子化（ＡＤＲＣ
と呼ぶ）や、ＤＰＣＭ（差分量子化）、ベクトル量子化
（ＶＱ）等が考えられる。

【００３２】なお、上記ＡＤＲＣとは、ディジタル画像
信号をブロック化し、このブロック内に含まれる複数の
画素データの最大値及び最小値により規定されるダイナ
ミックレンジを求め、このブロック単位で求めた上記ダ
イナミックレンジに適応した割り当てビット数で当該ブ
ロック内の各画素データを符号化するものである。より
具体的に言うと、上記ＡＤＲＣは、１フレーム（又はフ
ィールド）内の所定のブロック内に含まれる複数画素の
最大値及び最小値により規定されるダイナミックレンジ
（ブロック内最大レベルと最小レベルの差）を求め、こ
のダイナミックレンジに適応した可変の量子化ビット数
を上記ブロック毎に決定し、この量子化ビット数で最小
値除去後の入力データを符号化（再量子化、すなわち圧
縮された量子化ビット数によりダイナミックレンジを均
等に分割し、ブロック内の各画素を最も近いレベルのコ
ードに符号化する）して符号化コードを得ると共に、ダ
イナミックレンジの情報と上記最大値，最小値の内の何
れかを付加コードとし、これら符号化コードと付加コー
ドとを得るようなものである。

【００３３】さらに、クラスタリングの実現方法には、
以下のような方法を用いる。

【００３４】ここで、クラス分割でもっとも簡便な方法
としては、例えばブロック内の学習データのビット系列
をそのままクラス番号とする手法がある。ただし、この
手法では膨大な容量のＲＯＭが必要となる。

【００３５】このため、本実施例では、信号パターンに
よるクラス分割に上記ＡＤＲＣを使用して、信号パター
ンの性質を保存した効果的なクラス数の削減を行う。こ
こで、例えば図４に示すように、学習信号画素ａ，ｂ，
ｃから原信号画素Ａへの予測を例にとり、学習信号画像
ａ，ｂ，ｃのレベルをそれぞれｘ₁ ，ｘ₂ ，ｘ₃ とす
る。また、ｘ１，ｘ２，ｘ３のデータに対してｐビット
ＡＤＲＣを行った結果の再量子化データをそれぞれ
ｑ₁ ，ｑ₂ ，ｑ₃ とし、そのダイナミックレンジをＤ
Ｒ、最小値をｍｉｎとする。

【００３６】このとき、このブロックのクラス番号（ク
ラスコード）ｃｌａｓｓは、式(1)で定義される。

【００３７】

【数１】

【００３８】なお、本来ＡＤＲＣはＶＴＲ（ビデオテー
プレコーダ）向けの高能率符号化用に開発された適応的
再量子化法であり、信号レベルの局所的なパターンを短
い語長で効率的に表現できるので、本実施例ではこれを
信号パターンのクラス分類のコード発生に使用してい
る。

【００３９】より一般的に説明する。学習信号画素レベ
ルをｘ₁ ，・・・，ｘ_n とし、原信号画素レベルをｙと
したとき、クラス毎に係数ｗ₁ ，・・・，ｗ_n によるｎ
タップの線形推定式(2) ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋・・・＋ｗ_n ｘ_n （２） を設定する。なお、学習前はｗ_i が未定係数である。

【００４０】学習は、クラス毎に複数の信号データに対
して行う。データ数がｍの場合、式(2)(予測式) に従っ
て、 ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn (k=1,
2,・・・,m） （３） Ｍ＞ｎの場合にはｗ₁ ，・・・，ｗ_n は一意には定まら
ないので、誤差ベクトルｅの要素を ｅ_k ＝ｙ_k −｛ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・ ＋ｗ_n ｘ_kn｝
(k=1,2,・・・,m ）（４） と定義して、式(5) を最小にする係数を求める。いわゆ
る最小自乗法による解法である。

【００４１】

【数２】

【００４２】ここで、式(5) のｗ_i による遍微分係数
を、式(6) のように求める。

【００４３】

【数３】

【００４４】上記式(6) を０にするように各ｗ_i を決め
ればよいから、式(7) 、式(8) のように、

【００４５】

【数４】

【００４６】

【数５】

【００４７】として行列を用いると式(9) のようにな
り、

【００４８】

【数６】

【００４９】掃き出し法などの一般的な行列解法を用い
て、ｗ_i について解けば予測係数が求まり、本実施例で
はＲＯＭのアドレスｃｌａｓｓのデータ（ＲＯＭテーブ
ル）としてこの予測係数を格納しておく。

【００５０】次に、以下に上記劣化関数について説明す
る。先ず、雑音を考慮に入れた画像観測モデルを考え
る。この雑音を考慮に入れた画像観測モデルは式(10)の
ように表すことができる。 ｇ＝Ａｆ＋ｎ (10) なお、この式(10)において、ｆは原画像、ｇは観測デー
タ、Ａは観測過程、ｎは加法性雑音を表している。

【００５１】ここで、対象としている原画像ｆの属する
空間をＨ₁ とし、観測データｇの属する空間をＨ₂ とす
ると、雑音ｎはＨ₂ の元であり、観測結果Ａは数学的に
はＨ ₁ やＨ₂ への作用素とみなすことができる。ｆやｇ
は、連続領域の上で定義された関数として表現されるこ
ともあるし、離散点上で定義された配列として表現され
ることもある。後者の場合、それはベクトルと同じもの
である。これらの表現方法に応じて、式(10)のモデル
は、次のように呼ばれる。すなわち、Ｈ₁ とＨ₂が共に
関数空間の場合は連続−連続モデルと言い、共にベクト
ル空間の場合は離散−離散モデルという。また、Ｈ₁ が
関数空間でＨ₂ がベクトル空間の場合を、連続−離散モ
デルという。

【００５２】上記式(10)は、上記連続−連続モデルの場
合、式(11)のように表現される。

【００５３】

【数７】

【００５４】なお、この式(11)において、ｆ（ｘ，ｙ）
は原画像、ｇ（ｘ，ｙ）は劣化画像、ｎ（ｘ，ｙ）は雑
音であり、ｈ（ｘ，ｙ，ｘ′，ｙ′）は劣化関数と呼ば
れるものである。例えば、ｆ（ｘ，ｙ）＝δ（ｘ−α，
ｙ−β）なる点光源に対する劣化画像がｈ（ｘ，ｙ，
α，β）である。したがって、劣化関数は同時に、点ひ
ろがり関数（ＰＳＦ：point spread function)と呼ばれ
ることもある。

【００５５】ここで、点光源の劣化した像が平行移動を
除いて、その点の位置によらないとき、点ひろがり関数
はｈ（ｘ−ｘ′，ｙ−ｙ′）と差形の関数になり、上記
式(11)は、式(12)のように、畳み込み積分(convolutio
n) で表される。

【００５６】

【数８】

【００５７】このような劣化を移動不変、位置不変、或
いは空間不変であるという。変数変換によって、式(11)
を式(12)の形式に変換できる場合もある。

【００５８】また、劣化をｘ軸方向とｙ軸方向に分離で
きる場合がある。数学的に言えば、劣化関数が、式(13)
のように、積の形に分解できることに対応している。 ｈ（ｘ，ｙ，ｘ′，ｙ′）＝ｈ₁ （ｘ，ｘ′）ｈ₂ （ｙ，ｙ′） (13) これを分離核という。カメラの一様な動きによる写真の
ブレは、分離核かつ移動不変な劣化の例である。

【００５９】また、上記式(10)の離散−離散モデルは、
次のようになる。例えば、原画像ｆ（ｘ，ｙ）のＮ個の
標本点における値から作られるＮ次元ベクトルをｆとす
る。同様に劣化画像ｇ（ｘ，ｙ）及び雑音ｎ（ｘ，ｙ）
か作られるＮ次元ベクトルを、それぞれｇ，ｎとすれ
ば、上記式(11)は近似的に、 ｇ＝Ａｆ＋ｎ (14) と表すことができる。ここで、式(14)におけるＡは、劣
化を表すＮ次正方行列である。

【００６０】また、標本点がＮ₁ ×Ｎ₂ 個（Ｎ＝Ｎ₁ ×
Ｎ₂ ）の格子点（ｘ_m ，ｙ_n ）で与えられている場合、
ｆ（ｘ，ｙ）の標本値ｆ（ｘ_m ，ｙ_n ）をそのまま並べ
て、行列の形で表すことができる。これを〔ｆ〕とす
る。劣化画像ｇ（ｘ，ｙ）及び雑音ｎ（ｘ，ｙ）に対し
ても、同様に〔ｇ〕，〔ｎ〕とする。さらに、劣化Ａは
式(13)のように分離核になっているとする。このとき、
連続−連続モデルの式(11)は近似的に離散−離散モデル
によって、 〔ｇ〕＝Ａ₁ 〔ｆ〕Ａ₂ ＋〔ｎ〕 (15) と表現できる。ここで、Ａ₁ ，Ａ₂ は、それぞれＮ₁ 次
及びＮ₂ 次正方行列である。

【００６１】さらに、劣化Ａが移動不変の場合、式(12)
に対して、式(15)のＡ₁ ，Ａ₂ はテープリッツ（Toepli
tz) 行列で近似すれば、離散フーリエ変換（ＤＦＴ）に
よって対角行列に変換することができる。これは式(12)
の畳み込み積分をフーリエ変換によって積の形に変換す
ることに相当している。

【００６２】次に、連続−離散モデルは、連続−連続モ
デルによる劣化の後、標本化を行ってベクトルｇ或いは
行列形式〔ｇ〕に変換したものである。したがって、前
半の部分には式(11), 式(15)の表現を使うことができ
る。或いは、この２つの過程をまとめて、式(16)のよう
に表現することもできる。

【００６３】

【数９】

【００６４】この式(16)で、ｇ_ij及びｎ_ijは、それぞれ
〔ｇ〕及び〔ｎ〕の第ｉｊ成分である。

【００６５】なお、上述の式(11)〜式(19)に示したよう
に、画像劣化モデルを具体的に表現する方法は数多くあ
る。

【００６６】図１に戻って、上述のようにして学習して
得たＲＯＭテーブルからデータを読みだして画像復元を
行う第１の実施例の画像復元装置の構成例について説明
する。図１の画像復元装置は、入力劣化画像に対して劣
化を復元した画素を出力する場合の構成を示している。

【００６７】この図１において、入力端子１に入力され
た劣化したディジタル画像信号は、ブロック化回路２に
送られる。当該ブロック化回路２では、供給されたディ
ジタル画像信号を複数の画素データからなる複数のブロ
ックに分割する。

【００６８】上記ブロック化回路２からのブロックデー
タは、クラスコード発生回路３に送られる。当該クラス
コード発生回路３では、供給されたブロックの２次元的
なレベル分布のパターンを参照してクラスを求め、その
クラスコードを発生する。

【００６９】このクラスコードは、アドレスデータとし
てＲＯＭテーブル４に送られる。当該ＲＯＭテーブル４
には、上述したようにした学習値（すなわち劣化無しの
画素データ）が格納されており、上記クラスコード（ア
ドレス）に対応してその学習値が出力される。当該ＲＯ
Ｍテーブル４から読みだされた学習値すなわち劣化無し
の画素データが出力端子５から出力される。

【００７０】次に、本発明の第２の実施例として、図５
には、ＲＯＭテーブル９にブロック単位の学習値を保存
している場合の構成を示す。

【００７１】この図５において、入力端子６からクラス
コード発生回路８までは、図１の入力端子１からクラス
コード発生回路３までと同様の構成である。ここで、図
１のＲＯＭテーブル４がブロック単位でないデータを出
力するのに対し、図５のＲＯＭテーブル９はブロック単
位のデータを出力する。

【００７２】当該ＲＯＭテーブル９から出力される劣化
無しのブロック単位のデータは、ブロック分解回路１０
に送られる。すなわち、ＲＯＭテーブル９の出力は、ブ
ロック単位であるため、ブロック分解回路１０によって
ブロック分解を行い、その分解されたデータが出力端子
１１から劣化無し画像の出力データとなる。この第２の
実施例では、ＲＯＭテーブル９とブロック分解回路１０
とで無劣化画像出力手段が構成されている。

【００７３】次に、図６には、本発明の第３の実施例と
して、劣化関数の逆関数で劣化を復元する復元フィルタ
の出力と図１，図５同様のブロック化回路１３の出力と
の差分について、先に学習を行っておいた場合について
の例を示す。

【００７４】すなわち、この図６に示す第３の実施例の
画像復元装置のクラスコード発生回路１６では、ブロッ
ク化回路１３を介してブロック化された入力画像と、そ
のブロック画像を復元フィルタ１４を介してフィルタリ
ングした出力との差分に対してクラス分類処理を施すよ
うにしている。

【００７５】この図６において、入力端子１２には図
１，図５の入力端子１，６と同様にディジタル画像信号
が供給され、同じく図１，図５と同様のブロック化回路
１３でブロック化がなさる。

【００７６】当該ブロック化回路１３の出力は、劣化関
数の逆関数で画像の劣化を復元する復元フィルタ１４に
送られる。当該フィルタ１４でフィルタリングがなされ
た出力は、加算器１５に減算信号として送られる。この
とき当該加算器１５には上記ブロック化回路１３からの
出力が加算信号としても供給され、したがって、当該加
算器１５ではフィルタリングされたブロックデータとフ
ィルタリングされていないブロックデータとの差分が求
められることになる。

【００７７】この加算器１５の出力は、クラスコード発
生回路１６に送られる。当該クラスコード発生回路１６
でも上記加算器１５の出力ブロックの２次元的なレベル
分布のパターンを参照してクラスを求め、そのクラスコ
ードを発生する。

【００７８】このクラスコードは、アドレスデータとし
てＲＯＭテーブル１７に送られる。当該ＲＯＭテーブル
１７には、劣化の無い画素データと当該劣化の無い画素
データを劣化フィルタでフィルタリングしたデータとの
差分のデータで学習を行った学習値が格納されており、
したがって、上記クラスコード（アドレス）に対応して
学習値が出力されるようになる。

【００７９】このＲＯＭテーブル１７から出力された学
習値は、上記フィルタ１４の出力が加算信号として供給
されている加算器１８に、同じく加算信号として送られ
る。これにより、当該加算器１８からは、劣化無しの画
素データが出力され、これが出力端子１９から出力され
る。したがって、この第３の実施例装置では、上記ＲＯ
Ｍテーブル１７と、フィルタ１４の出力が供給される加
算器１８とで無劣化画像出力手段が構成されている。

【００８０】なお、第３の実施例の画像復元装置では、
前記差分に対してクラス分類を施すようにしているが、
例えば入力画像のフィルタ１４の出力に対してクラス分
類を行うことも可能である。

【００８１】上述のように、本発明実施例の画像復元に
おいては、画質が劣化した入力画像を走査変換（ブロッ
ク化）し、このブロック画像データからクラス生成を行
い、クラス（すなわち信号パターン）に応じて予め学習
されたテーブルから画像復元に作用するデータ（学習最
適化されたデータ）を出力し、そのデータから復元画像
を生成することにより、劣化が修復された画像を得るこ
とができ、したがって、劣化の原因が特定できない場合
や、逆関数が一様に決定できない場合であっても、劣化
した画像の復元が可能となる。

【００８２】すなわち、画質が劣化した画像を復元しよ
うとする場合には、通常、劣化原因を解析し、劣化モデ
ル関数を決定し、逆関数を施すことにより復元を行う
が、本発明実施例では、劣化の原因が特定できない場合
や逆関数が一様に決定できない場合のために、劣化モデ
ル関数の逆関数を用いる代わりに、学習により予め得ら
れた復元テーブルを用いて、劣化した画像の代わりに劣
化の無い復元画像を当てはめる（マッピング）すること
で、画像を復元するようにしている。

【００８３】このように、本発明実施例では、劣化のな
い画像を用いた学習テーブルによるマッピングで画像を
復元するため、複雑な劣化関数の決定や、その逆関数を
求める必要がない上に、一度テーブルを作成すれば、処
理は画像復元のテーブルを読み出すのみであるため、処
理が簡単である。また、劣化関数の逆関数が定義でき
ず、従来なら復元できない場合においても学習により復
元テーブルを作成することができる。

【００８４】したがって、本実施例の画像復元装置によ
れば、例えばテレビカメラによって撮像された画像に対
する画質劣化が修復された画像を得ることができる。

【００８５】

【発明の効果】上述したように、本発明においては、画
質が劣化した画像をブロック毎にクラス分類したデータ
と劣化の無い画像のブロックデータとで予め学習した結
果を記憶しておき、劣化画像を複数のブロックに分割
し、ブロック化されたデータを複数のクラスに分類して
その分類に対応するクラスコードを得て、このクラスコ
ードに応じて劣化画像に対応する劣化の無い画像を出力
するようにしているため、劣化の原因が特定できない場
合や、逆関数が一様に決定できない場合であっても、劣
化した画像の復元が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の画像復元装置の概略構
成を示すブロック回路図である。

【図２】本発明実施例における学習についての第１の具
体例のフローチャートである。

【図３】本発明実施例における学習についての第２の具
体例のフローチャートである。

【図４】学習信号画像から原信号画像の予測を説明する
ための図である。

【図５】第２の実施例の画像復元装置の概略構成を示す
ブロック回路図である。

【図６】第３の実施例の画像復元装置の概略構成を示す
ブロック回路図である。

【符号の説明】

２，７，１３・・・・ブロック化回路 ３，８，１６・・・・クラスコード発生回路 ４，９，１７・・・・ＲＯＭテーブル １０・・・・・・・・ブロック分解回路 １４・・・・・・・・フィルタ

フロントページの続き (72)発明者 西片 丈晴 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 劣化の生じている入力画像を複数のブロ
   ックに分割するブロック化手段と、 ブロック化されたデータを複数のクラスに分類してその
   分類に対応するクラスコードを出力するクラス分類手段
   と、 上記クラスコードに応じて入力画像に対応する劣化の無
   い画像を出力する無劣化画像出力手段とを有してなるこ
   とを特徴とする画像復元装置。
2. 【請求項２】 上記無劣化画像出力手段は、劣化の無い
   画像をブロック化したデータと当該ブロック化した劣化
   の無い画像を所定の劣化関数により劣化させた画像に対
   してクラス分類を施したデータとで予め学習した結果
   を、上記クラスコードに対応させて記憶していることを
   特徴とする請求項１記載の画像復元装置。
3. 【請求項３】 上記無劣化画像出力手段は、劣化した画
   像をブロック化してクラス分類したデータと劣化の無い
   画像をブロック化したデータとで予め学習した結果を、
   上記クラスコードに対応させて記憶していることを特徴
   とする請求項１記載の画像復元装置。
4. 【請求項４】 劣化の生じている入力画像を複数のブロ
   ックに分割するブロック化工程と、 ブロック化されたデータを複数のクラスに分類してその
   分類に対応するクラスコードを出力するクラス分類工程
   と、 上記クラスコードに応じて入力画像に対応する劣化の無
   い画像を出力する無劣化画像出力工程とを有してなるこ
   とを特徴とする画像復元方法。
5. 【請求項５】 上記無劣化画像出力工程では、劣化の無
   い画像をブロック化したデータと当該ブロック化した劣
   化の無い画像を所定の劣化関数により劣化させた画像に
   対してクラス分類を施したデータとで予め学習して得た
   複数の学習値から、上記クラスコードに対応した学習値
   を取り出すことを特徴とする請求項４記載の画像復元方
   法。
6. 【請求項６】 上記無劣化画像出力工程では、劣化した
   画像をブロック化してクラス分類したデータと劣化の無
   い画像をブロック化したデータとで予め学習して得た複
   数の学習値から、上記クラスコードに対応した学習値を
   取り出すことを特徴とする請求項４記載の画像復元方
   法。