JPH0496877A - 画像復元装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像処理分野の画像復元装置、特に劣化した画
像を人間の視覚特性により合った画像に、高速に復元で
きる画像復元装置に関するものである。

従来の技術 従来の画像復元、Ｈ置としては、例えは「シ、コック、
シーエ仁マロウクイ人　及びワ仁］−’／　（Ｃ，−Ｋ
ｏｃｈ、　　Ｊ、Ｍａｒｒｏｑｕｉｎａｎｃｌ　　八、
Ｙｕｉｌｌｅ）　　：　　７′すｎ’）−ｒＺ〕−ラル
」　２グトワーウ　　イノ　　？−リーヒーシー］ン　
（Ａｎａｌｏｇ　”ｎｅｕｒａｌ”　ｎｅｔｗｏｒｋｓ
　　ｉｎ　　ｅａｒｌｙｖｉｓｉｏｎ）　　、　　Ｐｒ
ｏｃ、　　Ｎａｔｌ、　　Ａｃａｄ、　　Ｓｃｉ、ＬＩ
ＳＡ、　　８３．　　ｐｐ、４２６３−４２６７　（１
９８６）Ｊに示されたものが知られている。

さきに、その従来の画像復元装置の原理を説明する。

一般に画像の劣化過程は、まず原画像がぼやかされ、次
に雑音が加法的に加わるという形で表現される。したが
って、原画像なｆ（ｘ、い、原画像が関数ｈ　（Ｘ　＋
　ｙ）によってぼかされたものとし、ざらにノイズをｎ
　（、Ｙ　、　ｙ　）とし、生じた劣化画像をｇ（ｘ、
ｙ）とすると、画像の劣化過程を次式のように表すこと
がてきる。

ｇ（ｘ、ｙ）　：ＳＳ　ｂ（ｘ−ａ、ｙ−ｆ＋）ｆ（ａ
、ｂ）ｄａｄｂ　＋　ｎ（ｘ、ｙ）・・・　（１） （１）式を離散的な画像の場合に置き直すと、（２）式
のように表すことができる。ここで、座標（１２，＋）
におＣ１る劣化画像の画素値をＧ（ｉ　、　ｊ）、原画
像の画素値をＦ（ｉ、ｊ）、ノイズ値をＮ（ｉ、ｊ）、
前記関数ｈ（ｘ、ｙ）を表ずコンボリニア、−二ノニ１
ンマトリクスの（ｉ、ｊ）成分をＨ（ｉ、ｊ）とする。

但し、前記コンポーン：１−シヨンマトリクスは（ｋ、
ｌ）成分がｆ（ｉ、、ｉ）に対しコ１する。

Ｇ（ｉ、ｊ）＝　　ΣＨ（ｍ、ｎ）Ｆ（ｉ−に＋ｍ、、
ｉ−１＋ｎ）＋　　Ｎ（ｉ、ｊ）・　・　・　（２） いま、Ｇ（ｉ、ｊ）、Ｉｔ（ｉ、Ｊ）が既知である場合
に、Ｆ（ｉ、ｊ）を推定することを考える。　（２）式
を次式のように変形する。

Ｎ２（ｉｎｊ）　＝［Ｇ（ｉ、Ｊ）−Σｆ−１（ｍ、ｎ
）Ｆ（ｉ−に＋ｍ、　Ｊ−１＋ｌ＋）］′・・・　に３
） Ｎ（ｉ、ｊ）が未知であるので、Ｇ（ｉ、ｊ）を゛ト泪
化しながら（３）式の右辺を最小ζＪずろＦ（＋、ｊ）
を求めなけれはならない。したがって次式で表されるよ
うな各画素間の画素値の差分がＯになろ時ｔこ最小とな
る式Ｅｃｏｎ（ｉ　、　ｊ　）を（：３）式（こ付は加
えろ。

Ｅｃｏｎ（ｉｎｊ）・（Ｆ（ｉ、ｊ＋１）　−Ｆ（ｉ、
、ｉ）　’ｔ２＋　（Ｆ（ｉ＋Ｉ＋、ｉ）　−Ｆ（ｉ、
ｊ）　）２・・・　（・１） しかし、平滑化か過度ζこ行われると）９画像における
エツジ部分が鈍り、復元画像が視覚的に良くない、ぼや
けた画像となってしまう。よ−〕てエツジのたち具合い
を表す指標として第４図に示すような線過程と呼はれる
、画素と画素の間に存在する仮想の１直、Ａ（ｉ　、　
Ｄ及び、Ｂ（ｉ、ｊ）を導入し、Ｅｃｏｎ（ｉ、ｊ）を
（５）式のように−Ｉき換える。１μし、Ａ（ｉ、」）
、Ｂ（＋＋、ｉ）は、エツジがたー）Ｃいればｌ、たっ
ていなけれは０を１）σとして侍つとする。

Ｅｃｏｎ（ｉ、ｊ）　＝　（Ｆ（ｉ、ｊ＋１）−Ｆ（ｉ
、ｊ）　’１’ＣＩ−Ａ（ｉ、ｊ）　：＋　（Ｆ（ｉ＋
Ｉ、ｊ）−Ｆ（ｉ、ｊ）　）２（１−Ｒ（ｉ＋、ｉ）　
’ｔ・・・　（５） （５）式はエツジがケっていない部分では平滑化を行い
、エツジが立っている部分ては平滑化を行わないという
ことを表している。

さらにＡ（ｉ、Ｊ）、＋３（ｉ、、１）も入力画像から
Ｆｌｆ定しなけれはならない。そごで（６）式で表され
ろＥ　ｅｄ　ｉを最小ニｔ　６ｆｆ８ノＡ（ｉ、ｊ）、
Ｂ（ｉ、ｊ）（７：）ｍが画像のエツジとして一番もっ
ともらしいと仮定する。

Ｅｅｄｇ　　＝Σ（ｌ−Ａ（ｉ、、１））Ａ（ｉ、ｊ）
＋（Ｉ−Ｂ（ｉ、Ｊ））Ｂ（ｉ、ｊ）＋　Ｃａｘ［＾（
ｉ、Ｊ）Δ（ｉ、ｊ＋Ｉ）＋　　Ｂ（ｉ、ｊ）Ｂ（ｉ＋
Ｉ、ｊ）］＋　　ｆ：ｂΣ（八（ｉ、ｊ）　　＋　　Ｂ
（ｉ、ｊ）　　）＋ＣＣΣ［八（ｉ、ｊ）Ｃ（１−Ａ（
ｉ＋１．ｊ）−Ｂ（ｉ、ｊ）−Ｂ（ｉ、ｊ＋ｌ））”＋
　　（１−Ａ（ｉ−１，，１）−８（＋−１，ｊ）−Ｂ
（ｉ−１，ｊ＋Ｉ））２　）＋　　Ｂ（ｉ、ｊ）（（１
−Ｂ（ｉ、ｊ＋１）−Ａ（ｉｎｊ）−Ａ（ｉ＋Ｉ、ｊ）
）？＋　（１−Ｂ（ｉ、ｊ−１）−Ａ（ｉ、ｊ−１）−
Ａ（ｉ＋１．ｊ−１）　）２＞コ・　・　・　（６） ココで、第１　Ｉｎ　［、’ｌｌ　（ｔ　ｒ　Ａ（ｉ　
、　ｊ）、Ｂ（ｉ、ｊ）カ１　マタはＯのどちらかの１
直をとる」、第２　Ｉｎ目は「同し方向の線過程は１１
′行ζこ並ふことはまずない」、第３項目は「エツジは
余り多くは立たない」、そし１て最後の項は「エツジは
たいてい続いているかまたは、曲かっ−こおり、分岐す
ることは余りない」という仮定を各々表し・でいる。１
すし、Ｃａ、　　Ｃｂ、〔：〔・は各項の全体に対する
重みを表すパラメータてある。

結局、　（７）式で表されるＥを最小にするＦ（ｉ、ｊ
）が求めたい復元画像の座標（ｉ、ｊ）における画素１
直ということになる。

Ｅ　：Σ［Σ）Ｉ（ｍ、ｎ）Ｆ（ｉ−に＋ｍ、ｊ−１＋
ｎ）−Ｇ（ｉ、ｊ）　］２＋　Ｃ１Σ［（Ｆ（ｉ、！＋
１）−Ｆ（ｉ、ｊ））２Ｃ１−Ａ（ｉ、、ｉ））”　（
Ｆ（＋”ｌ＋、＋）−Ｆ（＋＋Ｊ））２（１−Ｂ（ｉ、
ｊ））コ＋　（２Σ［（ｌ−Ａ（ｉ、ｊ））Ａ（ｉ、ｊ
）＋（Ｉ−Ｂ（ｉ、ｊ））Ｂ（ｉ、ｊ）　　］＋　　Ｃ
３Σ（Ａ（ｉ、ｊ）　＋　　Ｂ（ｉ、ｊ）　　）＋　　
Ｃ４Σ［Ａ（電＋ｊ）Ａ（ｉ、！＋１）＋Ｂ（ｉ＋ｊ）
Ｂ（ｉ＋Ｉ、ｊ）　　］＋　　Ｃ５Σ　［Ａ（ｉ＋ｊ）
（（１−Ａ（！＋１．．１）−Ｂ（ｉ、ｊ）−Ｂ（ｉ、
！＋１））？＋　　（１−Ａ（ｉ−１，ｊ）−Ｂ（ｉ−
１，ｊ）−Ｂ（ｉ−１，！＋Ｉ）　　）２　）＋　Ｂ（
ｉ＋ｊ）（（１−ＢＣｉ、！＋１）−Ａ（ｉ＋、１）−
Ａ（ｉ＋Ｉ＋ｊ）　　）、！＋　（１−Ｂ（ｉ、ｊｌ）
−Ａ（ｉ、Ｊ−１）−Ａ（ｉ＋Ｉ、ｊ−１））２　）　
　］・　・　・　（７） １＝　１．、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５は全体に対
する各項の重みを表すパラメータである。

第３図は、この従来の画像復元装置の構成図を示すもの
であり、４１は入力される入力画像、４２はコンボリュ
ーションマトリクスデータ、４６は画素エネルギー最小
化部、２１はエツジエネルギー最小化部である。この画
素エネルギー最小化部４６は、入力画像４１、コンボリ
ューションマトリクスデータ４２及び、エツジエネルギ
ー最小化部２１から入力を受ける。

第５図は、画素エネルギー最小化部４６及び、エツジエ
ネルギー最小化部２１のより具体的な構成図であり、画
素エネルギー最小化部４６は、画素偏微分部４１１、乗
算部４１２、加算部４１３、画素メモリ４１４等を備え
、エツジエネルギー最小化部２１は、エツジ偏微分部３
１、乗算部３２、加算部３３は、エツジメモリ３４を有
している。

復元画像の画素値を格納する画素メモリ４１４の内容は
、最初に、入力画像４１の各画素値に初期設定される。

また線過程の値を表すエツジメモリ３４の内容はすべて
０〜１の適当な値に初期設定される。

第５図に示すように画素偏微分部４１１は入力画像４１
、コンボリューションマトリクスデータ４２、加算部４
１３及び、エツジメモリ３４からの出力を受ける。

いよ（７）式をＦ（ｉ、、ｉ）に関して偏微分した関数
をＥ　ｒとおくと画素偏微分部４１１は、入力値をもト
ｔ’；−各画素コトＧｌ）　Ｅ　ｔ　（Ｆ（ｉ、ｊ））
　（７ＮＩＨｅ　Ｗ出し、乗算部４１２及び、それに続
く加算部４１３を介し。

て自分自身にフィードバックさせる。乗算部４１２は、
入力の１１αに十分に０に近い負の数をかけて出力する
。加算部４１３は乗算部４１２と画素メモリ４１４から
の入力を足し合わせた値を画素偏微分部４１１及び、エ
ツジ偏微分部３１に対して出力する一方、画素メモリ４
１４の内容を出力した値に書き変える。結局、画素メモ
リ４１４の内容は一時劾萌のＦ（ｉ、ｊ）の値であり、
　（８）式に従って内容が￥駈されることになる。

Ｆｔ−＋（ｉ、ｊ）　二Ｆｔ（ｉ＋ｊ）−ＥＩＥＩ　（
Ｆｔ（ｉ＋ｊ））・　・　・　（８） 但し、Ｆｔ、＋（ｉ、ｊ）及び、Ｆ　＋　（＋　＋　、
＋　）は各々、座標（ｉ、ｊ）の時刻１＋＋及び時刻ｔ
における画素１直をそれぞれ表し、εｒは十分に小さな
正数とする。

ここてＥはＦ（ｉ、ｊ）について微分可能であるのてン
欠のことがｈ父り立っ。

△Ｆ（ｉ、ｊ）→Ｏならば （Ｅ（△Ｆ（ｉ、ｊ）＋Ｆ（ｉ、ｊ））−Ｅ　（Ｆ（ｉ
、ｊｃ））／ΔＦ（ｉ、ｊ）＝ａ■Σ／ａＦ（１，Ｊ）
・・・（９）さらに、 ΔＦ（ｉ、、ｉ）　＝−ｃ　ｔａ　Ｅ／ａＦ（ｉ、ｊ）
トオ＜　トド−（ΔＦ（ｉ、ｊ）＋Ｆ（ｉ、ｊ）　　）
−１Ｅ（Ｆ（ｉ、ｊ）　　）−ＥＴ（ａ　Ｅ／ａＦ（ｉ
、ｊ）　）２≦０　　・・・（１０）（１０）式から、
　（８）式に従ってＦ（ｉ、ｊ）を更新することζごよ
ってＥを最小にするＦ（ｉ、ｊ）を求められろことがわ
かる。

エツジ偏微分部３１は加算部４１３．３３から入力を受
ける。

いよ（７）式をＡ（ｉ　、　ｊ）、Ｂ（ｉ、ｊ）に関し
て偏微分した関数をＥ、とおくとＪフジ偏微分部３１は
、入力１直をもとに各画素ことのｌ’　ｅ　（Ｆ（＋　
、Ｊ））の値を算出し、乗算部３２及び、それに続く加
算部３３を介して自分自身にフィードバックさせる。乗
算部：３２は、入力のｆ１αに十分に０に近い負の数を
かけて出力する。加算部３３は乗算部３２とエッジメモ
リ３４からの入力を足し合オつせた値をエツジ偏微分部
３】及び、画素偏微分部４１１に対して出力する一方、
エツジメモリ３４の内容を出力した値に書き変える。結
局、エツジメモリ３４の内容は一時刻前のＡ（ｉ、Ｊ）
−Ｂ（ｉ、Ｊ）の値であり、　（８）〜（１０）式で示
した内容と同様の理由により、Ｅｆｅ最小にするＡ（ｉ
、ｊ）、Ｂ（ｉ、ｊ）を求めることが出来る。

発明が解決しようとする課題 しかしながら上記のような従来の画像復元装置では、　
（７）式において指定なければならないパラメータ（Ｃ
Ｉ−Ｃ５）が多いという課題、また（７）式自体の変数
も、求めたいＦ（ｉ、ｊ）の他にＡ（ｉ　、　ｊ）、Ｂ
（ｉ、ｊ）があり、Ｅを最小にするためには、エツジエ
ネルギー最小化部２１によるＡ（ｉ、ｊ）、Ｂ（ｉ、ｊ
）の更新と画素エネルギー最小化部２１によるＦ　（ｔ
　Ｊ　Ｊ　）の更新の両方を繰り返さなければならず、
処理に非常に時間がかかるという課題を有していた。

本発明はかかる従来の画像復元装置の課題に鑑み、エツ
ジが鈍ることがなく、また指定するパラメータが少なく
、高速に処理できる画像復元装置を提供することを目的
とする。

課題を解決するための手段 本発明は、入力画像のある画素を含む局所領域における
画素群の画素値の中央値を画素の画素位置に対応する画
素値を生成する中央値フィルタと、中央値フィルタの出
力した画像の隣合う画素間の画素値の差分値を出力する
差分フィルタと、差分フィルタの出力のしきい値処理を
行う（）きい値処理部と、入力画像、しきい値処理部及
び、劣化過程を表すコンボリューションマトリクスデー
タを入力として、画像劣化モテルによって定義される関
数の値を最小化することによって復元画像の画素値を求
める画素エネルギー最小化部と、画素エネルギー最小化
部から出力を決定する出力部を備えた画像復元装置であ
る。

作用 本発明は、まず入力画像のエツジを保存して１１滑化す
ることが可能とされている中央値フィルタによって平滑
化ずろ。次に差分フィルタによってエツジ部分を抽出し
、さらにしきい値処理部で処理することで前述の各画素
間の線過程を決定し、固定する。以−Ｌの処理により（
７）式において第３項目以下の項は定数どなり、指定す
る必要があるパラメータが１つになる。さらに最小化す
るべき関数Ｅの変数も画素値Ｆ（ｉ、ｊ）のみとなり、
処理の高速化が達成される。

実施例 以下、本発明の実施例について図面を弁明して説明する
。

第１図は本発明の一実施例における画像復元装置の構成
を示すものである。同図において、次に示すように、１
は入力画像、２は劣化過程を表すコンボリューションマ
トリックスデータ、：３は入力画像１のある画素を含む
局所領域における画素群の画素１１ａの中央値を前記画
素の画素位置に対応する画素ｈＴｉとして出力する中央
値フィルタ、４は中央値フィルタ３の出力画像の隣合う
画素間の画素値の差分値を出力する差分フィルタ、５は
差分フィルタ４の出力のしきい値処理を行うしきい値処
理部、６は入力画像ｌ、しきい値処理部５の出力及び、
劣化過程を表すコンポリューシコンマトリクスデータ２
を入力として、画ｉｔ　ｚ化モテルによって定義される
関数の値を最小化することによって画像の画素ｈ’ｌｌ
を決定する画素Ｊネルキー最小化部、７はその画素エネ
ルギー靜小化８（り６の出力部である。

以上のようζこ構成された本実施例の画像復元装置につ
いて、以下にその動作を説明する。

まず中央値フィルタ３ｃこは入力画像１から各画素の画
素値が入力され、各画素について、その画素を含む近傍
の局所領域における画素群の画素値の中から中央値を選
び出し、その画素位置における画素値として出力し、新
しい画像を生成する。

この時、新しく生成された画像は入力画像ｌをある程度
平滑化した画像であり、またエツジ部分を保存している
ことが一般に知られている。

差分フィルタ４は中央値フィルタ３が生成した画像を入
力し、各画素間の差分子＋＋２を演算して、しきい値処
理部５に対して出力する。しきい値処理部５はその入力
に対してしきい値処理し、前述の線過程Ａ（ｉ、ｊ）、
Ｂ（ｉ、ｊ）の値を決定して画素エネルギー最小化部６
に出力する。この処理によって各線過程の値は定数とし
て固定される。

第２図は画素エネルギー最小化部６のより具体的な構成
を示す図である。図に示すように画素偏微分部１１は入
力画像１、コンボリューションマトリクスデータ２、し
きい値処理部５及び加算部１３から入力を受ける。

なお、復元画像の画素値を表す画素メモリ１４の内容は
最初に、入力画像１の各画素値に初期設定される。

いま（７）式をＦ（ｉ、ｊ）に関して偏微分した関数を
Ｅ「とおくと画素偏微分部１１は、入力値をもとに各画
素ごとのＥ　ｒ　（Ｆ（ｉ、ｊ））の値を算出し、乗算
部１２及び、それに続く加算部１３を介して自分自身に
フィードバックさせる。乗算部１２は、入力の値に十分
にＯに近い負の数をかけて出力する。

加算部１３は乗算部１２と画素メモリ１４からの入力を
足し合わせた値を画素偏微分部１１に対して出力する一
方、画素メモリ１４の内容を出力した値に書き変える。

結局、画素メモリ１４の内容は一時刻前のＦ（＋、Ｊ）
の値であり、　（８）式に従って内容が更新されること
になる。ゆえに（９）、（１０）式において述べたよう
に、　（７）式を最小にするＦ（ｉ、ｊ）の値を求める
ことができる。

この際、線過程の値を固定しているので、　（７）式で
示されるＥにおいては、指定すべきパラメータはＣ１だ
けとなる。また更新すべき変数は、従来はＦ（ｉ、ｊ）
、Ａ（＋、Ｊ）、Ｂ（ｉ、ｊ）の３ってあったのがＦ（
ｉ、ｊ）だけで良いことになり、処理を高速化できる。

なお、本発明における中央値フィルタ３、差分フィルタ
４、しきい値処理部５、画素エネルギー最小化部６等の
手段は、通常コンピュータを利用してソフトウェア的に
実現されるが、それに限らず、専用のハート回路を用い
て実現してもよい。

発明の詳細 な説明したように、本発明によれは、中央値フィルタ、
差分フィルタ及びしきい値処理部等をを設けることによ
り、入力画像のエツジを保存したまま、ある程度の平滑
化を行った画像がら線過程の値を決定するために、設定
すべきパラメータ、変数の数を減すことができ、視覚的
に良好な復元画像を高速に得ることができる。

【図面の簡単な説明】

第１図は本発明における画像復元装置の一実施例の構成
を示すブロック図、第２図は同実施例の画素エネルギー
最小化部の具体的な構成を示すブロック図、第３図は従
来の画像復元装置の構成を示すブロック図、第４図は線
過程を説明するための構成図、第５図は従来の画素エネ
ルギー最小化部とエツジエネルギー最小化部の具体的な
構成をボすブロック図である。 １・・・入力画像、２・・・コンボリューションマトリ
クスデータ、３・・・中央値フィルタ、４・・・差分フ
ィルタ、５・・・しきい値処理部、６・・・画素エネル
ギー最小化部、１１・・・画素偏微分部、１２・・・乗
算部、１３・・・加算部、１４・・・画素メモリ、２１
・・・エツジエネルギー最小化部、３１・・・エツジ偏
微分部、３４・・・画素メモＩ几 代理人　弁理士　松　１］１　　正　道７出力 第３図 入力画像 コンボリューション 出力 第２図 しきい値処理部から 出力 線過程

Claims (2)

【特許請求の範囲】
1. （１）入力画像のある画素を含む局所領域における画素
   群の画素値の中央値を前記画素の画素位置に対応する画
   素値として出力する中央値フィルタと、前記中央値フィ
   ルタの出力画像の隣合う画素間の画素値の差分値を出力
   する差分フィルタと、前記差分フィルタの出力のしきい
   値処理を行い線過程を固定するしきい値処理部と、前記
   入力画像、前記しきい値処理部の出力及び、劣化過程を
   示すコンボリューションマトリクスデータを入力として
   、所定の画像劣化モデルによって定義される線過程を含
   む関数の値を最小化することによって画像の画素値を決
   定する画素エネルギー最小化部を備えたことを特徴とす
   る画像復元装置。
2. （２）関数は、次式 ▲数式、化学式、表等があります▼ ・・・（７） （但し、座標（ｉ、ｊ）における劣化画像の画素値をＧ
   （ｉ、ｊ）、原画像の画素値をＦ（ｉ、ｊ）、ノイズ値
   をＮ（ｉ、ｊ）、コンボリューションマトリクスの（ｉ
   、ｊ）成分をＨ（ｉ、ｊ）、線過程と呼ばれる、画素と
   画素の間に存在する仮想の値をＡ（ｉ、ｊ）及びＢ（ｉ
   、ｊ）とし、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５は全体に対
   する各項の重みを表すパラメータである）、 であることを特徴とする請求項１記載の画像復元装置。