JPS63298577A - 画像の鮮鋭化法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は、ＴＶカメラなどを用いて計算機に入力された
画像を、演算処理、すなわち画像処理することによって
鮮鋭化する方法に関するものである。

（従来の技術） 画像処理によって画像から物体の輪郭を求め、それによ
り各種の認識を行うとき、画像はぼけを含んでいるため
に物体の輪郭が鮮明でなく、認識が非常に困難な場合が
ある。そこで、通常ＵＫ　３ａ処理の前処理として、予
め入力された画像に対して鮮鋭化する処理が行われる６ 以下、第２図から第４図を参照して、従来の鮮鋭化技術
について説明する。

第２図は従来より一般に用いられている画像処理システ
ムの構成を示す。

第２図において、ＴＶカメラ１で撮像された画像は、走
査線毎に走査されなから光電変換が行われ、時間的に連
続した映像信号に変換される。

この映像信号は、ディジタイザ２におけるサンプラによ
って１画面あたり数百側平方の画素に標本化され、ざら
にＡ／Ｄ変換器によって各画素に入射された光強度が、
その強度に対応した。１１度として数百階調に量子化さ
れる。

このように、画像はディジタイザ２を介してディジタル
化され、画素の位置を示す座標とその座標における濃度
の情報として画像メモリ３に入力されて記憶される。

記憶された画像の情報は、画像メモリ３から計算機（Ｃ
ＰＵ）４に入力され、物体の認識などの各種処理が行わ
れる。ここで、処理結果として画像が得られた場合には
、その画像は画像メモリ３に入力・記憶される。

以上のようにして入力された画像は、撮像装置の特性お
よび撮像される物体の特性によりぼけている。前者はＴ
Ｖカメラに取付けられているレンズの収差、ピントのず
れ、光波の回折などの光学的特性に起因するぼけ、およ
び光電変換、Ａ／Ｄ変換を行った場合に高周波成分が減
衰してしまうという電気的特性に起因するぼけである。

一方、後者は霧の中の画像のように、撮像される物体自
身がぼけている場合である。

このぼけが画像に与える影響について次に説明する。

記憶されている画像においては、物体の種類によって反
射光強度が異なるので、物体の輪郭を境界にして画像の
濃度が変化している。

画像のうちで最もぼけの影響を受けるのが、この輪郭の
部分である。

今１画像（ｘ＋ｙ）におけるぼけのない真の濃度をｆ（
ｘｔｙ）、ぼけた場合の濃度をｇ（ｘ＋　ｙ）とすると
、ｆ（ｘｔｙ）とｇ（ｘ＋　ｙ）の関係は、画像がディ
ジタル化されている場合、 ｇ（ｘＬ　ｙ）＝ΣΣｆ（α、β）ｈ（ｘ−α、ｙ−β
）（１）β　α ΣΣｈ（α、β）＝１ α　β Ｘｐｙ＋α、βＥＩ（整数）、−ψ〈αく■、−ψ〈β
く■と表される。

（Ｒｏｓｅｎｆｅｌｄ、　Ａ、　ａｎｄ　Ｋａｋ、　Ａ
、Ｃ，（長尾真監訳）ディジタル画像処理、近代科学社
参照） ここで、ｈ（α、β）はぼけの特性を示す関数であり１
点広がり関数と呼ばれている。

ただし、加算は点広がり関数の影響が及ぶ範囲内に対し
て行うものとする。

このｈ（α、β）はぼけの種類によって異なる。

例えば、リモートセンシングにおける大気の擾乱の場合
には、ｈ（α、β）としてガウス分布、が用いられてい
る。

以下に、物体の輪郭を境界にして、画素の濃度がステッ
プ状に変化する場合において、ぼけ画像の例を具体的に
示す。

説明を簡単にするために、１次元に並んだ画素で構成さ
れる画像ｆ（ｘ）、ｇ（ｘ）と、１次元の広がりを有す
る点広がり関数ｈ（α）を用いることとする。

ぼけのない画像における各画素の濃度ｆ（ｘ）を第３図
の０印で、またｈ（α）によってぼけた画像の濃度ｇ　
（ｘ）を・印で示す。

ここで用いたｈ（α）は式（２）を１次元にしたちであ
る。

第３図ではσ＝１とした。

ここで、実線、破線はそれぞれ０印、・印を滑らかに結
んだものである。

なお、ＳＳは同じ濃度が数画素続くことを示している。

図より明らかなように１画像がぼけると輪が不明瞭にな
る。

このようにぼけた画像を鮮鋭化する方法として、フーリ
エ変換、ラプラシアンを用いる方法がある。

はじめに、フーリエ変換による方法について説明する（
前述の文献参照）。。

ｆ＊　ｇｙ　ｈに対してフーリエ変換を施し、それぞれ
のフーリエ変換Ｆ、Ｇ、Ｈを求める。

式（１）よりＦ、Ｇ、Ｈの関係は、 ａ　＝　Ｆ　Ｈ（４） となるので。

Ｆ　＝　Ｇ　／　Ｈ（５） よりＦを求める。そして、このＦに対してフーリエ逆変
換を施し、ぼけのない画像を得ようというものである。

この方法は、画像を鮮鋭化するのに非常に有効である。

しかし、フーリエ変換を行うのに必要な計算が膨大であ
る、ノイズも強調しやすい、という欠点があることの他
に、点広がり関数りが未知な場合には本質的に用いるこ
とができないという欠点がある。

次に、ラプラシアンによる方法について述べる（前述の
文献参照）。この方法は、点広がり関数が未知の場合に
有効であるとされている。

ぼけのモデルとして拡散過程を用いると、ぼけた画像ｇ
からそのラプラシアン２ｇを引くことによって画像を鮮
鋭化できることが示されている。

画像メモリに記憶された画像のように、ディジタル化さ
れた画像では、２ｇは ２ｇ（ｘｔ　ｙ）＝ｇ（ｘ＋Ｌ　ｙ）＋ｇ（ｘ−Ｌ　ｙ
）＋ｇ（ｘ、　ｙ＋１）＋ｇ（ｘ、　ｙ−１）−４ｇ（
ｘ＋　ｙ）　　（６）と近似される。従って、 ｇ（ｘ＋　ｙ）−２ｇ（ｘｔ　ｙ）＝５ｇ（ｘ、　ｙ）
−（ｇ（ｘ＋Ｌ　ｙ）＋ｇ（ｘ−１，ｙ）＋ｇ（ｘ、　
ｙ＋１）−ｇ（ｘ＋　ｙ−１））によって画像を鮮鋭化
するというものである。

ここでは、１次元の画像について考えているので。

式（６）を１次元にした ｇ　（ｘ）−２ｇ（ｘ）＝３ｇ（ｘ）−（ｇ（ｘ＋１）
＋ｇ（ｘ−１））　　（７）を用いることとする。

第３図において、ぼけた画像の濃度・印、およびとの濃
度に式（７）を適用した結果得られた濃度Δ印を合わせ
て第４図に示す。

破線、一点鎖線は、・印、Δ印を滑らかに結んだもので
ある。図より画像が鮮鋭化されていることがわかる。

しかし、輪郭、すなわち濃度が大きく変化する前後にお
いて、アンダーシュート、オーバーシュートを起こすと
いう欠点があることがわかる。

（発明の目的） 本発明の目的は、ぼけの原因となる点広がり関数が未知
である画像に対して、簡単なアルゴリズムによって鮮鋭
化が行える方法を提供することにある。

（発明の構成） （発明の特徴と従来の技術との差異） 本発明による画像の鮮鋭化方法は、第１画像メモリ内の
注目画像を点対称の中心位置にもつ複数の画素対のうち
で、濃度の差が最大になる画素対を検出する第１工程と
、第１工程で検出された画素対の濃度のうちで注目画素
に近い方の濃度を。

第１画像メモリにおける注目画素と同じ位置にある第２
画像メモリの画素の濃度として入力・記憶していく第２
工程とからなる２つの工程を、第１画像メモリを構成す
る全画素に対して行うものである。

従来の方法に比べ、ぼけ特性、すなわち１点広がり関数
が未知であっても、またオーバーシュートやアンダーシ
ュートを生じることなく、画像の鮮鋭化が行える点が異
なる。

（実施例） 以下、本発明の実施例について、１次元の画像メモリか
ら成る画像、２次元の画像メモリから成る画像の順に説
明する。

本発明による画像の鮮鋭化法をフローチャートにして第
１図（ａ）に、また、本発明を繰り返し用いる場合のフ
ローチャートを第１図（ｂ）に示す。

はじめに、１次元の画像メモリから成る画像に対し、本
発明の実施例を第５図から第７図を用いて説明する。

１次元の第１画像メモリ内の一つの注目画素に対する実
施例を示す。

第５図は、第１画像メモリの一部として、連続した３つ
の画素の位置と濃度との関係を示す。

図において、注目画素はＸ。であり、 画素Ｘ。−１＋　Ｘ　ｏ　＋　Ｘ　０４１におけるぼけ
画像の濃度は、ｇ（ｘｏ−ｉＬｇ（ｘｏＬｇ（ｘｏ＋１
）である。

本発明では、第１図（ａ）のフローチャートに示したよ
うに、第１工程として、第１画像メモリ内の注目画素を
点対象の中心位置にもつ画素対のうちで、濃度の差が最
大であるものを検出する。

よって、第５図のように、画像メモリが１次元の場合に
は、検出される画素対は注目画素の両側の画素Ｘ。−１
，ｘ、＋１となる。

第２工程として、第１工程で検出された画素対ｘｏ−１
，ｘ０＋１の濃度ｇ　（Ｘｏ−Ｉ　Ｌ　ｇ　（ｘｏ”　
１　）のうちで、注目画素の濃度ｇ（ｘｏ）に近い方を
第２画像メモリの画素ｘ０の濃度として入力・記憶する
。

そして、上述した２つの工程を第１画像メモリ内の全画
素に対して行う。

この方法を、第１画像メモリ内に記憶されている第３図
の・印の濃度ｇ　（ｘ）をもつ画像に対して適用する。

その結果得られた鮮鋭化画像、すなわち第２画像メモリ
内に入力・記憶された画像の濃度ｉ　（ｘ）を第６図に
０印で示す。

なお、第６図は第１画像メモリの濃度も重ねて表示して
いる。

また、実線は０印を滑らかに結んだものである。

第６図より、オーバーシュートやアンダーシュートを起
こすことなく、歯切れ良く鮮鋭化されていることがわか
る。

さらに、本発明を繰り返し用いることによって、一層の
鮮鋭化が行える。その方法は、第１図（ｂ）のフローチ
ャートに示したように、第２画像メモリ内にある第６図
の画像を第１画像メモリの画像として置換・記憶する。

そして、本発明を繰り返すというものである。

得られた画像の濃度ｊ　（ｘ）を第７図にＣ印で示す。

第７図は第６図と同様に、第１画像メモリの濃度１（ｘ
）と第２画像メモリの濃度ｊ　（ｘ）を重ねて表示して
いる。このｊ（ｘ）はｇ（ｘ）に対して本発明を２回繰
り返した結果であり、輪郭が完全に復元できていること
は明らかである。

このように、本発明を繰り返すことによって、より鮮鋭
化された画像が得られる。特に、第３図に示したように
、物体の輪郭を境界にして濃度がステップ状に変化する
ような場合には、ぼけのない画像を完全に復元できる。

次に、２次元の画像メモリから成る画像に対し。

本発明の実施例を第８図から第１３１ｉ！ｉ！Ｉを用い
て説明する。

２次元の第１画像メモリの一部として、注目画素とその
まｂりの画素について、位置と濃度との関係を第８図（
ａ）、（ｂ）に示す。

第８図（ａ）は各画素の濃度を整数値で示したものであ
り、第８図（ｂ）は濃度を高さにとって画像を３次元的
に表示したものである。

第１工程として、第９図に示すように、第１画像メモリ
内の注目画素（ｘａ＋　ｙａ）を点対称の中心位置にも
つ画素対、 （Ｘ６ｇ　ｙｏ”ｌ）と（ｘｏ　、　ｙ０＝　１：）　
。

（Ｘｏ”ｌｙ　ｙｏ”ｌ）と（ｘｏ−１ｔ　ｙｏ−ＩＬ
（Ｘｏ”ｌ＋　３’ｏ）と（Ｘｎ−１ｔ　ｙｏＬ（ｘｏ
”Ｌ　ｙａ−１）と（ｘｏ−ｉｔ　ｙｏ”ｌ）に対して
、それぞれ濃度の差 ｄｚ＝１ｇ（Ｘｏ＋　ｙｏ＋１）−ｇ（ｘｏ＋　ｙｏ−
ｉ）Ｉｔｄｚ＝１ｇ（ｘａ＋ｉ＋　ｙａ”ｌ）−ｇ（Ｘ
６−１ｓ　ｙｏ−１）Ｌｄ３＝ｌ　ｇ　（ｘ、＋１　ｔ
　ｙａ）−ｇ　（ｘｏ−’１　ｆ　ｙｏ）Ｌｄ４＝１ｇ
（Ｘｏ”ｌ＋　ｙｏ−１）−ｇ（ｘｏ−１＋　ｙａｌ）
１を求め、これらのｄ、、ｄ２．ｄ、、ｄ４のうちで最
大値を与える画素対を検出する。

第８図の画像に対して、実際にｄｌｌ　ｄ２ｆ　ｄ３ｔ
ｄ４を求めるとそれぞれ６０．３６．２１．７２となる
。

従って、ｄ４の画素対、すなわち画素（Ｘａ”ｌｙｙ　
ａ−１）と（ｘｏ−１ｔ　ｙｎ”ｌ）が検出されること
になる。

ここで、前にも述べたように、物体の輪郭部では輪郭を
境界として画素の濃度が変化する。

従って、全検出した画素対を結んだ方向は、物体の輪郭
と直交する方向と見ることができる。

第２工程として、第１工程で検出された画素対、すなわ
ち（ｘｎ÷１ｓＹｏ−１）とＣｘａ−１ｖ　ｙｏ”ｌ）
の濃度２１と９３のうちで、注目画素の濃度６５に近い
方の濃度９３を、第２画像メモリの画素（Ｘ　ｏ　ｔ　
Ｖ　ｏ　）の濃度として入力・記憶する。

記憶された濃度を０印で第８図に示す。

そして、上述した２つの工程を、第１画メモリ内の全画
素に対して行う。

この方法を２次元の画像メモリに記憶されてｂするぼけ
画像に適用し、それが鮮鋭化される様子を説明する。

第１０図（ａ）、（ｂ）にぼけのない画像を示す。

第１０図（ａ）は各画素の濃度ｆ（Ｘｙｙ）を整数値で
示したものであり、第１０図（ｂ）は濃度を高さにとっ
て画像を３次元的に表示したものである。

第１０図（ａ）において、口９口で囲われている画素の
濃度は全て１００．　Ｏである。

第１０図（ｂ）の実線は各画素の濃度を滑らかに結んだ
ものであるが、これ以後の図の実線についても同様であ
る。

第１０図から、ぼけた画像を作成するために用いた点広
がり関数ｈ（α、β）を第１１図（ａ）、（ｂ）に示す
。

第１１図（ａ）は各画素におけるｈ（α、β）の値であ
り、ｈ（α、β）＞Ｏのほとんど全ての範囲を示してい
る。

第１１図（ｂ）は第１１図（ａ）の値を３次元的に表示
したものである。ここでは、ｈ（α、β）として、式（
２）で表されるガウス分布を用いている。ただし、σ＝
０．９とした。

第１０図に示した画像と第１１図に示した点広がり関数
とを用いて、式（１）の上段の式よりぼけた画像を作成
した。

この画像を第１２図（ａ）、（ｂ）に示す。

第１０図の場合と同様、第１２図（ａ）は各画素におけ
る濃度ｇ（ｘ＋ｙ）を整数値で示したものであり、第１
２図（ｂ）はこの濃度を高さにとって３次元的に表示し
たものである。図より、輪郭部分においてぼけが生じて
いることがわかる。

第１２図に示したぼけた画像に対して、本発明を１回実
施した結果を第１３図（ａ）、（ｂ）に示す。

今までと同様、第１３図（ａ）には濃度ｉ（ｘ＋ｙ）、
第１３図（ｂ）には３次元表示を示している。

図より、本発明を用いることによって、オーバーシュー
トやアンダーシュートを起こすことなく、輪郭部の画素
間の濃度の差を２倍に拡大でき、十分に鮮鋭化されてい
ることが確認できた。

さらに、第１３図に対して本発明を繰り返すと、第１０
図に示したぼけのない画像となる。すなわち、ぼけた画
像に対し本発明を２回繰り返すことによって、輪郭が完
全に復元できている。

（発明の効果） 以上説明したように１本発明は第１画像メモリ内の注目
画素を点対象の中心位置にもつ画素対のうちで、濃度の
差が最大になるものを検出し、検出された画素対の濃度
のうちで注目画素に近い方の濃度を、第１画像メモリの
注目画素と同じ位置にある第２画像メモリの画素の濃度
として入力・記憶するというものである。

従って、従来の方法に比べ、点広がり関数が未知であっ
ても、また、オーバーシュートやアンダーシュートを生
じることなく、画像の鮮鋭化が行えるという利点がある
。

特に、物体の濃度がステップ状に変化するような場合に
は、本発明を繰り返し用いることによって、ぼけのない
画像を完全に復元できる利点がある。

【図面の簡単な説明】

第１図は本発明のフローチャートと本発明を繰り返し用
いる場合のフローチャートを示す図、第２図は画像が計
算機に入力・記憶される過程を説明するための図、 第３図はぼけのない画像とその画像に点広がり関数をか
けて作成したぼけ画像を示す図、第４図はラプラシアン
によって鮮鋭化した画像を示す図、 第５図は１次元の画像メモリから成る画像に対し本発明
の第２工程である画素対の検出工程を説明するための図
、 第６図は第３図のぼけ画像に対して本発明を実施した結
果を示す図、 第７図は第３図のぼけ画像に対して本発明を２回実施し
た結果を示す図、 第８図は２次元の画像メモリから成る画像に対し本発明
の詳細な説明するための図、 第９図は本発明の第１工程である画素対の検出工程を説
明するための図、 第１０図はぼけのない画像を示す図、 第１１図はぼけ画像を作成するための２次元点広がり関
数を示す図、 第１２図は第１０図と第１１図より作成したぼけ画像を
示す図、 第１３図は第１２図に対して本発明を実施した結果を示
す図である。 １　・・・ＴＶカメラ、　　２　・・・ディジタイザ、
３　・・・画像メモリ、　４　・・・計算機。 第５図 Ｘ□−ｌ　　　　　Ｘｏ　　　　　　　ｘＯ＋Ｉ× 第６図 第７図 第８図 （ｂ） 第９図 第１０図 （ａ） 第１ｏ図 （ｂ） 第１１図 第１２図 ス ρ 区　　　　　　　　　　　　　　　　　　　　　　；Ｎ
　巳 第１３図 （ａ）

Claims (1)

1. 【特許請求の範囲】 　第１画像メモリ内の注目画素を点対称の中心位置にも
   つ複数の画素対のうちで、濃度の差が最大になる画素対
   を検出する第１工程と、 第１工程で検出された画素対の濃度のうちで注目画素に
   近い方の濃度を、第１画像メモリにおける注目画素と同
   じ位置にある第２画像メモリの画素の濃度として入力・
   記憶していく第２工程と、から成る２つの工程を、第１
   画像メモリを構成する全画素に対して行うことを特徴と
   する画像の鮮鋭化法。