JPH0660180A - たたみこみ劣化画像ならびに信号の復元方法及び装置 - Google Patents

たたみこみ劣化画像ならびに信号の復元方法及び装置

Info

Publication number
JPH0660180A
JPH0660180A JP3258309A JP25830991A JPH0660180A JP H0660180 A JPH0660180 A JP H0660180A JP 3258309 A JP3258309 A JP 3258309A JP 25830991 A JP25830991 A JP 25830991A JP H0660180 A JPH0660180 A JP H0660180A
Authority
JP
Japan
Prior art keywords
signal
equation
impulse response
derivative
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3258309A
Other languages
English (en)
Inventor
Muralidhara Subbarao
ムラリダラ・スバラオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State University of New York SUNY
New York University NYU
Original Assignee
State University of New York SUNY
New York University NYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State University of New York SUNY, New York University NYU filed Critical State University of New York SUNY
Publication of JPH0660180A publication Critical patent/JPH0660180A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • G06F17/153Multidimensional correlation or convolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】 【目的】 ピンぼけ画像のようなたたみこみ劣化信号を
復元するための装置、方法の提供。 【構成】 劣化信号は、雑音が低減され、その各種導関
数が計算される。導関数のそれぞれに、対応する重みパ
ラメータが乗算されて重みつき導関数が得られる。重み
つき導関数は次いで合算され、復元された信号を得る。
重みつきパラメータは、これら自体ではたたみこみ核の
モーメントにもとづいて計算される。本発明に係る装置
は、雑音低減手段と、重みパラメータ計算手段と、乗算
手段と、そして合算手段とから成っている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、畳みこみ処理により劣
化された信号を復元する方法ならびに装置に関する。特
に、該方法は、また収束画像を得るために非収束画像を
復元するのに適している。該方法は、畳みこみに対する
新規な信号処理技法を用いる。
【0002】
【従来の技術】たたみこみ処理によって劣化された信号
の復元方法は信号処理における多くの領域に用途が見出
せる。例えば、画像処理において、目的物の不鮮明な画
像がその目的物の焦点の合った画像が得られるように復
元することが可能である。この焦点ぼけは、カメラ自体
の焦点合わせの誤り、カメラと対象物との間の相対運動
(カメラが振れるとか、対象物が動くとか)、光学系の
収差、及び航空画像ならびに人工衛星画像の場合の大気
の乱流などに起因する。
【0003】たたみこみ劣化信号を復元する方法は何れ
の次元数の信号に対しても同じである。例えば、該方法
は、1次元音声信号、2次元画像信号、3次元時間で変
動する画像信号(例えばテレビジョン画像シーケンス)
に対して同一である。従って、便宜のために、本発明の
方法は1次元信号について詳細な説明を先ず実施する。
2次元ならびに3次元の各信号に対する復元方法の一般
的説明はその後で簡単に説明する。
【0004】典型的信号劣化モデルには、たたみこみ処
理と雑音処理と双方に依る劣化が含まれる。図7はこの
モデルを示している。このモデルは1次元信号の場合で
あって下記の数式(1)により定義される。
【数1】
【0005】上記の数式において、tは時間に相当する
1次元独立変数、f(t)はオリジナル非不純化信号、
h(t)はインパルス応答関数に相当するたたみこみ
核、n(t)は付加的雑音、*はたたみこみ操作、そし
てg(t)は劣化信号をそれぞれ表わしている。インパ
ルス応答関数h(t)は次の数式(2)の条件を満足す
る。
【数2】 上記数式において、Aは常数(一般に1に等しい)であ
る。
【0006】信号復元の問題は不純化信号g(t)を与
えられているオリジナル信号f(t)、ならびに雑音n
(t)及びインパルス応答関数h(t)の双方に関する
ある種の重要な情報を評価することである。
【0007】時間領域内のたたみこみ操作はフーリエ領
域における乗算操作に対応する。従って、ωを用いてフ
ーリエ周波数変数を表わし、G(ω)、H(ω)、F
(ω)及びN(ω)によって、g(t)、h(t)、f
(t)及びn(t)のフーリエ変換をそれぞれ表わし、
数式(1)における信号劣化モデルは次の数式(3)の
ようにフーリエ領域内に書き込まれる。
【数3】
【0008】典型的信号復元問題に対する典型的解法は
2段階処理により行われる。図8はこの2段階処理を示
している。第1の段階は雑音低減段階であって、劣化し
た信号g(t)が、雑音低減フィルターに相当するたた
みこみフィルターを通される。雑音低減フィルターのイ
ンパルス応答関数は、l(t)で表わされ、そのフーリ
エ変換は、やはり雑音低減フィルターの変換関数として
のL(ω)で表わされる。雑音低減フィルターの出力は
1 (t)で表わされ、そのフーリエ変換はG1 (ω)
で表わされる。ここで、復元問題に対する典型的解法の
第1段階は次の数式に総括される。
【数4】
【0009】典型的解法の第2段階は逆フィルター段階
もしくはたたみこみ解除段階と呼ばれる。この段階にお
いては、雑音低減フィルターの出力g1 (t)は、たた
みこみ解除(deconvolution)フィルター
に相当するもう1つのたたみこみフィルターを通され
る。畳みこみフィルター解除のインパルス応答関数はm
(t)で表わされ、そのフーリエ変換はM(ω)で表わ
される。このフィルターの効果はたたみこみ核h(t)
をもった畳みこみから生じたオリジナル信号f(t)の
劣化を元通りにすることである。従って、たたみこみ解
除フィルターと言われる。フーリエ領域においては、M
(ω)はH(ω)の逆数である、すなわち次の数式
(5)で表わされる。
【数5】
【0010】 れる。ここで畳みこみ解除段階は次の数式のように総括
される。
【数6】
【0011】 られた見積りである。
【0012】信号復元に対するこの基本技術については
多くの変った種類がある。よく知られたものの1つの技
術は最小二乗フィルター法もしくはウィーナフィルター
法である。この手法では、雑音低減フィルターL(ω)
の特性は雑音対信号比で決まる。L(ω)は次の数式
(7)で与えられる。
【数7】 ここでΓ(ω)は信号対雑音出力密度比であり、次の数
式(8)で定義される。
【数8】
【0013】信号復元に対する典型的技術及び、上述の
基本技術に関する各種に相当する他の手法についての更
なる詳細については多くの文献に見出すことができる。
例えば、1982年版、Academic Press
社刊、A.Rosenfeld及びA.C.Kak著に
よる、第2版、“Digital PicturePr
ocessing”(「デジタル画像処理法」)中の、
第7章 Restration(復元法)参照。また、
1989年版、A.K.Jain及びPrentice
Hall著“Fundamentals of Di
gitalImage Processing”(「デ
ジタル画像処理法の基礎」)の第8章、“Image
Filtering and Restoratio
n”(「画像フィルター法及び復元法」)を参照。
【0014】上記にその概要を説明した典型的信号復元
技術は多くの著しい欠点をもっている。重要な欠点の1
つは、たたみこみ核h(t)の正確な形に対して極めて
敏感であり、従って、たたみこみ核h(t)に関する重
要な情報がたたみこみ解除フィルターを構成することが
要求される。前に説明したように、たたみこみ解除フィ
ルターの変換関数M(ω)はH(ω)から、M(ω)=
1/H(ω)のように決められる。多くの適用におい
て、関数H(ω)に関する充分な知識は、M(ω)によ
って規定されるたたみこみ解除フィルターを決定するた
めには用いられない。例えば、焦点をはずしたカメラ系
統の場合、たたみこみ核は極めて複雑な関数である。
(この問題点に関する論述については、1980年版、
Pergamon Press刊、M.Born及び
E.Wolf共著、“Principle of Op
tics”(「光学の原理」)の第8,8節参照。ま
た、1990年2月7日発行、NY11794−235
0、Stony Brook、ニューヨーク州立大学、
電気技術学部、Computor Vision La
boratory所属の本発明者により著わされた、T
echnical Report(技術報告書)90.
02.07、“On the depth infor
mation in the point sprea
d functionof a defocused
optical system”(焦点をずらした光学
系の点ひろがり関数における深さ情報について」)を参
照。従って、たたみこみ核に対する近似が用いられねば
ならないだろう。しかし、復元の出力がたたみこみ核の
正確な形状に対して極めて敏感であるので、このような
近似は高度に誤った結果を生ずるだろう。総括的に言う
と、この技術は、たたみこみ核h(t)の正確な形状を
無視するような明白な組織的な方法を提供はせず、モー
メントパラメータのようなたたみこみ核の汎用性をもっ
た統計的性質を用いる。
【0015】典型的復元技術の第2の重要な欠点はフー
リエ領域におけるたたみこみ解除フィルターの仕様と、
劣化信号のフーリエ変換を計算することによってこの方
法を実施する可能性にある。何れかの点ωにおける何れ
かの信号g(t)のフーリエ変換G(ω)でも、−∞<
t∞に対する全信号g(t)に依存する。従って、実際
問題として、窓操作を実施せねばならない。すなわち、
信号を有限間隔にある非零値をもつ窓関数を乗算し、信
号を復元する前にその信号のヒーリエ変換を計算する。
これがフーリエ変換G(ω)の望ましくないゆがみを導
く。その結果、
【0016】典型的復元技術のもう1つの欠点は信号の
フーリエ変換を計算する場合の高度な計算上の複雑性で
ある。典型的復元技術のもつ更なる欠点は、該技術を、
たたみこみ核h(t)が時間とともに徐々に変化するよ
うな場合に適用することが困難であるという点である。
この典型的技術を、雑音n(t)特性が時間と共に徐々
に変化するような場合に直接的に適用することもまたで
きない。
【0017】
【発明が解決しようとする課題】本発明の目的は、たた
みこみ核のモーメントのような汎用性をもった統計的性
質だけを用い、しかもたたみこみ核の正確な形状に関す
る情報を要求しない粗野な方法で、たたみこみ劣化信号
を復元する方法である。
【0018】本発明のもう1つの目的は、たたみこみ劣
化信号を復元する方法を提供するにあって、その方法で
は、復元の質を、たたみこみ核のモーメントのような、
たたみこみ核の汎用性のある性質の周囲に徐々に増すや
り方で情報を付加してゆくことによって改善することが
できる。
【0019】本発明のもう1つの目的は、何れの点であ
ってもその点における復元信号の値が、その点を含む小
さい間隔の中に存在する劣化信号のこれら復元された値
だけを用いて計算される、そのようなたたみこみ劣化信
号を復元する方法にある。
【0020】本発明の更に目的とするところは、たたみ
こみ核の特性、そしてまた雑音の特性が時間と共に徐々
に変化するそのような場合に容易に適用できる。そのよ
うなたたみこみ劣化信号の復元方法を提供するにある。
本発明のもう1つの目的は本発明に係る方法を実施する
ための、効率的な、簡単なしかも費用効果的な装置を提
供することである。
【0021】
【課題を解決するための手段】本発明は、たたみこみ核
によりオリジナル信号をたたみこんだ結果生じた劣化信
号を復元する方法を提供する。該たたみこみ核は、また
インパルス応答関数に属する。該インパルス応答関数
は、インパルス応答関数の汎用性のある性質を規定する
モーメイトパラメータのセットにより特徴づけられてい
る。本発明の方法は以下にその概要を示す段階を含んで
いる。
【0022】第1に、導関数信号のセットが劣化信号の
導関数を求めることによって算出される。次いで、イン
パルス応答関数のモーメントパラメータの値にもとづい
て、重みパラメータが、導関数信号のセットのそれぞれ
の要素に対応して算出される。次に、導関数信号のセッ
トの各要素がその対応する重みパラメータで乗算されて
重みつき導関数のセットを得る。最後に、重みつき導関
数のセットの少くとも2つの要素が相互に合算されて復
元信号を得る。かくして、オリジナル信号の推定が劣化
信号から得られる。
【0023】もしも劣化信号が雑音で劣化されると、そ
の時は、付加的雑音低減段階が、上記にその概要を説明
した復元方法に付加される。該劣化信号は導関数信号の
セットを計算することを進めるに先立って、雑音低減フ
ィルターを通すことができる。
【0024】もしも劣化信号が2次元画像(すなわち、
テレビジョンとかビデオ画像信号)であれば、上記の復
元方法はぼけた画像から焦点の合った画像を作るために
用いることができる。このぼけはビデオカメラの焦点合
わせの誤りとか、あるいはその他のたたみこみ劣化処理
に依存している。幾何光学的な焦点合わせの誤ったカメ
ラの場合、インパルス応答関数は、特定形状領域の内側
の常数であり、該領域の外側で零である。該領域の形状
は、倍率因子に対する場合を除いて、カメラの口径の形
状の領域と同じである。円形口径に対しては、インパル
ス応答関数はぼけた円と呼ばれ、しかもこの関数は図9
に示すような円筒形又はトーチカ形をしている。カメラ
のインパルス応答関数はまたカメラの点ひろがり関数と
呼ばれる。
【0025】本発明の方法はどんな次元数の信号でも復
元するために用いることができる。特に、1次元信号
(例えば音声信号)に対しても用いることが可能であ
る。本発明の方法は、アナログ信号にもデジタル信号に
も共に用いることができる。これら双方の信号の場合、
信号はその次元数を問わない。特に、この方法はアナロ
グ音声信号、デジタル音声信号、アナログ画像信号及び
デジタル画像信号を復元する上で有効である。
【0026】本発明に係る装置は以下の各項により構成
されている。すなわち、 (i)導関数信号のセットを得るための劣化信号の導関
数を計算するための微分手段と; (ii)インパルス応答関数のモーメントパラメータの
値を入力として取り、そしてこれらの値にもとづいて導
関数信号のセットの各要素に対応する重みパラメータを
計算するための重み計算手段と; (iii)導関数信号のセットの各要素にそれらに対応
する重みパラメータを乗算して重みつき導関数のセット
を得るための乗算手段と;そして、 (iv)重みつき導関数のセットの少くとも2つの要素
を合算して復元信号を得るための合算手段。
【0027】本発明の装置は電子機器を用いて実施する
ことができる。該電子機器は、アナログコンピュータ及
びフィルタのようなアナログ機器であってもよく、また
デジタルコンピュータ及びフィルタのようなデジタル機
器であってもよく、あるいは、アナログコンピュータ、
デジタルコンピュータ、アナログフィルタ、及びデジタ
ルフィルタを含むアナログ及びデジタル機器の組合わせ
であってもよい。本発明の装置は、復元信号に対する雑
音効果を低減するための雑音低減手段を付加的に含める
ことも可能である。
【0028】
【実施例】本発明の適用について説明するが、先ず1次
元信号について、そしてその後、2次元ならびに多次元
信号について説明する。全ての場合において、信号劣化
モデルは、前に説明した典型的劣化モデルと同一であ
る。
【0029】1.1次元信号の復元 本発明の好適実施態様において、劣化信号g(t)は雑
音効果の最小化のために、先ず雑音低減フィルタを通さ
れる。この雑音低減段階は前に説明したところの信号復
元のための典型的解法の最初の段階に等しい。この段階
は、信号の局所的平滑化に対する公知の技術の1つを用
いて実施される。その技術とは、例えば、米国メリーラ
ンド州20742−3411、College Par
k、メリーランド州立大学、Center for A
utomation Research発行のTech
nical Report CAR−TR−424に掲
載の、P.Mear 及び I.Weiss共著、“S
moothed Differentiation F
ilfers for Jmages”(「画像用平滑
化微分フィルター」)に述べられている技術である。雑
音低減段階は実際問題として、他と異る特別な段階であ
る必要はなく、この段階は他の段階と共に組合わされて
同時に実施される。従って、表記上の簡素化のために、
雑音低減段階の出力はまたg(t)と表わされる。雑音
低減段階の後の、信号g(t)の劣化は、インパルス応
答関数h(t)によるオリジナル信号f(t)のたたみ
こみにより支配的である。
【0030】この事実は次の方程式(9)によって表わ
される。
【数9】 ここで、*はたたみこみ操作を表わす。この同一方程式
は次の数式(10)で拡大して書くことができる。
【数10】
【0031】インパルス応答関数h(t)の第n項のモ
ーメントはhnで表わされしかも次の数式(11)で定
義される。
【数11】
【0032】オリジナル信号f(t)はテイラー級数の
中に拡大できる。点tを取り囲むf(t−r)のテーラ
級数拡大は次の数式(12)である。
【数12】 ここで
【数13】
【0033】数式(13)からのf(t−r)をたたみ
こみ方程式(10)に代入し、そして方程式(11)を
用いると、次の数式(14)を得る。
【数14】
【0034】上記方程式はたたみこみ数式として扱われ
る。この数式は、1つの関数h(t)のモーメント及び
他の関数f(t)の導関数により、2つの関数f(t)
とh(t)のたたみこみを表わしている。このたたみこ
み関係式は、1968年版(Robert E.Kre
iger Publishing Companyによ
って1986年に再印刷された)McGraw Hil
l Book Company発行のA.Papoul
is著“Systems and Transform
s with Applications in Op
tics”(光学における用途を伴ったシステムならび
に変換)の第31頁から引用される。(この数式はまた
1989年に、本発明の発明者によって独立に導出され
た。)
【0035】インパルス応答関数が時間限定されれば、
すなわち、ある定数Tに対するt>Tにおいて、|h
(t)|=0 であるならば、たたみこみ数式は迅速に
収れんするように表わすことができる。これは真に多く
の実用上(例えば焦点合わせを誤ったカメラ)の場合に
生ずる。従って、たたみこみ数式(すなわち、方程式
(14))の右辺はあるNに対するオリジナル信号f
(t)の(N+1)番目及びそれより高次の導関数を否
定することによって切取ることができる。すなわち、n
>Nに対する近似、fn (x)=0 を用いることがで
きる。この近似法により、このたたみこみ数式は次の数
式で表わせる。
【数15】 ここでg0 =g(t)。切捨てたたみこみ方程式(1
5)は次の形で表わすことができる。
【数16】
【0036】上式の各項を並べかえて次式を得る。
【数17】 ここで、f0 =f(x) である。
【0037】方程式(17)の何れかの辺のm次導関数
をとると、そしてm+n>Nに対してfm+n =0 とす
ると、次式を得る。
【数18】
【数19】
【0038】本発明のねらいは劣化信号g(t)からの
方程式(17)におけるオリジナル信号f0 =f(x)
を推定することである。
【0039】方程式(18)は劣化信号g(t)のm次
導関数によるオリジナル信号f(t)のm次導関数
m 、及びオリジナル信号f(t)の(m+1)次及び
これ以上高次の導関数fm+n を表わす。従って、方程式
(18)は方程式(17)のfnの項の代入に使える。
得た方程式において、fm+n の項は、再び、f(t)の
(m+n+1)次及びそれより高次の導関数を含む式で
置換できる。再帰的方法(常に、n>Nに対してfn
0とする)によるこの代入手法を実施することによっ
て、方程式(17)の右辺はg(t)およびg(t)の
導関数によってのみ表わすことができる。最終的に得ら
れた式では、各項は並べかえられて次の形の数式(2
0)を得ている。
【数20】 ここで、n=0,1,……Nに対するwn は重みパラメ
ータであってモーメントパラメータhn に依存する。従
って、本発明の方法は先ず、n=0,1……Nに対する
導関数を計算し、次いで、n=0,1……Nに対するモ
ーメントパラメータhn を用いて重みパラメータwn
全てを計算し、そして、方程式(20)の右辺を計算す
る。この方法を実施する装置が図1に示してある。
【0040】方程式(20)は従来技術では知られてい
ない新らしいたたみこみ解除数式である。劣化信号の導
関数gn は局所的操作により計算可能であり、すなわ
ち、点tにおける導関数はεが極めて小さい正の数であ
る、(t−ε,t+ε)のようなtの周りの小さい間隔
内の信号g(t)の値を用いて計算できるのであって、
この場合、従来技術におけるように極めて大きい間隔に
おける信号g(t)の値を特に知る必要はないのであっ
て、それは従来技術はフーリエ領域におけるたたみこみ
解除にもとづいているからである。上記のたたみこみ解
除式により必要とされる操作の局所的性質が原因で、計
算量はより少ない。上記のたたみこみ解除式のもつもう
1つの重要な利点は、重みwn はインパルス応答関数の
モーメントhn を包有する代数式によって与えられる。
モーメントhn はインパルス応答関数の汎用性のある、
すなわち全体的特性を規定する。実際問題として、かか
る汎用的性質はインパルス応答関数の実際の形状よりも
一層あらっぽく推定できる。これに対して、従来技術で
はインパルス応答関数の実際の形状についての知識を要
求する。インパルス応答関数の形状に関する正確な知識
は実際問題として得ることはむつかしい。
【0041】2.実例 本発明の方法は簡単な実例で図解しよう。f(t)の3
次ならびにそれ以上高次の導関数を全て零となるように
求め、ここにN=2を得る。従って方程式(17)にN
=2をセットして次の数式(21)を得る。
【数21】
【0042】方程式(18)から、方程式(21)の右
辺に現われるf1 及びf2 に対する次の方程式(2
2),(23)を得る。
【数22】
【数23】
【0043】方程式(23)のf2 を方程式(22)に
代入して各々は次の数式を得る。
【数24】
【0044】方程式(24)と(23)とのそれぞれf
1 とf2 とを方程式(21)に代入して、次の数式を得
る。
【数25】
【0045】方程式(25)の各項を並べかえると、次
の数式を得る。
【数26】 ここで、次の数式を条件として用いる。
【数27】
【0046】方程式(26)は、N=2の場合、方程式
(20)に等しい。かくして、方程式(29)におい
て、オリジナル信号f0 =f(t)の推定は、劣化信号
の導関数の重みつき合計を求めることによって得られて
いることがわかる。重みはインパルス応答関数h(t)
のモーメントに依存する。これらのモーメントは既知で
ある。従って、重みは計算できる。従って、この実例の
場合、信号復元の方法は以下のように総括される。
【0047】1.雑音効果を低減するため劣化信号を雑
音低減フィルタを通す。
【0048】2.劣化信号g(t)の、零次(g0 )、
1次(g1 )、及び2次(g2 )の各導関数を計算して
導関数信号のセット{g0 ,g1 ,g2 }を得る、ここ
で、g0 =g(t)、g1 =dg(t)/dt、そして
2 =d2 g(t)/dt2である。
【0049】3.モーメントパラメータのセット
{h0 ,h1 ,h2 }を用いて、導関数信号セット{g
0 ,g1 ,g2 }の各モーメントに対応する重みパラメ
ータを算出する。すなわち、g0 に対応するw0 ,g1
に対応するw1 そしてg2 に対応するw2 を計算する、
ここで、w0 =1/h0 、w1 =h1 /h0 2、そしてw
2 =(h1 2/h0 3−1/2・h2 /h0 2)である。
【0050】4.導関数信号のセット{g0 ,g1 ,g
2 }の各要素を、それらに対応する重みパラメータを乗
算する。すなわち、g0 にw0 を、g1 にw1 を、そし
てg2 にw2 をそれぞれ掛け算して、重みつき導関数の
セット、{w0 0 ,w1 1 ,w2 2 }を得る。
【0051】5.重みつき導関数のセットの内の少くと
も2つの要素を合算すなわち加え合わせて、オリジナル
信号f0 =f(t)の推定である復元信号を得る。例え
ば、次の数式で表わされる。
【数28】
【0052】方程式(28)を実施する装置については
図2に示してある。この装置は図1に示す一般的な装置
のうち、特殊な場合である。この装置は雑音低減手段、
微分手段、合算手段及び重み計算手段から成っている。
この装置は電子回路構成を用いて実施される。特に、ア
ナログコンピュータ、あるいはデジタルコンピュータ、
あるいはアナログ及びデジタルコンピュータの組合わせ
たコンピュータを用いて実施できる。図3はアナログ電
子回路構成を用いて実施される単一微分ユニットを示
す。図4もまた単一微分ユニットを示すがデジタル電子
回路構成を用いて実施される。図1の微分手段はこのよ
うな多くの微分ユニットから成っている。
【0053】たたみこみ劣化の1つの重要な種類は、た
たみこみ核が原点周囲に対称的である場合であり、すな
わち、h(t)=h(−t)である。この場合、h
(t)の全ての奇数モーメントが零であるということ、
すなわち、i=0,1,2……に対して、h2i+1=0で
あることを示すことができる。従って、計算量が相当程
度低減する。たたみこみ劣化のもう1つ別の種類は、た
たみこみ核h(t)が次式で表わす条件を満足する場合
である。
【数29】 この場合は、また計算量のいくらかの低減があろう。
【0054】重要なたたみこみ核の1つは次の数式によ
って定義される移動平均核である。
【数30】 ここで
【数31】 この場合、h(t)のモーメントは次の数式(32)で
あることを示すことができる。
【数32】
【0055】さて、重要な、劣化信号の第5次までの導
関数(すなわち、方程式(16)及び(17)における
N=5)のみについて考察すると、復元信号は次の数式
(33)で示すことができる。
【数33】
【0056】上記の数式は均一な運動のぼけによって劣
化した画像を復元するのに用いることができる。例え
ば、g(x,y)を、写真撮影カメラの光軸に直角に動
く対象物(例えば車)を写真撮影することによって得ら
れる2次元画像とする。汎用性を損うことなく、画像の
x軸は対象物の運動方向に沿って採ることができる。対
象物は運動しているので、写真フィルム上の対象物の画
像はまた、シャッタが開かれフィルムが露光されている
間は運動している。
【0057】フィルム上のこの対象物の画像の運動は、
写真における、いわゆる運動ぼけを起す。Tが露光時間
中に対象物の画像がフィルム上を運動した距離とする
と、ぼけ画像、g(x,y)とぼけていない画像、f
(x,y)との間の関係は、次の数式(34)によって
与えられるたたみこみ劣化として表わすことができる。
【数34】 ここで
【数35】
【0058】ここで、たたみこみ核h(x,y)は、方
程式(35)により、xにのみ依存しyには依存しな
い。従って、ぼけ画像g(x,y)は、xに関するg
(x,y)の部分導関数の重みつき合計を採ってぼけて
いない画像f(x,y)の推定を得るように復元するこ
とができる。特に、xについての、g(x,y)の第6
次ならびにそれ以上高次の部分導関数が全て否定される
と、方程式(33)に極めて似ている復元のための次の
数式(36)が得られる。
【数36】
【0059】重要なもう1つのたたみこみ核は次の数式
(37)で定義されるガウスの核である。
【数37】 この場合は、h(t)のモーメントは次の数式(38)
であることを示すことができる。
【数38】
【0060】再び、重要である劣化信号g(t)の第5
次までの導関数だけを考えると、(すなわち、方程式
(16)と(17)におけるN=5)、復元信号は次の
数式(39)であると示すことができる。
【数39】
【0061】次にのべる考察が上記の実例からなされ
る。劣化信号の復元値はパラメータNの選択に依存して
いる。典型的な値は多分2と4の間であろう。大方の場
合、6以下の値で充分満足である。Nに対する最適値
は、根底にある信号f(t)の性質、すなわちその帯域
幅、ならびに劣化信号g(t)のもつ雑音量によっても
決まる。何れの点tにおいても復元信号の値は、tの周
りの劣化信号g(t)の局所特性(すなわち導関数)
と、インパルス応答関数h(t)の汎用特性(すなわち
モーメント)とに依存する。従って、本発明の方法は、
たたみこみ核h(t)が時間と共に漸次変化する場合に
適用できる。これは、重みパラメータwn の計算の中に
用いられるモーメントパラメータhn を時間とともに漸
次変えることによって達成される。
【0062】本発明の方法において信号を復元する上で
必要な最高次のモーメントはhN である。Nの値は、も
っと高い次数のモーメントの形でたたみこみ核h(t)
の周囲にもっと多くの情報が利用できるようになるとき
に増すことができる。Nの増大と、劣化信号g(t)の
雑音対信号比の改良により、復元信号の質が改良され
る。
【0063】時間と共にある雑音特性の漸次変化は雑音
低減フィルタの特性を対応的に変えることによって処置
できる。
【0064】3.2次元信号の復元 本発明の方法は、焦点の合っていないカメラ系統で生じ
たぼけ画像のような2次元たたみこみ劣化信号を復元す
るのに用いることができる。便宜のために2次元信号を
画像に相当させて扱うことをする。
【0065】たたみこみ劣化画像は、g(x,y)で表
わされ、ここでxとyとは独立変数であり、これらの変
数は共に、デカルト座標系における点を規定する。たた
みこみ核はh(x,y)で表わされ、オリジナルの純正
な画像はf(x,y)で表わされる。従って、次の数式
(40)を持つ。
【数40】
【0066】次の表記法は、g(x,y)、f(x,
y)の部分導関数、ならびにh(x,y)のモーメント
を表わすために用いられよう。
【数41】
【数42】
【数43】
【0067】上記の表記法を用いて、次の数式(44)
で示すたたみこみ数式が2次元の場合として導出され
る。
【数44】
【数45】
【0068】この数式は方程式(14)によって与えら
れる1次元たたみこみ数式を導出する方法に極めて似て
いる方法により導出することができる。従って、この微
分はここではなされない。
【0069】Nより高次元のf(x,y)の全ての部分
導関数を零にとり、すなわち、次の数式(46)とな
す。
【数46】
【0070】2次元たたみこみ数式は次の数式(47)
のように書くことができる。
【数47】
【0071】この数式(47)から、1次元の場合に対
する方法に従い、次の数式(48)を導出する。
【数48】 上記数式(48)は、m=0,1,2,……及びn=
0,1,2,……,に対するもので、(m=n=0)に
対するものではない。
【0072】さて、1次元信号の場合におけるように、
方程式(48)は次の数式(49)で表す方程式を導出
するのに用いることができる。
【数49】
【0073】上記数式(49)は1次元の場合の方程式
(20)に同じである。上記方程式においては、k=
0,1,2,……N に対するwi,k-i ,i=0,1,
2,……,kはモーメントパラメータhi,k-i に依存す
る重みパラメータである。従って、本発明の方法は、先
ず、劣化信号g(x,y)の導関数gi,k-i を計算し、
次いで、モーメントパラメータhi,k-i 、ここでk=
0,1,2,……N に対して、i=0,1,2,…
…,k,を用いて全ての重みパラメータ、wi,k-i を計
算し、そして、方程式(49)の右辺を計算することか
ら成っている。この数式の適用は実施例と共に図示して
ある。
【0074】3.1.実例 2次元より高い次元の、f(x,y)の全ての部分導関
数を零となるようにし、方程式(48)においてN=2
を得る。従って次の数式(50)を得る。
【数50】 ここで
【数51】
【数52】
【数53】
【数54】
【数55】
【0075】数式(51)、(52)、(53)、(5
4)及び(55)のf0,2 ,f1,1,f2,0 ,f0,1
1,0 をそれぞれ方程式(50)に代入して各項を整理
して次の数式(56)を得る。
【数56】 ここで
【数57】
【数58】
【数59】
【数60】
【数61】
【数62】
【0076】数式(56)ないし(62)において、考
察したことは、2次元たたみこみ劣化信号は、重みがた
たみこみ核のモーメントに依存している劣化信号の部分
導関数の重みつき合計を用いることによって復元できる
ということである。この復元構成を実施する装置につい
ては図5に示してある。
【0077】3.2.実例 重要な特殊な適用の1つは焦点ぼけカメラによるぼけ画
像を復元することである。この場合、たたみこみ核は次
の数式(63)で表わされる。
【数63】
【0078】この核(零空間)は図9に図示してある。
ここでは、たたみこみ核h(x,y)は、原点に中心を
もち、半径がΔの円形領域内側に1/πΔ2 の一定値を
もつ。この核は時に円筒形すなわちトーチカの形状をし
た核として扱われる。この核は原点の周囲に対称図形を
もつ、すなわち、これは円形に対称図形である。円形対
称のいかなる関数、h1 (x,y)に対しても、この関
数の全ての奇数モーメントは零であるということを示す
ことができる、すなわち次の数式(64)となる。
【数64】
【0079】従って、方程式(63)におけるh(x,
y)の全ての奇数モーメントは零である。従って、もし
mが奇数、あるいはnが奇数であれば、hm,n =0であ
る。偶数モーメントに対しては、次の数式(65)で表
わすことができる。
【数65】
【0080】5より大きい次元数をもつ、f(x,y)
の全ての部分導関数を零にして、すなわち、m+n>5
に対して、fm,n =0とし、次の数式(66)で表わさ
れる復元数式が導出される。
【数66】 ここで
【数67】
【0081】重要なもう1つの場合は、たたみこみ核が
次の数式で与えられる2次元ガウス形核である。
【数68】
【0082】この核はまた円形対称である。従って、も
しmが奇数かもしくはnが奇数(あるいはmもnも共に
奇数)であれば、hm,n =0である。核の偶数モーメン
トは次の数式(69)で与えられる。
【数69】
【0083】4.多次元信号の復元 前に説明したように、本発明の方法はどんな次元数の信
号でも復元するのに使うことができる。ここでは、nを
正の整数として、n次元の信号に対する復元方法を簡略
に総合的に述べよう。便宜上、表記法xi はn個の変数
(x1 ,x2 ,……xn )を表わすのに用いられる。例
えば、f(xi )はn個の変数の関数f、すなわち、f
(x1 ,x2 ,……,xn )を表わす。たたみこみ劣化
信号は、g(xi )で表わされ、たたみこみ核は、h
(xi )で表わされる。そしてオリジナルの純正信号
は、f(xi )で表わされる。g(xi )の部分導関数
は次の数式(70)で表わされる。
【数70】 ここでは、k=1,2,……pに対して、ik =1,
2,……nである。同様な表記法が、f(xi )の部分
導関数にも用いられる。
【0084】たたみこみ核のモーメントは次の数式(7
1)で表わされる。
【数71】 ここでは、k=1,2,……pに対して、ik =1,
2,……nである。
【0085】合計に対するアインシュタインの表記法
を、用いることが可能で、(すなわち、合計は繰返し指
標についての意味をもっている)、次の数式(72)で
表わされるように、点xi の周囲のf(xi −αi )の
テイラー級数展開を表わす。
【数72】
【0086】Nより高次元のf(xi )の全ての部分導
関数を零とし、すなわち、p>Nに対してfi1,i2 ……
ip=0とし、次の数式(73),(74)が導出され
る。
【数73】
【数74】
【0087】方程式(74)は、g(xi )の部分導関
数のためにのみ、f(xi )を表わすための反復法でも
って、方程式(73)のf(xi )の部分導関数に対す
る代入のために用いることができる。結果として得られ
る方程式は次の数式(75)の形をとる。
【数75】
【0088】ここで、wi1,i2 ……ik は重みパラメー
タであって、この重みパラメータはモーメントパラメー
タ、hi1,i2 ……ik に依存する。上記方程式は再び、
g(xi )の部分導関数の重みつき合計として、オリジ
ナル信号f(xi )を表わし、この場合、これらの重み
はたたみこみ核h(xi )のモーメントに依存する。従
って、この場合の方法と装置とは、1次元ならびに2次
元信号の場合と同じである。この場合の装置については
図6に示してある。
【0089】たたみこみ劣化信号の復元のための方法と
装置について説明した。1次元ならびに2次元信号に対
する本発明の適用について実例を用いて説明した。
【0090】本報告における方法、装置及び用途につい
ての説明には多くの特性を含んでいるが、これらの特性
は本発明の範囲に関する制限条件として解釈すべきでは
なく、むしろ本発明の好適実施態様の実施例として解釈
すべきである。本明細書中に開示されている本発明の更
に改造や拡大については本発明の関連する同業技術分野
の人達にとっては当然起ることであるし、全てそのよう
な改造については添付の特許請求の範囲及びそれと同等
な内容によって定義されるところの本発明の範囲及び思
想の中に入るものと考えられる。
【図面の簡単な説明】
【図1】一般的な場合における1次元たたみこみ劣化信
号を復元するための方法と装置を示す概略図。
【図2】1次元たたみこみ劣化信号を復元するための方
法と装置の特定の実例を示す図。
【図3】電子回路構成により実施されるアナログ微分ユ
ニットを示す図。
【図4】デジタル微分ユニットを示す図。
【図5】2次元信号に対する本発明の復元計画実施の特
定の実例を示す図。
【図6】多次元たたみこみ劣化信号を復元するための方
法及び装置を示すブロック図。
【図7】典型的信号劣化モデルを示すブロック図。
【図8】典型的信号復元問題に対する典型的解法を示す
図。
【図9】円形口径をもった、焦点合わせを誤ったカメラ
のインパルス応答関数を示す図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ムラリダラ・スバラオ アメリカ合衆国ニューヨーク州11776− 2927,ポート・ジェファーソン・ステーシ ョン,ユニバーシティ・ドライブ 23

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 劣化信号を復元する方法であって、前記
    劣化信号は、オリジナル信号をインパルス応答関数によ
    って巻込んだ結果生じたものであり、前記インパルス応
    答関数はモーメントパラメータのセットにより特徴づけ
    られており、前記方法は: (a)前記劣化信号を微分器のセットに提供し、前記微
    分器は出力として、前記劣化信号に応答し且つそれに対
    応して微分信号のセットを提供し、 (b)モーメントパラメータの前記セットを重み計算手
    段に供給し、前記重み計算手段は出力として重みパラメ
    ータのセットを提供し、それぞれのパラメータは導関数
    信号の前記セットの1つに対応し、 (c)前記重みパラメータと導関数信号の前記セットと
    を乗算手段に送信して導関数信号の前記セットと対応す
    る重みパラメータとを乗算し、かくして重みつき導関数
    信号のセットが出力として応答する乗算手段を提供さ
    れ、そして、 (d)重みつき導関数信号の前記セットを合算手段に供
    給して重みつき導関数信号の前記セットの少くとも2つ
    の信号を合計し、かくして、前記オリジナル信号が出力
    として前記合算手段により発生される、これらの段階か
    ら成ることを特徴とする方法。
  2. 【請求項2】 前記劣化信号が、段階(a)から(d)
    にもとづく処理を更に実施するのに先立って、雑音低減
    フィルターを先ず通過させられることを特徴とする請求
    項1に記載の方法。
  3. 【請求項3】 前記劣化信号が2次元画像であることを
    特徴とする請求項1に記載の方法。
  4. 【請求項4】 前記インパルス応答関数はガウス関数で
    あることを特徴とする請求項1に記載の方法。
  5. 【請求項5】 前記インパルス応答関数は特定形状領域
    の内側の常数であり、そして前記領域の外側で零である
    ことを特徴とする請求項1に記載の方法。
  6. 【請求項6】 前記劣化信号は1次元信号であることを
    特徴とする請求項1に記載の方法。
  7. 【請求項7】 前記劣化信号はデジタル信号であること
    を特徴とする請求項1に記載の方法。
  8. 【請求項8】 前記インパルス応答関数が2次元円筒状
    もしくはトーチカ形状関数であり、該関数は円形領域の
    内側では常数でありそして前記円形領域の外側では零で
    あることを特徴とする請求項3に記載の方法。
  9. 【請求項9】 前記2次元画像がデジタル画像であるこ
    とを特徴とする請求項3に記載の方法。
  10. 【請求項10】 劣化信号を復元する装置であって、前
    記劣化信号はオリジナル信号をインパルス応答関数によ
    って巻込んだ結果生じたものであり、前記インパルス応
    答関数はモーメントパラメータのセットにより特徴づけ
    られており、前記装置は: (a)導関数信号のセットを得るために前記劣化信号の
    導関数を算出する微分手段と; (b)モーメントパラメータの前記セットを入力として
    とり、そして導関数信号の前記セットのそれぞれの要素
    に対応する重みパラメータを算出するための重み計算手
    段と; (c)導関数信号の前記セットのそれぞれの要素に対応
    する重みパラメータを乗算して重みつき導関数のセット
    を得るための乗算手段と;そして (d)復元信号をうるために重みつき導関数の前記セッ
    トの少くとも2つの要素を合算するための合算手段とを
    備えることを特徴とする装置。
  11. 【請求項11】 計算手段が電子式デジタル装置である
    ことを特徴とする請求項10に記載の装置。
  12. 【請求項12】 雑音低減手段が更に含まれて成ること
    を特徴とする請求項10に記載の装置。
JP3258309A 1990-07-03 1991-07-03 たたみこみ劣化画像ならびに信号の復元方法及び装置 Pending JPH0660180A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US54828790A 1990-07-03 1990-07-03
US548287 1990-07-03

Publications (1)

Publication Number Publication Date
JPH0660180A true JPH0660180A (ja) 1994-03-04

Family

ID=24188180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3258309A Pending JPH0660180A (ja) 1990-07-03 1991-07-03 たたみこみ劣化画像ならびに信号の復元方法及び装置

Country Status (3)

Country Link
EP (1) EP0466252A3 (ja)
JP (1) JPH0660180A (ja)
CA (1) CA2046073A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014505308A (ja) * 2011-01-28 2014-02-27 エレクトリシテ・ドゥ・フランス 液体媒体中の乱流の影響を含む画像データの処理

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184675A1 (en) * 2002-12-31 2004-09-23 Brown Carl S. Deconvolution for the reduction of blurring induced by internal reflections
WO2005031645A1 (en) * 2003-10-02 2005-04-07 Commonwealth Scientific And Industrial Research Organisation Enhancement of spatial resolution of imaging systems by means of defocus
FR2864299B1 (fr) * 2003-12-19 2006-06-02 Ge Med Sys Global Tech Co Llc Procede optimise de traitement d'images radiologiques
US7991240B2 (en) 2007-09-17 2011-08-02 Aptina Imaging Corporation Methods, systems and apparatuses for modeling optical images
CN108537746B (zh) * 2018-03-21 2021-09-21 华南理工大学 一种基于深度卷积网络的模糊可变图像盲复原方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641259A (en) * 1984-01-23 1987-02-03 The Board Of Trustees Of The Leland Stanford Junior University Adaptive signal processing array with suppession of coherent and non-coherent interferring signals

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014505308A (ja) * 2011-01-28 2014-02-27 エレクトリシテ・ドゥ・フランス 液体媒体中の乱流の影響を含む画像データの処理
US9749592B2 (en) 2011-01-28 2017-08-29 Electricite De France Processing of image data comprising effects of turbulence in a liquid medium

Also Published As

Publication number Publication date
EP0466252A3 (en) 1995-12-27
CA2046073A1 (en) 1992-01-04
EP0466252A2 (en) 1992-01-15

Similar Documents

Publication Publication Date Title
Kundur et al. Blind image deconvolution revisited
Biemond et al. Iterative methods for image deblurring
Kundur et al. Blind image deconvolution
Bronstein et al. Blind deconvolution of images using optimal sparse representations
JPH06245112A (ja) ノイズの多いぼやけた画像列をマルチフレームウィーナ回復するための方法
Kaufman et al. Survey of estimation techniques in image restoration
Kundur et al. Blind image restoration via recursive filtering using deterministic constraints
Reeves Image restoration: fundamentals of image restoration
JPH0660180A (ja) たたみこみ劣化画像ならびに信号の復元方法及び装置
WO2007059795A1 (en) Method and apparatus for enhancing signals with multiscale grouping bandelets
Yoshida et al. Parameter estimation of uniform image blur using dct
Pan et al. Fractional directional derivative and identification of blur parameters of motion-blurred image
Gulat et al. Remote sensing image restoration using various techniques: A review
Stern et al. Restoration and resolution enhancement of a single image from a vibration-distorted image sequence
Belhaj et al. Blind image deconvolution via Hankel based method for computing the GCD of polynomials
Kundur et al. A novel recursive filtering method for blind image restoration
JP2004530206A (ja) 二次元ピラミッド・フィルタ・アーキテクチャ
Katsaggelos et al. Simultaneous blur identification and image restoration using the EM algorithm
Lam et al. Iterative blind image deconvolution in space and frequency domains
Subbarao Spatial-domain convolution/deconvolution transform
Grosu et al. Reinforced Hybrid Wiener Deconvolutional-Convolutional Autoencoders Based Image Deblurring
Tekalp et al. Identification of image and blur parameters for the restoration of noncausal blurs
Yu et al. H/sub/spl infin//deconvolution filter design and its application in image restoration
Almansa et al. Deblurring of irregularly sampled images by TV regularization in a spline space
Chopade et al. Multiframe image superresolution based on cepstral analysis