JP4568730B2 - 劣化情報復元方法と復元装置 - Google Patents
劣化情報復元方法と復元装置 Download PDFInfo
- Publication number
- JP4568730B2 JP4568730B2 JP2006540969A JP2006540969A JP4568730B2 JP 4568730 B2 JP4568730 B2 JP 4568730B2 JP 2006540969 A JP2006540969 A JP 2006540969A JP 2006540969 A JP2006540969 A JP 2006540969A JP 4568730 B2 JP4568730 B2 JP 4568730B2
- Authority
- JP
- Japan
- Prior art keywords
- function
- distribution
- original image
- estimated
- estimated distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 130
- 230000015556 catabolic process Effects 0.000 title claims description 15
- 238000006731 degradation reaction Methods 0.000 title claims description 15
- 238000009826 distribution Methods 0.000 claims abstract description 524
- 238000012546 transfer Methods 0.000 claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 32
- 230000003595 spectral effect Effects 0.000 claims description 28
- 230000001131 transforming effect Effects 0.000 claims description 20
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000003252 repetitive effect Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 abstract description 61
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000004044 response Effects 0.000 description 63
- 230000005540 biological transmission Effects 0.000 description 23
- 230000006866 deterioration Effects 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 229920001222 biopolymer Polymers 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
Description
Richardson−Lucyアルゴリズムを用いる方法では、画像における光の結像を一つの事象として捉え、確率統計の技術分野で用いられている手法を用いて、原画像を復元する。Richardson−Lucyアルゴリズムを用いる方法では、原画像における照度の分布に関して、その分布を正規化して、原画像における光の結像という事象の確率密度関数の分布として捉える。また劣化画像における照度の分布に関して、その分布を正規化して、劣化画像における光の結像という事象の確率密度関数の分布として捉える。上記のように考えると、光学系の伝達特性である点像強度分布関数(PSF;Point Spread Function)は、原画像に光の点が結像しているという条件の下で劣化画像に光が結像する確率の分布を示す、条件付確率の確率密度関数の分布として捉えることができる。Richardson−Lucyアルゴリズムを用いる方法では、劣化画像の分布とPSFの分布のそれぞれを用いて、Bayesの理論に基づき、劣化画像の分布を実現する原画像の分布のうちで最大に尤もらしい分布を、反復計算によって推定する。PSFの分布は、例えば光学系のパラメータから計算によって算出することもできるし、実際に点像を伝達した場合の画像の分布を実験より求めて算出することもできる。
上記のRichardson−Lucyアルゴリズムを用いる方法は劣化した画像を復元する方法であるが、同様の方法を用いることによって、例えば電位の時間履歴といった他の種類の情報についても、劣化後の情報から原情報を復元することが可能である。
W.H.リチャードソン(W. H. Richardson),「ベイズ理論に基づく画像復元の反復計算方法」("Bayesian-based iterative method of image restoration"),アメリカ光学会誌(Journal of Optical Society of America),(米国),1972年,62巻,p55−59 L.B.ルーシー(L. B. Lucy),「観測される分布を修正する反復計算手法」("An iterative technique for the rectification of observed distributions"),アストロノミカル・ジャーナル(Astronomical Journal),(米国),1974年,79巻,p745−754
しかしながら、光学系の伝達特性を正確に評価することが困難な場合がある。光学系の伝達特性は、レンズの開口数、照明波長、収差、デフォーカス等のパラメータに基づいて算出される。これらのパラメータのうち幾つかが不明な場合や、幾つかが不正確な場合には、算出される光学系の伝達特性は不正確なものとなってしまう。このように光学系の伝達特性が不正確な場合には、上述したような従来の画像復元方法を用いて正確に原画像を復元することはできない。原画像の復元に先立ち光学系の伝達特性の正確な評価が必要となる。
また、光学系の伝達特性がまったく判明せず、劣化画像のみに基づいて原画像を復元したい場合がある。このような場合、従来の画像復元方法を用いることができず、原画像を復元することができなかった。
また本発明では劣化情報の分布のみに基づいて、反復計算を実施することによって、伝達系の伝達特性と、原情報の分布の双方を正確に推定することが可能な技術を提供する。
本明細書でインパルス応答とは、原情報の分布が単位インパルス関数で与えられる場合の劣化情報の分布を示す。情報として画像を扱う場合には、インパルス応答とはPSFの分布のことを指す。
本明細書で周波数応答とは、原情報の分布のスペクトル分布に対する、劣化情報の分布のスペクトル分布の比を示す。情報として画像を扱う場合には、周波数応答とは光学的伝達関数(OTF;Optical Transfer Function)の分布のことを指す。
本発明の方法を説明するために、まず最初にBayesの理論に基づく画像の復元方法について説明する。以下では、原画像は白黒の画像であり、ある光学系を介して原画像が伝達して、白黒の劣化画像が形成される場合について説明する。以下では、原画像と劣化画像はそれぞれの大きさが同一であり、画像内の点の位置を座標(x、y)で表現することが可能であって、原画像の照度分布はfr(x、y)、劣化画像の照度分布はgr(x、y)で表現されるものとする。
原画像の座標(x1、y1)において点光源が存在する事象をV(x1、y1)、劣化画像の座標(x2、y2)において点像が結像する事象をA(x2、y2)とした場合、それぞれの事象の確率P(V)およびP(A)は以下で表現される。
上式の両辺に、P(A(x2、y2))=g(x2、y2)を乗じて、すべての(x2、y2)に関して積分すると、次式が得られる。
上記の関係を満たす分布f(x、y)は、式(14)の右辺のf(x、y)をfk(x、y)とし、式(14)の左辺のf(x、y)をfk+1(x、y)として、fk(x、y)に関する反復計算を実施し、fk(x、y)の収束値を求めることで算出することができる。上記の反復計算によって求まるfk(x、y)の収束値は、Bayesの理論に基づく原画像の推定分布に相当する。
そこで、PSFの代わりに正確な位相特性を含ませることが容易であるOTFを用いることで、より正確に原画像を復元することが可能となる。また、復元の過程で位相特性を正確に評価するために、原画像の推定分布fk(x、y)(k=0,1,2,・・・)を複素関数に拡張し、その実部が画像分布を表現するものとして取扱う。上式の右辺に、フーリエ変換と逆フーリエ変換を用いることで、OTFを用いた形式に変更することができる。フーリエ変換をFT()、逆フーリエ変換をFT−1()で表現すると、式(14)は以下で表現される。
まず伝達系の特性に基づいて、OTFであるH(s、t)を特定する。
次に原画像の最初の推定分布として、f0(x、y)の実部をg(x、y)として、f0(x、y)の虚部を0とする。
次に以下に示す演算を、fk(x、y)が収束するまで繰り返し実施する。ここでFT()は二次元のフーリエ変換を表し、FT−1()は二次元の逆フーリエ変換を表す。またH#(s、t)は、H(s、t)の反転関数であり、H#(s、t)=H(−s、−t)である。
まず劣化画像の分布g(x、y)と、原画像の分布f(x、y)を特定する。本発明の方法では、g(x、y)の実部を劣化画像における照度の分布として、g(x、y)の虚部を0とする。またf(x、y)の実部を原画像における照度の分布として、f(x、y)の虚部を0とする。
次に原画像の分布f(x、y)をフーリエ変換して、原画像の分布のスペクトル分布F(s、t)を算出する。
次に、PSFの最初の推定分布h0(x、y)を特定する。PSFの最初の推定分布h0(x、y)は、どのような分布としてもよい。例えば、PSFの最初の推定分布h0(x、y)は、実部を1として、虚部を0とする。
次に以下に示す演算を、hk(x、y)が収束するまで繰り返し実施する。ここでFT()は二次元のフーリエ変換を表し、FT−1()は二次元の逆フーリエ変換を表す。またF#(s、t)は、F(s、t)の反転関数であり、F#(s、t)=F(−s、−t)である。
hk(x、y)が収束したら、それをフーリエ変換して、OTFの推定分布Hk(s、t)を算出する。
これらの方法を組み合わせることによって、劣化画像のみに基づいて、OTFを推定し、原画像を復元することが可能となる。
OTFに関しては、劣化画像の分布と、原画像の推定分布を用いて、Bayesの理論に基づく計算によって、より改善された推定分布を得ることができる。OTFの推定に用いる原画像の推定分布が、真の原画像の分布に近いほど、真のOTFの分布に近い推定分布を得ることができる。
原画像に関しては、劣化画像の分布と、OTFの推定分布を用いて、Bayesの理論に基づく計算によって、より改善された推定分布を得ることができる。原画像の推定に用いるOTFの推定分布が、真のOTFの分布に近いほど、真の原画像の分布に近い推定分布を得ることができる。
従って、上記したOTFの推定と原画像の推定を交互に繰返し実施していくことによって、原画像の推定分布はより真の原画像の分布に近づいていき、OTFの推定分布はより真のOTFの分布に近づいていき、結果として良好に復元された原画像と良好に推定されたOTFの双方を得ることができる。
まず原画像の最初の推定分布と、PSFの最初の推定分布を設定する。原画像の最初の推定分布は、どのような分布を用いてもよい。一般に、劣化画像の分布は原画像の分布から大きく異なることはないため、原画像の最初の推定分布としては劣化画像の分布を用いることが好ましい。PSFの最初の推定分布は、どのような分布を用いてもよい。
次に、式(27)〜(29)の計算を実施して、より改善されたPSFの推定分布hk(s、t)を取得して、得られたhk(s、t)をフーリエ変換してOTFの推定分布Hk(s、t)を取得する。上記の推定を実施することによって、より真のOTF分布に近いOTFの推定分布を得ることができる。
次に、式(16)〜(18)の計算を実施して、より改善された原画像の推定分布fk(x、y)を取得する。上記の推定を実施することによって、より真の原画像分布に近い原画像の推定分布を得ることができる。
上記したOTFの推定と原画像の推定を、交互に繰返し実施していくことによって、推定される原画像の分布は真の原画像の分布に近づいていき、推定されるOTFの分布は真のOTFの分布に近づいていく。従って、上記の反復計算を実施することによって、原画像を復元することが可能となる。
上記のインパルス応答の推定分布の更新は、繰返し実施することによって、より尤もらしいインパルス応答の推定分布を得ることができる。また、上記の原情報の推定分布の更新は、繰返し実施することによって、より尤もらしい推定分布を得ることができる。上記のように各推定分布の更新において処理を繰返し実施することによって、より尤もらしい推定分布を用いて後の工程を実施することが可能となるため、原情報を復元するまでに要する反復計算の回数を低減することができると考えられる。
図10に前記(A)のインパルス応答の推定分布を更新する手段1108の機能ブロック図を例示する。前記(A)のインパルス応答の推定分布を更新する手段1108は、(A1)原情報の推定分布をフーリエ変換して、原情報の推定分布のスペクトル分布を得る手段1116と、(A2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る手段1118と、(A3)前記第1の関数に前記原情報の推定分布のスペクトル分布を乗じて第2の関数を得る手段1120と、(A4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段1122と、(A5)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る手段1124と、(A6)前記第4の関数をフーリエ変換して第5の関数を得る手段1126と、(A7)前記第5の関数に前記原情報の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る手段1128と、(A8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段1130と、(A9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る手段1132と、(A10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える手段1132を備えている。
図11に前記(B)の原情報の推定分布を更新する手段1110の機能ブロック図を例示する。前記(B)の原情報の推定分布を更新する手段1110は、(B1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る手段1134と、(B2)原情報の推定分布をフーリエ変換して第1の関数を得る手段1136と、(B3)前記第1の関数に前記周波数応答の推定分布を乗じて第2の関数を得る手段1138と、(B4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段1140と、(B5)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る手段1142と、(B6)前記第4の関数をフーリエ変換して第5の関数を得る手段1144と、(B7)前記第5の関数に前記周波数応答の推定分布の反転関数を乗じて第6の関数を得る手段1146と、(B8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段1148と、(B9)原情報の推定分布に前記第7の関数を乗じて、原情報の次の推定分布を得る手段1150と、(B10)原情報の次の推定分布を原情報の推定分布に置き換える手段1150を備えている。
また本発明の原情報を復元する方法、プログラムあるいは装置を用いることで、劣化情報の分布のみに基づいて、周波数応答の推定と原情報の復元をすることができる。
上記した方法、プログラムあるいは装置は、ペプチド、タンパクを始めとする生体高分子のナノレベルの構造の動態可視化、天文学分野における画像解析への応用が可能である。
12・・・光学系
14・・・劣化画像
52・・・PSFの実部の推定分布(繰返し数2回)
54・・・PSFの実部の推定分布(繰返し数50回)
56・・・PSFの実部の推定分布(繰返し数250回)
62・・・原画像の推定分布
64・・・PSFの実部の推定分布
502、504、506、508、510、512、514、516、518、520、522、524、526、528、530・・・第1実施例に係る方法の各ステップ
602、604、606、608、610、612、614、616・・・第2実施例に係る方法の各ステップ
702、704、706、708、710、712、714、716、718、720、
722、724、726・・・OTFの推定の工程の各ステップ
802、804、806、808、810、812、814、816、818、820、822、824・・・原画像の推定の工程の各ステップ
1000・・・周波数応答の分布の推定装置
1002、1004、1006、1008、1010、1012、1014、1016、1018、1020、1022、1024、1026・・・周波数応答の分布の推定装置を構成する各手段
1100・・・劣化情報の復元装置
1102、1104、1106、1108、1110、1112、1114、1116、1118、1120、1122、1124、1126、1128、1130、1132、1134、1136、1138、1140、1142、1144、1146、1148、1150、1152、1154・・・劣化情報の復元装置を構成する各手段
図面を参照しながら、本実施例の方法について説明する。図1は本実施例の方法を説明するフローチャートである。
本実施例では、図7に示すように、白黒の原画像10が、光学系12を介して伝達された結果、白黒の劣化画像14となった場合について、原画像10と劣化画像14から光学系12のOTFを推定する方法を扱う。上記の場合において、本実施例の方法は、白黒の原画像10と、白黒の劣化画像14とを用いて反復計算を実施し、光学系12のOTFを推定する。原画像10と劣化画像14は、それぞれの画像の大きさが同一であり、画像上の点の位置を(x、y)で表記することができる。
本実施例では、原画像10を記述する分布f(x、y)と、劣化画像14を記述する分布g(x、y)と、反復計算の過程で推定するPSFの分布hk(x、y)(k=0,1,2,・・・)は、複素関数として扱い、それぞれの位相特性を考慮する。本実施例では、分布g(x、y)の実部を劣化画像における照度の分布とし、分布f(x、y)の実部を原画像における照度の分布とする。
上記したフーリエ変換は、高速フーリエ変換を用いることで好適に実施することができる。
上記によって計算される関数F(s、t)は、原画像分布f(x、y)の空間スペクトルを表す。
上記の方法によって算出されたH(s、t)は、ディスプレーに表示してもよいし、印刷装置を用いて紙に印刷してもよいし、ハードディスクなどの記憶装置に記憶してもよいし、通信回線を経由して他のコンピュータに送信してもよい。
本発明に係る他の一つの実施例を、図面を参照しながら説明する。
本実施例では、図7に示すように、白黒の原画像10が、光学系12を介して伝達された結果、白黒の劣化画像14となった場合について、劣化画像14のみに基づいて、原画像10の復元と、光学系12のOTFの推定を行う。上記の場合において、本実施例の方法は、原画像の分布とOTFの分布のそれぞれについて、適当な分布を仮定しておく。次に仮定した原画像の分布と劣化画像の分布とを用いた反復計算によって、改善された光学系12のOTF分布を推定する。次に、推定されたOTF分布と劣化画像の分布とを用いた反復計算によって、改善された原画像の分布を推定する。その後、改善された原画像の分布と劣化画像の分布を用いた反復計算を実施して、さらに改善されたOTF分布を推定する。上記のように、原画像分布の推定とOTF分布の推定を交互に繰返し実施していき、最終的にBayes理論に基づいた原画像の推定分布とOTFの推定分布を取得する。
本実施例では、劣化画像14を記述する分布g(x、y)と、反復計算の過程で推定される原画像10を記述する分布fk(x、y)およびfk n(x、y)と、反復計算の過程で推定されるPSFの分布hk(x、y)およびhk m(s、y)は、全て複素関数として扱い、それぞれの位相特定を考慮する。本実施例では、分布g(x、y)の実部を劣化画像における照度の分布とし、分布fk(x、y)およびfk n(x、y)の実部を原画像における照度の推定分布とする。
ステップ602では、劣化画像の分布g(x、y)を特定する。本実施例の方法では、g(x、y)の実部を劣化画像における照度の分布とし、g(x、y)の虚部を全て0とする。
またステップ604では、PSFの最初の推定分布h0(x、y)を設定する。PSFの最初の推定分布h0(x、y)としては、任意の分布を設定することができる。本実施例の方法では、PSFの最初の推定分布h0(x、y)として、全ての(x、y)に対して実部が1であり、虚部が0である関数を用いる。
さらにステップ604では、反復計算の繰返し数kを0に設定する。
上記の方法によって算出されたf(x、y)は、ディスプレーに表示してもよいし、印刷装置を用いて紙に印刷してもよいし、ハードディスクなどの記憶装置に記憶してもよいし、通信回線を経由して他のコンピュータに送信してもよい。
上記の反復計算は、劣化画像分布g(x、y)と、原画像分布fk−1(x、y)から、PSFの分布hk(x、y)を推定することに相当する。原画像分布fk−1(x、y)が、真の原画像分布f(x、y)に近いほど、上記の反復計算によって推定されるhk(x、y)は、真のPSFの分布h(x、y)に近づく。
上記の反復計算は、劣化画像分布g(x、y)と、OTF分布Hk(s、t)とに基づいて、原画像分布fk(x、y)を推定することに相当する。OTF分布Hk(s、t)が、真のOTF分布H(s、t)に近いほど、上記の反復計算によって推定されるfk(x、y)は、真の原画像の分布f(x、y)に近づく。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
Claims (9)
- 原画像と劣化画像から光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の分布を推定する方法であって、
劣化画像の分布を特定する工程と、
原画像の分布のスペクトル分布を特定する工程と、
光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する工程と、
(1)PSFの推定分布をフーリエ変換して第1の関数を得る工程と、
(2)前記第1の関数に前記原画像の分布のスペクトル分布を乗じて第2の関数を得る工程と、
(3)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
(4)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
(5)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
(6)前記第5の関数に前記原画像の分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
(7)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
(8)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る工程と、
PSFの次の推定分布をPSFの推定分布に置き換えて、前記(1)から(8)の工程を繰返す工程と、
PSFの推定分布をフーリエ変換して、OTFの分布を得て出力する工程とを備えることを特徴とするOTFの分布の推定方法。 - 劣化画像から原画像を復元する方法であって、
劣化画像の分布を特定する工程と、
原画像の最初の推定分布を特定する工程と、
光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する工程と、
(A)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、PSFの推定分布を更新する工程と、
(B)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、原画像の推定分布を更新する工程と、
上記(A)と(B)の工程を交互に繰返す工程と、
原画像の推定分布に基づいて、原画像を出力する工程と
を備え、
前記(A)のPSFの推定分布を更新する工程は、
(A1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る工程と、
(A2)PSFの推定分布をフーリエ変換して第1の関数を得る工程と、
(A3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る工程と、
(A4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
(A5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
(A6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
(A7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
(A8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
(A9)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る工程と、
(A10)PSFの次の推定分布をPSFの推定分布に置き換える工程と、
を備え、
前記(B)の原画像の推定分布を更新する工程は、
(B1)PSFの推定分布をフーリエ変換して、光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の推定分布を得る工程と、
(B2)原画像の推定分布をフーリエ変換して第1の関数を得る工程と、
(B3)前記第1の関数に前記OTFの推定分布を乗じて第2の関数を得る工程と、
(B4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
(B5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
(B6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
(B7)前記第5の関数に前記OTFの推定分布の反転関数を乗じて第6の関数を得る工程と、
(B8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
(B9)原画像の推定分布に前記第7の関数を乗じて、原画像の次の推定分布を得る工程と、
(B10)原画像の次の推定分布を原画像の推定分布に置き換える工程とを備えることを特徴とする、劣化画像の復元方法。 - 前記(A)のPSFの推定分布を更新する工程は、
前記(A2)から(A10)の工程を繰返し実行し、
前記(B)の原画像の推定分布を更新する工程は、
前記(B2)から(B10)の工程を繰返し実行する、
ことを特徴とする請求項2の劣化画像の復元方法。 - 請求項1の方法における各工程をコンピュータに実行させるためのプログラム。
- 請求項2の方法における各工程をコンピュータに実行させるためのプログラム。
- 請求項3の方法における各工程をコンピュータに実行させるためのプログラム。
- 原画像と劣化画像から光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の分布を推定する装置であって、
劣化画像の分布を特定する手段と、
原画像の分布のスペクトル分布を特定する手段と、
光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する手段と、
(1)PSFの推定分布をフーリエ変換して第1の関数を得る手段と、
(2)前記第1の関数に前記原画像の分布のスペクトル分布を乗じて第2の関数を得る手段と、
(3)前記第2の関数を逆フーリエ変換して第3の関数を得る手段と、
(4)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る手段と、
(5)前記第4の関数をフーリエ変換して第5の関数を得る手段と、
(6)前記第5の関数に前記原画像の分布のスペクトル分布の反転関数を乗じて第6の関数を得る手段と、
(7)前記第6の関数を逆フーリエ変換して第7の関数を得る手段と、
(8)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る手段と、
PSFの次の推定分布をPSFの推定分布に置き換えて、前記(1)から(8)の手段に繰返し処理を実施させる手段と、
PSFの推定分布をフーリエ変換して、OTFの分布を得て出力する手段とを備えることを特徴とするOTFの分布の推定装置。 - 劣化画像から原画像を復元する装置であって、
劣化画像の分布を特定する手段と、
原画像の最初の推定分布を特定する手段と、
光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する手段と、
(A)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、PSFの推定分布を更新する手段と、
(B)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、原画像の推定分布を更新する手段と、
上記(A)と(B)の手段に交互に繰返し処理を実施させる手段と、
原画像の推定分布に基づいて、原画像を出力する手段と
を備え、
前記(A)のPSFの推定分布を更新する手段は、
(A1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る手段と、
(A2)PSFの推定分布をフーリエ変換して第1の関数を得る手段と、
(A3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る手段と、
(A4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段と、
(A5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る手段と、
(A6)前記第4の関数をフーリエ変換して第5の関数を得る手段と、
(A7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る手段と、
(A8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段と、
(A9)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る手段と、
(A10)PSFの次の推定分布をPSFの推定分布に置き換える手段と、
を備え、
前記(B)の原画像の推定分布を更新する手段は、
(B1)PSFの推定分布をフーリエ変換して、光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の推定分布を得る手段と、
(B2)原画像の推定分布をフーリエ変換して第1の関数を得る手段と、
(B3)前記第1の関数に前記OTFの推定分布を乗じて第2の関数を得る手段と、
(B4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段と、
(B5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る手段と、
(B6)前記第4の関数をフーリエ変換して第5の関数を得る手段と、
(B7)前記第5の関数に前記OTFの推定分布の反転関数を乗じて第6の関数を得る手段と、
(B8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段と、
(B9)原画像の推定分布に前記第7の関数を乗じて、原画像の次の推定分布を得る手段と、
(B10)原画像の次の推定分布を原画像の推定分布に置き換える手段とを備えることを特徴とする、劣化画像の復元装置。 - 前記(A)のPSFの推定分布を更新する手段は、
前記(A2)から(A10)の手段に繰返し処理を実施させる手段を備え、
前記(B)の原画像の推定分布を更新する手段は、
前記(B2)から(B10)の手段に繰返し処理を実施させる手段を備える、
ことを特徴とする請求項8の劣化画像の復元装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004300206 | 2004-10-14 | ||
JP2004300206 | 2004-10-14 | ||
PCT/JP2005/018866 WO2006041127A1 (ja) | 2004-10-14 | 2005-10-13 | 劣化情報復元方法と復元装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2006041127A1 JPWO2006041127A1 (ja) | 2008-05-22 |
JP4568730B2 true JP4568730B2 (ja) | 2010-10-27 |
Family
ID=36148414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006540969A Active JP4568730B2 (ja) | 2004-10-14 | 2005-10-13 | 劣化情報復元方法と復元装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8019803B2 (ja) |
EP (1) | EP1801753B1 (ja) |
JP (1) | JP4568730B2 (ja) |
KR (1) | KR100907120B1 (ja) |
WO (1) | WO2006041127A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070085363A (ko) | 2004-10-14 | 2007-08-27 | 라이트론 가부시키가이샤 | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 |
JP4825748B2 (ja) * | 2007-07-13 | 2011-11-30 | 株式会社モルフォ | 画像データ処理方法および撮像装置 |
JP5060967B2 (ja) * | 2008-01-09 | 2012-10-31 | ライトロン株式会社 | 劣化した画像を復元する装置、方法およびプログラム |
JP5164754B2 (ja) * | 2008-09-08 | 2013-03-21 | 株式会社日立ハイテクノロジーズ | 走査型荷電粒子顕微鏡装置及び走査型荷電粒子顕微鏡装置で取得した画像の処理方法 |
JP5627256B2 (ja) | 2010-03-16 | 2014-11-19 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP5564533B2 (ja) * | 2012-06-04 | 2014-07-30 | ライトロン株式会社 | 天体撮像装置、天体撮像方法およびプログラム |
JP5615393B2 (ja) | 2013-01-28 | 2014-10-29 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6126523B2 (ja) | 2013-12-11 | 2017-05-10 | 満男 江口 | Tv映像向け加速超解像処理方法及び同方法によるtv映像向け加速超解像処理装置、第1〜6加速超解像処理プログラム、並びに第1〜2記憶媒体 |
JP6155182B2 (ja) | 2013-12-11 | 2017-06-28 | 満男 江口 | Tv映像向け超解像処理方法および同方法によるtv映像向け超解像処理装置、第1〜第14超解像処理プログラム、並びに第1〜第4記憶媒体 |
JP6129759B2 (ja) | 2014-02-03 | 2017-05-17 | 満男 江口 | Simd型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体 |
KR20150118731A (ko) * | 2014-04-15 | 2015-10-23 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
CN113252007B (zh) * | 2021-06-28 | 2021-09-24 | 常州微亿智造科技有限公司 | 用于工件质检的飞拍控制参数确定方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11258057A (ja) * | 1997-12-26 | 1999-09-24 | Japan Science & Technology Corp | 複素信号検出方法、複素顕微鏡、および複素回折装置 |
JP2000123168A (ja) * | 1998-10-19 | 2000-04-28 | Risou Kagaku Kenkyusho:Kk | ぼけ補正用逆フィルタ決定装置と方法、ぼけ補正機能を備える画像装置、及び記録媒体 |
JP2004186901A (ja) * | 2002-12-02 | 2004-07-02 | Sony Corp | 撮像装置及び方法、プログラム及び記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5414782A (en) * | 1992-12-16 | 1995-05-09 | The United States Of Amercia As Represented By The Secretary Of Commerce | Procedure for digital image restoration |
JPH07334668A (ja) | 1994-06-10 | 1995-12-22 | Canon Inc | 画像処理方法及び装置 |
KR100247938B1 (ko) * | 1997-11-19 | 2000-03-15 | 윤종용 | 영상처리 시스템의 디지탈 초점 조절방법 및 장치 |
US6200266B1 (en) * | 1998-03-31 | 2001-03-13 | Case Western Reserve University | Method and apparatus for ultrasound imaging using acoustic impedance reconstruction |
EP1281074B1 (en) * | 2000-01-31 | 2005-10-12 | Bjorn A. J. Angelsen | Correction of phasefront aberrations and pulse reverberations in medical ultrasound imaging |
JP4389371B2 (ja) * | 2000-09-28 | 2009-12-24 | 株式会社ニコン | 画像修復装置および画像修復方法 |
WO2004075107A2 (en) | 2003-02-18 | 2004-09-02 | Oklahoma Medical Research Foundation | Extended depth of focus microscopy |
KR20070085363A (ko) | 2004-10-14 | 2007-08-27 | 라이트론 가부시키가이샤 | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 |
-
2005
- 2005-10-13 WO PCT/JP2005/018866 patent/WO2006041127A1/ja active Application Filing
- 2005-10-13 KR KR1020077010930A patent/KR100907120B1/ko not_active IP Right Cessation
- 2005-10-13 JP JP2006540969A patent/JP4568730B2/ja active Active
- 2005-10-13 EP EP05793573.6A patent/EP1801753B1/en active Active
- 2005-10-13 US US11/664,990 patent/US8019803B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11258057A (ja) * | 1997-12-26 | 1999-09-24 | Japan Science & Technology Corp | 複素信号検出方法、複素顕微鏡、および複素回折装置 |
JP2000123168A (ja) * | 1998-10-19 | 2000-04-28 | Risou Kagaku Kenkyusho:Kk | ぼけ補正用逆フィルタ決定装置と方法、ぼけ補正機能を備える画像装置、及び記録媒体 |
JP2004186901A (ja) * | 2002-12-02 | 2004-07-02 | Sony Corp | 撮像装置及び方法、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2006041127A1 (ja) | 2008-05-22 |
EP1801753B1 (en) | 2016-12-07 |
US8019803B2 (en) | 2011-09-13 |
EP1801753A1 (en) | 2007-06-27 |
EP1801753A4 (en) | 2010-03-10 |
KR100907120B1 (ko) | 2009-07-09 |
WO2006041127A1 (ja) | 2006-04-20 |
US20090013020A1 (en) | 2009-01-08 |
KR20070085364A (ko) | 2007-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4568730B2 (ja) | 劣化情報復元方法と復元装置 | |
JP4575387B2 (ja) | 劣化情報復元方法と復元装置 | |
US11783231B2 (en) | System and method for joint image refinement and perception | |
Lanza et al. | A generalized Krylov subspace method for \ell_p-\ell_q minimization | |
JP6344934B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体 | |
KR102319643B1 (ko) | 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치 | |
Agarwal et al. | Deep-url: A model-aware approach to blind deconvolution based on deep unfolded richardson-lucy network | |
JP2017010093A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2019023798A (ja) | 超解像装置およびプログラム | |
JP7294275B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP5198500B2 (ja) | 信号処理装置及びプログラム | |
JP2014099048A (ja) | 画像復元装置および画像復元方法 | |
Wei et al. | Image denoising with deep unfolding and normalizing flows | |
Petrovici et al. | Maximum entropy principle in image restoration | |
Khosravi et al. | A new statistical technique for interpolation of landsat images | |
Gavaskar et al. | Regularization using denoising: Exact and robust signal recovery | |
Dar et al. | Modular admm-based strategies for optimized compression, restoration, and distributed representations of visual data | |
Pustelnik et al. | Proximal methods for image restoration using a class of non-tight frame representations | |
Colonna et al. | The multichannel deconvolution problem: a discrete analysis | |
Mourya et al. | Distributed Deblurring of Large Images of Wide Field-Of-View | |
Varela et al. | Estimation of non-uniform blur using a patch-based regression convolutional neural network (CNN) | |
JP5750349B2 (ja) | 画像復元装置、画像復元方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4568730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S201 | Request for registration of exclusive licence |
Free format text: JAPANESE INTERMEDIATE CODE: R314201 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |