JP4568730B2 - 劣化情報復元方法と復元装置 - Google Patents

劣化情報復元方法と復元装置 Download PDF

Info

Publication number
JP4568730B2
JP4568730B2 JP2006540969A JP2006540969A JP4568730B2 JP 4568730 B2 JP4568730 B2 JP 4568730B2 JP 2006540969 A JP2006540969 A JP 2006540969A JP 2006540969 A JP2006540969 A JP 2006540969A JP 4568730 B2 JP4568730 B2 JP 4568730B2
Authority
JP
Japan
Prior art keywords
function
distribution
original image
estimated
estimated distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006540969A
Other languages
English (en)
Other versions
JPWO2006041127A1 (ja
Inventor
満男 江口
徹彦 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toagosei Co Ltd
Original Assignee
Toagosei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36148414&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4568730(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Toagosei Co Ltd filed Critical Toagosei Co Ltd
Publication of JPWO2006041127A1 publication Critical patent/JPWO2006041127A1/ja
Application granted granted Critical
Publication of JP4568730B2 publication Critical patent/JP4568730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Description

本発明は劣化情報の復元に関する。詳しくは、伝達することによって劣化した情報から原情報を復元する方法と装置に関する。
伝達することによって劣化した情報から原情報を正確に推定したいという要望が存在する。このような場合には、一般に伝達系の伝達関数を用いた推定が用いられる。伝達系の伝達関数が既知であって、原情報の全ての周波数領域に対して伝達関数が0でない値を持つ場合には、伝達関数の逆フィルタを用いて、伝達後の情報から原情報を完全に復元することができる。
上記した方法による復元は、伝達関数がある周波数領域で0となる場合には、そのまま適用することができない。上記の逆フィルタは、伝達関数が0となる周波数領域において定義することができないためである。従って、このような伝達系では、伝達関数が0となる周波数領域の情報が、伝達の過程で失われる。すなわち、情報を伝達する場合、その情報はもとのままの状態で伝わることは無く、伝達の過程で劣化する。例えば光学系の像を伝達する場合には、その像は収差や機器の誤差に起因して細かな微細部分つまり空間周波数の高い部分がカットされて劣化し、劣化した状態で認識される。
上記のように、伝達の過程で特定の周波数領域が除去されて劣化した情報に関して、伝達系の伝達特性と劣化後の情報に基づいて復元する技術が提案されている。劣化した情報を復元する技術は、主に画像処理の分野において提案されている。劣化した画像を復元する技術としては、例えば非特許文献1や2に記載の、Richardson―Lucyアルゴリズムを用いる方法が知られている。
Richardson−Lucyアルゴリズムを用いる方法では、画像における光の結像を一つの事象として捉え、確率統計の技術分野で用いられている手法を用いて、原画像を復元する。Richardson−Lucyアルゴリズムを用いる方法では、原画像における照度の分布に関して、その分布を正規化して、原画像における光の結像という事象の確率密度関数の分布として捉える。また劣化画像における照度の分布に関して、その分布を正規化して、劣化画像における光の結像という事象の確率密度関数の分布として捉える。上記のように考えると、光学系の伝達特性である点像強度分布関数(PSF;Point Spread Function)は、原画像に光の点が結像しているという条件の下で劣化画像に光が結像する確率の分布を示す、条件付確率の確率密度関数の分布として捉えることができる。Richardson−Lucyアルゴリズムを用いる方法では、劣化画像の分布とPSFの分布のそれぞれを用いて、Bayesの理論に基づき、劣化画像の分布を実現する原画像の分布のうちで最大に尤もらしい分布を、反復計算によって推定する。PSFの分布は、例えば光学系のパラメータから計算によって算出することもできるし、実際に点像を伝達した場合の画像の分布を実験より求めて算出することもできる。
上記のRichardson−Lucyアルゴリズムを用いる方法は劣化した画像を復元する方法であるが、同様の方法を用いることによって、例えば電位の時間履歴といった他の種類の情報についても、劣化後の情報から原情報を復元することが可能である。
W.H.リチャードソン(W. H. Richardson),「ベイズ理論に基づく画像復元の反復計算方法」("Bayesian-based iterative method of image restoration"),アメリカ光学会誌(Journal of Optical Society of America),(米国),1972年,62巻,p55−59 L.B.ルーシー(L. B. Lucy),「観測される分布を修正する反復計算手法」("An iterative technique for the rectification of observed distributions"),アストロノミカル・ジャーナル(Astronomical Journal),(米国),1974年,79巻,p745−754
Richardson−Lucyアルゴリズムを用いると、劣化した画像はかなり良く復元される。原画像に文字が表示されており、劣化画像ではその文字をまったく認識できないほど画像が劣化していても、Richardson−Lucyアルゴリズムを用いて推定された原画像ではなんとかその文字を判読できる程度には、復元することができる。
上記のように劣化画像から原画像を復元するためには、光学系の伝達特性を正確に評価することが必要とされる。原画像を復元する過程では、光学系の伝達特性に基づいた推定を実施するため、光学系の伝達特性が不正確である場合には、復元される原画像も不正確なものとなってしまう。劣化画像に基づく原画像の復元を行う場合、光学系の伝達特性に関する正確な評価が必要不可欠である。
しかしながら、光学系の伝達特性を正確に評価することが困難な場合がある。光学系の伝達特性は、レンズの開口数、照明波長、収差、デフォーカス等のパラメータに基づいて算出される。これらのパラメータのうち幾つかが不明な場合や、幾つかが不正確な場合には、算出される光学系の伝達特性は不正確なものとなってしまう。このように光学系の伝達特性が不正確な場合には、上述したような従来の画像復元方法を用いて正確に原画像を復元することはできない。原画像の復元に先立ち光学系の伝達特性の正確な評価が必要となる。
また、光学系の伝達特性がまったく判明せず、劣化画像のみに基づいて原画像を復元したい場合がある。このような場合、従来の画像復元方法を用いることができず、原画像を復元することができなかった。
本発明では上記課題を解決する。本発明では劣化情報の分布と原情報の分布とに基づいて、反復計算を実施することによって、伝達系の伝達特性を正確に推定することが可能な技術を提供する。
また本発明では劣化情報の分布のみに基づいて、反復計算を実施することによって、伝達系の伝達特性と、原情報の分布の双方を正確に推定することが可能な技術を提供する。
本発明の一つの方法は、原情報と劣化情報から伝達系の周波数応答の分布を推定する方法である。この方法は、劣化情報の分布を特定する工程と、原情報の分布のスペクトル分布を特定する工程と、伝達系のインパルス応答の最初の推定分布を特定する工程を備えている。さらに、(1)インパルス応答の推定分布をフーリエ変換して第1の関数を得る工程と、(2)前記第1の関数に前記原情報の分布のスペクトル分布を乗じて第2の関数を得る工程と、(3)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、(4)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る工程と、(5)前記第4の関数をフーリエ変換して第5の関数を得る工程と、(6)前記第5の関数に前記原情報の分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、(7)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、(8)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る工程を1サイクルとする工程群を備えている。さらに、前記のサイクルの工程(8)で得られたインパルス応答の次の推定分布をインパルス応答の推定分布に置き換えて、前記(1)から(8)の工程を繰返す工程と、インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の分布を得て出力する工程とを備えている。
本明細書でインパルス応答とは、原情報の分布が単位インパルス関数で与えられる場合の劣化情報の分布を示す。情報として画像を扱う場合には、インパルス応答とはPSFの分布のことを指す。
本明細書で周波数応答とは、原情報の分布のスペクトル分布に対する、劣化情報の分布のスペクトル分布の比を示す。情報として画像を扱う場合には、周波数応答とは光学的伝達関数(OTF;Optical Transfer Function)の分布のことを指す。
本発明の方法で扱う情報としては、画像に限らず、電気信号の時間履歴などについても適用が可能であるが、以下では情報として画像を扱う場合を取り上げて、本発明の方法の原理について説明する。
本発明の方法を説明するために、まず最初にBayesの理論に基づく画像の復元方法について説明する。以下では、原画像は白黒の画像であり、ある光学系を介して原画像が伝達して、白黒の劣化画像が形成される場合について説明する。以下では、原画像と劣化画像はそれぞれの大きさが同一であり、画像内の点の位置を座標(x、y)で表現することが可能であって、原画像の照度分布はf(x、y)、劣化画像の照度分布はg(x、y)で表現されるものとする。
上記の原画像の分布f(x、y)とg(x、y)は、以下に示す二次元フーリエ変換を実施することによって、xに関する空間周波数sと、yに関する空間周波数tについてのスペクトルを得ることができる。
Figure 0004568730
Figure 0004568730
上記の光学系のOTFは、原画像の分布f(x、y)の空間スペクトルF(s、t)、劣化画像の分布g(x、y)の空間スペクトルG(s、t)に対して、次の関係を満たす複素関数H(s、t)のことをいう。
Figure 0004568730
一般的な光学系の場合、どのような原画像の分布f(x、y)に対しても、光学系と撮影条件によって決まるOTFであるH(s、t)を用いて、劣化後の画像g(x、y)を得ることができる。
複素関数であるOTFは、複素振幅の大きさを表す振幅伝達関数(MTF;Modulation Transfer Function)M(s、t)と、位相ズレを表す位相伝達関数(PTF;Phase Transfer Function)P(s、t)を用いて、次式で表現される。
Figure 0004568730
上記のOTFを用いることによって、光学系の位相に関する特性についても、正確に評価することができる。上記のOTFは、光学系の特性パラメータから計算することができる。
本発明の方法では、原画像の分布と劣化画像の分布を確率密度関数として扱い、Bayesの理論に基づいて原画像の推定を行う。上記で設定された原画像分布f(x、y)と劣化画像分布g(x、y)は、下記の正規化を行うことによって、確率密度関数として扱うことが可能になる。
Figure 0004568730
Figure 0004568730
上記の正規化に合わせて、光学的伝達関数H(s、t)についても正規化する。H(s、t)は、空間周波数が0の点における値を用いて正規化する。
Figure 0004568730
正規化された原画像の分布f(x、y)と、劣化画像の分布g(x、y)は、非負の関数であり、定義された領域での積分値が1であるから、確率密度関数として扱うことができる。上記の場合において、f(x、y)は原画像の座標(x、y)における結像という事象の確率密度関数である。g(x、y)は劣化画像の座標(x、y)における結像という事象の確率密度関数である。
原画像および劣化画像の分布を、確率密度関数と見なすことが可能な場合、Bayesの理論に基づいて、劣化画像の分布から、その劣化画像を生じさせている原画像の分布を推定することができる。
原画像の座標(x、y)において点光源が存在する事象をV(x、y)、劣化画像の座標(x、y)において点像が結像する事象をA(x、y)とした場合、それぞれの事象の確率P(V)およびP(A)は以下で表現される。
Figure 0004568730
Figure 0004568730
また、原画像の座標(x、y)に点光源が存在している場合に、劣化画像の座標(x、y)に結像する確率は、事象V(x、y)の生起を条件とする事象A(x、y)の生起確率である。上記の確率は光学系のPSFであるh(x、y)を用いて以下で表現される。
Figure 0004568730
Bayesの理論に基づくと、劣化画像内の点(x、y)に点像を結像させる場合の原画像の分布P(V(x、y)|A(x、y))は、以下で推定される。
Figure 0004568730
上式の右辺のP(V(x、y))、P(A(x、y)|V(x、y))に、式(8)および式(10)を代入すると、次式を得る。
Figure 0004568730
上式の左辺は、劣化画像において点像が結像している場合に、推定される原画像の分布を表している。上式に劣化画像の分布g(x、y)を乗じて積分することによって、劣化画像の分布g(x、y)を実現するための原画像の分布f(x、y)を得ることができる。
上式の両辺に、P(A(x、y))=g(x、y)を乗じて、すべての(x、y)に関して積分すると、次式が得られる。
Figure 0004568730
上式の左辺に式(9)を代入すると、その積分の結果はP(V(x、y))であり、f(x、y)に等しい。従って、Bayesの理論に基づくと、以下の関係が成り立つ。
Figure 0004568730
上記の関係は、分布f(x、y)が真の原画像の分布である場合に成立すると考えられる。すなわち、上式を満たす分布f(x、y)を算出することが、劣化画像の復元に相当する。
上記の関係を満たす分布f(x、y)は、式(14)の右辺のf(x、y)をf(x、y)とし、式(14)の左辺のf(x、y)をfk+1(x、y)として、f(x、y)に関する反復計算を実施し、f(x、y)の収束値を求めることで算出することができる。上記の反復計算によって求まるf(x、y)の収束値は、Bayesの理論に基づく原画像の推定分布に相当する。
上記では、原画像の分布f(x、y)や劣化画像の分布g(x、y)を正規化した場合について説明したが、実際の反復計算を実施する上では、これらの分布は正規化することなく、そのまま使用することができる。
上記の反復計算においては、反復計算を実施する前に、原画像の最初の推定分布f(x、y)を設定しておく。最初の推定分布f(x、y)としては、任意の分布を設定することができる。一般的には、劣化画像の分布g(x、y)は原画像の分布f(x、y)から大きく異なることはないため、最初の推定分布f(x、y)としては、劣化画像の分布g(x、y)を用いることが好ましい。
式(14)の右辺は、PSFであるh(x、y)をもちいた畳み込み積分を備えている。一般に、光学系の位相特性まで含めてPSFを正確に評価することは困難であり、上記の反復計算を正確な位相特性を含めて実施することは困難である。正確な位相特性を含まないPSFを用いた反復計算は、誤った収束の結果をもたらすため、原画像の正確な復元の妨げとなる。
そこで、PSFの代わりに正確な位相特性を含ませることが容易であるOTFを用いることで、より正確に原画像を復元することが可能となる。また、復元の過程で位相特性を正確に評価するために、原画像の推定分布f(x、y)(k=0,1,2,・・・)を複素関数に拡張し、その実部が画像分布を表現するものとして取扱う。上式の右辺に、フーリエ変換と逆フーリエ変換を用いることで、OTFを用いた形式に変更することができる。フーリエ変換をFT()、逆フーリエ変換をFT−1()で表現すると、式(14)は以下で表現される。
Figure 0004568730
上記の反復計算を、fが収束するまで繰り返し実施することによって、原画像を推定することができる。fが収束したか否かの判定は、例えば反復計算の回数を予め設定しておいて、反復計算の回数によって判定してもよいし、fとfk+1の差分を算出して、算出される差分の絶対値の総和があるしきい値以下となるか否かで判断してもよい。
上記した原理を用いる復元方法は、以下に示す工程を順次実施していくことで実現される。以下では繰り返し計算によって推定される原画像の分布をf(k=0、1、・・・)とする。原画像の推定分布fは、復元の過程で位相に関する特性を正確に評価するために、複素関数として扱う。
まず伝達系の特性に基づいて、OTFであるH(s、t)を特定する。
次に原画像の最初の推定分布として、f(x、y)の実部をg(x、y)として、f(x、y)の虚部を0とする。
次に以下に示す演算を、f(x、y)が収束するまで繰り返し実施する。ここでFT()は二次元のフーリエ変換を表し、FT−1()は二次元の逆フーリエ変換を表す。またH(s、t)は、H(s、t)の反転関数であり、H(s、t)=H(−s、−t)である。
Figure 0004568730
Figure 0004568730
Figure 0004568730
上記の反復計算を繰返し実施し、最終的な原画像の推定分布fを得る。最終的に得られる原画像の推定分布f(x、y)の実部が、原画像の復元画像f(x、y)に相当する。
上記の方法では、原画像から劣化画像への伝達特性として、正確な位相特性を考慮したOTFを用いて反復計算を実施することができる。従って、Richardson−Lucyアルゴリズムを用いる場合にくらべて、より正確な推定を実施することが可能と考えられる。
上記の方法では、畳み込み積分を用いることなく、フーリエ変換と、逆フーリエ変換と、四則演算を用いて、原画像を推定することができる。このため、Richardson−Lucyアルゴリズムを用いる場合にくらべて、処理に要する時間を大幅に短縮することが可能となる。
上記した方法を用いることで、既知である劣化画像分布とOTF分布とに基づいて、未知である原画像分布を復元することができる。上記と同様の原理によって、OTF分布が未知である場合に、既知である劣化画像分布と原画像分布とに基づいて、OTF分布を復元することが可能となる。
式(12)において、x−xを新たにx’とし、y−yを新たにy’とすると、次式が得られる。
Figure 0004568730
上式の両辺にP(A(x、y))を乗じる。
Figure 0004568730
上式の左辺は、Bayesの理論に基づくと、P(A(x、y)|V(x−x’、y−y’))×P(V(x−x’、y−y’))に等しい。
Figure 0004568730
上式に、式(8)、式(9)および式(10)を代入する。
Figure 0004568730
上式の両辺を、(x、y)に関して積分する。
Figure 0004568730
上式左辺の積分は1に等しいため、結局、Bayesの理論に基づくと、以下の関係が成立する。
Figure 0004568730
上式の関係を満たすh(x、y)が算出されると、算出されたh(x、y)をフーリエ変換することによって、OTF分布H(s、t)を推定することができる。
本発明に係る方法では、式(14)の右辺のh(x、y)をh(x、y)とし、式(24)の左辺のh(x、y)をhk+1(x、y)として、h(x、y)に関する反復計算を実施し、h(x、y)の収束値を求める。上記の反復計算によって求まるh(x、y)の収束値をフーリエ変換して、Bayesの理論に基づくOTFの推定分布H(x、y)を得ることができる。
Figure 0004568730
Figure 0004568730
上記した原理を用いるOTFの推定方法は、以下に示す工程を順次実施していくことで実現される。以下では繰り返し計算によって推定されるPSFの分布をh(k=0、1、・・・)とする。PSFの推定分布hは、反復計算の過程で位相に関する特性を正確に評価するために、複素関数として扱う。
まず劣化画像の分布g(x、y)と、原画像の分布f(x、y)を特定する。本発明の方法では、g(x、y)の実部を劣化画像における照度の分布として、g(x、y)の虚部を0とする。またf(x、y)の実部を原画像における照度の分布として、f(x、y)の虚部を0とする。
次に原画像の分布f(x、y)をフーリエ変換して、原画像の分布のスペクトル分布F(s、t)を算出する。
次に、PSFの最初の推定分布h(x、y)を特定する。PSFの最初の推定分布h(x、y)は、どのような分布としてもよい。例えば、PSFの最初の推定分布h(x、y)は、実部を1として、虚部を0とする。
次に以下に示す演算を、h(x、y)が収束するまで繰り返し実施する。ここでFT()は二次元のフーリエ変換を表し、FT−1()は二次元の逆フーリエ変換を表す。またF(s、t)は、F(s、t)の反転関数であり、F(s、t)=F(−s、−t)である。
Figure 0004568730
Figure 0004568730
Figure 0004568730
(x、y)の収束の判定は、例えば反復計算の回数が予め定められた回数に到達したか否かを基準に判別してもよいし、h(x、y)とhk+1(x、y)の差分の分布を算出して、その差分の絶対値が全ての(x、y)に対してあるしきい値以下となるか否かを基準に判別してもよいし、fとfk+1の差分を算出して、算出される差分の絶対値を(x、y)に関して積分した値があるしきい値以下となるか否かで判断してもよい。
(x、y)が収束したら、それをフーリエ変換して、OTFの推定分布H(s、t)を算出する。
上記の方法を用いることによって、伝達系のOTFを好適に推定することができる。本発明の方法を用いる場合、原画像分布が特定の周波数帯を含まない場合であっても、全ての周波数帯に対するOTFを推定することができる。
上記したように、劣化画像とOTFとが既知であれば原画像を復元することが可能であり、劣化画像と原画像が既知であればOTFを推定することが可能である。
これらの方法を組み合わせることによって、劣化画像のみに基づいて、OTFを推定し、原画像を復元することが可能となる。
本発明の他の一つの方法は、劣化情報から原情報を復元する方法である。その方法は、劣化情報の分布を特定する工程と、原情報の最初の推定分布を特定する工程と、伝達系のインパルス応答の最初の推定分布を特定する工程と、(A)前記劣化情報の分布と、原情報の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する工程と、(B)前記劣化情報の分布と、原情報の推定分布と、インパルス応答の推定分布に基づいて、原情報の推定分布を更新する工程と、上記(A)と(B)の工程を交互に繰返す工程と、原情報の推定分布に基づいて、原情報を出力する工程とを備えている。
上記の方法において前記(A)のインパルス応答の推定分布を更新する工程は、(A1)原情報の推定分布をフーリエ変換して、原情報の推定分布のスペクトル分布を得る工程と、(A2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る工程と、(A3)前記第1の関数に前記原情報の推定分布のスペクトル分布を乗じて第2の関数を得る工程と、(A4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、(A5)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る工程と、(A6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、(A7)前記第5の関数に前記原情報の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、(A8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、(A9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る工程と、(A10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える工程と、を備えている。
上記の方法において前記(B)の原情報の推定分布を更新する工程は、(B1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る工程と、(B2)原情報の推定分布をフーリエ変換して第1の関数を得る工程と、(B3)前記第1の関数に前記周波数応答の推定分布を乗じて第2の関数を得る工程と、(B4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、(B5)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る工程と、(B6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、(B7)前記第5の関数に前記周波数応答の推定分布の反転関数を乗じて第6の関数を得る工程と、(B8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、(B9)原情報の推定分布に前記第7の関数を乗じて、原情報の次の推定分布を得る工程と、(B10)原情報の次の推定分布を原情報の推定分布に置き換える工程と、を備えている。
上記の方法では、原画像とPSFのそれぞれについて、適当な分布を仮定しておき、上記したPSFの推定(すなわち、OTFの推定)と原画像の推定とを交互に繰返し実施していくことによって、原画像を復元する。
OTFに関しては、劣化画像の分布と、原画像の推定分布を用いて、Bayesの理論に基づく計算によって、より改善された推定分布を得ることができる。OTFの推定に用いる原画像の推定分布が、真の原画像の分布に近いほど、真のOTFの分布に近い推定分布を得ることができる。
原画像に関しては、劣化画像の分布と、OTFの推定分布を用いて、Bayesの理論に基づく計算によって、より改善された推定分布を得ることができる。原画像の推定に用いるOTFの推定分布が、真のOTFの分布に近いほど、真の原画像の分布に近い推定分布を得ることができる。
従って、上記したOTFの推定と原画像の推定を交互に繰返し実施していくことによって、原画像の推定分布はより真の原画像の分布に近づいていき、OTFの推定分布はより真のOTFの分布に近づいていき、結果として良好に復元された原画像と良好に推定されたOTFの双方を得ることができる。
本発明の方法では、以下の工程を順に実施していくことによって、劣化画像のみから原画像を復元することができる。
まず原画像の最初の推定分布と、PSFの最初の推定分布を設定する。原画像の最初の推定分布は、どのような分布を用いてもよい。一般に、劣化画像の分布は原画像の分布から大きく異なることはないため、原画像の最初の推定分布としては劣化画像の分布を用いることが好ましい。PSFの最初の推定分布は、どのような分布を用いてもよい。
次に、式(27)〜(29)の計算を実施して、より改善されたPSFの推定分布h(s、t)を取得して、得られたh(s、t)をフーリエ変換してOTFの推定分布H(s、t)を取得する。上記の推定を実施することによって、より真のOTF分布に近いOTFの推定分布を得ることができる。
次に、式(16)〜(18)の計算を実施して、より改善された原画像の推定分布f(x、y)を取得する。上記の推定を実施することによって、より真の原画像分布に近い原画像の推定分布を得ることができる。
上記したOTFの推定と原画像の推定を、交互に繰返し実施していくことによって、推定される原画像の分布は真の原画像の分布に近づいていき、推定されるOTFの分布は真のOTFの分布に近づいていく。従って、上記の反復計算を実施することによって、原画像を復元することが可能となる。
本発明者が上記の方法を用いて原画像の復元を実施したところ、劣化画像のみから原画像を好適に復元することができた。
上記した劣化情報の復元方法においては、前記(A)のインパルス応答の推定分布を更新する工程は、前記(A2)から(A10)の工程を繰返し実行し、前記(B)の原情報の推定分布を更新する工程は、前記(B2)から(B10)の工程を繰返し実行する、ことが好ましい。
上記のインパルス応答の推定分布の更新は、繰返し実施することによって、より尤もらしいインパルス応答の推定分布を得ることができる。また、上記の原情報の推定分布の更新は、繰返し実施することによって、より尤もらしい推定分布を得ることができる。上記のように各推定分布の更新において処理を繰返し実施することによって、より尤もらしい推定分布を用いて後の工程を実施することが可能となるため、原情報を復元するまでに要する反復計算の回数を低減することができると考えられる。
上述した周波数応答の推定方法あるいは劣化情報の復元方法は、各工程をコンピュータに実行させるプログラムとして具現化することができる。コンピュータのハードウェア構成の例を図12に示す。
上述した周波数応答の分布の推定方法は、下記のような装置を用いることによって、好適に実施することができる。図8に本発明の装置1000の機能ブロック図を例示する。本発明の装置1000は、原情報と劣化情報から伝達系の周波数応答の分布を推定する装置である。その装置1000は、劣化情報の分布を特定する手段1002と、原情報の分布のスペクトル分布を特定する手段1004と、伝達系のインパルス応答の最初の推定分布を特定する手段1006と、(1)インパルス応答の推定分布をフーリエ変換して第1の関数を得る手段1008と、(2)前記第1の関数に前記原情報の分布のスペクトル分布を乗じて第2の関数を得る手段1010と、(3)前記第2の関数を逆フーリエ変換して第3の関数を得る手段1012と、(4)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る手段1014と、(5)前記第4の関数をフーリエ変換して第5の関数を得る手段1016と、(6)前記第5の関数に前記原情報の分布のスペクトル分布の反転関数を乗じて第6の関数を得る手段1018と、(7)前記第6の関数を逆フーリエ変換して第7の関数を得る手段1020と、(8)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る手段1022と、インパルス応答の次の推定分布をインパルス応答の推定分布に置き換えて、前記(1)から(8)の手段に繰返し処理を実施させる手段1024と、インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の分布を得て出力する手段1026を備えている。
上述した劣化情報の復元方法は、下記のような装置を用いることによって、好適に実施することができる。図9、図10および図11に本発明の装置1100の機能ブロック図を例示する。本発明の装置1100は、劣化情報から原情報を復元する装置である。その装置1100は、劣化情報の分布を特定する手段1102と、原情報の最初の推定分布を特定する手段1104と、伝達系のインパルス応答の最初の推定分布を特定する手段1106と、(A)前記劣化情報の分布と、原情報の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する手段1108と、(B)前記劣化情報の分布と、原情報の推定分布と、インパルス応答の推定分布に基づいて、原情報の推定分布を更新する手段1110と、上記(A)と(B)の手段に交互に繰返し処理を実施させる手段1112と、原情報の推定分布に基づいて、原情報を出力する手段1114を備えている。
図10に前記(A)のインパルス応答の推定分布を更新する手段1108の機能ブロック図を例示する。前記(A)のインパルス応答の推定分布を更新する手段1108は、(A1)原情報の推定分布をフーリエ変換して、原情報の推定分布のスペクトル分布を得る手段1116と、(A2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る手段1118と、(A3)前記第1の関数に前記原情報の推定分布のスペクトル分布を乗じて第2の関数を得る手段1120と、(A4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段1122と、(A5)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る手段1124と、(A6)前記第4の関数をフーリエ変換して第5の関数を得る手段1126と、(A7)前記第5の関数に前記原情報の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る手段1128と、(A8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段1130と、(A9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る手段1132と、(A10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える手段1132を備えている。
図11に前記(B)の原情報の推定分布を更新する手段1110の機能ブロック図を例示する。前記(B)の原情報の推定分布を更新する手段1110は、(B1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る手段1134と、(B2)原情報の推定分布をフーリエ変換して第1の関数を得る手段1136と、(B3)前記第1の関数に前記周波数応答の推定分布を乗じて第2の関数を得る手段1138と、(B4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段1140と、(B5)前記劣化情報の分布を前記第3の関数で除して第4の関数を得る手段1142と、(B6)前記第4の関数をフーリエ変換して第5の関数を得る手段1144と、(B7)前記第5の関数に前記周波数応答の推定分布の反転関数を乗じて第6の関数を得る手段1146と、(B8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段1148と、(B9)原情報の推定分布に前記第7の関数を乗じて、原情報の次の推定分布を得る手段1150と、(B10)原情報の次の推定分布を原情報の推定分布に置き換える手段1150を備えている。
図10および図11に示すように、上記した劣化情報の復元装置1100において、前記(A)のインパルス応答の推定分布を更新する手段1108は、前記(A2)から(A10)の手段に繰返し処理を実施させる手段1152を備え、前記(B)の原情報の推定分布を更新する手段1110は、前記(B2)から(B10)の手段に繰返し処理を実施させる手段1154を備えることが好ましい。
本発明の周波数応答を推定する方法、プログラムあるいは装置を用いることで、劣化情報の分布と原情報の分布とに基づいて、伝達系の周波数応答を推定することができる。上記の技術を用いる場合、原情報の分布が特定の周波数帯を備えていない場合であっても、全ての周波数に対する周波数応答を取得することができる。
また本発明の原情報を復元する方法、プログラムあるいは装置を用いることで、劣化情報の分布のみに基づいて、周波数応答の推定と原情報の復元をすることができる。
上記した方法、プログラムあるいは装置は、ペプチド、タンパクを始めとする生体高分子のナノレベルの構造の動態可視化、天文学分野における画像解析への応用が可能である。
本発明の第1実施例に係る方法のフローチャートを示す図である。 本発明の第2実施例に係る方法のフローチャートを示す図である。 本発明の第2実施例に係る方法におけるPSFの推定の工程のフローチャートを示す図である。 本発明の第2実施例に係る方法における原画像の推定の工程のフローチャートを示す図である。 本発明の第1実施例に係る方法の概要を示す図である。 本発明の第2実施例に係る方法の概要を示す図である。 原画像から劣化画像への光学系を介した伝達を模式的に示す図である。 本発明の周波数応答の分布の推定装置1000の機能ブロック図である。 本発明の劣化情報の復元装置1100の機能ブロック図である。 復元装置1100の(A)インパルス応答の推定分布を更新する手段1108の機能ブロック図である。 復元装置1100の(B)原情報の推定分布を更新する手段1110の機能ブロック図である。 コンピュータのハードウェア構成例を示す図である。
符号の説明
10・・・原画像
12・・・光学系
14・・・劣化画像
52・・・PSFの実部の推定分布(繰返し数2回)
54・・・PSFの実部の推定分布(繰返し数50回)
56・・・PSFの実部の推定分布(繰返し数250回)
62・・・原画像の推定分布
64・・・PSFの実部の推定分布
502、504、506、508、510、512、514、516、518、520、522、524、526、528、530・・・第1実施例に係る方法の各ステップ
602、604、606、608、610、612、614、616・・・第2実施例に係る方法の各ステップ
702、704、706、708、710、712、714、716、718、720、
722、724、726・・・OTFの推定の工程の各ステップ
802、804、806、808、810、812、814、816、818、820、822、824・・・原画像の推定の工程の各ステップ
1000・・・周波数応答の分布の推定装置
1002、1004、1006、1008、1010、1012、1014、1016、1018、1020、1022、1024、1026・・・周波数応答の分布の推定装置を構成する各手段
1100・・・劣化情報の復元装置
1102、1104、1106、1108、1110、1112、1114、1116、1118、1120、1122、1124、1126、1128、1130、1132、1134、1136、1138、1140、1142、1144、1146、1148、1150、1152、1154・・・劣化情報の復元装置を構成する各手段
以下、本発明を具現化した実施例について図面を参照して説明する。
(第1実施例)
図面を参照しながら、本実施例の方法について説明する。図1は本実施例の方法を説明するフローチャートである。
本実施例では、図7に示すように、白黒の原画像10が、光学系12を介して伝達された結果、白黒の劣化画像14となった場合について、原画像10と劣化画像14から光学系12のOTFを推定する方法を扱う。上記の場合において、本実施例の方法は、白黒の原画像10と、白黒の劣化画像14とを用いて反復計算を実施し、光学系12のOTFを推定する。原画像10と劣化画像14は、それぞれの画像の大きさが同一であり、画像上の点の位置を(x、y)で表記することができる。
本実施例では、原画像10を記述する分布f(x、y)と、劣化画像14を記述する分布g(x、y)と、反復計算の過程で推定するPSFの分布h(x、y)(k=0,1,2,・・・)は、複素関数として扱い、それぞれの位相特性を考慮する。本実施例では、分布g(x、y)の実部を劣化画像における照度の分布とし、分布f(x、y)の実部を原画像における照度の分布とする。
まずステップ502では、劣化画像の分布g(x、y)を特定する。本実施例では、g(x、y)の位相特性は不明なため、g(x、y)の実部を劣化画像における照度の分布とし、g(x、y)の虚部は全て0とする。
ステップ504では、原画像の分布f(x、y)を特定する。本実施例では、f(x、y)の位相特性は不明なため、f(x、y)の実部を原画像における照度の分布とし、f(x、y)の虚部は全て0とする。
ステップ506では、光学系12のPSFの最初の推定分布h(x、y)を設定する。PSFの最初の推定分布h(x、y)としては、どのような分布を設定してもよい。本実施例の方法では、すべての(x、y)に対してh(x、y)=1となるように設定する。またステップ506では、反復計算の繰返し数kを0に設定する。
ステップ508では、原画像の分布f(x、y)をフーリエ変換して、その結果をF(s、t)に設定する。sはx方向の空間周波数であり、tはy方向の空間周波数である。上記のフーリエ変換は、二次元平面内での空間周波数に関するものであり、次式で定義される。
Figure 0004568730
上式および図1のFT()は、二次元フーリエ変換を示す。
上記したフーリエ変換は、高速フーリエ変換を用いることで好適に実施することができる。
上記によって計算される関数F(s、t)は、原画像分布f(x、y)の空間スペクトルを表す。
ステップ510では、推定されるPSF分布h(x、y)をフーリエ変換して、その結果を関数K(s、t)に設定する。関数K(s、t)は、第1の関数に相当する。kは非負の整数であり、反復計算の回数に応じて後のステップ526で増加していく。
ステップ512では、ステップ510で算出された関数K(s、t)に、ステップ508で算出された原画像のスペクトル分布F(s、t)を乗じて、関数K(s、t)を算出する。関数K(s、t)は、第2の関数に相当する。
ステップ514では、ステップ512で算出された関数K(s、t)を逆フーリエ変換して、その結果を関数L(x、y)に設定する。関数L(x、y)は、第3の関数に相当する。上記の逆フーリエ変換は、二次元平面内での空間周波数に関するスペクトルから、実空間の分布を算出するものであり、次式で定義される。
Figure 0004568730
上式および図1のFT−1()は、二次元の逆フーリエ変換を示す。
ステップ516では、ステップ502で特定された劣化画像分布g(x、y)を、ステップ514で算出された関数L(x、y)で除して、関数L(x、y)を算出する。関数L(x、y)は、第4の関数に相当する。
ステップ518では、ステップ516で算出された関数L(x、y)をフーリエ変換して、その結果を関数K(s、t)に設定する。関数K(s、t)は、第5の関数に相当する。
ステップ520では、ステップ518で算出された関数K(s、t)に、F(s、t)を乗じて、関数K(s、t)を算出する。関数K(s、t)は、第6の関数に相当する。F(s、t)は、ステップ508で算出された原画像のスペクトル分布F(s、t)の反転関数であって、F(s、t)=F(−s、−t)の関係を満たす。
ステップ522では、ステップ520で算出した関数K(s、t)を逆フーリエ変換して、その結果を関数L(x、y)に設定する。関数L(x、y)は、第7の関数に相当する。
ステップ524では、PSFの推定分布h(x、y)に、ステップ522で算出された関数L(x、y)を乗じて、改善されたPSFの推定分布hk+1(x、y)を算出する。前記関数L7は一般に虚部を備える複素関数となるから、上記の方法によってPSFの推定分布を位相特性も含めて改善することができる。
ステップ526では、改善されたPSFの推定分布hk+1(x、y)とPSFの推定分布hk(x、y)の差分を算出し、その差分の絶対値がすべての(x、y)に対してあるしきい値εを下回るか否かを判断する。前記差分の絶対値がある(x、y)に対してしきい値ε以上となる場合(ステップ526でNOの場合)、改善されたPSFの推定分布hk+1(x、y)は未だ収束に達していないと判断して、処理はステップ528へ進む。前記差分の絶対値がすべての(x、y)に対してしきい値εを下回る場合(ステップ526でYESの場合)、改善されたPSFの推定分布hk+1(x、y)は収束に達したと判断して、処理はステップ530へ進む。
ステップ528では、反復計算の繰り返し数kを1増加させる。処理はステップ510へ進み、ステップ510からステップ524までの処理を再度実施する。
ステップ530では、反復計算の結果得られたPSFの推定分布hk+1(x、y)をフーリエ変換して、光学系12のOTFの推定分布H(s、t)を算出する。
上記の方法によって算出されたH(s、t)は、ディスプレーに表示してもよいし、印刷装置を用いて紙に印刷してもよいし、ハードディスクなどの記憶装置に記憶してもよいし、通信回線を経由して他のコンピュータに送信してもよい。
図5に、上記の方法の方法によって劣化画像14と原画像10から光学系のOTF分布を推定する様子を示す。図5には、推定されるOTF分布に対応するPSF分布の実部を示している。PSFの推定分布52は、上記の反復計算を2回繰返した場合の結果を示し、PSFの推定分布54は、上記の反復計算を50回繰返した場合の結果を示し、PSFの推定分布56は、上記の反復計算を250回繰返した場合を示している。上記の反復計算の繰返し数を増やすことによって、推定されるPSF分布は収束していく。すなわち、推定されるOTF分布は収束していく。
(第2実施例)
本発明に係る他の一つの実施例を、図面を参照しながら説明する。
本実施例では、図7に示すように、白黒の原画像10が、光学系12を介して伝達された結果、白黒の劣化画像14となった場合について、劣化画像14のみに基づいて、原画像10の復元と、光学系12のOTFの推定を行う。上記の場合において、本実施例の方法は、原画像の分布とOTFの分布のそれぞれについて、適当な分布を仮定しておく。次に仮定した原画像の分布と劣化画像の分布とを用いた反復計算によって、改善された光学系12のOTF分布を推定する。次に、推定されたOTF分布と劣化画像の分布とを用いた反復計算によって、改善された原画像の分布を推定する。その後、改善された原画像の分布と劣化画像の分布を用いた反復計算を実施して、さらに改善されたOTF分布を推定する。上記のように、原画像分布の推定とOTF分布の推定を交互に繰返し実施していき、最終的にBayes理論に基づいた原画像の推定分布とOTFの推定分布を取得する。
原画像10と劣化画像14は、それぞれの画像の大きさが同一であり、画像上の点の位置を(x、y)で表記することができる。
本実施例では、劣化画像14を記述する分布g(x、y)と、反復計算の過程で推定される原画像10を記述する分布f(x、y)およびf (x、y)と、反復計算の過程で推定されるPSFの分布h(x、y)およびh (s、y)は、全て複素関数として扱い、それぞれの位相特定を考慮する。本実施例では、分布g(x、y)の実部を劣化画像における照度の分布とし、分布f(x、y)およびf (x、y)の実部を原画像における照度の推定分布とする。
図2に本実施例の画像復元方法のフローチャートを示す。
ステップ602では、劣化画像の分布g(x、y)を特定する。本実施例の方法では、g(x、y)の実部を劣化画像における照度の分布とし、g(x、y)の虚部を全て0とする。
ステップ604では、原画像の最初の推定分布f(x、y)を設定する。原画像の最初の推定分布f(x、y)としては、任意の分布を設定することができる。本実施例の方法では、原画像の最初の推定分布f(x、y)として、劣化画像の分布g(x、y)を用いる。一般的に、原画像の分布と劣化画像の分布は大きく異ならないと考えられるため、上記のように原画像の最初の推定分布f(x、y)を設定することによって、原画像の復元に伴う反復計算の回数を低減することができる。
またステップ604では、PSFの最初の推定分布h(x、y)を設定する。PSFの最初の推定分布h(x、y)としては、任意の分布を設定することができる。本実施例の方法では、PSFの最初の推定分布h(x、y)として、全ての(x、y)に対して実部が1であり、虚部が0である関数を用いる。
さらにステップ604では、反復計算の繰返し数kを0に設定する。
ステップ606では、反復計算の繰返し数kを1増加させる。
ステップ608では、PSFの推定分布h(x、y)を算出する。この計算については後述する。
ステップ610では、PSFの推定分布h(x、y)をフーリエ変換して、OTFの推定分布H(s、t)を算出する。
ステップ612では、原画像の推定分布f(x、y)を算出する。この計算については後述する。
ステップ614では、ステップ612で更新された原画像の推定分布f(x、y)と、更新される前の原画像の推定分布fk−1との差分を算出し、その差分がすべての(x、y)に対してあるしきい値εを下回るか否かを判断する。前記差分がある(x、y)に対してしきい値ε以上の場合(ステップ614でNOの場合)、原画像の推定分布f(x、y)は未だ収束に達していないと判断して、処理はステップ606へ進み、ステップ606からステップ612までの処理を再度繰返す。前記差分がすべての(x、y)に対してしきい値εを下回る場合(ステップ614でYESの場合)、原画像の推定分布f(x、y)は収束に達したと判断して、処理はステップ616へ進む。
ステップ616では、反復計算の結果得られた原画像の推定分布f(x、y)を、復元された原画像の分布f(x、y)に設定する。本実施例の方法では、反復計算の過程で画像を記述する分布を複素関数として扱っているため、上記で設定される原画像の分布f(x、y)は一般に複素関数となる。本実施例の方法では、復元された原画像の分布f(x、y)の実部が、原画像における照度の分布を表す。
上記の方法によって算出されたf(x、y)は、ディスプレーに表示してもよいし、印刷装置を用いて紙に印刷してもよいし、ハードディスクなどの記憶装置に記憶してもよいし、通信回線を経由して他のコンピュータに送信してもよい。
以下ではステップ608のh(x、y)の推定について詳細に説明する。本実施例の方法では、h(x、y)の推定として、図3のフローチャートに示すステップ702〜726の工程を実施する。
ステップ702では、h(x、y)の最初の推定分布h (x、y)を設定する。本実施例の方法では、すでに取得されているhk−1(x、y)を、h(x、y)の最初の推定h (x、y)とする。また、ステップ702では、h(x、y)の推定に係る反復計算の繰返し数mを0に設定する。
ステップ704では、原画像のスペクトルの推定分布F(s、t)を設定する。本実施例の方法では、すでに取得されている原画像の推定分布fk−1(x、y)をフーリエ変換して、その結果をF(s、t)とする。
ステップ706では、h(x、y)の推定分布h (x、y)をフーリエ変換して、その結果を関数K(s、t)に設定する。関数K(s、t)は、第1の関数に相当する。
ステップ708では、ステップ706で算出された関数K(s、t)に、ステップ704で算出された原画像のスペクトルの推定分布F(s、t)を乗じて、関数K(s、t)を算出する。関数K(s、t)は、第2の関数に相当する。
ステップ710では、ステップ708で算出された関数K(s、t)を逆フーリエ変換して、その結果を関数L(x、y)に設定する。関数L(x、y)は、第3の関数に相当する。
ステップ712では、図2のステップ604で特定された劣化画像分布g(x、y)を、図3のステップ710で算出された関数L(x、y)で除して、関数L(x、y)を算出する。関数L(x、y)は、第4の関数に相当する。
ステップ714では、ステップ712で算出された関数L(x、y)をフーリエ変換して、その結果を関数K(s、t)に設定する。関数K(s、t)は、第5の関数に相当する。
ステップ716では、ステップ714で算出された関数K(s、t)に、F(s、t)を乗じて、関数K(s、t)を算出する。関数K(s、t)は、第6の関数に相当する。F(s、t)は、ステップ704で算出された原画像のスペクトルの推定分布F(s、t)の反転関数であり、F(s、t)=F(−s、−t)の関係を満たす。
ステップ718では、ステップ716で算出された関数K(s、t)を逆フーリエ変換して、その結果を関数L(x、y)に設定する。関数L(x、y)は、第7の関数に相当する。
ステップ720では、h(x、y)の推定分布h (x、y)に、ステップ718で設定された関数L(x、y)を乗じて、その結果をh(x、y)の改善された推定分布h m+1(x、y)に設定する。
ステップ722では、h(x、y)の推定のための反復計算の繰返し数mを1増加させる。
ステップ724では、h(x、y)の推定のための反復計算の繰返し数mが、しきい値以上になったか否かを判断する。本実施例では、h(x、y)の推定のために実施する反復計算の回数を5回としている。繰り返し数mが5未満の場合(ステップ724でNOの場合)、処理はステップ706へ進み、ステップ706からステップ722までの処理を再度実施する。繰り返し数mが5以上の場合(ステップ724でYESの場合)、処理はステップ726へ進む。
ステップ726では、上記の反復計算の結果得られる分布h (x、y)を、h(x、y)の推定分布として設定する。
上記の反復計算は、劣化画像分布g(x、y)と、原画像分布fk−1(x、y)から、PSFの分布h(x、y)を推定することに相当する。原画像分布fk−1(x、y)が、真の原画像分布f(x、y)に近いほど、上記の反復計算によって推定されるh(x、y)は、真のPSFの分布h(x、y)に近づく。
以下では図2のステップ612のf(x、y)の推定について詳細に説明する。本実施例の方法では、f(x、y)の推定として、図4のフローチャートに示すステップ802〜824の工程を実施する。
ステップ802では、f(x、y)の最初の推定分布f (x、y)を設定する。本実施例の方法では、既に取得されているfk−1(x、y)を、f(x、y)の最初の推定分布f (x、y)として設定する。また、ステップ802では、f(x、y)の推定のための反復計算の繰返し数nを0に設定する。
ステップ804では、f(x、y)の推定分布f (x、y)をフーリエ変換して、その結果を関数K(s、t)に設定する。関数K(s、t)は、第1の関数に相当する。
ステップ806では、ステップ804で算出された関数K(s、t)に、図2のステップ610で算出されたOTFの推定分布H(s、t)を乗じて、関数K(s、t)を算出する。関数K(s、t)は、第2の関数に相当する。
ステップ808では、ステップ806で算出された関数K(s、t)を逆フーリエ変換して、その結果を関数L(x、y)に設定する。関数L(x、y)は、第3の関数に相当する。
ステップ810では、図2のステップ602で特定された劣化画像分布g(x、y)を、図4のステップ808で算出された関数L(x、y)で除して、関数L(x、y)を算出する。関数L(x、y)は、第4の関数に相当する。
ステップ812では、ステップ810で算出された関数L(x、y)をフーリエ変換して、その結果を関数K(s、t)に設定する。関数K(s、t)は、第5の関数に相当する。
ステップ814では、ステップ812で算出された関数K(s、t)に、H (s、t)を乗じて、関数K(s、t)を算出する。H (s、t)は、図2のステップ610で算出されたOTFの推定分布H(s、t)の反転関数であり、H (s、t)=H(−s、−t)の関係を満たす。
ステップ816では、ステップ814で算出された関数K(s、t)を逆フーリエ変換して、その結果を関数L(x、y)に設定する。関数L(x、y)は、第7の関数に相当する。
ステップ818では、f(x、y)の推定分布f (x、y)に、ステップ816で算出された関数L(x、y)を乗じて、f(x、y)の改善された推定分布f n+1(x、y)を算出する。
ステップ820では、f(x、y)の推定のための反復計算の繰返し数nを1増加する。
ステップ822では、f(x、y)の推定のための反復計算の繰返し数nが、しきい値以上になったか否かを判断する。本実施例では、f(x、y)の推定のために実施する反復計算の回数を5回としている。繰り返し数nが5未満の場合(ステップ822でNOの場合)、処理はステップ804へ進み、ステップ804からステップ820までの処理を再度実施する。繰り返し数nが5以上の場合(ステップ822でYESの場合)、処理はステップ824へ進む。
ステップ824では、上記の反復計算の結果得られる分布f (x、y)を、f(x、y)の推定分布として設定する。
上記の反復計算は、劣化画像分布g(x、y)と、OTF分布H(s、t)とに基づいて、原画像分布f(x、y)を推定することに相当する。OTF分布H(s、t)が、真のOTF分布H(s、t)に近いほど、上記の反復計算によって推定されるf(x、y)は、真の原画像の分布f(x、y)に近づく。
図6に、上記の方法を用いて、劣化画像14のみに基づいて反復計算を実施して、原画像62を復元した結果を示す。劣化画像14では輪郭がぼやけてほとんど認識できない文字が、復元された原画像62でははっきりと文字として認識することができる。また、図6には原画像62の復元と並行して推定される光学系12のOTFに対応するPSFの実部の分布64を示す。
上記の実施例では、白黒の原画像を復元する場合を説明したが、原画像が色を備えている場合にも、同様の手法を用いて復元することができる。原画像が色を備えている場合には、原画像におけるRGBそれぞれの色成分の照度の分布fr(x、y)、fg(x、y)、fb(x、y)について、劣化画像におけるRGBそれぞれの色成分の照度の分布gr(x、y)、gg(x、y)、gb(x、y)に基づいて、上記の実施例の方法を用いて個別に推定することができる。例えば、原画像におけるRの色成分の照度の分布fr(x、y)は、劣化画像におけるRの色成分の照度の分布gr(x、y)を用いた反復計算によって、推定することができる。同様にして、原画像におけるGの色成分の照度の分布fg(x、y)、Bの色成分の照度の分布fb(x、y)についても、推定することが可能である。上記によって推定される原画像のRGBそれぞれの照度分布から、原画像を復元することができる。
上記の実施例では、反復計算の過程において、先にOTFの推定分布を更新して、次に原画像の推定分布を更新する例を説明した。OTFの推定分布の更新と、原画像の推定分布の更新は、交互に繰返し実施すればよいため、先に原画像の推定分布を更新して、次にOTFの推定分布を更新してもよい。
以上、本発明の実施形態について詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims (9)

  1. 画像と劣化画像から光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の分布を推定する方法であって、
    劣化画像の分布を特定する工程と、
    画像の分布のスペクトル分布を特定する工程と、
    光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する工程と、
    (1)PSFの推定分布をフーリエ変換して第1の関数を得る工程と、
    (2)前記第1の関数に前記原画像の分布のスペクトル分布を乗じて第2の関数を得る工程と、
    (3)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
    (4)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
    (5)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
    (6)前記第5の関数に前記原画像の分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
    (7)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
    (8)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る工程と、
    PSFの次の推定分布をPSFの推定分布に置き換えて、前記(1)から(8)の工程を繰返す工程と、
    PSFの推定分布をフーリエ変換して、OTFの分布を得て出力する工程とを備えることを特徴とするOTFの分布の推定方法。
  2. 劣化画像から原画像を復元する方法であって、
    劣化画像の分布を特定する工程と、
    画像の最初の推定分布を特定する工程と、
    光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する工程と、
    (A)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、PSFの推定分布を更新する工程と、
    (B)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、原画像の推定分布を更新する工程と、
    上記(A)と(B)の工程を交互に繰返す工程と、
    画像の推定分布に基づいて、原画像を出力する工程と
    を備え、
    前記(A)のPSFの推定分布を更新する工程は、
    (A1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る工程と、
    (A2)PSFの推定分布をフーリエ変換して第1の関数を得る工程と、
    (A3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る工程と、
    (A4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
    (A5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
    (A6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
    (A7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
    (A8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
    (A9)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る工程と、
    (A10)PSFの次の推定分布をPSFの推定分布に置き換える工程と、
    を備え、
    前記(B)の原画像の推定分布を更新する工程は、
    (B1)PSFの推定分布をフーリエ変換して、光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の推定分布を得る工程と、
    (B2)原画像の推定分布をフーリエ変換して第1の関数を得る工程と、
    (B3)前記第1の関数に前記OTFの推定分布を乗じて第2の関数を得る工程と、
    (B4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
    (B5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
    (B6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
    (B7)前記第5の関数に前記OTFの推定分布の反転関数を乗じて第6の関数を得る工程と、
    (B8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
    (B9)原画像の推定分布に前記第7の関数を乗じて、原画像の次の推定分布を得る工程と、
    (B10)原画像の次の推定分布を原画像の推定分布に置き換える工程とを備えることを特徴とする、劣化画像の復元方法。
  3. 前記(A)のPSFの推定分布を更新する工程は、
    前記(A2)から(A10)の工程を繰返し実行し、
    前記(B)の原画像の推定分布を更新する工程は、
    前記(B2)から(B10)の工程を繰返し実行する、
    ことを特徴とする請求項2の劣化画像の復元方法。
  4. 請求項1の方法における各工程をコンピュータに実行させるためのプログラム。
  5. 請求項2の方法における各工程をコンピュータに実行させるためのプログラム。
  6. 請求項3の方法における各工程をコンピュータに実行させるためのプログラム。
  7. 画像と劣化画像から光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の分布を推定する装置であって、
    劣化画像の分布を特定する手段と、
    画像の分布のスペクトル分布を特定する手段と、
    光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する手段と、
    (1)PSFの推定分布をフーリエ変換して第1の関数を得る手段と、
    (2)前記第1の関数に前記原画像の分布のスペクトル分布を乗じて第2の関数を得る手段と、
    (3)前記第2の関数を逆フーリエ変換して第3の関数を得る手段と、
    (4)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る手段と、
    (5)前記第4の関数をフーリエ変換して第5の関数を得る手段と、
    (6)前記第5の関数に前記原画像の分布のスペクトル分布の反転関数を乗じて第6の関数を得る手段と、
    (7)前記第6の関数を逆フーリエ変換して第7の関数を得る手段と、
    (8)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る手段と、
    PSFの次の推定分布をPSFの推定分布に置き換えて、前記(1)から(8)の手段に繰返し処理を実施させる手段と、
    PSFの推定分布をフーリエ変換して、OTFの分布を得て出力する手段とを備えることを特徴とするOTFの分布の推定装置。
  8. 劣化画像から原画像を復元する装置であって、
    劣化画像の分布を特定する手段と、
    画像の最初の推定分布を特定する手段と、
    光学系の点像強度分布関数(PSF;Point Spread Function)の最初の推定分布を特定する手段と、
    (A)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、PSFの推定分布を更新する手段と、
    (B)前記劣化画像の分布と、原画像の推定分布と、PSFの推定分布に基づいて、原画像の推定分布を更新する手段と、
    上記(A)と(B)の手段に交互に繰返し処理を実施させる手段と、
    画像の推定分布に基づいて、原画像を出力する手段と
    を備え、
    前記(A)のPSFの推定分布を更新する手段は、
    (A1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る手段と、
    (A2)PSFの推定分布をフーリエ変換して第1の関数を得る手段と、
    (A3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る手段と、
    (A4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段と、
    (A5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る手段と、
    (A6)前記第4の関数をフーリエ変換して第5の関数を得る手段と、
    (A7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る手段と、
    (A8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段と、
    (A9)前記PSFの推定分布に前記第7の関数を乗じて、PSFの次の推定分布を得る手段と、
    (A10)PSFの次の推定分布をPSFの推定分布に置き換える手段と、
    を備え、
    前記(B)の原画像の推定分布を更新する手段は、
    (B1)PSFの推定分布をフーリエ変換して、光学系の位相特性を反映した光学的伝達関数(OTF;Optical Transfer Function)の推定分布を得る手段と、
    (B2)原画像の推定分布をフーリエ変換して第1の関数を得る手段と、
    (B3)前記第1の関数に前記OTFの推定分布を乗じて第2の関数を得る手段と、
    (B4)前記第2の関数を逆フーリエ変換して第3の関数を得る手段と、
    (B5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る手段と、
    (B6)前記第4の関数をフーリエ変換して第5の関数を得る手段と、
    (B7)前記第5の関数に前記OTFの推定分布の反転関数を乗じて第6の関数を得る手段と、
    (B8)前記第6の関数を逆フーリエ変換して第7の関数を得る手段と、
    (B9)原画像の推定分布に前記第7の関数を乗じて、原画像の次の推定分布を得る手段と、
    (B10)原画像の次の推定分布を原画像の推定分布に置き換える手段とを備えることを特徴とする、劣化画像の復元装置。
  9. 前記(A)のPSFの推定分布を更新する手段は、
    前記(A2)から(A10)の手段に繰返し処理を実施させる手段を備え、
    前記(B)の原画像の推定分布を更新する手段は、
    前記(B2)から(B10)の手段に繰返し処理を実施させる手段を備える、
    ことを特徴とする請求項8の劣化画像の復元装置。
JP2006540969A 2004-10-14 2005-10-13 劣化情報復元方法と復元装置 Active JP4568730B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004300206 2004-10-14
JP2004300206 2004-10-14
PCT/JP2005/018866 WO2006041127A1 (ja) 2004-10-14 2005-10-13 劣化情報復元方法と復元装置

Publications (2)

Publication Number Publication Date
JPWO2006041127A1 JPWO2006041127A1 (ja) 2008-05-22
JP4568730B2 true JP4568730B2 (ja) 2010-10-27

Family

ID=36148414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006540969A Active JP4568730B2 (ja) 2004-10-14 2005-10-13 劣化情報復元方法と復元装置

Country Status (5)

Country Link
US (1) US8019803B2 (ja)
EP (1) EP1801753B1 (ja)
JP (1) JP4568730B2 (ja)
KR (1) KR100907120B1 (ja)
WO (1) WO2006041127A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070085363A (ko) 2004-10-14 2007-08-27 라이트론 가부시키가이샤 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체
JP4825748B2 (ja) * 2007-07-13 2011-11-30 株式会社モルフォ 画像データ処理方法および撮像装置
JP5060967B2 (ja) * 2008-01-09 2012-10-31 ライトロン株式会社 劣化した画像を復元する装置、方法およびプログラム
JP5164754B2 (ja) * 2008-09-08 2013-03-21 株式会社日立ハイテクノロジーズ 走査型荷電粒子顕微鏡装置及び走査型荷電粒子顕微鏡装置で取得した画像の処理方法
JP5627256B2 (ja) 2010-03-16 2014-11-19 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5564533B2 (ja) * 2012-06-04 2014-07-30 ライトロン株式会社 天体撮像装置、天体撮像方法およびプログラム
JP5615393B2 (ja) 2013-01-28 2014-10-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6126523B2 (ja) 2013-12-11 2017-05-10 満男 江口 Tv映像向け加速超解像処理方法及び同方法によるtv映像向け加速超解像処理装置、第1〜6加速超解像処理プログラム、並びに第1〜2記憶媒体
JP6155182B2 (ja) 2013-12-11 2017-06-28 満男 江口 Tv映像向け超解像処理方法および同方法によるtv映像向け超解像処理装置、第1〜第14超解像処理プログラム、並びに第1〜第4記憶媒体
JP6129759B2 (ja) 2014-02-03 2017-05-17 満男 江口 Simd型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体
KR20150118731A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
CN113252007B (zh) * 2021-06-28 2021-09-24 常州微亿智造科技有限公司 用于工件质检的飞拍控制参数确定方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258057A (ja) * 1997-12-26 1999-09-24 Japan Science & Technology Corp 複素信号検出方法、複素顕微鏡、および複素回折装置
JP2000123168A (ja) * 1998-10-19 2000-04-28 Risou Kagaku Kenkyusho:Kk ぼけ補正用逆フィルタ決定装置と方法、ぼけ補正機能を備える画像装置、及び記録媒体
JP2004186901A (ja) * 2002-12-02 2004-07-02 Sony Corp 撮像装置及び方法、プログラム及び記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5414782A (en) * 1992-12-16 1995-05-09 The United States Of Amercia As Represented By The Secretary Of Commerce Procedure for digital image restoration
JPH07334668A (ja) 1994-06-10 1995-12-22 Canon Inc 画像処理方法及び装置
KR100247938B1 (ko) * 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US6200266B1 (en) * 1998-03-31 2001-03-13 Case Western Reserve University Method and apparatus for ultrasound imaging using acoustic impedance reconstruction
EP1281074B1 (en) * 2000-01-31 2005-10-12 Bjorn A. J. Angelsen Correction of phasefront aberrations and pulse reverberations in medical ultrasound imaging
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
WO2004075107A2 (en) 2003-02-18 2004-09-02 Oklahoma Medical Research Foundation Extended depth of focus microscopy
KR20070085363A (ko) 2004-10-14 2007-08-27 라이트론 가부시키가이샤 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258057A (ja) * 1997-12-26 1999-09-24 Japan Science & Technology Corp 複素信号検出方法、複素顕微鏡、および複素回折装置
JP2000123168A (ja) * 1998-10-19 2000-04-28 Risou Kagaku Kenkyusho:Kk ぼけ補正用逆フィルタ決定装置と方法、ぼけ補正機能を備える画像装置、及び記録媒体
JP2004186901A (ja) * 2002-12-02 2004-07-02 Sony Corp 撮像装置及び方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JPWO2006041127A1 (ja) 2008-05-22
EP1801753B1 (en) 2016-12-07
US8019803B2 (en) 2011-09-13
EP1801753A1 (en) 2007-06-27
EP1801753A4 (en) 2010-03-10
KR100907120B1 (ko) 2009-07-09
WO2006041127A1 (ja) 2006-04-20
US20090013020A1 (en) 2009-01-08
KR20070085364A (ko) 2007-08-27

Similar Documents

Publication Publication Date Title
JP4568730B2 (ja) 劣化情報復元方法と復元装置
JP4575387B2 (ja) 劣化情報復元方法と復元装置
US11783231B2 (en) System and method for joint image refinement and perception
Lanza et al. A generalized Krylov subspace method for \ell_p-\ell_q minimization
JP6344934B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
KR102319643B1 (ko) 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
Agarwal et al. Deep-url: A model-aware approach to blind deconvolution based on deep unfolded richardson-lucy network
JP2017010093A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2019023798A (ja) 超解像装置およびプログラム
JP7294275B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP5198500B2 (ja) 信号処理装置及びプログラム
JP2014099048A (ja) 画像復元装置および画像復元方法
Wei et al. Image denoising with deep unfolding and normalizing flows
Petrovici et al. Maximum entropy principle in image restoration
Khosravi et al. A new statistical technique for interpolation of landsat images
Gavaskar et al. Regularization using denoising: Exact and robust signal recovery
Dar et al. Modular admm-based strategies for optimized compression, restoration, and distributed representations of visual data
Pustelnik et al. Proximal methods for image restoration using a class of non-tight frame representations
Colonna et al. The multichannel deconvolution problem: a discrete analysis
Mourya et al. Distributed Deblurring of Large Images of Wide Field-Of-View
Varela et al. Estimation of non-uniform blur using a patch-based regression convolutional neural network (CNN)
JP5750349B2 (ja) 画像復元装置、画像復元方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

R150 Certificate of patent or registration of utility model

Ref document number: 4568730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250