KR20070085364A - 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 - Google Patents
열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 Download PDFInfo
- Publication number
- KR20070085364A KR20070085364A KR1020077010930A KR20077010930A KR20070085364A KR 20070085364 A KR20070085364 A KR 20070085364A KR 1020077010930 A KR1020077010930 A KR 1020077010930A KR 20077010930 A KR20077010930 A KR 20077010930A KR 20070085364 A KR20070085364 A KR 20070085364A
- Authority
- KR
- South Korea
- Prior art keywords
- distribution
- function
- estimated
- estimated distribution
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 131
- 230000015556 catabolic process Effects 0.000 title claims abstract description 15
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 522
- 230000004044 response Effects 0.000 claims description 111
- 230000001131 transforming effect Effects 0.000 claims description 55
- 230000006866 deterioration Effects 0.000 claims description 50
- 230000005540 biological transmission Effects 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 15
- 230000003252 repetitive effect Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 abstract description 22
- 238000007476 Maximum Likelihood Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 66
- 230000003287 optical effect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
Abstract
본 발명에서는 열화 정보의 분포만을 이용한 반복 계산을 실시함으로써, 원정보의 분포를 정확하게 복원하는 것이 가능한 기술을 제공한다. 본 발명의 방법은 열화 정보에만 근거하여 원정보를 복원하는 방법이다. 본 발명의 방법에서는 열화 정보의 분포, 원정보의 분포를, 확률 밀도 함수의 분포로서 파악하고, 전달계의 전달 함수를 조건부 확률의 확률 밀도 함수로서 파악한다. 상기의 확률 밀도 함수에 대한 Bayes의 이론에 근거하는 반복 계산에 의하여, 열화 정보의 분포에 대하여 최대로 그럴듯한 원정보의 분포의 추정과, 전달 함수의 분포의 추정을 교대로 실시해 나가서 최종적으로 원정보를 복원한다.
Description
본 발명은 열화(劣化) 정보의 복원에 관한 것이다. 상세하게는, 전달함으로써 열화한 정보로부터 원(原)정보를 복원하는 방법과 장치에 관한 것이다.
전달함으로써 열화한 정보로부터 원정보를 정확하게 추정하고 싶다고 하는 요구가 존재한다. 이와 같은 경우에는 일반적으로 전달계의 전달 함수를 이용한 추정이 이용된다. 전달계의 전달 함수가 이미 알려져 있고, 원정보의 모든 주파수 영역에 대하여 전달 함수가 0 이 아닌 값을 가지는 경우에는, 전달 함수의 역필터를 이용하여 전달 후의 정보로부터 원정보를 완전하게 복원할 수 있다.
상기한 방법에 따르는 복원은 전달 함수가 어느 주파수 영역에서 0 으로 되는 경우에는 그대로 적용할 수 없다. 상기의 역필터는 전달 함수가 0 으로 되는 주파수 영역에 있어서 정의할 수 없기 때문이다. 따라서, 이와 같은 전달계에서는 전달 함수가 0 으로 되는 주파수 영역의 정보가 전달의 과정에서 없어진다. 즉, 정보를 전달하는 경우, 그 정보는 본래의 상태로 전해지지 않고, 전달의 과정에서 열화한다. 예를 들면 광학계의 상을 전달하는 경우에는 그 상은 수차(收差)나 기기의 오차에 기인하여 섬세한 미세 부분, 즉 공간 주파수가 높은 부분이 컷트되어서 열 화하고, 열화한 상태로 인식된다.
상기와 같이 전달의 과정에서 특정의 주파수 영역이 제거되어서 열화한 정보에 관하여, 전달계의 전달 특성과 열화 후의 정보에 근거하여 복원하는 기술이 제안되고 있다. 열화한 정보를 복원하는 기술은 주로 화상 처리의 분야에 있어서 제안되고 있다. 열화한 화상을 복원하는 기술로서는 예를 들면 비특허 문헌 1 이나 2에 기재된 Richardson-Lucy 알고리즘을 이용하는 방법이 알려져 있다.
Richardson-Lucy 알고리즘을 이용하는 방법에서는 화상에 있어서 광의 결상을 하나의 사상(事象)으로서 파악하고 확률 통계의 기술 분야에서 이용되고 있는 수법을 이용하여 원화상을 복원한다. Richardson-Lucy 알고리즘을 이용하는 방법에서는 원화상에 있어서 조도의 분포에 관하여, 그 분포를 정규화하고, 원화상에 있어서 광의 결상이라고 하는 사상의 확률 밀도 함수의 분포로서 파악한다. 또 열화 화상에 있어서 조도의 분포에 관하여, 그 분포를 정규화하여, 열화 화상에 있어서 광의 결상이라고 하는 사상의 확률 밀도 함수의 분포로서 파악한다. 상기와 같이 생각하면, 광학계의 전달 특성인 점상 강도 분포 함수(PSF ; Point Spread Function)는 원화상에 광의 점이 결상하고 있다는 조건하에서 열화 화상에 광이 결상하는 확률의 분포를 나타내는 조건부 확률의 확률 밀도 함수의 분포로서 파악할 수 있다. Richardson-Lucy 알고리즘을 이용하는 방법에서는 열화 화상의 분포와 PSF의 분포의 각각을 이용하여, Bayes의 이론에 근거하여 열화 화상의 분포를 실현하는 원화상의 분포 중에서 최대로 그럴듯한 분포(most probable distribution)를 반복 계산에 의하여 추정한다. PSF의 분포는 예를 들면 광학계의 파라미터로부터 계산에 의하여 산출할 수도 있고, 실제로 점상을 전달했을 경우의 화상의 분포를 실험으로 구하여 산출할 수도 있다.
상기의 Richardson-Lucy 알고리즘을 이용하는 방법은 열화한 화상을 복원하는 방법이지만, 동일한 방법을 이용하는 것에 의하여, 예를 들면 전위의 시간 이력(history of electric potential)이라고 하는 다른 종류의 정보에 대해서도, 열화 후의 정보로부터 원정보를 복원하는 것이 가능하다. 비특허 문헌 1 : W.H. 리차드슨(W.H.Richardson), 「베이즈 이론에 근거하는 화상 복원의 반복 계산 방법」("Bayesian-based iterative method of image restoration"), 미국 광학회지(Journal of Optical society of America),(미국), 1972년, 62권, p55-59
비특허 문헌 2 : L.B. 루시(L.B.Lucy), 「관측되는 분포를 수정하는 반복 계산 수법」("An iterative technique for the rectification of observed distributions"), 아스트로노미컬·저널(Astronomical Journal), (미국), 1974년, 79권, p745-754
Richardson-Lucy 알고리즘을 이용하면, 열화한 화상은 꽤 양호하게 복원된다. 원화상에 문자가 표시되어 있고, 열화 화상에서는 그 문자를 완전히 인식할 수 없을 만큼 화상이 열화하고 있어도, Richardson-Lucy 알고리즘을 이용하여 추정된 원화상에서는 어떻게든 그 문자를 판독할 수 있는 정도로는 복원할 수 있다.
상기와 같이 열화 화상으로부터 원화상을 복원하기 위해서는 광학계의 전달 특성을 정확하게 평가하는 것이 필요하게 된다. 원화상을 복원하는 과정에서는 광학계의 전달 특성에 근거한 추정을 실시하기 때문에, 광학계의 전달 특성이 부정확 한 경우에는 복원되는 원화상도 부정확한 것으로 되어 버린다. 열화 화상에 근거하는 원화상의 복원을 실시하는 경우, 광학계의 전달 특성에 관한 정확한 평가가 필요 불가결하다.
그러나, 광학계의 전달 특성을 정확하게 평가하는 것이 곤란한 경우가 있다. 광학계의 전달 특성은 렌즈의 개구수, 조명 파장, 수차, 디포커스(defocus) 등의 파라미터에 근거하여 산출된다. 이러한 파라미터 중 어떤 것이 불명한 경우나, 어떤 것이 부정확한 경우에는 산출되는 광학계의 전달 특성은 부정확한 것으로 되어 버린다. 이와 같이 광학계의 전달 특성이 부정확한 경우에는 상술한 바와 같은 종래의 화상 복원 방법을 이용하여 정확하게 원화상을 복원할 수 없다. 원화상의 복원에 앞서 광학계의 전달 특성의 정확한 평가가 필요하다.
또, 광학계의 전달 특성이 전혀 판명되지 않고, 열화 화상에만 근거하여 원화상을 복원하고 싶은 경우가 있다. 이와 같은 경우, 종래의 화상 복원 방법을 이용하지 못하여 원화상을 복원할 수 없었다.
본 발명에서는 상기 과제를 해결한다. 본 발명에서는 열화 정보의 분포와 원정보의 분포에 근거하여 반복 계산을 실시함으로써, 전달계의 전달 특성을 정확하게 추정하는 것이 가능한 기술을 제공한다.
또 본 발명에서는 열화 정보의 분포에만 근거하여 반복 계산을 실시함으로써, 전달계의 전달 특성과 원정보의 분포의 쌍방을 정확하게 추정하는 것이 가능한 기술을 제공한다.
본 발명의 하나의 방법은 원정보와 열화 정보로부터 전달계의 주파수 응답의 분포를 추정하는 방법이다. 이 방법은 열화 정보의 분포를 특정하는 공정과, 원정보의 분포의 스펙트럼 분포를 특정하는 공정과, 전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 공정을 구비하고 있다. 또한, (1) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 공정과, (2) 상기 제1의 함수에 상기 원정보의 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 공정과, (3) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 공정과, (4) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 공정과, (5) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 공정과, (6) 상기 제5의 함수에 상기 원정보의 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 공정과, (7) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 공정과, (8) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응답의 다음 추정 분포를 얻는 공정을 한 사이클로 하는 공정 그룹을 구비하고 있다. 또한, 상기 사이클의 공정 (8)에서 얻어진 임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하고, 상기 (1)부터 (8)의 공정을 반복 반복하는 공정과, 임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 분포를 얻어 출력하는 공정을 구비하고 있다.
본 명세서에서 임펄스 응답이란 원정보의 분포가 단위 임펄스 함수로 주어지는 경우의 열화 정보의 분포를 나타낸다. 정보로서 화상을 취급하는 경우에는 임펄스 응답이란 PSF의 분포를 가리킨다.
본 명세서에서 주파수 응답이란 원정보의 분포의 스펙트럼 분포에 대한, 열화 정보의 분포의 스펙트럼 분포의 비를 나타낸다. 정보로서 화상을 취급하는 경우에는 주파수 응답이란 광학적 전달 함수(OTF ; Optical Transfer Function)의 분포를 가리킨다.
본 발명의 방법으로 취급하는 정보로서는 화상에 한정하지 않고, 전기 신호의 시간 이력 등에 대해서도 적용이 가능하지만, 이하에서는 정보로서 화상을 취급하는 경우를 채택하고, 본 발명의 방법의 원리에 대하여 설명한다.
본 발명의 방법을 설명하기 위하여, 우선 최초로 Bayes의 이론에 근거하는 화상의 복원 방법에 대하여 설명한다. 이하에서는 원화상은 흑백의 화상이며, 어느 광학계를 통하여 원화상이 전달되고, 흑백의 열화 화상이 형성되는 경우에 대하여 설명한다. 이하에서는 원화상과 열화 화상은 각각의 크기가 동일하고, 화상내의 점의 위치를 좌표 (x, y)로 표현하는 것이 가능하고, 원화상의 조도 분포는 fr(x, y), 열화 화상의 조도 분포는 gr(x, y)로 표현되는 것으로 한다.
상기의 원화상의 분포 fr(x, y)와 gr(x, y)는 이하에 나타내는 2차원 푸리에 변환을 실시함으로써, x에 관한 공간 주파수 s와, y에 관한 공간 주파수 t에 대한 스펙트럼을 얻을 수 있다.
[식 1]
[식 2]
상기의 광학계의 OTF는 원화상의 분포 fr(x, y)의 공간 스펙트럼 Fr(s, t), 열화 화상의 분포 gr(x, y)의 공간 스펙트럼 Gr(s, t)에 대하여, 다음 관계를 만족시키는 복소(複素) 함수 Hr(s, t)를 말한다.
[식 3]
일반적인 광학계의 경우, 어떠한 원화상의 분포 fr(x, y)에 대해서도, 광학계와 촬영 조건에 의하여 정해지는 OTF인 Hr(s, t)를 이용하여 열화 후의 화상 gr(x, y)를 얻을 수 있다.
복소 함수인 OTF는 복소 진폭의 크기를 나타내는 진폭 전달 함수(MTF ; Modulation Transfer Function) Mt(s, t)와, 위상 편이를 나타내는 위상 전달 함수(PTF ; Phase Transfer Function) Pt(s, t)를 이용하여 다음 식으로 표현된다.
[식 4]
상기의 OTF를 이용하는 것에 의하여, 광학계의 위상에 관한 특성에 대해서도 정확하게 평가할 수 있다. 상기의 OTF는 광학계의 특성 파라미터로부터 계산하는 것이 가능하다.
본 발명의 방법에서는 원화상의 분포와 열화 화상의 분포를 확률 밀도 함수로서 취급하고, Bayes의 이론에 근거하여 원화상의 추정을 실시한다. 상기에서 설정된 원화상 분포 fr(x, y)와 열화 화상 분포 gr(x, y)는 하기와 같은 정규화를 실시함으로써, 확률 밀도 함수로서 취급하는 것이 가능하게 된다.
[식 5]
[식 6]
상기의 정규화에 맞추어서, 광학적 전달 함수 Hr(s, t)에 대해서도 정규화한다. Hr(s, t)는 공간 주파수가 0의 점에 있어서의 값을 이용하여 정규화한다.
[식 7]
정규화된 원화상의 분포 f(x, y)와 열화 화상의 분포 g(x, y)는 비부(非負)의 함수이며, 정의된 영역에서의 적분값이 1 이기 때문에, 확률 밀도 함수로서 취급할 수 있다. 상기의 경우에 있어서, f(x, y)는 원화상의 좌표 (x, y)에 있어서 결상이라고 하는 사상의 확률 밀도 함수이다. g(x, y)는 열화 화상의 좌표 (x, y)에 있어서 결상이라고 하는 사상의 확률 밀도 함수이다.
원화상 및 열화 화상의 분포를 확률 밀도 함수로 보는 것이 가능한 경우, Bayes의 이론에 근거하여 열화 화상의 분포로부터 그 열화 화상을 일으키게 하고 있는 원화상의 분포를 추정할 수 있다.
원화상의 좌표 (x1, y1)에 있어서 점광원이 존재하는 사상을 V(x1, y1), 열화 화상의 좌표 (x2, y2)에 있어서 점상이 결상하는 사상을 A(x2, y2)로 했을 경우, 각각의 사상의 확률 P(V) 및 P(A)는 이하로 표현된다.
[식 8]
[식 9]
또, 원화상의 좌표 (x1, y1)에 점광원이 존재하고 있는 경우에, 열화 화상의 좌표 (x2, y2)에 결상하는 확률은 사상 V(x1, y1)의 발생을 조건으로 하는 사상 A(x2, y2)의 발생 확률이다. 상기의 확률은 광학계의 PSF인 h(x, y)를 이용하여 이하로 표현된다.
[식 10]
Bayes의 이론에 근거하면, 열화 화상내의 점 (x2, y2)에 점상을 결상시키는 경우의 원화상의 분포 P(V(x, y)|A(x2, y2))는 이하로 추정된다.
[식 11]
상기 식의 우변의 P(V(x, y)), P(A(x2, y2)|V(x, y))에, 식 (8) 및 식 (10)을 대입하면, 다음 식을 얻는다.
[식 12]
상기 식의 좌변은 열화 화상에 있어서 점상이 결상하고 있는 경우에, 추정되는 원화상의 분포를 나타내고 있다. 상기 식에 열화 화상의 분포 g(x, y)를 곱하여 적분함으로써, 열화 화상의 분포 g(x, y)를 실현하기 위한 원화상의 분포 f(x, y)를 얻을 수 있다.
상기 식의 양변에, P(A(x2, y2))=g(x2, y2)를 곱하여, 모든 (x2, y2)에 관하여 적분하면, 다음 식을 얻을 수 있다.
[식 13]
상기 식의 좌변에 식 (9)을 대입하면, 그 적분의 결과는 P(V(x, y))이며, f(x, y)에 동일하다. 따라서, Bayes의 이론에 근거하면 이하의 관계가 성립된다.
[식 14]
상기의 관계는 분포 f(x, y)가 진정한 원화상의 분포인 경우에 성립한다고 생각된다. 즉, 상기 식을 만족하는 분포 f(x, y)를 산출하는 것이 열화 화상의 복원에 상당한다.
상기의 관계를 만족시키는 분포 f(x, y)는 식 (14)의 우변의 f(x, y)를 fk(x, y)로 하고, 식 (14)의 좌변의 f(x, y)를 fk +1(x, y)로 하여, fk(x, y)에 관한 반복 계산을 실시하여, fk(x, y)의 수속(收束)값을 구함으로써 산출할 수 있다. 상기의 반복 계산에 의하여 구해지는 fk(x, y)의 수속값은 Bayes의 이론에 근거하는 원화상의 추정 분포에 상당한다.
상기에서는 원화상의 분포 f(x, y)나 열화 화상의 분포 g(x, y)를 정규화했을 경우에 대하여 설명하였으나, 실제의 반복 계산을 실시하는데 있어서는 이러한 분포는 정규화하는 일 없이 그대로 사용할 수 있다.
상기의 반복 계산에 있어서는 반복 계산을 실시하기 전에, 원화상의 최초의 추정 분포 fo(x, y)를 설정해 둔다. 최초의 추정 분포 fo(x, y)로서는 임의의 분포를 설정할 수 있다. 일반적으로는 열화 화상의 분포 g(x, y)는 원화상의 분포 f(x, y)로부터 크게 다르지 않기 때문에, 최초의 추정 분포 fo(x, y)로서는 열화 화상의 분포 g(x, y)를 이용하는 것이 바람직하다.
식 (14)의 우변은 PSF인 h(x, y)를 가지는 중첩 적분(convolution integral)을 구비하고 있다. 일반적으로, 광학계의 위상 특성까지 포함하여 PSF를 정확하게 평가하는 것은 곤란하고, 상기의 반복 계산을 정확한 위상 특성을 포함시켜서 실시하는 것은 곤란하다. 정확한 위상 특성을 포함하지 않는 PSF를 이용한 반복 계산은 잘못된 수속의 결과를 가져오기 때문에, 원화상의 정확한 복원의 방해로 된다.
여기서, PSF 대신에 정확한 위상 특성을 포함하게 하는 것이 용이한 OTF를 이용함으로써, 보다 정확하게 원화상을 복원하는 것이 가능하게 된다. 또, 복원의 과정에서 위상 특성을 정확하게 평가하기 위하여, 원화상의 추정 분포 fk(x, y)(k=O,1,2, ···) 을 복소 함수에 확장하여, 그 실부(實部)가 화상 분포를 표현하는 것으로서 취급한다. 상기 식의 우변에, 푸리에 변환과 역푸리에 변환을 이용함으로써, OTF를 이용한 형식으로 변경할 수 있다. 푸리에 변환을 FT(), 역푸리에 변환을 FT-1()로 표현하면, 식 (14)은 이하로 표현된다.
[식 15]
상기의 반복 계산을, fk가 수속할 때까지 반복 실시함으로써, 원화상을 추정할 수 있다. fk가 수속하였는지의 여부의 판정은 예를 들면 반복 계산의 회수를 미리 설정해 두고, 반복 계산의 회수에 의하여 판정해도 되고, fk와 fk +1의 차분을 산출하고, 산출되는 차분의 절대값의 총합이 어느 문턱값 이하로 되는지의 여부로 판단해도 된다
상기한 원리를 이용하는 복원 방법은 이하에 나타내는 공정을 차례로 실시해 나가는 것으로 실현된다. 이하에서는 반복 계산에 의해 추정되는 원화상의 분포를 fk(k=O, 1,·· ·) 로 한다. 원화상의 추정 분포 fk는 복원의 과정에서 위상에 관한 특성을 정확하게 평가하기 위해 복소 함수로서 취급한다.
우선 전달계의 특성에 근거하여 OTF인 H(s, t)를 특정한다.
다음에 원화상의 최초의 추정 분포로서, fo(x, y)의 실부를 g(x, y)로 하고 fo(x, y)의 허부(虛部)를 0 으로 한다.
다음에 이하에 나타내는 연산을, fk(x, y)가 수속할 때까지 반복 실시한다. 여기서 FT()는 2차원의 푸리에 변환을 나타내고, FT- 1()는 2차원의 역푸리에 변환을 나타낸다. 또 H#(s, t)는 H(s, t)의 반전 함수이며, H#(s, t)=H(-s, -t)이다.
[식 16]
[식 17]
[식 18]
상기의 반복 계산을 반복 실시하여, 최종적인 원화상의 추정 분포 fk를 얻는다. 최종적으로 얻어지는 원화상의 추정 분포 fk(x, y)의 실부가 원화상의 복원 화상 f(x, y)에 상당한다.
상기의 방법에서는 원화상으로부터 열화 화상으로의 전달 특성으로서, 정확한 위상 특성을 고려한 OTF를 이용하여 반복 계산을 실시할 수 있다. 따라서, Richardson-Lucy 알고리즘을 이용하는 경우에 비해서, 보다 정확한 추정을 실시하는 것이 가능하다고 생각된다.
상기의 방법에서는 중첩 적분을 이용하지 않고 푸리에 변환과 역푸리에 변환과, 사칙 연산을 이용하여 원화상을 추정할 수 있다. 이 때문에, Richardson-Lucy 알고리즘를 이용하는 경우에 비해서, 처리에 필요로 하는 시간을 큰 폭으로 단축하는 것이 가능하게 된다.
상기한 방법을 이용함으로써, 이미 알고 있는 열화 화상 분포와 OTF 분포에 근거하여, 미지인 원화상 분포를 복원할 수 있다. 상기와 같은 원리에 의하여, OTF 분포가 미지인 경우에, 이미 알고 있는 열화 화상 분포와 원화상 분포에 근거하여 OTF 분포를 복원하는 것이 가능하게 된다.
식 (12)에 있어서, x2-x를 새롭게 x'로 하고, y2-y를 새롭게 y'로 하면, 다음 식을 얻을 수 있다.
[식 19]
상기 식의 양변에 P(A(x2, y2))를 곱한다.
[식 20]
상기 식의 좌변은 Bayes의 이론에 근거하면, P(A(x2, y2)|V(x2-x', y2-y'))×P(V(x2-x', y2-y')) 에 동일하다.
[식 21]
상기 식에 식 (8), 식 (9) 및 식 (10)을 대입한다.
[식 22]
상기 식의 양변을 (x2, y2)에 대하여 적분한다.
[식 23]
상기 식의 좌변의 적분은 1과 동일하기 때문에, 결국 Bayes의 이론에 근거하면, 이하의 관계가 성립한다.
[식 24]
상기 식의 관계를 만족시키는 h(x, y)가 산출되면, 산출된 h(x, y)를 푸리에 변환것에 의하고, OTF 분포 H(s, t)를 추정할 수 있다.
본 발명에 관한 방법에서는 식 (14)의 우변의 h(x, y)를 hk(x, y)로 하고, 식 (24)의 좌변의 h(x, y)를 hk +1(x, y)로 하고, hk(x, y)에 관한 반복 계산을 실시하여, hk(x, y)의 수속값을 구한다. 상기의 반복 계산에 의하여 구해지는 hk(x, y)의 수속값을 푸리에 변환하여, Bayes의 이론에 근거하는 OTF의 추정 분포 Hk(x, y)를 얻을 수 있다.
[식 25]
[식 26]
상기한 원리를 이용하는 OTF의 추정 방법은 이하에 나타내는 공정을 차례로 실시해 나가는 것으로 실현된다. 이하에서는 반복 계산에 의해 추정되는 PSF의 분포를 hk(k=0, 1,···) 로 한다. PSF의 추정 분포 hk는 반복 계산의 과정에서 위상에 관한 특성을 정확하게 평가하기 위하여, 복소 함수로서 취급한다.
우선 열화 화상의 분포 g(x, y)와, 원화상의 분포 f(x, y)를 특정한다. 본 발명의 방법에서는 g(x, y)의 실부를 열화 화상에 있어서 조도의 분포로 하고, g(x, y)의 허부를 0 으로 한다. 또 f(x, y)의 실부를 원화상에 있어서 조도의 분포로 하고, f(x, y)의 허부를 0 으로 한다.
다음에 원화상의 분포 f(x, y)를 푸리에 변환하여, 원화상의 분포의 스펙트럼 분포 F(s, t)를 산출한다.
다음에, PSF의 최초의 추정 분포 ho(x, y)를 특정한다. PSF의 최초의 추정 분포 ho(x, y)는 어떠한 분포라고 해도 좋다. 예를 들면, PSF의 최초의 추정 분포 ho(x, y)는 실부를 1 로 하고, 허부를 0 으로 한다.
다음에 이하에 나타내는 연산을, hk(x, y)가 수속할 때까지 반복 실시한다. 여기서 FT()는 2차원의 푸리에 변환을 나타내고, FT- 1()는 2차원의 역푸리에 변환을 나타낸다. 또 F#(s, t)는 F(s, t)의 반전 함수이며, F#(s, t)=F(-s, -t)이다.
[식 27]
[식 28]
[식 29]
hk(x, y)의 수속의 판정은 예를 들면 반복 계산의 회수가 미리 정해진 회수에 도달하였는지의 여부를 기준으로 판별해도 되고, hk(x, y)와 hk+1(x, y)의 차분의 분포를 산출하고, 그 차분의 절대값이 모든 (x, y)에 대하여 어느 문턱값 이하로 되는지의 여부를 기준으로 판별해도 되고, fk 와 fk+1의 차분을 산출하고, 산출되는 차분의 절대값을 (x, y)에 관하여 적분한 값이 어느 문턱값 이하로 되는지의 여부로 판단해도 된다.
hk(x, y)가 수속하면, 그것을 푸리에 변환하여, OTF의 추정 분포 Hk(s, t)를 산출한다.
상기의 방법을 이용하는 것에 의하여, 전달계의 OTF를 최적으로 추정할 수 있다. 본 발명의 방법을 이용하는 경우, 원화상 분포가 특정의 주파수대를 포함하지 않는 경우에도 모든 주파수대에 대한 OTF를 추정할 수 있다.
상기한 바와 같이, 열화 화상과 OTF가 이미 알려져 있으면 원화상을 복원하는 것이 가능하고, 열화 화상과 원화상이 이미 알려져 있으면 OTF를 추정하는 것이 가능하다.
이러한 방법을 조합하는 것에 의하여, 열화 화상에만 근거하여 OTF를 추정해, 원화상을 복원하는 것이 가능하게 된다.
본 발명의 다른 하나의 방법은 열화 정보로부터 원정보를 복원하는 방법이다. 그 방법은 열화 정보의 분포를 특정하는 공정과, 원정보의 최초의 추정 분포를 특정하는 공정과, 전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 공정과, (A) 상기 열화 정보의 분포와, 원정보의 추정 분포와, 임펄스 응답의 추정 분포에 근거하여 임펄스 응답의 추정 분포를 갱신하는 공정과, (B) 상기 열화 정보의 분포와, 원정보의 추정 분포와, 임펄스 응답의 추정 분포에 근거하여 원정보의 추정 분포를 갱신하는 공정과, 상기 (A)와 (B)의 공정을 교대로 반복하는 공정과, 원정보의 추정 분포에 근거하여 원정보를 출력하는 공정을 구비하고 있다.
상기의 방법에 있어서 상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 공정은 (A1) 원정보의 추정 분포를 푸리에 변환하여, 원정보의 추정 분포의 스펙트럼 분포를 얻는 공정과, (A2) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 공정과, (A3) 상기 제1의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 공정과, (A4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 공정과, (A5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 공정과, (A6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 공정과, (A7) 상기 제5의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 공정과, (A8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 공정과, (A9) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응답의 다음 추정 분포를 얻는 공정과, (A10) 임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하는 공정을 구비하고 있다.
상기의 방법에 있어서 상기 (B)의 원정보의 추정 분포를 갱신하는 공정은 (B1) 임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 추정 분포를 얻는 공정과, (B2) 원정보의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 공정과, (B3) 상기 제1의 함수에 상기 주파수 응답의 추정 분포를 곱하여 제2의 함수를 얻는 공정과, (B4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 공정과, (B5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 공정과, (B6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 공정과, (B7) 상기 제5의 함수에 상기 주파수 응답의 추정 분포의 반전 함수를 곱하여 제6의 함수를 얻는 공정과, (B8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 공정과, (B9) 원정보의 추정 분포에 상기 제7의 함수를 곱하여, 원정보의 다음 추정 분포를 얻는 공정과, (B10) 원정보의 다음 추정 분포로 원정보의 추정 분포를 치환하는 공정을 구비하고 있다.
상기의 방법에서는 원화상과 PSF의 각각에 대하여, 적당한 분포를 가정해 두고, 상기한 PSF의 추정(즉, OTF의 추정)과 원화상의 추정을 교대로 반복 실시해 나감으로써 원화상을 복원한다.
OTF에 관해서는, 열화 화상의 분포와 원화상의 추정 분포를 이용하여 Bayes의 이론에 근거하는 계산에 의하여, 보다 개선된 추정 분포를 얻을 수 있다. OTF의 추정에 이용하는 원화상의 추정 분포가 진정한 원화상의 분포에 가까울수록, 진정한 OTF의 분포에 가까운 추정 분포를 얻을 수 있다.
원화상에 관해서는, 열화 화상의 분포와 OTF의 추정 분포를 이용하여 Bayes의 이론에 근거하는 계산에 의하여, 보다 개선된 추정 분포를 얻을 수 있다. 원화상의 추정에 이용하는 OTF의 추정 분포가 진정한 OTF의 분포에 가까울수록, 진정한 원화상의 분포에 가까운 추정 분포를 얻을 수 있다.
따라서, 상기한 OTF의 추정과 원화상의 추정을 교대로 반복 실시해 나감으로써, 원화상의 추정 분포는 보다 진정한 원화상의 분포에 다가가고, OTF의 추정 분포는 보다 진정한 OTF의 분포에 다가가고, 결과적으로 양호하게 복원된 원화상과 양호하게 추정된 OTF의 쌍방을 얻을 수 있다.
본 발명의 방법에서는 이하의 공정을 순서에 실시해 나감으로써, 열화 화상만으로부터 원화상을 복원할 수 있다.
우선 원화상의 최초의 추정 분포와 PSF의 최초의 추정 분포를 설정한다. 원화상의 최초의 추정 분포는 어떠한 분포를 이용해도 된다. 일반적으로, 열화 화상의 분포는 원화상의 분포로부터 크게 다르지 않기 때문에, 원화상의 최초의 추정 분포로서는 열화 화상의 분포를 이용하는 것이 바람직하다. PSF의 최초의 추정 분포는 어떠한 분포를 이용해도 된다.
다음에, 식 (27) ~ (29)의 계산을 실시하여, 보다 개선된 PSF의 추정 분포 hk(s, t)를 취득하고, 얻어진 hk(s, t)를 푸리에 변환하여 OTF의 추정 분포 Hk(s, t)를 취득한다. 상기의 추정을 실시함으로써, 보다 진정한 OTF 분포에 가까운 OTF의 추정 분포를 얻을 수 있다.
다음에, 식 (16) ~ (18)의 계산을 실시하여, 보다 개선된 원화상의 추정 분포 fk(x, y)를 취득한다. 상기의 추정을 실시함으로써, 보다 진정한 원화상 분포에 가까운 원화상의 추정 분포를 얻을 수 있다.
상기한 OTF의 추정과 원화상의 추정을 교대로 반복 실시해 나감으로써, 추정되는 원화상의 분포는 진정한 원화상의 분포에 다가가고, 추정되는 OTF의 분포는 진정한 OTF의 분포에 다가간다. 따라서, 상기의 반복 계산을 실시함으로써, 원화상을 복원하는 것이 가능하게 된다.
본 발명자가 상기의 방법을 이용하여 원화상의 복원을 실시한 바, 열화 화상만으로부터 원화상을 바람직하게 복원할 수 있었다.
상기한 열화 정보의 복원 방법에 있어서는, 상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 공정은 상기 (A2)부터 (A10)의 공정을 반복 실행하고, 상기 (B)의 원정보의 추정 분포를 갱신하는 공정은 상기 (B2)부터 (B10)의 공정을 반복 실행하는 것이 바람직하다.
상기의 임펄스 응답의 추정 분포의 갱신은 반복 실시함으로써, 보다 그럴듯한 임펄스 응답의 추정 분포를 얻을 수 있다. 또, 상기의 원정보의 추정 분포의 갱신은 반복 실시함으로써, 보다 그럴듯한 추정 분포를 얻을 수 있다. 상기와 같이 각 추정 분포의 갱신에 있어서 처리를 반복 실시함으로써, 보다 그럴듯한 추정 분포를 이용하여 후의 공정을 실시하는 것이 가능해지기 때문에, 원정보를 복원하기까지 필요한 반복 계산의 회수를 감소시킬 수 있다고 생각된다.
상술한 주파수 응답의 추정 방법 또는 열화 정보의 복원 방법은 각 공정을 컴퓨터에 실행시키는 프로그램으로서 구현화할 수 있다. 컴퓨터의 하드웨어 구성의 예를 도 12에 나타낸다.
상술한 주파수 응답의 분포의 추정 방법은 하기와 같은 장치를 이용하는 것에 의하여, 바람직하게 실시할 수 있다. 도 8에 본 발명의 장치(1000)의 기능 블럭도를 예시한다. 본 발명의 장치(1000)는 원정보와 열화 정보로부터 전달계의 주파수 응답의 분포를 추정하는 장치이다. 그 장치(1000)는 열화 정보의 분포를 특정하는 수단(1002)과, 원정보의 분포의 스펙트럼 분포를 특정하는 수단(1004)과, 전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 수단(1006)과, (1) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 수단(1008)과, (2) 상기 제1의 함수에 상기 원정보의 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 수단(1010)과, (3) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 수단(1012)과, (4) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 수단(1014)과, (5) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 수단(1016)과, (6) 상기 제5의 함수에 상기 원정보의 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 수단(1018)과, (7) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 수단(1020)과, (8) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응답의 다음 추정 분포를 얻는 수단(1022)과, 임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하고, 상기 (1)부터 (8)의 수단에 반복 처리를 실시시키는 수단(1024)과, 임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 분포를 얻어 출력하는 수단(1026)을 구비하고 있다.
상술한 열화 정보의 복원 방법은 하기와 같은 장치를 이용하는 것에 의하여, 바람직하게 실시할 수 있다. 도 9, 도 10 및 도 11에 본 발명의 장치(1100)의 기능 블럭도를 예시한다. 본 발명의 장치(1100)는 열화 정보로부터 원정보를 복원하는 장치이다. 그 장치(1100)는 열화 정보의 분포를 특정하는 수단(1102)과, 원정보의 최초의 추정 분포를 특정하는 수단(1104)과, 전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 수단(1106)과, (A) 상기 열화 정보의 분포와 원정보의 추정 분포와 임펄스 응답의 추정 분포에 근거하여 임펄스 응답의 추정 분포를 갱신하는 수단(1108)과, (B) 상기 열화 정보의 분포와 원정보의 추정 분포와 임펄스 응답의 추정 분포에 근거하여 원정보의 추정 분포를 갱신하는 수단(1110)과, 상기 (A)와 (B)의 수단에 교대로 반복 처리를 실시시키는 수단(1112)과 원정보의 추정 분포에 근거하여 원정보를 출력하는 수단(1114)을 구비하고 있다.
도 10에 상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 수단(1108)의 기능 블럭도를 예시한다. 상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 수단(1108)은 (A1) 원정보의 추정 분포를 푸리에 변환하여, 원정보의 추정 분포의 스펙트럼 분포를 얻는 수단(1116)과, (A2) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 수단(1118)과, (A3) 상기 제1의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 수단(1120)과, (A4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 수단(1122)과, (A5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 수단(1124)과, (A6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 수단(1126)과, (A7) 상기 제5의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 수단(1128)과, (A8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 수단 1130과, (A9) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응답의 다음 추정 분포를 얻는 수단(1132)과, (A10) 임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하는 수단(1132)을 구비하고 있다.
도 11에 상기 (B)의 원정보의 추정 분포를 갱신하는 수단(1110)의 기능 블럭도를 예시한다. 상기 (B)의 원정보의 추정 분포를 갱신하는 수단(1110)은 (B1) 임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 추정 분포를 얻는 수단(1134)과, (B2) 원정보의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 수단(1136)과, (B3) 상기 제1의 함수에 상기 주파수 응답의 추정 분포를 곱하여 제2의 함수를 얻는 수단(1138)과, (B4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 수단(1140)과, (B5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 수단(1142)과, (B6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 수단(1144)과, (B7) 상기 제5의 함수에 상기 주파수 응답의 추정 분포의 반전 함수를 곱하여 제6의 함수를 얻는 수단(1146)과, (B8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 수단(1148)과, (B9) 원정보의 추정 분포에 상기 제7의 함수를 곱하여, 원정보의 다음 추정 분포를 얻는 수단(1150)과, (B10) 원정보의 다음 추정 분포로 원정보의 추정 분포를 치환하는 수단(1150)을 구비하고 있다.
도 10 및 도 11에 나타내는 바와 같이 상기한 열화 정보의 복원 장치(1100)에 있어서, 상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 수단(1108)은 상기 (A2)부터 (A10)의 수단에 반복 처리를 실시시키는 수단(1152)을 구비하고, 상기 (B)의 원정보의 추정 분포를 갱신하는 수단(1110)은 상기 (B2)부터 (B10)의 수단에 반복 처리를 실시시키는 수단(1154)을 구비하는 것이 바람직하다.
도 1은 본 발명의 제1 실시예에 관한 방법의 플로우차트를 나타내는 도면.
도 2는 본 발명의 제2 실시예에 관한 방법의 플로우차트를 나타내는 도면.
도 3은 본 발명의 제2 실시예에 관한 방법에 있어서 PSF의 추정 공정의 플로우차트를 나타내는 도면.
도 4는 본 발명의 제2 실시예에 관한 방법에 있어서 원화상의 추정 공정의 플로우차트를 나타내는 도면.
도 5는 본 발명의 제1 실시예에 관한 방법의 개요를 나타내는 도면.
도 6은 본 발명의 제2 실시예에 관한 방법의 개요를 나타내는 도면.
도 7은 원화상으로부터 열화 화상으로의 광학계를 통한 전달을 모식적으로 나타내는 도면.
도 8은 본 발명의 주파수 응답의 분포의 추정 장치(1000)의 기능 블럭도.
도 9는 본 발명의 열화 정보의 복원 장치(1100)의 기능 블럭도.
도 10은 복원 장치(1100)의 (A) 임펄스 응답의 추정 분포를 갱신하는 수단(1108)의 기능 블럭도.
도 11은 복원 장치(1100)의 (B) 원정보의 추정 분포를 갱신하는 수단(1110)의 기능 블럭도.
도 12는 컴퓨터의 하드웨어 구성예를 나타내는 도면.
<부호의 설명>
10 ···원화상
12 ···광학계
14 ···열화 화상
52 ··· PSF의 실부의 추정 분포(반복수 2 회)
54 ··· PSF의 실부의 추정 분포(반복수 50 회)
56 ··· PSF의 실부의 추정 분포(반복수 250 회)
62 ···원화상의 추정 분포
64 ··· PSF의 실부의 추정 분포
502, 504, 506, 508, 510, 512, 514, 516, 518, 520, 522, 524, 526, 528, 530 ···제1 실시예에 관한 방법의 각 단계
602, 604, 606, 608, 610, 612, 614, 616 ···제2 실시예에 관한 방법의 각 단계
702, 704, 706, 708, 710, 712, 714, 716, 718, 720, 722, 724, 726 ··· OTF의 추정 공정의 각 단계
802, 804, 806, 808, 810, 812, 814, 816, 818, 820, 822, 824 ···원화상의 추정 공정의 각 단계
1000 ···주파수 응답의 분포의 추정 장치
1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018, 1020, 1022, 1024, 1026 ···주파수 응답의 분포의 추정 장치를 구성하는 각 수단
1100 ···열화 정보의 복원 장치
1102, 1104, 1106, 1108, 1110, 1112, 1114, 1116, 1118, 1120, 1122, 1124, 1126, 1128, 1130, 1132, 1134, 1136, 1138, 1140, 1142, 1144, 1146, 1148, 1150, 1152, 1154 ···열화 정보의 복원 장치를 구성하는 각 수단
이하, 본 발명을 구현화한 실시예에 대하여 도면을 참조하여 설명한다.
실시예(제1 실시예)
도면을 참조하면서, 본 실시예의 방법에 대하여 설명한다. 도 1은 본 실시예의 방법을 설명하는 플로우차트이다.
본 실시예에서는 도 7에 나타내는 바와 같이 흑백의 원화상(10)이 광학계(12)를 통하여 전달된 결과, 흑백의 열화 화상(14)로 되었을 경우에 대하여, 원화상(10)과 열화 화상(14)으로부터 광학계(12)의 OTF를 추정하는 방법을 취급한다. 상기의 경우에 있어서, 본 실시예의 방법은 흑백의 원화상(10)과, 흑백의 열화 화상(14)을 이용하여 반복 계산을 실시하여, 광학계(12)의 OTF를 추정한다. 원화상(10)과 열화 화상(14)는 각각의 화상의 크기가 동일하고, 화상 위의 점의 위치를 (x, y)로 표기할 수 있다.
본 실시예에서는 원화상(10)을 기술하는 분포 f(x, y)와, 열화 화상(14)을 기술하는 분포 g(x, y)와, 반복 계산의 과정에서 추정하는 PSF의 분포 hk(x, y)(k=O, 1, 2, ···) 는 복소 함수로서 취급하고, 각각의 위상 특성을 고려한다. 본 실시예에서는 분포 g(x, y)의 실부를 열화 화상에 있어서 조도의 분포로 하고, 분포 f(x, y)의 실부를 원화상에 있어서 조도의 분포로 한다.
우선 단계 502에서는 열화 화상의 분포 g(x, y)를 특정한다. 본 실시예에서는 g(x, y)의 위상 특성은 불명하기 때문에, g(x, y)의 실부를 열화 화상에 있어서 조도의 분포로 하고, g(x, y)의 허부는 모두 0 으로 한다.
단계504에서는 원화상의 분포 f(x, y)를 특정한다. 본 실시예에서는 f(x, y)의 위상 특성은 불명하기 때문에, f(x, y)의 실부를 원화상에 있어서 조도의 분포로 하고, f(x, y)의 허부는 모두 0 으로 한다.
단계 506에서는 광학계(12)의 PSF의 최초의 추정 분포 ho(x, y)를 설정한다. PSF의 최초의 추정 분포 ho(x, y)로서는 어떠한 분포를 설정해도 된다. 본 실시예의 방법에서는 모든 (x, y)에 대하여 ho(x, y)=1 로 되도록 설정한다. 또 단계 506에서는 반복 계산의 반복수 k를 0 으로 설정한다.
단계 508에서는 원화상의 분포 f(x, y)를 푸리에 변환하여, 그 결과를 F(s, t)로 설정한다. s는 x 방향의 공간 주파수이고, t는 y 방향의 공간 주파수이다. 상기의 푸리에 변환은 2차원 평면내에서의 공간 주파수에 관한 것이며, 다음 식으로 정의된다.
[식 30]
상기 식 및 도 1의 FT()는 2차원 푸리에 변환을 나타낸다. 상기한 푸리에 변환은 고속 푸리에 변환을 이용함으로써 바람직하게 실시할 수 있다.
상기에 의하여 계산되는 함수 F(s, t)는 원화상 분포 f(x, y)의 공간 스펙트럼을 나타낸다.
단계 510에서는 추정되는 PSF 분포 hk(x, y)를 푸리에 변환하여, 그 결과를 함수 K1(s, t)로 설정한다. 함수 K1(s, t)는 제1의 함수에 상당한다. k는 비부의 정수이며, 반복 계산의 회수에 따라 후의 단계 526에서 증가해 나간다.
단계 512에서는 단계 510에서 산출된 함수 K1(s, t)에, 단계 508에서 산출된 원화상의 스펙트럼 분포 F(s, t)를 곱하여, 함수 K2(s, t)를 산출한다. 함수 K2(s, t)는 제2의 함수에 상당한다.
단계 514에서는 단계 512에서 산출된 함수 K2(s, t)를 역푸리에 변환하여, 그 결과를 함수 L3(x, y)로 설정한다. 함수 L3(x, y)는 제3의 함수에 상당한다. 상기의 역푸리에 변환은 2차원 평면내에서의 공간 주파수에 관한 스펙트럼으로부터, 실공간의 분포를 산출하는 것이고 다음 식으로 정의된다.
[식 31]
상기 식 및 도 1의 FT- 1()는 2차원의 역푸리에 변환을 나타낸다.
단계 516에서는 단계 502에서 특정된 열화 화상 분포 g(x, y)를, 단계 514에서 산출된 함수 L3(x, y)로 나누어, 함수 L4(x, y)를 산출한다. 함수 L4(x, y)는 제4의 함수에 상당한다.
단계 518에서는 단계 516에서 산출된 함수 L4(x, y)를 푸리에 변환하여, 그 결과를 함수 K5(s, t)로 설정한다. 함수 K5(s, t)는 제5의 함수에 상당한다.
단계 520에서는 단계 518에서 산출된 함수 K5(s, t)에, F#(s, t)를 곱하여, 함수 K6(s, t)를 산출한다. 함수 K6(s, t)는 제6의 함수에 상당한다. F#(s, t)는 단계 508에서 산출된 원화상의 스펙트럼 분포 F(s, t)의 반전 함수이고, F#(s, t)=F(-s, -t)의 관계를 만족시킨다.
단계 522에서는 단계 520에서 산출한 함수 K6(s, t)를 역푸리에 변환하여, 그 결과를 함수 L7(x, y)로 설정한다. 함수 L7(x, y)는 제7의 함수에 상당한다.
단계 524에서는 PSF의 추정 분포 hk(x, y)에, 단계 522에서 산출된 함수 L7(x, y)을 곱하여, 개선된 PSF의 추정 분포 hk+1(x, y)를 산출한다. 상기 함수 L7은 일반적으로 허부를 구비하는 복소 함수로 되기 때문에, 상기의 방법에 따라 PSF의 추정 분포를 위상 특성도 포함하여 개선할 수 있다.
단계 526에서는 개선된 PSF의 추정 분포 hk + 1(x, y)와 PSF의 추정 분포 hk(x, y)의 차분을 산출하고, 그 차분의 절대값이 모든 (x, y)에 대하여 어느 문턱값 ε보다 작은지의 여부를 판단한다. 상기 차분의 절대값이 어느 (x, y)에 대하여 문턱값 ε 이상으로 되는 경우(단계 526에서 아니오인 경우), 개선된 PSF의 추정 분포 hk + 1(x, y)는 아직도 수속에 이르지 않다고 판단하고, 처리는 단계 528로 진행된다. 상기 차분의 절대값이 모든 (x, y)에 대하여 문턱값 ε보다 작은 경우(단계 526에서 예인 경우), 개선된 PSF의 추정 분포 hk + 1(x, y)는 수속에 이르렀다고 판단하고, 처리는 단계 530으로 진행된다.
단계 528에서는 반복 계산의 반복수 k를 1 증가시킨다. 처리는 단계 510으로 진행되고, 단계 510에서부터 단계 524까지의 처리를 재차 실시한다.
단계 530에서는 반복 계산의 결과로 얻어진 PSF의 추정 분포 hk + 1(x, y)를 푸리에 변환하여, 광학계(12)의 OTF의 추정 분포 H(s, t)를 산출한다.
상기의 방법에 따라 산출된 H(s, t)는 디스플레이에 표시해도 되고, 인쇄 장치를 이용하여 종이에 인쇄해도 되고, 하드디스크 등의 기억 장치에 기억해도 되고, 통신 회선을 경유하여 다른 컴퓨터에 송신해도 된다.
도 5에, 상기의 방법의 방법에 따라 열화 화상(14)과 원화상(10)으로부터 광학계의 OTF 분포를 추정하는 모습을 나타낸다. 도 5에는 추정되는 OTF 분포에 대응하는 PSF 분포의 실부를 나타내고 있다. PSF의 추정 분포(52)는 상기의 반복 계산을 2 회 반복한 경우의 결과를 나타내고, PSF의 추정 분포(54)는 상기의 반복 계산 을 50 회 반복한 경우의 결과를 나타내고, PSF의 추정 분포(56)는 상기의 반복 계산을 250 회 반복한 경우를 나타내고 있다. 상기의 반복 계산의 반복수를 늘리는 것에 의하여, 추정되는 PSF 분포는 수속해 나간다. 즉, 추정되는 OTF 분포는 수속해 나간다.
(제2 실시예)
본 발명에 관한 다른 하나의 실시예를, 도면을 참조하면서 설명한다.
본 실시예에서는 도 7에 나타내는 바와 같이 흑백의 원화상(10)이 광학계(12)를 통하여 전달한 결과, 흑백의 열화 화상(14)으로 되었을 경우에 대하여, 열화 화상(14)에만 근거하여 원화상(10)의 복원과, 광학계(12)의 OTF의 추정을 실시한다. 상기의 경우에 있어서, 본 실시예의 방법은 원화상의 분포와 OTF의 분포의 각각에 대하여, 적당한 분포를 가정해 둔다. 다음에 가정한 원화상의 분포와 열화 화상의 분포를 이용한 반복 계산에 의하여, 개선된 광학계(12)의 OTF 분포를 추정한다. 다음에, 추정된 OTF 분포와 열화 화상의 분포를 이용한 반복 계산에 의하여, 개선된 원화상의 분포를 추정한다. 그 후, 개선된 원화상의 분포와 열화 화상의 분포를 이용한 반복 계산을 실시하여, 더욱 개선된 OTF 분포를 추정한다. 상기와 같이 원화상 분포의 추정과 OTF 분포의 추정을 교대로 반복 실시해 나가서 최종적으로 Bayes 이론에 근거한 원화상의 추정 분포와 OTF의 추정 분포를 취득한다.
원화상(10)과 열화 화상(14)은 각각의 화상의 크기가 동일하고, 화상 위의 점의 위치를 (x, y)로 표기할 수 있다.
본 실시예에서는 열화 화상(14)을 기술하는 분포 g(x, y)와, 반복 계산의 과 정에서 추정되는 원화상(10)을 기술하는 분포 fk(x, y) 및 fk n(x, y)와, 반복 계산의 과정에서 추정되는 PSF의 분포 hk(x, y) 및 hk m(s, y)는 모두 복소 함수로서 취급하고, 각각의 위상 특정을 고려한다. 본 실시예에서는 분포 g(x, y)의 실부를 열화 화상에 있어서 조도의 분포로 하고, 분포 fk(x, y) 및 fk n(x, y)의 실부를 원화상에 있어서 조도의 추정 분포로 한다.
도 2에 본 실시예의 화상 복원 방법의 플로우차트를 나타낸다.
단계 602에서는 열화 화상의 분포 g(x, y)를 특정한다. 본 실시예의 방법에서는 g(x, y)의 실부를 열화 화상에 있어서 조도의 분포로 하고, g(x, y)의 허부를 모두 0 으로 한다.
단계 604에서는 원화상의 최초의 추정 분포 fo(x, y)를 설정한다. 원화상의 최초 추정 분포 fo(x, y)로서는 임의의 분포를 설정할 수 있다. 본 실시예의 방법에서는 원화상의 최초의 추정 분포 fo(x, y)로서, 열화 화상의 분포 g(x, y)를 이용한다. 일반적으로, 원화상의 분포와 열화 화상의 분포는 크게 다르지 않다고 생각되기 때문에, 상기와 같이 원화상의 최초의 추정 분포 fo(x, y)를 설정함으로써, 원화상의 복원에 수반하는 반복 계산의 회수를 감소시킬 수 있다.
또 단계 604에서는 PSF의 최초의 추정 분포 ho(x, y)를 설정한다. PSF의 최 초의 추정 분포 ho(x, y)로서는 임의의 분포를 설정할 수 있다. 본 실시예의 방법에서는 PSF의 최초의 추정 분포 ho(x, y)로서 모든 (x, y)에 대하여 실부가 1 이며, 허부가 0 인 함수를 이용한다.
추가로, 단계 604에서는 반복 계산의 반복수 k를 0 으로 설정한다.
단계 606에서는 반복 계산의 반복수 k를 1 증가시킨다.
단계 608에서는 PSF의 추정 분포 hk(x, y)를 산출한다. 이 계산에 대해서는 후술한다.
단계 610에서는 PSF의 추정 분포 hk(x, y)를 푸리에 변환하여 OTF의 추정 분포 Hk(s, t)를 산출한다.
단계 612에서는 원화상의 추정 분포 fk(x, y)를 산출한다. 이 계산에 대해서는 후술한다.
단계 614에서는 단계 612에서 갱신된 원화상의 추정 분포 fk(x, y)와, 갱신되기 전의 원화상의 추정 분포 fk - 1와의 차분을 산출하고, 그 차분이 모든 (x, y)에 대해 어느 문턱값 ε보다 작은지의 여부를 판단한다. 상기 차분이 어느 (x, y)에 대하여 문턱값 ε 이상인 경우(단계 614에서 아니오인 경우), 원화상의 추정 분포 fk(x, y)는 아직도 수속에 이르지 않는다고 판단하고, 처리는 단계 606으로 진행되고, 단계 606에서부터 단계 612까지의 처리를 재차 반복한다. 상기 차분이 모든 (x, y)에 대하여 문턱값 ε보다 작은 경우(단계 614에서 예인 경우), 원화상의 추정 분포 fk(x, y)는 수속에 이르렀다고 판단하고, 처리는 단계 616으로 진행된다.
단계 616에서는 반복 계산의 결과로 얻어진 원화상의 추정 분포 fk(x, y)를, 복원된 원화상의 분포 f(x, y)로 설정한다. 본 실시예의 방법에서는 반복 계산의 과정에서 화상을 기술하는 분포를 복소 함수로서 취급하고 있기 때문에, 상기에서 설정되는 원화상의 분포 f(x, y)는 일반적으로 복소 함수로 된다. 본 실시예의 방법에서는 복원된 원화상의 분포 f(x, y)의 실부가 원화상에 있어서 조도의 분포를 나타낸다.
상기의 방법에 따라 산출된 f(x, y)는 디스플레이에 표시해도 되고, 인쇄 장치를 이용하여 종이에 인쇄해도 되고, 하드디스크 등의 기억 장치에 기억해도 되고, 통신회선을 경유하여 다른 컴퓨터에 송신해도 된다.
이하에서는 단계 608의 hk(x, y)의 추정에 대하여 상세하게 설명한다. 본 실시예의 방법에서는 hk(x, y)의 추정으로서, 도 3의 플로우차트에 나타내는 단계 702 ~ 726의 공정을 실시한다.
단계 702에서는 hk(x, y)의 최초의 추정 분포 hk o(x, y)를 설정한다. 본 실시예의 방법에서는 이미 취득되어 있는 hk - 1(x, y)를, hk(x, y)의 최초의 추정 hk o(x, y)로 한다. 또, 단계 702에서는 hk(x, y)의 추정에 관한 반복 계산의 반복수 m을 0 으로 설정한다.
단계 704에서는 원화상의 스펙트럼의 추정 분포 F(s, t)를 설정한다. 본 실시예의 방법에서는 이미 취득되어 있는 원화상의 추정 분포 fk - 1(x, y)를 푸리에 변환하여, 그 결과를 F(s, t)로 한다.
단계 706에서는 hk(x, y)의 추정 분포 hk m(x, y)를 푸리에 변환하여, 그 결과를 함수 K1(s, t)로 설정한다. 함수 K1(s, t)는 제1의 함수에 상당한다.
단계 708에서는 단계 706에서 산출된 함수 K1(s, t)에, 단계 704에서 산출된 원화상의 스펙트럼의 추정 분포 F(s, t)를 곱하여, 함수 K2(s, t)를 산출한다. 함수 K2(s, t)는 제2의 함수에 상당한다.
단계 710에서는 단계 708에서 산출된 함수 K2(s, t)를 역푸리에 변환하여, 그 결과를 함수 L3(x, y)로 설정한다. 함수 L3(x, y)는 제3의 함수에 상당한다.
단계 712에서는 도 2의 단계 604에서 특정된 열화 화상 분포 g(x, y)를, 도 3의 단계 710에서 산출된 함수인 L3(x, y)으로 나누어, 함수 L4(x, y)를 산출한다. 함수 L4(x, y)는 제4의 함수에 상당한다.
단계 714에서는 단계 712에서 산출된 함수 L4(x, y)를 푸리에 변환하여, 그 결과를 함수 K5(s, t)로 설정한다. 함수 K5(s, t)는 제5의 함수에 상당한다.
단계 716에서는 단계 714에서 산출된 함수 K5(s, t)에, F#(s, t)를 곱하여, 함수 K6(s, t)를 산출한다. 함수 K6(s, t)는 제6의 함수에 상당한다. F#(s, t)는 단계 704에서 산출된 원화상의 스펙트럼의 추정 분포 F(s, t)의 반전 함수이며, F#(s, t)=F(-s, -t)의 관계를 만족시킨다.
단계 718에서는 단계 716에서 산출된 함수 K6(s, t)를 역푸리에 변환하여, 그 결과를 함수 L7(x, y)로 설정한다. 함수 L7(x, y)는 제7의 함수에 상당한다.
단계 720에서는 hk(x, y)의 추정 분포 hk m(x, y)에, 단계 718에서 설정된 함수 L7(x, y)를 곱하여, 그 결과를 hk(x, y)의 개선된 추정 분포 hk m +1(x, y)로 설정한다.
단계 722에서는 hk(x, y)의 추정을 위한 반복 계산의 반복수 m을 1 증가시킨다.
단계 724에서는 hk(x, y)의 추정을 위한 반복 계산의 반복수 m이 문턱값 이상으로 되었는지의 여부를 판단한다. 본 실시예에서는 hk(x, y)의 추정을 위해서 실시하는 반복 계산의 회수를 5 회로 하고 있다. 반복수 m이 5 미만인 경우(단계 724 로 아니오인 경우), 처리는 단계 706으로 진행되고, 단계 706에서부터 단계 722까 지의 처리를 재차 실시한다. 반복수 m이 5 이상인 경우(단계 724에서 예인 경우), 처리는 단계 726으로 진행된다.
단계 726에서는 상기의 반복 계산의 결과로 얻어지는 분포 hk 5(x, y)를, hk(x, y)의 추정 분포로서 설정한다.
상기의 반복 계산은 열화 화상 분포 g(x, y)와, 원화상 분포 fk -1(x, y)로부터, PSF의 분포 hk(x, y)를 추정하는 것에 상당한다. 원화상 분포 fk -1(x, y)가 진정한 원화상 분포 f(x, y)에 가까울수록, 상기의 반복 계산에 의해 추정되는 hk(x, y)는 진정한 PSF의 분포 h(x, y)에 가까워진다.
이하에서는 도 2의 단계 612의 fk(x, y)의 추정에 대하여 상세하게 설명한다. 본 실시예의 방법에서는 fk(x, y)의 추정으로서 도 4의 플로우차트에 나타내는 단계 802 ~ 824의 공정을 실시한다.
단계 802에서는 fk(x, y)의 최초의 추정 분포 fk o(x, y)를 설정한다. 본 실시예의 방법에서는 이미 취득되어 있는 fk - 1(x, y)를, fk(x, y)의 최초의 추정 분포 fk o(x, y)로서 설정한다. 또, 단계 802에서는 fk(x, y)의 추정을 위한 반복 계산의 반복수 n을 0 으로 설정한다.
단계 804에서는 fk(x, y)의 추정 분포 fk n(x, y)를 푸리에 변환하여, 그 결과를 함수 K1(s, t)로 설정한다. 함수 K1(s, t)는 제1의 함수에 상당한다.
단계 806에서는 단계 804에서 산출된 함수 K1(s, t)에, 도 2의 단계 610에서 산출된 OTF의 추정 분포 Hk(s, t)를 곱하여, 함수 K2(s, t)를 산출한다. 함수 K2(s, t)는 제2의 함수에 상당한다.
단계 808에서는 단계 806에서 산출된 함수 K2(s, t)를 역푸리에 변환하여, 그 결과를 함수 L3(x, y)로 설정한다. 함수 L3(x, y)는 제3의 함수에 상당한다.
단계 810에서는 도 2의 단계 602에서 특정된 열화 화상 분포 g(x, y)를, 도 4의 단계 808에서 산출된 함수 L3(x, y)로 나누어, 함수 L4(x, y)를 산출한다. 함수 L4(x, y)는 제4의 함수에 상당한다.
단계 812에서는 단계 810에서 산출된 함수 L4(x, y)를 푸리에 변환하여, 그 결과를 함수 K5(s, t)로 설정한다. 함수 K5(s, t)는 제5의 함수에 상당한다.
단계 814에서는 단계 812에서 산출된 함수 K5(s, t)에, Hk #(s, t)를 곱하여, 함수 K6(s, t)를 산출한다. Hk #(s, t)는 도 2의 단계 610에서 산출된 OTF의 추정 분포 Hk(s, t)의 반전 함수이며, Hk #(s, t)=H(-s, -t) 의 관계를 만족시킨다.
단계 816에서는 단계 814에서 산출된 함수 K6(s, t)를 역푸리에 변환하여, 그 결과를 함수 L7(x, y)로 설정한다. 함수 L7(x, y)는 제7의 함수에 상당한다.
단계 818에서는 fk(x, y)의 추정 분포 fk n(x, y)에, 단계 816에서 산출된 함수 L7(x, y)를 곱하여, fk(x, y)의 개선된 추정 분포 fk n + 1(x, y)를 산출한다.
단계 820에서는 fk(x, y)의 추정을 위한 반복 계산의 반복수 n을 1 증가한다.
단계 822에서는 fk(x, y)의 추정을 위한 반복 계산의 반복수 n이 문턱값 이상으로 되었는지의 여부를 판단한다. 본 실시예에서는 fk(x, y)의 추정을 위해서 실시하는 반복 계산의 회수를 5 회로 하고 있다. 반복수 n이 5 미만인 경우(단계 822에서, 아니오인 경우), 처리는 단계 804로 진행되고, 단계 804로부터 단계 820까지의 처리를 재차 실시한다. 반복수 n이 5 이상인 경우(단계 822에서 예인 경우), 처리는 단계 824로 진행된다.
단계 824에서는 상기의 반복 계산의 결과로 얻어지는 분포 fk 5(x, y)를 fk(x, y)의 추정 분포로서 설정한다.
상기의 반복 계산은 열화 화상 분포 g(x, y)와, OTF 분포 Hk(s, t)에 근거하여 원화상 분포 fk(x, y)를 추정하는 것에 상당한다. OTF 분포 Hk(s, t)가 진정한 OTF 분포 H(s, t)에 가까울수록, 상기의 반복 계산에 의해 추정되는 fk(x, y)는 진정한 원화상의 분포 f(x, y)에 가까워진다.
도 6에, 상기의 방법을 이용하여 열화 화상(14)에만 근거하여 반복 계산을 실시하여, 원화상(62)을 복원한 결과를 나타낸다. 열화 화상(14)에서는 윤곽이 희미해져 거의 인식할 수 없는 문자가 복원된 원화상(62)에서는 분명히 문자로서 인식하는 것이 가능하다. 또, 도 6에는 원화상(62)의 복원과 병행하여 추정되는 광학계(12)의 OTF에 대응하는 PSF의 실부의 분포(64)를 나타낸다.
상기의 실시예에서는 흑백의 원화상을 복원하는 경우를 설명하였으나, 원화상이 색을 구비하고 있는 경우에도, 같은 수법을 이용하여 복원할 수 있다. 원화상이 색을 구비하고 있는 경우에는 원화상에 있어서 RGB의 색 성분의 조도의 분포 fr(x, y), fg(x, y), fb(x, y)에 대하여, 열화 화상에 있어서의 RGB 각각의 색 성분의 조도의 분포 gr(x, y), gg(x, y), gb(x, y)에 근거하여 상기의 실시예의 방법을 이용하여 개별적으로 추정할 수 있다. 예를 들면, 원화상에 있어서 R의 색 성분의 조도의 분포 fr(x, y)는 열화 화상에 있어서 R의 색 성분의 조도의 분포 gr(x, y)를 이용한 반복 계산에 의하여 추정할 수 있다. 동일하게, 원화상에 있어서 G의 색 성분의 조도의 분포 fg(x, y), B의 색 성분의 조도의 분포 fb(x, y)에 대해서도 추정하는 것이 가능하다. 상기에 의해 추정되는 원화상의 RGB 각각의 조도 분포로부터 원화상을 복원할 수 있다.
상기의 실시예에서는 반복 계산의 과정에 있어서, 먼저 OTF의 추정 분포를 갱신하고, 다음에 원화상의 추정 분포를 갱신하는 예를 설명했다. OTF의 추정 분포의 갱신과 원화상의 추정 분포의 갱신은 교대로 반복 실시하면 되기 때문에, 먼저 원화상의 추정 분포를 갱신하고, 다음에 OTF의 추정 분포를 갱신해도 된다.
이상, 본 발명의 실시 형태에 대하여 상세하게 설명하였으나, 이것들은 예시에 지나지 않고, 특허 청구의 범위를 한정하는 것은 아니다. 특허 청구의 범위에 기재의 기술에는 이상으로 예시한 구체적인 예를 여러가지로 변형, 변경한 것이 포함된다.
또, 본 명세서 또는 도면에 설명한 기술 요소는 단독으로 또는 각종의 조합에 의하여 기술적 유용성을 발휘하는 것이고 출원시 청구항 기재의 조합으로 한정되는 것은 아니다. 또, 본 명세서 또는 도면에 예시한 기술은 복수의 목적을 동시에 달성하는 것이며 그 중의 하나의 목적을 달성하는 것 자체로 기술적 유용성을 가지는 것이다.
본 발명의 주파수 응답을 추정하는 방법, 프로그램 또는 장치를 이용함으로써, 열화 정보의 분포와 원정보의 분포에 근거하여 전달계의 주파수 응답을 추정할 수 있다. 상기의 기술을 이용하는 경우, 원정보의 분포가 특정의 주파수대를 구비하지 않은 경우에도, 모든 주파수에 대한 주파수 응답을 취득할 수 있다.
또 본 발명의 원정보를 복원하는 방법, 프로그램 또는 장치를 이용함으로써, 열화 정보의 분포에만 근거하여 주파수 응답의 추정과 원정보의 복원을 할 수 있다.
상기한 방법, 프로그램 또는 장치는 펩티드 및 프로틴과 같은 생체 고분자의 나노 레벨의 구조의 동태 가시화, 천문학 분야에 있어서의 화상 해석으로의 응용이 가능하다.
Claims (9)
- 원(原)정보와 열화(劣化) 정보로부터 전달계의 주파수 응답의 분포를 추정하는 방법으로서,열화 정보의 분포를 특정하는 공정과,원정보의 분포의 스펙트럼 분포를 특정하는 공정과,전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 공정과,(1) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 공정과,(2) 상기 제1의 함수에 상기 원정보의 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 공정과,(3) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 공정과,(4) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 공정과,(5) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 공정과,(6) 상기 제5의 함수에 상기 원정보의 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 공정과,(7) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 공정과,(8) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응답의 다음 추정 분포를 얻는 공정과,임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하고, 상기 (1)부터 (8)의 공정을 반복하는 공정과,임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 분포를 얻어서 출력하는 공정을 구비하는 것을 특징으로 하는 주파수 응답의 분포의 추정 방법.
- 열화 정보로부터 원정보를 복원하는 방법으로서,열화 정보의 분포를 특정하는 공정과,원정보의 최초의 추정 분포를 특정하는 공정과,전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 공정과,(A) 상기 열화 정보의 분포와, 원정보의 추정 분포와, 임펄스 응답의 추정 분포에 근거하여 임펄스 응답의 추정 분포를 갱신하는 공정과,(B) 상기 열화 정보의 분포와, 원정보의 추정 분포와, 임펄스 응답의 추정 분포에 근거하여 원정보의 추정 분포를 갱신하는 공정과,상기 (A)와 (B)의 공정을 교대로 반복하는 공정과,원정보의 추정 분포에 근거하여 원정보를 출력하는 공정을 구비하고,상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 공정은(A1) 원정보의 추정 분포를 푸리에 변환하여, 원정보의 추정 분포의 스펙트럼 분포를 얻는 공정과,(A2) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 공정과,(A3) 상기 제1의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 공정과,(A4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 공정과,(A5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 공정과,(A6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 공정과,(A7) 상기 제5의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 공정과,(A8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 공정과,(A9) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응답의 다음 추정 분포를 얻는 공정과,(A10) 임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하는 공정을 구비하고,상기 (B)의 원정보의 추정 분포를 갱신하는 공정은(B1) 임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 추정 분포를 얻는 공정과,(B2) 원정보의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 공정과,(B3) 상기 제1의 함수에 상기 주파수 응답의 추정 분포를 곱하여 제2의 함수를 얻는 공정과,(B4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 공정과,(B5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 공정과,(B6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 공정과,(B7) 상기 제5의 함수에 상기 주파수 응답의 추정 분포의 반전 함수를 곱하여 제6의 함수를 얻는 공정과,(B8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 공정과,(B9) 원정보의 추정 분포에 상기 제7의 함수를 곱하여, 원정보의 다음 추정 분포를 얻는 공정과,(B10) 원정보의 다음 추정 분포로 원정보의 추정 분포를 치환하는 공정을 구비하는 것을 특징으로 하는 열화 정보의 복원 방법.
- 제2항에 있어서,상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 공정은상기 (A2)부터 (A10)의 공정을 반복 실행하고,상기 (B)의 원정보의 추정 분포를 갱신하는 공정은상기 (B2)부터 (B10)의 공정을 반복 실행하는 것을 특징으로 하는 열화 정보의 복원 방법.
- 제1항의 방법에 있어서의 각 공정을 컴퓨터에 실행시키기 위한 프로그램.
- 제2항의 방법에 있어서의 각 공정을 컴퓨터에 실행시키기 위한 프로그램.
- 제3항의 방법에 있어서의 각 공정을 컴퓨터에 실행시키기 위한 프로그램.
- 원정보와 열화 정보로부터 전달계의 주파수 응답의 분포를 추정하는 장치로서,열화 정보의 분포를 특정하는 수단과,원정보의 분포의 스펙트럼 분포를 특정하는 수단과,전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 수단과,(1) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 수단과,(2) 상기 제1의 함수에 상기 원정보의 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 수단과,(3) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 수단과,(4) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 수단과,(5) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 수단과,(6) 상기 제5의 함수에 상기 원정보의 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 수단과,(7) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 수단과,(8) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응 답의 다음 추정 분포를 얻는 수단과,임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하고, 상기 (1)부터 (8)의 수단에 반복 처리를 실시시키는 수단과,임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 분포를 얻어 출력하는 수단을 구비하는 것을 특징으로 하는 주파수 응답의 분포의 추정 장치.
- 열화 정보로부터 원정보를 복원하는 장치로서,열화 정보의 분포를 특정하는 수단과,원정보의 최초의 추정 분포를 특정하는 수단과,전달계의 임펄스 응답의 최초의 추정 분포를 특정하는 수단과,(A) 상기 열화 정보의 분포와, 원정보의 추정 분포와, 임펄스 응답의 추정 분포에 근거하여 임펄스 응답의 추정 분포를 갱신하는 수단과,(B) 상기 열화 정보의 분포와, 원정보의 추정 분포와, 임펄스 응답의 추정 분포에 근거하여 원정보의 추정 분포를 갱신하는 수단과,상기 (A)와 (B)의 수단에 교대로 반복 처리를 실시시키는 수단과,원정보의 추정 분포에 근거하여 원정보를 출력하는 수단을 구비하고,상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 수단은(A1) 원정보의 추정 분포를 푸리에 변환하여, 원정보의 추정 분포의 스펙트럼 분포를 얻는 수단과,(A2) 임펄스 응답의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 수단과,(A3) 상기 제1의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포를 곱하여 제2의 함수를 얻는 수단과,(A4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 수단과,(A5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 수단과,(A6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 수단과,(A7) 상기 제5의 함수에 상기 원정보의 추정 분포의 스펙트럼 분포의 반전 함수를 곱하여 제6의 함수를 얻는 수단과,(A8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 수단과,(A9) 상기 임펄스 응답의 추정 분포에 상기 제7의 함수를 곱하여, 임펄스 응답의 다음 추정 분포를 얻는 수단과,(A10) 임펄스 응답의 다음 추정 분포로 임펄스 응답의 추정 분포를 치환하는 수단을 구비하고,상기 (B)의 원정보의 추정 분포를 갱신하는 수단은(B1) 임펄스 응답의 추정 분포를 푸리에 변환하여, 전달계의 주파수 응답의 추정 분포를 얻는 수단과,(B2) 원정보의 추정 분포를 푸리에 변환하여 제1의 함수를 얻는 수단과,(B3) 상기 제1의 함수에 상기 주파수 응답의 추정 분포를 곱하여 제2의 함수 를 얻는 수단과,(B4) 상기 제2의 함수를 역푸리에 변환하여 제3의 함수를 얻는 수단과,(B5) 상기 열화 정보의 분포를 상기 제3의 함수로 나누어 제4의 함수를 얻는 수단과,(B6) 상기 제4의 함수를 푸리에 변환하여 제5의 함수를 얻는 수단과,(B7) 상기 제5의 함수에 상기 주파수 응답의 추정 분포의 반전 함수를 곱하여 제6의 함수를 얻는 수단과,(B8) 상기 제6의 함수를 역푸리에 변환하여 제7의 함수를 얻는 수단과(B9) 원정보의 추정 분포에 상기 제7의 함수를 곱하여, 원정보의 다음 추정 분포를 얻는 수단과,(B10) 원정보의 다음 추정 분포로 원정보의 추정 분포를 치환하는 수단을 구비하는 것을 특징으로 하는 열화 정보의 복원 장치.
- 제8항에 있어서,상기 (A)의 임펄스 응답의 추정 분포를 갱신하는 수단은상기 (A2)부터 (A10)의 수단에 반복 처리를 실시시키는 수단을 구비하고,상기 (B)의 원정보의 추정 분포를 갱신하는 수단은상기 (B2)부터 (B10)의 수단에 반복 처리를 실시시키는 수단을 구비하는 것을 특징으로 하는 열화 정보의 복원 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2004-00300206 | 2004-10-14 | ||
JP2004300206 | 2004-10-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070085364A true KR20070085364A (ko) | 2007-08-27 |
KR100907120B1 KR100907120B1 (ko) | 2009-07-09 |
Family
ID=36148414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020077010930A KR100907120B1 (ko) | 2004-10-14 | 2005-10-13 | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8019803B2 (ko) |
EP (1) | EP1801753B1 (ko) |
JP (1) | JP4568730B2 (ko) |
KR (1) | KR100907120B1 (ko) |
WO (1) | WO2006041127A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10247824B2 (en) | 2014-04-15 | 2019-04-02 | Samsung Electronics Co., Ltd. | Ultrasound imaging apparatus and method for controlling the same |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1801754B8 (en) | 2004-10-14 | 2011-09-14 | Lightron Co. Ltd. | Degradation information restoring method and device |
JP4825748B2 (ja) * | 2007-07-13 | 2011-11-30 | 株式会社モルフォ | 画像データ処理方法および撮像装置 |
JP5060967B2 (ja) * | 2008-01-09 | 2012-10-31 | ライトロン株式会社 | 劣化した画像を復元する装置、方法およびプログラム |
JP5164754B2 (ja) * | 2008-09-08 | 2013-03-21 | 株式会社日立ハイテクノロジーズ | 走査型荷電粒子顕微鏡装置及び走査型荷電粒子顕微鏡装置で取得した画像の処理方法 |
JP5627256B2 (ja) | 2010-03-16 | 2014-11-19 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP5564533B2 (ja) * | 2012-06-04 | 2014-07-30 | ライトロン株式会社 | 天体撮像装置、天体撮像方法およびプログラム |
JP5615393B2 (ja) | 2013-01-28 | 2014-10-29 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6155182B2 (ja) | 2013-12-11 | 2017-06-28 | 満男 江口 | Tv映像向け超解像処理方法および同方法によるtv映像向け超解像処理装置、第1〜第14超解像処理プログラム、並びに第1〜第4記憶媒体 |
JP6126523B2 (ja) * | 2013-12-11 | 2017-05-10 | 満男 江口 | Tv映像向け加速超解像処理方法及び同方法によるtv映像向け加速超解像処理装置、第1〜6加速超解像処理プログラム、並びに第1〜2記憶媒体 |
JP6129759B2 (ja) | 2014-02-03 | 2017-05-17 | 満男 江口 | Simd型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体 |
CN113252007B (zh) * | 2021-06-28 | 2021-09-24 | 常州微亿智造科技有限公司 | 用于工件质检的飞拍控制参数确定方法和装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5414782A (en) * | 1992-12-16 | 1995-05-09 | The United States Of Amercia As Represented By The Secretary Of Commerce | Procedure for digital image restoration |
JPH07334668A (ja) | 1994-06-10 | 1995-12-22 | Canon Inc | 画像処理方法及び装置 |
KR100247938B1 (ko) * | 1997-11-19 | 2000-03-15 | 윤종용 | 영상처리 시스템의 디지탈 초점 조절방법 및 장치 |
JP4111614B2 (ja) * | 1997-12-26 | 2008-07-02 | 独立行政法人科学技術振興機構 | 顕微鏡における複素信号検出方法 |
US6200266B1 (en) * | 1998-03-31 | 2001-03-13 | Case Western Reserve University | Method and apparatus for ultrasound imaging using acoustic impedance reconstruction |
JP3028518B1 (ja) * | 1998-10-19 | 2000-04-04 | 株式会社理想科学研究所 | ぼけ補正用逆フィルタ決定装置と方法、ぼけ補正機能を備える画像装置、及び記録媒体 |
US6485423B2 (en) * | 2000-01-31 | 2002-11-26 | Bjorn A. J. Angelsen | Correction of phasefront aberrations and pulse reverberations in medical ultrasound imaging |
JP4389371B2 (ja) * | 2000-09-28 | 2009-12-24 | 株式会社ニコン | 画像修復装置および画像修復方法 |
JP2004186901A (ja) * | 2002-12-02 | 2004-07-02 | Sony Corp | 撮像装置及び方法、プログラム及び記録媒体 |
JP2006518050A (ja) | 2003-02-18 | 2006-08-03 | オクラホマ メディカル リサーチ ファウンデーション | 焦点深度拡張顕微鏡法 |
EP1801754B8 (en) | 2004-10-14 | 2011-09-14 | Lightron Co. Ltd. | Degradation information restoring method and device |
-
2005
- 2005-10-13 JP JP2006540969A patent/JP4568730B2/ja active Active
- 2005-10-13 EP EP05793573.6A patent/EP1801753B1/en active Active
- 2005-10-13 WO PCT/JP2005/018866 patent/WO2006041127A1/ja active Application Filing
- 2005-10-13 KR KR1020077010930A patent/KR100907120B1/ko not_active IP Right Cessation
- 2005-10-13 US US11/664,990 patent/US8019803B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10247824B2 (en) | 2014-04-15 | 2019-04-02 | Samsung Electronics Co., Ltd. | Ultrasound imaging apparatus and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
EP1801753A1 (en) | 2007-06-27 |
US8019803B2 (en) | 2011-09-13 |
US20090013020A1 (en) | 2009-01-08 |
EP1801753A4 (en) | 2010-03-10 |
KR100907120B1 (ko) | 2009-07-09 |
WO2006041127A1 (ja) | 2006-04-20 |
JP4568730B2 (ja) | 2010-10-27 |
EP1801753B1 (en) | 2016-12-07 |
JPWO2006041127A1 (ja) | 2008-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100907120B1 (ko) | 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체 | |
JP6957197B2 (ja) | 画像処理装置および画像処理方法 | |
US11783231B2 (en) | System and method for joint image refinement and perception | |
EP1801754B1 (en) | Degradation information restoring method and device | |
JP5615393B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
CN110675347A (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
CN114746895A (zh) | 用于图像去噪的噪声重构 | |
JP2017010095A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6344934B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体 | |
JP2019169000A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2017010093A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP5060967B2 (ja) | 劣化した画像を復元する装置、方法およびプログラム | |
WO2022207110A1 (en) | Noise reconstruction for image denoising | |
JP2017010094A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2014099048A (ja) | 画像復元装置および画像復元方法 | |
JP2016119532A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
KR100843099B1 (ko) | 영상을 복원하기 위한 장치 및 방법 | |
JP2018206274A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6566780B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
Tanaka et al. | Restoration of motion-blurred line drawings by Differential Evolution and Richardson-Lucy algorithm | |
WO2018225547A1 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5564533B2 (ja) | 天体撮像装置、天体撮像方法およびプログラム | |
Hossain et al. | Supervised Learning of Digital image restoration based on Quantization Nearest Neighbor algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130627 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140610 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150702 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20160615 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20170621 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |