KR100983548B1 - A 3d shape reconstruction method considering point spread function of a microscope - Google Patents

A 3d shape reconstruction method considering point spread function of a microscope Download PDF

Info

Publication number
KR100983548B1
KR100983548B1 KR1020100033570A KR20100033570A KR100983548B1 KR 100983548 B1 KR100983548 B1 KR 100983548B1 KR 1020100033570 A KR1020100033570 A KR 1020100033570A KR 20100033570 A KR20100033570 A KR 20100033570A KR 100983548 B1 KR100983548 B1 KR 100983548B1
Authority
KR
South Korea
Prior art keywords
microscope
psf
image
value
parameter
Prior art date
Application number
KR1020100033570A
Other languages
Korean (ko)
Inventor
이병욱
오승미
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020100033570A priority Critical patent/KR100983548B1/en
Application granted granted Critical
Publication of KR100983548B1 publication Critical patent/KR100983548B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

PURPOSE: A 3D shape restoring method considering a point spread function of a microscope are provided to calculate optimum value of parameter used in a SMl(Sum of Modified Laplacizn) method and use the optimum value, thereby gaining more accurate EDOF. CONSTITUTION: A many z-stack images is generated by an image generation modeling(S100). By using Gaussian PSF(Point Spread Function) modeling, a PSF feature value η0 and η1 is approximated(S200). By using the approximated PSF feature value, parameter s value is set(S300). In the x-stack images, the best focused pixels are selected. The combination of the pixels, a EDOF(Extended Depth Of Field) image is obtained(S400).

Description

현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법{A 3D SHAPE RECONSTRUCTION METHOD CONSIDERING POINT SPREAD FUNCTION OF A MICROSCOPE}Three-dimensional shape restoration method considering the point diffusion function of a microscope {A 3D SHAPE RECONSTRUCTION METHOD CONSIDERING POINT SPREAD FUNCTION OF A MICROSCOPE}

본 발명은 삼차원 형상 복원 방법에 관한 것으로서, 보다 구체적으로는 현미경의 점 확산함수를 고려하여 연직으로 초점 면을 움직여 얻어진 z-stack 이미지로부터 모든 점에서 초점이 잘 맞는 이미지 및 삼차원 형상을 복원하는 방법에 관한 것이다.The present invention relates to a three-dimensional shape reconstruction method, and more particularly, a method for restoring a well-focused image and three-dimensional shape at all points from a z-stack image obtained by vertically moving a focal plane in consideration of a dot diffusion function of a microscope. It is about.

렌즈의 초점이 물체에 맞춰져 있는 경우에는 얻어지는 이미지 평면에 상이 선명하게 맺히게 되나, 초점이 물체에 정확하게 맞춰지지 않은 경우 물체의 상은 이미지 평면에서 번진 상태로 맺히게 된다. 이는 물체와 렌즈의 거리에 따라서 이미지 평면에 맺히는 상이 달라지기 때문에 생기는 현상으로 초점 거리가 길고 개구수(numerical aperture)가 작을수록 초점이 잘 맞는 영역이 커지게 된다. 이렇게 초점이 잘 맞는 영역을 심도라 하는데, 심도는 렌즈의 제한된 초점 거리와 개구수에 의해 결정된다. 생명 과학의 발전에 따라 세포를 연구하고 관찰하는 현미경 영상의 중요성이 점점 더 증대되고 있지만, 두꺼운 표본이나 표면을 정확하게 관찰해야 할 경우 현미경 렌즈의 제한된 심도 때문에 한 번에 전체적으로 초점이 맞는 영상을 획득하는 것은 불가능하다. 사용하는 렌즈마다 심도는 제한되어 있는데 심도가 큰 현미경의 경우 가격이 비싸고 일반 현미경에 비해서 사용 방법이 어렵다는 단점이 있다.
When the focus of the lens is focused on an object, the image is clearly formed in the image plane obtained, but when the focus is not precisely focused on the object, the image of the object is blurry in the image plane. This occurs because the image formed on the image plane varies depending on the distance between the object and the lens. The longer the focal length and the smaller the numerical aperture, the larger the focal region. This well-focused area is called the depth of field, which is determined by the limited focal length and numerical aperture of the lens. With the development of life sciences, the importance of microscopic imaging to study and observe cells is growing, but when it is necessary to accurately observe thick specimens or surfaces, the limited depth of the microscope lens can be used to obtain a fully focused image at once. It is impossible. Depth is limited for each lens used, but a large depth of the microscope is expensive and difficult to use compared to a conventional microscope.

또한, 실제로 생명 과학 분야에서는 주로 심도가 제한되어 있는 일반 광학 현미경을 이용하여 연구하고 있다. 이러한 이유로 일반 광학 현미경에서도 심도를 확장시키는 방식으로 이미지를 처리하여 깊이와 관계없이 선명한 세포 영상을 얻기 위한 연구가 많이 진행되고 있다. 일반적으로는 z축으로 초점 면(focal plane)을 움직여 초점 위치가 다른 여러 장의 더미 이미지(이하 ‘z-stack 이미지’)를 얻어 이로부터 현미경에서 모든 부분에서 초점이 맞는 한 장의 이미지를 구하는 확장된 필드 깊이(Extended Depth of Field, 이하 ‘EDOF’) 방법이 사용되고 연구되고 있다.
In addition, in the field of life science, the study is conducted using a general optical microscope mainly limited in depth. For this reason, many studies have been conducted to obtain clear cell images regardless of depth by processing images in a manner of expanding depth in general optical microscopes. In general, you move the focal plane along the z-axis to obtain multiple dummy images (hereafter referred to as 'z-stack images') with different focal positions, from which an extended image is obtained that obtains one focused image from all parts of the microscope. The Extended Depth of Field (EDOF) method is used and studied.

EDOF 이미지를 획득하면서 삼차원 형상도 복원할 수 있는 방법을 셰이프 프롬 포커스(Shape From Focus, 이하 ‘SFF’)라고 하는데, SFF 방법은 전체적으로 좀 더 또렷한 이미지를 얻으면서도 세포의 형상을 더욱더 정밀하게 추정할 수 있도록 개선이 필요한 실정이다.The method of reconstructing the three-dimensional shape while acquiring an EDOF image is called Shape From Focus (SFF). The SFF method is capable of estimating the shape of cells more precisely while obtaining a clearer image as a whole. There is a need for improvement.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 현미경의 점 확산함수(Point Spread Function, 이하 ‘PSF’)를 고려하여 SFF의 한 방법인 Sum of Modified Laplacian(이하 ‘SML’) 방법에 사용되는 파라미터의 최적 값을 계산하여 사용함으로써 보다 정확하고 또렷한 EDOF 이미지를 얻고 3차원 형상을 정밀하게 복원할 수 있는, 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the conventionally proposed methods, a Sum of Modified Laplacian (hereinafter referred to as "PSF") in consideration of the point spread function (PSF) of the microscope (hereinafter referred to as "SFF"). By calculating and using the optimal values of the parameters used in the 'SML' method, we can provide a three-dimensional shape restoration method that takes into account the point diffusion function of a microscope that can obtain a more accurate and clear EDOF image and accurately restore the three-dimensional shape. For that purpose.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법은,Three-dimensional shape restoration method in consideration of the point diffusion function of the microscope according to the characteristics of the present invention for achieving the above object,

(1) 현미경의 점 확산함수(이하, ‘PSF’) 특성 값을 추정하는 PSF 특성 값 추정 단계;(1) PSF characteristic value estimating step of estimating the point diffusion function (hereinafter, 'PSF') characteristic value of the microscope;

(2) 상기 추정된 현미경의 PSF 특성 값에 따라 SML(Sum of Modified Laplacian) 파라미터 s를 설정하는 파라미터 s 설정 단계; 및(2) a parameter s setting step of setting a sum of modified laplacian (SML) parameter s according to the estimated PSF characteristic value of the microscope; And

(3) 상기 설정된 파라미터 s를 적용하여 z-stack 이미지에서 초점이 가장 잘 맞춰있는 화소를 선택하고, 선택된 화소를 조합하여 삼차원 형상을 복원하는 화소 선택 및 형상 복원 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(3) a pixel selection and shape restoration step of selecting a pixel that is best focused in a z-stack image by applying the set parameter s, and restoring a three-dimensional shape by combining the selected pixels. It is done.

바람직하게는,Preferably,

연직으로 표본의 초점 위치를 바꾸어가며 여러 장의 세포 영상을 영상 생성 모델링에 의해 생성하는 z-stack 이미지의 생성 단계를 더 포함할 수 있다.
The method may further include a step of generating a z-stack image by vertically changing a focal position of the specimen and generating multiple cell images by image generation modeling.

더욱 바람직하게는, 상기 z-stack 이미지의 생성 단계는,More preferably, the step of generating the z-stack image,

변화하는 초점 면에 따라 변화하는 PSF 특성 값을 갖는 영상을 생성하도록 하기 수학식에 의해 z-stack 이미지를 생성할 수 있다.A z-stack image may be generated by the following equation to generate an image having a PSF characteristic value that changes according to a changing focal plane.

Figure 112010023310295-pat00001
Figure 112010023310295-pat00001

여기서,

Figure 112010023310295-pat00002
이며, 상기 식에서 p(u,v)는 영상의 위치 (u,v)에서의 깊이 정보를 나타낸다.
here,
Figure 112010023310295-pat00002
Where p (u, v) represents depth information at the position (u, v) of the image.

바람직하게는, 상기 단계 (1)에서,Preferably, in step (1),

초점 면의 위치와 렌즈에 따라 변하는 η0 및 η1을 현미경의 PSF 특성 값으로 하며, 가우시안 PSF 모델링을 이용하여, 키르히호프 회절 방정식을 간략화하고 가우시안 형태로 근사한 가우시안 PSF 모델링을 통하여 상기 특성 값 η0 및 η1을 구할 수 있다.
Η 0 and η 1 varying according to the position of the focal plane and the lens are PSF characteristic values of the microscope, and the Gaussian PSF modeling is used to simplify the Kirchhoff diffraction equation and to approximate Gaussian form, and to calculate the characteristic value η. 0 and η 1 can be obtained.

바람직하게는, 상기 단계 (2)에서,Preferably, in step (2),

하기 수학식에 의해 파라미터 s를 계산하여 초점 기준 값의 기울기가 최대가 되는 최적 파라미터

Figure 112010023310295-pat00003
의 값을 구할 수 있다.Optimal parameter for which the slope of the focus reference value is maximized by calculating the parameter s by the following equation
Figure 112010023310295-pat00003
Can be found.

Figure 112010023310295-pat00004
Figure 112010023310295-pat00004

여기서,

Figure 112010023310295-pat00005
.
here,
Figure 112010023310295-pat00005
.

바람직하게는, 상기 단계 (3)에서,Preferably, in step (3),

상기 설정된 파라미터 s를 적용하여 하기 수학식에 의해 측정하고자 하는 위치의 픽셀과 그 주변 픽셀의 차이의 합으로 초점 값을 계산하여 가장 초점이 잘 맞춰있는 화소를 선택할 수 있다.By applying the set parameter s, a focus value may be calculated based on a sum of a difference between a pixel at a position to be measured and a neighboring pixel according to the following equation, to select a pixel that is most focused.

Figure 112010023310295-pat00006
Figure 112010023310295-pat00006

본 발명에서 제안하고 있는 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법에 따르면, 현미경의 PSF를 고려하여 SFF의 한 방법인 SML 방법에 사용되는 파라미터의 최적 값을 계산하여 사용함으로써 보다 정확하고 또렷한 EDOF 이미지를 얻고 3차원 형상을 더욱더 정확하게 복원할 수 있다.According to the three-dimensional shape reconstruction method considering the point diffusion function of the microscope proposed in the present invention, by using the optimal value of the parameters used in the SML method, which is a method of SFF in consideration of the PSF of the microscope EDOF more accurate and clear Images can be obtained and more precisely reconstructed three-dimensional shapes.

도 1은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 흐름도.
도 2는 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 z-stack 이미지 생성 단계에 사용되는 영상 생성 모델링의 과정을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 파라미터 s의 설정 단계에서 현미경의 PSF 특성 값의 변화에 따른 s에 대한 초점 기준 값의 기울기의 변화를 도시한 도면.
도 4는 본 발명의 일실시예에 따른 삼차원 형상 복원 방법에서 파라미터 s 별로 잡음 표준 편차에 따른 형상을 잘못 찾아낸 화소의 수를 도시한 도면.
도 5는 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 실제 실험 결과에서 파라미터 s 별로 잡음 표준 편차에 따른 형상을 잘못 찾아낸 화소의 수를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 파라미터 s의 설정 단계에서 구한 최적 파라미터보다 작은 s값, 최적 파라미터 s값, 및 초점 기준 값의 기울기가 최대가 되는 s값(

Figure 112010023310295-pat00007
)을 사용하여 복원한 EDOF 이미지를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법에 의해 구한 EDOF 이미지와 세포 형상을 이용하여 복원한 가상 3차원 세포를 도시한 도면.1 is a flow chart of a three-dimensional shape restoration method according to an embodiment of the present invention.
2 is a view showing a process of image generation modeling used in the z-stack image generation step of the three-dimensional shape reconstruction method according to an embodiment of the present invention.
3 is a view showing a change in the slope of the focus reference value for s according to the change in the PSF characteristic value of the microscope in the step of setting the parameter s of the three-dimensional shape reconstruction method according to an embodiment of the present invention.
4 is a diagram illustrating the number of pixels erroneously found a shape according to a noise standard deviation for each parameter s in the three-dimensional shape restoration method according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating the number of pixels erroneously found a shape according to a noise standard deviation for each parameter s in the actual experimental result of the three-dimensional shape reconstruction method according to an embodiment of the present invention.
6 is an s value smaller than an optimal parameter obtained in the setting step of the parameter s of the three-dimensional shape reconstruction method according to an embodiment of the present invention, an optimal parameter s value, and an inclination of the focus reference value (
Figure 112010023310295-pat00007
A diagram showing an EDOF image restored using
FIG. 7 is a diagram illustrating a virtual three-dimensional cell reconstructed using an EDOF image and a cell shape obtained by a three-dimensional shape reconstruction method according to an embodiment of the present invention. FIG.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. However, in describing the preferred embodiment of the present invention in detail, if it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . In addition, the term 'comprising' of an element means that the element may further include other elements, not to exclude other elements unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 흐름도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법은, PSF 특성 값의 추정 단계(S200), 파라미터 s의 설정 단계(S300), 화소 선택 및 형상 복원 단계(S400)를 통해 구현되며, z-stack 이미지의 생성 단계(S100)를 더 포함하여 구현될 수 있다.
1 is a flowchart of a three-dimensional shape restoration method according to an embodiment of the present invention. As shown in FIG. 1, the three-dimensional shape reconstruction method considering the point diffusion function of a microscope according to an embodiment of the present invention includes: estimating a PSF characteristic value (S200), setting a parameter s (S300), and pixel selection And it is implemented through the shape restoration step (S400), it may be implemented further comprising the generation step (S100) of the z-stack image.

z-stack 이미지의 생성 단계(S100)에서는, 광학적으로 표본의 초점 위치를 바꾸어가며 얻은 여러 장의 세포 영상(z-stack 이미지)을 영상 생성 모델링에 의해 생성할 수 있다. 즉, 변화되는 초점 면에 따라 이미지가 갖게 되는 PSF가 달라지도록 영상 생성 모델링을 하는데, 이와 같은 영상 생성 모델링은 다음 수학식 1에 의해 구현될 수 있다.In the generation of the z-stack image (S100), a plurality of cell images (z-stack images) obtained by optically changing the focal position of the specimen may be generated by image generation modeling. That is, image generation modeling is performed such that the PSF of the image is changed according to the changing focal plane. Such image generation modeling may be implemented by Equation 1 below.

Figure 112010023310295-pat00008
Figure 112010023310295-pat00008

여기서,

Figure 112010023310295-pat00009
이다. 또한, h(x,y,z)는 3차원 PSF인데, 이를 가우시안으로 가정할 수 있다. η0와 η1은 렌즈에 따라 달라지는 PSF 특성 값, f(u,v)는 텍스쳐 영상, p(u,v)는 물체의 깊이 정보이다.
here,
Figure 112010023310295-pat00009
to be. In addition, h (x, y, z) is a three-dimensional PSF, which can be assumed to be Gaussian. η 0 and η 1 are PSF characteristic values that vary depending on the lens, f (u, v) is a texture image, and p (u, v) is depth information of an object.

도 2는 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 z-stack 이미지 생성 단계에 사용되는 영상 생성 모델링의 과정을 도시한 도면이다. 영상 생성 모델링은 z축으로 초점 면을 변화시켜 가면서 z-stack 이미지를 생성하게 되는데, 텍스쳐 영상과 현미경의 PSF(Point Spread Function)를 콘볼루션(convolution)으로 z축을 바꾸어가면서 초점 면을 변화시키면 영상 생성 모델링에서 사용되는 대상의 PSF가 초점 면마다 다른 값을 가질 수 있게 된다.
2 is a view showing a process of image generation modeling used in the z-stack image generation step of the three-dimensional shape reconstruction method according to an embodiment of the present invention. Image generation modeling generates z-stack images by changing the focal plane on the z-axis. When changing the focal plane by changing the z-axis by changing the z-axis with the convolution of the texture image and the PSF (Point Spread Function) of the microscope The PSF of the object used in generation modeling can have different values for each focal plane.

PSF 특성 값의 추정 단계(S200)에서는, 가우시안 PSF 모델링을 이용하여 PSF 특성 값 η0 및 η1을 추정한다. 현미경 렌즈의 수차 및 회절을 동시에 고려한 3차원 PSF 모델링 기법에는 키르히호프 회절 방정식(Krichhoff's diffraction equation)을 이용한 Gibson & Lanni의 PSF 모델링 기법과 이것을 간략화 한 Pinaki & Arye의 PSF 모델링 기법이 있다. PSF 특성 값에 따른 파라미터 s의 계산을 보다 간략하게 하기 위하여 초점 거리 근처에 있는 Pinaki & Arye PSF 모델링을 가우시안 형태로 재 모델링하여 사용할 수 있고, 이를 통하여 PSF 특성 값 η0 및 η1을 추정할 수 있다.
In step S200 of estimating the PSF characteristic values, the PSF characteristic values η 0 and η 1 are estimated using Gaussian PSF modeling. Three-dimensional PSF modeling methods that simultaneously consider aberration and diffraction of microscope lenses include Gibson &Lanni's PSF modeling method using Krichhoff's diffraction equation and a simplified PSF modeling method of Pinaki & Arye. In order to simplify the calculation of the parameter s according to the PSF characteristic values, Pinaki & Arye PSF modeling near the focal length can be remodeled in Gaussian form to estimate the PSF characteristic values η 0 and η 1 . have.

파라미터 s의 설정 단계(S300)에서는, 단계 S200에서 추정된 PSF 특성 값을 이용하여 파라미터 s 값을 설정하게 된다. 기존에는 파라미터 s의 값으로서 보통 2나 3을 많이 사용하는데, 본 발명에서는 현미경마다의 특성을 고려하여 현미경의 PSF에 따라 결정되는 최적 값을 계산하여 사용한다.
In the setting step S300 of the parameter s, the parameter s value is set using the PSF characteristic value estimated in step S200. Conventionally, 2 or 3 are commonly used as the value of the parameter s. In the present invention, the optimum value determined according to the PSF of the microscope is used in consideration of the characteristics of each microscope.

렌즈의 제한된 심도를 극복하고 모든 점에서 초점이 맞는 이미지를 얻기 위해 여러 가지 확장된 필드 깊이(Extended Depth Of Field, 이하 ‘EDOF’) 방법이 사용되고 있다. Li 방법, difference of Gaussian(이하 ‘DOG’) 방법, non-directional difference operator(이하 ‘Nondirectional’) 방법, 및 Sum of Modified Laplacian(이하 ‘SML’) 방법 등이 많이 사용되고 있는 방법이다.
Various Extended Depth Of Field (EDOF) methods are used to overcome the limited depth of the lens and obtain a focused image at all points. The Li method, difference of Gaussian (hereinafter referred to as 'DOG') method, non-directional difference operator (hereinafter referred to as 'Nondirectional') method, and Sum of Modified Laplacian (hereinafter referred to as 'SML') method are widely used.

각 EDOF 방법을 이용하여 한 장의 초점이 맞는 이미지를 구하고, 각 방법으로 구한 영상과 실험에 사용한 텍스쳐 영상 간의 PSNR(Peak Signal to Noise Ratio)을 구하여 비교함으로써 어느 방법이 보다 정확한 EDOF 방법인지 분석할 수 있다.By using each EDOF method, one focused image is obtained, and the PSNR (Peak Signal to Noise Ratio) between the image obtained by each method and the texture image used in the experiment can be compared to analyze which method is more accurate. have.

LiLi DOGDOG NondirectionalNondirectional 제안한 SMLProposed SML PSNRPSNR 24.7824.78 27.7627.76 27.3727.37 30.7430.74

상기 표 1은 여러 종류의 EDOF 이미지의 PSNR을 비교한 결과를 나타낸다. 표 1에서 확인할 수 있듯이, SML이 다른 EDOF 방법보다 PSNR이 커서 가장 정확한 것으로 분석되므로 SML 방법을 사용하는 것이 바람직하다. SML 방법은 초점 기준(focus criterion)을 z-stack 이미지에서 계산하여 가장 초점이 잘 맞춰진 영상의 영역을 찾아내고 선택하는 방법인 Shape From Focus(이하 ‘SFF’) 방법 중 하나이다.
Table 1 shows the results of comparing the PSNR of the various types of EDOF images. As shown in Table 1, it is preferable to use the SML method because SML is analyzed to be the most accurate because the PSNR is larger than other EDOF methods. The SML method is one of the Shape From Focus (SFF) method that calculates a focus criterion from a z-stack image and finds and selects an area of the most focused image.

SML 방법에 의하면 라플라시안(Laplacian)을 이용하여 만든 초점 기준을 사용하여 가장 초점이 잘 맞춰진 영상의 영역을 찾아내게 되는데, 이는 다음 수학식 2에 의할 수 있다.According to the SML method, the region of the most focused image is found using a focus criterion created using Laplacian, which can be obtained from Equation 2 below.

Figure 112010023310295-pat00010
Figure 112010023310295-pat00010

이 방법에서는 입력 영상의 특성에 따라 임의로 파라미터 s를 설정하여 측정하고자 하는 위치의 픽셀과 그 주변 픽셀의 차이의 합을 계산하여 초점 값을 측정한다.
In this method, the parameter s is arbitrarily set according to the characteristics of the input image, and the focus value is calculated by calculating the sum of the difference between the pixel at the position to be measured and the surrounding pixels.

세포의 샘플링 간격이 1로 표준화(normalization)했을 때, 예를 들어 z=0인 영상과 z=1인 영상 중에서 초점이 잘 맞는 영상을 선택하려면 깊이 z=0.5일 때의 초점 기준 값의 변화의 기울기가 가장 큰 파라미터 s를 선택하여야 한다. 초점 기준 값의 기울기가 최대가 되는 s를 찾기 위해서 세포의 깊이가 0.55와 0.45일 때 초점 기준 값의 차이를 z가 0.5에서의 기울기로 근사할 수 있다. 이때, 초점 기준 값의 변화의 기울기 값이 최대가 되는 파라미터 s(

Figure 112010023310295-pat00011
)를 찾도록 한다. 이를 수식으로 정리하면 다음 수학식 3과 같다.When the sampling interval of the cells is normalized to 1, for example, to select a well-focused image between z = 0 and z = 1, the change in the focus reference value at the depth z = 0.5 The parameter s with the largest slope must be selected. In order to find the maximum slope of the focal reference value, the difference between the focal reference values when the cell depths are 0.55 and 0.45 can be approximated by the slope at 0.5. At this time, the parameter s (maximum inclination of the change in the focus reference value) becomes maximum.
Figure 112010023310295-pat00011
). This can be summarized as Equation 3 below.

Figure 112010023310295-pat00012
Figure 112010023310295-pat00012

여기서,

Figure 112010023310295-pat00013
.
here,
Figure 112010023310295-pat00013
.

도 3은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 파라미터 s의 설정 단계(S300)에서 현미경의 PSF 특성 값의 변화에 따른 s에 대한 초점 기준 값의 기울기의 변화를 도시한 도면이다. 도 3에 도시된 바와 같이, 초점 기준 값의 기울기가 최대값을 넘고 난 후에는 s의 크기가 변화되어도 초점 기준 값의 기울기는 거의 일정해진다. 하지만 초점 기준 값의 기울기의 최대값 이전의 s의 범위에서는 기울기의 값이 급격하게 바뀐다. 파라미터 s의 변화에 따른 초점 기준 값의 기울기가 클수록 잡음에 강하여 초점이 맞는 영상을 선택하는데 적합하다. 그러나 기울기가 최대가 되기 전 범위의 s에서는 기울기 변화가 급격하기 때문에 잡음의 변화에 강하지 못하다. 따라서 기울기가 최대가 되는

Figure 112010023310295-pat00014
이후의 값을 파라미터의 값으로 설정하는 것이 바람직하다.
3 is a view showing a change in the slope of the focus reference value for s according to the change in the PSF characteristic value of the microscope in the setting step (S300) of the parameter s of the three-dimensional shape restoration method according to an embodiment of the present invention. As shown in FIG. 3, after the slope of the focus reference value exceeds the maximum value, the slope of the focus reference value becomes substantially constant even if the magnitude of s changes. However, the value of the slope changes drastically in the range of s before the maximum value of the slope of the focus reference value. The larger the slope of the focus reference value according to the change of the parameter s, the more resistant to noise and suitable for selecting a focused image. However, in the range of s before the slope becomes the maximum, the change of the slope is sharp, so that the noise is not strong. So the slope is the maximum
Figure 112010023310295-pat00014
It is preferable to set the subsequent value to the value of the parameter.

도 4는 본 발명의 일실시예에 따른 삼차원 형상 복원 방법에서 파라미터 s 별로 잡음 표준 편차에 따른 형상을 잘못 찾아낸 화소의 수를 도시한 도면이다. 파라미터 s가 잡음에 얼마나 강한지 알아보기 위해 대상 영상에 가우스(Gaussian) 잡음을 넣어서 형상을 잘못 찾아낸, 즉 오류가 발생한 화소의 수를 시뮬레이션을 통해 알아볼 수 있다. 가로축은 잡음 표준 편차이고 세로축은 오류가 발생한 화소의 수를 나타낸다. 좌측 패널은 η0=0.1, η1=1.5인 경우, 우측 패널은 η0=0.1, η1=2.5인 경우를 표현한 것이다. 각각의 경우에 PSF 특성 값 변화에 따라 계산된

Figure 112010023310295-pat00015
값은 s=1.69와 s=2.78이다. 도 4에 도시된 바와 같이, 계산된 s값보다 작은 파라미터 s를 사용하였을 때 즉, 좌측 패널의 경우 s=1, 우측 패널의 경우 s=1 및 s=2일 때 오류가 발생하는 화소의 수가 많아지는 것을 확인할 수 있다. 최적 파라미터 s의 값은 초점 기준 값의 기울기가 최대가 되는
Figure 112010023310295-pat00016
값보다 조금 커서 초점 기준 값의 기울기가 안정된 상태의 s값이 바람직할 수 있다.
FIG. 4 is a diagram illustrating the number of pixels in which a shape according to noise standard deviation is incorrectly found for each parameter s in the three-dimensional shape reconstruction method according to an embodiment of the present invention. In order to find out how strong the parameter s is to noise, we can find out the shape of the object by adding Gaussian noise to the target image. The horizontal axis represents the noise standard deviation and the vertical axis represents the number of pixels in which an error has occurred. The left panel represents the case where η 0 = 0.1, η 1 = 1.5, and the right panel represents the case where η 0 = 0.1 and η 1 = 2.5. Calculated in each case according to the change in PSF characteristic values
Figure 112010023310295-pat00015
The values are s = 1.69 and s = 2.78. As shown in FIG. 4, when the parameter s smaller than the calculated s value is used, that is, the number of pixels in which an error occurs when s = 1 for the left panel and s = 1 and s = 2 for the right panel. You can see the increase. The value of the optimal parameter s is such that the slope of the focus reference value is
Figure 112010023310295-pat00016
An s value with a slightly larger value than the value and having a stable slope of the focus reference value may be preferable.

화소 선택 및 형상 복원 단계(S400)에서는, z-stack 이미지에서 초점이 가장 잘 맞춰져 있는 화소를 선택하여 이들을 조합함으로써 모든 영역에서 초점이 잘 맞는 이미지(all in focus image) 즉, EDOF 이미지를 구하게 된다. 단계 S300에서 설정된 최적의 파라미터 s를 적용하여 초점 기준 값을 계산하고 초점 기준 값이 가장 큰 영역을 찾아내면 그 부분이 가장 초점이 잘 맞춰진 부분에 해당하게 된다.
In the pixel selection and shape reconstruction step (S400), the pixels in the z-stack image that are best focused are selected and combined to obtain an all in focus image, that is, an EDOF image in all regions. . When the optimal reference value s set in step S300 is applied to calculate the focus reference value and the area having the largest focus reference value is found, the part corresponds to the most focused part.

실험결과Experiment result

실험 영상은 난자 직접채취술(Ovum Pick-Up, OPU)에 의해 채취된 세포의 영상으로 전체 이미지의 크기는 1360x1024이고, 관찰할 때 사용한 렌즈는 올림푸스(Olympus) IX-71 광역(widefield) 도립형 형광 현미경의 40배율 렌즈이며, 40배율로 노출 시간을 307.7㎳, ISO 400인 상태에서 샘플링 간격을 0.4㎛로 총 67장의 z-stack 이미지를 생성하여 사용하였다. 추정된 PSF의 특성 값은 η0=1.73와 η1=0.0210이고, 이를 이용하여 계산된

Figure 112010023310295-pat00017
의 값은 3.49이다. 설정된 파라미터 s의 최적 값은
Figure 112010023310295-pat00018
보다 조금 커서 초점 기준 값의 기울기가 안정된 s=4로 하였다.
Experimental images are images of cells taken by Ovum Pick-Up (OPU). The size of the whole image is 1360x1024, and the lens used for observation is Olympus IX-71 widefield inverted type. A 40-magnification lens of a fluorescence microscope was used to generate a total of 67 z-stack images with a sampling interval of 0.4 μm at an exposure time of 307.7 μs and an ISO 400 at 40 magnification. The characteristic values of the estimated PSF are η 0 = 1.73 and η 1 = 0.0210, which are calculated using
Figure 112010023310295-pat00017
The value of is 3.49. The optimal value of the set parameter s is
Figure 112010023310295-pat00018
It was slightly larger, and the slope of the focus reference value was stabilized to s = 4.

도 5는 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 실제 실험 결과에서 파라미터 s 별로 잡음 표준 편차에 따른 형상을 잘못 찾아낸 화소의 수를 도시한 도면이다. 도 5에 도시된 바와 같이, 계산된 파라미터 값보다 작은 s를 사용하였을 때 오류 발생 빈도가 커짐을 확인할 수 있다.
FIG. 5 is a diagram illustrating the number of pixels erroneously found a shape according to a noise standard deviation for each parameter s in an actual test result of a three-dimensional shape reconstruction method according to an embodiment of the present invention. As shown in FIG. 5, it can be seen that an error occurrence frequency increases when s smaller than the calculated parameter value is used.

도 6은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법의 파라미터 s의 설정 단계(S300)에서 구한 최적 파라미터보다 작은 s값, 최적 파라미터 s값, 및 초점 기준 값의 기울기가 최대가 되는 s값(

Figure 112010023310295-pat00019
)을 사용하여 복원한 EDOF 이미지를 도시한 도면이다. 도 6에 도시된 바와 같이, 측정된 s의 최적 값을 파라미터로 사용한 경우에 잡음에 강한 복원 영상이 얻어지는 것을 확인할 수 있다. 또한,
Figure 112010023310295-pat00020
값을 사용하여 복원 영상을 만든 경우 최적 s 값을 사용했을 때보다 좀 더 잡음에 강하다는 것을 알 수 있다. 하지만 계산되는 양을 고려할 때 최적 s에 비해 s보다 크게 좋아지지는 않는다.
6 is an s value smaller than an optimal parameter obtained in the setting step S300 of the parameter s of the method for restoring a three-dimensional shape according to an embodiment of the present invention, an optimal parameter s value, and an inclination of the focus reference value to a maximum value. (
Figure 112010023310295-pat00019
Is an illustration of an EDOF image reconstructed using the " As shown in FIG. 6, when the optimal value of the measured s is used as a parameter, a reconstructed image resistant to noise may be obtained. Also,
Figure 112010023310295-pat00020
We can see that the reconstructed image using the value is more noise-resistant than using the optimal s value. However, given the amount calculated, it does not get much better than s compared to the optimal s.

도 7은 본 발명의 일실시예에 따른 삼차원 형상 복원 방법에 의해 구한 EDOF 이미지와 세포 형상을 이용하여 복원한 가상 3차원 세포를 도시한 도면이다. 도 7에 도시된 바와 같이, 세포 영상 실험 결과 측정된 최적 s를 이용하여 복원 영상을 잘 만들어내는 것은 세포의 깊이 정보도 동시에 잘 찾아낸다고 판단할 수 있다.
FIG. 7 is a diagram illustrating a virtual three-dimensional cell reconstructed using an EDOF image and a cell shape obtained by a three-dimensional shape reconstruction method according to an embodiment of the present invention. As shown in FIG. 7, it may be determined that the well-established reconstructed image using the optimal s measured as a result of cell imaging also finds the depth information of the cell at the same time.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above may be variously modified or applied by those skilled in the art, and the scope of the technical idea according to the present invention should be defined by the following claims.

S100: z-stack 이미지의 생성 단계
S200: PSF 특성 값의 추정 단계 S300: 파라미터 s의 설정 단계
S400: 화소 선택 및 형상 복원 단계S100: Generation of z-stack images
S200: Estimation step of PSF characteristic value S300: Setting step of parameter s
S400: pixel selection and shape restoration step

Claims (6)

삼차원 형상 복원 방법에 있어서,
(1) 현미경의 점 확산함수(이하, ‘PSF’) 특성 값을 추정하는 PSF 특성 값 추정 단계;
(2) 상기 추정된 현미경의 PSF 특성 값에 따라 SML(Sum of Modified Laplacian) 파라미터 s를 설정하는 파라미터 s 설정 단계; 및
(3) 상기 설정된 파라미터 s를 적용하여 z-stack 이미지에서 초점이 가장 잘 맞춰있는 화소를 선택하고 선택된 화소를 조합하여 삼차원 형상을 복원하는 화소 선택 및 형상 복원 단계를 포함하는 것을 특징으로 하는 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법.
In the three-dimensional shape restoration method,
(1) a PSF characteristic value estimating step of estimating a point diffusion function (hereinafter, referred to as 'PSF') characteristic value of a microscope;
(2) a parameter s setting step of setting a sum of modified laplacian (SML) parameter s according to the estimated PSF characteristic value of the microscope; And
(3) a pixel selection and shape restoration step of selecting a pixel having the best focus in a z-stack image by applying the set parameter s and combining the selected pixels to restore a three-dimensional shape. Three-dimensional shape restoration method considering point diffusion function.
제1항에 있어서,
연직으로 표본의 초점 위치를 바꾸어가며 여러 장의 세포영상을 영상 생성 모델링에 의해 생성하는 z-stack 이미지의 생성 단계를 더 포함하는 것을 특징으로 하는 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법.
The method of claim 1,
3. The method of claim 3, further comprising a step of generating a z-stack image of a plurality of cell images by image generation modeling while vertically changing a focal position of the specimen.
제2항에 있어서, 상기 z-stack 이미지의 생성 단계는,
변화하는 초점 면에 따라 변화하는 PSF 특성 값을 갖는 영상을 생성하도록 하기 수학식에 의해 z-stack 이미지를 생성하는 것을 특징으로 하는 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법.
Figure 112010049971713-pat00021

여기서, h(x,y,z)는 3차원 PSF로서,
Figure 112010049971713-pat00022
이며, η0와 η1은 초점 면의 위치와 렌즈에 따라 달라지는 현미경의 PSF 특성 값이다. 또한, f(u,v)와 p(u,v)는, 영상의 위치 (u,v)에서의 텍스쳐 영상과 깊이 정보를 각각 나타낸다.
The method of claim 2, wherein the generating of the z-stack image comprises:
3. A method of restoring a three-dimensional shape by considering a point diffusion function of a microscope, wherein a z-stack image is generated by the following equation to generate an image having a PSF characteristic value that changes according to a changing focal plane.
Figure 112010049971713-pat00021

Where h (x, y, z) is a three-dimensional PSF,
Figure 112010049971713-pat00022
Η 0 and η 1 are PSF characteristic values of the microscope, which depend on the position of the focal plane and the lens. In addition, f (u, v) and p (u, v) represent the texture image and depth information at the position (u, v) of the image, respectively.
제1항에 있어서, 상기 단계 (1)에서,
초점 면의 위치와 렌즈에 따라 변하는 η0 및 η1을 현미경의 PSF 특성 값으로 하며,
가우시안 PSF 모델링을 이용하여, 키르히호프 회절 방정식을 간략화하고 가우시안 형태로 근사한 가우시안 PSF 모델링을 통하여 상기 특성 값 η0 및 η1을 구하는 것을 특징으로 하는 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법.
The method of claim 1, wherein in step (1),
Η 0 and η 1 , which change with the position of the focal plane and the lens, are the PSF characteristic values of the microscope,
A method for restoring a three-dimensional shape by considering a point diffusion function of a microscope, characterized by simplifying Kirchhoff's diffraction equation using Gaussian PSF modeling and obtaining the characteristic values η 0 and η 1 through Gaussian PSF modeling approximated in Gaussian form.
제1항에 있어서, 상기 단계 (2)에서,
하기 수학식에 의해 파라미터 s를 계산하여 초점 기준 값의 기울기가 최대가 되는 최적 파라미터
Figure 112010049971713-pat00023
의 값을 구하는 것을 특징으로 하는 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법.
Figure 112010049971713-pat00024

여기서, FSML(x,y)은 측정하고자 하는 위치의 픽셀과 그 주변 픽셀의 밝기 차이의 합으로서 초점 값을 계산하는 수학식으로서, 다음 수학식과 같이 정의된다.
Figure 112010049971713-pat00034

이때, s는 다음 수학식에 의해 계산된다.
Figure 112010049971713-pat00025

여기서, η0와 η1은 초점 면의 위치와 렌즈에 따라 변하는 현미경의 PSF 특성 값을 나타낸다.
The method of claim 1, wherein in step (2),
Optimal parameter for which the slope of the focus reference value is maximized by calculating the parameter s by the following equation
Figure 112010049971713-pat00023
3D shape restoration method considering the point diffusion function of the microscope, characterized in that to obtain the value of.
Figure 112010049971713-pat00024

Here, F SML (x, y) is a formula for calculating a focus value as a sum of brightness differences between pixels of a position to be measured and pixels around it, and is defined as follows.
Figure 112010049971713-pat00034

In this case, s is calculated by the following equation.
Figure 112010049971713-pat00025

Here, eta 0 and eta 1 represent PSF characteristic values of the microscope which vary depending on the position of the focal plane and the lens.
제1항에 있어서, 상기 단계 (3)에서,
상기 설정된 파라미터 s를 적용하여 하기 수학식에 의해 측정하고자 하는 위치의 픽셀과 그 주변 픽셀의 밝기 차이의 합으로 초점 값을 계산하여 가장 초점이 잘 맞춰있는 화소를 선택하는 것을 특징으로 하는 현미경의 점 확산함수를 고려한 삼차원 형상 복원 방법.
Figure 112010049971713-pat00026

여기서, I(x,y)는 위치 (x,y)에서의 밝기 값을 나타내며, s는 상기 단계 (2)에서 설정된 SML 파라미터를 나타낸다.The method of claim 1, wherein in step (3),
Point of the microscope characterized in that the most well-focused pixel is selected by calculating the focus value by the sum of the brightness difference between the pixel of the position to be measured and the surrounding pixel by applying the set parameter s Three-dimensional shape restoration method considering the diffusion function.
Figure 112010049971713-pat00026

Where I (x, y) represents the brightness value at position (x, y) and s represents the SML parameter set in step (2) above.
KR1020100033570A 2010-04-12 2010-04-12 A 3d shape reconstruction method considering point spread function of a microscope KR100983548B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100033570A KR100983548B1 (en) 2010-04-12 2010-04-12 A 3d shape reconstruction method considering point spread function of a microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100033570A KR100983548B1 (en) 2010-04-12 2010-04-12 A 3d shape reconstruction method considering point spread function of a microscope

Publications (1)

Publication Number Publication Date
KR100983548B1 true KR100983548B1 (en) 2010-09-24

Family

ID=43010368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100033570A KR100983548B1 (en) 2010-04-12 2010-04-12 A 3d shape reconstruction method considering point spread function of a microscope

Country Status (1)

Country Link
KR (1) KR100983548B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2687890A1 (en) * 2012-07-19 2014-01-22 Sony Corporation Method and apparatus for compressing Z-stack microscopy images
CN106846469A (en) * 2016-12-14 2017-06-13 北京信息科技大学 The method and apparatus that feature based point tracking is reconstructed three-dimensional scenic by focusing storehouse
CN111413791A (en) * 2019-01-07 2020-07-14 卡尔蔡司显微镜有限责任公司 High resolution scanning microscopy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080048220A (en) * 2006-11-28 2008-06-02 한국과학기술원 Method for blind deconvolution for the image blurred by radial symmetry finite impulse response point spread function
KR20090117399A (en) * 2008-05-09 2009-11-12 삼성전자주식회사 Lens with extended depth of focus and optical system having the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080048220A (en) * 2006-11-28 2008-06-02 한국과학기술원 Method for blind deconvolution for the image blurred by radial symmetry finite impulse response point spread function
KR20090117399A (en) * 2008-05-09 2009-11-12 삼성전자주식회사 Lens with extended depth of focus and optical system having the same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2687890A1 (en) * 2012-07-19 2014-01-22 Sony Corporation Method and apparatus for compressing Z-stack microscopy images
CN106846469A (en) * 2016-12-14 2017-06-13 北京信息科技大学 The method and apparatus that feature based point tracking is reconstructed three-dimensional scenic by focusing storehouse
CN106846469B (en) * 2016-12-14 2019-12-03 北京信息科技大学 Based on tracing characteristic points by the method and apparatus of focusing storehouse reconstruct three-dimensional scenic
CN111413791A (en) * 2019-01-07 2020-07-14 卡尔蔡司显微镜有限责任公司 High resolution scanning microscopy
CN111413791B (en) * 2019-01-07 2024-03-12 卡尔蔡司显微镜有限责任公司 High resolution scanning microscopy

Similar Documents

Publication Publication Date Title
US11803964B2 (en) Method and system for imaging a cell sample
US11422503B2 (en) Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
JP5705096B2 (en) Image processing apparatus and image processing method
JP7252190B2 (en) System for generating enhanced depth-of-field synthetic 2D images of biological specimens
JP6146265B2 (en) Microscope system and autofocus method
CN107690595B (en) Device and method for image recording by means of illumination at different illumination angles
JP2022516467A (en) Two-dimensional fluorescence wave propagation system and method to the surface using deep learning
JP7238381B2 (en) Image processing device, image processing program, image processing method, and microscope
US20230085827A1 (en) Single-shot autofocusing of microscopy images using deep learning
AU2018352821B2 (en) Image reconstruction method, device and microscopic imaging device
JP2015108837A (en) Image processing apparatus and image processing method
KR100983548B1 (en) A 3d shape reconstruction method considering point spread function of a microscope
JP2023134456A (en) multicore fiber imaging
Lee et al. Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction
JP7030986B2 (en) Image generator, image generator and image generator
Niederöst et al. Shape from focus: fully automated 3D reconstruction and visualization of microscopic objects
Garud et al. Volume visualization approach for depth-of-field extension in digital pathology
CN114578537B (en) Microscopic scanning platform focal plane determination method based on regional multi-point surface determination method
WO2019246478A1 (en) Systems and methods for interferometric multifocus microscopy
JP6346455B2 (en) Image processing apparatus and microscope system
Fan et al. A two-stage method to correct aberrations induced by slide slant in bright-field microscopy
US20230005155A1 (en) Method and apparatus for generating high depth of field image, and apparatus for training high depth of field image generation model using stereo image
CN113077395B (en) Deblurring method for large-size sample image under high-power optical microscope
Grinbaum Multi-Height-Based Lensfree On-Chip Microscopy for Biomedical Applications
Castilla González Focusing criterion implementation for a biocular eye

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130826

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150908

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170309

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170911

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee