KR102104238B1 - 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 - Google Patents
광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 Download PDFInfo
- Publication number
- KR102104238B1 KR102104238B1 KR1020180125285A KR20180125285A KR102104238B1 KR 102104238 B1 KR102104238 B1 KR 102104238B1 KR 1020180125285 A KR1020180125285 A KR 1020180125285A KR 20180125285 A KR20180125285 A KR 20180125285A KR 102104238 B1 KR102104238 B1 KR 102104238B1
- Authority
- KR
- South Korea
- Prior art keywords
- sample
- light
- image
- microscope system
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004148 unit process Methods 0.000 claims 2
- 238000010606 normalization Methods 0.000 claims 1
- 230000004304 visual acuity Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 37
- 230000010363 phase shift Effects 0.000 description 12
- 238000011176 pooling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000005315 distribution function Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
도 1은, 본 발명의 일 실시예에 따른, 광변조기 기반 구조 조명 현미경 시스템의 구조를 개략적으로 도시한 도면이다.
도 2는, 본 발명의 일 실시예에 따른, 공간 주파수에 따른 패턴 변조광을 설명하기 위한 도면이다.
도 3a 내지 도 3d는, 본 발명의 일 실시예에 따른, 샘플광에 기초한 이미지를 생성하는 과정을 예시적으로 도시한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 정규화된 공간 주파수와 축방향 분해능 사이의 관계를 설명하기 위한 도면이다.
도 5a 내지 도 5b는, 본 발명의 일 실시예에 따른, 샘플의 이미지 품질를 개선하는 이미지 처리 과정을 설명하기 위한 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 추정함수 기반 판단 모델을 설명하기 위한 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 도 6의 판단 모델의 비용함수를 설명하기 위한 도면이다.
패턴 주기 | 18um | 24um | 36um | 56um |
FWHM(um) | 65 | 96 | 110 | 118 |
Claims (16)
- 광변조기 기반 구조 조명 현미경 시스템으로서,
광을 발산하는 광원;
샘플과 대향하는 대물렌즈;
상기 광원으로부터의 광에 전기적 신호를 적용하여 격자무늬 패턴 변조된 패턴 변조광을 생성하는 광변조기 - 상기 패턴 변조광은 상기 샘플에 공급됨;
상기 샘플로부터 방출된 샘플광의 신호를 검출하는 광검출기;
상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 제어부; 및
상기 검출된 샘플광의 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 이미지 생성부-상기 이미지 생성부는 샘플광 신호의 데이터를 처리하여 데이터 처리 이전 보다 높은 축방향 분해능을 갖는 이미지를 생성함-를 포함하되,
상기 이미지 생성부는,
섹셔닝 이미지에 대한 추정함수 hθ(x)로 모델링된 추정함수 기반 판단 모델을 이용하여 산출된 특정 임계치를 기준으로 섹셔닝 이미지의 픽셀을 그룹화하며, 상기 그룹화 결과에 기초하여 물체와 배경이 그룹화 이전 보다 선명한 섹셔닝 이미지를 복원하도록 더 구성되며,
상기 추정함수 hθ(x)는 다음의 수학식으로 표현되고,
여기서, x는 섹셔닝 이미지내 각각의 픽셀에 대한 0과 1 사이로 정규화된 강도 값을 나타내고, 파라미터(θ)는 가중치를 나타내는 것을 특징으로 하는 구조 조명 현미경 시스템. - 제1항에 있어서,
상기 광변조기는 SLM(Spatial light modulator)인 것을 특징으로 하는 구조 조명 현미경 시스템. - 제2항에 있어서,
상기 광변조기는 제1 패턴 변조광과 상이한 제2 패턴 변조광을 생성할 수 있는 것을 특징으로 하는 구조 조명 현미경 시스템. - 제2항에 있어서,
상기 패턴 변조광의 격자무늬 패턴은 정면 응답(axial response)의 반치폭(FWHM)이 최소가 되게 하는 공간 주파수로 이루어지는 것을 특징으로 하는 구조 조명 현미경 시스템. - 제4항에 있어서, 상기 샘플광의 광신호는 정규화되며,
여기서 정규화는 0 내지 2의 범위에서 정면 응답의 반치폭이 최소가 될 경우 1의 값을 갖는 것을 특징으로 하는 구조 조명 현미경 시스템. - 제1항에 있어서, 상기 이미지 생성부는,
상기 샘플광 신호의 데이터를 주파수 대역으로 변환한 뒤, 소정의 제1 임계치 보다 큰 정보를 담고 있는 고주파 대역을 필터링하도록 구성되는 구조 조명 현미경 시스템. - 제1항에 있어서, 상기 이미지 생성부는,
배경과 객체를 포함한 이미지의 픽셀 중에서 제2 임계치 보다 큰 강도를 갖는 픽셀은 상기 객체에 연관된 픽셀로 결정하고, 보다 낮은 강도를 갖는 픽셀은 상기 배경에 연관된 픽셀로 결정하도록 구성되는 구조 조명 현미경 시스템. - 제7항에 있어서, 상기 제2 임계치는,
임의로 설정된 초기 임계치에 의해 상기 이미지의 픽셀을 두 그룹으로 그룹화하고, 각 그룹의 평균 밝기 값을 산출하여 새로운 임계치를 산출하며, 상기 그룹화와 새로운 임계치 산출을 반복한 결과 새로운 임계치와 이전 임계치 간의 차이가 소정 값 미만인 경우 가장 마지막에 산출된 임계치인 것을 특징으로 하는 구조 조명 현미경 시스템. - 제1항에 있어서, 상기 이미지 생성부는,
디컨볼루션을 이용하여 샘플광 신호의 데이터를 처리하도록 구성되는 것을 특징으로 하는 구조 조명 현미경 시스템. - 삭제
- 광변조기 기반 구조 조명 현미경 시스템으로서,
광을 발산하는 광원;
샘플과 대향하는 대물렌즈;
상기 광원으로부터의 광에 전기적 신호를 적용하여 격자무늬 패턴 변조된 패턴 변조광을 생성하는 광변조기 - 상기 패턴 변조광은 상기 샘플에 공급됨;
상기 샘플로부터 방출된 샘플광의 신호를 검출하는 광검출기;
상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 제어부; 및
상기 검출된 샘플광의 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 이미지 생성부-상기 이미지 생성부는 샘플광 신호의 데이터를 처리하여 데이터 처리 이전 보다 높은 축방향 분해능을 갖는 이미지를 생성함-를 포함하되,
상기 이미지 생성부는 배경과 객체를 판단하는 판단 모델을 이용하여 이미지를 생성하도록 더 구성되며,
상기 판단 모델은 다음의 수학식에 기초하여 모델링되며,
여기서, A는 m×n 형태의 행렬을 갖는 전달 함수, x는 벡터로서 검출된 샘플광의 강도 값, 그리고b는 강도 값과 전달 함수에 의해 투영된 측정 값을 나타내고, i는 k mod m+1, ai는 행렬 A의 i번째 행(row), bi는 벡터b의 i번째 구성요소, λk는 완화 파라미터(relaxation parameter), k는 반복 계산의 횟수를 각각 나타내는 구조 조명 현미경 시스템. - 삭제
- 삭제
- 광변조기 기반 구조 조명 현미경 시스템에 의해 수행되는 이미지 생성 방법으로서,
광원에 의해 발산된 광을 수신하여 샘플에 공급하기 위한 격자무늬 패턴 변조된 패턴 변조광을 생성하는 단계;
상기 샘플로부터 방출된 샘플광의 신호를 검출하는 단계;
상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 단계;
데이터 처리 이전 보다 높은 축방향 분해능을 갖기 위해 상기 검출된 샘플광 신호의 데이터를 처리하는 단계; 및
상기 데이터 처리된 샘플광 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 단계를 포함하되,
상기 검출된 샘플광 신호의 데이터를 처리하는 단계는,
섹셔닝 이미지에 대한 추정함수 hθ(x)로 모델링된 추정함수 기반 판단 모델을 이용하여 산출된 특정 임계치를 기준으로 섹셔닝 이미지의 픽셀을 그룹화하며, 상기 그룹화 결과에 기초하여 물체와 배경이 그룹화 이전 보다 선명한 섹셔닝 이미지를 복원하는 단계를 포함하며,
상기 추정함수 hθ(x)는 다음의 수학식으로 표현되고,
여기서, x는 섹셔닝 이미지내 각각의 픽셀에 대한 0과 1 사이로 정규화된 강도 값을 나타내고, 파라미터(θ)는 가중치를 나타내는 것을 특징으로 하는 이미지 생성 방법. - 광변조기 기반 구조 조명 현미경 시스템에 의해 수행되는 이미지 생성 방법으로서,
광원에 의해 발산된 광을 수신하여 샘플에 공급하기 위한 격자무늬 패턴 변조된 패턴 변조광을 생성하는 단계;
상기 샘플로부터 방출된 샘플광의 신호를 검출하는 단계;
상기 샘플의 밑면부터 윗면까지 스캐닝하도록 하는 단계;
데이터 처리 이전 보다 높은 축방향 분해능을 갖기 위해 상기 검출된 샘플광 신호의 데이터를 처리하는 단계; 및
상기 데이터 처리된 샘플광 신호의 데이터에 기초하여 상기 샘플에 대한 이미지를 생성하는 단계를 포함하되,
상기 검출된 샘플광 신호의 데이터를 처리하는 단계는,
이미지를 생성하기 위해 배경과 객체를 판단하는 판단 모델을 이용하는 단계를 더 포함하고,
상기 판단 모델은 다음의 수학식에 기초하여 모델링된 것으로서,
여기서, A는 m×n 형태의 행렬을 갖는 전달 함수, x는 벡터로서 검출된 샘플광의 강도 값, 그리고b는 강도 값과 전달 함수에 의해 투영된 측정 값을 나타내고, i는 k mod m+1, ai는 행렬 A의 i번째 행(row), bi는 벡터b의 i번째 구성요소, λk는 완화 파라미터(relaxation parameter), k는 반복 계산의 횟수를 각각 나타내는 이미지 생성 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180125285A KR102104238B1 (ko) | 2018-10-19 | 2018-10-19 | 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180125285A KR102104238B1 (ko) | 2018-10-19 | 2018-10-19 | 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102104238B1 true KR102104238B1 (ko) | 2020-04-24 |
Family
ID=70465907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180125285A Active KR102104238B1 (ko) | 2018-10-19 | 2018-10-19 | 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102104238B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021255281A1 (en) * | 2020-06-19 | 2021-12-23 | Oxford NanoImaging Limited | A method for obtaining an optically-sectioned image of a sample, and a device suitable for use in such a method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160112183A (ko) * | 2015-03-18 | 2016-09-28 | 한화테크윈 주식회사 | 포커스 제어 장치 및 포커스 측정 방법 |
US9494782B2 (en) * | 2012-04-05 | 2016-11-15 | Carl Zeiss Microscopy Gmbh | Device and method for microscopy using light with differing physical properties |
JP2017187532A (ja) * | 2016-04-01 | 2017-10-12 | 国立大学法人浜松医科大学 | 画像取得装置および画像取得方法 |
KR101847334B1 (ko) * | 2017-02-02 | 2018-04-10 | 한국기초과학지원연구원 | 형광 이미지 획득 장치 및 방법 |
KR101896357B1 (ko) * | 2018-02-08 | 2018-09-07 | 주식회사 라디코 | 객체를 검출하는 방법, 디바이스 및 프로그램 |
KR20180107988A (ko) * | 2017-03-23 | 2018-10-04 | 한국전자통신연구원 | 객체 탐지 장치 및 방법 |
US20180292634A1 (en) * | 2015-10-12 | 2018-10-11 | Crestoptics S.P.A. | Confocal microscopy apparatus and related process for acquiring and processing images |
-
2018
- 2018-10-19 KR KR1020180125285A patent/KR102104238B1/ko active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9494782B2 (en) * | 2012-04-05 | 2016-11-15 | Carl Zeiss Microscopy Gmbh | Device and method for microscopy using light with differing physical properties |
KR20160112183A (ko) * | 2015-03-18 | 2016-09-28 | 한화테크윈 주식회사 | 포커스 제어 장치 및 포커스 측정 방법 |
US20180292634A1 (en) * | 2015-10-12 | 2018-10-11 | Crestoptics S.P.A. | Confocal microscopy apparatus and related process for acquiring and processing images |
JP2017187532A (ja) * | 2016-04-01 | 2017-10-12 | 国立大学法人浜松医科大学 | 画像取得装置および画像取得方法 |
KR101847334B1 (ko) * | 2017-02-02 | 2018-04-10 | 한국기초과학지원연구원 | 형광 이미지 획득 장치 및 방법 |
KR20180107988A (ko) * | 2017-03-23 | 2018-10-04 | 한국전자통신연구원 | 객체 탐지 장치 및 방법 |
KR101896357B1 (ko) * | 2018-02-08 | 2018-09-07 | 주식회사 라디코 | 객체를 검출하는 방법, 디바이스 및 프로그램 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021255281A1 (en) * | 2020-06-19 | 2021-12-23 | Oxford NanoImaging Limited | A method for obtaining an optically-sectioned image of a sample, and a device suitable for use in such a method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Malik et al. | A novel algorithm for estimation of depth map using image focus for 3D shape recovery in the presence of noise | |
JP7356453B2 (ja) | 光学処理システム | |
JP4865930B2 (ja) | 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法 | |
Aslantas et al. | Fusion of multi-focus images using differential evolution algorithm | |
CN105806259B (zh) | 一种基于二值光栅离焦投影的三维测量方法 | |
CN110702034A (zh) | 高反光表面三维面形测量方法、服务器及系统 | |
CN102867288A (zh) | 深度图像转换设备和方法 | |
US20170285318A1 (en) | Imaging system and imaging method | |
CN110097634B (zh) | 一种自适应多尺度的三维鬼成像方法 | |
WO2018034241A1 (ja) | 電磁波位相振幅生成装置、電磁波位相振幅生成方法及び電磁波位相振幅生成プログラム | |
JP2017533450A (ja) | 被写体の3次元画像を生成する装置と方法 | |
JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
CN104111038A (zh) | 利用相位融合算法修复饱和产生的相位误差的方法 | |
JP2007334892A (ja) | デジタルグレー値画像の処理方法 | |
Sha et al. | Research on auto-focusing technology for micro vision system | |
Liu et al. | Large depth-of-field 3D measurement with a microscopic structured-light system | |
JP5980197B2 (ja) | 時系列流体速度計測システム | |
KR102104238B1 (ko) | 광변조기 기반 구조 조명 현미경 시스템 및 상기 시스템에 의해 수행되는 이미지 생성 방법 | |
KR101806969B1 (ko) | 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법 | |
CN111062916B (zh) | 显微图像的清晰度评价方法及装置 | |
Widjanarko et al. | A post-processing technique for extending depth of focus in conventional optical microscopy | |
US20170108532A1 (en) | Image processing method of two-photon structured illumination point scanning microscopy | |
Li et al. | Multi-frame super-resolution for time-of-flight imaging | |
US12343954B2 (en) | Apparatus and method for manufacturing phase masks for lens-less camera | |
Sahay et al. | Shape extraction of low‐textured objects in video microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181019 |
|
PA0201 | Request for examination | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190722 Patent event code: PE09021S01D |
|
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200123 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200420 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20200421 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20230321 Start annual number: 4 End annual number: 4 |