KR101391180B1 - 레이저 스캔 구조조명 이미징 방법 - Google Patents

레이저 스캔 구조조명 이미징 방법 Download PDF

Info

Publication number
KR101391180B1
KR101391180B1 KR1020120111495A KR20120111495A KR101391180B1 KR 101391180 B1 KR101391180 B1 KR 101391180B1 KR 1020120111495 A KR1020120111495 A KR 1020120111495A KR 20120111495 A KR20120111495 A KR 20120111495A KR 101391180 B1 KR101391180 B1 KR 101391180B1
Authority
KR
South Korea
Prior art keywords
image
scan
sample
laser
optical system
Prior art date
Application number
KR1020120111495A
Other languages
English (en)
Other versions
KR20140045625A (ko
Inventor
이재용
이은성
이상원
박주현
Original Assignee
한국표준과학연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국표준과학연구원 filed Critical 한국표준과학연구원
Priority to KR1020120111495A priority Critical patent/KR101391180B1/ko
Publication of KR20140045625A publication Critical patent/KR20140045625A/ko
Application granted granted Critical
Publication of KR101391180B1 publication Critical patent/KR101391180B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02041—Interferometers characterised by particular imaging or detection techniques
    • G01B9/02042—Confocal imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

본 발명은 레이저 스캔 구조조명 이미징 방법을 제공한다. 본 발명의 일 실시 예에 따른 레이저 스캔 구조조명 이미징 방법은 격자 패턴 조명(grating pattern illumination)의 주기에 대응하는 라인 점프 간격을 설정하고, 상기 라인 점프 간격 (
Figure 112012081502722-pat00208
) 을 서브 스캔 개수(
Figure 112012081502722-pat00209
)로 분할하는 서브 스캔 간격(
Figure 112012081502722-pat00210
)을 설정하는 제1 단계; 레이저 광원은 광학계를 통하여 샘플 평면을 상기 라인 점프 간격 또는 상기 서브 스캔 간격으로 순차적으로 스캔하고, 샘플에서 발생한 신호광은 공초점 핀홀을 통과하여 감지되는 제2 단계; 및 상기 공초점 핀홀을 이동시킨 후 상기 제2 단계를 반복하는 제3 단계를 포함한다.

Description

레이저 스캔 구조조명 이미징 방법{Structured Illumination Imaging Method Using Laser Bean Scanning}
본 발명은 구조조명 이미징 방법에 관한 것으로, 더 구체적으로 레이저 스캔을 사용한 구조조명 이미징 방법에 관한 것이다.
최근 고분해능 광학이미징 기술의 유용성과 발전 가능성에 대한 인식이 점차 증대되고 있다. 초고분해능을 구현하는 방법으로 STED(stimulated emission depletion), PALM(photoactivation localization microscopy), fPALM(fluorescence PALM) 등과 같이 형광 여기 검출법이 사용된다. 또는, SIM(structured illumination microscopy) 기술은 패턴 조명을 이용하여 높은 분해능을 제공할 수 있다.
광 회절한계를 뛰어넘는 초고분해능 광학 이미징의 실현은 종래의 광학 현미경으로 관찰할 수 없었던 100 nm 이하의 크기를 갖는 단백질 구조, 지질 분포, DNA, RNA, 염색체 등의 세포 구성물과 세포 소기관을 실시간으로 가시화할 수 있다.
구조조명 현미경 (structured illumination microscopy; SIM)은 회절한계 공간주파수 대역폭 너머에 존재하는 샘플의 높은 공간주파수 성분을 낮은 공간 주파수 성분으로 변환한다. 이에 따라, 상기 구조조명 현미경은 상기 샘플을 측정 가능한 상태로 만든다. 이후, 이미지 복원처리과정(reconstruction process)을 통해 높은 분해능의 이미지가 얻어질 수 있다. 무아레 (Moire) 효과를 이용한 이미지공간 주파수 하향변환 (frequency down conversion)을 위해서, 상기 구조조명 현미경에는 특정한 격자 패턴의 구조조명이 요구된다. 상기 구조조명은 형광 또는 비형광 샘플에 대해서 전시야(full-field) 이미징을 수행할 수 있다.
현재까지 제안된 초고분해능 이미징 기법을 사용하면, 30 nm 수준의 공간 분해능이 원격장(far-field) 광학 이미징으로 가능하다는 것이 실험적으로 보고되고 있다. 그러나, 대부분 특수하게 고안된 형광체에 의존하여 이미지 컨트라스트를 구현한다는 점과 과도한 측정시간(수 분 - 수 시간)은 실용화의 걸림돌이다.
한편, 전시야 방식의 구조조명 현미경(SIM) 기술은 시료의 형광 컨트라스트를 필요로 하지 않으며, 레이저 이미지 스캔 또는 통계적 프로세싱 등의 긴 측정시간이 소요되는 과정을 요구하지 않는다. 따라서, 전시야 방식의 구조조명 현미경(SIM) 기술은 실시간 측정의 관점에서 장점을 가진다. 하지만, 형광체를 이용하지 않는 구조조명 현미경은 원리적으로 공간 분해능 증대 효과가 기존 기술에 비해 최대 2배 (공간분해능 한계 약 100 nm)로 제한된다는 단점이 있다. 공간분해능 향상을 위해 고차(high order) 구조조명 기술이 제안되었다. 그러나, 고차(high order) 구조조명 기술은 형광체 포화 (saturation) 현상에 의한 비선형성을 이용하기 때문에 표지되지 않은 생체 샘플에 대해서는 적용의 한계가 있다.
구조조명 광학기법이 초고분해능 실현을 위해 형광 컨트라스트에 의존하지 않는 무표지(label-free) 비선형광학 이미징 기술을 결합된다면, 생활성 유지 상태의 생체 시료에 대한 비침습적 분자화학 시공간 매핑이라는 실용적 가치와 함께 선형광학 구조조명의 공간분해능 향상 한계를 훨씬 뛰어넘을 수 있는 가능성이 있다.
현재까지 비선형광학 기술과 결합된 구조조명 현미경은 보고되지 않았다. MPEF, SHG, THG, CARS 등 무표지 컨트라스트에 기반한 비선형광학 구조조명 이미징을 구현하기 위해서는, 선형광학에 바탕을 둔 종래의 구조조명 기법과 다른 이론적 토대와 실험적 기반이 마련되어야 한다. 간섭성(coherent) 구조조명 결상(image formation) 이론에 기반한 이미지 취득/복원 알고리즘의 개발이 필요하다. 또한, 비선형광학 신호 생성이 가능한 위상정합(phase matching) 조명 구도가 요구된다.
본 발명은 종래의 전시야 격자 패턴(grating pattern) 조명법 또는 전시야 구조조명법을 대체하는 레이저 스캔 구조조명 이미징 기술을 제공한다. 본 발명에 따른 레이저 스캔구조조명은 비선형광학 현상을 응용하고자 할 때 요구되는 높은 광 첨두 강도 특성을 유지하면서 적용될 수 있다.
본 발명의 해결하고자 하는 일 기술적 과제는 비선형광학 현상을 응용하고자 할 때 요구되는 높은 광 첨두 강도 특성을 유지하는 레이저 스캔 구조조명 이미징 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 레이저 스캔 구조조명 이미징 방법은 격자 패턴 조명(grating pattern illumination)의 주기에 대응하는 라인 점프 간격을 설정하고, 상기 라인 점프 간격(
Figure 112012081502722-pat00001
) 을 서브 스캔 개수(
Figure 112012081502722-pat00002
)로 분할하는 서브 스캔 간격(
Figure 112012081502722-pat00003
)을 설정하는 제1 단계; 레이저 광원은 광학계를 통하여 샘플 평면을 상기 라인 점프 간격 또는 상기 서브 스캔 간격으로 순차적으로 스캔하고, 샘플에서 발생한 신호광은 공초점 핀홀을 통과하여 감지되는 제2 단계; 및 상기 공초점 핀홀을 이동시킨 후 상기 제2 단계를 반복하는 제3 단계를 포함한다.
본 발명의 일 실시 예에 있어서, 상기 라인 점프 간격(
Figure 112012081502722-pat00004
)은
Figure 112012081502722-pat00005
의 조건을 만족하고, 아베(Abbe) 회절 한계(
Figure 112012081502722-pat00006
)는
Figure 112012081502722-pat00007
이고,
Figure 112012081502722-pat00008
는 상기 레이저 광원의 파장이고, 는 상기 광학계의 수치 구경(numerical aperture)일 수 있다.
본 발명의 일 실시 예에 있어서, 상기 서브 스캔 개수(
Figure 112012081502722-pat00010
)는
Figure 112012081502722-pat00011
일 수 있다.
본 발명의 일 실시 예에 있어서, 상기 공초점 핀홀의 이동시키는 개수는
Figure 112012081502722-pat00012
이고, 여기서, 최대 정방향 변위 인덱스(
Figure 112012081502722-pat00013
)는 상기 서브 스캔 개수(
Figure 112012081502722-pat00014
)보다 크거나 같을 수 있다.
본 발명의 일 실시 예에 있어서, 상기 공초점 핀홀의 단위 이동 거리는
Figure 112012081502722-pat00015
일 수 있다.
본 발명의 일 실시 예에 있어서, 상기 샘플 평면에서 스캔하는 회전 방위각 방향을 상기 샘플의 중심축을 기준으로 회전시키는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 레이저 광원은 상기 광학계를 통하여 샘플 평면을 상기 서브 스캔 간격으로 순차적으로 스캔하면서, 상기 감지된 신호광의 세기를 이용하여 상기 샘플의 스캔 영역에 대응하는 원시 스캔 이미지를 형성하는 단계; 상기 원시 스캔 이미지로부터 서로 다른 격자 위상에 대응하는 원시 서브 스캔 이미지를 분리하는 단계; 상기 원시 서브 스캔 이미지를 상기 공초점 핀홀 위치에 따라 이동시켜 서로 중첩하여 중간 이미지를 생성하는 단계; 및 상기 중간 이미지를 역회전 시키어 최종 이미지를 생성하는 단계를 중에서 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 최종 이미지를 푸리에 변환(Fourier transform)하여 이미지 공간 주파수 스펙트럼을 생성하는 단계; 상기 이미지 공간 주파수 스펙트럼에 대하여 차수 역혼합(order unmixing)을 수행하여 차수가 다른 스펙트럼 성분을 분리하는 단계; 및 차수 별 스펙트럼 성분을 본래의 주파수 위치로 복귀시키어 확장된 물체 스펙트럼을 얻는 단계; 및 상기 확장된 물체 스펙트럼을 역 푸리에 변환(inverse Fourier transform)하여 고분해능 이미지를 생성하는 단계;를 더 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 레이저 광원은 상기 광학계를 통하여 샘플 평면을 상기 라인 점프 간격으로 순차적으로 스캔하면서, 상기 감지된 신호광의 세기를 이용하여 상기 샘플의 스캔 영역에 대응하는 원시 스캔 이미지를 형성하는 단계; 격자 위상에 대응하도록 상기 스캔 평면에서 상기 라인 점프 간격 방향으로 오프셋을 인가하는 단계; 동일한 상기 격자 위상에 대하여 상기 원시 서브 스캔 이미지를 상기 공초점 핀홀 위치에 따라 이동시켜 서로 중첩하여 중간 이미지를 생성하는 단계; 및 상기 중간 이미지를 역회전 시키어 최종 이미지를 생성하는 단계를 중에서 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 상기 스캔은 빠른 스캔 축으로 점 주사하고, 느린 스캔 축으로 선 주사하는 래스터 스캔 방식(raster scan method)일 수 있다.
본 발명의 일 실시 예에 있어서, 상기 광학계는 공초점 광학계이고, 상기 공초점 핀홀은 디스캔(descan) 광 경로 상에 배치될 수 있다.
본 발명의 일 실시 예에 있어서, 상기 광학계는 공초점 광학계이고, 상기 샘플 면에서 초점은 이미지 면(image plane)에서 상기 공초점 핀홀의 위치로 전달될 수 있다.
본 발명은 종래의 전시야 격자 패턴(full-field grating pattern) 조명법 또는 전시야 구조조명법을 대체하는 레이저 스캔 구조조명 이미징 기술을 제공한다. 본 발명에 따른 레이저 스캔 구조조명은 비선형광학 현상을 응용하고자 할 때 요구되는 높은 광 첨두 강도 특성을 유지하면서 적용될 수 있다.
도 1는 레이저 스캔 구조조명 이미징 방법을 설명하는 흐름도이다.
도 2은 도 1을 상세하게 설명하는 흐름도이다.
도 3은 레이저 스캔 구조조명 이미징 방법의 이미지 취득 과정에서 레이저 초점이 2차원 샘플을 시간적 또는 공간적으로 스캔하는 모양을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 원시 스캔 이미지를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 원시 서브 스캔 이미지를 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 중간 이미지를 생성 방법을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 중간 이미지의 역 회전를 설명하는 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 레이저 스캔 구조조명 이미징 방법을 설명하는 흐름도이다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명하기로 한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 도면들에 있어서, 구성요소는 명확성을 기하기 위하여 과장되어진 것이다. 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 나타낸다.
[전시야 구조조명 이미징 기술의 원리]
광학 현미경에서의 공간 분해능이 한계를 지니는 것은 무한히 작은 물체라 할지라도 회절에 의한 유한한 크기의 점퍼짐(point spread function; PSF)이 있기 때문이다. 아베(Abbe) 회절 한계(diffraction limit) (
Figure 112012081502722-pat00016
)는 파장이
Figure 112012081502722-pat00017
인 빛을 사용하는 수치구경(numerical aperture; NA)의 광학 시스템에서
Figure 112012081502722-pat00018
로 주어진다.
물체분포가 공간주파수(spatial frequency) 스펙트럼으로 표현된다면, 이미징 시스템이 상면(image plane)으로 정보화하여 전달할 수 있는 공간 주파수에는 차단 주파수(cutoff frequency)라는 상한선이 존재한다. 상기 차단 주파수(cutoff frequency)를 넘는 고주파수 성분의 물체 고유 정보는 이미징 과정에서 잃어버린다.
이미징 시스템의 공간주파수 영역특성(spatial frequency response)은 광전달 함수 (optical transfer function: OTF)로 표현된다. 상기 광전달 함수는 상기 차단 주파수를 가진다. 구조조명 방법은 고주파수 성분을 갖는 임의 형태의 물체에 특정 주기 (period)의 격자 패턴 조명(grating pattern illumination)을 인가한다. 따라서, 상기 격자 패턴 조명 (grating pattern illumination)은 물체에 해당하는 공간 주파수 스펙트럼을 상기 격자 패턴 주기의 역수만큼 낮게 주파수 변조(frequency down conversion)하여 유효 발광체 분포(effective emitter distribution)를 형성한다. 이에 따라, 구조조명 광학 시스템은 상기 차단 주파수를 넘어서는 물체의 공간주파수 스펙트럼을 측정가능 대역( spatial frequency passband)으로 이동시키는 역할을 한다. 이후, 이미지 처리(image processing)과정은, 본래 물체의 투과대역 스펙트럼(passband spectrum)과 하향이동 스펙트럼(down-shifted spectrum)이 중첩된 상태로 측정된 이미지로부터 각 스펙트럼 성분을 분리하여 원상 복원한다. 결과적으로, 상기 광학 시스템의 본래 차단 주파수(cutoff frequency)를 증가시키는 효과가 나타난다. 따라서, 공간영역(spatial domain)에서의 이미지 분해능이 향상된다.
물체스펙트럼에 대한 상기 조명에 의한 유효 발광체 스펙트럼의 공간주파수 이동량(shift)과 방향(direction)은, 격자 패턴 조명의 격자 주기(grating period)와 격자 벡터(grating vector) 방향에 의해 결정되며, 분해능 향상 정도와 유효 방향에 영향을 끼친다. 선형광학 구조조명법에서 생성할 수 있는 광 격자 패턴의 최고 공간주파수는 OTF의 상기 차단 주파수와 같다. 따라서, 분해능 향상의 효과는 최대 2 배이며, 회전 방위각 방향으로 균일하게 분해능이 향상되기 위해서는, 상기 격자 패턴 조명의 상기 격자 벡터(grating vector) 방향은 전체 방위각을 3등분한{0°, 60°, 120°}일 수 있다. 측정된 구조조명 이미지에 포함된 하향이동 공간주파수 성분의 분리와 복원은 실공간(real space) 이미지를 푸리에 변환하여 공간주파수 영역(spatial frequency domain)에서 이미지 데이터를 분석하여 이루어진다.
2차원 구조조명 이미징의 경우, 수학적 해를 얻기 위해서는 각 상기 격자 벡터방향에서 3 개의 상대 위상변위를 갖는 조명에 의한 원시이미지 데이터가 요구된다. 상기 상대 위상변위의 조합으로는{0°, 120°, 240°}이 바람직하다.
3차원 구조조명 이미징의 경우에는, 분리할 스펙트럼의 차수가 5개로 늘어나기 때문에 각 상기 격자 벡터 방향에서 5 개의 상대 위상변위를 갖는 조명에 대한 원시미지 데이터가 요구된다. 상기 상대 위상변위의 조합으로는 {0, 72°, 144°, 216°, 288°}이 바람직하다.
[다중변위 공초점 레이저 스캔 구조조명 이미징의 구현 원리]
종래의 전시야(full-field) 격자 패턴 투사법(grating pattern projection)을 대체하는 레이저 스캔 구조조명 이미징 기술이 이하 설명된다.
전시야 격자 패턴 투사법은 물리적인 회절격자(diffraction grating)나 액정 디스플레이(liquid crystal display; LCD)상의 주기 패턴 (periodic pattern)을 이미징하고자 하는 샘플에 투사하여 구조조명을 구현한다.
한편, 본 발명에 따른 레이저 스캔 구조조명 이미징 기술은, 공초점 형광 현미경이나 비선형광학 현미경과 같이 레이저 집속점(focal spot)을 래스터 스캔(raster scan)하여 이미지를 취득하는 상황에서, 레이저 스캔 궤적(scanning trajectory)자체를 구조조명 패턴으로 사용하는 방법이다. 일반적인 2차원 래스터 스캔에서, 레이저 빔은 수평 선분 (horizontal line segment)을 따라 좌측 끝에서 우측 끝으로 스캔하고, 위 또는 아래 방향으로 변위 (vertical displacement)가 일정하게 증가되는 일련의 평행한 선분들(parallelline segments)에 대해서 선 스캔(line scan)을 순차적으로 수행한다. 임의 수평 선분에 대한 선 스캔은 레이저 빔이 선분 우측 끝에 도달했을 때 종료되며, 다음 수평 선분에 대한 스캔은 레이저 빔이 해당 선분의 좌측 끝으로 이동된 순간부터 개시되어 우측 방향으로 진행한다.
일반적인 레이저 스캔 현미경에서의 상기 래스터 스캔에 의한 레이저 집속점 위치는 매 순간 변화하지만, 레이저 빔이 상기 스캔 궤적 전체를 지나는 시간 동안 누적한 레이저 집속 조사 강도(temporally accumulated laser irradiation) 분포는 전시야 투사된 격자 패턴 조명 분포와 매우 유사하다.
종래의 전시야 구조조명 방법에서는 레이저 조명광(illumination light)이 동시에 관찰하고자 하는 샘플의 전체 영역에 걸쳐 넓게 투사되는 반면, 다광자(multi-photon) 형광 이미징을 비롯한 비선형광학 컨트라스트 기반 현미경에서는 샘플 내 레이저 집속점에서의 높은 광 강도가 요구되기 때문에 현실적으로 상기의 투사 조명 조건을 만족시키기 어렵다.
본 발명에 따른 레이저 스캔 구조조명 이미징은, 전시야 격자 패턴 조명과 유사성을 보이는 상기의 시간누적 레이저 스캔 광 강도 분포를 구조조명으로 이용함으로써, 회절격자나 LCD 격자패턴의 전시야 투사에 필요한 별도의 물리적 장치 없이 레이저 스캔 이미징 장치에 구비된 빔 스캐너를 사용하여 구조조명을 구현하는 것을 특징으로 한다.
도 1는 레이저 스캔 구조조명 이미징 방법을 설명하는 흐름도이다.
도 2은 도 1을 상세하게 설명하는 흐름도이다.
도 3은 레이저 스캔 구조조명 이미징 방법의 이미지 취득 과정에서 레이저 초점이 2차원 샘플을 시간적 또는 공간적으로 스캔하는 모양을 나타낸다.
도 1 내지 도 3을 참조하면, 레이저 스캔 구조조명 이미징 방법은 격자 패턴 조명(grating pattern illumination)의 주기에 대응하는 라인 점프 간격을 설정하고, 상기 라인 점프 간격 (
Figure 112012081502722-pat00019
) 을 서브 스캔 개수(
Figure 112012081502722-pat00020
)로 분할하는 서브 스캔 간격(
Figure 112012081502722-pat00021
)을 설정하는 제1 단계(S10); 레이저 광원은 광학계를 통하여 샘플 평면을 상기 라인 점프 간격 또는 상기 서브 스캔 간격으로 순차적으로 스캔하고, 샘플에서 발생한 신호광은 공초점 핀홀을 통과하여 감지되는 제2 단계(30); 및 상기 핀홀을 이동시킨 후 상기 제2 단계를 반복하는 제3 단계(S40)를 포함한다.
상기 레이저 스캔 구조조명 이미징 방법은 샘플 평면의 x-축 또는 빠른 스캔 축(fast-scan axis) 방향을 따라 빠른 점 스캔이 이루어진 후, y-축 또는 느린 스캔 축(slow-scan axis) 방향으로 순차적인 선 스캔을 수행한다. 구조조명 방위각 방향은 y-축(slow-scan axis)으로 정의된다.
이 경우, slow-scan axis 방향의 라인 점프 간격(
Figure 112012081502722-pat00022
)은 격자 패턴 조명의 격자 주기에 해당한다. 또한, 스캔 방향을 회전하면 구조조명의 회전 방위각 효과를 모방할 수 있다.
상기 구조조명 방위각 또는 slow-scan axis 방향으로의 1차원 문제로 상황을 단순화하여 살펴보면, 레이저 스캔에 따른 시간누적 레이저 집속광 분포(temporally accumulated laser irradiation profile)는 이미징 결과에 있어서 실질적으로 구조조명 효과를 보인다. 이를 검증하기 위하여, 다음과 같이 광학 변수가 정의된다.
Figure 112012081502722-pat00023
: 샘플 분포함수 (Sample distribution function)
Figure 112012081502722-pat00024
: 유효 구조조명 분포 함수 (Effective structured illumination distribution function)
Figure 112012081502722-pat00025
: 레이저 스캔 강도의 시간변조함수 (Temporal modulation function of the scanning laser intensity)
Figure 112012081502722-pat00026
: 레이저 초점의 점퍼짐함수 (Point spread function of a laser focal spot)
Figure 112012081502722-pat00027
: 감지부의 점퍼짐함수 (Point spread function of detection)
Figure 112012081502722-pat00028
: 감지된 이미지의 실공간 강도 분포 함수 (real-space intensity distribution function for a detected image)
Figure 112012081502722-pat00029
: 고정된 샘플 면의 공간 좌표 (Spatial coordinate for the fixed sample plane)
Figure 112012081502722-pat00030
: 레이저 스팟 위치 (Laser spot position and normalized time)
Figure 112012081502722-pat00031
: 샘플의 공간 주파수 영역 스펙트럼 함수 (Sample’s spectrum in the spatial frequency domain)
Figure 112012081502722-pat00032
: 시간 변조된 스캔 강도 분포의 공간주파수 영역 스펙트럼(Spatial-frequency domain spectrum for the temporally modulated laser scanning)
Figure 112012081502722-pat00033
: 레이저 집속점 강도 분포의 공간 주파수 스펙트럼 (Irradiation OFT)
Figure 112012081502722-pat00034
: 감지부 이지징 시스템의 광전달함수(Detection OFT)
Figure 112012081502722-pat00035
: 감지된 이미지 스펙트럼(Spatial-frequency domain spectrum of the detected image)
Figure 112012081502722-pat00036
: 공간 주파수 (Spatial frequency)
Figure 112012081502722-pat00037
: 컨볼루션 (Convolution)
배율 1의 가상 이미지 평면에서 관찰되는 감지된 이미지 분포 함수(D(r))는 다음과 같다.
Figure 112012081502722-pat00038
Figure 112012081502722-pat00039
Figure 112012081502722-pat00040

위의 수학식은 종래의 구조조명 이미징의 결상식과 유사하다. 다만 유효 구조조명 분포함수 (
Figure 112012081502722-pat00041
)가 레이저 스캔 강도의 시간 변조 함수(
Figure 112012081502722-pat00042
)와 레이저 집속 점퍼짐 함수(
Figure 112012081502722-pat00043
)의 컨볼루션(convolution)으로 주어지는 것이 특이한 점이다. 이 경우, slow-scan axis 방향으로의 스캐닝 동작을 수학적으로 모델링하는 상기 라인 점프 간격(
Figure 112012081502722-pat00044
)의 이산적인(discrete)시간변조는 디락빗 함수(Dirac comb function)로 다음과 같이 표현될 수 있다.
Figure 112012081502722-pat00045

이미지 강도 분포 함수 (
Figure 112012081502722-pat00046
)를 푸리에 변환하여 공간주파수 영역에서 표현하면, 이미지 스펙트럼(
Figure 112012081502722-pat00047
)은 다음과 같이 주어진다.
Figure 112012081502722-pat00048
여기서, 라인 점프 각주파수(
Figure 112012081502722-pat00049
)는
Figure 112012081502722-pat00050
로 주어진다.
일반적으로, 샘플 스펙트럼(
Figure 112012081502722-pat00051
)은
Figure 112012081502722-pat00052
의 정수배(n) 만큼 이동된 무한히 많은 스펙트럼 성분으로 구성될 수 있다. 그러나, 아베(Abbe) 회절 한계
Figure 112012081502722-pat00053
를 기준으로 상기 라인 점프 간격(
Figure 112012081502722-pat00054
)은
Figure 112012081502722-pat00055
조건을 만족하도록 조절될 수 있다.
이 경우, 상기 이미지 스펙트럼 함수 (
Figure 112012081502722-pat00056
)은 다음과 같다.
Figure 112012081502722-pat00057
따라서, 전시야 격자 패턴 구조조명 현미경은 레이저 스캔 구조조명 현미경으로 대체될 수 있다.
레이저 스캔을 이용한 모방 구조조명 이미징에서의 데이터 취득은, 목표하는 특정 패턴으로 샘플을 조명하기 위한 레이저 스캔 궤적을 임의로 형성하고, 상기 스캔 궤적을 따라서 레이저 집속점(focal spot)이 이동하는 유효 누적시간(effective accumulation time window) 동안 샘플로부터의 방출광 강도 분포 이미지를 적분 측정(time-integrated detection)함으로써 이루어진다.
실시 가능한 구현 예로서, 샘플을 구조조명하는 상기 레이저 스캔 광학계와 독립적인 광 경로(optical path) 상에서 샘플의 방출광 분포 이미지를 취득하는 전시야 측정 방법(nondescan mode)에서는, 2차원 CCD 카메라 또는 2차원 CMOS 카메라를 이미지 기록 장치로 사용하는 것이 바람직하다. 상기 이미지 기록 장치의 노출 시(exposure time)은 상기 레이저 스캔에 의한 구조조명 패턴이 형성하는 유효 누적 시간과 일치하도록 설정한다. 또한, 상기 이미징 시스템이 회절한계 성능을 발휘하기 위해서는, 상기 이미지 기록 장치의 픽셀 분해능(pixel resolution)이 나이퀴스트 샘플링 이론(Nyquist sampling theorem)에 근거한 최소 요구조건을 만족해야만 한다. 즉, 이미징 시스템의 광학 배율(optical magnification)을 고려해 샘플 공간 길이로 환산한 상기 이미지 기록 장치의 픽셀 크기(size) 및 픽셀 간격(pitch)이 적어도 공간분해능 회절한계
Figure 112012081502722-pat00058
의 1/2 미만이 되어야 한다.
상기 전시야 측정 방법(nondescan mode)은, 샘플에서 방출 가능한 광 신호가 미약하거나 긴 레이저 스캔 누적 시간이 요구되는 경우, 중대한 기술적 문제점이 예상된다. 상기 전시야 카메라의 총 노출 시간 중에서, 각각의 이미지 픽셀에 해당하는 샘플의 특정 위치에 스캐닝 레이저가 일시적으로 집속 조명되면서 방출되는 광 신호를 실제로 기록하는 시간은 극히 짧다. 즉, 레이저 스캔에 의한 상기 픽셀 점유 시간(pixel dwell time)에 비하여 이미지 누적 시간(image integration time)이 불필요하게 매우 길기 때문에, 샘플로부터의 광 신호가 미약하고 상기 카메라의 암 광잡음(dark noise) 또는 배경 광잡음(background noise)이 있는 경우, 노출시간 과다(excessive exposure)로 인해 심각한 이미지 신호대잡음비(signal-to-noise ratio) 저하가 초래되는 문제가 있다.
상기 이미지 신호대잡음비 문제를 해결하기 위하여 본 발명은, 상기 전시야 측정 방법(nondescan mode) 대신 레이저 스캔 현미경의 통상적인 신호 수집 방식인 공초점디스캔측정 방법(confocal descan mode)을 변형시킨 측정법을 근간으로 이미지를 취득한다. 통상적인 공초점디스캔 측정 방법에 의한 이미지 취득은, 레이저 빔이 샘플 공간에서 스캔되는 과정에서 발생하는 후방산란광(back-scattered light)을 레이저 스캔 광학계의 디스캔 경로 상에 위치한 공초점핀홀(confocal pinhole)을 통과시켜 광 신호의 시간적 파형 (waveform)을 점 검출기 (point detector)로 측정한 후, 공간적 이미지로 재구성 (reconstruction)함으로써 이루어진다. 이 때, 상기 광 신호의 시간적 파형에 대응되는 2차원 이미지의 픽셀 위치와 값은, 상기 광 신호 파형을 구성하는 매시점(time point)에 레이저 집속점이 샘플 상에서 존재하는 위치와 광 신호 파형의 값으로 각각 결정된다. 이 때, 2차원 이미지를 구성하는 픽셀 간격 (pitch)은, 나이퀴스트 샘플링 조건(Nyquist sampling criterion)을 만족하도록 빠른 스캔 축 및 느린 스캔 축 방향 모두 공간분해능 회절한계
Figure 112012081502722-pat00059
의 1/2 미만이 되어야 한다. 즉, 상기 광 신호 파형의 시간 간격 (빠른 스캔 축 방향)과 레이저 스캔의 라인 점프 간격 (느린 스캔 축 방향)이 최대한 세밀해지도록 조절해야 한다.
하지만, 분해능 향상 목적을 달성하는 레이저 스캔 구조조명을 위해서는 스캔 라인 점프 간격 (
Figure 112012081502722-pat00060
)이 공간분해능 회절한계
Figure 112012081502722-pat00061
에 최대한 가까울수록 유리하나 공간분해능 회절한계
Figure 112012081502722-pat00062
보다 절대 작아져서는 안된다. 이는 상기 모방 구조조명을 구현하는 레이저 스캔 조건 하에서 원리적으로 상기 나이퀴스트 샘플링 조건(Nyquist sampling criterion)을 만족하는 이미지 신호 수집을 수행할 수 없다는 것을 의미한다.
따라서, 상기 바람직한 구조조명을 위한 레이저 스캔의 라인 점프 간격 (
Figure 112012081502722-pat00063
)을 유지하면서, 나이퀴스트 샘플링 조건(Nyquist sampling criterion)을 만족하도록 보다 세밀한 간격의 이미지 광 신호 수집을 이루기 위한 방안이 마련되어야 한다. 다시 말하자면, 통상적인 공초점 디스캔 측정 방법에서 광 신호가 수집되는 샘플 상의 위치가 레이저 집속점과 동일한 지점으로 국한되는 문제를 완화하여, 레이저 스캔 궤적을 구성하는 픽셀보다 간격이 충분히 작은 픽셀 상에서의 이미지 광 신호 수집을 이루고자 한다.
본 발명에서는, 디스캔 경로 상의 공초점핀홀에 레이저 스캔 라인 점프 간격 (
Figure 112012081502722-pat00064
)보다 세밀한 구조조명 방위각 방향의 다중 변위를 순차적으로 인가하면서 이미지 데이터 그룹을 얻고, 이미지 처리를 통해 나이퀴스트 샘플링 조건(Nyquist sampling criterion)을 만족하는 전시야 모방 이미지 (full-field-emulated image) 데이터로 재구성하는 방법을 제시한다.
구체적으로,
Figure 112012081502722-pat00065
으로 상기 라인 점프 간격(
Figure 112012081502722-pat00066
)을 설정하여, 공초점 이미지가 취득된다. 또한, 라인 점프 간격(
Figure 112012081502722-pat00067
) 사이의 공간을 분할하여 스캐닝하는 서브 스캔 간격
Figure 112012081502722-pat00068
의 설정이 요구된다. 또한, 상기 라인 점프 간격(
Figure 112012081502722-pat00069
)을 가지고 slow-scan axis 방향으로 스캐닝하는 경우, 총 스캔 라인 수는
Figure 112012081502722-pat00070
이다.
Figure 112012081502722-pat00071
는 2의 자연수 n 제곱으로 주어질 수 있다. 예를 들어,
Figure 112012081502722-pat00072
일 수 있다. 또한, 공초점 핀홀의 이동 개수가 설정된다(S10).
본 발명의 일 실시 예에 따르면, slow-scan axis 방향으로의 스캔은 서브 스캔 간격
Figure 112012081502722-pat00073
으로 수행될 수 있다.
Figure 112012081502722-pat00074
은 라인 점프 간격(
Figure 112012081502722-pat00075
)을 서브 스캔 간격
Figure 112012081502722-pat00076
따라서, 총 서브 스캐 라인 수는
Figure 112012081502722-pat00077
이다.
상기 서브 스캔 간격
Figure 112012081502722-pat00078
의 조건을 살펴본다. 나이퀴스트 샘플링 기준(Nyquist sampling criterion)는 다음과 같은 조건을 만족하여한다.
Figure 112012081502722-pat00079
여기서,
Figure 112012081502722-pat00080
은 샘플링 간격이다. 이에 따라,
Figure 112012081502722-pat00081
조건을 만족한다. 따라서,
Figure 112012081502722-pat00082
은 3 이상이어야 한다. 총 서브 스캔 라인 개수는
Figure 112012081502722-pat00083
이다. 설명의 편의성을 위하여,
Figure 112012081502722-pat00084
인 경우에 대하여 주로 설명한다.
공초점 광학계는 샘플 면에서 초점이 이동함에도 불구하고, 이미지 면에서 초점은 움직이지 않는다. 따라서, 상기 샘플 면에서 x-축(fast-scan axis) 방향을 따라 빠른 점 스캔이 이루어진다. 이어서, y-축(slow-scan axis)으로 서브 스캔 간격
Figure 112012081502722-pat00085
이동한다. 이어서, x-축(fast-scan axis) 방향을 따라 빠른 점 스캔이 이루어진다. 위와 같은 동작을 스캔하고자 하는 샘플 영역에 대하여 반복한다(S30).
서브 스캔 간격
Figure 112012081502722-pat00086
으로 스캔하는 것은 종래의 구조조명에서 격자 벡터(gratig vector) 방향에서 상대 위상 변위 또는 격자 위상에 대응될 수 있다. 상기 서브 스캔 간격
Figure 112012081502722-pat00087
으로 스캔하여 얻은 데이터는 원시 스캔 이미지라고 한다. 한편, 상기 서브 스캔 간격
Figure 112012081502722-pat00088
으로 스캐닝된 상기 원시 스캔 이미지는 추후에 상기 격자 위상 별로 분리될 필요가 있다. 상기 격자 위상의 효과는
Figure 112012081502722-pat00089
에 의하여 주어진다.
도 3을 참조하면, 굵은 실선은 격자 위상이 0도에 해당하고, 상기 굵은 실선의 격자 위상 인덱스(
Figure 112012081502722-pat00090
)는 영이다. 또한, 가는 실선은 격자 위상이 240도에 해당하고, 상기 가는 실선의 격자 위상 인덱스(
Figure 112012081502722-pat00091
)는 1이다. 1점 쇄선은 격자 위상이 120도에 해당하고, 상기 1점 쇄선의 격자 위상 인덱스(
Figure 112012081502722-pat00092
)는 2이다.
정사각형 형태의 스캐닝 영역에 대하여, x-축(fast-scan axis) 방향의 스캔 수는
Figure 112012081502722-pat00093
로 설정될 수 있다. 정사각형 형태의 스캐닝 영역에 대하여, y-축(slow-scan axis)으로 서브 스캔 스캔 라인 수는
Figure 112012081502722-pat00094
이다. 따라서, 각 샘플의 스캐닝 위치(x,y)에서 데이터가 얻어진다. 상기 데이터는 상기 스캐닝 영역에 대하여 정렬되고 배열되어 상기 원시 스캔 이미지를 제공한다.
한편, 이미지 면에서는 공초점 핀홀(pin-hole)이 배치된다. 샘플 면에서 상기 스캔닝 위치(x,y)에 상관없이, 상기 샘플 면의 초점에서의 광은 상기 공초점 핀홀에 전달된다. 상기 스캐닝 영역을 모두 스캐닝한 후, 상기 공초점 핀홀은 상기 이미지 면에서 y-축(slow-scan axis)으로
Figure 112012081502722-pat00095
만큼 이동한다. 이어서, 다시 상기 샘플 면에서 x-축(fast-scan axis) 방향 및 y-축(slow-scan axis) 방향으로 스캐닝이 수행될 수 있다. 따라서, 상기 원시 스캔 이미지는 상기 이미지 면에서 상기 y-축(slow-scan axis) 방향으로 상기 공초점 핀홀의 위치 마다 형성될 수 있다.
한편, 상기 공초점핀홀의 위치에 따른 복수의 원시 스캔 이미지는 레이저 스캔 궤적으로 정의된 기준 픽셀위치에서 각각
Figure 112012081502722-pat00096
의 거리만큼 y-축(slow-scan axis) 방향으로 이동한 샘플 픽셀로부터 얻어진 이미지 데이터로서, 이후 설명하는 이미지 처리 알고리즘 수행을 통해 나이퀴스트 샘플링 조건(Nyquist sampling criterion)을 만족하는 전시야 모방 이미지 (full-field emulated image)로 재구성되는 효과를 제공한다.
상기 공초점 핀홀의 위치(
Figure 112012081502722-pat00097
) 또는 상기 공초점 핀홀의 이송 벡터(
Figure 112012081502722-pat00098
)는 다음과 같이 주어질 수 있다(S40).
Figure 112012081502722-pat00099
여기서,
Figure 112012081502722-pat00100
은 공초점 광학계의 배율이고, q는 상기 공초점 핀홀의 변위 인덱스이다.
Figure 112012081502722-pat00101
는 회전 방위각을 나타낸다. 상기 변위 인덱스(
Figure 112012081502722-pat00102
)는 영을 기준으로 양의 값 또는 음의 값을 가질 수 있다. 양의 상기 변위 인덱스는 정방향 slow-scan axis 방향으로의 움직임을 나타낸다. 음의 상기 변위 인덱스는 역방향 slow-scan axis 방향으로의 움직임을 나타낸다.
상기 변위 인덱스의 최대값(
Figure 112012081502722-pat00103
)은 레이저 집속 조명에 의해 이상적인 점 발광체가 광 신호를 형성할 수 있는 최대 거리를
Figure 112012081502722-pat00104
라 할 때,
Figure 112012081502722-pat00105
의 조건을 만족하는 값으로서, 상기
Figure 112012081502722-pat00106
(
Figure 112012081502722-pat00107
)보다 크거나 같을 수 있다. 상기 공초점핀홀의 위치 마다 상기 원시 스캔 이미지가 생성된다. 따라서,
Figure 112012081502722-pat00108
인 경우, 원시 스캔 이미지의 개수(
Figure 112012081502722-pat00109
)는 7이다.
도 4는 본 발명의 일 실시 예에 따른 원시 스캔 이미지를 나타내는 도면이다.
도 4를 참조하면, 상기 회전 방위각(
Figure 112012081502722-pat00110
은 샘플면에 고정된 좌표계에서 고정된 상기 느린 스캔 축과 회전한 느린 스캔 축 사이의 각도이다. 만약 y-축(slow-scan axis) 방향의 분해능 향상만을 원한다면, 상기 회전 방위각(
Figure 112012081502722-pat00111
)은 변경할 필요가 없다. 그러나, 모든 방향에 대하여 분해능 향상을 원한다면, 회전 방위각(
Figure 112012081502722-pat00112
)을 변경하면서, 측정될 필요가 있다(S20). 회전 방위각(
Figure 112012081502722-pat00113
)은 0도, 120도, 240도인 것이 바람직할 수 있다. 따라서,
Figure 112012081502722-pat00114
가 3이고,
Figure 112012081502722-pat00115
인 경우, 총 원시 스캔 이미지의 개수는 21이다. 회전 방위각(
Figure 112012081502722-pat00116
을 나타내는 인덱스는
Figure 112012081502722-pat00117
이며,
Figure 112012081502722-pat00118
인 경우 회전 방위각은 0도일 수 있다. 또한,
Figure 112012081502722-pat00119
인 경우, 회전 방위각은 120도일 수 있다. 또한,
Figure 112012081502722-pat00120
인 경우, 회전 방위각은 240도 일 수 있다.
도 4는 본 발명의 일 실시 예에 따른 원시 스캔 이미지를 나타내는 도면이다.
즉, 나이퀴스트 샘플링 조건(Nyquist sampling criterion)인
Figure 112012081502722-pat00121
보다 작은 서브 스캔 간격(
Figure 112012081502722-pat00122
)으로 상기 공초점 핀홀을 구조조명 방위각(slow-scan axis)의 정방향 및 역방향으로
Figure 112012081502722-pat00123
만큼 순차적으로 다중 변위시키면서 원본 데이터 이미지를 취득한다. 상기 공초점 핀홀의 변위 인텍스(
Figure 112012081502722-pat00124
)는 중심 위치인 영을 기준으로 구조조명 방위각 (slow-scan axis)의 정방향 및 역방향으로
Figure 112012081502722-pat00125
내지
Figure 112012081502722-pat00126
이다. 따라서, 상기 공초점 핀홀의 이동 개수는
Figure 112012081502722-pat00127
이다. 한편,
Figure 112012081502722-pat00128
의 조건이 요구된다.
Figure 112012081502722-pat00129
의 조건을 함께 만족하는 가능한
Figure 112012081502722-pat00130
(
Figure 112012081502722-pat00131
)는
Figure 112012081502722-pat00132
이며, 취득해야 할 상기 원본 데이터 이미지의 개수는
Figure 112012081502722-pat00133
이 된다. 만약,
Figure 112012081502722-pat00134
인 경우, 상기 라인 점프 간격(
Figure 112012081502722-pat00135
)은
Figure 112012081502722-pat00136
을 만족한다.
원시 서브 스캔 이미지는 전시야 구조조명 알고리즘에 사용되기 위하여 사전 처리될 수 있다(S50). 레이저 광원은 상기 광학계를 통하여 샘플 평면을 상기 서브 스캔 간격으로 순차적으로 스캔하면서, 상기 감지된 신호광의 세기를 이용하여 상기 샘플의 스캔 영역에 대응하는 원시 스캔 이미지를 형성할 수 있다(S51). 이어서, 상기 원시 스캔 이미지로부터 서로 다른 격자 위상에 대응하는 원시 서브 스캔 이미지는 분리될 수 있다(S52). 이어서, 상기 원시 서브 스캔 이미지를 상기 공초점 핀홀 위치에 따라 이동시켜 서로 중첩하여 중간 이미지가 생성될 수 있다(S53). 이어서, 상기 중간 이미지를 역회전 시키어 최종 이미지가 생성될 수 있다(S54).
[원시 서브 스캔 이미지 생성]
도 2를 참조하면, 측정의 용이함을 위해 3개의 격자 위상에 대한 이미지는 동시에 얻어질 수 있다(S51). 목표 구조조명의 격자 주기 또는 라인 점프 간격(
Figure 112012081502722-pat00137
)의 1/3인 서브 스캔 간격(
Figure 112012081502722-pat00138
)으로 오버샘플링(oversampling) 하여 이미지를 한번에 취득할 수 있다. 원시 스캔 이미지(
Figure 112012081502722-pat00139
)는 회전 방위각 인덱스(
Figure 112012081502722-pat00140
)와 공초점핀홀 변위 인덱스(
Figure 112012081502722-pat00141
)로 구별될 수 있다. 이후, 개별 격자 위상에 해당하도록 상기 원시 스캔 이미지를 이루는 스캔 라인 집합을 상기 라인 점프 간격(
Figure 112012081502722-pat00142
)마다 추출하여 3개의 원시 서브 스캔 이미지를 구성한다(S52). 상기 원시 서브 스캔 이미지에서 라인 위치 인덱스(l)은 다음과 같이 주어진다.
Figure 112012081502722-pat00143
여기서,
Figure 112012081502722-pat00144
는 원시 스캔 이미지의 격자 위상 인덱스이고,
Figure 112012081502722-pat00145
는 원시 스캔 이미지의 공초점 핀홀의 변위 인덱스이다. 상긴 원시 스캔 이미지는 격자 위상 인덱스에 따라 3 개의 원시 서브 스캔 이미지들로 분리될 수 있다. 원시 서브 스캔 이미지(
Figure 112012081502722-pat00146
)는 회전 방위각 인덱스(
Figure 112012081502722-pat00147
), 공초점핀홀 변위 인덱스(
Figure 112012081502722-pat00148
), 격자 위상 인덱스(
Figure 112012081502722-pat00149
)로 구별될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 원시 서브 스캔 이미지를 나타내는 도면이다.
도 5를 참조하면, 제1 원본 서브 스캔 이미지에서, 격자 위상 인덱스(
Figure 112012081502722-pat00150
)는 0(zero)로 설정된다. 또한, 격자 위상 인덱스(
Figure 112012081502722-pat00151
)는 제2 원본 서브 스캔 이미지에서 1로 설정된다. 또한, 격자 위상 인덱스 (
Figure 112012081502722-pat00152
)는 제3 원본 서브 스캔 이미지에서 2로 설정된다.
Figure 112012081502722-pat00153
은 0도 격자 위상에 대응하고,
Figure 112012081502722-pat00154
은 240도 격자 위상에 대응하고,
Figure 112012081502722-pat00155
는 120도 격자위상에 대응한다.
Figure 112012081502722-pat00156
인 경우, 제1 원본 서브 스캔 이미지(
Figure 112012081502722-pat00157
)의 첫 번째 라인에는 데이터가 없다. 제1 원본 서브 스캔 이미지(
Figure 112012081502722-pat00158
)의 두 번째 라인은 원본 스캔 이미지의 첫 번째 라인에 대응된다.
Figure 112012081502722-pat00159
인 경우, 제2 원본 서브 스캔 이미지(
Figure 112012081502722-pat00160
)의 첫 번째 라인 및 두 번째 라인에는 데이터가 없다. 제2 원본 서브 스캔 이미지(
Figure 112012081502722-pat00161
)의 세 번째 라인은 원본 스캔 이미지의 두 번째 라인에 대응된다.
Figure 112012081502722-pat00162
인 경우, 제3 원본 서브 스캔 이미지(
Figure 112012081502722-pat00163
)의 1 내지 3 라인에는 데이터가 없다. 제3 원본 서브 스캔 이미지(
Figure 112012081502722-pat00164
)의 네 번째 라인은 원본 스캔 이미지의 세 번째 라인에 대응된다.
[중간 이미지 생성]
도 6은 본 발명의 일 실시 예에 따른 중간 이미지를 생성 방법을 설명하는 도면이다.
도 6을 참조하면, 소정의 회전 방위각 인덱스(
Figure 112012081502722-pat00165
) 및 격자 위상 인덱스(
Figure 112012081502722-pat00166
)을 가진 원시 서브 스캔 이미지들(
Figure 112012081502722-pat00167
)은 모든 공초점핀홀의 변위인덱스(
Figure 112012081502722-pat00168
)에 대하여 중첩되어 중간 이미지(
Figure 112012081502722-pat00169
)를 생성한다. 상기 중간 이미지는 전시야 구조조명의 전시야 이미지를 모방한다.
상기 중간 이미지는 전시야 구조조명의 전시야 이미지를 모방한다.
다만, 서로 다른 공초점 핀홀의 변위 인덱스(
Figure 112012081502722-pat00170
)를 갖는 상기 원시 서브 스캔 이미지들은 공초점 핀홀의 변위 인덱스
Figure 112012081502722-pat00171
만큼 느린 스캔 축의 정방향 또는 역방향으로 편이(shift)하여 중첩된다. 이에 따라, 중간 이미지가 생성된다(S53). 각 회전 방위각 인덱스(
Figure 112012081502722-pat00172
) 당 상기 중간 이미지의 개수는
Figure 112012081502722-pat00173
이다. 따라서, 만약 회전 방위각에 따라 3번 측정한 경우, 총 중간 이미지의 개수는 9이다.
도 7은 본 발명의 일 실시 예에 따른 중간 이미지의 역 회전를 설명하는 도면이다.
도 7을 참조하면, 회전 방위각(
Figure 112012081502722-pat00174
)에 대한 모방 구조조명은 레이저 스캔 축을 해당 회전 방위각(
Figure 112012081502722-pat00175
)으로 회전하여 이루어질 수 있다. 다중변위 공초점 측정은 slow-scan axis의 회전 방위(
Figure 112012081502722-pat00176
)각 만큼 공초점 핀홀의 이송 벡터(
Figure 112012081502722-pat00177
)를 함께 회전하여 수행한다. 이 때, 전시야 구조조명 이미징과 달리, 레이저 스캔 이미징에서는 이미지 공간 좌표가 반대로 회전되게 된다. 따라서 회전 방위각에 대한 상기 중간 이미지(
Figure 112012081502722-pat00178
)는 측정 후 본래의 좌표계로 환원되어 최종 이미지(
Figure 112012081502722-pat00179
)를 생성할 수 있다(S54).
[회전 방위각 스캔 영상의 역회전]
회전된 직각 좌표계(x’,y’)에 대하여 얻어진 이미지를 샘플 평면에서 고정된 직각 좌표계(x,y)에서의 이미지로 변환이 필요하다.
회전 방위각 스캔은
Figure 112012081502722-pat00180
만큼의 수동적 좌표 회전을 유발한다. 따라서,
Figure 112012081502722-pat00181
만큼의 능동적 역 회전이 필요하다.
Figure 112012081502722-pat00182

회전된 직각 좌표계에 대하여 이미지 함수(D(x,y))를 보간(interpolation)하여, 이미지 함수(D(x’,y’))을 형성한다.
회전 방위각(
Figure 112012081502722-pat00183
)이 0도, 120도, 240도이고,
Figure 112012081502722-pat00184
인 경우, 총 최종 이미지(
Figure 112012081502722-pat00185
)의 개수는 9 개이다.
[ 모방 구조조명 이미지 프로세싱]
상기 최종 이미지는 메인 처리(S60)를 통하여 고해상도 이미지로 변환될 수 있다.
상기 회전 방위각 인덱스(
Figure 112012081502722-pat00186
) 및 상기 격자 위상 인덱스(
Figure 112012081502722-pat00187
) 별로 얻어진 상기 최종 이미지(
Figure 112012081502722-pat00188
)는 푸리에 변환을 통하여 이미지공간주파수 스펙트럼으로 변환된다(S62).
이어서, 차수 역혼합(order unmixing) 계산은 푸리에 변환된 이미지공간주파수 스펙트럼으로부터 소정의주파수 이동 차수(frequency-shift order)가 다른 공간주파수 스펙트럼 성분을 분리해 낸다(S64).
이어서, 상기 소정의 주파수 이동 차수별 공간주파수 스펙트럼 성분은 본래의 공간주파수 위치로 복귀된다(S66). 이에 따라, 확장된 샘플 스펙트럼이 얻어진다. 모든 상기 회전 방위각 인덱스(
Figure 112012081502722-pat00189
) 및 상기 격자 위상 인덱스(
Figure 112012081502722-pat00190
)에 대하여 중첩한 상기 확장된 샘플스펙트럼은 역 푸리에 변환(inverse Fourier transform)을 통하여 초고분해능 이미지로 변환된다(S68,S69).
2차원 이미지에 대하여 주로 설명하였으나, 위에서 설명한 방법은 샘플의 초점을 깊이 방향으로 변경시키면서 얻어진 3차원 이미지에 적용될 수 있다. 이미지는 공초점 레이저 스캔 현미경 장치를 이용하여 얻어질 수 있다.
도 8은 본 발명의 다른 실시 예에 따른 레이저 스캔 구조조명 이미징 방법을 설명하는 흐름도이다.
도 8을 참조하면, 본 발명의 변형된 일 실시 예에 따르면, 구조조명 방위각 당 3개의 다른 모방 격자 위상이 필요하므로, 원리적으로는 라인 점프 간격(
Figure 112012081502722-pat00191
)을 가지는 레이저 스캔 영역을 구조조명 방위각으로
Figure 112012081502722-pat00192
씩 변화시키면서 원시 스캔 이미지를 취득하면 된다(S70). 따라서, 오버 샘플링이 요구되지 않는다. 또한, 원시 스캔 이미지에서 격자 위상 별로 원시 서브 스캔 이미지를 만드는 단계(S52)가 요구되지 않는다.
이상에서는 본 발명을 특정의 바람직한 실시예에 대하여 도시하고 설명하였으나, 본 발명은 이러한 실시예에 한정되지 않으며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 특허청구범위에서 청구하는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 실시할 수 있는 다양한 형태의 실시예들을 모두 포함한다.
S50: 사전 처리
S60: 메인 처리

Claims (12)

  1. 격자 패턴 조명(grating pattern illumination)의 주기에 대응하는 라인 점프 간격을 설정하고, 상기 라인 점프 간격 (
    Figure 112014011037056-pat00193
    ) 을 서브 스캔 개수(
    Figure 112014011037056-pat00194
    )로 분할하는 서브 스캔 간격(
    Figure 112014011037056-pat00195
    )을 설정하는 단계;
    레이저 광원은 광학계를 통하여 샘플 평면을 상기 라인 점프 간격 또는 상기 서브 스캔 간격으로 순차적으로 스캔하고, 샘플에서 발생한 신호광은 공초점 핀홀을 통과하여 감지되는 단계; 및
    상기 공초점 핀홀을 이동시키는 단계를 포함하는 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  2. 제1 항에 있어서,
    상기 라인 점프 간격 (
    Figure 112012081502722-pat00196
    )은
    Figure 112012081502722-pat00197
    의 조건을 만족하고, 아베(Abbe) 회절 한계(
    Figure 112012081502722-pat00198
    )는
    Figure 112012081502722-pat00199
    이고,
    Figure 112012081502722-pat00200
    는 상기 레이저 광원의 파장이고,
    Figure 112012081502722-pat00201
    는 상기 광학계의 수치 구경(numerical aperture)인 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  3. 제1 항에 있어서,
    상기 서브 스캔 개수(
    Figure 112012081502722-pat00202
    )는
    Figure 112012081502722-pat00203
    인 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  4. 제1 항에 있어서,
    상기 공초점핀홀의 이동시키는 개수는
    Figure 112012081502722-pat00204
    이고, 여기서, 최대 정방향 변위 인덱스(
    Figure 112012081502722-pat00205
    )는 상기 서브 스캔 개수(
    Figure 112012081502722-pat00206
    )보다 크거나 같은 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  5. 제1 항에 있어서,
    상기 공초점 핀홀의 단위 이동 거리는
    Figure 112012081502722-pat00207
    인 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  6. 제1 항에 있어서,
    상기 샘플 평면에서 스캔하는 회전 방위각 방향을 상기 샘플의 중심축을 기준으로 회전시키는 단계를 더 포함하는 것을 특징으로 레이저 스캔 구조조명 이미징 방법.
  7. 제1 항에 있어서,
    상기 레이저 광원이 상기 광학계를 통하여 샘플 평면을 상기 서브 스캔 간격으로 순차적으로 스캔하면서 얻어진 상기 감지된 신호광의 세기를 이용하여 상기 샘플의 스캔 영역에 대응하는 원시 스캔 이미지를 형성하는 단계;
    상기 원시 스캔 이미지로부터 서로 다른 격자 위상에 대응하는 원시 서브 스캔 이미지를 분리하는 단계;
    상기 원시 서브 스캔 이미지를 상기 공초점 핀홀 위치에 따라 이동시켜 서로 중첩하여 중간 이미지를 생성하는 단계; 및
    상기 중간 이미지를 역회전시키어 최종 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  8. 제7 항에 있어서,
    상기 최종 이미지를 푸리에 변환하여 이미지 공간 주파수 스펙트럼을 생성하는 단계;
    상기 이미지 공간 주파수 스펙트럼에 대하여 차수 역혼합(order unmixing)을 수행하여 차수가 다른 스펙트럼 성분을 분리하는 단계;
    차수 별 스펙트럼 성분을 본래의 주파수 위치로 복귀시키어 확장된 물체 스펙트럼을 얻는 단계; 및
    상기 확장된 물체 스펙트럼을 역 푸리에 변환하여 고분해능 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  9. 제1 항에 있어서,
    상기 레이저 광원이 상기 광학계를 통하여 샘플 평면을 상기 라인 점프 간격으로 순차적으로 스캔하면서 얻어진 상기 감지된 신호광의 세기를 이용하여 상기 샘플의 스캔 영역에 대응하는 원시 스캔 이미지를 형성하는 단계;
    격자 위상에 대응하도록 스캔 평면에서 상기 라인 점프 간격 방향으로 오프셋을 인가하는 단계;
    동일한 상기 격자 위상에 대하여 상기 원시 스캔 이미지를 상기 공초점 핀홀 위치에 따라 이동시켜 서로 중첩하여 중간 이미지를 생성하는 단계; 및
    상기 중간 이미지를 역회전 시키어 최종 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  10. 제1 항에 있어서,
    상기 스캔은 빠른 스캔 축으로 점 주사하고, 느린 스캔 축으로 선 주사하는 래스터 스캔 방식(raster scan method)인 것을 특징으로 레이저 스캔 구조조명 이미징 방법.
  11. 제1 항에 있어서,
    상기 광학계는 공초점 광학계이고, 상기 공초점 핀홀은 디스캔(descan) 광 경로 상에 배치되는 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
  12. 제1 항에 있어서,
    상기 광학계는 공초점 광학계이고, 상기 샘플 평면에서 초점은 이미지 면(image plane)에서 상기 공초점 핀홀의 위치로 전달되는 것을 특징으로 하는 레이저 스캔 구조조명 이미징 방법.
KR1020120111495A 2012-10-08 2012-10-08 레이저 스캔 구조조명 이미징 방법 KR101391180B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120111495A KR101391180B1 (ko) 2012-10-08 2012-10-08 레이저 스캔 구조조명 이미징 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120111495A KR101391180B1 (ko) 2012-10-08 2012-10-08 레이저 스캔 구조조명 이미징 방법

Publications (2)

Publication Number Publication Date
KR20140045625A KR20140045625A (ko) 2014-04-17
KR101391180B1 true KR101391180B1 (ko) 2014-05-07

Family

ID=50652937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120111495A KR101391180B1 (ko) 2012-10-08 2012-10-08 레이저 스캔 구조조명 이미징 방법

Country Status (1)

Country Link
KR (1) KR101391180B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204460A1 (ko) * 2016-05-26 2017-11-30 (주) 정상라이다 광학 모듈을 이용하여 특정 영역을 스캔하는 방법 및 장치
CN117268288B (zh) * 2023-07-26 2024-03-08 北京大学长三角光电科学研究院 光学衍射层析成像激光扫描方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149118A1 (en) 2003-06-25 2006-07-06 Fabio Sigon Process and plant for the hydrothermal treatment of asbestos and/or asbestos-containing materials in supercritical water
JP2010107250A (ja) 2008-10-28 2010-05-13 Saki Corp:Kk 被検査体の検査装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060149118A1 (en) 2003-06-25 2006-07-06 Fabio Sigon Process and plant for the hydrothermal treatment of asbestos and/or asbestos-containing materials in supercritical water
JP2010107250A (ja) 2008-10-28 2010-05-13 Saki Corp:Kk 被検査体の検査装置

Also Published As

Publication number Publication date
KR20140045625A (ko) 2014-04-17

Similar Documents

Publication Publication Date Title
CN106770147B (zh) 一种结构光照明超分辨显微成像方法
Müller et al. Image scanning microscopy
US8019136B2 (en) Optical sectioning microscopy
JP4865930B2 (ja) 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法
JP5412394B2 (ja) 標本観察装置
JP5268257B2 (ja) イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器
WO2022028291A1 (zh) 一种扫描结构光超分辨显微成像装置及方法
US8675062B2 (en) Shape measuring device, observation device, and image processing method
CN108181235B (zh) 一种基于均匀结构光照明的sted并行显微成像系统
JP2009526272A (ja) 顕微鏡媒体ベースの標本からデジタル画像データを収集するための方法および装置およびコンピュータプログラム製品
CN102540446A (zh) 一种基于数字微镜器件的高速结构照明光学显微系统及方法
RU2747129C1 (ru) Способ и устройство для реконструкции изображения, а также устройство для формирования изображения в микроскопе
US10746657B2 (en) Method for accelerated high-resolution scanning microscopy
CN113484296A (zh) 基于结构光照明的超分辨扫描光场成像系统和方法
CN111123496B (zh) 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
CN116183568A (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
KR101391180B1 (ko) 레이저 스캔 구조조명 이미징 방법
JP7190034B2 (ja) 高スループット光トモグラフィ三次元イメージングシステム
US9696255B2 (en) Image processing method of two-photon structured illumination point scanning microscopy
CN107478628A (zh) 一种基于光子重组的双光子荧光显微方法及装置
US20200218047A1 (en) High-resolution scanning microscopy
US20210109045A1 (en) Continuous scanning for localization microscopy
CN208766383U (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
JP2010039323A (ja) 共焦点顕微鏡
JP7235861B2 (ja) 高スループット光トモグラフィイメージング方法及びイメージングシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170316

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

R401 Registration of restoration