WO2024101631A1 - 초점 유지가 가능한 타임랩스 이미징 방법 및 장치 - Google Patents

초점 유지가 가능한 타임랩스 이미징 방법 및 장치 Download PDF

Info

Publication number
WO2024101631A1
WO2024101631A1 PCT/KR2023/013753 KR2023013753W WO2024101631A1 WO 2024101631 A1 WO2024101631 A1 WO 2024101631A1 KR 2023013753 W KR2023013753 W KR 2023013753W WO 2024101631 A1 WO2024101631 A1 WO 2024101631A1
Authority
WO
WIPO (PCT)
Prior art keywords
coverslip
time
sample
reflected
focus position
Prior art date
Application number
PCT/KR2023/013753
Other languages
English (en)
French (fr)
Inventor
송인천
황윤하
김필한
Original Assignee
아이빔테크놀로지 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이빔테크놀로지 주식회사, 한국과학기술원 filed Critical 아이빔테크놀로지 주식회사
Publication of WO2024101631A1 publication Critical patent/WO2024101631A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Definitions

  • the present invention relates to a time-lapse imaging method and device capable of maintaining focus. More specifically, the present invention relates to a time-lapse imaging method and device capable of maintaining focus. More specifically, the present invention relates to a time-lapse imaging method and device that corrects the phenomenon in which the focus differs from the initial position due to heat and vibration generated in the microscope and the surrounding environment during time-lapse imaging. It relates to a type-lapse imaging method and device that can maintain focus for a long period of time.
  • a time-lapse imaging device is a microscope that observes changes over time. It automatically captures images of samples at regular intervals from tens of milliseconds to several days and stores the captured images.
  • Time-lapse imaging devices are mainly used to observe changes in living cells over time and may include a cell culture device for filming cell culture situations.
  • the time-lapse imaging device uses a transmission or fluorescence microscope equipped with a camera to observe the cell culture situation, and also uses a confocal microscope to measure minute fluorescence signals.
  • Confocal microscopes have unique optical sectioning characteristics due to the structure of the microscope, so they can clearly measure thick samples such as tissue samples. Therefore, not only high-resolution measurement of cell samples but also high-resolution measurement of tissue samples is possible.
  • time-lapse imaging devices have a problem in that it is difficult to maintain a constant focus over a long measurement time. This is partly due to deformation or movement of the living cells themselves, and a major factor is deformation of the microscope itself due to vibration and temperature changes occurring in the surrounding environment, that is, the environment of peripheral devices.
  • Time-lapse imaging often takes several hours to several days, and because it is difficult to maintain constant vibration and temperature changes in the surrounding environment for a long period of time, most time-lapse imaging devices use an autofocus maintainer to maintain constant focus. keep it that way
  • FIG. 1 is a diagram illustrating a general time-lapse imaging device
  • FIG. 2 is a diagram illustrating a time-lapse imaging device equipped with an automatic focus maintaining device.
  • a typical autofocus maintaining device consists of a laser in the NIR wavelength band, a sensor, and a dichroic mirror.
  • the laser light output from the automatic focus maintaining device is directed to the objective lens through a dichroic mirror.
  • the laser light focuses on the cover slip of the sample, the light reflected from the focus is detected by the internal sensor, and the detected light is used to calculate the change in distance between the objective lens and the coverslip.
  • a command to correct the calculated focus error is sent back to the XYZ stage to keep the distance between the objective lens and coverslip constant.
  • the present invention seeks to propose a time-lapse imaging method and device capable of maintaining focus that can implement a focus maintaining function using the characteristics of the confocal microscope itself without a separate automatic focus maintaining device. do.
  • a time-lapse imaging device comprising: a light source outputting laser light; A first dichroic mirror that reflects the laser light toward the sample; A beam scanner that changes the angle of the laser light over time using a two-axis galvano mirror; A relay lens that converts the laser light passing through the beam scanner into parallel light; An objective lens that receives the laser light converted into parallel light and forms a focal plane at the focal position of the coverslip and the sample set by the user; Among the reflection signal corresponding to the wavelength of the laser light reflected from the sample and the fluorescence signal reflected from the fluorescently labeled sample, the fluorescence signal is transmitted, and the reflection signal transmitted through the first dichroic mirror is reflected.
  • a reflection mirror that reflects the reflected signal reflected through the second dichroic mirror
  • a focus detector that detects the reflection signal reflected through the reflection mirror to detect the degree to which the current focus position of the coverslip deviates from the initially set focus position of the coverslip
  • a time-lapse imaging device including an XYZ stage that changes the position where the sample is placed using the deviation degree is provided.
  • the initially set focal position of the coverslip can be set using the first peak signal reflected from the lower surface of the coverslip and the second peak signal reflected from the upper surface of the coverslip.
  • the objective lens waits at the initially set focus position of the coverslip, it moves to the focus position of the sample by the first difference between the initially set focus position of the coverslip and the initially set focus position of the sample. Time-lapse imaging may begin.
  • the objective lens moves to a position corresponding to the initially set focus position of the coverslip, and the focus detector moves the initially set cover slip. It is possible to detect whether there is a second difference between the focus position of the slip and the focus position of the current coverslip due to the movement, and correct the focus position of the current coverslip according to the second difference.
  • Time-lapse imaging may be resumed by moving the objective lens from the current corrected focus position of the coverslip to the focus position of the sample by the first difference.
  • a focus filter that allows only the reflected signal to pass may be provided between the reflecting mirror and the focus detector.
  • the second dichroic mirror and the reflective mirror may be spaced apart in the horizontal direction.
  • a time-lapse imaging method includes outputting laser light from a light source; Reflecting the laser light toward the sample through a first dichroic mirror; changing the angle of the laser light over time through a beam scanner including a two-axis galvano mirror; Converting the laser light passing through the beam scanner into parallel light through a relay lens; receiving the laser light converted into parallel light through an objective lens and forming a focal plane at the focal position of the coverslip and the sample set by the user; Among the reflected signals corresponding to the wavelength of the laser light reflected from the sample through the second dichroic mirror and the fluorescent signal reflected from the fluorescently labeled sample, the fluorescence signal is transmitted, and the fluorescent signal transmitted through the first dichroic mirror is transmitted.
  • the reflected signal is reflected; reflecting the reflected signal reflected through the second dichroic mirror through a reflective mirror; detecting the degree to which the current focus position of the coverslip deviates from the initially set focus position of the coverslip by detecting a reflection signal reflected from the reflection mirror through a focus detector; And a time-lapse imaging method is provided, including the step of changing the position where the sample is seated using the deviation degree through an XYZ stage.
  • Figure 1 is a diagram illustrating a general time-lapse imaging device.
  • Figure 2 is a diagram showing a time-lapse imaging device equipped with an automatic focus maintaining device.
  • Figure 3 is a diagram showing a time-lapse imaging device according to a preferred embodiment of the present invention.
  • Figure 4 is a diagram showing the configuration of a time-lapse imaging device according to another embodiment of the present invention.
  • Figure 5 is a diagram illustrating a time-lapse imaging process through focus maintenance according to this embodiment.
  • Figure 6 is a diagram showing the focal position of the sample and the focal position of the coverslip.
  • Figure 7 is a diagram showing that the reflection signal is largest when the coverslip and focus are best.
  • a time-lapse imaging device that can maintain a constant distance between the objective lens and the coverslip without a separate automatic focus maintaining device using the principles of a confocal microscope.
  • Figure 3 is a diagram showing a time-lapse imaging device according to a preferred embodiment of the present invention.
  • the light output from the light source 300 is reflected from the first dichroic mirror (302-1) and is directed to the objective lens 308 through the beam scanner 304 and the relay lens 306. , the light passing through the objective lens 308 passes through the coverslip 310 and is irradiated to the sample 312.
  • the beam scanner 304 uses a two-axis galvano mirror to change the angle of the laser light output from the light source 100 over time.
  • the relay lens 306 converts the laser light that has passed through the beam scanner 304 into parallel light.
  • the objective lens 308 receives laser light converted into parallel light and forms a focal plane at the focal position of the coverslip 310 and the specimen 312 set by the user.
  • the light reflected from the sample 312 passes through the first dichroic mirror 302-1, passes through the pinhole 314 and the second dichroic mirror 302-2, and then passes through a fluorescence filter that allows only light of a specific wavelength to pass through. It is detected by the light detector 318 via 316.
  • the light source 300, the focus of the objective lens 308, and the focal plane of the pinhole 314 form an optically conjugate relationship, and a microscope with these characteristics is called a confocal microscope.
  • the objective lens 308 At the focal plane of the objective lens 308, light with a fluorescence wavelength (fluorescence signal) and laser light (reflection signal) generated by the light source 300 are generated simultaneously. Among the fluorescence signals and reflection signals collected through the objective lens 308, the fluorescence is The signal passes through the dichroic mirror 302, and the reflected signal is reflected from the dichroic mirror 302.
  • the reflected signal cannot be completely blocked by the dichroic mirror 302, and some (1 to 10% level) passes through the dichroic mirror 302 and is detected by the light detector 318.
  • a fluorescence filter 316 which prevents detection of the reflection signal and can detect only the fluorescence signal, is used in front of the photo detector 318.
  • the fluorescence filter 316 needs to be replaced, so the automatic filter changer 320 is placed in front of the photo detector 318.
  • the pinhole 314 which is the biggest feature of the confocal microscope, has an optical sectioning characteristic that sends only the light generated in the focal plane of the objective lens 308 to the photo detector 318 and blocks the rest of the light, allowing clear images of the focal plane. there is.
  • the confocal microscope uses these characteristics of the confocal microscope, it is also widely used as a three-dimensional microscope to measure the level difference of the sample 312 based on the Z-axis height information of the XYZ stage 322 and the signal detected by the photo detector 318. .
  • a focus maintenance function can be implemented.
  • Some of the reflection signals reflected from the sample 312 pass through the first dichroic mirror 302-1 and are input to the second dichroic mirror 302-2, and the second dichroic mirror 302-2 reflects it. do.
  • a reflection mirror 330, a focus filter 332, and a focus detector 334 are provided to maintain focus.
  • the reflecting mirror 330 is arranged to be horizontally spaced apart from the second dichroic mirror 302-2, and reflects the reflected signal reflected from the second dichroic mirror 302-2 toward the focus detector 334.
  • 334 detects the reflected signal passing through the focus filter 332 and detects the degree to which the current focus position of the coverslip 310 deviates from the initially set focus position of the coverslip.
  • the XYZ stage 332 uses the degree of defocus detected by the focus detector 334 to change the position where the sample is placed.
  • the fluorescence filter 316 and the focus filter 332 are not configured independently, and it is also possible to detect focus by adding a filter for focus detection to the filter changer 320.
  • Figure 4 is a diagram showing the configuration of a time-lapse imaging device according to another embodiment of the present invention.
  • two or more photodetectors 318 may be used and a plurality of second dichroic mirrors 302-2 may be provided to simultaneously detect a fluorescence signal and a signal for maintaining focus.
  • Figure 5 is a diagram illustrating a time-lapse imaging process through focus maintenance according to this embodiment.
  • the focus position of the sample and the focus position of the coverslip are sequentially set (steps 500 to 502).
  • Figure 6 is a diagram showing the focal position of the sample and the focal position of the coverslip in steps 500 and 502.
  • the fluorescence filter is changed according to the fluorescence signal desired to be detected, and then time-lapse imaging is started (step 504).
  • the microscope moves from the focal position of the coverslip to the focal position of the sample and detects the fluorescence signal reflected from the sample (step 506).
  • the objective lens moves to the focal position of the coverslip and waits (step 508).
  • step 508 the fluorescence filter is replaced to detect another fluorescence signal.
  • the focal position of the coverslip is corrected by detecting a reflection signal while scanning a certain section in the direction of the optical axis at specific intervals (step 510). .
  • step 510 the focus position of the coverslip can be found because the reflection signal is the largest when the coverslip and the focus are best.
  • the exact focus position of the sample at the current time can be found.
  • This process of finding the focus position of the coverslip is performed at certain intervals when imaging is not performed in the middle of the time-lapse, and imaging is performed by applying the changed focus position in the next time-lapse imaging sequence (step 512).
  • time-lapse imaging ends (step 514).
  • the focus position is periodically tracked as in the above-described process, even if a change in focus occurs due to surrounding vibration or thermal deformation, the sample can be imaged without focus error during the next time-lapse imaging. .
  • the accuracy of detecting the focus position of the coverslip can be improved because the position where the peak signal appears and the focus position coincide without separate complicated data processing or algorithms.
  • one side of the cover slip is selected, the light reflected from the selected side is detected by a 2-split or 4-split photodiode, and then compared and calculated to detect a change in focus.
  • the signal detected by the focus detector is directly related to the height information of the coverslip, and through this, the cover slip focus position can be detected quickly and accurately.
  • the FWHM Full width half maximum

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

본 발명은 초점 유지가 가능한 타임랩스 이미징 방법 및 장치에 관한 것으로서, 보다 상세하게는, 타임랩스 이미징 중에 현미경 및 주변 환경에서 발생하는 열, 진동 등의 원인으로 초점이 초기 위치와 달라지는 현상을 보정하여 장시간 동안 초점을 유지할 수 있는 타입랩스 이미징 방법 및 장치를 제공한다.

Description

초점 유지가 가능한 타임랩스 이미징 방법 및 장치
본 출원은 2022년 11월 9일에 출원된 대한민국 특허출원 제 10-2022-0148595호를 우선권으로 주장하고, 상기 명세서 전체는 본 출원의 참고문헌이다.
본 발명은 초점 유지가 가능한 타임랩스 이미징 방법 및 장치에 관한 것으로서, 보다 상세하게는, 타임랩스 이미징 중에 현미경 및 주변 환경에서 발생하는 열, 진동 등의 원인으로 초점이 초기 위치와 달라지는 현상을 보정하여 장시간 동안 초점을 유지할 수 있는 타입랩스 이미징 방법 및 장치에 관한 것이다.
타임랩스 이미징 장치는 시간에 따른 변화를 관찰하는 현미경으로, 수십 mm초에서 수일 동안 일정한 간격으로 시료의 이미지를 자동으로 촬영하고, 촬영한 이미지를 저장한다.
타임랩스 이미징 장치는 살아있는 세포의 시간에 따른 변화를 관찰하기 위해 주로 사용되며 세포 배양상황을 촬영하기 위한 세포 배양기를 포함할 수 있다.
타임랩스 이미징 장치는 세보 배양상황의 관찰을 위해 카메라가 장착된 투과형 또는 형광 현미경을 사용하며, 미세 형광신호를 측정하기 위해 공초점 현미경을 사용하기도 한다.
공초점 현미경은 현미경 구성상 고유의 광학절편 특성이 있어 조직 시료와 같이 두꺼운 시료를 선명하게 측정할 수 있으며, 따라서 세포 시료의 고분해능 측정뿐만 아니라 조직 시료의 고분해능 측정도 가능하다.
그러나, 타임랩스 이미징 장치는 장시간의 측정시간 동안 일정한 초점을 유지하기 어려운 문제점이 있다. 이는 살아있는 세포 자체의 변형 또는 이동에 의한 원인도 있고, 주변환경, 즉, 주변기기의 환경으로부터 발생하는 진동과 온도 변화에 따라 현미경 자체의 변형에 따른 원인이 큰 요인이다.
타임랩스 이미징 시간은 수시간에서 수일이 소요되는 경우가 많으며 장시간 동안 주변환경의 진동, 온도변화를 일정하게 유지하기가 어렵기 때문에 대부분의 타임랩스 이미징 장치에서는 자동초점 유지장치를 사용하여 초점을 일정하게 유지한다.
도 1은 일반적인 타임랩스 이미징 장치를 도시한 도면이고, 도 2는 자동초점 유지장치가 장착되어 있는 타임랩스 이미징 장치를 도시한 도면이다.
일반적인 자동초점 유지장치는 NIR 파장대역의 레이저와 센서, 그리고 이색거울(dichroic mirror)로 구성된다.
도 2를 참조하면, 자동초점 유지장치에서 출력된 레이저 빛은 이색거울을 통해서 대물렌즈로 향한다.
레이저 빛은 시료의 커버슬립에 초점을 맞추고 초점에서 반사되는 빛을 내부 센서에서 감지하고 감지된 빛을 이용해서 대물렌즈와 커버슬립 사이의 거리 변화를 계산한다. 이렇게 계산된 초점 에러를 보정하는 명령어를 다시 XYZ 스테이지에 보내서 대물렌즈와 커버슬립 사이의 거리를 일정하게 유지한다.
그러나, 종래에는 자동초점 유지용 레이저를 출력하는 자동초점 유지장치를 부가하여야 하기 때문에 번거로운 문제점이 있다.
[선행기술문헌]
[특허문헌]
KR 공개특허공보 10-2021-0100181
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 별도의 자동초점 유지장치 없이도 공초점 현미경 자체의 특성을 이용하여 초점유지 기능을 구현할 수 있는 초점 유지가 가능한 타임랩스 이미징 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 타임랩스 이미징 장치로서, 레이저 빛을 출력하는 광원; 상기 레이저 빛을 시료 측으로 반사시키는 제1 이색거울(Dichroic mirror); 2축 갈바노 미러를 이용하여 시간에 따라 상기 레이저 빛의 각도를 변화시키는 빔 스캐너; 상기 빔 스캐너를 통과한 레이저 빛을 평행광으로 변환하는 중계렌즈; 상기 평행광으로 변환된 레이저 빛을 입력 받아 사용자가 설정한 커버슬립의 초점위치 및 상기 시료의 초점위치에 초점면을 형성하는 대물렌즈; 상기 시료에서 반사되는 상기 레이저 빛의 파장에 상응하는 반사 신호 및 형광으로 표지된 시료에서 반사되는 형광 신호 중 상기 형광 신호는 투과시키고, 상기 제1 이색거울을 통해 투과된 상기 반사 신호는 반사하는 제2 이색거울; 상기 제2 이색거울을 통해 반사된 반사 신호를 반사하는 반사거울; 상기 반사거울을 통해 반사된 반사 신호를 검출하여 현재 커버슬립의 초점위치가 초기에 설정한 커버슬립의 초점위치에서 벗어난 정도를 검출하는 초점 검출기; 및 상기 벗어난 정도를 이용하여 상기 시료가 안착된 위치를 변경하는 XYZ 스테이지를 포함하는 타임랩스 이미징 장치가 제공된다.
상기 초기에 설정한 커버슬립의 초점위치는 상기 커버슬립의 아랫면에서 반사되는 제1 피크 신호 및 상기 커버슬립의 윗면에서 반사되는 제2 피크 신호를 이용하여 설정될 수 있다.
상기 대물렌즈가 상기 초기에 설정한 커버슬립의 초점위치에서 대기한 후 상기 초기에 설정한 커버슬립의 초점위치와 초기에 설정한 시료의 초점위치의 제1 차이만큼 상기 시료의 초점위치로 이동하여 타임랩스 이미징이 시작될 수 있다.
상기 시료의 초점위치에서 미리 설정된 시간동안 상기 형광 신호를 검출한 이후, 상기 대물렌즈는 상기 초기에 설정한 커버슬립의 초점위치에 대응되는 위치로 이동하며, 상기 초점 검출기가 상기 초기에 설정한 커버슬립의 초점위치와 상기 이동에 의한 현재 커버슬립의 초점위치에 제2 차이가 있는지 여부를 검출하고, 상기 제2 차이에 따라 상기 현재 커버슬립의 초점위치를 보정할 수 있다.
상기 대물렌즈가 상기 보정된 현재 커버슬립의 초점위치에서 상기 제1 차이만큼 상기 시료의 초점위치로 이동하여 타임랩스 이미징을 재개할 수 있다.
상기 반사거울 및 상기 초점 검출기 사이에는 상기 반사 신호만 통과시키는 초점 필터가 제공될 수 있다.
상기 제2 이색거울과 상기 반사거울은 수평방향으로 이격 배치될 수 있다.
본 발명의 다른 측면에 따르면, 타임랩스 이미징 방법으로서, 광원에서 레이저 빛을 출력하는 단계; 제1 이색거울(Dichroic mirror)을 통해 상기 레이저 빛을 시료 측으로 반사시키는 단계; 2축 갈바노 미러를 포함하는 빔 스캐너를 통해 시간에 따라 상기 레이저 빛의 각도를 변화시키는 단계; 중계렌즈를 통해 상기 빔 스캐너를 통과한 레이저 빛을 평행광으로 변환하는 단계; 대물렌즈를 통해 상기 평행광으로 변환된 레이저 빛을 입력 받아 사용자가 설정한 커버슬립의 초점위치 및 상기 시료의 초점위치에 초점면을 형성하는 단계; 제2 이색거울을 통해 상기 시료에서 반사되는 상기 레이저 빛의 파장에 상응하는 반사 신호 및 형광으로 표지된 시료에서 반사되는 형광 신호 중 상기 형광 신호는 투과시키고, 상기 제1 이색거울을 통해 투과된 상기 반사 신호는 반사하는 단계; 반사거울을 통해 상기 제2 이색거울을 통해 반사된 반사 신호를 반사시키는 단계; 초점 검출기를 통해 상기 반사거울에서 반사된 반사 신호를 검출하여 현재 커버슬립의 초점위치가 초기에 설정한 커버슬립의 초점위치에서 벗어난 정도를 검출하는 단계; 및 XYZ 스테이지를 통해 상기 벗어난 정도를 이용하여 상기 시료가 안착된 위치를 변경하는 단계를 포함하는 타임랩스 이미징 방법이 제공된다.
본 실시예에 따르면, 별도의 장치를 부가하지 않더라도 오랜 시간동안 오차 없이 초점을 유지할 수 있는 장점이 있다.
도 1은 일반적인 타임랩스 이미징 장치를 도시한 도면이다.
도 2는 자동초점 유지장치가 장착되어 있는 타임랩스 이미징 장치를 도시한 도면이다.
도 3는 본 발명의 바람직한 일 실시예에 따른 타임랩스 이미징 장치를 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 타임랩스 이미징 장치의 구성을 도시한 도면이다.
도 5는 본 실시예에 따른 초점 유지를 통한 타임랩스 이미징 과정을 도시한 도면이다.
도 6은 시료의 초점위치 및 커버슬립의 초점위치를 나타낸 도면이다.
도 7은 커버슬립과 초점이 가장 잘 맞을 때 반사 신호가 가장 큰 것을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 실시예에서는 공초점 현미경의 원리를 이용하여 별도의 자동초점 유지장치가 없이도 대물렌즈와 커버슬립 사이의 거리를 일정하게 유지할 수 있는 타임랩스 이미징 장치를 제안한다.
도 3는 본 발명의 바람직한 일 실시예에 따른 타임랩스 이미징 장치를 도시한 도면이다.
도 3을 참조하면, 광원(300)으로부터 출력된 빛이 제1 이색거울(dichroic mirror, 302-1)에서 반사되어 빔 스캐너(304)와 중계렌즈(306)를 통해서 대물렌즈(308)로 향하고, 대물렌즈(308)를 통과한 빛은 커버슬립(310)을 통과하여 시료(312)에 조사된다.
빔 스캐너(304)는 2축 갈바노 미러를 이용하여 시간에 따라 광원(100)에서 출력되는 레이저 빛의 각도를 변화시킨다.
중계렌즈(306)는 빔 스캐너(304)를 통과한 레이저 빛을 평행광으로 변환한다.
대물렌즈(308)는 평행광으로 변환된 레이저 빛을 입력 받아 사용자가 설정한 커버슬립(310)의 초점위치 및 시료(312)의 초점위치에 초점면을 형성한다.
이때, 시료(312)로부터 반사된 빛은 제1 이색거울(302-1)을 투과하고 핀홀(314) 및 제2 이색거울(302-2)을 거친 후 특정 파장의 빛만 통과할 수 있는 형광 필터(316)를 거쳐 광 검출기(318)에서 검출된다.
이때 광원(300), 대물렌즈(308)의 초점, 핀홀(314)의 초점면이 광학적으로 공액관계를 형성하고 이러한 특성을 갖는 현미경을 공초점 현미경이라고 한다.
대물렌즈(308)의 초점면에서는 형광 파장의 빛(형광 신호)와 광원(300)에 의한 레이저 빛(반사 신호)이 동시에 발생하는데 대물렌즈(308)를 통해 수집된 형광 신호와 반사 신호 중 형광 신호는 이색거울(302)을 투과하게 되고, 반사 신호는 이색거울(302)에서 반사된다.
그러나 이색거울(302)에서 반사 신호를 완전히 차단할 수는 없고 일부(1~10%수준)는 이색거울(302)을 투과하여 광 검출기(318)에서 검출된다.
이때 시료(312)에서 발생하는 형광 신호만을 검출하기 위해서는 반사 신호의 검출을 막고 형광 신호만 검출할 수 있는 형광 필터(316)가 광 검출기(318) 앞에 사용된다.
일반적으로 여러 종류의 형광 신호를 검출하기 위해서는 형광 필터(316)의 교체가 필요하여 자동 필터 교체기(320)가 광 검출기(318) 전단에 배치된다.
공초점 현미경의 가장 큰 특징인 핀홀(314)은 대물렌즈(308)의 초점면에서 발생한 빛만 광 검출기(318)로 보내고 나머지 빛은 차단해주는 광학절편 특성이 있어 초점면의 이미지를 선명하게 촬영할 수 있다.
이러한 공초점 현미경의 특징을 이용하여 XYZ 스테이지(322)의 Z축 방향 높이 정보와 광 검출기(318)에서 검출된 신호를 바탕으로 시료(312)의 단차를 측정하는 3차원 현미경으로도 널리 사용되고 있다. 이렇게 3차원 정보를 측정할 수 있는 원리를 응용하여 초점 유지 기능을 구현할 수 있다.
시료(312)에서 반사되는 반사 신호 중 일부는 제1 이색거울(302-1)을 투과하여 제2 이색거울(302-2)에 입력되며, 제2 이색거울(302-2)는 이를 반사하게 된다.
본 실시예에 따르면, 초점 유지를 위해, 반사거울(330), 초점 필터(332) 및 초점 검출기(334)가 제공된다.
반사거울(330)은 제2 이색거울(302-2)에 대해 수평방향으로 이격 배치되며, 제2 이색거울(302-2)에서 반사되는 반사 신호를 초점 검출기(334) 측으로 반사시키며, 초점 검출기(334)는 초점 필터(332)를 통과하는 반사 신호를 검출하여 현재 커버슬립(310)의 초점위치가 초기에 설정한 커버슬립의 초점위치에서 벗어난 정도를 검출한다.
초점 검출기(334)에서 검출된 초점이 벗어난 정도를 이용하여 XYZ 스테이지(332)는 시료가 안착된 위치를 변경한다.
본 발명의 다른 실시예에 따르면, 형광 필터(316)와 초점 필터(332)가 독립적으로 구성되지 않고, 필터 교체기(320)에 초점 검출을 위한 필터를 추가함으로써 초점을 검출하는 것도 가능하다.
도 4는 본 발명의 다른 실시예에 따른 타임랩스 이미징 장치의 구성을 도시한 도면이다.
도 4와 같이 광 검출기(318)를 2개 이상 사용하고 복수의 제2 이색거울(302-2)을 제공하여 형광 신호와 초점 유지를 위한 신호를 동시에 검출할 수도 있다.
도 5는 본 실시예에 따른 초점 유지를 통한 타임랩스 이미징 과정을 도시한 도면이다.
도 5를 참조하면, 우선 시료의 초점위치 및 커버슬립의 초점위치를 순차적으로 설정한다(단계 500 내지 502).
도 6은 단계 500과 502에서의 시료의 초점위치 및 커버슬립의 초점위치를 나타낸 도면이다.
이후, 형광 필터를 검출을 원하는 형광 신호에 따라 변경한 후 타임랩스 이미징을 시작한다(단계 504).
타입랩스 이미징을 시작하면 현미경(대물렌즈)이 커버슬립의 초점위치에서 시료의 초점위치로 이동하여 시료에서 반사되는 형광 신호를 검출한다(단계 506).
이처럼 시료의 초점위치에서 이미징을 수행한 후 대물렌즈는 커버슬립 초점위치로 이동하여 대기한다(단계 508).
단계 508에서, 다른 형광 신호를 검출하기 위한 형광 필터로 교체한다.
이후 초점 유지를 위해, 즉, 시간의 경과에 따른 커버슬립의 정확한 초점위치를 찾기 위해 광축 방향으로 일정 구간을 특정 간격으로 스캔하면서 반사 신호를 검출하여 커버슬립의 초점위치를 보정한다(단계 510).
도 7에 도시된 바와 같이, 단계 510의 과정에서 커버슬립과 초점이 가장 잘 맞을 때 반사 신호가 가장 크기 때문에 커버슬립의 초점위치를 찾을 수 있다.
단계 510에서 보정된 커버슬립의 초점위치에 타임랩스 시작 시 설정한 시료의 초점위치와 커버슬립의 초점위치 간의 차이값을 적용하면, 현재 시점에서의 시료의 정확한 초점위치를 찾을 수 있다.
이렇게 커버슬립의 초점위치를 찾는 과정을 타임랩스 중간의 이미징 하지 않는 일정시간마다 진행하고, 다음 타임랩스 이미징 순번에 변화된 초점위치를 적용해서 이미징을 진행한다(단계 512).
단계 508 내지 512를 반복 수행한 후, 타임랩스 이미징이 종료된다(단계 514).
본 실시예에 따르면, 상기한 과정과 같이 초점위치를 주기적으로 추적하기 때문에 주변의 진동이나 열변형으로 인해 초점 변화가 발생하더라도 다음 순번의 타임랩스 이미징 시에는 초점 오차 없이 시료의 이미징을 진행할 수 있다.
본 실시예에 따르면, 별도의 복잡한 데이터 프로세싱이나 알고리즘이 없이도 피크 신호가 나타나는 위치와 초점위치가 일치하기 때문에 커버슬립의 초점위치 검출을 정확도를 향상시킬 수 있다.
기존의 자동초점 유지장치에서는 커버슬립의 윗면 또는 아랫면 중 한쪽 면을 선택하고, 선택된 면에서 반사되는 빛을 2분할 또는 4분할 광 다이오드에서 검출한 후 이를 비교 및 계산하여 초점의 변화를 검출한다.
본 실시예에 따르면, 공초점 방식의 초점 검출기를 이용하기 때문에, 초점 검출기에서 검출하는 신호는 커버슬립의 높이 정보와 직접적으로 연관되며, 이를 통해 커버슬립 초점위치를 빠르고 정확하게 검출할 수 있다.
예를 들어, 실제 타임랩스 이미징에서는 약 1㎛의 초점이 변경되더라도 이미지의 초점상 변화가 커질 수 있으므로 20배 NA0.7 인 대물렌즈를 사용하는 경우 피크 신호의 FWHM(Full width half maximum)은 약 2-3㎛ 정도인데 실질적으로 유효한 데이터를 얻기 위해서는 5배의 간격으로 나눈 0.2㎛ 정도의 간격으로 측정한다고 할 때 측정간격을 조절함으로써 정확도를 높일 수 있다.
또한, 커버슬립에서는 윗면 또는 아랫면에서 모두 반사 신호가 발생되기 때문에 한쪽면의 신호만 검출할 때는 중간에 이상신호가 발생되거나 XYZ 스테이지의 이상 동작으로 인해 초점위치가 갑자기 변하는 경우에 커버슬립의 윗면인지 아랫면인지 또는 슬라이드 글라스에서 나오는 신호인지 모호성이 발생해서 원래의 위치를 찾아서 유지하기가 어렵다.
반면에 도 7과 같이 커버슬립의 윗면과 아랫면에서 발생하는 두개의 피크를 사용하면 피크 신호사이의 거리 정보와 피크들의 최대 신호 강도 정보를 이용하여 커버슬립의 초점위치를 더 정확하게 찾을 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 타임랩스 이미징 장치로서,
    레이저 빛을 출력하는 광원;
    상기 레이저 빛을 시료 측으로 반사시키는 제1 이색거울(Dichroic mirror);
    2축 갈바노 미러를 이용하여 시간에 따라 상기 레이저 빛의 각도를 변화시키는 빔 스캐너;
    상기 빔 스캐너를 통과한 레이저 빛을 평행광으로 변환하는 중계렌즈;
    상기 평행광으로 변환된 레이저 빛을 입력 받아 사용자가 설정한 커버슬립의 초점위치 및 상기 시료의 초점위치에 초점면을 형성하는 대물렌즈;
    상기 시료에서 반사되는 상기 레이저 빛의 파장에 상응하는 반사 신호 및 형광으로 표지된 시료에서 반사되는 형광 신호 중 상기 형광 신호는 투과시키고, 상기 제1 이색거울을 통해 투과된 상기 반사 신호는 반사하는 제2 이색거울;
    상기 제2 이색거울을 통해 반사된 반사 신호를 반사하는 반사거울;
    상기 반사거울을 통해 반사된 반사 신호를 검출하여 현재 커버슬립의 초점위치가 초기에 설정한 커버슬립의 초점위치에서 벗어난 정도를 검출하는 초점 검출기; 및
    상기 벗어난 정도를 이용하여 상기 시료가 안착된 위치를 변경하는 XYZ 스테이지를 포함하는 타임랩스 이미징 장치.
  2. 제1항에 있어서,
    상기 초기에 설정한 커버슬립의 초점위치는 상기 커버슬립의 아랫면에서 반사되는 제1 피크 신호 및 상기 커버슬립의 윗면에서 반사되는 제2 피크 신호를 이용하여 설정되는 타임랩스 이미징 장치.
  3. 제1항에 있어서,
    상기 대물렌즈가 상기 초기에 설정한 커버슬립의 초점위치에서 대기한 후 상기 초기에 설정한 커버슬립의 초점위치와 초기에 설정한 시료의 초점위치의 제1 차이만큼 상기 시료의 초점위치로 이동하여 타임랩스 이미징이 시작되는 타임랩스 이미징 장치.
  4. 제3항에 있어서,
    상기 시료의 초점위치에서 미리 설정된 시간동안 상기 형광 신호를 검출한 이후, 상기 대물렌즈는 상기 초기에 설정한 커버슬립의 초점위치에 대응되는 위치로 이동하며,
    상기 초점 검출기가 상기 초기에 설정한 커버슬립의 초점위치와 상기 이동에 의한 현재 커버슬립의 초점위치에 제2 차이가 있는지 여부를 검출하고, 상기 제2 차이에 따라 상기 현재 커버슬립의 초점위치를 보정하는 타임랩스 이미징 장치.
  5. 제4항에 있어서,
    상기 대물렌즈가 상기 보정된 현재 커버슬립의 초점위치에서 상기 제1 차이만큼 상기 시료의 초점위치로 이동하여 타임랩스 이미징을 재개하는 타임랩스 이미징 장치.
  6. 제1항에 있어서,
    상기 반사거울 및 상기 초점 검출기 사이에는 상기 반사 신호만 통과시키는 초점 필터가 제공되는 타임랩스 이미징 장치.
  7. 제1항에 있어서,
    상기 제2 이색거울과 상기 반사거울은 수평방향으로 이격 배치되는 타임랩스 이미징 장치.
  8. 타임랩스 이미징 방법으로서,
    광원에서 레이저 빛을 출력하는 단계;
    제1 이색거울(Dichroic mirror)을 통해 상기 레이저 빛을 시료 측으로 반사시키는 단계;
    2축 갈바노 미러를 포함하는 빔 스캐너를 통해 시간에 따라 상기 레이저 빛의 각도를 변화시키는 단계;
    중계렌즈를 통해 상기 빔 스캐너를 통과한 레이저 빛을 평행광으로 변환하는 단계;
    대물렌즈를 통해 상기 평행광으로 변환된 레이저 빛을 입력 받아 사용자가 설정한 커버슬립의 초점위치 및 상기 시료의 초점위치에 초점면을 형성하는 단계;
    제2 이색거울을 통해 상기 시료에서 반사되는 상기 레이저 빛의 파장에 상응하는 반사 신호 및 형광으로 표지된 시료에서 반사되는 형광 신호 중 상기 형광 신호는 투과시키고, 상기 제1 이색거울을 통해 투과된 상기 반사 신호는 반사하는 단계;
    반사거울을 통해 상기 제2 이색거울을 통해 반사된 반사 신호를 반사시키는 단계;
    초점 검출기를 통해 상기 반사거울에서 반사된 반사 신호를 검출하여 현재 커버슬립의 초점위치가 초기에 설정한 커버슬립의 초점위치에서 벗어난 정도를 검출하는 단계; 및
    XYZ 스테이지를 통해 상기 벗어난 정도를 이용하여 상기 시료가 안착된 위치를 변경하는 단계를 포함하는 타임랩스 이미징 방법.
  9. 제8항에 있어서,
    상기 커버슬립의 아랫면에서 반사되는 제1 피크 신호 및 상기 커버슬립의 윗면에서 반사되는 제2 피크 신호를 이용하여 상기 커버슬립의 초기 초점위치 설정하는 단계를 더 포함하는 타임랩스 이미징 방법.
  10. 제8항에 있어서,
    상기 대물렌즈가 상기 초기에 설정한 커버슬립의 초점위치에서 대기한 후 상기 초기에 설정한 커버슬립의 초점위치와 초기에 설정한 시료의 초점위치의 제1 차이만큼 상기 시료의 초점위치로 이동하는 단계를 더 포함하는 타임랩스 이미징이 시작되는 타임랩스 이미징 방법.
PCT/KR2023/013753 2022-11-09 2023-09-13 초점 유지가 가능한 타임랩스 이미징 방법 및 장치 WO2024101631A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0148595 2022-11-09
KR1020220148595A KR20240067510A (ko) 2022-11-09 2022-11-09 초점 유지가 가능한 타임랩스 이미징 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2024101631A1 true WO2024101631A1 (ko) 2024-05-16

Family

ID=91033185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/013753 WO2024101631A1 (ko) 2022-11-09 2023-09-13 초점 유지가 가능한 타임랩스 이미징 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20240067510A (ko)
WO (1) WO2024101631A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020172A (ja) * 2011-07-13 2013-01-31 Nikon Corp オートフォーカス装置、顕微鏡装置
KR101641777B1 (ko) * 2014-09-26 2016-07-21 한국과학기술원 이미지 생성 장치 및 이미지 생성 방법
KR20160131600A (ko) * 2015-05-08 2016-11-16 포항공과대학교 산학협력단 초고분해능 렌즈 및 이를 포함하는 현미경 장치
KR20180078714A (ko) * 2016-12-30 2018-07-10 한국과학기술원 초고분해능 광학 현미경 및 이를 이용한 광학 이미지 생성 방법
JP2021071724A (ja) * 2019-10-29 2021-05-06 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ 顕微鏡および顕微鏡における収差を決定するための方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020207942B2 (en) 2019-01-18 2023-05-18 Techcyte, Inc. Printed coverslip and slide for identifying reference focal plane for light microscopy

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020172A (ja) * 2011-07-13 2013-01-31 Nikon Corp オートフォーカス装置、顕微鏡装置
KR101641777B1 (ko) * 2014-09-26 2016-07-21 한국과학기술원 이미지 생성 장치 및 이미지 생성 방법
KR20160131600A (ko) * 2015-05-08 2016-11-16 포항공과대학교 산학협력단 초고분해능 렌즈 및 이를 포함하는 현미경 장치
KR20180078714A (ko) * 2016-12-30 2018-07-10 한국과학기술원 초고분해능 광학 현미경 및 이를 이용한 광학 이미지 생성 방법
JP2021071724A (ja) * 2019-10-29 2021-05-06 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ 顕微鏡および顕微鏡における収差を決定するための方法

Also Published As

Publication number Publication date
KR20240067510A (ko) 2024-05-17

Similar Documents

Publication Publication Date Title
US20180307005A1 (en) Multifunction Autofocus System and Method for Automated Microscopy
US8154718B2 (en) Apparatus and method for inspecting micro-structured devices on a semiconductor substrate
EP2317363B2 (en) Microscope connecting unit and microscope system
US4845552A (en) Quantitative light microscope using a solid state detector in the primary image plane
CN102483509B (zh) 三维方向漂移控制装置以及显微镜装置
EP4235254A2 (en) Real-time focusing in line scan imaging
US20120075455A1 (en) Imaging method and microscope device
WO2011087337A2 (ko) 기판 검사장치
US20130307959A1 (en) Laser scanning microscope and its operating method
WO2015088102A1 (ko) 광 전달 매질의 투과 특성을 측정하는 방법 및 이를 이용한 이미지 획득 장치
WO2015080480A1 (ko) 웨이퍼 영상 검사 장치
WO2012058014A2 (en) Method and system for imaging high density biochemical arrays with sub-pixel alignment
KR20200041983A (ko) 실시간 오토포커스 포커싱 알고리즘
US9632303B2 (en) Optical microscope, and autofocus device for optical microscope
US10114206B2 (en) Microscopy slide scanner with variable magnification
WO2012086942A2 (ko) 온도분포 측정장치
US20110249155A1 (en) Image pickup device
WO2024101631A1 (ko) 초점 유지가 가능한 타임랩스 이미징 방법 및 장치
US11940609B2 (en) Image conversion module with a microelectromechanical optical system and method for applying the same
WO2018147631A1 (ko) 색수차 렌즈를 이용한 공초점 영상 구현 장치
JP2004021240A (ja) 像倍率補正機能付き光学系及び同光学系を備えた撮像装置
WO2023191258A1 (ko) 신속 광학 조직 스캐너 및 스캐닝 방법
EP3816698B1 (en) Digital pathology scanner for large-area microscopic imaging
EP3074807B1 (en) Optical arrangement for imaging a sample
WO2023204423A1 (ko) 초점 거리 측정 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888896

Country of ref document: EP

Kind code of ref document: A1