KR20150066736A - Structural illumination microscopy based on spatial filter - Google Patents

Structural illumination microscopy based on spatial filter Download PDF

Info

Publication number
KR20150066736A
KR20150066736A KR1020130152131A KR20130152131A KR20150066736A KR 20150066736 A KR20150066736 A KR 20150066736A KR 1020130152131 A KR1020130152131 A KR 1020130152131A KR 20130152131 A KR20130152131 A KR 20130152131A KR 20150066736 A KR20150066736 A KR 20150066736A
Authority
KR
South Korea
Prior art keywords
spatial filter
light
grid pattern
signal
sample
Prior art date
Application number
KR1020130152131A
Other languages
Korean (ko)
Other versions
KR101541610B1 (en
Inventor
한영근
김선덕
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130152131A priority Critical patent/KR101541610B1/en
Publication of KR20150066736A publication Critical patent/KR20150066736A/en
Application granted granted Critical
Publication of KR101541610B1 publication Critical patent/KR101541610B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/04—Measuring microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

According to an embodiment of the present invention, an illumination microscope having a space filter-based structure comprises: a light source emitting light; a space filter generating and modifying a grid pattern in light emitted from the light source using an electrical signal and transmitting a portion of the grid pattern modified light in a direction of a sample to be measured and transmitting another portion of the light to a signal processing unit; and an image sensing unit obtaining a signal of the light reflected or scattered by the sample and transmitting the obtained signal to the signal processing unit. Synchronization of the signal of the light directly transmitted from the space filter and the signal of the light transmitted through the image sensing unit is performed in the signal processing unit so as to obtain an image of the sample. According to an embodiment of the present invention, a high resolution image information can be obtained since the grid pattern generated through the space filter using the electrical signal can be modified, and a mechanical structure is not applied to modify the grid pattern so as to exclude vibration to improve accuracy and secure stability.

Description

공간 필터 기반 구조 조명 현미경{Structural illumination microscopy based on spatial filter}TECHNICAL FIELD [0001] The present invention relates to a spatial light-

공간 필터 기반 구조 조명 현미경이 개시된다. 보다 상세하게는, 전기적 신호를 이용하는 공간 필터를 통해 생성된 그리드 패턴을 변조시킬 수 있어 고해상도의 영상 정보를 획득할 수 있는 공간 필터 기반 구조 조명 현미경이 개시된다.
A spatial filter based structural illumination microscope is disclosed. More particularly, the present invention relates to a spatial filter-based structured illumination microscope capable of modulating a grid pattern generated through a spatial filter using an electrical signal to acquire high-resolution image information.

구조 조명 현미경은 높은 분해능이 필요한 미소 수준의 생명 현상에 대한 연구를 하는 생물학과 기초 의한 연구에 사용되고 있다. 구조 조명 현미경은 고속의 영상 획득 속도와 광학계의 안정성을 구비하기 때문에 휴대용 현미경으로 적용이 가능할 뿐만 아니라 전술한 것처럼 생물학, 의료, 의약 분야에 적용될 수 있다.Structural illumination microscopes are used in biology-based research to study micro-level life phenomena that require high resolution. The structural illumination microscope has high image acquisition speed and stability of the optical system, so it can be applied not only to a portable microscope but also to a biological, medical, and pharmaceutical field as described above.

일반적으로 구조 조명 현미경은 일정한 패턴이 있는 그리드(grid)를 조명계에 배치하고, 기계적으로 그리드를 움직여 각각 다른 위상에서 얻어진 영상 정보를 이용해서 고해상도 현미경 영상 정보를 획득한다.In general, a structural illumination microscope obtains high-resolution microscopic image information by arranging a grid having a certain pattern in an illumination system and mechanically moving the grid to use image information obtained at different phases.

그런데, 종래의 구조 조명 현미경은 그리드를 기계적으로 움직이기 때문에 이미지 획득하는 속도에 한계가 있으며, 기계적인 움직임으로 발생하는 진동 때문에 광학계에 영향을 줄 우려가 있다.
However, since the conventional structured illumination microscope mechanically moves the grid, there is a limit to the speed of image acquisition, and there is a fear that the optical system may be influenced by the vibration caused by the mechanical movement.

본 발명의 실시예에 따른 목적은, 전기적 신호를 이용하는 공간 필터를 통해 생성된 그리드 패턴을 변조시킬 수 있어 고해상도의 영상 정보를 획득할 수 있으며, 그리드 패턴 변조를 위하여 기계적인 구조가 적용되지 않기 때문에 진동 등을 배제할 수 있어 정밀로 향상은 물론 안정성을 확보할 수 있는 공간 필터 기반 구조 조명 현미경을 제공하는 것이다.An object of an embodiment of the present invention is to provide a spatial filter that can modulate a grid pattern generated through a spatial filter using an electrical signal to acquire high resolution image information and does not apply a mechanical structure for grid pattern modulation And to provide a spatial filter-based structure illumination microscope capable of eliminating vibration and the like, thereby improving not only accuracy but also stability.

또한, 본 발명의 실시예에 따른 다른 목적은, 3차원의 고해상도 영상을 실시간으로 획득할 수 있기 때문에 생물학, 의학, 의약 분야 등에 적용될 수 있는 공간 필터 기반 구조 조명 현미경을 제공하는 것이다.
Another object of the present invention is to provide a spatial filter-based structured illumination microscope which can be applied to biology, medicine, and medicine fields because it can acquire three-dimensional high-resolution images in real time.

본 발명의 실시예에 따른 공간 필터 기반 구조 조명 현미경은, 광을 발산하는 광원; 상기 광원으로부터 발산된 상기 광을 전기적 신호를 이용하여 그리드(grid) 패턴을 생성 및 변조시키고, 그리드 패턴 변조된 상기 광의 일부를 측정 대상물인 샘플 방향으로 보내고 다른 일부는 신호 처리부로 보내는 공간 필터; 및 상기 샘플에 의해 반사 또는 산란된 상기 광의 신호를 획득한 후 획득된 상기 신호를 상기 신호 처리부로 보내는 이미지 센싱부;를 포함하며, 상기 신호 처리부에서는 상기 공간 필터로부터 바로 전달된 상기 광의 신호와 상기 이미지 센싱부를 통해 전달된 상기 광의 신호의 동기화가 이루어짐으로써 상기 샘플의 영상을 획득할 수 있으며, 이러한 구성에 의해서, 전기적 신호를 이용하는 공간 필터를 통해 생성된 그리드 패턴을 변조시킬 수 있어 고해상도의 영상 정보를 획득할 수 있으며, 그리드 패턴 변조를 위하여 기계적인 구조가 적용되지 않기 때문에 진동 등을 배제할 수 있어 정밀로 향상은 물론 안정성을 확보할 수 있다.According to an embodiment of the present invention, a spatial filter-based structured illumination microscope includes: a light source that emits light; A spatial filter for generating and modulating a grid pattern using an electrical signal from the light emitted from the light source, sending a part of the grid pattern-modulated light to a sample direction, which is a measurement object, and sending the other part to a signal processing unit; And an image sensing unit that acquires a signal of the light reflected or scattered by the sample and sends the signal obtained to the signal processing unit, wherein the signal processing unit receives the signal of the light directly transmitted from the spatial filter, The image of the sample can be acquired by synchronizing the signal of the light transmitted through the image sensing unit. By this configuration, the grid pattern generated through the spatial filter using the electrical signal can be modulated, Since the mechanical structure is not applied for the modulation of the grid pattern, it is possible to exclude the vibration and the like, thereby improving the precision and securing the stability.

일측에 따르면, 상기 공간 필터는 상기 광을 투과시키는 원리를 이용한 투과형 공간 필터이거나 상기 광을 반사시키는 원리를 이용한 반사형 공간 필터일 수 있다.According to one aspect, the spatial filter may be a transmission type spatial filter using the principle of transmitting the light or a reflection type spatial filter using the principle of reflecting the light.

일측에 따르면, 상기 공간 필터가 상기 투과형 공간 필터로 마련되는 경우, 상기 공간 필터는, 액체 크리스탈(liquid crystal) 기반 공간 모듈레이터(spatial modulator) 또는 마그네토-옵틱(magneto-optic) 기반 공간 모듈레이터(spatial modulator)로 마련될 수 있다.According to one aspect, when the spatial filter is provided by the transmission type spatial filter, the spatial filter may be a liquid crystal based spatial modulator or a magneto-optic based spatial modulator ).

일측에 따르면, 상기 공간 필터가 상기 반사형 공간 필터로 마련되는 경우, 상기 공간 필터는, 액체 크리스탈(liquid crystal) 기반 공간 모듈레이터(spatial modulator), 변형 미러(deformable mirror) 또는 디지털 마이크로 미러 장치(DMD, Digital Micromirror Device)로 마련될 수 있다.According to one aspect, when the spatial filter is provided with the reflective spatial filter, the spatial filter may be a liquid crystal based spatial modulator, a deformable mirror or a digital micromirror device , Digital Micromirror Device).

일측에 따르면, 상기 공간 필터는 주기적인 그리드 패턴을 생성하기 위해, LCD(liquid crystal display), LED 디스플레이(light emitting diode display), PDP(plasma display panel) 디스플레이, OLED(organic-LED) 디스플레이, 파이버 어레이 번들(fiber array bundle) 디스플레이 중 어느 하나의 디스플레이를 포함할 수 있다.According to one aspect, the spatial filter may be a liquid crystal display (LCD), a light emitting diode display, a plasma display panel (PDP) display, an organic-LED (OLED) Or a fiber array bundle display.

일측에 따르면, 상기 공간 필터는 수직 방향으로의 그리드 패턴, 수평 방향으로 그리드 패턴, 대각선 방향으로의 그리드 패턴, 점 배열 그리드 패턴의 생성이 가능하다.According to one aspect, the spatial filter can generate a grid pattern in a vertical direction, a grid pattern in a horizontal direction, a grid pattern in a diagonal direction, and a grid pattern in a dotted arrangement.

일측에 따르면, 상기 광원과 상기 공간 필터 사이에 위치되어 상기 광을 집광시키는 제1 렌즈; 및 상기 공간 필터 후미에 위치되어 상기 공간 필터로부터의 광을 평행 광으로 변화시키는 제2 렌즈; 및 상기 제2 렌즈로부터의 상기 광을 빔 스플리팅(splitting)시키는 빔 스플리터를 더 포함할 수 있다.According to one aspect of the present invention, there is provided a light source device comprising: a first lens positioned between the light source and the spatial filter to condense the light; And a second lens positioned at the tail of the spatial filter to convert light from the spatial filter into parallel light; And a beam splitter for beam splitting the light from the second lens.

일측에 따르면, 상기 광원은, 고체 레이저, 광섬유 레이저, 할로겐 램프, 제논 램프, 고출력 엘이디 중 어느 하나로 마련될 수 있다.According to one aspect of the present invention, the light source may be a solid laser, an optical fiber laser, a halogen lamp, a xenon lamp, or a high power LED.

일측에 따르면, 상기 광원의 파장 및 상기 샘플의 흡수 대역에 따라 단일광자, 이광자, 다중 광자 구조 조명 현미경으로 구현 가능하다.
According to one aspect, a single photon, a two-photon, a multi-photon structure illumination microscope can be implemented according to the wavelength of the light source and the absorption band of the sample.

본 발명의 실시예에 따르면, 전기적 신호를 이용하는 공간 필터를 통해 생성된 그리드 패턴을 변조시킬 수 있어 고해상도의 영상 정보를 획득할 수 있으며, 그리드 패턴 변조를 위하여 기계적인 구조가 적용되지 않기 때문에 진동 등을 배제할 수 있어 정밀로 향상은 물론 안정성을 확보할 수 있다.According to the embodiment of the present invention, it is possible to modulate a grid pattern generated through a spatial filter using an electrical signal to acquire high resolution image information, and since a mechanical structure is not applied for modulating a grid pattern, It is possible to secure precision as well as stability.

또한, 본 발명의 실시예에 따르면, 3차원의 고해상도 영상을 실시간으로 획득할 수 있기 때문에 생물학, 의학, 의약 분야 등에 적용될 수 있다.
In addition, according to the embodiment of the present invention, a three-dimensional high-resolution image can be obtained in real time, so that it can be applied to biology, medicine, and medicine field.

도 1은 본 발명의 일 실시예에 따른 투과형 공간 필터 기반 구조 조명 현미경의 구성을 개략적으로 도시한 도면이다.
도 2는 수평 방향으로의 그리드 패턴을 도시한 도면이다.
도 3은 수직 방향으로의 그리드 패턴을 도시한 도면이다.
도 4는 우측 하방의 대각선 방향을 갖는 그리드 패턴을 도시한 도면이다.
도 5는 우측 상방의 대각선 방향을 갖는 그리드 패턴을 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 반사형 공간 필터 기반 구조 조명 현미경의 구성을 개략적으로 도시한 도면이다.FIG. 1 is a view schematically showing a structure of a transmission type spatial filter based structure illuminating microscope according to an embodiment of the present invention.
2 is a view showing a grid pattern in the horizontal direction.
3 is a diagram showing a grid pattern in the vertical direction.
Fig. 4 is a view showing a grid pattern having a diagonal direction in the lower right.
5 is a view showing a grid pattern having a diagonal direction on the upper right side.
6 is a view schematically showing the configuration of a reflection type spatial light filter based structural illumination microscope according to another embodiment of the present invention.

이하, 첨부 도면을 참조하여 본 발명의 실시예에 따른 구성 및 적용에 관하여 상세히 설명한다. 이하의 설명은 특허 청구 가능한 본 발명의 여러 태양(aspects) 중 하나이며, 하기의 기술(description)은 본 발명에 대한 상세한 기술(detailed description)의 일부를 이룬다. Hereinafter, configurations and applications according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE INVENTION The following description is one of many aspects of the claimed invention and the following description forms part of a detailed description of the present invention.

다만, 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 관한 구체적인 설명은 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.In the following description, well-known functions or constructions are not described in detail for the sake of clarity and conciseness.

도 1은 본 발명의 일 실시예에 따른 투과형 공간 필터 기반 구조 조명 현미경의 구성을 개략적으로 도시한 도면이다.FIG. 1 is a view schematically showing a structure of a transmission type spatial filter based structure illuminating microscope according to an embodiment of the present invention.

이에 도시된 바와 같이, 본 발명의 일 실시예에 따른 투과형 공간 필터 기반 구조 조명 현미경은, 광을 발산하는 광원(101)과, 광원(101)으로부터 발산된 광을 전기적 신호를 이용하여 그리드(grid) 패턴을 생성 및 변조시키는 공간 필터(104)와, 공간 필터(104)의 후미에 배치되어 공간 필터(104)로부터 전달된 광을 분리(splitting)하여 그 중 일부를 샘플(108)이 로딩된 스테이지(109) 방향으로 보내는 빔 스플리터(106)와, 샘플(108)에서 반사 또는 산란되고 빔 스플리터(106)를 통과한 광의 이미지를 센싱하는 이미지 센싱부(111)와, 공간 필터(104)로부터 샘플(108)로 전달되지 않고 바로 전달된 광의 신호 및 샘플(108)을 지나온 광의 신호를 처리하는 신호 처리부(112)를 포함할 수 있다.As shown in the drawing, the transmission type spatial light filter based illumination microscope according to an embodiment of the present invention includes a light source 101 for emitting light, a light source 101 for emitting light emitted from the light source 101, ), A spatial filter 104 disposed at the back of the spatial filter 104 for splitting the light transmitted from the spatial filter 104, and a part of the light is split into a stage 108 on which the sample 108 is loaded An image sensing unit 111 for sensing an image of light reflected or scattered by the sample 108 and passed through the beam splitter 106 and a beam splitter 106 for transmitting a sample And a signal processing unit 112 for processing a signal of light transmitted directly to the sample 108 and a signal of light passing through the sample 108 without being transmitted to the sample 108.

이러한 구성에 의해서, 샘플(108)에 대한 고해상도의 영상을 실시간으로 획득할 수 있다.With this configuration, a high-resolution image of the sample 108 can be obtained in real time.

각 구성에 대해 설명하면, 먼저 본 실시예의 광원(101)은, 광을 발생시킨 후 발산하는 구성으로서 다양한 종류의 광원(101)이 적용될 수 있다. 예를 들면, 광원(101)은 고체 레이저, 광섬유 레이저, 할로겐 램프, 제논 램프, 고출력 엘이디 등이 적용될 수 있는데, 이에 한정되는 것은 아니다.Describing each configuration First, various types of light sources 101 can be applied to the light source 101 of the present embodiment as a configuration for generating light after emitting light. For example, the light source 101 may be a solid laser, an optical fiber laser, a halogen lamp, a xenon lamp, a high power LED, and the like, but is not limited thereto.

이러한 광원(101)의 파장 및 샘플의 흡수 대역에 따라 본 실시예의 구조 조명 현미경은 단일광자, 이광자 또는 다중광자 구조 조명 현미경으로 적용될 수 있다.Depending on the wavelength of the light source 101 and the absorption band of the sample, the structural illumination microscope of this embodiment can be applied to a single photon, a two-photon or a multi-photon structure illumination microscope.

한편, 광원(101)으로부터 발생된 광이 공간 필터(104)에 미치기 전에 제1 렌즈(103)를 통과한다. 제1 렌즈(103)는 공간 필터(104)의 필터 크기에 맞추어 광을 집광시키고 집광된 광을 공간 필터(104)에 제공하는 역할을 한다.On the other hand, the light generated from the light source 101 passes through the first lens 103 before reaching the spatial filter 104. The first lens 103 serves to condense light in accordance with the filter size of the spatial filter 104 and to provide the collected light to the spatial filter 104.

본 실시예의 공간 필터(104)는, 광을 투과하는 원리가 적용되는 투과형 공간 필터(104)가 적용될 수 있다. 공간 필터(104)는 전기적 신호를 이용하여 다양한 그리드 패턴을 생성하고 아울러 변조할 수 있다. 부연하면, 종래의 구조 조명 현미경의 경우 그리드 변조를 위해 기계적인 방법이 적용되었지만, 본 발명의 일 실시예의 경우, 전기적 신호를 이용하는 공간 필터(104)에 의해 그리드 패턴의 생성 및 변조가 이루어지기 때문에 그리드 패턴의 빠른 변조가 가능함은 물론 진동 발생 원인을 배제할 수 있어 안정성 및 정밀성을 확보할 수 있다. In the spatial filter 104 of the present embodiment, a transmission type spatial filter 104 to which the principle of transmitting light can be applied can be applied. The spatial filter 104 can generate and modulate various grid patterns using electrical signals. In addition, although a mechanical method is applied for grid modulation in the case of a conventional structured illumination microscope, in the case of an embodiment of the present invention, generation and modulation of the grid pattern are performed by the spatial filter 104 using an electrical signal The grid pattern can be rapidly modulated, and the cause of vibration can be excluded, thereby ensuring stability and precision.

이러한 공간 필터(104), 즉 투과형 공간 필터(104)는, 액체 크리스탈(liquid crystal) 기반 공간 모듈레이터(spatial modulator) 또는 마그네토-옵틱(magneto-optic) 기반 공간 모듈레이터(spatial modulator)로 마련될 수 있다. 다만, 이에 한정되지는 않는다.This spatial filter 104, i.e., the transmissive spatial filter 104, may be provided as a liquid crystal based spatial modulator or a magneto-optic based spatial modulator . However, the present invention is not limited thereto.

아울러, 공간 필터(104)는, 주기적인 그리드 패턴을 생성하기 위해, LCD(liquid crystal display), LED 디스플레이(light emitting diode display), PDP(plasma display panel) 디스플레이, OLED(organic-LED) 디스플레이, 파이버 어레이 번들(fiber array bundle) 디스플레이 중 어느 하나의 디스플레이를 포함할 수 있다. 다만, 이에 한정되지는 않는다.In addition, the spatial filter 104 may be implemented as a liquid crystal display (LCD), a light emitting diode display, a plasma display panel (PDP) display, an organic-LED (OLED) And a fiber array bundle display. However, the present invention is not limited thereto.

이러한 구성의 공간 필터(104)는 그리드 패턴을 형성할 수 있을 뿐만 아니라 전기적 신호에 의해 그리드 패턴의 공간 위상을 변조시킬 수 있고, 이를 통해 그리드 패턴 변조 시 얻어지는 음영을 갖는 영상 정보를 통해 고해상도의 영상을 복원할 수 있다.The spatial filter 104 having such a configuration can not only form a grid pattern but also can modulate the spatial phase of the grid pattern by an electrical signal, and through the image information having the shadow obtained in modulating the grid pattern, Can be restored.

Figure pat00001
......식 1
Figure pat00001
Equation 1

상기 식 1을 통해 부연하면, I는 x, y 좌표에 있는 이미지의 세기 정보이다. 그리고 I1, I2, I3는 그리드를 변조하면서 획득된 x, y좌표의 이미지 세기이다. 상기 식 1을 통해서, 그리드 패턴이 선 배열로 변조되는 경우, 이미지의 세기를 구할 수 있다.1, I is the intensity information of the image at the x, y coordinates. And I 1 , I 2 , and I 3 are image intensities of the x and y coordinates acquired while modulating the grid. In the formula 1, when the grid pattern is modulated into the linear array, the intensity of the image can be obtained.

한편, 그리드 패턴이 선이 아닌 점 배열로 변조될 수 있는데, 이를 위해 그리드 패턴을 아홉번 변조시켜야 한다. 이 때, x, y 좌표의 이미지 세기 I는 다음의 식 2로 복원할 수 있다.On the other hand, the grid pattern can be modulated into a point array instead of a line. To do this, the grid pattern must be modulated nine times. At this time, the image intensity I of the x, y coordinates can be restored to the following Equation 2.

Figure pat00002
......식 2
Figure pat00002
Equation 2

이처럼, 공간 필터(104)를 이용해 그리드 패턴의 변조가 이루어지기 때문에 다양한 그리드 패턴을 얻을 수 있다. As described above, since the grid pattern is modulated using the spatial filter 104, various grid patterns can be obtained.

도 2를 참조하면, 수평 방향으로의 그리드 패턴을 얻을 수 있고, 도 3을 참조하면 수직 방향으로 그리드 패턴을 얻을 수 있다. 또한, 도 4를 참조하면 우측 하방의 대각선 방향을 갖는 그리드 패턴을 얻을 수 있고, 도 5를 참조하면 우측 상방의 대각선 방향을 갖는 그리드 패턴을 얻을 수도 있다.Referring to FIG. 2, a grid pattern in a horizontal direction can be obtained, and a grid pattern can be obtained in a vertical direction with reference to FIG. Referring to FIG. 4, a grid pattern having a diagonal direction in the lower right direction can be obtained, and a grid pattern having a diagonal direction in the upper right direction can be obtained with reference to FIG.

또한, 도 2 내지 도 5에 도시된 그리드 패턴을 얻는 공간 필터(104)에 전기적 신호를 이용하여 예를 들면, 0, 2π/3, 4π/3으로 공간 위상을 변조시킬 수 있고, 그리드 패턴 변조 시 얻어진 음영을 갖는 영상 정보를 이용해 샘플(108)에 대한 고해상도의 영상을 얻을 수 있다.2 to 5, the spatial phase can be modulated by using an electrical signal, for example, 0, 2? / 3, 4? / 3, and the grid pattern modulation A high-resolution image of the sample 108 can be obtained by using the image information having the obtained shade.

전술한 것처럼 공간 필터(104)에 의해 그리드 패턴이 얻어지고 변조가 이루어진 광은 빔 스플리터(106)를 거쳐 샘플(108) 방향으로 이동될 수 있다.As described above, the grid pattern is obtained by the spatial filter 104 and the modulated light can be moved in the direction of the sample 108 via the beam splitter 106. [

여기서, 공간 필터(104)에서 빔 스플리터(106)로 광이 이동할 때, 공간 필터(104)의 광을 평행 광으로 변화시키기 위한 제2 렌즈(105)가 공간 필터(104)와 빔 스플리터(106) 사이에 개재될 수 있다.Here, when the light is moved from the spatial filter 104 to the beam splitter 106, the second lens 105 for changing the light of the spatial filter 104 into the parallel light passes through the spatial filter 104 and the beam splitter 106 ). ≪ / RTI >

빔 스플리터(106)를 거쳐 샘플(108) 방향으로 이동되는 광은 대물 렌즈(107)를 통과한 후 스테이지(109) 상에 로딩된 샘플(108)에 반사되거나 산란되고, 반사 또는 산란된 광은 다시 대물 렌즈(107) 및 빔 스플리터(106)를 거쳐 광의 이미지를 감지하는 이미지 센싱부(111)로 전달될 수 있다.The light traveling in the direction of the sample 108 through the beam splitter 106 is reflected or scattered on the sample 108 loaded on the stage 109 after passing through the objective lens 107, And then to the image sensing unit 111 which senses the image of the light through the objective lens 107 and the beam splitter 106 again.

이 때, 빔 스플리터(106)를 통과한 광은 제3 렌즈(110)를 통과하면서 집광되며 이를 통해 이미지 센싱부(111)에서 집광된 광의 이미지 센싱이 이루어질 수 있다.At this time, the light passing through the beam splitter 106 is condensed while passing through the third lens 110, so that the image sensing of the light condensed by the image sensing unit 111 can be performed.

이미지 센싱부(111)는, 샘플(108) 전 영역을 스캔에 의해 촬영할 수 있는 면적 카메라로 마련될 수 있으나, 이에 한정되는 것은 아니다.The image sensing unit 111 may be an area camera capable of scanning the entire area of the sample 108 by scanning, but is not limited thereto.

한편, 본 실시예의 신호 처리부(112)는, 예를 들면 컴퓨터로 마련될 수 있으며, 공간 필터(104) 및 샘플(108)을 거쳐온 광의 신호 및 공간 필터(104)로부터 샘플(108)을 거치지 않고 바로 온 신호를 동기화하고, 이들 신호를 이용하여 샘플(108) 영상을 고해상도로 실시간 구현할 수 있다.On the other hand, the signal processing unit 112 of the present embodiment can be provided by, for example, a computer, and can receive the signals of the light that have passed through the spatial filter 104 and the sample 108, So that the sample 108 can be imaged in real time at high resolution using these signals.

아울러, 3차원 정보를 획득하기 위해 이미지 센싱부(111)를 통해 샘플(108)이 놓인 스테이지(109) 또는 대물 렌즈(107)를 높이 방향으로 스캔하여 다수의 영상 정보를 획득할 수 있고 이를 하나의 영상 정보를 통합할 수도 있다.In order to acquire three-dimensional information, the stage 109 or the objective lens 107 on which the sample 108 is placed may be scanned in the height direction through the image sensing unit 111 to acquire a plurality of image information, May be integrated.

이와 같이, 본 발명의 일 실시예에 따르면, 전기적 신호를 이용하는 공간 필터(104)를 통해 생성된 그리드 패턴을 변조시킬 수 있어 고해상도의 영상 정보를 획득할 수 있으며, 그리드 패턴 변조를 위하여 기계적인 구조가 적용되지 않기 때문에 진동 등을 배제할 수 있어 정밀로 향상은 물론 안정성을 확보할 수 있는 장점이 있다.As described above, according to the embodiment of the present invention, it is possible to modulate the grid pattern generated through the spatial filter 104 using an electrical signal to acquire high-resolution image information, and to provide a mechanical structure It is possible to exclude vibration and the like, thereby improving precision and securing stability.

아울러, 3차원의 고해상도 영상을 실시간으로 획득할 수 있기 때문에 생물학, 의학, 의약 분야 등에 적용될 수 있는 장점이 있다.In addition, since 3D high resolution images can be obtained in real time, it has advantages that can be applied to biology, medicine, and medicine field.

한편, 이하에서는 본 발명의 다른 실시예에 따른 공간 필터 기반 구조 조명 현미경의 구성에 대해서 설명하되 전술한 일 실시예의 공간 필터 기반 구조 조명 현기명의 구성과 실질적으로 동일한 부분에 대해서는 그 설명을 생략하기로 한다.Hereinafter, a description will be made of a structure of a spatial filter based illumination microscope according to another embodiment of the present invention, and a description of portions substantially the same as those of the structure of the spatial filter based structure illumination structure of the above- do.

도 6은 본 발명의 다른 실시예에 따른 반사형 공간 필터 기반 구조 조명 현미경의 구성을 개략적으로 도시한 도면이다.6 is a view schematically showing the configuration of a reflection type spatial light filter based structural illumination microscope according to another embodiment of the present invention.

이에 도시된 바와 같이, 본 발명의 일 실시예에 따른 반사형 공간 필터 기반 구조 조명 현미경은, 광원(201)과, 광의 반사 원리를 이용하여 그리드 패턴을 생성 및 변조시키는 공간 필터(213)와, 빔 스플리터(206)와, 이미지 센싱부(211)와, 신호 처리부(212)를 포함할 수 있다. 그리고 구성들 사이사이에 배치되는 다수의 렌즈(203, 205, 207, 210)를 포함할 수 있다.As shown, the reflective spatial filter-based structured illumination microscope according to an embodiment of the present invention includes a light source 201, a spatial filter 213 for generating and modulating a grid pattern using the principle of reflection of light, A beam splitter 206, an image sensing unit 211, and a signal processing unit 212. And a plurality of lenses 203, 205, 207, 210 disposed between the structures.

본 실시예의 경우, 공간 필터(213)가 반사형 투과 필터로 마련될 수 있다. 예를 들면, 액체 크리스탈(liquid crystal) 기반 공간 모듈레이터(spatial modulator), 변형 미러(deformable mirror), 디지털 마이크로 미러 장치(DMD, Digital Micromirror Device) 중 어느 하나가 공간 필터(213)로 마련될 수 있는 것이다.In the case of this embodiment, the spatial filter 213 may be provided as a reflective transmission filter. For example, any one of a liquid crystal-based spatial modulator, a deformable mirror, and a digital micromirror device (DMD) may be provided as a spatial filter 213 will be.

반사형 공간 필터(213)는, 광원(201)으로부터 전달된 광에 반사 원리를 적용하여 그리드 패턴을 형성시키고, 전기적 신호를 이용하여 그리드 패턴을 변조시키도록 한다.The reflective spatial filter 213 applies a reflection principle to the light transmitted from the light source 201 to form a grid pattern, and modulates the grid pattern using an electrical signal.

반사형 공간 필터(213)로부터 그리드 패턴 변조된 광의 일부는 도시된 바와 같이, 신호 처리 장치로 바로 가거나 또는 빔 스플리터(206)를 거쳐 스테이지(209) 상에 놓인 샘플(208) 방향으로 가고 샘플(108)에 반사 또는 산란된 광은 이미지 센싱부(211)를 거쳐 신호 처리부(212)로 이동된다.A portion of the grid pattern modulated light from the reflective spatial filter 213 is directed either to the signal processing device or to the sample 208 placed on the stage 209 via the beam splitter 206, 108 are moved to the signal processing unit 212 via the image sensing unit 211. The signal processing unit 212 receives the reflected or scattered light.

신호 처리부(212)에서는 공간 필터(213)로부터 바로 온 광의 신호 및 이미지 센싱부(211)를 거쳐 온 신호를 동기화하여 영상 정보를 획득할 수 있다.The signal processing unit 212 can acquire image information by synchronizing the signal of the light directly coming from the spatial filter 213 and the signal coming through the image sensing unit 211. [

본 발명의 다른 실시예에 따른 반사형 공간 필터 기반 구조 조명 현미경 역시, 전기적 신호를 이용하는 공간 필터(213)를 통해 생성된 그리드 패턴을 변조시킬 수 있어 고해상도의 영상 정보를 획득할 수 있으며, 그리드 패턴 변조를 위하여 기계적인 구조가 적용되지 않기 때문에 진동 등을 배제할 수 있어 정밀로 향상은 물론 안정성을 확보할 수 있다.The reflective spatial filter based illumination microscope according to another embodiment of the present invention can also modulate a grid pattern generated through a spatial filter 213 using an electrical signal to obtain high resolution image information, Because the mechanical structure is not applied for modulation, vibration can be excluded, and precision can be improved as well as stability can be secured.

한편, 본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention. Accordingly, such modifications or variations are intended to fall within the scope of the appended claims.

101 : 광원
104 : 공간 필터
106 : 빔 스플리터
108 : 샘플
111 : 이미지 센싱부
112 : 신호 처리부101: Light source
104: Spatial filter
106: beam splitter
108: Samples
111: Image sensing unit
112: Signal processor

Claims (9)

광을 발산하는 광원;
상기 광원으로부터 발산된 상기 광을 전기적 신호를 이용하여 그리드(grid) 패턴을 생성 및 변조시키고, 그리드 패턴 변조된 상기 광의 일부를 측정 대상물인 샘플 방향으로 보내고 다른 일부는 신호 처리부로 보내는 공간 필터; 및
상기 샘플에 의해 반사 또는 산란된 상기 광의 신호를 획득한 후 획득된 상기 신호를 상기 신호 처리부로 보내는 이미지 센싱부;
를 포함하며,
상기 신호 처리부에서는 상기 공간 필터로부터 바로 전달된 상기 광의 신호와 상기 이미지 센싱부를 통해 전달된 상기 광의 신호의 동기화가 이루어짐으로써 상기 샘플의 영상을 획득하는 공간 필터 기반 구조 조명 현미경.
A light source for emitting light;
A spatial filter for generating and modulating a grid pattern using an electrical signal from the light emitted from the light source, sending a part of the grid pattern-modulated light to a sample direction, which is a measurement object, and sending the other part to a signal processing unit; And
An image sensing unit for acquiring a signal of the light reflected or scattered by the sample and sending the signal obtained to the signal processing unit;
/ RTI >
Wherein the signal processing unit acquires an image of the sample by synchronizing the signal of the light directly transmitted from the spatial filter and the signal of the light transmitted through the image sensing unit.
제1항에 있어서,
상기 공간 필터는 상기 광을 투과시키는 원리를 이용한 투과형 공간 필터이거나 상기 광을 반사시키는 원리를 이용한 반사형 공간 필터인 공간 필터 기반 구조 조명 현미경.
The method according to claim 1,
The spatial filter is a transmission type spatial filter using the principle of transmitting the light or a reflection type spatial filter using the principle of reflecting the light.
제2항에 있어서,
상기 공간 필터가 상기 투과형 공간 필터로 마련되는 경우, 상기 공간 필터는, 액체 크리스탈(liquid crystal) 기반 공간 모듈레이터(spatial modulator) 또는 마그네토-옵틱(magneto-optic) 기반 공간 모듈레이터(spatial modulator)로 마련되는 공간 필터 기반 구조 조명 현미경.
3. The method of claim 2,
When the spatial filter is provided as the transmission type spatial filter, the spatial filter may be a liquid crystal based spatial modulator or a magneto-optic based spatial modulator Spatial filter based structure illumination microscope.
제2항에 있어서,
상기 공간 필터가 상기 반사형 공간 필터로 마련되는 경우, 상기 공간 필터는, 액체 크리스탈(liquid crystal) 기반 공간 모듈레이터(spatial modulator), 변형 미러(deformable mirror) 또는 디지털 마이크로 미러 장치(DMD, Digital Micromirror Device)로 마련되는 공간 필터 기반 구조 조명 현미경.
3. The method of claim 2,
When the spatial filter is the reflective spatial filter, the spatial filter may be a liquid crystal based spatial modulator, a deformable mirror, or a digital micromirror device (DMD) A spatial filter based structure illumination microscope.
제2항에 있어서,
상기 공간 필터는 주기적인 그리드 패턴을 생성하기 위해, LCD(liquid crystal display), LED 디스플레이(light emitting diode display), PDP(plasma display panel) 디스플레이, OLED(organic-LED) 디스플레이, 파이버 어레이 번들(fiber array bundle) 디스플레이 중 어느 하나의 디스플레이를 포함하는 공간 필터 기반 구조 조명 현미경.
3. The method of claim 2,
The spatial filter may be a liquid crystal display (LCD), a light emitting diode display, a plasma display panel (PDP) display, an organic-LED (OLED) display, a fiber array bundle array bundle display. < RTI ID = 0.0 > A < / RTI >
제2항에 있어서,
상기 공간 필터는 수직 방향으로의 그리드 패턴, 수평 방향으로 그리드 패턴, 대각선 방향으로의 그리드 패턴, 점 배열 그리드 패턴의 생성이 가능한 공간 필터 기반 구조 조명 현미경.
3. The method of claim 2,
The spatial filter is a spatial filter-based structured illumination microscope capable of generating a grid pattern in a vertical direction, a grid pattern in a horizontal direction, a grid pattern in a diagonal direction, and a dotted grid pattern.
제1항에 있어서,
상기 광원과 상기 공간 필터 사이에 위치되어 상기 광을 집광시키는 제1 렌즈; 및
상기 공간 필터 후미에 위치되어 상기 공간 필터로부터의 광을 평행 광으로 변화시키는 제2 렌즈; 및
상기 제2 렌즈로부터의 상기 광을 빔 스플리팅(splitting)시키는 빔 스플리터를 더 포함하는 공간 필터 기반 구조 조명 현미경.
The method according to claim 1,
A first lens positioned between the light source and the spatial filter to condense the light; And
A second lens positioned at the tail of the spatial filter to convert light from the spatial filter into parallel light; And
Further comprising a beam splitter for beam splitting the light from the second lens.
제1항에 있어서,
상기 광원은, 고체 레이저, 광섬유 레이저, 할로겐 램프, 제논 램프, 고출력 엘이디 중 어느 하나로 마련되는 공간 필터 기반 구조 조명 현미경.
The method according to claim 1,
Wherein the light source is a solid laser, an optical fiber laser, a halogen lamp, a xenon lamp, or a high power LED.
제8항에 있어서,
상기 광원의 파장 및 상기 샘플의 흡수 대역에 따라 단일광자, 이광자, 다중 광자 구조 조명 현미경으로 구현 가능한 공간 필터 기반 구조 조명 현미경.9. The method of claim 8,
A spatial filter based structure illumination microscope that can be implemented as a single photon, a two-photon, and a multi-photon structure illumination microscope according to the wavelength of the light source and the absorption band of the sample.
KR1020130152131A 2013-12-09 2013-12-09 Structural illumination microscopy based on spatial filter KR101541610B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130152131A KR101541610B1 (en) 2013-12-09 2013-12-09 Structural illumination microscopy based on spatial filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130152131A KR101541610B1 (en) 2013-12-09 2013-12-09 Structural illumination microscopy based on spatial filter

Publications (2)

Publication Number Publication Date
KR20150066736A true KR20150066736A (en) 2015-06-17
KR101541610B1 KR101541610B1 (en) 2015-08-03

Family

ID=53514977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130152131A KR101541610B1 (en) 2013-12-09 2013-12-09 Structural illumination microscopy based on spatial filter

Country Status (1)

Country Link
KR (1) KR101541610B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101934956B1 (en) * 2017-10-18 2019-03-18 고려대학교 산학협력단 Apparatus and method for single-molecule localization with structured illumination and phase detection
CN110383040A (en) * 2019-05-17 2019-10-25 香港应用科技研究院有限公司 A kind of color difference confocal system and method detecting target object
KR102036322B1 (en) * 2018-05-04 2019-11-26 한국과학기술연구원 System and method for mearsuring magenetic field to detect optical signal with structured illumination
WO2020232739A1 (en) * 2019-05-17 2020-11-26 Hong Kong Applied Science and Technology Research Institute Company Limited A chromatic confocal system and a method for inspecting an object
KR20210003594A (en) 2019-07-02 2021-01-12 한국과학기술연구원 Structure illumination microscope-based on checkerboard pattern
KR20210021893A (en) * 2019-08-19 2021-03-02 부산대학교 산학협력단 High-resolution structured illumination microscopy system for imaging nano patterns fabricated on cylinerical mold and operating method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101909528B1 (en) 2017-05-22 2018-10-18 한국광기술원 System and method for 3 dimensional imaging using structured light
NL2020620B1 (en) * 2018-01-16 2019-07-25 Illumina Inc Pattern angle spatial selection structured illumination imaging
KR20210100253A (en) 2020-02-05 2021-08-17 삼성디스플레이 주식회사 Apparatus for optical instection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239660A (en) * 2003-02-04 2004-08-26 Japan Science & Technology Agency Microscope
WO2010088418A1 (en) * 2009-01-29 2010-08-05 The Regents Of The University Of California High resolution structured illumination microscopy

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101934956B1 (en) * 2017-10-18 2019-03-18 고려대학교 산학협력단 Apparatus and method for single-molecule localization with structured illumination and phase detection
WO2019078578A1 (en) * 2017-10-18 2019-04-25 고려대학교 산학협력단 Device and method for measuring central location of single molecule using structured illumination and phase detection
KR102036322B1 (en) * 2018-05-04 2019-11-26 한국과학기술연구원 System and method for mearsuring magenetic field to detect optical signal with structured illumination
CN110383040A (en) * 2019-05-17 2019-10-25 香港应用科技研究院有限公司 A kind of color difference confocal system and method detecting target object
WO2020232739A1 (en) * 2019-05-17 2020-11-26 Hong Kong Applied Science and Technology Research Institute Company Limited A chromatic confocal system and a method for inspecting an object
US11287626B2 (en) 2019-05-17 2022-03-29 Hong Kong Applied Science and Technology Research Institute Comoanv Limited Chromatic confocal system and a method for inspecting an object
KR20210003594A (en) 2019-07-02 2021-01-12 한국과학기술연구원 Structure illumination microscope-based on checkerboard pattern
KR20210021893A (en) * 2019-08-19 2021-03-02 부산대학교 산학협력단 High-resolution structured illumination microscopy system for imaging nano patterns fabricated on cylinerical mold and operating method thereof

Also Published As

Publication number Publication date
KR101541610B1 (en) 2015-08-03

Similar Documents

Publication Publication Date Title
KR101541610B1 (en) Structural illumination microscopy based on spatial filter
US8504140B2 (en) Apparatus and method for fluorescence imaging and tomography using spatially structured illumination
Van der Jeught et al. Real-time microscopic phase-shifting profilometry
CN104459971B (en) A kind of Structured Illumination micro imaging system based on integrated photon chip
JP6000010B2 (en) Laser scanning microscope
JP2016534389A (en) Aperture scanning Fourier typography imaging
CN107966826B (en) A kind of small-scale structure optical illumination super-resolution micro imaging system
KR101356706B1 (en) Structured illumination microscope based on intensity modulation and scanning system
EP3291177B1 (en) Image processing apparatus and image processing method
US10466458B2 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
US20180313759A1 (en) Image acquisition device, image acquisition method, and spatial light modulation unit
TWI414818B (en) Wide-field super-resolution optical sectioning microscopy using a spatial light modulator
JP6006053B2 (en) Laser scanning fluorescence microscope
RU2013124820A (en) MICROSCOPE, IMAGE DEVICE AND IMAGE SYSTEM
Peng et al. A novel method of generating phase-shifting sinusoidal fringes for 3D shape measurement
JP6014449B2 (en) Laser scanning microscope equipment
JP6300739B2 (en) Image acquisition apparatus and image acquisition method
KR101888924B1 (en) Time-Multiplexed Structured Illumination with Digital Micromirror Device for Structured Illumination Microscopy and Method of Operating the same
US10317188B2 (en) Imaging apparatus and imaging method
US10816472B2 (en) Image acquisition device and image acquisition method
CN212229317U (en) Non-mechanical scanning structured light microscopic three-dimensional imaging system
JP5973777B2 (en) Laser scanning microscope equipment
CN111913294A (en) Non-mechanical scanning structured light microscopic three-dimensional imaging device and imaging method
KR101727832B1 (en) Super-resolution imaging apparatus using a heterodyne interference
KR20120041839A (en) Method for obtaining 3d images using chromatic aberration of lens and 3d microscope using there of

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4