KR20210059973A - System for co-location tracking of correlative microscopy and opeation method thereof - Google Patents

System for co-location tracking of correlative microscopy and opeation method thereof Download PDF

Info

Publication number
KR20210059973A
KR20210059973A KR1020190147440A KR20190147440A KR20210059973A KR 20210059973 A KR20210059973 A KR 20210059973A KR 1020190147440 A KR1020190147440 A KR 1020190147440A KR 20190147440 A KR20190147440 A KR 20190147440A KR 20210059973 A KR20210059973 A KR 20210059973A
Authority
KR
South Korea
Prior art keywords
microscope
vertex coordinates
microscope module
plate
module
Prior art date
Application number
KR1020190147440A
Other languages
Korean (ko)
Other versions
KR102280538B1 (en
Inventor
김두리
김근호
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020190147440A priority Critical patent/KR102280538B1/en
Publication of KR20210059973A publication Critical patent/KR20210059973A/en
Application granted granted Critical
Publication of KR102280538B1 publication Critical patent/KR102280538B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

An ultra-high-resolution linked microscope system and a method of operation thereof according to various embodiments may comprise processes of: detecting first vertex coordinates for rest of vertices from a plate that is made of a cube having a rectangular plane containing four vertices and is chamfered adjacent to any one of the vertices through a first microscope module; detecting, through a second microscope module, second vertex coordinates for the rest of the vertices from the plate; and detecting, based on the first vertex coordinates and the second vertex coordinates, at least one target coordinate for imaging through the second microscope module on the plate.

Description

연계형 현미경의 동일 위치 추적을 위한 시스템 및 그의 동작 방법{SYSTEM FOR CO-LOCATION TRACKING OF CORRELATIVE MICROSCOPY AND OPEATION METHOD THEREOF}A system for tracking the same position of a linked microscope and its operation method {SYSTEM FOR CO-LOCATION TRACKING OF CORRELATIVE MICROSCOPY AND OPEATION METHOD THEREOF}

다양한 실시예들은 연계형 현미경의 동일 위치 추적을 위한 시스템 및 그의 동작 방법에 관한 것이다. Various embodiments relate to a system for co-position tracking of an associated microscope and a method of operation thereof.

최근 이종의 현미경 모듈들을 연계시켜, 동일한 샘플을 관찰하기 위한 연계형 현미경 시스템에 대한 연구가 이루어지고 있다. 이 때 연계형 현미경 시스템은 일 현미경 모듈을 통해 샘플에 대한 이미지를 획득하고, 다른 현미경 모듈을 통해 같은 샘플에 대한 이미지를 획득한다. 이로 인해, 연계형 현미경 시스템이 현미경 모듈들을 위해, 샘플의 동일한 위치를 정확하게 검출하는 것이 중요하다. 그러나, 상기와 같은 연계형 현미경 시스템은, 샘플의 동일한 위치를 정확하게 검출하는 데 어려움이 있다.Recently, research on a linked microscope system for observing the same sample by linking heterogeneous microscope modules has been conducted. At this time, the linked microscope system acquires an image of a sample through one microscope module, and acquires an image of the same sample through another microscope module. Because of this, it is important for the linked microscope system to accurately detect the same location of the sample, for the microscope modules. However, the linked microscope system as described above has difficulty in accurately detecting the same location of a sample.

다양한 실시예들은, 이종의 현미경 모듈들을 통해 빠르고 정확하게 동일한 샘플을 촬영할 수 있는 연계형 현미경 시스템을 제공한다. Various embodiments provide an integrated microscope system that can quickly and accurately capture the same sample through heterogeneous microscope modules.

다양한 실시예들은, 이종의 현미경 모듈들을 위해, 샘플의 동일한 위치를 빠르고 정확하게 검출할 수 있는 연계형 현미경 시스템을 제공한다. Various embodiments provide, for heterogeneous microscope modules, a linked microscope system capable of quickly and accurately detecting the same location of a sample.

다양한 실시예들에 따른 연계형 현미경 시스템의 동작 방법은, 제 1 현미경 모듈을 통해, 네 개의 정점들을 포함하는 사각의 평면을 갖는 육면체로 제조되고, 상기 정점들 중 어느 하나에 인접하여 모따기된 플레이트로부터 상기 정점들 중 나머지에 대해 제 1 정점 좌표들을 검출하는 동작, 제 2 현미경 모듈을 통해, 상기 플레이트로부터 상기 정점들 중 나머지에 대해 제 2 정점 좌표들을 검출하는 동작, 및 상기 제 1 정점 좌표들과 상기 제 2 정점 좌표들을 기반으로, 상기 플레이트 상에서 상기 제 2 현미경 모듈을 통해 촬영하기 위한 적어도 하나의 대상 좌표를 검출하는 동작을 포함할 수 있다. The operating method of the linked microscope system according to various embodiments is a plate made of a hexahedron having a rectangular plane including four vertices through a first microscope module, and chamfered adjacent to any one of the vertices. The operation of detecting first vertex coordinates for the rest of the vertices from, through a second microscope module, detecting second vertex coordinates for the rest of the vertices from the plate, and the first vertex coordinates And detecting at least one target coordinate for photographing through the second microscope module on the plate, based on the second vertex coordinates.

다양한 실시예들에 따른 연계형 현미경 시스템은, 네 개의 정점들을 포함하는 사각의 평면을 갖는 육면체로 제조되고, 상기 정점들 중 어느 하나에 인접하여 모따기된 플레이트 내측의 샘플을 각각 촬영하도록 구성되는 제 1 현미경 모듈과 제 2 현미경 모듈, 및 상기 제 1 현미경 모듈과 상기 제 2 현미경 모듈이 상기 플레이트 내측에서 동일한 위치를 촬영하도록 상기 위치를 검출하도록 구성되는 프로세서를 포함할 수 있다. The linked microscope system according to various embodiments is manufactured as a hexahedron having a rectangular plane including four vertices, and is configured to photograph a sample inside a plate chamfered adjacent to any one of the vertices. It may include a processor configured to detect the position so that the first microscope module and the second microscope module, and the first microscope module and the second microscope module photograph the same position inside the plate.

다양한 실시예들에 따르면, 상기 프로세서는, 상기 제 1 현미경 모듈을 통해, 상기 플레이트로부터 상기 정점들 중 나머지에 대해 제 1 정점 좌표들을 검출하고, 상기 제 2 현미경 모듈을 통해, 상기 플레이트로부터 상기 정점들 중 나머지에 대해 제 2 정점 좌표들을 검출하고, 상기 제 1 정점 좌표들과 상기 제 2 정점 좌표들을 기반으로, 상기 플레이트 상에서 상기 제 2 현미경 모듈을 통해 촬영하기 위한 적어도 하나의 대상 좌표를 검출하도록 구성될 수 있다.According to various embodiments, the processor, through the first microscope module, detects first vertex coordinates for the rest of the vertices from the plate, and through the second microscope module, the vertex from the plate To detect second vertex coordinates for the remainder of them, and to detect at least one target coordinate for photographing through the second microscope module on the plate based on the first vertex coordinates and the second vertex coordinates. Can be configured.

다양한 실시예들에 따르면, 연계형 현미경 시스템은 제 1 현미경 모듈과 제 2 현미경 모듈을 통해, 세포의 동일한 위치를 촬영할 수 있다. 즉 연계형 현미경 시스템은 제 1 현미경 모듈과 제 2 현미경 모듈을 통해, 효과적인 연계형 이미징을 수행할 수 있다. 이 때 연계형 현미경 시스템은 선형 좌표 변환을 통해, 제 1 현미경 모듈을 통해 검출된 기준 좌표로부터 제 2 현미경 모듈을 위한 대상 좌표를 검출하기 때문에, 제 1 현미경 모듈과 제 2 현미경 모듈 각각에 놓이는 플레이트의 위치나 방향과 관계 없이, 빠르고 정확하게 대상 좌표를 검출할 수 있다.According to various embodiments, the linked microscope system may capture the same location of cells through the first microscope module and the second microscope module. That is, the linked microscope system can perform effective linked imaging through the first microscope module and the second microscope module. At this time, since the linked microscope system detects the target coordinates for the second microscope module from the reference coordinates detected through the first microscope module through linear coordinate transformation, a plate placed on each of the first microscope module and the second microscope module Regardless of the location or direction of, it is possible to quickly and accurately detect the target coordinates.

아울러, 플레이트를 위해 일반적인 재료, 예컨대 슬라이드 글라스 또는 커버 글라스 중 적어도 어느 하나가 이용될 수 있다. 뿐만 아니라, 플레이트를 위해 모따기와 같은 간단한 제조 공정이 적용될 수 있다. 즉 연계형 현미경 시스템에 이용하기 위한 플레이트를 위해 특수한 처리가 요구되지 않는다. 이로 인해, 연계형 현미경 시스템을 구현하기 위해 고가의 재료 비용이나 공정 비용이 필요로 되지 않을 수 있다. In addition, for the plate, at least one of a common material such as a slide glass or a cover glass may be used. In addition, a simple manufacturing process such as chamfer can be applied for the plate. In other words, no special treatment is required for the plate for use in the linked microscope system. For this reason, expensive material costs or process costs may not be required to implement the linked microscope system.

도 1a는 다양한 실시예들에 따른 연계형 현미경 시스템을 도시하는 도면이다.
도 1b는 다양한 실시예들에 따른 연계형 현미경 시스템을 위한 플레이트를 도시하는 도면이다.
도 2는 다양한 실시예들에 따른 연계형 현미경 시스템의 동작 방법을 도시하는 도면이다.
도 3은 다양한 실시예들에 따른 연계형 현미경 시스템의 동작 특성을 설명하기 위한 도면이다.
도 4, 도 5, 도 6, 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 도 13, 도 14, 도 15 및 도 16은 다양한 실시예들에 따른 연계형 현미경 시스템의 동작 효과를 설명하기 위한 도면들이다. 1A is a diagram illustrating an associated microscope system according to various embodiments.
1B is a diagram illustrating a plate for an associated microscope system according to various embodiments.
2 is a diagram illustrating a method of operating an associated microscope system according to various embodiments.
3 is a view for explaining the operating characteristics of the linked microscope system according to various embodiments.
4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, and 16 are diagrams of an associated microscope system according to various embodiments. These are drawings for explaining the operation effect.

이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다. Hereinafter, various embodiments of the present document will be described with reference to the accompanying drawings.

도 1a는 다양한 실시예들에 따른 연계형 현미경 시스템(100)을 도시하는 도면이다. 도 1b는 다양한 실시예들에 따른 연계형 현미경 시스템(100)을 위한 플레이트(110)를 도시하는 도면이다. 1A is a diagram illustrating an associated microscope system 100 in accordance with various embodiments. 1B is a diagram illustrating a plate 110 for an associated microscope system 100 according to various embodiments.

도 1a 및 도 1b를 참조하면, 다양한 실시예들에 따른 연계형 현미경 시스템(100)은, 플레이트(110) 내측의 샘플(sample)을 촬영하도록 구성되며, 제 1 현미경 모듈(120), 제 2 현미경 모듈(130) 및 프로세서(140)를 포함할 수 있다. 1A and 1B, the linked microscope system 100 according to various embodiments is configured to take a sample inside the plate 110, and the first microscope module 120 and the second microscope It may include a microscope module 130 and a processor 140.

플레이트(110)는, 내측에 샘플이 배치되도록 제공될 수 있다. 플레이트(110)는 하나의 모따기(chamfering)(111) 영역과 세 개의 정점(vertex)(113, 115, 117)들을 포함할 수 있다. 이를 위해, 플레이트(110)는 네 개의 정점들을 포함하는 사각의 평면을 갖고, 정해진 두께의 육면체로 제조될 수 있다. 그리고 플레이트(110)는 정점들 중 어느 하나에 인접하여 모따기되어 있을 수 있다. 이를 통해, 샘플이 플레이트(110)의 평면 내측에 배치될 수 있다. 예를 들면, 플레이트(110)는, 샘플이 놓여지는 슬라이드 글라스(slide glass) 또는 샘플을 덮는 커버 글라스(cover glass) 중 적어도 어느 하나를 포함할 수 있다. The plate 110 may be provided so that a sample is disposed inside. The plate 110 may include one chamfering 111 and three vertices 113, 115, and 117. To this end, the plate 110 has a rectangular plane including four vertices, and may be manufactured as a hexahedron having a predetermined thickness. And the plate 110 may be chamfered adjacent to any one of the vertices. Through this, the sample may be disposed inside the plane of the plate 110. For example, the plate 110 may include at least one of a slide glass on which a sample is placed or a cover glass that covers the sample.

제 1 현미경 모듈(120)과 제 2 현미경 모듈(130)은 플레이트(110) 내측의 샘플을 촬영하도록 구성될 수 있다. 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130)은 광학 현미경 또는 전자 현미경 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 제 1 현미경 모듈(120)은 광학 현미경이고, 제 2 현미경 모듈(130)은 전자 현미경일 수 있다. 예를 들면, 제 1 현미경 모듈(120)은 초고해상도 형광 현미경(STORM; stochastic optical reconstruction microscopy)이고, 제 2 현미경 모듈(130)은 주사 전자 현미경(SEM; scanning electron microscopy)일 수 있다. The first microscope module 120 and the second microscope module 130 may be configured to take a sample inside the plate 110. The first microscope module 120 and the second microscope module 130 may include at least one of an optical microscope and an electron microscope. According to an embodiment, the first microscope module 120 may be an optical microscope, and the second microscope module 130 may be an electron microscope. For example, the first microscope module 120 may be a stochastic optical reconstruction microscopy (STORM), and the second microscope module 130 may be a scanning electron microscopy (SEM).

프로세서(140)는, 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130)이 플레이트(110) 내측에서 동일한 위치를 촬영하도록, 해당 위치를 검출하도록 구성될 수 있다. 이 때 해당 위치는 제 1 현미경 모듈(120)에 있어서 적어도 하나의 기준 좌표(T)로 정의되고, 제 2 현미경 모듈(120)에 있어서 적어도 하나의 대상 좌표(T')로 정의될 수 있다. 이를 위해, 프로세서(140)는 제 1 현미경 모듈(120) 및 제 2 현미경 모듈(130)과 인터페이스를 수행할 수 있다. 일 실시예에 따르면, 프로세서(140)는 제 1 현미경 모듈(120) 또는 제 2 현미경 모듈(130) 중 어느 하나에 결합될 수 있다. 예를 들면, 프로세서(140)는 제 2 현미경 모듈(130)에 결합될 수 있다. The processor 140 may be configured to detect the corresponding position so that the first microscope module 120 and the second microscope module 130 photograph the same position inside the plate 110. In this case, the corresponding position may be defined as at least one reference coordinate T in the first microscope module 120 and at least one target coordinate T′ in the second microscope module 120. To this end, the processor 140 may interface with the first microscope module 120 and the second microscope module 130. According to an embodiment, the processor 140 may be coupled to either the first microscope module 120 or the second microscope module 130. For example, the processor 140 may be coupled to the second microscope module 130.

프로세서(140)는 제 1 현미경 모듈(120)을 통해, 플레이트(110)로부터 정점(113, 115, 117)들에 대해 제 1 정점 좌표(A, B, C)들을 검출할 수 있다. 이 때 프로세서(140)는 제 1 현미경 모듈(120)을 통해, 플레이트(110)에서 모따기 영역(111)을 기준으로, 정점(113, 115, 117)들을 식별할 수 있다. 그리고 프로세서(140)는 제 1 현미경 모듈(120)을 통해, 제 1 정점 좌표(A, B, C)들을 기반으로 플레이트(110)에서 기준 좌표(T)를 검출할 수 있다. 이 때 프로세서(140)는 제 1 현미경 모듈(120)을 통해, 샘플을 촬영하면서, 기준 좌표(T)를 검출할 수 있다. 프로세서(140)는 제 2 현미경 모듈(120)을 통해, 플레이트(110)로부터 정점(113, 115, 117)들에 대해 제 2 정점 좌표(A', B', C')들을 검출할 수 있다. 이 때 프로세서(140)는 제 2 현미경 모듈(130)을 통해, 플레이트(110)에서 모따기 영역(111)을 기준으로, 정점(113, 115, 117)들을 식별할 수 있다.The processor 140 may detect first vertex coordinates (A, B, C) with respect to the vertices 113, 115, and 117 from the plate 110 through the first microscope module 120. In this case, the processor 140 may identify the vertices 113, 115, and 117 based on the chamfered area 111 in the plate 110 through the first microscope module 120. In addition, the processor 140 may detect the reference coordinate T from the plate 110 based on the first vertex coordinates A, B, and C through the first microscope module 120. In this case, the processor 140 may detect the reference coordinate T while photographing a sample through the first microscope module 120. The processor 140 may detect second vertex coordinates (A', B', C') for the vertices 113, 115, and 117 from the plate 110 through the second microscope module 120. . In this case, the processor 140 may identify the vertices 113, 115, and 117 based on the chamfered area 111 in the plate 110 through the second microscope module 130.

이를 통해, 프로세서(140)는 제 1 정점 좌표(A, B, C)들과 제 2 정점 좌표(A', B', C')들을 기반으로, 제 2 현미경 모듈(130)을 위해 플레이트(110) 상에서 대상 좌표(T')를 검출할 수 있다. 이 때 프로세서(140)는 제 1 정점 좌표(A, B, C)들과 제 2 정점 좌표(A', B', C')들을 기반으로 선형 좌표 변환을 수행하여, 기준 좌표(T)로부터 대상 좌표(T')를 검출할 수 있다. 여기서, 프로세서(140)는 제 1 정점 좌표(A, B, C)들로부터 검출되는 두 개의 제 1 모서리 벡터(i, j)들과 제 2 정점 좌표(A', B', C')들로부터 검출되는 두 개의 제 2 모서리 벡터(i', j')들을 이용하여, 선형 좌표 변환을 수행할 수 있다. 이에 따라, 프로세서(140)는 제 2 현미경 모듈(130)을 통해, 플레이트(110) 상에서 대상 좌표(T')로부터 샘플을 촬영할 수 있다. Through this, the processor 140 is based on the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B', C'), the plate ( 110) can detect the target coordinate (T'). At this time, the processor 140 performs linear coordinate transformation based on the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B', C'), and The target coordinate T'can be detected. Here, the processor 140 includes two first corner vectors (i, j) and second vertex coordinates (A', B', C') detected from the first vertex coordinates (A, B, C). Linear coordinate transformation may be performed using two second corner vectors (i', j') detected from. Accordingly, the processor 140 may take a sample from the target coordinate T′ on the plate 110 through the second microscope module 130.

다양한 실시예들에 따른 연계형 현미경 시스템(100)은, 네 개의 정점들을 포함하는 사각의 평면을 갖는 육면체로 제조되고, 정점들 중 어느 하나에 인접하여 모따기된 플레이트(110) 내측의 샘플을 각각 촬영하도록 구성되는 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130), 및 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130)이 플레이트(110) 내측에서 동일한 위치를 촬영하도록 위치를 검출하도록 구성되는 프로세서(140)를 포함할 수 있다. The linked microscope system 100 according to various embodiments is manufactured as a hexahedron having a rectangular plane including four vertices, and samples inside the plate 110 chamfered adjacent to any one of the vertices are respectively The first microscope module 120 and the second microscope module 130 configured to be photographed, and the first microscope module 120 and the second microscope module 130 are positioned so that the same position is captured from the inside of the plate 110. It may include a processor 140 configured to detect.

다양한 실시예들에 따르면, 프로세서(140)는, 제 1 현미경 모듈(120)을 통해, 플레이트(110)로부터 정점들 중 나머지(113, 115, 117)에 대해 제 1 정점 좌표(A, B, C)들을 검출하고, 제 2 현미경 모듈(130)을 통해, 플레이트(110)로부터 정점들 중 나머지(113, 115, 117)에 대해 제 2 정점 좌표(A', B', C')들을 검출하고, 제 1 정점 좌표(A, B, C)들과 제 2 정점 좌표(A', B', C')들을 기반으로, 플레이트(110) 상에서 제 2 현미경 모듈(130)을 통해 촬영하기 위한 적어도 하나의 대상 좌표(T')를 검출하도록 구성될 수 있다. According to various embodiments, the processor 140, through the first microscope module 120, for the remaining (113, 115, 117) of the vertices from the plate 110, the first vertex coordinates (A, B, C), and detect second vertex coordinates (A', B', C') for the rest (113, 115, 117) of the vertices from the plate 110 through the second microscope module 130 And, based on the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B', C'), for photographing through the second microscope module 130 on the plate 110 It may be configured to detect at least one target coordinate T'.

다양한 실시예들에 따르면, 프로세서(140)는, 제 1 현미경 모듈(120)을 통해, 샘플을 촬영하면서, 제 1 정점 좌표(A, B, C)들을 기반으로 평면 내측의 샘플과 관련된 적어도 하나의 기준 좌표(T)를 검출하도록 구성될 수 있다. According to various embodiments, the processor 140, while photographing a sample through the first microscope module 120, is at least one related to the sample inside the plane based on the first vertex coordinates (A, B, C). It may be configured to detect the reference coordinate (T) of.

다양한 실시예들에 따르면, 프로세서(140)는, 제 1 정점 좌표(A, B, C)들과 제 2 정점 좌표(A', B', C')들을 기반으로 선형 좌표 변환을 수행하여, 기준 좌표(T)로부터 대상 좌표(T')를 검출하도록 구성될 수 있다. According to various embodiments, the processor 140 performs linear coordinate transformation based on first vertex coordinates (A, B, C) and second vertex coordinates (A', B', C'), It may be configured to detect the target coordinate T'from the reference coordinate T.

다양한 실시예들에 따르면, 프로세서(140)는, 제 2 현미경 모듈(130)을 통해, 플레이트(110) 상에서 대상 좌표(T')로부터 샘플을 촬영하도록 구성될 수 있다. According to various embodiments, the processor 140 may be configured to take a sample from the target coordinate T′ on the plate 110 through the second microscope module 130.

다양한 실시예들에 따르면, 프로세서(140)는, 제 1 정점 좌표(A, B, C)들로부터 검출되는 두 개의 제 1 모서리 벡터(i, j)들과 제 2 정점 좌표(A', B', C')들로부터 검출되는 두 개의 제 2 모서리 벡터(i', j')들을 이용하여, 선형 좌표 변환을 수행하도록 구성될 수 있다. According to various embodiments, the processor 140 includes two first corner vectors (i, j) detected from the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B). It may be configured to perform linear coordinate transformation using two second corner vectors (i', j') detected from', C').

다양한 실시예들에 따르면, 제 1 현미경 모듈(120)은 광학 현미경이고, 제 2 현미경 모듈(130)은 전자 현미경일 수 있다. According to various embodiments, the first microscope module 120 may be an optical microscope, and the second microscope module 130 may be an electron microscope.

다양한 실시예들에 따르면, 플레이트(110)는 슬라이드 글라스 또는 커버 글라스 중 적어도 어느 하나를 포함할 수 있다. According to various embodiments, the plate 110 may include at least one of a slide glass or a cover glass.

도 2는 다양한 실시예들에 따른 연계형 현미경 시스템(100)의 동작 방법을 도시하는 도면이다. 도 3은 다양한 실시예들에 따른 연계형 현미경 시스템(100)의 동작 특성을 설명하기 위한 도면이다. 2 is a diagram illustrating a method of operating the linked microscope system 100 according to various embodiments. 3 is a diagram for explaining the operating characteristics of the linked microscope system 100 according to various embodiments.

도 2를 참조하면, 연계형 현미경 시스템(100)은 210 동작에서 제 1 현미경 모듈(120)을 통해, 플레이트(110)로부터 정점(113, 115, 117)들에 대해 제 1 정점 좌표(A, B, C)들을 검출할 수 있다. 이 때 프로세서(140)는 제 1 현미경 모듈(120)을 통해, 플레이트(110)에서 모따기 영역(111)을 기준으로, 정점(113, 115, 117)들을 식별할 수 있다. 일 실시예에 따르면, 프로세서(140)는 모따기 영역(111)의 맞은 편에서 제 1 정점(113)을 식별하고, 제 1 정점(113)으로부터 반시계 방향으로 제 2 정점(115)을 식별하고, 제 1 정점(113)으로부터 시계 방향으로 제 3 정점(117)을 식별할 수 있다. 다른 실시예에 따르면, 프로세서(140)는 모따기 영역(111)으로부터 반시계 방향 또는 시계 방향을 따라 순차적으로 제 1 정점(113), 제 2 정점(115) 및 제 3 정점(117)을 식별할 수도 있다. 이를 통해, 프로세서(140)는, 도 3에 도시된 바와 같이 정점(113, 115, 117)들에서 제 1 정점 좌표(A, B, C)들을 각각 검출할 수 있다. 일 실시예에 따르면, 제 1 현미경 모듈(120)은 광학 현미경일 수 있다. 예를 들면, 제 1 현미경 모듈(120)은 초고해상도 형광 현미경(STORM)일 수 있다.2, the linked microscope system 100 is through the first microscope module 120 in operation 210, for the vertices 113, 115, 117 from the plate 110, the first vertex coordinates (A, B, C) can be detected. In this case, the processor 140 may identify the vertices 113, 115, and 117 based on the chamfered area 111 in the plate 110 through the first microscope module 120. According to an embodiment, the processor 140 identifies the first vertex 113 on the opposite side of the chamfer area 111, and identifies the second vertex 115 in a counterclockwise direction from the first vertex 113, and , It is possible to identify the third vertex 117 in a clockwise direction from the first vertex 113. According to another embodiment, the processor 140 may sequentially identify the first vertex 113, the second vertex 115 and the third vertex 117 from the chamfer region 111 in a counterclockwise or clockwise direction. May be. Through this, the processor 140 may detect the first vertex coordinates A, B, and C from the vertices 113, 115, and 117, respectively, as shown in FIG. 3. According to an embodiment, the first microscope module 120 may be an optical microscope. For example, the first microscope module 120 may be an ultra-high resolution fluorescence microscope (STORM).

연계형 현미경 시스템(100)은 220 동작에서 제 1 현미경 모듈(120)을 통해, 제 1 정점 좌표(A, B, C)들을 기반으로 플레이트(110)에서 기준 좌표(T)를 검출할 수 있다. 이 때 프로세서(140)는 제 1 현미경 모듈(120)을 통해, 샘플을 촬영하면서, 도 3에 도시된 바와 같이 샘플에서 기준 좌표(T)를 검출할 수 있다. The linked microscope system 100 may detect the reference coordinate T from the plate 110 based on the first vertex coordinates (A, B, C) through the first microscope module 120 in operation 220. . In this case, the processor 140 may detect the reference coordinate T from the sample as shown in FIG. 3 while photographing the sample through the first microscope module 120.

연계형 현미경 시스템(100)은 230 동작에서 제 2 현미경 모듈(120)을 통해, 플레이트(110)로부터 정점(113, 115, 117)들에 대해 제 2 정점 좌표(A', B', C')들을 검출할 수 있다. 이 때 프로세서(140)는 제 2 현미경 모듈(130)을 통해, 플레이트(110)에서 모따기 영역(111)을 기준으로, 정점(113, 115, 117)들을 식별할 수 있다. 일 실시예에 따르면, 프로세서(140)는 모따기 영역(111)의 맞은 편에서 제 1 정점(113)을 식별하고, 제 1 정점(113)으로부터 반시계 방향으로 제 2 정점(115)을 식별하고, 제 1 정점(113)으로부터 시계 방향으로 제 3 정점(117)을 식별할 수 있다. 다른 실시예에 따르면, 프로세서(140)는 모따기 영역(111)으로부터 반시계 방향 또는 시계 방향을 따라 순차적으로 제 1 정점(113), 제 2 정점(115) 및 제 3 정점(117)을 식별할 수도 있다. 이를 통해, 프로세서(140)는, 도 3에 도시된 바와 같이 정점(113, 115, 117)들에서 제 2 정점 좌표(A', B', C')들을 각각 검출할 수 있다. 일 실시예에 따르면, 제 2 현미경 모듈(130)은 전자 현미경일 수 있다. 예를 들면, 제 2 현미경 모듈(130)은 주사 전자 현미경(SEM)일 수 있다. Linked microscope system 100, through the second microscope module 120 in operation 230, the second vertex coordinates (A', B', C'for the vertices 113, 115, 117 from the plate 110). ) Can be detected. In this case, the processor 140 may identify the vertices 113, 115, and 117 based on the chamfered area 111 in the plate 110 through the second microscope module 130. According to an embodiment, the processor 140 identifies the first vertex 113 on the opposite side of the chamfer area 111, and identifies the second vertex 115 in a counterclockwise direction from the first vertex 113, and , It is possible to identify the third vertex 117 in a clockwise direction from the first vertex 113. According to another embodiment, the processor 140 may sequentially identify the first vertex 113, the second vertex 115 and the third vertex 117 from the chamfer region 111 in a counterclockwise or clockwise direction. May be. Through this, the processor 140 may detect the second vertex coordinates (A', B', C') from the vertices 113, 115, and 117, respectively, as shown in FIG. 3. According to an embodiment, the second microscope module 130 may be an electron microscope. For example, the second microscope module 130 may be a scanning electron microscope (SEM).

연계형 현미경 시스템(100)은 240 동작에서 제 1 정점 좌표(A, B, C)들과 제 2 정점 좌표(A', B', C')들을 기반으로, 제 2 현미경 모듈(130)을 위해 플레이트(110) 상에서 대상 좌표(T')를 검출할 수 있다. 이 때 프로세서(140)는 제 1 정점 좌표(A, B, C)들과 제 2 정점 좌표(A', B', C')들을 기반으로 선형 좌표 변환을 수행하여, 기준 좌표(T)로부터 대상 좌표(T')를 검출할 수 있다. 프로세서(140)는 제 1 정점 좌표(A, B, C)들로부터 검출되는 두 개의 제 1 모서리 벡터(i, j)들과 제 2 정점 좌표(A', B', C')들로부터 검출되는 두 개의 제 2 모서리 벡터(i', j')들을 이용하여, 선형 좌표 변환을 수행할 수 있다. 일 실시예에 따르면, 제 1 모서리 벡터(i, j)들은 하기 [수학식 1]과 같이 제 1 정점(113)과 제 2 정점(115)에 대응하는 제 1 정점 좌표(A, B)들로부터 검출되는 일 벡터와 제 1 정점(113)과 제 3 정점(117)에 대응하는 제 1 정점 좌표(A, C)들로부터 검출되는 다른 벡터로 이루어지고, 제 2 모서리 벡터(i', j')들은 하기 [수학식 1]과 같이 제 1 정점(113)과 제 2 정점(115)에 대응하는 제 2 정점 좌표(A', B')들로부터 검출되는 일 벡터와 제 1 정점(113)과 제 3 정점(117)에 대응하는 제 2 정점 좌표(A', C')들로부터 검출되는 다른 벡터로 이루어질 수 있다. The linked microscope system 100 uses the second microscope module 130 based on the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B', C') in operation 240. It is possible to detect the target coordinate (T') on the hazard plate 110. At this time, the processor 140 performs linear coordinate transformation based on the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B', C'), and The target coordinate T'can be detected. The processor 140 detects from two first corner vectors (i, j) and second vertex coordinates (A', B', C') detected from the first vertex coordinates (A, B, C). Linear coordinate transformation may be performed using the two second corner vectors i'and j'. According to an embodiment, the first corner vectors (i, j) are first vertex coordinates (A, B) corresponding to the first vertex 113 and the second vertex 115 as shown in [Equation 1] below. It consists of one vector detected from and another vector detected from the first vertex coordinates (A, C) corresponding to the first vertex 113 and the third vertex 117, and the second corner vectors (i', j ') are the work vector and the first vertex 113 detected from the second vertex coordinates (A', B') corresponding to the first vertex 113 and the second vertex 115 as shown in [Equation 1] below. ) And the second vertex coordinates (A', C') corresponding to the third vertex 117.

Figure pat00001
Figure pat00001

예를 들면, 기준 벡터(T)와 대상 벡터(T')는 하기 [수학식 2]와 같이 정의될 수 있다. 이를 기반으로, 프로세서(140)는 하기 [수학식 3]과 같이 제 1 모서리 벡터(i, j)들로부터 기준 벡터(T)를 검출하기 위한 특성 벡터를 산출할 수 있다. 이를 통해, 프로세서(140)는 하기 [수학식 4]와 같이 제 2 모서리 벡터(i', j')들과 특성 벡터를 이용하여, 도 3에 도시된 바와 같이 대상 좌표(T')를 검출할 수 있다. For example, the reference vector (T) and the target vector (T') may be defined as shown in [Equation 2] below. Based on this, the processor 140 may calculate a feature vector for detecting the reference vector T from the first corner vectors i and j as shown in Equation 3 below. Through this, the processor 140 detects the target coordinate (T') as shown in FIG. 3 by using the second corner vectors (i', j') and the feature vector as shown in [Equation 4] below. can do.

Figure pat00002
Figure pat00002

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

연계형 현미경 시스템(100)은 250 동작에서 제 2 현미경 모듈(130)을 통해, 플레이트(110) 상에서 대상 좌표(T')로부터 샘플을 촬영할 수 있다. 이를 통해, 연계형 현미경 시스템(100)은 제 1 현미경 모듈(120)을 통해 촬영된 샘플의 위치를 제 2 현미경 모듈(130)을 통해 촬영할 수 있다. 바꿔 말하면, 연계형 현미경 시스템(100)은, 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130)을 통해, 샘플의 동일한 위치를 촬영할 수 있다. The linked microscope system 100 may take a sample from the target coordinate T′ on the plate 110 through the second microscope module 130 in operation 250. Through this, the linked microscope system 100 may capture a location of a sample photographed through the first microscope module 120 through the second microscope module 130. In other words, the linked microscope system 100 may capture the same position of the sample through the first microscope module 120 and the second microscope module 130.

다양한 실시예들에 따른 연계형 현미경 시스템(100)의 동작 방법은, 상기 제 1 현미경 모듈(120)을 통해, 네 개의 정점들을 포함하는 사각의 평면을 갖는 육면체로 제조되고, 상기 정점들 중 어느 하나에 인접하여 모따기된 플레이트(110)로부터 상기 정점들 중 나머지(113, 115, 117)에 대해 제 1 정점 좌표(A, B, C)들을 검출하는 동작, 상기 제 2 현미경 모듈(130)을 통해, 상기 플레이트(110)로부터 상기 정점들 중 나머지(113, 115, 117)에 대해 제 2 정점 좌표(A', B', C')들을 검출하는 동작, 및 상기 제 1 정점 좌표(A, B, C)들과 상기 제 2 정점 좌표(A', B', C')들을 기반으로, 상기 플레이트(110) 상에서 상기 제 2 현미경 모듈(130)을 통해 촬영하기 위한 적어도 하나의 대상 좌표(T')를 검출하는 동작을 포함할 수 있다. The operating method of the linked microscope system 100 according to various embodiments is manufactured as a hexahedron having a quadrangular plane including four vertices through the first microscope module 120, and any of the vertices The operation of detecting the first vertex coordinates (A, B, C) for the remaining (113, 115, 117) of the vertices from the chamfered plate 110 adjacent to one, the second microscope module 130 Through, the operation of detecting second vertex coordinates (A', B', C') for the rest (113, 115, 117) of the vertices from the plate 110, and the first vertex coordinates (A, Based on B, C) and the second vertex coordinates (A', B', C'), at least one target coordinate for photographing through the second microscope module 130 on the plate 110 ( It may include an operation of detecting T').

다양한 실시예들에 따르면, 연계형 현미경 시스템(100)의 동작 방법은, 상기 제 1 현미경 모듈(120)을 통해, 상기 제 1 정점 좌표(A, B, C)들을 기반으로 상기 평면 내측의 샘플과 관련된 적어도 하나의 기준 좌표(T)를 검출하는 동작을 더 포함할 수 있다. According to various embodiments, the operating method of the linked microscope system 100 is, through the first microscope module 120, a sample inside the plane based on the first vertex coordinates (A, B, C). It may further include an operation of detecting at least one reference coordinate T related to.

다양한 실시예들에 따르면, 상기 대상 좌표(T') 검출 동작은, 상기 제 1 정점 좌표(A, B, C)들과 상기 제 2 정점 좌표(A', B', C')들을 기반으로 선형 좌표 변환을 수행하여, 상기 기준 좌표(T)로부터 상기 대상 좌표(T')를 검출하는 동작을 포함할 수 있다. According to various embodiments, the operation of detecting the target coordinate T'is based on the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B', C'). It may include an operation of detecting the target coordinate T'from the reference coordinate T by performing linear coordinate transformation.

다양한 실시예들에 따르면, 상기 기준 좌표(T) 검출 동작은, 상기 제 1 현미경 모듈(120)을 통해, 상기 샘플을 촬영하면서, 상기 기준 좌표(T)를 검출하는 동작을 포함할 수 있다. According to various embodiments, the operation of detecting the reference coordinate T may include an operation of detecting the reference coordinate T while photographing the sample through the first microscope module 120.

다양한 실시예들에 따르면, 연계형 현미경 시스템(100)의 동작 방법은, 상기 제 2 현미경 모듈(130)을 통해, 상기 플레이트(110) 상에서 상기 대상 좌표(T')로부터 상기 샘플을 촬영하는 동작을 더 포함할 수 있다. According to various embodiments, the operation method of the linked microscope system 100 is an operation of photographing the sample from the target coordinate T'on the plate 110 through the second microscope module 130 It may further include.

다양한 실시예들에 따르면, 상기 대상 좌표(T') 검출 동작은, 상기 제 1 정점 좌표(A, B, C)들로부터 검출되는 두 개의 제 1 모서리 벡터(i, j)들과 상기 제 2 정점 좌표(A', B', C')들로부터 검출되는 두 개의 제 2 모서리 벡터(I', j')들을 이용하여, 상기 선형 좌표 변환을 수행하는 동작을 포함할 수 있다. According to various embodiments, the detection operation of the target coordinate T'includes two first corner vectors (i, j) detected from the first vertex coordinates (A, B, C) and the second The linear coordinate transformation may be performed using two second corner vectors (I', j') detected from the vertex coordinates (A', B', C').

다양한 실시예들에 따르면, 상기 제 1 현미경 모듈(120)은 광학 현미경이고, 상기 제 2 현미경 모듈(130)은 전자 현미경일 수 있다. According to various embodiments, the first microscope module 120 may be an optical microscope, and the second microscope module 130 may be an electron microscope.

다양한 실시예들에 따르면, 상기 플레이트(110)는 슬라이드 글라스 또는 커버 글라스 중 적어도 어느 하나를 포함할 수 있다. According to various embodiments, the plate 110 may include at least one of a slide glass or a cover glass.

도 4, 도 5, 도 6, 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 도 13 및 도 14는 다양한 실시예들에 따른 연계형 현미경 시스템(100)의 동작 효과를 설명하기 위한 도면들이다. 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, and 14 illustrate the operation effect of the linked microscope system 100 according to various embodiments. These are drawings for explanation.

도 4, 도 5, 도 6, 도 7, 도 8, 도 9, 도 10, 도 11, 도 12 및 도 13을 참조하면, 연계형 현미경 시스템(100)은 제 1 현미경 모듈(120)을 통해 (a)에 나타나는 바와 같이 세포에 대한 이미지를 획득하고, 제 2 현미경 모듈(130)을 통해 (b)에 나타나는 바와 같이 세포에 대한 이미지를 획득할 수 있다. 여기서, 제 1 현미경 모듈(120)은 초고해상도 형광 현미경(STORM)이고, 제 2 현미경 모듈(130)은 주사 전자 현미경(SEM)일 수 있다. 이 때 연계형 현미경 시스템(100)은 제 1 현미경 모듈(120)을 통해 검출된 세포의 기준 좌표(T)로부터 제 2 현미경 모듈(130)을 위한 대상 좌표(T')를 검출하고, 제 2 현미경 모듈(130)을 통해 대상 좌표(T')에서 세포에 대한 이미지를 획득할 수 있다. 여기서, 연계형 현미경 시스템(100)은 마이크로미터 수준에서 대상 좌표(T')를 검출할 수 있다. 연계형 현미경 시스템(100)에 의해 검출된 대상 좌표(T')는, 도 14에 도시된 바와 같이 세포에 대한 실제 타겟 좌표와 평균 7 ㎛의 에러값을 나타낼 수 있다. 즉 연계형 현미경 시스템(100)에 의해 추정되는 대상 좌표(T')는 세포에 대한 실제 타겟 좌표와 대체로 일치할 수 있다. 아울러, 플레이트(110)의 평면 면적이 24 mm × 24 mm일 때, 연계형 현미경 시스템(100)은 플레이트(110) 상에서 세포의 위치와 방향을 추정하지 못한 기존과 비교하여, 대략 107 배 만큼 빠르게 세포의 위치를 검출할 수 있다. 4, 5, 6, 7, 8, 9, 10, 11, 12 and 13, the linked microscope system 100 is through the first microscope module 120 As shown in (a), an image of the cell may be acquired, and an image of the cell may be acquired through the second microscope module 130 as shown in (b). Here, the first microscope module 120 may be an ultra-high resolution fluorescence microscope (STORM), and the second microscope module 130 may be a scanning electron microscope (SEM). At this time, the linked microscope system 100 detects the target coordinates (T') for the second microscope module 130 from the reference coordinates (T) of cells detected through the first microscope module 120, and the second An image of a cell may be acquired at the target coordinate (T') through the microscope module 130. Here, the linked microscope system 100 may detect the target coordinate T'at the micrometer level. The target coordinate T'detected by the linked microscope system 100 may represent an actual target coordinate for the cell and an average error value of 7 μm, as shown in FIG. 14. That is, the target coordinate T'estimated by the linked microscope system 100 may substantially coincide with the actual target coordinate for the cell. In addition, when the planar area of the plate 110 is 24 mm × 24 mm, the linked microscope system 100 is approximately 10 7 times as much as compared to the previous one that cannot estimate the location and direction of the cells on the plate 110. It can quickly detect the location of cells.

도 15 및 도 16은 다양한 실시예들에 따른 연계형 현미경 시스템(100)의 동작 효과를 설명하기 위한 도면들이다. 15 and 16 are diagrams for explaining the operation effect of the linked microscope system 100 according to various embodiments.

도 15 및 도 16을 참조하면, 연계형 현미경 시스템(100)은 제 1 현미경 모듈(120)을 통해 (a)에 나타나는 바와 같이 세포 내 액틴(actin)에 대한 이미지를 획득하고, 제 2 현미경 모듈(130)을 통해 (b)에 나타나는 바와 같이 세포 내 액틴에 대한 이미지를 획득할 수 있다. 여기서, 제 1 현미경 모듈(120)은 초고해상도 형광 현미경(STORM)이고, 제 2 현미경 모듈(130)은 주사 전자 현미경(SEM)일 수 있다. 이 때 연계형 현미경 시스템(100)은 수 초 내로 제 1 현미경 모듈(120)을 통해 검출된 세포 내 액틴의 기준 좌표(T)로부터 제 2 현미경 모듈(130)을 위한 대상 좌표(T')를 검출하고, 제 2 현미경 모듈(130)을 통해 대상 좌표(T')에서 세포 내 액틴에 대한 이미지를 획득할 수 있다. 여기서, 연계형 현미경 시스템(100)은 나노미터 수준에서 대상 좌표(T')를 검출할 수 있다. 이를 통해, 제 1 현미경 모듈(120)이 플레이트(110)로부터 매우 높은 해상도로 세포 내 액틴을 촬영할 수 있을 뿐 아니라, 제 2 현미경 모듈(130)도 플레이트(110)로부터 세포 내 액틴을 촬영할 수 있다. 15 and 16, the linked microscope system 100 acquires an image of intracellular actin as shown in (a) through the first microscope module 120, and the second microscope module As shown in (b) through (130), an image of intracellular actin can be obtained. Here, the first microscope module 120 may be an ultra-high resolution fluorescence microscope (STORM), and the second microscope module 130 may be a scanning electron microscope (SEM). At this time, the linked microscope system 100 calculates the target coordinate (T') for the second microscope module 130 from the reference coordinate (T) of the intracellular actin detected through the first microscope module 120 within a few seconds. After detection, an image of intracellular actin may be obtained at the target coordinate T'through the second microscope module 130. Here, the linked microscope system 100 may detect the target coordinate T'at the nanometer level. Through this, not only the first microscope module 120 can photograph intracellular actin from the plate 110 at a very high resolution, but the second microscope module 130 can also photograph the intracellular actin from the plate 110. .

다양한 실시예들에 따르면, 연계형 현미경 시스템(100)은 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130)을 통해, 세포의 동일한 위치를 촬영할 수 있다. 즉 연계형 현미경 시스템(100)은 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130)을 통해, 효과적인 연계형 이미징을 수행할 수 있다. 이 때 연계형 현미경 시스템(100)은 제 1 정점 좌표(A, B, C)들과 제 2 정점 좌표(A', B', C')들을 기반으로 선형 좌표 변환을 통해, 기준 좌표(T)로부터 대상 좌표(T')를 검출하기 때문에, 제 1 현미경 모듈(120)과 제 2 현미경 모듈(130) 각각에 놓이는 플레이트(110)의 위치나 방향과 관계 없이, 빠르고 정확하게 대상 좌표(T')를 검출할 수 있다. 여기서, 연계형 현미경 시스템(100)은 마이크로미터 수준, 나아가 나노미터 수준에서, 빠르고 정확하게 대상 좌표(T')를 검출할 수 있다. 이에 따라, 연계형 현미경 시스템(100)은 초고해상도 연계형 이미징을 수행할 수 있다. According to various embodiments, the linked microscope system 100 may capture the same location of cells through the first microscope module 120 and the second microscope module 130. That is, the linked microscope system 100 may perform effective linked imaging through the first microscope module 120 and the second microscope module 130. At this time, the linked microscope system 100 is based on the first vertex coordinates (A, B, C) and the second vertex coordinates (A', B', C') through linear coordinate transformation, the reference coordinate (T ) From the target coordinate (T'), regardless of the position or direction of the plate 110 placed on each of the first microscope module 120 and the second microscope module 130, the target coordinate T' ) Can be detected. Here, the linked microscope system 100 can quickly and accurately detect the target coordinate T'at the micrometer level, further at the nanometer level. Accordingly, the linked microscope system 100 may perform ultra-high resolution linked imaging.

아울러, 플레이트(110)를 위해 일반적인 재료, 예컨대 슬라이드 글라스 또는 커버 글라스 중 적어도 어느 하나가 이용될 수 있다. 뿐만 아니라, 플레이트(110)를 위해 모따기와 같은 간단한 제조 공정이 적용될 수 있다. 즉 연계형 현미경 시스템(100)에 이용하기 위한 플레이트(110)를 위해 특수한 처리가 요구되지 않는다. 이로 인해, 연계형 현미경 시스템(100)을 구현하기 위해 고가의 재료 비용이나 공정 비용이 필요로 되지 않을 수 있다. In addition, for the plate 110, at least one of a general material such as a slide glass or a cover glass may be used. In addition, a simple manufacturing process such as a chamfer may be applied for the plate 110. That is, no special treatment is required for the plate 110 for use in the linked microscope system 100. For this reason, expensive material cost or process cost may not be required to implement the linked microscope system 100.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.Various embodiments of the present document and terms used therein are not intended to limit the technology described in this document to a specific embodiment, and should be understood to include various modifications, equivalents, and/or substitutes of the corresponding embodiment. In connection with the description of the drawings, similar reference numerals may be used for similar components. Singular expressions may include plural expressions unless the context clearly indicates otherwise. In this document, expressions such as "A or B", "at least one of A and/or B", "A, B or C" or "at least one of A, B and/or C" are all of the items listed together. It can include possible combinations. Expressions such as "first", "second", "first" or "second" can modify the corresponding elements regardless of their order or importance, and are only used to distinguish one element from another. It does not limit the components. When any (eg, first) component is referred to as being “connected (functionally or communicatively)” or “connected” to another (eg, second) component, the component is It may be directly connected to the component, or may be connected through another component (eg, a third component).

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다. The term "module" used in this document includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic blocks, parts, or circuits. The module may be an integrally configured component or a minimum unit that performs one or more functions, or a part thereof. For example, the module may be configured as an application-specific integrated circuit (ASIC).

다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다. According to various embodiments, each component (eg, module or program) of the described components may include a singular number or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of constituent elements (eg, a module or program) may be integrated into one constituent element. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to integration. According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. , Or one or more other actions may be added.

Claims (15)

제 1 현미경 모듈과 제 2 현미경 모듈을 갖는 연계형 현미경 시스템의 동작 방법에 있어서,
상기 제 1 현미경 모듈을 통해, 네 개의 정점들을 포함하는 사각의 평면을 갖는 육면체로 제조되고, 상기 정점들 중 어느 하나에 인접하여 모따기된 플레이트로부터 상기 정점들 중 나머지에 대해 제 1 정점 좌표들을 검출하는 동작;
상기 제 2 현미경 모듈을 통해, 상기 플레이트로부터 상기 정점들 중 나머지에 대해 제 2 정점 좌표들을 검출하는 동작; 및
상기 제 1 정점 좌표들과 상기 제 2 정점 좌표들을 기반으로, 상기 플레이트 상에서 상기 제 2 현미경 모듈을 통해 촬영하기 위한 적어도 하나의 대상 좌표를 검출하는 동작을 포함하는 방법.
In the operating method of the linked microscope system having a first microscope module and a second microscope module,
Through the first microscope module, the first vertex coordinates are detected for the rest of the vertices from a plate made of a hexahedron having a rectangular plane including four vertices and chamfered adjacent to any one of the vertices. Action;
Detecting second vertex coordinates for the rest of the vertices from the plate through the second microscope module; And
And detecting at least one target coordinate for photographing through the second microscope module on the plate based on the first vertex coordinates and the second vertex coordinates.
 제 1 항에 있어서,
상기 제 1 현미경 모듈을 통해, 상기 제 1 정점 좌표들을 기반으로 상기 평면 내측의 샘플과 관련된 적어도 하나의 기준 좌표를 검출하는 동작을 더 포함하는 방법.
The method of claim 1,
The method further comprising detecting, through the first microscope module, at least one reference coordinate related to the sample inside the plane based on the first vertex coordinates.
 제 2 항에 있어서, 상기 대상 좌표 검출 동작은,
상기 제 1 정점 좌표들과 상기 제 2 정점 좌표들을 기반으로 선형 좌표 변환을 수행하여, 상기 기준 좌표로부터 상기 대상 좌표를 검출하는 동작을 포함하는 방법.
The method of claim 2, wherein the target coordinate detection operation,
And detecting the target coordinate from the reference coordinate by performing linear coordinate transformation based on the first vertex coordinates and the second vertex coordinates.
 제 2 항에 있어서, 상기 기준 좌표 검출 동작은,
상기 제 1 현미경 모듈을 통해, 상기 샘플을 촬영하면서, 상기 기준 좌표를 검출하는 동작을 포함하는 방법.
The method of claim 2, wherein the reference coordinate detection operation comprises:
And detecting the reference coordinate while photographing the sample through the first microscope module.
 제 2 항에 있어서,
상기 제 2 현미경 모듈을 통해, 상기 플레이트 상에서 상기 대상 좌표로부터 상기 샘플을 촬영하는 동작을 더 포함하는 방법.
The method of claim 2,
The method further comprising taking the sample from the target coordinate on the plate through the second microscope module.
 제 1 항에 있어서, 상기 대상 좌표 검출 동작은,
상기 제 1 정점 좌표들로부터 검출되는 두 개의 제 1 모서리 벡터들과 상기 제 2 정점 좌표들로부터 검출되는 두 개의 제 2 모서리 벡터들을 이용하여, 상기 선형 좌표 변환을 수행하는 동작을 포함하는 방법.
The method of claim 1, wherein the target coordinate detection operation comprises:
And performing the linear coordinate transformation using two first corner vectors detected from the first vertex coordinates and two second corner vectors detected from the second vertex coordinates.
 제 1 항에 있어서,
상기 제 1 현미경 모듈은 광학 현미경이고,
상기 제 2 현미경 모듈은 전자 현미경인 방법.
The method of claim 1,
The first microscope module is an optical microscope,
The second microscope module is an electron microscope method.
 제 1 항에 있어서,
상기 플레이트는 슬라이드 글라스 또는 커버 글라스 중 적어도 어느 하나를 포함하는 방법.
The method of claim 1,
The plate is a method comprising at least one of a slide glass or a cover glass.
 연계형 현미경 시스템에 있어서,
네 개의 정점들을 포함하는 사각의 평면을 갖는 육면체로 제조되고, 상기 정점들 중 어느 하나에 인접하여 모따기된 플레이트 내측의 샘플을 각각 촬영하도록 구성되는 제 1 현미경 모듈과 제 2 현미경 모듈; 및
상기 제 1 현미경 모듈과 상기 제 2 현미경 모듈이 상기 플레이트 내측에서 동일한 위치를 촬영하도록 상기 위치를 검출하도록 구성되는 프로세서를 포함하고,
상기 프로세서는,
상기 제 1 현미경 모듈을 통해, 상기 플레이트로부터 상기 정점들 중 나머지에 대해 제 1 정점 좌표들을 검출하고,
상기 제 2 현미경 모듈을 통해, 상기 플레이트로부터 상기 정점들 중 나머지에 대해 제 2 정점 좌표들을 검출하고,
상기 제 1 정점 좌표들과 상기 제 2 정점 좌표들을 기반으로, 상기 플레이트 상에서 상기 제 2 현미경 모듈을 통해 촬영하기 위한 적어도 하나의 대상 좌표를 검출하도록 구성되는 시스템.
In the linked microscope system,
A first microscope module and a second microscope module made of a hexahedron having a quadrangular plane including four vertices and configured to photograph a sample inside the plate chamfered adjacent to any one of the vertices, respectively; And
And a processor configured to detect the position so that the first microscope module and the second microscope module photograph the same position inside the plate,
The processor,
Through the first microscope module, detecting first vertex coordinates for the rest of the vertices from the plate,
Through the second microscope module, detecting second vertex coordinates for the rest of the vertices from the plate,
A system configured to detect at least one target coordinate for imaging through the second microscope module on the plate, based on the first vertex coordinates and the second vertex coordinates.
 제 9 항에 있어서, 상기 프로세서는,
상기 제 1 현미경 모듈을 통해, 상기 샘플을 촬영하면서, 상기 제 1 정점 좌표들을 기반으로 상기 평면 내측의 샘플과 관련된 적어도 하나의 기준 좌표를 검출하도록 구성되는 시스템.
The method of claim 9, wherein the processor,
A system configured to detect at least one reference coordinate associated with the sample inside the plane based on the first vertex coordinates while photographing the sample through the first microscope module.
 제 10 항에 있어서, 상기 프로세서는,
상기 제 1 정점 좌표들과 상기 제 2 정점 좌표들을 기반으로 선형 좌표 변환을 수행하여, 상기 기준 좌표로부터 상기 대상 좌표를 검출하도록 구성되는 시스템.
The method of claim 10, wherein the processor,
A system configured to detect the target coordinate from the reference coordinate by performing a linear coordinate transformation based on the first vertex coordinates and the second vertex coordinates.
 제 10 항에 있어서, 상기 프로세서는,
상기 제 2 현미경 모듈을 통해, 상기 플레이트 상에서 상기 대상 좌표로부터 상기 샘플을 촬영하도록 구성되는 시스템.
The method of claim 10, wherein the processor,
A system configured to photograph the sample from the target coordinates on the plate, via the second microscope module.
 제 9 항에 있어서, 상기 프로세서는,
상기 제 1 정점 좌표들로부터 검출되는 두 개의 제 1 모서리 벡터들과 상기 제 2 정점 좌표들로부터 검출되는 두 개의 제 2 모서리 벡터들을 이용하여, 상기 선형 좌표 변환을 수행하도록 구성되는 시스템.
The method of claim 9, wherein the processor,
The system configured to perform the linear coordinate transformation using two first corner vectors detected from the first vertex coordinates and two second corner vectors detected from the second vertex coordinates.
 제 9 항에 있어서,
상기 제 1 현미경 모듈은 광학 현미경이고,
상기 제 2 현미경 모듈은 전자 현미경인 시스템.
The method of claim 9,
The first microscope module is an optical microscope,
The second microscope module is an electron microscope system.
 제 9 항에 있어서,
상기 플레이트는 슬라이드 글라스 또는 커버 글라스 중 적어도 어느 하나를 포함하는 시스템.The method of claim 9,
The plate is a system comprising at least one of a slide glass or a cover glass.
KR1020190147440A 2019-11-18 2019-11-18 System for co-location tracking of correlative microscopy and opeation method thereof KR102280538B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190147440A KR102280538B1 (en) 2019-11-18 2019-11-18 System for co-location tracking of correlative microscopy and opeation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190147440A KR102280538B1 (en) 2019-11-18 2019-11-18 System for co-location tracking of correlative microscopy and opeation method thereof

Publications (2)

Publication Number Publication Date
KR20210059973A true KR20210059973A (en) 2021-05-26
KR102280538B1 KR102280538B1 (en) 2021-07-22

Family

ID=76137815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190147440A KR102280538B1 (en) 2019-11-18 2019-11-18 System for co-location tracking of correlative microscopy and opeation method thereof

Country Status (1)

Country Link
KR (1) KR102280538B1 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075011A (en) * 1999-09-07 2001-03-23 Asahi Optical Co Ltd Stereoscopic microscope
JP2001078229A (en) * 1999-09-03 2001-03-23 Asahi Optical Co Ltd Video type stereoscopic microscope
JP2002512384A (en) * 1998-04-21 2002-04-23 ライカ ミクロジュステムス ヴェツラー ゲーエムベーハー Method for measuring position of pattern structure on mask surface
JP2005181312A (en) * 2003-12-19 2005-07-07 Palo Alto Research Center Inc Coordinate conversion method from scanner image coordinates of rare cell into microscope coordinates using reticle mark on sample medium
JP2010522872A (en) * 2007-03-28 2010-07-08 エス．オー．アイ．テック シリコン オン インシュレーター テクノロジーズ Substrate surface defect inspection method and apparatus
KR20100094295A (en) * 2009-02-17 2010-08-26 (주)글로벌 텍 Apparatus for inspecting glass edge and method for inspecting glass edge using thereof
JP2012018814A (en) * 2010-07-08 2012-01-26 Keyence Corp Magnification observation device and method, magnification observation program and computer-readable recording medium
US20140055851A1 (en) * 2012-08-16 2014-02-27 Carl Zeiss Microscopy Gmbh Laser scanning microscope
KR101672336B1 (en) * 2014-08-05 2016-11-04 한국기초과학지원연구원 Correlative microscopy of light microscope and electron microscope using a work station comprising sample holder for cryogenic electron microscopy for correlative imaging detection apparatus in combination of optical microscopy and electron microscopy or correlative imaging detection including said work station
JP2017067746A (en) * 2015-10-01 2017-04-06 学校法人 中村産業学園 Correlation microscope

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002512384A (en) * 1998-04-21 2002-04-23 ライカ ミクロジュステムス ヴェツラー ゲーエムベーハー Method for measuring position of pattern structure on mask surface
JP2001078229A (en) * 1999-09-03 2001-03-23 Asahi Optical Co Ltd Video type stereoscopic microscope
JP2001075011A (en) * 1999-09-07 2001-03-23 Asahi Optical Co Ltd Stereoscopic microscope
JP2005181312A (en) * 2003-12-19 2005-07-07 Palo Alto Research Center Inc Coordinate conversion method from scanner image coordinates of rare cell into microscope coordinates using reticle mark on sample medium
JP2010522872A (en) * 2007-03-28 2010-07-08 エス．オー．アイ．テック シリコン オン インシュレーター テクノロジーズ Substrate surface defect inspection method and apparatus
KR20100094295A (en) * 2009-02-17 2010-08-26 (주)글로벌 텍 Apparatus for inspecting glass edge and method for inspecting glass edge using thereof
JP2012018814A (en) * 2010-07-08 2012-01-26 Keyence Corp Magnification observation device and method, magnification observation program and computer-readable recording medium
US20140055851A1 (en) * 2012-08-16 2014-02-27 Carl Zeiss Microscopy Gmbh Laser scanning microscope
KR101672336B1 (en) * 2014-08-05 2016-11-04 한국기초과학지원연구원 Correlative microscopy of light microscope and electron microscope using a work station comprising sample holder for cryogenic electron microscopy for correlative imaging detection apparatus in combination of optical microscopy and electron microscopy or correlative imaging detection including said work station
JP2017067746A (en) * 2015-10-01 2017-04-06 学校法人 中村産業学園 Correlation microscope

Also Published As

Publication number Publication date
KR102280538B1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
Tiwari et al. Assessment of high speed imaging systems for 2D and 3D deformation measurements: methodology development and validation
US10809515B2 (en) Observation method and specimen observation apparatus
KR101868379B1 (en) System, method and computer program product for classification within inspection images
KR102096136B1 (en) Tuning wafer inspection recipes using precise defect locations
WO2014061372A1 (en) Image-processing device, image-processing method, and image-processing program
EP3328065B1 (en) Dual-camera focusing method and apparatus, and terminal device
KR20150131047A (en) Referencing in multi-acquisition slide imaging
WO2013161384A1 (en) Image processing system, image processing method, and image processing program
JPWO2008053649A1 (en) Wide-angle image acquisition method and wide-angle stereo camera device
US8914754B2 (en) Database-driven cell-to-cell reticle inspection
KR102280538B1 (en) System for co-location tracking of correlative microscopy and opeation method thereof
US20160063307A1 (en) Image acquisition device and control method therefor
US8164058B2 (en) Specimen observation method
JP2023526176A (en) Image enhancement for multi-layer structures in charged particle beam inspection
US10475198B2 (en) Microscope system and specimen observation method
KR20230003051A (en) Image alignment for noisy images
JP2013187012A (en) Image processing apparatus of scanning electron microscope, and scanning method
CN108955562B (en) Digital extension method and system for microscopic depth of field of microscopic vision system
US9721371B2 (en) Systems and methods for stitching metallographic and stereoscopic images
JP2014149381A (en) Image acquisition apparatus and image acquisition method
JP2023538706A (en) Fusion-based digital image correlation framework for performing distortion measurements
EP2383600A1 (en) Method, apparatus, and computer program product for focus prediction
AU2013273789A1 (en) Thickness estimation for Microscopy
Zhang et al. 3D multispectral imaging system for contamination detection
JP2012004664A (en) Image processing system, inspection equipment, image processing method, and image processing program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right