KR102522160B1 - 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템 - Google Patents
광학적 관측을 통한 입자의 분석 방법 및 분석 시스템 Download PDFInfo
- Publication number
- KR102522160B1 KR102522160B1 KR1020210081114A KR20210081114A KR102522160B1 KR 102522160 B1 KR102522160 B1 KR 102522160B1 KR 1020210081114 A KR1020210081114 A KR 1020210081114A KR 20210081114 A KR20210081114 A KR 20210081114A KR 102522160 B1 KR102522160 B1 KR 102522160B1
- Authority
- KR
- South Korea
- Prior art keywords
- analysis
- particle
- frame
- particles
- schedule table
- Prior art date
Links
- 239000002245 particle Substances 0.000 title claims abstract description 359
- 238000004458 analytical method Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 114
- 230000003287 optical effect Effects 0.000 title description 26
- 238000001514 detection method Methods 0.000 title description 4
- 230000008569 process Effects 0.000 claims description 74
- 230000006870 function Effects 0.000 claims description 55
- 238000005259 measurement Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000010191 image analysis Methods 0.000 claims description 26
- 238000013515 script Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 18
- 230000005653 Brownian motion process Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 10
- 238000005537 brownian motion Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 8
- 238000002360 preparation method Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000009795 derivation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000001962 electrophoresis Methods 0.000 description 3
- 239000002105 nanoparticle Substances 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000004513 sizing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 235000013870 dimethyl polysiloxane Nutrition 0.000 description 2
- 239000004205 dimethyl polysiloxane Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001089 thermophoresis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- CXQXSVUQTKDNFP-UHFFFAOYSA-N octamethyltrisiloxane Chemical compound C[Si](C)(C)O[Si](C)(C)O[Si](C)(C)C CXQXSVUQTKDNFP-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004987 plasma desorption mass spectroscopy Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0211—Investigating a scatter or diffraction pattern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0211—Investigating a scatter or diffraction pattern
- G01N2015/0222—Investigating a scatter or diffraction pattern from dynamic light scattering, e.g. photon correlation spectroscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N2015/0238—Single particle scatter
Landscapes
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Dispersion Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
입자가 촬영된 연속적인 이미지를 개별입자의 여러가지 특성을 입자 추적 분석 법을 통해 분석할 때, 매 프레임간 서로 다른 촬영 조건을 가지는 조건에서 입자 추적 분석 법이 올바를 결과를 도출 할 수 있도록 발전시킨 분석 방법 및 연산 체계가 개시된다.
Description
본 발명은 광학적 관측을 통해 높은 정확도로 개별 입자 특성 값을 분석하기 위한 입자의 분석 방법 및 분석 시스템에 관한 것이다.
개별 입자들에 여러 파장의 빛을 조광할 경우 입자들의 다양한 산란광 및 형광 신호가 발생하고, 이들 신호에 의한 이미지를 연속하여 얻어 상기 개별 입자가 지닌 다양한 물리적, 생화학적 특성의 분석이 가능해진다.
일반적인 광학적 개별 입자 분석 법은 분석하고자 하는 입자들을 바닥에 부착시키는 과정이 선행되어야 한다. 이 경우 분석 과정에서 상기 입자들 각각이 지닌 바닥에 대한 부착 능력이라는 미지의 변수가 추가된다. 상기 미지의 변수로 인해 특정 집단 내에 포함된 입자들의 수에 대한 정확한 정량 분석이 어려워진다. 이에, 보다 정확한 값을 얻기 위해서는 다른 대조군을 설정하고 상기 대조군의 결과값에 대한 상대 비교를 통해 입자의 결과치를 간접적으로 추정할 수 밖에 없다.
대조군 없이 입자의 크기와 갯수를 광학적으로 정량하는 대표적인 개별 입자 분석 방법으로 입자 추적법(particle tracking analysis)이 있다. 입자 추적법은 부유하고 있는 입자를 연속적으로 촬영하고, 매 이미지 프레임마다 발견된 개별 입자들에 대한 프레임간 동일성 검증을 통하여 이동 경로를 추적하고, 동일성이 있다고 판단되는 입자들을 촬영된 순서대로 연결하여 취급한다.
입자 추적법은 분석하고자 하는 입자의 크기에 영향을 받는다.
모든 부유하고있는 입자는 브라운 운동을 하고 있다. 입자 추적법은 시간의 흐름에 따라 이 브라운 운동의 정도를 측정함으로써 Stokes-einstein공식을 통하여 입자의 직경을 구해낸다. 그러나 브라운 운동은 예측 불가능 하며 입자의 크기에 반비례 하기 때문에 1000 nm 이하의 직경을 갖는 나노 입자를 연속된 이미지 상에서 추적해야하는 상황에서 입자가 보다 작아질 경우 브라운 운동이 더욱 커져 입자 추적법이 시행되기에 기술적으로 난해한 점이 발생한다.
입자 추적법이 바람직하게 실행되어 보다 작은 입자를 정확하게 측정하기 위해 최적의 촬영 조건의 선택이 선행 되어야한다.
우선적으로 고려되야 하는 바는, 상기 입자 추적법의 적중률에 가장 큰 영향을 끼치는 물리량 중 하나는 이미지 픽셀당 진입하는 광자의 수가 될 수 있다. 상기 광자가 부족할 경우 노이즈 대비 신호강도(SNR)가 낮아 입자의 위치 정확도가 감소하거나 나아가 입자의 존재 자체를 알아챌 수 없다. 이렇게 위치 정확도가 감소할 경우 입자의 크기 측정의 정확도가 감소하고, 결과적으로 입자를 화면 상에 인지하지 못한다면 입자의 수량을 오판할 수 있다. 특히, 의약이나 바이오 분야에서 형광을 마킹한 입자를 대상으로 할 때 형광의 경우 산란광에 비해 매우 적은 광자로 인하여 긴 노출시간이 강제되는 것이 일반적이다. 이때 충분한 양의 광자를 받아들인다고 하여도 긴 노출 시간 동안 발생한 모션블러로 인하여 다시 입자 위치의 정밀도가 감소하게 된다.
한편, 입자 추적에서 얻어낼 수 있는 입자 특성 값들의 정확도와 신뢰도는 위와 같이 다양한 촬영 조건에 따라 달라진다. 또한, 주어진 이미지상에서 신뢰도를 극대화하기 위하여 분석 매개 변수 또한 촬영 조건에 따라 달라지게 된다. 이때 하나의 이미지 시퀀스가 동일한 촬영 조건하에서 촬영된 것이 아니라 여러 촬영 조건을 가지는 이미지가 시계열적으로 연속적으로 배치되어 있는 경우라면 분석이 더욱 난해해진다.
종래 광학적으로 입자를 분석하기 위한 다양한 기술적 접근 방법이 제안된 바 있다.
특허문헌 1의 산란광(을 이용한 입자 추적 분석 방법을 개시하고 있다. 상기 방법은 나노 입자가 분산된 현탁액에 레이저를 조사한 후 산란광의 이미지 분석을 통한 입자 추적(PTA)법을 이용한 분석을 개시하고 있다. 이러한 방법은 산란광만을 측정하고 있어, 상기 언급한 광자에 대한 인지가 부족하여 정확한 입자 분석을 이룰 수 없다.
이를 보완하기 위해, 제시한 특허문헌 2의 기술은 광원으로 산란광원 하나와 형광광원 하나를 광원 시퀀스 테이블에 적용하여 나노 입자의 브라운 운동에 따른 입자 궤적 분석을 통한 입자 분석을 제시하고 있다. 이 방법은 특정 입자가 아닌 이미지 정보에 나타난 모든 입자들에 대한 개별 분석이 동시 다발적으로 수행할 수 있다는 장점이 있으나, 광원 시퀀스 테이블에 따른 여러 촬영 조건 하에서 촬영을 수행하고 있어, 상기 언급한 촬영 조건에 따른 입자 특성 값들의 정확도와 신뢰도를 충분히 확보할 수 없다.
일반적인 광학적 개별 입자 분석 법은 분석하고자 하는 입자들을 바닥에 부착시키는 과정이 선행되어야 한다. 이 경우 분석 과정에서 상기 입자들 각각이 지닌 바닥에 대한 부착 능력이라는 미지의 변수가 추가된다. 상기 미지의 변수로 인해 특정 집단 내에 포함된 입자들의 수에 대한 정확한 정량 분석이 어려워진다. 이에, 보다 정확한 값을 얻기 위해서는 다른 대조군을 설정하고 상기 대조군의 결과값에 대한 상대 비교를 통해 입자의 결과치를 간접적으로 추정할 수 밖에 없다.
대조군 없이 입자의 크기와 갯수를 광학적으로 정량하는 대표적인 개별 입자 분석 방법으로 입자 추적법(particle tracking analysis)이 있다. 입자 추적법은 부유하고 있는 입자를 연속적으로 촬영하고, 매 이미지 프레임마다 발견된 개별 입자들에 대한 프레임간 동일성 검증을 통하여 이동 경로를 추적하고, 동일성이 있다고 판단되는 입자들을 촬영된 순서대로 연결하여 취급한다.
입자 추적법은 분석하고자 하는 입자의 크기에 영향을 받는다.
모든 부유하고있는 입자는 브라운 운동을 하고 있다. 입자 추적법은 시간의 흐름에 따라 이 브라운 운동의 정도를 측정함으로써 Stokes-einstein공식을 통하여 입자의 직경을 구해낸다. 그러나 브라운 운동은 예측 불가능 하며 입자의 크기에 반비례 하기 때문에 1000 nm 이하의 직경을 갖는 나노 입자를 연속된 이미지 상에서 추적해야하는 상황에서 입자가 보다 작아질 경우 브라운 운동이 더욱 커져 입자 추적법이 시행되기에 기술적으로 난해한 점이 발생한다.
입자 추적법이 바람직하게 실행되어 보다 작은 입자를 정확하게 측정하기 위해 최적의 촬영 조건의 선택이 선행 되어야한다.
우선적으로 고려되야 하는 바는, 상기 입자 추적법의 적중률에 가장 큰 영향을 끼치는 물리량 중 하나는 이미지 픽셀당 진입하는 광자의 수가 될 수 있다. 상기 광자가 부족할 경우 노이즈 대비 신호강도(SNR)가 낮아 입자의 위치 정확도가 감소하거나 나아가 입자의 존재 자체를 알아챌 수 없다. 이렇게 위치 정확도가 감소할 경우 입자의 크기 측정의 정확도가 감소하고, 결과적으로 입자를 화면 상에 인지하지 못한다면 입자의 수량을 오판할 수 있다. 특히, 의약이나 바이오 분야에서 형광을 마킹한 입자를 대상으로 할 때 형광의 경우 산란광에 비해 매우 적은 광자로 인하여 긴 노출시간이 강제되는 것이 일반적이다. 이때 충분한 양의 광자를 받아들인다고 하여도 긴 노출 시간 동안 발생한 모션블러로 인하여 다시 입자 위치의 정밀도가 감소하게 된다.
한편, 입자 추적에서 얻어낼 수 있는 입자 특성 값들의 정확도와 신뢰도는 위와 같이 다양한 촬영 조건에 따라 달라진다. 또한, 주어진 이미지상에서 신뢰도를 극대화하기 위하여 분석 매개 변수 또한 촬영 조건에 따라 달라지게 된다. 이때 하나의 이미지 시퀀스가 동일한 촬영 조건하에서 촬영된 것이 아니라 여러 촬영 조건을 가지는 이미지가 시계열적으로 연속적으로 배치되어 있는 경우라면 분석이 더욱 난해해진다.
종래 광학적으로 입자를 분석하기 위한 다양한 기술적 접근 방법이 제안된 바 있다.
특허문헌 1의 산란광(을 이용한 입자 추적 분석 방법을 개시하고 있다. 상기 방법은 나노 입자가 분산된 현탁액에 레이저를 조사한 후 산란광의 이미지 분석을 통한 입자 추적(PTA)법을 이용한 분석을 개시하고 있다. 이러한 방법은 산란광만을 측정하고 있어, 상기 언급한 광자에 대한 인지가 부족하여 정확한 입자 분석을 이룰 수 없다.
이를 보완하기 위해, 제시한 특허문헌 2의 기술은 광원으로 산란광원 하나와 형광광원 하나를 광원 시퀀스 테이블에 적용하여 나노 입자의 브라운 운동에 따른 입자 궤적 분석을 통한 입자 분석을 제시하고 있다. 이 방법은 특정 입자가 아닌 이미지 정보에 나타난 모든 입자들에 대한 개별 분석이 동시 다발적으로 수행할 수 있다는 장점이 있으나, 광원 시퀀스 테이블에 따른 여러 촬영 조건 하에서 촬영을 수행하고 있어, 상기 언급한 촬영 조건에 따른 입자 특성 값들의 정확도와 신뢰도를 충분히 확보할 수 없다.
삭제
삭제
삭제
본 발명은 기존의 입자 추적 분석법에서 발생하는 여러 착오 및 오차 문제를 해소하기 위해, 연속 촬영을 수행하여 이미지 픽셀당 진입하는 광자의 수를 늘리고, 이미지를 시계열적으로 연속 배치하되, 상기 촬영시 적용되는 알고리즘과 환경 변수, 그리고 각 단계별로 사용될 유효한 측정치를 사전에 정의하고, 매 프레임별로 분석 방법이 작동하는 거동을 다르게 할 경우 입자 추적 분석법이 올바른 결과를 도출할 수 있다는 아이디어로 연구를 수행하였다.
그 결과, 이미지의 매 프레임마다 다른 촬영 조건으로 촬영하여 이미지들로부터 입자를 인식하고, 매 이미지 마다 얻어내고자 하는 측정치들을 다르게 설정하여 입자의 추론된 특성 값들에 발생할 수 있는 오차 및 착오들을 최소화하고 정밀도를 극대화 할 수 있었다.
이에 본 발명은 광학적 관측을 통해 높은 정확도로 개별 입자 특성 값을 분석하기 위한 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템을 제공하는 것을 목적으로 한다.
그 결과, 이미지의 매 프레임마다 다른 촬영 조건으로 촬영하여 이미지들로부터 입자를 인식하고, 매 이미지 마다 얻어내고자 하는 측정치들을 다르게 설정하여 입자의 추론된 특성 값들에 발생할 수 있는 오차 및 착오들을 최소화하고 정밀도를 극대화 할 수 있었다.
이에 본 발명은 광학적 관측을 통해 높은 정확도로 개별 입자 특성 값을 분석하기 위한 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템을 제공하는 것을 목적으로 한다.
과제의 해결 수단으로서 본 발명에 따른 입자 분석 시스템은,
분석 대상 입자가 주입되어 있는 샘플 수용부;
상기 샘플 수용부가 올려져 있는 샘플 거치부;
상기 샘플 수용부에 빛을 조사하기 위해 하나 이상의 광원을 구비한 광원부;
상기 광원부에 의해 광 조사 후 연속된 이미지 프레임을 얻기 위한 촬영부;
상기 광원부에서 출력하는 빛의 파장과 밝기를 제어하기 위한 제어부; 및
상기 촬영부를 통해 얻어진 이미지 정보를 분석하여 개별 입자를 분석하기 위한 분석 수단;을 포함한다.
상기 분석 수단은,
사용자의 명령을 받을 수 있는 입력 장치;
촬영될 이미지의 매 프레임별로 사용자가 의도하는 촬영 조건과 분석 옵션을 포함하는 프레임별 스케쥴표를 다른 장치가 인식할 수 있는 형태로 번역하기 위한 유저 인터페이스;
촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 포함하는 프레임별 스케쥴표가 저장된 메모리;
상기 촬영부 및 제어부와 통신하기 위한 장치 인터페이스; 및
상기 촬영부로부터 제공받은 이미지 정보에 대한 분석처리를 수행하는 처리 프로세서를 포함한다.
이때, 상기 처리 프로세서는,
입자들의 위치 및 밝기를 특정하여 원시 관측 데이터를 생성하기 위한 이미지 처리부;
시간 변화에 대한 입자의 이동 궤적을 추적하여, 상기 원시 관측 데이터를 통해 촬영된 프레임 상의 다른 입자와 비교하여 동일성 검증을 위한 궤적 추적부; 및
상기 궤적 추적부가 제공하는 궤적 데이터로부터 각 입자별 대표 특성 값을 그래프, 표 또는 수치의 단위계를 갖는 값으로 변환하기 위한 궤적 분석부;를 포함한다.
상기 촬영부는 1개 이상의 카메라를 구비한다.
상기 촬영부가 2개 이상의 카메라를 구비할 경우 상기 카메라들은 카메라의 종류, 입사되는 빛의 파장, 센서 픽셀간 간격, 총 픽셀수, 촬상면에 사영되는 되는 이미지의 배율, 사전 설정된 센서의 비닝이 적어도 하나 이상 일치하지 않도록 구현될 수 있고, 각각 별도의 촬영 옵션 스케쥴표를 가질 수 있다.
또한, 본 발명에 따른 입자 분석 방법은,
(A) 분석 대상 입자 샘플을 샘플 거치부에 거치한 후 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 유저 인터페이스의 입력 장치에 입력하는 촬영 준비 단계;
(B) 상기 촬영 옵션 스케쥴표에 의해 광원을 호출 후 촬영 시간을 제어하여 연속된 이미지 프레임을 얻는 촬영 단계; 및
(C) 상기 촬영 단계에서 얻어진 연속된 이미지 프레임을 분석 옵션 스케쥴표에 따라 개별 및 전체 입자의 특성을 분석하는 분석 단계;를 포함한다.
상기 분석 단계(C)는
연속된 이미지의 각 프레임별로 분석에 사용된 알고리즘 및 분석 인자를 포함하는 분석 옵션 스케쥴표를 선정하는 단계;
상기 분석 옵션 스케쥴표를 이미지 분석 및 입자 추적 스크립트에 적용하는 단계;
상기 스크립트에 의해 기 촬영된 각 이미지 프레임에 대한 분석 함수 및 매개 변수를 적용하여 이미지 분석을 통해 원시 관측 데이터를 얻는 단계;
상기 원시 관측 데이터로부터 입자 추적 과정을 실행하여 동일 입자로 간주된 경우들끼리 묶어 개별 입자 추적 데이터를 얻는 단계; 및
상기 얻어진 개별 입자 추적 데이터를 모아 전체 입자의 정보를 얻는 단계;를 포함한다.
상기 촬영 옵션 스케쥴표는 촬영부가 2개 이상의 카메라를 구비한 경우 카메라 간의 기기 성능 차이와 환경 변수의 차이를 상쇄시켜 일관된 데이터를 얻기 위한 보정 함수 및 보정치가 입력된다.
상기 촬영 옵션 스케쥴표보다 많은 이미지를 찍도록 명령을 받을 경우 처음으로 돌아가서 동일한 스케쥴을 반복하여 잔여 촬영 매수를 채울 때까지 촬영을 수행한다.
상기 분석 옵션 스케쥴표는 스크립트의 각 단계마다 사용할 함수, 함수의 입력값 그리고 함수의 결과물을 각 이미지 프레임마다 다르게 적용가능하도록 연속하여 기입되어 있다.
상기 분석 옵션 스케쥴표는 상기의 일련의 스크립트의 특정한 단계에 속하는 분석 과정 전반 혹은 임의의 시점에서 특정한 함수를 호출할 때, 상기의 일련의 스크립트가 진행되는 과정에 발생하는 중간 산출값들 중 어떤 값들을 입력데이터로 사용할 것인가를 프레임 별로 지정한 환경 변수를 포함한다.
상기 분석 옵션 스케쥴표는 실행되어야 하는 단계, 실행할 함수의 핸들, 도출하고자 하는 값의 명칭, 함수에서 사용될 프레임의 리스트의 묶음으로 이루어진 추가 명령과 다수의 추가 명령을 기록한 추가 명령란을 포함한다.
상기 분석 옵션 스케쥴표는 유저 인터페이스를 통해 자동으로 작성 및 배치되고, 정의되지 않은 분석 인자 및 측정이 난해하거나 결과를 신뢰하기 어려운 입자 거동을 감지하여 최적의 거동과 환경 변수를 자동으로 배치하고, 분석 옵션에 따라 일부 또는 전체적으로 서로 다른 알고리즘을 적용한다.
상기 일련의 스크립트가 각 단계마다 다른 함수와 알고리즘을 이용하더라도 매 단계에서 다음 단계가 바람직하게 실행되기 위해 필요로 하는 일관된 구조의 데이터를 생성하고, 함수의 구현 형태에 따라 상기의 구조를 만족시키지 못할 시, 예외 처리를 요구하는 표시를 데이터에 명시하거나 예외 처리가 필요한 프레임과 그 값의 명칭, 그리고 예외 처리 방식을 기록한 표를 포함한다.
상기 스크립트는 상기 분석 옵션 스케쥴표를 참조 할 때 상기 추가 명령란을 받고, 상기 추가 명령의 실행되어야 하는 단계가 스크립트의 현재 단계가 일치 할 때 상기 추가 명령을 실행한다.
상기 이미지 분석은 분석 옵션 스케쥴표에 의거하여 프레임별 이미지에서 도출되는 잠정적 입자들의 ID, 위치 및 밝기 값을 포함하는 입자의 정보를 각각의 채널로 분리하여 원시 관측 데이터를 생성한다.
상기 입자 추적 분석은 원시 관측 데이터에서 매 프레임마다 입자의 형상, 밝기, 위치를 고려하여 가장 확률적으로 높은 입자의 쌍을 선택하여 동일한 입자로 간주하고, 동일 입자로 간주된 잠정적 입자들의 측정치의 묶음에 동일한 입자 ID를 재부여하고, 상기 동일한 ID를 갖는 입자에 대한 측정값을 연결하여 입자별 입자 추적 데이터를 생성한다.
상기 전체 입자의 정보는 입자 크기, 입자 수, 입자 농도, 및 브라운 운동 궤적, 상기 추가 명령의 결과 값 중에서 선택된 1종 이상을 동시에 얻는다.
분석 대상 입자가 주입되어 있는 샘플 수용부;
상기 샘플 수용부가 올려져 있는 샘플 거치부;
상기 샘플 수용부에 빛을 조사하기 위해 하나 이상의 광원을 구비한 광원부;
상기 광원부에 의해 광 조사 후 연속된 이미지 프레임을 얻기 위한 촬영부;
상기 광원부에서 출력하는 빛의 파장과 밝기를 제어하기 위한 제어부; 및
상기 촬영부를 통해 얻어진 이미지 정보를 분석하여 개별 입자를 분석하기 위한 분석 수단;을 포함한다.
상기 분석 수단은,
사용자의 명령을 받을 수 있는 입력 장치;
촬영될 이미지의 매 프레임별로 사용자가 의도하는 촬영 조건과 분석 옵션을 포함하는 프레임별 스케쥴표를 다른 장치가 인식할 수 있는 형태로 번역하기 위한 유저 인터페이스;
촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 포함하는 프레임별 스케쥴표가 저장된 메모리;
상기 촬영부 및 제어부와 통신하기 위한 장치 인터페이스; 및
상기 촬영부로부터 제공받은 이미지 정보에 대한 분석처리를 수행하는 처리 프로세서를 포함한다.
이때, 상기 처리 프로세서는,
입자들의 위치 및 밝기를 특정하여 원시 관측 데이터를 생성하기 위한 이미지 처리부;
시간 변화에 대한 입자의 이동 궤적을 추적하여, 상기 원시 관측 데이터를 통해 촬영된 프레임 상의 다른 입자와 비교하여 동일성 검증을 위한 궤적 추적부; 및
상기 궤적 추적부가 제공하는 궤적 데이터로부터 각 입자별 대표 특성 값을 그래프, 표 또는 수치의 단위계를 갖는 값으로 변환하기 위한 궤적 분석부;를 포함한다.
상기 촬영부는 1개 이상의 카메라를 구비한다.
상기 촬영부가 2개 이상의 카메라를 구비할 경우 상기 카메라들은 카메라의 종류, 입사되는 빛의 파장, 센서 픽셀간 간격, 총 픽셀수, 촬상면에 사영되는 되는 이미지의 배율, 사전 설정된 센서의 비닝이 적어도 하나 이상 일치하지 않도록 구현될 수 있고, 각각 별도의 촬영 옵션 스케쥴표를 가질 수 있다.
또한, 본 발명에 따른 입자 분석 방법은,
(A) 분석 대상 입자 샘플을 샘플 거치부에 거치한 후 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 유저 인터페이스의 입력 장치에 입력하는 촬영 준비 단계;
(B) 상기 촬영 옵션 스케쥴표에 의해 광원을 호출 후 촬영 시간을 제어하여 연속된 이미지 프레임을 얻는 촬영 단계; 및
(C) 상기 촬영 단계에서 얻어진 연속된 이미지 프레임을 분석 옵션 스케쥴표에 따라 개별 및 전체 입자의 특성을 분석하는 분석 단계;를 포함한다.
상기 분석 단계(C)는
연속된 이미지의 각 프레임별로 분석에 사용된 알고리즘 및 분석 인자를 포함하는 분석 옵션 스케쥴표를 선정하는 단계;
상기 분석 옵션 스케쥴표를 이미지 분석 및 입자 추적 스크립트에 적용하는 단계;
상기 스크립트에 의해 기 촬영된 각 이미지 프레임에 대한 분석 함수 및 매개 변수를 적용하여 이미지 분석을 통해 원시 관측 데이터를 얻는 단계;
상기 원시 관측 데이터로부터 입자 추적 과정을 실행하여 동일 입자로 간주된 경우들끼리 묶어 개별 입자 추적 데이터를 얻는 단계; 및
상기 얻어진 개별 입자 추적 데이터를 모아 전체 입자의 정보를 얻는 단계;를 포함한다.
상기 촬영 옵션 스케쥴표는 촬영부가 2개 이상의 카메라를 구비한 경우 카메라 간의 기기 성능 차이와 환경 변수의 차이를 상쇄시켜 일관된 데이터를 얻기 위한 보정 함수 및 보정치가 입력된다.
상기 촬영 옵션 스케쥴표보다 많은 이미지를 찍도록 명령을 받을 경우 처음으로 돌아가서 동일한 스케쥴을 반복하여 잔여 촬영 매수를 채울 때까지 촬영을 수행한다.
상기 분석 옵션 스케쥴표는 스크립트의 각 단계마다 사용할 함수, 함수의 입력값 그리고 함수의 결과물을 각 이미지 프레임마다 다르게 적용가능하도록 연속하여 기입되어 있다.
상기 분석 옵션 스케쥴표는 상기의 일련의 스크립트의 특정한 단계에 속하는 분석 과정 전반 혹은 임의의 시점에서 특정한 함수를 호출할 때, 상기의 일련의 스크립트가 진행되는 과정에 발생하는 중간 산출값들 중 어떤 값들을 입력데이터로 사용할 것인가를 프레임 별로 지정한 환경 변수를 포함한다.
상기 분석 옵션 스케쥴표는 실행되어야 하는 단계, 실행할 함수의 핸들, 도출하고자 하는 값의 명칭, 함수에서 사용될 프레임의 리스트의 묶음으로 이루어진 추가 명령과 다수의 추가 명령을 기록한 추가 명령란을 포함한다.
상기 분석 옵션 스케쥴표는 유저 인터페이스를 통해 자동으로 작성 및 배치되고, 정의되지 않은 분석 인자 및 측정이 난해하거나 결과를 신뢰하기 어려운 입자 거동을 감지하여 최적의 거동과 환경 변수를 자동으로 배치하고, 분석 옵션에 따라 일부 또는 전체적으로 서로 다른 알고리즘을 적용한다.
상기 일련의 스크립트가 각 단계마다 다른 함수와 알고리즘을 이용하더라도 매 단계에서 다음 단계가 바람직하게 실행되기 위해 필요로 하는 일관된 구조의 데이터를 생성하고, 함수의 구현 형태에 따라 상기의 구조를 만족시키지 못할 시, 예외 처리를 요구하는 표시를 데이터에 명시하거나 예외 처리가 필요한 프레임과 그 값의 명칭, 그리고 예외 처리 방식을 기록한 표를 포함한다.
상기 스크립트는 상기 분석 옵션 스케쥴표를 참조 할 때 상기 추가 명령란을 받고, 상기 추가 명령의 실행되어야 하는 단계가 스크립트의 현재 단계가 일치 할 때 상기 추가 명령을 실행한다.
상기 이미지 분석은 분석 옵션 스케쥴표에 의거하여 프레임별 이미지에서 도출되는 잠정적 입자들의 ID, 위치 및 밝기 값을 포함하는 입자의 정보를 각각의 채널로 분리하여 원시 관측 데이터를 생성한다.
상기 입자 추적 분석은 원시 관측 데이터에서 매 프레임마다 입자의 형상, 밝기, 위치를 고려하여 가장 확률적으로 높은 입자의 쌍을 선택하여 동일한 입자로 간주하고, 동일 입자로 간주된 잠정적 입자들의 측정치의 묶음에 동일한 입자 ID를 재부여하고, 상기 동일한 ID를 갖는 입자에 대한 측정값을 연결하여 입자별 입자 추적 데이터를 생성한다.
상기 전체 입자의 정보는 입자 크기, 입자 수, 입자 농도, 및 브라운 운동 궤적, 상기 추가 명령의 결과 값 중에서 선택된 1종 이상을 동시에 얻는다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명에 따른 방법 및 이를 구현하기 위한 시스템은 측정 대상인 부유하는 입자의 공간적 및 광학적 정보를 통해 수학적, 물리적, 생화학적 특성의 분석 및 도출을 높은 정확도로 측정 가능하다.
구체적으로, 적용되는 알고리즘과 환경 변수, 그리고 각 단계별로 사용될 유효한 측정치 및 중간 산출값을 사전에 정의하고, 이미지의 매 프레임마다 다른 촬영 조건으로 촬영하여 이미지들로부터 입자를 인식하고, 매 프레임별로 분석 방법이 작동하는 거동을 달리하여, 입자 추적 분석법을 통해 얻어지는 특성 값들에 발생할 수 있는 오차 및 착오들을 최소화하고 정밀도를 극대화 할 수 있었다. 이러한 방법 및 시스템은, 기존의 입자 추적 분석법에서 발생하는 여러 착오 및 오차 문제를 해소할 수 있다.
상기 분석 시스템은 분석 수단 내 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 포함하는 프레임별 스케쥴표를 갖고, 유저 인터페이스부를 통해 복수의 특정 이미지에서의 측정치에 대한 임의의 값으로의 설정 혹은 배제를 명령받을 수 있고, 이를 통해 측정치를 임의로 설정함으로써 입자 농도나 다음 이미지에서의 위치를 오판 하는 것을 미연에 방지하거나, 입자의 각 형광/산란광 별 밝기와 입자의 크기에 정확도를 감소시킬 수 있는 측정치를 선택 배제할 수 있다.
또한, 분석 과정에서 필요 없는 측정치를 얻어내기 위한 연산을 생략하거나, 필요 없는 측정치에 대한 정확도를 희생하면서 다른 측정치의 정밀도와 연산 속도를 높일 수 있는 다른 알고리즘을 적용할 수 있게 하여 분석 소요시간을 줄일 수 있다.
또한, 본 발명에 따른 방법 및 시스템은 입자 관측 및 분석 시스템을 통해 관측된 개별 입자가 가지고 있는 2개 이상의 서로 다른 형광 물질의 유무를 판독 할 수 있으며, 이미지 상에 관측된 모든 입자에 대하여 동시 다발적인 정량 분석이 가능하다. 이때 수집된 개별 입자들의 형광 물질 유무의 정보를 통해 역으로 특정 형광 물질을 갖고 있는 입자가 전체 촬영 이미지 당 등장할 확률로부터 역산하여 해당 입자가 전체 입자에서 차지하는 비중을 알 수 있고, 특정 형광 물질을 갖는 다수의 입자가 소집단을 이룰 때 이러한 비중을 합함을 통해 상기 입자 집단에 속하는 입자들이 단위 부피 당 몇개가 존재하는지 정량할 수 있다. 이 때 분석 옵션 스케쥴표의 적용으로 특정 형광 물질을 갖고있는 입자의 수량을 보다 정확하게 측정할 수 있다.
더불어, 시계열적으로 반복된 촬영을 통해 추적된 입자의 궤적으로부터 해당 입자의 크기를 측정할 수 있으며, 추가 명령을 통해 분석 대상 입자 샘플에 전기영동, Dielectric phoresis, Thermophoresis 및 진동을 가하여 외력이 가해졌을 때 변화하는 개별 입자의 궤적의 변화를 추적하고 분석함으로써 각 외력에 연관된 해당 입자의 다양한 물리적 특성을 분석할 수 있다.
구체적으로, 적용되는 알고리즘과 환경 변수, 그리고 각 단계별로 사용될 유효한 측정치 및 중간 산출값을 사전에 정의하고, 이미지의 매 프레임마다 다른 촬영 조건으로 촬영하여 이미지들로부터 입자를 인식하고, 매 프레임별로 분석 방법이 작동하는 거동을 달리하여, 입자 추적 분석법을 통해 얻어지는 특성 값들에 발생할 수 있는 오차 및 착오들을 최소화하고 정밀도를 극대화 할 수 있었다. 이러한 방법 및 시스템은, 기존의 입자 추적 분석법에서 발생하는 여러 착오 및 오차 문제를 해소할 수 있다.
상기 분석 시스템은 분석 수단 내 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 포함하는 프레임별 스케쥴표를 갖고, 유저 인터페이스부를 통해 복수의 특정 이미지에서의 측정치에 대한 임의의 값으로의 설정 혹은 배제를 명령받을 수 있고, 이를 통해 측정치를 임의로 설정함으로써 입자 농도나 다음 이미지에서의 위치를 오판 하는 것을 미연에 방지하거나, 입자의 각 형광/산란광 별 밝기와 입자의 크기에 정확도를 감소시킬 수 있는 측정치를 선택 배제할 수 있다.
또한, 분석 과정에서 필요 없는 측정치를 얻어내기 위한 연산을 생략하거나, 필요 없는 측정치에 대한 정확도를 희생하면서 다른 측정치의 정밀도와 연산 속도를 높일 수 있는 다른 알고리즘을 적용할 수 있게 하여 분석 소요시간을 줄일 수 있다.
또한, 본 발명에 따른 방법 및 시스템은 입자 관측 및 분석 시스템을 통해 관측된 개별 입자가 가지고 있는 2개 이상의 서로 다른 형광 물질의 유무를 판독 할 수 있으며, 이미지 상에 관측된 모든 입자에 대하여 동시 다발적인 정량 분석이 가능하다. 이때 수집된 개별 입자들의 형광 물질 유무의 정보를 통해 역으로 특정 형광 물질을 갖고 있는 입자가 전체 촬영 이미지 당 등장할 확률로부터 역산하여 해당 입자가 전체 입자에서 차지하는 비중을 알 수 있고, 특정 형광 물질을 갖는 다수의 입자가 소집단을 이룰 때 이러한 비중을 합함을 통해 상기 입자 집단에 속하는 입자들이 단위 부피 당 몇개가 존재하는지 정량할 수 있다. 이 때 분석 옵션 스케쥴표의 적용으로 특정 형광 물질을 갖고있는 입자의 수량을 보다 정확하게 측정할 수 있다.
더불어, 시계열적으로 반복된 촬영을 통해 추적된 입자의 궤적으로부터 해당 입자의 크기를 측정할 수 있으며, 추가 명령을 통해 분석 대상 입자 샘플에 전기영동, Dielectric phoresis, Thermophoresis 및 진동을 가하여 외력이 가해졌을 때 변화하는 개별 입자의 궤적의 변화를 추적하고 분석함으로써 각 외력에 연관된 해당 입자의 다양한 물리적 특성을 분석할 수 있다.
삭제
삭제
삭제
삭제
삭제
삭제
도 1은 본 발명의 실시예에 따른 입자 분석 장치의 개략적인 구성도이다.
도 2는 본 발명의 분석 과정의 전체적인 흐름을 개략 도시한 흐름도이다.
도 3은 촬영 단계(S20)에서 획득된 연속 이미지와 프레임별 스케쥴표(T10)을 가지고 분석 단계(S30)에서 수행되는 일련의 입자 분석 과정에 적용되는 흐름도이다.
도 4는 촬영 옵션 스케쥴표(T11) 및 분석 옵션 스케쥴표(T12)를 포함하는 프레임별 스케쥴표(T10)의 예시이다.
도 5는 촬영 단계(S20)에서 촬영 옵션 스케쥴표(T11)에 지정된 순으로 제어부(102)에 의해 수행되는 일련의 촬영 수행 과정의 예시이다.
도 6은 이미지 분석 단계(S32)에서 예시의 이미지 정보(T13)를 프레임별로 분석할 때 반영되는 분석 옵션을 도 4의 분석 옵션 스케쥴표(T12)에서 발췌한 것과 해당 분석 옵션이 반영된 원시 관측 데이터(T14)의 예시이다
도 7은 도 6의 원시 관측 데이터(T14)을 가지고 입자 추적법을 수행할 때 반영되는 분석 옵션 스케쥴표(T12)의 항목과 해당 추적법을 시행한 결과인 입자 추적 데이터(T15)의 예시이다
도 8은 도 6의 입자 추적 데이터(T15)에서 최종 출력 값을 도출하기 위하여 사용되는 엄선 데이터 테이블(T16, T17)을 만드는 과정에서 반영되는 분석 옵션 스케쥴표(T12)의 항목들과 각각의 옵션들이 반영 되었을 때 산출 과정에서 유효하거나 유효하지 않게 취급하는 입자 추적 데이터(T15) 상의 값들을 표시한 예시이다.
도 9는 서로 다른 프레임에서 발견된 입자들의 이미지가 서로 다른 잡음 대비 신호를 갖고 있는지 대조하기 위한 발췌 이미지와 실제 분석 과정에서 결과로 출력되는 입자의 좌표의 오차 범위를 표시한 이미지이다.
도 10은 본 기술상의 분석 옵션을 사용하였을 때와 그렇지 않았을 때 산출과정에서 반영되는 입자 측정 이벤트를 시계열적으로 보여주는 그림과 결과적으로 산출되는 입자 갯수 값의 차이를 대조하는 예시 도식이다.
도 2는 본 발명의 분석 과정의 전체적인 흐름을 개략 도시한 흐름도이다.
도 3은 촬영 단계(S20)에서 획득된 연속 이미지와 프레임별 스케쥴표(T10)을 가지고 분석 단계(S30)에서 수행되는 일련의 입자 분석 과정에 적용되는 흐름도이다.
도 4는 촬영 옵션 스케쥴표(T11) 및 분석 옵션 스케쥴표(T12)를 포함하는 프레임별 스케쥴표(T10)의 예시이다.
도 5는 촬영 단계(S20)에서 촬영 옵션 스케쥴표(T11)에 지정된 순으로 제어부(102)에 의해 수행되는 일련의 촬영 수행 과정의 예시이다.
도 6은 이미지 분석 단계(S32)에서 예시의 이미지 정보(T13)를 프레임별로 분석할 때 반영되는 분석 옵션을 도 4의 분석 옵션 스케쥴표(T12)에서 발췌한 것과 해당 분석 옵션이 반영된 원시 관측 데이터(T14)의 예시이다
도 7은 도 6의 원시 관측 데이터(T14)을 가지고 입자 추적법을 수행할 때 반영되는 분석 옵션 스케쥴표(T12)의 항목과 해당 추적법을 시행한 결과인 입자 추적 데이터(T15)의 예시이다
도 8은 도 6의 입자 추적 데이터(T15)에서 최종 출력 값을 도출하기 위하여 사용되는 엄선 데이터 테이블(T16, T17)을 만드는 과정에서 반영되는 분석 옵션 스케쥴표(T12)의 항목들과 각각의 옵션들이 반영 되었을 때 산출 과정에서 유효하거나 유효하지 않게 취급하는 입자 추적 데이터(T15) 상의 값들을 표시한 예시이다.
도 9는 서로 다른 프레임에서 발견된 입자들의 이미지가 서로 다른 잡음 대비 신호를 갖고 있는지 대조하기 위한 발췌 이미지와 실제 분석 과정에서 결과로 출력되는 입자의 좌표의 오차 범위를 표시한 이미지이다.
도 10은 본 기술상의 분석 옵션을 사용하였을 때와 그렇지 않았을 때 산출과정에서 반영되는 입자 측정 이벤트를 시계열적으로 보여주는 그림과 결과적으로 산출되는 입자 갯수 값의 차이를 대조하는 예시 도식이다.
여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않음을 밝혀둔다.
도 1은 본 발명의 실시예에 따른 입자 분석 장치를 개략적으로 도시한 개략 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 입자의 광학적 관측 및 분석을 위한 입자 분석 시스템(100)은, 분석 대상 입자가 주입되어 있는 샘플 수용부(130); 상기 샘플 수용부(130)가 올려져 있는 샘플 거치부(103); 상기 샘플 수용부(130)에 빛을 조사하기 위해 하나 이상의 광원을 구비한 광원부(101); 상기 광원부(101)에 의해 광 조사 후 연속된 이미지 프레임을 얻기 위한 촬영부(105); 상기 광원부(105)에서 출력하는 빛의 파장과 밝기를 제어하기 위한 제어부(102); 및 상기 촬영부(105)를 통해 얻어진 이미지 정보를 분석하여 개별 입자를 분석하기 위한 분석 수단(106);을 포함한다. 상기 예시된 구성 요소에 국한되어 구현되는 것은 아니며, 필요에 따라 다른 구성 요소들을 더 포함할 수 있다.
입자 분석 시스템(100)의 구성을 좀 더 구체적으로 살펴보기로 한다.
광원부(101)는 입자 샘플을 향하여 빛을 조사하는 하나 이상의 광원(110)을 포함한다. 광원(110)은 외부 전기신호에 의해 온/오프(ON/OFF) 되며, 제어부(102)의 통제에 따라 상기 샘플 거치부(103)를 향하여 조사되는 빛의 색을 바꿀 수 있도록 구성된다. 광원(110)은 예를 들어, 0.05 초 이내에 턴 온 또는 턴 오프되는 빠른 응답성을 갖는 발광다이오드 또는 레이저 발생기일 수 있다.
하나 이상의 광원(110)들이 같은 지점을 조광하도록 광원(110)과 상기 샘플 거치부(103) 사이의 광경로 상에는 광 가이드(112)가 설치될 수 있다. 광 가이드(112)는 광경로를 샘플 거치부(103)의 위치나 입자 샘플에 따라 원하는 형태로 수정 또는 교정할 수 있도록 구성될 수 있다. 예를 들어, 거울, 프리즘 혹은 색선별 거울(Dichroic mirror) 등일 수 있다.
광경로를 상기 샘플 거치부(103)의 위치나 입자 샘플에 따라 원하는 형태로 수정 또는 교정할 수 있도록, 광 가이드(112)와 샘플 거치부(103) 사이를 광섬유를 이용하여 유연하게 연결하는 방안이 고려될 수 있다. 물론 이에 국한되는 것은 아니다.
광원부(101)는 또한, 광 가이드(112)를 통과한 빛의 세기를 증가시켜 샘플 거치대를 향하여 조사시키는 집광수단(114)을 더 포함할 수 있으며, 상기 집광수단(114)은 볼록렌즈일 수 있다.
빠른 시간(0.05 초 이내)에 턴 온 또는 턴 오프가 구현되지 않는 광원(110)을 사용하는 경우에는 모터가 달린 교정장치를 통해 광원(110)을 목표지점에 도달하거나 도달하지 못하도록 통제하는 방법이 고려될 수 있다. 상기 광원부(101) 전체를 0.05 초 이내에 파장을 바꿀 수 있을 정도로 빠른 응답속도를 보장하는 모노크로메이터(Monochromator)로 대체할 수도 있다.
샘플 거치부(103)는 분석 대상 입자 샘플(P)을 수용하며 광원부(101)의 빛이 투과되어 입자 샘플에 조사될 수 있도록 구성된다. 상기 샘플 거치부(103)는 바람직하게, 내부의 유체 채널(부호 생략)에 입자 샘플을 수용한다. 이때 광원(110)의 빛이 투과되어 입자 샘플에 조사될 수 있도록 투명한 물질, 예를 들어 쿼츠, 유리, PDMS(Polydimethyl siloxane) 등으로 제작된 샘플 수용부(130)를 포함한다.
샘플 거치부(103)는 또한, 샘플 수용부(130) 내 유체 채널 내에서 입자 샘플이 일정한 유속을 가지고 거동할 수 있도록 일정한 압력 또는 유량을 가하는 펌프(132)를 포함할 수 있다. 그리고 샘플 수용부(130)를 탑재하며 광원부(101)에 대한 상기 샘플 수용부(130)의 위치를 임의로 조정할 수 있도록 수동 및 전자식으로 조작 가능한 기구 또는 기계적인 구성을 갖는 도시하지 않는 스테이지를 포함할 수 있다.
광원(110)에서 조사되고 입자 샘플(P)에서 반사된 빛은 중간에 상기 이미징 광학계(104)를 통해 촬영부(105)에 제공될 수 있다. 이미징 광학계(104)는 바람직하게, 확대상(擴大像)을 만들기 위하여 입자 샘플에 반사된 빛이 입사되는 대물렌즈(140)와, 대물렌즈(140)를 통과한 빛이 상기 촬영부(105)의 올바른 위치에 상을 맺도록 유도하는 거울(142)을 포함할 수 있다.
거울은 경우에 따라 색선별 거울(Dichroic mirror)로 변경 또는 대체 될 수 있으며, 특정 파장을 차단하는 광학 필터(미도시)가 추가될 수 있다. 광학 필터는 도시하지 않았으나, 이미징 광학계(104)를 구성하는 상기 거울과 촬영부(105)를 구성하는 카메라 사이 또는 상기 대물렌즈(140)와 거울(142) 사이, 혹은 대물렌즈(140)와 샘플 거치대(103) 사이의 광경로 상에 배치될 수 있다.
촬영부(105)는 입자 샘플(P)에서 반사되고 상기 이미징 광학계(104)를 통해 입사되는 빛으로부터 입자 샘플의 물리적인 특성을 분석하는데 필요한 이미지 정보를 획득한다. 이와 같은 촬영부(105)는 바람직하게, 초당 1 프레임(Frame) 이상의 속도로 연속된 이미지 정보를 획득할 수 있는 카메라 및 카메라를 통해 획득된 이미지 정보를 저장하는 기록수단을 포함할 수 있다. 또한 촬영부(105)는 하나이상의 카메라를 포함할 수 있으며, 이를 구현하기 위하여 거울(142)는 서로 다른 곳에 위치한 카메라에 상을 맺게 하기 위하여 두개 이상 배치되거나, 색선별 거울(Dichroic mirror)로 투과광과 반사광의 상을 분기시키거나, 모터를 이용하여 촬영 타이밍에 맞춰 거울의 위치와 각도를 순차적으로 조절할 수 있다.
바람직하기로, 상기 촬영부(105)는 1개 이상의 카메라를 구비하고, 2개 이상의 카메라를 구비한 경우 상기 서로 같거나 다른 종류의 2개 이상의 카메라는 촬영 인자들 중 하나 이상이 서로 일치하지 않을 수 있고, 여기서 촬영 인자라 함은 센서 픽셀간 간격, 총 픽셀수, 촬상면에 사영되는 되는 이미지의 배율, 및 사전 설정된 센서의 비닝 등으로 정의되는 촬영 매개 변수 및 환경 변수들의 모임을 말하고, 이때 바람직하기로, 상기 촬영부(105)는 하나 이상의 촬영 인자가 일치하지 않을 경우 일관된 데이터를 얻기 위해 수행해야하는 보정 함수와 그 보정치를 입력한 촬영 옵션 스케쥴표(T11)를 포함하고, 경우에 따라 카메라 별로 분리된 복수의 촬영 옵션 스케쥴표를 포함하고, 이에 의거하여 촬영이 이루어진다.
제어부(102)의 주요 기능은 광원(110)이 출력하는 빛의 파장과 밝기를 제어하며 촬영부(105)에 이미지 정보를 획득을 위한 명령을 인가하는 것이다. 제어부(102)는 바람직하게, 분석수단(106)을 통해 입력되는 명령에 상응하는 제어 값을 결정하고, 결정된 제어 값으로 광원(110)이 출력하는 빛의 파장과 밝기를 시간에 따라 전환하며, 상기 전환이 완료된 시점마다 촬영부(105)에 촬영 명령을 인가한다.
제어부(102)에는 촬영부(105)의 카메라 셔터를 열고 닫게 하는 신호를 인가하는 도선(L1)과 각 광원(110) 소자에 광원(110)의 턴 온 또는 턴 오프를 통제할 수 있는 도선(L2)이 포함된다. 각 도선(L1, L2)은 2개 이상의 신호 출력이 가능하며 프로그램을 내장할 수 있는 FPGA보드와 연결될 수 있다. 이때 IC칩은 컴퓨터의 PCI 포트 및 이와 유사한 장소에 장착되는 보드 또는 칩으로 대체될 수 있다.
제어부(102)는 또한 상기 분석수단(106), 예를 들어 컴퓨터의 통제를 받을 수 있는 장치 인터페이스를 포함한다. 이에 따라 분석수단(106)을 통해 입력된 명령과 프레임별 촬영 옵션 스케쥴표(T11)는 인터페이스를 통해 제어부(102)에 전달되며, 제어부(102)가 입력 명령에 상응하는 제어 값으로 해당 도선을 통해 상기 광원부(101)와 촬영부(105) 각각에 제어 신호를 보냄으로써 광원(110)과 카메라 셔터 동작이 제어된다. 즉, 상기 제어부(102)는 분석 수단(106) 내 활영 옵션 스케쥴표(T11)에 의해 광원의 호출 및 노출 시간과, 촬영부(105)의 동작 시간을 제어한다.
분석수단(106)은 상기 촬영부(105)를 통해 획득된 이미지 정보를 수집하고, 수집된 이미지 정보로부터 입자 샘플을 구성하는 개별 입자의 수학적, 물리적, 생화학적 특성을 분석한다.
상기 분석수단(106)은 사용자의 명령을 받을 수 있는 입력 장치; 촬영될 이미지의 매 프레임별로 사용자가 의도하는 촬영 조건과 분석 옵션을 포함하는 프레임별 스케쥴표(T10)를 다른 장치가 인식할 수 있는 형태로 번역하기 위한 유저 인터페이스; 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 포함하는 상기 프레임별 스케쥴표가 저장된 메모리; 상기 촬영부(105) 및 제어부(102)와 통신하기 위한 장치 인터페이스; 및 상기 촬영부(105)로부터 제공받은 이미지 정보에 대한 분석을 수행하는 처리 프로세서를 포함한다.
프로세서는 이미지 정보에 대한 정확하고 효율적인 분석 처리를 위한 역할 분담을 위해 여러 개의 처리부를 포함할 수 있다. 여러 개의 처리부는 바람직하게, 입자들의 위치 및 밝기를 특정하여 원시 관측 데이터를 생성하기 위한 이미지 처리부(160); 상기 원시 관측 데이터(T14)를 통해 다른 시간대의 입자들간에 동일성 검증을 수행하고, 시간 변화에 대한 입자의 이동 궤적을 추적하는 궤적 추적부(162); 및 상기 궤적 추적부(162)가 제공하는 궤적 데이터로부터 각 입자별 대표 특성 값을 그래프 혹은 다른 측정장비와 비교할 수 있거나 공인될 수 있는 단위계를 갖는 수치 및 표로 변환하기 위한 궤적 분석부(164);를 포함한다.
이미지 처리부(160)는 구체적으로 상기한 촬영 옵션 스케쥴표(T11)에 따른 제어부(102)의 통제에 따라 촬영된 이미지 정보(연속된 이미지 프레임들)(T13)상에서 입자들로 추정되는 지점의 위치와 밝기, 형상 등의 광학적 정보(원시 관측 데이터)(T14)를 특정하여 기록하는 역할을 한다.
이 과정에서 분석 옵션 스케쥴표(T12)로부터 스케쥴표에 지정된 사용처와 현재 분석단계를 비교하여 사용이 필요하다고 판단된 분석 옵션들을 추출하고, 개별 프레임 별로 적용할 이미지 분석 방식과, 분석 알고리즘의 올바른 작동에 필요한 매개 변수, 그리고 얻어내고자 하는 원시 관측 데이터(T14)의 종류를 상기 추출한 분석 옵션으로부터 지정받아 각 프레임간에 서로 다른 과정을 거쳐 서로 다른 조합의 원시 관측 데이터(T14)를 생성한다. 여기서 "사용처"라고 함은 해당 옵션이 어떠한 결과 값을 얻어내는데 사용되는지 명기하거나, 적용되어야할 분석 단계가 명시되어있거나, 둘 다를 포함하는 문자열 데이터이다.
보다 자세하게는, 스케쥴표를 메모리에서 불러낸 후 불러낸 시점과 스케쥴표 상에 지정된 사용시점이 일치하는 옵션을 선택적으로 발췌하고, 프레임순에 따라 함수의 핸들, 분석 옵션에 적용될 매개 변수의 리스트를 배치한 벡터를 얻어내는 것을 공통적으로 수행하고, 실제 알고리즘의 구현 방식에 따라, 특정 프레임에 적용될 함수와 분석 매개 변수를 선택한 후 프레임 순서대로 분석을 반복 수행하거나, 다른 방법으로는 상기 함수와 분석 매개 변수의 순서 쌍이 모두 같은 프레임들끼리 분류 한 다음, 독립된 상기 순서 쌍의 가짓수만큼 반복하여 프레임을 묶음 단위로 처리하는 식으로 원시 관측 데이터를 생성할 수 있다.
이미지 처리부(160)가 탑재하고 있는 이미지 분석 방식이 2개 이상일 경우 도 4의 분석 옵션 스케쥴표(T12)에 표현된 지정 가능한 옵션에 국한되지 않고, 추가적인 옵션 열을 분석수단(106) 상에 제공해 주거나, 함수/입력값/출력값의 조합으로 명시된 분석 옵션을 이미지 처리부(160)가 전달 받을 수 있다.
원시 관측 데이터(T14)를 생성 후 분석 옵션 스케쥴표(T12)로부터 프레임마다 관측 값들이 대입될 채널이 서로 다르게 지정되어 있는 경우, 프레임별로 목표 채널을 지정 받고 해당 채널을 위해 할당된 데이터의 영역에 특정 유형의 값을 분리 수용한다. 상기 특정 유형의 값이 분리 수용이 대상인지 아닌지의 여부는 알고리즘에 의해 지정되거나 분석 옵션 스케쥴표(T12)에 의해 지정된다. 고용량 이미지 처리과정에서 발생하는 과부화 문제를 방지하기 위해 상기 채널별 관측 값의 분리 수용은 상기 원시 관측 데이터(T14)를 생성 직후 시점이 아닌 이어지는 일련의 분석 과정 중간에 이루어지도록 처리 시점이 조정될 수 있다.
궤적 추적부(162)는 프레임순으로 나열된 원시 관측 데이터(T14)를 가지고 각 입자의 위치를 가까운 시간대에 촬영된 다른 프레임 상의 입자와 비교하여 동일성을 검증한다. 필요한 경우 원본 이미지(T12)혹은 그것의 일부를 재호출 하여 동일성을 검증한다. 동일하다고 간주된 입자들끼리 연결하여 시간 의 흐름에 따른 프레임별 입자의 이동 궤적을 추적하고 연관된 원시 관측 데이터(T14) 또한 궤적 값과 병기하여 입자 추적 데이터(T15)를 반환한다.
상기 추적과정에서 현재 프레임이 추적 대상으로 지정되어 있는지를 분석 옵션 스케쥴표(T12)를 참조하여 확인하고, 추적 대상에 들어있지 않다면 상기한 프레임별 입자 궤적 값 병기를 사용하지 않고, 현재 대상 입자와의 상기 동일성 검증결과 상 가장 인접한 프레임에서의 동일 입자의 정보에 이어서 상기 현재 대상 입자의 원시 관측 데이터(T14)행을 이어 붙이고, 추후의 추적 과정에서는 상기 현재 대상 입자를 배제하여 모든 추적 과정이 끝날 때까지 참조하지 않는다. 궤적 추적부(162)가 다수의 추적 방법을 탑재하고 있는 경우 특정 프레임이 추적 대상에 지정 되어있는지 유무에 국한되지 않고, 어떠 추적 방법을 해당 프레임에 적용할 것인지를 입력 받을 수 있다.
그리고 궤적 분석부(164)는 상기 궤적 추적부(162)가 제공하는 궤적 데이터(T15)를 수학적, 물리적, 생화학적으로 의미 있는 값(입자별 도출 값)으로 변환한다. 여기서 의미 있는 값이라고 함은 다른 유사 장비에서의 측정 결과와 비교가 용이하게 스케일링 되어있는 임의의 단위의 값이거나, 일반적으로 공인되어 있는 표준 단위계로 차원이 일치되어 있는 값을 의미한다. 전술한 채널별 원시 관측값 분리 수용 과정은 이 시점 이전에 완료되어 있어야한다. 상기 변환과정은 구체적으로, 분석 옵션 스케쥴표(T12)에서 도출 인자를 추출하고, 여기서 도출 인자라 함은 사용자가 요구하는 도출값 및 해당 값을 도출하는 과정에 사용하도록 지정된 프레임 리스트를 포함하는 배열을 말하고, 개별 입자마다 도출 인자에 명기된 "사용 지정된 프레임"에서의 궤적 데이터를 제외한 부분을 누락 후 도출 과정에 필요한 측정치만 모은 엄선 데이터 테이블(T16)을 생성하고, 입자별로 상기 엄선 데이터 테이블을 참조하여 도출값을 얻어낸 후 유효한 입자의 수에 해당하는 길이를 갖는 도출값들의 배열을 얻어낸다.
2종 이상의 도출값을 출력해야 한다면 각 도출 인자에 대응되는 2종 이상의 엄선 데이터 테이블(T16, T17)을 각 입자별로 추출후, 도출값을 계산하는 함수를 호출하고, 개별 입자 별 도출값을 반환하고, 상기 함수 호출을 바꾸어 가면서 목적하는 도출값을 순차적으로 얻어내거나, 이에 국한되지 않고 단일 입자 단위로 부분적인 엄선 테이블 생성과 2종 이상의 도출값 계산을 끝내고, 모든 개별 입자에 대하여 동일한 과정을 반복 수행하는 것으로 대체될 수 있다.
계산된 개별 입자들의 도출값들로부터 각 입자의 특성을 표현하면서 보편적 단위계를 가지는 값으로 변환하고 이들을 데이터 베이스화 하여 이로부터 통계적인 방법을 통해 입자 샘플을 구성하는 입자들을 효과적으로 표현하는 그래프, 표 및 값들로 출력한다.
상기 촬영부(105)에 얻어지는 연속된 이미지 프레임들은 분석수단(106) 내 분석 옵션 스케쥴표(T12)에 의해 개별 입자의 정보를 담은 입자 추적 데이터(T15)를 디스플레이한다.
전술한 광학적 입자 분석 장치에 의해 수행되는 입자의 광학적 관측 및 분석 과정을 상기 입자 분석 장치의 작동과 연계하여 살펴보기로 한다.
제어부(102)의 프로그램은 도 1의 L1 도선을 통해 카메라를 통제하는 함수와 L2 도선을 통해 광원을 통제하는 함수를 내재하고 있으며, 두 장치의 동기화를 위하여 모든 신호의 시간에 따른 처리 단계를 제어부(102)에 내장된 클럭생성칩을 이용한 시간표지를 기준으로 설정한다.
도 2는 본 발명의 다른 측면에 따른 입자의 광학적 관측 및 분석 과정의 전체적인 흐름을 개략 도시한 흐름도이다.
도 2를 참조하면, 전술한 광학적 입자 분석 장치에 의해 수행되는 입자의 광학적 관측 및 분석 과정은 크게 세 개의 단계로 구분될 수 있다.
구체적으로,
(A) 분석 대상 입자 샘플을 샘플 거치부에 거치한 후 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 유저 인터페이스의 입력 장치에 입력하는 촬영 준비 단계;
(B) 상기 촬영 옵션 스케쥴표에 의해 광원을 호출 후 촬영 시간을 제어하여 연속된 이미지 프레임을 얻는 촬영 단계; 및
(C) 상기 촬영 단계에서 얻어진 연속된 이미지 프레임을 분석 옵션 스케쥴표에 따라 개별 및 전체 입자의 특성을 분석하는 분석 단계;를 포함한다.
이하 각 단계별로 상세히 설명한다.
(단계 A) 촬영 준비 단계
먼저, 촬영 준비 단계(S10)는 분석 대상 입자 샘플에 맞춰 제어 대상부(광원부, 촬영부)를 어떤 식으로 컨트롤할 것인지 정보를 입력하는 단계이며, 이때 프레임별 스케쥴표(T10)가 작성된다.
촬영 준비 단계(S10)는 바람직하게, 분석 대상 입자 샘플을 샘플 거치부(도 1의 103)에 거치하고, 광원의 호출 순서 및 노출 시간(발광 시간), 촬영 시간, 촬영 시 촬영 옵션 스케쥴표(T11)의 반복 주기 중 일부 또는 모든 정보를 포함하는 장치 작동 시퀀스 테이블을 작성하는 과정과, 작성 완료 후 본격적인 광학적 관측을 위한 촬영 명령을 입력하는 과정을 포함할 수 있다.
도 4는 촬영 옵션 스케쥴표(T11) 및 분석 옵션 스케쥴표(T12)를 포함하는 프레임별 스케쥴표(T10)의 예시이다.
도 4의 예시와 같이, 프레임별 스케쥴표(T10)는 촬영 옵션 스케쥴표(T11)과 분석 옵션 스케쥴표(T12)를 포함하고, 이들은 촬영 명령이 있기 전 시점까지 완성되어있다.
프레임별 스케쥴표(T10)은 가시적으로 도식화 하기 위하여 행은 서로다른 프레임, 열은 값의 사용처에 따라 적용될 매개 변수 값들을 배치하여 표시하였고 도 4의 예시에서는 n개의 행이 지정되어있다. 이러한 프레임별 스케쥴표(T10)의 형태는 상술한 바에 국한되지 않고 행과 열이 서로 바뀌거나, "사용처/분석/해당 프레임넘버"가 일정한 구분 기호를 포함하며 1차원적으로 열거된 문자열, "사용처/매개 변수/해당 설정을 공유하는 모든 프레임 넘버를 묶은 벡터"로 구성된 크기가 지정되지 않은 복합구조의 행렬, "사용처-매개 변수"의 계층구조가 설정한 프레임의 숫자만큼 열거되어 존재하는 구조체, 혹은 "사용처-매개 변수-해당 설정을 공유하는 모든 프레임"의 계층구조가 서로 다른 "사용처-매개 변수"의 조합만큼 존재하는 구조체로 대체될 수 있다. 여기서 매개 변수는 Y/N(true/false)의 이진 값이나, 작동 환경을 정의하는 문자열 및 숫자에 국한되지 않고 해당 사용처에서 사용할 함수의 핸들로 대체 될 수 있다.
상기 촬영 옵션 스케쥴표(T11)는 촬영부가 2개 이상의 카메라를 구비한 경우 촬영 인자의 차이를 보상하여 일관된 데이터를 얻기 위한 보정 함수 및 보정치가 입력된다.
상기 촬영 옵션 스케쥴표(T11)보다 많은 이미지를 찍도록 명령을 받을 경우 처음으로 돌아가서 동일한 스케쥴을 반복하여 잔여 촬영 매수를 채울 때까지 촬영을 수행한다.
상기 분석 옵션 스케쥴표(T12)는 스크립트의 각 단계마다 사용할 함수와 그 함수의 결과물을 각 이미지 프레임마다 다르게 적용가능하도록 연속하여 기입되어 있다.
상기 분석 옵션 스케쥴표(T12)는 상기의 일련의 스크립트의 특정한 단계에 속하는 거동 전반 혹은 임의의 단계에서 특정한 함수를 호출할 때, 상기의 일련의 스크립트가 진행되는 과정에 발생하는 중간 데이터들 중 어떤 값들이 이용될 것인가를 프레임 별로 지정한 매개 변수를 포함한다.
상기 분석 옵션 스케쥴표(T12)는 실행되어야 하는 단계, 실행할 함수의 핸들, 도출하고자 하는 값의 명칭, 함수에서 사용될 프레임의 리스트가 기입된 추가 명령을 수행한다.
상기 분석 옵션 스케쥴표(T12)는 유저 인터페이스를 통해 자동으로 작성 및 배치되고, 정의되지 않은 분석 인자 및 측정이 난해하거나 결과를 신뢰하기 어려운 입자 거동을 감지하여 최적의 알고리즘과 분석 매개 변수를 자동으로 찾고, 기 작성된 분석 옵션에 따라 일부 또는 전체적으로 서로 다른 분석 알고리즘을 적용한다.
상기 분석 옵션 스케쥴표(T12)는 촬영 도중에는 관여하지 않으나, 촬영 옵션 스케쥴표(T11)상에 누락된 부분이 있을 경우 최적의 값을 자동 대입하는 과정에서 참조될 수 있다. 이때 상기 분석 옵션 스케쥴표(T12)는 촬영 후 분석에 들어가기 이전 시점까지 임의로 수정될 수 있다.
만약, 이미지의 총 촬영 예정 프레임수가 촬영 옵션 스케쥴표(T11)의 프레임 수 보다 많으면 등록된 프레임 스케쥴을 모두 촬영한 후 다시 처음 프레임으로 돌아가서 촬영을 반복하도록 설정될 수 있다. 또한 분석 시스템 내 유저 인터페이스부를 통해 최대 몇 초 동안 촬영을 할 것인가 혹은 촬영 옵션 스케쥴표(T11)를 몇 주기 반복할 것인가를 나타내는 값을 사용자로부터 입력 받을 수 있다.
(단계 B) 촬영 단계
촬영 단계(S20)에서는 촬영 준비 단계(S10)의 마무리 시점에 입력된 촬영 명령에 따라 촬영 옵션 스케쥴표(T11)에 지정된 순으로 광원을 호출하고 작동 명령을 인가한다. 이에 호출된 광원의 노출 시간만큼 촬영 시간을 제어하여 광원 의 조합이 프레임간에 섞이지 않게 하여 한 프레임내에서는 독점적인 광원 조합이 사용되도록 하고, 개별 입자들이 서로 구분가능하게 분리되어 보이는 이미지 정보를 획득하고 획득된 이미지 정보를 저장한다.
도 5는 촬영 단계(S20)에서 촬영 옵션 스케쥴표(T11)에 지정된 순으로 제어부(102)에 의해 수행되는 일련의 촬영 수행 과정의 예시이다.
도 5에서, 촬영 옵션 스케쥴표(T11)의 첫 열은 차례이고 해당 차례에 따라 촬영 과정들이 수행된다. 차례의 총 숫자가 촬영하려는 총 프레임수와 같다면 차례는 곧 프레임수이지만, 촬영하려는 총 프레임수가 차례보다 많다면 제어부는 촬영 옵션 스케쥴(T11)의 1번 행으로 돌아가 같은 과정을 반복하기 때문에 해당 차례는 한 스케쥴 사이클 내에서 어떤 프레임 행을 참조했는지 만을 표시한다.
촬영 옵션 스케쥴표(T11)의 두번째 열은 어떤 광원을 사용할 것인지를 정의한다.
도 5에서의 예시에 국한되지 않고 한 프레임에 2개 이상의 광원을 사용하도록 설정할 수 있다. 3번째 열은 광원을 On 하는 시간을 설정한다. 4번째 열은 카메라의 세부 설정 값을 모아놓은 항이며, 이 항에는 사용할 카메라의 기종, 셔터를 여는 시간, Gain 등의 카메라의 작동에 필수적인 여러 매개 변수 및 환경 변수들을 포함한다. 또 5에서와 같이 프레임 별로 다양한 촬영 옵션들이 적용되어 있으며 실제 촬영 시 각 프레임이 서로 다른 광원과 촬영 조건을 따르면서 반복 촬영을 시행한다.
(단계 C) 분석 단계
분석 단계(S30)에서는, 전술한 촬영 단계(S20)에 획득된 샘플 입자에 대한 이미지 정보, 즉 연속된 이미지 프레임들(S31)로부터 분석 옵션 스케쥴표(T12)에 정의된 방법에 따라 개별 입자의 공간적, 광학적 정보를 물리적, 생화학적 정보로 분석 및 도출하기 위한 프로세스가 진행된다.
구체적으로, 상기 분석 단계(C)는
연속된 이미지의 각 프레임별로 분석에 사용된 알고리즘 및 분석 인자를 포함하는 분석 옵션 스케쥴표(T12)를 선정하는 단계;
상기 분석 옵션 스케쥴표(T12)를 이미지 분석 및 입자 추적 스크립트에 적용하는 단계;
상기 스크립트에 의해 기 촬영된 각 이미지 프레임에 대한 분석 함수 및 매개 변수를 적용하여 이미지 분석을 통해 원시 관측 데이터(T14)를 얻는 단계;
상기 원시 관측 데이터(T14)로부터 입자 추적 과정을 실행하여 동일 입자로 간주된 경우에 한해 개별 입자 추적 데이터(T15)를 생성하는 단계; 및
상기 얻어진 개별 입자 추적 데이터(T15)로부터 전체 입자의 정보를 얻는 단계;를 포함하여 수행한다.
본 분석 단계(S30)는 도 3, 도 6 내지 도 8에 의해 보다 상세히 설명될 수 있다.
도 3은 촬영 단계(S20)에서 획득된 이미지와 촬영 인자 정보를 가지고 분석 단계(S30)에서 수행되는 일련의 입자 분석 과정, 즉 데이터 가공 방법에 관한 흐름도이다.
상기 도 6 내지 도 8은 도 3에 도시된 흐름도에 따라 분석부(164)가 기록된 이미지를 분석하는 과정에 발생되는 중간 출력 데이터들이 서로 다른 분석 옵션(T12)을 가질 때 어떻게 결과물이 달라지는 지에 대한 예시를 보여준다. 이들을 참조하여 분석 단계(S30)에서 수행되는 데이터 가공 방법에 대해 구체적으로 살펴보기로 한다.
분석 옵션 스케쥴표 선정 및 스트립트 적용
먼저, 연속된 이미지의 각 프레임별로 분석에 사용된 알고리즘 및 분석 인자를 포함하는 분석 옵션 스케쥴표(T12)를 선정한 다음, 상기 분석 옵션 스케쥴표(T12)를 이미지 분석 및 입자 추적 스크립트에 적용한다.
구체적으로, 도 3을 참조하면, 사전에 프레임별 스케쥴표(T10)이 작성되어 있고, 분석 단계가 시작되면 이미지 버퍼에 기존에 촬영했던 이미지 데이터를 분석 부의 프로세서가 읽을 수 있도록 로드한다. 이와 동시에 분석수단(106)의 유저 인터페이스부는 프레임별 스케쥴표(T10)로부터 발췌한 분석 옵션 스케쥴표(T12)의 최종 검토 및 수정을 사용자에게 요구하고(S39), 상기 분석 옵션 스케쥴표(T12)가 확정되면 각 이미지 프레임별로 분석에 사용될 알고리즘(혹은 함수), 분석 인자(S33) 등을 이미지 분석 및 입자 추적 스크립트(S32)에 반환한다.
S33을 넘겨받은 스크립트는 S31로부터 받아온 이미지의 프레임 수에 대응되는 분석 함수와 인자를 S33 내에서 찾아내어 적용한 뒤 해당 프레임에서의 원시 관측 데이터(T14)를 출력한다.
S33의 스크립트는 이미지 분석 및 입자 추적 과정을 한번에 처리하는 것에 국한되지 않고 세부 과정들을 분리하여 진행할 수 있다.
도 6 내지 도 8을 참조하면서 다음에 서술하는 구체적인 분석 과정의 흐름을 보면, 이미지 분석과 입자 추적 과정이 명시적으로 분리되어 있다. 이들 도면을 통해, 분석 도중 중간 과정에서 발생하는 데이터들을 확인할 수 있으며, 채널별 데이터 분류가 이미지 분석 직후에 실행된다는 가정 하에 분석 과정의 데이터 흐름을 예시로서 알 수 있다.
이때 S33의 스크립트는 상기 일련의 스크립트가 각 단계마다 다른 함수와 알고리즘을 이용하더라도 매 단계에서 다음 단계가 바람직하게 실행되기 위해 필요로 하는 일관된 구조의 데이터를 생성하고, 함수의 구현 형태에 따라 상기의 구조를 만족시키지 못할 시, 예외 처리를 요구하는 표시를 데이터에 명시하거나 예외 처리가 필요한 프레임과 그 값의 명칭, 그리고 예외 처리 방식을 기록한 데이터를 포함한다.
이미지 분석
도 6은 이미지 분석 단계(S32)에서 예시의 이미지 정보(T13)를 프레임별로 분석할 때 반영되는 분석 옵션을 도 4의 분석 옵션 스케쥴표(T12)에서 발췌한 것과 해당 분석 옵션이 반영된 원시 관측 데이터(T14)의 예시이다.
구체적으로, 이미지 분석은 분석 옵션 스케쥴표(T12)에 의거하여 프레임별 이미지(T13)에서 도출되는 잠정적 입자의 정보를 각각의 채널로 분리하여 입력 한다. 상기 잠정적 입자의 정보는 잠정적 입자들의 ID(Identification), 위치 및 밝기 값일 수 있다.
도 6을 보면, 프레임별 이미지(T13)의 Frame 1은 분석 옵션 스케쥴표(T12)의 첫번째 행에 지정된 분석 옵션을 부여받아 이미지의 밝은 부분을 영역화하여 찾아내는 Peak detection 과정을 수행한다. 그 결과, 입자가 있을 것으로 추정되는 지점에 점선의 원이 그려져 있으며, 입자의 중심을 정확히 추정하는 알고리즘인 localization을 수행하게 되어 "+" 마크로 표시된 입자 추정 지점의 정확한 중심점을 명시할 수 있게 되었다. 또한, Intensity channel은 1번이 되도록 설정되어 측정된 입자 영역의 이미지 밝기 값이 측정되어 해당 밝기를 측정했다는 표식으로 원의 내부를 해당 채널에 맞는 구별 가능한 색으로 채워 넣었다.
상기한 명시 방법과 이것이 구현된 도식은 사용자 유저 인터페이스부의 설정에 따라 실제로 분석 과정 중에 열람할 수 있으나, 보통은 내재화 하여 유저 인터페이스부 상에 표시하지 않으므로 프레임별 이미지(T13)의 도식은 기술의 이해를 돕기 위해 도식화 되었다.
한편, 이미지 분석 끝에 원시 관측 데이터(T14)를 참조하면 Frame 1에 해당하는 영역에 이미지 분석 도중 발견된 잠정적 입자들의 ID와 정확한 위치, 그리고 밝기 값이 입자 당 하나의 행을 차지하도록 입력되어 있다. 밝기 값의 경우 Channel 1에 해당하는 열에 입력되어 분리되어 열거되는 과정(S36)을 거치게 된다. 여기서 상술한 대로 channel 별 측정 값 분리는 도 3의 S36의 시점에 실행되도록 국한되지 않고 S32 이후, S37 이전의 어느 단계에서 실행되도록, 혹은 S32의 알고리즘 내에서 통합되어 실행되도록 조정될 수 있다.
다시 프레임별 이미지(T13)의 Frame 2를 참조하면 Frame 1에서와 달리 localization 함수(알고리즘)를 수행하지 않도록 S33의 과정을 통해 명령 받았으므로 입자가 있으리라고 추정되는 밝은 영역의 모호한(정밀도, 정확도가 낮은) 위치 좌표 만을 반환 받는다. 이때 원시 관측 데이터(T14)를 참조하면 Frame 1에서의 입자들의 결과와는 달리 Frame 2의 위치 좌표의 정밀도가 감소한 것으로 표현되어있다. 또한 Frame 2는 Channel 2번을 할당 받았으므로 상기 원시 관측 데이터(T14)에서 Channel 2에 해당하는 열에 밝기 값이 대입되어 있다.
Frame 3에 대해 다시 살펴보면 Frame 1과 동일한 알고리즘을 수행하였지만 밝기를 측정함에 있어 유효한 Channel값을 S33을 통해 부여 받지 않았기 때문에 밝기 값은 원시 관측 데이터(T14) 상의 어디에도 기록하지 않는다. 여기서 '유효하지 않음'이란 분석 부가 규정하는 예외 규정에 포함되는 숫자가 입력된 경우를 말하며, 이 예외 규정에는 0, 또는 음수, 정수가 아닌 수 등의 모두 혹은 그 일부가 선정될 수 있거나, 아예 어떠한 값도 대입 되어있지 않는 공란(empty)상태일 수 있다.
Frame 4를 살펴보면 Peak detection과 localization 함수 모두를 호출하지 않기로 설정하였기 때문에 좌표값을 반환하지 않아 [0,0]의 좌표를 가짐을 원시 관측 데이터(T14)에서 Frame 3의 결과와 대조하여 살펴볼 수 있다. 하지만 Intensity channel은 3으로 할당되어 있는데, 이런 경우 이전 프레임에서 측정되었던 좌표를 참조 좌표로 읽어와서 그 주변의 이미지의 밝기를 구하여 기록한다. 참조 좌표를 받아와 기록한 경우 참조 좌표의 ID와 동일한 ID를 가지는 데이터의 행을 만들어야한다. 여기서 유효한 좌표값을 받지 않은 경우 위치 행을 공란으로 두는 것 또한 유효한 표기법이다. 또한 참조 좌표를 받아오는 방식은 인접한 프레임의 좌표를 받아오는 것으로 국한되지 않고 연속한 이미지의 차이를 분석하여 속도 벡터의 이미지의 얻어내는 등의 부가적인 알고리즘이 추가될 수 있으며 이러한 경우엔 좌표값을 명시하여 표현한다.
입자 추적 과정
상기 이미지 분석이 완료 되면 입자 추적 과정을 실행한다.
입자 추적 과정은 원시 관측 데이터(T14)에서 매 프레임마다 입자의 형상, 밝기, 위치를 고려하여 가장 확률적으로 높은 입자의 쌍을 선택하여 동일한 입자로 간주하고, 상기 동일한 ID를 갖는 입자로 간주되는 값을 연결하여 입자별 입자 추적 데이터(T15)를 생성한다.
도 7은 도 6의 원시 관측 데이터(T14)을 가지고 입자 추적법을 수행할 때 반영되는 분석 옵션 스케쥴표(T12)의 항목과 해당 추적법을 시행한 결과인 입자 추적 데이터(T15)의 예시이다.
구체적으로, 이미지 분석이 종료되어 모든 프레임에서의 원시 관측 데이터(T14)를 얻어내면 입자 추적 과정이 실행되어 매 프레임마다 동일한 입자로 간주되는 값의 쌍을 연결하는 벡터를 생성한다. 연결된 벡터의 리스트는 S35의 과정으로 이행되어 최종적으로 입자별 입자 추적 데이터(T15)를 생성한다. 상술한 대로 알고리즘의 구현 방식에 따라 원시 관측 데이터(T14) 가 명시적으로 생성되지 않고 이미지로부터 입자 추적 데이터(T15)만을 바로 출력할 수 있다.
입자 추적 과정에서는 분석 옵션 스케쥴표(T12)의 Tracking열을 참조하여 해당 frame이 추적 과정에 기여를 하는가를 결정한다. 여기서 기여라고 함은 입자 추적의 대상이 될 수는 있지만 다른 다음의 입자를 추적하기 위한 기준 좌표로는 활용하지 않음을 의미한다. 여기서 분석 옵션이 기여도를 반영함에 있어 Tracking 열에만 국한되어 있는 것은 분석 과정과 데이터의 형태가 프레임에 따라 어떻게 달라지는지 대조 설명하기 위한 예시에 불과하며, 기여도에 국한되지 않고 추가적으로 다른 추적 방식 혹은 다른 기준을 적용 받도록 하는 함수와 인자 쌍을 넘겨받는 방식을 포함할 수 있다.
입자 추적 과정에서 입자의 형상, 밝기, 위치를 고려하여 가장 확률적으로 높은 입자의 쌍을 선택하여 동일 입자로 간주하고 연결한다. 여기서 연결이라고 함은 두 입자의 ID를 일치하고 해당 ID에 배정된 데이터 테이블에 두 입자의 원시 관측 데이터를 병기하는 것을 의미한다. 여기서 동일 입자가 프레임에 따라 계속 관측된다면 원시 관측 데이터(T14)의 테이블은 연결된 횟수만큼 증가된 행을 갖게 된다.
이 과정에서 한가지 방법에 국한되지 않고 다양한 확률적 추론을 동반하는 알고리즘을 복합적으로 사용할 수 있다.
원시 관측 데이터(T14)에 따르면 Frame 4의 데이터들은 유효한 좌표 값을 갖고 있지 않고, 이미지 분석 알고리즘은 이전 프레임에서의 좌표를 참조 좌표로 사용한 이력이 존재하므로 형상, 밝기, 위치를 기반으로 한 추적법은 배제되고 이전 프레임에서 동일한 ID를 갖는 입자끼리 연결한다. 여기서 분석 옵션 스케쥴표(T12)에 따르면 Frame 4는 tracking에 기여하지 않도록 설정되었고, 입자 추적 데이터(T15)의 결과를 살펴보면 Particle 1(입자 1)은 frame 4에 해당하는 100ms시점에서의 측정치 행을 부여 받았지만 좌표는 부여 받지 못하였다.
한편, Particle 1은 4번의 프레임 동안 4번 관측되어 4개의 행을 갖지만, Particle 2는 2번 프레임에서 관측된 적이 없으므로(frame 2의 촬영에 사용된 488 nm의 광원에 반응하지 않았으므로) 해당 행은 누락되고 3개의 행을 갖고있다. 유효하게 추적에 동원된 원시 관측 데이터(T14)들만으로 입자 추적 데이터(T15)가 생성되고 입자 별로 다른 행의 크기를 가진다. 행의 크기가 정형화 되지 않으므로 입자 추적 데이터(T15)는 구조체의 형태로 저장될 수 있다.
전체 입자 정보 산출
입자 추적 분석이 완료되면, 상기 얻어진 개별 입자 추적 데이터(T15)로부터 전체 입자의 정보를 얻는다. 이때 상기 정보는 입자들의 ID, 위치 및 밝기로부터 얻어지는 수학적, 물리적, 생화학적인 해석이 가능한 수치로서, 일례로 입자 크기, 입자 수, 입자 농도, 브라운 운동 궤적 등 일 수 있다.
구체적으로, 한 이미지 파일에 대해서 S35와 S36을 모두 실행하여 입자 추적 데이터(T15)가 생성되면 도 3의 입자의 특성을 수학적, 물리적, 생화학적으로 해석할 수 있게 표현하는 의미 있는 값을 산출해내는 단계(S37)로 분석 과정이 이행된다.
이때 분석 옵션 스케쥴표(T12)로부터 목표로 하는 산출값의 종류(혹은 실행할 함수의 핸들)와 해당 산출값에 사용될 프레임의 리스트의 조합들을 반환해주는 단계(S34)를 거친 후 S37이 바람직하게 실행된다.
도 8은 도 6의 입자 추적 데이터(T15)에서 도 8은 도 6의 입자 추적 데이터(T15)에서 최종 출력 값을 도출하기 위하여 사용되는 엄선 데이터 테이블(T16, T17)을 만드는 과정에서 반영되는 분석 옵션 스케쥴표(T12)의 항목들과 각각의 옵션들이 반영되었을 때 산출 과정에서 유효하거나 유효하지 않게 취급하는 입자 추적 데이터(T15) 상의 값들을 표시한 예시이다.
도 8에 따르면 분석 옵션 스케쥴표(T12)는 Counting과 Sizing이라는 매개 변수 사용처(열)를 포함하고 있다. S37에서, Counting이라는 사용처는 입자가 샘플 내에 존재하는 정도를 계산하는 함수를 호출하도록 하고, Sizing이라는 사용처 명칭은 입자의 브라운 운동의 크기를 측정하여 직경을 유도해내는 함수를 호출하는 것을 기본으로 한다. 해당 열에는 프레임 별(행간에)로 해당 매개 변수 사용처에 측정치를 기여할 것인가의 여부가 매개 변수로 입력 되어있다. 여기서 상술 한대로 Y/N으로 구분되는 매개 변수에 국한되지 않고, 해당 매개 변수 사용처에 유효한 (기본 함수가 아닌) 함수의 핸들을 매개 변수의 형태로 입력하는 것으로 대체될 수 있다.
입자 추적 데이터(T15)는 최종 출력 값에 입자의 수량을 포함하고자 할 때 사용할 Number estimation이라는 함수가 필요로 하는 특정 데이터 영역(T16)만 발췌되었다.
입자의 수는 화면상에 발견된 입자의 수를 유효한 측정 영역의 부피(130)로 나눈 값의 프레임간 평균으로 정의된다. 이때 분석 옵션 스케쥴표(T12)의 Counting사용처에 대한 매개 변수 값을 참조하여 사용되지 않을 Frame의 값들을 누락한다. 결과적으로 실제로는 입자가 관측된 적이 있는 프레임이라도 분석 인자의 설정에 따라 특정 프레임들은 강제로 누락된다. 도 8에서는 붉은 선을 덧씌우는 것으로 이러한 누락결과를 표시하였다.
구체적으로, Frame 2와 4에서 측정된 데이터 열은 무시되고 나머지 프레임에서 측정된 값들만 산출 과정에 기여된다. 여기서 Frame 4의 경우 Peak detection과 localization이 모두 수행되지 않은 프레임은 유효한 입자임이 전혀 검증되지 않고 이전 프레임에서 ID와 좌표를 상속받아 사용하였으므로 분석 옵션 스케쥴표(T12) 상의 환경 변수 설정을 무시하고 알고리즘은 해당 프레임을 강제로 누락할 수 있다.
한편, 입자 추적 데이터(T15)로부터 얻어진 최종 출력 값 중 입자의 크기 정보가 필요하다면 Size estimation 함수가 사용될 수 있다.
입자 크기(Size estimation)의 함수는 함수 자신이 필요로 하는 입자의 좌표값들과 해당 좌표값의 나타난 시간 값만을 분석 옵션 스케쥴표(T12)로부터 발췌하였다(T17). 여기서 오로지 Frame 1의 값만을 Size estimation에 사용하도록 지정하였기 때문에 나머지 프레임에서 측정된 값은 유효한 값의 존재 여부와 상관없이 누락된다. 여기서 Size estimation 함수 실행 과정에서 유효한 좌표값을 부여받지 못한 행은 분석 옵션 스케쥴표(T12)와 관계없이 무시될 수 있다.
추가적으로 인터페이스부는 S39 과정에서 유효한 좌표값을 부여 받지 못하리라는 것을 분석부가 감지하면 해당 프레임의 Sizing 열의 값을 변경 하지못하도록 하는 기능이 포함될 수 있다. Counting 열에서도 유사하게 Frame 4에서와 같은 특수한 분석 옵션들의 패턴이 감지되면 해당 프레임의 Counting 열을 변경 하지 못하도록 분석 부가적인 제약을 내릴 수 있다.
마지막으로, 사용자가 원하는 물리적, 생화학적으로 의미 있는 단위를 갖는 데이터의 집단으로 변환 및 가공할 수 있도록 데이터베이스화된 입자들의 집단 정보를 출력 및 저장(S38)함으로써 입자 분석 과정이 마무리될 수 있다.
도 9 내지 도 10은 본 발명을 통해 얻을 수 있는 분석 과정 및 결과상의 이득의 두가지 예를 나타낸 것이다. 이에 국한되지 않고, 표현 값의 산출(S37) 과정에서 산출 하고자 하는 값의 종류가 늘어남에 따라 분석 과정 및 결과상의 이득의 가짓수는 늘어날 수 있다.
도 9는 이미지 분석 과정(S32)에서 이미지 프레임상에서 Localization을 통해 잠재적 입자의 중심점을 찾아 입자의 좌표를 구하는 상황을 묘사한 도식이다. 좌측의 이미지는 입자의 이미지가 매우 밝아 노이즈 대비 신호(SNR)가 높은 상황, 우측의 이미지는 입자가 매우 어두워 SNR이 낮은 상황이다. 중앙의 노란 원은 해당 이미지 정도의 SNR에서 기대되는 중심 좌표의 오차 범위(68% 신뢰범위)이다. 좌측의 이미지는 입자의 형상이 명확하고 밝은 중심점이 쉽게 인지할 수 있어 중심점의 오차 범위가 좁다. 그러나, 우측의 이미지는 많은 노이즈로 인해 입자의 형상이 불명확해져 중심점의 위치를 오판할 가능성이 높아지고, 이로 인해 중심점의 오차범위가 넓어짐이 표현되어있다. 입자의 브라운 운동 궤적을 분석하고 Stokes-Einstein 공식을 이용하여 입자의 크기를 구한다면 입자의 매 시간 마다의 좌표의 오차가 모두 누적되므로, 개별 프레임에서의 정확도가 측정된 입자의 직경의 정확도에 직접적으로 영향을 준다. 이런 이유로 정확한 입자 직경 측정을 위해 SNR이 낮을 것으로 예상되는 프레임에서의 좌표 측정치를 배제하고자(T17) 할 수 있고 이를 위하여 분석 스케쥴표(T12)를 도입함으로써 실현할 수 있다. 이런 좌표 측정에서의 이득은 브라운 운동량을 통한 크기의 측정에 국한되지 않고, 전기영동, 초음파영동 등의 외력이 작용할 때의 입자의 거동을 분석하는 과정에서의 정확도에도 적용될 수 있다.
도 10은 샘플내 입자의 수량을 측정하는 과정(S37)에서 본 발명의 분석 옵션 스케쥴표(T12)의 도입 유무에 따른 수량 결과치의 차이를 보여주는 비교 예시이고, 입자는 화면 내에 3개가 존재한다고 가정하였다.
도 10은 산란광 및 모든 형광을 발하는 입자1, 산란광 및 청색 광원에 여기되는 물질이 마킹된 입자2, 어떠한 형광 물질을 갖고있지 않아 산란광만 발하는 입자3이 측정 영역(130)에 들어있는 상황을 가정한다. 또한, 임의의 촬영 옵션 스케쥴표(T11)를 통해 소정의 스케쥴을 통해 모든 산란광과 형광을 모두 관측한 하나의 사이클에 대해서 표현되어있다.
입자 추적 분석에서는 화면에 보인 유효한 입자의 수를 총 프레임수로 나누어 평균하여 관측 입자 수를 산정하고 여기에 사전에 도출된 측정 영역(130)의 부피를 나누어 줌으로써 입자의 농도를 구한다. 측정 영역의 부피가 일정하다고 가정하면 관측 입자 수의 변화가 입자 농도를 결정하는 유일한 변수라고 할 수 있다.
도 10의 상단의 도식은 종래와 같이, 분석 옵션 스케쥴표(T12)가 도입되지 않아 모든 입자가 측정된 사건이 입자 수량 측정 식에 반영되는 상황이다.
입자의 종류마다 형광신호의 유무가 달라 서로 관측된 프레임의 수가 달라 입자당 총 관측 이벤트 수가 달라진다. 실제로는 입자1 내지 3의 측정 부피 내에서의 존재 비중은 동일함에도 불구하고 실제 입자 수량 계산에 대입될 때는 형광을 많이 발하고 있는 입자가 더 많이 존재하는 것으로 잘못 계산된다. 총 프레임수도 촬영 환경의 차이에 무관하게 모든 프레임의 숫자를 사용하도록 설정되어 최종 입자 수량도 사전에 가정한 3이 아니라 더 낮은 값(2.285)로 떨어진 것을 볼 수 있다.
도 10의 하단의 도식은 본 발명에서 제시하는 분석 옵션 스케쥴표(T12)가 도입되어 특정 프레임에서의 입자 측정 이벤트를 배제하도록 설정된 상황이다. 여기서는 산란광 이벤트(회색 원)만을 수량 산출에 반영하고, 형광 이벤트(유색 원)을 배제하도록 분석 옵션이 설정되었다. 이를 반영하여 입자 수량을 계산하면 모든 입자는 산란광을 공통적으로 발하기 때문에 형광 물질의 유무로 이벤트의 수가 차이가 나지 않고, 이는 사전에 가정한 각 입자의 존재 비중과 동일하다. 그리고 총 프레임수 또한 산출에서 배제된 프레임을 제외한 프레임의 수를 사용하여 입자 수는 사전에 가정한 입자의 숫자와 동일하게 3으로 나타나는 것을 볼 수 있다.
결과적으로 수량 계산에 있어 모든 입자가 차별없이 공통적으로 빛을 발할 것으로 예상되는 프레임들만을 선정하도록 분석 옵션 스케쥴표(T12)를 도입하면 각 입자의 존재 비중뿐만 아니라 전체 입자 집단의 농도를 오판하지 않고 정확하게 측정하도록 해준다.
본 발명은 기존의 입자 추적 분석법에서 발생하는 여러 착오 및 오차를 매 프레임별로 분석 방법이 작동하는 거동을 다르게 함으로써 달성할 수 있다. 이를 위해 적용되는 알고리즘과 환경 변수, 그리고 각 단계별로 사용될 유효한 측정치를 사전에 정의 하여 분석 체계가 지속적으로 참조하도록 하고, 궁극적으로 사용자가 원하는 물리적, 수학적, 생화학적으로 의미있는 개별 입자 특성 값을 높은 정확도로 얻어내고 이를 기반으로 데이터베이스를 출력할 수 있다는 장점이 있다.
또한, 본 발명의 분석 방법 및 시스템은 유저 인터페이스부를 통해 매 이미지에서의 측정치를 임의로 설정함으로써 입자 농도나 다음 이미지에서의 위치를 오판 하는 것을 미연에 방지하거나 입자의 각 형광/산란광 별 밝기와 입자의 크기에 정확도를 감소시킬 수 있는 측정치를 선택 배제할 수 있다.
또한, 분석 과정에서 필요없는 측정치를 얻어내기 위한 연산을 생략하거나, 필요없는 측정치에 대한 정확도를 희생하면서 다른 측정치의 정밀도와 연산 속도를 높일 수 있는 다른 알고리즘을 적용할 수 있게 하여 분석 소요시간을 줄일 수 있다.
또한, 본 발명에 따른 방법 및 시스템은 입자 관측 및 분석 시스템을 통해 관측된 개별 입자가 가지고 있는 2개 이상의 서로 다른 형광 물질의 유무를 판독 할 수 있으며, 이미지 상에 관측된 모든 입자에 대하여 동시 다발적인 정량 분석이 가능하다.
더불어, 시계열적으로 반복된 촬영을 통해 추적된 입자의 궤적으로부터 해당 입자의 크기를 측정할 수 있으며, 추가적으로 분석 대상 입자 샘플에 전기영동, Dielectric phoresis, Thermophoresis 및 진동을 가하여 외력이 가해졌을 때 변화하는 개별 입자의 궤적의 변화를 추적하고 분석함으로써 각 외력에 연관된 해당 입자의 다양한 물리적 특성을 분석할 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 입자의 광학적 관측 및 분석을 위한 입자 분석 시스템(100)은, 분석 대상 입자가 주입되어 있는 샘플 수용부(130); 상기 샘플 수용부(130)가 올려져 있는 샘플 거치부(103); 상기 샘플 수용부(130)에 빛을 조사하기 위해 하나 이상의 광원을 구비한 광원부(101); 상기 광원부(101)에 의해 광 조사 후 연속된 이미지 프레임을 얻기 위한 촬영부(105); 상기 광원부(105)에서 출력하는 빛의 파장과 밝기를 제어하기 위한 제어부(102); 및 상기 촬영부(105)를 통해 얻어진 이미지 정보를 분석하여 개별 입자를 분석하기 위한 분석 수단(106);을 포함한다. 상기 예시된 구성 요소에 국한되어 구현되는 것은 아니며, 필요에 따라 다른 구성 요소들을 더 포함할 수 있다.
입자 분석 시스템(100)의 구성을 좀 더 구체적으로 살펴보기로 한다.
광원부(101)는 입자 샘플을 향하여 빛을 조사하는 하나 이상의 광원(110)을 포함한다. 광원(110)은 외부 전기신호에 의해 온/오프(ON/OFF) 되며, 제어부(102)의 통제에 따라 상기 샘플 거치부(103)를 향하여 조사되는 빛의 색을 바꿀 수 있도록 구성된다. 광원(110)은 예를 들어, 0.05 초 이내에 턴 온 또는 턴 오프되는 빠른 응답성을 갖는 발광다이오드 또는 레이저 발생기일 수 있다.
하나 이상의 광원(110)들이 같은 지점을 조광하도록 광원(110)과 상기 샘플 거치부(103) 사이의 광경로 상에는 광 가이드(112)가 설치될 수 있다. 광 가이드(112)는 광경로를 샘플 거치부(103)의 위치나 입자 샘플에 따라 원하는 형태로 수정 또는 교정할 수 있도록 구성될 수 있다. 예를 들어, 거울, 프리즘 혹은 색선별 거울(Dichroic mirror) 등일 수 있다.
광경로를 상기 샘플 거치부(103)의 위치나 입자 샘플에 따라 원하는 형태로 수정 또는 교정할 수 있도록, 광 가이드(112)와 샘플 거치부(103) 사이를 광섬유를 이용하여 유연하게 연결하는 방안이 고려될 수 있다. 물론 이에 국한되는 것은 아니다.
광원부(101)는 또한, 광 가이드(112)를 통과한 빛의 세기를 증가시켜 샘플 거치대를 향하여 조사시키는 집광수단(114)을 더 포함할 수 있으며, 상기 집광수단(114)은 볼록렌즈일 수 있다.
빠른 시간(0.05 초 이내)에 턴 온 또는 턴 오프가 구현되지 않는 광원(110)을 사용하는 경우에는 모터가 달린 교정장치를 통해 광원(110)을 목표지점에 도달하거나 도달하지 못하도록 통제하는 방법이 고려될 수 있다. 상기 광원부(101) 전체를 0.05 초 이내에 파장을 바꿀 수 있을 정도로 빠른 응답속도를 보장하는 모노크로메이터(Monochromator)로 대체할 수도 있다.
샘플 거치부(103)는 분석 대상 입자 샘플(P)을 수용하며 광원부(101)의 빛이 투과되어 입자 샘플에 조사될 수 있도록 구성된다. 상기 샘플 거치부(103)는 바람직하게, 내부의 유체 채널(부호 생략)에 입자 샘플을 수용한다. 이때 광원(110)의 빛이 투과되어 입자 샘플에 조사될 수 있도록 투명한 물질, 예를 들어 쿼츠, 유리, PDMS(Polydimethyl siloxane) 등으로 제작된 샘플 수용부(130)를 포함한다.
샘플 거치부(103)는 또한, 샘플 수용부(130) 내 유체 채널 내에서 입자 샘플이 일정한 유속을 가지고 거동할 수 있도록 일정한 압력 또는 유량을 가하는 펌프(132)를 포함할 수 있다. 그리고 샘플 수용부(130)를 탑재하며 광원부(101)에 대한 상기 샘플 수용부(130)의 위치를 임의로 조정할 수 있도록 수동 및 전자식으로 조작 가능한 기구 또는 기계적인 구성을 갖는 도시하지 않는 스테이지를 포함할 수 있다.
광원(110)에서 조사되고 입자 샘플(P)에서 반사된 빛은 중간에 상기 이미징 광학계(104)를 통해 촬영부(105)에 제공될 수 있다. 이미징 광학계(104)는 바람직하게, 확대상(擴大像)을 만들기 위하여 입자 샘플에 반사된 빛이 입사되는 대물렌즈(140)와, 대물렌즈(140)를 통과한 빛이 상기 촬영부(105)의 올바른 위치에 상을 맺도록 유도하는 거울(142)을 포함할 수 있다.
거울은 경우에 따라 색선별 거울(Dichroic mirror)로 변경 또는 대체 될 수 있으며, 특정 파장을 차단하는 광학 필터(미도시)가 추가될 수 있다. 광학 필터는 도시하지 않았으나, 이미징 광학계(104)를 구성하는 상기 거울과 촬영부(105)를 구성하는 카메라 사이 또는 상기 대물렌즈(140)와 거울(142) 사이, 혹은 대물렌즈(140)와 샘플 거치대(103) 사이의 광경로 상에 배치될 수 있다.
촬영부(105)는 입자 샘플(P)에서 반사되고 상기 이미징 광학계(104)를 통해 입사되는 빛으로부터 입자 샘플의 물리적인 특성을 분석하는데 필요한 이미지 정보를 획득한다. 이와 같은 촬영부(105)는 바람직하게, 초당 1 프레임(Frame) 이상의 속도로 연속된 이미지 정보를 획득할 수 있는 카메라 및 카메라를 통해 획득된 이미지 정보를 저장하는 기록수단을 포함할 수 있다. 또한 촬영부(105)는 하나이상의 카메라를 포함할 수 있으며, 이를 구현하기 위하여 거울(142)는 서로 다른 곳에 위치한 카메라에 상을 맺게 하기 위하여 두개 이상 배치되거나, 색선별 거울(Dichroic mirror)로 투과광과 반사광의 상을 분기시키거나, 모터를 이용하여 촬영 타이밍에 맞춰 거울의 위치와 각도를 순차적으로 조절할 수 있다.
바람직하기로, 상기 촬영부(105)는 1개 이상의 카메라를 구비하고, 2개 이상의 카메라를 구비한 경우 상기 서로 같거나 다른 종류의 2개 이상의 카메라는 촬영 인자들 중 하나 이상이 서로 일치하지 않을 수 있고, 여기서 촬영 인자라 함은 센서 픽셀간 간격, 총 픽셀수, 촬상면에 사영되는 되는 이미지의 배율, 및 사전 설정된 센서의 비닝 등으로 정의되는 촬영 매개 변수 및 환경 변수들의 모임을 말하고, 이때 바람직하기로, 상기 촬영부(105)는 하나 이상의 촬영 인자가 일치하지 않을 경우 일관된 데이터를 얻기 위해 수행해야하는 보정 함수와 그 보정치를 입력한 촬영 옵션 스케쥴표(T11)를 포함하고, 경우에 따라 카메라 별로 분리된 복수의 촬영 옵션 스케쥴표를 포함하고, 이에 의거하여 촬영이 이루어진다.
제어부(102)의 주요 기능은 광원(110)이 출력하는 빛의 파장과 밝기를 제어하며 촬영부(105)에 이미지 정보를 획득을 위한 명령을 인가하는 것이다. 제어부(102)는 바람직하게, 분석수단(106)을 통해 입력되는 명령에 상응하는 제어 값을 결정하고, 결정된 제어 값으로 광원(110)이 출력하는 빛의 파장과 밝기를 시간에 따라 전환하며, 상기 전환이 완료된 시점마다 촬영부(105)에 촬영 명령을 인가한다.
제어부(102)에는 촬영부(105)의 카메라 셔터를 열고 닫게 하는 신호를 인가하는 도선(L1)과 각 광원(110) 소자에 광원(110)의 턴 온 또는 턴 오프를 통제할 수 있는 도선(L2)이 포함된다. 각 도선(L1, L2)은 2개 이상의 신호 출력이 가능하며 프로그램을 내장할 수 있는 FPGA보드와 연결될 수 있다. 이때 IC칩은 컴퓨터의 PCI 포트 및 이와 유사한 장소에 장착되는 보드 또는 칩으로 대체될 수 있다.
제어부(102)는 또한 상기 분석수단(106), 예를 들어 컴퓨터의 통제를 받을 수 있는 장치 인터페이스를 포함한다. 이에 따라 분석수단(106)을 통해 입력된 명령과 프레임별 촬영 옵션 스케쥴표(T11)는 인터페이스를 통해 제어부(102)에 전달되며, 제어부(102)가 입력 명령에 상응하는 제어 값으로 해당 도선을 통해 상기 광원부(101)와 촬영부(105) 각각에 제어 신호를 보냄으로써 광원(110)과 카메라 셔터 동작이 제어된다. 즉, 상기 제어부(102)는 분석 수단(106) 내 활영 옵션 스케쥴표(T11)에 의해 광원의 호출 및 노출 시간과, 촬영부(105)의 동작 시간을 제어한다.
분석수단(106)은 상기 촬영부(105)를 통해 획득된 이미지 정보를 수집하고, 수집된 이미지 정보로부터 입자 샘플을 구성하는 개별 입자의 수학적, 물리적, 생화학적 특성을 분석한다.
상기 분석수단(106)은 사용자의 명령을 받을 수 있는 입력 장치; 촬영될 이미지의 매 프레임별로 사용자가 의도하는 촬영 조건과 분석 옵션을 포함하는 프레임별 스케쥴표(T10)를 다른 장치가 인식할 수 있는 형태로 번역하기 위한 유저 인터페이스; 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 포함하는 상기 프레임별 스케쥴표가 저장된 메모리; 상기 촬영부(105) 및 제어부(102)와 통신하기 위한 장치 인터페이스; 및 상기 촬영부(105)로부터 제공받은 이미지 정보에 대한 분석을 수행하는 처리 프로세서를 포함한다.
프로세서는 이미지 정보에 대한 정확하고 효율적인 분석 처리를 위한 역할 분담을 위해 여러 개의 처리부를 포함할 수 있다. 여러 개의 처리부는 바람직하게, 입자들의 위치 및 밝기를 특정하여 원시 관측 데이터를 생성하기 위한 이미지 처리부(160); 상기 원시 관측 데이터(T14)를 통해 다른 시간대의 입자들간에 동일성 검증을 수행하고, 시간 변화에 대한 입자의 이동 궤적을 추적하는 궤적 추적부(162); 및 상기 궤적 추적부(162)가 제공하는 궤적 데이터로부터 각 입자별 대표 특성 값을 그래프 혹은 다른 측정장비와 비교할 수 있거나 공인될 수 있는 단위계를 갖는 수치 및 표로 변환하기 위한 궤적 분석부(164);를 포함한다.
이미지 처리부(160)는 구체적으로 상기한 촬영 옵션 스케쥴표(T11)에 따른 제어부(102)의 통제에 따라 촬영된 이미지 정보(연속된 이미지 프레임들)(T13)상에서 입자들로 추정되는 지점의 위치와 밝기, 형상 등의 광학적 정보(원시 관측 데이터)(T14)를 특정하여 기록하는 역할을 한다.
이 과정에서 분석 옵션 스케쥴표(T12)로부터 스케쥴표에 지정된 사용처와 현재 분석단계를 비교하여 사용이 필요하다고 판단된 분석 옵션들을 추출하고, 개별 프레임 별로 적용할 이미지 분석 방식과, 분석 알고리즘의 올바른 작동에 필요한 매개 변수, 그리고 얻어내고자 하는 원시 관측 데이터(T14)의 종류를 상기 추출한 분석 옵션으로부터 지정받아 각 프레임간에 서로 다른 과정을 거쳐 서로 다른 조합의 원시 관측 데이터(T14)를 생성한다. 여기서 "사용처"라고 함은 해당 옵션이 어떠한 결과 값을 얻어내는데 사용되는지 명기하거나, 적용되어야할 분석 단계가 명시되어있거나, 둘 다를 포함하는 문자열 데이터이다.
보다 자세하게는, 스케쥴표를 메모리에서 불러낸 후 불러낸 시점과 스케쥴표 상에 지정된 사용시점이 일치하는 옵션을 선택적으로 발췌하고, 프레임순에 따라 함수의 핸들, 분석 옵션에 적용될 매개 변수의 리스트를 배치한 벡터를 얻어내는 것을 공통적으로 수행하고, 실제 알고리즘의 구현 방식에 따라, 특정 프레임에 적용될 함수와 분석 매개 변수를 선택한 후 프레임 순서대로 분석을 반복 수행하거나, 다른 방법으로는 상기 함수와 분석 매개 변수의 순서 쌍이 모두 같은 프레임들끼리 분류 한 다음, 독립된 상기 순서 쌍의 가짓수만큼 반복하여 프레임을 묶음 단위로 처리하는 식으로 원시 관측 데이터를 생성할 수 있다.
이미지 처리부(160)가 탑재하고 있는 이미지 분석 방식이 2개 이상일 경우 도 4의 분석 옵션 스케쥴표(T12)에 표현된 지정 가능한 옵션에 국한되지 않고, 추가적인 옵션 열을 분석수단(106) 상에 제공해 주거나, 함수/입력값/출력값의 조합으로 명시된 분석 옵션을 이미지 처리부(160)가 전달 받을 수 있다.
원시 관측 데이터(T14)를 생성 후 분석 옵션 스케쥴표(T12)로부터 프레임마다 관측 값들이 대입될 채널이 서로 다르게 지정되어 있는 경우, 프레임별로 목표 채널을 지정 받고 해당 채널을 위해 할당된 데이터의 영역에 특정 유형의 값을 분리 수용한다. 상기 특정 유형의 값이 분리 수용이 대상인지 아닌지의 여부는 알고리즘에 의해 지정되거나 분석 옵션 스케쥴표(T12)에 의해 지정된다. 고용량 이미지 처리과정에서 발생하는 과부화 문제를 방지하기 위해 상기 채널별 관측 값의 분리 수용은 상기 원시 관측 데이터(T14)를 생성 직후 시점이 아닌 이어지는 일련의 분석 과정 중간에 이루어지도록 처리 시점이 조정될 수 있다.
궤적 추적부(162)는 프레임순으로 나열된 원시 관측 데이터(T14)를 가지고 각 입자의 위치를 가까운 시간대에 촬영된 다른 프레임 상의 입자와 비교하여 동일성을 검증한다. 필요한 경우 원본 이미지(T12)혹은 그것의 일부를 재호출 하여 동일성을 검증한다. 동일하다고 간주된 입자들끼리 연결하여 시간 의 흐름에 따른 프레임별 입자의 이동 궤적을 추적하고 연관된 원시 관측 데이터(T14) 또한 궤적 값과 병기하여 입자 추적 데이터(T15)를 반환한다.
상기 추적과정에서 현재 프레임이 추적 대상으로 지정되어 있는지를 분석 옵션 스케쥴표(T12)를 참조하여 확인하고, 추적 대상에 들어있지 않다면 상기한 프레임별 입자 궤적 값 병기를 사용하지 않고, 현재 대상 입자와의 상기 동일성 검증결과 상 가장 인접한 프레임에서의 동일 입자의 정보에 이어서 상기 현재 대상 입자의 원시 관측 데이터(T14)행을 이어 붙이고, 추후의 추적 과정에서는 상기 현재 대상 입자를 배제하여 모든 추적 과정이 끝날 때까지 참조하지 않는다. 궤적 추적부(162)가 다수의 추적 방법을 탑재하고 있는 경우 특정 프레임이 추적 대상에 지정 되어있는지 유무에 국한되지 않고, 어떠 추적 방법을 해당 프레임에 적용할 것인지를 입력 받을 수 있다.
그리고 궤적 분석부(164)는 상기 궤적 추적부(162)가 제공하는 궤적 데이터(T15)를 수학적, 물리적, 생화학적으로 의미 있는 값(입자별 도출 값)으로 변환한다. 여기서 의미 있는 값이라고 함은 다른 유사 장비에서의 측정 결과와 비교가 용이하게 스케일링 되어있는 임의의 단위의 값이거나, 일반적으로 공인되어 있는 표준 단위계로 차원이 일치되어 있는 값을 의미한다. 전술한 채널별 원시 관측값 분리 수용 과정은 이 시점 이전에 완료되어 있어야한다. 상기 변환과정은 구체적으로, 분석 옵션 스케쥴표(T12)에서 도출 인자를 추출하고, 여기서 도출 인자라 함은 사용자가 요구하는 도출값 및 해당 값을 도출하는 과정에 사용하도록 지정된 프레임 리스트를 포함하는 배열을 말하고, 개별 입자마다 도출 인자에 명기된 "사용 지정된 프레임"에서의 궤적 데이터를 제외한 부분을 누락 후 도출 과정에 필요한 측정치만 모은 엄선 데이터 테이블(T16)을 생성하고, 입자별로 상기 엄선 데이터 테이블을 참조하여 도출값을 얻어낸 후 유효한 입자의 수에 해당하는 길이를 갖는 도출값들의 배열을 얻어낸다.
2종 이상의 도출값을 출력해야 한다면 각 도출 인자에 대응되는 2종 이상의 엄선 데이터 테이블(T16, T17)을 각 입자별로 추출후, 도출값을 계산하는 함수를 호출하고, 개별 입자 별 도출값을 반환하고, 상기 함수 호출을 바꾸어 가면서 목적하는 도출값을 순차적으로 얻어내거나, 이에 국한되지 않고 단일 입자 단위로 부분적인 엄선 테이블 생성과 2종 이상의 도출값 계산을 끝내고, 모든 개별 입자에 대하여 동일한 과정을 반복 수행하는 것으로 대체될 수 있다.
계산된 개별 입자들의 도출값들로부터 각 입자의 특성을 표현하면서 보편적 단위계를 가지는 값으로 변환하고 이들을 데이터 베이스화 하여 이로부터 통계적인 방법을 통해 입자 샘플을 구성하는 입자들을 효과적으로 표현하는 그래프, 표 및 값들로 출력한다.
상기 촬영부(105)에 얻어지는 연속된 이미지 프레임들은 분석수단(106) 내 분석 옵션 스케쥴표(T12)에 의해 개별 입자의 정보를 담은 입자 추적 데이터(T15)를 디스플레이한다.
전술한 광학적 입자 분석 장치에 의해 수행되는 입자의 광학적 관측 및 분석 과정을 상기 입자 분석 장치의 작동과 연계하여 살펴보기로 한다.
제어부(102)의 프로그램은 도 1의 L1 도선을 통해 카메라를 통제하는 함수와 L2 도선을 통해 광원을 통제하는 함수를 내재하고 있으며, 두 장치의 동기화를 위하여 모든 신호의 시간에 따른 처리 단계를 제어부(102)에 내장된 클럭생성칩을 이용한 시간표지를 기준으로 설정한다.
도 2는 본 발명의 다른 측면에 따른 입자의 광학적 관측 및 분석 과정의 전체적인 흐름을 개략 도시한 흐름도이다.
도 2를 참조하면, 전술한 광학적 입자 분석 장치에 의해 수행되는 입자의 광학적 관측 및 분석 과정은 크게 세 개의 단계로 구분될 수 있다.
구체적으로,
(A) 분석 대상 입자 샘플을 샘플 거치부에 거치한 후 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 유저 인터페이스의 입력 장치에 입력하는 촬영 준비 단계;
(B) 상기 촬영 옵션 스케쥴표에 의해 광원을 호출 후 촬영 시간을 제어하여 연속된 이미지 프레임을 얻는 촬영 단계; 및
(C) 상기 촬영 단계에서 얻어진 연속된 이미지 프레임을 분석 옵션 스케쥴표에 따라 개별 및 전체 입자의 특성을 분석하는 분석 단계;를 포함한다.
이하 각 단계별로 상세히 설명한다.
(단계 A) 촬영 준비 단계
먼저, 촬영 준비 단계(S10)는 분석 대상 입자 샘플에 맞춰 제어 대상부(광원부, 촬영부)를 어떤 식으로 컨트롤할 것인지 정보를 입력하는 단계이며, 이때 프레임별 스케쥴표(T10)가 작성된다.
촬영 준비 단계(S10)는 바람직하게, 분석 대상 입자 샘플을 샘플 거치부(도 1의 103)에 거치하고, 광원의 호출 순서 및 노출 시간(발광 시간), 촬영 시간, 촬영 시 촬영 옵션 스케쥴표(T11)의 반복 주기 중 일부 또는 모든 정보를 포함하는 장치 작동 시퀀스 테이블을 작성하는 과정과, 작성 완료 후 본격적인 광학적 관측을 위한 촬영 명령을 입력하는 과정을 포함할 수 있다.
도 4는 촬영 옵션 스케쥴표(T11) 및 분석 옵션 스케쥴표(T12)를 포함하는 프레임별 스케쥴표(T10)의 예시이다.
도 4의 예시와 같이, 프레임별 스케쥴표(T10)는 촬영 옵션 스케쥴표(T11)과 분석 옵션 스케쥴표(T12)를 포함하고, 이들은 촬영 명령이 있기 전 시점까지 완성되어있다.
프레임별 스케쥴표(T10)은 가시적으로 도식화 하기 위하여 행은 서로다른 프레임, 열은 값의 사용처에 따라 적용될 매개 변수 값들을 배치하여 표시하였고 도 4의 예시에서는 n개의 행이 지정되어있다. 이러한 프레임별 스케쥴표(T10)의 형태는 상술한 바에 국한되지 않고 행과 열이 서로 바뀌거나, "사용처/분석/해당 프레임넘버"가 일정한 구분 기호를 포함하며 1차원적으로 열거된 문자열, "사용처/매개 변수/해당 설정을 공유하는 모든 프레임 넘버를 묶은 벡터"로 구성된 크기가 지정되지 않은 복합구조의 행렬, "사용처-매개 변수"의 계층구조가 설정한 프레임의 숫자만큼 열거되어 존재하는 구조체, 혹은 "사용처-매개 변수-해당 설정을 공유하는 모든 프레임"의 계층구조가 서로 다른 "사용처-매개 변수"의 조합만큼 존재하는 구조체로 대체될 수 있다. 여기서 매개 변수는 Y/N(true/false)의 이진 값이나, 작동 환경을 정의하는 문자열 및 숫자에 국한되지 않고 해당 사용처에서 사용할 함수의 핸들로 대체 될 수 있다.
상기 촬영 옵션 스케쥴표(T11)는 촬영부가 2개 이상의 카메라를 구비한 경우 촬영 인자의 차이를 보상하여 일관된 데이터를 얻기 위한 보정 함수 및 보정치가 입력된다.
상기 촬영 옵션 스케쥴표(T11)보다 많은 이미지를 찍도록 명령을 받을 경우 처음으로 돌아가서 동일한 스케쥴을 반복하여 잔여 촬영 매수를 채울 때까지 촬영을 수행한다.
상기 분석 옵션 스케쥴표(T12)는 스크립트의 각 단계마다 사용할 함수와 그 함수의 결과물을 각 이미지 프레임마다 다르게 적용가능하도록 연속하여 기입되어 있다.
상기 분석 옵션 스케쥴표(T12)는 상기의 일련의 스크립트의 특정한 단계에 속하는 거동 전반 혹은 임의의 단계에서 특정한 함수를 호출할 때, 상기의 일련의 스크립트가 진행되는 과정에 발생하는 중간 데이터들 중 어떤 값들이 이용될 것인가를 프레임 별로 지정한 매개 변수를 포함한다.
상기 분석 옵션 스케쥴표(T12)는 실행되어야 하는 단계, 실행할 함수의 핸들, 도출하고자 하는 값의 명칭, 함수에서 사용될 프레임의 리스트가 기입된 추가 명령을 수행한다.
상기 분석 옵션 스케쥴표(T12)는 유저 인터페이스를 통해 자동으로 작성 및 배치되고, 정의되지 않은 분석 인자 및 측정이 난해하거나 결과를 신뢰하기 어려운 입자 거동을 감지하여 최적의 알고리즘과 분석 매개 변수를 자동으로 찾고, 기 작성된 분석 옵션에 따라 일부 또는 전체적으로 서로 다른 분석 알고리즘을 적용한다.
상기 분석 옵션 스케쥴표(T12)는 촬영 도중에는 관여하지 않으나, 촬영 옵션 스케쥴표(T11)상에 누락된 부분이 있을 경우 최적의 값을 자동 대입하는 과정에서 참조될 수 있다. 이때 상기 분석 옵션 스케쥴표(T12)는 촬영 후 분석에 들어가기 이전 시점까지 임의로 수정될 수 있다.
만약, 이미지의 총 촬영 예정 프레임수가 촬영 옵션 스케쥴표(T11)의 프레임 수 보다 많으면 등록된 프레임 스케쥴을 모두 촬영한 후 다시 처음 프레임으로 돌아가서 촬영을 반복하도록 설정될 수 있다. 또한 분석 시스템 내 유저 인터페이스부를 통해 최대 몇 초 동안 촬영을 할 것인가 혹은 촬영 옵션 스케쥴표(T11)를 몇 주기 반복할 것인가를 나타내는 값을 사용자로부터 입력 받을 수 있다.
(단계 B) 촬영 단계
촬영 단계(S20)에서는 촬영 준비 단계(S10)의 마무리 시점에 입력된 촬영 명령에 따라 촬영 옵션 스케쥴표(T11)에 지정된 순으로 광원을 호출하고 작동 명령을 인가한다. 이에 호출된 광원의 노출 시간만큼 촬영 시간을 제어하여 광원 의 조합이 프레임간에 섞이지 않게 하여 한 프레임내에서는 독점적인 광원 조합이 사용되도록 하고, 개별 입자들이 서로 구분가능하게 분리되어 보이는 이미지 정보를 획득하고 획득된 이미지 정보를 저장한다.
도 5는 촬영 단계(S20)에서 촬영 옵션 스케쥴표(T11)에 지정된 순으로 제어부(102)에 의해 수행되는 일련의 촬영 수행 과정의 예시이다.
도 5에서, 촬영 옵션 스케쥴표(T11)의 첫 열은 차례이고 해당 차례에 따라 촬영 과정들이 수행된다. 차례의 총 숫자가 촬영하려는 총 프레임수와 같다면 차례는 곧 프레임수이지만, 촬영하려는 총 프레임수가 차례보다 많다면 제어부는 촬영 옵션 스케쥴(T11)의 1번 행으로 돌아가 같은 과정을 반복하기 때문에 해당 차례는 한 스케쥴 사이클 내에서 어떤 프레임 행을 참조했는지 만을 표시한다.
촬영 옵션 스케쥴표(T11)의 두번째 열은 어떤 광원을 사용할 것인지를 정의한다.
도 5에서의 예시에 국한되지 않고 한 프레임에 2개 이상의 광원을 사용하도록 설정할 수 있다. 3번째 열은 광원을 On 하는 시간을 설정한다. 4번째 열은 카메라의 세부 설정 값을 모아놓은 항이며, 이 항에는 사용할 카메라의 기종, 셔터를 여는 시간, Gain 등의 카메라의 작동에 필수적인 여러 매개 변수 및 환경 변수들을 포함한다. 또 5에서와 같이 프레임 별로 다양한 촬영 옵션들이 적용되어 있으며 실제 촬영 시 각 프레임이 서로 다른 광원과 촬영 조건을 따르면서 반복 촬영을 시행한다.
(단계 C) 분석 단계
분석 단계(S30)에서는, 전술한 촬영 단계(S20)에 획득된 샘플 입자에 대한 이미지 정보, 즉 연속된 이미지 프레임들(S31)로부터 분석 옵션 스케쥴표(T12)에 정의된 방법에 따라 개별 입자의 공간적, 광학적 정보를 물리적, 생화학적 정보로 분석 및 도출하기 위한 프로세스가 진행된다.
구체적으로, 상기 분석 단계(C)는
연속된 이미지의 각 프레임별로 분석에 사용된 알고리즘 및 분석 인자를 포함하는 분석 옵션 스케쥴표(T12)를 선정하는 단계;
상기 분석 옵션 스케쥴표(T12)를 이미지 분석 및 입자 추적 스크립트에 적용하는 단계;
상기 스크립트에 의해 기 촬영된 각 이미지 프레임에 대한 분석 함수 및 매개 변수를 적용하여 이미지 분석을 통해 원시 관측 데이터(T14)를 얻는 단계;
상기 원시 관측 데이터(T14)로부터 입자 추적 과정을 실행하여 동일 입자로 간주된 경우에 한해 개별 입자 추적 데이터(T15)를 생성하는 단계; 및
상기 얻어진 개별 입자 추적 데이터(T15)로부터 전체 입자의 정보를 얻는 단계;를 포함하여 수행한다.
본 분석 단계(S30)는 도 3, 도 6 내지 도 8에 의해 보다 상세히 설명될 수 있다.
도 3은 촬영 단계(S20)에서 획득된 이미지와 촬영 인자 정보를 가지고 분석 단계(S30)에서 수행되는 일련의 입자 분석 과정, 즉 데이터 가공 방법에 관한 흐름도이다.
상기 도 6 내지 도 8은 도 3에 도시된 흐름도에 따라 분석부(164)가 기록된 이미지를 분석하는 과정에 발생되는 중간 출력 데이터들이 서로 다른 분석 옵션(T12)을 가질 때 어떻게 결과물이 달라지는 지에 대한 예시를 보여준다. 이들을 참조하여 분석 단계(S30)에서 수행되는 데이터 가공 방법에 대해 구체적으로 살펴보기로 한다.
분석 옵션 스케쥴표 선정 및 스트립트 적용
먼저, 연속된 이미지의 각 프레임별로 분석에 사용된 알고리즘 및 분석 인자를 포함하는 분석 옵션 스케쥴표(T12)를 선정한 다음, 상기 분석 옵션 스케쥴표(T12)를 이미지 분석 및 입자 추적 스크립트에 적용한다.
구체적으로, 도 3을 참조하면, 사전에 프레임별 스케쥴표(T10)이 작성되어 있고, 분석 단계가 시작되면 이미지 버퍼에 기존에 촬영했던 이미지 데이터를 분석 부의 프로세서가 읽을 수 있도록 로드한다. 이와 동시에 분석수단(106)의 유저 인터페이스부는 프레임별 스케쥴표(T10)로부터 발췌한 분석 옵션 스케쥴표(T12)의 최종 검토 및 수정을 사용자에게 요구하고(S39), 상기 분석 옵션 스케쥴표(T12)가 확정되면 각 이미지 프레임별로 분석에 사용될 알고리즘(혹은 함수), 분석 인자(S33) 등을 이미지 분석 및 입자 추적 스크립트(S32)에 반환한다.
S33을 넘겨받은 스크립트는 S31로부터 받아온 이미지의 프레임 수에 대응되는 분석 함수와 인자를 S33 내에서 찾아내어 적용한 뒤 해당 프레임에서의 원시 관측 데이터(T14)를 출력한다.
S33의 스크립트는 이미지 분석 및 입자 추적 과정을 한번에 처리하는 것에 국한되지 않고 세부 과정들을 분리하여 진행할 수 있다.
도 6 내지 도 8을 참조하면서 다음에 서술하는 구체적인 분석 과정의 흐름을 보면, 이미지 분석과 입자 추적 과정이 명시적으로 분리되어 있다. 이들 도면을 통해, 분석 도중 중간 과정에서 발생하는 데이터들을 확인할 수 있으며, 채널별 데이터 분류가 이미지 분석 직후에 실행된다는 가정 하에 분석 과정의 데이터 흐름을 예시로서 알 수 있다.
이때 S33의 스크립트는 상기 일련의 스크립트가 각 단계마다 다른 함수와 알고리즘을 이용하더라도 매 단계에서 다음 단계가 바람직하게 실행되기 위해 필요로 하는 일관된 구조의 데이터를 생성하고, 함수의 구현 형태에 따라 상기의 구조를 만족시키지 못할 시, 예외 처리를 요구하는 표시를 데이터에 명시하거나 예외 처리가 필요한 프레임과 그 값의 명칭, 그리고 예외 처리 방식을 기록한 데이터를 포함한다.
이미지 분석
도 6은 이미지 분석 단계(S32)에서 예시의 이미지 정보(T13)를 프레임별로 분석할 때 반영되는 분석 옵션을 도 4의 분석 옵션 스케쥴표(T12)에서 발췌한 것과 해당 분석 옵션이 반영된 원시 관측 데이터(T14)의 예시이다.
구체적으로, 이미지 분석은 분석 옵션 스케쥴표(T12)에 의거하여 프레임별 이미지(T13)에서 도출되는 잠정적 입자의 정보를 각각의 채널로 분리하여 입력 한다. 상기 잠정적 입자의 정보는 잠정적 입자들의 ID(Identification), 위치 및 밝기 값일 수 있다.
도 6을 보면, 프레임별 이미지(T13)의 Frame 1은 분석 옵션 스케쥴표(T12)의 첫번째 행에 지정된 분석 옵션을 부여받아 이미지의 밝은 부분을 영역화하여 찾아내는 Peak detection 과정을 수행한다. 그 결과, 입자가 있을 것으로 추정되는 지점에 점선의 원이 그려져 있으며, 입자의 중심을 정확히 추정하는 알고리즘인 localization을 수행하게 되어 "+" 마크로 표시된 입자 추정 지점의 정확한 중심점을 명시할 수 있게 되었다. 또한, Intensity channel은 1번이 되도록 설정되어 측정된 입자 영역의 이미지 밝기 값이 측정되어 해당 밝기를 측정했다는 표식으로 원의 내부를 해당 채널에 맞는 구별 가능한 색으로 채워 넣었다.
상기한 명시 방법과 이것이 구현된 도식은 사용자 유저 인터페이스부의 설정에 따라 실제로 분석 과정 중에 열람할 수 있으나, 보통은 내재화 하여 유저 인터페이스부 상에 표시하지 않으므로 프레임별 이미지(T13)의 도식은 기술의 이해를 돕기 위해 도식화 되었다.
한편, 이미지 분석 끝에 원시 관측 데이터(T14)를 참조하면 Frame 1에 해당하는 영역에 이미지 분석 도중 발견된 잠정적 입자들의 ID와 정확한 위치, 그리고 밝기 값이 입자 당 하나의 행을 차지하도록 입력되어 있다. 밝기 값의 경우 Channel 1에 해당하는 열에 입력되어 분리되어 열거되는 과정(S36)을 거치게 된다. 여기서 상술한 대로 channel 별 측정 값 분리는 도 3의 S36의 시점에 실행되도록 국한되지 않고 S32 이후, S37 이전의 어느 단계에서 실행되도록, 혹은 S32의 알고리즘 내에서 통합되어 실행되도록 조정될 수 있다.
다시 프레임별 이미지(T13)의 Frame 2를 참조하면 Frame 1에서와 달리 localization 함수(알고리즘)를 수행하지 않도록 S33의 과정을 통해 명령 받았으므로 입자가 있으리라고 추정되는 밝은 영역의 모호한(정밀도, 정확도가 낮은) 위치 좌표 만을 반환 받는다. 이때 원시 관측 데이터(T14)를 참조하면 Frame 1에서의 입자들의 결과와는 달리 Frame 2의 위치 좌표의 정밀도가 감소한 것으로 표현되어있다. 또한 Frame 2는 Channel 2번을 할당 받았으므로 상기 원시 관측 데이터(T14)에서 Channel 2에 해당하는 열에 밝기 값이 대입되어 있다.
Frame 3에 대해 다시 살펴보면 Frame 1과 동일한 알고리즘을 수행하였지만 밝기를 측정함에 있어 유효한 Channel값을 S33을 통해 부여 받지 않았기 때문에 밝기 값은 원시 관측 데이터(T14) 상의 어디에도 기록하지 않는다. 여기서 '유효하지 않음'이란 분석 부가 규정하는 예외 규정에 포함되는 숫자가 입력된 경우를 말하며, 이 예외 규정에는 0, 또는 음수, 정수가 아닌 수 등의 모두 혹은 그 일부가 선정될 수 있거나, 아예 어떠한 값도 대입 되어있지 않는 공란(empty)상태일 수 있다.
Frame 4를 살펴보면 Peak detection과 localization 함수 모두를 호출하지 않기로 설정하였기 때문에 좌표값을 반환하지 않아 [0,0]의 좌표를 가짐을 원시 관측 데이터(T14)에서 Frame 3의 결과와 대조하여 살펴볼 수 있다. 하지만 Intensity channel은 3으로 할당되어 있는데, 이런 경우 이전 프레임에서 측정되었던 좌표를 참조 좌표로 읽어와서 그 주변의 이미지의 밝기를 구하여 기록한다. 참조 좌표를 받아와 기록한 경우 참조 좌표의 ID와 동일한 ID를 가지는 데이터의 행을 만들어야한다. 여기서 유효한 좌표값을 받지 않은 경우 위치 행을 공란으로 두는 것 또한 유효한 표기법이다. 또한 참조 좌표를 받아오는 방식은 인접한 프레임의 좌표를 받아오는 것으로 국한되지 않고 연속한 이미지의 차이를 분석하여 속도 벡터의 이미지의 얻어내는 등의 부가적인 알고리즘이 추가될 수 있으며 이러한 경우엔 좌표값을 명시하여 표현한다.
입자 추적 과정
상기 이미지 분석이 완료 되면 입자 추적 과정을 실행한다.
입자 추적 과정은 원시 관측 데이터(T14)에서 매 프레임마다 입자의 형상, 밝기, 위치를 고려하여 가장 확률적으로 높은 입자의 쌍을 선택하여 동일한 입자로 간주하고, 상기 동일한 ID를 갖는 입자로 간주되는 값을 연결하여 입자별 입자 추적 데이터(T15)를 생성한다.
도 7은 도 6의 원시 관측 데이터(T14)을 가지고 입자 추적법을 수행할 때 반영되는 분석 옵션 스케쥴표(T12)의 항목과 해당 추적법을 시행한 결과인 입자 추적 데이터(T15)의 예시이다.
구체적으로, 이미지 분석이 종료되어 모든 프레임에서의 원시 관측 데이터(T14)를 얻어내면 입자 추적 과정이 실행되어 매 프레임마다 동일한 입자로 간주되는 값의 쌍을 연결하는 벡터를 생성한다. 연결된 벡터의 리스트는 S35의 과정으로 이행되어 최종적으로 입자별 입자 추적 데이터(T15)를 생성한다. 상술한 대로 알고리즘의 구현 방식에 따라 원시 관측 데이터(T14) 가 명시적으로 생성되지 않고 이미지로부터 입자 추적 데이터(T15)만을 바로 출력할 수 있다.
입자 추적 과정에서는 분석 옵션 스케쥴표(T12)의 Tracking열을 참조하여 해당 frame이 추적 과정에 기여를 하는가를 결정한다. 여기서 기여라고 함은 입자 추적의 대상이 될 수는 있지만 다른 다음의 입자를 추적하기 위한 기준 좌표로는 활용하지 않음을 의미한다. 여기서 분석 옵션이 기여도를 반영함에 있어 Tracking 열에만 국한되어 있는 것은 분석 과정과 데이터의 형태가 프레임에 따라 어떻게 달라지는지 대조 설명하기 위한 예시에 불과하며, 기여도에 국한되지 않고 추가적으로 다른 추적 방식 혹은 다른 기준을 적용 받도록 하는 함수와 인자 쌍을 넘겨받는 방식을 포함할 수 있다.
입자 추적 과정에서 입자의 형상, 밝기, 위치를 고려하여 가장 확률적으로 높은 입자의 쌍을 선택하여 동일 입자로 간주하고 연결한다. 여기서 연결이라고 함은 두 입자의 ID를 일치하고 해당 ID에 배정된 데이터 테이블에 두 입자의 원시 관측 데이터를 병기하는 것을 의미한다. 여기서 동일 입자가 프레임에 따라 계속 관측된다면 원시 관측 데이터(T14)의 테이블은 연결된 횟수만큼 증가된 행을 갖게 된다.
이 과정에서 한가지 방법에 국한되지 않고 다양한 확률적 추론을 동반하는 알고리즘을 복합적으로 사용할 수 있다.
원시 관측 데이터(T14)에 따르면 Frame 4의 데이터들은 유효한 좌표 값을 갖고 있지 않고, 이미지 분석 알고리즘은 이전 프레임에서의 좌표를 참조 좌표로 사용한 이력이 존재하므로 형상, 밝기, 위치를 기반으로 한 추적법은 배제되고 이전 프레임에서 동일한 ID를 갖는 입자끼리 연결한다. 여기서 분석 옵션 스케쥴표(T12)에 따르면 Frame 4는 tracking에 기여하지 않도록 설정되었고, 입자 추적 데이터(T15)의 결과를 살펴보면 Particle 1(입자 1)은 frame 4에 해당하는 100ms시점에서의 측정치 행을 부여 받았지만 좌표는 부여 받지 못하였다.
한편, Particle 1은 4번의 프레임 동안 4번 관측되어 4개의 행을 갖지만, Particle 2는 2번 프레임에서 관측된 적이 없으므로(frame 2의 촬영에 사용된 488 nm의 광원에 반응하지 않았으므로) 해당 행은 누락되고 3개의 행을 갖고있다. 유효하게 추적에 동원된 원시 관측 데이터(T14)들만으로 입자 추적 데이터(T15)가 생성되고 입자 별로 다른 행의 크기를 가진다. 행의 크기가 정형화 되지 않으므로 입자 추적 데이터(T15)는 구조체의 형태로 저장될 수 있다.
전체 입자 정보 산출
입자 추적 분석이 완료되면, 상기 얻어진 개별 입자 추적 데이터(T15)로부터 전체 입자의 정보를 얻는다. 이때 상기 정보는 입자들의 ID, 위치 및 밝기로부터 얻어지는 수학적, 물리적, 생화학적인 해석이 가능한 수치로서, 일례로 입자 크기, 입자 수, 입자 농도, 브라운 운동 궤적 등 일 수 있다.
구체적으로, 한 이미지 파일에 대해서 S35와 S36을 모두 실행하여 입자 추적 데이터(T15)가 생성되면 도 3의 입자의 특성을 수학적, 물리적, 생화학적으로 해석할 수 있게 표현하는 의미 있는 값을 산출해내는 단계(S37)로 분석 과정이 이행된다.
이때 분석 옵션 스케쥴표(T12)로부터 목표로 하는 산출값의 종류(혹은 실행할 함수의 핸들)와 해당 산출값에 사용될 프레임의 리스트의 조합들을 반환해주는 단계(S34)를 거친 후 S37이 바람직하게 실행된다.
도 8은 도 6의 입자 추적 데이터(T15)에서 도 8은 도 6의 입자 추적 데이터(T15)에서 최종 출력 값을 도출하기 위하여 사용되는 엄선 데이터 테이블(T16, T17)을 만드는 과정에서 반영되는 분석 옵션 스케쥴표(T12)의 항목들과 각각의 옵션들이 반영되었을 때 산출 과정에서 유효하거나 유효하지 않게 취급하는 입자 추적 데이터(T15) 상의 값들을 표시한 예시이다.
도 8에 따르면 분석 옵션 스케쥴표(T12)는 Counting과 Sizing이라는 매개 변수 사용처(열)를 포함하고 있다. S37에서, Counting이라는 사용처는 입자가 샘플 내에 존재하는 정도를 계산하는 함수를 호출하도록 하고, Sizing이라는 사용처 명칭은 입자의 브라운 운동의 크기를 측정하여 직경을 유도해내는 함수를 호출하는 것을 기본으로 한다. 해당 열에는 프레임 별(행간에)로 해당 매개 변수 사용처에 측정치를 기여할 것인가의 여부가 매개 변수로 입력 되어있다. 여기서 상술 한대로 Y/N으로 구분되는 매개 변수에 국한되지 않고, 해당 매개 변수 사용처에 유효한 (기본 함수가 아닌) 함수의 핸들을 매개 변수의 형태로 입력하는 것으로 대체될 수 있다.
입자 추적 데이터(T15)는 최종 출력 값에 입자의 수량을 포함하고자 할 때 사용할 Number estimation이라는 함수가 필요로 하는 특정 데이터 영역(T16)만 발췌되었다.
입자의 수는 화면상에 발견된 입자의 수를 유효한 측정 영역의 부피(130)로 나눈 값의 프레임간 평균으로 정의된다. 이때 분석 옵션 스케쥴표(T12)의 Counting사용처에 대한 매개 변수 값을 참조하여 사용되지 않을 Frame의 값들을 누락한다. 결과적으로 실제로는 입자가 관측된 적이 있는 프레임이라도 분석 인자의 설정에 따라 특정 프레임들은 강제로 누락된다. 도 8에서는 붉은 선을 덧씌우는 것으로 이러한 누락결과를 표시하였다.
구체적으로, Frame 2와 4에서 측정된 데이터 열은 무시되고 나머지 프레임에서 측정된 값들만 산출 과정에 기여된다. 여기서 Frame 4의 경우 Peak detection과 localization이 모두 수행되지 않은 프레임은 유효한 입자임이 전혀 검증되지 않고 이전 프레임에서 ID와 좌표를 상속받아 사용하였으므로 분석 옵션 스케쥴표(T12) 상의 환경 변수 설정을 무시하고 알고리즘은 해당 프레임을 강제로 누락할 수 있다.
한편, 입자 추적 데이터(T15)로부터 얻어진 최종 출력 값 중 입자의 크기 정보가 필요하다면 Size estimation 함수가 사용될 수 있다.
입자 크기(Size estimation)의 함수는 함수 자신이 필요로 하는 입자의 좌표값들과 해당 좌표값의 나타난 시간 값만을 분석 옵션 스케쥴표(T12)로부터 발췌하였다(T17). 여기서 오로지 Frame 1의 값만을 Size estimation에 사용하도록 지정하였기 때문에 나머지 프레임에서 측정된 값은 유효한 값의 존재 여부와 상관없이 누락된다. 여기서 Size estimation 함수 실행 과정에서 유효한 좌표값을 부여받지 못한 행은 분석 옵션 스케쥴표(T12)와 관계없이 무시될 수 있다.
추가적으로 인터페이스부는 S39 과정에서 유효한 좌표값을 부여 받지 못하리라는 것을 분석부가 감지하면 해당 프레임의 Sizing 열의 값을 변경 하지못하도록 하는 기능이 포함될 수 있다. Counting 열에서도 유사하게 Frame 4에서와 같은 특수한 분석 옵션들의 패턴이 감지되면 해당 프레임의 Counting 열을 변경 하지 못하도록 분석 부가적인 제약을 내릴 수 있다.
마지막으로, 사용자가 원하는 물리적, 생화학적으로 의미 있는 단위를 갖는 데이터의 집단으로 변환 및 가공할 수 있도록 데이터베이스화된 입자들의 집단 정보를 출력 및 저장(S38)함으로써 입자 분석 과정이 마무리될 수 있다.
도 9 내지 도 10은 본 발명을 통해 얻을 수 있는 분석 과정 및 결과상의 이득의 두가지 예를 나타낸 것이다. 이에 국한되지 않고, 표현 값의 산출(S37) 과정에서 산출 하고자 하는 값의 종류가 늘어남에 따라 분석 과정 및 결과상의 이득의 가짓수는 늘어날 수 있다.
도 9는 이미지 분석 과정(S32)에서 이미지 프레임상에서 Localization을 통해 잠재적 입자의 중심점을 찾아 입자의 좌표를 구하는 상황을 묘사한 도식이다. 좌측의 이미지는 입자의 이미지가 매우 밝아 노이즈 대비 신호(SNR)가 높은 상황, 우측의 이미지는 입자가 매우 어두워 SNR이 낮은 상황이다. 중앙의 노란 원은 해당 이미지 정도의 SNR에서 기대되는 중심 좌표의 오차 범위(68% 신뢰범위)이다. 좌측의 이미지는 입자의 형상이 명확하고 밝은 중심점이 쉽게 인지할 수 있어 중심점의 오차 범위가 좁다. 그러나, 우측의 이미지는 많은 노이즈로 인해 입자의 형상이 불명확해져 중심점의 위치를 오판할 가능성이 높아지고, 이로 인해 중심점의 오차범위가 넓어짐이 표현되어있다. 입자의 브라운 운동 궤적을 분석하고 Stokes-Einstein 공식을 이용하여 입자의 크기를 구한다면 입자의 매 시간 마다의 좌표의 오차가 모두 누적되므로, 개별 프레임에서의 정확도가 측정된 입자의 직경의 정확도에 직접적으로 영향을 준다. 이런 이유로 정확한 입자 직경 측정을 위해 SNR이 낮을 것으로 예상되는 프레임에서의 좌표 측정치를 배제하고자(T17) 할 수 있고 이를 위하여 분석 스케쥴표(T12)를 도입함으로써 실현할 수 있다. 이런 좌표 측정에서의 이득은 브라운 운동량을 통한 크기의 측정에 국한되지 않고, 전기영동, 초음파영동 등의 외력이 작용할 때의 입자의 거동을 분석하는 과정에서의 정확도에도 적용될 수 있다.
도 10은 샘플내 입자의 수량을 측정하는 과정(S37)에서 본 발명의 분석 옵션 스케쥴표(T12)의 도입 유무에 따른 수량 결과치의 차이를 보여주는 비교 예시이고, 입자는 화면 내에 3개가 존재한다고 가정하였다.
도 10은 산란광 및 모든 형광을 발하는 입자1, 산란광 및 청색 광원에 여기되는 물질이 마킹된 입자2, 어떠한 형광 물질을 갖고있지 않아 산란광만 발하는 입자3이 측정 영역(130)에 들어있는 상황을 가정한다. 또한, 임의의 촬영 옵션 스케쥴표(T11)를 통해 소정의 스케쥴을 통해 모든 산란광과 형광을 모두 관측한 하나의 사이클에 대해서 표현되어있다.
입자 추적 분석에서는 화면에 보인 유효한 입자의 수를 총 프레임수로 나누어 평균하여 관측 입자 수를 산정하고 여기에 사전에 도출된 측정 영역(130)의 부피를 나누어 줌으로써 입자의 농도를 구한다. 측정 영역의 부피가 일정하다고 가정하면 관측 입자 수의 변화가 입자 농도를 결정하는 유일한 변수라고 할 수 있다.
도 10의 상단의 도식은 종래와 같이, 분석 옵션 스케쥴표(T12)가 도입되지 않아 모든 입자가 측정된 사건이 입자 수량 측정 식에 반영되는 상황이다.
입자의 종류마다 형광신호의 유무가 달라 서로 관측된 프레임의 수가 달라 입자당 총 관측 이벤트 수가 달라진다. 실제로는 입자1 내지 3의 측정 부피 내에서의 존재 비중은 동일함에도 불구하고 실제 입자 수량 계산에 대입될 때는 형광을 많이 발하고 있는 입자가 더 많이 존재하는 것으로 잘못 계산된다. 총 프레임수도 촬영 환경의 차이에 무관하게 모든 프레임의 숫자를 사용하도록 설정되어 최종 입자 수량도 사전에 가정한 3이 아니라 더 낮은 값(2.285)로 떨어진 것을 볼 수 있다.
도 10의 하단의 도식은 본 발명에서 제시하는 분석 옵션 스케쥴표(T12)가 도입되어 특정 프레임에서의 입자 측정 이벤트를 배제하도록 설정된 상황이다. 여기서는 산란광 이벤트(회색 원)만을 수량 산출에 반영하고, 형광 이벤트(유색 원)을 배제하도록 분석 옵션이 설정되었다. 이를 반영하여 입자 수량을 계산하면 모든 입자는 산란광을 공통적으로 발하기 때문에 형광 물질의 유무로 이벤트의 수가 차이가 나지 않고, 이는 사전에 가정한 각 입자의 존재 비중과 동일하다. 그리고 총 프레임수 또한 산출에서 배제된 프레임을 제외한 프레임의 수를 사용하여 입자 수는 사전에 가정한 입자의 숫자와 동일하게 3으로 나타나는 것을 볼 수 있다.
결과적으로 수량 계산에 있어 모든 입자가 차별없이 공통적으로 빛을 발할 것으로 예상되는 프레임들만을 선정하도록 분석 옵션 스케쥴표(T12)를 도입하면 각 입자의 존재 비중뿐만 아니라 전체 입자 집단의 농도를 오판하지 않고 정확하게 측정하도록 해준다.
본 발명은 기존의 입자 추적 분석법에서 발생하는 여러 착오 및 오차를 매 프레임별로 분석 방법이 작동하는 거동을 다르게 함으로써 달성할 수 있다. 이를 위해 적용되는 알고리즘과 환경 변수, 그리고 각 단계별로 사용될 유효한 측정치를 사전에 정의 하여 분석 체계가 지속적으로 참조하도록 하고, 궁극적으로 사용자가 원하는 물리적, 수학적, 생화학적으로 의미있는 개별 입자 특성 값을 높은 정확도로 얻어내고 이를 기반으로 데이터베이스를 출력할 수 있다는 장점이 있다.
또한, 본 발명의 분석 방법 및 시스템은 유저 인터페이스부를 통해 매 이미지에서의 측정치를 임의로 설정함으로써 입자 농도나 다음 이미지에서의 위치를 오판 하는 것을 미연에 방지하거나 입자의 각 형광/산란광 별 밝기와 입자의 크기에 정확도를 감소시킬 수 있는 측정치를 선택 배제할 수 있다.
또한, 분석 과정에서 필요없는 측정치를 얻어내기 위한 연산을 생략하거나, 필요없는 측정치에 대한 정확도를 희생하면서 다른 측정치의 정밀도와 연산 속도를 높일 수 있는 다른 알고리즘을 적용할 수 있게 하여 분석 소요시간을 줄일 수 있다.
또한, 본 발명에 따른 방법 및 시스템은 입자 관측 및 분석 시스템을 통해 관측된 개별 입자가 가지고 있는 2개 이상의 서로 다른 형광 물질의 유무를 판독 할 수 있으며, 이미지 상에 관측된 모든 입자에 대하여 동시 다발적인 정량 분석이 가능하다.
더불어, 시계열적으로 반복된 촬영을 통해 추적된 입자의 궤적으로부터 해당 입자의 크기를 측정할 수 있으며, 추가적으로 분석 대상 입자 샘플에 전기영동, Dielectric phoresis, Thermophoresis 및 진동을 가하여 외력이 가해졌을 때 변화하는 개별 입자의 궤적의 변화를 추적하고 분석함으로써 각 외력에 연관된 해당 입자의 다양한 물리적 특성을 분석할 수 있다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
이상의 본 발명의 상세한 설명에서는 그에 따른 특별한 실시 예에 대해서만 기술하였다. 하지만 본 발명은 상세한 설명에서 언급되는 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 하며, 오히려 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
100: 분석 시스템 101: 광원부
102: 제어부 103: 샘플 거치부
104: 이미징 광학계 105: 촬영부
106: 분석수단 110: 광원
112: 광 가이드 114: 집광수단
130: 샘플 수용부 140: 대물렌즈
142: 거울 L1, L2: 도선
160: 이미지 처리부 162: 궤적 추적부
164: 궤적 분석부
T10: 프레임별 스케쥴표 T11: 촬영 옵션 스케쥴표
T12: 분석 옵션 스케쥴표 T13: 프레임별 이미지
T14: 원시 관측 데이터 T15: 입자 추적 데이터
T16, T17: 최종 출력 값
102: 제어부 103: 샘플 거치부
104: 이미징 광학계 105: 촬영부
106: 분석수단 110: 광원
112: 광 가이드 114: 집광수단
130: 샘플 수용부 140: 대물렌즈
142: 거울 L1, L2: 도선
160: 이미지 처리부 162: 궤적 추적부
164: 궤적 분석부
T10: 프레임별 스케쥴표 T11: 촬영 옵션 스케쥴표
T12: 분석 옵션 스케쥴표 T13: 프레임별 이미지
T14: 원시 관측 데이터 T15: 입자 추적 데이터
T16, T17: 최종 출력 값
Claims (13)
- 삭제
- 삭제
- 삭제
- (A) 분석 대상 입자 샘플을 샘플 거치부에 거치한 후 촬영 옵션 스케쥴표 및 분석 옵션 스케쥴표를 유저 인터페이스의 입력 장치에 입력하는 촬영 준비 단계;
(B) 상기 촬영 옵션 스케쥴표에 의해 광원을 호출 후 촬영 시간을 제어하여 연속된 이미지 프레임을 얻는 촬영 단계; 및
(C) 상기 촬영 단계에서 얻어진 연속된 이미지 프레임을 분석 옵션 스케쥴표에 따라 개별 및 전체 입자의 특성을 분석하는 분석 단계;를 포함하되,
상기 분석 단계(C)는,
연속된 이미지의 각 프레임별로 분석에 사용된 알고리즘 및 분석 인자를 포함하는 분석 옵션 스케쥴표를 선정하는 단계;
상기 분석 옵션 스케쥴표를 이미지 분석 및 입자 추적 스크립트에 적용하는 단계;
상기 스크립트에 의해 기 촬영된 각 이미지 프레임에 대한 분석 함수 및 매개 변수를 적용하여 이미지 분석을 통해 원시 관측 데이터를 얻는 단계;
상기 원시 관측 데이터로부터 입자 추적 과정을 실행하여 동일 입자로 간주된 경우들끼리 묶어 개별 입자 추적 데이터를 얻는 단계; 및
상기 얻어진 개별 입자 추적 데이터를 모아 전체 입자의 정보를 얻는 단계;를 포함하는, 입자 분석 방법.
- 제4항에 있어서,
상기 촬영 옵션 스케쥴표보다 많은 이미지를 찍도록 명령을 받을 경우 처음으로 돌아가서 동일한 스케쥴을 반복하여 잔여 촬영 매수를 채울 때까지 촬영을 수행하는, 입자 분석 방법.
- 제4항에 있어서,
상기 분석 옵션 스케쥴표는 스크립트의 각 단계마다 사용할 함수, 함수의 입력값, 그리고 함수의 결과물을 각 이미지 프레임마다 다르게 적용가능하도록 연속하여 기입되어 있는, 입자 분석 방법.
- 제4항에 있어서,
상기 분석 옵션 스케쥴표는,
이미지 분석 및 입자 추적을 수행하는 일련의 스크립트의 특정한 단계에 속하는 분석 과정 전반 혹은 임의의 시점에서 특정한 함수를 호출할 때, 상기의 일련의 스크립트가 진행되는 과정에 발생하는 중간 산출값들 중 어떤 값들을 입력 데이터로 사용할 것인가를 프레임 별로 지정한 환경 변수를 포함하는, 입자 분석 방법.
- 제4항에 있어서,
상기 분석 옵션 스케쥴표는,
실행되어야 하는 단계, 실행할 함수의 핸들, 도출하고자 하는 값의 명칭, 함수에서 사용될 프레임의 리스트의 묶음으로 이루어진 추가 명령과 다수의 추가 명령을 기록한 추가 명령란을 포함하는, 입자 분석 방법.
- 제4항에 있어서,
상기 분석 옵션 스케쥴표는,
유저 인터페이스를 통해 자동으로 작성 및 배치되고,
정의되지 않은 분석 인자 및 측정이 난해하거나 결과를 신뢰하기 어려운 입자 거동을 감지하여 최적의 거동과 환경 변수를 자동으로 배치하고, 분석 옵션에 따라 일부 또는 전체적으로 서로 다른 알고리즘을 적용하는, 입자 분석 방법.
- 제4항에 있어서,
상기 분석 옵션 스케쥴표는,
이미지 분석 및 입자 추적을 수행하는 일련의 스크립트가 각 단계마다 다른 함수와 알고리즘을 이용하더라도 매 단계에서 다음 단계가 바람직하게 실행되기 위해 필요로 하는 일관된 구조의 데이터를 생성하고, 함수의 구현 형태에 따라 상기의 구조를 만족시키지 못할 시, 예외 처리를 요구하는 표시를 데이터에 명시하거나 예외 처리가 필요한 프레임과 그 값의 명칭, 그리고 예외 처리 방식을 기록한 표를 포함하는, 입자 분석 방법.
- 제4항에 있어서,
상기 이미지 분석은 분석 옵션 스케쥴표에 의거하여 프레임별 이미지에서 도출되는 잠정적 입자들의 ID, 위치 및 밝기 값을 포함하는 입자의 정보를 각각의 채널별로 분리하여 원시 관측 데이터를 생성하는 것인, 입자 분석 방법.
- 제4항에 있어서,
상기 입자 추적 분석은 원시 관측 데이터에서 매 프레임마다 입자의 형상, 밝기, 위치를 고려하여 가장 확률적으로 일치도가 높은 입자의 쌍을 선택하여 동일한 입자로 간주하되, 상기 분석 옵션 스케쥴표에 따라 프레임별로 다르게 부여된 신뢰도를 바탕으로 입자의 형상, 밝기, 위치마다 서로 다른 가중치를 부여하고, 동일 입자로 간주된 잠정적 입자들이 측정치의 묶음에 동일한 입자 ID를 재부여하고, 상기 동일한 ID(Identification)를 갖는 입자에 대한 측정값을 연결하여 입자별 입자 추적 데이터를 생성하는, 입자 분석 방법.
- 제4항에 있어서,
상기 전체 입자의 정보는 입자 크기, 입자 수, 입자 농도, 브라운 운동 궤적 및 추가 명령의 결과 값 중에서 선택된 1종 이상을 동시에 얻는 것인, 입자 분석 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210081114A KR102522160B1 (ko) | 2021-06-22 | 2021-06-22 | 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템 |
| PCT/KR2022/001829 WO2022270709A1 (ko) | 2021-06-22 | 2022-02-07 | 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210081114A KR102522160B1 (ko) | 2021-06-22 | 2021-06-22 | 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220170276A KR20220170276A (ko) | 2022-12-29 |
| KR102522160B1 true KR102522160B1 (ko) | 2023-04-14 |
Family
ID=84539621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210081114A KR102522160B1 (ko) | 2021-06-22 | 2021-06-22 | 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102522160B1 (ko) |
| WO (1) | WO2022270709A1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012060163A1 (ja) | 2010-11-01 | 2012-05-10 | 財団法人神奈川科学技術アカデミー | 細胞分析装置 |
| US20130274119A1 (en) | 2010-05-25 | 2013-10-17 | Arryx, Inc. | Methods and apparatuses for detection of positional freedom of particles in biological and chemical analyses and applications in immunodiagnostics |
| KR101986903B1 (ko) * | 2017-09-29 | 2019-06-07 | 포항공과대학교 산학협력단 | 입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014007355B3 (de) | 2014-05-19 | 2015-08-20 | Particle Metrix Gmbh | Verfahren der Partikel Tracking Aalyse mit Hilfe von Streulicht (PTA) und eine Vorrichtung zur Erfassung und Charakterisierung von Partikeln in Flüssigkeiten aller Art in der Größenordnung von Nanometern |
| KR101766838B1 (ko) * | 2016-01-26 | 2017-08-23 | 윈포시스(주) | 입자 분석 장치 |
| US11513333B2 (en) * | 2016-02-18 | 2022-11-29 | Optofluidics Inc. | System and method for characterizing particulates in a fluid sample |
| US10438847B2 (en) | 2016-05-13 | 2019-10-08 | Lam Research Corporation | Manganese barrier and adhesion layers for cobalt |
| KR101895125B1 (ko) * | 2016-11-02 | 2018-09-04 | 국방과학연구소 | 스테레오 카메라를 이용한 3차원 궤적 추적 장치 및 방법 |
| KR20190002219A (ko) * | 2017-06-29 | 2019-01-08 | 성균관대학교산학협력단 | 이미지 분석 방법 및 장치 |
-
2021
- 2021-06-22 KR KR1020210081114A patent/KR102522160B1/ko active IP Right Grant
-
2022
- 2022-02-07 WO PCT/KR2022/001829 patent/WO2022270709A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130274119A1 (en) | 2010-05-25 | 2013-10-17 | Arryx, Inc. | Methods and apparatuses for detection of positional freedom of particles in biological and chemical analyses and applications in immunodiagnostics |
| WO2012060163A1 (ja) | 2010-11-01 | 2012-05-10 | 財団法人神奈川科学技術アカデミー | 細胞分析装置 |
| KR101986903B1 (ko) * | 2017-09-29 | 2019-06-07 | 포항공과대학교 산학협력단 | 입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220170276A (ko) | 2022-12-29 |
| WO2022270709A1 (ko) | 2022-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7261414B2 (ja) | 分析方法 | |
| EP2202506B1 (en) | Cell image display apparatus, cell image display method, and computer program product | |
| KR102122068B1 (ko) | 이미지 분석 시스템 및 분석 방법 | |
| EP0421736A2 (en) | Method and apparatus for measuring optical properties of biological speciments | |
| US20060023219A1 (en) | Optical tomography of small objects using parallel ray illumination and post-specimen optical magnification | |
| CN111352227A (zh) | 显微镜系统中样本平面的距离确定 | |
| CN111399208B (zh) | 生物荧光样本的聚焦拍摄实现方法、显微镜和存储介质 | |
| KR101986903B1 (ko) | 입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법 | |
| US10921252B2 (en) | Image processing apparatus and method of operating image processing apparatus | |
| CN111783640A (zh) | 检测方法、装置、设备以及存储介质 | |
| JP2009122115A (ja) | 細胞画像解析装置 | |
| US20200309718A1 (en) | Defect detection | |
| JP4728025B2 (ja) | 細胞画像解析装置 | |
| JP3282458B2 (ja) | フロー式粒子画像解析方法および装置 | |
| KR102522160B1 (ko) | 광학적 관측을 통한 입자의 분석 방법 및 분석 시스템 | |
| CN113281780B (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
| JPH0783817A (ja) | フロー式粒子画像解析方法およびフロー式粒子画像解析装置 | |
| CN114972547A (zh) | 用于确定牙齿颜色的方法 | |
| JPH07286954A (ja) | 細胞自動分類装置 | |
| US20210325293A1 (en) | Method and device for analysing cells | |
| CN112710590A (zh) | 尿液检测方法、尿液检测设备及计算机可读存储介质 | |
| JPH06221986A (ja) | フロー式粒子画像解析方法及びフロー式粒子画像解析装置 | |
| US20230175963A1 (en) | Method of analyzing a mixed fluorescence response of a plurality of fluorophores, fluorescence analyzer, fluorescence microscope and computer program | |
| CN111693469B (zh) | 一种测试光路系统稳定性的方法及系统 | |
| CN203299453U (zh) | 一种基于图像识别的电子望远镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |