KR101986903B1

KR101986903B1 - 입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법

Info

Publication number: KR101986903B1
Application number: KR1020170128123A
Authority: KR
Inventors: 박재성; 조시우
Original assignee: 포항공과대학교 산학협력단
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2019-06-07
Also published as: KR20190038083A

Abstract

나노입자를 정량을 분석을 위한 다중 입자 추적 기술을 발전시킨 입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법이 개시된다. 본 발명은 기존의 입자 추적 기술에선 불가능하였던 여러 가지 색의 관측을 광원의 파장을 시계열적으로 분리함으로써 달성할 수 있다. 이를 위해 촬영부(카메라)에서 이미지가 연속적으로 촬영되고 있을 때 전기신호를 통해 동일한 위치에 가하는 빛의 파장 또는 색을 바꿀 수 있는 광원부를 사용하여 매 이미지 마다 다른 색의 빛을 가해주고, 2가지 이상의 광원에 의한 연속 이미지가 만드는 입자의 궤적을 추적 후 개별 입자의 2가지 이상의 광원에 의한 밝기 값을 얻어내 입자의 운동궤적과 함께 개별입자의 속성을 묶은 데이터 베이스를 구축하고 이로부터 사용자가 원하는 물리적, 생화학적 값을 추출할 수 있도록 구성된다.

Description

입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법{APPRATUS AND METHODS FOR OPTICAL DETECTION AND ANALYSIS OF PARTICLE}

본 발명은 유체(기체 또는 액체)내 입자들을 광학적으로 추적하여 분석하는 장치에 관한 것으로, 좀 더 구체적으로는 유체에 여러 파장의 빛을 가해 유체 내 입자 집단을 개개 입자 별로 구분 가능하게 이미징하고, 이 이미지들을 통해 나타난 입자들의 운동 궤적을 분석하여 입자들의 특성을 분석하는 장치 및 방법에 관한 것이다.

유체 내 입자들을 촬영 및 추적하여 이들의 수량 및 개별 입자의 크기와 밝기 등의 특성들을 한번에 측정하는 기술을 입자 추적(particle tracking)이라 한다.

입자 추적(particle tracking)은 공간 내에 입자들이 서로 겹치지 않고 구분될 정도로 서로간에 일정한 거리를 유지하고 있는 샘플에 대하여 이미지 센서를 통해 동영상 또는 시간에 따른 연속이미지로 촬영하는 것, 매 이미지 프레임별로 이미지 프로세싱을 통해 입자 개체를 특정하는 것, 시간에 따라 입자의 밝기와 위치가 어떻게 변화하는 지를 추적하여 입자의 특성들을 분석하고, 이러한 과정을 서로 다른 개별 입자들에 대하여 동시 다발적으로 시행하는 것으로 구성된 분석 기술을 말한다.

입자 분석 기술에는 여러 가지가 알려져 있다. 그러나 입자 집단 단위가 아닌 개별 입자 단위로 분석할 수 있는 기술의 종류는 제한되어 있다. 개별 입자 단위 분석 기술로는 입자의 크기와 수량을 전기적으로 측정하는 Resistive Pulse(RP), 입자의 수 및 밝기(형광 및 산란광)를 측정하는 유세포 분석(Flowcytometry)방식, 그리고 상기한 입자 추적 기술으로 나뉜다.

화상처리(Image processing)을 통해 입자 개체를 이미지에서 정확히 검출하면 이미지 센서상의 밝기값을 통하여 입자의 밝기를 알 수 있고, 입자 추적의 대상이 되는 입자들은 브라운 운동에 의해 매 순간마다 위치가 바뀌기 때문에 개별 입자의 위치를 시계열적으로 추적하면 스톡스-아인슈타인 관계식에 의하여 개별 입자의 직경을 구할 수 있다.

입자 추적 기술은 수량, 크기, 밝기를 한번에 잴 수 있는 유일한 방법이면서 다른 방법들에 비해 샘플의 전처리 과정이 짧은 장점이 있다. 하지만 현재의 입자 추적 기술은 단색광 이미지만을 추적할 수 있어 산란광만을 측정할 수 있거나 입자 하나당 한가지 형광 물질의 유무만을 확인할 수 있다는 문제가 있다. 이 때문에 두가지 이상의 형광 물질로 동시에 표지된 입자와 한가지 형광 물질로만 표지된 입자를 구분할 수 없는 등의 문제가 있다.

최근 파장에 따라 서로 다른 위치에 상을 맺어주는 쿼드뷰 장비와 무기물 형광물질인 퀀텀닷을 이용하여 다색 입자추적을 시도한 연구가 있었지만 사용할 수 있는 형광물질이 생체 내에서 합성할 수 없는 퀀텀닷으로 제한된다는 문제가 있다.

한국공개특허 제2016-0138143(공개일 2016. 12. 02)

본 발명이 해결하고자 하는 기술적 과제는, 개별 입자에 산란광 및 서로 다른 여기(Excitation) 파장대를 갖는 2가지 이상의 형광물질의 유무를 판독하고 추적할 수 있는 입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 특정 입자가 아닌 화상 정보에 나타난 모든 입자들에 대한 개별 분석이 동시 다발적으로 수행될 수 있는 입자의 광학적 관측 및 분석 장치, 그리고 관측 및 분석 방법을 제공하고자 하는 것이다.

과제의 해결 수단으로서 본 발명의 일 측면에 따르면,

빛을 조사하는 하나 이상의 광원을 구비한 광원부;

분석 대상 입자 샘플을 수용하며 광원부의 빛이 투과되어 상기 입자 샘플에 조사되는 샘플 거치부;

입자 샘플에서 반사된 빛으로부터 상기 입자 샘플의 물리적인 특성을 분석하는데 필요한 화상 정보를 획득하는 촬영부;

광원이 출력하는 빛의 파장과 밝기를 제어하고 상기 촬영부에 화상 정보를 획득을 위한 촬영 명령을 인가하는 제어부; 및

상기 촬영부를 통해 획득된 화상 정보를 수집하고, 수집된 화상 정보로부터 입자 샘플을 구성하는 개별 입자의 물리적 특성을 분석하는 분석수단;을 포함하는 입자의 광학적 관측 및 분석 장치를 제공한다.

본 발명의 일 측면에서 상기 광원부는,

상기 제어부의 제어에 따라 여러 파장대의 빛을 샘플 거치부를 향하여 조사하는 하나 이상의 광원 및 광원부와 상기 샘플 거치부 사이의 광경로 상에 설치되어 상기 하나 이상의 광원이 같은 지점을 조광하도록 유도하는 광 가이드를 포함할 수 있다.

여기서, 상기 광원은 0.05 초 이내에 턴 온 또는 턴 오프되는 응답성을 갖는 발광다이오드 또는 레이저 발생기일 수 있으며, 광 가이드는 거울, 색선별 거울(Dichroic mirror), 프리즘 중 하나일 수 있다.

광원부는 또한, 상기 광 가이드를 통과한 빛의 세기를 증가시켜 샘플 거치대를 향하여 조사시키는 집광수단을 더 포함할 수 있으며, 이 경우 상기 집광수단은 볼록렌즈일 수 있다.

또한, 본 발명은 광 가이드와 샘플 거치부 사이를 유연하게 연결하는 광섬유를 더 포함할 수 있다.

본 발명의 일 측면에서 상기 샘플 거치부는, 상기 내부의 유체 채널에 입자 샘플을 수용하며, 상기 광원의 빛이 투과되어 입자 샘플에 조사될 수 있도록 투명한 재질로 된 샘플 수용부와, 상기 유체 채널 내에서 입자 샘플이 거동할 수 있도록 일정한 압력 또는 유량을 가하는 펌프 및 샘플 수용부를 탑재하며 광원부에 대한 상기 샘플 수용부의 위치를 조정할 수 있도록 구성된 스테이지;를 포함할 수 있다.

또한 촬영부는, 초당 10 프레임(Frame) 이상의 속도로 연속된 화상 정보를 획득할 수 있는 카메라 및 상기 카메라를 통해 획득된 화상 정보를 저장하는 기록수단을 포함할 수 있다.

그리고 제어부는, 상기 분석수단을 통해 입력되는 명령에 상응하는 제어 값을 결정하고, 결정된 제어 값으로 상기 광원이 출력하는 빛의 파장과 밝기를 시간에 따라 바꾸며, 빛의 파장이 바뀌는 시점마다 상기 촬영부에 촬영 명령을 인가하는 IC칩을 포함할 수 있다.

본 발명의 일 측면에서 상기 분석수단은, 제어부의 통제에 따라 촬영된 화상 정보(이미지들)에서 입자들의 위치와 밝기를 특정하여 기록하는 화상 처리부, 각 입자의 위치를 가까운 시간대에 촬영된 다른 입자의 위치와 연결하여 시간 변화에 대한 입자의 이동 궤적을 추적하는 궤적 추적부 및 궤적 데이터로부터 각 입자별 대표 특성 값을 구해내고 이미지가 촬영된 시점의 광원부 파장에 따라 입자 밝기의 값을 분류하여 분석하는 궤적 분석부를 포함할 수 있다.

또한 본 발명의 일 측면에 따르면, 확대상(擴大像)을 만들기 위하여 상기 입자 샘플에 반사된 빛이 입사되는 대물렌즈와, 대물렌즈를 통과한 빛이 상기 촬영부의 올바른 위치에 상을 맺도록 유도하는 거울 또는 색선별 거울(Dichroic mirror)을 포함한 이미징 광학계;를 더 포함할 수 있다.

과제의 해결 수단으로서 본 발명의 다른 측면에 따르면,

(A) 분석 대상 입자 샘플을 샘플 거치부에 거치하고, 광원의 호출 순서 및 노출 시간, 촬영 시간, 촬영 시 시퀀스(Sequence) 반복 주기 중 일부 또는 모든 정보를 포함하는 광원 시퀀스 테이블을 작성하고 촬영 명령을 입력하는 촬영 준비 단계;

(B) 촬영 명령에 따라 시퀀스 테이블에 지정된 순으로 광원을 호출하고 작동 명령을 인가하며, 호출된 광원의 노출 시간만큼 촬영 시간을 제어하여 입자 샘플의 물리적인 특성을 분석하는데 필요한 화상 정보를 획득하고 획득된 화상 정보를 저장하는 촬영 단계 및;

(C) 상기 촬영 단계에 획득된 샘플 입자에 대한 화상 정보로부터 입자 샘플을 구성하는 개별 입자의 물리적 특성을 분석하는 분석 단계;를 포함하는 입자의 광학적 관측 및 분석 방법을 제공한다.

바람직하게 상기 (A) 단계에서는, 광원 시퀀스 테이블의 각 칸마다 고유 식별정보를 포함하는 코드 형태로 광원의 색 시퀀스 정보가 기록되고, 선택된 코드에 따라 호출하는 광원과 노출 시간, 그리고 카메라의 한 프레임당 촬영되는 입자 집단 이미지의 광원을 결정하며, 총 촬영되는 이미지의 프레임수가 시퀀스 테이블의 칸수 보다 많으면 해당 시퀀스를 모두 호출한 후 다시 처음 칸으로 돌아가는 과정을 주기적 반복하도록 설정되는 프로세스를 포함할 수 있다.

그리고 상기 (B) 단계에서는,

(B-1) 상기 광원 시퀀스 테이블을 제어부가 인식하여 목표로 하는 총 기록시간을 T로 정의하고 광원 시퀀스 테이블의 길이를 통해 한 시퀀스의 주기 당 호출해야 하는 광원 호출 횟수(Ctot) 값을 지정하는 단계;

(B-2) 촬영 직전 현재시간(t)을 '0'으로 하고 현재의 시퀀스 번호를 1번으로 초기화 하는 단계;

(B-3) 촬영 시작 후 타이머 기능을 사용하여 상기 현재시간(t)를 실시간으로 증가시키는 단계;

(B-4) 광원 시퀀스 테이블의 특정(c) 번째 칸에 지정된 광원이 빛을 발하도록 신호를 보내는 단계;

(B-5) 특정(c)번째 칸에 지정된 광원의 노출 시간 동안 카메라의 셔터가 열려 있도록 촬영부를 제어하는 단계;

(B-6) 셔터가 닫힌 직후 촬영된 한 프레임의 이미지를 이미지 버퍼에 저장하는 단계;

(B-7) 현재 광원 값을 광원 시퀀스 테이블 상 다음 칸으로 넘기면서 한 시퀀스 주기 당 호출해야 하는 상기 광원 호출 횟수(Ctot) 값을 넘지 않도록 현재 광원의 순서 값(c)을 광원 호출 횟수(Ctot)로 나눈 나머지에 1만큼을 더해주는 단계; 및

(B-8) 촬영 소요시간(t)이 사전에 설정된 시간(T)에 도달했는지 여부를 판단하고, 도달하지 않은 경우 상기 (B-4) 단계로 돌아가 촬영을 지속하고 도달한 경우 촬영을 종료하는 단계;를 포함할 수 있다.

또한 상기 (C) 단계에서는,

(C-1) 이미지 버퍼에 저장된 이미지 시퀀스를 먼저 촬영된 순서부터 프레임 단위로 불러오는 단계;

(C-2) 불러온 이미지 시퀀스들에 다중 입자 추적(Multiple particle tracking) 알고리즘을 적용하는 단계;

(C-3) 개별 입자의 프레임 별 위치와 밝기에 관한 정보를 획득하는 단계;

(C-4) 광원 시퀀스 테이블을 참조하여 프레임 별 개별 입자의 밝기 데이터를 가지고 대응되는 광원의 색을 추정하고, 추정된 광원의 색깔 별로 프레임을 분류하고 다시 밝기 값을 기준으로 분류하여 기록하는 단계;

(C-5) 밝기 값을 기준으로 분류된 데이터 클래스(Classe)와 시간 변화에 따른 개별 입자의 위치 변화를 기록한 데이터 클래스(Classe)들의 묶음을 가지는 데이터 베이스를 구축하는 단계; 및

(C-6) 데이터 베이스화된 입자들의 집단 정보를 원시데이터로서 저장하고 원하는 물리적, 생화학적 의미를 갖는 데이터로 변환 및 가공하는 단계;를 포함할 수 있다.

본 발명의 실시 예에 따른 입자의 광학적 관측 및 분석 장치 및 운용 방법 의하면, 입자 관측 및 분석 장치를 통해 관측된 개별 입자가 가지고 있는 2개 이상의 서로 다른 형광물질의 유무를 판독 할 수 있다. 형광물질의 종류 또한 퀀텀닷으로 제한되지 않고 여기(Excitation) 파장대가 겹치지 않는 어떠한 조합의 형광물질이라도 사용 가능하다.

또한, 추적된 입자의 궤적으로부터 해당 입자의 크기를 측정할 수 있으며, 추가적으로 분석 대상 입자 샘플에 전기영동, Dielectric phoresis, Thermophoresis 및 진동을 가하여 외력이 가해졌을 때 변화하는 개별 입자의 궤적의 변화를 추적하고 분석함으로써 각 외력에 연관된 해당 입자의 다양한 물리적 특성을 분석할 수 있다.

또한, 본 발명을 통한 입자 분석은 촬영을 통해 획득된 화상 정보, 즉 이미지 상에 관측된 모든 입자에 대하여 동시 다발적으로 실시할 수 있다. 따라서 서로 다른 물질 구성을 갖는 입자들이 섞인 집단 내에서 개별 입자들이 어떤 구성물질들을 갖고 있느냐에 따라 다양한 소집단으로 분류하고 그 소집단내의 입자 수량을 정량적으로 분석할 수 있다.

궁극적으로는, 혈액 내 세포 밖 소포와 같은 생체나노입자의 집단을 정확하게 정량 분석하여 암 진단을 위한 액상 생검 등에 효과적으로 활용 가능하며, 바이러스와 미세 먼지와 같은 다양한 나노입자 들을 분류, 정량화 하여 환경 모니터링에 활용하는 효과가 발휘될 수 있다.

도 1은 본 발명의 실시 예에 따른 입자 분석 장치의 개략적인 구성도이다.
도 2는 본 발명의 다른 측면에 따른 입자의 광학적 관측 및 분석 과정의 전체적인 흐름을 개략 도시한 흐름도이다.
도 3은 광원 시퀀스 테이블에 지정되는 광원의 리스트를 모식화한 예시도이다.
도 4는 촬영 단계(S20)에서 제어부에 의해 수행되는 일련의 촬영 제어 관한 흐름도이다.
도 5는 촬영 단계(S20)에서 획득된 화상 정보를 가지고 분석 단계(S30)에서 수행되는 일련의 입자 분석 과정에 적용되는 흐름도이다.
도 6은 도 5에 포함된 입자추적 알고리즘을 통해 얻어진 데이터들을 가공하는 프로세스를 예시한 블록도이다.
도 7은 도 4와 도 5에 도시된 흐름도에 따라 장치가 작동했을 때 광원이 시간에 대해 제어되는 모습과 기록된 이미지를 분석하는 장면을 나타낸 개념도이다.
도 8은 도 7에 예시된 과정을 거쳐 실제 입자들이 추적 결과, 즉 개별 입자의 이동 궤적을 이미지 상에 프로젝션한 결과물이다.
도 9는 사용자가 가공할 수 있는 원시데이터로부터 각 입자의 물리적, 생물학적 성질을 표현하는 형태의 데이터로 시각화한 컬러 3차원 산포도이다.

여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않음을 밝혀둔다.

도 1은 본 발명의 실시 예에 따른 입자 분석 장치를 개략적으로 도시한 개략 구성도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 입자의 광학적 관측 및 분석 장치(100)는, 광원부(101)와 제어부(102), 샘플 거치부(103)를 포함한다. 그리고 이미징 광학계(104)와 카메라를 포함하는 촬영부(105) 및 분석수단(106)을 구비한다. 물론 예시된 구성요소에 국한되어 구현되는 것은 아니며, 필요에 따라 다른 구성요소들을 더 포함할 수 있다.

입자 분석 장치(100)의 구성을 좀 더 구체적으로 살펴보기로 한다.

광원부(101)는 입자 샘플을 향하여 빛을 조사하는 하나 이상의 광원(110)을 포함한다. 광원(110)은 외부 전기신호에 의해 온/오프(ON/OFF) 되며, 제어부(102)의 통제에 따라 상기 샘플 거치부(103)를 향하여 조사되는 빛의 파장 또는 색을 바꿀 수 있도록 구성된다. 광원(110)은 예를 들어, 0.05 초 이내에 턴 온 또는 턴 오프되는 빠른 응답성을 갖는 발광다이오드 또는 레이저 발생기일 수 있다.

하나 이상의 광원(110)들이 같은 지점을 조광하도록 광원(110)과 상기 샘플 거치부(103) 사이의 광경로 상에는 광 가이드(112)가 설치될 수 있다. 광 가이드(112)는 광경로를 샘플 거치부(103)의 위치나 입자 샘플에 따라 원하는 형태로 수정 또는 교정할 수 있도록 구성될 수 있다. 예를 들어, 거울, 프리즘 혹은 색선별 거울(Dichroic mirror) 등일 수 있다.

광경로를 상기 샘플 거치부(103)의 위치나 입자 샘플에 따라 원하는 형태로 수정 또는 교정할 수 있도록, 광 가이드(112)와 샘플 거치부(103) 사이를 광섬유를 이용하여 유연하게 연결하는 방안이 고려될 수 있다. 물론 이에 국한되는 것은 아니다.

광원부(101)는 또한, 광 가이드(112)를 통과한 빛의 세기를 증가시켜 샘플 거치대를 향하여 조사시키는 집광수단(114)을 더 포함할 수 있으며, 집광수단(114)은 볼록렌즈일 수 있다.

빠른 시간(0.05 초 이내)에 턴 온 또는 턴 오프가 구현되지 않는 광원(110)을 사용하는 경우에는 모터가 달린 교정장치를 통해 광원(110)을 목표지점에 도달하거나 도달하지 못하도록 통제하는 방법이 고려될 수 있으며, 광원부(101) 전체를 0.05 초 이내에 파장을 바꿀 수 있을 정도로 빠른 응답속도를 보장하는 모노크로메이터(Monochromator)로 대체할 수도 있다.

샘플 거치부(103)는 분석 대상 입자 샘플(P)을 수용하며 광원부(101)의 빛이 투과되어 입자 샘플에 조사될 수 있도록 구성된다. 샘플 거치부(103)는 바람직하게, 내부의 유체 채널(부호 생략)에 입자 샘플을 수용하며, 광원(110)의 빛이 투과되어 입자 샘플에 조사될 수 있도록 투명한 물질, 예를 들어 쿼츠, 유리, PDMS(Polydimethyl siloxane) 등으로 제작된 샘플 수용부(130)를 포함한다.

샘플 거치부(103)는 또한, 샘플 수용부(130) 내 유체 채널 내에서 입자 샘플이 일정한 유속을 가지고 거동할 수 있도록 일정한 압력 또는 유량을 가하는 펌프(132)를 포함할 수 있다. 그리고 샘플 수용부(130)를 탑재하며 광원부(101)에 대한 상기 샘플 수용부(130)의 위치를 임의로 조정할 수 있도록 수동 및 전자식으로 조작 가능한 기구 또는 기계적인 구성을 갖는 도시하지 않는 스테이지를 포함할 수 있다.

광원(110)에서 조사되고 입자 샘플(P)에서 반사된 빛은 중간에 상기 이미징 광학계(104)를 통해 촬영부(105)에 제공될 수 있다. 이미징 광학계(104)는 바람직하게, 확대상(擴大像)을 만들기 위하여 입자 샘플에 반사된 빛이 입사되는 대물렌즈(140)와, 대물렌즈(140)를 통과한 빛이 상기 촬영부(105)의 올바른 위치에 상을 맺도록 유도하는 거울(142)을 포함할 수 있다.

거울은 경우에 따라 색선별 거울(Dichroic mirror)로 변경 또는 대체 될 수 있으며, 특정 파장을 차단하는 광학 필터(미도시)가 추가될 수 있다. 광학 필터는 도시하지 않았으나, 이미징 광학계(104)를 구성하는 상기 거울과 촬영부(105)를 구성하는 카메라 사이 또는 상기 대물렌즈(140)와 거울(142) 사이, 혹은 대물렌즈(140)와 샘플 거치대(103) 사이의 광경로 상에 배치될 수 있다.

촬영부(105)는 입자 샘플(P)에서 반사되고 상기 이미징 광학계(104)를 통해 입사되는 빛으로부터 입자 샘플의 물리적인 특성을 분석하는데 필요한 화상 정보를 획득한다. 이와 같은 촬영부(105)는 바람직하게, 초당 10 프레임(Frame) 이상의 속도로 연속된 화상 정보를 획득할 수 있는 카메라 및 카메라를 통해 획득된 화상 정보를 저장하는 기록수단을 포함할 수 있다.

제어부(102)의 주요 기능은 광원(110)이 출력하는 빛의 파장과 밝기를 제어하며 촬영부(105)에 화상 정보를 획득을 위한 명령을 인가하는 것이다. 제어부(102)는 바람직하게, 분석수단(106)을 통해 입력되는 명령에 상응하는 제어 값을 결정하고, 결정된 제어 값으로 광원(110)이 출력하는 빛의 파장과 밝기를 시간에 따라 바꾸며, 빛의 파장이 바뀌는 시점마다 촬영부(105)에 촬영 명령을 인가한다.

제어부(102)에는 촬영부(105)의 카메라 셔터를 열고 닫게 하는 신호를 인가하는 도선(L1)과 각 광원(110) 소자에 광원(110)의 턴 온 또는 턴 오프를 통제할 수 있는 도선(L2)이 포함된다. 각 도선(L1, L2)은 2개 이상의 신호 출력이 가능하며 프로그램을 내장할 수 있는 Arduino와 같은 IC칩과 연결될 수 있다. 이때 IC칩은 컴퓨터의 PCI 포트 및 이와 유사한 장소에 장착되는 보드 또는 칩으로 대체될 수 있다.

제어부(102)는 또한 상기 분석수단(106), 예를 들어 컴퓨터의 통제를 받을 수 있는 인터페이스를 포함한다. 이에 따라 분석수단(106)을 통해 입력된 명령이 인터페이스를 통해 제어부(102)에 전달되며, 제어부(102)가 입력 명령에 상응하는 제어 값으로 해당 도선을 통해 상기 광원부(101)와 촬영부(105) 각각에 제어신호를 보냄으로써 광원(110)과 카메라 셔터 동작이 제어된다.

분석수단(106)은 상기 촬영부(105)를 통해 획득된 화상 정보를 수집하고, 수집된 화상 정보로부터 입자 샘플을 구성하는 개별 입자의 물리적 특성을 분석한다. 분석수단(106)은 바람직하게, 사용자의 명령을 받을 수 있는 입력 장치와, 상기 카메라 및 제어부(102)와 통신하는 인터페이스를 갖추고 제공받은 화상 정보에 대한 소정의 분석 처리를 수행하는 프로세서를 가지는 컴퓨터로 구성될 수 있다.

프로세서는 화상 정보에 대한 정확하고 효율적인 분석 처리를 위한 역할 분담을 위해 여러 개의 처리부를 포함할 수 있다. 여러 개의 처리부는 바람직하게, 입자들의 위치와 밝기를 특정하여 기록하는 화상 처리부(160)와 시간 변화에 대한 입자의 이동 궤적을 추적하는 궤적 추적부(162), 그리고 궤적 분석부(164)로 구분될 수 있다.

화상 처리부(160)는 구체적으로 상기한 제어부(102)의 통제에 따라 촬영된 화상 정보(이미지들)에서 입자들의 위치와 밝기를 특정하여 기록하는 역할을 하며, 궤적 추적부(162)는 기록된 입자들의 위치 데이터를 가지고 각 입자의 위치를 가까운 시간대에 촬영된 다른 입자의 위치와 연결하여 시간 변화에 대한 입자의 이동 궤적을 추적한다.

그리고 궤적 분석부(164)는 상기 궤적 추적부(162)가 제공하는 궤적 데이터로부터 각 입자별 대표 특성 값을 구해내고, 이미지가 촬영된 시점의 광원부(101) 파장에 따라 입자 밝기의 값을 분류하여 분석한다. 그리고 분석된 정보를 데이터 베이스화 하여 이로부터 사용자가 원하는 입자 샘플을 구성하는 각 개별 입자의 물리적, 생화학적 값을 추출한다.

전술한 광학적 입자 분석 장치에 의해 수행되는 입자의 광학적 관측 및 분석 과정을 상기 입자 분석 장치의 작동과 연계하여 살펴보기로 한다.

도 2는 본 발명의 다른 측면에 따른 입자의 광학적 관측 및 분석 과정의 전체적인 흐름을 개략 도시한 흐름도이다.

도 2를 참조하면, 전술한 광학적 입자 분석 장치에 의해 수행되는 입자의 광학적 관측 및 분석 과정은 크게 세 개의 단계로 구분될 수 있다. 바람직하게는, 촬영 준비 단계(S10), 촬영 단계(S20), 분석 단계(S30)로 구분될 수 있다. 여기서 촬영 준비 단계(S10)는 분석 대상 입자 샘플에 맞춰 제어 대상부(광원부, 촬영부)를 어떤 식으로 컨트롤할 것인지 정보를 입력하는 단계이다.

촬영 준비 단계(S10)는 바람직하게, 분석 대상 입자 샘플을 샘플 거치부(도 1의 103)에 거치하고, 광원의 호출 순서 및 노출 시간(발광 시간), 촬영 시간, 촬영 시 시퀀스(Sequence) 반복 주기 중 일부 또는 모든 정보를 포함하는 광원 시퀀스 테이블을 작성하는 과정과, 광원 시퀀스 테이블(도 3 참조) 작성 완료 후 본격적인 광학적 관측을 위한 촬영 명령을 입력하는 과정을 포함할 수 있다.

도 3은 광원 시퀀스 테이블에 지정되는 광원의 리스트를 모식화한 예시도이다.

도 3의 예시와 같이, 광원 시퀀스 테이블(10)은 시간에 대한 광원 호출 순서를 나열한 형태로 작성될 수 있으며, 광원 시퀀스 테이블의 각 칸마다 고유 식별정보를 포함하는 코드 형태로 광원의 색 시퀀스 정보가 기록될 수 있다. 선택된 코드에 따라 호출하는 광원과 노출 시간(발광 시간), 그리고 카메라의 한 프레임당 촬영되는 입자 집단 이미지의 광원을 결정한다.

만약, 총 촬영되는 이미지의 프레임수가 시퀀스 테이블(10)의 칸수 보다 많으면 해당 시퀀스를 모두 호출한 후 다시 처음 칸으로 돌아가는 과정을 주기적 반복하도록 설정될 수 있다. 또한 광원 시퀀스 테이블은 최대 몇 초 동안 촬영을 할 것인가 혹은 시퀀스(예를 들어, S1, F1, S1, F2, S1 F3)를 주기적으로 몇 번 반복할 것인가를 나타내는 값을 사용자로부터 입력 받을 수 있다.

촬영 단계(S20)에서는 촬영 준비 단계(S10)의 마무리 시점에 입력된 촬영 명령에 따라 상기 광원 시퀀스 테이블에 지정된 순으로 광원을 호출하고 작동 명령을 인가하며, 호출된 광원의 노출 시간만큼 촬영 시간을 제어하여 입자 샘플의 물리적인 특성을 분석하는데 필요한 화상 정보를 획득하고 획득된 화상 정보를 저장한다.

도 4는 촬영 단계(S20)에서 제어부에 의해 수행되는 일련의 촬영 제어 관한 흐름도이다. 이를 참조하여 촬영 단계(S20)에서 수행되는 촬영 제어 과정을 좀 더 구체적으로 살펴보기로 한다.

도 4를 참조하면, 촬영 명령이 입력되면 그 입력된 시점에 상기 광원 시퀀스 테이블(10)을 제어부가 인식하게 된다(S21). 제어부는 촬영 준비 단계(S10)에서 사용자에 의해 입력되는 촬영 시 목표로 하는 총 기록시간을 T로 정의하고 광원 시퀀스 테이블(10)의 길이를 통해 한 시퀀스의 주기 당 호출해야 하는 광원 호출 횟수(Ctot) 값을 지정한다(S22).

촬영을 시작하기 직전 현재시간(t)을 '0'으로 하고 현재의 시퀀스 번호(c)를 1번으로 초기화 한다(S23). 이후 촬영이 시작되면 타이머 기능을 작동시켜 상기 현재시간(t)를 실시간으로 증가시키고(S24), 광원 시퀀스 테이블(10)의 해당 시퀀스에 지정된 순으로 광원을 호출한다. 그리고 호출된 광원이 빛을 발하도록 신호를 인가한다(S25).

해당 시퀀스 테이블(10)에 기록된 순서상 특정(c)번째 칸에 지정된 광원, 예를 들어 도 3의 시퀀스 테이블(10)에서 첫 번째 줄의 첫 번째 칸에 기록된 S1 광원이 호출될 순서인 경우, 해당 광원(S1)에 턴 온 신호를 인가하여 빛을 발하도록 한다. 이와 동시에 지정된 광원(S1)의 설정 노출 시간(발광 시간) 동안 카메라의 셔터가 열려 있도록 카메라를 제어한다.

노출 시간(발광 시간) 경과 후 셔터가 닫히면 그 즉시 셔터가 열려 있는 동안 촬영된 한 프레임의 이미지를 기록하고(S26) 이미지 버퍼에 저장한다(S27). 그리고 현재의 광원 값을 광원 시퀀스 테이블(10) 상 다음 칸으로 넘기면서 한 시퀀스 주기 당 호출해야 하는 상기 광원 호출 횟수(Ctot) 값을 넘지 않도록 현재 광원의 순서 값(c)을 광원 호출 횟수(Ctot)로 나눈 나머지에 1만큼을 더해준다(S28).

예를 들어, 앞선 예와 같이 도 3의 첫 번째 줄의 첫 번째 칸에 위치한 S1 광원을 호출한 경우, 광원 호출 후 해당 광원이 노출되는 동안 촬영된 한 프레임의 이미지를 저장한다. 그런 다음 다음 칸에 위치한 F1 광원을 호출하되, 현재 광원의 순서 값인 1을 Ctot인 6으로 나눈 나머지에 1만큼을 더해 광원 호출 횟수를 넘지 않는 범위 내에서 다음 광원인 F1을 호출한다.

다음으로, 촬영 시작과 통시에 카운팅 된 촬용 소요시간(t)이 사전에 설정된 시간(T)에 도달했는지 여부를 판단한다(S29). 만약 촬영 소요시간(t)이 사전에 설정된 시간(T) 도달하지 않은 경우(T>t) 상기 S35 단계로 돌아가 촬영을 계속하고, 촬영 소요시간(t)이 사전에 설정된 시간(T)에 도달한 경우, 즉 T≤t 인 경우라면 촬영을 종료하게 된다.

한편, 앞서 첨부된 도 2의 전체적인 흐름도에 나타난 본 발명의 다른 측면에 따른 입자의 광학식 관측 및 분석 방법에서의 분석 단계(S30)에서는, 전술한 촬영 단계(S20)에 획득된 샘플 입자에 대한 화상 정보, 즉 프레임 이미지들로부터 입자 샘플을 구성하는 개별 입자의 물리적 특성을 분석하기 위한 프로세스가 진행된다.

도 5는 촬영 단계에서 획득된 화상 정보를 가지고 분석 단계에서 수행되는 일련의 입자 분석 과정, 즉 데이터 가공 방법에 관한 흐름도이며, 도 6은 도 5에 포함된 입자추적 알고리즘을 통해 얻어진 데이터들을 가공하는 프로세스를 예시한 블록도이다.

그리고 도 7은 도 4와 도 5에 도시된 흐름도에 따라 장치가 작동했을 때 광원이 시간에 대해 제어되는 모습과 기록된 이미지를 분석하는 장면을 나타낸 개념도이며, 도 8은 도 7에 예시된 과정을 거쳐 실제 입자들이 추적 결과, 즉 개별 입자의 이동 궤적을 이미지 상에 프로젝션한 결과물이다.

이들 참조하여 분석 단계(S30)에서 수행되는 데이터 가공 방법에 대해 구체적으로 살펴보기로 한다.

도 5 내지 도 8을 참조하면, 상기 분석 단계(S30)에서는 먼저, 이미지 버퍼에 저장된 이미지 시퀀스를 먼저 촬영된 순서부터 프레임 단위로 불러온다(S31). 그리고 불러온 이미지 시퀀스들에 다중 입자 추적(Multiple particle tracking) 알고리즘을 적용한다(S22). 다중 입자 추적 알고리즘은 보편적으로 사용되는 공지된 알고리즘이 사용될 수 있다.

다중 입자 추적(Multiple particle tracking) 알고리즘은 특정 프레임에서 이미지 상의 입자를 인식하고 다음 프레임에서도 입자를 인식한 이후 두 프레임간에 동일 입자라고 추정되는 가장 유력한 입자들을 추적 후 연결하여 개별 입자의 궤적을 찾아내며, 해당 작업을 매 프레임당 다수의 입자에 대해 동시다발적으로 수행할 수 있는 알고리즘이다.

다중 입자 추적 과정을 거친 후 얻어진 좌표와 궤적을 이미지로 표현하면 첨부 도 8의 예시와 같이 표현될 수 있다.

본 발명에서는 매 프레임마다 각기 다른 파장의 입사광이 입자 샘플에 가해지므로 입자의 종류에 따라 필연적으로 입자가 관측불능상태(Blink)인 프레임이 존재할 수 있다. 따라서 입자 추적의 연속성을 보장하기 위해 앞선 도 3의 예시와 같이, 입자 추적 시 두 프레임 사이의 간격을 한 프레임 이상으로 증가 시키면서 반복하여 추적하는 것이 바람직하다.

다음, 개별 입자의 프레임 별 위치와 밝기에 관한 정보를 획득한다(S33). S33 단계에서는 바람직하게, 매 이미지 프레임을 추적하여 최종적으로 존재했던 매 이미지 프레임 상의 개별 입자의 위치 값과 밝기 값을 도 6의 도면부호 401과 같은 구조데이터의 형태로 변환한다.

계속해서, 광원 시퀀스 테이블(10)을 참조하여 프레임 별 개별 입자의 밝기 데이터를 가지고 대응되는 광원의 색을 역으로 추정하고, 추정된 광원의 색깔 별로 이미지 프레임을 분류하고 다시 밝기 값을 기준으로 분류하여 기록한다(S34). 즉 광원 시퀀스 테이블(10)을 참조하여 이미지 프레임당 밝기데이터(401)를 기록된 프레임 넘버로부터 본래 광원의 색 코드를 추정하는 것이다.

이후 밝기 값을 기준으로 분류된 데이터 클래스(Classe)와 시간 변화에 따른 개별 입자의 위치 변화를 기록한 데이터 클래스(Classe)들의 묶음을 가지는 데이터 베이스를 구축한다(S35). 즉 밝기 값을 동일 광원의 색별로 분류하여 색이 구분된 밝기 값과 이 입자의 위치 변화내역을 기록한 데이터 클래스(Classe)들의 묶음을 가지는 구조데이터(도 6의 402) 형태로 변환한다.

마지막으로, 원하는 물리적, 생화학적 의미를 갖는 데이터로 변환 및 가공할 수 있도록 데이터 베이스화된 입자들의 집단 정보를 원시데이터로서 저장(S36)함으로써 입자 분석 과정이 마무리될 수 있다.

도 9는 사용자가 가공할 수 있는 원시데이터로부터 각 입자의 물리적, 생물학적 성질을 표현하는 형태의 데이터로 시각화한 컬러 3차원 산포도이다.

도 9의 예시와 같이, 사용자는 원시데이터를 가지고 미리 프로그래밍된 디스플레이 프로그램을 이용하여 임의로 입자 사이의 거리, 직경 및 빛의 강도에 대하여 도 9와 같은 3차원 그래픽 형태로 데이터를 디스플레이 하거나 다른 통계 분석 프로그램으로 데이터를 넘겨줄 수 있다.

도 9는 산란광원 하나와 형광광원 하나를 광원 시퀀스 테이블에 적용한 경우에 대한 결과를 디스플레이 한 것으로, 각 점은 입자 하나를 의미하며 점의 색깔을 통해 어느 광원에서 관측되었는지를 확인할 수 있으며, 3차원 좌표를 통해 산란광 촬영시의 밝기, 궤적이 추적된 총 시간, 궤적의 브라운운동을 분석하여 도출된 입자의 크기 등을 디스플레이 하고 있다.

이상의 본 발명의 상세한 설명에서는 그에 따른 특별한 실시 예에 대해서만 기술하였다. 하지만 본 발명은 상세한 설명에서 언급되는 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 하며, 오히려 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

100 : 입자 관측 및 분석 장치
101 : 광원부 102 : 제어부
103 : 샘플 거치부 104 : 이미징 광학계
105 : 촬영부 106 : 분석수단
110 : 광원 112 : 광가이드
114 : 집광수단 130 : 샘플 수납부
132 : 펌프 140 : 대물 렌즈
142 : 거울 160 : 화상 처리부
162 : 궤적 추적부 164 : 궤적 분석부

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
(A) 분석 대상으로 브라운 운동 중인 다수의 입자들을 포함하는 샘플 거치부에 거치하고, 입자들이 산란과 형광 현상을 일으키게 하는 광원을 배치하고, 광원의 호출 순서 및 노출 시간, 촬영 시간, 촬영 시 시퀀스(Sequence) 반복 주기 중 일부 또는 모든 정보를 포함하는 광원 시퀀스 테이블을 작성하고 촬영 명령을 입력하는 촬영 준비 단계, 이때 상기 광원 시퀀스 테이블은 하나 이상의 산란 광원과 하나 이상의 형광 광원이 순차적으로 배열되고;
(B) 촬영 명령에 따라 시퀀스 테이블에 지정된 순으로 광원을 호출하고 작동명령을 인가하며, 호출된 광원의 노출 시간만큼 촬영 시간을 제어하여 다수의 입자 개개의 물리 및 생화학적 특성을 분석하는데 필요한 산란광 및 형광 화상 정보를 획득하고 획득된 화상 정보와 사용된 광원 시퀀스 테이블을 저장하는 촬영 단계 및;
(C) 상기 촬영 단계에 획득된 샘플 입자에 대한 화상 정보로부터 입자 샘플을 구성하는 개별 입자의 형광 신호의 세기와 산란광 신호의 세기, 브라운 운동의 궤적을 동시 다발적으로 분석하는 분석 단계;를 포함하되,
상기 (C) 단계에서는,
(C-1) 이미지 버퍼에 저장된 이미지 시퀀스를 먼저 촬영된 순서부터 프레임 단위로 불러오는 단계;
(C-2) 불러온 이미지 시퀀스들에 다중 입자 추적(Multiple particle tracking) 알고리즘을 적용하는 단계, 이때 입자의 경로를 추적하려는 두 프레임 사이의 간격을 한 프레임에서부터 점진적으로 증가시키면서 추적 과정을 반복하고;
(C-3) 개별 입자의 프레임 별 위치와 밝기에 관한 정보를 획득하는 단계;
(C-4) 광원 시퀀스 테이블을 참조하여 프레임 별 개별 입자의 밝기 데이터를 가지고 대응되는 산란광 및 형광 광원의 색을 추정하고, 추정된 광원의 색깔 별로 프레임을 분류하고 다시 개별 입자의 광원별 밝기 값들을 분류하여 기록하는 단계;
(C-5) 개별 입자의 광원별 밝기 값을 기준으로 분류된 데이터 클래스(Class)와 시간 변화에 따른 개별 입자의 위치 변화를 기록한 데이터 클래스(Class)들의 묶음을 가지는 데이터 베이스를 구축하는 단계; 및
(C-6) 데이터 베이스화된 입자들의 집단 정보를 원시데이터로서 저장하고 원하는 입자 크기를 나타내는 데이터로 변환 및 가공하는 단계;를 포함하는 입자의 광학적 관측 및 분석 방법.
제 13 항에 있어서,
상기 (A) 단계에서는,
광원 시퀀스 테이블의 각 칸마다 고유 식별정보를 포함하는 코드 형태로 광원의 색 시퀀스 정보가 기록되고;
선택된 코드에 따라 호출하는 광원과 노출 시간, 그리고 카메라의 한 프레임당 촬영되는 입자 집단 이미지의 광원을 결정하며;
총 촬영되는 이미지의 프레임수가 시퀀스 테이블의 칸수 보다 많으면, 해당 시퀀스를 모두 호출한 후 다시 처음 칸으로 돌아가는 과정을 주기적 반복하도록 설정;되는 것을 특징으로 하는 입자의 광학적 관측 및 분석 방법.
제 13 항에 있어서,
상기 (B) 단계에서는,
(B-1) 상기 광원 시퀀스 테이블을 제어부가 인식하여 목표로 하는 총 기록시간을 T로 정의하고 광원 시퀀스 테이블의 길이를 통해 한 시퀀스의 주기 당 호출해야 하는 광원 호출 횟수(Ctot) 값을 지정하는 단계;
(B-2) 촬영 직전 현재시간(t)을 '0'으로 하고 현재의 시퀀스 번호를 1번으로 초기화 하는 단계;
(B-3) 촬영 시작 후 타이머 기능을 사용하여 상기 현재시간(t)를 실시간으로 증가시키는 단계;
(B-4) 광원 시퀀스 테이블의 특정(c)번째 칸에 지정된 광원이 빛을 발하도록 신호를 보내는 단계;
(B-5) 특정(c)번째 칸에 지정된 광원의 노출 시간 동안 카메라의 셔터가 열려 있도록 촬영부를 제어하는 단계;
(B-6) 셔터가 닫힌 직후 촬영된 한 프레임의 이미지를 이미지 버퍼에 저장하는 단계;
(B-7) 현재 광원 값을 광원 시퀀스 테이블 상 다음 칸으로 넘기면서 한 시퀀스 주기 당 호출해야 하는 상기 광원 호출 횟수(Ctot) 값을 넘지 않도록 현재 광원의 순서 값(c)을 광원 호출 횟수(Ctot)로 나눈 나머지에 1만큼을 더해주는 단계; 및
(B-8) 촬영 소요시간(t)이 사전에 설정된 시간(T)에 도달했는지 여부를 판단하고, 도달하지 않은 경우 상기 (B-4) 단계로 돌아가 촬영을 지속하고 도달한 경우 촬영을 종료하는 단계;를 포함하는 입자의 광학적 관측 및 분석 방법.
삭제