KR102404652B1 - 인공지능 기반 미세유체 제어시스템 - Google Patents

Abstract

본 발명은 투입된 액체 시료의 반응을 관찰하는 미세유체 디바이스(Microfluidic Device)를 제어하는 액체 제어시스템에 있어서, 상기 미세유체 디바이스에 마련된 챔버에 유출입하는 상기 액체 시료를 촬영한 이미지 정보를 학습하는 이미지 학습부; 및 상기 이미지 학습부에서 학습된 상기 액체 시료의 이미지와 상기 챔버에 유입 또는 유출 중인 상기 액체 시료의 이미지를 비교하여 상기 액체 시료의 유출입 상태를 판단하는 판단부를 포함하여 상기 판단부의 판단 정보를 통해 미세유체 디바이스에 액체 시료의 유출입을 제어하여 액체 시료가 반복적이며 자동적으로 반응할 수 있게 하는 것을 특징으로 한다.

Description

인공지능 기반 미세유체 제어시스템{MICROFLUIDIC CONTROL SYSTEM BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 알고리즘을 이용해 미세유체 디바이스에 유출입하는 액체 시료를 제어하는 시스템에 관한 것이다.

Microfluidic lab-on-a-chip(LOC)은 세포나 혈액 등 미세유체들을 LOC에 흘려 넣어 생물학적 또는 화학적으로 임상 시료를 분석하고 진단하는데 사용된다. LOC는 시료 및 시약의 소비를 줄이고 부피에 비해 표면의 비율이 높아 분석 시간이 짧다는 장점을 가진다. 2000년대 초에는 미세유체 LOC 장치를 재구성하거나 다른 광전자 주변 장치와 통합함에 있어 적응성이 낮아서 오로지 미세 채널 내의 액체 시료의 흐름에만 의존하였다.

특히, 임상 시료의 반응 분석은 액체 시료가 반응하는 특정 반응 영역으로 미세유체를 주입하고 해당 영역에 정확히 충분한 양의 액체 시료를 배치하는 것이 중요하다. 액체 시료의 불충분 또는 부분적인 충진은 액체 시료의 양(부피)가 미달하는 경우뿐만 아니라 반응 영역에 기포가 발생한 경우도 고려할 수 있다. 반응을 관찰하고자 하는 액체 시료의 불충분 또는 부분적인 충진은 임상 시료 분석 및 진단 결과에 영향을 미친다. 보다 상세하게는, 미세유체 디바이스에 마련되어 액체 시료가 반응을 일으키는 챔버 내에 액체 시료가 불충분 또는 부분적으로 충진되었을 때, 항체-코팅된 챔버의 분자와 항원이 충분히 결합되지 않아 고정되지 않는다. 결국, 적은 양의 고정화 항원만이 효소와 결합된 이차 항체 및 발색 기질과 반응한다. 따라서, 최종 비색 신호는 실제 신호와 달라져서 목표로 하는 바이오 마커의 잘못된 평가를 야기하게 된다.

또한, 미세유체는 표면 대 부피 비율로 인해 표면 장력이 발생하므로 섬세하고 정확한 제어가 어렵고 신뢰성이 떨어지는 문제가 있다. 그러므로 이러한 문제점을 해결하여 정확하고 신뢰성 있는 임상 시료 진단 결과를 도출하기 위해 미세유체를 정밀하게 제어하는 것이 요구된다.
관련 종래기술 한국공개특허 제10-2019-0118615호(이하, ‘선행특허’라 약칭한다)는 센서를 통해 획득된 데이터 처리를 통해 유체 제어 기기의 동작을 분석하여 제어 기기의 이상 여부를 판별할 수 있는 분석 시스템을 개시한다. 그러나, 종래기술은 유체 제어 시스템 자체에 대한 이상 여부를 판단하는 것을 목적으로 하므로, 실질적으로 유체에 대한 임상 진단이 제대로 수행될 수 있는지와 구분된다. 보다 상세하게, 유체 제어 시스템 자체는 정상적으로 작동하더라도, 여기에 주입되는 액체 시료의 상태가 전술한 바와 같이 불충분 충진, 부분 충진 또는 기포 발생인 경우에는 원하는 진단 결과를 얻기 어렵다.
이에 본 출원인은 미세 유체의 임상 진단에 있어 액체 시료를 수동으로 미세 제어하는 방법의 한계 및 문제점을 해결하고자 사용자 개입을 최소화하는 연구 개발을 진행하였다. 또한, 본 출원인은 미세 유체에 대한 실효성있는 진단 결과를 얻을 수 있도록 미세 유체 자체의 상태에 집중한 제어가 가능한 제어 시스템에 관한 연구 개발을 진행하였다.

삭제

삭제

한국공개특허 제10-2019-0118615호

본 발명은 미세 액체를 반응 챔버에 주입하여 생화학 반응을 관찰하는 미세유체 소자(예를 들어, 질병 진단기)에 있어서, 인식하려는 액체 시료의 인식 정확도를 높여 반응 챔버에 유출입하는 액체 시료의 상태를 분석함에 따라, 액체 시료의 유출입을 전자적이고 자동적으로 제어할 수 있는 미세유체 제어시스템을 제공하고자 한다.

본 발명이 해결하려는 과제들은 앞에서 언급한 과제들로 제한되지 않는다. 본 발명의 다른 과제 및 장점들은 아래 설명에 의해 더욱 분명하게 이해될 것이다.

상기 목적을 달성하기 위하여 본 발명은, 투입된 액체 시료의 반응을 관찰하는 미세유체 디바이스(Microfluidic Device)를 제어하는 액체 제어시스템에 있어서, 상기 미세유체 디바이스에 마련된 챔버에 유출입하는 상기 액체 시료를 촬영한 이미지 정보를 학습하는 이미지 학습부; 상기 이미지 학습부에서 학습된 상기 액체 시료의 이미지와 상기 챔버에 유입 또는 유출 중인 상기 액체 시료의 이미지를 비교하여, 상기 액체 시료의 상태를 판단하는 판단부를 포함하여 상기 판단부의 판단 정보를 통해 상기 액체 시료의 반응 시험을 자동화하는 것을 일 특징으로 한다.

바람직하게, 상기 판단부의 판단 정보를 이용하여 상기 액체 시료의 유출입을 제어하는 제어부를 더 포함할 수 있다.

바람직하게, 상기 이미지 학습부는, 상기 챔버의 상기 액체 시료에서 발생된 기포의 이미지 정보를 학습하고, 상기 판단부는, 상기 액체 시료에 기포 발생여부를 판단할 수 있다.

바람직하게, 상기 이미지 학습부는, 상기 액체 시료가 상기 챔버에 불충분하게 충진된 상태의 상기 액체 시료의 이미지 정보를 학습하며, 상기 판단부는, 상기 이미지 학습부에서 학습된 상기 액체 시료의 불충분 충진 상태에서의 이미지와 상기 챔버에 담지된 상기 액체 시료의 이미지를 비교하여, 상기 액체 시료의 불충분 충진 상태 여부를 상태를 판단할 수 있다.

바람직하게, 상기 제어부는, 상기 액체 시료가 불충분 충진 상태인 경우, 상기 챔버에 유입된 상기 액체 시료를 유출시킨 후 상기 챔버에 재유입시킬 수 있다.

바람직하게, 상기 챔버에서 상기 액체 시료가 유입되어 반응이 일어나는 영역을 관심 영역으로 설정하는 관심 영역 설정부를 더 포함하고, 상기 이미지 학습부는, 상기 관심 영역에 유출입하는 상기 액체 시료를 촬영한 이미지 정보를 학습할 수 있다.

바람직하게, 상기 관심 영역 설정부는, 상기 미세유체 디바이스에서 인식되는 상기 챔버가 구비된 영역을 제1 ROI로 인식하고, 상기 제1 ROI 내부에서 인식되는 상기 관심 영역을 제2 ROI로 인식하여 제어 대상 영역을 순차적으로 설정할 수 있다.

바람직하게, 상기 판단부는, 상기 액체 시료가 상기 관심 영역에 유입되는 제1 모드, 상기 관심 영역으로부터 상기 액체 시료가 유출되는 제2 모드, 상기 관심 영역에 상기 액체 시료가 일정 부피 이상 유입된 제3 모드, 상기 관심 영역으로부터 상기 액체 시료가 유출되어 상기 관심 영역이 비어있는 제4 모드 중 어느 하나로 상기 액체 시료의 상태로 판단할 수 있다.

바람직하게, 상기 이미지 학습부는, 상기 액체 시료가 상기 챔버에 유출입함에 따라 상기 관심 영역에서 발생 및 이동하는 상기 액체 시료의 경계면을 이미지 정보로 인식하여 학습할 수 있다.

바람직하게, 상기 판단부는, 상기 이미지 학습부에서 학습된 상기 관심 영역의 이미지와 상기 액체 시료의 경계면을 비교하여 상기 액체 시료의 상태를 판단할 수 있다.

또한, 상기 목적을 달성하기 위하여 본 발명은, 데이터를 입력하는 입력 수단, 입력된 데이터를 처리하는 처리 수단 및 출력 수단을 갖는 스마트폰, 태블릿, 노트북, 또는 컴퓨터에, (a) 투입된 액체 시료의 반응을 관찰하는 미세유체 디바이스(Microfluidic Device)에 마련된 챔버에 상기 액체 시료가 유입되어 반응이 일어나는 영역을 관심 영역으로 설정하는 기능; (b) 상기 챔버에 유출입하는 상기 액체 시료를 촬영한 이미지 정보를 학습하는 기능; (c) 학습된 상기 액체 시료의 이미지와 상기 챔버에 유입 또는 유출 중인 상기 액체 시료의 이미지를 비교하여 상기 액체 시료의 유출입 상태를 판단하는 기능; 및 (d) 판단된 상기 액체 시료의 유출입 상태 정보를 이용하여 상기 액체 시료의 유출입을 제어하는 기능을 실행시키기 위하여 매체에 저장되는 것을 다른 특징으로 한다.

본 발명에 따르면, 액체 시료의 임상 진단 시 인공 지능(AI) 기술을 사용하여 액체 시료를 제어함으로써 사용자의 개입을 최소화한다. 본 발명에 따른 액체 시료의 제어는 먼저 인식 영역을 단계적으로 설정함으로써 인식 대상인 액체 시료를 정확히 인식할 수 있다. 또한, 본 발명에 따른 액체 시료의 제어는 액체 시료의 정확한 반응 검출을 위한 충분한 양의 액체 시료 주입, 기포 발생에 따른 기포 제거, 다음 액체 시료의 반응을 위한 액체 시료의 제거를 하나의 과정으로 하여 여러 액체 시료 샘플에 대한 진단을 순차적이고 자동적으로 진행된다. 또한, 본 발명에 따르면 액체 시료의 제어는 액체 시료의 상태 조건에 따른 조건부 알고리즘이 적용된다. 따라서 사용자의 편의를 높이며 체계적이고 효율적인 액체 시료 제어가 가능하다.

본 발명에 따르면, 다양한 액체 시료의 이미지를 학습하여 액체 시료의 상태를 인식하고 분석한다. 액체 시료의 상태를 분석함에 있어 관심 영역을 특정하여 해당 영역만을 분석하므로 오류가 적고 신뢰성이 높다는 장점을 갖는다.

또한, 본 발명은 프로그램 또는 스마트폰의 애플리케이션으로 구현될 수 있다. 따라서 프로그램 또는 애플리케이션과 연동될 수 있는 미세유체 디바이스라면 해당 디바이스에 제한없이 다양한 장치에 적용 가능하여 적용될 수 있는 범위가 넓다.

도 1은 본 발명의 실험 예로서, 미세유체 디바이스와 연결된 액체 제어시스템의 구조도를 나타낸다.
도 2는 본 발명의 실시 예에 따른 액체 제어 시스템이 적용되는 미세유체 디바이스 및 액체 제어 시스템이 스마트폰의 애플리케이션으로 구현된 경우 미세유체 디바이스와 연결되어 작동하는 모습을 나타낸다.
도 3은 본 발명의 실시 예로서, 챔버 내부에서 관심 영역이 설정되는 과정을 나타낸다.
도 4는 본 발명의 실시 예로서, 액체 제어시스템이 스마트폰 애플리케이션으로 구현된 경우 챔버 내부에서 관심 영역이 설정되는 모습을 사용자 인터페이스 화면으로 나타낸 것이다.
도 5는 본 발명의 실험 예로서, 관심 영역에서의 액체 시료의 상태의 종류를 나타낸 모습이다.
도 6은 본 발명의 실험 예로서, 액체 시료가 챔버(10)에 유입된 모습을 나타낸다.
도 7은 본 발명의 실험 예로서, 도 7a 내지 도 7f는 복수개의 액체 시료의 상태에 따른 모습을 나타내고, 도 7g는 액체 시료의 충진 상태에 따른 반응의 결과를 나타낸 그래프이다.
도 8은 본 발명의 실시 예로서, 액체 제어시스템이 동작하는 순서도를 나타낸다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 실험 예로서, 미세유체 디바이스(1)와 연결된 액체 제어시스템(3)의 구조도를 나타낸다.

미세유체 디바이스(1)는 액체 시료가 유출입되어 일정 시간동안 일정 영역에 담지되는 챕버(10)를 포함할 수 있다. 챔버(10) 중 보다 세부적으로 약체 시료의 반응이 일어나고 이를 분석할 수 있는 영역은 관심 영역(101)으로 설정될 수 있다. 챔버(10)는 액체 시료가 유입되는 유입구(103) 및 액체 시료가 유출되는 유출구(105)가 구비할 수 있다. 액체 제어시스템(3)이 적용되는 대상이 되는 미세유체 디바이스(1)는 이하 도 2에서 자세히 설명한다.

액체 제어시스템(3)은 투입된 액체 시료의 반응을 관찰하는 미세유체 디바이스(1)를 제어함으로써 액체 시료의 유출입을 제어할 수 있다. 액체 제어시스템(3)은 본 구성은 설명의 편의를 위하여 정의된 것으로 실제 물리적으로 구분되지 않고 서버(30)에서 통합 구현되어도 무방하다. 본 발명의 액체 제어시스템(3)은 프로그램 또는 스마트폰의 애플리케이션으로 구현될 수 있다.

도 1을 참고하면, 액체 제어시스템(3)은 관심 영역 설정부(31), 이미지 학습부(33), 판단부(35) 및 제어부(37)를 포함할 수 있다.

관심 영역 설정부(31)는 챔버(10)에서 액체 시료가 유입되어 반응이 일어나는 영역을 관심 영역(101)으로 설정할 수 있다. 관심 영역(101)은 챔버(10) 내부에서 설정될 수 있으며, 챔버(10)보다 작은 면적일 수 있다. 관심 영역(101)은 액체 시료가 챔버(10)에 유출입함에 따라 발생 또는 변경될 수 있으며, 관심 영역(101)의 위치가 이동하거나 크기가 변화할 수 있다. 또한 액체 시료가 챔버(10)에 유출입함에 따라 관심 영역(101)에서의 액체 시료의 경계면이 생성 또는 이동될 수 있다. 관심 영역 설정부(31)는 관심 영역(101)의 이미지 또는 액체 시료의 경계면의 이미지를 바탕으로 설정될 수 있다. 관심 영역 설정부(31)는 미세유체 디바이스(1)에서 인식되는 챔버(10)가 구비된 영역을 제1 ROI로 인식하고, 제1 ROI 내부에서 인식되는 관심 영역(101)을 제2 ROI로 인식하여 제어 대상 영역을 순차적으로 설정할 수 있다.

이미지 학습부(33)는 미세유체 디바이스(1)에 마련된 챔버(10)에 유출입하는 액체 시료를 촬영한 이미지 정보를 머신러닝 또는 딥러닝 방법을 통해 학습할 수 있다. 이미지 학습부(33)는 보다 정확한 액체 시료의 반응 관찰 및 분석을 위해 챔버(10) 내부의 관심 영역(101)에 집중하여 액체 시료의 이미지 정보를 학습할 수 있다. 또한, 이미지 학습부(33)는 액체 시료의 경계면을 액체 시료의 이미지 정보로 인식하여 학습할 수 있다. 이미지 학습부(33)는 액체 시료의 경계면을 통해 액체 시료가 챔버(10)에 유입 또는 유출되는 상태의 이미지 정보, 불충분 충진된 상태의 이미지 정보, 완전 충전된 상태의 이미지 정보, 액체 시료에서 발생된 기포의 이미지 정보, 액체 시료가 유입되기 전 또는 유출된 후에 챔버(10)가 비어있는 상태의 이미지 정보 등을 학습할 수 있다.

판단부(35)는 이미지 학습부(33)에서 학습된 액체 시료의 이미지와 챔버(10)에 유입 또는 유출 중인 액체 시료의 이미지를 비교하여 액체 시료의 유출입 상태를 판단할 수 있다. 판단부(35)는 이미지 학습부(33)에서 학습된 액체 시료의 불충분 충진 상태에서의 이미지와 챔버(10)에 담지된 액체 시료의 이미지를 비교하여, 액체 시료의 불충분 충진 상태 여부를 상태를 판단할 수 있다.

액체 제어시스템(3)은 판단부(35)의 판단 정보를 통해 액체 시료의 반응 시험이 반복적이며 자동적으로 이루어지도록 할 수 있다. 판단부(35)는 관심 영역(101)의 이미지와 액체 시료의 이미지의 차이 또는 액체 시료 이미지의 변화를 기준으로 액체 시료의 상태를 판단할 수 있다.

판단부(35)는 액체 시료의 상태를 액체 시료가 관심 영역(101)의 반응 챔버에 유입되는 제1 모드, 관심 영역(101)의 반응 챔버로부터 액체 시료가 유출되는 제2 모드, 관심 영역(101)에 액체 시료가 일정 부피 이상 유입되어 반응 챔버가 채워진 제3 모드, 관심 영역(101)으로부터 액체 시료가 유출되어 관심 영역(101)의 반응 챔버가 비어있는 제4 모드 또는 관심 영역(101)의 반응 챔버가 불완전하게 덜 채워진 제5 모드 중 어느 하나로 판단할 수 있다.

판단부(35)는 이미지 학습부(33)에서 학습된 관심 영역(101)의 이미지와 액체 시료의 경계면을 비교하여 액체 시료의 유출입 상태를 판단할 수 있다. 판단부(35)는 이미지 학습부(33)의 학습 결과를 이용하여 액체 시료에 기포 발생여부를 판단할 수 있다.

제어부(37)는 판단부(35)의 판단 정보를 이용하여 액체 시료의 유출입을 제어할 수 있다. 제어부(37)는 액체 시료가 불충분 충진 상태인 경우, 챔버(10)에 유입된 액체 시료를 전부를 챔버(10) 외부로 유출시킨 후, 챔버(10)에 재유입시킬 수 있다.

제어부(37)는 액체 시료가 챔버(10)에 유입되어 일정 시간 동안 반응한 후 챔버(10)로부터 유출될 때 챔버(10)로 액체 시료가 유입되는 것을 차단할 수 있다.

도 2는 본 발명의 실시 예에 따른 액체 제어 시스템(3)이 적용되는 미세유체 디바이스(1) 및 액체 제어 시스템(3)이 스마트폰의 애플리케이션으로 구현된 경우 미세유체 디바이스(1)와 연결되어 작동하는 모습을 나타낸다. 보다 상세하게, 도 2a는 96-웰(well) 카트리지에서 웰을 하나씩 PDMS 기둥으로 분리하는 것을 나타내고, 도 2b는 96-웰 플레이트 및 PDMS 액추에이터로 PDMS 필러를 수용하는 미세유체 디바이스(1)를 나타낸다. 도 2c는 액체 시료의 반복적 유출입 또는 시료 반응을 가능하게 하는 미세유체 디바이스(1)의 액체 시료를 이동시키는 구성을 보다 세부적으로 나타낸다. 도 2d는 액체 제어 시스템(3)이 스마트폰의 애플리케이션으로 구현된 경우로서, 미세유체 디바이스(1)와 애플리케이션이 연동되어 액체 시료의 상태를 분석하는 모습을 나타낸다.

본 발명의 일 실시 예에 따르면, 반응을 관찰하고자 하는 액체 시료는 복수개일 수 있고, 액체 시료는 상용되는 96-웰 마이크로 플레이트에 담지될 수 있다. 도 2a를 참고하면, 각 액체 시료는 96-웰(well) 카트리지에서 하나씩 PDMS 기둥으로 분리되어 각각 관찰 및 분석될 수 있다. 미세유체 디바이스(1)의 PDMS 기둥은 기둥이 96-웰 마이크로 플레이트 내에 고정될 때 챔버(10)를 가질 수 있다.

도 2b를 참고하면, 미세유체 디바이스(1)는 액체 시료가 챔버(10)에 유출입하는 영역, 액체 시료가 반응하는 챔버(10)가 구비된 영역, 액체 시료의 이동을 제어하는 영역 및 챔버(10) 또는 관심 영역(101)에 기포가 발생한 경우 기포를 제거하는 영역을 포함할 수 있다. 본 발명의 실시 예에 따른 미세유체 디바이스(1)는 각 영역의 기능 실현을 위해 다음과 같은 구성을 포함할 수 있다.

본 발명의 일 실시 예에 미세유체 디바이스(1)는 액체 시료의 보관 및 관찰을 위해 상용되는 96-웰 마이크로 플레이트, PDMS 기둥을 포함할 수 있다. 액체 시료의 이동을 위해 PDMS로 만든 마이크로 펌프, 밸브 및 롤러 바를 포함할 수 있다. 액체 시료를 담지하여 반응을 관찰할 수 있는 챔버(10)를 포함할 수 있다. 미세유체 디바이스(1)의 챔버(10)는 액체 시료가 유입되는 영역과 액체 시료가 유출되는 영역이 구분될 수 있고, 액체 시료는 구분된 유출입 영역을 통해 동일한 방향으로 순차적으로 챔버(10)에 유입-유출될 수 있다.

미세유체 디바이스(1)는 미세유체 검출 및 분석가능한 AI 기반의 이미지 분석 프로그램 또는 애플리케이션과 연결되어 작동될 수 있다. 미세유체 디바이스(1)는 PDMS 펌프 및 밸브 위로 롤러 바를 이동하면 Bluetooth를 통해 액체 제어 시스템(3)이 적용된 프로그램 또는 스마트폰의 애플리케이션과 연결될 수 있다.

도 2c를 참고하면, 미세유체 디바이스(1)의 롤러 바는 두 개의 베어링을 통해 PDMS 액츄에이터를 가압하도록 고정될 수 있다. 롤러 바의 높이는 PDMS 액츄에이터의 최적 압력을 보장하기 위해 베어링의 볼트를 통해 조절할 수 있다. 제어 회로에는 Arduino Arduino UNO R3이 장착되어 선형 액추에이터의 움직임을 제어하고 Bluetooth 모듈 (HC-08)은 Android 장치에서 명령을 수신할 수 있다.

프로그램 또는 스마트폰의 애플리케이션으로 구현된 액체 제어시스템(3)은 선형 액추에이터 간의 인터페이스 역할을 할 수 있으며, 미세유체 디바이스(1)에 유출입되는 액체 시료의 작동을 제어할 수 있다.

본 발명의 일 실시 예로서 액체 제어 시스템(3)은 스마트폰의 애플리케이션으로 구현되는 경우로 가정하며, 미세유체 디바이스(1)는 스마트폰과 연결되어 액체 시료의 반응을 진행 및 분석할 수 있다.

또한, 미세유체 디바이스(1)는 두 개의 분리 가능한 구역으로 나뉘어 구성될 수 있다. 두 개의 구역은 스마트폰이 고정되고 빛의 외부 간섭으로부터 미세유체 디바이스(1)를 보호하는 가동식 상단이 있는 외부 경계부와 액체 시료가 담긴 트레이가 슬라이딩되는 방식으로 이동할 수 있는 내부 하단부일 수 있다.

미세유체 디바이스(1)의 PDMS 기둥은 기둥이 96 웰 마이크로 플레이트 내에 고정될 때 챔버(10)를 가질 수 있다. 미세유체 디바이스(1)는 기계식 롤러 바를 구비하며, 롤러 바는 PDMS 펌프 및 밸브 위로 이동하여 미세 유체를 챔버에 순차적으로 체결시킬 수 있다. 다만, 액체 시료가 담긴 트레이가 앞뒤로 움직이거나 슬라이딩되어 96-웰 마이크로 플레이트에 고정되므로, 이하 도 3에서 후술하는 바와 같이 챔버(10)에서도 액체 시료가 반응하는 영역은 보다 명확히 설정되어야 한다.

도 3은 본 발명의 실시 예로서, 챔버(10) 내부에서 관심 영역(101)이 설정되는 과정(이하, ROI 캐스케이딩(ROI cascading)이라 한다.)을 나타낸다. ROI 캐스케이딩 과정은 액체 제어시스템(3)의 관심 영역 설정부(31)에서 이루어질 수 있다. 관심 영역(101)의 설정, 즉 ROI 캐스케이딩은 도 3a 내지 c와 같이 단계적으로 진행될 수 있다. 보다 상세하게 도 3a는 미세 유체 디바이스(1)에서 96-웰 기둥을 인식할 수 있다. 96-웰 플레이트를 포함하는 기둥의 상단은 원형이므로 초기에 인식되는 ROI는 원형 전체 화면의 96-웰 기둥을 인식할 수 있다. 이때 전체 화면은 1920 × 1080 픽셀로 설정될 수 있다.

도 3b는 검출된 96-웰 기둥을 둘러싸는 사각형 영역을 ROI으로 설정할 수 있다. 이때, 챔버(10)의 전체 영역이 모두 설정될 수 있다. 본 발명의 실험 례에서 96-웰 기둥은 원형이고, 이를 인식하는 영역은 빨간색 네모로 표현하였다. 인식 대상이 되는 플레이트의 형태와 액체 제어 시스템(3)이 인식하여 표현하는 빨간색 영역의 형태는 본 실험 례에 한정되지 않고 다양한 모양일 수 있다. 96-웰 기둥을 포함한 빨간색 네모 영역이 제1 ROI로 설정될 수 있다. 인식 대상인 96-웰 기둥은 ELISA 절차는 리니어 모터에 연결된 스테이지를 이동하여 실행되기 때문에 위치가 변경될 수 있다. 이때, 관심 영역 설정부(31)는 96 well 기둥을 지속적으로 인식하여 ROI의 위치를 업데이트하여 재설정할 수 있다.

도 3c는 제1 ROI인 챔버(10) 내부에서 액체 시료가 유출입되며 반응이 일어나는 보다 세부적인 제2 ROI, 즉 관심 영역(101)을 감지한 모습이다. 이때, 최종적으로 설정된 관심 영역(101)은 165 × 141픽셀로 감소할 수 있다. 이미지의 크기가 작아지므로 미세 유체를 감지가 더욱 빨라지며 정확해 질 수 있다. 96웰 원형 기둥 내부의 관심 영역(101)은 중앙에 위치하도록 설계될 수 있다. 따라서 미세유체 디바이스(1)의 96-웰 기둥이 움직이는 경우, 관심 영역 설정부(31)는 설정되는 영역이 움직임에 따라 관심 영역(101)의 위치는 재설정할 수 있다. 관심 영역 설정부(31)는 96 웰 원형 패턴의 위치를 계산하여 제1 ROI를 설정한 뒤, 제1 ROI 내에서 96웰 원형 패턴 중앙에 있는 관심 영역(101)을 제2 ROI로 재설정할 수 있다. 이때, 제2 ROI는 도 3c에서 하얀색 네모 영역으로 표현된다.

이러한 과정을 통해 관심 영역(101)의 설정, 즉 ROI 캐스케이딩함으로써 도 3a 내지 c와 같이 관찰하고자 하는 영역을 단계적으로 좁게 설정하므로써 이미지의 크기가 작아져 액체 시료를 빠르게 감지할 수 있고, 리소스 소비가 줄어들며, 인식도를 높일 수 있다. 또한 카메라의 시야가 넓은 경우에는 관심 영역(101)을 벗어난 영역으로부터 영향을 받을 수 있다. 그러나, 관심 영역(101)이 좁게 특정됨으로써 이러한 영향을 줄여 감지 또는 분석 시 오류 발생을 줄일 수 있다. 관심 영역(101)은 위치가 이동하거나 관심 영역(101)의 크기가 변화하므로, 관심영역 설정부(31)는 주기적으로 관심 영역(101)을 재인식하여 관심 영역(101)에 대한 인식률을 높일 수 있다.

도 4는 본 발명의 실시 예로서, 액체 제어시스템(3)이 스마트폰 애플리케이션으로 구현된 경우 챔버(10) 내부에서 관심 영역(101)이 설정되는 모습을 사용자 인터페이스 화면으로 나타낸 것이다. 관심 영역(101)은 미세유체 디바이스(1)의 챔버(10) 중에서도 액체 시료가 유입되어 액체 시료의 반응이 일어나는 특정 영역일 수 있다. 액체 시료의 상태 분석과, 보다 정확한 제어를 위해 관찰하고자 하는 영역을 특정하고 면적을 좁힐 수 있다. 도 3을 참고하면, 가장 큰 빨간색 네모 영역(제1 ROI)이 96-웰 기둥이다. 관심 영역(101)은 제1 ROI에 위치한 하얀색 네모 영역(제2 ROI)으로서 액체 시료의 반응을 관찰할 수 있는 영역이다. 특히, 액체 시료가 유출입하는 미세유체 디바이스(1)의 챔버(10)는 제1 ROI보다는 작고, 제2 ROI보다는 크다. 즉, 관심 영역(101)은 챔버(10) 내부에 형성될 수 있다.

도 4를 참고하면, 관심 영역(10)이 설정되는 동안 사용자 인터페이스에는 왼쪽에 복수 개의 버튼이 나타날 수 있다. 여기서 "Init" 버튼은 미세유체 디바이스(1)와 애플리케이션으로 구현된 액체 제어시스템(3)을 Bluetooth를 통해 제어 회로에 연결할 수 있다. "start" 버튼은 시작 버튼으로서 모터 이동을 시작하고 AI 기반 이미지 감지를 시작할 수 있다. "stop" 버튼은 작업을 중지시키는 버튼으로서 모든 작업을 즉시 중지시킬 수 있다. "measure" 버튼은 챔버(10) 또는 관심 영역(101)의 비색 데이터를 측정하는데 사용될 수 있으며, "Return" 버튼은 미세유체 디바이스(1)의 제어 모터를 원래 위치로 되돌려 새로운 액체 시료에 대한 반응 분석 작업을 다시 시작하는 데 사용될 수 있다. 이러한 대부분의 버튼들은 사용자의 개입으로 동작이 가능할 뿐만 아니라 이하 도 7에서 설명되는 조건부 알고리즘에 따라 자동화되어 동작 될 수 있다.

도 4를 참고하면, 액체 제어 시스템(3)은 미세유체 디바이스(1)의 챔버(10)에 미세유체가 유출입되는 상태가 사용자 인터페이스에 시각적으로 표현될 수 있다. 도 4에서 표현되는 바와 같이, 액체 제어 시스템(3)의 처리 속도(FPS)가 표시될 수 있으며, 챔버(10)인 96-웰 기둥을 인식하여 가장 큰 빨간색 네모 영역으로 표시할 수 있다. 챔버(10) 내부에 위치하는 관심 영역(101)은 도 4와 같이 빨간색 네모 영역에서 상대적으로 큰 하얀색 네모 영역으로 표현될 수 있으며, 관심 영역(101)에서 액체 시료의 상태를 인식하여 가장 작은 하얀색 네모로 표현할 수 있다. 이렇듯, 관찰하는 영역을 점점 좁혀가면서 액체 시료의 상태를 검출 및 인식하므로 정확도가 높아질 수 있다.

도 5는 본 발명의 실험 예로서, 관심 영역(101)에서의 액체 시료의 상태의 종류를 나타낸 모습이다. 도 4에서 전술한 바와 마찬가지로, 빨간색 네모 영역은 챔버(10)인 96-웰 기둥을 인식한 영역이고, 상대적으로 큰 하얀색 네모 영역은 관심 영역(101)을 인식한 영역이며, 가장 작은 하얀색 네모 영역은 액체 상태를 인식한 영역이다.

보다 상세하게 도 5a는 액체 시료가 관심 영역(101)에 유입되고 있는 상태로서 제1 모드이다. 판단부(35)는 액체 시료가 챔버(10)에 유입됨에 따라 실시간으로 액체 시료의 이미지 또는 액체 시료의 경계면의 이미지를 인식하여 사용자 인터페이스 화면에 표시할 수 있다.

도 5b는 액체 시료가 일정 부피 이상 충분히 관심 영역(101)에 유입되지 못한 불충분 충진 상태이다. 불충분 충진 상태일 경우, 액체 시료의 반응이 일어나지 않는 영역이 챔버(10)에 존재하게 되어 액체 시료 반응 결과에 영향을 미칠 수 있다. 판단부(35)가 도 5b와 같은 불충분 충진 상태로 판단하는 경우, 제어부(37)는 액체 시료가 관심 영역(101)에 더 주입되도록 미세유체 디바이스(1)를 제어하거나, 액체 시료를 챔버(10)로부터 유출시킨 후 챔버(10)에 재유입되도록 미세유체 디바이스(1)를 제어할 수 있다. 이하 도 6에서 후술하는 바와 같이, 액체 시료의 불충분 충진 상태는 챔버(10)에 완전 충전되기 위해 액체 시료가 유입되고 있는 상태와 구별될 수 있다.

도 5c는 액체 시료가 일정 부피 이상 충분히 관심 영역(101)에 유입된 상태로서 제3 모드이다. 제3 모드라고 판단된 경우, 연산량을 최소화하고 정확도를 향상시키기 위해, 판단부(35)는 제4 모드가 판단되기까지 판단을 중단하고, 제어부(37)는 액체 시료가 관심 영역(101)에 유입되는 것을 방지할 수 있다. 액체 시료는 제3 모드인 상태로 일정 시간 유지되어 특정 반응이 일어날 수 있다. 도 5d는 관심 영역(101)에 기포가 발생한 상태이다. 제어부(37)는 기포가 발생한 경우 관심 영역(101)에 액체 시료를 더 주입하여 기포를 제거할 수 있다. 또는 제어부(37)는 액체 시료를 기포 트랩(103)으로 이동하도록 제어하여 기포를 제거할 수 있다. 도 5e는 액체 시료가 관심 영역(101)으로부터 유출되고 있는 상태로서 제2 모드이다. 판단부(35)에서 제 2 모드라고 판단되는 경우, 제4 모드에 대한 판단을 준비하며 동시에 제3 모드에서 실행되었던 기능을 중지할 수 있다. 도 5f는 액체 시료가 관심 영역(101)으로부터 유출되어 관심 영역(101)이 비어있는 상태로서 제4 모드이다. 판단부(35)에서 제4 모드로 판단되는 경우, 제어부(37)는 반응을 관찰하고자 하는 다음 액체 시료를 주입하도록 하여 제1 모드를 진행시킬 수 있다. 따라서, 판단부(35)는 액체 시료의 상태에 따라 각 모드로 구분하여 인식하여 조건부 알고리즘을 통해 순차적으로 실행할 수 있다. 이를 통해 액체 제어 시스템(3)은 연산량은 줄여 인식도를 높임으로써 정확도 높은 결과를 도출할 수 있다. 도 7에서 자세하게 기술한다.

도 6은 본 발명의 실험 예로서, 액체 시료가 챔버(10)에 유입된 모습을 나타낸다. 액체 시료는 챔버(10)에 구비된 유입구(103)를 통해 챔버(10) 내부로 유입되며 반응이 완료된 액체 시료는 유출구(105)를 통해 챔버(10)로부터 유출될 수 있다. 도 6a 및 도 6b에서 챔버(10), 유입구(103), 유출구(105)에서 파란 영역이 액체 시료가 담지된 영역이고, 챔버(10) 내부 또는 유출구(105)에서 투명한 영역은 액체 시료가 담지되지 않은 영역이다.

보다 상세하게, 도 6a는 액체 시료가 챔버(10)에 유입되고 있는 상태로서, 액체 시료가 챔버(10)의 모든 영역을 충분히 채우기 전 상태이다. 액체 시료는 챔버(10)의 유입구(103)가 위치한 영역로부터 유출구(105)가 위치한 영역으로 점차 확장되며 챔버(10)를 완전 충진할 수 있다.

한편, 도 6b는 액체 시료가 챔버(10)에 불충분 충진된 상태이다. 도 6b에서 주목할 점은, 챔버(10) 내부에 액체 시료가 충진되지 않은 영역이 유출구(105)를 포함하는 영역이 아니라는 것이다. 도 6b를 참조하면, 챔버(10) 내부의 투명한 영역은 챔버(10) 내부 벽과 액체 시료로 둘러싸인 영역으로서 해당 투명 영역만큼의 공기가 챔버(10) 외부로 빠져나가지 못하고 포집되어 일정한 부피가 형성될 수 있다. 따라서, 공기가 차지하는 영역만큼 액체 시료가 챔버(10)에 충진되지 못할 수 있다. 문제는, 도 6b의 경우 액체 시료를 유입구(103)로 추가 주입시켜도 액체 시료가 투명 영역을 충진시키며 공기가 차지하는 영역을 제거하지 못하고, 유출구(105)로 액체 시료가 유출되어 공기 영역은 챔버(10) 내부에 그대로 유지된다는 것이다. 따라서 이 경우 제어부(37)는 챔버(10)에 유입된 액체 시료 전체를 유출시킨 후 챔버(10)에 재유입시키도록 제어함으로써 챔버(10)를 완전 충진시킬 수 있다.

도 7은 본 발명의 실험 예로서, 도 7a 내지 도 7f는 복수개의 액체 시료의 상태에 따른 모습을 나타내고, 도 7g는 액체 시료의 충진 상태에 따른 반응 세기를 나타낸 그래프이다. 도 7a는 챔버(10)에 액체 시료가 이상적으로 충분히 유입된 경우이며, 도 7b는 챔버(10)가 기포가 있는 효소 기질(TMB)로 채워진 경우이다. 도 7c는 챔버(10)에 불충분한 양의 TMB로 채워진 경우이고, 도 7d는 챔버(10)가 기포가 있는 항원으로 채워진 경우이다. 도 7e는 챔버(10)에 항원이 불충분하게 채워진 경우이다. 도 7b 내지 도 7f와 같이 기포가 발생하거나 불충분하게 액체 시료가 유입된 경우에는 항원 또는 항체가 불균일하게 분포하여 불규칙한 반응을 초래할 수 있다.

도 7g를 참고하면, 도 7b 내지 도 7f의 조건에서의 반응 결과는 이상적인 도 7a 조건에서의 반응 결과와는 다름을 확인할 수 있다. 도 7a에서의 반응 색조 값은 1.95이며, 이는 챔버(10)가 올바르게 충분히 채워진 경우 ELISA 반응(효소결합 면역반응)에 의해서 나와야 할 적정한 신호의 크기이다. 그러나, 액체 시료가 챔버(10)에 불충분하게 채워지거나 또는 기포가 발생한 상태에서는 일정 영역에 효소기질, 검출 항체 등의 반응 물질이 공급되지 않게 되고, 해당 영역에서는 면역반응이 온전히 발생하지 않게 된다. 따라서, 이상적으로 채워지는 도 7a의 경우에 비해 도 7b 내지 도 7f에서는 신호의 크기가 감소하게 된다.

한편 도 7g의 최우측 막대 그래프는 세척용액이 챔버(10)에 불충분하게 채워지거나 기포가 발생한 경우이다. 이 경우는 면역반응으로 결합되지 않은 효소 물질이 제대로 세척되지 않게 되어, 결합되지 않은 효소 물질에 의해 발생한 신호로 인해 정상 상황보다 신호의 크기가 커지게 된다. 따라서, 액체 시료 주입에 오류가 있는 경우에는 해당 액체 시료로부터 반응 결과가 정상 반응 상황과 다르게 나와 결과를 신뢰하기 어렵다. 또한, 계속적으로 반복 실험할 경우 신호의 편차가 커지게 되므로 문제가 된다. 그러므로, 액체 시료 주입이 액체 시료의 반응 결과에 영향을 미치지 않도록 챔버(10)에 유출입 되는 액체 시료가 정상적으로 챔버(10)를 가득 채울 수 있도록 유체 유출입 상황을 모니터링하고 제어하는 것이 중요하다.

도 8은 본 발명의 실시 예로서, 액체 제어시스템(3)이 동작하는 순서도를 나타낸다. 본 발명의 액체 제어시스템(3)은 미세유체 디바이스(1)와 연결될 수 있는 프로그램 또는 스마트폰 애플리케이션으로 구현될 수 있으며, 도 8의 조건부 알고리즘에 따라 액체 시료를 제어할 수 있다.

먼저, 관심 영역 설정부(31)는 미세유체 디바이스(1) 중 액체 시료가 유출입하여 액체 시료의 반응이 일어나는 영역을 관심 영역(101)으로 설정할 수 있다. 전술한 바와 같이 관심 영역(101)은 미세유체 디바이스(1) 또는 챔버(10)가 이동함에 따라 재설정될 수 있다. 다음으로 설정된 관심 영역(101)의 상태를 판단할 수 있다. 판단부(35)는 관심 영역(101)이 비어있는지 판단할 수 있다. 관심 영역(101)이 비어있는 경우는 액체 시료가 유입되지 않은 상태이거나 이전 액체 시료가 시료 반응 후 관심 영역(101)으로부터 유출된 경우를 가정할 수 있다. 관심 영역(101)이 비어있는 것으로 판단된 경우, 제어부(37)는 액체 시료의 반응 검출을 위해 관심 영역(101)에 액체 시료를 유입시킬 수 있다. 액체 시료가 유입됨에 따라 변화하는 액체 시료의 이미지 또는 액체 시료의 경계면의 이미지를 통해 판단부(35)는 관심 영역(101)에 액체 시료가 충분히 유입되었는지 판단할 수 있다. 액체 시료의 반응이 일어나고 이를 관찰하는 동안 제어부(37)는 액체 시료가 추가적으로 챔버(10)에 유입되는 것을 방지할 수 있다. 액체 시료의 반응이 종료되면 관심 영역(101)으로부터 액체 시료를 제거한다. 관심 영역(101)으로부터 액체 시료가 모두 제거된 후에는 다음 액체 시료의 반응 관찰을 위해 다시 관심 영역(101)을 재설정한다. 도 8의 과정은 관심 영역(101)에서의 액체 시료의 상태에 따라 조건적으로 진행되며, 이러한 과정은 각 액체 시료마다 자동적이며 반복적으로 수행될 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

1: 미세 유체 디바이스
10: 챔버
101: 관심 영역
103: 유입구
105: 유출구
3: 액체 제어 시스템
30: 서버
31: 관심 영역 설정부
33: 이미지 학습부
35: 판단부
37: 제어부

Claims (11)

1. 투입된 액체 시료의 반응을 관찰하는 미세유체 디바이스(Microfluidic Device)를 제어하는 액체 제어시스템에 있어서,
   상기 미세유체 디바이스에 마련된 챔버에 유출입하는 상기 액체 시료를 촬영한 이미지 정보를 학습하는 이미지 학습부; 및
   상기 이미지 학습부에서 학습된 상기 액체 시료의 이미지와 상기 챔버에 유입 또는 유출 중인 상기 액체 시료의 이미지를 비교하여, 상기 액체 시료의 상태를 판단하는 판단부를 포함하며,
   상기 이미지 학습부는,
   상기 챔버에 유입된 상기 액체 시료의 이미지 정보로서, 불충분 충진 상태에서의 이미지 또는 기포가 생성된 이미지 정보를 학습하고,
   상기 판단부는,
   상기 이미지 학습부에서 학습된 불충분 충진 상태에서의 이미지 또는 기포 이미지를 상기 챔버에 담지된 상기 액체 시료의 이미지와 비교하여, 상기 액체 시료의 불충분 충진 여부 또는 기포 발생 여부를 판단하는 것을 특징으로 하는 액체 제어시스템.
   
2. 제 1 항에 있어서,
   상기 판단부의 판단 정보를 이용하여 상기 액체 시료의 유출입을 제어하는 제어부를 더 포함하는 것을 특징으로 하는 액체 제어시스템.
   
3. 삭제
4. 삭제
5. 제 2 항에 있어서,
   상기 제어부는,
   상기 액체 시료가 불충분 충진 상태인 경우, 상기 챔버에 유입된 상기 액체 시료를 유출시킨 후 상기 챔버에 재유입시키는 것을 특징으로 하는 액체 제어시스템.
   
6. 제 1 항에 있어서,
   상기 챔버에서 상기 액체 시료가 유입되어 반응이 일어나는 영역을 관심 영역으로 설정하는 관심 영역 설정부를 더 포함하고,
   상기 이미지 학습부는,
   상기 관심 영역에 유출입하는 상기 액체 시료를 촬영한 이미지 정보를 학습하는 것을 특징으로 하는 액체 제어시스템.
   
7. 제 6 항에 있어서,
   상기 관심 영역 설정부는,
   상기 미세유체 디바이스에서 인식되는 상기 챔버가 구비된 영역을 제1 ROI로 인식하고, 상기 제1 ROI 내부에서 인식되는 상기 관심 영역을 제2 ROI로 인식하여 제어 대상 영역을 순차적으로 설정하는 것을 특징으로 하는 액체 제어시스템.
   
8. 제 1 항에 있어서,
   상기 판단부는,
   상기 액체 시료가 유입되어 반응이 일어나는 영역인 관심 영역에 유입되는 제1 모드, 상기 관심 영역으로부터 상기 액체 시료가 유출되는 제2 모드, 상기 관심 영역에 상기 액체 시료가 일정 부피 이상 유입된 제3 모드, 상기 관심 영역으로부터 상기 액체 시료가 유출되어 상기 관심 영역이 비어있는 제4 모드 중 어느 하나로 상기 액체 시료의 상태로 판단하는 것을 특징으로 하는 액체 제어시스템.
   
9. 제 1 항에 있어서,
   상기 이미지 학습부는,
   상기 액체 시료가 상기 챔버에 유출입함에 따라 상기 액체 시료가 유입되어 반응이 일어나는 영역인 관심 영역에서 발생 및 이동하는 상기 액체 시료의 경계면을 이미지 정보로 인식하여 학습하는 것을 특징으로 하는 액체 제어시스템.
   
10. 제 9 항에 있어서,
    상기 판단부는,
    상기 이미지 학습부에서 학습된 상기 관심 영역의 이미지와 상기 액체 시료의 경계면을 비교하여 상기 액체 시료의 상태를 판단하는 것을 특징으로 하는 액체 제어시스템.
    
11. 데이터를 입력하는 입력 수단, 입력된 데이터를 처리하는 처리 수단 및 출력 수단을 갖는 스마트폰, 태블릿, 노트북, 또는 컴퓨터에,
    (a) 투입된 액체 시료의 반응을 관찰하는 미세유체 디바이스(Microfluidic Device)에 마련된 챔버에 상기 액체 시료가 유입되어 반응이 일어나는 영역을 관심 영역으로 설정하는 기능;
    (b) 상기 챔버에 유출입하는 상기 액체 시료를 촬영한 이미지 정보로서, 불충분 충진 상태에서의 이미지 또는 기포가 생성된 이미지 정보를 학습하는 기능;
    (c) 상기 (b) 기능에서 학습된 불충분 충진 상태에서의 이미지 또는 기포 이미지를 상기 챔버에 담지된 상기 액체 시료의 이미지와 비교하여, 상기 액체 시료의 불충분 충진 여부 또는 기포 발생 여부를 판단하는 기능; 및
    (d) 판단된 상기 액체 시료의 유출입 상태 정보를 이용하여 상기 액체 시료의 유출입을 제어하는 기능을 실행시키기 위하여 매체에 저장된 애플리케이션.
    
    

Images