KR20180105439A - 영상 기반의 유세포 분석 장치 및 분석방법 - Google Patents

영상 기반의 유세포 분석 장치 및 분석방법 Download PDF

Info

Publication number
KR20180105439A
KR20180105439A KR1020170032514A KR20170032514A KR20180105439A KR 20180105439 A KR20180105439 A KR 20180105439A KR 1020170032514 A KR1020170032514 A KR 1020170032514A KR 20170032514 A KR20170032514 A KR 20170032514A KR 20180105439 A KR20180105439 A KR 20180105439A
Authority
KR
South Korea
Prior art keywords
cell sample
image
image frame
cell
microscope
Prior art date
Application number
KR1020170032514A
Other languages
English (en)
Inventor
정완균
허영진
강준수
이동현
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020170032514A priority Critical patent/KR20180105439A/ko
Publication of KR20180105439A publication Critical patent/KR20180105439A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/06—Fluid handling related problems
    • B01L2200/0647—Handling flowable solids, e.g. microscopic beads, cells, particles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/144—Imaging characterised by its optical setup

Landscapes

  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Dispersion Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Clinical Laboratory Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

본 발명은 영상 기반의 유세포 분석 장치 및 분석방법에 관한 것으로, 더욱 구체적으로는 복수개의 물체 추적 알고리즘과 이를 이용한 실시간 영상처리 알고리즘에 포함된 복수개의 물체 추적 작업을 통해 원본 현미경 영상의 영상 프레임을 세포 샘플에 대한 확률밀도지도로 변환하고, 확률밀도지도에서 평균과 분산을 구해 세포 샘플의 중심위치와 크기를 찾으며, 세포 샘플을 추적하여 세포 샘플에 대한 개별 영상을 획득함으로써 미세유체 내의 세포 샘플을 분석하고 식별할 수 있다.

Description

영상 기반의 유세포 분석 장치 및 분석방법{Flow cytometry apparatus and method based on image}
본 발명은 영상 기반의 유세포 분석 장치 및 방법에 관한 것으로, 미세유체 내에 흐르는 물체를 실시간으로 분석하는 영상 기반의 유세포 분석 장치 및 분석방법에 관한 것이다.
유세포 분석은 혈액과 같은 특정 세포 샘플 내에 존재하는 다양한 종류의 세포군(heterogeneous cell group)에 대하여 각 세포군에 대한 개수(count)를 측정하고 식별(identification)함으로써 전체 세포군을 분석하는 단일세포 분석(single-cell analysis) 기술이다.
종래에는 슬라이드 상에 고정된 세포를 현미경으로 분석하였지만, 이와는 달리 유세포 분석기술은 유체 내에서 빠르게 흐르는 세포들을 분석하여 대량의 세포에 대한 고속분석을 가능하게 한다. 이러한 유세포 분석은 최초에 개발된 이후 수 십년 간 생명과학 연구, 임상진단, 세포반응 및 면역세포 분석 등 다양한 분야에서 활용되어 왔다.
1970년대에 처음 고안된 FACS(Fluorescence-Activated Cell Sorting)는 종래의 유세포 분석 기술 중 가장 대표적인 기술이며, 기본적으로 개별 세포에 대한 산란광과 형광 특성을 측정하는 방법을 이용한다. 따라서 FACS 기반으로 한 종래의 유세포 분석 기술은 개별 세포에 대한 형광 전처리(antibody labeling), 형광 반응을 측정하기 위한 레이저 광원 및 광 검출기가 필요하다.
또한, 정확한 레이저 산란광 검출을 위해 관로로 주입되는 세포 샘플은 sheath flow를 이용하여 유세포를 관로 가운데에 위치시키고 세포끼리의 간격을 일정하게 조절시켜야 하며, 이를 위해 정밀한 sheath flow 생성기가 필요하다.
이와 같은 종래의 유세포 분석 장치는 개별 세포에 대한 광학적 특성만을 측정한다. 광학적 특성은 세포 영상에 비해 정보량이 부족하고, 또한 스펙트럼의 겹침 (spectral overlap)과 세포 간 겹침(doublet) 현상에 의해 세포 분석 시 잘못된 결과 값을 도출시키기도 한다. 이에 따라, 소수의 기술은 속도 측정기와 같은 별도의 장비가 추가됨으로써 영상 싱크(sync)를 맞추고, 실시간으로 개별 세포에 대한 영상을 획득 및 식별하는 방식으로 대량의 세포 영상에 대한 수집, 저장 및 프로세싱을 실시간으로 수행하는 것을 구현하기도 했다.
하지만 종래의 영상기반 유세포 분석 기술은 기존의 유세포 분석 장치에 영상을 획득할 수 있도록 추가적인 광학 장비를 결합하는 방식이기 때문에 기존의 유세포 분석 장치보다 더욱 복잡해질 수밖에 없었다.
또한, 영상을 기반으로 한 유세포 분석 장치(imaging flow cytometry)는 이와 같은 종래의 유세포 분석 장치의 정보부족이라는 단점을 극복하기 위해 정보량이 풍부한 영상을 촬영하여 획득하고, 이와 더불어 산란광 정보와 함께 세포 분석에 활용되어야 한다. 이는 세포에 대한 영상 정보를 통해 세포의 형태(morphology)를 분석하여 다양한 방면으로 응용될 수 있다. 따라서 영상을 기반으로 한 유세포 분석 장치는 널리 사용하기 위해 장비를 간소화하고 비용을 저감해야 될 필요성이 있었다.
대한민국 공개특허 제10-2015-0041891호
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 현미경 영상과 고속 카메라로 구성된 영상획득부만을 이용함으로써 다량의 세포에 대하여 고속 처리(high-throughput)가 가능하도록 하고, 이에 따라 영상을 기반으로 영상처리 알고리즘을 통하여 유세포 분석을 가능하게 하는 데 그 목적이 있다.
또한, 복잡한 하드웨어 장비를 사용하지 않고 데스크탑과 같은 분석부에 소프트웨어를 설치하여 분석에 사용함에 따라 유세포 분석 장치를 간소화 하는데 또 다른 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 영상 기반의 유세포 분석 장치는 세포 샘플이 포함된 유체를 일정 유량 단위로 주입하는 유량생성부; 상기 유량생성부와 미세관로를 통해 연결되어 상기 유체가 주입되는 미세유체 칩; 상기 미세유체 칩의 외부에서 상기 미세유체 칩의 특정 구간에 흐르는 상기 세포 샘플을 관찰하는 현미경; 상기 현미경과 연결되어 상기 현미경이 관찰하는 상기 특정 지점을 특정 구간 단위로 촬영하여 영상 프레임을 생성하는 영상획득부; 및 상기 영상획득부로부터 상기 영상 프레임을 전송받아 메모리에 저장시키고, 영상처리 알고리즘을 통해 상기 세포 샘플을 분석하는 분석부;를 포함할 수 있다.
여기서, 상기 세포 샘플의 처리속도는 상기 유량 및 상기 세포 샘플의 농도를 조절함으로써 일정하게 유지되는 것을 특징으로 한다.
또한, 상기 영상처리 알고리즘은 복수개의 물체 추적 알고리즘을 포함하고, 상기 복수개의 물체 추적 알고리즘은 영상 프레임 변환, 물체 검출 및 위치추정, 물체 추적 및 개별 물체 영상 자름이 순차적으로 진행되는 것을 특징으로 한다.
또, 상기 영상 프레임 변환은 상기 영상 프레임의 픽셀 값들에 FCRN(fully convolutional regression network)을 적용하여 확률밀도지도로 변환함으로써 상기 영상 프레임의 세포 샘플이 각각 하나의 정규분포로 표현되도록 하는 것을 특징으로 한다.
아울러, 상기 물체 검출 및 위치추정은 상기 확률밀도지도 내의 모든 정규분포의 평균과 분산을 구함으로써 상기 세포 샘플의 위치 및 크기에 대한 정보를 획득하는 것을 특징으로 한다.
또한, 상기 물체 추적은 상기 세포 샘플의 위치 및 크기에 대한 정보를 통해 이전 영상 프레임과 현재 영상 프레임의 관련성을 산출하여 개별 세포 샘플을 추정하는 것을 특징으로 한다.
더불어, 각각의 상기 세포 샘플에게 고유 ID를 부여함으로써 ID를 가진 상기 세포 샘플이 상기 특정 구간 밖으로 이탈할 때까지 상기 세포 샘플의 이동경로를 추적하는 것을 특징으로 한다.
추가적으로, 상기 개별 물체 영상 자름은 상기 물체 추적에서 획득한 상기 세포 샘플에 대한 추적 정보를 바탕으로 상기 분석부에 구비된 메모리에 저장된 최근 영상 프레임들 중 상기 세포 샘플 간의 겹침이 없는 상태의 영상 프레임을 획득하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 유세포 분석방법은 유량생성부에서 미세관로를 통하여 미세유체 칩으로 세포 샘플을 일정한 유량으로 주입하는 단계; 미세유체 칩의 특정 지점을 현미경으로 관찰하는 단계; 상기 현미경이 관찰하는 특정 지점을 특정 구간 단위로 촬영하여 영상 프레임을 획득하는 단계; 상기 영상 프레임을 분석부로 전송하는 단계; 상기 분석부에서 상기 영상 프레임을 메모리에 저장하고, 분석하는 단계;를 포함할 수 있다.
본 발명에 따른 영상 기반의 유세포 분석 장치 및 분석방법은 다음과 같은 효과가 있다.
첫째, 분석부에 대한 비용이 절감된다. 종래에는 유세포를 분석하기 위해 레이저 광원과 검출기와 같은 광학장비, sheath flow 생성을 위한 정밀 유량펌프 및 세포 샘플에 대한 형광 전처리 장비 등의 하드웨어 장비가 요구되었다. 이러한 장비들은 복잡하고 고가의 장비들이기 때문에 유세포 분석 장치의 설치비용이 상당히 증가되는 요인이 될 수밖에 없었다. 반면, 본 발명에 따른 유세포 분석 장치는 유세포에 대한 촬영 영상과 영상을 처리하기 위한 알고리즘을 적용할 때 고가의 장비를 사용하지 않기 때문에 용이하게 세포를 분류하여 분석할 수 있고, 이에 따라 비용이 절감될 수 있다.
둘째, 유세포 분석 장치를 간소화할 수 있다. 본 발명에서는 앞서 설명한 바와 같이 광학장비, 정밀 유량펌프 및 형광 전처리 장비 등과 같은 복잡하고 사용이 난해한 장비들을 사용하는 대신 분석부에 소프트웨어를 설치한 상태에서 현미경에서 촬영한 영상을 전달받고, 세포를 추적하고 분류하는 알고리즘을 적용하여 세포 분석을 진행한다. 따라서 유세포 분석 장치를 간소화하여 세포 분석을 수행할 수 있고, 이에 따라 복잡한 장비의 사용요령을 숙지하지 않더라도 분석부에서 용이하게 분석과정을 진행할 수 있기 때문에 세포 분석과정이 간편하다.
도1은 본 발명의 일실시예에 따른 영상 기반의 유세포 분석 장치의 개략적인 장치 구성도이다.
도2는 도1에 도시된 유세포 분석 장치에서 미세유체 칩을 확대하여 나타낸 도면.
도3은 본 발명의 일실시예에 따라 유세포 분석 장치가 세포 샘플을 분석하는 방법을 나타낸 순서도이다.
도4는 본 발명의 일실시예에 따라 현미경 영상을 촬영하여 획득한 후 영상을 처리하여 복수개의 물체를 추적하는 과정을 나타낸 도면이다.
도5는 도4에 도시된 복수개의 물체 추적과정에 대한 순서도이다.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.
도1은 본 발명의 실시예에 따른 영상 기반의 유세포 분석 장치의 개략적인 장치 구성도이다.
도1에 도시된 바와 같이, 본 발명의 일실시예에 따른 영상 기반의 유세포 분석 장치는 유량생성부(100), 미세유체 칩(110), 현미경모듈(120), 분석부(130)를 포함한다.
유량생성부(100)는 일측에 연결된 미세관로(140)를 통하여 세포 샘플이 포함된 유체를 미세유체 칩(110)으로 주입하는 것으로, 일정한 체적유량(volumetric flow rate)으로 유체가 주입될 수 있도록 유체를 제어한다. 이러한 유량생성부(100)는 주사기 펌프(syringe pump)가 사용될 수 있다.
미세유체 칩(110)은 대략 육면체로 형성되어 있고, 투명한 플라스틱 또는 유리 재질로 제작된다. 이러한 미세유체 칩(110)은 내부에 유체가 흐르는 내부관로(111)가 형성되어 있고, 내부관로(111)의 일측은 유량생성부(100)의 미세관로(140)와 연결되어 있으며, 타측은 외부용기의 미세관로(140)와 연결되어 있다. 따라서 실험자는 투명한 미세유체 칩(110) 내부로 주입된 세포 샘플을 현미경을 통하여 관찰할 수 있다.
현미경모듈(120)은 미세유체 칩(110) 내부를 관찰하고 촬영하여 획득한 영상 프레임을 분석부(130)로 전송하는 것으로, 현미경(미도시)과 영상획득부(미도시)를 포함한다.
현미경은 미세유체 칩(110) 내부에서 특정 지점에서 흐르는 유체를 관찰하는 것으로, 명시야 현미경이 사용될 수 있다.
영상획득부는 현미경과 연결되어 현미경에서 관찰하는 특정 지점을 특정 구간 단위로 촬영하고, 촬영된 영상 프레임을 저장한 후 영상 프레임을 분석부(130)에 포함된 메모리 장치의 순환버퍼로 전송한다. 이러한 영상획득부는 특정 지점을 관찰하는 현미경의 화면을 500frame/s의 속도로 획득한다고 하였을 시 프레임 당 2ms 이내로 영상을 처리하여 영상 프레임을 생성한다.
여기서, 현미경모듈(120)은 영상획득부와 현미경이 서로 별개로 구성될 수 있지만, 실시하기에 따라 영상획득부와 현미경이 일체로 구성될 수도 있다.
분석부(130)는 영상획득부로부터 전송받은 영상 프레임을 순차적으로 메모리 장치의 순환버퍼에 저장하고, 복수개의 물체 추적 작업 및 세포 식별 작업을 실시함으로써 영상 프레임에 포함된 세포 샘플을 분석한다.
도3은 본 발명의 일실시예에 따라 유세포 분석 장치가 세포 샘플을 분석하는 방법을 나타낸 순서도이다.
도3에 도시된 바와 같이, 유세포 분석 장치가 세포 샘플을 분석하는 방법은 최초에 유량생성부(100)에서 유량생성부(100)와 연결된 미세관로(140)를 통하여 미세유체 칩(110)으로 세포 샘플을 일정한 유량으로 주입한다.<S30> 본 발명에서는 유량생성부(100)와 미세유체 칩(110)이 미세관로(140)로 연결되어 있고, 미세유체 칩(110) 내부에는 일자형으로 뻗은 하나의 내부관로(111)가 형성되어 있다. 주입된 유량은 미세유체 칩(110) 내부를 거쳐 외부로 배출된다.
한편, 미세유체 칩(110)의 다른 실시예로써, 내부관로(111)를 병렬적으로 복수개의 형성하고, 내부관로(111)에 연결되는 미세관로(140)를 추가적으로 유량생성부(100)와 연결한다면, 유량생성부(100)에서 유체가 하나의 미세관로를 통해 미세유체 칩(11)으로 주입되고, 이에 따라 유체는 병렬적으로 배치된 복수개의 내부관로(111) 각각으로 나뉘어져 주입할 수 있게 된다. 따라서 미세유체 칩(110) 내부의 복수개의 내부관로(111)를 동시에 촬영함으로써 영상 프레임을 획득하게 되면 세포 샘플의 처리량을 향상시킬 수 있고, 이후 유체에 포함된 세포 샘플의 분석을 빠르게 실시할 수 있다.
본 발명에서는 내부관로(111)에 대한 하나의 예시로써, 내부관로(111)의 단면적이 대략적으로 50μm(높이)×100μm(폭)으로 형성된 것으로 간주한다.
이후 미세유체 칩(110)의 특정 지점을 현미경으로 관찰하고, 영상획득부는 현미경이 관찰하는 특정 지점을 특정 구간 단위로 촬영함으로써 영상 프레임을 획득한다.<S31> 이 때 유량생성부(100)를 통해 세포 샘플이 포함되어 주입되는 유체의 유량이 증가하거나 감소함에 따라 세포 처리속도 또한 증가하거나 감소한다.
즉, 유량이 증가하게 될 경우 계수해야 할 세포 샘플의 수가 증가하기 때문에 세포 처리속도는 증가하지만 내부관로(111) 상에서 세포 샘플의 빠른 이동속도로 인해 영상 프레임의 질은 하락하고, 이와는 반대로 유량이 감소하게 될 경우 세포 처리속도는 감소하지만 영상 프레임의 질은 향상된다. 이와 관련된 유량과 세포 샘플 처리속도의 관계는 아래와 같다.
세포 샘플 처리속도[count/sec] = 유량[mL/sec] × 세포 샘플 농도[count/mL]
이처럼 본 발명에서는 유량이 증가하거나 감소하게 될 시 샘플의 농도를 증가시키거나 감소시킴으로써 세포 처리속도를 유지한다.
유량이 감소하고 샘플농도가 증가되면 미세관로(140)를 통해 주입되는 세포 샘플들은 내부관로(111)의 단면적 상 위치에 무작위로 분포되지만, 미세유체 칩(110) 내부에서는 일정한 속도로 이동하여 외부로 배출된다.
종래의 유세포 분석 장치는 sheath flow를 이용하여 세포 스트림(cell stream)을 생성함으로써, 세포 샘플을 내부관로(111)의 단면적 상 정중앙에 위치하게 하고, 세포 샘플 간 거리를 일정하게 유지하여 세포 샘플에 대한 영상 프레임을 정확하게 획득하고자 했다.
반면, 본 발명에서는 낮은 유량, 높은 농도, 무작위 분포된 세포 샘플의 조건에서 복수개의 물체 추적 작업을 수행하는 영상처리 알고리즘을 적용함으로써 정확하고, 흐림 없는 영상(blur-free)을 획득할 수 있다. 이에 대한 자세한 설명은 추후 설명하기로 한다.
본 발명에서는 하나의 예시로써 유량 6~10μL/min, 영상 프레임 획득속도 500frames/sec, 세포 샘플 농도 0.3%w/w를 사용하였고, 실시하기에 따라 유량, 영상 프레임 획득속도 및 샘플농도는 변경될 수 있다.
다음으로, 영상획득부에서 획득한 영상 프레임이 분석부(130)로 전송된다.<S32> 본 발명에서는 하나의 예시로써, 미세유체 칩(110)의 내부관로(111) 특정 지점을 관찰하는 현미경의 배율은 약 ×10배이고, 특정 지점에 대한 영상 프레임의 픽셀 크기는 100×500이 사용된다. CCD 카메라 모듈과 같은 장비로 구성된 영상획득부는 획득한 영상을 데이터 전송 장치를 통해 분석부(130)의 메모리 장치로 실시간 전송한다.
본 발명의 예시에서와 같이 500frames/sec로 영상 프레임을 획득할 경우 2 ms 간격으로 새로운 영상을 획득하기 때문에, 영상처리 알고리즘의 전체 연산시간은 2ms 이하로 달성되어야 실시간 특성이 보장될 수 있다.
또한, 본 발명의 영상처리 알고리즘은 연산속도 향상을 위해 분석부(130)에서 GPU 연산을 수행할 수 있다.
이후 분석부(130)에서 영상처리 알고리즘 중 복수개의 물체 추적 알고리즘에 따라 영상 프레임에 대한 복수개의 물체 추적 작업이 진행된다.<S33> 본 발명에서는 이러한 복수개의 물체 추적 알고리즘을 이용하여 세포 샘플을 추적한다. 이는 도4와 도5를 참고하여 순서대로 설명하기로 한다.
도4는 현미경 영상을 촬영하여 영상 프레임을 획득한 후 복수개의 물체 추적 알고리즘에 따라 영상 프레임을 처리하여 복수개의 물체를 추적하는 과정을 나타낸 도면이고, 도5는 본 발명의 바람직한 일실시예에 따라 복수개의 물체 추적 작업에 대한 순서도이다.
도4 및 도5에 도시된 바와 같이, 복수개의 물체 추적 작업은 최초에 원본 현미경 영상이 그레이스케일로 저장된 영상 프레임을 확률밀도지도로 변환한다.<50> 즉, 영상 프레임 변환은 원본 현미경 영상의 영상 프레임에서 픽셀 값들을 확률밀도지도로 변환하는 것이다. 여기서 확률밀도지도로 영상 프레임을 변환하는 것은 영상 프레임 내에 존재하는 물체(세포 샘플) 각각이 정규분포로 표현된 2차원 확률밀도함수로의 변환을 의미한다.
이 때 세포 샘플 각각의 중심위치와 크기는 각각 2차원 정규분포의 평균과 표준편차의 3배로 정의하고, 세포 샘플이 존재하는 않는 백그라운드 픽셀 값은 0으로 변환시키는 것으로 한다.
여기서, 세포 샘플의 크기를 표준편차의 3배로 정의한 것은 세포 샘플의 반지름을 정의한 것이다. 즉, 정규분포의 특성상 표준편차의 6sigma일 때 전체 분포의 99.7%로 거의 모든 영역을 포함할 수 있기 때문에 표준편차의 3배를 세포 샘플의 반지름으로 정의하였다. 이에 따라, 영상 프레임을 확률밀도함수로 변환 시 세포 샘플이 포함된 픽셀을 세포 샘플의 크기에 맞도록 온전하게 변환시킬 수 있다.
도4는 분석부(130)의 메모리 장치에 구비된 순환버퍼에 영상 프레임이 순차적으로 저장되어 있는 모습을 보여준다. 즉, 원본 현미경 영상의 영상 프레임(그레이스케일)과 영상 프레임 변환을 진행한 이후의 확률밀도지도를 나타내고 있고, 이 때 영상 프레임 내 물체와 동일한 위치에 동일한 크기의 정규분포 확률밀도가 존재하며, 물체가 존재하지 않는 위치에는 픽셀 값이 0이 되어 검정색으로 출력되는 것을 확인 할 수 있다.
이러한 영상 프레임은 임의의 n번째 영상 프레임과 n번째보다 한차례 앞에 저장된 n-1번째 영상 프레임 및 n-1번째보다 한차례 앞에서 저장된 n-2번째 영상 프레임이 순차적으로 저장되어 변환된 것을 볼 수 있다.
영상 프레임 변환은 통계학의 회귀분석(regression analysis) 기법을 통해 수행할 수 있으며, 본 발명에서는 여러 회귀분석 기법 중 인공신경망(artificial neural network) 기반의 Fully convolutional regression network(이하 'FCRN'이라 함)을 적용하였다. FCRN은 영상 데이터(특히 세포 샘플 영상 데이터)를 대상으로 많은 학습데이터를 이용할 시 강인한 회기성능을 통해 세포 샘플의 계수(count)에 활용되는 기술이다.
여기서, 학습데이터는 실제 실험 이전에 학습을 위해 사전에 미리 획득한 데이터를 일컫는 것으로, 미세유체 칩(110) 내부관로(111)에 세포 샘플이 존재하는 영상 프레임(입력데이터)과 이에 대응하는 확률밀도지도(레이블데이터)가 한 쌍으로 이루어져 있다. 레이블데이터라 함은 입력데이터를 기반으로 수작업으로 각 물체의 중심위치와 크기를 추출하여 인위적으로 제작된 것이다.
한편, 표 1은 본 발명에서 사용한 FCRN에서 은닉층(hidden layers)을 포함하는 것에 대한 예시를 나타낸 것이다. 본 발명에서는 총 300개의 학습데이터를 통해 FCRN을 학습시켰다. 이 때 학습데이터의 개수 및 다양성, 최적화 방법, FCRN 은닉층의 구조 등이 FCRN의 확률밀도지도 추정성능에 영향을 미친다.
학습된 FCRN에 영상 프레임을 입력하게 되면 그 출력은 확률밀도지도가 되는데, 실제 알고리즘 적용 시 연산 장치는 실수(real number) 연산을 하기 때문에 연산 오차로 인해 백그라운드 부분을 정확히 0으로 변환하지 못하게 되므로, FCRN을 통해 추정된 확률밀도지도 결과에 영상처리 기법 중 하나인 thresholding기법을 적용함으로써 백그라운드 픽셀 값들을 0이 되도록 한다. 이에 따라, 백그라운드 픽셀 값이 0인 부분은 영상 프레임 변환 과정에서 검정색으로 출력됨과 동시에 영상 프레임의 노이즈에 대한 필터링까지 수행함으로써 최종적인 영상 프레임 변환을 완료할 수 있다.
FCRN과 thresholding기법은 공지된 기술이므로 자세한 설명은 생략하기도 한다.
Fully convolutional regression network (FCRN)
No. Layers Size
(filter, pool)		 Stride Pad Input size
(Height×Width×Depth)
1 Conv-ReLU 3 1 1 10×500×1
2 Max pooling 2 2 0 100×500×2
3 Conv-ReLU 3 1 1 50×250×32
4 Conv-ReLU 3 1 1 50×250×64
5 Deconv 3 - - 50×250×32
6 Conv-ReLU 3 1 0 101×501×32
7 Conv-LRN 2 1 1 99×499×16
8 Euclidean loss - - - 100×500×1
다음으로, 세포 샘플에 대해 검출과 위치추정을 실시한다.<S41> 검출과 위치추정의 기본적인 정의는 영상 프레임 내 존재하는 임의 개수의 물체들의 중심위치와 크기를 찾는 것을 의미하며, 본 발명에서는 원본 현미경 영상의 영상 프레임을 확률밀도지도로 변환하였기 때문에 세포 샘플들의 중심위치와 크기를 찾는 것은 확률밀도지도 내에 존재하는 정규분포의 확률밀도함수의 평균과 분산을 찾는 것으로 전환될 수 있다. 이 때 평균은 세포 샘플의 중심위치와 대응되고, 분산은 세포 샘플의 크기와 대응된다.
이하에서는 정규분포의 확률밀도함수에 대한 특성을 설명하기로 한다. 정규분포의 확률밀도함수는 평균에서 가장 큰 확률밀도 값을 가지고, 평균에서 멀어질수록 확률밀도 값이 작아진다. 이에 따라, 2차원 정규분포의 확률밀도함수는 원의 형태로 형성되는데, 이 때 분산이 크면 원의 크기가 증가하고, 평균에서의 확률밀도(최대 확률밀도)의 값은 감소하며, 이와는 반대로 분산이 작으면 원의 크기가 감소하고, 평균에서의 확률밀도 값은 증가한다.
본 발명에서는 이러한 정규분포의 평균과 분산을 찾기 위해 추출 알고리즘(extracting algorithm)을 적용하고, 입력데이터인 영상 프레임의 확률밀도지도 내에서 최대 픽셀 값과 해당 픽셀의 위치를 찾는다.
여기서, 최대 픽셀 값은 임의 개수의 정규분포가 존재하는 확률밀도지도 내에서 분산이 가장 작은 정규분포의 최대 확률밀도 값이 되며, 최대 픽셀 값의 위치는 해당 정규분포의 평균이 된다. 따라서 최대 확률밀도(pmax)와 분산(σ2)의 관계식은 아래 수식과 같다.
Figure pat00001
(1)
이에 따라, 수식 (1)을 통해 최대 확률밀도 값으로부터 분산과 표준편차(σ)를 획득할 수 있다. 즉, 획득한 평균(최대 픽셀 값의 픽셀위치)과 표준편차의 값은 원본 현미경 영상의 영상 프레임 내에 존재하는 세포 샘플의 중심위치와 반지름을 나타내고, 이를 통해 가장 크기가 작은(가장 작은 분산) 세포 샘플의 위치와 크기를 획득할 수 있으며, 획득한 세포 샘플의 위치(평균)와 크기(분산)는 영상획득부의 메모리 장치에 임시로 저장된다.
이후 확률밀도지도 내에서 앞서 획득한 정규분포의 확률밀도에 해당하는 픽셀 값들을 모두 0으로 치환하고, 다시 추출 알고리즘을 적용하여 동일한 연산을 수행하면, 확률밀도지도 내에서 두 번째로 작은(두 번째로 작은 분산) 세포 샘플의 위치와 크기를 획득할 수 있으며, 이러한 일련의 과정을 확률밀도지도 내에 존재하는 모든 정규분포의 평균과 분산을 획득할 때까지 반복한다.
결과적으로, 추출 알고리즘을 통해 확률밀도지도 내에 존재하는 모든 정규분포의 평균과 분산을 획득할 수 있으며, 이는 원본 현미경 영상의 영상 프레임에 존재하는 임의의 개수의 세포 샘플들에 대한 위치와 크기를 획득하게 되는 것이기 때문에 세포 샘플의 검출 및 위치추정이 수행되는 것이다.
다음으로, 추적 알고리즘을 사용하여 각 세포 샘플의 이동경로를 추적한다.<S52> 추적 알고리즘은 …, n-2번째, n-1번째, n번째 등의 연속된 영상 프레임 상에서 각 물체간의 관련성을 계산함으로써 n번째 영상 프레임에 존재하는 물체가 이전의 n-2번째, n-1번째 영상 프레임에 존재하는 물체들 중 어떤 물체에 해당되는 것인지를 찾고, 이를 통해 각 물체의 이동경로를 추적하는 것이다. 따라서 추적 알고리즘을 통해 세포 샘플의 이동경로를 추적한다.
여기서, 세포 샘플간의 관련성은 검출 및 위치추정을 통해 각 영상 프레임마다 계산된 세포 샘플의 위치 및 크기 정보를 이용하여 계산되며, 이 때 내부관로(111)에서 흐르는 세포 샘플들은 유체의 진행방향으로만 일정한 속도로 이동하고, 내부관로(111)의 단면적 상으로 상하좌우로는 이동하지 않는 특성을 이용한다.
예를 들어, n-1번째의 영상 프레임에 N개의 세포 샘플이 존재하고, n번째의 영상 프레임에 M개의 세포 샘플이 존재할 때 N과 M으로 구성된 한 쌍의 위치와 크기 정보를 비교하여 현재까지의 이동경로 및 속도에 대한 관련성을 계산함으로써, 관련성이 가장 높은 N과 M을 동일 세포 샘플로 매칭하여 해당 세포 샘플을 이동경로를 추적한다.
이를 바탕으로 추적 알고리즘에서는 각각의 세포 샘플에 고유 ID를 부여하는데, ID는 1부터 순차적으로 부여된다. 따라서 현미경이 관찰하는 지점에서 특정 구간으로 새롭게 진입한 세포 샘플에게 새로운 ID를 부여하고, 해당 세포 샘플이 특정 구간 내에서 이동하는 동안 복수개의 영상 프레임 사이에서의 관련성을 계산함으로써 해당 세포 샘플의 이동경로를 해당 세포 샘플이 현미경 관찰 지점에서 특정 구간 밖으로 이탈할 때까지 추적한다.
세포 샘플의 고유 ID는 1부터 순차적으로 부여하였기 때문에 세포 샘플에 부여된 ID는 추적 알고리즘이 계산한 계수 결과가 된다. 따라서 유체 내에서 흐르는 세포 샘플들에 대하여 중복이 발생하지 않으면서 계수가 가능하다.
또한, 세포 샘플이 현미경 관찰 지점에서 특정 구간 밖으로 이탈할 때 이탈된 세포 샘플의 ID, 위치, 크기에 대한 정보는 임시로 분석부(130)의 메모리 장치에 저장되어 이후 개별 세포 샘플에 대한 영상 자름 작업에서 활용된다.
다음으로, 개별 세포 샘플에 대한 영상 자름을 실시한다.<S53> 영상 자름은 복수개의 물체 추적을 통해 획득한 세포 샘플의 ID, 위치, 크기에 대한 정보를 바탕으로 개별 물체에 대한 영상을 겹침이 발생하지 않는 상태에서 획득하는 것이다. 이에 따라, 분석부(130)의 메모리 장치 내에 순환버퍼에는 가장 최근 영상 프레임인 n번째로부터 n-1번째, n-2번째, … 등 복수개의 영상 프레임이 저장되어 있고, 세포 샘플의 추적 시 현미경 관찰 지점에서 특정 구간 밖으로 이탈하는 세포 샘플이 발생하면 임시로 저장된 세포 샘플의 ID, 위치, 크기 정보를 바탕으로 순환버퍼에 저장된 최근 영삼 프레임들 중에서 세포 샘플 간의 겹침이 발생하지 않은 상태의 세포 샘플 영상을 잘라 획득한다.
예를 들어, 하나의 세포 샘플이 현미경 관찰 지점의 특정 구간에 진입하여 검출과 위치추정에 의해 세포 샘플의 위치와 크기가 획득되고, 추적 알고리즘을 통해 이 세포 샘플이 ID 100을 부여받았으며, 10번의 연속된 촬영에 의해 영상 프레임에 포함된 후 현미경 관찰 지점에서 특정 구간 밖으로 이탈하였고, 순환버퍼가 최근 50개의 연속된 영상 프레임을 고정적으로 저장하고 있다고 가정하자.
이 때 영상 자름을 통해 개별 세포 샘플의 영상을 획득하는 것은 순환버퍼 내 최근 10개의 영상 프레임에 ID 100의 세포 샘플이 포함되어 있기 때문에 10개의 영상 프레임 중에서 다른 세포 샘플과 영상 프레임 상에서 겹침이 없는 부분을 잘라 획득함으로써 이루어진다.
여기서, 세포 샘플이 겹치는 것은 메모리 장치에 저장되어 있는 현미경 관찰 지점에서 특정 구간 밖으로 이탈한 세포 샘플의 위치 정보를 이용하여 판단한다. 세포 샘플이 겹치는 현상이 항상 발생하는 현상은 아니지만, 3차원 구조인 내부관로(111)를 2차원 평면으로만 관찰하는 현미경 영상의 특성 때문에 발생하게 된다. 따라서 내부관로(111)에 흐르는 유체에 대한 유체역학적 관점에서 수직 위치가 다른 물체는 각각 다른 속도를 가지기 때문에 세포 샘플의 겹침은 일시적으로 발생하게 된다. 이에 따라, 본 발명에서는 순환버퍼에 저장된 복수개의 영상 프레임을 이용하여 세포 샘플의 겹침이 발생하지 않은 영상 프레임에서 개별 세포 샘플의 영상을 잘라 획득하는 것이다.
이와 같은 과정을 통하여 복수개의 물체 추적 작업에 의해 영상 프레임에 포함되어 있는 세포 샘플의 개별 영상을 중복이 없는 상태로 실시간으로 획득할 수 있다.
이처럼 복수개의 물체 추적 작업이 완료된 후 마지막으로 복수개의 물체 추적 작업에서 획득한 추적정보를 바탕으로 세포 샘플을 분석하고, 세포 식별 작업을 진행한다.<S34> 이 때 세포 샘플에 대한 분석은 분류 알고리즘을 적용하여 수행한다. 이러한 분류 알고리즘에는 예를 들어 인공신경망 심층학습 기법 중 하나인 convolutional neural network를 학습시킴으로써 분류기로 활용할 수 있다. 본 발명에서는 이와 같은 공지된 분류 알고리즘이 다양하게 적용될 수 있으며, 분류 알고리즘은 이미 공지된 기술이므로 자세한 설명은 생략하기로 한다. 이렇게 세포 식별 작업이 종료되면 최종적으로 세포 샘플의 분석이 완료된다.
본 발명에서는 이러한 세포 분석 및 식별 작업을 위한 각 단계가 파이프라인과 같이 동시에 진행되어 주입된 유체가 외부로 배출될 때까지 지속된다. 예를 들어, 유체가 지속적으로 미세유체 칩(110)에 주입되는 상황에서 분석부(130)에서는 이미 주입된 유체에 포함된 세포 샘플의 세포 식별 작업이 진행되고, 또한 새롭게 주입된 유체에 포함된 세포 샘플을 검출 및 추적하는 과정이 진행되는 것이다. 이와 같이, 본 발명에서는 흐르는 유체에 대해 파이프라인을 통한 병렬 처리가 가능하여 실시간으로 세포 샘플의 분석 및 식별이 가능할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.
100 : 유량생성부
110 : 미세유체 칩
111 : 내부관로
120 : 현미경모듈
130 : 분석부
140 : 미세관로

Claims (9)

  1. 세포 샘플이 포함된 유체를 일정 유량 단위로 주입하는 유량생성부;
    상기 유량생성부와 미세관로를 통해 연결되어 상기 유체가 주입되는 미세유체 칩;
    상기 미세유체 칩의 외부에서 상기 미세유체 칩의 특정 구간에 흐르는 상기 세포 샘플을 관찰하는 현미경;
    상기 현미경과 연결되어 상기 현미경이 관찰하는 상기 특정 지점을 특정 구간 단위로 촬영하여 영상 프레임을 생성하는 영상획득부; 및
    상기 영상획득부로부터 상기 영상 프레임을 전송받아 메모리에 저장시키고, 영상처리 알고리즘을 통해 상기 세포 샘플을 분석하는 분석부;를 포함하는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  2. 제1항에 있어서,
    상기 세포 샘플의 처리속도는 상기 유량 및 상기 세포 샘플의 농도에 의해 일정하게 조절되는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  3. 제1항에 있어서,
    상기 영상처리 알고리즘은 복수개의 물체 추적 알고리즘을 포함하고,
    상기 복수개의 물체 추적 알고리즘은 영상 프레임 변환, 물체 검출 및 위치추정, 물체 추적 및 개별 물체 영상 자름이 순차적으로 진행되는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  4. 제3항에 있어서,
    상기 영상 프레임 변환은 상기 영상 프레임의 픽셀 값들에 FCRN(fully convolutional regression network)을 적용하여 확률밀도지도로 변환함으로써 상기 영상 프레임의 세포 샘플이 각각 하나의 정규분포로 표현되도록 하는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  5. 제4항에 있어서,
    상기 물체 검출 및 위치추정은 상기 확률밀도지도 내의 모든 정규분포의 평균과 분산을 구함으로써 상기 세포 샘플의 위치 및 크기에 대한 정보를 획득하는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  6. 제5항에 있어서,
    상기 물체 추적은 상기 세포 샘플의 위치 및 크기에 대한 정보를 통해 이전 영상 프레임과 현재 영상 프레임의 관련성을 산출하여 개별 세포 샘플을 추적하는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  7. 제6항에 있어서,
    각각의 상기 세포 샘플에게 고유 ID를 부여함으로써 ID를 가진 상기 세포 샘플이 상기 특정 구간 밖으로 이탈할 때까지 상기 세포 샘플의 이동경로를 추적하는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  8. 제7항에 있어서,
    상기 개별 물체 영상 자름은 상기 물체 추적에서 획득한 상기 세포 샘플에 대한 추적 정보를 바탕으로 상기 분석부에 구비된 메모리에 저장된 최근 영상 프레임들 중 상기 세포 샘플 간의 겹침이 없는 상태의 영상 프레임을 획득하는 것을 특징으로 하는 영상 기반의 유세포 분석 장치.
  9. 유량생성부에서 미세관로를 통하여 미세유체 칩으로 세포 샘플을 일정한 유량으로 주입하는 단계;
    미세유체 칩의 특정 지점을 현미경으로 관찰하는 단계;
    상기 현미경이 관찰하는 특정 지점을 특정 구간 단위로 촬영하여 영상 프레임을 획득하는 단계;
    상기 영상 프레임을 분석부로 전송하는 단계;
    상기 분석부에서 상기 영상 프레임을 메모리에 저장하고, 분석하는 단계;를 포함하는 것을 특징으로 하는 영상 기반의 유세포 분석방법.
KR1020170032514A 2017-03-15 2017-03-15 영상 기반의 유세포 분석 장치 및 분석방법 KR20180105439A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170032514A KR20180105439A (ko) 2017-03-15 2017-03-15 영상 기반의 유세포 분석 장치 및 분석방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170032514A KR20180105439A (ko) 2017-03-15 2017-03-15 영상 기반의 유세포 분석 장치 및 분석방법

Publications (1)

Publication Number Publication Date
KR20180105439A true KR20180105439A (ko) 2018-09-28

Family

ID=63721324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170032514A KR20180105439A (ko) 2017-03-15 2017-03-15 영상 기반의 유세포 분석 장치 및 분석방법

Country Status (1)

Country Link
KR (1) KR20180105439A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110064449A (zh) * 2019-05-17 2019-07-30 北京京东方传感技术有限公司 一种生物液滴检测基板及其制备方法和检测装置
KR20220015542A (ko) * 2020-07-31 2022-02-08 한국과학기술정보연구원 기포 검출 방법 및 장치
WO2024024048A1 (ja) * 2022-07-28 2024-02-01 日本電信電話株式会社 物体検出装置、物体検出方法、及び物体検出プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110064449A (zh) * 2019-05-17 2019-07-30 北京京东方传感技术有限公司 一种生物液滴检测基板及其制备方法和检测装置
CN110064449B (zh) * 2019-05-17 2021-09-03 北京京东方传感技术有限公司 一种生物液滴检测基板及其制备方法和检测装置
KR20220015542A (ko) * 2020-07-31 2022-02-08 한국과학기술정보연구원 기포 검출 방법 및 장치
WO2024024048A1 (ja) * 2022-07-28 2024-02-01 日本電信電話株式会社 物体検出装置、物体検出方法、及び物体検出プログラム

Similar Documents

Publication Publication Date Title
US20230384208A1 (en) Image-based cell sorting systems and methods
Heo et al. Real-time image processing for microscopy-based label-free imaging flow cytometry in a microfluidic chip
EP3697294B1 (en) System and method for non-invasive hematological measurements
US20160169786A1 (en) Automated flow cytometry analysis method and system
CN104200114B (zh) 流式细胞仪数据快速分析方法
EP3200917B1 (en) Cell counting
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
KR20180105439A (ko) 영상 기반의 유세포 분석 장치 및 분석방법
CN103597349A (zh) 识别和计数早期粒细胞(egc)
CN110675395A (zh) 输电线路智能在线监测方法
CN110619264B (zh) 基于UNet++的微地震有效信号识别方法及装置
US20230061402A1 (en) Automated spermatozoa candidate identification
CN104457703A (zh) 基于多视觉小通道气液两相流参数测量系统及方法
CN109967143A (zh) 一种基于微流控显微系统的细胞大小检测方法
CN105426830B (zh) 基于多视觉信息融合技术的小通道气液两相流流型识别系统和方法
CN103364324A (zh) 一种用于血液细胞分析仪的自适应分类计算方法
CN110501741A (zh) 一种有效信号检测方法及系统
CN112001315A (zh) 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
KR102084683B1 (ko) 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
Wu et al. NDMFCS: An automatic fruit counting system in modern apple orchard using abatement of abnormal fruit detection
EP3230887A1 (en) Automated flow cytometry analysis method and system
CN114152557B (zh) 基于图像分析的血细胞计数方法和系统
CN205941300U (zh) 一种粒子分析仪用光学系统
CN104212705A (zh) 一种基于脉冲检测技术的双通道细胞微流图像采集系统
Michal et al. Machine-learning approach to microbial colony localisation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application