KR20210015947A - 미세유체 디바이스에서의 마이크로-객체의 자동 검출 및 특성화 - Google Patents

미세유체 디바이스에서의 마이크로-객체의 자동 검출 및 특성화 Download PDF

Info

Publication number
KR20210015947A
KR20210015947A KR1020207037880A KR20207037880A KR20210015947A KR 20210015947 A KR20210015947 A KR 20210015947A KR 1020207037880 A KR1020207037880 A KR 1020207037880A KR 20207037880 A KR20207037880 A KR 20207037880A KR 20210015947 A KR20210015947 A KR 20210015947A
Authority
KR
South Korea
Prior art keywords
micro
objects
image
layer
detecting
Prior art date
Application number
KR1020207037880A
Other languages
English (en)
Inventor
존 에이 테니
토마스 엠 베털리
한솔 이 김
Original Assignee
버클리 라잇츠, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버클리 라잇츠, 인크. filed Critical 버클리 라잇츠, 인크.
Publication of KR20210015947A publication Critical patent/KR20210015947A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Physical Or Chemical Processes And Apparatus (AREA)

Abstract

미세유체 디바이스에서 마이크로-객체의 자동 검출, 특성화 및 선택을 위한 방법이 제공된다. 또한, 검출 된 마이크로-객체를 동일한 특성을 공유하는 하위 그룹으로 그룹화하고, 선택적으로 미세유체 디바이스 내에서 선택된 하위 집단에서 마이크로-객체를 재포지셔닝하는 방법이 제공된다. 예를 들어 선택한 하위 집단의 마이크로-객체는 격리 펜으로 이동될 수 있다. 이 방법은 또한 2 차원 또는 3 차원 그래프와 같은 마이크로-객체 특성의 시각적 표시를 제공하고 검출 된 마이크로-객체의 하위 집단의 사용자 기반 정의 및/또는 선택을 제공한다. 또한, 프로그램이 저장된 비 일시적 컴퓨터 판독 가능 매체 및 개시된 방법 중 임의의 것을 수행하기 위한 시스템이 제공된다.

Description

미세유체 디바이스에서의 마이크로-객체의 자동 검출 및 특성화
본 개시는 일반적으로 이미지 내의 마이크로-객체를 검출하고 특성화하는 자동화된 방법에 관한 것이다. 특히, 방법은 미세유체 디바이스 내에 위치한 세포 또는 비드와 같은 마이크로-객체를 조명 된 이미지 (예를 들어, 명 시야 이미지) 에서 자동으로 검출하고, 마이크로-객체의 검출 된 위치를 사용하여 대응하는 조명되지 않은 이미지 (예 : 형광 이미지, 적외선, 자외선) 에서 마이크로-객체의 특성을 측정하는 단계들을 포함할 수 있다.
불균일하거나 복잡한 배경에서의, 생물학적 세포나 비드와 같은 마이크로-객체의 효율적 및 강건한 검출은 미세유체 환경에서의 마이크로-객체의 자동화된 조작에 결정적이다. 특정 마이크로-객체의 반투명한 외관으로 인해, 그러한 마이크로-객체와 크기가 비슷한 모양을 가진 불균일한 배경은 상당한 검출 문제를 야기한다. 마이크로-객체를 검출하는 문제는 마이크로-객체가 조명되지 않고 대신 각 마이크로-객체와 관련된 신호의 양, 가변적이거나 검출 불가능할 수 있는 양에 기초하여 시각화되는 형광 이미지와 같은 이미지에서 훨씬 더 복잡하다. 본 발명의 일부 실시형태들은 미세유체 환경에서의 마이크로-객체의 강건한 검출 및 특성화에 관한 것이다. 특성화는 선택적으로 조명된 이미지에서 검출 할 수 있는 하나 이상의 물리적 특성과 결합하여 마이크로-객체와 연관된 하나 이상의 신호 (예 : 형광 신호) 를 포함 할 수 있는, n 개의 서로 다른 유형의 측정을 통합하는 n 차원 표현 일 수 있다. 본 개시의 추가의 실시형태는 원하는 특성 세트를 갖는 마이크로-객체에 기초하여 미세 유체 환경에서 마이크로-객체를 재포지셔닝하는 것에 관한 것이다.
일 양태에서, 명 시야 이미지와 같은 조명된 이미지 내의 마이크로-객체의 자동화된 검출을 위한 방법이 제공된다. 방법은 대응하는 복수의 마이크로-객체 특성에 대해 이미지로부터 복수의 픽셀 마스크를 생성하는 단계; 및 상기 복수의 픽셀 마스크 중 적어도 하나의 픽셀 마스크로부터 이미지 내의 마이크로-객체를 식별하는 단계를 포함할 수 있다. 이 방법은 이미지에서의 식별된 마이크로-객체의 카운트를 얻는 단계를 더 포함할 수 있다. 복수의 픽셀 마스크를 생성하는 것은 콘볼루션 신경망 (convolutional neural network) 과 같은 기계 학습 알고리즘을 사용하여 이미지로부터의 픽셀 데이터를 프로세싱하는 것을 포함할 수 있다. 각각의 픽셀 마스크는 픽셀 주석의 세트를 포함하고, 그 세트의 각 픽셀 주석은 이미지의 대응 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타낸다.
다른 양태에서, 미세유체 디바이스에서 마이크로-객체를 검출하고 특성화하는 방법이 제공된다. 방법은 미세유체 디바이스에서 동일한 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 수신하는 단계; 이미지 데이터의 이상을 줄이기 위해 제 1 이미지 및 하나 이상의 제 2 이미지를 사전 처리하는 단계; 제 2 이미지를 제 1 이미지와 광학적으로 정렬하기 위해 하나 이상의 제 2 이미지 각각을 변환하는 단계; 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 기계 학습 알고리즘을 사용하여 제 1 이미지의 픽셀 데이터를 처리하는 단계로서, 각각의 마이크로-객체를 검출하는 것은 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 제 1 이미지의 픽셀 데이터를 처리하는 단계; 및 하나 이상의 제 2 이미지들의 각각의 제 2 이미지에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치된 신호를 검출하는 단계를 포함할 수 있다. 특정 실시형태에서, 제 1 이미지는 명 시야 이미지와 같은 조명 된 이미지이고, 하나 이상의 제 2 이미지 각각은 형광 이미지와 같은 비 조명된 이미지이다. 특정 실시형태에서, 하나 이상의 제 2 이미지 각각은 가시 광선 스펙트럼의 고유 한 부분을 캡처하는 형광 이미지이다. 특정 실시형태에서, 하나 이상의 제 2 이미지는 가시 광선 스펙트럼의 비중첩 부분을 캡처한다.
다른 양태에서, 머선 판독 가능 저장 디바이스가 제공된다. 특정의 실시형태들에서, 그 저장 디바이스는 비일시적 머신 판독 가능 명령들을 저장할 수 있고, 그 명령들의 실행은 컴퓨터를 포함하는 시스템으로 하여금, 하나 이상의 마이크로-객체들을 포함할 수도 있는 제 1 조명된 이미지를 메모리에 저장하게 하고; 대응하는 복수의 마이크로-객체 특성들에 대해 이미지로부터 복수의 픽셀 마스크들을 제 1 모듈에서 생성하게 하며; 제 2 모듈에서, 그 복수의 픽셀 마스크 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하게 할 수 있다. 생성하는 단계 및 획득하는 단계는 본원에 개시된 임의의 방법에 따라 수행 될 수 있다. 제 1 및 제 2 모듈은 서로 동일할 수 있으며 (즉, 단일 모듈이 존재), 또는 그들은 분리된, 별개의 모듈들일 수 있다. 특정 실시형태에서, 저장 디바이스는 비 일시적 머신 판독 가능 명령들을 저장할 수 있으며, 명령의 실행은 컴퓨터를 포함하는 시스템으로 하여금 : 이미지 엘리먼트를 사용하여, 미세유체 디바이스에서 동일한 관심 영역의 제 1 조명된 이미지 (예를 들어, 명 시야 이미지) 및 하나 이상의 제 2 비 조명된 이미지 (예를 들어, 형광 이미지) 를 획득하게 하고; 이미지 사전 처리 엔진을 사용하여, 이미지 데이터의 이상을 감소시키기 위해 제 1 이미지 및 하나 이상의 제 2 이미지를 사전 처리하게 하며; 이미지 정렬 엔진을 사용하여, 제 2 이미지를 제 1 이미지와 광학적으로 정렬시키기 위해 하나 이상의 제 2 이미지 각각을 변환하게 하고; 이미지 처리 엔진 및 기계 학습 알고리즘을 사용하여, 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 제 1 이미지의 픽셀 데이터를 처리하게 하며; 및 검출 엔진을 사용하여, 하나 이상의 제 2 이미지 각각에서 각각의 검출 된 마이크로-객체의 경계 내에 위치된 신호를 검출하게 할 수 있다. 이미지 엘리먼트, 이미지 사전 처리 엔진, 및 이미지 정렬 엔진은 이미지 획득 유닛의 일부일 수 있다. 마찬가지로, 이미지 처리 엔진과 검출 엔진은 마이크로-객체 검출 및 특성화 유닛의 부분일 수 있다. 이미지 획득 유닛과 마이크로-객체 검출 및 특성화 유닛은 단일 유닛의 일부이거나 별도의 유닛들 일 수 있다.
다른 양태에서, 복수의 격리 펜을 포함하는 미세유체 디바이스에서 마이크로-객체를 재포지셔닝하는 방법이 제공된다. 상기 방법은: 미세유체 디바이스 내에 배치된 (예를 들어, 하나 이상의 원하는 특성을 갖는) 마이크로-객체들의 세트를 식별하는 단계; 각각의 궤적이 마이크로-객체들의 세트의 하나의 마이크로-객체를 복수의 격리 펜들 중 하나의 격리 펜과 연결하는 경로인 하나 이상의 궤적을 컴퓨팅하는 단계; 마이크로-객체들의 세트의 하나 이상의 마이크로-객체들에 대해, 하나 이상의 궤적들 중의 궤적을 선택하는 단계; 및 그 선택된 궤적을 따라 마이크로-객체를 이동시킴으로써 선택된 궤적을 갖는 하나 이상의 마이크로-객체들 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계를 포함할 수 있다. 하나 이상의 원하는 특성을 갖는 마이크로-객체들의 세트를 식별하는 단계는 본 명세서에 개시된 임의의 방법에 의해 수행될 수 있다.
또 다른 양태에서, 미세유체 디바이스에서 마이크로-객체를 재포지셔닝하는 방법이 제공된다. 상기 방법은: 미세유체 디바이스의 특정된 공간 영역 내에 배치된 (예를 들어, 하나 이상의 원하는 특성을 갖는) 마이크로-객체들의 세트를 식별하는 단계; 특정된 공간 영역을, 각각이 마이크로-객체들의 세트의 하나 이상의 마이크로-객체(들)을 포함하는 서브 영역들로 분할하는 정점들의 세트를 계산하는 단계; 계산된 정점들의 세트에 기초하여 마이크로-객체들의 세트 중 적어도 하나의 마이크로-객체에 대한 제 1 광 케이지 (light cage) 를 생성하는 단계; 및 적어도 하나의 마이크로-객체를 재포지셔닝하기 위해 미세유체 디바이스의 특정된 공간 영역에 대해 제 1 광 케이지를 이동시키는 단계를 포함할 수 있다. 하나 이상의 원하는 특성을 갖는 마이크로-객체들의 세트를 식별하는 단계는 본 명세서에 개시된 임의의 방법에 의해 수행될 수 있다.
다른 양태에서, 미세유체 디바이스에서 마이크로-객체를 검출하고 특성화하는 방법이 제공된다. 방법은 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 수신하는 단계를 포함 할 수 있다. 방법은 이미지 데이터의 이상을 감소시키기 위해 제 1 이미지 및 하나 이상의 제 2 이미지를 사전 처리하는 단계; 제 2 이미지(들)를 제 1 이미지와 광학적으로 정렬하기 위해 하나 이상의 제 2 이미지 각각을 변환하는 단계를 더 포함할 수 있다. 방법은 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 기계 학습 알고리즘을 사용하여 제 1 이미지의 픽셀 데이터를 처리하는 단계를 더 포함 할 수 있으며, 여기서 각각의 마이크로-객체를 검출하는 것은 마이크로-객체의 경계를 식별하는 것을 포함한다. 방법은 하나 이상의 제 2 이미지 각각에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치한 신호를 검출하는 단계를 더 포함 할 수 있다.
또 다른 양태에서, 컴퓨터를 포함하는 시스템으로 하여금 미세유체 디바이스에서 마이크로-객체를 자동으로 검출하고 특성화하는 방법을 수행하게 하기 위한 프로그램이 저장된 비 일시적 컴퓨터 판독 가능 매체가 제공된다. 방법은 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 수신하는 단계를 포함 할 수 있다. 방법은 이미지 데이터의 이상을 감소시키기 위해 제 1 이미지 및 하나 이상의 제 2 이미지 각각을 사전 처리하는 단계; 제 2 이미지를 제 1 이미지와 광학적으로 정렬하기 위해 하나 이상의 제 2 이미지 각각을 변환하는 단계를 더 포함할 수 있다. 방법은 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 기계 학습 알고리즘을 사용하여 제 1 이미지의 픽셀 데이터를 처리하는 단계를 더 포함 할 수 있으며, 여기서 각각의 마이크로-객체를 검출하는 것은 마이크로-객체의 경계를 식별하는 것을 포함한다. 방법은 하나 이상의 제 2 이미지 각각에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치한 신호를 검출하는 단계를 더 포함 할 수 있다.
또 다른 양태에서, 미세유체 디바이스에서 마이크로-객체를 자동으로 검출하기 위한 시스템이 제공된다. 시스템은 (a) 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 캡처하도록 구성된 이미징 엘리먼트; (b) 이미지 데이터의 이상을 줄 이도록 구성된 이미지 사전 처리 엔진; 및 (c) 제 2 이미지를 제 1 이미지와 광학적으로 정렬하기 위해 제 2 이미지를 변환하도록 구성된 정렬 엔진을 포함할 수 있는 이미지 획득 유닛을 포함할 수 있다. 시스템은 이미지 획득 유닛에 통신가능하게 접속된 마이크로-객체 검출 및 특성화 유닛을 더 포함할 수 있다. 마이크로-객체 검출 및 특성화 유닛은 (a) 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 기계 학습 알고리즘을 사용하여 제 1 이미지의 픽셀 데이터를 처리하도록 구성된 이미지 처리 엔진으로서, 여기서 마이크로-객체를 검출하는 것은 각각의 검출 된 각 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 이미지 처리 엔진; 및 (b) 하나 이상의 제 2 이미지 각각에서 각각의 검출 된 마이크로-객체의 각 경계 내에 위치한 신호를 검출하도록 구성된 검출 엔진을 포함할 수 있다.
다른 양태에서, 미세유체 디바이스에서 마이크로-객체를 특성화하고 선택하는 컴퓨팅 디바이스가 제공된다. 컴퓨팅 디바이스는 디스플레이 스크린을 포함 할 수 있다. 컴퓨팅 디바이스는 검출 된 마이크로-객체의 세트를 특성화하기 위한, 제공된 파라미터 목록으로부터 선택된 제 1 파라미터를 선택하기 위한 메뉴를 스크린에 표시하도록 구성 될 수 있다. 컴퓨팅 디바이스는 선택된 제 1 파라미터를 기반으로 검출 된 마이크로-객체 세트의 플롯을 스크린에 표시하도록 구성 될 수 있으며, 여기서 제공된 파라미터 목록은 메뉴 내에서 제공되는 파라미터의 제한된 목록이며, 목록 내의 파라미터 각각은 연관된 파라미터를 기반으로 검출 된 마이크로-객체의 세트를 특성화하기 위해 선택가능하다. 디스플레이 스크린은 선택된 제 1 파라미터에 대한 적어도 하나의 선택된 임계 값에 기초하여 검출 된 마이크로-객체의 세트의 하위 집단의 선택을 가능하게 할 수 있다. 디스플레이 스크린은 검출 된 세트의 나머지 마이크로-객체로부터 적어도 하나의 선택된 임계 값을 충족하는 하위 집단을 시각적으로 구별함으로써 검출 된 마이크로-객체 세트의 디스플레이를 가능하게 할 수 있다.
추가의 양태는 첨부된 청구 범위 및 도면 뿐만 아니라 이하의 상세한 설명으로부터 명백해질 것이다.
도 1a 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스 및 연관된 제어 장비와의 이용을 위한 시스템의 예를 예시한다.
도 1b 및 도 1c 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스를 예시한다.
도 2a 및 도 2b 는 본 개시의 일부 실시형태들에 따른 격리 펜들을 예시한다.
도 2c 는 본 개시의 일부 실시형태들에 따른 상세한 격리 펜을 예시한다.
도 2d 내지 도 2f 는 발명의 일부 다른 실시형태들에 따른 격리 펜들을 예시한다.
도 2g 는 본 개시의 실시형태에 따른 미세유체 디바이스를 예시한다.
도 2h 는 본 개시의 실시형태에 따른 미세유체 디바이스의 코팅된 표면을 예시한다.
도 3a 는 본 개시의 일부 실시형태들에 따른 미세유체 디바이스 및 연관된 제어 장비와의 이용을 위한 시스템의 특정 예를 예시한다.
도 3b 는 본 개시의 일부 실시형태들에 따른 이미징 디바이스를 예시한다.
도 4a, 도 4b 및 도 4c 는 본 발명의 일 실시형태에 따른, 병렬의 마이크로-객체들의 페닝 (penning) 을 도시한다.
도 5 는 다양한 실시형태들에 따른, 컴퓨터 시스템의 블록도이다.
도 6a 내지 도 6f 는 본 발명의 특정 실시형태에 따라 마이크로-객체들을 분리하는데 사용될 수 있는 변경된 광 케이지들의 생성을 도시한다.
도 7 은 여러 실시형태에 따른 콘볼루션 신경망의 개략도를 도시한다.
도 8a 내지 도 8c 는 다양한 실시현태들에 따른 잔차 네트워크, 다운 샘플링 블록 및 업 샘플링 블록의 개략도를 도시한다.
도 9a 내지 도 9d 는 여러 실시형태에 따른 콘볼루션 신경망의 더욱 상세한 개략도의 섹션들을 도시한다.
도 10 은 다양한 실시형태에 따라 이미지 내의 마이크로-객체들을 자동 검출하기 위한 방법의 플로우챠트를 도시한다.
도 11 은 다양한 실시형태에 따라 이미지 내의 마이크로-객체들을 자동 검출하기 위한 시스템을 도시한다.
도 12 은 다양한 실시형태에 따라 이미지 내의 마이크로-객체들을 자동 검출하기 위한 방법의 플로우챠트를 도시한다.
도 13 은 다양한 실시형태에 따라 이미지 내의 마이크로-객체들을 자동 검출하기 위한 시스템을 도시한다.
도 14 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
도 15 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
도 16 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
도 17 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
도 18 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
도 19 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
도 20 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
도 21 은 다양한 실시형태에 따라 마이크로-객체를 특성화하고 선택하기위한 디스플레이 스크린을 도시한다.
이 명세서는 본 개시의 예시적인 실시형태들 및 애플리케이션들을 설명한다. 그러나, 본 개시물은, 이들 예시적인 실시형태들 및 애플리케이션들에, 또는 예시적인 실시형태들 및 애플리케이션들이 동작하거나 또는 본원에서 설명되는 방법에 한정되지 않는다. 더욱이, 도면들은 단순화된 또는 부분 도들을 나타낼 수도 있으며, 도면들에서의 엘리먼트들의 치수들은 확대되거나 또는 아니면 비율대로 확대되지 않을 수도 있다. 또한, 용어들 "~ 상에 (on)", "~ 에 부착된 (attached to)", "~ 에 접속된 (connected to)", "~ 에 결합된 (coupled to)" 또는 유사한 단어들이 본원에서 사용되는 바와 같이, 하나의 엘리먼트가 다른 엘리먼트 바로 위에 있고, 그것에 부착되거나, 그것에 접속되고 또는 그것에 결합되는지, 또는 하나의 엘리먼트와 다른 엘리먼트 사이에 하나 이상의 중간 엘리먼트들이 있는지 여부에 관계 없이, 하나의 엘리먼트 (예를 들어, 재료, 층, 기판 등) 는 다른 엘리먼트 "상에" 있을 수 있고, 그것에 "부착될" 수 있고, 그것에 "접속될" 수 있고, 또는 그것에 "결합될" 수 있다. 또한, 콘텍스트가 다르게 기술하지 않으면, 방향들 (예를 들어, 상방 (above), 하방 (below), 상단 (top), 하단 (bottom), 측면 (side), 상 (up), 하 (down), 아래에 (under), 위에 (over), 상부 (upper), 하부 (lower), 수평, 수직, "x", "y", "z" 등) 은, 제공된다면, 상대적이고, 한정이 아니라, 전적으로 예로서 그리고 예시 및 논의의 용이함을 위해 제공된다. 추가로, 엘리먼트들 (예를 들어, 엘리먼트들 a, b, c) 의 리스트에 대해 참조가 이루어지는 경우, 이러한 참조는 열거된 엘리먼트들 자체, 전부보다 적은 열거된 엘리먼트들의 임의의 조합, 및/또는 열거된 엘리먼트들의 전부의 조합 중의 임의의 하나를 포함하도록 의도된다. 명세서에서의 섹션 분할들은 단지 리뷰의 용이함을 위한 것이고 논의된 엘리먼트들의 임의의 조합을 한정하지 않는다.
마이크로유체 피쳐들의 치수들은 폭 또는 면적을 갖는 것으로 설명되는 경우, 치수는 일반적으로, 마이크로유체 디바이스의 기판 및/또는 커버에 평행한 평면 내에 놓인, x-축 및/또는 y-축 치수에 대해 설명된다. 마이크로유체 피쳐의 높이는 마이크로유체 디바이스의 기판 및/또는 커버에 평행한 평면에 수직한 z-축 방향에 대해 설명될 수도 있다. 일부의 경우, 채널 또는 통로와 같은, 마이크로유체 피쳐의 단면적은 x-축/z-축, y-축/z-축, 또는 x-축/y-축 영역을 기준으로 할 수도 있다.
본 명세서에서 사용된 바와 같이, "실질적으로 (substantially)" 는 의도된 목적을 위해 작동하기에 충분하다는 것을 의미한다. 용어 "실질적으로" 는 따라서, 당업자에 의해 예상될 것이지만, 전체 성능에 인식가능하게 영향을 주지 않는 바와 같은, 절대적인 또는 완전한 상태, 치수, 측정, 결과 등으로부터의 소수의 중요하지 않은 변화들을 허용한다. 수치 값들 또는 수치 값들로서 표현될 수 있는 파라미터들 또는 특징들에 대하여 사용될 때, "실질적으로" 는 10 퍼센트 이내를 의미한다.
용어 "것들" 은 하나보다 많은 것을 의미한다.
본 명세서에서 사용된 바와 같이, 용어 "복수" 는 2, 3, 4, 5, 6, 7, 8, 9, 10, 또는 그 이상일 수 있다.
본원에서 사용된 바와 같이, ㎛는 마이크로미터를 의미하고, ㎛3은 입방 마이크로미터를 의미하고, pL은 피코리터를 의미하고, nL은 나노리터를 의미하고, 그리고 μL (또는 uL) 은 마이크로리터를 의미한다.
본 명세서에서 사용된 바와 같이, 용어 "배치된" 은 그 의미 내에 "위치된" 을 포함한다.
본 명세서에서 사용된 바와 같이, "미세유체 디바이스" 또는 "미세유체 장치" 는 유체를 보유하도록 구성된 하나 이상의 별개의 미세유체 회로들을 포함하는 디바이스이고, 각각의 미세유체 회로는, 영역(들), 흐름 경로(들), 채널(들), 챔버(들), 및/또는 펜(들), 및 유체 (및, 옵션으로는, 유체에서 부유된 마이크로-객체들) 가 미세유체 디바이스의 안 및/또는 밖으로 흐르는 것을 허용하도록 구성된 적어도 하나의 포트를 포함하지만 이에 한정되지는 않는, 유체 상호연결된 회로 엘리먼트들로 구성된다. 통상적으로, 미세유체 디바이스의 미세유체 회로는, 적어도 하나의 챔버, 및 미세유체 채널을 포함할 수도 있는 유동 영역을 포함할 것이며, 약 1 mL 미만, 예를 들어 약 750, 500, 250, 200, 150, 100, 75, 50, 25, 20, 15, 10, 9, 8, 7, 6, 5, 4, 3 또는 2 마이크로리터 미만의 유체 체적을 유지할 것이다. 소정의 실시형태들에서, 미세유체 회로는 약 1-2, 1-3, 1-4, 1-5, 2-5, 2-8, 2-10, 2-12, 2-15, 2-20, 5-20, 5-30, 5-40, 5-50, 10-50, 10-75, 10-100, 20-100, 20-150, 20-200, 50-200, 50-250, 또는 50-300 마이크로리터를 보유한다. 미세유체 회로는 미세유체 디바이스 내의 제 1 포트 (예를 들어, 인렛) 와 유체 연결된 제 1 단부 및 미세유체 디바이스 내의 제 2 포트 (예를 들어, 아웃렛) 와 유체 연결된 제 2 단부를 갖도록 구성될 수도 있다.
본 명세서에서 사용된 바와 같이, "나노유체 디바이스" 또는 "나노유체 장치" 는 약 1 μL 미만, 예를 들어 약 750, 500, 250, 200, 150, 100, 75, 50, 25, 20, 15, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1 nL 미만, 또는 그 이하의 유체의 볼륨을 보유하도록 구성된 적어도 하나의 회로 엘리먼트를 포함하는 미세유체 회로를 갖는 미세유체 디바이스의 타입이다. 나노유체 디바이스는 복수의 회로 엘리먼트들 (예를 들어, 적어도 2, 3, 4, 5, 6, 7, 8, 9, 10, 15, 20, 25, 50, 75, 100, 150, 200, 250, 300, 400, 500, 600, 700, 800, 900, 1000, 1500, 2000, 2500, 3000, 3500, 4000, 4500, 5000, 6000, 7000, 8000, 9000, 10,000, 또는 그 이상) 을 포함할 수도 있다. 특정 실시형태들에서, 적어도 하나의 회로 엘리먼트들 중 하나 이상 (예를 들어, 전부) 은 약 100 pL 내지 1 nL, 100 pL 내지 2 nL, 100 pL 내지 5 nL, 250 pL 내지 2 nL, 250 pL 내지 5 nL, 250 pL 내지 10 nL, 500 pL 내지 5 nL, 500 pL 내지 10 nL, 500 pL 내지 15 nL, 750 pL 내지 10 nL, 750 pL 내지 15 nL, 750 pL 내지 20 nL, 1 내지 10 nL, 1 내지 15 nL, 1 내지 20 nL, 1 내지 25 nL, 또는 1 내지 50 nL 의 유체의 볼륨을 보유하도록 구성된다. 다른 실시형태들에서, 적어도 하나의 회로 엘리먼트들 중 하나 이상 (예컨대, 모두) 은 약 20 nL 내지 200nL, 100 내지 200 nL, 100 내지 300 nL, 100 내지 400 nL, 100 내지 500 nL, 200 내지 300 nL, 200 내지 400 nL, 200 내지 500 nL, 200 내지 600 nL, 200 내지 700 nL, 250 내지 400 nL, 250 내지 500 nL, 250 내지 600 nL, 또는 250 내지 750 nL 의 유체의 체적을 수용하도록 구성된다.
마이크로유체 디바이스 또는 나노유체 디바이스는 본원에서 "마이크로유체 칩" 또는 "칩"; 또는 "나노유체 칩" 또는 "칩"으로 지칭될 수 있다.
본원에서 이용된 바와 같은 "미세유체 채널" 또는 "유동 채널" 은 양자의 수평 및 수직 치수들보다 상당히 더 긴 길이를 가지는 미세유체 디바이스의 유동 영역을 지칭한다. 예를 들어, 흐름 채널은 수평 또는 수직 치수 중 어느 하나의 길이의 적어도 5 배, 예를 들어 그 길이의 적어도 10 배, 그 길이의 적어도 25 배, 그 길이의 적어도 100 배, 그 길이의 적어도 200 배, 그 길이의 적어도 500 배, 그 길이의 적어도 1,000 배, 그 길이의 적어도 5,000 배, 또는 그 이상일 수 있다. 일부 실시형태들에서, 유동 채널의 길이는 그 사이의 임의의 값을 포함하여, 약 100,000 마이크론 내지 약 500,000 마이크론이다. 일부 실시형태들에서, 수평 치수는 약 100 마이크론 내지 약 1000 마이크론 (예컨대, 약 150 마이크론 내지 약 500 마이크론) 이며, 수직 치수는 약 25 마이크론 내지 약 200 마이크론 (예컨대, 약 40 마이크론 내지 약 150 마이크론이다. 흐름 채널은 미세유체 디바이스에서 다양한 상이한 공간 구성들을 가질 수도 있고, 따라서 완벽히 선형 엘리먼트에 제한되지 않는다는 것에 주목한다. 예를 들어, 유동 채널은 다음 구성들: 곡선, 굴곡, 나선, 오름 경사, 내리막 경사, 포크 (예컨대, 다수의 상이한 유동 통로들), 및 이들의 임의의 조합을 가지는 하나 이상의 섹션들일 수도 있거나 또는 포함할 수도 있다. 게다가, 유동 채널은 그의 경로를 따라서 상이한 단면적들을 가질 수도 있으며, 그 내부에 원하는 유체 유동을 제공하기 위해 넓어지거나 수축될 수도 있다. 유동 채널은 밸브들을 포함할 수도 있으며, 밸브들은 마이크로 유체공학의 분야에 공지된 임의의 유형일 수도 있다. 밸브들을 포함하는 마이크로유체 채널들의 예들은 미국 특허들 제 6,408,878호 및 제 9,227,200호에 개시되어 있으며, 이들의 각각은 본원에서 전체적으로 참고로 포함된다.
본 명세서에서 사용된 바와 같이, 용어 "장애물" 은 일반적으로 미세유체 디바이스에서의 2 개의 상이한 영역들 또는 회로 엘리먼트들 사이의 타겟 마이크로-객체들의 이동을 부분적으로 (그러나 완전히는 아님) 방해하기에 충분히 큰 범프 또는 유사한 타입의 구조를 지칭한다. 2개의 상이한 영역들/회로 엘리먼트들은 예를 들어, 마이크로유체 격리 펜의 연결 영역 및 분리 영역일 수 있다.
본 명세서에서 사용된 바와 같이, 용어 "수축 (constriction)" 은 일반적으로 미세유체 디바이스에서 회로 엘리먼트 (또는 2 개의 회로 엘리먼트들 사이의 인터페이스) 의 폭을 좁히는 것을 지칭한다. 수축은 예를 들어, 본 개시물의 마이크로유체 격리 펜의 분리 영역과 연결 영역 사이의 인터페이스에 위치될 수 있다.
본 명세서에서 사용된 바와 같이, 용어 "투명한" 은 가시 광이 통과될 때 가시 광이 실질적으로 바뀌지 않고 통과하는 것을 허용하는 재료를 지칭한다.
본원에서 이용된 바와 같이, 용어 "마이크로-객체" 는 일반적으로, 본 개시에 따라 격리 및/또는 조작될 수도 있는 임의의 미세한 객체를 지칭한다. 마이크로-객체들의 비-한정적 예들은: 미세입자들; 미세비드들 (예를 들어, 폴리스티렌 비드들, Luminex™ 비드들 등); 자기 비드들; 미세로드들; 미세와이어들; 양자 점들 등과 같은 무생물의 마이크로-객체들; 세포들 등과 같은 생물학적 마이크로-객체들; 생물학적 세포기관들; 소낭들, 또는 착물들; 합성 소낭들; (예를 들어, 막 표본들로부터 유래된 또는 합성의) 리포솜들; 지질 나노래프트들 등; 또는 무생물의 마이크로-객체들 및 생물학적 마이크로-객체들의 조합 (예를 들어, 세포들에 부착된 미세비드들, 리포솜-코팅된 미세-비드들, 리포솜-코팅된 자기 비드들 등) 을 포함한다. 비드들은 공유결합으로 또는 비-공유결합으로 부착된 모이어티들/분자들, 이를 테면 형광 라벨들, 단백질들, 탄수화물들, 항원들, 소분자 시그널링 모이어티들, 또는 분석에서 사용 가능한 다른 화학적/생물학적 종들을 포함할 수도 있다. 지질 나노래프트들은 예를 들어 Ritchie 등 (2009) "Reconstitution of Membrane Proteins in Phospholipid Bilayer Nanodiscs", Methods Enzymol., 464:211-231 에 기재되어 있다. 지질 나노라프트들은 예를 들어 Ritchie et al.(2009) "Reconstitution of Membrane Proteins in Phospholipid Bilayer Nanodiscs", Methods Enzymol., 464:211-231에 기재되어 있다.
본원에 사용된 바와 같이, 용어 "세포"는 용어 "생물학적 세포"와 상호 교환 가능하게 사용된다. 생물학적 세포의 비 제한적인 예로는 진핵 세포, 식물 세포, 포유 동물 세포, 파충류 세포, 조류 세포, 물고기 세포 등과 같은 동물 세포, 원핵 세포, 박테리아 세포, 진균 세포, 원충 세포 등이 포함된다 근육, 연골, 지방, 피부, 간, 폐, 신경 조직 등과 같은 조직으로부터 해리된 세포, T 세포, B 세포, 자연 살해 세포, 대 식세포 등의 면역 세포, 배아 (예를 들어 접합체), 난 모세포, 난자, 정자 세포, 하이 브리 도마, 배양된 세포, 세포주의 세포, 암세포, 감염된 세포, 형질 전환된 세포 및/또는 형질 전환된 세포, 포유류 세포는 예를 들어 인간, 마우스, 래트, 말, 염소, 양, 소, 영장류 등일 수 있다.
콜로니에서 번식할 수 있는 모든 살아있는 세포들이 단일의 부모 세포에서 유래한 딸 세포라면, 생물학적 세포들의 콜로니는 "클론 (clonal)"이다. 어떤 실시형태들에서, 클론 콜로니에서의 모든 딸 세포들은 단일 부모 세포로부터 10 번 이하의 분할들에 의해 유도된다. 다른 실시형태들에서, 클론 콜로니에서의 모든 딸 세포들은 단일 부모 세포로부터 14 번 이하의 분할들에 의해 유도된다. 다른 실시형태들에서, 클론성 군체에서의 모든 딸 세포들은 17 개를 초과하지 않는 분할들에 의해 단일의 부모 세포로부터 유도된다. 다른 실시형태들에서, 클론성 군체에서의 모든 딸 세포들은 20 개를 초과하지 않는 분할들에 의해 단일의 부모 세포로부터 유도된다. 용어 "클론 세포들" 은 동일한 클론 콜로니의 세포들을 지칭한다.
본원에서 이용된 바와 같이, 생물학적 세포들의 "군체" 는 2 개 이상의 세포들 (예컨대, 약 2 내 약 20, 약 4 내지 약 40, 약 6 내지 약 60, 약 8 내지 약 80, 약 10 내지 약 100, 약 20 내지 약 200, 약 40 내지 약 400, 약 60 내지 약 600, 약 80 내지 약 800, 약 100 내지 약 1000, 또는 1000 개 이상의 세포) 을 지칭한다.
본 명세서에서 사용된 바와 같이, 용어 "세포(들)를 유지하는 것" 은 세포들을 생존가능하게 유지하고 및/또는 증식시키는데 필요한 조건들을 제공하는, 유체 및 기체 성분들 양자 모두, 및 옵션으로는 표면을 포함하는 환경을 제공하는 것을 지칭한다.
본원에서 사용된 바와 같이, 세포들을 언급할 때 용어 "팽창하는"은 세포 수의 증가를 지칭한다.
유체 배지의 "성분" 은, 용매 분자들, 이온들, 소분자들, 항생물질들, 뉴클레오티드들 및 뉴클레오시드들, 핵산들, 아미노산들, 펩티드들, 단백질들, 설탕들, 탄수화물들, 지질들, 지방산들, 콜레스테롤, 대사물들 등을 포함하는, 배지에 존재하는 임의의 화학적 또는 생물학적 분자이다.
본원에서 이용된 바와 같이, "캡처 모이어티 (capture moiety)" 는 마이크로-객체를 위한 인식 부위를 제공하는 화학적 또는 생물학적 종, 기능부, 또는 모티프 (motif) 이다. 선택된 종류의 마이크로-객체들은 원 위치에서 (in situ)-발생된 캡쳐 모이어티를 인식할 수도 있으며, 원 위치에서-발생된 캡쳐 모이어티에 결합하거나 또는 그에 대한 친화력을 가질 수도 있다. 비한정적인 예들은 항원들, 항체들, 및 세포 표면 결합 모티프들을 포함한다.
본원에서 이용된 바와 같이, "유동가능한 폴리머" 는 유체 매질 (예를 들어, 프리-폴리머 용액) 내에서 용해가능하거나 분산가능한 폴리머 모노머 (monomer) 또는 매크로머 (macromer) 이다. 유동성 중합체는 마이크로유체 유동 영역으로 유입되어 그 안의 유체 배지의 다른 성분들과 함께 유동할 수도 있다.
본원에서 이용된 바와 같이, "광개시된 폴리머" 는 광에 대한 노출 시에, 공유결합으로 교차연결 (crosslink) 할 수 있거나, 특정 공유 결합들을 형성할 수 있거나, 강성화된 화학적 모티프 주위의 위치화학 (regiochemistry) 을 변경할 수 있거나, 물리적 상태에 있어서의 변경을 야기시킴으로써, 폴리머 네트워크를 형성하는 이온 쌍들을 형성할 수 있는 폴리머 (또는 폴리머를 생성하기 위하여 이용될 수 있는 모노머 분자) 를 지칭한다.  일부의 경우, 광개시 중합체는 공유결합으로 가교시키거나, 특정의 공유 결합들을 형성하거나, 경화된 화학적 모티프 주위에서 위치화학을 변경하거나, 또는 물리적 상태에서의 변화를 초래하는 이온 쌍들을 형성할 수 있는 하나 이상의 화학적 모이어티들에 결합된 중합체 세그먼트를 포함할 수도 있다. 일부의 경우, 광개시 중합체는 (예컨대, 중합체의 중합을 통해서) 중합체 네트워크의 형성을 개시하기 위해 광활성가능한 라디칼 개시제를 필요로 할 수도 있다.
본원에서 이용된 바와 같이, "항체" 는 면역글로불린 (immunoglobulin) (Ig) 을 지칭하고, 양자의 다클론성 (polyclonal) 및 단클론성 (monoclonal) 항체들; 영장류화 (예컨대, 인간화); 쥐과 (murine); 생쥐-인간; 생쥐-영장류; 및 키메라 (chimeric) 를 포함하고; 손상되지 않은 분자, (scFv, Fv, Fd, Fab, Fab', 및 F(ab)'2 단편들과 같은) 그 단편, 또는 손상되지 않은 분자들 및/또는 단편들의 멀티머 (multimer) 들 또는 응집체 (aggregate) 들일 수도 있고; 천연적으로 발생할 수도 있거나, 예컨대, 면역법 (immunization), 합성, 또는 유전 공학 (genetic engineering) 에 의해 생성될 수도 있다. 본원에서 이용된 바와 같은 "항체 단편 (antibody fragment)" 은, 항원을 바인딩하고, 일부 실시형태들에서, 예컨대, 갈락토스 잔기 (galactose residue) 들의 편입에 의해 클리어런스 (clearance) 및 업테이크 (uptake) 를 용이하게 하는 구조적 특징부 (structural feature) 들을 나타내기 위하여 유도체화될 수도 있는, 항체로부터 유도되거나 항체에 관련된 단편들을 지칭한다. 이것은 예컨대, F(ab), F(ab)'2, scFv, 경쇄 가변 영역 (VL), 중쇄 가변 영역 (VH), 및 이들의 조합들을 포함한다.
유체 매질을 참조하여 본 명세서에서 사용된 바와 같이, "확산시키다 (diffuse)" 및 "확산 (diffusion)" 은 농도 기울기 아래로의 유체 매질의 성분의 열역학적 이동을 지칭한다.
어구 "매질의 흐름" 은 주로 확산 이외의 임의의 메커니즘으로 인한 유체 매질의 벌크 이동을 의미한다. 예를 들어, 매질의 흐름은 지점들 사이의 압력 차이로 인한 유체 매질의 하나의 지점으로부터 다른 지점으로의 이동을 수반할 수 있다. 이러한 흐름은 액체의 연속적인, 펄싱된, 주기적인, 랜덤한, 간헐적인, 또는 왕복 흐름, 또는 이들의 임의의 조합을 포함할 수 있다. 하나의 유체 매질이 다른 유체 매질로 흐르는 경우, 매질의 터뷸런스 및 혼합이 초래될 수 있다.
어구 "실질적으로 흐르지 않음" 은, 시간 경과에 따라 평균화되면, 유체 매질로의 또는 유체 매질 내에서의 재료 (예를 들어, 관심 피분석물) 의 성분들의 확산의 레이트보다 더 작은 유체 매질의 흐름의 레이트를 지칭한다. 이러한 재료의 성분들의 확산의 레이트는, 예를 들어 온도, 성분들의 사이즈, 및 성분들과 유체 매질 사이의 상호작용들의 강도에 의존할 수 있다.
미세유체 디바이스 내의 상이한 영역들을 참조하여 본 명세서에서 사용된 바와 같이, 어구 "유체 연결된" 은, 상이한 영역들이 유체 매질들과 같은 유체로 실질적으로 채워질 때, 영역들의 각각에서의 유체가 유체의 단일체를 형성하도록 연결된다는 것을 의미한다. 이것은, 상이한 영역들에서의 유체들 (또는 유체 매질들) 이 반드시 조성이 동일하다는 것을 의미하지 않는다. 대신, 마이크로유체 디바이스의 상이한 유체 연결된 영역들에서의 유체들은 용질들이 그들의 개개의 농도 기울기들 아래로 이동하고 및/또는 유체들이 마이크로유체 디바이스를 통과하여 유동에 따라서 유입하는 상이한 조성들 (예컨대, 단백질들, 탄수화물들, 이온들, 또는 다른 분자들과 같은, 용질들의 상이한 농도들) 을 가질 수 있다.
본 명세서에서 사용된 바와 같이, "흐름 경로" 는 매질의 흐름의 궤적을 정의하고, 그것에 종속되는 하나 이상의 유체 연결된 회로 엘리먼트들 (예를 들어, 채널(들), 영역(들), 챔버(들) 등) 을 지칭한다. 흐름 경로는 따라서 미세유체 디바이스의 스윕된 영역의 예이다. 다른 회로 엘리먼트들 (예를 들어, 비스윕된 영역들) 은 흐름 경로에서의 매질의 흐름에 종속됨 없이 흐름 경로를 포함하는 회로 엘리먼트들과 유체 연결될 수도 있다.
본원에서 이용된 바와 같이, "마이크로-객체를 격리시키는 것" 은 마이크로-객체를 미세유체 디바이스 내의 정의된 에어리어에 한정시킨다.
미세유체 (또는 나노유체) 디바이스는 "스윕된 (swept)" 영역들과 "비스윕된 (unswept)" 영역들을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, "스윕된 (swept)" 영역은, 미세유체 회로를 통하여 유체가 흐르고 있을 때 각각이 매질의 흐름을 경험하는, 미세유체 회로의 하나 이상의 유체 상호연결된 회로 엘리먼트들로 구성된다. 스윕된 영역의 회로 엘리먼트들은 예를 들어 영역들, 채널들, 및 챔버들의 전부 또는 부분들을 포함할 수 있다. 본 명세서에서 사용된 바와 같이, "비스윕된 (unswept)" 영역은, 미세유체 회로를 통하여 유체가 흐르고 있을 때 각각이 실질적으로 어떠한 유체의 플럭스도 경험하지 않는, 미세유체 회로의 하나 이상의 유체 상호연결된 회로 엘리먼트로 구성된다. 유체 연결들이 확산을 가능하게 하지만 실질적으로 스윕된 영역과 비스윕된 영역 사이에 어떠한 매질들의 흐름도 없도록 구조화되어 있다면, 비스윕된 영역은 스윕된 영역에 유체 연결될 수 있다. 따라서, 미세유체 디바이스는 스윕된 영역과 비스윕된 영역 사이에서 실질적으로 확산 유체 연통만을 가능하게 하면서, 스윕된 영역에서의 매질의 흐름으로부터 비스윕된 영역을 실질적으로 고립시키도록 구조화될 수 있다. 예를 들어, 미세유체 디바이스의 흐름 채널은 스윕 영역의 일 예인 한편, 미세유체 디바이스의 고립 영역(이하에서 더 상세히 설명됨)은 비스윕 영역의 예이다.
본 명세서에서 사용 된 바와 같이, 특히 이미지와 관련하여 "비 조명된” 이라는 용어는 빛이 이미징되고 있는 스펙트럼의 동일한 영역에서 조명되지 않은 형광 이미지와 같은 조명된 이미지를 나타낼 수 있다. 비 조명된이라는 용어는 또한 예를 들어 적외선 및 자외선 광을 포함하여 가시 광선의 스펙트럼 외부의 스펙트럼에서의 이미징을 나타낼 수도 있다.
특정 생물학적 재료들(예컨대, 항체들과 같은 단백질들)을 생성하는 생물학적 마이크로-객체들(예컨대, 생물학적 세포들)의 능력이 그러한 미세유체 디바이스에서 분석될 수 있다. 분석의 특정의 실시형태에서, 관심있는 분석물의 생성을 위해 분석될 생물학적 마이크로-객체들(예컨대, 세포들)을 포함하는 샘플 재료가 미세유체 디바이스의 스윕 영역으로 로딩될 수 있다. 생물학적 마이크로-객체들(예컨대, 인간 세포들과 같은 포유류 세포들)의 마이크로-객체들은 특정 특징들을 위해 선택되고 비스윕 영역들에 배치될 수 있다. 나머지 샘플 재료는 그 후 스윕 영역 밖으로 유동하고 분석 재료가 스윕 영역 안으로 유동할 수 있다. 선택된 생물학적 마이크로-객체들이 비스윕 영역들에 있기 때문에, 선택된 생물학적 마이크로-객체들은 나머지 샘플 재료의 유출 또는 분석 재료의 유입에 의해 실질적으로 영향을 받지 않는다. 선택된 생물학적 마이크로-객체들은 비스윕 영역으로부터 스윕 영역으로 확산할 수 있는 관심있는 분석물을 생성하도록 허용될 수 있으며, 여기서 관심있는 분석물은 각각이 특정 비스윕 영역과 상관될 수 있는 국부화된 검출가능 반응들을 생성하기 위해 분석 재료와 반응할 수 있다. 검출된 반응에 연관된 임의의 비스윕 영역은, 존재하는 경우, 비스윕 영역 내의 생물학적 마이크로-객체들 중 어느 것이 관심있는 분석물의 충분한 생산자들인지를 결정하기 위해 분석될 수 있다.
이러한 디바이스를 조작하고 관찰하기 위한 마이크로유체 디바이스 및 시스템. 도 1a 는 마이크로-객체를 임포팅 (importing), 배양, 및/또는 모니터링하는데 사용될 수 있는 미세유체 디바이스 (100) 및 시스템 (150) 의 예를 예시한다. 미세유체 디바이스 (100) 의 사시도는 미세유체 디바이스 (100) 안의 부분 뷰를 제공하도록 그 커버 (110) 의 부분 컷-어웨이를 갖고 도시된다. 미세유체 디바이스 (100) 는 일반적으로, 흐름 경로 (106) 를 포함하는 미세유체 회로 (120) 를 포함하고, 이 흐름 경로를 통해 유체 매질 (180) 이 흘러, 옵션으로 하나 이상의 마이크로-객체들 (미도시) 을 미세유체 회로 (120) 안으로 및/또는 미세유체 회로 (120) 를 통과하여 운반할 수 있다. 단일 미세유체 회로 (120) 가 도 1a 에 예시되지만, 적합한 미세유체 디바이스들은 복수 (예를 들어, 2 또는 3) 의 이러한 미세유체 회로들을 포함할 수 있다. 그것과는 관계없이, 미세유체 디바이스 (100) 는 나노유체 디바이스이도록 구성될 수 있다. 도 1a 에 예시된 바와 같이, 미세유체 회로 (120) 는 복수의 미세유체 격리 펜들 (124, 126, 128, 및 130) 을 포함할 수도 있고, 여기서 각각의 격리 펜들은 유동 경로 (106) 와 유체 연통하는 하나 이상의 개구들을 가질 수도 있다. 도 1a 의 디바이스의 일부 실시형태들에서, 격리 펜들은 유동 경로 (106) 와 유체 연통하는 단지 단일의 개구만을 가질 수도 있다. 이하에 추가로 논의된 바와 같이, 미세유체 격리 펜들은, 매질 (180) 이 흐름 경로 (106) 를 통하여 흐르고 있더라도, 미세유체 디바이스 (100) 와 같은 미세유체 디바이스에 마이크로-객체들을 유지하기 위해 최적화된 다양한 피처들 및 구조들을 포함한다. 그러나, 전술한 것으로 돌아가기 전에, 미세유체 디바이스 (100) 및 시스템 (150) 의 간단한 설명이 제공된다.
일반적으로 도 1a 에 예시된 바와 같이, 미세유체 회로 (120) 는 인클로저 (102) 에 의해 정의된다. 인클로저 (102) 는 상이한 구성들로 물리적으로 구조화될 수 있지만, 도 1a 에 도시된 예에서 인클로저 (102) 는 지지 구조 (104)(예를 들어, 베이스), 마이크로유체 회로 구조 (108), 및 커버 (110) 를 포함하는 것으로 도시된다. 지지 구조 (104), 마이크로유체 회로 구조 (108), 및 커버 (110) 는 서로 부착될 수 있다. 예를 들어, 마이크로유체 회로 구조 (108) 는 지지 구조 (104) 의 내측 면 (109) 상에 배치될 수 있고, 커버 (110) 는 마이크로유체 회로 구조 (108) 위에 배치될 수 있다. 지지 구조 (104) 및 커버 (110) 와 함께, 마이크로유체 회로 구조 (108) 는 마이크로유체 회로 (120) 의 엘리먼트들을 정의할 수 있다.
지지 구조 (104) 는 도 1a 에 예시된 바와 같이 마이크로유체 회로 (120) 의 하단에 있고 커버 (110) 는 상단에 있을 수 있다. 대안으로, 지지 구조 (104) 및 커버 (110) 는 다른 배향들에서 구성될 수 있다. 예를 들어, 지지 구조 (104) 는 마이크로유체 회로 (120) 의 상단에 있을 수 있고 커버 (110) 는 하단에 있을 수 있다. 관계없이, 인클로저 (102) 안 또는 밖으로의 통로를 각각 포함하는 하나 이상의 포트들 (107) 이 존재할 수 있다. 통로의 예들은 밸브, 게이트, 관통 홀 (pass-through hole) 등을 포함한다. 예시된 바와 같이, 포트 (107) 는 마이크로유체 회로 구조 (108) 에서 갭에 의해 생성된 관통 홀이다. 그러나, 포트 (107) 는 커버 (110) 와 같은, 인클로저 (102) 의 다른 컴포넌트들에 놓일 수 있다. 단지 하나의 포트 (107) 가 도 1a 에 예시되지만, 마이크로유체 회로 (120) 는 2 이상의 포트들 (107) 을 가질 수 있다. 예를 들어, 미세유체 회로 (120) 에 들어가는 유체에 대한 인렛으로서 기능하는 제 1 포트 (107) 가 존재할 수 있고, 미세유체 회로 (120) 에서 나가는 유체에 대한 아웃렛으로서 기능하는 제 2 포트 (107) 가 존재할 수 있다. 포트 (107) 가 인렛으로서 기능하는지 또는 아웃렛으로서 기능하는지는 유체가 흐름 경로 (106) 를 통해 흐르는 방향에 의존할 수 있다.
지지 구조 (104) 는 하나 이상의 전극들 (미도시) 및 기판 또는 복수의 상호연결된 기판들을 포함할 수 있다. 예를 들어, 지지 구조 (104) 는 하나 이상의 반도체 기판들을 포함할 수 있고, 이 기판들 각각은 전극에 전기적으로 연결된다 (예를 들어, 반도체 기판들의 전부 또는 서브세트는 단일 전극에 전기적으로 연결될 수 있다). 지지 구조 (104) 는 인쇄 회로 기판 어셈블리 ("PCBA") 를 더 포함할 수 있다. 예를 들어, 반도체 기판(들) 은 PCBA 상에 장착될 수 있다.
마이크로유체 회로 구조 (108) 는 마이크로유체 회로 (120) 의 회로 엘리먼트들을 정의할 수 있다. 이러한 회로 엘리먼트들은, 미세유체 회로 (120) 가 유체로 채워질 때 유체 상호연결될 수 있는 공간들 또는 영역들, 이를 테면 (하나 이상의 흐름 채널들을 포함하거나 또는 하나 이상의 흐름 채널들일 수도 있는) 흐름 영역들, 챔버들, 펜들, 트랩들 등을 포함할 수 있다. 도 1a 에 예시된 미세유체 회로 (120) 에서, 미세유체 회로 구조 (108) 는 프레임 (114) 및 미세유체 회로 재료 (116) 를 포함한다. 프레임 (114) 은 미세유체 회로 재료 (116) 를 부분적으로 또는 완전히 인클로징할 수 있다. 프레임 (114) 은, 예를 들어 미세유체 회로 재료 (116) 를 실질적으로 에워싸는 상대적으로 강성 구조일 수 있다. 예를 들어, 프레임 (114) 은 금속 재료를 포함할 수 있다.
마이크로유체 회로 재료 (116) 는 마이크로유체 회로 (120) 의 상호접속들 및 회로 엘리먼트들을 정의하도록 캐비티들 등으로 패터닝될 수 있다. 마이크로유체 회로 재료 (116) 는, 기체 투과성일 수 있는 유연성 재료, 예컨대 유연성 폴리머 (예를 들어, 고무, 플라스틱, 엘라스토머, 실리콘, 폴리디메틸실록산 ("PDMS"), 등) 을 포함할 수 있다. 마이크로유체 회로 재료 (116) 를 구성할 수 있는 재료들의 다른 예들은 몰딩된 유리, 실리콘 (예를 들어, 포토-패턴 가능 실리콘 또는 "PPS") 과 같은 식각 가능 재료, 포토-레지스트 (예를 들어, SU8) 등을 포함한다. 일부 실시형태들에서, 이러한 재료들 - 및 이에 따른 마이크로유체 회로 재료 (116) - 은 강성 및/또는 실질적으로 기체에 대해 불투과성일 수 있다. 관계없이, 마이크로유체 회로 재료 (116) 는 지지 구조 (104) 상에 그리고 프레임 (114) 안에 배치될 수 있다.
커버 (110) 는 마이크로유체 회로 재료 (116) 및/또는 프레임 (114) 의 일체형 부품일 수 있다. 대안으로, 커버 (110) 는 도 1a 에 예시된 바와 같이 구조적으로 별개의 엘리먼트일 수 있다. 커버 (110) 는 마이크로유체 회로 재료 (116) 및/또는 프레임 (114) 과 동일한 또는 상이한 재료들을 포함할 수 있다. 유사하게, 지지 구조 (104) 는 예시된 바와 같이 프레임 (114) 또는 마이크로유체 회로 재료 (116) 로부터 별개의 구조이거나, 또는 프레임 (114) 또는 마이크로유체 회로 재료 (116) 의 일체형 부품일 수 있다. 마찬가지로, 프레임 (114) 및 마이크로유체 회로 재료 (116) 는 도 1a 에 도시된 바와 같이 별개의 구조들이거나 또는 동일한 구조의 일체형 부분들일 수 있다.
일부 실시형태들에서, 커버 (110) 는 강성 재료를 포함할 수 있다. 강성 재료는 유리 또는 유사한 특성들을 갖는 재료일 수도 있다. 일부 실시형태들에서, 커버 (110) 는 변형가능한 재료를 포함할 수 있다. 변형가능한 재료는 폴리머, 이를 테면 PDMS 일 수 있다. 일부 실시형태들에서, 커버 (110) 는 강성 및 변형가능한 재료들 양자 모두를 포함할 수 있다. 예를 들어, 커버 (110) 의 하나 이상의 부분들 (예를 들어, 격리 펜들 (124, 126, 128, 130) 위에 포지셔닝된 하나 이상의 부분들) 은 커버 (110) 의 강성 재료들과 인터페이스하는 변형가능한 재료를 포함할 수 있다. 일부 실시형태들에서, 커버 (110) 는 하나 이상의 전극들을 더 포함할 수 있다. 하나 이상의 전극들은 유리 또는 유사한 절연 재료 상에 코팅될 수도 있는, 전도성 산화물, 예컨대 인듐-틴-옥사이드 (ITO) 를 포함할 수 있다. 대안적으로, 하나 이상의 전극들은, 변형가능한 재료, 이를 테면 폴리머 (예를 들어, PDMS) 에 임베딩된, 가요성 전극들, 이를 테면 단일-벽 나노튜브들, 멀티-벽 나노튜브들, 나노와이어들, 전기 전도성 나노입자들의 클러스터들, 또는 이들의 조합들일 수 있다. 미세유체 디바이스들에서 사용될 수 있는 가요성 전극들은, 예를 들어, 미국 2012/0325665 (Chiou 등) 에 기재되어 있고, 그 내용들은 참조로 본 명세서에 통합된다. 일부 실시형태들에서, 커버 (110) 는 세포 부착, 생존능력 및/또는 성장을 지원하도록 (예를 들어, 미세유체 회로 (120) 를 향해 내측으로 대면하는 표면의 전부 또는 일부를 컨디셔닝함으로써) 변경될 수 있다. 이 변경은 합성 또는 천연 폴리머의 코팅을 포함할 수도 있다. 일부 실시형태에서, 커버 (110) 및/또는지지 구조체 (104) 는 광에 대해 투명할 수 있다. 커버 (110) 는 또한 기체 투과성인 적어도 하나의 재료 (예를 들어, PDMS 또는 PPS) 를 포함할 수도 있다.
도 1a 는 또한, 미세유체 디바이스들, 이를 테면 미세유체 디바이스 (100) 를 동작 및 제어하기 위한 시스템 (150) 을 도시한다. 시스템 (150) 은 전기 전원 (192), 이미징 디바이스 (이미징 모듈 (164) 내에 통합된, 여기서 이미징 디바이스는 도 1a 자체에는 도시되지 않음), 및 틸팅 디바이스 (190) (틸팅 모듈 (166) 의 부분, 여기서 틸팅 디바이스는 도 1a 에 도시되지 않음) 를 포함한다.
전원 (192) 은, 미세유체 디바이스 (100) 및/또는 틸팅 디바이스 (190) 에 전력을 제공하여, 필요에 따라 바이어싱 전압들 또는 전류들을 제공할 수 있다. 전원 (192) 은, 예를 들어, 하나 이상의 교류 (AC) 및/또는 직류 (DC) 전압 또는 전류 소스들을 포함할 수 있다. 이미징 디바이스 (194) (이하에 논의되는 이미징 모듈 (164) 의 일부) 는 미세유체 회로 (120) 내측의 이미지들을 캡처하기 위한 디바이스, 이를 테면 디지털 카메라를 포함할 수 있다. 일부 인스턴스들에서, 이미징 디바이스는 (194) 는 (예를 들어, 낮은 광 애플리케이션들에 대해) 빠른 프레임 레이트 및/또는 고 감도를 갖는 검출기를 더 포함한다. 이미징 디바이스 (194) 는 또한, 시뮬레이팅 방사선 및/또는 광 빔들을 미세유체 회로 (120) 로 지향시키고 미세유체 회로 (120) (또는 그 안에 포함된 마이크로-객체들) 로부터 반사 또는 방사된 방사선 및/또는 광 빔들을 수집하기 위한 메커니즘을 포함할 수 있다. 방사된 광 빔들은 가시 스펙트럼에 있을 수도 있고, 예를 들어, 형광 방출들을 포함할 수도 있다. 반사된 광 빔들은 LED 또는 광역 스펙트럼 램프, 이를 테면 수은 램프 (예를 들어, 고 압력 수은 램프) 또는 크세논 아크 램프에서 비롯되는 반사된 방출들을 포함할 수도 있다. 도 3b 에 대하여 논의된 바와 같이, 이미징 디바이스 (194) 는 아이피스를 포함하거나 포함하지 않을 수도 있는 현미경 (또는 광학 트레인) 을 더 포함할 수도 있다.
시스템 (150) 은 하나 이상의 회전 축들을 중심으로 마이크로유체 디바이스 (100) 를 회전시키도록 구성된 틸팅 디바이스 (190) (이하에 논의되는 틸팅 모듈 (166) 의 부분) 를 더 포함한다. 일부 실시형태들에서, 틸팅 디바이스 (190) 는, 마이크로유체 디바이스 (100)(및 이에 따른 마이크로유체 회로 (120)) 가 레벨 배향 (즉, x 및 y 축에 대해 0°), 수직 배향 (즉, x 축 및/또는 y 축에 대해 90°), 또는 그 사이의 임의의 배향에서 홀딩될 수 있도록 적어도 하나의 축을 중심으로 마이크로유체 회로 (120) 를 포함하는 인클로저 (102) 를 지지 및/또는 홀딩하도록 구성된다. 축에 대한 마이크로유체 디바이스 (100)(및 마이크로유체 회로 (120)) 의 배향은 마이크로유체 디바이스 (100)(및 마이크로유체 회로 (120)) 의 "틸트" 로서 본원에서 지칭된다. 예를 들어, 틸팅 디바이스 (190) 는 미세유체 디바이스 (100) 를 x 축에 대하여 0.1°, 0.2°, 0.3°, 0.4°, 0.5°, 0.6°, 0.7°, 0.8°, 0.9°, 1°, 2°, 3°, 4°, 5°, 10°, 15°, 20°, 25°, 30°, 35°, 40°, 45°, 50°, 55°, 60°, 65°, 70°, 75°, 80°, 90° 또는 그 사이의 임의의 각도로 틸팅할 수 있다. 레벨 배향 (및 따라서 x- 및 y-축들) 은 중력에 의해 정의된 수직 축에 대한 법선으로서 정의된다. 틸팅 디바이스는 또한 x-축 및/또는 y-축에 대해 90°초과의 임의의 각도로 미세유체 디바이스 (100) (및 미세유체 회로 (120)) 를 틸팅하거나, 또는 x-축 또는 y-축에 대해 180°로 미세유체 디바이스 (100) (및 미세유체 회로 (120)) 를 틸팅하여 미세유체 디바이스 (100) (및 미세유체 회로 (120)) 를 완전히 뒤집을 수 있다. 유사하게, 일부 실시형태에서, 틸팅 디바이스 (190) 는 흐름 경로 (106) 또는 미세유체 회로 (120) 의 일부 다른 부분에 의해 정의된 회전 축을 중심으로 미세유체 디바이스 (100) (및 미세유체 회로 (120)) 를 틸팅한다.
일부 인스턴스들에서, 미세유체 디바이스 (100) 는 흐름 경로 (106) 가 하나 이상의 격리 펜들 상방 또는 하방에 포지셔닝되도록 수직 배향으로 틸팅된다. 본 명세서에서 사용된 바와 같은 용어 "상방 (above)" 은 흐름 경로 (106) 가 중력에 의해 정의된 수직 축 상에 하나 이상의 격리 펜들보다 더 높게 포지셔닝된다 (즉, 흐름 경로 (106) 상방의 격리 펜에서의 객체는 흐름 경로에서의 객체보다 더 높은 중력 위치 에너지를 가질 것이다) 는 것을 나타낸다. 본 명세서에서 사용된 바와 같은 용어 "하방 (below)" 은 흐름 경로 (106) 가 중력에 의해 정의된 수직 축 상에 하나 이상의 격리 펜들보다 더 낮게 포지셔닝된다 (즉, 흐름 경로 (106) 하방의 격리 펜에서의 객체는 흐름 경로에서의 객체보다 더 낮은 중력 위치 에너지를 가질 것이다) 는 것을 나타낸다.
일부 인스턴스들에서, 틸팅 디바이스 (190) 는 흐름 경로 (106) 에 평행한 축을 중심으로 미세유체 디바이스 (100) 를 틸팅한다. 또한, 마이크로유체 디바이스 (100) 는 유로 (106) 가 격리 펜의 바로 위 또는 아래에 위치하지 않고 하나 이상의 격리 펜의 위 또는 아래에 위치하도록 90 ° 미만의 각도로 기울어 질 수 있다. 다른 인스턴스들에서, 틸팅 디바이스 (190) 는 흐름 경로 (106) 에 수직인 축을 중심으로 미세유체 디바이스 (100) 를 틸팅한다. 또 다른 인스턴스들에서, 틸팅 디바이스 (190) 는 흐름 경로 (106) 에 평행하지도 수직이지도 않은 축을 중심으로 미세유체 디바이스 (100) 를 틸팅한다.
시스템 (150) 은 매질 소스 (178) 를 더 포함할 수 있다. 매질 소스 (178) (예를 들어, 컨테이너, 저장소 등) 는, 상이한 유체 매질 (180) 을 각각 보유하기 위한, 다수의 섹션들 또는 컨테이너들을 포함할 수 있다. 따라서, 매질 소스 (178) 는 도 1a 에 예시된 바와 같이, 미세유체 디바이스 (100) 밖에 있고 그와는 별개인 디바이스일 수 있다. 대안으로, 배지 공급원 (178) 은 마이크로유체 디바이스 (100) 의 인클로저 (102) 내에 전체적으로 또는 부분적으로 위치될 수 있다. 예를 들어, 배지 공급원 (178) 은 마이크로유체 디바이스 (100) 의 부분인 저장고들을 포함할 수 있다.
도 1a 는 또한, 시스템 (150) 의 부분을 구성하고 마이크로유체 디바이스 (100) 와 함께 이용될 수 있는 제어 및 모니터링 장비 (152) 의 예들의 단순화된 블록도 도시들을 예시한다. 도시된 바와 같이, 이러한 제어 및 모니터링 장비(152)의 예들은 매질 소스(178)를 제어하기 위한 매질 모듈(160), 미세유체 회로(120) 내의 마이크로-객체들(미도시) 및/또는 매질(예컨대, 매질의 액적들)의 이동 및/또는 선택을 제어하기 위한 동기 모듈(162), 이미지들(예컨대, 디지털 이미지들)을 캡처하는 이미징 디바이스(194)(예컨대, 카메라, 현미경, 광원 또는 이들의 임의의 조합)를 제어하기 위한 이미징 모듈(164), 및 틸팅 디바이스(190)를 제어하기 위한 틸팅 모듈(166)을 포함하는 마스터 제어기(154)를 포함한다. 제어 장비(152)는 미세유체 디바이스(100)에 대하여 제어, 모니터링, 또는 다른 기능들을 수행하기 위한 다른 모듈들(168)을 또한 포함할 수 있다. 도시된 바와 같이, 장비(152)는 디스플레이 디바이스(170) 및 입/출력 디바이스(172)를 더 포함할 수 있다.
마스터 제어기(154)는 제어 모듈(156) 및 디지털 메모리(158)를 포함할 수 있다. 제어 모듈 (156) 은, 예를 들어 메모리 (158) 내에 비-일시적 데이터 또는 신호들로서 저장된 머신 실행가능 명령들 (예를 들어, 소프트웨어, 펌웨어, 소스 코드, 등) 에 따라 동작하도록 구성된 디지털 프로세서를 포함할 수 있다. 대안으로, 또는 추가적으로, 제어 모듈 (156) 은 하드웨어 디지털 회로부 및/또는 아날로그 회로부를 포함할 수 있다. 배지 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및/또는 다른 모듈들 (168) 은 유사하게 구성될 수 있다. 따라서, 마이크로유체 디바이스 (100) 또는 임의의 다른 마이크로유체 장치에 대하여 수행되는 것으로서 본원에 설명된 기능들, 프로세스들, 액트들, 액션들, 또는 프로세스의 단계들은 위에서 논의된 바와 같이 구성된 마스터 제어기 (154), 배지 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및/또는 다른 모듈들 (168) 중 임의의 하나 이상에 의해 수행될 수 있다. 유사하게, 마스터 제어기 (154), 배지 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및/또는 다른 모듈들 (168) 은 본원에 논의된 임의의 기능, 프로세스, 액트, 액션 또는 단계에서 사용된 데이터를 송신 및 수신하도록 통신 가능하게 커플링될 수도 있다.
배지 모듈 (160) 은 배지 공급원 (178) 을 제어한다. 예를 들어, 배지 모듈 (160) 은 선택된 유체 배지 (180) 를 (예를 들어, 인렛 포트 (107) 를 통해) 인클로저 (102) 안으로 입력하도록 배지 공급원 (178) 을 제어할 수 있다. 또한, 배지 모듈 (160) 은 (예를 들어, 아웃렛 포트 (미도시) 를 통해) 인클로저 (102) 로부터 배지의 제거를 제어할 수 있다. 따라서, 하나 이상의 배지는 선택적으로 마이크로유체 회로 (120) 안으로 입력되고 이로부터 제거될 수 있다. 또한, 배지 모듈 (160) 은 마이크로유체 회로 (120) 내의 흐름 경로 (106) 에서의 유체 배지 (180) 의 흐름을 제어할 수 있다. 예를 들어, 일부 실시형태들에서 매질 모듈(160)은 틸팅 모듈(166)이 틸팅 디바이스(190)로 하여금 원하는 각도의 기울기로 미세유체 디바이스(100)를 틸팅하게 하기 전에 인클로저(102)를 통해 그리고 흐름 경로(106)에서의 매질(180)의 흐름을 정지시킨다.
동기 모듈(162)은 미세유체 회로(120)에서 마이크로-객체들(미도시)의 선택, 트랩핑, 및 이동을 제어하도록 구성될 수 있다. 도 1b 및 도 1c 를 참조하여 이하에 논의된 바와 같이, 인클로저 (102) 는 유전영동 (DEP), 광전자 트위저들 (OET) 및/또는 광-전기습윤 (OEW) 구성 (도 1a 에 미도시) 을 포함할 수 있고, 동기 모듈 (162) 은 흐름 경로 (106) 및/또는 격리 펜들 (124, 126, 128, 130) 에서 배지 (미도시)의 액적 (droplet) 들 및/또는 마이크로-객체들 (미도시) 을 선택 및 이동시키도록 전극들 및/또는 트랜지스터들 (예를 들어, 포토트랜지스터들) 의 활성화를 제어할 수 있다.
이미징 모듈 (164) 은 이미징 디바이스 (194) 를 제어할 수 있다. 예를 들어, 이미징 모듈 (164) 은 이미징 디바이스 (194) 로부터 이미지 데이터를 수신 및 프로세싱할 수 있다. 이미징 디바이스 (194) 로부터의 이미지 데이터는 이미징 디바이스 (194) 에 의해 캡처된 임의의 타입의 정보 (예를 들어, 마이크로-객체들의 존재 또는 부재, 매질의 액적들, 라벨, 이를 테면 형광 라벨의 축적 등) 를 포함할 수 있다. 이미징 디바이스 (194) 에 의해 캡처된 정보를 사용하여, 이미징 모듈 (164) 은 객체들 (예를 들어, 마이크로-객체들, 매질의 액적들) 의 포지션 및/또는 미세유체 디바이스 (100) 내에서의 이러한 객체들의 모션의 레이트를 추가로 계산할 수 있다.
틸팅 모듈 (166) 은 틸팅 디바이스 (190) 의 틸팅 모션들을 제어할 수 있다. 대안적으로 또는 추가적으로, 틸팅 모듈 (166) 은 틸팅 속도 및 타이밍을 제어하여, 중력들을 통해 하나 이상의 격리 펜들로의 마이크로-객체들의 트랜스퍼를 최적화할 수 있다. 틸팅 모듈 (166) 은 마이크로유체 회로 (120) 에서 배지의 액적들 및/또는 마이크로-객체들의 모션을 설명하는 데이터를 수신하도록 이미징 모듈 (164) 과 통신 가능하게 커플링된다. 이 데이터를 사용하여, 틸팅 모듈 (166) 은, 마이크로-객체들 및/또는 배지의 액적들이 마이크로유체 회로 (120) 에서 이동하는 속도를 조정하기 위해 마이크로유체 회로 (120) 의 틸트를 조정할 수도 있다. 틸팅 모듈 (166) 은 또한, 이 데이터를 사용하여 마이크로유체 회로 (120) 에서 마이크로-객체 및/또는 배지의 액적의 포지션을 반복적으로 조정할 수도 있다.
도 1a 에 도시된 예들에서, 마이크로유체 회로 (120) 는 마이크로유체 채널 (122) 및 격리 펜들 (124, 126, 128, 130) 을 포함하는 것으로서 예시된다. 각각의 펜은 채널(122)에 대한 개구부를 포함하지만, 다르게는 펜들이 펜 내부의 마이크로-객체들을 채널(122)의 흐름 경로(106) 내 또는 다른 펜들 내의 마이크로-객체들 및/또는 유체 매질(180)로부터 실질적으로 격리할 수 있도록 인클로징된다. 격리 펜의 벽들은 베이스의 내부 표면 (109) 으로부터 커버 (110) 의 내측 표면까지 연장되어 인클로저를 제공한다. 미세유체 채널 (122) 로의 펜의 개구부는 유동 (106) 이 펜들로 지향되지 않도록, 유체 매질 (180) 의 유동 (106) 에 대한 각도로 배향된다. 그 흐름은 펜의 개구부의 평면에 접하거나 또는 직교할 수도 있다. 일부 인스턴스들에서, 펜들 (124, 126, 128, 130) 은 미세유체 회로 (120) 내에 하나 이상의 마이크로-객체들을 물리적으로 몰아넣도록 구성된다. 본 발명에 따른 격리 펜들은, 이하에서 상세히 논의 및 도시되는 바와 같이, DEP, OET, OEW, 유체 흐름, 및/또는 중력들과의 사용을 위해 최적화되는 다양한 형상들, 표면들 및 피처들을 포함할 수 있다.
미세유체 회로 (120) 는 임의의 수의 미세유체 격리 펜들을 포함할 수도 있다. 5 개의 격리 펜들이 도시되어 있지만, 미세유체 회로 (120) 는 더 적거나 또는 더 많은 격리 펜들을 가질 수도 있다. 도시된 바와 같이, 미세유체 회로 (120) 의 미세유체 격리 펜들 (124, 126, 128, 및 130) 은 각각 생리학적 마이크로-객체를 유지, 고립, 검증 또는 배양하는데 있어서 유용한 하나 이상의 이익들을 제공할 수도 있는 상이한 특징들 및 형상들을 포함한다. 일부 실시형태들에서, 미세유체 회로 (120) 는 복수의 동일한 미세유체 격리 펜들을 포함한다.
도 1a 에 예시된 실시형태에서, 단일 채널 (122) 및 흐름 경로 (106) 가 도시된다. 그러나, 다른 실시형태들은 다수의 채널들 (122) 을 포함할 수도 있고, 채널들 각각은 흐름 경로 (106) 를 포함하도록 구성된다. 마이크로유체 회로 (120) 는 흐름 경로 (106) 및 유체 배지 (180) 와 유체 연통하는 인렛 밸브 또는 포트 (107) 를 더 포함하고, 이로써 유체 배지 (180) 는 인렛 포트 (107) 를 통해 채널 (122) 에 접근할 수 있다. 일부 인스턴스들에서, 흐름 경로 (106) 는 단일 경로를 포함한다. 일부 인스턴스들에서, 그 단일 경로는 지그재그 패턴으로 배열되고, 그것에 의하여 흐름 경로 (106) 는 교번하는 방향들로 2 회 이상 미세유체 디바이스 (100) 를 가로질러 이동한다.
일부 인스턴스들에서, 미세유체 회로 (120) 는 복수의 병렬 채널들 (122) 및 흐름 경로들 (106) 을 포함하며, 각각의 흐름 경로 (106) 내의 유체 매질 (180) 은 동일한 방향으로 흐른다. 일부 인스턴스들에서, 각각의 흐름 경로 (106) 내의 유체 매질은 순방향 또는 역방향 중 적어도 하나의 방향으로 흐른다. 일부 경우들에서, 복수의 격리 펜들은, 격리 펜들이 타겟 마이크로-객체들과 병렬로 로딩될 수 있도록 (예를 들어, 채널 (122) 에 대해) 구성된다.
일부 실시형태들에서, 마이크로유체 회로 (120) 는 하나 이상의 마이크로-객체 트랩들 (132) 을 더 포함한다. 트랩들 (132) 은 일반적으로, 채널 (122) 의 경계를 형성하는 벽에 형성되고, 마이크로유체 격리 펜들 (124, 126, 128, 130) 중 하나 이상의 개구 반대편에 위치될 수도 있다. 일부 실시형태들에서, 트랩들 (132) 은 흐름 경로 (106) 로부터 단일의 마이크로-객체를 수신 또는 캡처하도록 구성된다. 일부 실시형태들에서, 트랩들 (132) 은 흐름 경로 (106) 로부터 복수의 마이크로-객체들을 수신 또는 캡처하도록 구성된다. 일부 경우들에서, 트랩들 (132) 은 단일의 타겟 마이크로-객체의 체적과 거의 동일한 체적을 포함한다.
트랩들 (132) 은 타겟이 되는 마이크로-객체들의 트랩들 (132) 안으로의 흐름을 돕도록 구성되는 개구를 더 포함할 수도 있다. 일부 경우들에서, 트랩들 (132) 은 단일의 타겟 마이크로-객체의 치수들과 대략 동일한 높이 및 폭을 갖는 개구를 포함하고, 이에 의해 더 큰 마이크로-객체들이 마이크로-객체 트랩 안으로 진입하는 것이 방지된다. 트랩들 (132) 은 트랩 (132) 내에 타겟이되는 마이크로-객체들의 보유를 돕도록 구성된 다른 피처들을 더 포함할 수도 있다. 일부 경우들에서, 트랩 (132) 은, 채널 (122) 에 평행한 축을 중심으로 마이크로유체 디바이스 (100) 를 틸팅할 때, 트랩된 마이크로-객체가, 마이크로-객체로 하여금 격리 펜의 개구 안으로 들어가게 하는 궤적에서 트랩 (132) 을 나가도록, 마이크로유체 격리 펜의 개구에 대해 채널 (122) 의 반대 측에 놓이고 이와 정렬된다. 일부 인스턴스들에서, 트랩 (132) 은, 트랩 (132) 을 통한 흐름을 용이하게 하고 그것에 의하여 트랩 (132) 에서의 마이크로-객체를 캡처할 가능성을 증가시키기 위하여 타겟 마이크로-객체보다 더 작은 사이드 통로 (134) 를 포함한다.
일부 실시형태들에서, 유전영동 (DEP) 힘들이 하나 이상의 전극들 (미도시) 을 통해 (예를 들어, 흐름 경로에서 및/또는 격리 펜들에서) 유체 매질 (180) 을 가로질러 인가되어 그 안에 위치된 마이크로-객체들을 조작, 이송, 분리 및 소팅한다. 예를 들어, 일부 실시형태들에서, 단일 마이크로-객체를 흐름 경로 (106) 로부터 원하는 미세유체 격리 펜 안으로 트랜스퍼하기 위하여 미세유체 회로 (120) 의 하나 이상의 부분들에 DEP 힘들이 인가된다. 일부 실시형태들에서, DEP 힘들은 격리 펜 (예를 들어, 격리 펜 (124, 126, 128, 또는 130)) 내의 마이크로-객체가 변위되는 것을 방지하는데 사용된다. 또한, 일부 실시형태들에서, DEP 힘들은 본 개시의 실시형태들에 따라 이전에 수집되었던 마이크로-객체를 격리 펜으로부터 선택적으로 제거하는데 사용된다. 일부 실시형태들에서, DEP 힘들은 광전자 트위저 (OET) 힘들을 포함한다.
다른 실시형태들에서, 광전기습윤 (OEW) 힘들은 미세유체 회로 (120) 내에 위치된 액적들을 조작, 이송, 분리 및 소팅하기 위해 하나 이상의 전극들 (미도시) 을 통해 미세유체 디바이스 (100) 의 지지 구조 (104) (및/또는 커버 (110)) 에서의 하나 이상의 포지션들 (예를 들어, 흐름 경로 및/또는 격리 펜들을 정의하는 것을 돕는 포지션들) 에 인가된다. 예를 들어, 일부 실시형태들에서, OEW 힘들은 흐름 경로 (106) 로부터 원하는 미세유체 격리 펜 내로 단일 액적을 트랜스퍼하기 위하여 지지 구조 (104) (및/또는 커버 (110)) 에서의 하나 이상의 포지션들에 인가된다. 일부 실시형태들에서, OEW 힘들은 격리 펜 (예를 들어, 격리 펜 (124, 126, 128, 또는 130)) 내의 액적이 변위되는 것을 방지하는데 사용된다. 추가로, 일부 실시형태들에서, OEW 힘들은 현재 개시의 실시형태들에 따라 이전에 수집되었던 액적을 격리 펜으로부터 제거하기 위하여 이용된다.
일부 실시형태들에서, DEP 및/또는 OEW 힘들은 미세유체 회로 (120) 내의 액적들 및/또는 마이크로-객체들을 조작, 이송, 분리 및 소팅하도록, 다른 힘들, 이를 테면 흐름 및/또는 중력과 결합된다. 예를 들어, 인클로저 (102) 는 흐름 경로 (106) 및 그 안에 위치된 마이크로-객체들을 미세유체 격리 펜들 상방에 포지셔닝하도록 (예를 들어, 틸팅 디바이스 (190) 에 의해) 틸팅될 수 있고, 중력은 마이크로-객체들 및/또는 액적들을 펜들 안으로 이송할 수 있다. 일부 실시형태들에서, DEP 및/또는 OEW 힘들은 다른 힘들 이전에 인가될 수 있다. 다른 실시형태들에서, DEP 및/또는 OEW 힘들은 다른 힘들 이후에 인가될 수 있다. 또 다른 인스턴스들에서, DEP 및/또는 OEW 힘들은 다른 힘들과 동시에 또는 다른 힘들과 교번하는 방식으로 인가될 수 있다.
도 1b, 도 1c, 및 도 2a 내지 도 2h 는 본 개시의 실시형태들에서 이용될 수 있는 미세유체 디바이스들의 다양한 실시형태들을 예시한다. 도 1b 는 미세유체 디바이스 (200) 가 광학적으로 작동된 동전기적 디바이스로서 구성되는 실시형태를 묘사한다. 광전자 트위저 (OET) 구성을 갖는 디바이스들 및 광전기습윤 (OEW) 구성을 갖는 디바이스들을 포함하는 다양한 광학적으로 작동된 동전기적 디바이스들이 당업계에 알려져 있다. 적합한 OET 구성들의 예들은 각각이 전부 참조로 본 명세서에 통합되는, 다음의 미국 특허 문헌들에 예시된다: 미국 특허 번호 RE 44,711 (Wu 등) (US 특허 제 7,612,355 호로서 특허됨); 및 US 특허 제 7,956,339 호 (Ohta 등). OEW 구성들의 예들은 미국 특허 제 6,958,132(Chiou 등) 및 미국 특허 출원 공개 제2012/0024708호(Chiou 등)에 예시되어 있으며, 이들 둘 다는 전체가 참조로 본 명세서에 포함된다. 광학적으로 작동되는 동전기적 디바이스의 또 다른 예는 결합된 OET/OEW 구성을 포함하며, 이것의 예들은 미국 특허 공개 제 20150306598 호(Khandros 등) 및 제20150306599호(Khandros 등)와 그것들의 대응하는 PCT 공개들 WO2015/164846호 및 WO2015/164847호에서 보여지며, 이들 모두는 그 전체가 참조로 본 명세서에 포함된다.
생물학적 마이크로-객체들이 배치, 배양, 및/또는 모니터될 수 있는 펜들을 갖는 미세유체 디바이스들의 예들은 예를 들어 US 2014/0116881 (2013년 10월 22일자로 출원된 출원 번호 제 14/060,117 호), US 2015/0151298 (2014년 10월 22일자로 출원된 출원 번호 제 14/520,568 호), 및 US 2015/0165436 (2014년 10월 22일자로 출원된 출원 번호 제 14/521,447 호) 에 기재되어 있으며, 이들 각각은 그 전체가 참조에 의해 여기에 포함된다. 미국 출원 번호들 제 14/520,568 호 및 제 14/521,447 호는 또한 미세유체 디바이스에서 배양된 세포들의 분비물들을 분석하는 예시적인 방법들을 기술한다. 전술한 출원들의 각각은 광전자 트위저들 (OET) 과 같은 유전영동 (DEP) 힘들을 생성하도록 구성되거나 또는 광-전기습윤 (OEW) 을 제공하도록 구성된 미세유체 디바이스들을 추가로 기재하고 있다. 예를 들어, US 2014/0116881 의 도 2 에 도시된 광전 트위저 디바이스는 개개의 생물학적 마이크로-객체 또는 생물학적 마이크로-객체들의 그룹을 선택하고 이동시키기 위해 본 개시의 실시형태들에서 이용될 수 있는 디바이스의 예이다.
미세유체 디바이스 동기 구성들. 상기 설명된 바와 같이, 시스템의 제어 및 모니터링 장비는 미세유체 디바이스의 미세유체 회로에서, 마이크로-객체들 또는 액적들과 같은 객체들을 선택 및 이동시키기 위한 동기 모듈을 포함할 수 있다. 미세유체 디바이스는, 이동되고 있는 객체의 타입 및 다른 고려사항들에 의존하여, 다양한 동기 구성들을 가질 수 있다. 예를 들어, 유전영동 (DEP) 구성은 미세유체 회로에서 마이크로-객체들을 선택 및 이동시키기 위해 활용될 수 있다. 따라서, 미세유체 디바이스 (100) 의 지지 구조 (104) 및/또는 커버 (110) 는 미세유체 회로 (120) 에서 유체 매질 (180) 내의 마이크로-객체들 상에 DEP 힘들을 선택적으로 유도하기 위한 DEP 구성을 포함하고 그것에 의하여 개개의 마이크로-객체들 또는 마이크로-객체들의 그룹들을 선택, 캡처, 및/또는 이동시킬 수 있다. 대안적으로, 미세유체 디바이스 (100) 의 지지 구조 (104) 및/또는 커버 (110) 는 미세유체 회로 (120) 에서 유체 매질 (180) 내의 액적들 상에 EW 힘들을 선택적으로 유도하기 위한 전기습윤 (EW) 구성을 포함하고, 그것에 의하여 개개의 액적들 또는 액적들의 그룹들을 선택, 캡처, 및/또는 이동시킬 수 있다.
DEP 구성을 포함하는 미세유체 디바이스 (200) 의 하나의 예가 도 1b 및 도 1c 에 예시된다. 간단성의 목적으로, 도 1b 및 도 1c 는 영역/챔버 (202) 를 갖는 마이크로유체 디바이스 (200) 의 인클로저 (102) 의 부분의, 각각, 측단면도 및 평면 단면도를 도시하지만, 그 영역/챔버 (202) 는 성장 챔버, 격리 펜, 흐름 영역, 또는 흐름 채널과 같은 더 상세한 구조를 갖는 유체 회로 엘리먼트의 부분일 수도 있다는 것이 이해되어야 한다. 더욱이, 미세유체 디바이스 (200) 는 다른 유체 회로 엘리먼트들을 포함할 수도 있다. 예를 들어, 미세유체 디바이스 (200) 는, 미세유체 디바이스 (100) 에 대하여 본 명세서에서 설명된 것들과 같은 복수의 성장 챔버들 또는 격리 펜들 및/또는 하나 이상의 흐름 영역들 또는 흐름 채널들을 포함할 수 있다. DEP 구성은 미세유체 디바이스 (200) 의 임의의 이러한 유체 회로 엘리먼트들, 또는 그 선택 부분들에 통합될 수도 있다. 위 또는 아래에 설명된 미세유체 디바이스 컴포넌트들 및 시스템 컴포넌트들 중 임의의 것은 미세유체 디바이스 (200) 에 통합되고 및/또는 그와 결합하여 사용될 수도 있다는 것이 추가로 인식되어야 한다. 예를 들어, 상기 설명된 제어 및 모니터링 장비 (152) 를 포함하는 시스템 (150) 은, 매질 모듈 (160), 동기 모듈 (162), 이미징 모듈 (164), 틸팅 모듈 (166), 및 다른 모듈들 (168) 중 하나 이상을 포함하는 미세유체 디바이스 (200) 와 함께 사용될 수도 있다.
도 1b 에서 알 수 있는 바와 같이, 미세유체 디바이스 (200) 는 하단 전극 (204) 및 하단 전극 (204) 위에 있는 전극 활성화 기판 (206) 을 갖는 지지 구조 (104), 및 하단 전극 (204) 으로부터 이격된 상단 전극 (210) 을 갖는 커버 (110) 를 포함한다. 상단 전극 (210) 및 전극 활성화 기판 (206) 은 영역/챔버 (202) 의 대향 표면들을 정의한다. 영역/챔버 (202) 에 포함된 배지 (180) 는 따라서, 상단 전극 (210) 과 전극 활성화 기판 (206) 간의 저항성 접속을 제공한다. 하단 전극 (204) 및 상단 전극 (210) 에 접속되고 영역/챔버 (202) 에서 DEP 힘들의 생성에 필요한 바와 같은 전극들 간의 바이어싱 전압을 생성하도록 구성된 전원 (212) 이 또한 도시된다. 전원 (212) 은, 예를 들어 교류 (AC) 전원일 수 있다.
특정 실시형태들에서, 도 1b 및 도 1c 에 예시된 마이크로유체 디바이스 (200) 는 광학적으로-작동된 DEP 구성을 가질 수 있다. 따라서, 동기 모듈 (162) 에 의해 제어될 수도 있는 광원 (216) 으로부터의 광 (218) 의 패턴들을 변경하는 것은 전극 활성화 기판 (206) 의 내측 면 (208) 의 영역들 (214) 에서 DEP 전극들의 패턴들을 변경하는 것을 선택적으로 활성화 및 비활성화할 수 있다. (이하에서, DEP 구성을 갖는 마이크로유체 디바이스의 영역들 (214) 은 "DEP 전극 영역들" 로서 지칭된다). 도 1c 에 예시된 바와 같이, 전극 활성화 기판 (206) 의 내측 면 (208) 위로 지향된 광 패턴 (218) 은 정사각형과 같은 패턴으로 DEP 전극 영역들 (214a)(화이트로 도시됨) 을 선택적으로 조명할 수 있다. 비-조명된 DEP 전극 영역들 (214)(십자-해칭됨) 은 "어두운" DEP 전극 영역들 (214) 로서 이하에서 지칭된다. DEP 전극 활성화 기판 (206) 을 통한 (즉, 하부 전극 (204) 으로부터 흐름 영역 (106) 에서 배지 (180) 와 인터페이스하는 전극 활성화 기판 (206) 의 내측 면 (208) 까지의) 상대적인 전기적 임피던스는 각각의 어두운 DEP 전극 영역 (214) 에서 영역/챔버 (202) 내의 배지 (180) 를 통한 (즉, 전극 활성화 기판 (206) 의 내측 면 (208) 으로부터 커버 (110) 의 상단 전극 (210) 까지의) 상대적 전기적 임피던스보다 더 크다. 그러나, 조명된 DEP 전극 영역 (214a) 은, 각각의 조명된 DEP 전극 영역 (214a) 에서 영역/챔버 (202) 내의 배지 (180) 를 통한 상대적 임피던스보다 작은 전극 활성화 기판 (206) 을 통한 감소된 상대적 임피던스를 보인다.
전원 (212) 이 활성화됨에 따라, 상기 DEP 구성은 조명된 DEP 전극 영역들 (214a) 과 인접한 어두운 DEP 전극 영역들 (214) 사이의 유체 배지 (180) 에서 전계 구배를 생성하고, 이것은 이어서 유체 배지 (180) 에서 부근의 마이크로-객체들 (미도시) 을 끌어당기거나 밀어내는 로컬 DEP 힘들을 생성한다. 유체 배지 (180) 내의 마이크로-객체들을 끌어당기거나 밀어내는 DEP 전극들은 따라서, 광원 (216) 으로부터 마이크로유체 디바이스 (200) 로 프로젝팅된 광 패턴들 (218) 을 변경함으로써 영역/챔버 (202) 의 내측 면 (208) 에서 많은 상이한 이러한 DEP 전극 영역들 (214) 에서 선택적으로 활성화 및 비활성화될 수 있다. DEP 힘들이 부근의 마이크로-객체들을 끌어당기거나 밀어내는지 여부는, 배지 (180) 및/또는 마이크로-객체들 (미도시) 의 유전 특성들 및 전원 (212) 의 주파수와 같은 이러한 파라미터들에 의존할 수 있다.
도 1c 에 예시된 조명된 DEP 전극 영역들 (214a) 의 정사각형 패턴 (220) 은 단지 일 예이다. DEP 전극 영역들 (214) 의 임의의 패턴이 미세유체 디바이스 (200) 로 프로젝팅된 광의 패턴 (218) 에 의해 조명 (및 이에 의해 활성화) 될 수 있고, 조명된/활성화된 DEP 전극 영역들 (214) 의 패턴은 광 패턴 (218) 을 변경 또는 이동시킴으로써 반복적으로 변경될 수 있다.
일부 실시형태들에서, 전극 활성화 기판 (206) 은 광전도성 재료를 포함하거나 또는 이로 이루어질 수 있다. 이러한 실시형태들에서, 전극 활성화 기판 (206) 의 내부 표면 (208) 은 피처리스 (featurelss) 일 수 있다. 예를 들어, 전극 활성화 기판 (206) 은 수소화된 비정질 실리콘 (a-Si:H) 의 층을 포함하거나 또는 이로 이루어질 수 있다. a-Si:H 는, 예를 들어 약 8% 내지 40% 수소 (100 * 수소 원자들의 수 / 수소 및 실리콘 원자들의 총 수로서 계산됨) 를 포함할 수 있다. a-Si:H 의 층은 약 500 nm 내지 약 2.0 □m 의 두께를 가질 수 있다. 그러한 실시형태들에서, DEP 전극 영역들 (214) 은 광 패턴 (218) 에 따라 전극 활성화 기판 (206) 의 내부 표면 (208) 상에 임의의 장소에 그리고 임의의 패턴으로 생성될 수 있다. DEP 전극 영역들 (214) 의 수 및 패턴은 따라서 고정될 필요가 없고, 광 패턴 (218) 에 대응할 수 있다. 상술된 것과 같은 광도전층을 포함하는 DEP 구성을 갖는 미세유체 디바이스의 예들은 예를 들어 미국 특허 제 RE 44,711 호 (Wu et al.) (원래 미국 특허 제 7,612,355 호로 발행됨) 에 기술되었으며, 그것의 전체 내용은 참조에 의해 여기에 포함된다.
다른 실시형태들에서, 전극 활성화 기판 (206) 은 복수의 도핑된 층들, 전기 절연 층들 (또는 영역들), 및 반도체 분야들에서 알려진 바와 같은 반도체 집적 회로들을 형성하는 전기 전도성 층들을 포함하는 기판을 포함할 수 있다. 예를 들어, 전극 활성화 기판 (206) 은 예를 들어, 측방향 바이폴라 포토트랜지스터들을 포함하는 복수의 포토트랜지스터들을 포함할 수 있고, 각각의 포토트랜지스터는 DEP 전극 영역 (214) 에 대응한다. 대안으로, 전극 활성화 기판 (206) 은 포토레지스터 스위치들에 의해 제어된 전극들 (예를 들어, 전도성 금속 전극들) 을 포함할 수 있고, 각각의 이러한 전극은 DEP 전극 영역 (214) 에 대응한다. 전극 활성화 기판 (206) 은 이러한 포토레지스터들 또는 포토레지스터-제어된 전극들의 패턴을 포함할 수 있다. 패턴은, 예를 들어 도 2b 에 도시된 바와 같이 행들 및 열들로 배열된 실질적으로 정사각형의 포토레지스터들 또는 포토레지스터-제어된 전극들의 어레이일 수 있다. 대안으로, 패턴은 육각형 격자를 형성하는 실질적으로 육각의 포토레지스터들 또는 포토레지스터-제어된 전극들의 어레이일 수 있다. 패턴에 관계없이, 전기 회로 엘리먼트들은 하단 전극 (210) 과 전극 활성화 기판 (206) 의 내측 면 (208) 에서의 DEP 전극 영역들 (214) 간의 전기적 접속들을 형성할 수 있고, 이들 전기적 접속들 (즉, 포토레지스터들 또는 전극들) 은 광 패턴 (218) 에 의해 선택적으로 활성화 및 비활성화될 수 있다. 활성화되지 않은 경우, 각각의 전기적 접속은, 전극 활성화 기판 (206) 을 통한 (즉, 하단 전극 (204) 으로부터 영역/챔버 (202) 에서 배지 (180) 와 인터페이스하는 전극 활성화 기판 (206) 의 내측 면 (208) 까지의) 상대적 임피던스가 대응하는 DEP 전극 영역 (214) 에서 배지 (180) 를 통한 (즉, 전극 활성화 기판 (206) 의 내측 면 (208) 으로부터 커버 (110) 의 상단 전극 (210) 까지의) 상대적 임피던스보다 더 크도록 높은 임피던스를 가질 수 있다. 그러나 광 패턴 (218) 에서 광에 의해 활성화되는 경우, 전극 활성화 기판 (206) 을 통한 상대적 임피던스는 각각의 조명된 DEP 전극 영역 (214) 에서 배지 (180) 를 통한 상대적 임피던스보다 더 작고, 이에 의해 위에서 논의된 바와 같이 대응하는 DEP 전극 영역 (214) 에서 DEP 전극을 활성화시킨다. 따라서, 배지 (180) 내의 마이크로-객체들 (미도시) 을 끌어당기거나 밀어내는 DEP 전극들은 광 패턴 (218) 에 의해 결정된 방식으로 영역/챔버 (202) 의 전극 활성화 기판 (206) 의 내측 면 (208) 에서 많은 상이한 DEP 전극 영역들 (214) 에서 선택적으로 활성화 및 비활성화될 수 있다.
포토트랜지스터들을 포함하는 전극 활성화 기판들을 갖는 미세유체 디바이스들의 예들은, 예를 들어 미국 특허 제7,956,339 (Ohta 등) (예를 들어, 도 21 및 도 22 에 예시된 디바이스 (300), 및 그 설명들을 참조) 에 기재되어 있고, 그 전체 내용들은 참조로 본 명세서에 통합된다. 포토레지스터 스위치들에 의해 제어된 전극들을 포함하는 전극 활성화 기판들을 갖는 마이크로유체 디바이스들의 예들은, 예를 들어 미국 특허공개 제 2014/0124370 (Short 등) (예를 들어, 도면들 전체에 예시된 디바이스들 (200, 400, 500, 600, 및 900) 및 그 설명들을 참조) 에서 설명되어 있고, 그 전체 내용들은 참조로서 본원에 포함된다.
DEP 구성된 마이크로유체 디바이스의 일부 실시형태들에서, 상단 전극 (210) 은 인클로저 (102) 의 제 1 벽 (또는 커버 (110)) 의 부분이고, 전극 활성화 기판 (206) 및 하단 전극 (204) 은 인클로저 (102) 의 제 2 벽 (또는 지지 구조 (104)) 의 부분이다. 영역/챔버 (202) 는 제 1 벽과 제 2 벽 사이에 있을 수 있다. 다른 실시형태들에서, 전극 (210) 은 제 2 벽 (또는 지지 구조 (104)) 의 일부이고, 전극 활성화 기판 (206) 및/또는 전극 (210) 중 하나 또는 양자 모두는 제 1 벽 (또는 커버 (110)) 의 일부이다. 더욱이, 광원 (216) 은 대안적으로 아래로부터 인클로저 (102) 를 조명하는데 사용될 수 있다.
DEP 구성을 갖는 도 1b 및 도 1c 의 미세유체 디바이스 (200) 로, 동기 모듈 (162) 은, 마이크로-객체를 둘러싸고 캡처하는 패턴 (예를 들어, 정사각형 패턴 (220)) 에서 전극 활성화 기판 (206) 의 내측 면 (208) 의 DEP 전극 영역들 (214a) 에서 하나 이상의 DEP 전극들의 제 1 세트를 활성화시키도록 광 패턴 (218) 을 미세유체 디바이스 (200) 로 프로젝팅함으로써 영역/챔버 (202) 내의 배지 (180) 에서 마이크로-객체 (미도시) 를 선택할 수 있다. 동기 모듈 (162) 은 그 후, DEP 전극 영역들 (214) 에서 하나 이상의 DEP 전극들의 제 2 세트를 활성화시키도록 미세유체 디바이스 (200) 에 대해 광 패턴 (218) 을 이동시킴으로써 인 시츄 생성된 캡처된 마이크로-객체를 이동시킬 수 있다. 대안적으로, 미세유체 디바이스 (200) 는 광 패턴 (218) 에 대해 이동될 수 있다.
다른 실시형태들에서, 미세유체 디바이스(200)는 전극 활성화 기판(206)의 내부 표면(208)에서 DEP 전극들의 광 활성화에 의존하지 않는 DEP 구성을 가질 수 있다. 예를 들어, 전극 활성화 기판(206)은 적어도 하나의 전극을 포함하는 표면(예컨대, 커버(110))의 반대편에 위치된 선택적으로 어드레싱 가능 및 에너자이징 가능한 전극들을 포함할 수 있다. 스위치들 (예를 들어, 반도체 기판에서의 트랜지스터 스위치들) 은 DEP 전극 영역들 (214) 에서 DEP 전극들을 활성화 또는 비활성화시키도록 선택적으로 개방 및 폐쇄될 수도 있고, 이에 의해 활성화된 DEP 전극들 근처에서 영역/챔버 (202) 내의 마이크로-객체 (미도시) 상에 순 (net) DEP 힘을 생성한다. 영역/챔버 (202) 에서 마이크로-객체들 및/또는 배지 (미도시) 의 유전 특성들 및 전원 (212) 의 주파수와 같은 이러한 특징들에 따라, DEP 힘은 부근의 마이크로-객체를 끌어당기거나 밀어낼 수 있다. (예를 들어, 정사각형 패턴 (220) 을 형성하는 DEP 전극 영역들 (214) 의 세트에서) DEP 전극들의 세트를 선택적으로 활성화 및 비활성화시킴으로써, 영역/챔버 (202) 내의 하나 이상의 마이크로-객체들은 영역/챔버 (202) 내에서 트랩 및 이동될 수 있다. 도 1a 에서의 동기 모듈 (162) 은 이러한 스위치들을 제어하고, 따라서 영역/챔버 (202) 주변의 특정한 마이크로-객체들 (미도시) 을 선택, 트랩, 및 이동시키도록 DEP 전극들 중 개별의 전극들을 활성화 및 비활성화시킬 수 있다. 선택적으로 어드레싱 가능 및 에너자이징 가능한 전극들을 포함하는 DEP 구성을 갖는 미세유체 디바이스들은 당해 분야에서 알려져 있고, 예를 들어 미국특허 제6,294,063호(Becker 등) 및 제6,942,776호(Medoro)에서 설명되어 있고, 그 전체 내용들은 참조로 본 명세서에 포함된다.
또 다른 예로서, 미세유체 디바이스(200)는 전기습윤(EW) 구성을 가질 수 있으며, 이것은 DEP 구성 대신일 수 있거나 또는 DEP 구성을 갖는 부분으로부터 분리된 미세유체 디바이스(200)의 부분에 위치될 수 있다. EW 구성은 광-전기습윤 구성 또는 유전체 상 전기습윤(electrowetting on dielectric, EWOD)구성일 수도 있으며, 이들 둘 다는 본 기술분야에서 알려져 있다. 일부 EW 구성들에서, 지지 구조(104)는 유전체층(미도시)과 하부 전극(204) 사이에 샌드위치된 전극 활성화 기판(206)을 갖는다. 유전체 층은 이하에서 설명된 바와 같이, 소수성 재료 (hydrophobic material) 를 포함할 수 있고 및/또는 소수성 재료로 코팅될 수 있다. EW 구성을 갖는 미세유체 디바이스들(200)의 경우, 지지 구조(104)의 내부 표면(208)은 유전체층의 내부 표면 또는 그것의 소수성 코팅이다.
유전체층(미도시)은 하나 이상의 산화물 층들을 포함할 수 있고, 약 50 nm 내지 약 250 nm(예컨대, 약 125 nm 내지 약 175 nm)의 두께를 가질 수 있다. 특정 실시형태들에서, 유전체층은 금속 산화물 (예를 들어, 알루미늄 산화물 또는 하프늄 산화물) 과 같은 산화물의 층을 포함할 수도 있다. 특정 실시형태들에서, 유전체층은 실리콘 산화물 또는 질화물과 같은, 금속 산화물 이외의 유전체 재료를 포함할 수 있다. 정확한 조성 및 두께에 관계 없이, 유전체층은 약 10 kOhms 내지 약 50 kOhms 의 임피던스를 가질 수 있다.
일부 실시형태들에서, 영역/채널 (202) 를 향해 내부로 마주하는 유전체층의 표면은 소수성 재료로 코팅된다. 소수성 재료는 예를 들어 플루오리네이티드 카본 분자들을 포함할 수 있다. 플루오리네이티드 카본 분자들의 예들은 폴리테트라플루오로에틸렌(예컨대, TEFLON®) 또는 폴리(2,3-디플루오로메틸렌일-퍼플루오로테트라하이드로퓨란)(예컨대, CYTOPTM)과 같은 퍼플루오로-폴리머들을 포함한다. 소수성 재료를 구성하는 분자들은 유전체층의 표면에 공유결합될 수 있다. 예를 들어, 소수성 재료의 분자들은 실록산 기, 포스포닉 애시드 기, 또는 티올 기와 같은 연결자에 의해 유전체층의 표면에 공유결합될 수 있다. 따라서, 일부 실시형태들에서, 소수성 재료는 알킬-말단 실록산, 알킬-말단 포스포닉 애시드, 또는 알킬-말단 티올을 포함할 수 있다. 일킬기는 (예를 들어, 적어도 10 개의 탄소들, 또는 적어도 16, 18, 20, 22 개 또는 그 이상의 탄소들의 사슬을 갖는) 긴-사슬 탄화수소들일 수 있다. 대안적으로, 플루오리네이티드 (또는, 퍼플루오리네이티드) 카본 사슬들이 알킬 기들을 대신하여 사용될 수 있다. 따라서, 예를 들어, 소수성 재료는 플루오로알킬-말단 실록산, 플루오로알킬-말단 포스포닉 애시드, 또는 플루오로알킬-말단 티올을 포함할 수 있다. 일부 실시형태들에서, 소수성 코팅은 약 10 nm 내지 약 50 nm 의 두께를 갖는다. 다른 실시형태들에서, 소수성 코팅은 10 nm 미만 (예를 들어, 5 nm 미만, 또는 약 1.5 내지 3.0 nm) 의 두께를 갖는다.
일부 실시형태들에서, 전기습윤 구성을 갖는 마이크로유체 디바이스 (200) 의 커버 (110) 는 마찬가지로 소수성 재료 (미도시) 로 코팅된다. 소수성 재료는 지지 구조 (104) 의 유전체층을 코팅하기 위해 사용되는 동일한 소수성 재료일 수 있고, 소수성 코팅은 지지 구조 (104) 의 유전체층상의 소수성 코팅의 두께와 실질적으로 동일한 두께를 가질 수 있다. 게다가, 커버 (110) 는 지지 구조 (104) 의 방식으로, 유전체층과 상부 전극 (210) 사이에 샌드위치된 전극 활성화 기판 (206) 을 포함할 수 있다. 커버 (110) 의 전극 활성화 기판 (206) 및 유전체층은 지지 구조 (104) 의 전극 활성화 기판 (206) 및 유전체층과 동일한 조성 및/또는 치수들을 가질 수 있다. 따라서, 마이크로유체 디바이스 (200) 는 2 개의 전기습윤 표면들을 가질 수 있다.
일부 실시형태들에서, 전극 활성화 기판 (206) 은 상술된 바와 같은 광도전 재료를 포함할 수 있다. 이에 따라, 특정 실시형태들에서, 전극 활성화 기판 (206) 은 수소화 비정질 실리콘 (a-Si:H) 의 층을 포함하거나 이로 이루어질 수 있다. a-Si:H 는, 예를 들어 (100 * 수소 원자들의 수/수소 및 규소 원자들의 총 수로서 계산된) 약 8% 내지 40% 수소를 포함할 수 있다. a-Si:H 의 층은 약 500 nm 내지 약 2.0 미크론의 두께를 가질 수 있다. 대안적으로, 전극 활성화 기판(206)은 상술된 바와 같이 포토트랜지스터 스위치들에 의해 제어되는 전극들(예컨대, 도전성 금속 전극들)을 포함할 수 있다. 광-전기습윤 구성을 갖는 미세유체 디바이스들은 본 기술분야에서 알려져 있고 그리고/또는 본 기술분야에서 알려져 있는 전극 활성화 기판들로 구성될 수 있다. 예를 들어, 그 전체 내용들이 참조로 본 명세서에 포함되는 미국 특허 제6,958,132호(Chiou 등)는 a-Si:H 와 같은 광도전성 재료를 갖는 광-전기습윤 구성들을 개시하는 반면, 위에서 참조된 미국 특허 공개 제2014/0124370호(Short 등)는 포토트랜지스터 스위치들에 의해 제어되는 전극들을 갖는 전극 활성화 기판들을 개시한다.
따라서, 마이크로유체 디바이스 (200) 는 광-전기습윤 구성을 가질 수 있고, 광 패턴들 (218) 은 전극 활성화 기판 (206) 에서의 광도전성 EW 영역들 또는 광응답성 EW 전극들을 활성화하기 위해 사용될 수 있다. 전극 활성화 기판 (206) 의 그러한 활성화된 EW 영역들 또는 EW 전극들은 지지 구조 (104) 의 내부 표면 (208) (즉, 오버레이잉 유전체층 또는 그것의 소수성 코팅의 내부 표면) 에서 전기습윤력을 생성할 수 있다. 전극 활성화 기판 (206) 상에 입사하는 광 패턴들 (218) 을 변경함으로써 (또는 광원 (216) 에 대해 마이크로유체 디바이스 (200) 를 이동시킴으로써), 지지 구조 (104) 의 내부 표면 (208) 과 접촉하는 (예를 들어, 수성 배지, 용액, 또는 용매를 포함하는) 액적들이 영역/챔버 (202) 에 존재하는 비혼성 유체 (예를 들어, 오일 배지) 를 통해 이동될 수 있다.
다른 실시형태들에서, 마이크로유체 디바이스들 (200) 은 EWOD 구성을 가질 수 있고, 전극 활성화 기판 (206) 은 활성화를 위해 광에 의존하지 않는 선택적으로 어드레싱가능한 및 에너자이징가능한 전극들을 포함할 수 있다. 전극 활성화 기판 (206) 은 따라서 그러한 전기습윤 (EW) 전극들의 패턴을 포함할 수 있다. 그 패턴은 예를 들어 도 2b 에 도시된 바와 같은 열들 및 행들로 배열된 실질적으로 정사각형 EW 전극들의 어레이일 수 있다. 대안적으로, 패턴은 육각형 격자를 형성하는 실질적으로 육각형 EW 전극들의 어레이일 수 있다. 패턴에 관계없이, EW 전극들은 전기 스위치들 (예를 들어, 반도체 기판 내의 트랜지스터 스위치들) 에 의해 선택적으로 활성화 (또는 활성화해제) 될 수 있다. 전극 활성화 기판 (206) 내의 EW 전극들을 선택적으로 활성화 및 활성화해제함으로써, 오버레이잉 유전체층 또는 그것의 소수성 코팅의 내부 표면 (208) 과 접촉하는 액적들 (미도시) 은 영역/챔버 (202) 내에서 이동될 수 있다. 도 1a 에서의 동기 모듈 (162) 은 그러한 스위치들을 제어할 수 있고 따라서 영역/챔버 (202) 주위의 특정의 액적들을 선택하고 이동시키기 위해 개개의 EW 전극들을 활성화 및 활성화해제할 수 있다. 선택적으로 어드레싱가능한 및 에너자이징가능한 전극들을 갖는 EWOD 구성을 갖는 미세유체 디바이스들은 본 기술분야에서 알려져 있고 예를 들어 미국 특허 제 8,685,344 호(Sundarsan 등)에 기술되었으며, 이것의 전체 내용들은 참조로 본 명세서에 포함된다.
미세유체 디바이스(200)의 구성에 관계없이, 전원(212)은 미세유체 디바이스(200)의 전기 회로들에 전력을 공급하는 전위(예컨대, AC 전압 전위)를 제공하기 위해 사용될 수 있다. 전원(212)은 도 1에서 참조되는 전원(192)과 동일하거나, 그 전원의 컴포넌트일 수 있다. 전원(212)은 상부 전극(210)및 하부 전극(204)에 AC 전압 및/또는 전류를 제공하도록 구성될 수 있다. AC 전압의 경우, 전원(212)은 위에서 논의된 바와 같이 영역/챔버(202) 내에서 개개의 마이크로-객체들(미도시)을 트랩하고 이동시키며, 및/또는 또한 위에서 논의된 바와 같이 영역/챔버(202)에서 지지 구조(104)(예컨대, 유전체층 및/또는 유전체층상의 소수성 코팅)의 내부 표면(208)의 습윤 특성들을 변경하기에 충분히 강한 네트 DEP 힘들(또는 습윤력들)을 발생시키기에 충분한 주파수 범위 및 평균 또는 피크 전력(예컨대, 전압 또는 전류) 범위를 제공할 수 있다. 그러한 주파수 범위들 및 평균 또는 피크 전력 범위들은 본 기술분야에서 알려져 있다. 예를 들어, 미국 특허 번호 6,958,132 (Chiou 등), 미국 특허 번호 RE44,711 (Wu 등) 참조 예를 들어, 미국 특허 제 6,958,132 호 (Chiou et al.), 미국 특허 제 RE44,711 호 (Wu et al.) (미국특허 제 7,612,355 호로서 이슈됨), 및 미국 특허 출원 공개 US2014/0124370 호 (Short 등), US2015/0306598 호 (Khandros 등) 및 US2015/0306599 호 (Khandros 등) 를 참조한다.
격리 펜들. 일반적인 격리 펜들 (224, 226, 및 228) 의 비-한정적 예들은 도 2a 내지 도 2c 에 묘사된 미세유체 디바이스 (230) 내에 도시된다. 각각의 격리 펜 (224, 226, 및 228) 는 고립 영역 (240) 및 고립 영역 (240) 을 채널 (122) 에 유체적으로 접속시키는 접속 영역 (236) 을 정의하는 고립 구조 (232) 를 포함할 수 있다. 접속 영역 (236) 은 미세유체 채널 (122) 로의 근위 개구부 (234) 및 격리 영역 (240) 으로의 원위 개구부 (238) 를 포함할 수 있다. 접속 영역 (236) 은, 미세유체 채널 (122) 로부터 격리 펜 (224, 226, 228) 안으로 흐르는 유체 배지 (미도시) 의 흐름의 최대 침투 깊이가 고립 영역 (240) 안으로 확장하지 않도록 구성될 수 있다. 따라서, 접속 영역 (236) 으로 인해, 격리 펜 (224, 226, 228) 의 고립 영역 (240) 에 배치된 마이크로-객체 (미도시) 또는 다른 재료 (미도시) 는 미세유체 채널 (122) 에서의 배지 (180) 의 흐름으로부터 고립될 수 있고, 실질적으로 이에 의해 영향을 받지 않는다.
도 2a 내지 도 2c 의 격리 펜들 (224, 226, 및 228) 은 각각 미세유체 채널 (122) 로 직접적으로 개방되는 단일의 개구부를 가진다. 격리 펜의 개구부는 미세유체 채널 (122) 로부터 횡방향으로 개방된다. 전극 활성화 기판 (206) 은 양자의 미세유체 채널 (122) 및 격리 펜들 (224, 226, 및 228) 의 아래에 놓인다. 격리 펜의 바닥을 형성하는, 격리 펜의 인클로저 내의 전극 활성화 기판 (206) 의 상부 표면은 마이크로유체 디바이스의 흐름 채널 (또는 각각, 흐름 영역) 의 바닥을 형성하는, 미세유체 채널 (122) (또는 채널이 존재하지 않는 경우 흐름 영역) 내의 전극 활성화 기판 (206) 의 상부 표면의 동일한 레벨 또는 실질적으로 동일한 레벨에 배치된다. 전극 활성화 기판 (206) 은 특징부가 없을 수도 있거나, 약 3 마이크론, 2.5 마이크론, 2 마이크론, 1.5 마이크론, 1 마이크론, 0.9 마이크론, 0.5 마이크론, 0.4 마이크론, 0.2 마이크론, 0.1 마이크론, 또는 그 미만의 것보다 더 작은 것만큼 그 최고 융기 (elevation) 로부터 그 최저 침하 (depression) 까지 변동되는 불규칙적인 또는 패턴화된 표면을 가질 수도 있다. 미세유체 채널 (122) (또는 흐름 영역) 과 격리 펜들 양자 모두에 걸친 기판의 상부 표면에서의 상승부의 변화는 격리 펜의 벽들 또는 미세유체 디바이스의 벽들의 높이의 약 3%, 2%, 1%, 0.9%, 0.8%, 0.5%, 0.3% 또는 0.1% 미만일 수도 있다. 미세유체 디바이스 (200) 에 대해 상세히 설명되지만, 이것은 또한 여기에 기술된 미세유체 디바이스들 (100, 200, 230, 250, 280, 290, 300) 중 임의의 것에 적용된다.
미세유체 채널 (122) 은 이에 따라, 스윕된 영역의 예일 수 있고, 격리 펜들 (224, 226, 228) 의 격리 영역들 (240) 은 스윕되지 않은 영역들의 예들일 수 있다. 언급된 바와 같이, 미세유체 채널 (122) 및 격리 펜들 (224, 226, 228) 은 하나 이상의 유체 매질들 (180) 을 함유하도록 구성될 수 있다. 도 2a 내지 도 2b 에서 도시된 예에서, 포트들 (222) 은 미세유체 채널 (122) 에 접속되고, 유체 매질 (180) 이 미세유체 디바이스 (230) 로 도입되거나 미세유체 디바이스 (230) 로부터 제거되는 것을 허용한다. 유체 매질 (180) 의 도입 전에, 미세유체 디바이스는 이산화탄소 기체와 같은 기체로 프라이밍될 수도 있다. 일단 미세유체 디바이스 (230) 가 유체 매질 (180) 을 함유하면, 미세유체 채널 (122) 에서의 유체 매질 (180) 의 유동 (242) 은 선택적으로 생성될 수 있고 정지될 수 있다. 예를 들어, 도시된 바와 같이 포트들 (222) 은 미세유체 채널 (122) 의 상이한 로케이션들 (예를 들어, 반대편 단부들) 에 배치될 수 있고, 배지의 흐름 (242) 은 인렛로서 기능하는 하나의 포트 (222) 로부터 아웃렛으로서 기능하는 다른 포트 (222) 로 생성될 수 있다.
도 2c 는 본 개시에 따른 격리 펜(224)의 일 예의 상세 뷰를 예시한다. 마이크로-객체들 (246) 의 예들이 또한 도시된다.
알려진 바와 같이, 격리 펜 (224) 의 근위 개구부 (234) 를 지나 미세유체 채널 (122) 에서의 유체 매질 (180) 의 흐름 (242) 은 격리 펜 (224) 의 안 및/또는 밖으로의 매질 (180) 의 이차적 흐름 (244) 을 야기할 수 있다. 격리 펜 (224) 의 고립 영역 (240) 에서 마이크로-객체들 (246) 을 세컨더리 흐름 (244) 으로부터 고립시키기 위해, (즉, 근위 개구 (234) 로부터 원위 개구 (238) 로의) 격리 챔버 (224) 의 접속 영역 (236) 의 길이 (Lcon) 는 세컨더리 흐름 (244) 의 접속 영역 (236) 안으로의 침투 깊이 (Dp) 보다 커야 한다. 이차적인 유동 (244) 의 침투 깊이 Dp 는 미세유체 채널 (122) 에서 유동하는 유체 매질 (180) 의 속도 (velocity) 와, 미세유체 채널 (122) 및 미세유체 채널 (122) 로의 접속 영역 (236) 의 근위 개구부 (234) 의 구성에 관련되는 다양한 파라미터들에 종속된다. 소정의 미세유체 디바이스에 대하여, 미세유체 채널 (122) 및 개구부 (234) 의 구성들은 고정될 것인데 반해, 미세유체 채널 (122) 에서의 유체 매질 (180) 의 유동 (242) 의 레이트는 가변적일 것이다. 이에 따라서, 각각의 격리 챔버 (224) 에 대해, 채널 (122) 에서 유체 배지 (180) 의 흐름 (242) 에 대한 최대 속도 (Vmax) 는, 세컨더리 흐름 (244) 의 침투 깊이 (Dp) 가 접속 영역 (236) 의 길이 (Lcon) 를 초과하지 않는 것을 보장하도록 식별될 수 있다. 미세유체 채널 (122) 에서의 유체 매질 (180) 의 유동 (242) 의 레이트가 최대 속도 Vmax 를 초과하지 않는 한, 결과적인 이차적인 유동 (244) 은 미세유체 채널 (122) 및 접속 영역 (236) 으로 제한될 수 있고, 격리 영역 (240) 의 외부에서 유지될 수 있다. 미세유체 채널 (122) 에서 매질 (180) 의 흐름 (242) 은 따라서, 마이크로-객체들 (246) 을 고립 영역 (240) 밖으로 인출하지 않을 것이다. 차라리, 고립 영역 (240) 에 위치된 마이크로-객체들 (246) 은 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 에 관계없이 고립 영역 (240) 에 머무를 것이다.
또한, 미세유체 채널 (122) 에서의 매질 (180) 의 유동 (242) 의 레이트가 Vmax 를 초과하지 않는 한, 미세유체 채널 (122) 에서의 유체 매질 (180) 의 유동 (242) 은 미세유체 채널 (122) 로부터 격리 펜 (224) 의 격리 영역 (240) 으로 잡다한 입자들 (예컨대, 미세입자들 및/또는 나노입자들) 을 이동시키지 않을 것이다. 따라서, 접속 영역 (236) 의 길이 (Lcon) 가 세컨더리 흐름 (244) 의 최대 침투 깊이 (Dp) 보다 더 큰 것은 미세유체 채널 (122) 또는 다른 격리 챔버 (예를 들어, 도 2d 에서 격리 펜들 (226, 228)) 로부터의 잡다한 입자들로 하나의 격리 펜 (224) 의 오염을 방지할 수 있다.
미세유체 채널 (122) 및 격리 펜들 (224, 226, 228) 의 접속 영역들 (236) 이 미세유체 채널 (122) 에서의 매질 (180) 의 유동 (242) 에 의해 영향을 받을 수 있으므로, 미세유체 채널 (122) 및 접속 영역들 (236) 은 미세유체 디바이스 (230) 의 스윕된 (또는 유동) 영역들로 간주될 수 있다. 한편, 격리 펜들 (224, 226, 228) 의 고립 영역들 (240) 은, 비스윕된 (또는 비-흐름) 영역들로 간주될 수 있다. 예를 들어, 미세유체 채널 (122) 에서의 제 1 유체 매질 (180) 에서의 컴포넌트들 (도시되지 않음) 은 미세유체 채널 (122) 로부터 접속 영역 (236) 을 통해 그리고 격리 영역 (240) 에서의 제 2 유체 매질 (248) 로의 제 1 매질 (180) 의 컴포넌트들의 확산에 의해 오직 실질적으로, 격리 영역 (240) 에서의 제 2 유체 매질 (248) 과 혼합할 수 있다. 유사하게, 격리 영역 (240) 에서의 제 2 매질 (248) 의 컴포넌트들 (도시되지 않음) 은 격리 영역 (240) 으로부터 접속 영역 (236) 을 통해 그리고 미세유체 채널 (122) 에서의 제 1 매질 (180) 로의 제 2 매질 (248) 의 컴포넌트들의 확산에 의해 오직 실질적으로, 미세유체 채널 (122) 에서의 제 1 매질 (180) 과 혼합할 수 있다. 일부 실시형태들에서, 확산에 의한 격리 펜의 단리 영역과 유동 영역 사이의 유체 배지 교환의 정도는 유체 교환의 약 90%, 91%, 92%, 93%, 94%, 95%, 96%, 97%, 98% 보다 더 크거나 약 99% 보다 더 크다. 제 1 매질 (180) 은 제 2 매질 (248) 과 동일한 매질이거나 또는 상이한 매질일 수 있다. 또한, 제 1 배지 (180) 및 제 2 배지 (248) 는 동일하게 시작하고, 그 후 (예를 들어, 고립 영역 (240) 에서 하나 이상의 세포들에 의해 제 2 배지 (248) 의 컨디셔닝을 통해, 또는 미세유체 채널 (122) 을 통해 흐르는 배지 (180) 를 변경함으로써) 상이하게 될 수 있다.
미세유체 채널 (122) 에서의 유체 매질 (180) 의 유동 (242) 에 의해 야기된 이차적인 유동 (244) 의 최대 침투 깊이 Dp 는 위에서 언급된 바와 같이, 다수의 파라미터들에 종속될 수 있다. 이러한 파라미터들의 예들은: 미세유체 채널 (122) 의 형상 (예를 들어, 미세유체 채널은 접속 영역 (236) 안으로 매질을 지향시키고, 접속 영역 (236) 으로부터 멀리 매질을 전환시키고, 또는 접속 영역 (236) 의 근위 개구 (234) 에 실질적으로 수직한 방향에서 매질을 미세유체 채널 (122) 로 지향시킬 수 있음); 근위 개구 (234) 에서 미세유체 채널 (122) 의 폭 (Wch)(또는 단면적); 및 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon)(또는 단면적); 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 의 속도 (V); 제 1 매질 (180) 및/또는 제 2 매질 (248) 의 속도 등을 포함한다.
일부 실시형태들에서, 미세유체 채널 (122) 및 격리 펜들 (224, 226, 228) 의 치수들은 미세유체 채널 (122) 에서 유체 매질 (180) 의 흐름 (242) 의 벡터에 대하여 다음과 같이 배향될 수 있다: 미세유체 채널 폭 (Wch)(또는 미세유체 채널 (122) 의 단면적) 은 매질 (180) 의 흐름 (242) 에 실질적으로 수직할 수 있다; 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon)(또는 단면적) 은 미세유체 채널 (122) 에서의 매질 (180) 의 흐름 (242) 에 실질적으로 평행할 수 있다; 및/또는 접속 영역의 길이 (Lcon) 는 미세유체 채널 (122) 에서 매질 (180) 의 흐름 (242) 에 실질적으로 수직할 수 있다. 상기한 것은 오직 예들이고, 미세유체 채널 (122) 및 격리 펜들 (224, 226, 228) 의 상대적인 위치는 서로에 대하여 다른 배향들로 되어 있을 수 있다.
도 2c 에 예시된 바와 같이, 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 로부터 원위 개구 (238) 까지 균일할 수 있다. 따라서, 원위 개구 (238) 에서 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 에 대해 본원에 식별된 값들 중 어느 하나일 수 있다. 대안으로, 원위 개구 (238) 에서 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 보다 더 클 수 있다.
도 2c에 예시된 바와 같이, 원위 개구부(238)에서의 고립 영역(240)의 폭은 근위 개구부(234)에서 연결 영역(236)의 폭(Wcon)과 실질적으로 동일할 수 있다. 원위 개구 (238) 에서 고립 영역 (240) 의 폭은 따라서, 근위 개구 (234) 에서 접속 영역 (236) 의 폭 (Wcon) 에 대해 본원에 식별된 값들 중 어느 하나일 수 있다. 대안적으로, 원위 개구부(238)에서의 고립 영역(240)의 폭은 근위 개구부(234)에서의 연결 영역(236)의 폭(Wcon)보다 더 크거나 또는 더 작을 수 있다. 또한, 원위 개구 (238) 는 근위 개구 (234) 보다 더 작을 수도 있고, 접속 영역 (236) 의 폭 (Wcon) 은 근위 개구 (234) 와 원위 개구 (238) 사이에서 좁아질 수도 있다. 예를 들어, 접속 영역 (236) 은 다양한 상이한 지오메트리들을 사용하여 (예를 들어, 접속 영역을 챔퍼링, 접속 영역을 베벨링), 근위 개구와 원위 개구 사이에서 좁아질 수도 있다.  또한, 접속 영역 (236) 의 임의의 부분 또는 하위부분 (예를 들어, 근위 개구 (234) 에 인접한 접속 영역의 부분) 이 좁아질 수도 있다.
도 2d 내지 도 2f 는 도 1a 의 각각의 마이크로유체 디바이스 (100), 회로 (132) 및 채널 (134) 의 변형들인, 마이크로유체 회로 (262) 및 흐름 채널들 (264) 을 포함하는 마이크로유체 디바이스 (400) 의 다른 예시적인 실시형태를 도시한다. 미세유체 디바이스 (250) 는 또한, 상기 설명된 격리 펜들 (124, 126, 128, 130, 224, 226 또는 228) 의 추가적인 변화들인 복수의 격리 펜들 (266) 을 갖는다. 특히, 도 2d 내지 도 2f 에 도시된 디바이스 (250) 의 격리 펜들 (266) 은 전술된 디바이스들 (100, 200, 230, 280, 290) 내의 격리 펜들 (124, 126, 128, 130, 224, 226 또는 228) 중 어느 하나를 대체할 수 있다. 마찬가지로, 미세유체 디바이스 (250) 는 미세유체 디바이스 (100) 의 다른 변형이고, 또한 상기 설명된 미세유체 디바이스 (100, 200, 230, 280, 290, 300), 뿐만 아니라 본 명세서에서 설명된 다른 미세유체 시스템 컴포넌트들 중 임의의 것과 동일한 또는 상이한 DEP 구성을 가질 수도 있다.
도 2d 내지 도 2f 의 미세유체 디바이스 (250) 는 지지 구조 (도 2d 내지 도 2f 에서 보이지 않지만, 도 1a 에 도시된 디바이스 (100) 의 지지 구조 (104) 와 동일하거나 일반적으로 유사할 수 있음), 미세유체 회로 구조 (256), 및 커버 (도 2d 내지 도 2f 에서 보이지 않지만, 도 1a 에 도시된 디바이스 (100) 의 커버 (122) 와 동일하거나 일반적으로 유사할 수도 있음) 를 포함한다. 미세유체 회로 구조 (256) 는, 도 1a 에 도시된 디바이스 (100) 의 프레임 (114) 및 미세유체 회로 재료 (116) 와 동일하거나 또는 일반적으로 유사할 수 있는 프레임 (252) 및 미세유체 회로 재료 (260) 를 포함한다. 도 2d 에 도시된 바와 같이, 미세유체 회로 재료 (260) 에 의해 정의된 미세유체 회로 (262) 는 다수의 격리 펜들 (266) 이 유체 연결되는 다수의 채널들 (264) (2 개가 도시되지만 더 많이 있을 수 있음) 을 포함할 수 있다.
각각의 격리 펜 (266) 은 고립 구조 (272), 고립 구조 (272) 내의 고립 영역 (270), 및 연결 영역 (268) 을 포함할 수 있다. 미세유체 채널 (264) 에서의 근위 개구부 (274) 로부터 격리 구조체 (272) 에서의 원위 개구부 (276) 까지, 접속 영역 (268) 은 미세유체 채널 (264) 을 격리 영역 (270) 에 유체적으로 접속시킨다. 일반적으로, 도 2b 및 도 2c 의 상기 논의에 따르면, 마이크로유체 채널 (264) 에서 제 1 유체 배지 (254) 의 흐름 (278) 은 미세유체 채널 (264) 로부터 격리 펜들 (266) 의 각각의 접속 영역들 (268) 안으로 및/또는 밖으로 제 1 배지 (254) 의 세컨더리 흐름들 (282) 을 생성할 수 있다.
도 2e 에 예시된 바와 같이, 각각의 격리 펜 (266) 의 연결 영역 (268) 은 일반적으로, 채널 (264) 로의 근위 개구부 (274) 와 고립 구조 (272) 로의 원위 개구부 (276) 사이에서 확장하는 영역을 포함한다. 접속 영역 (268) 의 길이 (Lcon) 는 세컨더리 흐름 (282) 의 최대 침투 깊이 (Dp) 보다 더 클 수 있고, 이 경우에서 세컨더리 흐름 (282) 은 (도 2d 에 도시된 바와 같이) 고립 영역 (270) 을 향해 재지향되지 않고 접속 영역 (268) 으로 확장할 것이다. 대안으로, 도 2f 에 예시된 바와 같이, 접속 영역 (268) 은 최대 침투 깊이 (Dp) 보다 작은 길이 (Lcon) 를 가질 수 있고, 이 경우에서 세컨더리 흐름 (282) 은 접속 영역 (268) 을 통해 확장하고 고립 영역 (270) 을 향해 재지향될 것이다. 이 후자의 상황에서, 접속 영역 (268) 의 길이들 (LC1 및 LC2) 의 합은 최대 침투 깊이 (Dp) 보다 커서, 세컨더리 흐름 (282) 이 고립 영역 (270) 안으로 확장하지 않을 것이다. 접속 영역 (268) 의 길이 (Lcon) 가 침투 깊이 (Dp) 보다 크든 아니든, 또는 접속 영역 (268) 의 길이들 (LC1 및 LC2) 의 합이 최대 침투 깊이 (Dp) 보다 크든 아니든, 최대 속도 (Vmax) 를 초과하지 않는 마이크로유체 채널 (264) 에서의 제 1 배지 (254) 의 흐름 (278) 은 침투 깊이 (Dp) 를 갖는 세컨더리 흐름을 생성할 것이고, 격리 펜 (266) 의 고립 영역 (270) 에서 마이크로-객체들 (도시되지 않지만, 도 2e 에 도시된 마이크로-객체들 (246) 과 동일하거나 또는 일반적으로 유사할 수 있음) 은 마이크로유체 채널 (264) 에서 제 1 배지 (254) 의 흐름 (278) 에 의해 고립 영역 (270) 밖으로 인출되지 않을 것이다. 또한, 마이크로유체 채널 (264) 에서의 흐름 (278) 은 마이크로유체 채널 (264) 로부터 격리 펜 (266) 의 고립 영역 (270) 안으로 잡다한 재료들 (미도시) 을 인출하지도 않을 것이다. 이와 같이, 확산은 미세유체 채널 (264) 에서의 제 1 매질 (254) 에서의 컴포넌트들이 미세유체 채널 (264) 로부터 격리 펜 (266) 의 격리 영역 (270) 에서의 제 2 매질 (258) 로 이동할 수 있게 하는 유일한 메커니즘이다. 마찬가지로, 확산은, 격리 펜 (266) 의 고립 영역 (270) 에서의 제 2 배지 (258) 내의 성분들이 고립 영역 (270) 으로부터 채널 (264) 내의 제 1 배지 (254) 로 이동할 수 있는 유일한 메커니즘이다. 제 1 매질 (254) 은 제 2 매질 (258) 과 동일한 매질일 수 있거나, 또는 제 1 매질 (254) 은 제 2 매질 (258) 과는 상이한 매질일 수 있다. 대안으로, 제 1 배지 (254) 및 제 2 배지 (258) 는 동일하게 시작할 수 있고, 그 후 예를 들어 고립 영역 (270) 내의 하나 이상의 세포들에 의한 제 2 배지의 컨디셔닝을 통해, 또는 미세유체 채널 (264) 을 통해 흐르는 배지를 변경함으로써 상이하게 될 수 있다.
도 2e 에서 예시된 바와 같이, 미세유체 채널 (264) 에서의 (즉, 도 2d 에서 화살표들 (278) 에 의해 표시된 미세유체 채널을 통한 유체 매질 유동의 방향을 횡단하여 취해진) 미세유체 채널들 (264) 의 폭 Wch 은 근위 개구부 (274) 의 폭 Wcon1 에 대해 실질적으로 수직일 수 있고, 이에 따라, 원위 개구부 (276) 의 폭 Wcon2 에 대해 실질적으로 평행할 수 있다. 근위 개구 (274) 의 폭 (Wcon1) 및 원위 개구 (276) 의 폭 (Wcon2) 은 그러나, 서로 실질적으로 수직할 필요는 없다. 예를 들어, 근위 개구 (274) 의 폭 (Wcon1) 이 배향되는 축 (미도시) 과 원위 개구 (276) 의 폭 (Wcon2) 이 배향되는 다른 축 간의 각도는 수직 외 및 따라서 90°이외일 수 있다. 대안적으로 배향 된 각도의 예는 다음의 각도를 포함한다 : 약 30° 내지 약 90°, 약 45° 내지 약 90°, 약 60° 내지 약 90° 등.
격리 펜들 (예를 들어, 124, 126, 128, 130, 224, 226, 228, 또는 266) 의 다양한 실시형태들에서, 고립 영역 (예를 들어, 240 또는 270) 은 복수의 마이크로-객체들을 포함하도록 구성된다. 다른 실시형태들에서, 고립 영역은 단지 1, 2, 3, 4, 5, 또는 유사한 상대적으로 작은 수의 마이크로-객체들만을 포함하도록 구성될 수 있다. 따라서, 격리 영역의 체적은 예를 들어, 적어도 1x106, 2x106, 4x106, 6x106 세제곱 마이크론, 또는 그 초과일 수 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 폭 (Wch) 은 약 50-1000 마이크론, 50-500 마이크론, 50-400 마이크론, 50-300 마이크론, 50-250 마이크론, 50-200 마이크론, 50-150 마이크론, 50-100 마이크론, 70-500 마이크론, 70-400 마이크론, 70-300 마이크론, 70-250 마이크론, 70-200 마이크론, 70-150 마이크론, 90-400 마이크론, 90-300 마이크론, 90-250 마이크론, 90-200 마이크론, 90-150 마이크론, 100-300 마이크론, 100-250 마이크론, 100-200 마이크론, 100-150 마이크론, 또는 100-120 마이크론일 수 있다. 일부 다른 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 폭 (Wch) 은 약 200-800 마이크론, 200-700 마이크론, 또는 200-600 마이크론일 수 있다. 상기의 것은 단지 예들이며, 미세유체 채널 (122) 의 폭 (Wch) 은 위에 열거된 엔드포인트들 중 어느 하나 이내의 임의의 폭일 수 있다. 또한, 미세유체 채널 (122) 의 폭 (Wch) 은 격리 펜의 근위 개구 외의 미세유체 채널의 영역들에서 이들 폭들 중 어느 하나에 있도록 선택될 수 있다.
일부 실시형태들에서, 격리 펜은 약 30 내지 약 200 미크론, 또는 약 50 내지 약 150 미크론의 높이를 갖는다. 일부 실시형태들에서, 격리 펜은 약 1 x104 - 3 x106 제곱 미크론, 2 x104 - 2 x106 제곱 미크론, 4 x104 - 1 x106 제곱 미크론, 2 x104- 5 x105 제곱 미크론, 2 x104- 1 x105 제곱 미크론 또는 약 2 x105 - 2x106 제곱 미크론의 단면적을 갖는다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 높이 (Hch) 는 다음의 높이들 중 임의의 것 내의 높이 일 수 있다: 20-100 마이크론, 20-90 마이크론, 20-80 마이크론, 20-70 마이크론, 20-60 마이크론, 20-50 마이크론, 30-100 마이크론, 30-90 마이크론, 30-80 마이크론, 30-70 마이크론, 30-60 마이크론, 30-50 마이크론, 40-100 마이크론, 40-90 마이크론, 40-80 마이크론, 40-70 마이크론, 40-60 마이크론, 또는 40-50 마이크론. 상기의 것은 단지 예들이며, 미세유체 채널 (예를 들어, 122) 의 높이 (Hch) 는 위에서 열거된 엔드포인트들 중 어느 하나 이내의 높이일 수 있다. 미세유체 채널 (122) 의 높이 (Hch) 는 격리 펜의 근위 개구 이외의 미세유체 채널의 영역들에서 이들 높이들 중 어느 하나에 있도록 선택될 수 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 단면적은 약 500-50,000 제곱 마이크론, 500-40,000 제곱 마이크론, 500-30,000 제곱 마이크론, 500-25,000 제곱 마이크론, 500-20,000 제곱 마이크론, 500-15,000 제곱 마이크론, 500-10,000 제곱 마이크론, 500-7,500 제곱 마이크론, 500-5,000 제곱 마이크론, 1,000-25,000 제곱 마이크론, 1,000-20,000 제곱 마이크론, 1,000-15,000 제곱 마이크론, 1,000-10,000 제곱 마이크론, 1,000-7,500 제곱 마이크론, 1,000-5,000 제곱 마이크론, 2,000-20,000 제곱 마이크론, 2,000-15,000 제곱 마이크론, 2,000-10,000 제곱 마이크론, 2,000-7,500 제곱 마이크론, 2,000-6,000 제곱 마이크론, 3,000-20,000 제곱 마이크론, 3,000-15,000 제곱 마이크론, 3,000-10,000 제곱 마이크론, 3,000-7,500 제곱 마이크론, 또는 3,000 내지 6,000 제곱 마이크론일 수 있다. 상기의 것은 단지 예들이며, 근위 개구 (예를 들어, 234) 에서 미세유체 채널 (예를 들어, 122) 의 단면적은 위에서 열거된 엔드포인트들 중 어느 하나 이내의 임의의 면적일 수 있다.
격리 펜들의 다양한 실시형태들에서, 접속 영역 (예를 들어, 236) 의 길이 (Lcon) 는 약 1-600 마이크론, 5-550 마이크론, 10-500 마이크론, 15-400 마이크론, 20-300 마이크론, 20-500 마이크론, 40-400 마이크론, 60-300 마이크론, 80-200 마이크론, 또는 약 100-150 마이크론일 수 있다. 상기의 것은 단지 예들이며, 접속 영역 (예를 들어, 236) 의 길이 (Lcon) 는 위에서 열거된 엔드포인트들 중 어느 하나의 길이에 있을 수 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 은 약 20-500 마이크론, 20-400 마이크론, 20-300 마이크론, 20-200 마이크론, 20-150 마이크론, 20-100 마이크론, 20-80 마이크론, 20-60 마이크론, 30-400 마이크론, 30-300 마이크론, 30-200 마이크론, 30-150 마이크론, 30-100 마이크론, 30-80 마이크론, 30-60 마이크론, 40-300 마이크론, 40-200 마이크론, 40-150 마이크론, 40-100 마이크론, 40-80 마이크론, 40-60 마이크론, 50-250 마이크론, 50-200 마이크론, 50-150 마이크론, 50-100 마이크론, 50-80 마이크론, 60-200 마이크론, 60-150 마이크론, 60-100 마이크론, 60-80 마이크론, 70-150 마이크론, 70-100 마이크론, 또는 80-100 마이크론일 수 있다. 상기의 것은 단지 예들이며, 근위 개구 (예를 들어, 234) 에서 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 은 상기 예들과 상이할 수 있다 (예를 들어, 위에서 열거된 엔드포인트들 중 어느 하나 이내의 임의의 값일 수 있다).
격리 펜들의 다양한 실시형태들에서, 근위 개구 (예를 들어, 234) 에서 연결 영역 (예를 들어, 236) 의 폭 (Wcon) 은 적어도 격리 펜이 그에 대해 의도되는 미세 객체 (예를 들어, T 세포, B 세포, 또는 난자 또는 배아일 수도 있는 생물학적 세포) 의 최대 치수만큼 클 수 있다. 상기의 것은 단지 예들이며, 근위 개구 (예를 들어, 234) 에서 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 은 상기 예들과 상이할 수 있다 (예를 들어, 위에서 열거된 엔드포인트들 중 어느 하나 이내의 폭일 수 있다).
격리 펜들의 다양한 실시형태들에서, 접속 영역의 근위 개구의 폭 (Wpr) 은 적어도 격리 펜이 그에 대해 의도되는 마이크로-객체 (예를 들어, 세포와 같은 생물학적 마이크로-객체) 의 최대 치수만큼 클 수도 있다. 예를 들어, 폭 (Wpr) 은 약 50 마이크론, 약 60 마이크론, 약 100 마이크론, 약 200 마이크론, 약 300 마이크론일 수도 있거나, 약 50-300 마이크론, 약 50-200 마이크론, 약 50-100 마이크론, 약 75-150 마이크론, 약 75-100 마이크론, 또는 약 200-300 마이크론일 수도 있다.
격리 펜들의 다양한 실시형태들에서, 근위 개구 (234) 에서 접속 영역 (예를 들어, 236) 의 길이 (Lcon) 대 접속 영역 (예를 들어, 236) 의 폭 (Wcon) 의 비율은 다음의 비율들 중 어느 하나 이상일 수 있다: 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5, 5.0, 6.0, 7.0, 8.0, 9.0, 10.0, 또는 그 이상. 상기의 것은 단지 예들이며, 근위 개구 (234) 에서 접속 영역 (236) 의 길이 (Lcon) 대 접속 영역 (236) 의 폭 (Wcon) 의 비율은 상기 예들과 상이할 수 있다.
미세유체 디바이스들 (100, 200, 23, 250, 280, 290, 300) 의 다양한 실시형태들에서, Vmax 는 0.2, 0.5, 0.7, 1.3, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5, 5.0, 5.5, 6.0, 6.7, 7.0, 7.5, 8.0, 8.5, 9.0, 10, 11, 12, 13, 14, 또는 15 마이크로리터/초 주위에서 설정될 수 있다.
격리 펜들을 갖는 미세유체 디바이스들의 다양한 실시형태들에서, 격리 펜의 단리 영역 (예를 들어, 240) 의 체적은, 예를 들어 적어도 5x105, 8x105, 1x106, 2x106, 4x106, 6x106, 8x106, 1x107, 5x107, 1x108, 5x108, 또는 8x108 세제곱 마이크론, 또는 그 이상일 수 있다. 격리 펜들을 가지는 미세유체 디바이스들의 다양한 실시형태들에서, 격리 펜의 체적은 약 5x105, 6x105, 8x105, 1x106, 2x106, 4x106, 8x106, 1x107, 3x107, 5x107, 또는 약 8x107 세제곱 마이크론, 또는 그 초과일 수도 있다. 일부 다른 실시형태들에서, 격리 펜의 체적은 약 1 나노리터 내지 약 50 나노리터, 2 나노리터 내지 약 25 나노리터, 2 나노리터 내지 약 20 나노리터, 약 2 나노리터 내지 약 15 나노리터, 또는 약 2 나노리터 내지 약 10 나노리터일 수도 있다.
다양한 실시형태에서, 미세유체 디바이스는, 본원에 논의된 실시형태들 중 어느 하나로서 구성된 격리 펜들을 갖고, 여기서 미세유체 디바이스는 약 5 내지 약 10 개의 격리 펜들, 약 10 내지 약 50 개의 격리 펜들, 약 100 내지 약 500 개의 격리 펜들; 약 200 내지 약 1000 개의 격리 펜들, 약 500 내지 약 1500 개의 격리 펜들, 약 1000 내지 약 2000 개의 격리 펜들, 약 1000 내지 약 3500 개의 격리 펜들, 약 3000 내지 약 7000 개의 격리 펜들, 약 5000 내지 약 10,000 개의 격리 펜들, 약 9,000 내지 약 15,000 개의 격리 펜들, 또는 약 12,000 내지 약 20,000 개의 격리 펜들을 갖는다. 격리 펜은 모두 동일한 크기일 필요는 없으며 다양한 구성들 (예를 들어, 다양한 폭들, 격리 펜 내의 다른 특징들) 을 포함할 수 있다.
도 2g 는 일 실시형태에 따른 마이크로유체 디바이스 (280) 를 예시한다. 도 2g 에서 예시된 미세유체 디바이스 (280) 는 미세유체 디바이스 (100) 의 양식화된 다이어그램이다. 실제로, 마이크로유체 디바이스 (280) 및 그 구성 회로 엘리먼트들 (예를 들어, 채널들 (122) 및 격리 펜들 (128)) 은 본원에 논의된 치수들을 가질 것이다. 도 2g 에 예시된 마이크로유체 회로 (120) 는 2 개의 포트들 (107), 4 개의 별개의 채널들 (122) 및 4 개의 별개의 흐름 영역들 (106) 을 갖는다. 마이크로유체 디바이스 (280) 는 각각의 마이크로유체 채널 (122) 에서 개방된 복수의 격리 펜들을 더 포함한다. 도 2g 에 예시된 마이크로유체 디바이스에서, 격리 펜들은 도 2c 에 예시된 펜들과 유사한 지오메트리를 갖고, 따라서 양자의 접속 영역들 및 고립 영역들을 갖는다. 따라서, 마이크로유체 회로 (120) 는 스윕 영역들 (예를 들어, 세컨더리 흐름 (244) 의 최대 침투 깊이 (Dp) 내의 접속 영역들 (236) 의 부분들 및 채널들 (122)) 및 비-스윕 영역들 (예를 들어, 세컨더리 흐름 (244) 의 최대 침투 깊이 (Dp) 내에 있지 않은 접속 영역들 (236) 의 부분들 및 고립 영역들 (240)) 양자 모두를 포함한다.
도 3a 내지 도 3b 는 본 개시에 따른 미세유체 디바이스들 (예컨대, 100, 200, 230, 250, 280, 290, 300) 을 동작시키고 관찰하기 위하여 이용될 수 있는 시스템 (150) 의 다양한 실시형태들을 도시한다. 도 3a 에 예시된 바와 같이, 시스템 (150) 은 마이크로유체 디바이스 (100)(미도시), 또는 본원에 설명된 임의의 다른 마이크로유체 디바이스를 홀딩하도록 구성된 구조 ("네스트 (nest)")(300) 를 포함할 수 있다. 네스트 (300) 는 마이크로유체 디바이스 (320) (예를 들어, 광학적으로-작동된 동전기 디바이스 (100)) 와 인터페이스하고 전원 (192) 으로부터 마이크로유체 디바이스 (320) 로 전기적 접속들을 제공할 수 있는 소켓 (302) 을 포함할 수 있다. 네스트 (300) 는 집적된 전기적 신호 생성 서브시스템 (304) 을 더 포함할 수 있다. 전기적 신호 생성 서브시스템 (304) 은, 바이어싱 전압이, 마이크로유체 디바이스가 소켓 (302) 에 의해 홀딩되는 경우 마이크로유체 디바이스 (320) 내의 전극들의 쌍 양단에 인가되도록 바이어싱 전압을 소켓 (302) 에 공급하도록 구성될 수 있다. 따라서, 전기적 신호 생성 서브시스템 (304) 은 전원 (192) 의 부분일 수 있다. 마이크로유체 디바이스 (320) 에 바이어싱 전압을 인가하는 능력은, 바이어싱 전압이, 마이크로유체 디바이스 (320) 가 소켓 (302) 에 의해 홀딩되는 경우 항상 인가될 것이라는 것을 의미하지는 않는다. 차라리, 대부분의 경우들에서, 바이어싱 전압은 간헐적으로, 예를 들어 마이크로유체 디바이스 (320) 에서 유전영동 또는 전기습윤과 같은 동전기적 힘들의 생성을 용이하게 하도록 필요할 때에만, 인가될 것이다.
도 3a 에 예시된 바와 같이, 네스트 (300) 는 인쇄 회로 기판 어셈블리 (PCBA)(322) 를 포함할 수 있다. 전기적 신호 생성 서브시스템 (304) 은 PCBA (322) 상에 장착되고 이 안에 전기적으로 집적될 수 있다. 예시적인 지지체는 PCBA (322) 상에 또한 장착된 소켓 (302) 을 포함한다.
통상적으로, 전기적 신호 생성 서브시스템 (304) 은 파형 생성기 (미도시) 를 포함할 것이다. 전기적 신호 생성 서브시스템 (304) 은 파형 생성기로부터 수신된 파형을 증폭시키도록 구성된 파형 증폭 회로 (미도시) 및/또는 오실로스코프 (미도시) 를 더 포함할 수 있다. 오실로스코프는, 존재하는 경우, 소켓 (302) 에 의해 홀딩된 마이크로유체 디바이스 (320) 에 인가된 파형을 측정하도록 구성될 수 있다. 특정 실시형태들에서, 오실로스코프는 마이크로유체 디바이스 (320) 에 근접한 (및 파형 생성기에 대해 먼) 로케이션에서 파형을 측정하고, 따라서 디바이스에 실제로 인가된 파형을 측정하는데 있어서 더 큰 정확도를 보장한다. 오실로스코프 측정으로부터 획득된 데이터는, 예를 들어 파형 생성기에 피드백으로서 제공될 수 있고, 파형 생성기는 이러한 피드백에 기초하여 그 출력을 조정하도록 구성될 수 있다. 적합한 결합형 파형 생성기 및 오실로스코프의 예는 Red Pitaya™ 이다.
특정 실시형태들에서, 네스트 (300) 는 제어기 (308), 예컨대 전기적 신호 생성 서브시스템 (304) 을 검출 및/또는 제어하는데 사용된 마이크로프로세서를 더 포함한다. 적합한 마이크로프로세서들의 예들은 Arduino™ 마이크로프로세서들, 예컨대 Arduino Nano™ 을 포함한다. 제어기 (308) 는 기능들 및 분석을 수행하는데 사용될 수도 있고, 또는 기능들 및 분석을 수행하도록 (도 1a 에 도시된) 외부 마스터 제어기 (154) 와 통신할 수도 있다. 도 3a 에 예시된 실시형태에서, 제어기 (308) 는 인터페이스 (310) (예를 들어, 플러그 또는 커넥터) 를 통해 마스터 제어기 (154) 와 통신한다.
일부 실시형태들에서, 네스트 (300) 는 Red Pitaya™ 파형 생성기/오실로스코프 유닛 ("Red Pitaya 유닛") 및 Red Pitaya 유닛에 의해 생성된 파형을 증폭시키고 증폭된 전압을 미세유체 디바이스 (100) 로 전달하는 파형 증폭 회로를 포함하는 전기 신호 생성 서브시스템 (304) 을 포함할 수 있다. 일부 실시형태들에서, Red Pitaya 유닛은 미세유체 디바이스 (320) 에서 증폭된 전압을 측정하고, 그 후, 미세유체 디바이스 (320) 에서의 측정된 전압이 원하는 값이도록 필요에 따라 그 자신의 출력 전압을 조정하도록 구성된다. 일부 실시형태들에서, 파형 증폭 회로는 PCBA (322) 상에 장착된 DC-DC 컨버터들의 쌍에 의해 생성된 +6.5V 내지 -6.5V 전력 공급을 가져, 미세유체 디바이스 (100) 에서 최대 13 Vpp 의 신호를 초래할 수 있다.
도 3a 에서 예시된 바와 같이, 지지 구조체 (300) (예컨대, 네스트) 는 열 제어 서브시스템 (306) 을 더 포함할 수 있다. 열 제어 서브시스템 (306) 은 지지 구조 (300) 에 의해 보유된 미세유체 디바이스 (320) 의 온도를 조절하도록 구성될 수 있다. 예를 들어, 열 제어 서브시스템 (306) 은 펠티어 열전기 디바이스 (미도시) 및 냉각 유닛 (미도시) 을 포함할 수 있다. 펠티어 열전기 디바이스는 미세유체 디바이스 (320) 의 적어도 하나의 표면과 인터페이스하도록 구성된 제 1 표면을 가질 수 있다. 냉각 유닛은, 예를 들어 냉각 블록 (미도시), 이를 테면 액냉식 (liquid-cooled) 알루미늄 블록일 수 있다. 펠티어 열전기 디바이스의 제 2 표면 (예를 들어, 제 1 표면의 반대 표면) 은 이러한 냉각 블록의 표면과 인터페이스하도록 구성될 수 있다. 냉각 블록은 냉각 블록을 통해 냉각된 유체를 순환시키도록 구성된 유체 경로 (314) 에 연결될 수 있다. 도 3a 에 예시된 실시형태에서, 지지 구조 (300) 는 인렛 (316) 및 아웃렛 (318) 을 포함하여, 외부 저장소 (미도시) 로부터 냉각된 유체를 수신하고, 냉각된 유체를 유체 경로 (314) 안으로 그리고 냉각 블록을 통해 도입하며, 그 후 냉각된 유체를 외부 저장소로 리턴한다. 일부 실시형태들에서, 펠티어 열전기 디바이스, 냉각 유닛, 및/또는 유체 경로(314)는 지지 구조(300)의 케이싱(312) 상에 장착될 수 있다. 일부 실시형태들에서, 열 제어 서브시스템 (306) 은 미세유체 디바이스 (320) 에 대한 타겟 온도를 달성하도록 펠티어 열전기 디바이스의 온도를 조절하도록 구성된다. 펠티어 열전기 디바이스의 온도 조절은, 예를 들어 Pololu™ 열전기 전력 공급기 (Pololu Robotics and Electronics Corp.) 와 같은 열전기 전력 공급기에 의해 달성될 수 있다. 열 제어 서브시스템 (306) 은 아날로그 회로에 의해 제공된 온도 값과 같은 피드백 회로를 포함할 수 있다. 대안으로, 피드백 회로는 디지털 회로에 의해 제공될 수 있다.
일부 실시형태들에서, 네스트 (300) 는 (예를 들어, 저항 1 kOhm+/-0.1 %, 온도 계수 +/-0.02 ppm/CO 를 갖는) 저항기 및 (예를 들어, 공칭 저항 1 kOhm+/-0.01 % 를 갖는) NTC 서미스터를 포함하는 아날로그 분압기 회로 (미도시) 인 피드백 회로를 갖는 열 제어 서브시스템 (306) 을 포함할 수 있다. 일부 경우들에서, 열 제어 서브시스템 (306) 은 피드백 회로로부터의 전압을 측정하고, 그 후 온-보드 PID 제어 루프 알고리즘에 대한 입력으로서 계산된 온도 값을 사용한다. PID 제어 루프 알고리즘으로부터의 출력은, 예를 들어 Pololu™ 모터 드라이브 (미도시) 상에서 방향성 및 펄스-폭-변조 신호 핀 양자 모두를 구동하여 열전기 전력 공급기를 작동시키고, 이에 의해 펠티어 열전기 디바이스를 제어할 수 있다.
네스트 (300) 는, 제어기 (308) 의 마이크로프로세서가 인터페이스 (310) (도시되지 않음) 를 통해 외부 마스터 제어기 (154) 와 통신하는 것을 허용하는 직렬 포트 (324) 를 포함할 수 있다. 또한, 제어기 (308) 의 마이크로프로세서는 전기적 신호 생성 서브시스템 (304) 및 열 제어 서브시스템 (306) 과 (예를 들어, Plink 툴 (미도시) 을 통해) 통신할 수 있다. 따라서, 제어기 (308), 인터페이스 (310), 및 직렬 포트 (324) 의 조합을 통해, 전기적 신호 생성 서브시스템 (304) 및 열 제어 서브시스템 (306) 은 외부 마스터 제어기 (154) 와 통신할 수 있다. 이 방식으로, 마스터 제어기 (154) 는, 다른 것들 중에서, 출력 전압 조정들을 위한 스케일링 계산들을 수행함으로써 전기 신호 생성 서브시스템 (304) 을 도울 수 있다. 외부 마스터 제어기 (154) 에 커플링된 디스플레이 디바이스 (170) 를 통해 제공된 그래픽 사용자 인터페이스 (GUI) (미도시) 는 열 제어 서브시스템 (306) 및 전기 신호 생성 서브시스템 (304) 각각으로부터 얻어진 온도 및 파형 데이터를 플롯 (plot) 하도록 구성될 수 있다. 대안적으로, 또는 추가로, GUI 는 제어기 (308), 열 제어 서브시스템 (306), 및 전기 신호 생성 서브시스템 (304) 에 대한 업데이트들을 허용할 수 있다.
위에서 논의된 바와 같이, 시스템 (150) 은 이미징 디바이스 (194) 를 포함할 수 있다. 일부 실시형태들에서, 이미징 디바이스 (194) 는 광 조절 서브시스템 (330) (도 3b 참조) 을 포함한다. 광 조절 서브시스템 (330) 은 디지털 미러 디바이스 (DMD) 또는 마이크로셔터 어레이 시스템 (MSA) 을 포함할 수 있고, 이들 중 어느 하나는 광원 (332) 으로부터 광을 수신하고 수신된 광의 서브세트를 현미경 (450) 의 광학 트레인으로 송신하도록 구성될 수 있다. 대안으로, 광 조절 서브시스템 (330) 은 그 자신의 광을 생산하고 (따라서 광원 (332) 에 대한 필요성을 없애는) 디바이스, 예컨대 유기 발광 다이오드 디스플레이 (OLED), 액정 온 실리콘 (LCOS) 디바이스, 강유전성 액정 온 실리콘 디바이스 (FLCOS), 또는 투과형 액정 디스플레이 (LCD) 를 포함할 수 있다. 광 조절 서브시스템 (330) 은, 예를 들어 프로젝터일 수 있다. 따라서, 광 조절 서브시스템 (330) 은 구조화된 및 구조화되지 않은 광 양자 모두를 방출할 수 있다. 특정 실시형태들에서, 시스템 (150) 의 이미징 모듈 (164) 및/또는 동기 모듈 (162) 은 광 조절 서브시스템 (330) 을 제어할 수 있다.
특정 실시형태들에서, 이미징 디바이스 (194) 는 현미경 (350) 을 더 포함한다. 이러한 실시형태들에서, 네스트 (300) 및 광 조절 서브시스템 (330) 은 현미경 (350) 상에 장착되도록 개별적으로 구성될 수 있다. 현미경 (350) 은, 예를 들어 표준 연구-등급 광 현미경 또는 형광 현미경일 수 있다. 따라서, 네스트(300)는 현미경(350)의 스테이지(344) 상에 장착되도록 구성될 수도 있고/있거나 광 변조 서브시스템(330)은 현미경(350)의 부분 상에 장착하도록 구성될 수 있다. 다른 실시형태들에서, 본원에 설명된 네스트 (300) 및 광 조절 서브시스템 (330) 은 현미경 (350) 의 일체형 컴포넌트들일 수 있다.
특정 실시형태들에서, 현미경 (450) 은 하나 이상의 검출기들 (348) 을 더 포함할 수 있다. 일부 실시형태들에서, 검출기 (348) 는 이미징 모듈 (164) 에 의해 제어된다. 검출기 (348) 는 아이 피스 (eye piece), 전하-결합 디바이스 (CCD), 카메라 (예를 들어, 디지털 카메라), 또는 이들의 임의의 조합을 포함할 수 있다. 적어도 2 개의 검출기들 (348) 이 존재하면, 하나의 검출기는 예를 들어, 고속-프레임율 (fast-frame-rate) 카메라일 수 있는 한편, 다른 검출기는 고 감도 카메라일 수 있다. 또한, 현미경 (350) 은 마이크로유체 디바이스 (320) 로부터 반사 및/또는 방출된 광을 수신하고, 반사 및/또는 방출된 광의 적어도 일부분을 하나 이상의 검출기들 (348) 상에 포커싱하도록 구성된 광학 트레인을 포함할 수 있다. 현미경의 광학 트레인은 또한, 각각의 검출기 상의 최종 배율이 상이할 수 있도록, 상이한 검출기들에 대한 상이한 튜브 렌즈들 (미도시) 을 포함할 수 있다.
특정 실시형태들에서, 이미징 디바이스 (194) 는 적어도 2 개의 광원들을 사용하도록 구성된다. 예를 들어, 제 1 광원 (332) 은 (예를 들어, 광 조절 서브시스템 (330) 을 통해) 구조화된 광을 생산하도록 사용될 수 있고, 제 2 광원 (334) 은 비구조화된 광을 제공하도록 사용될 수 있다. 제 1 광원 (332) 은 광학적으로-작동된 전기역학 및/또는 형광성 여기를 위해 구조화된 광을 생산할 수 있고, 제 2 광원 (334) 은 밝은 필드 조명을 제공하도록 사용될 수 있다. 이들 실시형태들에서, 동기 모듈 (164) 은 제 1 광원 (332) 을 제어하도록 사용될 수 있고, 이미징 모듈 (164) 은 제 2 광원 (334) 을 제어하도록 사용될 수 있다. 현미경 (350) 의 광학 트레인은 (1) 디바이스가 네스트 (300) 에 의해 홀딩되는 경우, 광 조절 서브시스템 (330) 으로부터 구조화된 광을 수신하고, 이 구조화된 광을 광학적으로-작동된 전기역학 디바이스와 같은 마이크로유체 디바이스에서의 적어도 제 1 영역에 포커싱하고, (2) 마이크로유체 디바이스로부터 반사 및/또는 방출된 광을 수신하고 이러한 반사 및/또는 방출된 광의 적어도 일부를 검출기 (348) 로 포커싱하도록 구성될 수 있다. 광학 트레인은 또한, 디바이스가 네스트 (300) 에 의해 홀딩되는 경우, 제 2 광원으로부터 비구조화된 광을 수신하고, 이 비구조화된 광을 마이크로유체 디바이스의 적어도 제 2 영역 상에 포커싱하도록 구성될 수 있다. 특정 실시형태들에서, 마이크로유체 디바이스의 제 1 및 제 2 영역들은 오버랩하는 영역들일 수 있다. 예를 들어, 제 1 영역은 제 2 영역의 서브세트일 수 있다. 다른 실시형태들에서, 제 2 광원 (334) 은 추가적으로 또는 대안적으로, 임의의 적합한 파장의 광을 가질 수 있는 레이저를 포함할 수 있다. 도 3b에 도시된 광학 시스템의 도시는 단지 개략적인 도시이며, 광학 시스템은 추가 필터들, 노치 필터들, 렌즈들 등을 포함할 수 있다. 제 2 광원 (334) 이 레이저 조명 이외에 명 시야 및/또는 형광성 여기를 위한 하나 이상의 광원(들)을 포함하는 경우, 광원(들)의 물리적 배열은 도 3b에 도시된 것과 달라질 수 있고, 그리고 광학 시스템 내의 임의의 적합한 물리적 위치에 레이저 조명이 도입될 수 있다. 광원 (334) 및 광원 (332)/광 변조 서브시스템 (330) 의 개략적인 위치가 인터체인징될 수 있음은 물론이다.
도 3b 에서, 제 1 광원 (332) 은, 시스템 (355)(미도시) 의 현미경 (350) 의 광학 트레인에 구조화된 광을 제공하는, 광 조절 서브시스템 (330) 에 광을 공급하는 것으로 도시된다. 제 2 광원 (334) 은 비구조화된 광을 빔 스플리터 (336) 를 통해 광학 트레인에 제공하는 것으로 도시된다. 광 조절 서브시스템 (330) 으로부터의 구조화된 광 및 제 2 광원 (334) 으로부터의 비구조화된 광은 빔 스플리터 (336) 로부터 광학 트레인을 통해 함께 이동하여 제 2 빔 스플리터 (또는 광 조절 서브시스템 (330) 에 의해 제공된 광에 따라, 이색성 필터 (338)) 에 도달하며, 여기서 광은 대물렌즈 (336) 를 통해 샘플 평면 (342) 으로 아래로 반사된다. 샘플 평면 (342) 으로부터 반사 및/또는 방출된 광은 그 후, 대물렌즈 (340) 를 통해, 빔 스플리터 및/또는 이색성 필터 (338) 를 통해, 이색성 필터 (346) 로 위로 다시 이동한다. 이색성 필터 (346) 에 도달하는 광의 일부 만이 통과하여 검출기 (348) 에 도달한다.
일부 실시형태들에서, 제 2 광원 (334) 은 청색 광을 방사한다. 적합한 이색성 필터 (346) 로, 샘플 평면 (342) 으로부터 반사된 블루 광은 이색성 필터 (346) 를 통과하고 검출기 (348) 에 도달할 수 있다. 반대로, 광 조절 서브시스템 (330) 으로부터 오는 구조화된 광은 샘플 평면 (342) 으로부터 반사되지만, 이색성 필터 (346) 를 통과하지 않는다. 이 예에서, 이색성 필터 (346) 는 495 nm 보다 긴 파장을 갖는 가시 광을 필터링한다. 광 조절 서브시스템 (330) 으로부터의 광의 이러한 필터링은 단지, 광 조절 서브시스템으로부터 방출된 광이 495 nm 보다 짧은 임의의 파장을 포함하지 않는다면 (도시된 바와 같이) 완료될 것이다. 실제로, 광 조절 서브시스템 (330) 으로부터 오는 광이 495 nm 보다 짧은 파장들 (예를 들어, 블루 파장들) 을 포함하면, 광 조절 서브시스템으로부터의 광의 일부는 필터 (346) 를 통과하여 검출기 (348) 에 도달한다. 이러한 실시형태에서, 필터 (346) 는 제 1 광원 (332) 및 제 2 광원 (334) 으로부터 검출기 (348) 에 도달하는 광의 양 간의 균형을 변화시키도록 작용한다. 이것은, 제 1 광원 (332) 이 제 2 광원 (334) 보다 상당히 더 강한 경우 유리할 수 있다. 다른 실시형태들에서, 제 2 광원 (334) 은 레드 광을 방출할 수 있고, 이색성 필터 (346) 는 레드 광 외의 가시 광 (예를 들어, 650 nm 보다 짧은 파장을 갖는 가시 광) 을 필터링할 수 있다.
코팅 용액들 및 코팅제들. 이론에 의헤 제한되도록 의도하지 않고, 미세유체 디바이스 (예를 들어, DEP-구성된 및/또는 EW-구성된 미세유체 디바이스) 내에서의 생물학적 마이크로-객체 (예를 들어, 생물학적 세포) 의 유지보수는, 미세유체 디바이스와 그 안에 유지되는 생물학적 마이크로-객체(들) 사이의 일차 인터페이스를 제공하는 생체 분자 및/또는 친수성 분자의 층을 제공하도록 미세유체 디바이스의 적어도 하나 이상의 내부 표면들이 컨디셔닝 또는 코팅된 경우, 용이하게 될 수도 있다 (즉, 생물학적 마이크로-객체는 미세유체 디바이스 내에서 증가된 생존 능력, 더 큰 증식 및/또는 더 큰 운반가능성을 나타낸다). 일부 실시형태들에서, 미세유체 디바이스의 내부 표면들 (예컨대, DEP-구성된 미세유체 디바이스의 전극 활성화 기판의 내부 표면, 미세유체 디바이스의 커버, 및/또는 회로 재료의 표면들) 중의 하나 이상은 유기 및/또는 친수성 분자들의 희망된 층을 생성하기 위하여 코팅 용액 및/또는 코팅제로 처리될 수도 있거나 코팅 용액 및/또는 코팅제에 의해 개질될 수도 있다.
코팅은 생물학적 마이크로-객체(들) 의 도입 전 또는 후에 도포될 수도 있거나, 생물학적 마이크로-객체(들) 과 동시에 도입될 수도 있다. 일부 실시형태들에서, 생물학적 마이크로-객체(들) 은 하나 이상의 코팅제들을 포함하는 유체 매질에서 미세유체 디바이스 내로 들여와 질 수도 있다. 다른 실시형태들에서, 미세유체 디바이스 (예를 들어, DEP-구성된 미세유체 디바이스) 의 내부 표면(들) 은 미세유체 디바이스 내로 생물학적 마이크로-객체(들) 의 도입 이전에 코팅제를 포함하는 코팅 용액으로 처리 또는 "프라이밍" 된다.
일부 실시형태들에서, 미세유체 디바이스의 적어도 하나의 표면은 생물학적 마이크로-객체(들) 의 유지 및/또는 증식에 적합한 생체 분자 및/또는 친수성 분자들의 층을 제공하는 (예를 들어, 이하에 기술된 바와 같이 컨디셔닝된 표면을 제공하는) 코팅 재료를 포함한다. 일부 실시형태에서, 마이크로유체 디바이스의 실질적으로 모든 내부 표면은 코팅 재료를 포함한다. 코팅된 내부 표면(들)은 흐름 영역 (예를 들어, 채널), 챔버 또는 격리 펜의 표면, 또는 이들의 조합을 포함할 수 있다. 일부 실시형태에서, 복수의 격리 펜 각각은 코팅 재료로 코팅된 적어도 하나의 내부 표면을 갖는다. 다른 실시형태에서, 복수의 흐름 영역 또는 채널의 각각은 코팅 재료로 코팅된 적어도 하나의 내부 표면을 갖는다. 일부 실시형태에서, 복수의 격리 펜 각각 및 다수의 채널 각각의 적어도 하나의 내부 표면은 코팅 물질로 코팅된다.
코팅제/용액. 혈청 또는 혈청 인자들, 소 혈청 알부민(BSA), 폴리머들, 계면활성제들, 효소들, 및 이들의 임의의 조합을 포함하지만 이들에 제한되지 않는 임의의 편리한 코팅제/코팅 용액이 사용될 수 있다.
폴리머 계 코팅 재료. 적어도 하나의 내부 표면은 폴리머를 포함하는 코팅 재료를 포함할 수도 있다. 폴리머는 공유결합으로 또는 비-공유결합으로 적어도 하나의 표면에 바인딩될 수도 있다 (또는 비-구체적으로 유착 (adhere) 될 수도 있음). 폴리머는 블록 폴리머들(및 코폴리머들), 성형 폴리머들(성형 코폴리머들), 및 그래프트 또는 빗살모양 폴리머들(그래프트 코폴리머들)에서 발견되는 바와 같은 다양한 구조성 모티프들을 가질 수도 있으며, 이들 모두는 본 명세서에서 개시된 방법들에 적합할 수도 있다.
폴리머는 알킬렌 에테르 모이어티들을 포함하는 폴리머를 포함할 수도 있다. 매우 다양한 알킬렌 에테르 함유 폴리머들이 여기에 기술된 마이크로유체 디바이스들에서의 사용을 위해 적합할 수도 있다. 알킬렌 에테르 함유 폴리머들의 하나의 비제한적인 예시의 클래스는 폴리머 사술 내에 상이한 비율들로 및 상이한 위치들에서 폴리에틸렌 옥사이드 (PEO) 및 폴리프로필렌 옥사이드 (PPO) 서브유닛들의 블록들을 포함하는 양쪽 친매성 비이온 블록 코폴리머들이다. Pluronic® 폴리머들 (BASF) 은 이러한 타입의 블록 코폴리머들이고, 살아있는 세포들과 접촉할 때 사용하기에 적합한 것으로 본 기술에서 알려져 있다. 폴리머들은 평균 분자 질량 (MW) 에서 약 2000Da 로부터 약 20KDa 까지의 범위에 있을 수도 있다. 일부 실시형태에서, PEO-PPO 블록 코폴리머는 약 10 보다 큰 (예를 들어, 12-18) 친수성-친유성 균형 (HLB) 을 가질 수 있다. 코팅된 표면을 만드는데 유용한 Pluronic® 폴리머는 Pluronic® L44, L64, P85 및 F127 (F127NF 포함) 을 포함한다. 알킬렌 에테르 함유 폴리머들의 다른 클래스는 폴리에틸렌 글리콜(PEG MW < 100,000Da) 또는 대안적으로 폴리에티렌 옥사이드(PEO, MW > 100,000)이다. 일부 실시형태에서, PEG는 Mw 가 약 1000Da, 5000Da, 10,000Da 또는 20,000Da 일 수 있다.
다른 실시형태들에서, 코팅 재료는 카르복실릭 애시드 모이어티들을 포함하는 폴리머를 포함할 수도 있다. 카르복실릭 애시드 서브유닛은 알킬, 알케닐 또는 방향족 모이어티 포함 서브유닛일 수도 있다. 하나의 비제한적인 예는 폴리락틱 애시드 (PLA) 이다. 다른 실시형태에서, 코팅 재료는 폴리머 백본의 말단 또는 폴리머 백본으로부터의 펜던트 중 어느 하나에서 인산염 모이어티를 함유하는 폴리머를 포함할 수 있다. 또 다른 실시형태들에서, 코팅 재료는 술폰산 모이어티들을 함유하는 폴리머를 포함할 수도 있다. 술포닉 애시드 서브유닛은 알킬, 알케닐 또는 방향족 모이어티 포함 서브유닛일 수도 있다. 하나의 비제한적인 예는 폴리스티렌 술포닉 애시드 (PSSA) 또는 폴리아네톨 술포닉 애시드이다. 추가 실시형태에서, 코팅 재료는 아민 모이어티를 포함하는 폴리머를 포함할 수 있다. 폴리아미노 폴리머는 천연 폴리아민 폴리머 또는 합성 폴리아민 폴리머를 포함할 수 있다. 천연 폴리아민의 예에는 스페르민, 스페르미딘 및 퓨트레신을 포함한다.
다른 실시형태들에서, 코팅 재료는 당류 모이어티를 포함하는 폴리머를 포함할 수도 있다. 비-제한적인 예에서, 잔탄검 또는 덱스트란과 같은 폴리사카라이드들은 미세유체 디바이스에서의 세포 스티킹 (cell sticking) 을 감소시킬 수도 있거나 방지할 수도 있는 재료를 형성하기 위하여 적당할 수도 있다. 예를 들어, 약 3kDa 크기를 갖는 덱스트란 폴리머가 마이크로유체 디바이스 내의 표면을 위한 코팅 재료를 제공하는데 사용될 수 있다.
다른 실시형태들에서, 코팅 재료는 폴리전해질 표면을 제공하는, 리보뉴클레오티드 모이어티들 또는 디옥시리보뉴클레오티드 모이어티들을 가질 수도 있는 뉴클레오티드 모이어티들, 즉, 핵산을 함유하는 폴리머를 포함할 수도 있다. 핵산은 천연 뉴클레오티드 모이어티들만을 포함할 수도 있거나 제한 없이 7-디아자아데닌, 펜토오스, 메틸 포스포네이트 또는 포스포로티오에이트 모이어티들과 같은 핵염기, 리보오스 또는 포스페이트 모이어티 유사체들을 포함하는 비천연 뉴클레오티브 모이어티들을 포함할 수도 있다.
또 다른 실시형태들에서, 코팅 재료는 아미노산 모이어티들을 포함하는 폴리머를 포함할 수도 있다. 아미노산 모이어티들을 포함하는 폴리머는 천연 아미노산 포함 폴리머 또는 비천연 아미노산 포함 폴리머를 포함할 수도 있으며, 이들 중 어느 것은 펩티드, 폴리펩티드 또는 단백질을 포함할 수도 있다. 하나의 비-제한적인 예에서, 단백질은 알부민 및/또는 하나 이상의 다른 유사한 단백질들을 코팅제들로서 포함하는 소혈청 알부민 (BSA) 및/또는 혈청 (또는 다수의 상이한 혈청들의 조합) 일 수도 있다. 혈청은 태아 송아지 혈청, 양 혈청, 염소 혈청, 말 혈청 등을 포함하지만 이에 한정되지 않는 임의의 편리한 공급원으로부터 유래될 수 있다. 소정의 실시형태들에서, 코팅 용액 내의 BSA 는 5 mg/mL, 10 mg/mL, 20 mg/mL, 30 mg/mL, 40 mg/mL, 50 mg/mL, 60 mg/mL, 70 mg/mL, 80 mg/mL, 90 mg/mL, 또는 그 이상 또는 이들 사이의 임의의 값을 포함하는 약 1 mg/mL 로부터 약 100 mg/mL 까지의 농도일 수 있다. 소정의 실시형태들에서, 코팅 용액 내의 혈청은 25%, 30%, 35%, 40%, 45%, 또는 그 이상 또는 이들 사이의 임의의 값을 포함하는 약 20% (v/v) 로부터 약 50% v/v 까지의 농도에서 존재할 수도 있다. 일부 실시형태들에서는, BSA 가 5 mg/mL 에서의 코팅 용액에서의 코팅제로서 존재할 수도 있는 반면, 다른 실시형태에서는, BSA 가 70 mg/mL 에서의 코팅 용액에서의 코팅제로서 존재할 수도 있다. 특정 실시형태에서, 혈청은 코팅 용액 중의 코팅제로서 30%로 존재한다. 일부 실시형태들에서, 세포외 기질 (ECM) 단백질은 세포 성장을 조성하기 위해 최적화된 세포 부착을 위해 코팅 재료 내에 제공될 수도 있다. 코팅 재료에 포함될 수도 있는 세포 기질 단백질은 콜라겐, 엘라스틴, RGD-함유 펩티드 (예를 들어, 피브로넥틴), 또는 라미닌을 포함할 수 있지만, 이들에 제한되지 않는다. 또 다른 실시형태들에서, 성장 인자들, 사이토킨들, 호르몬들 또는 다른 세포 시그널링 종이 마이크로유체 디바이스의 코팅 재료 내에 제공될 수도 있다.
일부 실시형태들에서, 코팅 재료는 알킬렌 옥사이드 모이어티들, 카르복실릭 애시드 모이어티들, 술포닉 애시드 모이어티들, 포스페이트 모이어티들, 당류 모이어티들, 뉴클레오티드 모이어티들, 또는 아미노 애시드 모이어티들 중 2 이상을 함유하는 폴리머를 포함할 수도 있다. 다른 실시형태들에서, 폴리머 컨디셔닝된 표면은 각각 알킬렌 옥사이드 모이어티들, 카르복실릭 애시드 모이어티들, 술포닉 애시드 모이어티들, 포스페이트 모이어티들, 당류 모이어티들, 뉴클레오티드 모이어티들, 및/또는 아미노 애시드 모이어티들을 갖는 2 이상의 폴리머의 혼합물을 포함할 수도 있으며, 그것은 코팅 재료 내로 독립적으로 또는 동시에 통합될 수도 있다.
공유 결합된 코팅 재료들. 일부 실시형태들에서, 적어도 하나의 내부 표면은 이러한 세포들을 위한 컨디셔닝된 표면을 제공하는, 미세유체 디바이스 내의 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하는 공유결합으로 연결된 분자들을 포함한다.
공유결합으로 연결된 분자들은 연결 기 (linking group) 를 포함하고, 여기서, 연결 기는 이하에서 설명된 바와 같이, 미세유체 디바이스의 하나 이상의 표면들에 공유결합으로 연결된다. 연결 기는 또한, 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티에 공유결합으로 연결된다.
일부 실시형태들에서, 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 공유결합으로 연결된 모이어티는 알킬 또는 (퍼플루오로알킬을 포함하는) 플루오로알킬 모이어티들; (덱스트란을 포함할 수도 있지만, 이것으로 제한되지는 않는) 모노- 또는 폴리사카라이드들; (프로파르길 알콜을 포함하지만, 이것으로 제한되지는 않는) 알콜들; 폴리비닐 알콜을 포함하지만, 이것으로 제한되지는 않는 폴리알콜들; 폴리에틸렌 글리콜을 포함하지만, 이것으로 제한되지는 않는 알킬렌 에테르들; (폴리아크릴산 또는 폴리비닐 포스폰산을 포함하지만, 이것으로 제한되지는 않는) 폴리전해질들; (알킬화된 아민들, 히드록시알킬화된 아미노 기, 구아니디늄, 및 모르폴린일 또는 피페라지닐과 같은, 그러나 이것으로 제한되지는 않는 비방향족 질소 링 원자를 함유하는 헤테로사이클릭 기들과 같은, 그러나 이것으로 제한되지는 않는 그 유도체들을 포함하는) 아미노 기들; (카르복실레이트 음이온 표면을 제공할 수도 있는) 프로피올산을 포함하지만, 이것으로 제한되지는 않는 카르복실산들; (포스포네이트 음이온 표면을 제공할 수도 있는) 에틴일 포스폰산을 포함하지만, 이것으로 제한되지는 않는 포스폰산들; 설포네이트 음이온들; 카르복시베타인들; 술포베타인들; 술팜산들; 또는 아미노산들을 포함할 수도 있다.
다양한 실시형태들에서, 미세유체 디바이스에서의 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 공유결합으로 연결된 모이어티는 알킬 모이어티, (퍼플루오로알킬을 포함하지만, 이것으로 제한되지는 않는) 플루오로알킬 모이어티와 같은 치환된 알킬 모이어티, 아미노산 모이어티, 알콜 모이어티, 아미노 모이어티, 카르복실산 모이어티, 포스폰산 모이어티, 술폰산 모이어티, 술팜산 모이어티, 또는 당류 모이어티와 같은 비-폴리머 모이어티들을 포함할 수도 있다. 대안적으로, 공유결합으로 연결된 모이어티는 위에서 설명된 모이어티들 중의 임의의 것일 수도 있는 폴리머성 모이어티들을 포함할 수도 있다.
일부 실시형태들에서, 공유결합으로 연결된 알킬 모이어티는 선형 체인 (예를 들어, 적어도 10 개의 탄소들, 또는 적어도 14, 16, 18, 20, 22 개, 또는 그 이상의 탄소들의 선형 체인) 을 형성하는 탄소 원자들을 포함할 수도 있고, 비분기형 알킬 모이어티일 수도 있다. 일부 실시형태들에서, 알킬기는 치환된 알킬기 (예를 들어, 알킬기에서의 탄소들의 일부는 플루오르화 또는 퍼플루오르화될 수 있음) 를 포함할 수도 있다. 일부 실시형태들에서, 알킬 기는 비-치환된 알킬 기를 포함할 수도 있는 제 2 세그먼트에 결합된, 퍼플루오로알킬 기를 포함할 수도 있는 제 1 세그먼트를 포함할 수도 있고, 여기서 제 1 및 제 2 세그먼트들은 (예를 들어, 에테르 결합에 의해) 직접적으로 또는 간접적으로 결합될 수도 있다. 알킬기의 제 1 분절은 연결기에서 멀리 위치될 수도 있고, 알킬기의 제 2 분절은 연결기에 근접하여 위치될 수도 있다.
다른 실시형태들에서, 공유 결합으로 연결된 모이어티는 2 이상의 타입의 아미노산을 포함할 수도 있는 적어도 하나의 아미노산을 포함할 수도 있다. 따라서, 공유 결합으로 연결된 모이어티는 펩티드 또는 단백질을 포함할 수도 있다. 일부 실시형태들에서, 공유 결합으로 연결된 모이어티는 세포 성장, 생존 능력, 운반가능성, 또는 이들의 임의의 조합을 지원하기 위해 양쪽성 이온 표면을 제공할 수도 있는 아미노산을 포함할 수도 있다.
다른 실시형태들에서, 공유결합으로 연결된 모이어티는 적어도 하나의 알킬렌 옥사이드 모이어티를 포함할 수도 있고, 위에서 설명된 바와 같은 임의의 알킬렌 옥사이드 폴리머를 포함할 수도 있다. 알킬렌 에테르 함유 폴리머들의 하나의 유용한 클래스는 폴리에틸렌 글리콜 (PEG MW < 100,000Da) 또는 대안적으로 폴리에틸렌 옥사이드 (PEO, MW > 100,000) 이다. 일부 실시형태에서, PEG는 Mw 가 약 1000Da, 5000Da, 10,000Da 또는 20,000Da 일 수 있다.
공유 결합으로 연결된 모이어티는 하나 이상의 당류를 포함할 수 있다. 공유 결합으로 연결된 당류는 단당류, 이당류, 또는 다당류일 수 있다. 공유결합으로 연결된 당류는 표면에 대한 부착을 위해 커플링 또는 정교화 (elaboration) 를 허용하는 반응성 페어링 (pairing) 모이어티를 도입하기 위해 개질될 수도 있다. 예시적인 반응성 페어링 모이어티들은 알데히드, 알킨 또는 할로 모이어티들을 포함할 수도 있다. 다당류는 랜덤한 양식으로 개질될 수도 있으며, 여기서 당류 모노머들 각각이 개질될 수도 있거나 다당류 내의 당류 모노머들의 일부만이 표면에 직접 또는 간접으로 커플링될 수도 있는 반응성 페어링 모이어티를 제공하기 위해 개질된다. 하나의 예는 비분기형 연결자를 통해 표면에 간접적으로 커플링될 수도 있는 덱스트란 다당류를 포함할 수도 있다.
공유 결합으로 연결된 모이어티는 하나 이상의 아미노기들을 포함할 수도 있다. 아미노기는 치환된 아민 모이어티, 구아니딘 모이어티, 질소 함유 헤테로시클릭 모이어티 또는 헤테로아릴 모이어티일 수도 있다. 아미노 함유 모이어티들은 마이크로유체 디바이스 내의, 및 선택적으로 격리 펜들 및/또는 흐름 영역들 (예를 들어, 채널들) 내의 환경의 pH 변경을 허용하는 구조들을 가질 수도 있다.
컨디셔닝된 표면을 제공하는 코팅 재료는 오직 하나의 종류의 공유결합으로 연결된 모이어티를 포함할 수도 있거나, 하나를 초과하는 상이한 종류의 공유결합으로 연결된 모이어티를 포함할 수도 있다. 예를 들어, (퍼플루오로알킬을 포함하는) 플루오로알킬 컨디셔닝된 표면들은 모두 동일한, 예를 들어, 표면에 대한 동일한 연결기 및 공유결합 부착, 동일한 전체 길이, 및 플루오로알킬 모이어티를 포함하는 동일한 수의 플루오로메틸렌 유닛들을 갖는 복수의 공유결합으로 연결된 모이어티들을 가질 수도 있다. 대안적으로, 코팅 재료는 표면에 부착된 2 이상의 종류의 공유결합으로 연결된 모이어티를 가질 수도 있다. 예를 들어, 코팅 재료는 특정된 수의 메틸렌 또는 플루오로메틸렌 유닛들을 가지는 공유결합으로 연결된 알킬 또는 플루오로알킬 모이어티들을 가지는 분자들을 포함할 수도 있고, 코팅된 표면에서 더 대량의 모이어티들을 제공하기 위한 용량을 제공할 수도 있는 더 큰 수의 메틸렌 또는 플루오로메틸렌 유닛들을 가지는 알킬 또는 플루오로알킬 사슬에 공유결합으로 부착된 하전된 모이어티 (charged moiety) 들을 가지는 분자들의 추가의 세트를 더 포함할 수도 있다. 이 사례에서, 상이한 덜 입체적으로 요구하는 말단들 및 더 작은 백본 원자들을 가지는 분자들의 제 1 세트는 전체 기판 표면을 기능화하는 것을 도울 수 있음으로써, 기판 자체를 구성하는 실리콘/실리콘 옥사이드, 하프늄 옥사이드, 또는 알루미나와의 비희망된 부착 또는 접촉을 방지할 수 있다. 또 다른 예에서, 공유 결합으로 연결된 모이어티들은 표면상에서 랜덤한 양식으로 교번하는 전하들을 제시하는 양쪽성 이온 표면을 제공할 수도 있다.
컨디셔닝된 표면 특성들. 컨디셔닝된 표면의 조성을 제외하고, 소수성 재료의 물리적인 두께와 같은 다른 인자는 DEP 힘에 영향을 미칠 수 있다. 컨디셔닝된 표면이 기판상에 형성되는 방식(예컨대, 기상증착, 액상 증착, 스핀 코팅, 플러딩, 및 정전 코팅)과 같은 여러 인자들이 컨디셔닝된 표면의 물리적 두께를 변경할 수 있다. 일부 실시형태들에서, 조절된 표면은 약 1 nm 내지 약 10 nm; 약 1 nm 내지 약 7 nm; 약 1 nm 내지 약 5 nm 또는 이들 사이의 임의의 개개의 값의 두께를 갖는다. 다른 실시형태들에서, 공유 결합으로 연결된 모이어티에 의해 형성된 컨디셔닝된 표면은 약 10 nm 내지 약 50 nm의 두께를 가질 수 있다. 다양한 실시형태들에서, 본원에서 설명된 바와 같이 준비된 컨디셔닝된 표면은 10 nm 미만의 두께를 가진다. 일부 실시형태들에서, 컨디셔닝된 표면의 공유결합으로 연결된 모이어티들은 미세유체 디바이스의 표면 (예컨대, DEP 구성된 기판 표면) 에 공유결합으로 연결될 때에 단층을 형성할 수도 있고, 10 nm 미만 (예컨대, 5 nm 미만, 또는 약 1.5 내지 3.0 nm) 의 두께를 가질 수도 있다. 이들 값들은 약 30 nm 의 두께를 통상적으로 가질 수도 있는, 예를 들어, 스핀 코팅에 의해 준비된 표면의 값들과 대조적이다. 일부 실시형태들에서, 컨디셔닝된 표면은 DEP-구성된 마이크로유체 디바이스 내에서의 동작에 적합하게 관능적이도록 완전하게 형성된 단층을 필요로 하지 않는다.
다양한 실시형태들에서, 미세유체 디바이스의 컨디셔닝된 표면을 제공하는 코팅 재료는 바람직한 전기적 성질들을 제공할 수도 있다. 이론에 의해 제한하려는 의도는 없지만, 특정 코팅 재료로 코팅된 표면의 강건성에 영향을 미치는 한 가지 요인은 고유 전하 트래핑 (intrinsic charge trapping) 이다. 코팅 재료가 다르면 전자들을 트래핑할 수 있고, 이것은 코팅 재료의 파손을 초래할 수 있다. 코팅 재료의 결함은 전하 트래핑을 증가시키고 코팅 재료의 추가 파괴를 초래할 수 있다. 유사하게, 상이한 코팅 재료들은 전하 트래핑에 영향을 줄 수 있는 상이한 유전 강도들 (즉, 절연 파괴를 일으키는 최소 적용 전계) 을 갖는다. 특정 실시형태들에서, 코팅 재료는 전하 트래핑의 양을 감소시키거나 제한하는 전체 구조 (예를 들어, 고밀도로 팩킹된 단층 구조) 를 가질 수 있다.
전기 특성에 추가하여, 컨디셔닝된 표면은 또한 생물학적 분자와 함께 사용하는데 유리한 특성들을 가질 수 있다. 예를 들어, 플루오르화된 (또는 퍼플루오르화된) 탄소 사슬을 함유하는 컨디셔닝된 표면은 표면 파울링의 양을 감소시키는데 있어서 알킬 종결된 사슬에 비해 이점을 제공할 수 있다. 본원에서 사용된 표면 파울링은 마이크로유체 디바이스의 표면상의 무분별한 재료 증착의 양을 지칭하며, 그것은 단백질 및 그것의 분해 생성물들, 핵산들 및 각각의 분해 생성물들 등과 같은 생체재료들의 영구적인 또는 반영구적인 증착을 포함할 수도 있다.
유니터리 (unitary) 또는 멀티-파트 컨디셔닝된 표면. 공유결합으로 연결된 코팅 재료는 이하에서 설명되는 바와 같이, 미세유체 디바이스에서의 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티를 이미 함유하는 분자의 반응에 의해 형성될 수도 있다. 대안적으로, 공유결합으로 연결된 코팅 재료는 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티를, 자체로 표면에 공유결합으로 연결되었던 표면 개질 리간드 (surface modifying ligand) 에 결합함으로써 2-파트 시퀀스로 형성될 수도 있다.
공유 결합으로 연결된 코팅 재료의 제조 방법. 일부 실시형태들에서, (예를 들어, 격리 펜들 및/또는 유동 영역들의 적어도 하나의 표면을 포함하는) 미세유체 디바이스의 표면에 공유결합으로 연결되는 코팅 재료는 식 1 또는 식 2 의 구조를 갖는다. 코팅 재료가 하나의 단계에서 표면으로 도입될 때, 그것은 식 1 의 구조를 가지는 반면, 코팅 재료가 다수 단계 프로세스에서 도입될 때에는, 그것이 식 2 의 구조를 가진다.
Figure pct00001
코팅 재료는 DEP-구성된 또는 EW-구성된 기판의 표면의 옥사이드들에 공유결합으로 연결될 수도 있다. DEP- 또는 EW-구성된 기판은 실리콘, 실리콘 옥사이드, 알루미나, 또는 하프늄 옥사이드를 포함할 수도 있다. 옥사이드들은 기판의 타고난 화학적 구조의 일부로서 존재할 수도 있거나, 이하에서 논의된 바와 같이 도입될 수도 있다.
코팅 재료는 산화물들과 실록산 또는 포스포닉 애시드기의 반응으로부터 형성된 실록시 또는 포스포네이트 에스테르기일 수도 있는 연결기 ("LG") 를 통해 산화물들에 부착될 수도 있다. 미세유체 디바이스에서의 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티는 본원에서 설명된 모이어티들 중의 임의의 것일 수 있다. 연결 기 LG 는 미세유체 디바이스에서의 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티에 직접적으로 또는 간접적으로 접속될 수도 있다. 연결기 (LG) 가 모이어티에 직접 연결되는 경우, 선택적 연결자 ("L") 는 존재하지 않고 n 은 0 이다. 연결기 (LG) 가 모이어티에 간접으로 연결되는 경우, 연결자 (L) 는 존재하고 n 은 1 이다. 연결자 (L) 는 선형 부분을 포함할 수도 있으며, 여기서 그 선형 부분의 백본은 본 기술에서 알려진 바와 같은 화학 결합 제한들을 받는, 규소, 탄소, 질소, 산소, 황 및/또는 인 원자들의 임의의 조합으로부터 선택된 1 내지 200 개의 비수소 원자들을 포함할 수도 있다. 그것은 에테르, 아미노, 카르보닐, 아미도, 및/또는 포스포네이트 기들, 아릴렌, 헤테로아릴렌, 또는 헤테로시클릭 기들로부터 선택될 수도 있는 하나 이상의 모이어티들의 임의의 조합으로 차단될 수도 있다. 일부 실시형태에서, 연결자 (L) 의 백본은 10 내지 20 개의 원자를 포함할 수 있다. 다른 실시형태에서, 연결자 (L) 의 백본은 약 5 개의 원자들 내지 약 200 개의 원자들; 약 10 개의 원자들 내지 약 80 개의 원자들; 약 10 개의 원자들 내지 약 50 개의 원자들; 또는 약 10 개의 원자들 내지 약 40 개의 원자들을 포함할 수도 있다. 일부 실시형태에서, 골격 원자는 모두 탄소 원자이다.
일부 실시형태들에서, 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티는 멀티-단계 프로세스에서 기판의 표면에 추가될 수도 있고, 위에서 도시된 바와 같이, 식 2 의 구조를 가진다. 모이어티는 위에서 설명된 모이어티들 중의 임의의 것일 수도 있다.
일부 실시형태에서, 커플링기 (CG) 는 반응성 모이어티 (Rx) 및 반응성 쌍 부분 (Rpx) (즉, 반응성 모이어티 (Rx) 와 반응하도록 구성된 모이어티) 의 반응으로부터의 결과의 기를 나타낸다. 예를 들어, 하나의 통상적인 커플링기 (CG) 는 활성화된 에스테르, 애시드 클로라이드 등과 같은 카르복실릭 애시드의 유도체와 아미노기의 반응의 결과인 카로복사미딜기를 포함할 수도 있다. 다른 CG 는 트리아졸릴렌기, 카르복사미딜, 티오아미딜, 옥심, 메르캅틸, 디술피드, 에테르, 또는 알케닐기, 또는 반응성 모이어티의 그의 각각의 반응성 페어링 모이어티와의 반응 시에 형성될 수도 있는 임의의 다른 적합한 기를 포함할 수도 있다. 커플링기 CG 는 위에서 설명된 바와 같은 원소들의 임의의 조합을 포함할 수도 있는 연결자 L 의 제 2 단부 (즉, 미세유체 디바이스에서의 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티에 대한 근위부인 단부) 에서 위치될 수도 있다. 일부 다른 실시형태들에서, 커플링기CG 는 연결자 L 의 백본을 차단할 수 있다. 커플링기 CG 가 트리아졸일렌일 때, 그것은 클릭 결합 반응 (Click coupling reaction) 으로부터 기인하는 산물일 수도 있고, 추가로 치환될 수도 있다 (예컨대, 디벤조사이클로옥테닐 융합된 트리아졸일렌 기).
일부 실시형태에서, 코팅 재료 (또는 표면 개질 리간드) 는 화학 기상 증착을 사용하여 마이크로유체 디바이스의 내부 표면 상에 증착된다. 기상 증착 프로세스는 예를 들어, 용매 배스 (solvent bath) 로의 노출, 음파처리 (sonication), 또는 그 조합에 의해, 커버 (110), 미세유체 회로 재료 (116), 및/또는 기판 (예컨대, DEP-구성된 기판의 전극 활성화 기판 (206) 의 내부 표면 (208), 또는 EW-구성된 기판의 지지 구조체 (104) 의 유전체 층) 을 사전-세정함으로써 임의적으로 개선될 수도 있다. 대안적으로, 또는 추가적으로, 그러한 예비 세정은 동시에 산화된 표면 (여기에 기술된 바와 같이 공유결합으로 개질될 수도 있는 표면에서의 산화물들) 을 도입하면서 여러 불순물들을 제거할 수 있는 산소 형질 클리너에서 커버 (110), 마이크로유체 회로 재료 (116), 및/또는 기판을 처리하는 것을 포함할 수 있다. 대안적으로, 하이드로클로릭 애시드와 하이드로전 페록사이드의 혼합물 또는 설퓨릭 애시드와 하이드로전 페록사이드의 혼합물 (예를 들어, 약 3:1 내지 약 7:1 의 설퓨릭 애시드 대 하이드로전 페록사이드의 비를 가질 수도 있는 피라냐 용액) 과 같은 액상 처리들은 산소 플라즈마 클리너 대신에 사용될 수도 있다.
일부 실시형태들에서, 기상 증착은 마이크로유체 디바이스 (200) 가 마이크로유체 회로 (120) 를 정의하는 인클로저 (102) 를 형성하기 위해 조립된 후 마이크로유체 디바이스 (200) 의 내부 표면을 코팅하기 위해 사용된다. 이론에 의해 제한되도록 의도하지 않고, 완전히 조립된 마이크로유체 회로 (120) 상에 그러한 코팅 재료를 증착하는 것은 마이크로유체 회로 재료 (116) 와 전극 활성화 기판 (206) 유전체층 및/또는 커버 (110) 사이의 약해진 결합에 의해 야기되는 박리를 방지하는데 유익할 수도 있다. 2-단계 프로세스가 채용되는 실시형태들에서는, 생물학적 마이크로-객체 (들) 의 유지/확장을 위하여 적당한 유기 및/또는 친수성 분자들의 층을 제공하도록 구성된 모이어티의 후속 도입과 함께, 표면 개질 리간드는 위에서 설명된 바와 같은 기상 증착을 통해 도입될 수도 있다. 후속 반응은 표면 개질된 미세유체 디바이스를 용액에서의 적당한 결합 시약에 노출함으로써 수행될 수도 있다.
도 2h 는 컨디셔닝된 표면을 제공하는 예시적인 공유결합으로 연결된 코팅 재료를 가지는 미세유체 디바이스 (290) 의 단면도를 도시한다. 예시된 바와 같이, 코팅 재료들 (298) (개략적으로 도시됨) 은 미세유체 디바이스 (290) 의 DEP 기판일 수도 있는 기판 (286) 의 내부 표면 (294) 및 커버 (288) 의 내부 표면 (292) 의 양자에 공유결합으로 바인딩된 밀집-팩킹된 분자들의 단층을 포함할 수 있다. 코팅 재료 (298) 는 일부 실시형태들에서, 그리고 위에서 논의된 바와 같이, 미세유체 디바이스 (290) 내의 회로 엘리먼트들 및/또는 구조체들을 정의하기 위하여 이용된 미세유체 회로 재료 (도시되지 않음) 의 표면들을 포함하는, 미세유체 디바이스 (290) 의 인클로저 (284) 에 대한 근위부이며 미세유체 디바이스 (290) 의 인클로저 (284) 를 향해 내측으로 대면하는 실질적으로 모든 내부 표면들 (294, 292) 상에서 배치될 수 있다. 대안적인 실시형태들에서, 코팅 재료 (298) 는 마이크로유체 디바이스 (290) 의 내부 표면들의 단지 하나 또는 일부에만 증착될 수 있다.
도 2h 에서 도시된 실시형태에서, 코팅 재료 (298) 는 유기실록산 분자들의 단층을 포함할 수 있고, 각각의 분자는 실록시 연결자 (296) 를 통해 미세유체 디바이스 (290) 의 내부 표면들 (292, 294) 에 공유 결합될 수 있다. 위에서 논의된 코팅 재료들 (298) 중의 임의의 것이 이용될 수 있고 (예컨대, 알킬-종단된, 플루오로알킬 종단된 모이어티, PEG-종단된 모이어티, 덱스트란 종단된 모이어티, 또는 유기실록시 모이어티들을 위한 포지티브 또는 네거티브 전하들을 함유하는 말단 모이어티), 여기서, 말단 모이어티는 그 인클로저-대면 말단 (즉, 내부 표면들 (292, 294) 에 바인딩되지 않고 인클로저 (284) 에 대한 근위부인 코팅 재료 (298) 의 단층의 부분) 에서 배치된다.
다른 실시형태들에서, 미세유체 디바이스 (290) 의 내부 표면 (들) (292, 294) 을 코팅하기 위하여 이용된 코팅 재료 (298) 는 음이온, 양이온, 또는 쌍성이온 모이어티들, 또는 그 임의의 조합을 포함할 수 있다. 이론에 의해 제한되도록 의도하지 않으면서, 미세유체 회로 (120) 의 인클로저 (284) 의 내부 표면들에서 양이온 모이어티들, 음이온 모이어티들, 및/또는 쌍성이온 모이어티들을 제공함으로써, 수화의 결과적인 물이 비-생물학적 분자들 (예컨대, 기판의 실리콘 및/또는 실리콘 옥사이드) 와의 상호작용들로부터 생물학적 마이크로-객체들을 격리시키는 층 (또는 "차폐부") 으로서 작동하도록, 코팅 재료 (298) 는 물 분자들과의 강한 수소 결합들을 형성할 수 있다. 게다가, 코팅 재료 (298) 가 코팅제들과 함께 이용되는 실시형태들에서는, 코팅 재료 (298) 의 음이온들, 양이온들, 및/또는 쌍성이온들이 인클로저 (284) 에서의 매질 (180) (예컨대, 코팅 용액) 에서 존재하는 비-공유 코팅제들 (예컨대, 용액에서의 단백질들) 의 하전된 부분들과의 이온 결합들을 형성할 수 있다.
또 다른 실시형태들에서, 코팅 재료는 그 인클로저-대면 말단에서 친수성 코팅제를 제공하도록 포함할 수도 있거나 화학적으로 개질될 수도 있다. 일부 실시형태들에서, 코팅 재료는 PEG 와 같은 알킬렌 에테르 함유 폴리머를 포함할 수도 있다. 일부 실시형태들에서, 코팅 재료는 덱스트란과 같은 폴리사카라이드를 포함할 수도 있다. 위에서 논의된 하전된 모이어티들 (예컨대, 음이온, 양이온, 및 쌍성이온 모이어티들) 과 같이, 수화의 결과적인 물이 비-생물학적 분자들 (예컨대, 기판의 실리콘 및/또는 실리콘 옥사이드) 와의 상호작용들로부터 생물학적 마이크로-객체들을 격리시키는 층 (또는 "차폐부") 으로서 작동하도록, 친수성 코팅제는 물 분자들과의 강한 수소 결합들을 형성할 수 있다.
적절한 코팅 처리들 및 개질들의 추가의 세부사항들은 2016 년 4 월 22 일자로 출원된 미국 출원 제 15/135,707 호에서 발견될 수도 있고, 그 전체적으로 참조로 편입된다.
미세유체 디바이스의 격리 펜들 내의 세포들의 생존력의 유지보수를 위한 추가적인 시스템 컴포넌트들. 세포 개체군들의 성장 및/또는 확장을 촉진하기 위하여, 기능적인 세포들을 유지하기 위하여 도움이 되는 환경 조건들은 시스템의 추가적인 컴포넌트들에 의해 제공될 수도 있다. 예를 들어, 이러한 추가적인 컴포넌트들은 영양분들, 세포 성장 시그널링 종들, pH 조절, 기체 교환, 온도 제어, 및 세포들로부터의 노폐물들의 제거를 제공할 수 있다.
컴퓨터 시스템
도 5 은 본 교시들의 실시형태들, 또는 그 실시형태들의 부분들이 구현될 수도 있는 컴퓨터 시스템 (1000) 을 예시하는 블록도이다. 본 교시들의 다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 정보를 통신하기 위한 버스 (1002) 또는 다른 통신 메커니즘, 및 정보를 프로세싱하기 위해 버스 (1002) 와 커플링된 프로세서 (1004) 를 포함할 수 있다. 다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 또한 프로세서 (1004) 에 의해 실행될 명령들을 결정하기 위해 버스 (1002) 에 커플링된, 랜덤 액세스 메모리 (RAM) 또는 다른 동적 저장 디바이스일 수 있는, 메모리 (1006 를 포함할 수 있다. 메모리 (1006) 는 또한 프로세서 (1004) 에 의해 실행될 명령들의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하는데 사용될 수 있다. 다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 프로세서 (1004) 에 대한 정적 정보 및 명령들을 저장하기 위해 버스 (1002) 에 커플링된 판독 전용 메모리 (ROM) (1008) 또는 다른 정적 저장 디바이스를 더 포함할 수 있다. 정보 및 명령들을 저장하기 위해 자기 디스크 또는 광 디스크와 같은, 저장 디바이스 (1010) 가 제공되고 버스 (1002) 에 커플링될 수 있다.
다양한 실시형태들에서, 컴퓨터 시스템 (1000) 은 컴퓨터 사용자에게 정보를 디스플레이하기 위해, 버스 (1002) 를 통해서 음극선관 (CRT) 또는 액정 디스플레이 (LCD) 와 같은 디스플레이 (1012) 에 커플링될 수 있다. 정보 및 지령 선택들을 프로세서 1004 로 통신하기 위해, 영숫자 및 다른 키들을 포함한, 입력 디바이스 1014 가, 버스 1002 에 커플링될 수 있다. 사용자 입력 디바이스의 다른 유형은 방향 정보 및 지령 선택들을 프로세서 (1004) 로 통신하고 디스플레이 (1012) 상에서의 커서 이동을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키들과 같은 커서 제어기 (1016) 이다. 이 입력 디바이스 (1014) 는 일반적으로 디바이스로 하여금 평면에서의 위치들을 지정가능하게 하는 2개의 축들, 즉, 제 1 축 (즉, x) 및 제 2 축 (즉, y) 에서 2개의 자유도들을 갖는다. 그러나, 3 차원 (x, y 및 z) 커서 이동을 허용하는 입력 디바이스들 (1014) 이 또한 본원에서 고려될 수 있는 것으로 이해되어야 한다.
본 교시들의 어떤 구현예들에 따르면, 프로세서 (1004) 가 메모리 (1006) 에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 것에 응답하여 컴퓨터 시스템 (1000) 에 의해 결과들이 제공될 수 있다. 이러한 명령들은 다른 컴퓨터-판독가능 매체 또는 컴퓨터-판독가능 저장 매체, 예컨대 저장 디바이스 1010 로부터 메모리 1006 로 판독될 수 있다. 메모리 (1006) 에 포함된 명령들의 시퀀스들의 실행은 프로세서 (1004) 로 하여금 본원에서 설명되는 프로세스들을 수행가능하게 할 수 있다. 대안적으로, 하드-와이어드 (hard-wired) 회로부가 본 교시들을 구현하기 위해 소프트웨어 명령들 대신 또는 함께 사용될 수 있다. 따라서, 본 교시들의 구현예들은 하드웨어 회로부와 소프트웨어의 임의의 특정의 조합에 한정되지 않는다.
용어 "컴퓨터-판독가능 매체" (예컨대, 데이터 스토어, 데이터 스토리지, 등) 또는 "컴퓨터-판독가능 저장 매체" 는, 본원에서 사용될 때, 명령들을, 실행을 위해, 프로세서 (1004) 에 제공하는데 참여하는 임의의 매체들을 지칭한다. 이러한 매체는 비-휘발성 매체들, 휘발성 매체들, 및 송신 매체들을 포함하지만 이에 한정되지 않는, 다수의 형태들을 취할 수 있다. 비-휘발성 매체들의 예들은 저장 디바이스 (1010) 와 같은, 광학, 고체 상태, 자기 디스크들을 포함할 수 있지만 이에 한정되지 않는다. 휘발성 매체들의 예들은 메모리 (1006) 와 같은, 동적 메모리를 포함할 수 있지만 이에 한정되지 않는다. 송신 매체들의 예들은 버스 (1002) 를 포함하는 와이어들을 포함한, 동축 케이블들, 구리 와이어, 및 광섬유를 포함할 수 있지만 이에 한정되지 않는다.
컴퓨터-판독가능 매체들의 일반적인 형태들은 예를 들어, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 종이 테이프, 홀들의 패턴들을 가진 임의의 다른 물리적인 매체, RAM, PROM, 및 EPROM, 플래시-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 유형의 매체를 포함한다.
컴퓨터 판독가능 매체에 더해서, 명령들 또는 데이터가 하나 이상의 명령들의 시퀀스들을 실행을 위해 컴퓨터 시스템 (1000) 의 프로세서 (1004) 에 제공하기 위해 통신 장치 또는 시스템에 포함된 송신 매체들 상에 신호들로서 제공될 수 있다. 예를 들어, 통신 장치는 명령들 및 데이터를 나타내는 신호들을 가지는 트랜시버를 포함할 수도 있다. 명령들 및 데이터는 하나 이상의 프로세서들로 하여금, 본원의 본 개시물에서 약술한 기능들을 구현가능하게 하도록 구성된다. 데이터 통신들 송신 접속들의 대표적인 예들은 전화기 모뎀 접속들, 광역 네트워크들 (WAN), 근거리 네트워크들 (LAN), 적외선 데이터 접속들, NFC 접속들, 등을 포함할 수 있지만 이에 한정되지 않는다.
본원에서 설명한 방법론들, 플로우 차트들, 다이어그램들 및 첨부된 개시물이 컴퓨터 시스템 (1000) 을 스탠드얼론 디바이스로서 이용하여 또는 클라우드 컴퓨팅 네트워크와 같은, 공유된 컴퓨터 프로세싱 리소스들의 분산 네트워크 상에서 구현될 수 있는 것으로 이해되어야 한다.
특정 실시형태들에서, 머신 판독 가능 저장 디바이스들은 본 명세서에서 설명된 방법들을 실행하거나 수행하기 위한 비일시적인 머신 판독 가능 명령들을 저장하기 위해 제공된다는 것을 또한 알아야한다. 머신 판독 가능한 명령들은 이미지 프로세싱, CNN (Convolutional Neural Network) 흐름 (아래에서 상세히 설명됨), 논리 및 메모리 모듈, 및 아래에서 상세히 설명되는 바와 같은 마이크로-객체 검출 및 카운트의 모든 측면을 제어할 수 있다. 또한, 머신 판독 가능 명령들은 초기에 메모리 모듈에 로딩되거나 클라우드를 통해 또는 API 를 통해 액세스될 수 있다.
관심의 마이크로-객체의 자동화된 검출. 일 양태에서, 명 시야 이미지와 같은 조명된 이미지, 특히 디지털 이미지 (또는 디지털화된 이미지) 에서 관심의 마이크로-객체의 자동화된 검출을 위한 방법이 제공된다. 관심의 마이크로-객체는 미세유체 디바이스 내에 배치될 수 있다. 관심의 마이크로-객체는 포유류 세포 (예를 들어, 혈액 세포, 하이브리도마, 암세포, 형질 전환된 세포, 배우자, 배아 등) 와 같은 세포일 수 있다. 대안으로, 관심의 마이크로-객체는 분석에서 사용될 수 있는 것과 같은 비드 (예를 들어, 마이크로 비드, 자기 비드 등) 일 수 있다. 이 방법은 이미지 데이터 (즉, 이미지의 픽셀과 관련된 데이터) 를 처리하는 기계 학습 알고리즘의 사용을 포함할 수 있다. 기계 학습 알고리즘은 콘볼루션 신경망 (convolutional neural network) 와 같은 신경망을 포함할 수 있다.
이미지 분류는 입력 이미지를 받아들이는 것 및 이미지를 가장 잘 설명하는 클래스 또는 클래스의 확률을 출력하는 것을 요구한다. 이는 입력 이미지를 처리하고 결과를 출력하기 위해, 알고리즘을 사용하는 프로세싱 엔진이 장착된 컴퓨터 시스템을 사용하여 행해질 수 있다. 이미지 검출은 또한 유사한 프로세싱 엔진을 이용할 수 있어서, 시스템은 입력 이미지를 받아들이고 프로세싱 엔진에 미리 프로그램된 알고리즘을 사용하여 높은 정확도로 그 이미지 내에서 관심있는 객체를 식별한다.
입력 이미지와 관련하여, 시스템은 일반적으로 입력 이미지를 픽셀 값들의 배열로서 배향시킬 것이다. 이러한 픽셀 값은 이미지 해상도 및 크기에 따라, (길이) x (너비) x (채널 수) 에 대응하는 수들의 배열일 것이다. 채널들의 수는 깊이로서 또한 지칭될 수 있다. 예를 들어, 배열은 L x W x RGB (Red Green Blue) 컬러 모델 (RBG 값) 일 수 있다. RGB 는 3 개의 채널들로 간주되며, 각 채널은 RGB 컬러 모델에서 3 가지 컬러들 중 하나를 나타낸다. 예를 들어, 시스템은 일반적으로 (RGB의 경우) 20 × 20 × 3 의 대표 배열로 20 × 20 이미지를 특성화할 수 있으며, 그 배열의 각 포인트에는 픽셀 강도를 나타내는 값 (예를 들어, 0 내지 255) 이 할당된다. 값들의 이러한 배열이 주어질 때, 프로세싱 엔진은 이미지가 소정 클래스일 확률을 기술하는 수들 (예를 들어, 세포의 경우 0.80, 세포벽의 경우 0.15, 및 세포가 없는 경우 0.05) 을 출력하기 위해, 그것의 알고리즘을 사용하여 이들 값들을 프로세싱할 수 있다.
콘볼루션 신경망 (CNN) 은 일반적으로 예를 들어 에지 및 곡선과 같은 저레벨 피쳐를 먼저 찾은 다음 일련의 콘볼루션 계층들을 통해 보다 추상적인 (예를 들어, 이미지가 분류되는 타입에 고유한) 개념들로 전진함으로써 진보된 형태의 이미지 프로세싱 및 분류/검출을 달성한다. CNN 은 일련의 콘볼루션, 비선형, 풀링 (pooling) (또는 아래에서 자세히 설명 할 다운샘플링) 및 완전히 연결된 계층들을 통해 이미지를 통과시킴으로써 이를 수행하고, 출력을 얻을 수 있다. 다시 말하지만, 출력은 가장 잘 이미지를 기술하거나 이미지상의 객체를 검출하는 단일 클래스 또는 클래스들의 확률일 수 있다.
CNN 의 계층들에 관해서는, 제 1 계층은 일반적으로 콘볼루션 계층 (Conv) 이다. 이러한 제 1 계층은 일련의 파라미터들을 사용하여 이미지의 대표적인 배열을 프로세싱할 것이다. 이미지를 전체적으로 처리하는 대신, CNN 은 필터 (또는 뉴런 또는 커널) 를 사용하여 이미지 서브 세트들의 집합을 분석할 것이다. 서브 세트들은 주변 포인트들 뿐아니라 배열 내의 초점을 포함할 것이다. 예를 들어, 필터는 32 x 32 이미지에서 일련의 5 x 5 면적들 (또는 영역들) 을 검사할 수 있다. 이들 영역들은 수용 필드 (receptive fields) 로서 지칭될 수 있다. 그 필터는 일반적으로 입력과 동일한 깊이를 가질 것이므로, 32 x 32 x 3 의 디멘젼들을 갖는 이미지는 동일한 깊이의 필터 (예를 들어, 5 x 5 x 3) 를 가질 것이다. 위의 예시적인 디멘젼들을 사용하여, 콘볼빙 (convolving) 하는 실제 단계는 필터를 입력 이미지를 따라 슬라이딩하는 것, 필터 값을 이미지의 오리지날 픽셀 값과 곱하여 엘리먼트별 (element wise) 곱셈들을 컴퓨팅하는 것, 및 이들 값들을 합산하여 이미지의 그러한 검사된 영역에 대한 단일의 수에 도달하는 것을 수반할 것이다.
5 x 5 x 3 필터를 사용하는 이러한 콜볼루션 단계의 완료 후에, 28 x 28 x 1 의 디멘젼들을 갖는 활성화 맵 (또는 필터 맵) 이 생성될 것이다. 사용된 각각의 추가적인 계층에 대해, 공간 디멘젼들이 더 잘 유지되어 두 개의 필터를 사용하는 것은 28 x 28 x 2 의 활성화 맵을 야기할 것이다. 각 필터는 일반적으로 최종 이미지 출력에 필요한 피쳐 식별자를 함께 나타내는, 그것이 나타내는 고유한 피쳐 (예를 들어, 컬러, 에지, 곡선 등) 를 가질 것이다. 이러한 필터들은, 조합하여 사용될 때, CNN 이 이미지 입력을 처리하여 각 픽셀에 존재하는 그러한 피쳐들을 검출하는 것을 허용한다. 따라서, 필터가 곡선 검출기로서 작용하는 경우, 이미지 입력을 따른 필터의 콘볼빙은 곡선의 높은 가능성 (likelihood) (높은 합산된 엘리먼트별 곱셈들), 곡선의 낮은 가능성 (낮은 합산된 엘리먼트별 곱셈들) 또는 소정 포인트들에서의 입력 볼륨이 곡선 검출기 필터를 활성화할 아무것도 제공하지 않는 경우의 제로 값에 대응하는, 활성화 맵에서의 수들의 배열을 생성할 것이다. 따라서, Conv 에서의 필터 (채널이라고도 함) 의 수가 많을수록, 활성화 맵에 제공되는 깊이 (또는 데이터) 가 더 많을 수록, 그리고 따라서 입력에 대한 정보가 더 많을 수록, 더 정확한 출력을 야기할 것이다.
결과를 산출하는 데 필요한 프로세싱 시간과 전력이 CNN 의 정확성과 밸런싱된다. 즉, 더 많은 필터 (또는 채널) 가 사용될수록, Conv 를 실행하는 데 더 많은 시간과 처리 능력이 필요하다. 따라서, CNN 방법의 필요들을 충족시키기 위한 필터 (또는 채널) 의 선택과 수는 이용가능한 시간과 전력을 고려하면서 가능한 한 정확한 출력을 생성하도록 구체적으로 선택되어야 한다.
CNN 이 더 복잡한 피쳐들을 검출할 수 있도록 하기 위해, 추가의 Conv 들이 이전의 Conv 의 출력 (즉, 활성화 맵) 을 분석하기 위해 추가될 수 있다. 예를 들어, 제 1 Conv 가 곡선이나 에지와 같은 기본 피쳐를 찾는 경우, 제 2 Conv 는 이전 Conv 계층에서 검출된 개별 피쳐들의 조합일 수 있는 형상들과 같은 더 복잡한 피쳐를 찾을 수 있다. 일련의 Conv 들을 제공함으로써, CNN 은 점차적으로 더 높은 레벨의 피쳐들을 검출하여 결국 특정의 원하는 객체를 검출할 확률에 도달할 수 있다. 또한, Conv 들이 서로 적층하여 이전 활성화 맵 출력을 분석함에 따라, 스택에서의 각 Conv 는 자연스럽게 각 Conv 레벨에서 발생하는 축소 (scaling down) 로 인해 점점더 큰 수용 필드를 분석하여 CNN 이 관심의 객체를 검출함에 있어서 픽셀 공간의 성장하는 영역에 응답하는 것을 허용할 것이다.
CNN 아키텍처는 일반적으로 입력 볼륨 (이미지) 을 콘볼루팅 (convoluting) 하기 위한 적어도 하나의 처리 블록과 디콘볼루션 (또는 트랜스포즈 (transpose) 콘볼루션) 을 위한 적어도 하나의 처리 블록을 포함하는 처리 블록들의 그룹으로 구성된다. 또한, 처리 블록은 적어도 하나의 풀링 블록 및 언풀링 (unpooling) 블록을 포함할 수 있다. 풀링 블록들은 Conv 에 대해 이용가능한 출력을 생성하기 위해 해상도에 있어서 이미지를 축소하는데 사용될 수 있다. 이것은 계산적 효율성 (효율적인 시간 및 전력) 을 제공할 수 있으며, 이는 CNN 의 실제 성능을 향상시킬 수 있다. 이러한 풀링, 또는 서브샘플링 블록은 필터를 소형으로 그리고 계산상 요건들을 합리적으로 유지하므로, 이러한 블록들은 출력을 조악하게 만들 수 있어 (수용 필드 내에서 손실된 공간 정보를 야기할 수 있어), 그것을 특정 팩터에 의해 입력의 크기보다 감소시킬 수 있다.
언풀링 블록은 이러한 조악한 출력을 재구성하여 입력 볼륨과 동일한 디멘젼들을 갖는 출력 볼륨을 생성하는데 사용될 수 있다. 언풀링 블록은 오리지날 입력 볼륨 디멘전으로 활성화 출력을 복귀시키는 콘볼루팅 블록의 역 동작으로 간주될 수 있다.
그러나, 언풀링 프로세스는 일반적으로 조악한 출력을 성긴 (sparse) 활성화 맵으로 단순히 확대만 한다. 이 결과를 피하기 위해, 디콘볼루션 블록은 이러한 성긴 활성화 맵을 밀도를 높여 확대되고 밀집한 활성화 맵을 생성하여 궁극적으로 임의의 추가의 필요한 프로세싱 후에 입력 볼륨에 훨씬 가까운 크기 및 밀도의 최종 출력 볼륨을 생성한다. 콘볼루션 블록의 역 동작으로서, 수용 필드의 다수의 배열 포인트들을 단일의 수로 감소시키는 대신, 디콘볼루션 블록은 단일 활성화 출력 포인트를 다수의 출력들과 연관시켜 결과의 활성 출력을 확대 및 조밀하게 한다.
풀링 블록은 이미지를 축소하는 데 사용될 수 있고 언풀링 블록은 이러한 축소된 활성화 맵을 확대하는 데 사용될 수 있지만, 콘볼루션 및 디콘볼루션 블록은 별도의 풀링 및 언풀링 블록들을에 대한 필요 없이 콘볼빙/디콘볼빙 및 축소/확대 모두를 행하도록 구성될 수 있다.
풀링 및 언풀링 프로세스는 이미지 입력에서 검출되는 관심의 객체들에 따라 단점을 가질 수 있다. 일반적으로 풀링은 윈도우의 중첩 없이 하위 이미지 윈도우를 보고 이미지를 축소하므로 축소가 발생함에 따라 공간 정보의 분명한 손실이 존재한다.
처리 블록은 콘볼루션 또는 디콘볼루션 (deconvolutional) 계층으로 패키징되는 다른 계층들을 포함할 수 있다. 이들은 예를 들어, 정류된 선형 단위 계층 (ReLU) 또는 지수 선형 단위 계층 (ELU) 을 포함할 수 있으며, 이들은 그것의 처리 블록에서 Conv 로부터의 출력을 검사하는 활성화 함수들이다. ReLU 또는 ELU 계층은 Conv 에 고유한 관심의 피쳐의 긍정적인 검출에 대응하는 그러한 값들만 전진시키는 게이팅 함수로서 작용한다.
기본 아키텍처가 주어지면, CNN 은 (관심의 객체의) 이미지 분류/검출에서의 그의 정확성을 연마하기 위한 트레이닝 프로세스를 위해 준비된다. 이것은 CNN 이 최적, 또는 임계, 정확도에 도달함에 있어서 그것의 파라미터들을 업데이트하도록 CNN 을 트레이닝하는데 사용되는 트레이닝 데이터 세트, 또는 샘플 이미지를 사용하는 역전파 (backpropagation) (backprop) 라고 하는 프로세스를 수반한다. 역전파는 역전파의 파라미터들에 따라 천천히 또는 빠르게 CNN 을 트레이닝할 일련의 반복 단계 (트레이닝 반복) 를 수반한다. 역전파 단계는 일반적으로 주어진 학습 속도에 따라 순방향 패스 (pass), 손실 함수, 역방향 패스 및 파라미터 (가중치) 업데이트를 포함한다. 순방향 패스는 CNN 을 통해 트레이닝 이미지를 통과시키는 것을 수반한다. 손실 함수는 출력의 오류의 측정이다. 역방향 패스는 손실 함수에 대한 기여 팩터들을 결정한다. 가중치 업데이트는 필터의 파라미터를 업데이트하여 CNN 을 최적을 향해 이동시키는 것을 수반한다. 학습 속도는 최적에 도달하기 위해 반복 당 가중치 업데이트의 범위를 결정한다. 학습 속도가 너무 낮으면, 트레이닝은 너무 오래 걸리고 너무 많은 처리 용량을 수반할 수도 있다. 학습 속도가 너무 빠르면, 각각의 가중치 업데이트가 너무 커서 주어진 최적 또는 임계값의 정밀한 달성을 허용하지 않을 수도 있다.
역전파 프로세스는 트레이닝에서 복잡성을 유발할 수 있으므로 트레이닝의 시작 시 더 낮은 트레이닝 속도 및 더 특정하고 신중하게 결정된 초기 파라미터에 대한 필요를 야기한다. 하나의 그러한 복잡성은 각 반복의 끝에서 가중치 업데이트가 발생하기 때문에 Conv 의 파라미터에 대한 변경이 네트워크가 깊어질수록 증폭된다는 것이다. 예를 들어, CNN 이 상술한 바와 같이 더 높은 레벨의 피쳐 분석을 허용하는 복수의 Conv 를 갖는다면, 제 1 Conv 에 대한 파라미터 업데이트는 각각의 후속 Conv 에서 곱해진다. 네트 (net) 효과는 주어진 CNN 의 깊이에 따라 파라미터에 대한 가장 작은 변경이 큰 영향을 미칠 수 있다는 것이다. 이러한 현상은 내부 공변량 시프트로서 지칭된다.
본 명세서에 개시된 실시형태는 기지의 CNN 에 비해 몇 가지 이점을 갖는다. 이러한 이점들은 예를 들어 풀링 계층에 내재된 손실된 공간 정보를 피하고, 역전파 프로세스에 내재된 내부 공변량 시프트를 줄이거나 최소화하고, 더 복잡한 피쳐 검출을 달성하기 위해 딥 (deep) 신경망에서 일반적으로 필요한 처리 시간과 속도를 감소시키는 CNN 을 제공하는 것을 포함한다.
전술한 바와 같이, CNN 은 수용 필드의 다중 계층으로 구성된다. 이들은 입력 이미지의 일부를 처리하는 "뉴런” (또는 커널) 집합이다. 그런 다음, 이들 집합의 출력들은 오리지날 이미지의 더 나은 표현을 얻기 위해 그들의 입력 영역들이 중첩하도록 타일링된다; 이것은 모든 그러한 계층에 대해 반복된다. 타일링은 CNN 이 입력 이미지의 변환을 허용할 수 있게 한다. CNN 은 예를 들어 Long et al., "Fully Convolutional Networks for Semantic Segmentation", CVPR 2015, 및 Noh et al., "Learning Deconvolution Network for Semantic Segmentation", ICCV 2015 에 기술되었고, 이들 각각의 내용은 본원에 참조에 의해 포함된다.
CNN 은 컨벌루션 및 완전히 연결된 계층들의 조합들을 포함할 수 있으며, 각 계층의 끝에서 또는 각 계층 후에 포인트별 비선형성이 적용된다. 입력의 작은 영역들에 대한 콘볼루션 연산은 자유 파라미터의 수를 줄이고 일반화를 향상시키기 위해 도입된다. 콘볼루션 네트워크의 한 가지 주요 이점은 콘볼루션 계층에서의 공유된 가중치의 사용이며, 이는 동일한 필터 (가중치 뱅크) 가 계층의 각 픽셀에 대해 사용됨을 의미한다; 이는 메모리 사용 공간을 줄이고 성능을 향상시킨다.
일 실시형태에서, CNN 은 미분가능 함수 (differentiable function) 를 통해 입력 볼륨을 출력 볼륨으로 변환하는 (예를 들어, 클래스 스코어를 유지하는) 별개의 계층의 스택에 의해 형성된다.
이러한 실시형태에서, 콘볼루션 계층은 빈, 단일 클론 및 폴리 클론으로서 정의된다. 계층의 파라미터는 작은 수용 필드를 갖지만 입력 볼륨의 전체 깊이를 통해 확장되는 학습가능 필터들의 세트를 포함할 수 있다. 순방향 패스 동안, 각 필터는 입력 볼륨의 너비와 높이에 걸쳐 콘볼빙되어 필터 및 입력의 엔트리들 사이의 내적을 컴퓨팅하고 해당 필터의 2 차원 활성화 맵을 생성한다. 결과적으로, 네트워크는 입력의 일부 공간 위치에서 특정 유형의 피쳐를 볼 때 활성화되는 필터를 학습한다.
깊이 디멘젼을 따라 모든 필터에 대한 활성화 맵을 적층하는 것은 콘볼루션 계층의 전체 출력 볼륨을 형성한다. 따라서, 출력 볼륨의 모든 엔트리는 또한, 입력의 작은 영역을 보고 동일한 활성화 맵의 뉴런과 파라미터를 공유하는 뉴런의 출력으로 해석될 수 있다.
일 실시형태에서, 공간 배열은 깊이, 스트라이드 (stride) 및 제로 패딩과 같은 콘볼 루션 계층의 출력 볼륨의 크기를 제어하는 하이퍼파라미터에 기초한다.
일 실시형태에서, 출력 볼륨의 깊이는 입력 볼륨의 동일한 영역에 연결하는 계층의 뉴런들의 수를 제어한다. 이러한 뉴런들 모두는 입력의 상이한 피쳐에 대해 활성화하는 것을 학습할 것이다. 예를 들어, 제 1 콘볼루션 계층이 원시 이미지를 입력으로 사용하면, 깊이 디멘젼을 따른 상이한 뉴런들이 다양한 배향된 에지, 또는 컬러 얼룩의 존재하에서 활성화될 수도 있다.
일 실시형태에서, 스트라이드는 공간 디멘젼 주위의 깊이 열들 (너비 및 높이) 이 할당되는 방법을 제어한다. 스트라이드가 1 일 때, 뉴런의 새로운 깊이 열이 단지 1 공간 단위 떨어져 공간 위치들에 할당된다. 이것은 열들 사이의 과도하게 중첩하는 수용 필드, 및 또한 큰 출력 볼륨을 야기한다. 반대로, 보다 높은 스트라이드를 사용하면, 수용 필드가 덜 겹치고 결과 출력 볼륨은 공간적으로 더 작은 치수를 가질 것이다.
때로는 입력을 입력 볼륨의 경계에서 0 들로 채우는 것이 편리하다. 이러한 제로 패딩의 크기는 제 3 하이퍼파라미터이다. 제로 패딩은 출력 볼륨 공간 크기의 제어를 제공한다. 특히, 때로는 입력 볼륨의 공간 크기를 정확하게 보존하는 것이 바람직하다.
이러한 실시형태에서, 파라미터 공유 방식은 자유 파라미터의 수를 제어하기 위해 콘볼루션 계층에서 사용된다. 그것은 하나의 합리적인 가정에 의존한다: 한 패치 피쳐가 일부 공간 위치에서 컴퓨팅하는 데 유용하다면, 그것은 상이한 위치에서 컴퓨팅하는 데도 유용해야 한다는 것. 즉, 깊이의 단일 2 차원 슬라이스를 깊이 슬라이스로서 표시하면, 우리는 각 깊이 슬라이스의 뉴런을 동일한 가중치와 바이어스를 사용하도록 제한한다.
단일 깊이 슬라이스의 모든 뉴런이 동일한 파라미터화를 공유하고 있기 때문에, CONV 계층의 각 깊이 슬라이스에서의 순방향 패스는 입력 볼륨과의 뉴런의 가중치의 콘벌루션 (따라서 그 이름: 콘볼루션 계층) 으로서 컴퓨팅될 수 있다.
따라서, 가중치의 세트를 입력과 콘볼빙되는 필터로서 지칭하는 것이 일반적이다. 이러한 콘볼루션의 결과는 활성 맵이며, 각각의 상이한 필터에 대한 활성 맵의 세트는 깊이 디멘젼을 따라 적층되어 출력 볼륨을 생성한다. 파라미터 공유는 CNN 아키텍처의 변환 불변성에 기여한다.
다양한 실시형태에서, 예를 들어, 도 7 의 신경망 (700) 에 의해 도시된 바와 같이, 신경망 (또는 CNN) 이 제공된다. 예시적인 신경망과 관련된 부가적인 세부 사항은 도 8 및 도 9a 내지 도 9d 에 도시되어 있으며, 도 8 및 도 9a 내지 도 9d 에 의해 캡쳐된 CNN 피쳐가 도 7 의 도시된 네트워크 또는 본 명세서의 다양한 다른 실시형태와 함께 사용될 수 있기 때문에, 이러한 실시형태를 설명할 때만 참고 목적으로 사용될 것이다.
도 7 에서, 신경망 (700) 은 연관된 제 1 (720), 제 2 (740) 및 제 3 (760) 처리 블록들 (또는 잔차 네트워크 블록) 을 갖는 제 1 다운 샘플링 블록 (710), 제 2 다운 샘플링 블록 (730) 및 제 3 다운 샘플링 블록 (750) 을 포함한다. 제 1 다운 샘플링 블록 (710) 은 입력 이미지 (701) 를 수신한다. 도시된 바와 같이, 각각의 다운 샘플링 블록은 그의 연관된 처리 (또는 잔차) 블록이 뒤따를 수 있다. 처리 (또는 잔차) 블록은 아래에서 상세히 논의되는 바와 같이 단일 또는 다중 분기될 수 있다.
CNN 은 복수의 다운 샘플링 블록 (예를 들어, 도 7 에서와 같이 3 개) 을 포함 할 수 있으며, 각각의 다운 샘플링 블록은 다운 샘플링 콘볼루션 계층 (Conv), 배치 정규화 (norm) 계층 및 게이팅 함수를 포함하는 활성화 계층을 포함할 수 있다.
도 8b 는 입력 (871)을 수용하고 출력 (879) 을 제공하고, 커널 크기 DxD 를 갖는 Conv (874), 배치 놈 계층 (876) 및 활성화 계층 (878) 을 포함하는 다운 샘플링 블록의 예를 도시한다. 활성화 계층은 예를 들어 ELU 또는 ReLU 일 수 있다. 다양한 실시형태들에서, 활성화 계층은 다운 샘플링 콘볼루션 계층으로부터 직접 이미지 데이터를 수신하는 배치 놈 계층으로부터 직접적으로 이미지 데이터를 수신한다. 다운 샘플링 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시키도록 기능할 수 있다. 이것은 도 9a 내지 도 9d 를 참조하여 더 상세히 설명될 것이다.
처리 블록들 (또는 잔차 네트워크 블록) 은 단일 분기 처리 블록 또는 다중 분기 처리 블록일 수 있으며, 여기서 각각의 분기는 선행하는 다운 샘플링 블록으로부터의 출력을 처리하고, 그 다음 최종 출력에 추가의 다운 샘플링, 또는 업샘플링을 위해 다운 샘플링된 활성화 맵을 생성하기 위해 양 분기들의 출력을 결합한다.
도 8a 는 업스트림 다운 샘플링 블록 (도시 생략, 도 8b 와 관련된 논의를 참조) 으로부터 (예를 들어, 활성화 맵의 형태로) 입력 (805) 을 수용하도록 구성된 다중 분기 처리 블록 (800) (또는 잔차 네트워크 블록) 의 예를 도시한다. 블록 (800) 은 제 1 분기 (810) 와 제 2 분기 (840) 를 포함한다. 제 1 분기 (810) 는 NxN 의 커널을 갖는 제 1 콘볼루션 계층 (815) (Conv), 제 1 Conv (815) 로부터 데이터를 수신하는 제 1 배치 정규화 (놈) 계층 (820), 제 1 배치 놈 계층 (820) 으로부터 데이터를 수신하는 (게이팅 함수를 포함하거나 게이팅 함수로서 작용할 수 있는) 제 1 활성화 계층 (825), 제 1 활성화 계층 (825) 을 통과하는 데이터를 수신하는, MxM 의 커널을 갖는 제 2 Conv (830), 및 제 2 Conv (830) 로부터 데이터를 수신하는 제 2 배치 놈 계층 (835) 을 포함한다. Conv 815 (NxN) 및 830 (MxM) 의 커널은 동일한 크기를 가질 수 있거나 상이할 수 있다. 도 9a-9c 에 도시 된 바와 같이 (이하 논의 됨), 도시된 잔차 네트워크들 내의 직렬 Conv 들로부터의 커널들은 동일하다 (3x3). 그럼에도 불구하고, 일반적으로 Conv 들 (815/830) 이 1x1 보다 큰 커널을 갖는 것이 바람직하다.
제 2 분기 (840) 는 제 3 Conv (845), 제 3 Conv (845) 로부터 데이터를 수신하는 제 3 배치 놈 계층 (850) 및 제 3 배치 놈 계층 (850) 으로부터 데이터를 수신하는 (게이팅 함수를 포함하거나 게이팅 함수로서 작용할 수 있는) 제 2 활성화 계층 (855) 을 포함한다. 블록 (800) 은 제 2 배치 놈 계층 (835) 으로부터의 데이터 및 제 2 활성화 계층 (855) 을 통과하는 데이터 양자 모두를 수신하는 재결합 계층 (860) 을 더 포함한다. 최종적으로, 블록 (800) 은 추가 프로세싱을 위해 블록 (800) 으로부터 출력 (864) 이 생성되기 전에, 재결합 계층 (860) 으로부터 수신된 데이터에 대해 게이팅 함수로서 역할할 수 있는 블록 활성화 계층 (862) 을 포함한다. 상술된 바와 같이, 활성화 계층은 예를 들어 ELU 또는 ReLU 일 수 있다. 다양한 실시형태들에서, 활성화 계층(들)은 ELU 이다.
도 8a 에서, 제 2 분기 (840) 는 선행 다운 샘플링 블록으로부터 수신된 이미지 데이터를 제 1 분기 (810) 보다 작은 정도로 처리한다. 특히, 제 1 분기 (810) 의 제 1 및 제 2 Conv (815/830) 가 전술한 바와 같이 일반적으로 1x1 보다 클 각각 NxN 및 MxM 의 필터 윈도우 를 사용하는 반면, 제 2 분기 (840) 의 제 3 Conv (845) 는 1x1 의 필터 윈도우 (또는 디멘젼 또는 커널) 를 사용한다. 이러한 필터 윈도우는 예를 들어 이미지 유형, 이미지 품질, 객체 유형, 객체 크기, 객체 형상, 출력 요건, 시간 제약, 스트라이드 길이 (아래에서 설명함) 및 전력/처리 자원과 같은 팩터를 고려하여 필요에 따라 필요한 대로 조정될 수 있다. 예를 들어, 제 1 및 제 2 Conv (815/830) 는 3 x 3 의 필터 창 (또는 디멘젼) 을 사용할 수 있다 (이 필터 창 크기를 보여주는 아래 도 9a-9d 참조).
도 8a 의 양 분기들이 1 의 스트라이드를 갖는 Conv 들을 가질 수 있지 만, 스트라이드는 마찬가지로 상이할 수 있다. 그러나, 재조합 층 (860) 이 효과적 이도록 하기 위해, 제 1 분기 (810) 상의 Conv 들 (815/830) 의 스트라이드를 곱한 결과는 제 2 분기 (840) 의 Conv (845) 의 스트라이드와 동일해야 한다. 다시, 스트라이드는 하기에서 더 상세히 논의된다.
활성화 단계 전에 배치 정규화 계층의 삽입은 내부 공변량 시프트를 최소화하는 것을 돕는 이점을 제공한다. 배치 놈 계층을 이와 같이 삽입함으로써, 그리고 확장에 의해, Conv 후에, 배치 놈은 Conv 의 출력을 정규화할 수 있으므로 활성화 단계에 정규화된 데이터를 제공하여 활성화의 보다 안정적인 분포를 허용한다. 역전파 프로세스 동안 내부 공변량 시프트를 최소화함으로써 신경망을 트레이닝하는 것이 더 높은 학습 속도 (가중치 업데이트의 정도) 를 통해 보다 적극적으로 행해질 수 있어서, CNN 이 네트워크에서의 주어진 필터에 대한 최적의 파라미터를 향해 작용함에 따라 효율성과 정확성의 손실없이 보다 빠른 CNN 학습을 야기한다.
또한, 최소 처리 정보의 분기 (예를 들어, 1x1 Conv 분기) 를 갖는 잔차 네트워크들의 추가는 트레이닝 동안 더 쉬운 학습을 허용한다. 이 최소 처리 분기는 최종 결과에 대한 이전 파라미터의 영향을 추적하는 보다 직접적인 경로를 제공한다. 결과적으로, 이 분기는 주어진 잔차 네트워크 내에서 스킵 연결 (아래에서 자세히 설명함) 과 거의 동일한 목적을 수행하여, 일부 정보가 변경되지 않은 채 네트워크를 통과할 수 있으므로 다운 샘플링 중에 손실될 수 있는 공간 정보를 손실하지 않는다.
요약하면, 따라서, 단독으로 및 배치 정규화 계층과 함께 잔차 네트워크의 사용은 종래 기술에 알려진 신경망에 비해 트레이닝 동안 보다 용이하고 더 효율적인 학습을 허용한다. 이 이점은 예를 들어 다운 샘플링 중에 더 많은 공간 정보를 유지하고 내부 공변량 시프트를 최소화함으로써 성취된다. 공간 정보의 손실을 최소화하는 것은, 덜 처리된 정보가 (전술한 바와 같은 다운 샘플링 단계들 내에서, 그리고 후술되는 바와 같이 업 샘플링 단계들로 순방향으로) 신경망 프로세스 동안 순방향으로 공급되는 것을 허용하는 연결들 뿐아니라 풀링과 같은 기지의 방법에 비해 다운 샘플링 동안 더 많은 중첩을 허용하는 스트라이딩 (striding) (아래에서 자세히 설명함) 을 사용하여 또한 달성된다.
특히 1x1 필터 윈도우를 사용하는 (즉, 다운 샘플링되지 않은) 분기들 중 하나를 갖는 다중 분기 잔차 네트워크를 사용함으로써, 신경망은 추가의 다운 샘플링을 위해 준비되는 (선행의 Conv 로부터 다운 샘플링되지 않은) 품질 이미지 데이터를 출력하기 위해 (더 큰 커널 또는 필터 크기로 다수의 컨벌루션을 겪을 수도 있는) 다른 분기로부터의 데이터와, 재결합 계층 (860) 에서, 단일 윈도우로서 모든 픽셀의 분석이 결합되는 것을 보장하기 위해 동일한 해상도를 유지하면서 선행의 Conv 로부터의 출력 데이터를 더욱 콘볼빙하는 것이 허용된다.
도 7 로 돌아가서, 신경망 (700) 은 제 1 업 샘플링 블록 (770), 제 2 업 샘플링 블록 (780) 및 제 3 업 샘플링 블록 (790) 을 더 포함하며, 출력 (799) 은 제 3 업 샘플링 블록 (790) 에 후속한다. 각각의 업 샘플링 블록은 트랜스포즈 콘볼루션 (또는 디콘볼루션) 계층, 업 샘플링 배치 놈 계층, 및 게이팅 함수를 포함하는 업 샘플링 활성화 계층을 포함할 수 있다.
도 8c 는 입력 (881) 을 수용하고 출력 (889) 을 제공하는, 그리고 커널 크기 ZxZ 를 갖는 트랜스포즈 Conv (884), 배치 놈 계층 (886) 및 활성화 계층 (888) 을 포함하는 업 샘플링 블록의 예를 도시한다. 이들 서브 컴포넌트들은 도 9a 내지 도 9d 를 참조하여 더 상세히 설명될 것이다. 각각의 업 샘플링 블록의 트랜스포즈 콘볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키며, 이에 의해 다운 샘플링된 출력을 재구성하도록 구성될 수 있다. 부가적으로, 하나 이상의 업 샘플링 블록은 또한 재결합 계층을 포함할 수 있으며, 이것에 의해 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터는 (후술되는 스킵 연결을 통해) 선행의 잔차 네트워크 블록으로부터의 이미지 데이터와 병합된다.
신경망의 아키텍처와 관련하여, 업 샘플링 블록의 수는 다운 샘플링 블록의 수와 동일하게 구성될 수 있다. 다양한 실시형태들에서, 신경망은 n 개의 다운 샘플링 블록, n 개의 잔차 네트워크 (또는 처리) 블록, n 개의 업 샘플링 블록, 및 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록을 갖는다 (도 9d 의 설명 참조). 아래에서 더 상세히 설명되는 바와 같이, 공간 해상도가 다운 샘플링 프로세스 동안 부분적으로 감소되기 때문에, 동일한 분수 비율로 공간 해상도를 증가시키길 원할 수도 있다. 예를 들어, 다운 샘플링 블록 (또는 결합된 다운 샘플링 및 잔차 네트워크 블록) 을 통해 매번 공간 해상도가 1/2 로 줄어드는 경우 (2 의 팩터), 공간 해상도를 오리지날 이미지 디멘젼까지 다시 배가시키는 것이 가장 효율적일 수도 있다. 이것은 동일한 수의 다운 샘플링 및 업 샘플링 블록들을 야기할 수 있다.
예를 들어, 도 7 에서, 각 Conv 는 이미지 데이터의 공간 해상도를 2 의 팩터로 감소시키고 각 트랜스포즈 Conv 는 이미지 데이터의 공간 해상도를 2 의 팩터로 증가시킨다. 공간 해상도의 감소는, 예를 들어 한 번에 2 픽셀 씩 콘볼루션 필터 (또는 커널) 를 슬라이딩시킴으로써 달성될 수 있다. 이 두 픽셀 슬라이드는 스트라이드 길이로서 지칭된다. 한 번에 2 픽셀 씩 슬라이딩하는 경우, 스트라이드는 2 가 될 것이다. 2 의 스트라이드 길이를 사용함으로써, Conv 는 Conv 에서 출력되는 활성화 맵의 디멘젼을 절반으로 줄임으로써 다운 샘플링할 수 있다.
그러나, 스트라이딩 (striding) 하는 것에 의해, 그리고 위에 언급된 것처럼 풀링하지 않음으로써, 풀링에 내재할 수 있는 공간 정보의 손실을 피할 수 있다. 필터 크기는 얼마나 많은 로컬 정보가 네트워크의 다음 계층의 각 픽셀에 영향을 미치는 단일 픽셀 분석으로 끌어들여지는 지를 결정한다. 일반적으로, 필터 크기는 관심 픽셀에 중심이 맞춰지도록 홀수이다. 예를 들어, 5x5 필터는 주변 24 픽셀을 조사하여 주어진 영역의 하나의 중심 픽셀을 분석한다. 풀링에 의해, 제 1 영역의 픽셀에 대응하는 단일 값을 효과적으로 결정하기 위해 제 1 영역이 검사된다. 일단 필터가 제 2 영역으로 이동하면, 제 1 영역의 픽셀은 해당 필터 스윕 중에 더 이상 분석되지 않는다. 이는 수행된 이미지 분석의 유형 (예를 들어, 검출되는 객체 유형) 에 따라 매우 오해의 소지가 있거나, 조악하거나, 부정확한 결과를 초래할 수 있다.
한편, 스트라이드 이론을 사용하는 경우, 일단 제 1 영역 (예를 들어, 5x5 영역) 이 검사되고 제 2 영역 (또한 5x5) 에 2 픽셀 스트라이드가 발생하면, 2 픽셀 스트라이드 샘플링의 최종 결과는 이전의 크기의 절반으로 이미지 출력 (활성화 맵 출력) 을 발생시킬 것이므로, 픽셀 포인트들이 2 회 이상 검토될 것이며 다수의 픽셀에 대한 결정들에 고려되어, 시종 다운 샘플링을 여전히 허용하도록 중첩이 분명히 존재할 것이다. 따라서, 스트라이드를 사용하면, 풀링에 비해 공간 정보의 훨씬 더 적은 손실로 다운 샘플링이 발생한다. 적절한 스트라이드 길이를 결정하는 팩터들은, 예를 들어, 이미지 유형, 이미지 품질, 객체 유형, 객체 크기, 객체 형상, 출력 요건, 시간 제약 및 전력/처리 자원을 포함한다.
도시된 바와 같이, 입력 이미지 (701) 의 공간 해상도가 X 인 경우, 다운 샘플링 블록 (710) 은 공간 해상도를 X/2 로 절반만큼 감소시킨 다음, 다운 샘플링 블록 (730) 에 의해 X/4 로, 그 후 다운 샘플링 블록 (750) 에 의해 X/8 로 감소킨다. 그 다음, 업 샘플링 블록 (770) 은 X/8 입력을 X/4 로 배가시키고, 블록 (780) 은 X/2 로 및 블록 (790) 은 X, 또는 출력 (799) 에서의 오리지날 크기로 배가시킬 수 있다. 도 7 은 각 다운 샘플링 블록의 높이가 감소하고 각 업 샘플링 블록의 높이가 증가함에 따라 이를 시각적으로 나타낸다.
다운 샘플링이 진행됨에 따라, CNN 은 그의 프로세싱의 피쳐 복잡성을 증가시켜, 낮은 레벨 피쳐 분석에서 높은 레벨 피쳐 분석으로 진행하도록 설계될 수 있다. 이전에 논의된 바와 같이, CNN 이 더 복잡한 피쳐들을 검출할 수 있도록 하기 위해, 추가의 Conv 들이 이전의 Conv 의 출력 (즉, 활성화 맵) 을 분석하기 위해 추가될 수 있다. 예를 들어, 제 1 Conv 가 곡선이나 에지와 같은 기본 피쳐를 찾는 경우, 제 2 Conv 는 이전 Conv 에서 검출된 개별 피쳐들의 조합일 수 있는 형상들과 같은 더 복잡한 피쳐를 찾을 수 있다. 일련의 Conv 들을 제공함으로써, CNN 은 점차적으로 더 높은 레벨의 피쳐들을 검출하여 결국 특정의 원하는 객체 검출에 도달할 수 있다. 또한, Conv 들이 서로 적층하여 이전 활성화 맵 출력을 분석함에 따라, 스택에서의 각 Conv 는 자연스럽게 각 Conv 레벨에서 발생하는 축소 (scaling down) 로 인해 점점더 큰 수용 필드를 분석하여 CNN 이 관심의 객체를 검출함에 있어서 픽셀 공간의 성장하는 영역에 응답하는 것을 허용할 것이다.
도 7 에서, 각각의 Conv 및 프로세싱 블록은 채널 깊이를 2 의 팩터에 의해 증가시키고, 각각의 업 샘플링 블록은 제 3 업 샘플링 블록 (790) 까지 채널 깊이를 2 의 팩터에 의해 감소시킨다. 도시된 바와 같이, 다운 샘플링 블록 (710) 및 프로세싱 블록 (720) 에서, 32 개의 채널들 또는 필터들이 사용된다. 다운 샘플링 블록 (730) 및 프로세싱 블록 (740) 에서, 채널들의 수는 64 이다. 마지막으로, 다운 샘플링 블록 (750) 및 프로세싱 블록 (760) 은 128 개의 채널들을 사용한다. 반대로, 업 샘플링 블록 (770) 은 채널을 최대 64 개까지, 업 샘플링 블록 (780) 은 32 개까지 및 업 샘플링 블록 (790) 은 3 개까지 절반으로 줄인다 (그 중요성은 아래에서 보다 상세하게 논의될 것이다). 도 7 은 시각적으로 일반적으로 각 다운 샘플링 블록의 폭이 증가하고 각 업 샘플링 블록의 폭이 감소함에 따라 채널 사용의 이러한 증가 및 감소를 나타낸다 (최종 블록 (790) 제외).
공간 해상도의 변화율 (오리지날, X/2, X/4, X/8, X/4, X/2, 오리지날) 은 채널 깊이 비율 (0, 32, 64, 128 , 64, 32, 3, 0) 과 거의 반대이지만, 이는 CNN 아키텍처에는 필요하지 않다. 그러나, 공간 해상도 대 채널 수의 일치하는 변화는 CNN이 입력 데이터 (활성화 맵 디멘젼) 순차적 감소로 필터 깊이의 순차적 증가를 오프셋함으로써 시간, 처리 능력 및 출력 (799) 의 품질을 최대화하는 것을 유리하게 허용한다. 결과적으로, CNN 에 대한 처리 요구가 각 연속 다운 샘플링 블록을 통해 필터의 깊이에 따라 증가함에 따라 CNN은 각 연속 다운 샘플링 블록을 통해 이미지 배열 입력 (활성화 맵 디멘젼) 을 감소시킴으로써 이를 오프셋하여 CNN 이 더 큰 깊이를 가로질러 더 작은 입력을 분석하는 것을 허용한다. 그에 상응하여, 그 역이 출력 (799) 에 대해 업 샘플링 블록을 백업하도록 발생한다.
이미지 볼륨의 재구성은 또한 스킵 아키텍처의 한 형태로도 도움이 될 수 있다. 예를 들어, 신경망 내에 삽입된 스킵 연결은 초기 다운 샘플링 계층에서 최신 샘플링 계층으로 정보를 투영하여 이 초기에 최소로 처리된 정보가 재구성 프로세스의 일부가 되도록 할 수 있다. 스킵 아키텍처의 사용 없이는, 업 샘플링 동안 재구성을 크게 도울 수도 있는 초기 Conv 계층에서 캡처된 일부 정보가 다운 샘플링 프로세스 동안 손실되었을 수도 있다. 다른 말로하면, 그러한 귀중한 정보는 그 정보가 더 사용 되는 것이 너무 추상적이 될 수 있는 포인트까지 다운 샘플링되었을 것이다. 이 정보를 스킵 아키텍처를 사용하여 프라이머리 계층에서 최신 업 샘플링 계층으로 공급하는 것은 이전 정보가 유지되고 효율적인 업 샘플링에 사용되는 것을 허용한다.
다양한 실시형태들에서, 신경망은 (예를 들어, 스킵 연결을 통해) 제 2 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, (예를 들어, 스킵 연결을 통해) 제 1 잔류 네트워크 블록으로부터의 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함할 수 있다.
도 7 에서, 예를 들어, 제 1 스킵 연결 (792) 및 제 2 스킵 연결 (794) 이 제공된다. 제 1 스킵 연결 (792) 은 X/2 해상도에서 처리 블록 (720) 으로부터의 출력 정보를 또한 X/2 해상도에서 업 샘플링 블록 (780) 의 재결합 계층, 포스트-배치 놈 (post-batch norm) 으로 순방향으로 공급한다. 이 스킵 연결을 통해, 신경망은 보다 정확하고 효율적인 업 샘플링을 허용하기 위해 대응하는 업 샘플링 블록과 동일한 해상도로 초기 및 최소로 처리된 정보를 제공한다. 제 2 스킵 연결 (794) 은 X/4 해상도에서 처리 블록 (740) 으로부터의 출력 정보를 또한 X/4 해상도에서 업 샘플링 블록 (770) 의 재결합 계층, 포스트-배치 놈 (이하에 논의됨) 으로 순방향으로 공급함으로써 유사하게 기능한다.
위에서 언급했듯이 CNN 은 이미지 분류 및 이미지 검출 (또한 이미지 내에서의 객체 검출) 을 포함하는 다양한 목적으로 사용될 수 있다. 따라서, CNN 의 목표에 따라, 출력은 CNN 에 제기된 주요 질문에 답해야한다. 본 명세서의 다양한 실시형태들에서, CNN 은 이미지 검출에 사용된다. 다양한 실시형태들에서, 이미지 검출은 관심있는 객체들을 검출하는데 사용될 수 있다. 여러 실시형태들에서, 관심의 객체는 마이크로-객체들일 수 있다. 다양한 실시형태들에서, 이미지 검출은 마이크로 객체를 복수의 마이크로 객체 유형 중 적어도 하나로 분류하기 위해 사용될 수 있다. 여러 실시형태들에서, 마이크로-객체는 생물학적 세포이다. 여러 실시형태들에서, 생물학적 세포는 예를 들어 T 세포, B 세포, NK 세포, 대식세포 또는 이들의 조합과 같은 면역 세포이다. 다양한 실시형태들에서, 생물학적 세포는 세포주로부터의 세포 (예를 들어, CHO 세포) 또는 암세포이다. 다양한 실시형태들에서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
도 7 의 업 샘플링 블록 (790) 에서의 3 개의 채널의 도시된 사용과 관련하여, 다양한 실시형태들에서, CNN 을 이용하는 시스템은 이미지 입력으로부터 마이크로-객체 카운트를 획득한다. 시스템은 입력 이미지의 복수의 픽셀들에 주석을 달음으로써 이것을 행할 수 있으며, 그 세트의 각 픽셀 주석은 이미지의 대응 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타낸다. 이러한 분석을 통해, 마이크로-객체 카운트가 획득될 수 있다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성을 포함한다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성은 적어도 마이크로 객체 중심, 마이크로 객체 에지 및 비 마이크로 객체 (또는 세포 중심, 세포 에지 및 비세포) 를 포함한다. 도 7 의 업 샘플링 블록 (790) 은 그것의 3 개의 채널 깊이에 의한 이러한 3 마이크로-객체 특성화를 도시한다. 이와 같이, 도 7 의 최종 업 샘플링 블록 (790) 은 신경망 (700) 이 정확한 마이크로-객체 (예를 들어, 세포) 카운트를 결정하는데 필요한 객체 특성화를 제공한다.
도 9a 내지 도 9d 는 여러 실시형태에 따른 더욱 상세한 콘볼루션 신경망 (CNN) (900) 의 개략도를 도시한다. 개략도는 위에 논의된 다수의 신경망 원리들을 포함하고, 그 때문에, 이러한 원리들은 자세히 반복하지 않을 것이다. 그러나, 원리들은 유사할 수 있지만, 본 명세서의 다양한 실시형태들에서 사용되는 파라미터들은 모두 상술된 바와 같은 특정 이유들에 기초하여 변할 수 있으며, 그것들은 예를 들어, 이미지 유형, 이미지 품질, 객체 유형, 객체 크기, 객체 형상, 출력 요건, 시간 제약 및 전력/처리 리소스를 포함한다. 이와 같이, 도 9a 내지 도 9d 의 개략도에 사용된 파라미터는 단지 예일 뿐이다.
배향 목적을 위해, 도 9a 는 좌측에서 우측으로, 다양한 실시형태들에 따른 제 1 잔차 네트워크 블록 (920) 이 뒤 따르는 제 1 다운 샘플링 블록 (910) 을 도시한다. 도 9b 는 좌측에서 우측으로, 다양한 실시형태들에 따라 제 2 잔차 네트워크 블록 (940) 이 뒤 따르는, (도 9a 의) 제 1 잔차 네트워크 블록 (920) 으로부터 데이터를 수신하는 제 2 다운 샘플링 블록 (930) 을 도시한다. 도 9c 는 좌측에서 우측으로, 다양한 실시형태들에 따라 제 3 잔차 네트워크 블록 (960) 이 뒤 따르는, (도 9b 의) 제 2 잔차 네트워크 블록 (940) 으로부터 데이터를 수신하는 제 3 다운 샘플링 블록 (950) 을 도시한다. 도 9d 는 좌측에서 우측으로, 제 1 업 샘플링 블록 (970), 제 2 업 샘플링 블록 (980) 및 제 3 업 샘플링 블록 (990) 을 도시한다. 제 1 업 샘플링 블록 (970) 은 제 3 잔차 네트워크 블록 (960) (도 9c) 으로부터 데이터를 수신하고, 제 1 업 샘플링 재결합 계층 (976) 을 포함하여, 제 1 업 샘플링 블록 (970) 의 배치 정규화 계층으로부터의 데이터가 제 2 스킵 연결 (994) 을 통해 순방향으로 공급되는 제 2 잔차 네트워크 블록 (940) 의 최종 ELU 계층 (948) 으로부터의 데이터와 재결합된다. 유사하게, 제 2 업 샘플링 블록 (980) 은 제 2 업 샘플링 재결합 계층 (986) 을 포함하여, 제 2 업 샘플링 블록 (980) 의 배치 정규화 계층으로부터의 데이터가 제 1 스킵 연결 (992) 을 통해 순방향으로 공급되는 제 1 잔차 네트워크 블록 (920) 의 최종 ELU 계층 (928) 으로부터의 데이터와 재결합된다.
다시 도 9a 를 참조하면, CNN (900) 은 이미지 입력 (901) 을 수신하도록 구성된 제 1 다운-샘플링 블록 (910) 을 포함한다. 제 1 다운 샘플링 블록 (910) 은 제 1 Conv (912), 제 1 배치 놈 계층 (914), 및 제 1 활성화 계층 (916) (예를 들어, 도 9a 의 ELU) 을 포함한다. 제 1 Conv (912) 는 커널 크기와 스트라이드에 대해 서로 다른 파라미터를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 2 픽셀이다. 계층 (916) 으로부터의 출력은 제 1 분기 (922) 및 제 2 분기 (924) 를 포함하는 제 1 잔차 네트워크 블록 (920) 에 공급한다. 잔차 네트워크의 레이아웃에 대한 일반적인 설명은 도 8 을 참조하라. 제 1 분기 (922) 에서, 2 개의 Conv 는 3x3 의 커널 크기를 갖는다. 도 9a 는 또한 전술한 바와 같이 제 1 재결합 계층 (926) 및 제 1 ELU (928) 뒤에 출력하는 순방향 데이터를 공급하는 제 1 스킵 연결 (992) 의 시작을 도시한다. 또한 CNN (900) 의 이 단계에 대한 축소는 2 의 팩터에 의해서 이며 (1/2 공간 해상도까지 다운 샘플링되며) 피쳐들의 32 개의 채널들이 이러한 단계에서 사용된다.
도 9b 를 참조하면, CNN (900) 은 제 2 Conv (932), 제 2 배치 놈 계층 (934) 및 제 2 활성화 계층 (936) (예를 들어, 도 9b 의 ELU) 을 포함하는 제 2 다운 샘플링 블록 (930) 을 더 포함한다. 제 2 다운 샘플링 블록 (930) 은 제 1 ELU (928) 로부터 출력을 수신하도록 구성된다. 제 2 Conv (932) 는 커널 크기와 스트라이드에 대해 서로 다른 파라미터를 가질 수 있다. 여기서 커널은 다시 5x5 이고 스트라이드는 다시 2 픽셀이다. 계층 (936) 으로부터의 출력은 제 3 분기 (942) 및 제 4 분기 (944) 를 포함하는 제 2 잔차 네트워크 블록 (940) 에 공급한다. 잔차 네트워크의 레이아웃에 대한 일반적인 설명은 도 8 을 참조하라. 제 1 분기 (942) 에서, 2 개의 Conv 는 3x3 의 커널 크기를 갖는다. 도 9b 는 또한 전술한 바와 같이 제 2 재결합 계층 (946) 및 제 2 ELU (948) 뒤에 출력하는 순방향 데이터를 공급하는 제 2 스킵 연결 (994) 의 시작을 도시한다. 또한 CNN (900) 의 이 단계에 대한 축소는 도 9a 의 이전의 단계에 대해 2 의 팩터에 의해서 이며 (오리지날에 대해 1/4 공간 해상도까지 다운 샘플링되며) 피쳐들의 64 개의 채널들이 이러한 단계에서 사용된다.
도 9c 를 참조하면, CNN (900) 은 제 3 Conv (952), 제 3 배치 놈 계층 (954) 및 제 3 활성화 계층 (956) (예를 들어, 도 9c 의 ELU) 을 포함하는 제 3 다운 샘플링 블록 (950) 을 포함한다. 제 3 다운 샘플링 블록 (950) 은 제 2 ELU (948) 로부터 출력을 수신하도록 구성된다. 제 3 Conv (952) 는 커널 크기와 스트라이드에 대해 서로 다른 파라미터를 가질 수 있다. 여기서 커널은 다시 5x5 이고 스트라이드는 다시 2 픽셀이다. 계층 (956) 으로부터의 출력은 제 5 분기 (962) 및 제 6 분기 (964) 를 포함하는 제 3 잔차 네트워크 블록 (960) 에 공급한다. 잔차 네트워크의 레이아웃에 대한 일반적인 설명은 도 8 을 참조하라. 제 5 분기 (962) 에서, 2 개의 Conv 는 3x3 의 커널 크기를 갖는다. 또한 CNN (900) 의 이 단계에 대한 축소는 2 의 팩터에 의해서 이며 (1/8 공간 해상도까지 다운 샘플링되며) 피쳐들의 128 개의 채널들이 이러한 단계에서 사용된다.
도 9d 를 참조하면, CNN (900) 은 제 1 업 샘플링 블록 (970), 제 2 업 샘플링 블록 (980) 및 제 3 업 샘플링 블록 (990) 을 포함한다. 제 1 업 샘플링 블록 (970) 은 제 1 업 샘플링 Conv (972), 제 1 업 샘플링 배치 놈 계층 (974), 제 1 업 샘플링 재결합 계층 (976) 및 제 1 업 샘플링 활성화 계층 (978) (예를 들어, ELU) 을 포함한다. 제 1 업 샘플링 재결합 계층 (976) 은 제 1 스킵 연결 (992) 로부터 입력을 수신하고, 그 입력을 제 1 업 샘플링 배치 놈 계층 (974) 으로부터의 출력과 결합하고, 그 결합된 출력을 제 1 업 샘플링 활성화 계층 (978) 으로 공급하도록 구성된다. 다운 샘플링 Conv (912/932/952) 를 참조하여 상기 논의된 바와 같이, 업 샘플링 Conv 계층은 커널 크기 및 스트라이드에 대해 상이한 파라미터를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 제 1 업 샘플링 Conv (972) 에 대해 2 픽셀이다. 또한 CNN (900) 의 이 단계에 대한 축소는 제 3 잔차 네트워크 (960) 로부터의 출력에 대해 2 의 팩터에 의해서 이며 (1/4 공간 해상도까지 업 샘플링되며) 피쳐들의 64 개의 채널들이 이러한 단계에서 사용된다.
제 2 업 샘플링 블록 (980) 은 제 2 업 샘플링 Conv (982), 제 2 업 샘플링 배치 놈 계층 (984), 제 2 업 샘플링 재결합 계층 (986) 및 제 2 업 샘플링 활성화 계층 (988) (예를 들어, ELU) 을 포함한다. 제 2 업 샘플링 재결합 계층 (986) 은 제 2 스킵 연결 (994) 로부터 입력을 수신하고, 그 입력을 제 2 업 샘플링 배치 놈 계층 (984) 으로부터의 출력과 결합하고, 그 결합된 출력을 제 2 업 샘플링 활성화 계층 (988) 으로 공급하도록 구성된다. 다운 샘플링 Conv (912/932/952) 를 참조하여 상기 논의된 바와 같이, 업 샘플링 Conv 계층은 커널 크기 및 스트라이드에 대해 상이한 파라미터를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 제 2 업 샘플링 Conv (982) 에 대해 2 픽셀이다. 또한 CNN (900) 의 이 단계에 대한 축소는 제 1 업 샘플링 블록 (970) 으로부터의 출력에 대해 2 의 팩터에 의해서 이며 (1/2 공간 해상도까지 업 샘플링되며) 피쳐들의 32 개의 채널들이 이러한 단계에서 사용된다.
제 3 업 샘플링 블록 (990) 은 제 3 업 샘플링 Conv (992), 제 3 업 샘플링 배치 놈 계층 (994), 및 제 3 업 샘플링 활성화 계층 (996) (예를 들어, ELU) 을 포함한다. 계층 (996) 은 CNN (900) 에 대한 출력 (999) 을 생성한다. 다운 샘플링 Conv (912/932/952) 를 참조하여 상기 논의된 바와 같이, 업 샘플링 Conv 계층은 커널 크기 및 스트라이드에 대해 상이한 파라미터를 가질 수 있다. 여기서 커널은 5x5 이고 스트라이드는 제 3 업 샘플링 Conv (992) 에 대해 2 픽셀이다. 또한 CNN (900) 의 이 단계에 대한 축소는 제 2 업 샘플링 블록 (980) 으로부터의 출력에 대해 2 의 팩터에 의해서 이며 (오리지날 공간 해상도까지 업 샘플링되며) 피쳐들의 3 개의 채널들이 이러한 단계에서 사용된다.
도 7 과 관련하여 상술된 바와 같이, 다양한 실시형태들에서, CNN 을 이용하는 시스템은 이미지 입력으로부터 마이크로-객체 카운트를 획득한다. 시스템은 입력 이미지의 복수의 픽셀들에 주석을 달음으로써 이것을 행할 수 있으며, 그 세트의 각 픽셀 주석은 이미지의 대응 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타낸다. 이러한 분석을 통해, 마이크로-객체 카운트가 획득될 수 있다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성을 포함한다. 다양한 실시형태들에서, 복수의 마이크로-객체 특성은 적어도 마이크로 객체 중심, 마이크로 객체 에지 및 비 마이크로 객체 (또는 세포 중심, 세포 에지 및 비세포) 를 포함한다. 도 9d 의 업 샘플링 블록 (990) 은 그것의 3 개의 채널 깊이에 의한 이러한 3 마이크로-객체 특성화를 도시한다. 이와 같이, 도 9d 의 최종 업 샘플링 블록 (990) 은 신경망 (900) 이 정확한 마이크로-객체 (예를 들어, 세포) 카운트를 결정하는데 필요한 객체 특성화를 제공한다.
다양한 실시형태들에 따라, 이미지에서 마이크로-객체들을 자동 검출하기 위한 시스템들 및 방법들이 개시된다. 여러 실시형태들에서, 마이크로-객체는 생물학적 세포이다. 여러 실시형태들에서, 생물학적 세포는 예를 들어 T 세포, B 세포, NK 세포, 대식세포 또는 이들의 조합과 같은 면역 세포이다. 다양한 실시형태들에서, 생물학적 세포는 세포주로부터의 세포 (예를 들어, CHO 세포) 또는 암세포이다. 다양한 실시형태들에서, 생물학적 세포는 난모세포, 정자 또는 배아이다. 다양한 실시형태들에서, 생물학적 세포는 박테리아이다. 다양한 실시형태들에서, 생물학적 세포는 효모 또는 사상균과 같은 진균이다. 다양한 실시형태에서, 박테리아 또는 진균은 이미징 및 검출 전에 저장성 용액에 노출되어 세포를 팽창시키고 검출을 용이하게한다.
도 10 은 다양한 실시형태에 따라 이미지에서 마이크로-객체들을 자동 검출하기 위한 방법을 설명하는 예시적인 플로우챠트이다. 예시적인 플로우챠트는, 예를 들어, 이하에서 상세히 설명되는 바와 같이, 도 11의 시스템 (1200) 상에서 수행될 수 있다. 본 명세서에 도시된 바와 같이, 시스템 (1200) 의 이미지 획득 유닛 (1202) 의 이미징 소자 (1206) 에 의해 수행될 수 있는 단계 (1110) 는 미세유체 디바이스의 이미징 데이터를 수신하는 단계를 포함한다.
본원에서 도시된 바와 같이, 단계 (1120) 은 시스템 (1200) 의 이미지 획득 유닛 (1202) 의 이미지 사전 처리 엔진 (1208) 에 의해 구현될 수 있는 예시적인 작업흐름을 상술한다. 단계 (1120) 에서, 방법은 이미지 데이터를 사전 처리하여 이미지 데이터 내의 노이즈 및/또는 이미지 왜곡(들)과 같은 이상들을 감소시키는 단계를 포함한다. 노이즈의 한 가지 예는 미세유체 디바이스의 내부 표면과 연관될 수 있는 반복 패턴이다.
본원에서 도시된 바와 같이, 단계들 (1130 및 1140) 은 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 의 신경망 (1210) 과 같은 기계 학습 알고리즘에 의해 구현될 수 있는 예시적인 작업흐름 단계들을 상술한다. 단계 (1130) 에서, 방법은 신경망을 이용하여 이미징 데이터의 픽셀 데이터를 처리하여, 복수의 마이크로-객체 특성에 따라 픽셀 데이터에 주석을 다는 단계를 포함한다. 단계 (1140) 에서, 방법은 픽셀 데이터의 각 픽셀에 대한 확률 값을 출력하는 단계를 포함한다. 출력 확률 값은 복수의 픽셀 마스크의 형태일 수 있고, 각각의 마스크는 복수의 마이크로-객체 특성으로부터의 마이크로-객체 특성에 대응한다. 각각의 마스크는 그 마스크와 연관된 특정 마이크로-객체 특성과 관련하여 이미지에 대한 픽셀 주석들의 세트 (또는 확률 값들의 세트) 를 포함할 수 있다.
본원에 도시된 바와 같이, 단계 (1150) 은 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 의 임계값 엔진 (1212) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1150) 에서, 이 방법은 임계 값을 적용하여 적어도 어느 픽셀 확률이 정의된 임계값을 충족시키는지를 결정하는 단계를 포함한다.
본원에 도시된 바와 같이, 단계 (1160) 은 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 의 검출 엔진 (1214) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1160) 에서, 상기 방법은 임계값 적용 이후에 식별 가능한 마이크로-객체들의 수에 기초하여 마이크로-객체 카운트를 결정하는 단계를 포함한다.
도 12 는 다양한 실시형태에 따라 미세유체 디바이스에서 마이크로-객체들을 검출하고 특성화하기 위한 방법을 설명하는 예시적인 플로우챠트이다. 예시적인 플로우챠트는, 예를 들어, 이하에서 상세히 설명되는 바와 같이, 도 13의 시스템 (1400) 상에서 수행될 수 있다. 본원에 도시 된 바와 같이, 시스템 (1400) 의 이미징 엘리먼트 (1406) 에 의해 수행 될 수 있는 단계 (1310) 는 미세유체 디바이스의 동일한 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 수신하는 것을 포함한다. 다양한 실시형태에 따르면, 제 1 이미지는 명 시야 (또는 "조명 된") 이미지 일 수 있고 하나 이상의 제 2 이미지 각각은 형광 이미지, 적외선 이미지, 자외선 이미지 등과 같은 비 명 시야 (또는 비 조명된) 이미지 일 수 있다. 다양한 실시형태에 따르면, 제 1 이미지는 비 조명된 이미지 (예 : 형광, 적외선, 자외선) 일 수 있으며 하나 이상의 제 2 이미지 각각은 비 조명된 이미지 (예 : 형광, 적외선, 자외선) 일 수 있다. 다양한 실시형태에 따르면, 제 1 이미지는 비 조명된 이미지 (예를 들어, 형광, 적외선, 자외선) 일 수 있고 하나 이상의 제 2 이미지 각각은 조명된 또는 비 조명된 이미지 (예를 들어, 형광, 적외선, 자외선) 일 수 있다. 필수는 아니지만, 이미징 엘리먼트 (1406)는 시스템 (1400)의 이미지 획득 유닛의 일부일 수 있다.
다양한 실시형태에서, 시간 경과 이미지 (time lapse image) 가 선택된 기간 동안 미세유체 디바이스의 관심 영역에 대해 수집 될 수 있다. 시간 경과 이미지를 수집하는 것은 또한 시간 경과 값을 선택하는 것을 포함할 수 있다. 시간 경과 값 (1818) 은 시간 간격, 시간 지연, 총 사이클 수 및 이들의 조합으로 구성된 그룹으로부터 선택 될 수 있다. 시간 경과 이미지 분석은 여러 상황에서 유용 할 수 있다. 예를 들어, T 세포와 같은 세포로 세포 이동성을 추적하는 것이 유용 할 수 있습니다. 시간 경과를 사용하면, 마이크로-객체들은 근접성, 궤적, 및 원형도, 위치, 밝기 등과 같은 마이크로-객체를 특성화하는 데 사용되는 선택 가능한 파라미터의 임의의 것의 변화와 같은 팩터들에 기초하여 추종될 수 있다. 또한, 이미지 시퀀스 파일이 타입 랩스 이미지를 캡처하기 위해 을 유지될 수 있으며, 그 파일은 시간에 따른 변화를 이해하는 데 필요한 타임 스탬프, 노출 시간/시퀀스, 조명 비율, 및 기타 변수를 포함하도록 구성된다.
본원에서 도시된 바와 같이, 단계 (1320) 은 시스템 (1400) 의 이미지 사전 처리 엔진 (1202) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1320) 에서, 방법은 이미지 데이터를 사전 처리하여 제 1 이미지 및 제 2 이미지들 각각 내의 노이즈 및/또는 이미지 왜곡(들)과 같은 이상들을 감소시키는 단계를 포함한다. 필수는 아니지만, 사전 처리 엔진 (1408) 은 시스템 (1400) 의 이미지 획득 유닛의 일부일 수 있다.
본원에서 도시된 바와 같이, 단계 (1330) 은 시스템 (1400) 의 이미지 정렬 엔진 (1409) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1330) 에서, 방법은 제 2 이미지를 제 1 이미지와 광학적으로 정렬하기 위해 각각의 제 2 이미지를 변환하는 단계를 포함한다. 필수는 아니지만, 이미지 정렬 엘리먼트 (1409) 는 시스템 (1400) 의 이미지 획득 유닛의 일부일 수 있다.
다양한 실시형태에서, (제 1 및 하나 이상의 제 2 이미지의) 각각의 이미지는 예를 들어 필터 (또는 형광) 큐브와 같은 특정 파라미터와 연관 될 수 있다. 또한 각 큐브는 z 축을 따라 그 자신의 초점면 (또는 오프셋) 을 가질 수 있다. z 축을 따른 다수의 이미지가 생성되고 분석되는 경우, 이미지들의 z 스택의 z 에 대한 미분 (d/dz) 이 사용되어 불연속성을 식별 할 수 있으며, 이는 일반적으로 마이크로-객체 (예를 들어, 세포, 세포 기관 등) 의 가장자리에 해당 할 수 있다. 또한 분석된 이미지들은 거짓 착색되고 (false colored ) 적층되거나 결합되어 합성 이미지를 생성 할 수 있다. 이것은 이미지 사전 처리 및 정렬 후에 발생할 수 있다.
본원에서 도시된 바와 같이, 단계 (1340) 는 시스템 (1400) 의 신경망 (1410) (CNN) 과 같은 기계 학습 알고리즘에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1340) 에서, 방법은 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 신경망을 사용하여 제 1 이미지의 픽셀 데이터를 처리하는 단계를 포함한다. 관심 영역에 존재하는 마이크로-객체를 검출하는 것은 각각의 검출 된 마이크로-객체의 대응하는 경계를 검출하는 것을 포함 할 수 있다. 필수는 아니지만, 기계 학습 알고리즘은 시스템 (1400) 의 마이크로-객체 검출 유닛 (또는 마이크로-객체 검출 및 특성화 유닛 - 도 13 참조) (1404) 의 일부일 수 있다. 더욱이, 단계 (1340) 에서 또는 아래에 논의되는 단계 (1350) 이후의 후속 단계에서, 관심 영역에 존재하는 마이크로-객체를 검출하는 것은 적어도 하나의, 또는 각각의 검출된 마이크로-객체의 검출 된 경계를 증가 또는 감소시키는 것을 포함 할 수 있다. 경계의 증가 또는 감소는 예를 들어 고정 된 값 (예를 들어, +/- 0.5 마이크론, +/- 1.0 마이크론, +/- 1.5 마이크론, +/- 2.0 마이크론 등) 만큼 일 수 있다. 대안적으로, 경계의 증가 또는 감소는 예를 들어 상대적인 값 (예를 들어, 마이크로-객체의 직경의 10 %, 20 %, 30 %, 40 %, 50 % 또는 그 이상) 만큼일 수 있다. 경계를 증가시키는 것은 모든 "포지티브” 신호가 각 이미지에서 캡처되는 것을 보장하기 위해 사용될 수 있다. 경계를 증가시키는 것은 (예 : 배경을 계산할 때) 이미지에서 마이크로-객체와 연관된 모든 신호를 제거하는 데 사용될 수 있다. 경계를 감소시키는 것은 인접한 마이크로-객체의 신호가 관심 마이크로-객체와 연관되지 않는 것을 보장하는 것을 도울 수 있다.
본원에서 도시된 바와 같이, 단계 (1350) 은 시스템 (1400) 의 검출 엔진 (1414) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1350) 에서, 방법은 하나 이상의 제 2 이미지 각각에서 각각의 검출 된 마이크로-객체의 대응하는 경계 내에 위치한 신호를 검출하는 단계를 포함한다. 신호는 예를 들어 형광 신호일 수 있다. 신호를 검출하는 것은 신호의 양을 정량화하는 것을 포함할 수 있다. 필수는 아니지만, 검출 엔진 (1414) 은 시스템 (1400) 의 검출 및 특성화 유닛 (1404) 의 일부일 수 있다.
본원에서 도시된 바와 같이, 단계 (1360) 은 시스템 (1400) 의 데이터 처리 엔진 (미도시) 에 의해 구현될 수 있는 예시적인 작업흐름 단계를 상술한다. 단계 (1360) 에서, 방법은 검출 된 마이크로-객체의 하나 이상의 특성의 분포에 대응하는 시각적 디스플레이를 제공하는 단계를 선택적으로 포함한다. 시각적 디스플레이는 다차원 (예를 들어, 2 차원 또는 3 차원) 일 수 있다. 시각적 디스플레이는 동일한 특성을 공유하는 마이크로-객체의 하위 집합을 식별 할 수 있다. 대안으로 또는 추가로, 시각적 디스플레이는 사용자 입력이 마이크로-객체의 특정 하위 집단을 선택하도록 허용 할 수 있다. 필수는 아니지만, 데이터 처리 엔진은 시스템 (1400) 의 데이터 처리 유닛 (미도시) 의 일부일 수 있다.
도 12 의 방법은 다양한 상이한 방식으로 수행될 수 있다. 제 1 이미지는 명 시야 이미지 일 수 있다. 하나 이상의 제 2 이미지 각각은 형광 이미지, 발광 이미지, 적외선 이미지, 자외선 이미지 등일 수 있다. 대안적으로, 제 1 이미지 및 각각의 제 2 이미지는 형광 이미지, 발광 이미지, 적외선 이미지, 자외선 이미지 등일 수 있다. 예를 들어, 각 이미지는 전자기 스펙트럼의 고유 한 부분에서 방출되는 신호를 캡처 할 수 있다. 전자기 스펙트럼의 고유 한 부분은 겹치거나 겹치지 않을 수 있다. 마이크로-객체들은 세포들일 수 있다. 방법은 각각이 고유 한 특성 (예 : 세포 표면 단백질과 같은 특정 생물학적 분자의 발현) 에 대응할 수 있는 복수의 제 2 이미지 (예 : 2, 3, 4 개 등) 를 수신하는 단계를 추가로 포함 할 수 있다. 사전 처리는 각각의 수신 된 이미지에 대한 왜곡 보정을 계산하는 것을 포함 할 수 있다. 이미지의 왜곡 보정은 예를 들어, 도트들 사이에 알려진 간격을 갖는 도트 배열을 검사함으로써 계산된 룩업 테이블을 사용하는 것을 포함할 수 있다. 변환하는 단계는 예를 들어 제 1 이미지 (예를 들어, 명 시야 이미지) 와 정렬하기 위해 제 2 이미지 (예를 들어, 형광 이미지) 를 스케일링하는 것, 시프팅하는 것, 회전시키는 것 또는 이들의 조합을 포함 할 수 있다. 스케일링은 필요에 따라 선형 또는 더 높은 차수 일 수 있다. X 축 또는 Y 축을 따라 시프팅이 발생할 수 있다. 신경망은 (위에서 자세히 설명된) 컨볼루션 신경망 일 수 있다. 마이크로-객체 특성은 예를 들어 마이크로-객체 (예를 들어, 세포) 직경, 면적, 부피, 원형도, 밝기, 배경에 대한 밝기의 비율, 위치, 가장 가까운 이웃 마이크로-객체까지의 거리 등을 포함 할 수 있다.
형광, 발광 및/또는 기타 특성 (예 : 크기, 모양, 가장 가까운 이웃까지의 거리 등) 을 기반으로 마이크로-객체를 하위 집단으로 그룹화하는 것은 형광 활성화 세포 분류 (FACS) 와 유사한 방식으로 수행될 수 있으며, 여기서 정량화 된 형광 신호 및 선택적으로 전방향 산란이 2 차원 플롯으로 그래프화되어 별개의 하위 집단들이 식별되고 선택되는 것을 허용한다. 일반적으로, 다수의 특성들이 관련된 경우, 그래픽 표현은, 그것이 다수의 상이한 형광 신호들인지 또는, 대안적으로 또는 추가로, 위에서 제공된 이들 예시의 특성들과 같은 여러 특성들인지 여부에 관계 없이, N 차원에 걸쳐 발생하며, N 은 관련된 특성들의 수를 나타낸다 (위 참조). 어떤 경우에는, 2 차원 플롯이 예를 들어 추가의 정보를 표시하기 위해 모양, 색상 및 기호의 존재 또는 부재를 사용함으로써 N > 2 차원을 표현하기 위해 사용될 수 있다. 예를 들어, 상이한 모양과 색상은 대응하는 마커의 상이한 레벨의 표현을 나타낼 수 있다. 기호의 존재는 마커가 사용자 선택 임계 레벨 (또는 그 이상) 에 존재함을 표시하거나 또는 마커의 부재 (배경에 또는 배경 아래에 있음) 를 표시할 수 있다. 대안으로, 기호의 존재는 대응하는 마이크로-객체가 사용자 선택 최소 거리만큼 그의 가장 가까운 이웃 마이크로-객체로부터 분리되었음을 나타낼 수 있다.
마이크로-객체 (예 : 세포) 를 식별하고 이러한 마이크로-객체를 공유 된 특성에 따라 하위 집단으로 그룹화함으로써, 특정 마이크로-객체가 이에 따라 선택되고 핸들링될 수 있다. 예를 들어, 위에서 논의 된 바와 같이, 특성에 따라 그룹화 될 때, 세포는 추가 분석을 위해 (예를 들어, 유전영동 힘을 사용하여) 각각의 펜으로 이동되도록 적절하게 선택 될 수 있다. 이러한 분석은 시스템 (150) 자체에서 수행 될 수 있거나, 예를 들어 유동 세포 측정 표준 (FCS) 형식과 같은 임의의 사용 가능한 파일 형식을 사용하여 애플리케이션 (예를 들어, FlowJo) 상에서의 분석을 위해 오프라인으로 익스포트 (export) 될 수 있다.
도 11 은 다양한 실시형태에 따라 이미지에서의 마이크로-객체들을 자동 검출하기 위한 시스템의 개략도이다. 본 명세서에서 묘사된 바와 같이, 시스템 (1200) 은 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 및 검출된 마이크로-객체의 이미지 및/또는 최종 카운트를 출력하기 위한 입/출력 디바이스 (I/O 디바이스) (1216) 을 포함할 수 있다. 도 13 은 다양한 실시형태에 따라 이미지에서의 마이크로-객체들을 자동 검출하고 특성화하기 위한 시스템의 다른 개략도이다. 도 13 의 시스템 (1400) 은 이미지 정렬 엔진 (1409) 을 포함하지만 도 11 에 제공된 바와 같은 임계값 엔진 (아래에서 논의되는 임계값 엔진 (1212)) 을 포함하지 않는다. 시스템 (1200) 에 관한 아래의 논의는 시스템 (1400) 에서의 유사한 특징 (예를 들어, 유닛, 신경망, 이미징 엘리먼트 및 엔진) 에도 마찬가지로 적용된다.
I/O 디바이스 (1216) 는 예를 들어 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 또는 이들의 조합에 전송될 수 있는 데이터 (예를 들어, 파라미터, 사용자 요건 등) 의 형태일 수 있는 시스템 (1000) (도 5 참조) 의 연관된 디스플레이 디바이스 (1012) 및/또는 입력 디바이스 (1014) 를 포함하도록 구성될 수 있다. I/O 디바이스 (1216) 는 또한 예를 들어 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 또는 이들의 조합에 전송될 수 있는 데이터 (예를 들어, 파라미터, 사용자 요건 등) 의 형태일 수 있는, 시스템 (1000) (도 5 참조) 의 연관된 디스플레이 디바이스 (1012) 및/또는 입력 디바이스 (1014) 를 통해 사용자 입력을 수신하도록 구성될 수 있다. 대안적으로, 또는 조합하여, 컴퓨터 시스템 (1000) (도 5 참조) 의 입력 디바이스 (1014) 는 또한 예를 들어 이미지 획득 유닛 (1202), 이미지 사전 처리 엔진 (1208), 마이크로-객체 검출 유닛 (1204), 또는 이들의 조합으로 사용자 입력, 파라미터 등을 직접 전송하는데 사용될 수 있다. 또한, I/O 디바이스 (1216) 는 내장된 디스플레이 디바이스 (1012) 상에 예를 들어 검출 엔진 (1214) 으로부터 수신된 데이터 또는 이미지를 디스플레이하도록 구성될 수 있다. 디바이스 (1216) 는 또한 데이터 또는 이미지를 데이터 또는 이미지 디스플레이를 위해 별도의 디스플레이 (1012) 에 전송하도록 구성될 수 있다.
(위의 도 1a 에 도시된 이미징 모듈 (164) 과 같은, 그러나 이에 한정되지 않는) 이미지 획득 유닛 (1202) 은 (이미징 디바이스 (194) 와 같은, 그러나 이에 한정되지 않는) 이미징 소자 (1206) 를 포함할 수 있다. 대안적으로, 유닛 (1202) 은 또한 이미지 사전 처리 엔진 (1208) 을 포함 (또는 하우징) 하도록 구성될 수 있다.
이미징 소자 (1206) 는 하나 이상의 이미지들 (또는 이미지 데이터) 을 캡쳐하도록 구성될 수 있다. 이미지들은 예를 들어 미세유체 디바이스의 복수의 챔버 (예를 들어 격리 펜) 및/또는 주위 구조 (예를 들어, 채널) 일 수 있다. 미세유체 디바이스는 (상기 도 1a-도 1c, 도 2a-도2b, 도 2d, 및 도 2g-도 2h 에 도시된 미세유체 디바이스 (100, 200, 230, 250, 280, 및 290) 와 같은, 그러나 이에 한정되지 않는) 본원에서 설명되는 다양한 예들 중 임의의 예를 포함할 수 있다. 미세유체 디바이스는 유동 영역 및 유동 영역에 유체 연결될 수 있는 챔버, 또는 복수의 챔버들을 포함할 수 있으며, 여기서, 챔버들의 각각은 하나 이상의 마이크로-객체들을 유지할 수 있다. 앞에서 언급한 바와 같이, 챔버들은 예를 들어, 격리 펜들일 수 있다. 챔버들은 이들이 사용되는 특정의 애플리케이션에 의해 요구되는 따라 임의의 형상, 사이즈 또는 배향일 수 있는 것으로 이해되어야 한다. 흐름 영역은 (상기 도 1a 및 도 2b 에 도시된 유동 경로 (106) 와 같은, 그러나 이에 한정되지 않는) 단일 유동 경로 또는 복수의 유동 경로들을 제공하는, (상기 도 1a 및 도 2a-도 2c 에 도시된 바와 같은 채널 (122), 및 상기 도 2d-도 2f 에 도시된 바와 같은 유동 채널들 (264) 과 같은, 그러나 이에 한정되지 않는) 단일 미세유체 채널, 또는 복수의 미세유체 유동 채널들일 수 있다. 유동 영역은 단일, 또는 복수의 챔버들과 유체 연통할 수 있다. 대안적으로, 유동 영역은 예를 들어, 밸브와 같은 가역성 클로져를 통해, 단일 챔버, 또는 복수의 챔버들과 유체 연통할 수도 있다. 유동 영역은 앞에서 설명된 바와 같이 입구를 통해서 물질의 유동을 수용하도록 구성될 수 있다. 물질의 유동은 예를 들어, 마이크로-객체들, 결합제 또는 시약들의 유동, 또는 그 물질을 포함하는 배지의 유동을 포함할 수 있다.
다양한 실시형태들에서, 이미징 소자 (1206) 는 추가 처리를 위해 순방향으로 전송하기 전에 캡쳐된 이미지를 리사이징 (resizing) 하도록 구성될 수 있다. 리사이징은 예를 들어 비닝 (binning) (예를 들어, 4 픽셀을 하나로) 에 의해 달성될 수 있다.
다양한 실시형태에서, 이미징 엘리먼트 (1206) 는 또한 미세유체 디바이스의 동일한 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 수신하도록 구성 될 수 있다. 이러한 동작은 도 13 의 이미징 엘리먼트 (1406) 에 의해 수행된다.
이미지 사전 처리 엔진 (1208) 은 다양한 실시형태들에 따라 추가 분석을 위해 이미지를 준비하도록 구성될 수 있다. 예를 들어, 캡쳐 이미지가 엔진 (1208) 에 의해 수신되기 전에 비닝된 경우, 엔진 (1208) 은 비닝을 보상하기 위해 이미지를 풀 사이즈로 리사이징할 수 있다. 엔진 (1208) 은 예를 들어 픽셀 값들 사이의 선형 보간을 사용하여 리사이징할 수 있다. 엔진 (1208) 은 필요에 따라 이미지를 원하는 배향으로 플립핑 및/또는 회전시킬 수 있다. 엔진 (1208) 은, 예를 들어, 도트들 사이에 알려진 간격을 갖는 도트 배열을 검사함으로써 계산된 룩업 테이블을 사용하여 왜곡 정정 단계를 이미지에 적용할 수 있다. 엔진 (1208) 은 (도 13 의 이미지 획득 유닛 (1402) 의 이미지 사전 처리 엔진 (1408) 에 의해 예시 된 바와 같이) 이미지 획득 유닛 (1202) 의 일부로서 제공될 수 있거나 (도 11 에 예시 된 바와 같이) 독립형 엔진일 수 있다.
도 13 의 시스템 (1400) 은 제 2 이미지를 제 1 이미지와 광학적으로 정렬하기 위해 각각의 제 2 이미지를 변환하도록 구성된 이미지 정렬 엔진 (1409) 을 더 포함한다. 대안적으로, 이러한 기능은 도 11 의 이미지 사전 처리 엔진 (1208) 과 관련하여 아래에 설명 된 특성을 공유하는 이미지 사전 처리 엔진 (1408) 에 의해 수행될 수 있다.
다양한 실시형태들에서, 엔진 (1208) 은 이미지를 가로 질러 레벨 휘도 절차를 실행할 수 있다. 예를 들어, 엔진 (1208) 은 2 차 이상의 차수의 다항식 최적합 정정과 같은 다항식 최적합 정정을 사용할 수 있다. 선택적으로, 사인파 또는 지수 함수가 다항식 함수 대신 사용될 수 있을 것이다. 레벨링은 이미지 휘도에 스케일링 이미지를 곱하여 달성될 수 있으며, 시스템 교정 중에 최적합 함수의 원하는 승수가 결정된다. 엔진 (1208) 은 또한 예를 들어 자동 형광으로부터 유래하는 배경 휘도를 감산하기 위해 방사성 정정을 실행할 수 있다.
다양한 실시형태들에서, 때때로 형광 이미지가 그렇지 않으면 반투명하게 보일 수 있는 세포를 시각화하기 위해 필요하다 (예를 들어, DAPI 는 소정 세포를 더 잘 검출/카운팅하는 수단으로서 핵을 염색하는데 사용될 수 있다). 그러한 경우에, 엔진 (1208) 은 명시야 이미지와 정렬되도록 형광 이미지를 스케일링, 시프팅 및/또는 회전시킬 수 있으며, 교정은 도트 배열을 사용하여 달성된다.
다양한 실시형태들에서, 푸리에 변환은 미세유체 디바이스상의 도전성 실리콘 기판으로부터의 간섭을 감소시키기 위해 사용될 수 있다. 푸리에 변환은 포토-트랜지스터 배열과 같은 도전성 실리콘 기판과 연관된 간섭 및 아티팩트의 식별을 용이하게 하는 이미지의 주파수 표현을 허용한다. 시간 함수 자체의 푸리에 변환은 주파수의 복소수 함수이며, 그의 절대 값은 오리지날 함수에 있는 해당 주파수의 양을 나타내며, 그의 복소수 인수는 해당 주파수의 기본 사인 곡선의 위상 오프셋이다. 푸리에 변환은 오리지날 신호의 주파수 도메인 표현이라고 불린다. 푸리에 변환이라는 용어는 주파수 도메인 표현과 주파수 도메인 표현을 시간 함수와 관련시키는 수학적 연산 모두를 의미합니다. 푸리에 변환은 시간의 함수에 국한되지 않고, 통일된 언어를 가지기 위해, 오리지날 함수의 도메인이 일반적으로 시간 도메인으로서 지칭된다.
아래에서 더 상세히 설명되는 바와 같이, 관심있는 마이크로-객체들은, 예를 들어 광 트랜지스터 배열과 같은 미세유체 디바이스의 피쳐들과 비교하여 유사하고 혼란한 형태를 가질 수도 있다. 또한, 세포와 같은 마이크로-객체는 미세유체 디바이스의 다양한 피쳐들에 비해 상대적으로 반투명할 수 있다. 따라서, 관심있는 마이크로-객체들을 식별하기 전에 미세유체 디바이스의 불필요한 피쳐들 (예를 들어, 광 트랜지스터 배열, 벽 또는 미세유체 디바이스의 회로 소자) 을 식별 및 제거하는 것이 도움이 될 수 있다. 푸리에 분석은 예를 들어, 마이크로-객체 검출 이전에 트랜지스터 패턴을 제거하는데 사용될 수 있다. 이 단계는 엔진 (1208) 내에서, 또는 대안적으로 (이하에서 보다 상세히 설명되는) 마이크로-객체 검출 유닛 (1204) 의 검출 엔진 (1214) 에서의 사후 처리 단계에서 발생할 수 있다.
다양한 실시형태들에서, 이미지를 사전 처리하는 것은 휘도 정규화 또는 콘트라스트 향상을 이용하여 미세유체 디바이스상의 도전성 실리콘 기판으로부터의 간섭을 감소시키는 것을 포함할 수 있다.
다양한 실시형태들에서, 엔진 (1208) 은 전술한 바와 같이 사전 처리된 이미지의 복사본을 생성하여 다양한 '클라이언트'(1220) (예를 들어, GUI, 이미지 처리, 영화 제작, 이미지 캡처, 메모리/스토리지/서버 등) 로 전송할 수 있다.
다양한 실시형태들에서, 분수령 알고리즘은 오리지날 이미지 입력상의 셀 경계를 채우기 위해 사용될 수 있다. 이 알고리즘은 유역 (catchment basin) 으로서의 관심의 객체들 및 유역 주변의 워터세드 라인으로서의 그러한 객체들의 에지들을 갖는 지형도와 매우 흡사하게 이미지를 처리합니다. 그렇게 함으로써, 이 이미지 분석 방법은 객체 (유역) 주변의 객체 경계 (웨터쉐드 라인) 의 더 명확한 정의를 가능하게 한다.
도 11 의 시스템 (1200) 의 마이크로-객체 검출 유닛 (1204) 은 이미지 획득 유닛 (1202) 에 통신가능하게 접속될 수 있다. 다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 은 신경망 (1210), 임계값 엔진 (1212) 및 검출 엔진 (1214) 을 포함할 수 있다. 마이크로-객체 검출 유닛 (1204) 의 부분으로서 도시되는 (그리고, 본원에서 설명되는) 각각의 컴포넌트 (예컨대, 엔진, 모듈, 등) 가 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로서 구현될 수 있는 것으로 이해되어야 한다.
다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 은 이미지 획득 유닛 (1202) 과의 통합된 기구 시스템 어셈블리로서 구현될 수 있다. 즉, 마이크로-객체 검출 유닛 (1204) 및 이미지 획득 유닛 (1202) 은 동일한 하우징 어셈블리 내에 하우징될 수 있으며 종래의 디바이스/컴포넌트 접속 수단 (예컨대, 직렬 버스, 광학적 케이블링, 전기적 케이블링, 등) 을 통해서 통신할 수 있다.
다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 은 광학, 직렬 포트, 네트워크 또는 모뎀 접속을 통해서 이미지 획득 유닛 (1202) 에 통신가능하게 접속된 (도 11 에 나타낸 바와 같은) 스탠드얼론 컴퓨팅 디바이스로서 구현될 수 있다. 예를 들어, 이미지 프로세싱 유닛은 분석을 위해 마이크로-객체 검출 유닛 (1204) 으로의 이미지 획득 유닛 (1202) 에 의해 획득된 이미징 데이터의 송신을 가능하게 하는 LAN 또는 WAN 접속을 통해서 접속될 수 있다.
다양한 실시형태들에서, 마이크로-객체 검출 유닛 (1204) 의 기능들은 WAN (또는, 등가물) 접속을 통해서 이미지 획득 유닛 1202 에 통신가능하게 접속된 (클라우드 컴퓨팅 네트워크와 같은) 공유된 컴퓨터 프로세싱 리소스들의 분산 네트워크 상에서 구현될 수 있다. 예를 들어, 마이크로-객체 검출 유닛 (1204) 의 기능들은 AMAZON WEB SERVICES™ 과 같은 클라우드 프로세싱 서비스 상의 하나 이상의 컴퓨팅 노드들에서 구현되도록 분할될 수 있다.
신경망 (1210) 은 이미지 사전 처리 엔진 (1208)으로부터 입력된 이미지 데이터를 수신하고, 복수의 마이크로-객체 특성에 따라 이미지 데이터의 픽셀 데이터에 주석을 달고, 픽셀 주석에 기초하여 픽셀 데이터의 각 픽셀에 대한 확률 값을 할당하고, 및 확률 이미지 데이터를 출력하도록 설계 및 구성될 수 있다. 신경망 (1210) 은 콘볼루션 신경망일 수 있고, 상술한 아키텍처 예들 (예컨대, 도 7, 8 및 9a-9d 및 관련 논의 참조)의 임의의 조합을 이용하는 아키텍처를 가질 수 있다. 신경망 (1210) 은 시스템 (1400) 의 마이크로-객체 검출 및 특성화 유닛 (1404) 의 1410 에 의해 수행되는 바와 같이, 관심 영역에 존재하는 마이크로-객체의 각각의 경계를 식별하기 위해 제 1 이미지의 픽셀 데이터를 처리하도록 설계 및 구성 될 수 있다. 제 1 이미지는 상술된 바와 같이 명 시야 이미지 일 수 있다.
임계값 엔진 (1212) 은 신경망 (1210) 으로부터 출력된 확률 이미지 데이터를 수신하고 어느 픽셀 확률들이 적어도 정의된 임계값을 충족시키는지를 결정하기 위해 주어진 임계값을 적용하도록 설계 및 구성될 수 있다. 예를 들어, 다양한 실시형태들에서, 마이크로-객체 유형은 세포 중심, 세포 경계, 또는 비세포 유형 중 어느 하나 일 수 있고, 원형성 피쳐, 크기 피쳐 또는 양자 모두와 같은 마이크로-객체 특성을 포함한다. 픽셀 주석에 할당된 확률은 할당된 임계값과 비교되어 임계값 아래의 픽셀의 추가의 분석 또는 제거를 용이하게 할 수 있다. 임계값은 사용자 정의될 수 있으며 픽셀 주석에 대한 확률이 임계 값보다 낮으면 픽셀 주석을 다른 유형으로 재분류할 수 있다. 일반적으로 할당되는 확률은 픽셀 주석의 신뢰성을 나타낸다. 예를 들어, 확률은 다음과 같이 할당될 수 있다: 경계의 경우 0.15, 세포 중심의 경우 0.8, 비세포의 경우 0.05. 픽셀의 클러스터가 분석될 때, 정확한 식별의 가능성을 결정하기 위해 각 픽셀 주석이 이웃하는 픽셀과 함께 사용될 수 있다.
도 11 의 시스템 (1200) 의 검출 엔진 (1214) 은 임계값 엔진 (1212) 에서 임계값 분석을 위해 정정된 이미지 출력 데이터를 수신하고, 이미지 사후 처리 기술을 적용하고, 마이크로-객체 카운트를 출력하도록 설계 및 구성될 수 있다. 검출 엔진 (1214) 은 또한 도 13 의 시스템 (1400) 의 검출 엔진 (1414) 에 의해 제공되는 바와 같이, 검출 된 마이크로-객체의 대응하는 경계 내에 위치한 제 2 이미지에서의 신호 (예를 들어, 형광, 화학 발광 등) 의 양을 정량화하도록 설계 및 구성될 수 있다. 신호의 정량화는 마이크로-객체들의 동일한 특성을 공유하는 하위 집단들로의 그룹화를 촉진하고 개선할 수 있다.
수많은 사후 처리 기술이 다음과 같이 제공된 몇 가지 예와 함께 고려된다. 엔진 (1214) 은 (미세유체 디바이스에서) 격리 펜의 CAD 모델을 실제 이미지 출력에 정렬하여 펜이 있는 위치를 정밀하게 찾도록 구성될 수 있다. (검출되는 셀 유형에 따른) 형광 이미지의 경우 , 엔진 (1214) 은, 예를 들어, 블러 (이미지) 루틴으로부터 얻어진 대응하는 이미지를 감산함으로써 뺄셈에 의해 배경을 제거하도록 구성될 수 있다. 엔진 (1214) 은 또한 마이크로-객체 카운트를 위해 개별 펜으로 이미지 출력을 절단하도록 구성될 수 있다. 엔진 (1214) 은 또한 관심의 객체 주위의 임의의 구조 (예를 들어, 미세유체 디바이스 또는 펜 벽) 를 제거할 수 있는 픽셀 마스크를 적용할 수 있다. 최종적으로, 엔진 (1214) 은 임계값 및 사후 처리 후에 식별 가능한 객체들에 기초하여 마이크로-객체 카운트를 결정할 수 있다. 엔진 (1214) 으로부터의 그 카운트 및 출력 이미지는 I/O 디바이스 (1216) 로 전송될 수 있으며, 여기서 그것은 예를 들어 저장되거나, 메모리 스토리지로 전송되거나, 추가로 분석되고 및/또는 클라이언트 (1220) (도 11 의 예 참조) 로 전송될 수 있다 .
다양한 실시형태들에 따르면, 이미지 획득 유닛 (1202) 및 마이크로-객체 검출 유닛 (1204) 은 단일 물리 유닛으로 통합될 수 있다. 대안적으로, 이미지 획득 유닛 (1202) 및 마이크로-객체 검출 유닛 (1204) 은, 유닛들이 여전히 정보를 교환하도록 통신가능하게 접속되고 정보를 교환할 수 있도록 독립적인 유닛들로 제공되면, 분리가능하게 배향될 수 있다.
위에서 설명된 마이크로-객체 검출 유닛 (1204) 의 각각의 컴포넌트는 하드웨어일 수도 있거나 또는 부분적으로 또는 전체적으로 소프트웨어 모듈일 수도 있다.
다양한 실시형태에 따르면, 미세유체 디바이스에서 마이크로-객체를 특성화하고 선택하기 위한 컴퓨팅 디바이스가 제공되며, 여기서 그 컴퓨팅 디바이스는 디스플레이 스크린을 포함한다. 컴퓨팅 디바이스는 검출 된 마이크로-객체의 세트를 특성화하기 위한, 예를 들어 제공된 파라미터 목록으로부터 선택된 제 1 파라미터를 선택하기 위한 메뉴를 스크린에 표시하도록 구성 될 수 있다. 파라미터 목록에 포함될 수 있는 파라미터가 아래에서 설명된다. 컴퓨팅 디바이스는 또한 선택된 제 1 파라미터에 기초하여 검출 된 마이크로-객체 세트의 플롯을 스크린에 디스플레이하도록 구성 될 수 있다.
다양한 실시형태에 따르면, 제공된 파라미터 목록은 메뉴 내에서 제공되는 파라미터의 제한된 목록 일 수 있으며, 목록의 각 파라미터는 연관된 파라미터에 기초하여 검출 된 마이크로-객체의 세트를 특성화하도록 선택 가능하다.
다양한 실시형태에 따르면, 디스플레이 스크린은 선택된 제 1 파라미터에 대한 적어도 하나의 선택된 임계 값에 기초하여 검출 된 마이크로-객체의 세트의 하위 집단의 선택을 가능하게 할 수 있고, 검출 된 세트의 나머지 마이크로-객체로부터 적어도 하나의 선택된 임계 값을 충족하는 하위 집단을 시각적으로 구별함으로써 검출 된 마이크로-객체 세트의 디스플레이를 가능하게 할 수 있다.
아래에서 자세히 설명하는 바와 같이, 객체들의 집단을 관찰 할 때, 필터의 세트를 생성하는 것은 객체들의 집단의 n 개의 개별 집단으로의 분리를 구체적으로 가능하게 할 수 있다.
도 5 를 참조하여 전술 한 바와 같이, 컴퓨팅 시스템 (또는 디바이스) (1000) 은 I/O 디바이스 (1216) 를 포함하도록 제공 될 수 있다. I/O 디바이스 (1216) 는 이전에 논의된 여러 유닛들 및 엔진들 (예를들어, 도 12 참조) 에 전송될 수 있는 데이터 (예를 들어, 파라미터, 사용자 요건 등) 의 형태일 수 있는 사용자 입력을 연관된 디스플레이 디바이스 (1012) 및/또는 입력 디바이스 (1014) 를 통해 수신하도록 구성될 수 있다. 대안적으로 또는 조합하여, 컴퓨터 시스템 (1000) 의 입력 디바이스 (1014) 는 또한 사용자 입력, 파라미터 등을 이전에 논의 된 다양한 유닛 및 엔진 (예를 들어,도 12 참조) 으로 직접 전송하기 위해 사용될 수 있다. 또한, I/O 디바이스 (1216) 는 내장된 디스플레이 디바이스 (1012) 상에, 예를 들어 검출 엔진 (1214) 또는 여기서 논의된 다른 여러 유닛들 또는 엔진들로부터 수신된 데이터 또는 이미지를 디스플레이하도록 구성될 수 있다. 디바이스 (1216) 는 또한 데이터 또는 이미지를 데이터 또는 이미지 디스플레이를 위해 별도의 디스플레이 (1012) 에 전송하도록 구성될 수 있다.
이제 도 14 및 15를 참조하면, 디스플레이 스크린 (1500) 이 컴퓨팅 디바이스 (예를 들어, 컴퓨팅 시스템 (1000)) 의 일부로서, 미세유체 디바이스에서 마이크로-객체를 특성화하고 선택하기 위해 제공된다. 디스플레이 스크린 (1500) 은 그래픽 사용자 인터페이스 (GUI) 일 수 있다. 스크린 (1500 은 메뉴 (1502) 를 디스플레이하며, 메뉴는 검출 된 마이크로-객체의 세트를 특성화하기 위한, 제공된 파라미터 목록으로부터 선택되는 제 1 파라미터 (1503) 를 선택하기 위해 구성된다. 제 1 파라미터는 도 14 및 도 15 에 도시된 바와 같이 예를 들어 최대 밝기 (또는 배경 밝기가 공제된 밝기의 척도인 "델타 최대 밝기 (Delta Max Brightness)") 일 수 있다. 예를 들어, 도 14 및 도 15 의 디스플레이는 미세유체 디바이스 (예 : 칩) 에 걸친 형광 큐브들 (이 예에서는 DAPI 형광단을 검출하도록 구성됨) 중 하나 아래에서 알려진 최대 밝기 분포를 갖는 객체들의 세트의 관찰을 보여준다. 또한, 이 예에서, 임계 값 (1506) 은 관심있는 마이크로-객체를 더 드릴 다운하기 위해 선택된다. 이 경우 선택은 밝기가 ~ 16000 델타 최대 밝기 (즉, 최대 배경 밝기) 보다 높은 객체에 대한 것이다.
제공된 파라미터 목록은 예를 들어 메뉴 내에서 제공되는 파라미터의 제한된 목록 일 수 있으며, 목록의 각 파라미터는 연관된 파라미터에 기초하여 검출 된 마이크로-객체의 세트를 특성화하도록 선택 가능하다. 제공된 파라미터 목록은 Circularity, CentroidXPixels, CentroidYPixels, CentroidXMicrons, CentroidYMicrons, CentroidXMicronsPenRelative, CentroidYMicronsPenRelative, NearestNeighborMicrons, DiameterMicrons, VolumeFemtoliters, BackgroundAreaMicrons, MeanBrightness, MinBrightness, MaxBrightness, MedianBrightness, BackgroundMedianBrightness, DeltaMedianBrightness, DeltaMaxBrightness, LogMeanBrightness, LogMaxBrightness, LogMedianBrightness, LogDeltaMaxBrightness, LogDeltaMedianBrightnessCV, BackgroundCV, LogDeltaBrightnessMaxToBackgroundRatio, LogDeltaBrightnessSum, FluidChannelNumber, FieldOfView, CellCount, CellsPerPen 으로 이루어진 그룹으로부터 선택된 파라미터들을 제공할 수 있다.
Circularity 는 검출 된 타겟의 원형도를 지칭할 수 있으며, 이것은 예를 들어 고도로 비원형 타겟의 경우의 0 과 완전한 원 타겟의 경우의 1 사이로서 정량화 될 수 있다. 공식 4 * pi * AreaPixels/PerimeterPixels2 에 의해 정의될 수 있다.
CentroidXPixels 는 픽셀 단위로 정의 할 수 있는 x 축을 따른 타겟의 중심을 지칭할 수 있다.
CentroidYPixels 는 픽셀 단위로 정의 할 수있는 y 축을 따라 타겟의 중심을 지칭할 수 있다. 다양한 실시형태에서, 플롯의 y 좌표는 연관된 이미지의 좌표와 반대 일 수 있으므로 타겟 위치는 y-축을 따라 반전 될 수 있다.
CentroidXMicrons 는 미크론 단위로 정의 할 수 있는 x 축을 따른 타겟의 중심을 지칭할 수 있다.
CentroidYMicrons 는 미크론 단위로 정의 할 수 있는 y 축을 따른 타겟의 중심을 지칭할 수 있다.
CentroidXMicronsPenRelative 는 격리 펜의 내부 (또는 가장자리 또는 모서리) 에서 선택한 원점으로부터 미크론 단위로 측정 된, 마이크로-객체가 위치한 격리 펜의 x 축을 따른 마이크로-객체의 중심의 위치를 지칭할 수 있다.
CentroidYMicronsPenRelative 는 격리 펜의 내부 (또는 가장자리 또는 모서리) 에서 선택된 원점으로부터 미크론 단위로 측정 된, 마이크로-객체가 위치한 격리 펜의 y 축을 따른 마이크로-객체의 중심의 위치를 지칭할 수 있다.
NearestNeighborMicrons 는 가장 가까운 검출된 타겟으로부터의 미크론의 수를 지칭할 수 있다.
DiameterMicrons 는 면적으로부터 계산 된, 미크론 단위의 유효 측정 타겟 직경을 지칭할 수 있다.
VolumeFemtoliters 는 주로 마이크로-객체의 모양과 그것의 직경 (또는 마이크로-객체가 타원 모양 인 경우 장축 및 단축) 에 따라 달라질 수 있는 마이크로-객체의 체적의 추정을 지칭할 수 있다.
BackgroundAreaMicrons 는 미크론으로 정의 된, 배경 계산에 사용되는 영역을 지칭할 수 있다. 이것은 펜 벽과 근처의 검출된 타겟을 제외하고 선택한 타겟 주변의 '도넛’ 의 영역으로 지칭될 수 있다. BackgroundAreaPixels 는 미크론 대신 픽셀로 정의된다는 점을 제외하면 동일한 파라미터가다.
MeanBrightness 는 검출 된 타겟 경계의 내부의 영역의 평균 밝기를 지징할 수 있다.
MinBrightness 는 검출 된 타겟 경계의 내부의 영역의 최소 밝기를 지칭할 수 있다.
MaxBrightness 는 검출 된 타겟 경계의 내부의 영역의 최대 밝기를 지칭할 수 있다.
MedianBrightness 는 검출 된 타겟 경계의 내부의 영역의 중간 밝기를 지징할 수 있다.
BackgroundMedianBrightness 는 검출 된 타겟 주위의 배경 영역의 중간 밝기를 지징할 수 있다.
DeltaMedianBrightness 는 검출 된 타겟의 중간 밝기와 주변 배경 영역의 중간 밝기 간의 차이를 지칭할 수 있다.
DeltaMaxBrightness 는 검출 된 타겟의 최대 밝기와 주변 배경 영역의 중간 밝기 간의 차이를 지칭할 수 있다.
LogMeanBrightness 는 검출 된 타겟의 평균 밝기의 로그 (베이스 10) 값을 지칭할 수 있다.
LogMaxBrightness 는 검출 된 타겟의 최대 밝기에 대한 로그 (베이스 10) 값을 지칭할 수 있다.
LogMedianBrightness 는 검출 된 타겟의 중간 밝기의 로그 (베이스 10) 값을 지칭할 수 있다.
LogDeltaMaxBrightness 는 검출 된 타겟의 최대 밝기와 주변 배경 영역의 중간 밝기 간의 차이의 로그 (베이스 10) 값을 지칭할 수 있다.
LogDeltaMedianBrightness 는 검출 된 타겟의 중간 밝기와 주변 배경 영역의 중간 밝기 간의 차이의 로그 (베이스 10) 값을 지칭할 수 있다.
CV 는 중간 타겟 밝기에 대한 타겟 밝기의 표준 편차의 비를 나타낼 수 있는 변동의 계수를 나타낸다.
BackgroundCV 는 중간 배경 밝기에 대한 배경 밝기의 표준 편차의 비를 나타낼 수 있는 배경 영역의 변동의 계수를 나타낸다.
LogDeltaBrightnessMaxToBackgroundRatio 는 중간 배경 밝기로 나눈, 최대 타겟과 중간 배경 밝기 간의 차이의 로그 (베이스 10) 값을 지칭할 수 있다.
LogDeltaBrightnessSum 은 영역 (픽셀 단위 일 수 있음) 을 곱한, 평균 타겟과 중간 배경 밝기 간의 차이의 로그 (베이스 10) 값을 지칭할 수 있다.
FluidChannelNumber 는 타겟이 발견 된 채널의 유체 채널 번호를 지칭할 수 있다. 그 번호는 0 에서 4 까지일 수 있지만, 또한 칩 정의 파일에서 번호를 찾을 수 없는 경우에는 -1 과 같이 상이한 값일 수도 있다.
FieldOfView 는 이미징 시스템에 의해 단일 시점에서 관찰 할 수 있는 미세 유체 칩의 부분을 지칭할 수 있다. 이것은 주로 미세 유체 칩에 대한 이미징 시스템의 위치와 이미징 시스템에 의해 사용되는 대물 렌즈의 배율에 따라 달라질 수 있다. 이 파라미터는 세포들이 시야 당 기준으로 특성화되는 것을 허용할 수 있다.
CellCount 는 이미징 시스템에 의해 검출 된 세포의 수의 카운트를 지칭할 수 있고; 세포는 시야 당 기준으로 또는 전체 미세 유체 칩에 걸쳐 카운트 될 수 있다.
CellsPerPen 은 각 격리 펜에서 검출 된 세포의 수의 카운트를 지칭할 수 있다.
스크린 (1500) 은 또한 선택된 제 1 파라미터에 기초하여 검출 된 마이크로-객체 세트를 시각적으로 나타낼 수 있는 플롯 (1504) 을 디스플레이 할 수 있다. 디스플레이 스크린은 선택된 제 1 파라미터에 대한 적어도 하나의 선택된 임계 값 (1506) 에 기초하여 검출 된 마이크로-객체의 세트의 하위 집단의 선택을 가능하게 할 수 있고, 검출 된 세트의 나머지 마이크로-객체로부터 적어도 하나의 선택된 임계 값을 충족하는 하위 집단을 시각적으로 구별함으로써 검출 된 마이크로-객체 세트의 디스플레이를 가능하게 할 수 있다.
선택은 도 14 에 제공된 바와 같이 플롯 (1504) 상에서 발생할 수 있으며, 도 15 에서 수직 막대로서 표현된 임계 값 (1506) 은 마이크로-객체의 제 1 하위 집단 (1508) 을 마이크로-객체의 제 2 하위 집단 (1510) 과 구별하며, 그 둘 중 하나는 설정된 임계 값을 충족하는 하위 집단으로 간주 될 수 있다. 도 15 에서, 제 2 하위 집단 (1510) 은 임계 값을 충족하는 하위 집단 (1538 개의 총 마이크로-객체 중 233 개) 이다. 이와 같이, 임계 값은 상위 임계 값을 포함 할 수 있다. 대안적으로, 임계값은 하위 임계 값, 또는 하위 임계 값 및 상위 임계 값 양자 모두를 포함 할 수 있다.
도 15 에서, 하위 집단 (1508 및 1510) 은 그레이 스케일 또는 시각적 광 스펙트럼으로부터의 임의의 색상 일 수 있는 색상에 의해 구별된다. 시각적 구별은 예를 들어 플롯상의 데이터 포인트의 크기 (예 : 다른 하위 집단보다 큰 한 하위 집단에 대한 데이터 포인트의 크기) 및 데이터 포인트에 대한 기호 (예 : 한 하위 집단에 대한 "x” 및 다른 하위 집단에 대한 "*”) 를 포함하여 많은 다른 형태를 취할 수 있으며, 둘 중 하나를 색상과 결합하여 차별화를 높일 수 있다.
다양한 실시형태에 따르면, 디스플레이 스크린은 임계 값 선택을 위해 슬라이딩 가능한 선택기를 가능하게 할 수 있다. 슬라이딩 가능한 선택기는 예를 들어 도 15 에 표시된 수직 막대로서 제공 될 수 있다. 대안으로 또는 추가로, 디스플레이 스크린은 임계 값 선택을 위한 포인트 선택기를 가능하게 할 수 있다. 대안적으로, 또는 추가로, 디스플레이 스크린은 임계 값 선택을 위해 사용자 입력 값을 가능하게 할 수 있다. 대안적으로 또는 추가적으로, 그리고 도 21 (아래에 상세히 설명 됨) 에 예시 된 바와 같이, 디스플레이는 영역 선택을 가능하게 할 수 있으며, 그에 따라 임계 값을 충족하는 마이크로-객체가 있는 플롯의 영역이 선택된다. 이 영역 선택 특징은 원, 정사각형 및 관심 영역을 정의하는 데 필요한 임의의 다른 가능한 모양의 형태 일 수 있다.
다양한 실시형태에 따라, 그리고 도 16 및 17 에 예시 된 바와 같이, 스크린 (1600) 상에 디스플레이 된 메뉴 (1602) 는 제 1 파라미터 (1606) 에 의해 특성화된 검출 된 마이크로 객체의 세트를 특성화하기 위한, 제공된 파라미터 목록으로부터 선택된 제 2 파라미터 (1604) 를 선택하도록 추가로 구성 될 수 있다. 도 16 과 도 17 에 예시 된 예의 경우, 제 2 파라미터는 (그 예에서 CY5 형광 단을 검출하도록 구성된) 형광 큐브 하에서 최대 밝기의 로그 (또는 배경 밝기가 공제되었고 그 결과의 값이 베이스 10, e, 또는 임의의 다른 적절한 로그 베이스 일 수 있는 로그 값으로 변환되는 밝기의 척도 인 "LogDelta Max Brightness") 이다. . 제 2 파라미터는 양 파라미터 아래의 마이크로-객체를 분석하기 위해 제 1 파라미터 (이 예에서는 DAPI 형광 단을 검출하도록 구성된 큐브 아래의 델타 맥스 밝기) 아래에 필터로서 추가 될 수 있다.
다양한 실시형태에 따라, 그리고 도 16 에 도시 된 바와 같이, 스크린 (1600) 에 디스플레이 된 메뉴 (1602) 는 선택된 제 1 파라미터 (1606) 및 제 2 파라미터 (1604) 에 기초하여 마이크로-객체의 특성화를 디스플레이하는 플롯과 연관 될 수 있다. 예를 들어, 디스플레이 스크린 (1600) 은 제 1 파라미터 (1606) 에 대한 적어도 하나의 임계 값을 충족하고 제 2 파라미터 (1604) 에 의해 특성화되는 검출 된 마이크로-객체의 하위 집단 (1608) 의 플롯을 디스플레이하도록 추가로 가능하게 될 수 있다.
다양한 실시형태에 따라, 그리고 도 17 에 예시 된 바와 같이, 디스플레이 스크린은 선택된 제 2 파라미터 (1604) 에 대한 적어도 하나의 선택된 임계 값 (1612) 에 기초하여 검출 된 마이크로 물체의 하위 집단 (1608) 의 서브 세트 (1610) 의 선택을 추가로 가능하게 할 수 있다. 도 17 은 이 적어도 하나의 임계 값이 상위 및 하위 임계 값을 모두 갖는 것으로 예시하지만, 여기에서 논의 된 바와 같이 두 임계 값 모두 개별적으로 사용될 수 있다.
다양한 실시형태에 따르면, 컴퓨팅 디바이스는 검출 된 마이크로 객체들의 세트 중 하나, 검출 된 마이크로 객체들의 세트의 하위 집단, 또는 하위 집단의 하위 집합을 재포지셔닝하기 위한 사용자 명령들을 수용하고/하거나 스크린에 명령들을 디스플레이하도록 추가로 구성된다. 예를 들어, 본 명세서의 다른 곳에서 설명 된 바와 같이 재포지셔닝이 수행 될 수 있다.
다양한 실시형태들에 따라, 그리고 도 18 및 19 에 의해 예시 된 바와 같이, 컴퓨팅 디바이스 (1000) 는 미세유체 디바이스의 적어도 일부를 이미징하기 위한, 제공된 이미징 파라미터 리스트로부터 선택되는 이미징 파라미터 (1804) 를 선택하기 위한 이미징 메뉴 (1802) 를 스크린 (1800) 상에 디스플레이하도록 추가로 구성 될 수 있다. 컴퓨팅 디바이스는 미세유체 디바이스의 적어도 일부를 이미징하기 위한, 제공된 이미징 파라미터 리스트로부터 선택되는 복수의 이미징 파라미터들 (1804/1806/1808) 을 선택하기 위한 이미징 메뉴 (1802) 를 스크린 (1800) 상에 디스플레이하도록 추가로 구성 될 수 있다. 도 18 과 도 19 는 세 가지 상이한 이미징 파라미터 선택을 설명하지만, 이미징 파라미터들의 수는 이에 따라 제한되지 않는다. 다양한 실시형태에서, 이미징 파라미터의 수는 1 내지 5, 1 내지 10 등의 범위 일 수 있다.
다양한 실시형태에 따르면, 이미징 파라미터는 필터 또는 "큐브” 유형을 포함 할 수 있다. 큐브 유형은 큐브를 통과하고 검출되는 전자기 스펙트럼 부분을 기반으로 선택된다. 큐브 유형에는 명 시야 (예 : 필터링되지 않음, 전체 가시 스펙트럼의 샘플링, 도 18 에서 "OEP"로 식별), 특정 형광 형광 단 (예 : DAPI, Texas Red, Cy5, FITC 등) 을 검출하도록 구성된 다양한 형광 필터, 적외선 필터, 자외선 필터 등을 포함할 수 있다. 이미징 파라미터는 또한 적어도 하나의 하위 파라미터 (1814) 를 포함 할 수 있다. 적어도 하나의 하위 파라미터 (1814), 또는 복수의 하위 파라미터는 illuminationPercent, exposureTimeMs, (z 축에 걸친) UserOffsetMicrons, 및 이들의 조합으로 이루어진 그룹에서 선택 될 수 있다.
다양한 실시형태에 따르면, 컴퓨팅 디바이스는 각각의 선택된 이미징 파라미터 (예를 들어, 도 18 및 도 19 의 1804/1806/1808) 를 통해 획득된 이미지들을 분석하고, 마이크로-객체들의 세트를 검출하기 위한, 제공된 알고리즘 리스트로부터 선택되는 알고리즘을 선택하기 위한 알고리즘 선택기 (1810) 를 스크린 상에 디스플레이하도록 추가로 구성 될 수 있다. 따라서, 각 이미징 파라미터는 해당 특정 파라미터에 대해 적용 할 알고리즘을 선택하기 위한 필드가 제공 될 수 있다. 다양한 실시형태에서, 하나의 "마스터” 알고리즘이 이미징 파라미터 중 하나 (예를 들어, 명 시야 큐브) 의 이미지 세트에 대해 사용될 수 있고, 따라서 마스터 이미지 세트에서 검출 된 마이크로-객체의 위치가 다른 선택된 이미징 파라미터 (예 : 형광 큐브) 의 이미지 세트를 분석하는 데 사용될 수 있다.
다양한 실시형태에 따르면, 그리고 도 19 에 도시 된 바와 같이, 디스플레이 된 이미징 메뉴는 시간 경과 선택기 (1816) 를 제공하도록 추가로 구성된다. 시간 경과 선택기는 선택된 시간 기간 동안 미세유체 디바이스의 적어도 일부를 이미징하기 위한 시간 경과 값의 선택을 가능하게 한다. 시간 경과 선택기 (1816) 는 또한 시간 경과 값 (1818) 에 대한 선택기를 포함 할 수 있다. 시간 경과 값 (1818) 은 시간 간격, 시간 지연, 총 사이클 수 및 이들의 조합으로 구성된 그룹으로부터 선택 될 수 있다. 시간 경과 이미지 분석은 여러 상황에서 유용 할 수 있다. 예를 들어, T 세포와 같은 세포로 세포 이동성을 추적하는 것이 유용 할 수 있다. 시간 경과를 사용하면, 마이크로-객체들은 근접성, 궤적, 및 원형도, 위치, 밝기 등과 같은 마이크로-객체를 특성화하는 데 사용되는 선택 가능한 파라미터들 중 임의의 것의 변화와 같은 팩터들에 기초하여 추종될 수 있다. 게다가, 이미지 시퀀스 파일이 시간 경과를 캡처하기 위해 유지될 수 있으며, 그 파일은 타임 스탬프, 노출 시간/시퀀스, 조명 비율 및 시간에 따른 변화를 이해하는 데 필요한 기타 변수를 포함할 수 있다.
이제 도 20 을 참조하여, 디스플레이 (2000) 가 예시된다. 예시 된 바와 같이, 컴퓨팅 디바이스는 각각의 개별 검출 된 마이크로 객체의 적어도 하나의 이미지 (2020) 를 스크린 (2010) 상에 디스플레이하도록 구성 될 수 있다. 미세유체 디바이스 내의 마이크로-객체 (또는 미세 유체 칩 내의 세포) 는 예를 들어 착색된 기호 (마이크로-객체 또는 세포에 또는 그 주위에 오버레이됨) 를 사용하거나 선택된 마이크로-객체 또는 세포의 거짓 색상 디스플레이를 사용하여 이미지에서 식별될 수 있다. 다양한 실시형태에서, 각각의 검출 된 마이크로-객체에 대해 디스플레이되는 이미지의 수는 선택된 이미징 파라미터의 수와 동일하다. 예를 들어, 도 17 과 도 18 을 참조하면, 세 가지 이미징 파라미터 (즉, OEP, DAPI 및 CY5) 가 선택되었다. 이와 같이, 도 20 에 제공된 디스플레이는 스크린 (2010) 에 수직으로 진행되는 각 마이크로 오브젝트에 대해 OEP, DAPI 및 CY5 큐브 각각에 대해 하나씩 3 개의 이미지가 표시되는 것을 보여준다. 따라서 각 이미지는 특정 파라미터, 이 경우 필터 큐브와 연관 될 수 있다. 또한 각 큐브는 z 축을 따라 그 자신의 초점면을 가질 수 있거나 z 축을 따른 일련의 이미지들이 획득될 수 있다. z 축을 따라 다수의 이미지가 획득되는 경우, 이미지들의 z 스택의 z 에 대한 미분 (d/dz) 이 사용되어 불연속성을 식별 할 수 있으며, 이는 일반적으로 마이크로-객체 (예를 들어, 세포, 세포 기관 등) 의 가장자리에 해당 할 수 있다. 또한 분석된 이미지들은 거짓 착색되고 (false colored ) 적층되거나 결합되어 합성 이미지를 생성 할 수 있다. 이것은 이미지 사전 처리 및 정렬 후에 발생할 수 있다.
이제 도 21 을 참조하여, 디스플레이 (2100) 가 예시된다. 예시 된 바와 같이, 컴퓨팅 디바이스는 2 개의 상이한 형광 마커로 염색 된 마이크로-객체 (예를 들어, 세포) 의 플롯을 스크린 (2110) 에 표시하도록 구성 될 수 있으며, 그중 하나는 x 축에 표시되고 다른 하나는 y 축에 표시된다. 플롯은 또한 세포의 세 가지 별개의 그룹/유형을 나타내며, 각각은 일반적으로 영역 선택을 통해, 또는 위에서 설명한 임계 값 단계를 통해 선택 될 수 있다.  어느 상황에서나 임계 값을 충족하거나 관심 대상인 마이크로-객체가 있는 플롯의 영역을 선택할 수 있다. 이 영역 선택 특징 (2120) 은 원, 정사각형 및 관심 영역을 정의하는 데 필요한 임의의 다른 가능한 모양의 형태 일 수 있다. 도 21 에서는 PE2 로 표지 된 높은 레벨의 마커를 갖는 세포가 선택되었다. 
마이크로-객체의 자동화된 검출. 이미지에서의 관심의 마이크로-객체를 자동으로 검출하는 방법이 제공된다. 관심있는 마이크로 객체는 이미지의 하나 이상의 다른 피쳐와 비교하여 유사하고 복잡한 형태를 가질 수 있다. 예를 들어, 일부 경우에, 미세유체 디바이스 내에 배치된 마이크로-객체의 검출은 관심있는 마이크로-객체와 유사한 형태를 갖는 미세유체 디바이스의 피쳐에 의해 복잡해질 수 있다. 예를 들어, 세포의 직경이 10 마이크론인 경우, 양 디멘젼들에서 10 마이크론 피치를 갖는 포토트랜지스터 배열 (즉, 각 포토트랜지스터는 10 마이크론 x 10 마이크론 크기를 가짐) 로부터 세포를 구별하기 어려울 수 있다. 또한, 세포와 같은 마이크로-객체는 미세유체 디바이스의 다양한 피쳐들에 비해 상대적으로 반투명할 수 있다. 따라서, 관심있는 마이크로-객체들을 식별하기 전에 미세유체 디바이스의 불필요한 피쳐들 (예를 들어, 광 트랜지스터 배열, 벽 또는 미세유체 디바이스의 회로 소자) 을 식별 및 제거하는 것이 도움이 될 수 있다.
일부 실시형태들에서, 단일 픽셀은 관심있는 마이크로-객체의 단면적보다 실질적으로 작은 미세유체 디바이스 내의 면적에 대응할 수 있다. 예를 들어, 마이크로-객체는 약 80 미크론2 의 단면적을 가질 수 있는 반면, 픽셀은 약 2 미크론2 의 면적에 대응할 수 있다. 그러한 실시형태들에서, 픽셀의 하나 이상의 클러스터는 마이크로-객체의 단면적을 커버하도록 요구될 것이다 (예를 들어, 상기 예에서, 마이크로-객체의 단면적을 커버하기 위해 실질적으로 40 픽셀을 취하거나, 또는 마이크로-객체의 원주의 단면적을 커버하기 위해 24 픽셀을 취할 것이다).
픽셀 클러스터의 세트의 분석은 픽셀 클러스터의 영역 및 원주를 제외하고 다수의 다른 피쳐들을 더 포함할 수 있다. 픽셀 클러스터의 세트는 전역 형태 (즉, 하나 이상의 픽셀 클러스터의 세트의 크기 및 형상), 국소 형태 (즉, 개별 픽셀 클러스터의 크기 및 형상), 양 및 음의 광 강도 값 Li, 및 이들 요소의 조합에 기초한 다른 피쳐들 (예를 들어, 크기의 함수로서의 광 강도) 에 따라 분석될 수도 있다. 상술한 피쳐들이 마이크로-객체들의 이미지들의 세트에 대해 컴퓨팅되고 동일한 피쳐들에 기초하여 새로운 이미지에서 관심의 대상이되는 마이크로-객체를 식별하기 위해 분류기를 트레이닝시키는데 사용되는 전통적인 기계 학습 기술을 포함하는 여러 방법들이 픽셀 클러스터들의 세트를 분석하기 위해 사용될 수도 있다.
마이크로-객체 식별 (아래에서 더 자세히 논의됨) 은 또한 OET 또는 DEP 힘과 같은 힘을 사용하여 마이크로-객체를 조작하거나 재포지셔닝하는 것과 관련하여 사용될 수 있습니다. 일부 실시형태들에서, 미세유체 회로의 특정 회로 요소 (예를 들어, 채널 또는 격리 펜) 또는 위치에서 식별되는 마이크로-객체는 미세유체 회로의 다른 유형의 회로 요소 또는 위치로 이동 (즉, 리포지셔닝) 될 수도 있다. 예를 들어, 마이크로-객체는 미세유체 회로의 채널에서 식별되고 미세유체 회로 내의 격리 펜에 재포지셔닝될 수도 있다 (본 명세서에서 마이크로-객체를 "페닝 (penning)하는 것” 으로 지칭됨). 반대로, 미세유체 회로의 격리 펜에서 식별된 마이크로-객체는 미세유체 회로의 채널로 이동될 수도 있다. 대안적으로, 하나 이상의 마이크로-객체가 하나의 격리 펜 내에서 식별되고 빈 격리 펜에 재포지셔닝될 수도 있다 (여기서는 마이크로-객체를 "재페닝 (re-penning)하는 것” 으로 지칭됨). 본 실시형태에 따르면, 마이크로-객체는 OET 및 DEP 힘을 포함하는 다양한 메카니즘을 사용하여 이동될 수도 있다. 유사하게, 마이크로-객체는 순차적으로 (즉, 한번에 하나의 마이크로-객체), 병렬로, 또는 이들의 임의의 조합으로 (예를 들어, 병렬인 다수의 세포의 그룹들을 순차적으로 재포지셔닝) 재포지셔닝될 수도 있다.
마이크로-객체가 채널로부터 개별 격리 펜으로 재포지셔닝 (또는 개별 격리 펜으로부터 다른 격리 펜으로 재페닝) 되는 경우, 서로 다른 알고리즘이 사용되어 빈 격리 펜에 마이크로-객체를 할당할 수도 있다. 일부 실시형태들에서, 알고리즘은 마이크로-객체와 펜 사이의 거리 (즉, 마이크로-객체가 재포지셔닝 동안 이동해야 하는 궤적 또는 경로) 가 최소화되도록 빈 격리 펜에 마이크로-객체를 할당하는데 사용될 것이다. 이들 실시형태들에서, 마이크로-객체는 빈 격리 펜에 재포지셔닝되기 위해 최소 거리만을 이동할 것이 요구되기 때문에, 마이크로-객체를 이동시키는 힘 (예를 들어 OET 또는 DEP 힘) 의 사용도 또한 최소화된다.
이들 실시형태들에서, 채널 내의 국부적 마이크로-객체 밀도 (즉, 채널의 특정 공간 영역 내의 마이크로-객체의 수) 는 채널 내의 특정 마이크로-객체를 빈 격리 펜으로 할당하기 위한 적절한 알고리즘을 결정하는데 사용될 수도 있다 . 국소 마이크로-객체 밀도는 여러 가지 방법으로 컴퓨팅될 수도 있다. 일부 실시형태들에서, 국소 마이크로-객체 밀도는 고정된 크기 면적 (예를 들어, 200 미크론2, 또는 채널 길이가 100 마이크론이고 채널의 너비가 확장된 면적) 에 기초하거나 다양한 크기의 면적을 사용하는 접근법을 사용하여 컴퓨팅될 수도 있다. 다른 실시형태들에서, 국소 마이크로-객체 밀도는 식별된 마이크로 객체들의 클러스터 또는 식별 된 마이크로 객체들 사이의 거리에 기초하여 계산될 수도 있다. 국소 마이크로 객체 밀도는 채널을 그리드로 세분화하거나 채널의 중첩 영역에 대한 밀도를 계산하기 위해 "슬라이딩 윈도우 (sliding window)"접근법을 사용함으로써 계산될 수도 있다.
국소 마이크로-객체 밀도가 임계 값 T1 density 이상이면, 마이크로-객체와 격리 펜 사이의 거리가 최소화되도록 가장 가까운 빈 격리 펜에 마이크로-객체가 할당될 수도 있다. 국소 마이크로-객체 밀도가 특정 임계 값 T1 density 이하이면, 마이크로-객체와 격리 펜 사이의 거리가 최소화되도록 빈 격리 펜에 가장 근접한 마이크로-객체에 빈 격리 펜이 할당될 수도 있다. 경우에 따라, 국소 T1 density 는 빈 펜의 수뿐만 아니라 소정의 이웃 영역 내의 채널 내의 마이크로-객체의 밀도에 기초하여 계산될 수도 있다.
마이크로-객체와 빈 격리 펜 사이의 거리 (즉, 페닝 중에 마이크로-객체 또는 경로가 이동될 필요가 있는 궤적) 를 계산하는 다양한 방법이 사용되어 특정 마이크로-객체를 빈 격리 펜에 할당할 수도 있다. 일부 실시형태들에서, 마이크로-객체와 잠재적 격리 펜 사이의 거리는 OET 및/또는 DEP 힘을 사용하여 최적의 궤적에만 기초하여 계산될 수도 있다. 어떤 경우에는 OET 또는 DEP 힘을 사용하는 최적의 궤적은 마이크로 객체를 이동시키기 위해 직교 모션 경로의 조합 (예를 들어, y 축과 x 축만을 따른 별개의 운동의 조합) 을 수반한다. 다른 경우, 거리는 제약없이 마이크로 객체와 격리 펜 사이의 가능한 가장 짧은 경로에 기초할 수도 있다 (즉, 마이크로 객체는 격리 펜에 도달하기 위해 임의의 경로를 따라 이동할 수도 있다). 대부분의 실시형태들에서, 거리 (궤적) 를 계산하는데 사용된 알고리즘에 의해 결정된 것과 동일한 궤적을 사용하여 마이크로-객체가 재포지셔닝 (즉, "페닝"또는 "재페닝") 될 것이다.
유사하게, 다수의 마이크로-객체가 격리 펜에 할당되는 경우 (또는 그 반대), 상이한 알고리즘이 펜으로의 마이크로-객체의 최적 할당을 계산하는데 (또는 그 반대로) 사용될 수도 있다. 이러한 알고리즘은 마이크로-객체를 격리 펜으로 재포지셔닝하기 위해 마이크로-객체가 이동해야 하는 전체 거리 (즉, 궤적의 길이) 를 최소화하는 마이크로-객체 대 격리 펜 할당을 결정하는 상이한 계산 방법을 사용할 수 있다. 예를 들어, 그 알고리즘은 모든 궤적의 길이의 합을 휴리스틱 (heuristic) 으로 사용하여 마이크로-객체가 이동할 필요가 있는 거리를 최소화할 수도 있다. 일부 실시형태들에서, 재포지셔닝 중에 마이크로 객체가 이동될 수 있는 최대 거리와 같은 제약이 최적 할당의 계산에 도입될 수도 있다. 다양한 조합 알고리즘이 마이크로-객체와 격리 펜 사이의 최적 할당을 계산하는 데 사용될 수도 있다. 적절한 알고리즘은 예를 들어 그리디 알고리즘, 비선형 최적화, 휴리스틱 기반 알고리즘 및 제약된 검색을 포함한다. 다른 유사한 알고리즘이 본 기술에서 알려져 있다.
일단 마이크로 객체에 대한 최적 할당 및 궤적이 계산되면, OET 및/또는 DEP 와 같은 힘이 마이크로 객체를 할당된 펜으로 이동시키기 위해 사용될 수도 있다. 마이크로-객체를 둘러싸고 OET 및/또는 DEP 힘에 마이크로-객체를 종속시키는 "광 케이지” 와 같은 광의 패턴을 사용하여 또는 바 또는 유사한 구조를 사용하여 OET 및/또는 DEP 힘을 마이크로-객체에 적용함으로써 마이크로 객체가 재포지셔닝될 수도 있다. 일반적으로, 광 케이지는 마이크로 객체를 실질적으로 둘러싸는 구조 (예를 들어, 정사각형, 원 또는 다각형) 일 것이다. 그러나 어떤 경우에는, 광 케이지는 마이크로-객체가 완전히 둘러싸이지 않도록 차단부 또는 개구부를 포함할 수도 있다.
상술한 바와 같이, 대부분의 실시형태들에서, 마이크로-객체는 펜에 대한 마이크로-객체의 최적 할당을 계산하는데 사용된 거리 (궤적) 에 따라 이동될 것이다. 실시형태에 따르면, 마이크로-객체는 순차적으로 또는 병렬로, 이들의 임의의 조합으로 (예를 들어, 병렬인 세포들의 그룹을 순차적으로 이동) 이동될 수도 있다. 마이크로 객체가 병렬로 이동되는 실시형태들에서, 최적 할당 또는 궤적을 계산하기 위해 사용된 알고리즘은 궤적들을 비교하고, 궤적 및 펜에 대한 마이크로-객체의 할당을 변경함으로써 마이크로 객체가 병렬로 이동될 때 마이크로 객체가 충돌하지 않도록 보장할 수도 있다. 특정 실시형태에서, 알고리즘은 잠재적인 충돌이 식별될 때 펜에 대한 마이크로 객체 할당을 "교환"할 수도 있다. 본 실시형태에서, 제 1 마이크로 객체에 대한 최적 궤적이 제 2 마이크로 객체에 대한 최적 궤적과 교차 할 때, 제 1 마이크로 객체에 대한 최적 궤적이 제 2 마이크로 객체에 할당되고 제 2 마이크로 객체에 대한 최적 궤적이 제 1 마이크로 객체에 할당된다. 또 다른 특정 실시형태에서, 알고리즘은 제 1 및 제 2 마이크로-객체가 충돌없이 각각의 궤적을 따라 이동할 수있는 그러한 시간까지 제 1 마이크로-객체의 재포지셔닝을 지연시킨다.
어떤 경우, 마이크로-객체 밀도가 너무 높아서 마이크로-객체를 격리 펜에 할당하고 마이크로-객체를 재포지셔닝 (즉, "페닝” 또는 "재페닝”) 하기 전에 마이크로-객체가 서로 분리될 필요가 있을 수도 있다. 예를 들어, 마이크로-객체 밀도가 너무 높아서 OET 및/또는 DEP 힘을 사용하여 객체를 재포지셔닝하는 데 사용되는 광 케이지가 다른 마이크로-객체와 간섭하지 않고 단일 마이크로-객체상에서 사용될 수 없기 때문에 마이크로-객체는 OET 및/또는 DEP 힘을 사용하여 페닝될 수 없을 수도 있다. 이러한 간섭은 마이크로-객체에 적용되는 OET 및/또는 DEP 힘의 양을 최소화하는 것이 중요한 경우에 특히 중요합니다. 예를 들어, 마이크로-객체가 OET 및/또는 DEP 힘 또는 OET 힘의 부산물 (예를 들어, OET 및/또는 DEP 힘과 연관된 전기 분해) 에 의해 해를 입을 수 있다. 이러한 경우에, 마이크로- 객체 식별 동안 생성된 정보 (예를 들어, 마이크로-객체의 반경, 중심, 외주 및 위치) 는 마이크로-객체가 다른 세포와 간섭 하지 않고 (여기서 마이크로-객체를 “분리하는 것” 으로서 지칭됨) 페닝 또는 재페닝될 수 있도록 마이크로-객체를 이동시키는데 사용될 수도 있다.
페닝 전에 마이크로-객체가 분리될 필요가 있는 경우를 식별하기 위해, 국소 마이크로-객체 밀도가 정의된 공간 영역에 기초하여 계산되고 제 2 임계 값 T2 density 과 비교될 수도 있다 . 대안적으로, 마이크로-객체들 사이의 거리가 계산되고 (예를 들어, 마이크로-객체의 중심 사이의 거리, 마이크로-객체의 외주 사이의 거리), 마이크로-객체가 분리되어야 하는지를 결정하는데 사용될 수도 있다. 그러나, 인정될 수 있는 바와 같이, 일부 예에서, 마이크로-객체들 사이의 거리는 너무 작아서 마이크로-객체를 개별 마이크로-객체 및 마이크로-객체로서 식별할 수 없을 수도 있다. 이러한 경우, 각 격리 펜이 하나의 마이크로-객체를 포함하는 것을 보장하기 위해 마이크로-객체를 재포지셔닝 (즉 "페닝") 한 후 마이크로-객체가 재식별될 수도 있다.
일부 실시형태들에서, 광 박스 (light box) 는 페닝 (또는 재페닝) 전에 또는 그 동안 마이크로-객체를 분리하는데 사용된다. 광 박스 (또는 광 케이지) 를 형성할 때, 분할 알고리즘이 사용되어 미세유체 디바이스의 공간 영역 (예를 들어, 채널 또는 격리 펜의 일부) 내의 각각의 식별된 마이크로-객체를, 동일한 공간 영역 내의 다른 마이크로-객체로부터 파티셔닝하는 정점들의 세트를 계산할 수 있다. 그러나, 당업자가 알 수 있는 바와 같이, 그 정점들 세트는 미세유체 디바이스의 공간 영역 내의 마이크로-객체들의 서브세트 만이 다른 마이크로-객체로부터 분리되도록 그려질 수도 있다. 예를 들어, 정점들의 세트는 다른 마이크로-객체와의 근접성으로 인해 재포지셔닝될 필요가 있는 공간 영역 내의 마이크로-객체들의 서브 세트만 분리할 수도 있다.
특정 실시형태에서, 델로네 삼각 분할은 각각의 마이크로-객체의 중심을 사용하여 계산된다. 델로네 삼각 분할은 마이크로-객체의 중심을 연결하는 삼각형들의 세트를 생성한다. 보로노이 다이어그램은 델로네 삼각 분할을 사용하여 계산된 삼각형의 외접원에 기초하여 계산된다. 보로노이 다이어그램은 정점들의 세트와 마이크로 객체의 중심 사이의 거리가 최대화되도록 공간 영역을 서브 영역들의 세트로 분할하는 정점들의 세트이다. 공간 영역 내의 다른 세포들로부터 각각의 세포를 파티셔닝하는 정점들의 세트를 계산하는 다른 방법들이 당업계에 공지되어있다.
일단 정점들의 세트가 컴퓨팅되었다면, 정점들의 세트는 OET 및/또는 DEP 힘과 함께 사용되어 마이크로-객체를 이동시킬 수 있다. 도 6a 내지 도 6f 는 본 발명의 여러 실시형태들에 따른 마이크로-객체 분리를 예시한다. 도 6a 는 특정된 공간 영역 내의 마이크로-객체 세트의 델로네 삼각 분할 및 대응하는 보로노이 다이어그램을 도시한다. 도 6b 는 델로네 삼각 분할이 없는 대응하는 보로노이 다이어그램을 도시한다. 도 6c 는 보로노이 다이어그램 위에 겹쳐진 마이크로-객체를 이동시키는데 일반적으로 사용되는 광 케이지를 도시한다. 도 6d 는 도 6c 의 전형적인 광 케이지와 보로노이 다이어그램 사이의 교차점을 계산함으로써 생성된 변경된 광 케이지를 도시한다. 도 6e 는 변경된 광 케이지를 사용하여 서로 근접한 마이크로-객체의 분리를 도시한다. 도 6f 는 분리된 마이크로-객체를 도시한다.
일 실시형태에서, 하나 이상의 광 케이지는 정점들의 세트의 정점들의 서브 세트를 링크하는 복수의 광 바를 생성함으로써 생성되며, 여기서 정점들의 서브 세트는 이동될 각 마이크로-객체에 가장 근접하고 그것을 둘러싸는 정점을 포함한다 (또는 정점들로 이루어진다). 예를 들어, 도 6b 에 도시된 임의의 다각형 형상은 마이크로-객체를 둘러싸는 광 케이지를 정의하는데 사용될 수 있다. 특정 실시형태들에서, 이러한 방식으로 형성된 광 케이지는 수축되어 광 케이지 내의 마이크로-객체를 특정 공간 영역 내의 다른 마이크로-객체 및/또는 광 케이지로부터 분리할 수 있다. 다른 실시형태들에서, 광 케이지는 다각형 형상 (도 6c 참조) 상에 "표준” 광 케이지 디자인 (예를 들어, 정사각형 또는 원형) 을 중첩하고, 도 6d 에 도시된 바와 같이, 표준 광 케이지 디자인과 다각형 형상들의 교차로부터 야기되는 광 케이지를 생성함으로써 정의될 수 있다. 이 예에서 정점과 광 케이지의 교차는 광 케이지가 교차하거나 중첩되지 않는 영역으로 정의되어, "표준” 광 케이지가 다른 마이크로-객체와 간섭하지 않도록 다시 그려지는 것을 허용한다. 형성 방법에 관계없이, 일단 형성되면, 광 케이지는 서로 멀리 떨어지게 마이크로-객체를 이동시킴으로써 마이크로-객체를 재포지셔닝함으로써 마이크로-객체를 분리하는데 사용될 수 있다. 경우에 따라, 변경된 광 케이지는 마이크로-객체가 최종 위치에 있을 때 오리지날 광 케이지가 그려지도록 마이크로-객체가 재포지셔닝됨에 따라 다시 그려질 수도 있다.
비표준 (또는 "변경된") 광 케이지는 다양한 실시형태들에서 마이크로-객체를 재포지셔닝하는데 사용될 수도 있다. 실시형태들에 따라, 2 개의 근접한 마이크로-객체에 대한 변경된 광 케이지는 각 마이크로-객체에 대한 격리 펜으로의 궤적 및 할당을 계산하고 선택하기 전 또는 후에 마이크로-객체를 재포지셔닝하는데 사용된다. 일부 실시형태들에서, 변경된 광 케이지는 반복적으로 또는 순차적으로 마이크로-객체를 재포지셔닝하는데 사용된다. 또한, 변경된 광 케이지는 그들의 할당된 격리 펜에서 마이크로-객체를 페닝하는 데 사용될 수도 있다. 일부 실시형태들에서, 공간 영역의 외주에 가장 가깝거나 공간에서 함께 가장 가깝게 있는 마이크로-객체는 다른 마이크로-객체를 재포지셔닝 또는 페닝하기 전에 재포지셔닝되거나 패닝될 수도 있다.
도 4a, 도 4b 및 도 4c 는 광 박스를 사용하여 마이크로-객체 페닝을 도시한다. 도 4a 에서, 미세유체 회로의 채널 내의 생물학적 세포는 세포의 식별 및 펜으로의 세포의 할당 직후에 도시된다. 세포를 둘러싸고 있는 검은색 박스는 세포 식별 알고리즘의 출력을 도시한다 - 즉, 세포 주위에 박스로 표시되는 세포의 식별. 검은색 박스를 둘러싼 흰색 박스는 세포를 재포지셔닝하는 데 사용되는 OET 힘의 광 케이지이다. 마지막으로, 세포를 둘러싼 박스를 격리 펜에 연결하는 검은 선은 격리 펜에 세포를 할당함에 있어서 계산된 최적의 궤적을 도시한다. 도 4b 는 광 케이지가 그들의 선택된 궤적을 따라 이동된 나중 시점의 동일한 세포를 도시한다. 도 4c 는 광 케이지가 격리 펜 내에 세포를 위치시키기 위해 그들의 선택된 궤적을 따라 거의 완전히 이동된 제 3 시점에서의 동일한 세포를 도시한다.
마이크로-객체를 이동시킴에 있어서, OET 및/또는 DEP 가 세포를 이동시키는데 사용되는 속도는 마이크로-객체의 모션을 "램프 업 (ramp up)"시키고 마이크로-객체가 그들의 광 케이지로부터 손실되지 않는 것을 보장하기 위해 점점 가속화될 수도 있다. 예를 들어, 특정 실시형태에서, 마이크로-객체의 초기 속도는 낮은 초기 속도에서 더 높은 이동 속도로 점차적으로 가속될 수도 있다. 이 점진적 가속은 마이크로-객체가 자동으로 재포지셔닝 (예를 들어, 페닝, 재페닝 및 엑스포트) 되는 경우들 및 마이크로-객체가 수동으로 재포지셔닝되는 (예를 들어, 세포를 수동으로 선택하고 및 이동시키는) 경우들 양자 모두에서 적용될 수도 있다. 유사하게, 고속 이동 속도는 마이크로-객체가 그들의 궤적 끝에 도달하고 그들의 최종 위치에 있을 때 제로의 최종 속도로 "램프 다운"될 수도 있다.
본 발명의 방법은 모든 타입의 미세유체 디바이스에서 마이크로-객체의 자동화된 검출에 유용하다. 특정 실시형태들에서, 미세유체 디바이스는 유동 영역 (또는 유동 채널) 및 하나 이상의 챔버 (또는 격리 펜) 를 포함할 수 있다. 선택적으로, 또는 부가 적으로, 미세유체 디바이스는 광학적으로 작동되는 동전기 디바이스와 같은 동전기 디바이스일 수 있거나 전기역학을 위해 구성된 영역을 포함할 수 있다. 동전기 디바이스, 특히 트랜지스터 (예를 들어 포토트랜지스터) 의 배열을 갖는 동전기 디바이스는 배열 내의 트랜지스터가 검출되고 있는 마이크로-객체의 단면적과 유사한 면적을 갖는 경우에 특히 복잡한 배경을 제공할 수 있다. 본 명세서에 설명된 방법은 그러한 디바이스에 배치된 마이크로-객체를 검출하는데 특히 효과적일 수 있다.
소정의 실시형태들에서, 본 발명은 여기에 기술된 임의의 방법들을 수행하기 위한 비일시적 머신 판독가능 명령들을 저장하기 위한 머신 판독가능 저장 디바이스들을 더 제공한다. 머신-판독 가능 명령은 이미지를 획득하는데 사용되는 이미징 디바이스 및/또는 이미지를 정렬하고, 차동 이미지를 생성하고, 및/또는 차동 이미지를 분석하는 (예를 들어, 계산 디바이스 내의) 프로세서를 제어할 수 있다.
본원에서 설명하는 방법론들은 애플리케이션에 따라서 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이들 방법론들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현을 위해, 프로세싱 유닛은 하나 이상의 주문형 집적회로들 (ASICs), 디지털 신호 프로세서들 (DSPs), 디지털 신호 프로세싱 디바이스들 (DSPDs), 프로그래밍가능 로직 디바이스들 (PLDs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에서 설명되는 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
다양한 실시형태들에서, 본 교시의 방법은 펌웨어 및/또는 소프트웨어 프로그램 및 C, C ++ 등과 같은 종래의 프로그래밍 언어로 작성된 애플리케이션으로 구현 될 수도 있다. 펌웨어 및/또는 소프트웨어로서 구현되는 경우, 여기에 기술된 실시형태들은 컴퓨터로 하여금 전술한 방법을 수행하게 하는 프로그램이 저장된 비일시적 컴퓨터 판독 가능 매체 상에 구현될 수 있다. 본원에서 설명되는 다양한 엔진들이 도 5 의 컴퓨터 시스템 (1000) 과 같은 컴퓨터 시스템 상에 제공될 수 있으며, 이에 의해 프로세서 (1004) 가 메모리 컴포넌트들 (1006/1008/1010) 및 입력 디바이스 (1014) 를 통해서 제공되는 사용자 입력 중 임의의 하나, 또는 이들의 조합에 의해 제공되는 명령들에 따라, 이들 엔진들에 의해 제공되는 분석들 및 결정들을 실행할 것으로 이해되어야 한다.
본 교시들은 다양한 실시형태들과 함께 설명되지만, 본 교시들은 이러한 실시형태들에 한정되는 것으로 의도되지 않는다. 반대로, 본 교시들은 당업자들이 주지하고 있는 바와 같이, 다양한 대안들, 변경들, 및 등가물들을 포괄한다.
또, 다양한 실시형태들을 설명할 때, 본 명세서는 방법 및/또는 프로세스를 스텝들의 특정의 시퀀스로서 제시하였을 수도 있다. 그러나, 그 방법 또는 프로세스가 본원에서 개시된 스텝들의 특정의 순서에 의존하지 않는 한, 본 방법 또는 프로세스는 설명된 스텝들의 특정의 시퀀스에 한정되지 않아야 한다. 당업자가 주지하고 있는 바와 같이, 다른 스텝들의 시퀀스들이 가능할 수도 있다. 따라서, 명세서에서 개시된 스텝들의 특정의 순서는 청구범위에 대한 한정들로서 간주되지 않아야 한다. 게다가, 본 방법 및/또는 프로세스에 관한 청구범위는 서술된 순서로 이들의 스텝들의 수행에 한정되어서는 안되며, 당업자는 시퀀스들이 다양할 수도 있으며 여전히 다양한 실시형태들의 정신 및 범위 내에 있음을 쉽게 알 수 있다.
본원에서 설명하는 실시형태들은, 핸드-헬드 디바이스들, 마이크로프로세서 시스템들, 마이크로프로세서-기반 또는 프로그래밍가능 가전제품, 미니 컴퓨터들, 메인프레임 컴퓨터들 및 기타 등등을 포함한, 다른 컴퓨터 시스템 구성들로 실시될 수 있다. 실시형태들은 또한 태스크들이 네트워크를 통해서 링크된 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다.
또한, 본원에서 설명하는 실시형태들이 컴퓨터 시스템들에 저장된 데이터를 포함하는 다양한 컴퓨터-구현 동작들을 채용할 수 있는 것으로 이해되어야 한다. 이들 동작들은 물리량들의 물리적인 조작을 필요로 하는 동작들이다. 대개, 반드시는 아니지만, 이들 양들은 저장, 전달, 결합, 비교, 및 기타 조작이 가능한 전기 또는 자기 신호들의 형태를 취한다. 또, 수행되는 조작들은 발생, 식별, 결정, 또는 비교와 같은, 용어들로 종종 지칭된다.
본원에서 설명하는 실시형태들의 부분을 형성하는 동작들 중 임의의 동작은 유용한 머신 동작들이다. 본원에서 설명되는, 실시형태들은, 또한 이들 동작들을 수행하는 디바이스 또는 장치에 관한 것이다. 본원에서 설명되는 시스템들 및 방법들은, 요구된 목적들을 위해 특별히 구성될 수 있거나 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 또는 구성되는 범용 컴퓨터일 수도 있다. 특히, 다양한 범용 머신들이 본원에서의 교시들에 따라서 작성된 컴퓨터 프로그램들과 함께 사용될 수도 있거나, 또는 요구된 동작들을 수행하기 위해 보다 특수화된 장치를 구성하는 것이 더욱 편리할 수도 있다.
어떤 실시형태들은 또한 컴퓨터 판독가능 매체 상에 컴퓨터 판독가능 코드로서 구현될 수 있다. 컴퓨터 판독가능 매체는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이며, 이후 컴퓨터 시스템에 의해 판독될 수 있다. 컴퓨터 판독가능 매체의 예들은 하드 드라이브들, NAS (network attached storage), 판독 전용 메모리, 랜덤-액세스 메모리, CD-ROM들, CD-R들, CD-RW들, 자기 테이프들, 및 다른 광학적, 플래시 메모리 및 비-광학적 데이터 저장 디바이스들을 포함한다. 컴퓨터 판독가능 매체는 또한 컴퓨터 판독가능 코드가 분산된 방식으로 저장 및 실행되도록 네트워크 커플링된 컴퓨터 시스템들 상에 걸쳐서 분산될 수 있다.
본 발명의 특정 실시형태들 및 애플리케이션들이 본 명세서에서 설명되어 있으나, 이들 실시형태들 및 애플리케이션들은 단지 예시적이며, 많은 변형들이 가능하다.
본 개시의 일부 실시형태들의 열거
1. 조명 된 이미지 (예를 들어, 명 시야 이미지) 에서 마이크로-객체의 자동화 된 검출을 위한 방법으로서, 그 방법은 : 대응하는 복수의 마이크로-객체 특성에 대한 이미지로부터 복수의 픽셀 마스크를 생성하는 단계로서, 복수의 픽셀 마스크를 생성하는 단계는 기계 학습 알고리즘을 사용하여 이미지로부터 픽셀 데이터를 처리하는 단계를 포함하고, 각 픽셀 마스크는 픽셀 주석들의 세트를 포함하고, 그 세트의 각 픽셀 주석은 이미지의 대응하는 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타내는, 상기 복수의 픽셀 마스크를 생성하는 단계; 및 상기 복수의 픽셀 마스크 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하는 단계를 포함한다.
2. 실시형태 1 에 있어서, 마이크로-객체 카운트는 복수의 픽셀 마스크의 픽셀 마스크의 조합으로부터 얻어진다.
3. 실시형태 1 또는 2 에 있어서, 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성을 포함한다.
4. 실시형태 1 또는 2 에 있어서, 복수의 마이크로-객체 특성들은 적어도: (i) 마이크로-객체 중심; (ii) 마이크로-객체 가장자리; 및 (iii) 비-마이크로-객체를 포함한다.
5. 실시형태 4 에 있어서, 마이크로-객체 카운트를 얻는 것은 마이크로-객체 중심 특성에 대응하는 픽셀 마스크 또는 마이크로-객체 중심 특성에 대응하는 픽셀 마스크를 포함하는 픽셀 마스크의 조합으로부터 마이크로-객체 카운트를 획득하는 것을 포함한다.
6. 실시형태 1 내지 5 중 어느 하나에 있어서, 기계 학습 알고리즘은 신경망 (예를 들어, 컨볼루션 신경망) 을 포함한다.
7. 실시형태 6 에 있어서, 신경망은 복수의 다운 샘플링 블록 (예를 들어, 적어도 2, 3, 4 개 등의 다운 샘플링 블록) 을 포함하고, 각각의 다운 샘플링 블록은 제 1 다운 샘플링 컨볼루션 계층, 제 1 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 1 ELU 계층을 포함하고, 각각의 제 1 다운 샘플링 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시킨다.
8. 실시형태 7 에 있어서, 다운 샘플링 블록 중 하나 이상 (예를 들어, 각각) 은 제 1 다운 샘플링 컨볼루션 계층, 제 1 배치 정규화 계층, 및 제 1 ELU 계층으로 구성 (또는 본질적으로 구성) 되며, 여기서 제 1 ELU 계층은 제 1 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 제 1 배치 정규화 계층은 제 1 다운 샘플링 컨벌루션 계층으로부터 직접 이미지 데이터를 수신한다.
9. 실시형태 7 또는 8 에 있어서, 각각의 다운 샘플링 컨볼루션 계층은 (예를 들어, 컨볼루션 필터 (또는 커널) 를 한 번에 2 픽셀 슬라이딩함으로써) 2 의 팩터에 의해 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시킨다.
10. 실시형태들 7 내지 9 중 어느 하나에 있어서, 제 1 다운 샘플링 컨볼루션 계층들 각각은 5x5 컨볼루션 필터를 포함한다.
11. 실시형태 7 내지 10 중 어느 하나에 있어서, 복수의 다운 샘플링 블록들 중 하나 이상의 (예를 들어, 각각의) 다운-샘플링 블록은 분기 된 구조를 갖는 잔차 네트워크 블록에 의해 추종된다.
12. 실시형태 11 에 있어서, 잔차 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 선행 다운-샘플링 블록으로부터 수신 된 이미지 데이터를 상기 제 2 분기보다 더 작은 범위로 처리한다.
13. 실시형태 12 에 있어서, 잔차 네트워크 블록의 제 1 분기는 제 2 컨볼루션 계층, 제 2 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 2 ELU 계층을 포함한다.
14. 실시형태 13 에 있어서, 잔차 네트워크 블록의 제 1 분기는 제 2 컨볼루션 계층, 제 2 배치 정규화 계층, 및 제 2 ELU 계층으로 이루어지며 (또는 본질적으로 이루어지며), 여기서 제 2 ELU 계층은 제 2 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 제 2 배치 정규화 계층은 제 2 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
15. 실시형태 13 또는 14 에 있어서, 제 2 컨볼루션 계층은 1x1 컨볼루션 필터를 포함한다.
16. 실시형태 11 내지 실시형태 15 중 어느 하나에 있어서, 잔차 네트워크 블록의 제 2 분기는 둘 이상의 처리 유닛을 포함하고, 각각의 처리 유닛은 컨볼루션 계층 및 배치 정규화 계층을 포함한다.
17. 실시형태 16 에 있어서, 잔차 네트워크 블록의 제 2 분기는 제 3 컨볼루션 계층, 제 3 배치 정규화 계층, 게이팅 함수를 포함하는 제 3 ELU 계층, 제 4 컨볼루션 계층 및 제 4 배치 정규화 계층으로 이루어지며 (또는 본질적으로 이루어지며), 여기서 제 4 배치 정규화 계층은 제 4 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 제 4 컨벌루션 계층은 제 3 ELU 계층으로부터 직접 이미지 데이터를 수신하고, 제 3 ELU 계층은 제 3 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하며, 제 3 배치 정규화 계층은 제 3 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
18. 실시형태 16 또는 17 에 있어서, 제 3 컨볼루션 계층은 3x3 컨볼루션 필터를 포함한다.
19. 실시형태 17 또는 18 에 있어서, 제 4 컨볼루션 계층은 3x3 컨볼루션 필터를 포함한다.
20. 실시형태 11 내지 19 중 어느 하나에 있어서, 잔차 네트워크 블록의 제 1 분기 (예를 들어, 제 1 분기의 ELU 계층) 및 잔차 네트워크 블록의 제 2 분기 (예를 들어, 제 2 분기의 제 4 배치 정규화 계층) 로부터의 이미지 데이터는 재결합되어 게이팅 함수를 포함하는 제 4 ELU 계층으로 전송된다.
21. 실시형태 6 내지 20 중 어느 하나에 있어서, 신경망은 제 1 다운 샘플링 블록, 제 1 잔차 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔차 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔차 네트워크 블록을 포함한다.
22. 실시형태 21 에 있어서, 제 1 다운 샘플링 블록 및 제 1 잔차 네트워크 블록은 각각 32 개의 채널 및 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
23. 실시형태 21 또는 22 에 있어서, 제 2 다운 샘플링 블록 및 제 2 잔차 네트워크 블록은 각각 64 개의 채널 및 이미지 해상도의 1/4 인 공간 해상도를 포함한다.
24. 실시형태 21 내지 23 중 어느 하나에 있어서, 제 1 다운 샘플링 블록 및 제 3 잔차 네트워크 블록은 각각 128 개의 채널 및 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
25. 실시형태 7 내지 24 중 어느 하나에 있어서, 신경망은 복수의 다운 샘플링 블록 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하고, 각 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 및 게이팅 함수를 포함하는 업 샘플링 ELU 계층을 포함하고, 각 업 샘플링 블록의 전치 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
26. 실시형태 25 에 있어서, 하나 이상의 업 샘플링 블록 각각은 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행 잔차 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함한다.
27. 실시형태 26 에 있어서, 하나 이상의 업 샘플링 블록 각각은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 재결합 계층, 및 업 샘플링 ELU 계층으로 이루어지며 (또는 본질적으로 이루어지며), 여기서 업 샘플링 ELU 계층은 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 업 샘플링 배치 정규화 계층은 재구성 전치 계층으로부터 직접 이미지 데이터를 수신한다.
28. 실시형태 25 내지 27 중 어느 하나에 있어서, 각각의 전치 컨볼루션 계층은 2 의 팩터에 의해 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
29. 실시형태 27 또는 28 에 있어서, 신경망이 n 개의 다운 샘플링 블록과 n 개의 잔차 네트워크 블록을 가질 때, 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록을 갖는다.
30. 실시형태 25 내지 29 중 어느 하나에 있어서, 신경망은 제 2 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
31. 실시형태 30 에 있어서, 제 1 업 샘플링 블록은 64 개의 채널을 포함하고 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
32. 실시형태 30 또는 31 에 있어서, 제 2 업 샘플링 블록은 32 개의 채널을 포함하고 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
33. 실시형태 30 내지 32 중 어느 하나에 있어서, 제 3 업 샘플링 블록은 3 개의 채널을 포함하고 이미지의 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
34. 실시형태 6 내지 33 중 어느 하나에 있어서, 신경망은 도 5a 내지 도 5d 에 도시 된 것과 실질적으로 동일한 구조를 갖는다.
35. 실시형태들 1 내지 34 중 어느 하나에 있어서, 복수의 픽셀 마스크들을 생성하기 전에 이미지를 사전 처리하는 단계를 더 포함한다.
36. 실시형태 35 에 있어서, 마이크로-객체가 미세유체 디바이스 내에서 이미징되고, 사전 처리는 이미징 동안 미세유체 디바이스의 적어도 하나의 컴포넌트에 의해 생성 된 반복 패턴을 공제하는 것을 포함한다.
37. 실시형태 36에 있어서, 사전 처리는 반복 패턴을 식별하기 위해 이미지에 푸리에 변환을 적용하는 것을 포함한다.
38. 실시형태 36 또는 37 에 있어서, 미세유체 디바이스의 적어도 하나의 컴포넌트는 기판 표면이다.
39. 실시형태 36 내지 38 중 어느 하나에 있어서, 미세유체 디바이스의 적어도 하나의 컴포넌트는 광 트랜지스터 어레이를 포함하는 기판 표면이다.
40. 실시형태 35 내지 39 중 어느 하나에 있어서, 이미지를 사전 처리하는 단계는 이미지를 원하는 배향으로 플립핑하고 및/또는 회전시키는 단계를 포함한다.
41. 실시형태 35 내지 40 중 어느 하나에 있어서, 이미지를 사전 처리하는 단계는 (예를 들어, 2차 또는 고차 다항식 베스트-핏 보정과 같은 다항식 베스트-핏 보정을 사용하여) 이미지에 걸쳐 밝기를 레벨링하는 단계를 포함한다.
42. 실시형태 35 내지 41 중 어느 하나에 있어서, 이미지를 사전 처리하는 단계는 (예를 들어, 도트들 사이에 알려진 간격을 갖는 도트 배열의 대응하는 이미지를 검사함으로써 계산된 룩업 테이블을 사용하여) 이미징 프로세스 동안 이미지에 도입 된 왜곡을 보정하는 단계를 포함한다.
43. 실시형태 35 내지 42 중 어느 하나에 있어서, 이미지를 사전 처리하는 단계는 콘트라스트 향상을 적용하는 단계를 포함한다.
44. 실시형태 1 내지 43 중 어느 하나에 있어서, 마이크로-객체 카운트에서 식별 된 마이크로-객체를 복수의 마이크로-객체 유형 중 적어도 하나로 분류하는 단계를 더 포함한다.
45. 실시형태 6 내지 실시형태 44 중 어느 하나에 있어서, 마이크로-객체를 포함하는 트레이닝 이미지들의 세트를 사용하여 신경망을 트레이닝하는 단계를 더 포함한다.
46. 실시형태 45 에 있어서, 트레이닝 이미지는 트레이닝 이미지의 수동 시각적 검토로부터 얻은 트레이닝 데이터와 함께 사용된다.
47. 실시형태 45 또는 46 에 있어서, 트레이닝 이미지는 동일한 유형 및/또는 수의 마이크로-객체를 포함하는 컴퓨터 검증 이미지로부터 얻은 트레이닝 데이터와 함께 사용된다.
48. 실시형태 1 내지 실시형태 47 중 어느 하나에 있어서, 마이크로-객체들은 생물학적 세포들이다.
49. 실시형태 48 에 있어서, 생물학적 세포는 면역 세포 (예를 들어, T 세포, B 세포, NK 세포, 대식세포 등) 이다.
50. 실시형태 49 에 있어서, 생물학적 세포는 세포주로부터의 세포 (예를 들어, CHO 세포) 또는 암세포이다.
51. 실시형태 49 에 있어서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
52. 컴퓨터를 포함하는 시스템으로 하여금 조명된 이미지 (예를 들어, 명 시야 이미지) 에서 마이크로-객체를 자동으로 검출하는 방법을 수행하게 하기 위한 프로그램이 저장된 비일시적 컴퓨터 판독 가능 매체로서, 그 방법은: 하나 이상의 마이크로-객체를 포함 할 수 있는 이미지를 메모리에 저장하는 단계; 대응하는 복수의 마이크로-객체 특성에 대해 이미지로부터 복수의 픽셀 마스크를 생성하는 단계; 및 복수의 픽셀 마스크 중 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하는 단계를 포함하며, 생성하는 단계 및 획득하는 단계는 실시형태 1 내지 51 또는 93 내지 128 중 어느 하나에 따라 수행된다.
53. 실시형태 52 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 마이크로-객체 카운트는 미세유체 디바이스 내에 배치되는 마이크로-객체에 대한 것이다.
54. 실시형태 52 또는 53 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 방법은 이미지를 사전 처리하는 단계를 더 포함하고, 사전 처리하는 단계는 복수의 픽셀 마스크를 생성하기 전에 수행된다.
55. 실시형태 54 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 마이크로-객체가 미세유체 디바이스 내에서 이미징되었고, 이미지를 사전 처리하는 단계는 이미징 동안 미세유체 디바이스의 적어도 하나의 컴포넌트에 의해 생성 된 반복 패턴을 공제하는 것을 포함한다.
56. 실시형태 55 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 사전 처리하는 단계는 반복 패턴을 식별하기 위해 이미지에 푸리에 변환을 적용하는 것을 포함한다.
57. 실시형태 55 또는 56 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 미세유체 디바이스의 적어도 하나의 컴포넌트는 기판 표면이다.
58. 실시형태 55 또는 56 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 미세유체 디바이스의 적어도 하나의 컴포넌트는 광 트랜지스터 어레이이다.
59. 실시형태 52 내지 58 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 복수의 마이크로-객체 특성은 마이크로-객체 중심, 마이크로-객체 경계 및 비-마이크로-객체를 포함한다.
60. 실시형태 52 내지 58 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 복수의 대응하는 마이크로-객체 특성은 세포 특성이다.
61. 실시형태 60 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 세포 특성은 세포 중심, 세포 경계 및 비-세포를 포함한다.
62. 실시형태 52 내지 61 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 카운트되는 마이크로-객체는 생물학적 세포이다.
63. 실시형태 62 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생물학적 세포는 면역 세포 (예를 들어, T 세포, B 세포, NK 세포, 대식세포 등) 이다.
64. 실시형태 62 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생물학적 세포는 세포주로부터의 세포 (예를 들어, CHO 세포) 또는 암세포이다.
65. 실시형태 62 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
66. 실시형태 52 내지 65 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생성하는 단계는 제 1 모듈에서 수행된다.
67. 실시형태 52 내지 66 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 획득하는 단계는 제 2 모듈에서 수행된다.
68. 실시형태 52 내지 65 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생성하는 단계 및 획득하는 단계는 단일 모듈에서 수행된다.
69. 복수의 격리 펜을 포함하는 미세유체 디바이스에서 마이크로-객체를 재포지셔닝하는 방법으로서, 상기 방법은: 미세유체 디바이스 내에 배치 된 마이크로-객체의 세트를 식별하는 단계로서, 여기서 마이크로-객체의 세트는 실시형태 1 내지 51 또는 93 내지 128 중 어느 하나의 방법에 따라 식별되는, 상기 마이크로-객체의 세트를 식별하는 단계; 하나 이상의 궤적을 계산하는 단계로서, 각 궤적은 마이크로-객체의 세트 중 하나의 마이크로-객체를 복수의 격리 펜 중 하나의 격리 펜과 연결하는 경로인, 상기 하나 이상의 궤적을 계산하는 단계; 마이크로 객체의 세트 중 하나 이상의 마이크로 객체에 대해, 하나 이상의 궤적에서 궤적을 선택하는 단계; 및 그것의 선택된 궤적을 따라 마이크로-객체를 이동함으로써 선택된 궤적을 갖는 하나 이상의 마이크로-객체 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계 (예를 들어, 재포지셔닝하는 단계는 본 명세서에 개시된 또는 당업계에 공지된 임의의 다른 기법에 의해 활성화 될 수 있는 DEP 힘을 사용하여 수행 될 수 있다) 를 포함한다.
70. 실시형태 69 에 있어서, 선택된 궤적을 갖는 하나 이상의 마이크로-객체 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계는 그것의 선택된 궤적을 따라 제 1 마이크로-객체를 이동시키고 그것의 선택된 궤적을 따라 제 2 마이크로-객체를 이동시키는 것을 포함한다.
71. 실시형태 70 에 있어서, 제 1 및 제 2 마이크로-객체는 평행한 그들의 선택된 궤적들을 따라 이동된다.
72. 실시형태 69 내지 71 중 어느 하나에 있어서, 마이크로-객체의 세트와 연관된 밀도 값을 계산하는 단계; 및 마이크로-객체의 세트와 연관된 밀도 값에 적어도 부분적으로 기초하여 하나 이상의 궤적을 계산하는 단계를 더 포함한다.
73. 실시형태 72 에 있어서, 밀도 값이 임계 값을 초과한다고 결정하는 단계; 및 마이크로-객체의 세트의 제 1 마이크로-객체에 대해, 제 1 마이크로-객체를 복수의 격리 펜 중 하나 이상의 격리 펜과 연결하는 하나 이상의 궤적을 계산하는 단계를 더 포함한다.
74. 실시형태 72 에 있어서, 밀도 값이 임계 값을 초과하지 않는다고 결정하는 단계; 및 복수의 격리 펜 중 제 1 격리 펜에 대해, 제 1 격리 펜을 마이크로-객체의 세트의 하나 이상의 마이크로-객체와 연결하는 하나 이상의 궤적을 계산하는 단계를 더 포함한다.
75. 실시형태 69 내지 74 중 어느 한 실시형태에 있어서, 복수의 격리 펜 중에서 빈 격리 펜을 식별하는 단계를 추가로 포함하고, 여기서 하나 이상의 계산 된 궤적이 마이크로 객체의 세트 중 하나의 마이크로 객체를 복수의 격리 펜 중 하나의 빈 격리 펜과 연결한다.
76. 실시형태 69 내지 75 중 어느 한 실시형태에 있어서, 하나 이상의 궤적의 궤적을 선택하는 단계는 선택된 궤적의 길이의 합이 최소화되도록 재포지셔닝되는 각각의 마이크로-객체에 대한 궤적을 선택하는 단계를 포함한다.
77. 실시형태 76 에 있어서, 선택된 궤적의 길이의 합을 최소화하는 것은 다음 중 적어도 하나를 사용하는 것을 포함한다: 그리디 알고리즘, 휴리스틱 기반 알고리즘, 비선형 알고리즘 및 제한된 검색.
78. 실시형태 69 내지 77 중 어느 한 실시형태에 있어서, 하나 이상의 궤적의 궤적를 선택하는 단계는 궤적이 미리 결정된 최대 길이를 초과하는지 여부를 결정하는 단계를 더 포함한다.
79. 실시형태 69 내지 78 중 어느 한 실시형태에 있어서, 하나 이상의 마이크로-객체 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계는 적어도 하나의 마이크로-객체 각각을 제 1 시간 주기에 걸쳐 초기 속도로부터 이동 속도로 가속하는 것을 포함한다.
80. 실시형태 69 에 있어서, 하나 이상의 마이크로-객체 중 적어도 하나의 마이크로-객체를 재포지셔닝하는 단계는 적어도 하나의 마이크로-객체 각각을 이동 속도로부터 제 2 시간 주기에 걸쳐 최종 속도로 감속시키는 것을 포함한다.
81. 미세유체 디바이스에서 마이크로-객체를 재포지셔닝하는 방법으로서, 미세유체 디바이스의 특정 공간 영역 내에 배치 된 마이크로-객체의 세트를 식별하는 단계로서, 마이크로-객체의 세트는 실시형태 1 내지 51 또는 93 내지 128 중 어느 하나의 방법에 따라 식별되는, 상기 마이크로-객체의 세트를 식별하는 단계; 특정 공간 영역을 하위 영역들로 분할하는 정점들의 세트를 계산하는 단계로서, 각 하위 영역은 마이크로-객체의 세트 중 하나 이상의 마이크로-객체(들)를 포함하는, 상기 정점들의 세트를 계산하는 단계; 계산 된 정점들의 세트에 기초하여 마이크로 오브젝트의 세트의 제 1 마이크로 오브젝트에 대한 제 1 광 케이지를 생성하는 단계; 및 제 1 마이크로-객체를 재포지셔닝하기 위해 미세유체 디바이스의 특정 공간 영역에 대해 제 1 광 케이지를 이동시키는 단계 (예를 들어, 대응하는 복수의 마이크로-객체에 대한 복수의 광 케이지를 생성하고, 그 후 복수의 광 케이지를 미세유체 디바이스의 특정 공간 영역에 대해 이동시킬 수 있음) 를 포함한다.
82. 실시형태 81 의 방법에 있어서, 정점들의 세트를 계산하는 단계는 특정 공간 영역을 히위 영역들로 분할하는 정점들의 세트를 계산하는 단계를 포함하고, 여기서 하위 영역들의 적어도 서브 세트는 마이크로-객체들의 세트의 단일 마이크로 오브젝트를 포함한다.
83. 실시형태 81 또는 82 에 있어서, 정점들의 세트를 계산하는 단계는 마이크로-객체들의 세트의 들로네 (Delaunay) 삼각 분할을 계산하는 단계; 마이크로 오브젝트 세트의 들로네 삼각 분할을 기반으로 보로노이 다이어그램을 생성하는 단계; 및 보로노이 다이어그램에 기초하여 정점들의 세트를 식별하는 단계를 포함한다.
84. 실시형태 81 내지 83 중 어느 하나에 있어서, 제 1 광 케이지를 생성하는 단계는 정점들의 세트의 정점들의 서브 세트를 링크하는 복수의 광 바를 생성하는 단계를 포함하며, 여기서 정점들의 서브 세트는 제 1 마이크로-객체에 가장 근접하고 그것을 둘러싸는 정점들을 포함한다 (또는 그 정점들로 이루어진다).
85. 실시형태 84 에 있어서, 제 1 광 케이지의 크기를 축소하여 제 1 마이크로-객체를 특정 공간 영역에서 다른 마이크로-객체 및/또는 광 케이지로부터 분리하는 단계를 추가로 포함한다.
86. 실시형태 81 내지 83 중 어느 한 실시형태에 있어서, 제 1 광 케이지를 생성하는 단계는 : 마이크로-객체의 세트 중 제 1 마이크로-객체에 대해, 초기 광 케이지를 계산하는 단계; 초기 광 케이지와 정점들의 세트 사이의 교차점 계산하는 단계; 및 초기 광 케이지와 정점들의 세트 사이의 교차점에 기초하여 수정 된 제 1 광 케이지를 생성하는 단계를 포함한다.
87. 실시형태 81 내지 86 중 어느 하나에 있어서, 계산 된 정점들의 세트에 기초하여 마이크로-객체의 세트의 제 2 마이크로-객체에 대한 제 2 광 케이지를 생성하는 단계를 더 포함한다.
88. 실시형태 87 에 있어서, 제 1 마이크로-객체 및 제 2 마이크로-객체를 물리적으로 분리하기 위해 미세유체 디바이스의 특정 공간 영역에 대해 제 1 변형 된 광 케이지 및 제 2 변형 된 광 케이지를 모두 이동시키는 단계를 추가로 포함한다.
89. 실시형태 88 에 있어서, 제 1 마이크로-객체 및 제 2 마이크로-객체가 초기에 특정 공간 영역의 인접한 하위 영역에 위치된다.
90. 실시형태 81 내지 실시형태 89 중 어느 하나에 있어서, 관심의 마이크로-객체는 세포이다.
91. 실시형태 90 의 방법에서, 세포는 포유류의 세포이다.
92. 실시형태 90 또는 91 에 있어서, 세포가 혈액 세포, 하이브리도마, 암 세포 및 형질 전환 된 세포로 이루어진 군으로부터 선택된다.
93. 조명 된 이미지 (예 : 명 시야 이미지) 에서 마이크로-객체를 자동으로 검출하는 방법으로서, 미세유체 디바이스의 이미지 데이터를 수신하는 단계; 이미지 데이터의 이상을 줄이기 위해 이미지 데이터를 사전 처리하는 단계; 신경망을 사용하여 이미지 데이터의 픽셀 데이터를 처리하여 복수의 마이크로-객체 특성에 따라 픽셀 데이터에 주석을 달고 픽셀 데이터의 각 픽셀에 대한 확률 값을 출력하는 단계; 어느 픽셀 확률이 적어도 정의 된 임계 값을 충족하는지 결정하기 위해 임계 값을 적용하는 단계; 및 임계 값 적용 후 식별 가능한 마이크로-객체의 수에 기초하여 마이크로-객체 카운트를 결정하는 단계를 포함한다.
94. 실시형태 93 에 있어서, 신경망은 다운 샘플링 블록을 포함하고, 그 다운 샘플링 블록은 다운 샘플링 컨볼루션 계층, 다운 샘플링 배치 정규화 계층 및 다운 샘플링 활성화 계층을 포함한다.
95. 실시형태 93 의 방법에서, 신경망은 복수의 다운 샘플링 블록을 포함하고, 각각의 다운 샘플링 블록은 다운 샘플링 컨볼루션 계층, 다운 샘플링 배치 정규화 계층 및 다운 샘플링 활성화 계층을 포함한다.
96. 실시형태 94 내지 95 에 있어서, 각각의 다운 샘플링 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시킨다.
97. 실시형태 94 또는 95 에 있어서, 각각의 다운 샘플링 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키고, 각각의 다운 샘플링 컨볼루션 계층은 5x5 컨볼루션 필터를 포함한다.
98. 실시형태 94 또는 95 에 있어서, 복수의 다운 샘플링 블록들 중 하나 이상의 다운-샘플링 블록은 분기 된 구조를 갖는 잔차 네트워크 블록에 의해 추종된다.
99. 실시형태 98 에 있어서, 잔차 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 선행 다운-샘플링 블록으로부터 수신 된 이미지 데이터를 상기 제 2 분기보다 더 작은 범위로 처리한다.
100. 실시형태 99 에 있어서, 잔차 네트워크 블록의 제 1 분기는 제 1 분기 컨볼루션 계층, 제 1 분기 배치 정규화 계층, 및 제 1 분기 활성화 계층을 포함한다.
101. 실시형태 100 에 있어서, 상기 제 1 분기 활성화 계층은 상기 제 1 분기 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 분기 배치 정규화 계층은 상기 제 1 분기 컨벌루션 계층으로부터 직접 이미지 데이터를 수신한다.
102. 실시형태 100 또는 101 에 있어서, 제 1 분기 컨볼루션 계층은 1x1 컨볼루션 필터를 포함한다.
103. 실시형태 99 내지 실시형태 102 중 어느 하나에 있어서, 잔차 네트워크 블록의 제 2 분기는 둘 이상의 처리 유닛을 포함하고, 각각의 처리 유닛은 잔차 컨볼루션 계층 및 잔차 배치 정규화 계층을 포함한다.
104. 실시형태 103 에 있어서, 잔차 네트워크 블록의 제 2 분기는 제 1 잔차 컨볼루션 계층, 제 1 잔차 배치 정규화 계층, 제 2 분기 활성화 계층, 제 2 잔차 컨볼루션 계층 및 제 2 잔차 배치 정규화 계층을 포함하며, 제 2 잔차 배치 정규화 계층은 제 2 잔차 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 제 2 잔차 컨벌루션 계층은 제 2 분기 활성화 계층으로부터 직접 이미지 데이터를 수신하고, 제 2 분기 활성화 계층은 제 1 잔차 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하며, 제 1 잔차 배치 정규화 계층은 제 1 잔차 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
105. 실시형태 104 에 있어서, 상기 제 1 잔차 컨볼루션 계층은 제 1 잔차 컨볼루 션 필터를 포함하고 상기 제 2 잔차 컨볼루션 계층은 제 2 잔차 컨볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔차 컨볼루션 필터는 상이한 차원을 갖는다.
106. 실시형태 104 의 방법에서, 제 1 잔차 컨볼루션 계층은 제 1 잔차 컨볼루션 필터를 포함하고 제 2 잔차 컨볼루션 계층은 제 2 잔차 컨벌루션 필터를 포함하고, 제 1 및 제 2 잔차 컨볼루션 필터는 동일한 차원을 갖는다.
107. 실시형태 99 내지 106 중 어느 하나에 있어서, 제 1 분기 및 제 2 분기로부터의 이미지 데이터가 재결합되고 잔차 네트워크 활성화 계층으로 전송된다.
108. 실시형태 94 내지 107 중 어느 하나에 있어서, 신경망은 제 1 다운 샘플링 블록, 제 1 잔차 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔차 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔차 네트워크 블록을 포함한다.
109. 실시형태 108 에 있어서, 제 1 다운 샘플링 블록 및 제 1 잔차 네트워크 블록은 각각 32 개의 채널 및 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
110. 실시형태 108 또는 109 에 있어서, 제 2 다운 샘플링 블록 및 제 2 잔차 네트워크 블록은 각각 64 개의 채널 및 이미지 해상도의 1/4 인 공간 해상도를 포함한다.
111. 실시형태 108 내지 110 중 어느 하나에 있어서, 제 1 다운 샘플링 블록 및 제 3 잔차 네트워크 블록은 각각 128 개의 채널 및 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
112. 실시형태 95 내지 111 중 어느 하나에 있어서, 신경망은 복수의 다운 샘플링 블록 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하고, 각 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 및 업 샘플링 활성화 계층을 포함하고, 각 업 샘플링 블록의 전치 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
113. 실시형태 112 에 있어서, 하나 이상의 업 샘플링 블록은 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행 잔차 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함한다.
114. 실시형태 113 에 있어서, 하나 이상의 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 재결합 계층, 및 업 샘플링 활성화 계층을 포함하며, 여기서 업 샘플링 활성화 계층은 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 재결합 계층은 업 샘플링 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하며, 업 샘플링 배치 정규화 계층은 전치 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
115. 실시형태 112 내지 114 중 어느 하나에 있어서, 각각의 전치 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 증가시킨다.
116. 실시형태 113 또는 114 에 있어서, 신경망이 n 개의 다운 샘플링 블록과 n 개의 잔차 네트워크 블록을 가질 때, 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록을 갖는다.
117. 실시형태 113 내지 116 중 어느 하나에 있어서, 신경망은 제 2 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
118. 실시형태 117 에 있어서, 제 1 업 샘플링 블록은 64 개의 채널을 포함하고 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
119. 실시형태 117 또는 118 에 있어서, 제 2 업 샘플링 블록은 32 개의 채널을 포함하고 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
120. 실시형태 117 내지 120 중 어느 하나에 있어서, 제 3 업 샘플링 블록은 3 개의 채널을 포함하고 이미지의 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
121. 실시형태 93 내지 120 중 어느 하나에 있어서, 마이크로-객체를 복수의 마이크로-객체 유형 중 적어도 하나로 분류하는 단계를 더 포함한다.
122. 실시형태 93 내지 실시형태 121 중 어느 하나에 있어서, 마이크로-객체를 포함하는 트레이닝 이미지들의 세트를 사용하여 신경망을 트레이닝하는 단계를 더 포함한다.
123. 실시형태 122 에 있어서, 트레이닝 이미지는 트레이닝 이미지의 수동 시각적 검토로부터 얻은 트레이닝 데이터와 함께 사용된다.
124. 실시형태 122 또는 123 에 있어서, 트레이닝 이미지는 동일한 유형 및/또는 수의 마이크로-객체를 포함하는 컴퓨터 검증 이미지로부터 얻은 트레이닝 데이터와 함께 사용된다.
125. 실시형태 93 내지 실시형태 124 중 어느 하나에 있어서, 마이크로-객체들은 생물학적 세포들이다.
126. 실시형태 125 에 있어서, 상기 생물학적 세포들은 면역 세포들이다.
127. 실시형태 125 에 있어서, 생물학적 세포는 세포주로부터의 세포 또는 암세포이다.
128. 실시형태 125 에 있어서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
129. 컴퓨터를 포함하는 시스템으로 하여금 조명 된 이미지 (예 : 명 시야 이미지) 에서 마이크로-객체를 자동으로 검출하는 방법을 수행하게 하기 위한 프로그램이 저장되는 비일시적 컴퓨터 판독가능 매체로서, 그 방법은 미세유체 디바이스의 이미지 데이터를 수신하는 단계; 이미지 데이터의 이상을 줄이기 위해 이미지 데이터를 사전 처리하는 단계; 신경망을 사용하여 이미지 데이터의 픽셀 데이터를 처리하여 복수의 마이크로-객체 특성에 따라 픽셀 데이터에 주석을 달고 픽셀 데이터의 각 픽셀에 대한 확률 값을 출력하는 단계; 어느 픽셀 확률이 적어도 정의 된 임계 값을 충족하는지 결정하기 위해 임계 값을 적용하는 단계; 및 임계 값 적용 후 식별 가능한 마이크로-객체의 수에 기초하여 마이크로-객체 카운트를 결정하는 단계를 포함한다.
130. 실시형태 129 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 신경망은 다운 샘플링 블록을 포함하고, 그 다운 샘플링 블록은 다운 샘플링 컨볼루션 계층, 다운 샘플링 배치 정규화 계층 및 다운 샘플링 활성화 계층을 포함한다.
131. 실시형태 129 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 신경망은 복수의 다운 샘플링 블록을 포함하고, 각각의 다운 샘플링 블록은 다운 샘플링 컨볼루션 계층, 다운 샘플링 배치 정규화 계층 및 다운 샘플링 활성화 계층을 포함한다.
132. 실시형태 130 내지 131 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 각각의 다운 샘플링 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시킨다.
133. 실시형태 130 또는 131 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 각각의 다운 샘플링 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키고, 각각의 다운 샘플링 컨볼루션 계층은 5x5 컨볼루션 필터를 포함한다.
134. 실시형태 130 또는 131 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 복수의 다운 샘플링 블록들 중 하나 이상의 다운-샘플링 블록은 분기 된 구조를 갖는 잔차 네트워크 블록에 의해 추종된다.
135. 실시형태 134 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 잔차 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 선행 다운-샘플링 블록으로부터 수신 된 이미지 데이터를 상기 제 2 분기보다 더 작은 범위로 처리한다.
136. 실시형태 135 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 잔차 네트워크 블록의 제 1 분기는 제 1 분기 컨볼루션 계층, 제 1 분기 배치 정규화 계층, 및 제 1 분기 활성화 계층을 포함한다.
137. 실시형태 136 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 1 분기 활성화 계층은 상기 제 1 분기 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 분기 배치 정규화 계층은 상기 제 1 분기 컨벌루션 계층으로부터 직접 이미지 데이터를 수신한다.
138. 실시형태 136 또는 137 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 1 분기 컨볼루션 계층은 1x1 컨볼루션 필터를 포함한다.
139. 실시형태 135 내지 실시형태 137 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 잔차 네트워크 블록의 제 2 분기는 둘 이상의 처리 유닛을 포함하고, 각각의 처리 유닛은 잔차 컨볼루션 계층 및 잔차 배치 정규화 계층을 포함한다.
140. 실시형태 139 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 잔차 네트워크 블록의 제 2 분기는 제 1 잔차 컨볼루션 계층, 제 1 잔차 배치 정규화 계층, 제 2 분기 활성화 계층, 제 2 잔차 컨볼루션 계층 및 제 2 잔차 배치 정규화 계층을 포함하며, 제 2 잔차 배치 정규화 계층은 제 2 잔차 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 제 2 잔차 컨벌루션 계층은 제 2 분기 활성화 계층으로부터 직접 이미지 데이터를 수신하고, 제 2 분기 활성화 계층은 제 1 잔차 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하며, 제 1 잔차 배치 정규화 계층은 제 1 잔차 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
141. 실시형태 140 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 상기 제 1 잔차 컨볼루션 계층은 제 1 잔차 컨볼루 션 필터를 포함하고 상기 제 2 잔차 컨볼루션 계층은 제 2 잔차 컨볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔차 컨볼루션 필터는 상이한 차원을 갖는다.
142. 실시형태 104 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 1 잔차 컨볼루션 계층은 제 1 잔차 컨볼루션 필터를 포함하고 제 2 잔차 컨볼루션 계층은 제 2 잔차 컨벌루션 필터를 포함하고, 제 1 및 제 2 잔차 컨볼루션 필터는 동일한 차원을 갖는다.
143. 실시형태 135 내지 142 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 1 분기 및 제 2 분기로부터의 이미지 데이터가 재결합되고 잔차 네트워크 활성화 계층으로 전송된다.
144. 실시형태 129 내지 143 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 신경망은 제 1 다운 샘플링 블록, 제 1 잔차 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔차 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔차 네트워크 블록을 포함한다.
145. 실시형태 144 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 1 다운 샘플링 블록 및 제 1 잔차 네트워크 블록은 각각 32 개의 채널 및 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
146. 실시형태 144 또는 145 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 2 다운 샘플링 블록 및 제 2 잔차 네트워크 블록은 각각 64 개의 채널 및 이미지 해상도의 1/4 인 공간 해상도를 포함한다.
147. 실시형태 144 내지 146 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 1 다운 샘플링 블록 및 제 3 잔차 네트워크 블록은 각각 128 개의 채널 및 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
148. 실시형태 131 내지 147 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 신경망은 복수의 다운 샘플링 블록 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하고, 각 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 및 업 샘플링 활성화 계층을 포함하고, 각 업 샘플링 블록의 전치 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
149. 실시형태 148 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 하나 이상의 업 샘플링 블록은 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행 잔차 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함한다.
150. 실시형태 149 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 하나 이상의 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 재결합 계층, 및 업 샘플링 활성화 계층을 포함하며, 여기서 업 샘플링 활성화 계층은 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 재결합 계층은 업 샘플링 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하며, 업 샘플링 배치 정규화 계층은 전치 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
151. 실시형태 148 내지 150 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 각각의 전치 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 증가시킨다.
152. 실시형태 149 또는 150 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 신경망이 n 개의 다운 샘플링 블록과 n 개의 잔차 네트워크 블록을 가질 때, 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록을 갖는다.
153. 실시형태 149 내지 151 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 신경망은 제 2 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
154. 실시형태 153 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 1 업 샘플링 블록은 64 개의 채널을 포함하고 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
155. 실시형태 153 또는 154 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 2 업 샘플링 블록은 32 개의 채널을 포함하고 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
156. 실시형태 153 내지 155 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 제 3 업 샘플링 블록은 3 개의 채널을 포함하고 이미지의 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
157. 실시형태 129 내지 156 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 마이크로-객체를 복수의 마이크로-객체 유형 중 적어도 하나로 분류하는 단계를 더 포함한다.
158. 실시형태 129 내지 실시형태 157 중 어느 하나의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 마이크로-객체를 포함하는 트레이닝 이미지들의 세트를 사용하여 신경망을 트레이닝하는 단계를 더 포함한다.
159. 실시형태 158 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 트레이닝 이미지는 트레이닝 이미지의 수동 시각적 검토로부터 얻은 트레이닝 데이터와 함께 사용된다.
160. 실시형태 158 또는 159 의 비일시적 컴퓨터 판독가능 매체의 방법으로서, 트레이닝 이미지는 동일한 유형 및/또는 수의 마이크로-객체를 포함하는 컴퓨터 검증 이미지로부터 얻은 트레이닝 데이터와 함께 사용된다.
161. 실시형태 129 내지 160 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 마이크로-객체는 생물학적 세포이다.
162. 실시형태 161 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생물학적 세포는 면역 세포가다.
163. 실시형태 161 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생물학적 세포는 세포주로부터의 세포 또는 암세포이다.
164. 실시형태 161 의 비 일시적 컴퓨터 판독 가능 매체의 방법으로서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
165. 이미지에서 마이크로-객체를 자동으로 검출하기 위한 시스템으로서, 미세유체 디바이스의 하나 이상의 이미지를 캡처하도록 구성된 이미징 엘리먼트, 및 이미지 데이터의 이상을 줄이도록 구성된 이미지 사전 처리 엔진을 포함하는 이미지 획득 유닛; 및 상기 이미지 획득 유닛과 통신 가능하게 연결되는 마이크로-객체 검출 유닛을 포함하고, 상기 마이크로-객체 검출 유닛은, 복수의 마이크로-객체 특성에 따라 이미지의 픽셀 데이터에 주석을 달고 픽셀 데이터 내의 각 픽셀에 대한 확률 값을 출력하도록 구성된 신경망; 어느 픽셀 확률이 적어도 정의 된 임계 값을 충족하는지 결정하도록 구성된 임계 값 엔진, 및 이미지 사후 처리 기법을 적용하고 마이크로-객체 카운트를 출력하도록 구성된 검출 엔진을 포함한다.
166. 실시형태 165 에 있어서, 신경망은 다운 샘플링 블록을 포함하고, 그 다운 샘플링 블록은 다운 샘플링 컨볼루션 계층, 다운 샘플링 배치 정규화 계층 및 다운 샘플링 활성화 계층을 포함한다.
167. 실시형태 165 에 있어서, 신경망은 복수의 다운 샘플링 블록을 포함하고, 각각의 다운 샘플링 블록은 다운 샘플링 컨볼루션 계층, 다운 샘플링 배치 정규화 계층 및 다운 샘플링 활성화 계층을 포함한다.
168. 실시형태 166 내지 167 에 있어서, 각각의 다운 샘플링 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키도록 구성된다.
169. 실시형태 166 또는 167 에 있어서, 각각의 다운 샘플링 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 감소시키도록 구성되고, 각각의 다운 샘플링 컨볼루션 계층은 5x5 컨볼루션 필터를 포함한다.
170. 실시형태 166 또는 167 에 있어서, 복수의 다운 샘플링 블록들 중 하나 이상의 다운-샘플링 블록은 분기 된 구조를 갖는 잔차 네트워크 블록에 의해 추종된다.
171. 실시형태 170 에 있어서, 잔차 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 이전 다운-샘플링 블록으로부터 수신 된 이미지 데이터를 상기 제 2 분기보다 더 작은 범위로 처리하도록 구성된다.
172. 실시형태 171 에 있어서, 잔차 네트워크 블록의 제 1 분기는 제 1 분기 컨볼루션 계층, 제 1 분기 배치 정규화 계층, 및 제 1 분기 활성화 계층을 포함한다.
173. 실시형태 172 에 있어서, 상기 제 1 분기 활성화 계층은 상기 제 1 분기 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 상기 제 1 분기 배치 정규화 계층은 상기 제 1 분기 컨벌루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성된다.
174. 실시형태 172 또는 173 에 있어서, 제 1 분기 컨볼루션 계층은 1x1 컨볼루션 필터를 포함한다.
175. 실시형태 171 내지 실시형태 173 중 어느 하나에 있어서, 잔차 네트워크 블록의 제 2 분기는 둘 이상의 처리 유닛을 포함하고, 각각의 처리 유닛은 잔차 컨볼루션 계층 및 잔차 배치 정규화 계층을 포함한다.
176. 실시형태 175 에 있어서, 잔차 네트워크 블록의 제 2 분기는 제 1 잔차 컨볼루션 계층, 제 1 잔차 배치 정규화 계층, 제 2 분기 활성화 계층, 제 2 잔차 컨볼루션 계층 및 제 2 잔차 배치 정규화 계층을 포함하며, 제 2 잔차 배치 정규화 계층은 제 2 잔차 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 제 2 잔차 컨벌루션 계층은 제 2 분기 활성화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 제 2 분기 활성화 계층은 제 1 잔차 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되며, 제 1 잔차 배치 정규화 계층은 제 1 잔차 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성된다.
177. 실시형태 176 에 있어서, 상기 제 1 잔차 컨볼루션 계층은 제 1 잔차 컨볼루 션 필터를 포함하고 상기 제 2 잔차 컨볼루션 계층은 제 2 잔차 컨볼루션 필터를 포함하고, 상기 제 1 및 제 2 잔차 컨볼루션 필터는 상이한 차원을 갖는다.
178. 실시형태 176 에 있어서, 제 1 잔차 컨볼루션 계층은 제 1 잔차 컨볼루션 필터를 포함하고 제 2 잔차 컨볼루션 계층은 제 2 잔차 컨벌루션 필터를 포함하고, 제 1 및 제 2 잔차 컨볼루션 필터는 동일한 차원을 갖는다.
179. 실시형태 176 내지 178 중 어느 하나에 있어서, 상기 잔차 네트워크 블록은 제 1 분기 및 제 2 분기로부터의 이미지 데이터를 재결합하고 상기 재결합 계층으로부터의 출력을 잔차 네트워크 활성화 계층으로 전송하도록 나중에 구성된 재조합을 더 포함하는 시스템.
180. 실시형태 175 내지 179 중 어느 하나에 있어서, 신경망은 제 1 다운 샘플링 블록, 제 1 잔차 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔차 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔차 네트워크 블록을 포함한다.
181. 실시형태 180 에 있어서, 제 1 다운 샘플링 블록 및 제 1 잔차 네트워크 블록은 각각 32 개의 채널 및 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
182. 실시형태 180 또는 181 에 있어서, 제 2 다운 샘플링 블록 및 제 2 잔차 네트워크 블록은 각각 64 개의 채널 및 이미지 해상도의 1/4 인 공간 해상도를 포함한다.
183. 실시형태 180 내지 182 중 어느 하나에 있어서, 제 1 다운 샘플링 블록 및 제 3 잔차 네트워크 블록은 각각 128 개의 채널 및 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
184. 실시형태 179 내지 183 중 어느 하나에 있어서, 신경망은 복수의 다운 샘플링 블록 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하고, 각 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 및 업 샘플링 활성화 계층을 포함하고, 각 업 샘플링 블록의 전치 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시도록 구성된다.
185. 실시형태 184 에 있어서, 하나 이상의 업 샘플링 블록은 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터를 선행 잔차 네트워크 블록으로부터의 이미지 데이터와 병합하도록 구성된 재결합 계층을 포함한다.
186. 실시형태 185 에 있어서, 하나 이상의 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 재결합 계층, 및 업 샘플링 활성화 계층을 포함하며, 여기서 업 샘플링 활성화 계층은 재결합 계층으로부터 직접 이미지 데이터를 수신하도록 구성되고, 재결합 계층은 업 샘플링 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하도록 구성되며, 업 샘플링 배치 정규화 계층은 전치 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하도록 구성된다.
187. 실시형태 184 내지 186 중 어느 하나에 있어서, 각각의 전치 컨볼루션 계층은 2 의 팩터에 의해 이미지 데이터의 공간 해상도를 증가시키도록 구성된다.
188. 실시형태 185 또는 186 에 있어서, 신경망이 n 개의 다운 샘플링 블록과 n 개의 잔차 네트워크 블록을 가질 때, 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록을 갖는다.
189. 실시형태 185 내지 188 중 어느 하나에 있어서, 신경망은 제 2 잔차 네트워크 블록으로부터 이미지 데이터를 수신하도록 구성되는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔차 네트워크 블록으로부터 이미지 데이터를 수신하도록 구성되는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
190. 실시형태 189 에 있어서, 제 1 업 샘플링 블록은 64 개의 채널을 포함하고 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
191. 실시형태 189 또는 190 에 있어서, 제 2 업 샘플링 블록은 32 개의 채널을 포함하고 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
192. 실시형태 189 내지 191 중 어느 하나에 있어서, 제 3 업 샘플링 블록은 3 개의 채널을 포함하고 이미지의 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
193. 실시형태 165 내지 실시형태 192 중 어느 하나에 있어서, 마이크로-객체들은 생물학적 세포들이다.
194. 실시형태 193 에 있어서, 상기 생물학적 세포들은 면역 세포들이다.
195. 실시형태 193 에 있어서, 생물학적 세포는 세포주로부터의 세포 또는 암세포이다.
196. 실시형태 193 에 있어서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
200. 미세유체 디바이스에서 마이크로-객체들을 검출하고 특성화하는 방법으로서, 그 방법은 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 수신하는 단계; 이미지 데이터의 이상을 줄이기 위해 제 1 이미지 및 하나 이상의 제 2 이미지를 사전 처리하는 단계; 제 2 이미지(들)를 제 1 이미지와 광학적으로 정렬하기 위해 하나 이상의 제 2 이미지 각각을 변환하는 단계; 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 기계 학습 알고리즘을 사용하여 제 1 이미지의 픽셀 데이터를 처리하는 단계로서, 각각의 마이크로-객체를 검출하는 것은 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 제 1 이미지의 픽셀 데이터를 처리하는 단계; 및 하나 이상의 제 2 이미지들의 각각의 제 2 이미지에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치된 신호를 검출하는 단계를 포함할 수 있다.
201. 실시형태 200 에 있어서, 하나 이상의 제 2 이미지 중 적어도 하나가 형광 이미지이고, 적어도 하나의 제 2 이미지에서의 검출 된 신호가 형광 신호이다.
202. 실시형태 201 에 있어서, 하나 이상의 제 2 이미지 각각이 형광 이미지이고, 하나 이상의 제 2 이미지 각각에서의 검출 된 신호가 형광 신호이다.
203. 구체 예 201 또는 202 에 있어서, 각각의 형광 이미지는 가시 광선 스펙트럼의 고유 한 부분으로부터의 형광 신호를 나타낸다.
204. 구체 예 203 에 있어서, 각각의 형광 이미지는 가시 광선 스펙트럼의 겹치지 않는 부분으로부터의 형광 신호를 나타낸다.
205. 실시형태 200 내지 204 중 어느 한 실시형태에 있어서, 각각의 형광 검출 신호가 검출 된 마이크로-객체 중 하나 이상에 의해 포함되는 생물학적 분자에 특이적으로 결합하는 시약과 연관된다.
206. 실시형태 200 내지 205 중 어느 하나에 있어서, 제 1 이미지 및 적어도 하나의 제 2 이미지의 사전 처리는 제 1 이미지 및 적어도 하나의 제 2 이미지의 생성 동안 도입 된 노이즈 및/또는 광학적 왜곡(들)을 감소시킨다.
207. 실시형태 200 내지 206 중 어느 하나에 있어서, 제 1 이미지의 픽셀 데이터를 처리하는 단계는 실시형태 1 내지 51 또는 93 내지 128 중 어느 하나에 따라 수행된다 (단, 복수의 픽셀 마스크의 적어도 하나의 픽셀 마스크로부터 마이크로-객체 카운트를 획득하는 단계는 선택적이다).
208. 실시형태 200 내지 206 중 어느 하나에 있어서, 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 제 1 이미지의 픽셀 데이터를 처리하는 단계는 기계 학습 알고리즘을 사용하여 대응하는 복수의 마이크로-객체 특성에 대한 제 1 이미지로부터 복수의 픽셀 마스크를 생성하는 단계를 포함하며, 각각의 픽셀 마스크는 픽셀 주석들의 세트를 포함하고, 그 세트의 각 픽셀 주석은 이미지의 대응하는 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타낸다.
209. 실시형태 208 에 있어서, 마이크로-객체를 검출하는 단계는 복수의 픽셀 마스크의 픽셀 마스크의 조합을 사용하는 단계를 포함한다.
210. 실시형태 208 또는 209 에 있어서, 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성을 포함한다.
211. 실시형태 208 내지 210 중 어느 하나에 있어서, 복수의 마이크로-객체 특성들은 적어도: (i) 마이크로-객체 중심; (ii) 마이크로-객체 가장자리; 및 (iii) 비-마이크로-객체를 포함한다.
212. 실시형태 211 에 있어서, 마이크로-객체를 검출하는 단계는 마이크로-객체 중심 특성에 대응하는 픽셀 마스크 또는 마이크로-객체 중심 특성에 대응하는 픽셀 마스크를 포함하는 픽셀 마스크의 조합에 기초한다.
213. 실시형태 208 내지 212 중 어느 하나에 있어서, 기계 학습 알고리즘은 신경망 (예를 들어, 컨볼루션 신경망) 을 포함한다.
214. 실시형태들 200 내지 206 또는 208 내지 213 중 어느 하나의 방법에 있어서, 신호를 검출하는 단계는 신호의 양을 정량화하는 단계를 포함한다.
215. 실시형태들 200 내지 206 또는 208 내지 214 중 어느 하나의 방법에 있어서, 적어도 2 개의 제 2 이미지들이 존재한다.
216. 실시형태들 200 내지 206 또는 208 내지 214 중 어느 하나의 방법에 있어서, 적어도 3 개의 제 2 이미지들이 존재한다.
217. 실시형태들 200 내지 206 또는 208 내지 214 중 어느 하나의 방법에 있어서, 적어도 4 개의 제 2 이미지들이 존재한다.
218. 실시형태 200 내지 206 또는 208 내지 217 중 어느 하나에 어서, 각각의 마이크로-객체를 검출하는 단계는 단면적, 원형도, 밝기, 밝기 대 배경의 비율, 마이크로-객체의 위치, 및 가장 가까운 이웃 마이크로-객체까지의 거리 중 적어도 하나를 결정하는 단계를 더 포함한다.
219. 실시형태 200 내지 206 또는 208 내지 218 중 어느 하나에 있어서, 검출 된 마이크로-객체를 하나 이상의 동일한 특성을 공유하는 마이크로-객체의 하위 집단들로 그룹화하는 단계를 더 포함한다.
220. 실시형태 219 에 있어서, 검출 된 마이크로-객체들이 n 차원 공간에서의 그들의 근접성에 기초하여 하위 집단으로 그룹화 (또는 "게이팅") 되고, 여기서 n 개의 차원들 각각은 마이크로-객체의 측정 가능한 특성이다.
221. 실시형태 200 내지 206 또는 208 내지 220 중 어느 하나에 있어서, 검출 된 마이크로-객체의 적어도 하나의 특성의 분포를 나타내는 시각적 디스플레이를 제공하는 단계를 더 포함한다.
222. 실시형태 221 에 있어서, 시각적 디스플레이는 검출 된 마이크로-객체의 적어도 2 개의 특성 (예를 들어, 단면적 및 제 1 형광 신호, 또는 제 1 및 제 2 형광 신호) 을 나타내는 2 차원 그래프이다.
223. 실시형태 221 의 방법에 있어서, 시각적 디스플레이는 검출 된 마이크로-객체의 적어도 3 개의 특성 (예를 들어, 단면적 및 제 1 및 제 2 형광 신호, 또는 제 1, 제 2 및 제 3 형광 신호) 을 나타내는 3 차원 그래프이다.
224. 실시형태 221 내지 223 중 어느 하나에 있어서, 사용자가 검출 된 마이크로-객체의 하위 집단을 선택하고, 선택적으로, 선택된 하위 집단을 재포지셔닝하기 위한 명령(들)을 제공하는 것을 허용하는 사용자 인터페이스를 제공하는 단계를 더 포함한다.
225. 실시형태 200 내지 206 또는 208 내지 224 중 어느 하나에 있어서, 마이크로-객체의 식별된 경계를 증가시키거나 감소시키는 단계를 더 포함한다.
226. 실시형태 213 에 있어서, 신경망은 복수의 다운 샘플링 블록 (예를 들어, 적어도 2, 3, 4 개 등의 다운 샘플링 블록) 을 포함하고, 각각의 다운 샘플링 블록은 제 1 다운 샘플링 컨볼루션 계층, 제 1 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 1 ELU 계층을 포함하고, 각각의 제 1 다운 샘플링 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시킨다.
227. 실시형태 226 에 있어서, 다운 샘플링 블록 중 하나 이상 (예를 들어, 각각) 은 제 1 다운 샘플링 컨볼루션 계층, 제 1 배치 정규화 계층, 및 제 1 ELU 계층으로 구성 (또는 본질적으로 구성) 되며, 여기서 제 1 ELU 계층은 제 1 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 제 1 배치 정규화 계층은 제 1 다운 샘플링 컨벌루션 계층으로부터 직접 이미지 데이터를 수신한다.
228. 실시형태 226 또는 227 에 있어서, 각각의 다운 샘플링 컨볼루션 계층은 (예를 들어, 컨볼루션 필터 (또는 커널) 를 한 번에 2 픽셀 슬라이딩함으로써) 2 의 팩터에 의해 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시킨다.
229. 실시형태들 226 내지 228 중 어느 하나에 있어서, 제 1 다운 샘플링 컨볼루션 계층들 각각은 5x5 컨볼루션 필터를 포함한다.
230. 실시형태 226 내지 229 중 어느 하나에 있어서, 복수의 다운 샘플링 블록들 중 하나 이상의 (예를 들어, 각각의) 다운-샘플링 블록은 분기 된 구조를 갖는 잔차 네트워크 블록에 의해 추종된다.
231. 실시형태 230 에 있어서, 잔차 네트워크 블록의 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 이전 다운-샘플링 블록으로부터 수신 된 이미지 데이터를 상기 제 2 분기보다 더 작은 범위로 처리한다.
232. 실시형태 231 에 있어서, 잔차 네트워크 블록의 제 1 분기는 제 2 컨볼루션 계층, 제 2 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 2 ELU 계층을 포함한다.
233. 실시형태 232 에 있어서, 잔차 네트워크 블록의 제 1 분기는 제 2 컨볼루션 계층, 제 2 배치 정규화 계층, 및 제 2 ELU 계층으로 이루어지며 (또는 본질적으로 이루어지며), 여기서 제 2 ELU 계층은 제 2 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 제 2 배치 정규화 계층은 제 2 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
234. 실시형태 231 또는 232 에 있어서, 제 2 컨볼루션 계층은 1x1 컨볼루션 필터를 포함한다.
235. 실시형태 231 내지 실시형태 234 중 어느 하나에 있어서, 잔차 네트워크 블록의 제 2 분기는 둘 이상의 처리 유닛을 포함하고, 각각의 처리 유닛은 컨볼루션 계층 및 배치 정규화 계층을 포함한다.
236. 실시형태 235 에 있어서, 잔차 네트워크 블록의 제 2 분기는 제 3 컨볼루션 계층, 제 3 배치 정규화 계층, 게이팅 함수를 포함하는 제 3 ELU 계층, 제 4 컨볼루션 계층 및 제 4 배치 정규화 계층으로 이루어지며 (또는 본질적으로 이루어지며), 여기서 제 4 배치 정규화 계층은 제 4 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 제 4 컨벌루션 계층은 제 3 ELU 계층으로부터 직접 이미지 데이터를 수신하고, 제 3 ELU 계층은 제 3 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하며, 제 3 배치 정규화 계층은 제 3 컨볼루션 계층으로부터 직접 이미지 데이터를 수신한다.
237. 실시형태 236 에 있어서, 제 3 컨볼루션 계층은 3x3 컨볼루션 필터를 포함한다.
238. 실시형태 236 또는 237 에 있어서, 제 4 컨볼루션 계층은 3x3 컨볼루션 필터를 포함한다.
239. 실시형태 231 내지 238 중 어느 하나에 있어서, 잔차 네트워크 블록의 제 1 분기 (예를 들어, 제 1 분기의 ELU 계층) 및 잔차 네트워크 블록의 제 2 분기 (예를 들어, 제 2 분기의 제 4 배치 정규화 계층) 로부터의 이미지 데이터는 재결합되어 게이팅 함수를 포함하는 제 4 ELU 계층으로 전송된다.
240. 실시형태 213 및 226 내지 239 중 어느 하나에 있어서, 신경망은 제 1 다운 샘플링 블록, 제 1 잔차 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔차 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔차 네트워크 블록을 포함한다.
241. 실시형태 240 에 있어서, 제 1 다운 샘플링 블록 및 제 1 잔차 네트워크 블록은 각각 32 개의 채널 및 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함한다.
242. 실시형태 240 또는 241 에 있어서, 제 2 다운 샘플링 블록 및 제 2 잔차 네트워크 블록은 각각 64 개의 채널 및 이미지 해상도의 1/4 인 공간 해상도를 포함한다.
243. 실시형태 240 내지 242 중 어느 하나에 있어서, 제 1 다운 샘플링 블록 및 제 3 잔차 네트워크 블록은 각각 128 개의 채널 및 이미지의 공간 해상도의 1/8 인 공간 해상도를 포함한다.
244. 실시형태 213 또는 226 내지 243 중 어느 하나에 있어서, 신경망은 복수의 다운 샘플링 블록 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하고, 각 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 및 게이팅 함수를 포함하는 업 샘플링 ELU 계층을 포함하고, 각 업 샘플링 블록의 전치 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
245. 실시형태 244 에 있어서, 하나 이상의 업 샘플링 블록 각각은 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행 잔차 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함한다.
246. 실시형태 245 에 있어서, 하나 이상의 업 샘플링 블록 각각은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 재결합 계층, 및 업 샘플링 ELU 계층으로 이루어지며 (또는 본질적으로 이루어지며), 여기서 업 샘플링 ELU 계층은 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 업 샘플링 배치 정규화 계층은 재구성 전치 계층으로부터 직접 이미지 데이터를 수신한다.
247. 실시형태 244 내지 246 중 어느 하나에 있어서, 각각의 전치 컨볼루션 계층은 2 의 팩터에 의해 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시킨다.
248. 실시형태 230 내지 247 중 어느 하나에 있어서, 신경망이 n 개의 다운 샘플링 블록과 n 개의 잔차 네트워크 블록을 가질 때, 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록을 갖는다.
249. 실시형태 213 또는 226 내지 248 중 어느 하나에 있어서, 신경망은 제 2 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함한다.
250. 실시형태 249 에 있어서, 제 1 업 샘플링 블록은 64 개의 채널을 포함하고 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
251. 실시형태 249 또는 250 에 있어서, 제 2 업 샘플링 블록은 32 개의 채널을 포함하고 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력한다.
252. 실시형태 249 내지 251 중 어느 하나에 있어서, 제 3 업 샘플링 블록은 3 개의 채널을 포함하고 이미지의 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력한다.
253. 실시형태 213 에 있어서, 신경망은 도 9a 내지 도 9d 에 도시 된 것과 실질적으로 동일한 구조를 갖는다.
254. 실시형태들 213 또는 226 내지 253 중 어느 하나에 있어서, 복수의 픽셀 마스크들을 생성하기 전에 제 1 이미지를 사전 처리하는 단계를 더 포함한다.
255. 실시형태 254 에 있어서, 마이크로-객체가 미세유체 디바이스 내에서 이미징되고, 사전 처리는 이미징 동안 미세유체 디바이스의 적어도 하나의 컴포넌트에 의해 생성 된 반복 패턴을 공제하는 것을 포함한다.
256. 실시형태 255에 있어서, 사전 처리는 반복 패턴을 식별하기 위해 이미지에 푸리에 변환을 적용하는 것을 포함한다.
257. 실시형태 255 또는 256 에 있어서, 미세유체 디바이스의 적어도 하나의 컴포넌트는 기판 표면이다.
258. 실시형태 255 내지 257 중 어느 하나에 있어서, 미세유체 디바이스의 적어도 하나의 컴포넌트는 광 트랜지스터 어레이를 포함하는 기판 표면이다.
259. 실시형태 200 내지 실시형태 258 중 어느 하나에 있어서, 마이크로-객체들은 생물학적 세포들이다.
260. 실시형태 259 에 있어서, 생물학적 세포는 면역 학적 세포 (예를 들어, T 세포, B 세포, NK 세포, 대식세포 등) 이다.
261. 실시형태 259 에 있어서, 생물학적 세포는 세포주로부터의 세포 (예를 들어, CHO 세포) 또는 암세포이다.
262. 실시형태 259 에 있어서, 생물학적 세포는 난모세포, 정자 또는 배아이다.
263. 컴퓨터를 포함하는 시스템으로 하여금 미세유체 디바이스에서 마이크로-객체들을 자동으로 검출하고 특성화하는 방법을 수행하게 하기 위한 프로그램이 저장되는 비일시적 컴퓨터 판독가능 매체로서, 그 방법은 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 수신하는 단계; 이미지 데이터의 이상을 줄이기 위해 제 1 이미지 및 하나 이상의 제 2 이미지들 각각을 사전 처리하는 단계; 제 2 이미지를 제 1 이미지와 광학적으로 정렬하기 위해 하나 이상의 제 2 이미지 각각을 변환하는 단계; 관심 영역에 존재하는 마이크로-객체를 검출하기 위해 기계 학습 알고리즘을 사용하여 제 1 이미지의 픽셀 데이터를 처리하는 단계로서, 각각의 마이크로-객체를 검출하는 것은 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 제 1 이미지의 픽셀 데이터를 처리하는 단계; 및 하나 이상의 제 2 이미지들의 각각의 제 2 이미지에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치된 신호를 검출하는 단계를 포함할 수 있다.
264. 실시형태 263 의 비일시성 컴퓨터 판독가능 매체로서, 그 프로그램은 시스템으로 하여금 실시형태들 200 내지 262 중 어느 하나의 방법을 수행하게 한다.
265. 실시형태 263 또는 264 중 어느 하나의 비일시성 컴퓨터 판독가능 매체의 방법으로서, 마이크로-객체의 식별된 경계를 증가시키거나 감소시키는 단계를 더 포함한다.
266. 실시형태 263 내지 265 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체로서, 실시 형태 52 내지 68 또는 129 내지 164 중 어느 하나의 비 일시적 컴퓨터 판독 가능 매체의 엘리먼트들을 더 포함한다.
267. 미세유체 디바이스에서 마이크로-객체를 자동으로 검출하기 위한 시스템으로서,
미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지를 캡처하도록 구성된 이미징 엘리먼트; 이미지 데이터의 이상을 줄 이도록 구성된 이미지 사전 처리 엔진; 및 제 2 이미지를 제 1 이미지와 광학적으로 정렬하기 위해 제 2 이미지를 변환하도록 구성된 정렬 엔진을 포함하는 이미지 획득 유닛, 및
관심 영역에 존재하는 마이크로-객체를 검출하기 위해 기계 학습 알고리즘을 사용하여 제 1 이미지의 픽셀 데이터를 처리하도록 구성된 이미지 처리 엔진으로서, 여기서 마이크로-객체를 검출하는 것은 각각의 검출 된 각 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 이미지 처리 엔진; 및 하나 이상의 제 2 이미지 각각에서 각각의 검출 된 마이크로-객체의 각 경계 내에 위치한 신호를 검출하도록 구성된 검출 엔진을 포함하는, 이미지 획득 유닛에 통신가능하게 연결된 마이크로-객체 검출 및 특성화 유닛을 포함한다.
268. 실시형태 267 에 있어서, 사용자 인터페이스를 더 포함하며, 여기서 그 사용자 인터페이스는 사용자가 검출 된 마이크로-객체의 하위 집단을 선택하고, 선택적으로, 선택된 하위 집단을 재포지셔닝하기 위한 명령(들)을 제공하는 것을 허용하도록 구성된다.
269. 실시형태 267 또는 268 에 있어서, 재포지셔닝하는 것은 시스템에 대한 자동화 된 프로세스이다.
270. 실시형태 267 내지 269 중 어느 하나에 있어서, 마이크로-객체 검출 유닛은 실시형태 200 내지 262 중 어느 하나의 방법을 수행하도록 구성된다.
271. 실시형태 267 내지 270 중 어느 하나에 있어서, 실시형태 165 내지 196 의 엘리먼트들 중 임의의 엘리먼트를 추가로 포함한다.
272. 미세유체 디바이스에서 마이크로-객체를 특성화하고 선택하기 위한 컴퓨팅 디바이스로서, 컴퓨팅 디바이스는 디스플레이 스크린을 포함하며, 컴퓨팅 디바이스는 검출된 마이크로-객체들의 세트를 특성화하기 위한, 제공된 파라미터 목록에서 선택되는 제 1 파라미터를 선택하기 위한 메뉴를 스크린에 표시하도록 구성되고, 컴퓨팅 디바이스는 선택된 제 1 파라미터에 기초하여 검출 된 마이크로-객체 세트의 플롯을 스크린에 표시하도록 구성되며, 제공된 파라미터 목록은 메뉴 내에서 제공되는 파라미터의 제한된 목록이며, 그 목록의 각 파라미터는 연관된 파라미터에 기초하여 검출 된 마이크로-객체의 세트를 특성화하기 위해 선택 가능하고, 디스플레이 스크린은 선택된 제 1 파라미터에 대해 적어도 하나의 선택된 임계 값에 기초하여 검출 된 마이크로-객체의 세트의 하위 집단의 선택을 가능하게 하고, 검출 된 세트의 나머지 마이크로-객체로부터 적어도 하나의 선택된 임계 값을 충족하는 하위 집단을 시각적으로 구별하여 검출 된 마이크로-객체 세트의 디스플레이를 가능하게 한다.
273. 실시형태 272 에 있어서, 제공된 파라미터 목록은 Circularity, CentroidXPixels, CentroidYPixels, CentroidXMicrons, CentroidYMicrons, CentroidXMicronsPenRelative, CentroidYMicronsPenRelative, NearestNeighborMicrons, DiameterMicrons, VolumeFemtoliters, BackgroundAreaMicrons, MeanBrightness, MinBrightness, MaxBrightness, MedianBrightness, BackgroundMedianBrightness, DeltaMedianBrightness, DeltaMaxBrightness, LogMeanBrightness, LogMaxBrightness, LogMedianBrightness, LogDeltaMaxBrightness, LogDeltaMedianBrightnessCV, BackgroundCV, LogDeltaBrightnessMaxToBackgroundRatio, LogDeltaBrightnessSum, FluidChannelNumber, FieldOfView, CellCount, CellsPerPen 으로 이루어진 그룹으로부터 선택된 파라미터들을 제공한다.
274. 실시형태 272 또는 273 에 있어서, 디스플레이 스크린은 그래픽 사용자 인터페이스이다.
275. 실시형태 272 내지 274 중 어느 하나에 있어서, 임계값은 상위 임계값을 포함한다.
276. 실시형태 272 내지 274 중 어느 하나에 있어서, 임계값은 하위 임계값을 포함한다.
277. 실시형태 272 내지 274 중 어느 하나에 있어서, 임계값은 하위 임계값 및 상위 임계값을 포함한다.
278. 실시형태 272 내지 277 중 어느 하나에 있어서, 디스플레이 스크린은 임계값 선택을 위한 슬라이딩 가능한 선택기를 가능하게 한다.
279. 실시형태 272 내지 278 중 어느 하나에 있어서, 디스플레이 스크린은 임계값 선택을 위한 포인트 선택기를 가능하게 한다.
280. 실시형태 272 내지 279 중 어느 하나에 있어서, 디스플레이 스크린은 임계값 선택을 위한 사용자 입력 값을 가능하게 한다.
281. 실시형태 272 내지 280 중 어느 하나에 있어서, 시각적 구별은 검출 된 세트의 나머지 마이크로-객체로부터 임계 값을 충족하는 하위 집단 사이의 상이한 색상으로 표현된다.
282. 실시형태 272 내지 281 중 어느 하나에 있어서, 스크린 상에 디스플레이 된 메뉴는 제 1 파라미터에 의해 특성화되는 검출 된 마이크로 객체의 세트를 특성화하기 위한, 제공된 파라미터 목록으로부터 선택되는 제 2 파라미터를 선택하도록 추가로 구성된다.
283. 실시형태 272 내지 282 중 어느 하나에 있어서, 상기 스크린에 디스플레이 된 메뉴는 제 1 파라미터에 대한 적어도 하나의 임계값을 충족하는 검출 된 마이크로-객체의 하위 집단을 특성화하기 위한, 제공된 파라미터 목록으로부터 선택되는 제 2 파라미터를 선택하도록 추가로 구성된다.
284. 실시형태 272 내지 283 중 어느 하나에 있어서, 디스플레이 스크린은 제 1 파라미터에 대한 적어도 하나의 임계 값을 충족하고 제 2 파라미터에 의해 특성화되는 검출 된 마이크로-객체의 하위 집단의 디스플레이를 추가로 가능하게 한다.
285. 실시형태 272 내지 284 중 어느 하나에 있어서, 디스플레이 스크린은 선택된 제 2 파라미터에 대한 적어도 하나의 선택된 임계 값에 기초하여 검출 된 마이크로-객체의 하위 집단의 서브 세트의 선택을 추가로 가능하게 한다.
286. 실시형태 272 내지 285 중 어느 하나에 있어서, 상기 컴퓨팅 디바이스는 검출 된 마이크로-객체의 세트, 검출 된 마이크로-객체의 세트의 하위 집단, 그 하위 집단의 제 1 서브 세트, 또는 그 제 1 서브 세트의 제 2 서브 세트 중 하나를 재포지셔닝하기 위한 스크린 명령을 수용하도록 추가로 구성된다.
287. 실시형태들 272 내지 286 에 있어서, 컴퓨팅 디바이스는 미세유체 디바이스의 적어도 일부를 이미징하기 위한, 제공된 이미징 파라미터 리스트로부터 선택되는 이미징 파라미터를 선택하기 위한 이미징 메뉴를 스크린 상에 디스플레이 하도록 추가로 구성된다.
288. 실시형태 287 에 있어서, 컴퓨팅 디바이스는 미세유체 디바이스의 적어도 일부를 이미징하기 위한, 제공된 이미징 파라미터 리스트로부터 선택되는 복수의 이미징 파라미터들을 선택하기 위한 이미징 메뉴 (1802) 를 스크린 (1800) 상에 디스플레이하도록 추가로 구성된다.
289. 실시형태 287 또는 288 에 있어서, 컴퓨팅 디바이스는 각각의 선택된 이미징 파라미터를 통해 획득된 이미지들을 분석하고, 마이크로-객체들의 세트를 검출하기 위한, 제공된 알고리즘 리스트로부터 선택되는 알고리즘을 선택하기 위한 알고리즘 선택기를 스크린 상에 디스플레이하도록 추가로 구성된다
290. 실시형태 287 내지 289 중 어느 하나에 있어서, 컴퓨팅 디바이스는 각각의 개별 검출 된 마이크로-객체의 이미지 중 적어도 하나를 스크린 상에 디스플레이하도록 구성되고, 각각의 검출 된 마이크로-객체에 대해 디스플레이되는 이미지의 수는 선택한 이미징 파라미터의 수와 동일하다.
291. 실시형태 287 내지 290 중 어느 하나에 있어서, 이미징 파라미터는 형광 큐브 유형을 포함한다.
292. 실시형태 291 에 있어서, 형광 큐브 유형은 FITC, DAPI, CY5, 또는 텍사스 레드 형광 단 등을 검출하도록 구성된다.
293. 실시형태 287 내지 292 중 어느 하나에 있어서, 이미징 파라미터는 조명 비율, 노출 시간 (ms), z-축 오프셋 (마이크론), 및 이들의 조합으로 구성된 그룹으로부터 선택된 하위 파라미터를 포함한다.
294. 실시형태 287 내지 293 중 어느 하나에 있어서, 디스플레이 된 이미징 메뉴는 시간 경과 선택기를 제공하도록 추가로 구성되고, 여기서 시간 경과 선택기는 미세유체 디바이스의 적어도 일부를 선택된 시간 주기에 걸쳐 이미징하기 위한 시간 경과 값의 선택을 가능하게 한다.
295. 실시형태 294 에 있어서, 시간 경과 값은 시간 간격, 시간 지연, 총 사이클 수 및 이들의 조합으로 구성된 그룹으로부터 선택 될 수 있다.

Claims (84)

  1. 미세유체 디바이스에서 마이크로-객체들을 검출하고 특성화하는 방법으로서,
    상기 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지들을 수신하는 단계;
    이미지 데이터의 이상들을 감소시키기 위해 상기 제 1 이미지 및 상기 하나 이상의 제 2 이미지들을 사전 처리하는 단계;
    상기 제 2 이미지(들)을 상기 제 1 이미지와 광학적으로 정렬하기 위해 상기 하나 이상의 제 2 이미지들 각각을 변환하는 단계;
    상기 관심 영역에 존재하는 마이크로-객체들을 검출하기 위해 기계 학습 알고리즘을 사용하여 상기 제 1 이미지의 픽셀 데이터를 처리하는 단계로서, 각각의 마이크로-객체를 검출하는 것은 상기 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 제 1 이미지의 픽셀 데이터를 처리하는 단계; 및
    상기 하나 이상의 제 2 이미지들 중 각각의 제 2 이미지에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치된 신호를 검출하는 단계를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  2. 제 1 항에 있어서,
    상기 하나 이상의 제 2 이미지들 중 적어도 하나의 제 2 이미지는 형광 이미지이고, 상기 적어도 하나의 제 2 이미지에서의 검출 된 상기 신호가 형광 신호인, 마이크로-객체들을 검출하고 특성화하는 방법.
  3. 제 1 항에 있어서,
    상기 하나 이상의 제 2 이미지들 각각이 형광 이미지이고, 상기 하나 이상의 제 2 이미지들 각각에서의 검출 된 상기 신호가 형광 신호인, 마이크로-객체들을 검출하고 특성화하는 방법.
  4. 제 2 항에 있어서,
    각각의 형광 이미지는 가시 광선 스펙트럼의 고유한 부분으로부터의 형광 신호를 나타내는, 마이크로-객체들을 검출하고 특성화하는 방법.
  5. 제 4 항에 있어서,
    각각의 형광 이미지는 가시 광선 스펙트럼의 비중첩 부분으로부터의 형광 신호를 나타내는, 마이크로-객체들을 검출하고 특성화하는 방법.
  6. 제 1 항에 있어서,
    각각의 검출 된 신호는 검출 된 마이크로-객체들 중 하나 이상에 의해 포함되는 생물학적 분자에 특이적으로 결합하는 시약과 연관되는, 마이크로-객체들을 검출하고 특성화하는 방법.
  7. 제 1 항에 있어서,
    상기 제 1 이미지 및 적어도 하나의 제 2 이미지의 사전 처리는 상기 제 1 이미지 및 적어도 하나의 제 2 이미지의 생성 동안 도입 된 노이즈 및/또는 광학적 왜곡(들)을 감소시키는, 마이크로-객체들을 검출하고 특성화하는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 관심 영역에 존재하는 마이크로-객체들을 검출하기 위해 제 1 이미지의 픽셀 데이터를 처리하는 단계는 상기 기계 학습 알고리즘을 사용하여 대응하는 복수의 마이크로-객체 특성들에 대한 상기 제 1 이미지로부터 복수의 픽셀 마스크들을 생성하는 단계를 포함하며, 각각의 픽셀 마스크는 픽셀 주석들의 세트를 포함하고, 상기 세트의 각 픽셀 주석은 상기 이미지에서의 대응하는 픽셀이 대응하는 마이크로-객체 특성을 나타낼 확률을 나타내는, 마이크로-객체들을 검출하고 특성화하는 방법.
  9. 제 8 항에 있어서,
    상기 마이크로-객체들을 검출하는 단계는 상기 복수의 픽셀 마스크들 중의 픽셀 마스크들의 조합을 사용하는 단계를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  10. 제 8 항에 있어서,
    상기 복수의 마이크로-객체 특성들은 적어도 3 개의 마이크로-객체 특성들을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  11. 제 8 항에 있어서,
    상기 복수의 마이크로-객체 특성들은 적어도: (i) 마이크로-객체 중심; (ii) 마이크로-객체 가장자리; 및 (iii) 비-마이크로-객체를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  12. 제 11 항에 있어서,
    상기 마이크로-객체들을 검출하는 단계는 마이크로-객체 중심 특성에 대응하는 픽셀 마스크 또는 마이크로-객체 중심 특성에 대응하는 픽셀 마스크를 포함하는 픽셀 마스크들의 조합에 기초하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  13. 제 8 항에 있어서,
    상기 기계 학습 알고리즘은 신경망을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  14. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 신호를 검출하는 단계는 상기 신호의 양을 정량화하는 단계를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  15. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    적어도 2 개의 제 2 이미지들이 존재하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  16. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    적어도 3 개의 제 2 이미지들이 존재하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  17. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    적어도 4 개의 제 2 이미지들이 존재하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  18. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    각각의 마이크로-객체를 검출하는 단계는 단면적, 원형도, 밝기, 밝기 대 배경의 비율, 마이크로-객체의 위치, 및 가장 가까운 이웃 마이크로-객체까지의 거리 중 적어도 하나를 결정하는 단계를 더 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  19. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 검출 된 마이크로-객체들을 하나 이상의 동일한 특성들을 공유하는 마이크로-객체들의 하위 집단들로 그룹화하는 단계를 더 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  20. 제 19 항에 있어서,
    상기 검출 된 마이크로-객체들은 n 차원 공간에서의 그들의 근접성에 기초하여 하위 집단들으로 그룹화되고, n 개의 차원들 각각은 상기 마이크로-객체들의 측정 가능한 특성인, 마이크로-객체들을 검출하고 특성화하는 방법.
  21. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 검출 된 마이크로-객체들의 적어도 하나의 특성의 분포를 나타내는 시각적 디스플레이를 제공하는 단계를 더 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  22. 제 21 항에 있어서,
    상기 시각적 디스플레이는 상기 검출 된 마이크로-객체들의 적어도 2 개의 특성들을 나타내는 2 차원 그래프인, 마이크로-객체들을 검출하고 특성화하는 방법.
  23. 제 21 항에 있어서,
    상기 시각적 디스플레이는 상기 검출 된 마이크로-객체들의 적어도 3 개의 특성들 (예를 들어, 단면적 및 제 1 및 제 2 형광 신호들, 또는 제 1, 제 2 및 제 3 형광 신호들) 을 나타내는 3 차원 그래프인, 마이크로-객체들을 검출하고 특성화하는 방법.
  24. 제 21 항에 있어서,
    사용자가 상기 검출 된 마이크로-객체들의 하위 집단을 선택하고, 선택적으로, 선택된 상기 하위 집단을 재포지셔닝하기 위한 명령(들)을 제공하는 것을 허용하는 사용자 인터페이스를 제공하는 단계를 더 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  25. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 마이크로-객체의 식별된 경계를 증가시키거나 감소시키는 단계를 더 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  26. 제 13 항에 있어서,
    상기 신경망은 복수의 다운 샘플링 블록들을 포함하고, 각각의 다운 샘플링 블록은 제 1 다운 샘플링 컨볼루션 계층, 제 1 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 1 ELU 계층을 포함하고, 각각의 상기 제 1 다운 샘플링 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 감소시키는, 마이크로-객체들을 검출하고 특성화하는 방법.
  27. 제 26 항에 있어서,
    상기 다운 샘플링 블록들 중 하나 이상은 상기 제 1 다운 샘플링 컨볼루션 계층, 상기 제 1 배치 정규화 계층, 및 상기 제 1 ELU 계층으로 본질적으로 이루어지며, 상기 제 1 ELU 계층은 상기 제 1 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 1 배치 정규화 계층은 상기 제 1 다운 샘플링 컨벌루션 계층으로부터 직접 이미지 데이터를 수신하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  28. 제 26 항에 있어서,
    각각의 다운 샘플링 컨볼루션 계층은 2 의 팩터에 의해 그것이 수신하는 상기 이미지 데이터의 공간 해상도를 감소시키는, 마이크로-객체들을 검출하고 특성화하는 방법.
  29. 제 26 항에 있어서,
    상기 제 1 다운 샘플링 컨볼루션 계층들 각각은 5x5 컨볼루션 필터를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  30. 제 26 항에 있어서,
    상기 복수의 다운 샘플링 블록들 중 하나 이상의 다운 샘플링 블록들은 분기 구조를 갖는 잔차 네트워크 블록에 의해 추종되는, 마이크로-객체들을 검출하고 특성화하는 방법.
  31. 제 30 항에 있어서,
    상기 잔차 네트워크 블록의 상기 분기 구조는 제 1 분기 및 제 2 분기를 포함하고, 상기 제 1 분기는 선행 다운 샘플링 블록으로부터 수신 된 이미지 데이터를 상기 제 2 분기보다 더 작은 범위로 처리하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  32. 제 31 항에 있어서,
    상기 잔차 네트워크 블록의 상기 제 1 분기는 제 2 컨볼루션 계층, 제 2 배치 정규화 계층, 및 게이팅 함수를 포함하는 제 2 ELU 계층을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  33. 제 32 항에 있어서,
    상기 잔차 네트워크 블록의 상기 제 1 분기는 상기 제 2 컨볼루션 계층, 상기 제 2 배치 정규화 계층, 및 상기 제 2 ELU 계층으로 본질적으로 이루어지며, 상기 제 2 ELU 계층은 상기 제 2 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 2 배치 정규화 계층은 상기 제 2 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  34. 제 31 항에 있어서,
    상기 제 2 컨볼루션 계층은 1x1 컨볼루션 필터를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  35. 제 31 항에 있어서,
    상기 잔차 네트워크 블록의 상기 제 2 분기는 2 이상의 처리 유닛들을 포함하고, 각각의 처리 유닛은 컨볼루션 계층 및 배치 정규화 계층을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  36. 제 35 항에 있어서,
    상기 잔차 네트워크 블록의 상기 제 2 분기는 제 3 컨볼루션 계층, 제 3 배치 정규화 계층, 게이팅 함수를 포함하는 제 3 ELU 계층, 제 4 컨볼루션 계층 및 제 4 배치 정규화 계층으로 본질적으로 이루어지며, 상기 제 4 배치 정규화 계층은 상기 제 4 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 4 컨벌루션 계층은 상기 제 3 ELU 계층으로부터 직접 이미지 데이터를 수신하고, 상기 제 3 ELU 계층은 상기 제 3 배치 정규화 계층으로부터 직접 이미지 데이터를 수신하며, 상기 제 3 배치 정규화 계층은 상기 제 3 컨볼루션 계층으로부터 직접 이미지 데이터를 수신하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  37. 제 36 항에 있어서,
    상기 제 3 컨볼루션 계층은 3x3 컨볼루션 필터를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  38. 제 36 항에 있어서,
    상기 제 4 컨볼루션 계층은 3x3 컨볼루션 필터를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  39. 제 31 항에 있어서,
    상기 잔차 네트워크 블록의 상기 제 1 분기 및 상기 잔차 네트워크 블록의 상기 제 2 분기의 이미지 데이터는 재결합되고 게이팅 함수를 포함하는 제 4 ELU 계층으로 전송되는, 마이크로-객체들을 검출하고 특성화하는 방법.
  40. 제 13 항에 있어서,
    상기 신경망은 제 1 다운 샘플링 블록, 제 1 잔차 네트워크 블록, 제 2 다운 샘플링 블록, 제 2 잔차 네트워크 블록, 제 3 다운 샘플링 블록, 및 제 3 잔차 네트워크 블록을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  41. 제 40 항에 있어서,
    상기 제 1 다운 샘플링 블록 및 상기 제 1 잔차 네트워크 블록은 각각 32 개의 채널들 및 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  42. 제 40 항에 있어서,
    상기 제 2 다운 샘플링 블록 및 상기 제 2 잔차 네트워크 블록은 각각 64 개의 채널들 및 상기 이미지의 해상도의 1/4 인 공간 해상도를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  43. 제 40 항에 있어서,
    상기 제 3 다운 샘플링 블록 및 상기 제 3 잔차 네트워크 블록은 각각 128 개의 채널들 및 상기 이미지의 해상도의 1/8 인 공간 해상도를 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  44. 제 13 항에 있어서,
    상기 신경망은 상기 복수의 다운 샘플링 블록들 중 각각의 다운 샘플링 블록에 대한 업 샘플링 블록을 포함하고, 각 업 샘플링 블록은 전치 컨볼루션 계층, 업 샘플링 배치 정규화 계층, 및 게이팅 함수를 포함하는 업 샘플링 ELU 계층을 포함하고, 각 업 샘플링 블록의 전치 컨볼루션 계층은 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키는, 마이크로-객체들을 검출하고 특성화하는 방법.
  45. 제 44 항에 있어서,
    하나 이상의 상기 업 샘플링 블록들 각각은 상기 업 샘플링 배치 정규화 계층으로부터의 이미지 데이터가 선행 잔차 네트워크 블록으로부터의 이미지 데이터와 병합되는 재결합 계층을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  46. 제 45 항에 있어서,
    상기 하나 이상의 업 샘플링 블록들 각각은 상기 전치 컨볼루션 계층, 상기 업 샘플링 배치 정규화 계층, 상기 재결합 계층, 및 상기 업 샘플링 ELU 계층으로 본질적으로 이루어지며, 상기 업 샘플링 ELU 계층은 상기 재결합 계층으로부터 직접 이미지 데이터를 수신하고, 상기 업 샘플링 배치 정규화 계층은 재구성 전치 계층으로부터 직접 이미지 데이터를 수신하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  47. 제 44 항에 있어서,
    각각의 전치 컨볼루션 계층은 2 의 팩터에 의해 그것이 수신하는 이미지 데이터의 공간 해상도를 증가시키는, 마이크로-객체들을 검출하고 특성화하는 방법.
  48. 제 30 항에 있어서,
    상기 신경망이 n 개의 다운 샘플링 블록들 및 n 개의 잔차 네트워크 블록들을 갖는 경우, 상기 신경망은 재결합 계층을 포함하는 n-1 개의 업 샘플링 블록들을 갖는, 마이크로-객체들을 검출하고 특성화하는 방법.
  49. 제 13 항에 있어서,
    상기 신경망은 제 2 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 1 업 샘플링 블록, 제 1 잔차 네트워크 블록으로부터 이미지 데이터를 수신하는 재결합 계층을 갖는 제 2 업 샘플링 블록, 및 재결합 계층을 포함하지 않는 제 3 업 샘플링 블록을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  50. 제 49 항에 있어서,
    상기 제 1 업 샘플링 블록은 64 개의 채널들을 포함하고 상기 이미지의 공간 해상도의 1/4 인 공간 해상도를 갖는 이미지 데이터를 출력하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  51. 제 49 항에 있어서,
    상기 제 2 업 샘플링 블록은 32 개의 채널들을 포함하고 상기 이미지의 공간 해상도의 1/2 인 공간 해상도를 갖는 이미지 데이터를 출력하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  52. 제 49 항에 있어서,
    상기 제 3 업 샘플링 블록은 3 개의 채널들을 포함하고 상기 이미지의 해상도와 동일한 공간 해상도를 갖는 이미지 데이터를 출력하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  53. 제 13 항에 있어서,
    상기 신경망은 도 9a 내지 도 9d 에 도시 된 것과 실질적으로 동일한 구조를 갖는, 마이크로-객체들을 검출하고 특성화하는 방법.
  54. 제 13 항에 있어서,
    상기 복수의 픽셀 마스크들을 생성하기 전에 상기 제 1 이미지를 사전 처리하는 단계를 더 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  55. 제 54 항에 있어서,
    상기 마이크로-객체들이 미세유체 디바이스 내에서 이미징되고, 상기 사전 처리는 이미징 동안 상기 미세유체 디바이스의 적어도 하나의 컴포넌트에 의해 생성 된 반복 패턴을 공제하는 것을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  56. 제 55 항에 있어서,
    상기 사전 처리는 상기 반복 패턴을 식별하기 위해 상기 이미지에 푸리에 변환을 적용하는 것을 포함하는, 마이크로-객체들을 검출하고 특성화하는 방법.
  57. 제 55 항에 있어서,
    상기 미세유체 디바이스의 상기 적어도 하나의 컴포넌트는 기판 표면인, 마이크로-객체들을 검출하고 특성화하는 방법.
  58. 제 55 항에 있어서,
    상기 미세유체 디바이스의 상기 적어도 하나의 컴포넌트는 광 트랜지스터 어레이를 포함하는 기판 표면인, 마이크로-객체들을 검출하고 특성화하는 방법.
  59. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 마이크로-객체들은 생물학적 세포들인, 마이크로-객체들을 검출하고 특성화하는 방법.
  60. 제 59 항에 있어서,
    상기 생물학적 세포들은 면역 세포들; 세포주로부터의 세포들 (예를 들어, CHO 세포들) 또는 암세포들; 또는 난모세포들, 정자, 또는 배아들인, 마이크로-객체들을 검출하고 특성화하는 방법.
  61. 컴퓨터를 포함하는 시스템으로 하여금 미세유체 디바이스에서 마이크로-객체들을 자동으로 검출하고 특성화하는 방법을 수행하게 하기 위한 프로그램이 저장되는 비일시적 컴퓨터 판독 가능 매체로서, 상기 방법은:
    상기 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지들을 수신하는 단계;
    이미지 데이터의 이상들을 감소시키기 위해 상기 제 1 이미지 및 상기 하나 이상의 제 2 이미지들 각각을 사전 처리하는 단계;
    상기 제 2 이미지를 상기 제 1 이미지와 광학적으로 정렬하기 위해 상기 하나 이상의 제 2 이미지들 각각을 변환하는 단계;
    관심 영역에 존재하는 마이크로-객체들을 검출하기 위해 기계 학습 알고리즘을 사용하여 상기 제 1 이미지의 픽셀 데이터를 처리하는 단계로서, 각각의 마이크로-객체를 검출하는 것은 상기 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 제 1 이미지의 픽셀 데이터를 처리하는 단계; 및
    상기 하나 이상의 제 2 이미지들 중 각각의 제 2 이미지에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치된 신호를 검출하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  62. 62. 미세유체 디바이스에서 마이크로-객체들을 자동으로 검출하기 위한 시스템으로서,
    이미지 획득 유닛으로서,
    상기 미세유체 디바이스에서 관심 영역의 제 1 이미지 및 하나 이상의 제 2 이미지들을 캡쳐하도록 구성된 이미징 엘리먼트;
    이미지 데이터의 이상들을 감소시키도록 구성된 이미지 사전 처리 엔진; 및
    상기 제 2 이미지를 상기 제 1 이미지와 광학적으로 정렬하기 위해 상기 제 2 이미지를 변환하도록 구성된 정렬 엔진을 포함하는, 상기 이미지 획득 유닛, 및
    상기 이미지 획득 유닛에 통신가능하게 접속된 마이크로-객체 검출 및 특성화 유닛으로서,
    상기 관심 영역에 존재하는 마이크로-객체들을 검출하기 위해 기계 학습 알고리즘을 사용하여 상기 제 1 이미지의 픽셀 데이터를 처리하도록 구성된 이미지 처리 엔진으로서, 상기 마이크로-객체들을 검출하는 것은 각각의 검출된 마이크로-객체의 경계를 식별하는 것을 포함하는, 상기 이미지 처리 엔진; 및
    상기 하나 이상의 제 2 이미지들 각각에서 각각의 검출 된 마이크로-객체의 각각의 경계 내에 위치된 신호를 검출하도록 구성된 검출 엔진을 포함하는, 상기 마이크로-객체 검출 및 특성화 유닛을 포함하는, 마이크로-객체들을 자동으로 검출하기 위한 시스템.
  63. 제 66 항에 있어서,
    사용자 인터페이스를 더 포함하며, 상기 사용자 인터페이스는 사용자가 검출 된 마이크로-객체들의 하위 집단을 선택하고, 선택적으로, 선택된 상기 하위 집단을 재포지셔닝하기 위한 명령(들)을 제공하는 것을 허용하도록 구성되는, 마이크로-객체들을 자동으로 검출하기 위한 시스템.
  64. 제 66 항에 있어서,
    상기 재포지셔닝하는 것은 상기 시스템에 대해 자동화 된 프로세스인, 마이크로-객체들을 자동으로 검출하기 위한 시스템.
  65. 미세유체 디바이스에서 마이크로-객체들을 특성화하고 선택하기 위한 컴퓨팅 디바이스로서,
    상기 컴퓨팅 디바이스는 디스플레이 스크린을 포함하며,
    상기 컴퓨팅 디바이스는 검출 된 마이크로-객체들의 세트를 특성화하기 위한, 제공된 파라미터 목록으로부터 선택되는 제 1 파라미터를 선택하기 위한 메뉴를 상기 스크린에 표시하도록 구성되고,
    상기 컴퓨팅 디바이스는 상기 선택된 제 1 파라미터에 기초하여 상기 검출 된 마이크로-객체 세트의 플롯을 상기 스크린에 디스플레이하도록 구성되며,
    상기 제공된 파라미터 목록은 상기 메뉴 내에서 제공되는 파라미터들의 제한된 목록이며, 상기 목록의 각 파라미터들은 연관된 파라미터에 기초하여 검출 된 마이크로-객체들의 상기 세트를 특성화하도록 선택 가능하고,
    상기 디스플레이 스크린은 상기 선택된 제 1 파라미터에 대한 적어도 하나의 선택된 임계값에 기초하여 검출 된 마이크로-객체들의 상기 세트의 하위 집단의 선택을 가능하게 하고, 상기 검출 된 세트의 나머지 마이크로-객체들로부터 적어도 하나의 선택된 임계 값을 충족하는 하위 집단을 시각적으로 구별함으로써 상기 검출 된 마이크로-객체 세트의 디스플레이를 가능하게 하는, 컴퓨팅 디바이스.
  66. 제 65 항에 있어서,
    상기 제공된 파라미터 목록은 Circularity, CentroidXPixels, CentroidYPixels, CentroidXMicrons, CentroidYMicrons, CentroidXMicronsPenRelative, CentroidYMicronsPenRelative, NearestNeighborMicrons, DiameterMicrons, VolumeFemtoliters, BackgroundAreaMicrons, MeanBrightness, MinBrightness, MaxBrightness, MedianBrightness, BackgroundMedianBrightness, DeltaMedianBrightness, DeltaMaxBrightness, LogMeanBrightness, LogMaxBrightness, LogMedianBrightness, LogDeltaMaxBrightness, LogDeltaMedianBrightnessCV, BackgroundCV, LogDeltaBrightnessMaxToBackgroundRatio, LogDeltaBrightnessSum, FluidChannelNumber, FieldOfView, CellCount, CellsPerPen 으로 이루어진 그룹으로부터 선택된 파라미터들을 제공하는, 컴퓨팅 디바이스.
  67. 제 65 항에 있어서,
    상기 디스플레이 스크린은 그래픽 사용자 인터페이스인, 컴퓨팅 디바이스.
  68. 제 65 항에 있어서,
    상기 임계 값은 상위 임계 값, 하위 임계 값 또는 이들의 조합을 포함하는, 컴퓨팅 디바이스.
  69. 제 65 항에 있어서,
    상기 디스플레이 스크린은 임계 값 선택을 위한 슬라이딩 가능한 선택기, 임계 값 선택을 위한 포인트 선택기, 및/또는 임계 값 선택을 위한 사용자 입력 값을 가능하게 하는, 컴퓨팅 디바이스.
  70. 제 65 항에 있어서,
    상기 시각적 구별은 상기 검출 된 세트의 나머지 마이크로-객체들로부터 임계 값을 충족하는 하위 집단 사이의 상이한 색상으로 표현되는, 컴퓨팅 디바이스.
  71. 제 65 항 내지 제 70 항 중 어느 한 항에 있어서,
    상기 스크린 상에 디스플레이 된 메뉴는 상기 제 1 파라미터에 의해 또한 특성화되는 검출 된 마이크로-객체들의 세트를 특성화하기 위한, 상기 제공된 파라미터 목록으로부터 선택되는 제 2 파라미터를 선택하도록 추가로 구성되는, 컴퓨팅 디바이스.
  72. 제 65 항 내지 제 70 항 중 어느 한 항에 있어서,
    상기 스크린 상에 디스플레이 된 메뉴는 상기 제 1 파라미터에 대한 적어도 하나의 임계값을 충족하는 검출 된 마이크로-객체들의 하위 집단을 특성화하기 위한, 상기 제공된 파라미터 목록으로부터 선택되는 제 2 파라미터를 선택하도록 추가로 구성되는, 컴퓨팅 디바이스.
  73. 제 71 항에 있어서,
    상기 디스플레이 스크린은 상기 제 1 파라미터에 대한 상기 적어도 하나의 임계 값을 충족하고 상기 제 2 파라미터에 의해 특성화되는 검출 된 마이크로-객체들의 하위 집단의 디스플레이를 추가로 가능하게 하는, 컴퓨팅 디바이스.
  74. 제 71 항에 있어서,
    상기 디스플레이 스크린은 상기 선택된 제 2 파라미터에 대한 적어도 하나의 선택된 임계 값에 기초하여 검출 된 마이크로-객체들의 하위 집단의 서브 세트의 선택을 추가로 가능하게 하는, 컴퓨팅 디바이스.
  75. 제 65 항 내지 제 70 항 중 어느 한 항에 있어서,
    상기 컴퓨팅 디바이스는 상기 검출 된 마이크로-객체들의 세트, 상기 검출 된 마이크로-객체들의 세트의 하위 집단, 상기 하위 집단의 제 1 서브 세트, 또는 상기 제 1 서브 세트의 제 2 서브 세트 중 하나를 재포지셔닝하기 위한 스크린 명령들을 수용하도록 추가로 구성되는, 컴퓨팅 디바이스.
  76. 제 65 항 내지 제 70 항 중 어느 한 항에 있어서,
    상기 컴퓨팅 디바이스는 상기 미세유체 디바이스의 적어도 일부를 이미징하기 위한, 제공된 이미징 파라미터 리스트로부터 선택되는 이미징 파라미터를 선택하기 위한 이미징 메뉴를 상기 스크린 상에 디스플레이 하도록 추가로 구성되는, 컴퓨팅 디바이스.
  77. 제 65 항 내지 제 70 항 중 어느 한 항에 있어서,
    상기 컴퓨팅 디바이스는 상기 미세유체 디바이스의 적어도 일부를 이미징하기 위한, 제공된 이미징 파라미터 리스트로부터 선택되는 복수의 이미징 파라미터들을 선택하기 위한 이미징 메뉴를 상기 스크린 상에 디스플레이 하도록 추가로 구성되는, 컴퓨팅 디바이스.
  78. 제 77 항에 있어서,
    상기 컴퓨팅 디바이스는 각각의 선택된 이미징 파라미터를 통해 획득된 이미지들을 분석하고, 상기 마이크로-객체들의 세트를 검출하기 위한, 제공된 알고리즘 리스트로부터 선택되는 알고리즘을 선택하기 위한 알고리즘 선택기를 상기 스크린 상에 디스플레이하도록 추가로 구성되는, 컴퓨팅 디바이스.
  79. 제 77 항에 있어서,
    상기 컴퓨팅 디바이스는 각각의 개별 검출 된 마이크로-객체의 이미지 중 적어도 하나를 상기 스크린 상에 디스플레이하도록 구성되고, 각각의 검출 된 마이크로-객체에 대해 디스플레이되는 이미지들의 수는 선택된 이미징 파라미터들의 수와 동일한, 컴퓨팅 디바이스.
  80. 제 77 항에 있어서,
    상기 이미징 파라미터는 형광 큐브 유형을 포함하는, 컴퓨팅 디바이스.
  81. 제 80 항에 있어서,
    상기 형광 큐브 유형은 FITC, DAPI, CY5, 또는 텍사스 레드 형광단을 검출하도록 구성되는, 컴퓨팅 디바이스.
  82. 제 77 항에 있어서,
    상기 이미징 파라미터는 조명 비율, 노출 시간 (ms), z-축 오프셋 (마이크론), 및 이들의 조합으로 구성된 그룹으로부터 선택된 하위 파라미터들을 포함하는, 컴퓨팅 디바이스.
  83. 제 77 항에 있어서,
    상기 디스플레이 된 이미징 메뉴는 시간 경과 선택기를 제공하도록 추가로 구성되고, 상기 시간 경과 선택기는 상기 미세유체 디바이스의 적어도 일부를 선택된 시간 주기에 걸쳐 이미징하기 위한 시간 경과 값들의 선택을 가능하게 하는, 컴퓨팅 디바이스.
  84. 제 83 항에 있어서,
    상기 시간 경과 값은 시간 간격, 시간 지연, 총 사이클 수 및 이들의 조합으로 구성된 그룹으로부터 선택 될 수 있는, 컴퓨팅 디바이스.
KR1020207037880A 2018-05-31 2019-05-31 미세유체 디바이스에서의 마이크로-객체의 자동 검출 및 특성화 KR20210015947A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862678791P 2018-05-31 2018-05-31
US62/678,791 2018-05-31
PCT/US2019/035046 WO2019232473A2 (en) 2018-05-31 2019-05-31 Automated detection and characterization of micro-objects in microfluidic devices

Publications (1)

Publication Number Publication Date
KR20210015947A true KR20210015947A (ko) 2021-02-10

Family

ID=68698993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037880A KR20210015947A (ko) 2018-05-31 2019-05-31 미세유체 디바이스에서의 마이크로-객체의 자동 검출 및 특성화

Country Status (9)

Country Link
US (1) US20210209752A1 (ko)
EP (1) EP3803341A4 (ko)
KR (1) KR20210015947A (ko)
CN (1) CN112204380A (ko)
AU (1) AU2019276567A1 (ko)
CA (1) CA3100701A1 (ko)
IL (1) IL279058A (ko)
SG (1) SG11202011180UA (ko)
WO (1) WO2019232473A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10675625B2 (en) 2016-04-15 2020-06-09 Berkeley Lights, Inc Light sequencing and patterns for dielectrophoretic transport
JP2019537067A (ja) 2016-12-01 2019-12-19 バークレー ライツ,インコーポレイテッド 微小物体を撮像する装置、システム、及び方法
CA3045333A1 (en) 2016-12-01 2018-06-07 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
CN110268108B (zh) 2016-12-12 2022-09-06 埃克切拉生物科学公司 用于使用微毛细管阵列进行筛选的方法和系统
US11450009B2 (en) * 2018-02-26 2022-09-20 Intel Corporation Object detection with modified image background
CN112119313B (zh) * 2018-07-23 2024-04-05 株式会社岛津制作所 微流体器件观察装置
AU2020361681A1 (en) 2019-10-10 2022-05-05 1859, Inc. Methods and systems for microfluidic screening
US11335636B2 (en) * 2019-10-29 2022-05-17 Hefei Reliance Memory Limited Gradual breakdown memory cell having multiple different dielectrics
EP3894834A4 (en) * 2019-11-17 2022-08-31 Berkeley Lights, Inc. SYSTEMS AND METHODS FOR ANALYSIS OF BIOLOGICAL SAMPLES
JP2023519489A (ja) 2020-02-21 2023-05-11 サージビジョン・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 対応する補助画像内で識別される制限情報領域で処理された発光画像を用いた医療処置の支援
US11602132B2 (en) 2020-10-06 2023-03-14 Sixgill, LLC System and method of counting livestock
CN112907665B (zh) * 2021-02-07 2022-06-10 吉林大学 一种基于rgb色彩空间的微流血型检测卡微腔反应池精密定位方法
CN114627369B (zh) * 2022-01-19 2024-03-22 上海土蜂科技有限公司 环境监测系统、方法及其计算机装置
CN117422686A (zh) * 2023-08-17 2024-01-19 深圳安侣医学科技有限公司 获得细胞3维形态特征的方法和细胞3维分析方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6294063B1 (en) 1999-02-12 2001-09-25 Board Of Regents, The University Of Texas System Method and apparatus for programmable fluidic processing
US6942776B2 (en) 1999-05-18 2005-09-13 Silicon Biosystems S.R.L. Method and apparatus for the manipulation of particles by means of dielectrophoresis
EP2309130B1 (en) 1999-06-28 2016-08-10 California Institute of Technology Microfabricated elastomeric valve and pump systems
US6958132B2 (en) 2002-05-31 2005-10-25 The Regents Of The University Of California Systems and methods for optical actuation of microfluidics based on opto-electrowetting
US7612355B2 (en) 2004-04-12 2009-11-03 The Regents Of The University Of California Optoelectronic tweezers for microparticle and cell manipulation
WO2008091848A2 (en) 2007-01-22 2008-07-31 Advanced Liquid Logic, Inc. Surface assisted fluid loading and droplet dispensing
WO2008119066A1 (en) 2007-03-28 2008-10-02 The Regents Of The University Of California Single-sided lateral-field and phototransistor-based optoelectronic tweezers
CN101681515A (zh) * 2007-06-21 2010-03-24 皇家飞利浦电子股份有限公司 基于模型的痴呆的辨别诊断和显著性水平的交互设置
ITTO20070771A1 (it) * 2007-10-29 2009-04-30 Silicon Biosystems Spa Metodo e apparato per la identificazione e manipolazione di particelle
FR2935802B1 (fr) * 2008-09-05 2012-12-28 Horiba Abx Sas Procede et dispositif de classification, de visualisation et d'exploration de donnees biologiques
US9025850B2 (en) * 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
US9533306B2 (en) 2010-08-02 2017-01-03 The Regents Of The University Of California Single sided continuous optoelectrowetting (SCEOW) device for droplet manipulation with light patterns
US20120225475A1 (en) * 2010-11-16 2012-09-06 1087 Systems, Inc. Cytometry system with quantum cascade laser source, acoustic detector, and micro-fluidic cell handling system configured for inspection of individual cells
KR20220023960A (ko) * 2011-03-07 2022-03-03 더 거버닝 카운실 오브 더 유니버시티 오브 토론토 미세유체기술을 이용한 휴대용 세포 검출 및 분석 방법 및 시스템
US9227200B2 (en) 2011-06-03 2016-01-05 The Regents Of The University Of California Microfluidic devices with flexible optically transparent electrodes
EP2602608B1 (en) * 2011-12-07 2016-09-14 Imec Analysis and sorting of biological cells in flow
WO2013192616A1 (en) * 2012-06-22 2013-12-27 Htg Molecular Diagnostics, Inc. Molecular malignancy in melanocytic lesions
US9857333B2 (en) 2012-10-31 2018-01-02 Berkeley Lights, Inc. Pens for biological micro-objects
US9403172B2 (en) 2012-11-08 2016-08-02 Berkeley Lights, Inc. Circuit based optoelectronic tweezers
AU2014340089B2 (en) 2013-10-22 2019-09-26 Berkeley Lights, Inc. Microfluidic devices having isolation pens and methods of testing biological micro-objects with same
US9889445B2 (en) 2013-10-22 2018-02-13 Berkeley Lights, Inc. Micro-fluidic devices for assaying biological activity
US20150306598A1 (en) 2014-04-25 2015-10-29 Berkeley Lights, Inc. DEP Force Control And Electrowetting Control In Different Sections Of The Same Microfluidic Apparatus
EP3134739B1 (en) 2014-04-25 2019-07-10 Berkeley Lights, Inc. Providing dep manipulation devices and controllable electrowetting devices in the same microfluidic apparatus
US20150306599A1 (en) 2014-04-25 2015-10-29 Berkeley Lights, Inc. Providing DEP Manipulation Devices And Controllable Electrowetting Devices In The Same Microfluidic Apparatus
WO2016094522A1 (en) * 2014-12-09 2016-06-16 Berkeley Lights, Inc. Automated detection of assay-positive areas in microfluidic devices
CN107223208B (zh) * 2014-12-09 2021-04-09 伯克利之光生命科技公司 微流体装置中微物体的自动检测和重新定位
WO2016138041A2 (en) * 2015-02-23 2016-09-01 Cellanyx Diagnostics, Llc Cell imaging and analysis to differentiate clinically relevant sub-populations of cells
US10101250B2 (en) * 2015-04-22 2018-10-16 Berkeley Lights, Inc. Manipulation of cell nuclei in a micro-fluidic device
AU2017207450B2 (en) * 2016-01-15 2021-11-04 Berkeley Lights, Inc. Methods of producing patient-specific anti-cancer therapeutics and methods of treatment therefor
US20180135011A1 (en) * 2017-03-13 2018-05-17 Berkeley Lights, Inc. Selection and cloning of t lymphocytes in a microfluidic device
KR102486307B1 (ko) * 2016-03-17 2023-01-09 버클리 라잇츠, 인크. 미세유체 디바이스에서의 t 림프구들의 선택 및 클로닝

Also Published As

Publication number Publication date
EP3803341A2 (en) 2021-04-14
AU2019276567A1 (en) 2021-01-28
US20210209752A1 (en) 2021-07-08
SG11202011180UA (en) 2020-12-30
EP3803341A4 (en) 2022-03-23
CN112204380A (zh) 2021-01-08
WO2019232473A3 (en) 2020-01-16
IL279058A (en) 2021-01-31
WO2019232473A2 (en) 2019-12-05
JP2021525359A (ja) 2021-09-24
CA3100701A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
KR102669330B1 (ko) 미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝
US20210209752A1 (en) Automated detection and characterization of micro-objects in microfluidic devices
US20220250071A1 (en) Methods, systems and kits for in-pen assays
US20210349075A1 (en) Methods for assaying biological cells in a microfluidic device
EP3721209A2 (en) Methods, systems and kits for in-pen assays
JP7526100B2 (ja) マイクロ流体デバイスによる微小物体の自動検出及び特徴付け