KR102664258B1 - 콜로니 콘트라스트 수집 - Google Patents

콜로니 콘트라스트 수집 Download PDF

Info

Publication number
KR102664258B1
KR102664258B1 KR1020177033234A KR20177033234A KR102664258B1 KR 102664258 B1 KR102664258 B1 KR 102664258B1 KR 1020177033234 A KR1020177033234 A KR 1020177033234A KR 20177033234 A KR20177033234 A KR 20177033234A KR 102664258 B1 KR102664258 B1 KR 102664258B1
Authority
KR
South Korea
Prior art keywords
digital image
image
pixels
bacterial growth
pixel
Prior art date
Application number
KR1020177033234A
Other languages
English (en)
Other versions
KR20170139590A (ko
Inventor
티모시 엠. 와일즈
라파엘 로돌프 마흐셀포일
Original Assignee
비디 키에스트라 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비디 키에스트라 비.브이. filed Critical 비디 키에스트라 비.브이.
Priority to KR1020247014763A priority Critical patent/KR20240069819A/ko
Publication of KR20170139590A publication Critical patent/KR20170139590A/ko
Application granted granted Critical
Publication of KR102664258B1 publication Critical patent/KR102664258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00—Constructional details, e.g. recesses, hinges
    • C12M23/02—Form or structure of the vessel
    • C12M23/10—Petri dish
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00—Constructional details, e.g. recesses, hinges
    • C12M23/22—Transparent or translucent parts
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M25/00—Means for supporting, enclosing or fixing the microorganisms, e.g. immunocoatings
    • C12M25/06—Plates; Walls; Drawers; Multilayer plates
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M31/00—Means for providing, directing, scattering or concentrating light
    • C12M31/02—Means for providing, directing, scattering or concentrating light located outside the reactor
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/12—Means for regulation, monitoring, measurement or control, e.g. flow regulation of temperature
    • C12M41/14—Incubators; Climatic chambers
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/569—Immunoassay; Biospecific binding assay; Materials therefor for microorganisms, e.g. protozoa, bacteria, viruses
    • G01N33/56911—Bacteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Clinical Laboratory Science (AREA)
  • Cell Biology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Thermal Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)

Abstract

세균 성장 검출, 카운팅, 또는 식별을 위한 이미징 시스템 및 방법. 다른 유형의 콜로니에 적합하지 않은 하나의 콜로니는 이미지에서 대비될 수 있다. 시스템 및 방법은 주어진 샘플에 대해 세균 성장이 발생했는지를 평가하기 위해 시간 경과에 따른 이미지 입력 정보를 사용하여 공간(공간적 차이), 시간(주어진 캡쳐 조건에 대해 시간 경과에 따라 나타나는 차이), 및 색 공간 변환을 통해 모든 이용 가능한 재료로부터 콘트라스트를 제공한다.

Description

콜로니 콘트라스트 수집
관련 출원에 대한 상호 참조
본 출원은 2015년 4월 23일에 출원된 미국 가출원 제62/151,681호, 및 2016년 4월 5일에 출원된 미국 가출원 제62/318,483호의 출원일의 혜택을 주장하며, 그 개시는 이로써 참조로서 본원에 포함된다.
세균 성장의 검출을 위한 배양 플레이트의 디지털 이미지에 대한 관심이 증대되고 있다. 세균 성장을 검출하기 위한 이미징 플레이트에 대한 기술은 PCT 공보 제WO2015/114121호에 기재되어 있으며, 그 전체 내용은 본원에 참조로 포함된다. 이러한 기술을 사용하여, 실험실 직원은 더 이상 직접 육안 검사로 플레이트를 판독할 필요가 없지만, 플레이트 검사를 위해 고품질 디지털 이미지를 사용할 수 있다. 실험실 작업 흐름 및 의사 결정을 배양 플레이트의 디지털 이미지 검사로 옮기는 것은 또한 효율성을 개선시킬 수 있다. 이미지는 조작자 또는 적절한 기술을 가진 다른 사람에 의한 추가 작업을 위해 조작자에 의해 표시될 수 있다. 또한 추가 이미지가 촬영되어 부차적 프로세스를 가이드하는 데 사용될 수 있다.
콜로니(colony)의 검출, 콜로니 열거, 콜로니 개체군 차별화, 및 콜로니 식별이 현대 세균 이미징 시스템에 대한 목적을 정의한다. 가능한 한 빨리 이러한 목적을 실현하는 것은 환자에게 신속하게 결과를 전달하고 이러한 결과 및 분석을 경제적으로 제공한다는 목표를 달성한다. 실험실 작업 흐름 및 의사 결정을 자동화하는 것은 이러한 목표를 달성될 수 있는 속도 및 비용을 개선시킬 수 있다.
세균 성장의 증거를 검출하기 위한 이미징 기술에 관해서는 현저한 진전이 있었지만, 여전히 자동화된 작업 흐름을 지원하기 위해 이러한 이미징 기술을 확장하고자 한다. 세균 성장의 징후를 위해 배양 플레이트를 검사하기 위한 장치 및 방법은 부분적으로는 플레이트 검사의 매우 시각적인 특성 때문에 자동화하기가 어렵다. 이와 관련하여, 배양 플레이트 이미지를 자동적으로 해석하고, 자동화된 해석에 기초하여 수행될 다음 단계(예를 들어, 콜로니의 식별, 감수성 테스트 등)를 결정할 수 있는 기술을 개발하는 것이 바람직하다.
예를 들어, 플레이팅된 배양에서 콜로니를 식별하고 구별하는 것은 특히 콜로니가 상이한 사이즈 및 형상이고 서로 접촉하고 있는 경우 어려울 수 있다. 이러한 문제는 성장이 이미 플레이트의 일부 영역에서 합류점에 이르렀을 때 악화된다. 이러한 이유로, 가능하다면, 프로세스의 초기에 콜로니를 식별하고 성장을 결정하는 것이 바람직하다. 그러나, 콜로니의 적어도 약간의 성장을 허용하기 위해서는 인큐베이션(incubation)을 위한 시간이 여전히 필요하다. 따라서, 한편, 콜로니가 성장하도록 허용되는 기간이 길어질수록, 더 많이 배경 및 서로와 대비되기 시작하고, 콜로니를 식별하기가 쉬워진다. 다른 한편으로, 콜로니가 너무 오래 성장하도록 허용되어 플레이트를 채우고/채우거나 접촉하기 시작하면, 콜로니를 배경 및 서로와 대비시키는 것이 더욱 어려워진다. 콜로니가 서로로부터 격리되도록 여전히 충분히 작은 인큐베이션 시간에 콜로니를 검출할 수 있다면 - 상대적으로 열악한 콘트라스트(contrast)에도 불구하고 - 이 문제는 최소화되거나 심지어 해결될 수 있다.
본 개시의 일 양상은 실질적으로 광학적으로 투명한 용기 내에 배치된 생물학적 샘플이 접종된 배양 배지를 제공하는 단계; 접종된 배양 배지를 인큐베이터에서 인큐베이팅하는 단계; 접종된 배양 배지를 담은 투명한 용기를 디지털 이미징 장치에 위치시키는 단계; 제 1 시간 (t0)에 상기 접종된 배양 배지의 제 1 디지털 이미지를 얻는 단계로서, 제 1 디지털 이미지는 복수의 픽셀을 갖는, 제 1 디지털 이미지를 얻는 단계; 접종된 배양 배지를 담은 용기에 대해 제 1 디지털 이미지 내의 픽셀의 좌표를 결정하는 단계; 접종된 배양 배지를 담은 용기를 디지털 이미징 장치로부터 제거하고, 추가 인큐베이션을 위해 접종된 배양 배지를 인큐베이터에 위치시키는 단계; 추가 인큐베이션 후에, 접종된 배양 배지를 담은 용기를 디지털 이미징 장치에 위치시키는 단계; 제 2 시간 (tx)에 접종된 배양 배지의 제 2 디지털 이미지를 얻는 단계로서, 제 2 디지털 이미지는 복수의 픽셀을 갖는, 제 2 디지털 이미지를 얻는 단계; 제 2 디지털 이미지 내의 픽셀의 좌표가 제 1 디지털 이미지 내의 대응하는 픽셀의 좌표에 대응하도록, 제 1 디지털 이미지를 제 2 디지털 이미지와 정렬시키는 단계; 제 2 디지털 이미지의 픽셀을 제 1 디지털 이미지의 대응하는 픽셀과 비교하는 단계; 제 1 디지털 이미지와 제 2 디지털 이미지 사이에서 변화된 픽셀을 식별하는 단계로서, 여기서 제 1 디지털 이미지와 제 2 디지털 이미지 사이에서 변화되지 않은 픽셀은 배경을 나타내는, 변화된 픽셀을 식별하는 단계; 제 2 디지털 이미지에서 식별된 픽셀 중 어느 것이 배경을 나타내는 픽셀과 미리 결정된 레벨의 임계 콘트라스트를 갖는지를 결정하는 단계; 제 2 디지털 이미지 내의 하나 이상의 개체(object)를 식별하는 단계로서, 각각의 개체는 상기 임계 콘트라스트 레벨을 충족시키고 배경 픽셀에 의해 서로 분리되지 않는 픽셀로 구성되는, 제 2 디지털 이미지 내의 하나 이상의 개체를 식별하는 단계; 식별된 개체 중 적어도 하나에 대해, 개체의 픽셀로부터 개체의 형태를 결정하는 단계; 개체의 형태로부터, 개체가 콜로니 후보인지 여부를 결정하는 단계; 및 개체와 연관된 픽셀의 좌표를 메모리에 제공하는 단계를 포함하는 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법에 관한 것이다.
일부 예에서, 방법은 미리 결정된 일련의 조명 조건에 따라 제 1 시간에 복수의 제 1 디지털 이미지를 얻는 단계를 더 포함할 수 있고, 여기서 제 1 디지털 이미지 각각은 상이한 조명 조건 하에서 얻게 되고, 각각의 조명 조건은 조명원에 대한 접종된 배양 배지를 담은 광학적으로 투명한 용기의 특정 배향 및 디지털 이미징 장치에서 광학적으로 투명한 용기가 위치되는 특정 배경색을 포함한다. 특정 배향은 접종된 배양 배지를 담은 광학적으로 투명한 용기의 상부를 향하여 아래쪽으로 향하는 조명원; 접종된 배양 배지를 담은 광학적으로 투명한 용기의 하부를 향하여 위쪽으로 향하는 조명원; 및 접종된 배양 배지를 담은 광학적으로 투명한 용기의 측면을 향하는 조명원을 포함할 수 있다. 특정 상부 및 측면 배향에 대해, 특정 배경색이 검정색일 수 있다. 특정 하부 배향에 대해, 특정 배경색이 흰색일 수 있다. 조명 조건은 적색 파장을 방출하는 조명원; 녹색 파장을 방출하는 조명원; 및 청색 파장을 방출하는 조명원을 포함하는 특정 조명 스펙트럼을 더 포함할 수 있다.
일부 예에서, 방법은 개체와 연관된 픽셀 정보로부터 개체 특징을 얻는 단계를 더 포함할 수 있고, 개체 특징은 개체 형상, 개체 사이즈, 개체 에지, 및 개체 색상 중 적어도 하나를 포함하고, 여기서 개체의 형태는 개체 특징에 기초하여 결정된다. 개체 색상은 개체와 연관된 픽셀의 스펙트럼 특징으로부터 결정될 수 있다. 스펙트럼 특징은 픽셀 색상, 색조, 휘도, 및 색차로 구성되는 그룹으로부터 선택될 수 있다. 배경 특징 정보가 또한 얻게 될 수 있다. 배경 특징 정보는 배지 유형 및 배지 색상을 포함할 수 있고, 개체의 형태는 배경 특징 정보에 더 기초하여 결정될 수 있다. 개체 특징 및 배경 특징 정보는 메모리에 저장된 다른 개체 특징 및 다른 배경 특징 정보와 비교될 수 있고, 미생물의 유형은 개체 특징 및 배경 특징 정보에 기초하여 결정될 수 있다.
일부 예에서, 제 1 디지털 이미지를 제 2 디지털 이미지와 정렬시키는 단계는 제 2 디지털 이미지 내의 픽셀의 극좌표가 제 1 디지털 이미지 내의 대응하는 픽셀의 극좌표와 동일하도록 극좌표를 제 1 및 제 2 디지털 이미지 각각의 픽셀에 할당하는 단계를 포함할 수 있다. 또한, 일부 예에서, 복수의 배양 배지가 제공되고, 생물학적 샘플이 접종되고, 하나 이상의 광학적으로 투명한 용기에 배치되고, 인큐베이터에서 인큐베이팅되고, 박테리아 성장의 동일한 시간 프레임에서 디지털 이미징 장치에 위치될 수 있으며, 그에 의해 제 1 및 제 2 디지털 이미지가 각각의 배양 배지에 대해 얻게 된다. 또한, 일부 예에서, 방법은 광학적으로 투명한 용기 또는 플레이팅된 배지 상의 응축의 증거인 제 1 디지털 이미지 내의 픽셀 정보를 식별하는 단계, 및 이미지로부터 응축에 기인한 픽셀 정보를 감산하는 단계를 더 포함할 수 있다. 응축의 증거인 픽셀 정보는 조명원이 광학적으로 투명한 용기의 하부를 향하여 위쪽으로 향하는 디지털 이미지에서 식별될 수 있고, 여기서 미리 결정된 임계 값 아래의 광학 밀도를 갖는 픽셀에 대한 픽셀 정보는 이미지로부터 감산된다.
일부 예에서, 방법은 먼지의 증거인 제 1 및 제 2 디지털 이미지 중 하나의 픽셀 정보를 식별하는 단계; 및 이미지로부터 먼지에서 기인한 픽셀 정보를 감산하는 단계를 더 포함할 수 있다. 먼지의 증거인 픽셀 정보는 광학적으로 투명한 용기는 흰색 배양 배지를 포함하고, 조명원이 광학적으로 투명한 용기의 상부를 향하여 아래쪽으로 향하고, 배경색이 검정색이거나; 광학적으로 투명한 용기가 유색 또는 어두운 배양 배지를 포함하고, 조명원이 광학적으로 투명한 용기의 상부를 향하여 아래쪽으로 향하고, 배경색이 흰색이거나; 조명원이 광학적으로 투명한 용기의 하부를 향하여 위쪽으로 향하는 디지털 이미지에서 식별될 수 있다. 먼지는 배양 배지, 광학적으로 투명한 용기, 또는 디지털 이미징 장치의 광학 구성 요소 중 임의의 곳에서의 먼지일 수 있다.
일부 실시예에서, 방법은 접종된 배지의 제 3 디지털 이미지를 얻는 단계로서, 여기서 제 3 디지털 이미지는 제 1 디지털 이미지가 획득된 시간과 제 2 디지털 이미지가 획득되는 시간 사이의 시간에 얻게 되고, 여기서 접종된 배양 배지는 제 1 디지털 이미지와 제 2 디지털 이미지의 획득 사이에 그리고 제 2 디지털 이미지와 제 3 디지털 이미지의 획득 사이에 디지털 이미징 장치로부터 제거되어 인큐베이터에 위치되는, 제 3 디지털 이미지를 얻는 단계; 제 3 디지털 이미지 내의 픽셀의 좌표가 제 1 디지털 이미지 내의 대응하는 픽셀의 좌표와 동일하도록 제 3 디지털 이미지를 제 1 디지털 이미지와 정렬시키는 단계; 제 3 및 제 2 디지털 이미지의 픽셀을 서로 비교하는 단계; 및 제 3 디지털 이미지와 제 2 디지털 이미지 사이에서 변화된 픽셀을 식별하는 단계를 더 포함할 수 있다. 제 1 디지털 이미지와 제 3 디지털 이미지 사이의 인큐베이션 시간은 제 3 디지털 이미지와 제 2 디지털 이미지 사이의 인큐베이션 시간과 동일할 수 있다. 식별된 개체 중 적어도 하나는 제 3 디지털 이미지와 제 2 디지털 이미지 사이에서 변화된 식별된 픽셀과 연관될 수 있다.
일부 예에서, 방법은 접종된 배지의 제 3 디지털 이미지를 얻는 단계로서, 여기서 제 3 디지털 이미지는 제 2 디지털 이미지가 획득되는 시간 이후에 얻게 되고, 여기서 접종된 배양 배지는 제 2 및 제 3 디지털 이미지를 얻게 되는 시간 사이에 디지털 이미징 장치로부터 제거되어 인큐베이터에 위치되는, 제 3 디지털 이미지를 얻는 단계; 제 3 디지털 이미지 내의 픽셀의 좌표가 제 1 및 제 2 디지털 이미지 내의 대응하는 픽셀의 좌표와 동일하도록 제 3 디지털 이미지를 제 1 및 제 2 디지털 이미지와 정렬시키는 단계; 제 3 및 제 2 디지털 이미지의 픽셀을 서로 비교하는 단계; 제 2 디지털 이미지와 제 3 디지털 이미지 사이에서 변화된 픽셀을 식별하는 단계; 및 변화된 것으로 식별된 제 2 및 제 3 디지털 이미지의 비교된 픽셀에 기초하여 제 2 디지털 이미지에서 식별된 개체가 제 3 디지털 이미지에서 변화되었음을 결정하는 단계를 더 포함할 수 있다. 제 3 디지털 이미지에서 변화되는 것으로 결정된 제 2 디지털 이미지에서 식별된 개체는 결정된 변화의 범위가 평가되는 시드(seed) 개체로 결정될 수 있다. 이러한 경우에, 방법은 제 2 디지털 이미지와 제 3 디지털 이미지 사이에서 변화된 것으로 식별된 픽셀에 기초하여 메모리 내의 개체와 연관된 픽셀의 좌표를 업데이트하는 단계를 더 포함할 수 있다.
본 개시의 다른 양상은 배양물이 접종되고 인큐베이팅된 플레이팅된 배지 상의 세균 성장을 식별하는 방법에 관한 것으로, 방법은 배지의 인큐베이션의 시작(t0)에서, 배지의 제 1 디지털 이미지를 얻는 단계로서, 제 1 디지털 이미지는 복수의 픽셀을 갖는, 배지의 제 1 디지털 이미지를 얻는 단계; 제 1 디지털 이미지의 하나 이상의 픽셀에 좌표를 할당하는 단계; 배지에 대한 인큐베이션의 기간 후(tx)에, 배지의 제 2 디지털 이미지를 얻는 단계로서, 제 2 디지털 이미지는 복수의 픽셀을 갖는, 배지의 제 2 디지털 이미지를 얻는 단계; 제 2 디지털 이미지를 제 1 디지털 이미지와 정렬시키는 단계로서, 여기서 상기 정렬은 제 1 이미지의 픽셀에 할당된 좌표 및 그 좌표가 할당된 제 1 이미지의 픽셀에 대응하는 제 2 이미지의 하나 이상의 픽셀에 기초하는, 제 2 디지털 이미지를 제 1 디지털 이미지와 정렬시키는 단계; 제 2 디지털 이미지의 로컬로 인접한 픽셀들 사이의 변화를 나타내는 공간적 콘트라스트 데이터를 발생시키는 단계; 제 1 및 제 2 디지털 이미지의 대응하는 픽셀들 사이의 변화를 나타내는 시간적 콘트라스트 데이터를 발생시키는 단계; 제 2 디지털 이미지의 복수의 픽셀 각각에 대해, 픽셀의 공간적 콘트라스트 데이터 및 시간적 콘트라스트 데이터의 결합에 기초하여 픽셀에 콘트라스트 값을 할당하는 단계; 미리 결정된 임계치보다 크고 미리 결정된 서로의 오차 마진 내에 있는 콘트라스트 값을 갖는 인접한 픽셀을 연관시키는 단계로서, 연관된 픽셀은 식별된 개체를 구성하는, 인접한 픽셀을 연관시키는 단계; 및 각각의 식별된 개체를 후보 콜로니로서 메모리에 저장하는 단계를 포함한다.
일부 예에서, 공간적 및 시간적 콘트라스트 데이터를 결합하는 것은 공간적 및 시간적 콘트라스트 데이터의 평균을 내는 것을 포함한다. 공간적 및 시간적 콘트라스트 데이터는 가중된 평균에 따라 결합될 수 있다.
공간적 콘트라스트 데이터를 발생시키는 단계는 시간 tx에서 복수의 이미지를 얻는 단계로서, 복수의 이미지 각각은 상이한 조명 조건 하에서 얻게 되는, 시간 tx에서 복수의 이미지를 얻는 단계; 복수의 tx 이미지 각각에서 공간 데이터를 처리하는 단계; 및 처리된 공간 데이터를 결합하는 단계를 포함할 수 있다. 공간 데이터를 처리하는 단계는 각각의 조명 조건에 대한 공간 데이터 결과를 별도로 처리하는 단계, 및 별도로 처리된 공간 데이터 결과로부터 최대 결과를 선택하는 단계를 포함할 수 있다.
시간적 콘트라스트 데이터를 발생시키는 단계는 시간 t0에서 복수의 이미지를 얻는 단계로서, 복수의 이미지 각각은 상이한 조명 조건 하에서 얻게 되는, 시간 t0에서 복수의 이미지를 얻는 단계; 시간 tx에서 복수의 이미지를 얻는 단계로서, 시간 tx에서 각각의 이미지의 조명 조건은 시간 t0에서 얻은 이미지의 조명 조건에 대응하는, 시간 tx에서 복수의 이미지를 얻는 단계; 대응하는 t0 및 tx 이미지의 각각에서 시간 데이터를 처리하는 단계; 및 처리된 시간 데이터를 결합하는 단계를 포함할 수 있다. 시간 데이터를 처리하는 단계는 각각의 조명 조건에 대한 시간 데이터 결과를 별도로 처리하는 단계, 및 별도로 처리된 시간 데이터 결과로부터 최대 결과를 선택하는 단계를 포함할 수 있다.
일 예에서, 방법은, 주어진 식별된 개체에 대해, 개체와 연관된 픽셀 정보로부터 복수의 개체 특징을 얻는 단계로서, 여기서 개체 특징은 적어도 하나의 형태 특징을 포함하고, 형태 특징은 개체 형상, 개체 구역, 개체 둘레, 또는 개체 에지 중 적어도 하나인, 복수의 개체 특징을 얻는 단계; 분류 알고리즘을 사용하여 개체 특징을 결합하는 단계; 결합된 개체 특징을 메모리에 저장된 복수의 미생물에 대한 개체 특징 정보와 비교하는 단계; 및 비교에 기초하여 식별된 개체를 미생물의 일 유형으로 분류하는 단계를 더 포함할 수 있다. 개체 특징은 적어도 하나의 스펙트럼 특징(스펙트럼 특징은 개체 색상, 개체 밝기, 개체 색조, 개체 색도 중 적어도 하나임) 또는 적어도 하나의 시간적 특징(시간적 특징은 개체 성장 속도, 개체 색상의 변화, 또는 개체가 처음으로 시각적으로 관찰 가능한 예상 시간 중 적어도 하나임)을 더 포함할 수 있다. 개체 특징 중 적어도 하나는 식별된 개체의 각각의 픽셀에 대해 얻게 될 수 있고, 그 다음에 하나 이상의 통계적 히스토그램 특징을 사용하여 결합될 수 있다. 분류 알고리즘은 감독된 기계 학습 알고리즘일 수 있고, 여기서 결합된 개체 특징은 메모리에 저장된 4개 이하의 미생물에 대한 개체 특징 정보와 비교될 수 있다.
일 예에서, 방법은, 주어진 식별된 개체에 대해, 식별된 개체의 각각의 픽셀에 대해, 픽셀의 상기 시간적 콘트라스트 데이터에 기초하여 픽셀에 시간적 콘트라스트 값을 할당하는 단계; 할당된 시간적 콘트라스트 값으로부터 하나 이상의 최대치를 식별하는 단계; 하나를 초과하는 최대치가 확인되면, 최대치가 공통의 콜로니 형성 단위 또는 상이한 콜로니 형성 단위와 연관되는지 여부를 결정하는 단계; 및 상이한 콜로니 형성 단위와 연관되는 것으로 결정된 임의의 2개의 최대치에 대해, 상기 2개의 최대치의 각각의 위치에 적어도 부분적으로 기초하여 식별된 개체를 2개의 개체로 분할하는 단계를 더 포함할 수 있다. 2개의 최대치가 공통의 콜로니 형성 단위 또는 상이한 콜로니 형성 단위와 연관되는지 여부를 결정하는 단계는 각각의 최대치에 대해, 최대치로부터 식별된 개체의 에지까지의 거리를 결정하는 단계; 각각의 결정된 거리 및 2개의 최대치 사이의 거리에 기초하여 포함 인자 값을 산출하는 단계; 및 포함 인자 값을 미리 결정된 범위와 비교하는 단계로서, 여기서 최대치는 포함 인자 값이 미리 결정된 범위보다 작으면 공통 콜로니 형성 단위와 연관되고, 최대치는 포함 인자 값이 미리 결정된 범위보다 크면 상이한 콜로니 형성 단위와 연관되는, 포함 인자 값을 미리 결정된 범위와 비교하는 단계를 더 포함할 수 있다. 포함 인자 값이 미리 결정된 범위 내에 있으면, 방법은 각각의 최대치에 대해, 최대치를 둘러싸는 영역을 결정하는 단계; 및 최대치를 둘러싸는 각각의 영역의 볼록도(convexity)를 산출하는 단계로서, 여기서 볼록도가 임계 값보다 크면, 최대치는 상이한 콜로니 형성 단위와 연관되는, 각각의 영역의 볼록도를 산출하는 단계를 더 포함할 수 있다.
일부 예에서, 방법은 공간적 콘트라스트 데이터에 기초하여 시간상 첫 번째 디지털 이미지에서 하나 이상의 개체를 식별하는 단계; 및 시간상 두 번째 디지털 이미지 내의 주어진 식별된 개체에 대해, 시간상 두 번째 디지털 이미지 내의 개체에 대한 결합된 공간적 및 시간적 콘트라스트 데이터가 시간상 첫 번째 디지털 이미지에서 식별된 개체에 대한 공간적 콘트라스트 데이터와 일치하면, 제 2 디지털 이미지 내의 개체를 아티팩트로서 분류하는 단계를 더 포함할 수 있다.
본 개시의 또 다른 양상은 배양물이 접종되고 인큐베이팅된 플레이팅된 배지 상에서 세균 성장을 평가하는 방법에 관한 것으로, 방법은 플레이팅된 배지의 제 1 및 제 2 디지털 이미지를 얻는 단계로서, 각각의 디지털 이미지는 접종된 배지에 대한 인큐베이션 기간 후에 그리고 상이한 시간에 얻게 되는, 플레이팅된 배지의 제 1 및 제 2 디지털 이미지를 얻는 단계; 제 2 디지털 이미지를 제 1 디지털 이미지와 정렬시키는 단계로서, 여기서 상기 정렬은 제 1 이미지의 픽셀에 할당된 좌표 및 그 좌표가 할당된 제 1 이미지의 픽셀에 대응하는 제 2 이미지의 하나 이상의 픽셀에 기초하는, 제 2 디지털 이미지를 제 1 디지털 이미지와 정렬시키는 단계; 제 1 및 제 2 디지털 이미지의 대응하는 픽셀들 사이의 변화를 나타내는 시간적 콘트라스트 데이터를 발생시키는 단계; 시간적 콘트라스트 데이터로부터 제 2 디지털 이미지 내의 개체를 식별하는 단계; 시간적 콘트라스트 데이터로부터 식별된 개체의 하나 이상의 동적 개체 특징을 얻는 단계; 하나 이상의 동적 개체 특징에 기초하여 식별된 개체를 유기체의 일 유형으로 분류하는 단계; 및 식별된 개체 및 그 분류를 메모리에 저장하는 단계를 포함한다. 일부 예에서, 하나 이상의 동적 개체 특징은 식별된 개체의 성장 속도, 식별된 개체의 색도 특징에 대한 변화, 또는 플레이팅된 배지에 수직인 축을 따른 성장의 변화를 포함할 수 있다.
일 예에서, 방법은 접종된 배지에 대한 인큐베이션 기간 후에 그리고 제 1 및 제 2 디지털 이미지와 상이한 시간에 플레이팅된 배지의 제 3 디지털 이미지를 얻는 단계; 제 3 디지털 이미지를 제 1 및 제 2 디지털 이미지와 정렬시키는 단계; 및 제 2 및 제 3 디지털 이미지의 대응하는 픽셀들 사이의 변화를 나타내는 시간적 콘트라스트 데이터를 발생시키는 단계로서, 여기서 개체는 상기 시간적 콘트라스트 데이터에 추가로 기초하여 식별되고, 여기서 식별된 개체의 하나 이상의 동적 개체 특징은 시간적 콘트라스트 데이터의 2차 도함수(second derivative)를 포함하는, 시간적 콘트라스트 데이터를 발생시키는 단계를 더 포함할 수 있다. 하나 이상의 동적 개체 특징은 개체 성장 가속도를 포함할 수 있다.
본 개시의 또 다른 양상 프로세서로 하여금 방법을 수행하게 하도록 구성되는 인코딩된 프로그램 명령을 갖는 컴퓨터 판독 가능 메모리 저장 매체에 관한 것이다. 방법은 상기의 플레이팅된 배지 상의 세균 성장을 평가하는 방법, 배양물이 접종되고 인큐베이팅된 플레이팅된 배지 상의 세균 성장을 식별하는 방법, 또는 배양물이 접종되고 인큐베이팅된 플레이팅된 배지 상의 세균 성장을 평가하는 방법 중 임의의 것일 수 있다.
본원의 또 다른 양상은 생물학적 샘플이 접종된 배양 배지에서 성장을 평가하기 위한 시스템에 대한 것이다. 시스템은 배양 배지의 디지털 이미지를 캡쳐하기 위한 이미지 획득 디바이스, 메모리, 및 방법을 수행하기 위한 명령을 실행하도록 동작 가능한 하나 이상의 프로세서를 포함한다. 일부 예에서, 메모리는 캡쳐된 디지털 이미지에 관한 정보를 저장할 수 있고, 실행 명령에 의해 수행되는 방법은 플레이팅된 배지 상의 세균 성장을 평가하는 전술한 방법 중 임의의 방법일 수 있다. 다른 예에서, 메모리는 캡쳐된 디지털 이미지에서 식별된 후보 콜로니 개체에 관한 정보를 저장할 수 있고, 실행된 명령에 의해 수행되는 방법은 배양물이 접종되고 인큐베이팅된 플레이팅된 배지 상의 세균 성장을 식별하는 전술한 방법 중 임의의 방법일 수 있다. 또 다른 예에서, 메모리는 캡쳐된 디지털 이미지에서 식별된 하나 이상의 개체에 관한 정보 및 식별된 개체의 하나 이상의 분류를 저장할 수 있고, 실행된 명령에 의해 수행되는 방법은 배양물이 접종되고 인큐베이팅된 플레이팅된 배지 상의 세균 성장을 평가하는 전술한 방법 중 임의의 방법일 수 있다.
도 1은 본 개시의 일 양상에 따른 배양물을 이미징 분석 및 테스트하기 위한 시스템의 개략도이다.
도 2는 본 개시의 일 양상에 따른 배양물을 이미징 분석 및 테스트하기 위한 자동화된 실험실 작업 흐름 루틴을 도시하는 흐름도이다.
도 3a, 도 3b, 및 도 3c는 본 개시의 일 양상에 따른 시간 경과에 따라 변화하는 콜로니 형태의 시각적 표현으로 시간적 콘트라스트를 보여주는 이미지이다.
도 3d 및 도 3e는 상이한 조명 조건 하에서 공간적 콘트라스트를 보여주는 이미지이다.
도 4는 본 개시의 일 양상에 따른 이미지 정보를 얻고 분석하기 위한 예시적인 루틴의 흐름도이다.
도 5는 본 개시의 일 양상에 따른 공간적 콘트라스트를 얻기 위한 예시적인 루틴의 흐름도이다.
도 6은 본 개시의 일 양상에 따른 시간적 콘트라스트를 얻기 위한 예시적인 루틴의 흐름도이다.
도 7은 본 개시의 일 양상에 따른 이미지로부터 아티팩트를 필터링하기 위한 예시적인 루틴의 흐름도이다.
도 8은 본 개시의 일 양상에 따른 이미지의 픽셀을 라벨링하기 위한 예시적인 루틴의 흐름도이다.
도 9는 본 개시의 일 양상에 따른 콜로니를 별도의 개체로 분리하는 예시적인 루틴의 흐름도이다.
도 10은 본 개시의 일 양상에 따른 예시적인 개체 분할 루틴의 흐름도이다.
도 11은 도 10의 분할 루틴의 일부로서의 합류하는 콜로니의 측정을 도시하는 도면이다.
도 12는 본 개시의 일 양상에 따른 보로노이(Voronoi) 다이어그램이다.
도 13a, 도 13b, 및 도 13c는 본 개시의 일 양상에 따른 격리 인자 측정을 예시하는 다이어그램이다.
도 14는 본 개시의 일 양상에 따른 보로노이 영향 영역을 도시하는 다이어그램이다.
도 15a, 도 15b, 및 도 15c는 본 개시의 일 양상에 따른 콜로니 성장의 특성을 나타내는 이미지이다.
도 16a 및 도 16b는 이미지의 샘플 콜로니의 줌(zoom)되고 및 재배향된 이미지를 갖는 이미징된 플레이트의 섹션을 도시한다.
도 16c는 도 16b의 각각의 이미지의 벡터 다이어그램을 도시한다.
도 17은 본 개시의 일 양상에 따른 표본의 SHQI, 공간적 콘트라스트, 및 시간적 콘트라스트 이미지를 도시한다.
도 18은 도 2의 루틴의 타임 라인을 비교할 만한 수동으로 수행되는 루틴의 타임 라인과 비교하는 흐름도이다.
본 개시는 플레이팅된 배지의 하나 이상의 디지털 이미지에서 검출된 콘트라스트에 적어도 부분적으로 기초하여 플레이팅된 배지 상에서의 세균 성장을 식별 및 분석하기 위한 장치, 시스템, 및 방법을 제공한다. 본원에서 설명된 방법 중 대부분은 완전히 또는 부분적으로 자동화된 실험실 작업 흐름의 일부로 통합되는 것과 같이 완전히 또는 부분적으로 자동화될 수 있다.
본원에 설명된 시스템은 세균의 식별 및 그러한 세균의 세균 성장의 검출을 위해 세균학 샘플을 이미징하기 위한 광학 시스템에서 구현될 수 있다. 많은 그러한 상업적으로 이용 가능한 시스템이 있으며, 이는 본원에서 상세하게 설명되지 않는다. 일 예는 BD Kiestra ™ ReadA Compact 지능형 인큐베이션 및 이미징 시스템이다. 다른 예시적인 시스템은 그 전체가 본원에 참조로서 포함되는 PCT 공보 제WO2015/114121호 및 미국 특허 공보 제2015/0299639호에 설명된 것을 포함한다. 이러한 광학 이미징 플랫폼은 당업자에게 잘 알려져 있고, 본원에서는 상세히 설명되지 않는다.
도 1은 플레이팅된 배지의 고품질 이미징을 제공하기 위한 처리 모듈(110) 및 이미지 획득 디바이스(120)(예를 들어, 카메라)를 갖는 시스템(100)의 개략도이다. 처리 모듈 및 이미지 획득 디바이스는 플레이팅된 배지 상에 접종된 배양물의 성장을 허용하기 위해 플레이팅된 배지를 인큐베이팅하기 위한 인큐베이션 모듈(미도시)과 같은 다른 시스템 구성 요소에 추가로 연결될 수 있고, 이에 의해 또한 상호 작용할 수 있다. 이러한 연결은 인큐베이션을 위한 표본을 수신하여 인큐베이터로 이송하고, 그리고 그 다음에 인큐베이터와 이미지 획득 디바이스 사이로 이송하는 트랙 시스템을 사용하여 완전히 또는 부분적으로 자동화될 수 있다.
처리 모듈(110)은 시스템(100)의 다른 구성 요소에게 다양한 유형의 정보의 처리에 기초하여 작업을 수행하도록 명령할 수 있다. 프로세서(110)는 하나 이상의 동작을 수행하는 하드웨어일 수 있다. 프로세서(110)는 중앙 처리 장치(central processing unit, CPU)와 같은 임의의 표준 프로세서일 수 있거나, 주문형 집적 회로(application-specific integrated circuit, ASIC) 또는 필드 프로그래밍 가능 게이트 어레이(field programmable gate array, FPGA)와 같은 전용 프로세서일 수 있다. 하나의 프로세서 블록이 도시되어 있지만, 시스템(100)은 또한 인큐베이터 및/또는 이미지 획득 장치(120)에서 샘플 용기와 관련된 정보를 저장 및 추적하기 위해 병렬로 작동할 수도 있고 작동하지 않을 수도 있는 다수의 프로세서 또는 다른 전용 로직 및 메모리를 포함할 수 있다. 이와 관련하여, 처리 유닛은 이로 제한되지는 않으나, 시스템 내의 표본의 위치(인큐베이터 또는 이미지 획득 디바이스, 그 내부에서의 위치 및/또는 배향 등), 인큐베이션 시간, 캡쳐된 이미지의 픽셀 정보, 샘플의 유형, 배양 배지의 유형, 예방 조치 정보(예를 들어, 위험함 표본) 등을 포함하는 시스템(100) 내의 표본에 관한 여러 유형의 정보를 추적 및/또는 저장할 수 있다. 이와 관련하여, 프로세서는 본원에 설명된 다양한 루틴을 완전히 또는 부분적으로 자동화할 수 있다. 일 실시예에서, 본원에 설명된 루틴을 수행하기 위한 명령은 비일시적인 컴퓨터 판독 가능 매체(예를 들어, 소프트웨어 프로그램)에 저장될 수 있다.
도 2는 배양물을 이미징, 분석, 및 선택적으로 테스트하기 위한 예시적인 자동화된 실험실 루틴(200)을 도시하는 흐름도이다. 루틴(200)은 BD KiestraTM Total Lab Automation 또는 BD KiestraTM Work Cell Automation과 같은 자동화된 세균학 실험실 시스템에 의해 구현될 수 있다. 예시적인 시스템은 상호 연결된 모듈을 포함하며, 각각의 모듈은 루틴(200)의 하나 이상의 단계를 실행하도록 구성된다.
202에서, 배양 배지가 제공되고 생물학적 샘플이 접종된다. 배양 배지는 광학적으로 투명한 용기일 수 있어서, 다양한 각도에서 조명하면서 생물학적 샘플이 용기에서 관찰될 수 있다. 접종은 미리 결정된 패턴을 따를 수 있다. 샘플을 플레이트 상에 줄무니를 만들기(streaking) 위한 줄무늬 패턴 및 자동화된 방법은 당업자에게 잘 알려져 있고, 본원에서 상세하게 논의되지는 않는다. 하나의 자동화된 방법은 자기적으로 제어되는 비드(bead)를 사용하여 플레이트 상에서 샘플에 줄무늬를 만든다. 204에서, 배지는 생물학적 샘플의 성장을 허용하도록 인큐베이팅된다.
206에서, 배지 및 생물학적 샘플의 하나 이상의 디지털 이미지가 캡쳐된다. 하기에서 보다 상세히 설명될 바와 같이, 배지의 디지털 이미징은 인큐베이션 프로세스 동안 (예를 들어, 인큐베이션의 시작에서, 인큐베이션 중간의 시간에서, 인큐베이션의 끝에서) 여러 번 수행되어, 배지에서의 변화가 관찰되거나 분석될 수 있다. 배지의 이미징은 인큐베이터에서 배지를 제거하는 것을 수반할 수 있다. 배지가 상이한 시간에 다수의 이미지가 촬영되는 경우, 배지는 이미징 세션 사이에 추가 인큐베이션을 위해 인큐베이터로 돌려 보내질 수 있다.
208에서, 생물학적 샘플은 캡쳐된 디지털 이미지로부터의 정보에 기초하여 분석된다. 디지털 이미지의 분석은 이미지에 포함된 픽셀 정보의 분석을 수반할 수 있다. 일부 예에서, 픽셀 정보는 픽셀 단위로 분석될 수 있다. 다른 예에서, 픽셀 정보는 블록 단위로 분석될 수 있다. 또 다른 예에서, 픽셀은 픽셀의 전체 영역에 기초하여 분석될 수 있으며, 그에 의해 영역 내의 개별 픽셀의 픽셀 정보는 개별 픽셀의 정보를 결합하거나, 샘플 픽셀을 선택하거나, 하기에 보다 상세히 설명된 통계적 히스토그램 연산과 같은 다른 통계적 방법을 사용함으로써 도출될 수 있다. 본 개시에서, "픽셀"에 적용되는 것으로 설명된 동작은 픽셀의 블록 또는 다른 그룹에 유사하게 적용 가능하고, "픽셀"이라는 용어는 이로써 그러한 응용을 포함하도록 의도된다.
분석은 성장이 배지에서 검출되는지 여부를 결정하는 것을 수반할 수 있다. 이미지 분석의 관점에서, 성장은 (개체와 그 인접한 주변 사이의 차이에 기초하여) 이미징된 개체를 식별하고 그 다음에 시간 경과에 따른 개체의 변화를 식별함으로써 이미지에서 검출될 수 있다. 본원에서 보다 상세히 설명되는 바와 같이, 이러한 차이 및 변화는 모두 "콘트라스트"의 형태이다. 성장을 검출하는 것에 더해, 108에서 이미지 분석은 검출된 성장량을 수량화하고, 구별되는 콜로니를 식별하고, 자매 콜로니를 식별하는 것 등을 추가로 수반할 수 있다.
210에서, 생물학적 샘플(특히, 식별된 자매 콜로니)이 양적으로 현저한 성장을 보이는지 여부가 결정된다. 성장이 발견되지 않거나 미미한 성장량이 발견된다면, 루틴(200)은 220으로 진행할 수 있으며, 220에서 최종 보고서가 출력된다. 210에서 220으로 진행하는 경우, 최종 보고서는 현저한 성장의 결여를 나타내거나, 정상적인 식물상의 성장을 보고할 것이다.
생물학적 샘플이 양적으로 현저한 성장을 보이는 것으로 결정되면, 212에서, 하나 이상의 콜로니가 선행 분석에 기초하여 이미지로부터 선정될 수 있다. 콜로니를 선정하는 것은 선정된 콜로니 각각이 샘플링되고 테스트되는 완전히 자동화된 프로세스일 수 있다. 대안적으로, 콜로니를 선정하는 것은 다수의 후보 콜로니가 자동적으로 식별되고 조작자에게 디지털 이미지로 시각적으로 제시되어, 조작자가 샘플링 및 추가 테스트를 위해 하나 이상의 후보의 선택을 입력할 수 있는 부분적으로 자동화된 프로세스일 수 있다. 선택되거나 선정된 콜로니 샘플링은 그 자체가 시스템에 의해 자동화될 수 있다.
214에서, 샘플링된 콜로니는 예컨대 샘플을 유기 현탁물에 플레이팅함으로써 추가 테스트를 위해 준비된다. 216에서, 샘플은 원래의 배지로부터 샘플링된 표본의 유형을 식별하기 위해 매트릭스 보조 레이저 탈착 이온화(matrix-assisted laser desorption ionization, MALDI) 이미징을 사용하여 테스트된다. 218에서, 샘플은 또한 또는 대안적으로 식별된 표본에 대한 가능한 처치를 식별하기 위해 항생제 감수성 테스트(antibiotic susceptibility testing, AST)를 겪게 된다.
220에서, 테스트 결과는 최종 보고서로 출력된다. 보고서는 MALDI 및 AST 결과를 포함할 수 있다. 전술한 바와 같이, 보고서는 또한 표본 성장의 수량화를 나타낼 수 있다. 따라서, 자동화된 시스템은 접종된 배양 배지에서 시작하여 추가 입력이 거의 없거나 전혀 없이 배양물에서 발견된 표본에 관한 최종 보고서를 발생시킬 수 있다.
도 2의 예시적인 루틴과 같은 루틴에서, 검출되고 식별된 콜로니는 종종 콜로니 형성 단위(Colony Forming Unit, CFU)로 지칭된다. CFU는 하나 또는 소수의 박테리아로 시작되는 미세한 개체이다. 시간 경과에 따라, 박테리아는 성장하여 콜로니를 형성한다. 박테리아가 플레이트에 위치되는 시간이 빠를수록, 더 적은 박테리아가 검출되고 결과적으로 콜로니가 작아지고 배경과의 콘트라스트가 낮아진다. 달리 말하면, 보다 적은 콜로니 사이즈는 보다 작은 신호를 야기하고, 일정한 배경에 대한 보다 작은 신호는 보다 작은 콘트라스트를 초래한다. 이는 다음 방정식에 의해 반영된다:
(1)
Figure 112017114042936-pct00001
콘트라스트는 이미지에서 CFU 또는 다른 아티팩트와 같은 개체를 식별하는 데 중요한 역할을 할 수 있다. 밝기, 색상, 및/또는 텍스쳐가 주변 환경과 상당히 다르면 이미지에서 개체가 검출될 수 있다. 개체가 검출되면, 분석은 또한 검출된 개체의 유형을 식별하는 것을 수반할 수 있다. 이러한 식별은 또한 식별된 개체의 에지의 매끄러움 또는 개체의 색상 및/또는 밝기의 균일성(또는 균일성의 결여)과 같은 콘트라스트 측정에 의존할 수 있다. 이 콘트라스트는 이미지 센서에 의해 검출되기 위해 이미지 노이즈(백그라운드 신호)를 극복할만큼 충분히 커야 한다.
(Weber의 법칙에 의해 좌우되는) 인간의 콘트라스트의 지각은 제한되어 있다. 최적 조건 하에서, 인간의 눈은 1%의 광 레벨 차이를 검출할 수 있다. 이미지 측정(예를 들어, 밝기, 색상, 콘트라스트)의 품질 및 신뢰도는 측정치의 신호 대 잡음비(signal-to-noise ratio, SNR)를 특징으로 할 수 있으며, 여기서 픽셀 강도와는 별도로 SNR 값 100(또는 40dB)은 인간의 검출 능력과 일치할 것이다. 높은 SNR 이미징 정보 및 알려진 픽셀 정보 당 SNR을 이용하는 디지털 이미징 기술은 콜로니가 인간의 눈으로는 아직 볼 수 없는 경우에도 콜로니의 검출을 허용할 수 있다.
본 개시에서, 콘트라스트는 적어도 2가지 방식: 공간적 및 시간적으로 수집될 수 있다. 공간적 콘트라스트 또는 로컬 콘트라스트는 단일 이미지에서 주어진 영역(예를 들어, 픽셀, 인접한 픽셀의 그룹)과 그 주변 사이의 색상 또는 밝기의 차이를 수량화한다. 시간적 콘트라스트 또는 시간적 콘트라스트는 하나의 이미지의 주어진 영역과 상이한 시간에 촬영된 다른 이미지 내의 동일한 영역 사이의 색상 또는 밝기의 차이를 수량화한다. 시간적 콘트라스트를 좌우하는 수식은 공간적 콘트라스트에 대한 수식과 유사하다:
(2)
Figure 112017114042936-pct00002
여기서 t1은 t0에 후속하는 시간이다. 주어진 이미지의 공간적 및 시간적 콘트라스트는 개체를 식별하는 데 사용될 수 있다. 식별된 개체는 그 다음에 중요성(예를 들어, 그들이 CFU, 정상 식물상, 먼지 등인지 여부)을 결정하기 위해 추가로 테스트될 수 있다.
도 3a, 도 3b, 및 도 3c는 시간적 콘트라스트가 이미징된 샘플에 미칠 수 있는 영향의 시각적 입증을 제공한다. 도 3a에 도시된 이미지는 샘플의 전반적인 성장을 보여주는 상이한 시점(왼쪽에서 오른쪽, 맨 위 줄에서 맨 아래 줄까지)에서 캡쳐되었다. 도 3a에서 성장이 눈에 띄나, 성장은 도 3b의 대응하는 콘트라스트 시간 이미지로부터의 시퀀스에서 더욱 눈에 뛰고 더욱 일찍 알아차릴 수 있다. 명확화를 위해, 도 3c는 도 3b의 줌된 섹션을 도시한다. 도 3c에서 알 수 있는 바와 같이, 콜로니의 부분이 더 오래 이미징될수록, 콘트라스트 이미지에서 더 밝은 점을 만든다. 이 방식으로, 각각의 콜로니의 질량 중심은 콜로니의 밝은 중심 또는 피크로 표시될 수 있다. 따라서, 시간 경과에 따라 얻은 이미지 데이터는 콜로니 형태의 변화에 관한 중요한 정보를 보여줄 수 있다.
개체의 배경과의 공간적 또는 시간적 콘트라스트를 최대화하기 위해, 시스템은 상이한 배경에 상이한 입사광을 사용하여 이미지를 캡쳐할 수 있다. 예를 들어, 상부 조명, 하부 조명, 또는 측면 조명 중 임의의 것은 검정색 또는 흰색 배경 중 어느 일방에 사용될 수 있다.
도 3d 및 도 3e는 조명 조건이 이미징된 샘플에 미칠 수 있는 영향의 시각적 입증을 제공한다. 도 3d의 이미지는 상부 조명을 사용하여 캡쳐된데 반해, 도 3e의 이미지는 하부 조명을 사용하여 거의 동시에(예를 들어, 눈에 띄거나 현저한 성장이 일어나지 않는 시간에 충분히 가깝게) 캡쳐되었다. 알 수 있는 바와 같이, 도 3d 및 도3e의 샘플에서의 이미지 각각은 여러 개의 콜로니를 포함하지만, 콜로니에 대한 추가 정보(이 경우, 용혈)는 도 3d의 이미지에서 백라이트 또는 하부 조명으로 인해 볼 수 있는 반면, 그 동일한 정보는 도 3e의 이미지에서는 이해하기 어렵다.
주어진 시점에서, 다수의 이미지가 다수의 조명 조건 하에서 캡쳐될 수 있다. 이미지는 조명 광 레벨, 조명 각도, 및/또는 개체와 센서 사이에 배치된 필터(예를 들어, 적색, 녹색, 및 청색 필터)로 인해 스펙트럼이 다른 상이한 광원을 사용하여 캡쳐될 수 있다. 이러한 방식으로, 이미지 획득 조건은 광원 포지션(예를 들어, 상부, 측면, 하부), 배경(예를 들어, 검정색, 흰색, 임의의 색상, 임의의 강도), 및 광 스펙트럼(예를 들어, 적색 채널, 녹색 채널, 청색 채널)의 면에서 달라질 수 있다. 예를 들어, 제 1 이미지는 상부 조명 및 검정색 배경을 사용하여 캡쳐되고, 제 2 이미지는 측면 조명 및 검정색 배경을 사용하여 캡쳐되고, 제 3 이미지는 하부 조명 및 무 배경(즉, 흰색 배경)을 사용하여 캡쳐될 수 있다. 또한, 특정 알고리즘이 사용되어 사용하는 공간적 콘트라스트를 최대화하기 위한 다양한 이미지 획득 조건의 세트를 생성할 수 있다. 이들 또는 다른 알고리즘은 또한 주어진 시퀀스에 따라 및/또는 시간의 기간에 걸쳐 이미지 획득 조건을 다르게 함으로써 시간적 콘트라스트를 최대화하는 데 유용할 수 있다. 일부 그러한 알고리즘은 PCT 공보 제WO2015/114121호에 기술되어 있다.
도 4는 콘트라스트에 적어도 부분적으로 기초하여 이미징된 플레이트를 분석하기 위한 예시적인 루틴을 도시하는 흐름도이다. 도 4의 루틴은 도 2의 206 및 208이 도 4의 루틴을 사용하여 적어도 부분적으로 이행되는, 도 2의 루틴(200)의 예시적인 서브 루틴으로서 생각될 수 있다.
402에서, 제 1 디지털 이미자가 시간 t0에 캡쳐된다. 시간 t0은 이미징된 플레이트의 박테리아가 아직 가시적인 콜로니를 형성하기 시작하지 않은, 인큐베이션 프로세스가 시작된 직후의 시간일 수 있다.
404에서, 좌표가 제 1 디지털 이미지의 하나 이상의 픽셀에 할당된다. 일부 경우에서, 좌표는 이미징된 플레이트의 중심점으로부터 확장되는 반경 방향 좌표 및 중심점 주위의 각도 좌표를 갖는 극좌표일 수 있다. 이 좌표는 제 1 디지털 이미지를 상이한 각도 및/또는 상이한 시간에서 촬영된 플레이트의 다른 디지털 이미지와 정렬하는 데 도움이 되도록 추후 단계에서 사용될 수 있다. 일부 경우에, 이미징된 플레이트는 제 1 이미지 내의 표식을 커버하는 픽셀(들)의 좌표가 다른 이미지 내의 동일한 표식을 커버하는 픽셀(들)에 할당될 수 있도록 특정 표식(예를 들어, 중심에서 벗어난 도트 또는 라인)을 가질 수 있다. 다른 경우에, 이미지 자체가 향후 정렬을 위한 특징으로 간주될 수 있다.
406에서, 제 2 디지털 이미자가 시간 tx에 캡쳐된다. 시간 tx는 이미징된 플레이트 내의 박테리아가 가시적인 콜로니를 형성할 기회를 가졌던 t0 이후의 시간이다.
408에서, 제 2 디지털 이미지는 이전에 할당된 좌표에 기초하여 제 1 디지털 이미지와 정렬된다. 이미지를 정렬하는 것은 예를 들어 PCT 공보 제WO2015/114121호에 기술된 방법 및 시스템을 사용한 이미지의 정규화 및 표준화를 추가로 수반할 수 있다.
410에서, 제 2 디지털 이미지의 콘트라스트 정보가 결정된다. 콘트라스트 정보는 픽셀 단위로 수집될 수 있다. 예를 들어, 제 2 디지털 이미지의 픽셀은 제 1 디지털 이미지의 (동일한 좌표에 있는) 대응하는 픽셀과 비교되어 시간적 콘트라스트의 존재를 결정할 수 있다. 또한, 제 2 디지털 이미지의 인접한 픽셀은 서로 또는 배경 픽셀인 것으로 알려진 다른 픽셀과 비교되어 공간적 콘트라스트의 존재를 결정할 수 있다. 픽셀 색상 및/또는 밝기의 변화는 콘트라스트를 나타내고, 하나의 이미지에서 다음 이미지로 또는 하나의 픽셀(또는 픽셀의 영역)에서 다음 픽셀로의 그러한 변화의 크기는 측정, 산출, 추정, 또는 다르게는 결정될 수 있다. 시간적 콘트라스트 및 공간적 콘트라스트 양자 모두가 주어진 이미지에 대해 결정되는 경우에, 해당 주어진 픽셀의 공간적 및 시간적 콘트라스트의 결합(예를 들어, 평균, 가중 평균)에 기초하여 이미지의 주어진 픽셀의 전체 콘트라스트가 결정될 수 있다.
412에서, 제 2 디지털 이미지 내의 개체는 410에서 계산된 콘트라스트 정보에 기초하여 식별된다. 유사한 콘트라스트 정보를 갖는 제 2 디지털 이미지의 인접한 픽셀은 동일한 개체에 속하는 것으로 간주될 수 있다. 예를 들어, 제 1 디지털 이미지 내에서의 인접한 픽셀과 그들의 배경 사이의 또는 픽셀 사이의 밝기의 차이, 및 픽셀들의 밝기가 거의 동일하다면(예를 들어, 미리 결정된 임계량 내에 있다면), 픽셀은 동일한 개체에 속하는 것으로 간주될 수 있다. 예로서, 시스템은 현저한 콘트라스트(예를 들어, 임계량 초과)를 갖는 임의의 픽셀에 "1"을 할당하고, 그 다음에 모든 "1"이 할당된 인접한 픽셀의 그룹을 하나의 개체로 식별할 수 있다. 개체에는 동일한 라벨을 가진 픽셀이 특정 특성을 공유하는, 특정 라벨 또는 마스크가 주어질 수 있다. 라벨은 서브 루틴(400)의 추후 프로세스 동안 개체를 다른 개체 및/또는 배경과 구별하는 것을 도울 수 있다. 디지털 이미지에서 개체를 식별하는 것은 디지털 이미지를 다수의 영역(예를 들어, 전경 및 배경)으로 분할하거나 파티셔닝하는 것을 수반할 수 있다. 분할의 목표는 이미지를 다수의 구성 요소의 표현으로 변화시켜 구성 요소를 분석하는 것을 더 쉽게 하는 것이다. 이미지 분할은 이미지에서 관심있는 개체의 위치를 찾는 데 사용된다.
414에서, (412에서 식별된) 주어진 개체의 특징이 특징지어질 수 있다. 개체의 특징을 특징짓는 것은 개체의 기술적 통계(예를 들어, 면적, 반사율, 사이즈, 광학 밀도, 색상, 플레이트 위치 등)를 도출하는 것을 수반할 수 있다. 기술 통계는 (예를 들어, SHQI 이미지로부터, 콘트라스트 이미지로부터) 개체에 관해 수집된 정보의 모음의 특정 특징을 궁극적으로 수량적으로 기술할 수 있다. 그러한 정보는 종, 농도, 혼합물, 시간, 및 배지의 함수로 평가될 수 있다. 그러나, 적어도 일부 경우에, 개체를 특징짓는 것은 개체의 특징에 관한 질적인 정보의 모음으로 시작될 수 있으며, 그에 의해 질적인 정보는 후속하여 수량적으로 표현된다. 하기의 표 1은 질적으로 평가되고 후속하여 수량적인 표현으로 변환될 수 있는 예시적인 특징의 리스트를 제공한다:
표 1: 개체의 질적 속성 및 속성을 수량적으로 변환하기 위한 기준
번호 특징 점수 기준
1
 성장
 0 성장 없음
1 성장
2 시각적으로 관찰할 수 있는 예상 시간 n/a 시간(hour) 단위로 시간 기록
3

 사이즈(직경)

 1 <1mm
2 >1-4mm
3 >4mm
4

 성장 속도(Δ직경/2hrs)
 1 <1mm
2 >1-2mm
3 >2mm
5







 색상







 1 회색/흰색
2 장미빛색
3 무색
4 적색
5 청색
6 청록색
7 갈색
8 연노랑색 내지 노랑색
9 녹색
6


 용혈


 0 없음
1 작은 베타(<1mm)
2 큰 베타(>1mm)
3 알파
7


 형상


 1 볼록함
2 편평함
3 퍼져있음
4 오목함
8


 표면/에지


 1 부드러움
2 거침
3 점액성
4 앙금(feet)
시각적으로 관찰될 때까지의 형상 또는 시간과 같은 개체의 일부 특징은 개체 전체에 대해 한 번 측정될 수 있다. 다른 특징은 (예를 들어, 각각의 픽셀에 대해, 공통 y 좌표를 갖는 픽셀의 모든 행에 대해, 공통 x 좌표를 갖는 픽셀의 모든 열에 대해, 공통 각도 좌표를 갖는 픽셀의 모든 광선에 대해, 공통 반경 방향 좌표를 갖는 픽셀의 원에 대해) 여러 번 측정되고, 그 다음에 예를 들어 히스토그램을 사용하여 단일 측정치로 결합될 수 있다. 예를 들어, 색상이 각각의 픽셀에 대해 측정될 수 있고, 픽셀의 모든 행, 열, 레이(ray), 또는 원에 대한 성장 속도 또는 사이즈가 측정될 수 있고, 기타 등등이다.
416에서, 특징지어진 특징에 기초하여 개체가 콜로니 후보인지 여부가 결정된다. 콜로니 후보 결정은 수량적 특징(예를 들어, 위에서 표 1에서 보여진 점수) 또는 그의 서브 세트를 분류기에 입력하는 것을 수반할 수 있다. 분류기는 개체를 평가하기 위해 감독된 기계 학습 알고리즘을 구현하기 위한 혼동 행렬 또는 감독되지 않은 기계 학습 알고리즘을 구현하기 위한 매칭 행렬을 포함할 수 있다. 감독된 학습은 개체가 가능한 유기체의 한정된 세트(예를 들어, 2개 또는 3개)와 구별되는 경우에 선호될 수 있다 (이 경우, 알고리즘은 비교적 한정된 훈련 데이터의 세트에 대해 훈련될 수 있다). 대조적으로, 감독되지 않은 학습은 개체가 가능한 유기체의 전체 데이터베이스와 구별되는 경우에 선호될 수 있으며, 이 경우 포괄적인 - 또는 심지어 충분한 - 훈련 데이터를 제공하기가 어려울 것이다. 혼동 또는 매칭 행렬의 경우에, 구별은 범위에서 수치적으로 측정될 수 있다. 예를 들어, 주어진 개체의 쌍에 대해, "0"은 두 개체가 서로 구별되어야 함을 의미할 수 있고, 한편 "1"은 개체가 서로 구별하기 어렵다는 것을 의미할 수 있다.
콜로니 후보는 추후 사용(예를 들어, 테스트, 하기에서 설명되는 분할 루틴 등)을 위해 자동화된 시스템의 메모리에 저장될 수 있다.
다수의 배지의 사용
위의 예에서는, 단일 배지에 대한 배양물의 평가가 설명되었다. 그러나, 배양물이 다수의 배지에서 평가되는 경우에도 예는 유사하게 적용 가능하다.
박테리아의 특성(예를 들어, 색상, 성장 속도 등)은 사용된 배양 배지("배지")의 유형에 따라 달라질 수 있고, 상이한 혼동 행렬이 분류(예를 들어, 서브 루틴(400)의 416) 동안 각각의 배지에 대해 적용될 수 있다. 따라서, 하나의 배지에 대한 분류기가 두 개체에 대해 "0"을 출력하고, 한편 상이한 배지에 대한 분류기가 동일한 두 개체에 대해 "1"을 출력하는 것은 충분히 합당하다. 그 다음에 분류기의 집합적인 결과는 함께 (수동으로 또는 추가 기계 주도적 관계에 기초하여) 평가되어 개체에 대한 전체 또는 최종 구별 또는 분류에 도달할 수 있다.
다수의 배지의 평가는 단일 용기를 사용하여 구현될 수 있다. 단일 용기는 다수의 배지가 동시에 함께 이미징될 수 있도록 다수의 배지(예를 들어, 2 플레이트, 3 플레이트, 4 플레이트 등)를 보유하도록 구성될 수 있다. 대안적으로, 여러 개의 용기에서 배지 샘플에 줄무늬를 만듦으로써 다수의 배지가 평가될 수 있으며, 각각의 용기는 하나 이상의 배지를 보유한다. 그 다음에 다수의 용기 각각은 위에서 설명된 이미징 루틴을 겪을 수 있다. 그 다음에 배지 각각으로부터 도출된 정보(예를 들어, 특징지어진 특징)가 다양한 배지에서 발견된 성장의 더 많은 정보에 기초한 식별을 하기 위해 분류기에 집합적으로 입력될 수 있다.
콘트라스트 정보
도 5는 도 4의 410의 부분으로서 공간적 콘트라스트를 얻기 위한 예시적인 서브 루틴(500)을 도시하는 흐름도이다. 서브 루틴(500)은 입력으로서 하나 이상의 배경 및 조명 조건(551)의 세트 및 필터(554)를 수신한다. 502에서, 디지털 이미지는 입력 세트(551)로부터 특정 조명 및 배경 조건 하에서 얻어진다. 504에서, 그러면 이미지가 복제된다. 506에서, 복제된 이미지 중 하나가 필터(554)를 사용하여 필터링된다. 도 5의 예에서는, 로우 패스 커널이 필터로서 사용되었지만, 당업자는 사용될 수 있는 다른 필터를 알고 있다. 508에서, 필터링되지 않은 이미지로부터 감산된 필터링된 이미지와 필터링되지 않은 이미지에 추가된 필터링된 이미지의 비율이 계산된다. 510에서, 공간적 콘트라스트 이미지가 508의 계산된 비율에 기초하여 얻어진다. 이 루틴(500)은 배경 및 조명 조건(551) 각각에 대해 반복될 수 있다. 루틴(500)의 각각의 반복은 510에서 이전에 저장된 공간적 콘트라스트 이미지를 반복적으로 업데이트하는 데 사용될 수 있는 다른 공간적 콘트라스트 이미지를 초래한다. 따라서, 포괄적인 콘트라스트 이미지(조명 조건 각각으로부터의 콘트라스트를 포함 함)가 반복적으로 구축될 수 있다. 일 실시예에서, 각각의 반복에서, (반복적으로 구축된 콘트라스트 이미지와 비교하여) 콘트라스트 설정이 여전히 0으로 설정되어 있는 클리어(clear)된 콘트라스트 이미지는 각각의 조명 설정에 대한 입력으로서 제공될 수 있다. 마지막 이미지가 처리되었다고 512에서 결정되면, 루틴(500)은 종료한다.
도 6은 또한 도 4의 410의 부분으로서 시간적 콘트라스트를 얻기 위한 예시적인 서브 루틴(600)을 도시하는 흐름도이다. 서브 루틴(600)은 입력으로서 하나 이상의 배경 및 조명 조건(651)의 세트 및 필터(655)를 수신한다. 602에서, 특정 조명 및 배경 조건 하에서 촬영된 제 1 및 제 2 디지털 이미지 각각이 얻어진다. 604에서, t0 이미지가 필터링된다. 도 6의 예에서는, 로우 패스 커널이 필터로서 사용되었지만, 당업자는 사용될 수 있는 다른 필터를 알고 있다. 606에서, 필터링되지 않은 tx 이미지로부터 감산된 필터링된 t0 이미지와 필터링되지 않은 tx 이미지에 추가된 필터링된 t0 이미지의 비율이 계산된다. 608에서, 시간적 콘트라스트 이미지가 606의 계산된 비율에 기초하여 얻어진다. 이 루틴(600)은 상이한 조명 조건 및/또는 상이한 배경 조건 하에서 반복될 수 있다. 루틴(600)의 각각의 반복은 608에서 이전에 저장된 시간적 콘트라스트 이미지를 반복적으로 업데이트하는 데 사용될 수 있는 다른 시간적 콘트라스트 이미지를 초래한다. 공간적 콘트라스트 이미지의 구축과 같이, 시간적 콘트라스트 이미지가 반복적으로 구축될 수 있으며, 클리어된 콘트라스트 이미지는 각각의 조명 조건에 대한 입력으로 제공된다. 마지막 이미지가 처리되었다고 610에서 결정되면, 루틴(600)은 종료한다.
공간적 및 시간적 콘트라스트 결과는 콘트라스트에 관한 포괄적인 또는 전체적인 결정을 하기 위해 또한 결합될 수 있다. 공간적 및 시간적 콘트라스트의 결합은 본원에서 "혼합된 콘트라스트"(mixed contrast, MC)로 지칭된다. 일 실시예에서, 혼합된 콘트라스트는 다음의 방정식에 따라, 시간 t0에서의 공간적 콘트라스트(spatial contrast, SC) 이미지, 시간 tx에서의 공간적 콘트라스트 이미지, 및 t0 이미지와 tx 이미지의 비교로부터 도출되는 시간적 콘트라스트(temporal contrast, TC) 이미지로부터 도출될 수 있다:
(3)
Figure 112017114042936-pct00003
필터링
이미지 분석을 향상시키기 위해 추가 프로세스가 도 4의 서브 루틴(400)에 포함될 수 있다. 예를 들어, 제 1 디지털 이미지는 시간 t0에서 이미지에 보이는 개체에 대해 분석될 수 있다. 박테리아가 t0에서 아직 현저하게 자라기 시작하지 않은 것으로 알려져 있으므로, 시간 t0에 발견된 임의의 개체는 콜로니 후보가 되지 않을 단지 먼지, 기포, 아티팩트, 응축 등이라고 추측될 수 있다.
하나의 필터링 프로세스가 캡쳐된 이미지에 사용되어 이미징된 플레이트 또는 렌즈에 내려앉은 먼지 및 다른 아티팩트를 감산할 수 있다. 투명한 배지(예를 들어, MacConkey 한천, CLED 한천, CHROM 한천 등)를 고려하는 경우, 일정 레벨의 먼지가 캡쳐된 이미지에 존재할 것으로 예상된다. 주어진 이미지에 대한 먼지의 영향은 이미지가 촬영되는 특정 조명 및 배경 조건에 적어도 부분적으로 좌우될 수 있다. 예를 들어, 흰색 배지를 사용하는 경우, 배지가 아래에 검정색 배경을 가지며 위에서부터 조명될 때 반사 아티팩트 및 먼지가 가장 잘 관찰 가능할 것이다. 다른 추가 예로서, 색상이 있는 또는 어두운 배지를 사용하는 경우, 아티팩트 및 먼지는 배지가 아래에 흰색 배경을 가지며 위에서부터 조명될 때 가장 잘 관찰 가능할 있을 것이다. 추가 예로서, 대부분의 임의의 배지에서, 광을 흡수하는 아티팩트 및 먼지는 배지가 배경에 관계없이 아래로부터 조명될 때 관찰 가능할 것이다. 어떤 경우에도, 먼지 및 아티팩트의 관리는 세균 성장의 검출에 현저한 영향을 미칠 수 있는 복잡한 이미지 처리 난제이다.
먼지 및 아티팩트는 두 가지 유형으로 나뉠 수 있다: (A) 포지션을 변화시킬 수 있는 것; 및 (B) 포지션을 변화시킬 수 없는 것. 먼지 및 아티팩트는 시간 경과에 따라 축적될 수 있는데, 이는 A 유형 및 B 유형 양자 모두의 수가 시간 경과에 따라 달라질 수 있다는 의미이다. 그럼에도 불구하고, 관찰은 A 유형이 B 유형보다 시간 경과에 따라 수량이 더 많이 변화하기 쉬움을 보여 주었다. 물론, A 유형은 플레이트가 이미징 챔버의 안팎으로 움직이기 때문에 또한 더 많이 변화하기 쉽다.
일반적으로, B 유형은 잉크 도트(브랜드 번호, 플레이트 아래에 인쇄된 로트 번호 및 정보), 플라스틱 몰드 주입 지점과 관련된 불완전함, 또는 서리 낀 영역과 같이 플레이트 자체와 관련된 아티팩트에 의해 인해 야기된다. B 유형은 또한 배지의 상부에 붙어 있거나, 배지 내부에 갇혀 있거나, 플레이트의 아래측에 정전기적으로 붙어 있는 먼지 또는 기포에 의해 야기될 수 있다.
이미징 관점에서, A 유형 먼지 및 아티팩트도 그 자체로는 대체로 포지션이 변하지 않는다. 그러나, 필터 및 렌즈 역할을 하는 플레이트의 플라스틱 및 배지 때문에, A 유형 아티팩트의 관찰된 특성 및 포지션은 배지 색상, 배지 레벨, 및 플라스틱에 따라 약간 변화될 수 있다. B 유형 먼지 및 아티팩트도 포지션이 변하지 않는다. 그러나, B 유형 먼지 및 아티팩트가 배지에 연결되고, 배지가 시간 경과에 따라 약간의 움직임 및 이동(대체로 인큐베이터에서 시간 경과에 따른 약간의 건조로 인한 것임)을 겪은 결과로, B 유형 먼지 및 아티팩트는 배지와 함께 움직일 수 있다. 따라서, B 유형 먼지 및 아티팩트의 포지션도 적어도 어느 정도는 미세한 변화를 하기 쉽다.
콘트라스트의 면에서, A 유형 먼지 한 점은 포지션 "p0"에서 t0 공간적 콘트라스트 이미지에 그리고 포지션 "px"에서 tx 공간적 콘트라스트 이미지에 존재한다고 말할 수 있다. p0 및 px가 상이한 위치라고 가정하면, 먼지 또는 아티팩트는 두 위치에서 시간적 콘트라스트 이미지에 또한 존재할 것이다 (예를 들어, px 위치에서 양의 콘트라스트 및 p0 위치에서 음의 콘트라스트를 나타냄). 비교해 보면, B 유형 먼지 한 점은 시간 t0 및 시간 tx에서의 공간적 콘트라스트 이미지 양자 모두의 공통 위치에 존재할 것이지만, 시간적 콘트라스트 이미지에서는 부재할 것이다.
전술한 바와 같이, 공간적 및 시간적 콘트라스트 이미지는 혼합된 콘트라스트 결과를 도출하기 위해 결합될 수 있다. A 유형 및 B 유형 양자 모두의 먼지 및 아티팩트의 영향은 혼합된 콘트라스트 결과에서 또한 제거될 수 있다. 일 실시예에서, 개체(예를 들어, CFU 후보)가 혼합된 콘트라스트 결과에서 식별되면, 그것은 시간 t0에서의 공간적 콘트라스트 결과에서 개체의 이웃 N(x, y)로 검출된 먼지 및 아티팩트와 비교될 수 있다. 그 다음에, 유사한 개체가 시간 t0에 공간적 콘트라스트 결과에서 발견되면, 혼합된 콘트라스트 결과에서 식별된 개체는 A 유형 또는 B 유형의 거짓 양성으로 표시된다. 개체가 처음에 A 유형 또는 B 유형 거짓 양성으로 표시되어 있지 않더라도, 시간 경과에 따라 개체가 사이즈가 현저히 변하지 않은 것으로 밝혀지면, 개체가 B 유형 거짓 양성이라고 여전히 추후에 결정될 수 있다. 거짓 양성은 저장 될 수 있고, 예컨대 하기에서 추가로 설명되는 필터링 마스크(예를 들어, 바이너리 마스크)를 통해 후속하는 이미지에 추후에 적용될 수 있다.
(예를 들어, 인큐베이션 세션의 시작 시에 냉장실에서 인큐베이터로 수송하는 동안) 플레이트 상에 형성된 응축을 감산하기 위해 다른 필터링 프로세스가 사용될 수 있다. 일 예시적인 응축 필터에서, 응축이 없는 위치보다 응축 위치를 통과하는 광이 더 적도록 하부 조명을 사용하여 조명된다. 그 다음에 이미지의 광학 밀도를 평가될 수 있고, 낮은 광학 밀도의 구역은 이미지로부터 감산될 수 있다.
추가적으로 또는 대안적으로, t0 이미지 및/또는 후속하는 디지털 이미지의 임의의 분석으로부터 개체를 무시하도록 이미지 마스크가 구성될 수 있다. 도 7은 t0 이미지의 공간적 콘트라스트를 사용하여 이미지 마스크를 생성하는 예시적인 루틴(700)을 도시하는 흐름도이다. 루틴(700)의 예에서, 제공된 유일한 입력은 시간 t0에서 촬영된 SHQI 이미지(751)이다. 702에서, t0 이미지의 공간적 콘트라스트가 결정된다. 704에서, 공간적 콘트라스트 정보는 (예를 들어, 밝기의) 평균 및 표준 편차와 같은, t0 이미지의 관심 영역 내의 픽셀에 관한 통계 정보를 수집하는 데 사용된다. 706에서, 적절한 수의 픽셀이 해당 임계치를 초과하게 하도록 콘트라스트 임계치가 조정된다. 예를 들어, 주어진 비율을 초과하는 픽셀이 이미지의 배경으로 간주되지 않으면, 임계치가 증가될 수 있다. 708에서, 임계치는 임계치 아래의 이들 픽셀에 관한 통계 정보에 기초하여 추가로 조정된다. 마지막으로, 710에서, 바이너리 마스크가 발생된다. 바이너리 마스크는 유효한 픽셀이 아닌 다양한 아티팩트와 유효한 것으로 간주되는 다른 픽셀을 구별한다. 그 다음에 바이너리 마스크는 잠재적인 콜로니가 검출되는 후속하는 시간에 사용되어, 유효하지 않은 픽셀을 점유하는 개체가 후보 콜로니가 되는 것을 배제할 수 있다.
위의 필터링 프로세스는 먼지, 응축, 또는 다른 아티팩트가 개체로서 실수로 포함되는 것을 피하고, 그러한 특징화가 유효한 픽셀에 대해서만 수행되어야 하기 때문에 414에서 특성 특징화를 가속화함으로써 서브 루틴(400)을 개선시킬 수 있다.
개체 및 라벨 정의
도 4의 서브 루틴(400)에 추가될 수 있는 다른 프로세스는 412에서 식별된 개체에 라벨을 할당하는 것이다. 개체에는 동일한 라벨을 가진 픽셀이 특정 특성을 공유하도록 특정 라벨이 주어질 수 있다. 라벨은 서브 루틴(400)의 추후 프로세스 동안 개체를 다른 개체 및/또는 배경과 구별하는 것을 도울 수 있다. 도 8은 시간 tx에서 촬영된 이미지 (또는 "tx 이미지")의 픽셀을 라벨링하기 위한 예시적인 루틴(800)을 도시하는 흐름도이다. 도 8의 예에서, 바이너리 마스크(851)(예를 들어, 루틴(700)의 출력), tx 이미지에 대한 초기화되지 않은 후보 마스크(852), 및 시간적 콘트라스트 이미지(853)(예를 들어 서브 루틴(600)의 출력)가 입력으로서 수신된다. 802에서, 후보 마스크(852)가 초기화된다. 초기화는 이미징된 플레이트에 대한 관심 영역을 식별하는 것뿐만 아니라, 바이너리 마스크(851)를 사용하여 시간 tx에서 촬영된 이미지 내의 "유효한 픽셀"을 식별하는 것을 수반할 수 있다. 유효한 픽셀은 후보 콜로니로서 무시되지 않은 이미징된 것의 픽셀이고, 라벨링을 위해 고려될 것이다. 804에서, 시간적 콘트라스트 정보(853)는 (예를 들어, 밝기의) 평균 및 표준 편차와 같은, tx 이미지의 관심 영역 내의 유효한 픽셀에 관한 통계 정보를 수집하는 데 사용된다. 그 다음, 806에서, (바람직하게는 유사한 조명 및 배경 조건 하에서 발생되는) 시간적 콘트라스트 이미지(853) 및 바이너리 마스크(851) 각각의 통계 정보가 결합되어 임계 콘트라스트 이미지를 형성한다. 임계 콘트라스트 이미지에 의해 정의된 임계치를 사용하여, tx 이미지의 "연결 구성 요소"가 808에서 라벨링된다. 연결 구성 요소는 사실상 인접한 픽셀 사이의 연결(또는 그 사이의 그룹화)을 나타내는 라벨이며, 이는 결과적으로 픽셀이 동일한 개체의 일부임을 나타낸다.
연결 구성 요소가 tx 이미지에 대해 정의되면, 각각의 연결 구성 요소는 (810에서) 그거의 상태를 단일 개체로서 검증하기 위해 개별적으로 분석될 수 있다. 도 8의 예에서는, 라벨과 연관된 픽셀의 통계적 계산이 812에서 이루어진다. 계산은 히스토그램을 이용하여 픽셀의 밝기 또는 색상의 평균 및/또는 표준 편차를 결정할 수 있다. 814에서, 픽셀이 임계 구역에 닿는지 여부가 결정된다. 임계 구역에 닿지 않으면, 동작은 라벨이 업데이트되는 830으로 진행한다. 라벨을 업데이트하는 것은 분석된 구성 요소를 하나의 라벨로 유지하거나, 구성 요소를 두 개의 라벨로 나누는 것을 수반할 수 있다. 임계 구역에 닿지 않는 경우, 구성 요소는 단일 라벨로 유지된다. 임계 구역에 닿으면, 816에서, 히스토그램은 평활화되고, 818에서, 분포된 라벨링된 픽셀의 피크가 식별된다. 최소 구역보다 작은 피크는 무시될 수 있기 때문에, 피크는 최소 구역을 가짐으로써 더 정의될 수 있다. 820에서, 식별된 피크의 수가 카운트된다. 단 하나의 피크가 있으면, 동작은 830으로 진행하고, 라벨은 업데이트되고, 그에 의해 구성 요소는 하나의 개체로서 유지된다. 하나를 초과하는 피크가 있으면, 824에서, 임계 콘트라스트 이미지가 사용되어 피크 사이의 콘트라스트가 현저한지 여부를 추가로 산정한다. 그 다음에 동작은 830으로 진행하고, 라벨이 다수의 식별된 피크에 기초하여 업데이트되고, 그에 의해 현저한 콘트라스트는 구성 요소가 2개로 나누어지고, 그렇지 않으면 하나로 유지되는 것을 초래한다.
분할
서브 루틴(400)의 일부로서 포함될 수 있는 다른 프로세스는 시간 tx에서 합류하는 콜로니를 별도의 개체로 분리하기 위한 분할 프로세스이다. 시간 tx에서 콜로니가 서로 겹치거나 접촉할 때까지 성장했다면, 영역 내의 별도의 콜로니를 평가하기 위해 합류하는 영역에 걸쳐 경계선을 그을 필요가 있을 수 있다.
두 개의 접경 콜로니가 상이한 특징(예를 들어, 상이한 색상, 상이한 텍스쳐)을 갖는 일부 경우에, 분할은 단순히 합류하는 영역의 특징 분석을 수반할 수 있다. 그러나, 공간적 및 시간적 콘트라스트만으로는 콜로니 사이의 경계를 식별하기에 항상 충분하지는 않다. 도 9는 그러한 콜로니를 (예를 들어, 별도의 라벨을 갖는) 별도의 개체로 분리하거나, 또는 다른 용어로는 콜로니를 분할하기 위한 예시적인 루틴(900)을 도시하는 흐름도이다. 도 9의 예시적인 루틴(900)은 시간 tx에서 촬영된 제 1 디지털 이미지(951), 시간 tx에서 촬영된 제 2 디지털 이미지, 및 t0 이미지 바이너리 마스크(953)(예를 들어, 루틴(700)에 의해 발생된 마스크)를 입력으로 사용한다. 902에서, 시간적 콘트라스트 이미지는 t0 및 tx 이미지(951 및 952)에 기초하여 발생된다. 904에서, 시간적 콘트라스트 이미지는 바이너리 마스크(953)를 사용하여 분할된다. 906에서, 라벨이 이미지의 세그먼트에 적용된다. 908에서, 각각의 라벨의 피크 또는 최대치가 식별된다. 주어진 세그먼트의 최대치는 일반적으로 세그먼트의 중심점 또는 질량 중심이다. 910에서, 각각의 라벨에 대해, (예를 들어, 분석 중인 라벨의, 이웃 라벨의) 최대치는 주어진 라벨이 그 이웃에 대해 고유하거나, 하나 이상의 이웃 라벨과 결합되어야 하는지 여부에 대한 추가 결정을 하는 데 사용된다. 라벨이 그들의 고유 구성 요소에 대해 페어링되면(pared down), 각각의 라벨에 대한 특징의 특징화(예를 들어, 루틴(400)의 단계 414 및 416)가 912에서 수행될 수 있고, 후보 콜로니의 전체적인 리스트가 914에서 발생될 수 있다.
주어진 라벨의 로컬 최대치가 하나의 콜로니 또는 상이한 콜로니에 속하는지를 결정하기 위해 포함 인자와 같은 다양한 인자가 적용될 수 있다. 포함 인자는 이웃 픽셀이 인접한 개체와 연관되는지 여부를 나타내는 인자이다. 이러한 인자는 주어진 라벨에서 2개의 로컬 최대치를 2개의 별도의 개체로 가를지, 또는 그것들을 단일 개체로 병합할지 결정하기 위해 분할 전략에 사용될 수 있다.
도 10은 그러한 예시적인 분할 전략을 도시하는 흐름도이다. 루틴(1000)은 도 9의 단계(910)의 서브 루틴으로서 사용될 수 있다. 도 10에 도시된 바와 같이, 2 개의 로컬 최대치(1051 및 1052)가 식별된다. 1002에서, 주변 영역은 각각의 최대치에 대해 식별된다. 도 10의 예에서, 영역 "A"는 최대치(1051)를 둘러싸고, 영역 "B"는 최대치(1052)를 둘러싼다. 하기의 예시적인 방정식을 위해, 영역 A는 영역 B보다 사이즈가 크거나 동일한 것으로 가정된다. 일부 경우에, 각각의 영역은 영역의 수평 축을 따라 수평 거리(xA, xB) 및 영역의 수직 축을 따라 수직 거리(yA, yB)를 갖는 타원형 형상으로 주어질 수 있다. 도 11은 도 10의 루틴을 명확히 하기 위해 영역 A와 영역 B 및 그것들의 각각의 최대치의 예시적인 도시를 제공한다.
1004에서, 개체의 최대치로부터 에지까지의 거리가 각각의 로컬 최대치(1051 및 1052)에 대해 결정된다. 일부 예에서, 결정된 거리는 1002에서 할당된 영역의 평균 또는 중간 거리 중 하나이며, 이후에는 거리 맵이라고 지칭된다. 영역 A의 거리 맵은 이후에는 rA라고 지칭되고, 영역 B의 거리 맵은 rB라고 지칭된다.
1006에서, 포함 인자는 2개의 로컬 최대치 사이의 거리 "d" 및 1004에서 결정된 거리 에 기초하여 산출된다. 일 실시예에서, 포함 인자는 다음의 방정식을 사용하여 산출된다:
(4) 포함 인자 =
Figure 112017114042936-pct00004
1008에서, 포함 인자가 미리 결정된 범위(예를 들어, 0.5와 1 사이)보다 작거나, 크거나, 또는 내에 있는지 여부가 결정된다. 포함 인자가 미리 결정된 범위보다 작은 경우, 최대치는 동일한 개체와 연관되도록 결정된다. 미리 결정된 범위보다 크면, 최대치는 별도의 개체와 연관되도록 결정된다.
범위 내에 들어가는 포함 인자의 경우, 최대치가 동일한 개체 또는 상이한 개체에 속하는지 여부가 즉시 명확하지 않고, 더 많은 처리가 필요하다. 그 다음에 루틴(1000)은 1010에서 계속되고, 여기서 2개의 최대치의 각각의 주변 영역의 볼록도가 2개의 최대치 사이의 포지션에 있는 제 3의 영역 "C"의 좌표를 사용하여 산출된다. 일부 예에서, 영역은 영역 C의 중심점이 더 큰 영역 A보다 더 작은 영역 B에 더 가까운 두 영역의 가중 중심일 수 있다. 수평 및 수직 거리 xC 및 yC, 및 거리 맵 H가 또한 영역 C에 대해 산출될 수 있다. 예를 들어, 볼록도는 다음의 방정식에 따라 위의 값, 및 영역 C의 중심점과 최대치 A 사이의 거리인 d(A, C)를 사용하여 산출될 수 있다:
(5)
Figure 112017114042936-pct00005
(6)
Figure 112017114042936-pct00006
(7)
Figure 112017114042936-pct00007
(8)
Figure 112017114042936-pct00008
1012에서, 볼록도 값이 주어진 임계치보다 큰지(더 볼록한지) 여부가 결정된다. 예를 들어, ΔH는 임계 값 0과 비교될 수 있다. 볼록도 값이 임계 값보다 크면, 최대치는 별도의 개체와 연관되도록 결정된다. 그렇지 않으면, 1014에서, 영역 C의 사이즈가 증가되도록 영역 C의 하나 이상의 파라미터가 업데이트된다. 예를 들어, distOffset은 ΔH에 기초하여 업데이트될 수 있는데, 예를 들어 ΔH는 0과 1 사이의 값으로 제한되고(ΔH가 1보다 크면, 1로 반올림됨), 그 다음에 distOffset에 추가된다.
1016에서, 영역 C의 사이즈가 임계 값을 만족시키거나 초과하는지 여부가 결정된다. 이 임계 값이 만족되거나 초과되면, 최대치는 동일한 개체와 연관되도록 결정된다. 다시 말해, 영역 C가 영역 A 및 영역 B를 가리기 시작할 때까지 영역 A와 영역 B 사이의 차이로는 영역 C가 증가되는 것을 결정할 수 없다면, 이는 최대치(1051 및 1052)가 동일한 개체에 속해야 한다는 좋은 표시이다. 위의 예에서, 이는 distOffset이 최대치 사이의 거리 d를 만족시키거나 초과하는 것으로 나타내어질 수 있다. 그렇지 않으면, 동작은 1010으로 되돌아가고, 영역 A 및 영역 B의 볼록도는 영역 C의 업데이트된 파라미터(들)에 기초하여 재산출된다.
모든 최대치에 대한 연관성이 결정되면, 결정된 연관성은 예를 들어 행렬(연관 행렬이라고도 함)에 저장될 수 있다. 저장된 정보는 최대치의 전체 리스트를 후보 개체의 최종 리스트로 감소시키는 데 사용될 수 있다. 예를 들어, 연관 행렬의 경우, 마스터 리스트가 최대치의 전체 리스트로부터 생성될 수 있고, 그 다음에 각각의 최대치가 반복적으로 검토되고 연관된 최대치가 여전히 리스트에 남아 있으면 마스터 리스트에서 제거될 수 있다.
도 9 및 도 10의 예에서, 제 2 이미지가 촬영되는 시간 tx(따라서, 루틴(900)이 실행될 수 있는 가장 빠른 시간)는 인큐베이션 프로세스까지 단지 몇 시간일 수 있다. 이러한 시간은 일반적으로 완전히 형성된 콜로니를 식별하기에는 너무 이른 것으로 간주되지만, 분할 이미지를 생성하기에는 충분할 수 있다. 분할 이미지는 후속하는 시간에 촬영되는 향후 이미지에 선택적으로 적용될 수 있다. 예를 들어, 콜로니의 예상 성장을 예측하기 위해 콜로니 사이의 경계가 그려질 수 있다. 그 다음에, 콜로니 사이의 합류의 경우, 경계는 합류하는 콜로니를 분리하는 데 이용 될 수 있다.
시간 t 0 후에 2개 이상의 이미지 분석
전술한 프로세스 및 루틴은 시간 t0 이후에 촬영된 하나의 이미지(예를 들어, 시간 t0에서의 제 1 디지털 이미지 및 시간 tx에서의 제 2 디지털 이미지)만을 필요로 하지만, 다른 프로세스는 적어도 시간 t0 이후에 촬영된 제 2 이미지를 필요로 한다. 예를 들어, 시간 tx에서의 이미지가 합류하는 콜로니를 포함하는 것으로 발견되면, 시간 tn(여기서 0<n<x)에서 촬영된 다른 이미지가 개별 콜로니를 식별하고 가르는 데 사용될 수 있다.
예를 들어, 인큐베이션까지 t0=0시간(성장이 일어나지 않은 시간) 및 인큐베이션까지 tx=24시간(너무 많은 성장이 일어나서 콜로니가 이제 합류하는 시간)이면, 시간 tn=12시간(콜로니가 성장하기 시작했으나 아직 합류하지는 않았을 시간)에서의 이미지는 개별 콜로니의 존재를 보여줄 것이다. 그 다음에 콜로니 성장은 시간 tx에 합류하는 콜로니 사이의 경계를 추정하기 위해 시간 tn에서의 이미지에 기초하여 예상될 수 있다. 이와 관련하여, 시간 tn에서의 이미지는 빠르게 성장하는 콜로니와 느리게 성장하는 콜로니를 구별하는 데 도움이 될 수 있다. 시간 t0과 시간 tx 사이에 촬영되는 이미지의 수가 증가함에 따라, 보다 정확하게 콜로니의 성장 속도가 예상될 수 있다는 것을 당업자는 인식해야 한다.
전술한 개념의 한 응용에서, 시간 tn에서 촬영된 이미지(또는 보다 일반적으로 시간 t0과 시간 tx 사이에서 촬영된 이미지)는 시간 경과에 따라 성장할 콜로니인 것으로 의심되는 개체인 콜로니 시드를 식별하고, 시드를 대응하는 마스크 및 라벨과 연관시키는 데 사용될 수 있다. 각각의 시드는 고유 라벨을 수신할 것이고, 라벨은 상이한 특징(예를 들어, SHQI 이미지: 적색 채널, 녹색 채널, 청색 채널, 휘도, 색차, 색조, 또는 합성 이미지로부터 발생된 이미지에 기초한 포지션, 형태, 및 히스토그램), 및 특성(예를 들어, 격리/비격리 상태, 시간 순서 상의 증식을 예상하기 위한 다른 정보)과 함께 저장될 것이다. 일부 저장된 특징(예를 들어, 히스토그램)은 또한 플레이트 전역 지표를 추출하기 위해 특정 시드에 기인하는 대신 플레이트 레벨에서 계산될 수 있다. 그 다음에 시드가 저장된 특징은 시간 tx에서 콜로니 추출을 수행하는 데 사용될 수 있을 뿐만 아니라, 훈련 및/또는 테스트를 위해 분류기에 입력으로서 제공될 수 있다.
t0 이후에 촬영한 다수의 이미지를 사용한 성장 속도 추적은 또한 먼지, 아티팩트, 또는 작업 흐름 루틴의 중간에 플레이트 상에 또는 이미징 렌즈에 나타나는 다른 이물질을 검출하는 데 사용될 수 있다. 예를 들어, 먼지 한 점이 t0 후에 그러나 tn 전에 이미징 렌즈 상에 내려앉았다면, 작은 얼룩에 의해 생성된 점은 처음에는 시간 t0에서는 가시적이지 않았기 때문에 성장하는 콜로니로 해석될 수 있다. 그러나, 후속하는 이미징이 그 점에 대한 사이즈의 변화를 보여주지 않는다면, 그 점이 성장하지 않고 따라서 콜로니가 아닌 것으로 결정될 수 있다.
성장 속도 및 분할을 추적하는 것 외에도, 콜로니의 다른 양상이 t0과 tx 사이의 추가 이미지의 도움으로 추적될 수 있다. 시간 경과에 따라 천천히 콜로니에서 전개되는 미묘한 형태 변화의 경우에, 이러한 미묘한 변화가 더 많은 이미지를 캡쳐함으로써 더 빨리 식별될 수 있다. 일부 경우에, 성장은 일반적인 x 축 및 y 축에 더해 또는 그 대신에 z 축을 따라 측정될 수 있다. 예를 들어, 폐렴연쇄상구균(streptococcus pneumonia)은 혈액 한천에서 성장하는 경우에 침몰한 중심을 천천히 형성하는 것으로 알려져 있지만, 침몰한 중심은 일반적으로 분석의 둘째 날까지 보이지 않는다. 박테리아 성장의 시간 진행을 살펴봄으로써, 초기 침하 중심이 검출될 수 있고, 박테리아는 중심이 완전히 가라앉을 때까지 기다려야 하는 것보다 훨씬 일찍 식별된다.
다른 경우에, 콜로니는 시간 경과에 따라 색상을 변화시키는 것으로 알려져 있을 수 있다. 따라서, t0 이후의 시간에 제 1 색상(예를 들어, 적색)을 가지고 그 다음에 후속하는 시간에 제 2 색상(예를 들어, 녹색)을 가지는 콜로니의 이미징이 사용되어 콜로니에서 자라고 있는 박테리아의 아이덴티티를 결정할 수 있다. 색상 변화는 벡터 또는 색 공간(예를 들어, RGB, CMYK 등)을 통한 경로로서 측정될 수 있다. 콜로니의 다른 색도 특징에 대한 변화가 유사하게 측정될 수 있다.
개체 특징
도 4와 관련하여 전술한 바와 같이, 이미징된 플레이트 상의 개체의 특징은 이미지 플레이트에 대해 수행되는 이미지 분석의 일부로서 특징지어질 수 있다. 특징지어진 특징은 (단일 이미지에 관한) 정적 특징 및 (복수의 이미지에 관한) 동적 특징 양자 모두를 포함할 수 있다.
정적 특징은 주어진 시간에 개체 속성 및/또는 주변 배경을 반영하는 것을 목표로 한다. 정적 특징은 다음을 포함한다:
(i) 무게 중심: 이는 좌표 공간(예를 들어, x-y, 극좌표)에서 이미징된 개체의 무게 중심을 제공하는 정적 특징이다. 개체의 무게 중심은 개체의 극 좌표와 마찬가지로, 주어진 조명 및 배경 조건 하에서 특징 세트의 불변성을 제공한다. 무게 중심은 먼저 이미지 내의 모든 콜로니에 대한 가중된 질량 중심을 결정함으로써 얻어질 수 있다 (M은 모든 검출된 콜로니의 바이너리 마스크이다). 가중된 질량 중심은 이미지의 각각의 픽셀이 동일한 값이라는 가정에 기초하여 결정될 수 있다. 그러면 주어진 콜로니에 대한 무게 중심은 다음의 방정식에 의해 x-y 좌표에서 설명될 수 있다 (여기서
Figure 112017114042936-pct00009
, E는 현재 콜로니의 바이너리 마스크이고, x 좌표에 대한 범위는 [0, 이미지 너비]이고, y 좌표에 대한 범위는 [0, 이미지 높이]이고, 각각의 픽셀은 한 단위이다):
(9)
Figure 112017114042936-pct00010
(ii) 극좌표: 이는 또한 정적 특징이고, 무게 중심과 같은 이미징된 플레이트의 위치를 추가로 특징짓는 데 사용될 수 있다. 일반적으로, 극좌표는 반경 방향 축(d) 과 각도 축(θ)을 따라 측정되며, 플레이트 중심의 좌표는 [0,0]이다.
Figure 112017114042936-pct00011
의 좌표 d 및 θ는 다음의 방정식에 따라 (d는 밀리미터로, 그리고 θ는 도(degree)로) 주어진다 (여기서 k는 밀리미터에 대응하는 픽셀의 픽셀 밀도이고, "바코드"는 이전의 및/또는 향후의 이미지와 플레이트를 정렬하게 하기 위한 이미징된 플레이트의 표식 특징이다):
(10)
Figure 112017114042936-pct00012
(11)
Figure 112017114042936-pct00013
(iii) 이미지 벡터: 2차원의 극좌표는 차례로 1차원 이미지 벡터로 변환될 수 있다. 이미지 벡터는 반경 방향 축의 함수(일반적으로, 콜로니의 중심은 가장 강한 강도를 갖는다) 및/또는 각도 축의 함수로서 이미지의 픽셀의 강도를 특징지을 수 있다. 많은 경우에, 이미지 벡터는 이미징된 개체 사이의 유사성/구별점을 분류하는 데 있어 더 정확할 수 있다.
(iv) 형태 특징, 이는 주어진 개체의 형상 및 사이즈를 설명한다.
(a) 면적: 이는 형태 특징이고, 개체의 구멍을 세지 않고 ("얼룩(blob)"이라고도 지칭되는) 이미징된 개체 내의 픽셀 수에 기초하여 결정될 수 있다. 픽셀 밀도가 이용 가능한 경우, 면적은 물리적 사이즈(예를 들어, mm2)로 측정될 수 있다. 그렇지 않고, 픽셀 밀도가 이용 가능하지 않은 경우, 총 픽셀 수가 사이즈를 나타낼 수 있고, 픽셀 밀도(k)는 1로 설정된다. 일 실시예에서, 면적은 다음의 방정식을 사용하여 산출된다:
(12)
Figure 112017114042936-pct00014
(b) 둘레: 개체의 둘레는 또한 형태 특징이고, 개체의 에지를 측정하고 에지의 총 길이를 함께 가산하여 결정될 수 있다 (예를 들어, 1 평방 단위의 면적을 갖는 단일 픽셀은 4 단위의 둘레를 갖는다). 면적과 마찬가지로, 길이는 픽셀 단위(예를 들어, k가 이용 가능하지 않은 경우) 또는 물리적 길이(예를 들어, k가 이용 가능한 경우)의 면에서 측정될 수 있다. 일부 경우에서, 둘레는 또한 개체에 있는 임의의 구멍의 둘레를 포함할 수 있다. 또한, (대각선 에지가 사다리꼴 상자로 디지털화될 때 발생하는) 사다리 효과는 내부 에지를 2가 아니라
Figure 112017114042936-pct00015
로 카운팅함으로써 보상될 수 있다. 일 실시예에서, 둘레는 다음의 방정식을 사용하여 결정될 수 있다:
(13)
Figure 112017114042936-pct00016
(14)
Figure 112017114042936-pct00017
(15)
Figure 112017114042936-pct00018
인 경우
(p는 내부(interior)이고 q는 코너(corner)이다)
만약 그렇다면:
Figure 112017114042936-pct00019
그렇지 않다면:
Figure 112017114042936-pct00020
(c) 원형도(Circularity): 개체의 원형도는 또한 형태 특징이고, 면적과 둘레의 결합에 기초하여 결정될 수 있다. 일 실시예에서, 원형도는 다음의 방정식을 사용하여 산출된다:
(16)
Figure 112017114042936-pct00021
(d) 반경 변동 계수(Radius Coefficient of Variation, RCV): 이는 또한 형태 특징이고, 무게 중심에서부터 확장되는 모든 N 방향 또는 각도 θ에서의 개체의 평균 반경
Figure 112017114042936-pct00022
과 반경
Figure 112017114042936-pct00023
의 표준 편차 사이의 비율을 취하여 개체의 반경의 분산을 나타내기 위해 사용된다. 일 실시예에서, 이 값은 다음의 방정식을 사용하여 산출된다:
(17)
Figure 112017114042936-pct00024
(18)
Figure 112017114042936-pct00025
(19)
Figure 112017114042936-pct00026
(v) 맥락적 특징, 이는 정밀 조사 하에 있는 개체의 다른 검출된 개체 및 플레이트 벽 에지와의 이웃한 지형적 관계를 설명한다. 예를 들어, 이미징된 콜로니의 경우, 콜로니의 한 가지 맥락적 특징은 콜로니가 자유로운지, 여유 공간이 제한되어 있는지, 또는 자원에 대한 접근을 위해 다른 주변 콜로니와 경쟁하고 있는지 여부일 수 있다. 이러한 특징은 동일한 지각된 환경에서 성장하는 콜로니를 분류하고/하거나, 상이한 환경에서 성장하는 콜로니를 구별하는 것을 돕는 경향이 있다.
(a) 영향 영역: 이는 개체와 그것의 이웃 개체 사이의 공간을 고려하고, (동일한 영역을 먼저 점유하기 위해 다른 개체가 쓰지 않는) 분석 하에 있는 개체가 점유하기 위해 쓸 수 있는 영역을 예측하는 맥락적 특징이다. 영향 영역은 도 12에 도시된 다이어그램과 같은 보로노이 다이어그램의 형태로 표현될 수 있으며, 도 12는 콜로니(1201)와 그것의 이웃 콜로니, 예를 들어 1205 사이의 거리 d에 기초한 영향 영역(음영 처리됨)을 도시한다. 일 실시예에서, 개체의 에지로부터 영향 영역의 에지까지의 거리(DNC)는 다음의 방정식을 사용하여 특징지어질 수 있다:
(20)
Figure 112017114042936-pct00027
(b) 플레이트 벽까지의 거리: 이는 가장 가까운 플레이트 벽에서부터 개체의 에지까지의 거리(DPW)를 산출하는 맥락적 특징이다. 일 실시예에서, 이 거리는 다음의 방정식을 사용하여 특징지어질 수 있다:
(21)
Figure 112017114042936-pct00028
(c) 격리 인자: 이는 개체의 사이즈 및 (예를 들어, 다른 개체, 플레이트 벽의) 가장 가까운 에지까지의 거리에 기초하여 주어진 개체의 상대적 격리를 특징짓는 맥락적 특징이다. 도 13a-c는 격리 인자의 양상을 도시한다. 도 13a는 가장 가까운 에지가 콜로니에서부터 플레이트 벽까지의 거리 d인 경우를 도시한다. 도 13b 및 도 13c는 가장 가까운 에지가 다른 콜로니에 속하는 경우를 도시한다. 이러한 경우에, 분석 하에 있는 콜로니를 중심으로 주위에 원이 그려지고, 그 다음에 원이 이웃 콜로니와 접촉할 때까지 확대된다 (도 13b에서와 같이 처음에는 작고, 도 13c에서와 같이 그 다음에는 더 크다). 도 13a-c의 실시예에서, 격리 인자(IF)는 다음의 방정식을 사용하여 특징지어질 수 있다:
(22)
Figure 112017114042936-pct00029
(d) 이웃 점유 비율: 이는 주어진 개체에 대해 주어진 거리 d 내에서 플레이트의 한정된 보로노이 영향 영역의 면적 분율(V)을 특징짓는 맥락적 특징이다. 일 실시예에서, 이웃 점유 비율(OR)은 다음의 방정식을 사용하여 특징지어질 수 있다 (여기서 이 방정식의 경우에,
Figure 112017114042936-pct00030
이다):
(23)
Figure 112017114042936-pct00031
(e) 상대 이웃 점유 비율: 일부 경우에, 주어진 거리 d는 개체의 평균 반경에 미리 결정된 인자를 곱한 것을 사용하여 도출될 수 있다 (
Figure 112017114042936-pct00032
). 결과는 상대 이웃 점유 비율(RNOR)이고, 다음 방정식을 사용하여 주어진 인자 x에 대해 도출될 수 있다:
(24)
Figure 112017114042936-pct00033
(vi) 스펙트럼 특징, 이는 주어진 개체의 광 특징을 설명한다. 색상(적색, 녹색, 및 청색 광 채널; 색조, 휘도, 및 색차, 또는 임의의 다른 색 공간 변환), 텍스쳐, 및 (시간 경과에 따른 및/또는 공간에 걸친) 콘트라스트는 이러한 기능의 예이다. 스펙트럼 특징은 콜로니 마스크를 사용하여 인큐베이션 동안 다양한 시점에서 및/또는 다양한 조명 조건 하에서 캡쳐된 이미지로부터 도출될 수 있고, 주어진 콜로니에 대한 보로노이 영향 영역과 또한 연관될 수 있다.
(a) 채널 이미지: 이는 특정 색상 채널(예를 들어, 적색(R), 녹색(G), 청색(B))이 이미지를 스펙트럼적으로 분해하는 데 사용되는 스펙트럼 특징이다.
(b) 루마: 이는 또한 RGB 채널을 입력으로 사용하여 이미지의 밝기를 특징짓는 데 사용되는 스펙트럼 특징이다.
(c) 색조: 이는 이미지의 구역이 지각된 색상(예를 들어, 적색, 황색, 녹색, 청색) 또는 이들의 조합과 유사하게 나타나는 것으로 특징지어지는 스펙트럼 특징이다. 색조(H2)는 일반적으로 다음의 방정식을 사용하여 특징지어진다:
(25)
Figure 112017114042936-pct00034
(26)
Figure 112017114042936-pct00035
(27)
Figure 112017114042936-pct00036
(d) 색도: 이는 해당 영역이 유사하게 조명된 흰색인 경우에 밝기에 대한 이미지 구역의 다채로움(colorfulness)을 특징짓기 위한 스펙트럼 특징이다. 색도(C2)는 일반적으로 다음의 방정식을 사용하여 특징지어진다:
(28)
Figure 112017114042936-pct00037
(e) 방사형 분산: 색조 및 색도 콘트라스트의 방사형 분산을 분석하는 것은 알파, 베타, 및 감마 용혈의 구별을 가능하게 한다.
(f) 최대 콘트라스트: 이 특징은 이미지의 중심점(예를 들어, 이미징된 콜로니의 중심)에서부터 주어진 반경 r에서의 픽셀에 대한 측정된 평균 콘트라스트의 최대치를 계산함으로써 이미지의 해상도를 특징짓는다. 이 특징은 분석된 개체에 의해 유도된 성장에 기초하여 시간 t0 및 시간 tx에서 촬영된 이미지 사이의 지각 차이를 설명하는 데 사용될 수 있다. 최대 콘트라스트는 다음과 같이 특징지어질 수 있다:
(29) 최대 콘트라스트r = 최대치(평균 콘트라스트r)개체
(vii) 배경 특징, 이는 분석된 개체의 이웃에 있는 배지의 변경을 설명한다. 예를 들어, 이미징된 콜로니의 경우, 변화는 콜로니 주위의 세균 성장에 의해 야기될 수 있다 (예를 들어, 용혈의 징후, PH의 변화, 또는 특정 효소 반응).
동적 특징은 시간 경과에 따른 개체 속성 및/또는 주변 배경의 변화를 반영하는 것을 목표로 한다. 시계열 처리는 정적 기능을 시간 경과에 따라 관련시키는 것을 허용한다. 이러한 특징의 이산 1차 및 2차 도함수는 시간 경과에 따라 특징지어질 이러한 특징의 변화의 순간 "속도" 및 "가속도"(또는 안정 또는 감속도)를 제공한다. 동적 특징의 예는 다음을 포함한다:
(i) 시간 경과에 따른 위의 정적 특징을 추적하기 위한 시계열 처리. 주어진 인큐베이션 시간에 측정된 각각의 특징은 특징이 추후의 인큐베이션 시간에 측정된 것과 관련되는 것을 허용하도록 상대적 인큐베이션 시간에 따라 참조될 수 있다. 전술한 바와 같이, 시계열 이미지가 사용되어 시간 경과에 따라 나타나고 성장하는 CFU와 같은 개체를 검출할 수 있다. 이미징을 위한 시점은 개체의 이전에 캡쳐된 이미지의 진행 중인 분석에 기초하여 자동화된 프로세스에 의해 사전 설정되거나 정의될 수 있다. 각각의 시점에서, 이미지는 단일 획득 구성의 전체 시리즈 또는 다수의 획득 구성에서 캡쳐된 전체 이미지 시리즈 중 어느 일방에 대한 주어진 획득 구성일 수 있다.
(ii) 시간 경과에 따른 그러한 특징(예를 들어, 전술한 바와 같은 성장 속도 추적)에 대한 변화의 순간 속도 및 가속도(또는 안정 또는 감속도)를 제공하기 위한 위의 특징의 이산 1차 및 2차 도함수:
(a) 속력: 시간 경과에 따른 특징의 1차 도함수. 특징 x의 속력(V)은 (x 단위)/시간의 면에서 특징지어질 수 있으며, Δt는 다음의 방정식에 기초하여 시간으로 표현되는 시간 기간이다:
(30)
Figure 112017114042936-pct00038
(31)
Figure 112017114042936-pct00039
(32)
Figure 112017114042936-pct00040
(b) 가속도: 시간 경과에 따른 특징의 2차 도함수, 또한 속력의 1차 도함수. 가속도(A)는 다음의 방정식에 기초하여 특징지어질 수 있다:
(33)
Figure 112017114042936-pct00041
위의 이미지 특징은 개체 또는 개체의 맥락에서 측정되고, 다양한 배지 및 인큐베이션 조건에서 성장하는 유기체의 특이성을 캡쳐하는 것을 목표로 한다. 열거된 특징은 모든 것을 망라하는 의미는 아니고, 현장의 지식이 있는 사람은 이 분야에서 알려져 있는 다양한 알려진 이미지 처리 기반 특징에 따라 이 특징 세트를 수정, 확대, 또는 제한할 수 있다.
이미지 특징은 이미지 내의 각각의 픽셀, 픽셀의 그룹, 개체, 또는 개체의 그룹에 대해 수집될 수 있다. 수집된 특징의 분포는 이미지의 영역 또는 심지어 전체 이미지를 보다 일반적으로 특징짓기 위해 히스토그램으로 구성될 수 있다. 히스토그램은 그 자체로, 입력되는 이미지 특징 데이터를 분석하거나 그렇지 않으면 처리하기 위해 여러 통계적 특징에 의존할 수 있다.
통계적 히스토그램 특징은 다음을 포함할 수 있다:
(i) 최소치: 히스토그램 내에서 캡쳐된 분포의 가장 작은 값. 이는 다음의 관계로 특징지어질 수 있다:
(34) 최소치 =
Figure 112017114042936-pct00042
(ii) 최대치: 히스토그램 내에서 캡쳐된 분포의 가장 큰 값. 이는 다음의 관계에 따라 특징지어질 수 있다:
(35) 최대치 =
Figure 112017114042936-pct00043
(iii) 합계: 히스토그램 내에서 캡쳐된 모든 개별 값의 합계. 합계는 다음의 관계로 정의될 수 있다:
(36) 합계 =
Figure 112017114042936-pct00044
(iv) 평균: 산술 평균, 또는 평균. 이는 다음의 관계에 따라 모든 점수를 점수의 수(N)로 나눈 것의 합계이다:
(37) 평균 =
Figure 112017114042936-pct00045
(v) 제 1 사분수위(Ql): 분포의 25번째 백분위 수에서의 점수. 점수의 25%는 Q1보다 낮고 75%는 Q1보다 높다. 이는 다음의 관계로 설명된다:
(38)
Figure 112017114042936-pct00046
(vi) 중앙치(Q2): 분포의 50번째 백분위 수에서의 점수. 점수의 50%는 중앙치 아래이고 50%는 중앙치보다 높다. 중앙치는 평균보다 극단적인 점수에 덜 민감하고, 이는 일반적으로 매우 왜곡된 분포에 대한 평균보다 나은 측정법이다. 이는 다음의 관계로 설명된다:
(39) 중앙치 =
Figure 112017114042936-pct00047
(vii) 제 3 사분수위(Q3) : 분포의 75번째 백분위 수에서의 점수. 점수의 75%는 Q3 아래이고 25%는 Q3보다 높다. 이는 다음의 관계로 설명된다:
(40)
Figure 112017114042936-pct00048
(viii) 모드: 분포에서 가장 자주 발생하는 점수. 이는 중심 경향의 척도로 사용된다. 중심 경향의 척도로서의 모드의 이점은 그 의미가 명백하다는 것이다. 또한 명목 데이터와 함께 사용될 수 있는 중심 경향의 유일한 척도이다. 모드는 샘플 변동이 심하고, 따라서 일반적으로 중심 경향의 유일한 척도로 사용되지 않는다. 또한, 많은 분포는 하나를 초과하는 모드를 갖는다. 이러한 분포는 "다모드(multimodal)"라고 한다. 모드는 다음의 관계로 설명된다:
(41) 모드 =
Figure 112017114042936-pct00049
(ix) 3평균(trimean): 25번째 백분위 수에 50번째 백분위수(중앙치)x2를 더하고 75번째 백분위를 더해 가산하고, 4로 나눠 계산된 점수. 3평균은 거의 중앙치와 같이 극단적인 점수에 저항력이 있고, 왜곡된 분포에서의 산술 평균보다 샘플링 변동이 적다. 그러나, 일반적으로 정규 분포의 평균보다 덜 효율적이다. 3평균은 다음의 관계에 따라 설명된다:
(42) 3평균 =
Figure 112017114042936-pct00050
(x) 절사평균(trimmed mean): 가장 낮은 점수와 가장 높은 점수의 일정 비율을 버리고, 그 다음에 남은 점수의 평균을 계산하여 산출된 점수. 예를 들어, 50% 절사된 평균은 점수의 하위 및 상위 25%를 버리고 남은 점수의 평균을 취하여 계산된다. 다른 예로, 중앙치는 100% 절사된 평균이고 산출 평균은 0% 절사된 평균이다. 절사평균은 일반적으로 산술 평균보다 극단적인 점수의 영향을 덜 받는다. 따라서 왜곡된 분포에 대한 평균보다 샘플링 변동에 덜 민감하다. 이는 일반적으로 정규 분포의 평균보다 덜 효율적이다. 예로서, 50% 절사된 평균은 다음의 관계로 설명된다:
(43) 절사평균50 =
Figure 112017114042936-pct00051
(xi) 범위: 가장 큰 값과 가장 작은 값 사이의 차이. 범위는 유용한 확산의 척도일 수 있다. 그러나, 오직 2개의 값에만 기초하기 때문에 극단적인 점수에 민감하다. 이 민감도로 인해, 범위는 일반적으로 유일한 확산의 척도로 사용되지 않지만, 그럼에도 불구하고 표준편차 또는 준사분범위와 같은 다른 확산의 측정에 대한 보충물로 사용된다면 유익할 수 있다.
(xii) 준사분범위: 75번째 백분위 수(Q3)와 25번째 백분위 수(Ql) 사이의 차이의 절반으로 계산된 확산의 측정치. 분포에서 점수의 절반이 Q3와 Q1 사이에 있기 때문에, 준사분범위는 상기 점수의 절반을 커버하는 데 필요한 거리의 절반이다. 대칭 분포에서, 중앙치 아래의 하나의 준사분범위에서 중앙치보다 높은 하나의 준사분범위까지 이어지는 간격은 점수의 절반을 포함할 것이다. 그러나, 왜곡된 분포의 경우에는 그렇지 않다. 범위와는 달리, 준사분범위는 일반적으로 극단적인 점수에 의해 크게 영향을 받지 않는다. 그러나 표준 편차보다 정규 분포에서 샘플링 변동이 더 많으므로, 대략적인 정규 분포 데이터에 자주 사용되지 않는다. 준사분범위는 다음의 관계에 따라 정의된다:
(44) 준사분범위 =
Figure 112017114042936-pct00052
(xiii) 분산: 확산된 분포의 척도. 분산은 다음의 관계에 따라 평균으로부터의 각각의 수의 평균 제곱 편차를 취하여 산출된다:
(45) 분산 =
Figure 112017114042936-pct00053
(xiv) 표준 편차: 분포의 값이 평균으로부터 얼마나 넓게 분산되어 있는지를 측정하는 분산의 함수. 표준 편차는 분산의 제곱근이다. 일반적으로 범위보다 극단적인 점수에 덜 민감하지만, 표준 편차는 일반적으로 준사분범위보다 더 민감하다. 따라서, 극단적인 점수의 가능성이 존재하는 경우에는 준사분범위가 사용되어 표준 편차를 보충할 수 있다.
(xv) 왜도(skewness): 평균 주위의 분포의 비대칭성의 척도. 꼬리 중 하나가 다른 꼬리보다 길면 분포가 왜곡된다. 양의 왜도는 비대칭 꼬리가 양의 값(평균보다 큼) 쪽으로 더 확장되는 분포를 나타낸다. 음의 왜도는 비대칭 꼬리가 음의 값(평균 미만) 쪽으로 더 확장되는 분포를 나타낸다. 왜도는 다음 관계에 따라 산출될 수 있다:
(46) 왜도 =
Figure 112017114042936-pct00054
(xvi) 첨도(kurtosis): 정규 분포와 비교한 분포의 경사도 또는 평탄도(또는 상대 피크 폭)의 척도. 양의 첨도는 상대적으로 뾰족한 분포를 나타낸다. 음의 첨도는 상대적으로 평탄한 분포를 나타낸다. 첨도는 분포의 꼬리의 사이즈에 기초하고 다음 관계로 결정된다:
(47) 첨도 =
Figure 112017114042936-pct00055
위의 통계적 방법은 이미지의 각각의 지점에서 로컬 특징을 계산하고, 로컬 특징의 분포로부터 통계 세트를 도출함으로써 그레이 값의 공간적 분포를 분석하는 데 유용하다. 이러한 통계적 방법으로, 분석된 영역의 텍스쳐가 설명되고 정적으로 정의될 수 있다.
텍스쳐는 텍스쳐 서술자를 사용하여 특징지어질 수 있다. 텍스쳐 서술자는 이미지의 주어진 영역에 대해 계산될 수 있다 (하기에서 보다 상세히 논의됨). 하나의 공통으로 적용되는 텍스쳐 방법은 본원에 참조로서 포함된 <Haralick, R. 외, "Texture features for image classification," IEEE Transactions of System, Man and Cybernetics, Vol. 3, pp. 610-621 (1973)>에 의해 소개된 동시 발생 방법이다. 이 방법에서, 방향 θ에서 거리 d만큼 분리된 그레이 레벨 픽셀 쌍의 상대 빈도가 결합되어 상대 변위 벡터 (d, θ)를 형성한다. 상대 변위 벡터는 계산되어 그레이 레벨 동시 발생 행렬(grey level co-occurrence matrix, GLCM)이라고 지칭되는 행렬에 저장된다. 이 행렬은 2차 통계적 텍스쳐 특징을 추출하는 데 사용된다. Haralick은 2차원 확률 밀도 함수 p ij 를 설명하기 위해 14개의 상이한 특징을 제안하며, 그 특징 중 4개는 다른 특징보다 더 흔히 사용된다.
텍스쳐는 텍스쳐 서술자를 사용하여 특징지어질 수 있다. 텍스쳐 서술자는 이미지의 주어진 영역에 대해 계산될 수 있다 (하기에서 보다 상세히 논의됨). 하나의 공통으로 적용되는 텍스쳐 방법은 본원에 참조로서 포함된 <Haralick, R. 외, "Texture features for image classification," IEEE Transactions of System, Man and Cybernetics, Vol. 3, pp. 610-621 (1973)>에 의해 소개된 동시 발생 방법이다. 이 방법에서, 방향 θ에서 거리 d만큼 분리된 그레이 레벨 픽셀 쌍의 상대 빈도가 결합되어 상대 변위 벡터 (d, θ)를 형성한다. 상대 변위 벡터는 계산되어 그레이 레벨 동시 발생 행렬(GLCM)이라고 지칭되는 행렬에 저장된다. 이 행렬은 2차 통계적 텍스쳐 특징을 추출하는 데 사용된다. Haralick은 2차원 확률 밀도 함수 p ij 를 설명하기 위해 14개의 상이한 특징을 제안하며, 그 특징 중 4개는 다른 특징보다 더 흔히 사용된다:
(i) 각도 이차 모멘트(Angular Second Moment, ASM)는 다음에 의해 산출된다:
(48)
Figure 112017114042936-pct00056
(ii) 콘트라스트(Con)는 다음에 의해 산출된다:
(49)
Figure 112017114042936-pct00057
(iii) 상관 관계(Cor)는 다음에 의해 산출된다 (여기서 綵 및 ?y는 대응하는 분포의 표준 편차이다).
(50)
Figure 112017114042936-pct00058
(iv) 엔트로피(Ent)는 다음에 의해 산출된다:
(51)
Figure 112017114042936-pct00059
이러한 4개의 특징은 또한 본원에 참조로 포함된 <Strand, J. 외, "Local frequency features for the texture classification," Pattern Recognition,Vol. 27, No. 10, pp 1397-1406 (1994) [Strand94]>에 또한 열거되어 있다.
주어진 이미지에 대해, 위의 특징이 평가되는 이미지의 영역은 마스크(예를 들어, 콜로니 마스크)에 의해, 또는 마스크를 넘어 확장되는 보로노이 영향 영역에 의해 정의될 수 있다.
도 14는 몇 개의 가능한 영역을 도시한다. 영역(1410)은 콜로니 그 자체까지만 확장되는 콜로니 마스크이다. 영역(1420)은 (이미지 또는 플레이트의 에지에 의해 경계가 지어진) 콜로니의 보로노이 영향 영역이다. 추가의 설명을 위해, 픽셀(1430)은 영역(1420) 내에 있지만 영역(1410) 외부에 있는 픽셀이다. 다시 말해, 영역(1410)에 의해 표현되는 콜로니는 픽셀(1630)로 확장될 것으로 예상되지만 아직 그렇게 되지는 않았다. 픽셀(1440)은 두 영역(1410 및 1420) 외부의 픽셀이다. 다시 말해, 콜로니가 이미지의 시간에서 픽셀(1410)을 점유하지 않을 뿐만 아니라, 향후 어느 때에도 콜로니에 의해 점유될 것으로 예측되지 않는다 (이 경우, 이미 상이한 콜로니에 의해 점유되어 있다).
인큐베이션 프로세스를 따라 상이한 시점에서 콜로니 마스크 및 위에서 설명된 바와 같은 연관된 보로노이 영향 영역을 사용하여, 콜로니의 상이한 양상 및 로컬 주변 성장 배지에 대한 그것들의 영향을 묘사하는 다수의 히스토그램을 발생시킬 수 있다. 콜로니 마스크 및 보로노이 영향 영역 그 자체는 시간 경과에 따라, 예를 들어 콜로니가 성장함에 따라 조정될 수 있다. 도 15a-c는 콜로니의 성장이 시간 경과에 따라 콜로니의 마스크를 조정하는 데 어떻게 사용될 수 있는지를 도시한다. 도 15a는 한천에서 24시간 성장한 후의 혈액 배양물의 일부이다. 도 15b는 t0에서 이전에 캡쳐된 이미지와 비교한 동일한 배양물의 콘트라스트 이미지이다. 도 15c는 9시간(가장 밝음), 12시간(중간),및 24 시간(가장 어두움)에서의 성장을 도시하는 그레이 스케일 이미지이다. 도 15c에서의 각각의 음영은 콜로니에 대한 상이한 마스크를 디자인하는 데 사용될 수 있다. 대안적으로 또는 추가적으로, 성장이 발생함에 따라, 마스크는 그들 각각의 보로노이 영향 영역에 따라 분리될 수 있다.
위의 특징의 리스트에서의 특징 중 임의의 하나 또는 조합은 다양한 인큐베이션 조건 하에 이미징된 플레이트의 다양한 배지 상에서 성장하는 유기체의 특이성을 캡쳐하기 위한 특징 세트로서 사용될 수 있다. 이 리스트는 모든 것을 망라하는 의미는 아니고, 현장의 지식이 있는 사람은 이미징하려고 의도한 개체 및 이 분야에서 알려져 있는 다양한 이미지 처리 기반 특징에 따라 이 특징 세트를 수정, 확대, 또는 제한할 수 있다. 따라서, 위의 예시적인 특징은 제한이 아니라 예시로 제공된다.
당업자는 개체 형상 및 특징을 결정하기 위한 다른 측정법 및 접근법을 알고 있고, 위의 예는 제한이 아니라 예시로 제공된다.
콘트라스트 구축
이미지 시리즈의 어떤 이미지가 성장 검출, 카운팅, 또는 식별을 위한 값을 가져올 것인지 초기에 예측하기는 보통 어렵다. 이는 부분적으로 이미지 콘트라스트가 상이한 콜로니 형성 단위(CFU)에 대해 그리고 상이한 배지에 걸쳐 다르기 때문이다. 여러 콜로니의 주어진 이미지에서, 하나의 콜로니는 배경과 매우 바람직한 콘트라스트를 가질 수 있는 반면, 다른 콜로니는 성장 검출을 위한 배경과의 적절한 콘트라스트를 갖지 않을 수 있다. 이는 또한 배지 상에서 콜로니를 식별하기 위해 단일 접근법을 사용하는 것을 어렵게 만든다.
따라서 다양한 이미징 조건(예를 들어, 적색, 녹색, 및 청색 채널, 밝은 배경 및 어두운 배경, 스펙트럼 이미지, 또는 임의의 다른 색 공간 변환)을 사용하는 것뿐만 아니라, 공간(공간적 차이) 및 시간(공통 이미징 조건 하에서 시간적 차이)을 통해 모든 이용 가능한 재료로부터 콘트라스트를 구축하는 것이 바람직하다. 다수의 이용 가능한 소스로부터 콘트라스트를 수집하여 콜로니를 검출하기 위한 알고리즘에 대한 입력으로서 표준화된 이미지를 제공하는 것이 또한 바람직하다.
이미지 데이터는 임의의 수의 인자에 기초하여 범위가 정해질 수 있다. 예를 들어, 이미지 데이터는 특정 시점 및/또는 탐색된 특정 정보(예를 들어, 공간적 이미지 정보는 시간적 이미지 정보가 필요로 하는 것만큼 많은 시점을 필요로 하지 않을 수 있음)로 제한될 수 있다. 조명 구성 및 색 공간은 또한 특정 콘트라스트 목적을 달성하도록 선택될 수 있다. 공간 주파수는 또한 원하는 사이즈(또는 목표 범위 내의 사이즈)를 갖는 개체(예를 들어, 콜로니)를 검출하기 위해 달라질 수 있다.
별개의 개체를 검출하기 위해, 콘트라스트는 [0,1] 또는 부호를 지닌 [-1, -1]에 대해 절대 값으로 설정될 수 있다. 콘트라스트 출력의 스케일 및 오프셋이 또한 특정될 수 있다 (예를 들어, 부호를 지닌 콘트라스트 오프셋을 갖는 8 비트 이미지에 대해, 스케일은 127.5일 수 있음). 콘트라스트가 극단으로 설정되는 예에서, 절대 오프셋은 0으로 설정되고 스케일은 256으로 설정될 수 있다.
공간적 콘트라스트는 균질한 배경에서 별개의 개체를 검출하는 데 사용될 수 있다. 수식이 이용되어 거리 r 내의 위치(x, y)에서 이미지 I에 대한 공간적 콘트라스트
Figure 112017114042936-pct00060
의 자동화된 평가를 제공할 수 있다. 거리 r이
Figure 112017114042936-pct00061
보다 크거나 같은 거리로 제한되고, 콘트라스트 연산자 K가 콘트라스트 설정을 제어하는 데 사용되는 일 실시예에서, 다음의 방정식이 적용된다:
(52)
Figure 112017114042936-pct00062
(53)
Figure 112017114042936-pct00063
시간적 콘트라스트는 개체가 움직이거나 개체가 시간 경과에 따라 변화하는 것을 검출하는 데 사용될 수 있다 (예컨대 이미징된 플레이트에 나타나거나 확장하는 CFU). 수식이 이용되어 시간 t0과 시간 tx 사이의 위치 (x, y)에서 이미지 I에 대한 시간적 콘트라스트
Figure 112017114042936-pct00064
의 자동화된 평가를 제공할 수 있다. 일 실시예에서, 다음의 방정식이 적용된다:
(54)
Figure 112017114042936-pct00065
공간적 콘트라스트 수집은 사전 프로그래밍된 시퀀스에 따라 플레이트의 복수의 SHQI 이미지를 발생시킴으로써 자동화된 방식으로 구현될 수 있다. 추가적인 콜로니 검출 조사를 위해 다수의 이미지가 주어진 인큐베이션 시간에 발생될 것이다. 일 실시예에서, 이미지 데이터(특히, 콘트라스트 수집 연산자에 콘트라스트 입력을 제공하는 데 사용되는 벡터 "veci")는 다음에 따라 주어진 시간에 검출된 콜로니로부터의 여러 상이한 반경(Rmin 내지 Rmax)에서 여러 구성(CFG1 내지 CFGN)에 걸쳐 수집된다:
(55)
Figure 112017114042936-pct00066
주어진 이미지 I(x, y)에 대해 SNR이 알려져 있다면 (예를 들어, SHQI 이미징이 소스인 경우), SNR이 가중된 콘트라스트가 최대화된 구성은
(56)
Figure 112017114042936-pct00067
이
(57)
Figure 112017114042936-pct00068
보다 최대인 경우 최상의 구성(최상의 CFG)으로 식별될 수 있다.
콘트라스트 연산자 K는 이러한 알려진 SNR 정보로부터 더 이익을 얻고 위의 방정식은 다음과 같이 된다:
(58)
Figure 112017114042936-pct00069
공간적 콘트라스트 수집은 사전 프로그래밍된 시퀀스에 따라 플레이트의 복수의 SHQI 이미지를 발생시킴으로써 자동화된 방식으로 또한 구현될 수 있다. 추가적인 콜로니 검출 조사를 위해 다수의 이미지가 다수의 인큐베이션 시간 - 그 중 적어도 하나는 t0임 - 에 걸쳐 발생될 것이다. 일 실시예에서, 이미지 데이터는 다음에 따라 시간 t0 및 시간 tx까지 하나 이상의 후속하는 인큐베이션 시간에서 여러 구성에 걸쳐 수집된다 [제가 혼란스럽다고 생각한 벡터 및 구성 양자 모두에 대해 이전에 사용된 방정식 "N"은 수용할 수 있는 하기의 수정된 방정식입니다, 아니면 TN을 다시 방정식에 넣을 필요가 있을까요?]:
(59)
Figure 112017114042936-pct00070
위의 예에서, 벡터는 두 시간에서의 이미지의 차이에 기초한 두 시점(예를 들어, t0 및 tx) 사이의 벡터일 수 있다. 그러나, t0과 tx 사이의 추가 시간이 포함된 다른 응용에서, 벡터는 이미지가 촬영되는 시간만큼 많은 지점에 대해 맵핑될 수 있다. 수학적으로 말하면, 벡터에 포함될 수 있는 지점 수에 제한은 없다.
공간적 콘트라스트에서와 같이, 주어진 이미지 I( x,y )에 대한 SNR이 알려져 있다면, SNR이 가중된 콘트라스트가 최대화된 구성은
(60)
Figure 112017114042936-pct00071
이
(61)
Figure 112017114042936-pct00072
보다 최대인 경우 최상의 구성(최상의 CFG)으로 식별될 수 있다.
콘트라스트 연산자 K는 이러한 알려진 SNR 정보로부터 더 이익을 얻고 위의 방정식은 다음과 같이 된다:
(62)
Figure 112017114042936-pct00073
위의 예에서, Max 연산자는 백분위 수(예를 들어, Q1, 중앙치, Q3, 또는 임의의 다른 백분위 수) 또는 가중된 합계와 같은 임의의 다른 통계적 연산자로 대체될 수 있다. 가중된 값은 훈련 데이터베이스에서 추출된 사전 작업에서 비롯될 수 있고, 그렇게 함으로써 신경망에 대한 감독된 콘트라스트 추출의 필드를 개방한다. 또한, 다수의 알고리즘이 사용될 수 있으며, 다수의 알고리즘의 결과는 Max 연산자와 같은 다른 연산자를 사용하여 더 결합된다.
이미지 정렬
다수의 이미지가 시간 경과에 따라 촬영되는 경우, 그로부터 유효한 시간적 추정치를 얻기 위해 이미지의 매우 정확한 정렬이 필요하다. 이러한 정렬은 기계적 정렬 디바이스 및/또는 알고리즘(예를 들어, 이미지 추적, 이미지 매칭)을 통해 달성될 수 있다. 현장 지식이 있는 사람은 이러한 목표를 달성하기 위한 이러한 해결책 및 기술을 알고 있다.
예를 들어, 플레이트 상의 개체의 다수의 이미지가 수집되는 경우, 개체의 위치의 좌표가 결정될 수 있다. 그 다음에 후속하는 시간에 수집된 개체의 이미지 데이터가 좌표에 기초하여 이전 이미지 데이터와 연관될 수 있고, 그 다음에 시간 경과에 따른 개체의 변화를 결정하는 데 사용될 수 있다.
미지의 신속하고 가치 있는 사용을 위해 (예를 들어, 분류기에 대한 입력으로서 사용되는 경우), 불변성을 최대화하기 위해 이미지를 공간적 기준으로 저장하는 것이 중요하다. 콜로니에 대한 기본 형상 서술자가 일반적으로 원형이므로, 콜로니 이미지를 저장하는 데 극좌표 시스템이 사용될 수 있다. 콜로니 질량 중심은 콜로니가 처음 검출된 때에 콜로니의 위치의 중심으로 식별될 수 있다. 해당 중심점은 후에 콜로니의 각각의 후속하는 이미지의 극 변환을 위한 원래의 중심의 역할을 할 수 있다. 도 16a는 중심점 "O"를 갖는 이미징된 플레이트의 줌된 부분을 도시한다. 지점 "O"에서부터 연장되는 두 개의 광선 "A" 및 "B"가 (명확성을 위해) 이미지에 겹쳐서 보여진다. 각각의 광선은 (원이 그려져 있는) 각각의 콜로니와 교차한다. 도 16a의 원이 그려져 있는 콜로니는 도 16b의 이미지(1611 및 1612)에서 훨씬 더 상세히 도시된다. 도 16b에서, 이미지(1611)(콜로니 교차 광선 "A")는 이미지(1613, "A'")로 재배향되어, 이미지(1613)의 방사 축이 이미지(1612)의 방사 축과 정렬되며, 재배향된 이미지의 가장 왼쪽 부분이 도 16a의 지점 "O"에 가장 가깝고, 재배향된 이미지의 가장 오른쪽 부분이 지점 "O"에서 가장 멀리 떨어지도록 된다. 이 극 재배열은 이미징된 플레이트의 콜로니에 대해 (조명과 같은 그러한 인자에 대해서) 상이하게 배향된 콜로니의 보다 쉬운 분석을 허용한다.
도 16c에서, 도 16b의 이미지(1611, 1612, 및 1613) 각각에 대해 극 변환이 완료된다. 극 변환 이미지(1621, 1622, 및 1623)에서, (각각의 이미징된 콜로니의 중심으로부터 연장되는) 각각의 재배향된 이미지(1611, 1612, 및 1613)의 반경 방향 축은 도 16c의 이미지에서 왼쪽에서 오른쪽으로 그려지고, (각각의 콜로니의) 각도 축은 상부에서 하부로 그려진다.
각각의 극 이미지에 대해, 예를 들어 반경 방향 및/또는 각도 축에 따른 형상 특징 및/또는 히스토그램 특징(예를 들어, 개체의 색상 및/또는 강도의 평균 및/또는 표준 편차)을 사용하여 요약 1차원 벡터 세트가 발생될 수 있다. 회전을 고려할 때 형상 및 히스토그램 특징이 대부분 불변일지라도, 일부 텍스쳐 특징은 회전되는 경우에 현저한 변동을 보일 것이다; 따라서 불변성은 보장되지 않는다. 따라서, 동일한 관점 또는 각도 조명 측면에서 콜로니 이미지의 각각을 보여 주는 것은 현저한 혜택이 있는데, 그러면 개체의 텍스쳐 차이가 서로를 구별하는 데 사용될 수 있기 때문이다. 조명 조건은 대부분 플레이트 이미징 센터 주변의 각도 포지션에 연결된 변동을 보이므로, 콜로니 및 플레이트 중심을 통과하는 광선(도 16b의 이미지(1611, 1612, 및 1613) 각각에서 라인으로 도시됨)은 각각의 이미지 극 변환에 대한 원점(θ)의 역할을 할 수 있다.
추가적인 정렬 난제는 플레이트 배지가 절대적으로 굳어있고 단단하지 않으므로, 한 촬영에서 다음 촬영에 약간 이동할 수 있다는 사실에서 생긴다. 따라서, 한 시간에 촬영된 이미지의 특정 좌표에서의 플레이트의 영역이 추후의 시간에 촬영된 동일한 좌표에서의 플레이트의 영역과 반드시 완전히 정렬될 것이라고 절대적으로 가정할 수는 없다. 달리 말하면, 배지의 약간의 변형은 주어진 픽셀의 인큐베이션 프로세스 동안 상이한 시점에서 캡쳐된 대응하는 픽셀과의 정확한 매칭에 관한 약간의 불확실성을 초래할 수 있다.
이러한 불확실성을 고려하기 위해, 시간 ta에서의 주어진 픽셀 강도 값
Figure 112017114042936-pct00074
은 상이한 시점 tb에서의 이 픽셀의 로컬 이웃 N(x, y)에서의 가장 가까운 강도 값
Figure 112017114042936-pct00075
과 비교될 수 있다. 로컬 이웃의 선택은 한 시간에서 다음 시간에 이미징된 플레이트의 재-포지셔닝 시에 하나 이상의 오차 또는 부정확성을 결정하는 것을 수반할 수 있다 (예를 들어, 이미징된 배지를 불완전한 재-포지셔닝에 의한 포지션 정확도 오차, 한 시간에서 다음 시간에 이미징된 배지의 알려지지 않은 높이에서 기인한 시차 오차). 일 예에서, "x"및 "y"를 약 3 내지 약 7 픽셀의 범위 내로 설정하는 것이 픽셀 당 약 50미크론의 해상도를 갖는 이미지에 적합하다는 것이 관찰되었다.
이 분야에 지식이 있는 사람은 tb 소스 이미지로부터 2개의 tb 이미지를 발생시키는 것을 효율적인 해결책으로 인식할 것이다: 첫 번째 것은 tb의 그레이 레벨 확장(
Figure 112017114042936-pct00076
라고 지칭됨)에 대응하고, 두 번째 것은 tb의 그레이 레벨 침식(
Figure 112017114042936-pct00077
라고 지칭됨)에 대응하며, 양자 모두는 재-포지셔닝 거리 불확실성 d에 매칭하는 커널 사이즈를 갖는다.
Figure 112017114042936-pct00078
이면 콘트라스트는 0이고, 그렇지 않으면 콘트라스트는 다음을 사용하여
Figure 112017114042936-pct00079
및
Figure 112017114042936-pct00080
중에서 가장 가까운 값에서
Figure 112017114042936-pct00081
까지 추정된다:
(63)
Figure 112017114042936-pct00082
(64)
Figure 112017114042936-pct00083
(65)
Figure 112017114042936-pct00084
SNR의 개선
통상적인 조명 조건 하에서, 광자 산탄 잡음(센서에 입사하는 광자의 도달 속도의 통계적 변동)은 검출 시스템의 SNR을 제한한다. 현대의 센서는 활성 스퀘어 미크론 당 약 1,700개에서 약 1,900개 전자의 전체 용량을 가지고 있다. 따라서, 플레이트 상의 개체를 이미징하는 경우, 가장 중요한 관심사는 개체를 이미징하는 데 사용된 픽셀 수가 아니라 센서 공간에서 개체에 의해 커버되는 구역이다. 센서의 구역을 증가시키는 것은 이미징된 개체에 대한 SNR을 개선시킨다.
이미지 품질은 센서를 포화(프레임 당 픽셀 당 기록될 수 있는 최대 광자 수)시키지 않으면서 광자 잡음이 SNR을 좌우하는 조명 조건(광자 잡음 =
Figure 112017114042936-pct00085
)으로 이미지를 캡쳐함으로써 개선될 수 있다. SNR을 최대화하기 위해, 이미지 평균화 기술이 통상적으로 사용된다. 이러한 기술은 다음의 수식으로 보여지는 바와 같이 어두운 영역의 SNR이 밝은 영역의 SNR보다 훨씬 낮기 때문에 현저한 밝기(또는 색상) 차이가 있는 이미지를 처리하는 데 사용된다:
(66)
Figure 112017114042936-pct00086
여기서 I는 센서에서 전자 스트림에 의해 생성된 평균 전류이다. 색상은 전자기 스펙트럼에 걸쳐 물질 및 광의 흡수/반사의 차이로 인해 지각되므로, 캡쳐된 색상에 대한 신뢰도는 높은 SNR로 강도를 기록하는 시스템의 능력에 의존할 것이다. 이미지 센서(예를 들어, CCD 센서, CMOS 센서 등)은 당해 기술 분야의 당업자에게 잘 알려져 있고, 본원에서는 상세히 설명되지 않는다.
고전적인 SNR 이미징 한계를 극복하기 위해, 이미징 시스템은 이미지 획득 동안 이미징된 플레이트의 분석을 행하고, 분석에 기초하여 실시간으로 조명 조건 및 노출 시간을 조정할 수 있다. 이러한 프로세스는 참조로 포함된 PCT 공보 제WO2015/114121호에 기술되어 있고, 일반적으로 감독된 고품질 이미징(Supervised High Quality Imaging, SHQI)이라고 지칭된다. 시스템은 또한 상이한 색상 채널 내에서 플레이트의 다양한 밝기 영역에 대한 이미징 조건을 맞출 수 있다.
이미지의 주어진 픽셀 x, y에 대해, 현재 프레임 N 동안 획득된 픽셀의 SNR 정보는 이전에 또는 후속하여 획득된 프레임(예를 들어, N-1, N+1) 동안 획득된 동일한 픽셀의 SNR 정보와 결합될 수 있다. 예를 들어, 결합된 SNR은 다음 공식에 의해 결정된다:
(67)
Figure 112017114042936-pct00087
새로운 획득으로 이미지 데이터를 업데이트 한 후에, 획득 시스템은 환경 제약(예를 들어, 관심 영역 내의 픽셀 당 최소 요구 SNR)에 따라 SNR을 최대화할 최상의 다음 획득 시간을 예측할 수 있다. 예를 들어, 비포화 조건에서 캡쳐된 5개의 이미지를 평균 내는 것은 어두운 영역의 SNR(최대 강도의 10%)을
Figure 112017114042936-pct00088
만큼 높일 것이며, 밝은 조건 및 어두운 조건에서 캡쳐된 두 이미지의 정보를 병합하는 경우, 최적의 조명은 오직 2번의 획득만으로 어두운 영역의 SNR을
Figure 112017114042936-pct00089
만큼 높일 것이다.
이미지 모델링
일부 상황에서, 하나 이상의 이미지의 픽셀 사이에서 공간적 또는 시간적 콘트라스트를 산출하는 경우, 주어진 이미지에 대한 픽셀 정보는 이용 가능하지 않을 수 있거나 품질이 저하될 수 있다. 예를 들어, 플레이트의 이미지가 박테리아 성장 이전의 시간 내에 캡쳐되지 않았다면 (예를 들어, 플레이트가 시간 t0에서 또는 바로 그 후에 이미징되지 않았다면) 비가용성이 발생할 수 있다. 신호 정보의 품질 저하는 예를 들어 이미지가 시간 t0에서 캡쳐되지만, 캡쳐된 이미지의 픽셀이 박테리아 성장 전에 이미징된 플레이트를 정확하게 반영하지 경우에 발생할 수 있다. 이러한 부정확성은 플레이트의 후속하는 시계열 이미지에서 다시 나타나지 않는 일시적인 아티팩트(예를 들어, 플레이트가 인큐베이터에 처음 투입될 때 열 충격으로 인해 플레이트 아래에 일시적으로 형성되는 응축)에 의해 야기될 수 있다.
이러한 상황에서는, 이용 가능하지 않거나 품질이 저하된 이미지(또는 이미지의 특정 픽셀)가 플레이트의 모델 이미지로 대체되거나 향상될 수 있다. 모델 이미지는 이용 가능하지 않거나 품질이 저하된 이미지의 특정 시간에 플레이트가 어떻게 보일 것으로 예상되는지를 반영하는 픽셀 정보를 제공할 수 있다. 시간 t0에서의 모델 이미지의 경우에, 모델은 플레이트의 평범하거나 표준 이미지일 수 있고, 3차원 이미징/모델링 기술을 사용하여 수학적으로 구성될 수 있다. 모델은 가능한 한 실제 모델을 생성하기 위해 물리적 디자인 파라미터(예를 들어, 직경, 높이, 다수의 배지를 하우징하기 위한 분배기, 플라스틱 재료 등), 배지 파라미터(예를 들어, 배지의 유형, 배지 구성 요소, 배지 높이 또는 두께 등), 조명 파라미터(예를 들어, 광원의 각도, 광원의 색 또는 파장(들), 배경의 색상 등), 및 포지셔닝 파라미터(이미징 챔버 내에서의 플레이트의 포지션) 각각을 포함할 수 있다.
품질이 저하된 이미지의 경우에, 품질이 저하된 이미지의 향상은 (예를 들어, 일부 광이 플레이트를 통과하는 것을 차단하고 따라서 플레이트의 섹션이 약간 덜 투명한 응축을 갖게 하는 아래의 응축으로 인해) 픽셀 정보가 나머지 이미지만큼 선명하지 않은 경우 이미지의 품질이 저하된 픽셀 특성을 선명하게 하기 위해 신호 복원을 사용하여 달성될 수 있다. 신호 복원은 나머지 이미지에 대한 강도 정보를 결정하고, 강도 정보의 중앙 강도를 식별하고, 그 다음에 이미지의 덜 선명한 영역에 대한 강도 정보를 나머지 이미지의 중앙 강도로 대체하는 것을 수반할 수 있다.
적용
본 개시는 통상적인 소변 보고량(CFU/ml 버킷 군)을 모의 실험하기 위해 다양한 희석도의 염수에서 수행된 테스트에 주로 기초한다. 각각의 분리물에 대한 현탁액은 0.5 McFarland 표준으로 조정했고, BD 소변 진공체혈관(카탈로그 번호 364951)에서 예상된 1 X 106, 1 X 105, 5 X 104, 1 X 104, 1 X 103, 및 1 X 102 CFU/ml의 현탁액으로 희석액을 제조하는 데 사용했다. 표본관은 표준 소변 줄무늬 패턴 - #4 Zigzag(플레이트 당 0.01ml 디스펜스) - 을 갖는 Kiestra InoqulA(WCA1)를 사용하여 처리했다.
플레이트는 ReadA Compact(35oC, 비 C02)를 사용하여 처리되었고, 처음 24시간 동안 매 2 시간마다, 그리고 두 번째 24시간 동안 매 6시간마다 이미징했으며, 총 48시간 인큐베이팅했다. 인큐베이션 시간은 1시간 째에 판독하여 처음으로 입력했으며, 허용 마진은 +/- 15분으로 설정했다. 2-24시간에서 다음 판독을 위해 매 2시간마다로 설정했으며, 허용 마진은 +/- 30분으로 했다. 24-28시간에서 판독을 위해 매 6시간마다로 설정했으며, 허용 마진은 +/- 30분으로 했다. 순수한 타당성 조사가 끝난 후에, 허용 마진을 없애기 위해 이를 변경했다. 이는 원하는 18 내지 24 시간 범위에서 이미지 수집을 개선시키기 위해 행해졌다.
다른 경우에, 처음 24시간 동안 2시간 간격으로, 그리고 다음 24시간 동안 6시간의 간격으로 48 시간의 기간에 걸쳐 이미지가 획득될 수 있다. 이 경우, 시간 t0(0 시간)에서 얻은 이미지를 포함하여 총 17개의 이미지가 48시간 기간에서 얻어질 것이다.
모든 획득된 이미지는 알려진 개체 픽셀 크기, 정규화된 조명 조건, 및 픽셀 당 대역 당 높은 신호대 잡음비와 함께 렌즈 기하학 및 색 수차, 스펙트럼 밸런스에 대해 정정되었다. 본원에서 설명된 방법 및 시스템에 사용하기에 적합한 카메라는 당업자에게 잘 알려져 있으므로 본원에서 상세히 설명되지 않는다. 예를 들어, 900mm 플레이트 이미지를 캡쳐하기 위해 4 메가 픽셀 카메라를 사용하면 적절한 콘트라스트로 콜로니가 직경 100㎛의 범위 내에 있는 경우 최대 30 콜로니/mm2 로컬 밀도(>105 CFU/플레이트)까지 집계를 허용할 것이다.
다음의 배지를 사용하여 그 위에 성장한 콜로니의 콘트라스트를 평가하였다:
TSAII 5% 양의 혈액(BAP): 소변 배양을 위해 전세계에서 사용되는 선택 배지.
BAV: 콜로니 형태 및 용혈에 기초한 콜로니 집계 및 추정 ID에 사용됨.
MAC(MacConkey II Agar): 가장 일반적인 그램(Gram) 음성 UTI 병원균에 대한 선택 배지. MAC은 락토스 생성 콜로니의 구별에 사용된다. MAC는 또한 프로테우스(Proteus) 군집을 억제한다. BAP 및 MAC은 소변 배양을 위해 전계적으로 통상적으로 사용된다. 일부 배지는 일부 그램 음성의 부분적 억제로 인해 콜로니 카운팅에 사용하도록 권장되지 않는다.
CNA(Colistin Nalidixic Acid) 한천: 가장 일반적인 그람 양성 UTI 병원균에 대한 선택 미디어. CNA는 소변 배양을 위해 MAC만큼 통상적으로 사용되지는 않지만 그람 음성 콜로니의 과도한 성장이 발생하면 콜로니를 식별하는 데 도움이 된다.
CHROMA(CHROMAgar Orientation): 소변 배양을 위해 전세계적으로 사용되는 비선택 배지. CHROMA는 콜로니 색상 및 형태에 기초하여 콜로니 집계 및 ID에 사용된다. 대장균(E. coli) 및 장구균(Enterococcus)은 배지에 의해 식별되고, 확인 테스트를 필요로 하지 않는다. CHROMA는 비용 때문에 BAP보다 덜 사용된다. 혼합된 샘플의 경우, CLED 배지도 사용되었다.
CLED(Cystine Lactose Electrolyte-Deficient) 한천: 락토스 발효에 기초한 소변 병원균의 콜로니 집계 및 추정 ID에 사용됨.
Specimen Processing BD Kiestra ™ InoqulA ™가 표준화를 가능하게 하고 균질하고 고품질의 줄무늬를 보장하기 위해 박테리아 표본 처리를 자동화하는 데 사용되었다. BD Kiestra ™ InoqulA ™ 표본 프로세서는 자기 롤링 비드 기술을 사용하여 맞춤형 패턴을 사용해 배지 플레이트에 줄무늬를 만든다. 자기 롤링 비드는 직경이 5mm이다.
도 17은 CHROMagar(상부 이미지) 및 혈액 한천(하부 이미지) 배지 양자 모두에서 모르가넬라 모르가니(Morganella morganii) 성장을 검색하는 콘트라스트 수집 알고리즘 성능의 일 예를 도시한다. CHROMagar 및 BAP는 양자 모두 세균학 실험실에서 통상적으로 사용되는 비선택적 성장 배지이다. 도 17의 중간 이미지 각각은 플레이트 위의 광(상부 조명)으로부터 조명되어진 이미징된 플레이트를 나타낸다. 왼쪽의 이미지는 중간 이미지의 대응하는 공간적 콘트라스트를 나타낸다. 공간적 콘트라스트는 1밀리미터 중앙치 커널에 기초한다. 마지막으로, 오른쪽의 이미지는 중간 이미지의 시간적 콘트라스트를 나타낸다. 시간적 콘트라스트는 각각의 이미지 캡쳐 시간에 다양한 조명 조건(상이한 색상 채널, 조명 설정 등)을 사용하여 인큐베이션 0시간(tO)과 12시간(tx) 사이에 캡쳐된 이미지로부터 수집된다.
도 17에 도시된 바와 같이, 로컬 콘트라스트는 반투명 콜로니를 다루는 경우에, 특히 에지 전이가 작은 경우에 그 제한을 갖는데, 가장 대비되는 합류 영역만을 공간적 콘트라스트 알고리즘만을 사용하여 이미지로부터 골라낼 수 있음에 따라, 공간적 콘스트라스트가 개체를 골라내지 못할 수 있기 때문이다. 또한, 격리된 콜로니에 대한 시간적 콘트라스트의 효율성이 도 17로부터 자명하다.
도 17(특히 하부의 혈액 한천 이미지)은 투명한 배지 상에서의 성장을 검출하기 위해 공간적 콘트라스트만을 사용하는 문제를 또한 강조한다. 투명 케이스에 인쇄된 잉크는 매우 강한 에지 및 그에 따라 강한 공간적 콘트라스트를 갖는다. 따라서, 공간적 콘트라스트와 함께 시간적 콘트라스트의 사용은 본 개시에서 상당한 혜택을 갖는다.
궁극적으로, 전술한 콘트라스트 결정의 결과는 이미징된 배지에서 콜로니의 신속한 검출 및 식별을 위한 방법이 자동화될 수 있다는 것이다. 자동화된 방법은 비교 가능한 수동 방법보다 상당한 이점을 제공한다.
도 18은 자동화된 테스트 프로세스(1800)(예를 들어,도 2의 루틴(200))의 타임 라인을 비교 가능한 수동으로 수행되는 테스트 프로세스(1805)의 타임 라인과 비교하는 한 쌍의 흐름도를 도시한다. 각각의 프로세스는 테스트를 위한 표본을 실험실에서 수신하는 것에서 시작된다 (1810, 1815). 그 다음에 각각의 프로세스는 인큐베이션(1820, 1825)으로 진행되며, 인큐베이션 동안 표본은 여러 번 이미징될 수 있다. 자동화된 프로세스에서, 약 12시간의 인큐베이션 후에 자동화된 평가(1830)이 이루어지며, 그 후에 표본에서 성장이 없는지(또는 정상 성장) 여부가 명확하게 결정될 수 있다 (1840). 도 17의 결과에서 보여진 바와 같이, 자동화된 프로세스에서 시간적 콘트라스트의 사용은 단지 12시간 후에도 콜로니를 검출하는 능력이 크게 개선시킨다. 대조적으로, 수동 프로세스에서는, 인큐베이션 프로세스에서 거의 24시간까지 수동 평가(1835)가 이루어질 수 없다. 24시간 후에만 표본에 성장이 없는지(또는 정상 성장) 여부가 명확하게 결정될 수 있다 (1845).
자동화된 프로세스의 사용은 또한 더 빠른 AST 및 MALDI 테스트를 허용한다. . 자동화된 프로세스에서의 이러한 테스트(1850)는 초기 평가(1830) 직후에 시작될 수 있고, 결과가 얻어져(1860) 24시간 표시로 보고될 수 있다(1875). 대조적으로, 수동 프로세스에서 이러한 테스트(1855)는 종종 36시간 표시에 가까울 때까지 시작되지 않고, 데이터가 검토되고(1865) 보고되기(1875) 전까지 완료하는 데 8시간 내지 12시간이 더 소요된다.
전체적으로, 수동 테스트 프로세스(1805)는 최대 48시간이 소요되고, 18-24시간의 인큐베이션 기간 - 오직 그 후에만 성장에 대해 플레이트가 평가됨- 을 필요로 하고, 얼마나 길게 샘플이 인큐베이션 상태에 있었는지를 추적할 방법이 없는 것으로 보인다. 대조적으로, 자동화된 테스트 프로세스(1800)는 (백그라운드 및 서로와 비교하여) 콜로니 사이의 비교적 불량한 콘트라스트조차도 검출할 수 있고, 생물학자가 타이밍을 추적할 필요 없이 이미징 및 인큐베이션을 행할 수 있기 때문에, 표본이 식별되고 추가 테스트(예를 들어, AST, MALDI)를 위해 준비될 수 있기 전에 단지 12-18시간의 인큐베이션이 필요하고, 전체 프로세스는 약 24시간 내에 완료될 수 있다. 따라서, 본원에 설명된 콘트라스트 처리를 보조되는 본 개시의 자동화된 프로세스는 테스트 결과의 품질 또는 정확성에 악영향을 미치지 않으면서 샘플의 보다 빠른 테스트를 제공한다.
본 발명은 본원에서 특정 실시예를 참조하여 설명되었지만, 이들 실시예는 단지 본 발명의 원리 및 응용의 예일 뿐임을 이해해야 한다. 따라서, 많은 수정이 예시적인 실시예에 이루어질 수 있고, 첨부된 청구항에 의해 정의된 바와 같은 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 구성이 고안될 수 있음을 이해해야 한다.

Claims (51)

  1. 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법으로서,
    실질적으로 광학적으로 투명한 용기 내에 배치된 생물학적 샘플이 접종된 배양 배지를 제공하는 단계;
    상기 접종된 배양 배지를 인큐베이터에서 인큐베이팅하는 단계;
    상기 접종된 배양 배지를 담은 상기 투명한 용기를 디지털 이미징 장치에 위치시키는 단계;
    제 1 시간(t0)에 접종된 배지의 제 1 디지털 이미지를 얻는 단계로서, 상기 제 1 디지털 이미지는 복수의 픽셀을 갖는, 제 1 디지털 이미지를 얻는 단계;
    상기 접종된 배양 배지를 담은 상기 투명한 용기에 대해 상기 제 1 디지털 이미지 내의 픽셀의 좌표를 결정하는 단계;
    상기 접종된 배양 배지를 담은 상기 투명한 용기를 상기 디지털 이미징 장치로부터 제거하고, 추가 인큐베이션을 위해 상기 접종된 배양 배지를 상기 인큐베이터에 위치시키는 단계;
    추가 인큐베이션 후에, 상기 접종된 배양 배지를 담은 상기 투명한 용기를 상기 디지털 이미징 장치에 위치시키는 단계;
    제 2 시간(tx)에 상기 접종된 배양 배지의 제 2 디지털 이미지를 얻는 단계로서, 상기 제 2 디지털 이미지는 복수의 픽셀을 갖는, 제 2 디지털 이미지를 얻는 단계;
    상기 제 2 디지털 이미지 내의 픽셀의 좌표가 상기 제 1 디지털 이미지 내의 대응하는 픽셀의 좌표에 대응하도록, 상기 제 1 디지털 이미지를 상기 제 2 디지털 이미지와 정렬시키는 단계;
    상기 제 2 디지털 이미지의 픽셀을 상기 제 1 디지털 이미지의 대응하는 픽셀과 비교하는 단계;
    상기 제 1 디지털 이미지와 상기 제 2 디지털 이미지 사이에서 변화된 픽셀을 식별하는 단계로서, 상기 제 1 디지털 이미지와 상기 제 2 디지털 이미지 사이에서 변화되지 않은 픽셀은 배경을 나타내는, 변화된 픽셀을 식별하는 단계;
    상기 제 2 디지털 이미지에서 식별된 픽셀 중 어느 것이 배경을 나타내는 픽셀과 미리 결정된 임계 콘트라스트의 레벨을 갖는지를 결정하는 단계;
    상기 제 2 디지털 이미지 내의 하나 이상의 개체를 식별하는 단계로서, 각각의 개체는 상기 임계 콘트라스트의 레벨을 충족시키고 배경 픽셀에 의해 서로 분리되지 않는 픽셀로 구성되는, 상기 제 2 디지털 이미지 내의 하나 이상의 개체를 식별하는 단계;
    식별된 개체 중 적어도 하나에 대해, 상기 개체와 연관된 픽셀 정보로부터 개체 특징을 얻음으로써 상기 개체의 픽셀로부터 상기 개체의 형태를 결정하는 단계로서, 상기 개체 특징은 개체 형상, 개체 사이즈, 개체 에지, 및 개체 색상 중 적어도 하나를 포함하고, 상기 개체의 형태는 상기 개체 특징에 기초하여 결정되는, 개체의 형태를 결정하는 단계;
    상기 개체의 형태로부터, 상기 개체가 콜로니 후보인지 여부를 결정하는 단계; 및
    상기 개체와 연관된 픽셀의 좌표를 메모리에 제공하는 단계
    를 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  2. 제 1 항에 있어서,
    미리 결정된 일련의 조명 조건에 따라 상기 제 1 시간에 복수의 제 1 디지털 이미지를 얻는 단계를 더 포함하고, 상기 제 1 디지털 이미지 각각은 상이한 조명 조건 하에서 얻게 되고, 각각의 조명 조건은 조명원에 대한 상기 접종된 배양 배지를 담은 상기 광학적으로 투명한 용기의 특정 배향 및 상기 디지털 이미징 장치에서 상기 광학적으로 투명한 용기가 위치되는 특정 배경색을 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  3. 제 2 항에 있어서,
    상기 특정 배향은
    상기 접종된 배양 배지를 담은 상기 광학적으로 투명한 용기의 상부를 향하여 아래쪽으로 향하는 조명원;
    상기 접종된 배양 배지를 담은 상기 광학적으로 투명한 용기의 하부를 향하여 위쪽으로 향하는 조명원; 및
    상기 접종된 배양 배지를 담은 상기 광학적으로 투명한 용기의 측면을 향하는 조명원을 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  4. 제 3 항에 있어서,
    특정 상부 배향 및 측면 배향에 있어서, 상기 특정 배경색이 검정색이고; 특정 하부 배향에 있어서, 상기 특정 배경색은 흰색인, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  5. 제 4 항에 있어서,
    각각의 조명 조건은,
    적색 파장을 방출하는 조명원;
    녹색 파장을 방출하는 조명원; 및
    청색 파장을 방출하는 조명원을 포함하는 특정 조명 스펙트럼을 더 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  6. 제 1 항에 있어서,
    상기 개체 색상은 상기 개체와 연관된 픽셀의 스펙트럼 특징으로부터 결정되는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  7. 제 6 항에 있어서,
    상기 스펙트럼 특징은 픽셀 색상, 색조, 휘도, 및 색차로 구성되는 그룹으로부터 선택되는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  8. 제 6 항에 있어서,
    배경 특징 정보를 얻는 단계를 더 포함하고, 상기 배경 특징 정보는 배지 유형 및 배지 색상을 포함하고, 상기 개체의 형태는 상기 배경 특징 정보에 더 기초하여 결정되는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  9. 제 8 항에 있어서,
    상기 개체 특징 및 상기 배경 특징 정보를 상기 메모리에 저장된 개체 특징 및 배경 특징 정보와 비교하는 단계; 및
    상기 개체 특징 및 상기 배경 특징 정보에 기초하여 미생물의 유형을 결정하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  10. 제 1 항에 있어서,
    상기 제 1 디지털 이미지를 상기 제 2 디지털 이미지와 정렬시키는 단계는, 상기 제 2 디지털 이미지 내의 픽셀의 극좌표가 상기 제 1 디지털 이미지 내의 대응하는 픽셀의 극좌표와 동일하도록 상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지 각각의 픽셀에 극좌표를 할당하는 단계를 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  11. 제 1 항에 있어서,
    복수의 배양 배지가 제공되고, 생물학적 샘플이 접종되고, 하나 이상의 광학적으로 투명한 용기에 배치되고, 인큐베이터에서 인큐베이팅되고, 박테리아 성장의 동일한 시간 프레임에서 디지털 이미징 장치에 위치되며, 그에 의해 각각의 배양 배지에 대한 제 1 디지털 이미지 및 제 2 디지털 이미지가 얻어지는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  12. 제 1 항에 있어서,
    상기 접종된 배양 배지의 제 2 디지털 이미지를 얻는 단계 이후에,
    상기 광학적으로 투명한 용기 또는 상기 플레이팅된 배지 상의 응축의 증거인 상기 제 1 디지털 이미지 내의 픽셀 정보를 식별하는 단계; 및
    상기 이미지로부터 상기 응축에 기인한 픽셀 정보를 감산하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  13. 제 12 항에 있어서,
    상기 응축의 증거인 픽셀 정보는 조명원이 상기 광학적으로 투명한 용기의 하부를 향하여 위쪽으로 향하는 디지털 이미지에서 식별되고, 미리 결정된 임계 값 미만의 광학 밀도를 갖는 픽셀에 대한 픽셀 정보는 상기 이미지로부터 감산되는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  14. 제 1 항에 있어서,
    상기 접종된 배양 배지의 제 2 디지털 이미지를 얻는 단계 이후에,
    먼지의 증거인 상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지 중 하나의 픽셀 정보를 식별하는 단계; 및
    상기 이미지로부터 먼지에서 기인한 픽셀 정보를 감산하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  15. 제 14 항에 있어서,
    상기 먼지의 증거인 픽셀 정보는
    상기 광학적으로 투명한 용기가 흰색 배양 배지를 포함하고, 조명원이 상기 광학적으로 투명한 용기의 상부를 향하여 아래쪽으로 향하고, 배경색이 검정색이거나;
    상기 광학적으로 투명한 용기가 유색 또는 어두운 배양 배지를 포함하고, 상기 조명원이 상기 광학적으로 투명한 용기의 상부를 향하여 아래쪽으로 향하고, 상기 배경색이 흰색이거나;
    상기 조명원이 상기 광학적으로 투명한 용기의 하부를 향하여 위쪽으로 향하는 디지털 이미지에서 식별되는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  16. 제 14 항에 있어서,
    상기 먼지는 상기 배양 배지, 상기 광학적으로 투명한 용기, 또는 상기 디지털 이미징 장치의 광학 구성 요소 중 임의의 것 위에 있는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  17. 제 1 항에 있어서,
    상기 접종된 배지의 제 3 디지털 이미지를 얻는 단계로서, 상기 제 3 디지털 이미지는 상기 제 1 디지털 이미지가 획득된 시간과 상기 제 2 디지털 이미지가 획득된 시간 사이의 시간에 얻게 되고, 상기 접종된 배양 배지는 상기 제 1 디지털 이미지와 상기 제 2 디지털 이미지의 획득 사이에 그리고 상기 제 2 디지털 이미지와 상기 제 3 디지털 이미지의 획득 사이에 상기 이미징 장치로부터 제거되어 상기 인큐베이터에 위치되는, 제 3 디지털 이미지를 얻는 단계;
    상기 제 3 디지털 이미지 내의 픽셀의 좌표가 상기 제 1 디지털 이미지 내의 대응하는 픽셀의 좌표와 동일하도록 상기 제 3 디지털 이미지를 상기 제 1 디지털 이미지와 정렬시키는 단계;
    상기 제 3 디지털 이미지와 상기 제 2 디지털 이미지의 픽셀을 서로 비교하는 단계; 및
    상기 제 3 디지털 이미지와 상기 제 2 디지털 이미지 사이에서 변화된 픽셀을 식별하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  18. 제 17 항에 있어서,
    상기 제 1 디지털 이미지와 상기 제 3 디지털 이미지 사이의 인큐베이션 시간은 상기 제 3 디지털 이미지와 상기 제 2 디지털 이미지 사이의 인큐베이션 시간과 동일한, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  19. 제 17 항에 있어서,
    상기 식별된 개체 중 적어도 하나는 상기 제 3 디지털 이미지와 상기 제 2 디지털 이미지 사이에서 변화된 식별된 픽셀과 연관되는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  20. 제 1 항에 있어서,
    상기 접종된 배지의 제 3 디지털 이미지를 얻는 단계로서, 상기 제 3 디지털 이미지는 상기 제 2 디지털 이미지가 얻어진 시간 이후에 얻게 되고, 상기 접종된 배양 배지는 상기 제 2 디지털 이미지 및 상기 제 3 디지털 이미지를 얻게 되는 시간 사이에 이미징 장치로부터 제거되어 상기 인큐베이터에 위치되는, 제 3 디지털 이미지를 얻는 단계;
    상기 제 3 디지털 이미지 내의 픽셀의 좌표가 상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지 내의 대응하는 픽셀의 좌표와 동일하도록, 상기 제 3 디지털 이미지를 상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지와 정렬시키는 단계;
    상기 제 3 디지털 이미지 및 상기 제 2 디지털 이미지의 픽셀을 서로 비교하는 단계;
    상기 제 2 디지털 이미지와 상기 제 3 디지털 이미지 사이에서 변화된 픽셀을 식별하는 단계; 및
    변화된 것으로 식별된 상기 제 2 디지털 이미지 및 상기 제 3 디지털 이미지의 비교된 픽셀에 기초하여 상기 제 2 디지털 이미지에서 식별된 개체가 상기 제 3 디지털 이미지에서 변화되었음을 결정하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  21. 제 20 항에 있어서,
    상기 제 3 디지털 이미지에서 변화되는 것으로 결정된 상기 제 2 디지털 이미지에서 식별된 개체는 결정된 변화의 범위가 평가되는 시드 개체로 결정되는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  22. 제 21 항에 있어서,
    상기 제 2 디지털 이미지와 상기 제 3 디지털 이미지 사이에서 변화된 것으로 식별된 픽셀에 기초하여 상기 메모리 내의 상기 개체와 연관된 픽셀의 좌표를 업데이트하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 평가하는 자동화된 방법.
  23. 배양물이 접종되고 인큐베이팅된, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법으로서,
    상기 플레이팅된 배지의 인큐베이션의 시작(t0)에서, 상기 배지의 제 1 디지털 이미지를 얻는 단계로서, 상기 제 1 디지털 이미지는 복수의 픽셀을 갖는, 상기 배지의 제 1 디지털 이미지를 얻는 단계;
    상기 제 1 디지털 이미지의 하나 이상의 픽셀에 좌표를 할당하는 단계;
    상기 배지에 대한 상기 인큐베이션의 기간 후(tx)에, 상기 배지의 제 2 디지털 이미지를 얻는 단계로서, 상기 제 2 디지털 이미지는 복수의 픽셀을 갖는, 상기 배지의 제 2 디지털 이미지를 얻는 단계;
    상기 제 2 디지털 이미지를 상기 제 1 디지털 이미지와 정렬시키는 단계로서, 상기 정렬은 제 1 이미지의 픽셀에 할당된 좌표 및 상기 좌표가 할당된 상기 제 1 이미지의 픽셀에 대응하는 제 2 이미지의 하나 이상의 픽셀에 기초하는, 제 2 디지털 이미지를 제 1 디지털 이미지와 정렬시키는 단계;
    상기 제 2 디지털 이미지의 로컬로 인접한 픽셀들 사이의 변화를 나타내는 공간적 콘트라스트 데이터를 발생시키는 단계;
    상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지의 대응하는 픽셀들 사이의 변화를 나타내는 시간적 콘트라스트 데이터를 발생시키는 단계;
    상기 제 2 디지털 이미지의 복수의 픽셀 각각에 대해, 픽셀의 상기 공간적 콘트라스트 데이터 및 상기 시간적 콘트라스트 데이터의 결합에 기초하여 상기 픽셀에 콘트라스트 값을 할당하는 단계;
    미리 결정된 임계치보다 크고 미리 결정된 서로의 오차 마진 내에 있는 콘트라스트 값을 갖는 인접한 픽셀을 연관시키는 단계로서, 연관된 픽셀은 식별된 개체를 구성하는, 인접한 픽셀을 연관시키는 단계; 및
    각각의 식별된 개체를 후보 콜로니로서 메모리에 저장하는 단계
    를 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  24. 제 23 항에 있어서,
    상기 공간적 콘트라스트 데이터 및 상기 시간적 콘트라스트 데이터를 결합하는 것은 상기 공간적 콘트라스트 데이터 및 상기 시간적 콘트라스트 데이터의 평균을 내는 것을 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  25. 제 24 항에 있어서,
    상기 공간적 콘트라스트 데이터 및 상기 시간적 콘트라스트 데이터는 가중된 평균에 따라 결합되는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  26. 제 23 항에 있어서,
    상기 공간적 콘트라스트 데이터를 발생시키는 단계는
    시간 tx에서 복수의 이미지를 얻는 단계로서, 상기 복수의 이미지 각각은 상이한 조명 조건 하에서 얻게 되는, 시간 tx에서 복수의 이미지를 얻는 단계;
    복수의 t0 이미지 각각에서 공간 데이터를 처리하는 단계; 및
    처리된 공간 데이터를 결합하는 단계를 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  27. 제 26 항에 있어서,
    상기 공간 데이터를 처리하는 단계는 각각의 조명 조건에 대한 공간 데이터 결과를 별도로 처리하는 단계, 및 별도로 처리된 공간 데이터 결과로부터 최대 결과를 선택하는 단계를 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  28. 제 23 항에 있어서,
    상기 시간적 콘트라스트 데이터를 발생시키는 단계는
    시간 t0에서 복수의 이미지를 얻는 단계로서, 상기 복수의 이미지 각각은 상이한 조명 조건 하에서 얻게 되는, 시간 t0에서 복수의 이미지를 얻는 단계;
    시간 tx에서 복수의 이미지를 얻는 단계로서, 시간 tx에서 각각의 이미지의 조명 조건은 시간 t0에서 얻은 이미지의 조명 조건에 대응하는, 시간 tx에서 복수의 이미지를 얻는 단계;
    대응하는 t0 이미지 및 tx 이미지 각각에서 시간 데이터를 처리하는 단계; 및
    처리된 시간 데이터를 결합하는 단계를 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  29. 제 28 항에 있어서,
    상기 시간 데이터를 처리하는 단계는 각각의 조명 조건에 대한 시간 데이터 결과를 별도로 처리하는 단계, 및 별도로 처리된 시간 데이터 결과로부터 최대 결과를 선택하는 단계를 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  30. 제 23 항에 있어서,
    주어진 식별된 개체에 대해,
    상기 개체와 연관된 픽셀 정보로부터 복수의 개체 특징을 얻는 단계로서, 상기 개체 특징은 적어도 하나의 형태 특징을 포함하고, 상기 형태 특징은 개체 형상, 개체 구역, 개체 둘레, 또는 개체 에지 중 적어도 하나인, 복수의 개체 특징을 얻는 단계;
    분류 알고리즘을 사용하여 상기 개체 특징을 결합하는 단계;
    결합된 개체 특징을 메모리에 저장된 복수의 미생물에 대한 개체 특징 정보와 비교하는 단계; 및
    상기 비교에 기초하여 상기 식별된 개체를 미생물의 일 유형으로 분류하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  31. 제 30 항에 있어서,
    상기 개체 특징은 적어도 하나의 스펙트럼 특징을 더 포함하고, 상기 스펙트럼 특징은 개체 색상, 개체 밝기, 개체 색조, 또는 개체 색도 중 적어도 하나이거나; 또는
    상기 개체 특징은 적어도 하나의 시간적 특징을 더 포함하고, 상기 시간적 특징은 개체 성장 속도, 개체 색상의 변화, 또는 개체가 처음으로 시각적으로 관찰 가능한 예상 시간 중 적어도 하나이거나; 또는
    상기 개체 특징 중 적어도 하나는 상기 식별된 개체의 각각의 픽셀에 대해 얻게 되고, 그 다음에 하나 이상의 통계적 히스토그램 특징을 사용하여 결합되거나; 또는
    상기 분류 알고리즘은 감독된 기계 학습 알고리즘이고, 결합된 개체 특징은 메모리에 저장된 4개 이하의 미생물에 대한 개체 특징 정보와 비교되는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  32. 제 23 항에 있어서,
    주어진 식별된 개체에 대해,
    상기 식별된 개체의 각각의 픽셀에 대해, 픽셀의 상기 시간적 콘트라스트 데이터에 기초하여 상기 픽셀에 시간적 콘트라스트 값을 할당하는 단계;
    할당된 시간적 콘트라스트 값으로부터 하나 이상의 최대치를 식별하는 단계;
    하나를 초과하는 최대치가 확인되면, 상기 최대치가 공통의 콜로니 형성 단위 또는 상이한 콜로니 형성 단위와 연관되는지 여부를 결정하는 단계; 및
    상이한 콜로니 형성 단위와 연관되는 것으로 결정된 임의의 2개의 최대치에 대해, 상기 2개의 최대치의 각각의 위치에 적어도 부분적으로 기초하여 상기 식별된 개체를 2개의 개체로 분할하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  33. 제 32 항에 있어서,
    상기 2개의 최대치가 공통의 콜로니 형성 단위 또는 상이한 콜로니 형성 단위와 연관되는지 여부를 결정하는 단계는
    각각의 최대치에 대해, 상기 최대치로부터 상기 식별된 개체의 에지까지의 거리를 결정하는 단계;
    각각의 결정된 거리 및 상기 2개의 최대치 사이의 거리에 기초하여 포함 인자 값을 산출하는 단계; 및
    상기 포함 인자 값을 미리 결정된 범위와 비교하는 단계를 더 포함하고,
    상기 최대치는 상기 포함 인자 값이 상기 미리 결정된 범위보다 작으면 공통 콜로니 형성 단위와 연관되고, 상기 최대치는 상기 포함 인자 값이 상기 미리 결정된 범위보다 크면 상이한 콜로니 형성 단위와 연관되는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  34. 제 33 항에 있어서,
    상기 포함 인자 값이 상기 미리 결정된 범위 내에 있으면, 상기 방법은
    각각의 최대치에 대해, 상기 최대치를 둘러싸는 영역을 결정하는 단계; 및
    상기 최대치를 둘러싸는 각각의 영역의 볼록도를 산출하는 단계를 더 포함하고,
    상기 볼록도가 임계 값보다 크면, 상기 최대치는 상이한 콜로니 형성 단위와 연관되는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  35. 제 23 항에 있어서,
    상기 공간적 콘트라스트 데이터에 기초하여 시간상 첫 번째 디지털 이미지에서 하나 이상의 개체를 식별하는 단계; 및
    시간상 두 번째 디지털 이미지 내의 주어진 식별된 개체에 대해, 상기 시간상 두 번째 디지털 이미지 내의 개체에 대한 결합된 상기 공간적 콘트라스트 데이터 및 상기 시간적 콘트라스트 데이터가 상기 시간상 첫 번째 디지털 이미지에서 식별된 개체에 대한 공간적 콘트라스트 데이터와 일치하면, 상기 제 2 디지털 이미지 내의 개체를 아티팩트로서 분류하는 단계를 더 포함하는, 플레이팅된 배지 상의 세균 성장을 식별하는 자동화된 방법.
  36. 배양물이 접종되고 인큐베이팅된, 플레이팅된 배지 상에서 세균 성장을 평가하는 방법으로서,
    상기 플레이팅된 배지의 제 1 디지털 이미지 및 제 2 디지털 이미지를 얻는 단계로서, 각각의 디지털 이미지는 접종된 배지에 대한 인큐베이션 기간 후에 그리고 상이한 시간에 얻게 되는, 플레이팅된 배지의 제 1 디지털 이미지 및 제 2 디지털 이미지를 얻는 단계;
    상기 제 2 디지털 이미지를 상기 제 1 디지털 이미지와 정렬시키는 단계로서, 상기 정렬은 제 1 이미지의 픽셀에 할당된 좌표 및 상기 좌표가 할당된 상기 제 1 이미지의 픽셀에 대응하는 제 2 이미지의 하나 이상의 픽셀에 기초하는, 상기 제 2 디지털 이미지를 상기 제 1 디지털 이미지와 정렬시키는 단계;
    상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지의 대응하는 픽셀들 사이의 변화를 나타내는 시간적 콘트라스트 데이터를 발생시키는 단계;
    상기 시간적 콘트라스트 데이터로부터 상기 제 2 디지털 이미지 내의 개체를 식별하는 단계;
    상기 시간적 콘트라스트 데이터로부터 식별된 개체의 하나 이상의 동적 개체 특징을 얻는 단계;
    상기 하나 이상의 동적 개체 특징에 기초하여 상기 식별된 개체를 유기체의 일 유형으로 분류하는 단계; 및
    상기 식별된 개체 및 그 분류를 메모리에 저장하는 단계
    를 포함하는, 플레이팅된 배지 상에서 세균 성장을 평가하는 방법.
  37. 제 36 항에 있어서,
    상기 하나 이상의 동적 개체 특징은 상기 식별된 개체의 성장 속도를 포함거나; 또는
    상기 하나 이상의 동적 개체 특징은 상기 식별된 개체의 색도 특징에 대한 변화를 포함하거나; 또는
    상기 하나 이상의 동적 개체 특징은 상기 플레이팅된 배지에 수직인 축을 따른 성장의 변화를 포함하거나; 또는
    상기 방법은
    상기 접종된 배지에 대한 인큐베이션 기간 후에 그리고 상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지와 상이한 시간에 상기 플레이팅된 배지의 제 3 디지털 이미지를 얻는 단계;
    상기 제 3 디지털 이미지를 상기 제 1 디지털 이미지 및 상기 제 2 디지털 이미지와 정렬시키는 단계; 및
    상기 제 2 디지털 이미지 및 상기 제 3 디지털 이미지의 대응하는 픽셀들 사이의 변화를 나타내는 시간적 콘트라스트 데이터를 발생시키는 단계를 더 포함하고, 상기 개체는 상기 시간적 콘트라스트 데이터에 추가로 기초하여 식별되고, 상기 식별된 개체의 하나 이상의 동적 개체 특징은 상기 시간적 콘트라스트 데이터의 2차 도함수를 포함하는, 플레이팅된 배지 상에서 세균 성장을 평가하는 방법.
  38. 제 37 항에 있어서,
    상기 식별된 개체의 상기 하나 이상의 동적 개체 특징은 개체 성장 가속도를 포함하는, 플레이팅된 배지 상에서 세균 성장을 평가하는 방법.
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
KR1020177033234A 2015-04-23 2016-04-22 콜로니 콘트라스트 수집 KR102664258B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247014763A KR20240069819A (ko) 2015-04-23 2016-04-22 콜로니 콘트라스트 수집

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562151681P 2015-04-23 2015-04-23
US62/151,681 2015-04-23
US201662318483P 2016-04-05 2016-04-05
US62/318,483 2016-04-05
PCT/US2016/028913 WO2016172527A2 (en) 2015-04-23 2016-04-22 Colony contrast gathering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247014763A Division KR20240069819A (ko) 2015-04-23 2016-04-22 콜로니 콘트라스트 수집

Publications (2)

Publication Number Publication Date
KR20170139590A KR20170139590A (ko) 2017-12-19
KR102664258B1 true KR102664258B1 (ko) 2024-05-07

Family

ID=55911090

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177033234A KR102664258B1 (ko) 2015-04-23 2016-04-22 콜로니 콘트라스트 수집
KR1020247014763A KR20240069819A (ko) 2015-04-23 2016-04-22 콜로니 콘트라스트 수집

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247014763A KR20240069819A (ko) 2015-04-23 2016-04-22 콜로니 콘트라스트 수집

Country Status (11)

Country Link
US (4) US10521910B2 (ko)
EP (2) EP3767586A1 (ko)
JP (2) JP6777726B2 (ko)
KR (2) KR102664258B1 (ko)
CN (2) CN113667584A (ko)
AU (2) AU2016250791B2 (ko)
BR (1) BR112017022830A2 (ko)
CA (1) CA2985848A1 (ko)
ES (1) ES2826400T3 (ko)
WO (1) WO2016172527A2 (ko)
ZA (1) ZA201707359B (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164242B (zh) * 2014-02-04 2019-07-12 分子装置有限公司 用于识别和挑取光谱不同的菌落的系统
US11041871B2 (en) 2014-04-16 2021-06-22 Bd Kiestra B.V. System and method for incubation and reading of biological cultures
KR102664258B1 (ko) * 2015-04-23 2024-05-07 비디 키에스트라 비.브이. 콜로니 콘트라스트 수집
US10696938B2 (en) * 2015-04-23 2020-06-30 Bd Kiestra B. V. Method and system for automated microbial colony counting from streaked sample on plated media
DK3304032T3 (da) 2015-05-28 2024-05-13 Bd Kiestra Bv Automatiseret fremgangsmåde og system til at opnå og fremstille mikroorganismeprøver til både identifikations- og antibiotisk susceptibilitetstest
US10349911B2 (en) * 2017-05-18 2019-07-16 Dassault Systemes Simulia Corp. System and method to produce corrected contrast levels in a CT scan of vasculature
JP7011770B2 (ja) * 2017-06-26 2022-01-27 大日本印刷株式会社 細胞培養状態評価装置
ES2975773T3 (es) * 2017-09-28 2024-07-15 Bd Kiestra Bv Métodos y sistemas para la evaluación automatizada de la sensibilidad a antibióticos
WO2019070975A1 (en) 2017-10-05 2019-04-11 Becton Dickinson And Company ENVIRONMENT FOR DEVELOPING APPLICATIONS FOR EVALUATION PROCESSING OF BIOLOGICAL SAMPLES
US11244200B2 (en) * 2018-03-26 2022-02-08 SCREEN Holdings Co., Ltd. Image processing method, image processing apparatus, and computer-readable recording medium having recorded thereon image processing program
FR3080211B1 (fr) * 2018-04-16 2020-05-08 Pinqkerton Systeme et procede d'analyse de dispositifs de test
CN112119152A (zh) * 2018-05-25 2020-12-22 索尼公司 控制装置、控制方法和程序
US20210340591A1 (en) * 2018-09-07 2021-11-04 The Wave Talk, Inc. Microorganism information providing device and method
EP3704668A4 (en) * 2018-12-17 2021-04-07 SZ DJI Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS
AU2019410266A1 (en) * 2018-12-20 2021-07-15 Bd Kiestra B.V. A system and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass
US20220139527A1 (en) * 2019-03-01 2022-05-05 Agricam Aktiebolag Method, device and system for detection of micro organisms
WO2020261555A1 (ja) * 2019-06-28 2020-12-30 オリンパス株式会社 画像生成システムおよび画像生成方法
CN110830768B (zh) * 2019-10-31 2021-07-16 北京君立康生物科技有限公司 一种菌落图像的采集处理方法及装置
US20230060037A1 (en) * 2020-01-28 2023-02-23 The Regents Of The University Of California Systems and methods for the early detection and classification of live microorganisms using time-lapse coherent imaging and deep learning
US20230111370A1 (en) * 2020-05-18 2023-04-13 Neogen Food Safety Us Holdco Corporation Microorganic detection system using a deep learning model
EP4154162A1 (en) * 2020-05-19 2023-03-29 3M Innovative Properties Company Detecting a condition for a culture device using a machine learning model
GB202010984D0 (en) * 2020-07-16 2020-09-02 Croda Int Plc Computer implemented method for assessing the growth of germinative growths from germinative units
WO2022023956A1 (en) * 2020-07-31 2022-02-03 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for on-phase microscopy
BR112023005461A2 (pt) 2020-10-07 2023-05-09 Bd Kiestra Bv Sistema para obter imagem de um prato de cultura semeada usando um dispositivo de captura de imagem tendo uma lente telecêntrica
JP2022147328A (ja) * 2021-03-23 2022-10-06 株式会社Ｓｃｒｅｅｎホールディングス 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体
DE102021004734B3 (de) * 2021-09-21 2022-11-17 Vmt Vision Machine Technic Bildverarbeitungssysteme Gmbh Verfahren für eine automatische Inspektion von einer Vielzahl von plattenartigen Kunststoffträger
KR102551083B1 (ko) * 2021-11-03 2023-07-04 주식회사 싸이너스 Dpf용 비파괴 검사 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003022999A3 (en) 2001-09-06 2003-10-16 Genomic Profiling Systems Inc Rapid detection of replicating cells

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3843456A (en) * 1970-11-27 1974-10-22 B Haden Device for implementing the delivery,storage and use of microorganisms
US3856628A (en) * 1972-05-17 1974-12-24 Crowley R Method and apparatus for the identification of microorganisms
US4700298A (en) 1984-09-14 1987-10-13 Branko Palcic Dynamic microscope image processing scanner
US4724215A (en) 1985-02-27 1988-02-09 Sherwood Medical Company Automated microbiological testing apparatus and method
EP0656938B1 (en) 1992-07-13 1997-10-29 Minnesota Mining And Manufacturing Company A technique to count objects in a scanned image
US5723308A (en) 1993-05-14 1998-03-03 Minnesota Mining And Manufacturing Company Culture medium for rapid count of coliform bacteria
FR2719602B1 (fr) 1994-05-05 1996-07-26 Biocom Sa Procédé et installation pour la numérisation de cellules et micro-organismes, notamment des produits alimentaires ou des fluides biologiques.
US5694478A (en) * 1994-12-15 1997-12-02 Minnesota Mining And Manufacturing Company Method and apparatus for detecting and identifying microbial colonies
JPH09187270A (ja) 1996-01-11 1997-07-22 Nishi Nippon Shinku Tank Kk 細菌類の分析方法および同分析装置
US6122396A (en) 1996-12-16 2000-09-19 Bio-Tech Imaging, Inc. Method of and apparatus for automating detection of microorganisms
GB9714347D0 (en) 1997-07-09 1997-09-10 Oxoid Ltd Image analysis systems and devices for use therewith
JP4448251B2 (ja) 1998-12-28 2010-04-07 サッポロビール株式会社 微生物計数方法及びそれを達成するための装置
US6153400A (en) 1999-03-12 2000-11-28 Akzo Nobel N.V. Device and method for microbial antibiotic susceptibility testing
BR0003066A (pt) 2000-07-21 2002-04-30 Fundacao Oswaldo Cruz Método e dispositivo para detecção microrganismos à fibra óptica
US6884983B2 (en) 2002-06-10 2005-04-26 Palantyr Research, Llc Imaging system for examining biological material
US6605446B2 (en) 2001-10-18 2003-08-12 Gideon Eden Detecting airborne microorganisms
NL1020471C2 (nl) * 2002-04-25 2003-10-31 Tno Microbiologisch informatiesysteem.
US20040101954A1 (en) 2002-11-27 2004-05-27 Graessle Josef A. Back side plate illumination for biological growth plate scanner
US7351574B2 (en) 2002-11-27 2008-04-01 3M Innovative Properties Company Loading and ejection systems for biological growth plate scanner
US7319031B2 (en) 2002-11-27 2008-01-15 3M Innovative Properties Company Mounting platform for biological growth plate scanner
CN100396768C (zh) 2002-11-27 2008-06-25 3M创新有限公司 生物培养板扫描仪的装载和弹出系统
US20040253660A1 (en) 2003-06-12 2004-12-16 Giles Scientific, Inc. Automated microbiological testing apparatus and method
CA2532414C (en) 2003-07-12 2017-03-14 Accelr8 Technology Corporation Sensitive and rapid biodetection
US7496225B2 (en) 2003-09-04 2009-02-24 3M Innovative Properties Company Biological growth plate scanner with automated intake
US7298886B2 (en) 2003-09-05 2007-11-20 3M Innovative Properties Company Counting biological agents on biological growth plates
US7623728B2 (en) 2004-03-24 2009-11-24 General Electric Company Method and product for processing digital images
US7666355B2 (en) 2005-03-07 2010-02-23 Tino Alavie Automated analyzer
WO2007028649A1 (en) * 2005-09-09 2007-03-15 Universität Bremen Medium for detecting microorganisms
US8131477B2 (en) 2005-11-16 2012-03-06 3M Cogent, Inc. Method and device for image-based biological data quantification
FI20051329A0 (fi) 2005-12-27 2005-12-27 Wallac Oy Laitteisto ja menetelmä näytteiden optista mittausta varten
JP4176785B2 (ja) 2006-06-02 2008-11-05 株式会社東芝 スイッチング素子、半導体装置及びそれらの製造方法
US20120225449A1 (en) * 2007-03-16 2012-09-06 Roth Geoffrey N Method and appraratus utilizing enzyme substrates producing slow diffusing fluorescent product appearances and chromogens, and use in combination with fast diffusing product appearances
JP4863932B2 (ja) 2007-06-04 2012-01-25 株式会社エヌテック コロニー数の計数方法
US9012209B2 (en) 2008-01-17 2015-04-21 Neogen Corporation CO2 optical sensor for detection and enumeration of microorganisms
WO2009111301A1 (en) 2008-03-04 2009-09-11 3M Innovative Properties Company Information management in automated processing of biological growth media
JP5608159B2 (ja) 2008-03-26 2014-10-15 スリーエム イノベイティブ プロパティズ カンパニー 生物学的増殖培地のスペクトル解析
TR201901658T4 (tr) 2008-05-20 2019-02-21 Univ Health Network Floresan bazli görüntüleme ve i̇zleme i̇çi̇n ci̇haz ve metot
JP5805628B2 (ja) 2009-05-15 2015-11-04 ビオメリュー・インコーポレイテッド 微生物の自動検出装置
WO2010143420A1 (ja) * 2009-06-12 2010-12-16 株式会社ニコン 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
US8570370B2 (en) 2009-08-31 2013-10-29 Bio-Rad Laboratories, Inc. Compact automated cell counter
BR112012010272A2 (pt) * 2009-10-30 2019-10-01 Biogenic Innovations Llc métodos de aumento da eficiência de fermentação de um micro-organismo, in vitro para aumento do crescimento de um ou mais micro-organismos probióticos, para aumento do crescimento de um micro-organismo em uma amostra de teste de diagnóstico e de inibição de atividade microbiana ex vivo, e uso de metilsulfonilmetano (msm)
US8840840B2 (en) 2009-12-08 2014-09-23 3M Innovative Properties Company Illumination apparatus and methods for a biological growth plate scanner
FR2958298B1 (fr) 2010-04-06 2014-10-17 Commissariat Energie Atomique Procede de detection d'amas de particules biologiques
FR2971846B1 (fr) 2011-02-21 2013-12-06 Commissariat Energie Atomique Procede d'observation d'un echantillon
ES2928897T3 (es) 2011-03-04 2022-11-23 Lbt Innovations Ltd Método y software para analizar el crecimiento microbiano
WO2012119188A1 (en) 2011-03-04 2012-09-13 Lbt Innovations Limited Method for improving classification results of a classifier
JP5898239B2 (ja) 2011-03-04 2016-04-06 エルビーティー イノベーションズ リミテッド 画像キャプチャおよび照明装置
AU2012225194B2 (en) 2011-03-04 2014-11-13 Lbt Innovations Limited Colour calibration method for an image capture device
EP2520923A1 (en) 2011-05-06 2012-11-07 bioMérieux Bio-imaging method and system
BR112014007786A2 (pt) 2011-09-30 2017-04-11 Life Technologies Corp métodos e sistemas para subtração de fundo em uma imagem
EP2578693A1 (en) 2011-10-07 2013-04-10 Koninklijk Instituut voor de Tropen Method for detecting bacteria
EP2889366A4 (en) 2012-08-23 2016-04-27 Dainippon Printing Co Ltd SYSTEM FOR REGISTERING INFORMATION ON CULTURAL MEDIA, COLONY DETECTION DEVICE, PROGRAM AND HEALTH MANAGEMENT SYSTEM
US9123120B2 (en) 2012-08-24 2015-09-01 DR Vision Technologies LLC Progressive decision for cellular process selection
GB201216661D0 (en) 2012-09-18 2012-10-31 Spicer Consulting Ltd photobioreactor
FR2997502B1 (fr) 2012-10-29 2014-12-26 Commissariat Energie Atomique Procede d'observation d'especes biologiques.
EP2731051A1 (en) 2012-11-07 2014-05-14 bioMérieux Bio-imaging method
CN104870650B (zh) 2012-12-20 2018-09-11 3M创新有限公司 区别图像中的微生物菌落的方法
US20140177494A1 (en) 2012-12-21 2014-06-26 Alexander W. Min Cloud-aware collaborative mobile platform power management using mobile sensors
FR3001227B1 (fr) 2013-01-21 2015-02-27 Biomerieux Sa Moyen, procede et produit-programme d’ordinateur pour determiner le taux de concentration de micro-organismes lors d’une analyse de fluide
WO2014153194A2 (en) * 2013-03-14 2014-09-25 Seres Health, Inc. Methods for pathogen detection and enrichment from materials and compositions
US9677109B2 (en) * 2013-03-15 2017-06-13 Accelerate Diagnostics, Inc. Rapid determination of microbial growth and antimicrobial susceptibility
ITMI20130692A1 (it) 2013-04-26 2014-10-27 Copan Italia Spa Dispositivo e procedimento per il processamento automatico di piastre di coltura per campioni microbiologici
EP3000098B1 (en) 2013-05-23 2018-08-29 Biomérieux Method, system and computer program product for improving the quality of an image
JP2015073452A (ja) 2013-10-07 2015-04-20 株式会社エルメックス コロニーのカウント方法およびコロニー計数装置
WO2015101886A1 (en) 2014-01-03 2015-07-09 Copan Italia S.P.A. Apparatus and method for treatment of diagnostic information relating to samples of microbiological material
US10200625B2 (en) 2014-01-30 2019-02-05 Bd Kiestra B.V. System and method for image acquisition using supervised high quality imaging
US11041871B2 (en) 2014-04-16 2021-06-22 Bd Kiestra B.V. System and method for incubation and reading of biological cultures
FR3020485A1 (fr) 2014-04-25 2015-10-30 Biomerieux Sa Procede, systeme et produit-programme d'ordinateur pour afficher une image d'un objet
FR3021054B1 (fr) 2014-05-14 2016-07-01 Biomerieux Sa Procede et systeme d’observation d’especes biologiques sur un milieu de culture
FR3022916B1 (fr) 2014-06-30 2018-04-06 Biomerieux Procede de detection d'une presence ou d'une absence de particules biologiques.
CN106714670A (zh) 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
US9347082B2 (en) 2014-08-28 2016-05-24 Omnivision Technologies, Inc. Automated cell growth/migration detection system and associated methods
FR3028866B1 (fr) 2014-11-26 2018-03-09 bioMérieux Procede, systeme et produit-programme d'ordinateur pour determiner la croissance de micro-organismes
FR3030749B1 (fr) 2014-12-19 2020-01-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Methode d'identification de particules biologiques par piles d'images holographiques defocalisees
EP3286730A2 (en) 2015-04-21 2018-02-28 Joseph Paul Robinson Culture detection and measurement over time
KR102664258B1 (ko) 2015-04-23 2024-05-07 비디 키에스트라 비.브이. 콜로니 콘트라스트 수집
US20180094291A1 (en) * 2015-04-29 2018-04-05 3M Innovative Properties Company Culture device for anaerobic microorganisms
FR3038620B1 (fr) 2015-07-09 2019-05-24 Biomerieux Procede de detection d'une presence ou d'une absence d'au moins une premiere zone d'inhibition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003022999A3 (en) 2001-09-06 2003-10-16 Genomic Profiling Systems Inc Rapid detection of replicating cells

Also Published As

Publication number Publication date
AU2016250791B2 (en) 2021-10-21
EP3286731B1 (en) 2020-09-16
JP2018525746A (ja) 2018-09-06
US10692216B2 (en) 2020-06-23
KR20240069819A (ko) 2024-05-20
KR20170139590A (ko) 2017-12-19
JP7148581B2 (ja) 2022-10-05
AU2022200171B2 (en) 2023-08-03
CN107771212B (zh) 2021-09-10
US20200090335A1 (en) 2020-03-19
WO2016172527A2 (en) 2016-10-27
AU2022200171A1 (en) 2022-02-10
US11669971B2 (en) 2023-06-06
US20200342604A1 (en) 2020-10-29
ES2826400T3 (es) 2021-05-18
WO2016172527A3 (en) 2017-01-19
BR112017022830A2 (pt) 2018-07-17
US20180089828A1 (en) 2018-03-29
US10521910B2 (en) 2019-12-31
CN107771212A (zh) 2018-03-06
EP3286731A2 (en) 2018-02-28
ZA201707359B (en) 2022-05-25
EP3767586A1 (en) 2021-01-20
US20220383498A1 (en) 2022-12-01
AU2016250791A1 (en) 2017-11-09
JP6777726B2 (ja) 2020-10-28
JP2021043203A (ja) 2021-03-18
US11341648B2 (en) 2022-05-24
CN113667584A (zh) 2021-11-19
CA2985848A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
KR102664258B1 (ko) 콜로니 콘트라스트 수집
JP7149360B2 (ja) プレート培地上にストリークされた試料からの自動化された微生物コロニーカウントのための方法及びシステム
US12039795B2 (en) System and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant