KR101783836B1 - 미생물 검출방법, 미생물 검출장치 및 프로그램 - Google Patents

미생물 검출방법, 미생물 검출장치 및 프로그램 Download PDF

Info

Publication number
KR101783836B1
KR101783836B1 KR1020137001382A KR20137001382A KR101783836B1 KR 101783836 B1 KR101783836 B1 KR 101783836B1 KR 1020137001382 A KR1020137001382 A KR 1020137001382A KR 20137001382 A KR20137001382 A KR 20137001382A KR 101783836 B1 KR101783836 B1 KR 101783836B1
Authority
KR
South Korea
Prior art keywords
point
classifier
colony
data
color
Prior art date
Application number
KR1020137001382A
Other languages
English (en)
Other versions
KR20130038334A (ko
Inventor
쉥란 리
타카시 니시다
치주카 카이
쿠니미츠 토요시마
Original Assignee
가부시키가이샤 엔테크
가부시키가이샤 야쿠르트 혼샤
토호 쇼지 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔테크, 가부시키가이샤 야쿠르트 혼샤, 토호 쇼지 가부시키가이샤 filed Critical 가부시키가이샤 엔테크
Publication of KR20130038334A publication Critical patent/KR20130038334A/ko
Application granted granted Critical
Publication of KR101783836B1 publication Critical patent/KR101783836B1/ko

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physics & Mathematics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sustainable Development (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Cell Biology (AREA)
  • Multimedia (AREA)
  • Toxicology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Analysis (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

미생물 검출방법으로서, 배지내의 교육대상영역의 개별 포인트에 대한 색상 데이터를 기초로 특징벡터를 분류기로 생성하고, 상기 특징벡터에 의해 지정된 상기 배지내의 포인트를 고차원특징공간에 매핑하고, 고차원특징벡터에의해 지정된 포인트 세트ψ(x1)를 선형적으로 분리하여 획득하고, 배지 클래스(C1)를 색상분류하기휘한 교육단계; 및 배양중 배지의 이미지를 촬영함으로써 획득된 이미지 데이터를 이용하여 배지내의 일영역 내의 개별적인 검사 포인트에 대한 색상 데이터를 기초로 특징벡터를 분류기로 생성하고, 특징벡터에 의해 지정된 검사 포인트(xj)를 고차원특징공간 상에 매핑하고, 고차원특징벡터에의해 지정됨으로써 획득된, 상기 매핑된 포인트ψ(xj)가 배지 클래스(C1)에 속하는지 여부를 판단하여 배지 클래스(C1)에 속하지 않는 검사 포인트를 기초로 콜로니를 식별한다.

Description

미생물 검출방법, 미생물 검출장치 및 프로그램{METHOD FOR DETECTING MICROORGANISMS, DEVICE FOR DETECTING MICROORGANISMS AND PROGRAM}
본 발명은 대장균과 같은 박테리아 및 진핵생물 등의 미생물 검출로 식품 등의 검사 대상물을 검사하는 미생물 검출방법, 미생물 검출장치 및 프로그램에 관련된다.
특허문헌1은 식품 등에 포함된 미생물의 검출방법이 개시된다. 이 문헌에 공개된 검출방법에 따르면, 미생물의 검출을 위한 플레이트의 이미지가 CCD라인 센서에 의해 배양 전과 후에 촬영된다. 획득된 이미지 데이터는 미생물 콜로니(microbial colonies)를 카운트하기 위해서 비교된다. 특허문헌2는 미리 특정된 색상(color) 데이터를 이용한 미생물 검출을 위한 방법을 개시한다.
특허문헌1의 검출방법에 있어서 콜로니들은 이미지 데이터를 비교함으로써 간단히 카운트된다. 따라서 카메라와 배지(medium) 사이의 상대적인 위치가 배양 전과 후에 변화하거나, 배지의 색상 및 미생물의 색상이 유사한 경우, 미생물의 검출정확성이 충분히 확보되지 못할 수 있다. 특허문헌2의 검출방법에 있어서, 미생물은 미리 특정된 색상 데이터를 이용하여 검지된다. 따라서 미생물의 색상이 변화되거나 배지의 색상 및 미생물의 색상이 유사한 경우, 미생물의 검출정확성은 충분히 확보되지 못할 수 있다.
일본 특허공개 2000-69994호 일본 특허공개 평11-221070호
따라서 본 발명의 목적은 검사 대상물 배지에 생산된 미생물 콜로니(microbial colonies)의 정확한 검출을 가능하게 하는 미생물 검출방법, 미생물 검출장치 및 프로그램을 제공하는 것이다.
앞서 언급한 목적을 달성하기 위해 그리고 본 발명의 일 측면에 따르면, 배지에 배양된 미생물 콜로니(colony)를 검출하기 위한 방법이 제공된다. 이 방법은 교육단계 및 식별단계를 포함한다. 교육단계는: 배지영역 내에 미생물 콜로니를 포함하거나 포함하지 않는 학습대상(learning subject)의 색상 이미지(컬러 이미지)를 촬영하고, 촬영된 색상 이미지 내의 상기 배지 영역의 적어도 일부분을 교육대상영역으로 설정하는 단계; 상기 교육대상영역 내의 미생물 포인트 및 배지 포인트 중 적어도 하나의 색상 데이터를 학습 데이터로서 획득하는 단계; 색상 데이터의 특징 벡터를 획득하기 위해 상기 학습 데이터를 분류기에 공급하는 단계; 및 배지 클래스 및 미생물 클래스 중 적어도 하나로 분류하기 위해, 상기 특징 벡터에 의해 지정된 포인트들의 세트를 분류기로 분류하는 단계를 포함한다. 식별단계는: 배지영역 내의 미생물 콜로니 유무를 검사하기 위해, 촬영된 검사 대상의 색상 이미지 내의 배지영역의 적어도 일부분에 대응하는 검사 대상영역 내의 각 검사 포인트의 색상 데이터를 교육된 분류기에 공급하여 색상 데이터의 특징 벡터를 획득하는 단계; 교육단계에서 분류된 클래스 중 상기 특징벡터에 의해 지정된 포인트가 속하는 클래스를 분류기로 판단하는 단계; 및 판단결과를 기초로 콜로니를 식별하는 단계를 포함한다.
이 구성에 따르면, 교육단계에서, 배지 포인트 및 미생물 포인트 중 적어도 하나에 대한 색상 데이터가 학습 데이터로서 분류기에 공급되어 색상 데이터의 특징벡터를 획득한다. 분류기는 특징벡터에 의해 지정된 포인트의 세트를 분리하고, 배지 클래스 및 미생물 클래스 중 적어도 하나가 색상으로 분류된다. 식별단계에서, 검사대상의 색상 이미지 내의 검사대상영역의 각 검사 포인트의 색상 데이터가 교육된 분류기에 공급되어 색상 데이터의 특징벡터를 획득한다. 분류기는 특징벡터에 의해 지정된 포인트가 속하는 클래스를 판단하고, 판단결과를 기초로 콜로니를 식별한다. 따라서 배지 및 미생물을 색상 분류(분리)할 수 있는 특징공간에서 배지 또는 미생물인지 여부를 판단할 수 있다. 따라서 콜로니의 색상이 변하거나 배지의 색상과 유사하여도, 콜로니가 정확하게 식별될 수 있다. 이미지 촬영수단 및 검사대상의 상대적인 위치가 교육 및 식별기간 사이에 변해도, 콜로니가 정확하게 검출될 수 있다. 따라서 검사대상 내에 생산된 미생물 콜로니가 정확하게 검출될 수 있다.
상술한 미생물 검출방법의 교육단계에서, 배지영역 내의 미생물 콜로니가 존재하지 않는 것으로 촬영된 학습대상의 색상 이미지 내의 교육대상영역 내의 배지 포인트의 색상 데이터는 색상 데이터의 특징벡터를 획득하기 위해 학습 데이터로 서 분류기에 공급되는 것이 바람직하며, 배지 클래스는 특징벡터에 의해 지정된 포인트 세트로부터 소정의 거리 떨어진 위치에 임계값을 설정하여 분류기에 의해 분류되는 것이 바람직하다. 식별단계에서, 촬영된 검사대상의 색상 이미지 내 검사대상영역 내의 각 검사 포인트의 색상 데이터는 색상 데이터의 특징벡터를 획득하도록 교육된 분류기에 공급되는 것이 바람직하며, 특징벡터에 의해 지정된 검사 포인트가 배지 클래스에 속하는지 여부가 분류기에 의해 판단되고, 콜로니는 배지 클래스에 속하지 않는 것으로 판단된 검사 포인트를 기초로 식별되는 것이 바람직하다.
이 구성에 따르면, 분류기는 배지의 색상 데이터에 대해 교육되고, 식별단계에서, 콜로니는 배지 클래스에 속하지 않는 것으로 판단된 검사 포인트를 기초로 식별된다. 이 경우, 배지에 대한 간단한 교육단계가 수행되는 것으로 충분하다. 따라서 검출과정이 상대적으로 간단하다.
상기 설명한 미생물 검출방법의 교육단계에서, 촬영된 학습대상의 색상 이미지의 교육대상영역 내의 배지 포인트의 색상 데이터 및 미생물 포인트의 색상 데이터가 색상 데이터의 특징벡터를 획득하기 위해 학습 데이터로써 분류기에 공급되는 것이 바람직하며, 특징벡터에 의해 지정된 배지 포인트 세트 및 미생물 포인트 세트는 배지 클래스 및 미생물 클래스로 분류하기 위해 분류기로 분리되는 것이 바람직하다. 식별단계에서, 촬영된 검사대상의 색상 이미지의 검사대상영역 내의 각 검사 포인트의 색상 데이터는 바람직하게는 색상 데이터의 특징벡터를 획득하기 위해 교육된 분류기에 공급되고, 바람직하게는 특징벡터에 의해 지정된 검사 포인트가 배지 클래스 및 미생물 클래스 중 속하는 클래스를 분류기로 판단하고, 바람직하게는 미생물 클래스에 속하는 것으로 판단된 미생물 포인트를 기초로 콜로니가 식별된다.
이 구성에 따르면, 분류기는 배지의 색상 데이터 및 미생물의 색상 데이터를 교육하고, 배지 클래스 및 미생물 클래스를 분류한다. 식별단계에서, 교육된 분류기는 배지 클래스 및 미생물 클래스 중 검사 포인트가 속하는 클래스를 판단하여 콜로니를 식별한다. 따라서 콜로니 검출정확성이 더 증가한다.
상술한 미생물 검출방법의 교육단계 및 식별단계에서, 바람직하게는 분류기로 공급된 데이터는 색상 데이터 외에, 형태 데이터 및 면적 데이터 중 적어도 하나를 더 포함한다.
이 구성에 따르면 색상 데이터 외에 형태 데이터 및 면적 데이터 중 적어도 하나가 교육기간동안 분류기에 공급된다. 따라서 콜로니 검출정확성이 더 증가한다.
상술한 미생물 검출방법의 교육단계에서, 클래스 분류와 분리되어, 바람직하게는 배지영역 내의 노이즈 포인트의 노이즈 데이터가 수집된다. 식별단계에서 바람직하게는 미생물 클래스에 속하는 검사 포인트가 노이즈 포인트인지 여부가 노이즈 데이터를 기초로 판별된다. 바람직하게는 콜로니는 노이즈 포인트로 판별되지 않는 검사 포인트를 기초로 식별된다.
이 구성에 따르면, 노이즈 데이터는 교육단계에서 수집된다. 식별단계에서, 미생물 클래스에 속하는 검사 포인트가 노이즈 포인트인지 노이즈 데이터를 기초로 판별된다. 노이즈 포인트로 판별되지 않은 검사 포인트를 기초로 콜로니가 식별된다. 따라서 배지영역 내의 노이즈 포인트가 미생물 포인트로 검출되는 것을 방지할 수 있다.
상술한 미생물 검출방법의 식별단계에서, 바람직하게는 배지영역은 외주영역 및 중앙영역으로 분리되고, 바람직하게는 식별은 배지의 중앙영역을 검사대상영역으로 하여 수행되고, 바람직하게는 색상 에지 검출로 검출된 색상 에지를 기초로 외주영역에 대해 콜로니를 검출한다.
이 구성에 따르면, 특징벡터에 의해 지정된 검사 포인트가 클래스에 속하는지 여부에 관한 판단결과를 기초로 배지 내 중앙영역의 콜로니가 검출된다. 반면, 배지의 외주영역 내의 콜로니는 색상 에지 검출에 의해 검출된 색상 에지를 기초로 검출된다. 따라서 콜로니가 배지영역의 전체영역에서 정확하게 검출될 수 있다.
상술한 미생물 검출방법의 교육단계에서, 배양시작부터 콜로니 생산 전 소정의 기간 동안 배지 포인트를 분류기가 교육하도록 검사대상은 학습 대상으로 이용되어 배지 클래스를 분류한다. 식별단계에서, 바람직하게는 상기 소정의 기간 후에 검사대상의 색상 이미지가 이용된다.
이 구성에 따르면, 배양 시작부터 콜로니의 생산 전까지 소정의 기간 동안 검사대상이 학습대상으로 교육기간에서 이용된다. 식별과정에서, 상기 소정의 기간 후에 검사대상의 색상 이미지가 이용된다. 교육을 위해 검사대상을 이용함으로써, 검출정확성이 증가하고 교육 및 식별이 상대적으로 효율적인 방법으로 수행될 수 있다.
앞의 목적을 달성하기 위해, 본 발명의 제2 측면에 따르면, 배지 내에 배양된 미생물 콜로니의 존부를 검사하기 위한 미생물 검출장치가 제공된다. 이 장치는 교육수단 및 식별수단을 포함한다. 교육수단은배지영역 내에 미생물 콜로니를 포함하거나 포함하지 않는 학습대상의 색상 이미지를 촬영하고, 촬영된 색상 이미지 내의 배지영역의 일부분을 교육대상영역으로 설정하고, 교육대상영역 내 배지 포인트 및 미생물 포인트 중 적어도 하나의 색상 데이터를 학습 데이터로서 획득하고, 분류기를 가지며, 색상 데이터의 특징벡터를 획득하기 위해 분류기에 학습 데이터를 공급한다. 분류기는 배지 클래스 및 미생물 클래스 중 적어도 하나의 클래스를 분류하기위해 특징벡터에 의해 지정된 포인트 세트를 분리한다. 식별수단은 배지영역 내의 미생물 콜로니의 유무를 검사하기 위해, 촬영된 검사대상의 색상 이미지 내의 배지영역의 적어도 일부분에 대응하는 검사대상영역의 각 검사 포인트에 대한 색상 데이터를 교육된 분류기에 공급하여 색상 데이터의 특징벡터를 획득하고, 상기 교육수단에 의해 분류된 클래스 중 특징벡터에 의해 지정된 포인트가 속하는 클래스를 분류기로 판단하고, 판단결과를 기초로 콜로니를 식별한다.
이 구성에 따르면, 상술한 미생물 검출방법과 동일한 효과를 얻을 수 있다.
앞의 목적을 달성하기 위해, 본 발명의 제3측면에 따르면, 배지 내에 배양된 미생물 콜로니를 검출하기 위한 미생물 검출처리과정을 컴퓨터가 실행하도록 구성된 프로그램이 제공된다. 이 프로그램은 컴퓨터가 교육단계 및 식별단계를 실행하게 한다. 교육단계는: 배지영역 내에 미생물 콜로니를 포함하거나 포함하지 않는 학습대상의 색상 이미지를 촬영하는 단계, 촬영된 색상 이미지 내 배지의 적어도 일부분을 교육대상영역으로 설정하는 단계; 교육대상영역 내의 배지 포인트 및 미생물 포인트 중 적어도 하나의 색상 데이터를 학습 데이터로서 획득하는 단계; 색상 데이터의 특징벡터를 획득하도록 분류기에 학습 데이터를 공급하는 단계; 및 특징벡터에 의해 지정된 포인트 세트를 배지 클래스 및 미생물 클래스 중 적어도 하나로 분류하도록 분류기로 분리하는 단계를 포함한다. 식별단계는: 배지영역 내의 미생물 콜로니의 유무를 검사하도록 촬영된 검사대상의 색상 이미지에서 배지영역의 적어도 일부분에 대응하는 검사대상영역내 각 검사 포인트의 색상 데이터를 교육된 분류기에 공급하여 색상 데이터의 특징벡터를 획득하는 단계; 교육단계에서 분류된 클래스 중에서 특징벡터에 의해 지정된 포인트가 속하는 클래스를 분류기로 판단하는 단계; 및 판단결과를 기초로 콜로니를 식별하는 단계를 포함한다.
이 구성에 따르면, 컴퓨터는 교육단계 및 식별단계를 실행한다. 따라서 상술한 미생물 검출방법과 동일한 효과를 얻을 수 있다.
상술한 미생물 검출방법의 식별단계에서, 미생물 클래스에 속하는 것으로 판단된 검사 포인트의 연쇄를 포함하는 폐영역에 대응하는 콜리니 후보군의 면적이 판단된다. 이 면적이 미생물의 종에 따라 정의된 면적조건을 충족한 경우, 콜로니 후보군은 콜로니로 식별되는 것이 바람직하다.
상술한 미생물 검출방법의 교육단계 및 식별단계에서, 적어도 색상 데이터 및 형태 데이터가 분류기에 공급되는 것이 바람직하다. 교육단계에서, 콜로니의 색상 데이터 및 형태 데이터는 색상 데이터 및 형태 데이터의 특징벡터를 획득하기위해 학습 데이터로서 분류기에 공급되는 것이 바람직하고, 특징벡터에 의해 지정된 포인트 세트를 분리함으로써 콜로니 클래스가 분류기에 의해 분류되는 것이 바람직하다. 식별단계에서, 검사 포인트는 검사대상영역 내에 색상으로 구별되는 영역으로 나타나는 콜로니 후보군 포인트인 것이 바람직하고, 콜로니 후보군 포인트의 색상 데이터 및 형태 데이터는 색상 데이터 및 형태 데이터의 특징벡터를 획득하기 위해 분류기에 공급되는 것이 바람직하고, 특징벡터에 의해 지정된 포인트가 콜로니 클래스에 속하는지 여부를 분류기에 의해 판단되는 것이 바람직하며, 콜로니는 판단결과를 기초로 식별되는 것이 바람직하다.
상술한 미생물 검출방법에 있어서, 분류기는 커널방법을 기초로 한 서포트벡터머신, 신경망, 및 가우시안혼합모델 중 적어도 하나를 포함하는 것이 바람직하다.
상술한 미생물 검출방법에 있어서, 분류기는 커널방법을 기초로 한 서포트 벡터머신인 것이 바람직하다. 교육단계에서, 고차원특징벡터는 배지 포인트 및 미생물 포인트 중 적어도 하나에 대한 색상 데이터의 특징벡터를 분류기의 매핑부를 이용해 커널방법에 따라 고차원특징공간에 매핑함으로써 획득되는 것이 바람직하고, 고차원특징벡터에의해 지정된 포인트 세트는 배지 클래스 및 미생물 클래스 중 적어도 하나로 분류하기위해 분류기에 의해 선형적으로 분리되는 것이 바람직하다. 식별단계에서, 고차원특징벡터는 분류기의 매핑부를 이용해 커널방법에 따라 검사 포인트의 색상 데이터의 특징벡터를 고차원특징공간상에 매핑함으로써 얻어지는 것이 바람직하고, 교육단계에서 분류된 클래스 중 고차원특징벡터에 의해 지정된 포인트가 속하는 클래스를 분류기로 판단하는 것이 바람직하고, 콜로니가 이 판단결과를 기초로 식별되는 것이 바람직하다.
이 방법에 따르면, 커널방법으로 포인트를 고차원 공간에 매핑하여 획득된 고차원특징벡터에의해 지정된 포인트 세트는 선형적으로 분리될 수 있다.따라서 클래스 분류가 정확하게 수행될 수 있고, 미생물이 정확하게 검출될 수 있다.
상술한 미생물 검출장치는 바람직하게는 색상 이미지를 획득하기 위한 이미지 촬영수단 및 식별수단이 콜로니를 식별한 경우 콜로니가 검출된 것을 알리는 알림수단을 포함한다.
도1은 본 발명의 제1실시예에 따른 검사 시스템을 보여주는 평면도이다.
도2는 검사장치의 전기적인 구성을 보여주는 블록도이다.
도3은 검사장치의 전면도이다.
도4는 분류기의 기능을 설명하는 그래프이다.
도5(a) 내지 5(d)는 다른 단계의 샘플을 보여주는 구성도이다.
도6은 분류기의 교육단계를 설명하는 그래프이다.
도7(a) 내지 7(b)는 분류기에 의해 미생물의 식별을 설명하는 그래프이다.
도8(a) 내지 8(b)는 검출처리장치에 의해 검출된 박테리아의 수를 보여주는 그래프이다.
도9는 미생물 검출처리루틴을 보여주는 순서도이다.
도10은 교육처리루틴을 보여주는 순서도이다.
도11은 식별처리루틴을 보여주는 순서도이다.
도12는 본 발명의 제2실시예에 따른 교육 및 식별을 설명하는 그래프이다.
도13은 본 발명의 제3실시예에 따른 교육 및 식별을 설명하는 그래프이다.
(제1 실시예)
본 발명에 따른 일 실시예가 도1 내지 도11을 참조하여 설명될 것이다.
도1과 같이, 미생물검사시스템(이하에서는 간단히 “검사시스템(11)”으로 언급한다)은 벽(12)으로 둘러싸인 항온실(constant temperature room; 13)을 포함한다. 항온실(13)내 온도는 공조기(14)에 의해서 소정의 온도로 유지된다. 검사시스템(11)은, 항온실(13) 내에, 도1의 오른쪽 아래부분, 투입선반(feeding shelf;15), 배출선반(discharge shelf;16), 및 배출선반(17)을 포함한다. 투입선반(15)으로, 검사대상의 일례인 샘플S(예컨대, 배지를 수용하는 페트리접시(petri dish))가 항온실(13) 내로 투입된다. 항온실(13)에서, 정상검사결과(fair inspection result)를 갖는 샘플S는 배출선반(16)을 통해서 배출되고, 불량검사결과(inferior inspection result)를 갖는 샘플S는 배출선반(17)을 통해서 배출된다. 항온실(13)은 샘플S를 검사하기 위한 미생물검사장치(이하에서는 간단히 “검사장치(19)”라고 언급한다), 복수의 저장선반(18) 및 수송로봇(20)을 포함한다. 항온실(13)로 투입된 샘플S는 배양을 위해 각 저장선반(18)에 저장된다. 수송로봇(20)은 선반(15) 내지 선반(18)과 검사장치(19) 사이에서 샘플S를 수송한다. 선반(15)내지 선반(17) 각각은 컨베이어(15a) 내지 (17a)를 포함하며, 이것들은 항온실(13)의 내부 및 외부를 연결한다. 샘플S가 투입되고 배출되는 경우, 컨베이어(15a) 내지(17a)의 외부 가장자리와 중간 부분에 제공된(설치된) 이중셔터(dual shutter;21) 및 (22) 각각은 순차적으로 하나씩 개방되고, 이에 따라, 외부로부터 항온실(13) 내부로의 미생물 등의 진입을 방지하게 된다.
수송로봇(20)은 항온실(13)의 바닥에 배치된 회전메인바디(20a) 및 메인바디(20a)로부터 확장된 복수의 연결부위(joint)를 갖는 암(arm;20b)을 포함한다. 샘플S는 암(20b)의 끝부분에 있는 척 부재(chuck member;20c)에 의해 단단히 잡히고, 각각의 선반(15) 내지 (18)과 검사장치(19) 사이에서 수송된다.
검사장치(19)는 샘플S를 위치시키기 위한 검사대(검사스테이지;23) 및 검사대(23) 위 샘플S의 이미지를 촬영하기 위한 카메라(24)를 포함한다. 저장선반(18)에 저장된 샘플S는 배양기간 동안 정기적으로 검사장치(19)에 의해 검사된다. 검사장치(19)는 카메라(24)에 의해 촬영된 샘플S의 색상 이미지(color image)에 기초하여 샘플S의 배지 내의 미생물 콜로니를 검출한다. 콜로니 검출 없이 소정의 배양기간이 완료된 샘플S는 정상샘플로서 배출선반(16)을 통해서 배출된다. 반면, 콜로니 검출이 있는 샘플S는 불량샘플로서 배출선반(17)을 통해 배출된다.
검사시스템(11)은 항온실(13) 외부에 컨트롤러(25) 및 개인용 컴퓨터(26)를 포함한다. 컨트롤러(25)는 공조기(air-conditioner;14), 수송로봇(20), 컨베이어(15a)내지(17a), 셔터(21)및(22)등을 제어한다. 개인용 컴퓨터(26)는 검사장치(19)의 일부분이고, 카메라에 의해 촬영된 샘플S의 색상 이미지 데이터를 수신한다. 개인용 컴퓨터(26)는 미생물 검출처리를 수행하고, 이 처리에서, 특정 알고리즘으로 색상 데이터를 이용하여 샘플S에서 배지 및 미생물을 판별함으로써 콜로니가 검출된다.
도3과 같이, 검사장치(19)는 검사대(23), 검사대(23)상의 샘플S를 조광(illuminate)하는 원형광원(circular light source;28), 반사판(29), 검사대(23)상의 샘플S의 이미지를 촬영하는 카메라(24), 및 미생물 검출처리장치(이하에서는, 간단히“검출처리장치(40)”라고 언급한다)를 포함한다. 반사판(29) 및 광원(28)은 검사대(23)의 반대편에 배치된다. 검출처리장치(40)는 개인용 컴퓨터(26)의 메인바디(31) 내에 설치되고, 카메라(24)는 이미지 데이터를 메인바디(31)로 전송한다.
검사대(23)는 유리와 같은 광 투명물질로 만들어진다. 검사대(23)는 지지부재(미도시)에 의해 움직일 수 있도록 지지된다. 광원(28)은 원형이고, 카메라(24)와 검사대(23)사이에 배치된다. 광원(28)의 중심축은 카메라(24)의 광축에 대응한다. 카메라(24)는 광원(28)의 개구를 통해서, 검사대(23)상의 전체 샘플S의 이미지를 촬영한다. 반사판(29)이 예컨대, 확산판(diffuser plate)으로 형성된다. 반사판(29)은 광원(28)으로부터의 광을 확산광으로 반사한다. 따라서 카메라(24)는 검사대(23)상의 샘플S의 이미지만을 촬영할 수 있다.
샘플S는 배지M(예컨대, 한천배지(agar medium))을 포함하는 페트리접시(35)이다(예컨대, 유리 패트리 접시). 접시(35a)를 커버링하는 리드(35b)를 포함하는 페트리접시(35)는 뒤집히고, 검사대(23)상에 위치되어, 리드(35b)가 카메라(24)의 반대방향을 바라보게 된다. 이것은 리드(35b)가 제거될 경우, 항온실(13) 내의 미생물이 있는 배지M의 오염을 방지하기 위함이다. 항온실(13) 내부가 충분하게 청결하면, 리드(35b)는 검사에서 제거될 수도 있다.
접시(35a)는 검사대상인 액상음료(liquid beverage)를 특정비율로 포함한다. 페트리접시(35) 내의 배지M은 소정의 배양기간 동안 소정의 온도 조건의 항온실(13) 내에서 배양된다. 검사장치(19)는 페트리접시(35)를 배양 초기부터 배양기간 동안 복수의 소정의 시간에 검사한다. 수송로봇(20)이 반복적으로 페트리접시(35)를 검사대(23) 위로 이동시키면, 검사대 위의 페트리접시(35)의 위치는 그 원래 위치에서 수 밀리미터(few millimeters)에서 약 1cm 까지 움직이고, 페트리접시(35)의 각은 수 각도(few angle)에서 약 30도(degrees)정도 움직일 수 있다.
카메라(24)는 R(레드), G(그린), 및 B(블루)의 세 가지 이미징요소(36)를 포함하는 쓰리칩(three chips) 색상 카메라이다. 이미징 요소(36)는 CCD(전하결합소자; charge coupled device) 이미지 센서 또는 CMOS 이미지 센서등일 수 있다. 카메라(24)는 자동 포커싱(오토포커스) 기능 및 줌 기능을 갖는 렌즈부(37)를 포함한다. 카메라(24)는 검사대(23) 위의 샘플S(페트리접시(35))의 이미지를 소정의 배율(magnification)로 촬영한다. 렌즈부(37)를 통해서, 카메라(24)로 들어오는 빛은 이색성 미러(dichroic mirror) 또는 이색성 프리즘(dichroic prism)(미도시)에 의해 세 개의 주요 색상인 RGB 광으로 분리된다. 분리된 RGB 광은 각각의 이미징요소(36)로 각각 수신된다. 카메라(24)는 단일칩 색상 카메라일 수도 있다.
개인용 컴퓨터(26)는 메인바디(31), 입력동작부(32)를 포함하고, 입력동작부(32)는 마우스(32m), 키보드(32k), 모니터(33; 디스플레이)를 포함한다. 카메라(24)는 메인바디(31)에 연결된다. 카메라(24) 내의 각각의 이미징요소(36)에서 생성된 아날로그 신호는 카메라(24) 내에서 아날로그/디지털(A/D)변환되고, RGB색상 이미지 데이터로 메인바디(31)로 전송된다. 메인바디(31) 내의 검출처리장치(40)는 카메라(24)로부터 전달된 샘플S의 색상 이미지 데이터를 기초로, 배지M내의 미생물 콜로니를 검출한다. 검출처리장치(40)는 본 발명에 따른 미생물 검출장치에 해당된다.
메인바디(31)는 마이크로컴퓨터(이하에서는 간단히 “컴퓨터(38)”라고 한다)를 포함하며, 이 컴퓨터는 CPU(중앙처리장치), 및 메모리(예컨대, RAM)(도 2를 참조)를 포함한다. 메인바디(31) 내의 메모리는 CD-ROM등과 같은 기억매체에서 설치된 미생물 검출처리 프로그램을 저장한다. 컴퓨터(38)는 메모리에서 읽어온(read out) 프로그램을 실행시키는 검출 처리장치(40)로서 기능한다. 검출처리장치(40)에 의한 미생물의 검출처리는 하기에서 자세하게 설명한다.
도2와 같이, 메인바디(31) 내의 컴퓨터(38)는 카메라(24) 및 광원(28)과 연결된다. 컴퓨터(38)는 카메라(24)에 의한 이미지 촬영을 제어하고(초점 제어, 줌 제어 등), 광원(28)에 의한 조명을 제어한다. 컴퓨터(38)는 또한 입력동작부(32) 및 모니터(33)와 연결된다. 컴퓨터(38)는 입력동작부(32)에 입력된 다양한 설정 데이터를 메모리(42)에 저장하고, 샘플S의 이미지 또는 콜로니의 검출결과를 모니터(33)상에 표시한다.
도2에서, 검출처리장치(40)에서 보이는 각각의 기능블록들은 컴퓨터(38)가 검출처리를 위해 프로그램을 구동하는 경우에 실현된다. 검출처리장치(40)는 제어부(41), 메모리(42), 입력데이터생성부(43), 분류기(45), 교육처리부(46), 및 식별처리부(47)를 포함한다.
제어부(41)는 전체 검출처리를 제어하고, 설정한 데이터를 메모리(42)에 저장한다. 제어부(41)는 카메라(24)에 의해 촬영된 샘플S 및 콜로니의 검출 결과 이미지를 모니터(33)상에 표시한다. 제어부(41)는 모니터(33)상에 설정 스크린을 표시한다. 오퍼레이터는 입력동작부(32)를 동작시켜서 배양기간, 교육기간(학습기간), 식별기간(검사기간), 학습간격(학습샘플링간격), 식별간격(식별샘플링간격), 노이즈 수집의 유무, 임계값 설정을 위한 거리, 바깥쪽 주변부(outermost periphery; 외주) 검출의 유무, 판별(discrimination)의 유무, 콜로니 식별조건(면적조건 또는 배율조건) 등과 같은 다양한 설정 데이터를 입력하고 메모리(42)에 저장한다. 메모리(42)는 하드디스크 또는 RAM의 일부 저장영역일 수 있다.
제어부(41)는 타이머(41a)를 포함한다. 타이머(41a)는 배양의 시작에서부터 배양기간의 끝까지 시간을 측정한다. 배양기간은 “교육기간” 및 “식별기간”으로 구분될 수 있고, 교육기간은 배양의 시작부터 소정의 시간까지 이며, 식별기간은 상기 소정의 시간 후 배양기간의 끝까지다. 배양기간은 검출대상 미생물의 종류에 따라 정의될 수 있고, 예컨대, 10 내지 30시간(예컨대, 18시간) 내의 범위로 정의될 수 있다. 제어부(41)는 타이머(41a)에 의해 측정된 시간을 기초로, 교육기간 또는 식별기간에 있는지, 학습 또는 검사 샘플링 기간이 도달하였는지, 배양기간이 종료되었는지 등을 확인한다.
입력데이터생성부(43)는 카메라(24)로부터 입력된 색상 이미지 데이터(입력 이미지)로부터 분류기(45)에 공급될 입력 데이터를 획득한다. 입력 데이터는 적어도 색상 데이터를 포함한다. 구체적으로, 입력데이터생성부(43)는 카메라(24)로부터 입력된 색상 이미지 데이터 내에 정의된 범위 내의 각 픽셀에 대한 색상 데이터(RGB 그라데이션 값)를 획득한다. 색상 데이터는 256 그라데이션을 갖는 R, G, B를 나타내는 그라데이션 값으로 제공된다. 색상 데이터의 그라데이션 숫자는 적절하게 변화될 수 있다.
분류기(45)는, 커널방법(kernel method)을 기초로 한 서포트벡터머신(SVM), 신경망(neural network)(MLP: 멀티 레이어 퍼셉트론) 및 가우시안혼합모델(GMM)에서 선택된 적어도 하나의 알고리즘에 의해 형성된다. 분류기(45)는 두 개 또는 세 개의 SVM, MLP 및 GMM을 포함한다. 오퍼레이터(operator)가 수동적으로 SVM, MLP, 및/또는 GMM을 선택하거나 검출처리장치(40)가 자동적으로 SVM, MLP 및 GMM에서 검출대상에 적절한 하나를 선택할 수도 있다.
분류기(45)는 특징추출부(51), 매핑부(52), 선형분리부(53), 및 판단부(54; 식별처리부)를 포함한다. 특징추출부(51)는 상술한 SVM, MLP, GMM 중 적어도 하나의 공지의 함수 알고리즘으로 형성된다. 특징추출부(51)는 입력데이터생성부(43)로부터의 입력 데이터의 입력변수를 하기의 함수 알고리즘을 이용해 특징추출연산을 수행하고, 이러한 과정을 통해 특징벡터x (특징벡터 데이터)가 생성된다. 픽셀의 색상 데이터(RGB 그라데이션값)가 사용되는 경우, 특징벡터x는 RGB 세 색상의 특징벡터요소(xr, xg, xb)를 포함하는 3차원 벡터로 표현된다. 특징벡터x는 RGB 색상 및 RGB색 공간 이외의 다른 색상 공간(예컨대, HSV 색상 공간)의 적어도 일부분의 색 요소의 조합일 수 있다. 하기의 설명에서, 색상 데이터는 RGB 그라데이션값의 3차원 데이터로 설명된다.
분류기(45)가 서포트벡터머신(SVM)인 경우, 매핑부(52)가 제공된다. 매핑부(52)는 특징추출부(51)로부터 보내진 특징벡터에 의해 지정된 입력 포인트x를 커널 방법(kernel method)을 기초로 한 컴퓨팅 알고리즘에 따라 고차원 특징공간(high dimensional feature space)에 매핑한다. 매핑부(52)는 그 후, 고차원 특징벡터(고차원 특징벡터 데이터)를 생성하고, 고차원 특징벡터에 의해 지정된 출력 포인트ψ(x)(매핑된 포인트)를 출력한다. 하기의 설명에서, 분류기(45)는 커널방법을 기초로 한 서포트벡터머신(SVM)으로 설명된다.
도4는 입력공간(특징공간)에서 고차원 특징공간상으로의 매핑을 설명하는 그래프이다. 도4의 왼쪽 그림은 특징벡터에 의해 지정된 입력 포인트x=(xr, xg, xb)를 포함하는 입력공간을 보여준다. 도4의 오른쪽 그림은 고차원 특징벡터에 의해 지정된 출력 포인트(매핑된 포인트)ψ(x)(=ψ(xr, xg, xb))를 보여준다. 도4에서, SVM의 특징에 대한 설명의 편의를 위해, 배지의 입력 포인트x1(배지 포인트) 및 미생물의 입력 포인트x2(미생물 포인트)가 입력공간에 표시된다. 입력 포인트x는 색상 특징량(xr, xg, xb)을 포함하는 3차원 데이터를 갖는다. 설명의 편의를 위해, 입력공간(특징공간)이 도4의 2차원 좌표 상의 두 가지 색상 R 및 G의 색상 특징량을 갖는 2차원 공간으로 표시된다.
입력공간 내의 3차원 입력 포인트x1 및 x2는 고차원 공간상에 매핑되며, 여기서, 추가적인 공간(additional dimension)은 매핑부(52)에 의해서 추가되는 것이고, x1 및 x2는 고차원 특징벡터에 의해 지정된 출력 포인트ψ(xr, xg, xb)로 출력된다. 출력 포인트ψ(xr, xg, xb, ...)는 n차원 (n>3)특징벡터 데이터이고 n개 구성요소(ψxr, ψxg, ψxb, ...)를 포함한다. (xr, xg, xb) 및 (ψxr, ψxg, ψxb, ...)는 벡터의 엔드 포인트(endpoint)의 좌표이다.
도4의 입력공간에서 배지 포인트 세트x1과 미생물 포인트 세트x2는 선형적으로 분리가능하지 않다. 그러나 매핑된 고차원특징공간에서, 배지 포인트x1이 매핑된 포인트 세트ψ(x1) 및 미생물 포인트x2가 매핑된 포인트 세트ψ(x2)는 마진 최대화(margin maximization)에 의해 지정된 초평면(hyperplane)을 통해 선형적으로 분리 가능하다. 그러나 제1실시예에서, 입력 포인트x는 단지 배지 포인트x1이고 따라서, 배지 클래스C1 만이 초평면에 의해 분류되며, 여기서 상기 초평면은 마진 최대화에 의해 정의되는 것이 아닌 포인트 세트 ψ(x1)로부터 외부로 소정의 거리(임계 설정 거리 ΔL)의 임계값에 의해 정의된다(도6참조).
선형분리부(53)는 포인트 세트ψ(x)를 선형적으로 분리하며, 이 포인트 세트 ψ(x)는 교육기간 중에 초평면(분리평면)에 의해 획득된 배지 포인트 세트 ψ(x1) 및 미생물 포인트 세트 ψ(x2) 중 적어도 하나이다. 선형분리부(53)는 배지 클래스C1 및 미생물 클래스C2 사이에 적어도 하나의 클래스C를 분류한다.
도6과 같이, 배지의 색상 데이터에 대한 학습 데이터로 분류기(45)가 교육되는 본 예에서, 입력 포인트는 단지 입력공간에 표시된 배지 포인트x1이고 배지 포인트 세트ψ(x1)는 단지 입력 포인트가 매핑된 고차원특징공간에 형성된다. 선형분리부(53)는 초평면으로 포인트 세트ψ(x1)를 선형적으로 분류하고, 배지 클래스C1 만을 색상 분류(color-classifies)한다. 메모리(42)는 하나의 클래스만 분류된 경우, 임계값 설정을 위한 거리ΔL에 대한 데이터를 초평면을 정의하기 위한 설정 데이터로서 저장한다. 선형분류부(53)는 포인트 세트ψ(x1) 중에서(예컨대, 서포트 벡터로 기능하는 다수의 포인트) 가장 바깥쪽 포인트로부터 바깥쪽으로 거리ΔL 만큼 떨어진 위치에 임계값을 설정한다. 따라서 도6의 초평면이 정의되고, 선형분리부(53)는 배지 클래스C1을 색상 분류한다. 하나의 클래스만가 분류되면, 분류기(45)는 커널방법을 기초로 한 서포트벡터머신(SVM) 및 가우시간혼합모델(GMM) 중 적어도 하나로 수행된다.
도2의 판단부(54; 식별처리부)는 식별기간에 검사 포인트가 어느 클래스에 속하는지 식별하기위해 이용된다. 도2의 교육처리부(46)는 분류기(45)를 교육하기위한 필수 구성으로서, 교육제어부(56), 배지영역검출부(57) 및 노이즈수집부(58)를 포함한다. 교육제어부(56)는 교육에 필요한 설정데이터 및 다양한 명령어들을 분류기(45)에 제공하고, 교육에 필요한 명령어들을 배지영역검출부(57) 및 노이즈수집부(58)에 제공한다. 교육수단은 교육처리부(46) 및 분류기(45)로 구성된다.
카메라(24)로 촬영된 샘플S의 이미지가 설명된다. 도5(a) 내지 5(d)는 배양기간에 카메라(24)로 촬영된 샘플 이미지를 보여준다. 도5a는 교육동안의 이미지, 도5b는 식별(identification) 초기 이미지, 도5(c)는 식별 중에 콜로니가 생산된 경우 이미지, 도5(d)는 콜로니 검출결과에 카메라로 촬영한 이미지를 중첩하여(superimposing) 획득한 이미지를 모니터(33)상에 디스플레이한 것이다. 도5(a)에서 예로든 배지M은 검사대상 액상음료 내에 용해고형성분(insoluble solid component)의 노이즈N을 포함한다. 검사대상이 과실(fruit)을 포함하는 액상음료인 경우, 예컨대 껍질(fruit skin), 과육(fruit pulp), 섬유(fiber), 씨앗(seed)등과 같은 그 안에 포함된 미세 고체들은 콜로니 검출에 고장을 유발하는 노이즈N이 될 수 있다.
배지영역검출부(57)는 샘플 이미지에서 배지M 내의 영역(이하에서는 “배지영역MA”라고 언급한다)을 검출하고, 또한 배지영역MA 내에서 교육로컬영역TA를 검출한다(도5a 참조). 교육로컬영역TA는 교육대상영역이고, 이 영역은 배지M의 색상을 학습하도록 분류기(45)에 의해 이용된다. 본 예에서, 교육과정의 부하를 줄이기 위해, 배지영역MA의 부분적인 영역이 교육로컬영역TA로써 선택된다. 구체적으로, 배지영역검출부(57)는 이미지 처리함으로써 페트리접시(35)내의 일영역을 배지영역MA에서 분리하고, 또한 배지영역MA내에서 노이즈N이 없는 로컬영역을 검출하며, 그 후 이 노이즈N이 없는 영역은 교육로컬영역TA로 설정된다. 노이즈N과 배지M 사이의 색상 차이를 이용함으로써, 상이한 색상을 가진 영역사이의 경계가 색상 에지(color edge)로 검출된다. 오퍼레이터는 입력동작부(32)를 동작시킴으로써 교육로컬영역TA를 수동으로 설정할 수 있다. 교육로컬영역TA의 수 및 형태는 적절하게 선택될 수도 있다.
노이즈수집부(58)는 노이즈 데이터를 수집한다. 노이즈 데이터는 위치판별(position discrimination)을 위해 이용되고, 노이즈 및 콜로니는 그들의 위치에 기초해서 식별된다. 노이즈수집부(58)는 교육기간 동안 색상 에지검출 또는 분류기를 이용하여 노이즈N을 검출한다. 그 후, 노이즈수집부(58)는 검출된 노이즈N의 위치를 포함하는 노이즈 데이터를 수집한다. 예컨대, 분류기(45)가 사용되는 경우, 교육로컬영역TA에서 적어도 한번 교육 후에 배지 클래스C1이 분류되고, 그리고 노이즈수집부(58)는 배지영역MA의 각 픽셀에 대한 입력 데이터를 분류기(45)에 입력하고, 출력 포인트로 얻어진 포인트 세트ψ(x) 또는 포인트 세트x 중에서 배지 클래스C1에 속하지 않는 노이즈 포인트를 식별한다. 그 후 노이즈수집부(58)는 노이즈 포인트의 연쇄(series)를 포함하는 폐영역인 노이즈영역을 획득하고, 상기 노이즈영역 내의 일 영역(위치)에서 연산을 수행하여 노이즈 데이터를 획득한다. 노이즈 데이터는 노이즈영역의 크기(area)나 색농도값(gray value)을 포함할 수 있다.
식별처리부(47)는, 식별기간동안 배지M의 각 포인트들의 입력 데이터를 기초로 특징추출부(51)에 의해 생성된 검사 포인트(GMM의 경우) 또는 매핑부(52)에 의해 검사 포인트xj를 매핑함으로써 획득된 매핑된 포인트ψ(xj)(SVM의 경우)가 상기 클래스에 속하는지 여부를 판단한다. 식별처리부(47)는 상기 판단결과를 기초로 검사 포인트xj가 배지 포인트인지 미생물 포인트인지 식별한다. 추가적으로, 식별처리부(47)는 미생물 포인트로 식별된 포인트들의 연쇄(픽셀들)를 포함하는 폐영역을 추출한다. 그 후, 식별처리부(47)는 다양한 판단조건을 고려하여 상기 폐영역이 미생물의 콜로니인지 여부를 식별한다. 이와 같은 식별처리를 수행하기 위해, 식별처리부(47)는 식별제어부(61), 배지영역분할부(62), 외주검출부(outermost periphery detecting section;63), 판별부(discriminating section; 64), 라벨링처리부(65) 및 콜로니검출부(66)를 포함한다. 이 식별수단들은 식별처리부(47) 및 교육된(학습 후) 분류기(45)로 구성된다.
식별처리가 수행되면, 식별제어부(61)는 분류기(45) 및 각 부(62) 내지 (66)로 명령을 제공한다. 배지영역분할부(62)는 외주 검색이 “포함”으로 설정되면 시작된다. 이 경우, 배지영역분할부(62)는 도 5b 에 나타난 바와 같이, 이미지 내의 배지영역MA를 중앙메인영역(A1; 중앙영역) 및 외주로컬영역(A2; 외주영역)으로 분할한다. 중앙영역은 외주영역에 부분적으로 겹쳐질 수 있다.
타이머(41a)에 의해 측정된 시간이 교육기간 내인 경우, 제어부(41)는 교육 처리부(46)를 시작하여 분류기(45)를 교육한다. 측정된 시간이 식별기간(검사기간) 내인 경우, 제어부(41)는 식별처리부(47)를 시작하고 학습된 분류기(45)로 검사를 수행한다.
본 실시예에서, 분류기(45)를 이용한 미생물 검출 처리는 메인영역(A1)에서 수행된다. 분류기(45)의 특징추출처리는 교육에 이용된 것과 유사한 알고리즘에 따라서, 특징추출부(51)에 의해 수행된다. 즉 카메라(24)로부터의 이미지 데이터 내의 메인영역(A1)의 모든 픽셀에 대한 입력 데이터가 순차적으로 픽셀마다 입력데이터생성부(43)에서 분류기(45)로 입력된다. 특징추출부(51)는 알고리즘에 따라 입력 데이터를 기초로, 특징벡터xj(검사 포인트)를 생성한다. 분류기(45)가 SVM인 경우, 매핑부(52)는 특징벡터에 의해 지정된 검사 포인트xj를 고차원특징공간에 매핑하여 고차원 특징벡터ψ(xj)를 생성한다. 그 후, 분류기(45) 내의 판단부(54)는 특징벡터에 의해 지정된 포인트 ψ(xj) 또는 포인트 xj가 교육기간동안 분류기(45)에 의해 분류된 클래스C(본 실시예에서 배지 클래스C1)에 속하는지 여부를 판단하고, 이 판단결과에 기초하여, 검사 포인트xj가 배지 포인트 인지 또는 미생물 포인트인지 판단한다.
도7은 분류기가 SVM인 경우의 예이며, 판단부(54)의 판단방법을 설명하는 그래프이다. 도7(a)와 같이, 판단부(54)는 고차원특징공간에 매핑된 포인트ψ(xj)(j= 1, 2, ...)가 배지 클래스C1에 속하는 경우, 검사 포인트xj를 배지 포인트로 판단한다. 반면에, 도7(b)와 같이, 포인트ψ(xj)가 배지 클래스C1에 속하지 않는 경우, 판단부(54)는 검사 포인트xj를 미생물 포인트로 판단한다. 이 단계에서, 미생물 포인트는 노이즈일 가능성도 있다.
도2의 외주검출부(63)는 메인영역A1에 사용된 방법과 상이한 방법을 이용하여 외주로컬영역A2 내의 미생물 검출을 수행한다. 이것은 배지영역MA의 외주 부근의 원형 영역이 예컨대 페트리접시의 측벽부(side wall)에 굴절된 빛 또는 측벽부의 그림자에 의해 영향을 받은 배지M의 색이 있는 영역에 해당되기 때문이다. 따라서 외주검출부(63)는 외주로컬영역A2에서 상이한 색을 가진 영역 사이의 경계(색상 에지;color edge)를 검출하기 위해 색상 에지 검출을 수행한다. 그 후, 외주검출부(63)는 색상 에지로 둘러싸인 영역 형상 처리(morphological operation)를 수행하고 이 처리에 의해 생성된 형태의 콜로니 후보를 얻는다.
판별부(64)는 판별이 “포함”으로 설정된 경우 시작된다. 판별부(64)는 메인영역A1에서 검출된 미생물 포인트의 연쇄를 포함하는 폐영역으로 판단된 검출대상(콜로니 후보군) 및 외주로컬영역A2에서 검출된 검출대상(콜로니 후보군) 중에서 노이즈N을 제외한 콜로니를 판별하기 위해서 형태판별, 색상판별 및 위치판별을 수행한다. 형상판별은 특징추출 등으로 얻은 검출대상의 크기, 원형도, 볼록도, 최소외접원등과 같은 특징이 미리 설정된 또는 미리 학습된 콜로니의 형태조건을 충족하는지 여부를 판단한다. 판별부(64)는 상기 형태조건을 만족하는 검출대상을 콜로니로 판별한다. 색상판별에 따르면, 특정색도(chromaticity)가 검출대상 및 배지영역 각각에 대하여 계산되고, 이들 사이의 색도의 상이점이 소정의 임계값보다 큰지 여부가 판단된다. 판별부(64)는 색도의 차이가 임계값 이상인 검출대상을 콜로니로 판별한다. 색상판별은 검출대상 픽셀마다 수행된다. 위치판별에 따르면 교육단계에서 수집된 노이즈 데이터를 기초로 한 노이즈의 위치와 검출대상의 위치를 비교함으로써 콜로니가 판별된다. 위치판별에서 검출대상이 노이즈에 중첩되어 판별을 어렵게 하는 경우, 검출대상의 영역 및 색농도값이 위치판별에 이용된다.
라벨링처리부(65)는 메인영역A1 및 외주로컬영역A2에서 콜로니로 검출되거나 판별된 대상에 라벨링 처리를 수행한다. 노이즈에 해당되지 않는 것으로 검출되거나 판별된 검출대상은 라벨링 처리되나, 노이즈에 해당되는 것으로 검출되거나 판별된 검출대상은 라벨링 처리되지 않는다.
콜로니검출부(66)는 라벨링 처리된 검출대상의 영역이 소정의 면적(영역)조건을 충족하는지 여부를 판단하고, 면적조건을 충족하는 검출대상을 콜로니로 검출한다. 예컨대, 검출대상의 면적 Sd가 Slower≤Sd≤ Supper(여기서, Slower는 하한 및 Supper는 상한)로 정의되는 면적조건을 충족하면, 검출대상은 콜로니로 검출(판별)된다. 면적조건은 하한 또는 하한 중 어느 하나 만을 이용할 수도 있다.
제어부(41)는 식별처리부(47)로부터 얻어진 콜로니의 검출결과를 모니터(33)상에 표시한다. 콜로니가 검출되지 않으면, 검출된 콜로니의 수는 “0”으로 표시된다. 임의의 콜로니가 검출되면 검출된 콜로니의 수가 표시된다. 그리고 도5(d)와 같이, 검출된 콜로니를 둘러싼 마크(70)가 배지M의 이미지에 겹쳐 표시된다.
도9 내지 도11의 순서도를 참조하여 컴퓨터(38)에 의한 미생물검출처리를 설명한다. 미생물검출처리는 도2의 검출처리장치(40)와 소프트웨어에 의해 수행된다.
도9와 같이, 오퍼레이터는 배양이 시작되기 전에, 입력동작부(32)를 동작시킴으로써, 노이즈 수집의 유무, 임계값 설정 거리, 외주검출의 유무, 판별의 유무, 면적조건 등과 같은 설정값을 개인용 컴퓨터(26)에 입력한다. 입력된 다양한 설정값이 메모리(42)에 저장된다. 오퍼레이터가 입력동작부(32)를 이용하여 검사를 시작하면 컴퓨터(38, 검출처리장치(40))는 미생물검출처리를 시작한다.
단계(S10)에서, 컴퓨터(38)는 노이즈 수집의 유무, 임계값 설정 거리, 외주검출의 유무, 판별의 유무, 면적조건과 같은 설정값을 메모리(42)에서 읽어낸다.
단계(S20)에서, 컴퓨터(38)는 교육기간에 카메라(24)로 촬영된 배지M의 이미지를 이용하여 분류기(45)가 적어도 배지의 색상을 학습하도록 한다. 단계(S20)의 교육과정은 교육단계에 해당된다.
단계(S30)에서, 컴퓨터(38)는 식별기간에 배지영역 내의 미생물 콜로니의 유무를 식별하기위해 식별처리를 수행한다. 단계(S30)의 식별과정은 식별단계에 해당된다.
컴퓨터(38)는 (S20)의 교육과정에서 도10의 교육처리루틴을 수행하고, (S30)의 식별과정에서 도11의 식별처리루틴을 수행한다. 교육과정 및 식별과정이 다음의 도10 및 도11의 순서도를 각각 참조하여 자세히 설명된다. 교육처리부(46)는 카메라(24)로 촬영된 이미지 데이터를 기초로 입력데이터생성부(43) 및 분류기(45)를 이용하여 교육과정을 수행한다.
도10의 단계(S110)에서, 배지M과 같은 검사대상을 포함하는 페트리접시(35)의 이미지를 1에서 10회 예컨대 5회 카메라(24)로 촬영한다.
단계(S120)에서, 촬영된 이미지 데이터를 기초로 배지영역MA가 검출된다(도5(a)를 참조).
단계(S130)에서, 교육로컬영역TA는 배지영역MA 내에 설정된다(도5(a)를 참조). 예컨대, 배지영역MA에 노이즈N을 검색한 후에 노이즈N이 없는 영역이 교육로컬영역TA로 설정된다.
단계(S140)에서 분류기(45)가 학습 알고리즘을 이용하여 교육로컬영역TA을 교육한다. 구체적으로, 도2의 입력데이터생성부(43)는 교육로컬영역TA의 각 픽셀에 대한 색상 데이터를 포함하는 입력 데이터를 생성한다. 그 후, 입력데이터생성부(43)는 입력 데이터를 학습 데이터로서 분류기(45)에 순차적으로 보낸다. 분류기(45) 내의 특징추출부(51)는 알고리즘에 따라 입력 데이터를 기초로 특징벡터x1을 생성한다. 분류기(45)가 SVM인 경우, 도6과 같이, 특징벡터에 의해 지정된 배지 포인트x1은 매핑부(52)에 의해 순차적으로 고차원특징공간상에 매핑된다. 따라서 고차원특징벡터에의해 지정된 포인트 세트ψ(x1)가 얻어진다. 포인트 세트ψ(x1)에서 바깥쪽으로 임계 설정거리 ΔL만큼 떨어진 위치에 초평면(hyperplane)으로 임계값이 설정된다. 초평면이 고차원특징공간을 선형적으로 분류하고, 배지 클래스C1이 색상 분류된다.
단계(S150)에서, 노이즈 수집의 유무가 판단된다. 노이즈 수집이 “포함”으로 설정되면, 과정은 단계(S160)로 진행하고, 노이즈 수집이 “비포함”으로 설정되면, 단계(S170)로 진행한다.
단계(S160)에서, 노이즈 데이터가 수집된다. 노이즈수집부(58)는 배지영역MA에서 색상 에지를 검출하고, 색상 에지 중에서 배지M과 다른 색(hue)을 가진 영역을 노이즈N으로 검출한다. 노이즈수집부(58)는 검출된 노이즈N의 위치를 계산하고, 적어도 위치정보를 포함하는 노이즈 데이터를 생성하고 이를 메모리(42)에 저장한다.
단계(S170)에서, 추가적인 교육 유무가 판단된다. 교육기간에 교육은 요구되는 만큼 수행될 수 있고, 추가 교육은 학습 데이터를 추가할 수 있다. 학습 데이터의 추가가 허용되는 동안의 기간(소정의 시간)은 미생물이 생산되기 전의 적절한 값일 수 있다. 추가적인 교육이 수행되면, 과정은 단계(S110)로 되돌아가고, 학습 샘플링 간격이 지나고 다음 교육이 수행될 때, 샘플S는 다시 검사대(23)로 전달된다. 카메라(24)로 촬영된 샘플S의 이미지 데이터를 이용하여 (S110) 내지 (S170)의 과정이 함께 수행된다. 추가적인 교육이 없는 경우, 교육처리루틴이 완료된다.
교육처리는 배양의 시작(시간이 0)부터 소정의 시간까지(예컨대, 5시간) 교육기간동안 학습샘플링간격(예컨대, 매 30분 또는 1시간)으로 수행된다. 이 교육으로 인해, 분류기(45)는 배지 클래스C1을 분류한다. 이를 위해, 예컨대, 배지M의 색 변화가 교육기간동안 학습된다. 추가로, 액상음료에 포함된 유화철(emulsified iron)과 같은 금속성분의 산화물로 인하여 생성된 석출물(deposit)(산화철등)에 관한 데이터가 노이즈N으로 수집된다.
타이머(41a)로 측정된 시간이 소정의 시간(예컨대, 5시간)을 넘긴 경우, 과정은 교육기간에서 식별기간으로 변화한다. 그 후, 컴퓨터(38)는 도11의 식별처리루틴을 시작하고, 여기서 식별처리부(47)는 입력데이터생성부(43) 및 분류기(45)를 이용하여 식별처리를 수행한다.
도11과 같이, 단계(S210)에서, 카메라(24)는 검사대상 배지M을 포함하는 페트리접시(35)를 교육기간에 촬영된 이미지의 수만큼 촬영한다.
다음 단계(S220)에서, 배지영역MA는 촬영된 이미지 데이터를 기초로 검출된다.
단계(S230)에서, 메인영역A1 및 외주로컬영역A2가 배지영역MA 내에 설정된다.
단계(S240)에서, 룩업테이블(lookup table; LUT)에 따라서 휘도변환(luminance conversion)이 수행된다. 휘도변환에서, 콘트라스트 조정(contrast adjustment) 및 감마 보정(gamma correction)등이 수행된다.
다음 단계(S250)에서, 학습 알고리즘을 이용하여 분류기(45)로 메인영역A1에서 미생물 포인트를 검출한다. 구체적으로, 도2의 입력데이터생성부(43)는 메인영역A1의 각 픽셀에 대한 색상 데이터를 포함하는 입력 데이터를 생성하고, 그 후 생성된 입력 데이터는 순차적으로 분류기(45)에 보내진다. 분류기(45)의 특징추출부(51)는 입력 데이터를 기초로, 특징벡터xj(j = 1, 2, ...)(검사 포인트)를 생성한다. 분류기(45)가 SVM인 경우, 도6의 특징벡터에 의해 지정된 검사 포인트xj는 매핑부(52)에 의해 고차원특징공간상에 순차적으로 매핑된다. 그 후, 고차원특징벡터에의해 지정된 매핑된 포인트ψ(xj)가 획득된다(도7을 참조). 도7(a)와 같이, 매핑된 포인트ψ(xj)가 배지 클래스C1에 속하는 경우, 검사 포인트xj는 배지 포인트로 판단된다(식별된다). 반면, 도7(b)와 같이, 매핑된 포인트ψ(xj)가 배지 클래스C1에 속하지 않는 경우, 검사 포인트xj는 미생물 포인트로 판단된다(식별된다). 도5(c)와 같이, 식별단계에 진입하고 3 내지 5시간 후에 예컨대, 콜로니CL이 생산될 수 있다. 이 경우, 콜로니CL의 픽셀에 대한 입력 데이터를 기초로, 검사 포인트xj를 매핑함으로써 얻어진 포인트ψ(xj)(이 경우, SVM)은 도7b의 배지 클래스C1에 속하지 않고, 미생물 포인트로 검출된다. 이와 같은 검출과정은 메인영역A1 내의 모든 픽셀에 대하여 수행된다.
단계(S260)에서, 외주검출 유무가 판단된다. 외주검출이 "포함"으로 설정되면, 단계(S270)로 진행하고, 외주검출이 "비포함"으로 설정되면, 단계(S290)로 진행한다.
단계(S270)에서, 외주로컬영역A2에서 색상 에지가 검출되고, 배지의 색상 차이를 기초로 콜로니영역이 검출된다. 콜로니영역은 노이즈영역이 될 수 있는 검출대상영역(콜로니 후보군)이다.
다음 단계(S280)에서, 검출대상의 형태가 영역 형상 처리(region morphological operation)에 의해 원형 또는 타원형으로 조정된다.
단계(S290)에서, 판별과정의 유무가 판단된다. 판별과정이 “포함”으로 설정되면, 과정은 단계(S300)로 진행하고, 판별과정이 “비포함”으로 설정되면 과정은 단계(S310)로 진행한다.
단계S300에서, 검출대상은 형태, 색상, 및 위치를 기초로 판별된다. 메인영역A1 및 외주로컬영역A2에서의 검출결과가 통합된다. 이 통합결과에 대해, 미생물 포인트 연쇄를 포함하는 폐영역에 대한 특징추출이 수행되고, 검출대상(콜로니 후보군)이 검출된다. 검출대상의 형태판별, 영역(면적), 원형도, 볼록도, 최소외접원등이 연산된다. 콜로니의 형태조건을 충족하는 특징추출량을 가진 검출대상은 콜로니 후보군으로 판별된다. 색상판별에 따르면, 검출대상 및 배지영역에 대하여 특정 색도(chromaticity)가 각각 연산된다. 검출대상 및 배지영역의 색도차이가 소정의 임계값보다 큰 검출대상은 콜로니 후보군으로 판별된다. 위치판별에 따르면, 메모리(42)에서 읽혀진 노이즈 데이터로부터 판단된 노이즈의 위치와 검출대상의 연산된 위치가 비교된다. 노이즈와 겹치지 않는 검출대상은 콜로니 후보군으로 판별된다. 위치판별이 어렵게 검출대상이 노이즈와 겹치는 경우, 검출대상의 영역(크기)과 색농도값이 콜로니 후보군을 판별하는데 이용된다. 판별단계에서, 검출대상 가운데 노이즈N 등은 콜로니로 판별되지 않고, 검출대상(콜로니 후보군)은 더 좁혀진다.
단계(S310)에서, 검출되거나 판별된 검출대상은 라벨링 처리된다. 즉, 메인영역A1 및 외주로컬영역A2에 대한 검출결과는 통합되고, 전체 배지영역MA에서 검출되거나 판별된 모든 검출대상이 라벨링 처리된다. 판별과정(S300)이 수행되면, 판별과정에서 노이즈로 판별된 검출대상은 라벨링에서 제외된다.
단계(S320)에서, 면적조건을 기초로 검출대상이 콜로니인지 여부가 판단된다. 콜로니검출부(66)는 라벨링된 검출대상의 면적이 메모리(42)에서 읽혀진 면적조건을 충족하는지 조사한다. 검출대상의 면적Sd가 면적 조건(Slower ≤ Sd ≤ Supper)을 충족하는 경우, 검출대상은 콜로니CL로 판단된다.
단계(S330)에서, 콜로니 검출결과가 모니터(33) 상에 표시되고, 콜로니 검출 결과에 따라, 제어신호가 보내진다. 즉, 식별처리부(47)에서 전달된 콜로니 검출결과가 검출수 “0”이면, 제어부(41)는 콜로니 검출 결과 “0”을 모니터(33) 상에 표시한다. 반면, 콜로니 검출결과가 “N”(1≤N)이면, 제어부(41)는 콜로니 검출수“N”을 모니터(33) 상에 표시하고, 모니터(33)에 표시된 샘플S의 이미지 상에 검출된 콜로니CL을 둘러싸고 있는 마크(70)를 도5(d)와 같이 중첩하여 표시한다. 마크(70)가 표시되면, 항온실(13)의 외부에서 모니터(33)를 바라보는 오퍼레이터는 검사된 샘플S에서 콜로니 생산 상태를 쉽게 파악할 수 있다. 제어신호가 제어부(41)로부터 컨트롤러(25)로 보내진다. 검출된 콜로니의 수가 “N”(N ≥1)이면, 콜로니(콜로니들)가 검출된 시점에서 검사가 중단되고, 제어부(41)는 제어신호를 컨트롤러(25)에 보내서, 샘플S를 배출한다. 그 결과, 컨트롤러(25)는 불량샘플로 판단된 샘플S를 배출선반(17)으로 수송하도록 수송로봇(20)을 제어하고, 이 샘플S를 항온실 외부로 배출하기 위해 컨베이어(17a)를 구동시킨다. 반면, 콜로니 검출결과가 검출 수“0”이면, 샘플S는 저장선반(18)으로 되돌아간다. 배양기간 후에 콜로니가 검출되지 않은 샘플S는 정상샘플로서 수송로봇(20)에 의해 배출선반(16)으로 수송되고 컨베이어(16a)를 통해 항온실의 외부로 배출된다.
종래에는 배양기간 후에 검사가 수행되고, 콜로니가 1개라도 검출되면 음료(beverage)의 생산이 각 로트(lot)마다 중단되었다. 본 실시예의 검사장치(19)에 따르면, 콜로니는 배양기간 중에 검출될 수 있고, 음료의 생산은 콜로니가 검출될 때 미리 중단될 수 있다. 따라서 음료의 불량품의 수가 가능한 줄어들 수 있다.
도8은 검사장치(19)를 이용한 샘플S의 검사에서 실제로 검출된 박테리아의 수 및 시각적으로 검출된 박테리아의 수를 비교하는 그래프를 보여준다. 샘플 액상음료를 포함하는 배지M에 대장균이 더해지고 18시간 동안 배양된다. 수평축은 배양이 시작된 후의 경과시간(hr)이고 수직축은 콜로니의 수를 나타낸다. 도8(a) 및 도8(b)에서 샘플S는 검사대상 또는 액상음료의 색상 차이로 인해 배지에서 색상 차이를 가진다. 그래프에서 검출된 박테리아의 수는 일정한 시간 간격으로 검출처리장치(40)로 검출된 박테리아의 수에 해당된다. 실제로 검출된 박테리아의 수는 배양기간에서 각 시점에서 매우 미세한 콜로니를 포함하는 박테리아의 수로 실제로 측정된 값에 해당된다. 시각적으로 검출된 박테리아의 수는 숙련된 검사원이 일정한 시간 간격으로 배지에 대하여 시각적인 검사로 검출된 박테리아의 수이다. 도8의 예에서, 교육기간은 배양의 시작부터 5시간 경과할 때 까지 이고, 식별기간(검사기간)은 5시간이 경과한 후이다. 도8a 및 도8b의 그래프가 나타내는 바와 같이, 검출된 박테리아의 수 및 실제로 검출된 박테리아의 수는 교육기간동안 모두 “0”이다. 배양이 시작된 후 6시간에서 8시간의 기간에 미생물이 검출되기 시작한다. 검출된 박테리아 수의 변화는 대부분 실제로 검출된 박테리아의 수의 변화와 유사하다. 이 결과는 검출처리장치(40)는 배지의 색상에 영향을 받지 않고 높은 정확성을 갖는다는 것을 보여준다. 식별기간동안, 검출된 박테리아의 수는 시각적으로 검출된 박테리아의 수보다 더 높게 변화한다. 이 결과는 검사장치(19)를 이용하면 시각적인 조사를 하는 것 보다 조기에 작은 콜로니를 검출할 수 있다는 것을 보여준다. 검사장치(19)로 검출될 수 있는 미생물 콜로니의 크기는 시각적으로 거의 검출할 수 없는 크기로, 구체적으로 약 0.008 제곱미터였다.
위에서 상술한 바와 같이, 제1실시예에 따른 이점이 아래와 같이 제공된다.
(1)색상 데이터를 포함하는 입력 데이터를 기초로, 분류기(45)로 얻어진 특징벡터로 지정된 검사 포인트xj 또는 매핑된 포인트ψ(xj)가 교육단계(S20)에서 색상으로 분류된 배지 클래스C1에 속하는지 여부가 판단된다. 판단결과를 기초로, 검사 포인트xj가 콜로니인지 여부가 식별된다. 이에 따라서, 콜로니가 정확하게 검출될 수 있다. 예컨대, 배지M 및 콜로니CL이 유사한 색을 가진 경우, SVM인 분류기(45)를 이용하여 배지 및 콜로니가 고차원특징공간에서 선형적으로 분리되어 콜로니가 정확하게 검출될 수 있다. 색상 특징을 기초로 콜로니가 검출되는 방법이기 때문에, 검사대(23) 위의 패트리접시(35)의 위치 또는 각이 교육 및 식별기간에 원래 위치에서 변화되거나 또는 카메라(24) 및 페트리접시(35)의 상대적인 위치가 변화하는 경우에도 콜로니는 또한 정확하게 검출된다.
(2)예컨대, 대장균은 붉은 계열, 효모의 콜로니는 녹색계열과 같이 미생물의 다양성에 따라 콜로니의 색상도 다양한 경우에도, 미생물의 콜로니(박테리아)는 분류기(45)의 동일한 알고리즘을 이용하여 정확하게 검출될 수 있다.
(3)유화철 등과 같은 금속성분의 산화에 의해 얻어진 석출물(deposit)이 종종 콜로니와 유사한 색상을 보이는 경우가 있다. 교육단계에서, 배양이 시작된 후 생성된 석출물 등의 노이즈N의 학습 데이터가 축적되고, 석출물의 노이즈N의 노이즈 데이터가 수집된다. 이 경우, 석출물 등에 대한 검사 포인트는 배지 클래스C1에 속하는 것으로 판단된다. 검사 포인트가 배지 클래스C1에 속하지 않는 것으로 검출되고, 콜로니가 될 수도 있는 검출대상으로 검출되어도, 이 검사 포인트는 그 형태, 색상 및 위치에 의해 노이즈로서 검출대상에서 제외된다. 따라서 석출물 등이 부정확하게 콜로니로 검출되는 것을 피하고 이에 따라서 정확한 콜로니 검출이 가능해진다.
(4)교육단계에서 검사대상(샘플S)은 학습대상으로 이용되고, 교육기간은 미생물 콜로니의 생산 전 소정의 기간(배양 시작부터 특정 시간(예컨대, 5시간)까지)으로 선택된다. 따라서 교육기간에 배지M의 색상이 변화해도, 결과색상은 배지M의 색상으로 학습된다. 따라서 배지의 색상이 변화해도, 콜로니는 정확하게 검출될 수 있다. 검사대상 음료의 색상 때문에 검사 대상에 영향을 받아 배지의 색상이 변화해도, 교육에 의해 배지의 색상이 모든 검사 대상이 학습되므로 정확하게 콜로니 검출을 할 수 있다.
(5)검사 포인트xj 또는 매핑된 포인트ψ(xj)가 배지 클래스C1에 속하지 않는 것으로 판단된 미생물 포인트의 연쇄를 포함하는 폐영역에 대하여, 메인영역A1내에서 특징추출로 검출되거나 판단된 검출대상 및 외주로컬영역A2 내에서 영역 형상 처리 및 색상 에지 검출로 판단되거나 검출된 검출대상이 통합된다. 상기 검출대상이 라벨링 처리되고, 이 검출대상 가운데 면적조건을 충족하는 하나의 검출대상이 콜로니로 식별된다. 따라서 노이즈가 될 수 있는 검출대상은 제외되고 정확한 콜로니 검출이 가능해진다.
(6)과일껍질과 같은 노이즈N(이물질)을 포함하는 검사대상의 경우, 콜로니 및 노이즈는 판별단계에서, 형태판별, 색상판별, 및 위치판별로 검출대상 가운데서 판별된다. 따라서 노이즈N이 부정확하게 콜로니로 검출되는 것이 효과적으로 예방된다. 따라서 배양된 미생물 콜로니들은 콜로니와 유사한 색상을 가지는 과일껍질 또는 과일과육을 포함하는 배지에서 조차도 정확하게 검출된다.
(7)교육단계에서 배지만이 학습된다. 따라서 필요한 과정 및 작업이 콜로니를 학습하기위해 수행되는 방법보다 간단하다. 콜로니를 학습하는 방법의 경우, 오퍼레이터는 콜로니를 지정하는 것이 필요하고 지정된 콜로니 영역을 컴퓨터(38)에 입력 및 디자인한다. 이러한 점에서 본 실시예의 방법에 따르면, 학습은 배지M에서만 수행되고, 콜로니 영역을 지정하고 입력하기위한 이와 같은 동작은 필요하지 않고 컴퓨터(38)가 자동으로 학습한다.
(8)검사는 교육기간에 배지에서 수행된다. 검사는 미생물 콜로니의 생산 전 소정의 시간(예컨대, 5시간)까지 선택된 배지의 교육기간에 수행되고 미생물의 식별(검출)을 위한 식별 기간이 상기 소정의 기간 후에 수행된다. 샘플S와 같은 검사 대상으로 교육이 수행되기 때문에, 콜로니 검출의 정확성이 향상된다. 콜로니를 학습하는 방법에서, 교육은 검사대상(샘플S)의 배양기간동안 수행될 수 없다. 따라서 교육대상이 검사대상과 다르기 때문에, 콜로니 검출정확성이 떨어질 수 있다. 추가적으로, 교육기간이 검사기간에서 분리되어 제공됨에 따라, 교육 및 식별을 위해 요구되는 시간이 증가한다. 이러한 측면에서 본 실시예에 따르면, 콜로니의 생산 전 기간은 교육을 위해 이용될 수 있으므로 교육 및 식별을 위해 요구되는 시간이 줄어든다.
(9)콜로니CL을 둘러싸는 마크(70)가 모니터(33)에 표시된 샘플S의 이미지에 겹쳐서 표시된다. 따라서 검출된 콜로니가 시각적으로 표시되고 오퍼레이터는 쉽게 시각적으로 콜로니 생산 상황을 확인할 수 있다.
(10)식품 등의 제조현장에서 처리과정의 위생적인 조건을 이해하는 것과 상품을 신속하게 수송하는 것이 요구된다. 상술한 바와 같이, 식품 등의 제조현장에 본 실시예의 검사장치(19)를 이용함으로써, 콜로니가 빠르고 정확하게 검출될 수 있다. 따라서 처리과정의 위생조건의 이해와 상품의 신속한 수송이 지원될 수 있다. 미생물 검사 속도가 올라가면, 불량제품의 출하 정지를 조기에 판단할 수 있다. 따라서 이것은 위험관리 측면에서도 매우 유용하다.
(제2실시예)
제2실시예가 도12를 참조로 설명된다. 제2실시예는 배지 및 미생물(콜로니) 모두에서 수행되는 교육단계(S20)의 예이다. 검사장치(19)(도1 및 도3) 및 검출처리장치(40)(도2)의 구성 및 미생물 검출처리루틴(도9 내지 도11)의 주요 과정은 제1실시예의 것과 기본적으로 유사하다.
도12는 분류기가 SVM인 경우, 입력공간에서 고차원특징공간으로의 매핑을 도시한다. 도12에서, 배지의 입력 포인트(배지 포인트)가 입력공간에 나타난다. 도12와 같이, 배지 포인트x1을 고차원특징공간에 매핑함으로써 얻어진 특징벡터에 의해 지정된 배지 포인트 세트ψ(x1) 및 입력 포인트x2를 고차원특징공간에 매핑함으로써 얻어진 특징벡터에 의해 지정된 미생물 포인트 세트ψ(x2)가 선형적으로 분리될 수 있다.
선형분리부(53)는 각각의 지원벡터(가장 근접한 포인트)로부터 마진(margin)을 최대화하는 위치로 설정된 초평면을 이용하여, 고차원특징공간 내의 배지 포인트 세트ψ(x1) 및 미생물 포인트 세트ψ(x2)를 선형적으로 분리한다. 따라서 배지 클래스C1 및 콜로니(미생물) 클래스C2가 분류된다.
이 경우, 배지에 대한 분류기(45)의 교육은 제1실시예와 동일한 방식으로 수행된다. 반면, 미생물에 대한 분류기(45)의 교육은 다음과 같이 수행된다. 즉, 동일한 종(species)의 콜로니를 포함하는 배지를 이용하여, 오퍼레이터는 모니터(33) 상의 배지M을 보면서 입력동작부(32)를 통해 콜로니영역을 지정한다. 분류기(45)에 대한 교육이 지정된 콜로니영역에 대해 수행된다. 분류기(45)의 교육은 인공적으로 준비된 콜로니에 대하여 수행될 수도 있다. 하나 이상의 클래스가 분류되는 경우, 분류기(45)는 커널방법을 기초로 한 서포트벡터머신(SVM) 외에 신경망(MLP; neural network) 및 가우시안 혼합 모델(GMM)이 될 수도 있다.
식별단계(S30)에서, 제1실시예와 같이, 도2의 입력데이터생성부(43)는 메인영역A1 내의 각 픽셀에 대한 색상 데이터를 포함하는 입력 데이터를 생성한다. 그 후, 입력데이터생성부(43)는 입력 데이터를 학습 데이터로서 분류기(45)로 순차적으로 보낸다. 분류기(45)의 특징추출부(51)는 입력 변수로서 입력 데이터를 이용하여 함수 알고리즘에 따라 특징추출연산을 수행하여, 특징벡터xj(검사 포인트)를 생성한다. 분류기(45)가 SVM이면, 매핑부(52)는 특징벡터xj에 의해 지정된 검사 포인트xj를 도12의 고차원특징공간에 매핑함으로써 고차원 특징벡터ψ(xj)를 생성한다. 판단부(54)는 고차원특징벡터 ψ(xj)에 의해 지정된 포인트ψ(xj)가 배지 클래스C1 또는 콜로니 클래스C2 중 어느 클래스에 속하는지 판단하여 미생물 포인트를 검출한다. 포인트ψ(xj)가 콜로니 클래스C2에 속하는 경우, 이 포인트는 미생물 포인트로 검출된다. 도10 및 도11은 분류기(45)가 배지 및 콜로니에 대하여 교육되는 점(S140) 및 검사 포인트 xj 또는 포인트 ψ(xj)가 콜로니 클래스C2에 속하는 경우 미생물 포인트로 검출되는 점(S250)을 제외하면 제1실시예와 동일하다. 분류기(45)가 GMM 또는 MLP인 경우, 고차원특징벡터에 대한 매핑 없이, 단계(S250)에서, 함수 알고리즘 GMM 또는 MLP에 따른 특징추출연산에 의해 검사 포인트xj가 콜로니 클래스에 속하는지 여부가 판단된다.
제2실시예에 따르면, 제1실시예의 상기 이점 (1), (3), (5), (6), (9) 및 (10)에 더하여 아래의 이점이 얻어진다.
(11)교육단계에서, 배지 클래스C1 및 콜로니 클래스C2가 분류되고, 배지 및 콜로니가 다른 것들로 부터 식별된다. 따라서 검사 포인트xj가 배지인지 또는 미생물 포인트인지 제1실시예와 비교하여 더 정확하게 판단할 수 있다. 따라서 콜로니 검출정확성이 더욱 향상된다.
(12)교육단계에서, 분류기(45)가 SVM이면, 매핑부(52)는 배지 포인트 세트 ψ(x1) 및 콜로니 포인트 세트ψ(x2)를 고차원특징공간에 생성한다. 선형분리부(53)는 각각의 지지벡터로부터 마진(거리)을 최대화하는 초평면을 이용하여 고차원특징공간 내의 배지 포인트 세트ψ(x1)와 콜로니 포인트 세트ψ(x2)를 선형적으로 분리한다. 따라서 이 두 클래스C1 및 C2는 색상에 따라 적절하게 분류된다. 식별단계에서, 검사 포인트xj를 매핑함으로써 얻어진 고차원특징벡터의 포인트ψ(xj)가 콜로니 클래스C2에 속하는지 여부가 판단됨에 따라, 식별단계에서 식별 정확성이 향상된다.
(제3실시예)
제3실시예가 도13을 참조하여 설명될 것이다. 제3실시예의 교육단계에서, 배지 및 미생물(콜로니) 가운데 미생물에 대한 교육만이 수행된다. 이 경우, 제2실시예에서와 동일한 방식으로 교육단계가 수행되고, 분류기(45)가 콜로니영역에 대하여 교육된다. 검사장치(19)(도1 및 도3) 및 검출처리장치(40)(도2)의 구성 및 미생물검출처리루틴(도9 내지 도11)의 주요 처리과정은 기본적으로 제1실시예와 동일하다.
도13은 분류기가 SVM인 경우, 입력공간에서 고차원특징공간으로의 매핑을 설명하는 그래프이다. 도13에서, 콜로니(미생물)의 입력 포인트x2가 입력공간에 나타난다. 도13과 같이, 미생물 포인트x2를 고차원특징공간에 매핑함으로써 얻어진 고차원 특징 벡터에 의해 지정된 미생물 포인트 ψ(x2)가 임계값 설정 거리ΔL만큼 포인트 세트ψ(x2)로부터 외부로 이격된 초평면에 의해 선형적으로 분리됨으로써 콜로니 클래스C2가 분류된다. 하나의 클래스가 분류되면, 분류기(45)는 커널방법에 기초한 서포트벡터머신(SVM) 및 가우시간혼합모넬(GMM) 중 적어도 하나로 구성된다.
식별단계(S30)에서, 제1실시예와 같이, 도2의 입력데이터생성부(43)는 메인영역A1의 각 픽셀에 대한 색상 데이터를 포함하는 입력 데이터를 생성한다. 그 후, 입력데이터생성부(43)는 입력 데이터를 학습 데이터로서 분류기(45)에 순차적으로 보낸다. 분류기(45)의 특징추출부(51)는 입력변수로서 입력 데이터를 이용하여 함수 알고리즘에 따라서 특징추출연산을 수행하여 특징벡터xj(검사 포인트)를 생성한다. 분류기(45)가 SVM이면, 매핑부(52)는 특징벡터xj에 의해 지정된 검사 포인트xj를 도13의 고차원특징공간에 매핑함으로써 고차원특징벡터 ψ(xj)를 생성한다. 판단부(54)는 고차원특징벡터ψ(xj)에 의해 지정된 포인트ψ(xj)가 콜로니 클래스C2에 속하는지 여부를 판단한다. 포인트ψ(xj)가 콜로니 클래스C2에 속하는 경우, 포인트ψ(xj)는 미생물 포인트로 검출된다. 도10 및 도11은 분류기(45)가 콜로니에 대하여 교육되는 점(S140) 및 검사 포인트xj 또는 포인트 ψ(xj)가 콜로니 클래스C2에 속하는 경우, 이 포인트가 미생물 포인트로 검출되는 점(S250)을 제외하고 제1실시예와 기본적으로 동일하다. 분류기(45)가 GMM인 경우, 고차원특징공간에 대한 매핑이 없고, 단계(S250)에서, 함수알고리즘 GMM에 따른 특징추출연산에 의해 생성된 검사 포인트xj가 콜로니 클래스에 속하는지 여부가 판단(식별)된다.
제3실시예에 따르면, 제1실시예의 이점 (1), (3), (5), (6), (9) 및 (10)에 더하여 아래의 이점이 얻어진다.
(13)콜로니 클래스C2가 교육단계에서 분류되기 때문에, 검사 포인트xj가 미생물 포인트인지 여부에 대한 판단이 제1실시예에 비해 더 정확하게 수행될 수 있다. 따라서 콜로니검출정확성이 더욱 향상된다.
(14)학습대상인 샘플S를 배양하는 배양기간에, 교육단계에서 미리 콜로니의 색상 변화가 학습될 수 있기 때문에, 학습대상인 샘플S에서 생산된 콜로니의 색상이 식별단계에서 변화해도 콜로니를 정확하게 식별할 수 있다.
(제4실시예)
위 실시예에서, 분류기로의 입력 데이터는 색상 데이터이다. 본 실시예에서, 형태 데이터가 색상 데이터에 추가된다. 예컨대, 박테리아(대장균 등)의 콜로니는 원이나 타원과 같은 근사 원 형태를 가지고 있으며, 이들은 과일껍질 또는 석출물과 같은 노이즈(이물질)의 형태와 구분될 수 있다. 변형예는 각 배지 및 콜로니의 색상 데이터, 콜로니의 형태 데이터가 입력 데이터로서 분류기(45)로 보내지는 구성이 더해진 제2실시예를 포함할 수 있다. 다른 변형예는 제3실시예를 포함할 수 있으며, 이 제3실시예에는 콜로니의 색상 데이터, 콜로니의 형태 데이터가 입력 데이터로서 분류기(45)에 보내지는 구성이 추가된다. 전자의 경우 분류기(45)는 SVM, MLP, 및 GMM이 될 수 있고, 후자의 경우 분류기(45)는 SVM 및 GMM이 될 수 있다
교육단계에서, 오퍼레이터는 입력동작을 수행하거나, 콜로니를 포함하는 배지M의 색상 이미지를 기초로 한 이미지 처리에 의해 콜로니를 지정할 수 있다. 콜로니로 식별된 영역의 형태는 형태 데이터를 얻기 위해 정규화 된다. 콜로니에 대한 색상 데이터 및 형태 데이터를 포함하는 입력 데이터는 학습 데이터로서 입력데이터생성부(43)에서 분류기(45)로 전송된다. 분류기(45) 내의 특징추출부(51)는 입력변수로서 입력 데이터를 이용하여 함수알고리즘에 따라 특징추출연산을 수행함으로써 특징벡터 x2=(xr, xg, xb, x형태)(미생물 포인트)를 생성한다. 분류기(45)가 SVM인 경우, 매핑부(52)는 특징벡터에 의해 지정된 미생물 포인트x2를 고차원특징공간에 매핑함으로써 고차원특징벡터ψ(x2)를 얻는다. 선형분리부(53)는 특징벡터의 포인트 세트x2(MLP 및 GMM의 경우) 또는 고차원특징벡터의 포인트 세트 ψ(x2)(SVM인 경우)로부터 임계값 설정 거리ΔL(소정의 거리)만큼 바깥쪽에 위치한 초평면으로 임계값을 정의한다. 초평면은 색상 및 형태특징을 기초로 콜로니 클래스C2를 분류할 수 있게 한다.
식별단계에서, 배지 및 기타 것들(이물질, 콜로니등)이 이미지 처리에 의한 색상을 기초로 구별된다. 배지 이외의 영역의 형태에 대하여 연산이 수행되고, 연산된 형태는 형태 데이터를 얻기 위해 정규화된다. 배지 외 영역의 색상 데이터는 이 영역내의 픽셀의 색상을 평균화함으로써 얻어진다. 입력데이터생성부(43)는 각 영역에 대한 색상 데이터 및 형태 데이터를 포함하는 입력 데이터를 생성한다. 입력데이터생성부(43)는 입력 데이터를 학습 데이터로서 분류기(45)에 전송한다. 분류기(45) 내의 특징추출부(51)는 입력변수로서 입력 데이터를 이용하여 함수알고리즘에 따라 특징추출연산을 수행하여 특징벡터 xj=(xr, xg, xb, x형태)(검사 포인트)를 생성한다.
분류기(45)가 SVM이면, 매핑부(52)는 특징벡터xj에 의해 지정된 검사 포인트xj를 고차원특징공간상에 매핑함으로써 고차원특징벡터ψ(xj)를 생성한다. 그 후, 포인트xj 또는 포인트ψ(xj)가 콜로니 클래스C2에 속하는지 여부가, 특징벡터xj에 의해 지정된 포인트xj를 임계값과 비교함으로써(MLP 및 GMM의 경우) 또는 고차원특징벡터ψ(xj)에 의해 지정된 포인트ψ(xj)를 임계값과 비교함으로써(SVM의 경우) 판단된다. 포인트xj 또는 포인트ψ(xj)가 클래스C2에 속하는 경우, 식별 포인트xj가 콜로니로 식별된다.
위 방법에서, 색상 데이터 및 형태 데이터의 특징벡터가 일반적인 특징공간상에 생성된다. 그러나 본 발명은 이에 제한되지 않는다. 예컨대, 교육 및 식별을 수행하기위해 색상 데이터 및 형태 데이터의 특징벡터가 특징공간상에 분리되어 생성될 수 있다. 이 경우 교육과정은 콜로니의 색상 데이터 및 형태 데이터에 대하여 분리되어 수행되고, 콜로니 클래스 Ccolor(C색상) 및 Cshape(C형태)가 상이한 특징공간상에 분리되어 분류된다. 식별단계에서, 특징추출부(51)는 우선 입력변수로서 분류기(45)에 입력된 색상 데이터(R G B 값)를 이용하여 함수알고리즘에 따라 특징추출연산을 수행하여 특징벡터 xj=(xr, xg, xb)(검사 포인트)를 생성한다. 분류기(45)가 SVM인 경우, 특징벡터에 의해 지정된 포인트xj를 고차원특징공간상에 매핑함으로써 고차원특징벡터ψ(xj)가 생성된다. 그 후, 획득된 포인트xj(MLP 및 GMM의 경우) 또는 포인트ψ(xr, xg, xb)(SVM인 경우)가 콜로니 클래스 Ccolor에 속하는지 여부가 판단된다. 포인트xj 또는 포인트ψ(xr, xg, xb)가 클래스 Ccolor에 속하는 경우, 포인트xj는 콜로니 후보군으로 식별된다. 그 후, 콜로니 후보군의 형태 데이터가 분류기(45)에 입력된다. 특징추출부(51)는 입력변수로서 형태 데이터를 이용하여 함수알고리즘에따라 특징추출연산을 수행하여 특징벡터 xj=(x형태)(검사 포인트)를 생성한다. 분류기(45)가 SVM인 경우, 고차원특징벡터ψ(xj)가 특징벡터에 의해 지정된 포인트xj를 고차원특징공간상에 매핑함으로써 생성된다. 그 후, 위 이렇게 획득된 포인트xj(MLP 및 GMM의 경우) 또는 포인트ψ(x형태)(SVM의 경우)가 콜로니 클래스 Cshape에 속하는지 여부가 판단된다. 포인트xj 또는 포인트ψ(x형태)가 클래스 Cshape에 속하는 경우, 포인트xj는 콜로니로 식별된다.
위 두 방법 모두에서, 콜로니 및 이물질(과일껍질등)이 식별단계에서 형태의 차이점 때문에 식별될 수 있다. 따라서 판별단계가 생략될 수 있다. 추가로, 판별단계를 이용하는 방법보다 콜로니검출정확성이 향상된다.
위 실시예들은 상술한 바에 제한되지 않으며, 아래와 같이 변형될 수도 있다.
입력 데이터 중 하나로 면적 데이터가 추가될 수 있다. 제4실시예의 형태 데이터와 동일한 방식으로 특정 영역의 면적(예컨대, 픽셀의 수)이 판단될 수 있다. 일 구성요소로서 면적 데이터를 포함하는 입력 데이터가 분류기(45)에 입력된다. 특징벡터 x = x(xr, xg, xb, x형태, x면적) 또는 x=x(xr, xg, xb, x면적)(입력 포인트 또는 검사 포인트)가 그 후 얻어진다. 분류기(45)내의 특징추출부(51)는 적어도 면적 데이터 및 색상 데이터를 포함하는 입력 데이터로부터 특징벡터xj(검사 포인트)를 생성한다. 분류기(45)가 SVM인 경우, 매핑부(52)는 특징벡터에 의해 지정된 검사 포인트xj를 고차원특징공간상에 매핑함으로써 고차원특징벡터의 포인트ψ(xj)를 생성한다. 상기 얻어진 특징벡터에 의해 지정된 포인트xj(MLP 및 GMM의 경우) 또는 고차원특징벡터에의해 지정된 포인트ψ(xj)(SVM의 경우)가 콜로니 클래스에 속하는지 여부가 판단되고, 콜로니는 판단결과를 기초로 식별된다.
판별단계에서, 형태판별, 색상판별 및 위치판별 중 적어도 하나가 이용될 수 있다. 형태판별, 색상판별 및 위치판별 중 하나 또는 두 개가 또한 이용될 수도 있다. 이 판별 단계는 또한 생략될 수도 있다.
배지 학습대상은 검사대상(샘플S)내의 미생물 콜로니 생산 전 소정의 기간(교육기간)동안의 배지에 한정되지 않는다. 배지 학습대상은 (a)검사될 이미지의 배지 부분, (b)동일한 종류의 실제 콜로니 이미지의(미리 배양되고 콜로니를 포함하는 샘플 이미지 또는 과거 촬영된 불량샘플 이미지) 배지 부분 또는 (c)인공적으로 만들어진 콜로니 이미지의 배지 부분일 수 있다. 콜로니 학습대상은 (a)동일한 종류의 실제 콜로니 이미지의 콜로니 부분(미리 배양되고 콜로니를 포함하는 샘플 이미지 또는 과거에 촬영된 불량샘플 이미지 ) 또는 (b)인공적으로 만들어진 콜로니 이미지의 콜로니 부분을 포함할 수 있다.
검사대상영역은 메인영역 A1에 제한되지 않고 배지영역 전체가 될 수도 있다.
입력 데이터는 픽셀단위로 제한되지 않고 하나 이상의 화소를 포함하는 영역단위가 될 수도 있다.
위 미생물검출방법은 검사 이외의 목적으로 이용될 수도 있다. 음식물 및 음료의 개발단계에서 실험 데이터를 얻기 위한 용도로 이용될 수 있다.
교육은 배지의 전체영역에서 수행될 수도 있다. 배지가 노이즈N을 포함하지 않는 경우, 예컨대 분류기(45)에 의한 학습이 배지의 전체영역에서 수행될 수 있다.
콜로니 검출결과를 알리기 위한 알림수단은 모니터와 같은 디스플레이 외에 스피커, 램프, 프린터 등이 될 수 있다.
수송로봇은 3축 직교(3-axis orthogonal)로봇이 될 수 있다. 3축 직교로봇은, 대형선반을 따라 수평방향(x 방향)으로 이동할 수 있는 이동 플랫폼(traveling platform), 이동 플랫폼에 대해 수직방향(z 방향)에서 오르내릴 수 있는 승강 플랫폼(elevating platform) 및 승강 플랫폼에서 선반을 향한 방향으로 들어가고 나가도록 움직일 수 있는 홀딩부(척 부재; chuck member)를 가질 수 있다. 3축 직교로봇을 이용함으로써, 샘플을 선반의 임의의 부분에 투입하거나 제거할 수 있다.
미생물은 진정세균(eubacteria) 및 고세균(archaea) 뿐만 아니라, 진핵생물(eukaryotes)(조류(algae), 원생생물(protists), 균류(fungi), 점도균(slime molds))등이 될 수 있다. 미생물은 콜로니가 육안으로 관찰될 수 있는 크기 또는 현미경 관찰을 요구하는 크기일 수 있다.
제1 내지 제4실시예들은 함께 이용될 수도 있다. 예컨대, 제2실시예에서, 분류기는 제1실시예에서와 같이 배지 포인트에 대해 교육 될 수 있다.

Claims (14)

  1. 배지에 배양된 미생물 콜로니를 검출하는 미생물 검출방법으로서,
    상기 방법은 교육단계 및 식별단계를 가지는 것을 특징으로 하되,
    상기 교육단계는,
    배지영역 내에 미생물 콜로니를 포함하지 않는 학습대상의 색상 이미지를 촬영하고, 상기 촬영된 색상 이미지에서 상기 배지영역의 적어도 일부분을 교육대상영역으로 설정하는 단계;
    상기 교육대상영역 내에서 배지 포인트의 색상 데이터를 학습 데이터로서 획득하는 단계;
    상기 색상 데이터의 특징벡터를 획득하도록 상기 학습 데이터를 분류기에 공급하는 단계; 및
    상기 특징벡터에 의해 지정된 포인트 세트로부터 소정의 거리만큼 바깥쪽으로 떨어진 위치에 초평면의 형태로 임계값을 설정함으로써 상기 분류기로 배지 클래스를 분류하는 단계를 포함하고,
    상기 식별단계는,
    상기 배지영역 내 미생물 콜로니의 존부를 검사하기위해, 촬영된 검사대상의 색상 이미지 내의 상기 배지영역의 적어도 일부분에 대응하는 검사대상영역에 대한 각 검사 포인트의 색상 데이터를 상기 교육된 분류기에 공급하여, 상기 색상 데이터의 특징벡터를 획득하는 단계;
    상기 분류기로, 상기 특징벡터에 의해 지정된 검사 포인트가 상기 교육단계에서 분류된 상기 배지 클래스에 속하는지 여부를 판단하고, 상기 배지 클래스에 속하지 않는 검사 포인트는 미생물 포인트로 판단하는 단계; 및
    판단결과를 기초로 콜로니를 식별하는 단계를 포함하는 것을 특징으로 하는 미생물 검출방법.
  2. 제1항에 있어서,
    상기 교육대상영역은 배지영역 내에 노이즈를 포함하지 않는 국소영역을 검출하여 설정되는 것을 특징으로 하는 미생물 검출방법.
  3. 제1항에 있어서,
    상기 분류기는 특징추출부, 매핑부, 선형분리부, 및 판단부를 구비하는 것을 특징으로 하는 미생물 검출방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 교육단계 및 상기 식별단계에서,
    상기 분류기에 공급된 데이터는, 상기 색상 데이터에 더하여, 형태 데이터 및 면적 데이터 중 적어도 하나를 더 포함하는 것을 특징으로 하는 미생물 검출방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 교육단계에서,
    상기 클래스 분류와는 분리되어, 상기 배지영역 내의 노이즈 포인트에 대한 노이즈 데이터가 수집되고,
    상기 식별단계에서,
    상기 미생물 포인트가 노이즈 포인트인지 여부가 상기 노이즈 데이터를 기초로 판별되고,
    노이즈 포인트로 판별되지 않은 검사 포인트를 기초로 콜로니가 식별되는 것을 특징으로 하는 미생물 검출방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 식별단계에서,
    상기 배지영역은 주변영역 및 중앙영역으로 분할되고,
    상기 식별은 상기 배지의 중앙영역을 상기 검사대상영역으로 이용하여 수행되고,
    색상 에지 검출에 의해 검출된 색상 에지를 기초로 상기 주변영역에 대하여 상기 콜로니가 검출되는 것을 특징으로 하는 미생물 검출방법.

  7. 제2항 또는 제3항에 있어서,
    교육단계에서,
    상기 배양의 시작으로부터 콜로니 생산 전 소정의 기간 동안, 상기 배지 포인트 학습을 위한 상기 분류기를 교육하기 위해, 상기 검사대상이 학습대상으로 이용되어 상기 배지 클래스를 분류하고,
    상기 식별단계에서, 상기 소정의 기간 후에 상기 촬영된 검사대상의 색상 이미지가 이용되는 것을 특징으로 하는 미생물 검출방법.
  8. 배지에 배양된 미생물 콜로니 유무를 검사하기 위한 미생물 검출장치로서,
    상기 장치는 교육수단 및 식별수단을 가지는 것을 특징으로 하고,
    상기 교육수단은,
    배지영역 내에 미생물 콜로니를 포함하지 않는 학습대상의 색상 이미지를 촬영하고, 촬영된 색상 이미지에서 배지영역의 적어도 일부분에 교육대상영역으로 설정하고,
    상기 교육대상영역 내의 배지 포인트의 색상 데이터를 학습 데이터로서 획득하고,
    상기 학습 데이터를 분류기에 공급하여 상기 색상 데이터의 특징벡터를 획득하고,
    상기 특징벡터에 의해 지정된 포인트 세트로부터 소정의 거리만큼 바깥쪽으로 떨어진 위치에 초평면의 형태로 임계값을 설정함으로써 분리하여 배지 클래스를 분류하는 상기 분류기를 포함하고,
    상기 식별수단은,
    상기 배지영역 내의 미생물 콜로니의 존부를 검사하기 위해 촬영된 검사대상의 색상 이미지 내 배지영역내의 적어도 일부분의 검사대상영역 내의 각 검사 포인트의 색상 데이터를 교육된 상기 분류기에 공급하여 상기 색상 데이터의 특징벡터를 획득하고,
    상기 분류기로, 상기 특징벡터에 의해 지정된 검사 포인트가 상기 교육수단에의해 분류된 상기 배지 클래스에 속하는지 여부를 판단하고, 상기 배지 클래스에 속하지 않는 검사 포인트는 미생물 포인트로 판단하고,
    판단결과를 기초로 콜로니를 식별하는 것을 특징으로 하는 미생물 검출장치.
  9. 삭제
  10. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 식별단계에서,
    상기 미생물 포인트의 연쇄를 포함하는 폐영역에 대응하는 콜로니 후보군의 면적이 판단되고,
    상기 면적이 상기 미생물의 종에 따라 정의된 면적조건을 충족하는 경우, 상기 콜로니 후보군이 콜로니로 식별되는 것을 특징으로 하는 미생물 검출방법.
  11. 제4항에 있어서,
    상기 교육단계 및 상기 식별단계에서, 적어도 상기 색상 데이터 및 상기 형태 데이터가 상기 분류기에 공급되고,
    상기 교육단계에서,
    미생물 콜로니가 존재하는 경우, 상기 색상 데이터 및 상기 형태 데이터의 특징벡터를 획득하기 위해 상기 콜로니의 색상 데이터 및 형태 데이터가 학습 데이터로서 상기 분류기에 공급되고,
    상기 특징벡터에 의해 지정된 포인트 세트를 분리함으로써, 상기 분류기에 의해 상기 콜로니 클래스가 분류되고,
    식별단계에서,
    상기 검사 포인트는 검사대상영역에서 색상으로 구분되는 영역으로 표현되는 콜로니 후보군 포인트가 되고, 상기 콜로니 후보군 포인트의 색상 데이터 및 형태 데이터가 상기 색상 데이터 및 형태 데이터의 특징벡터를 획득하기위해 상기 교육된 분류기에 공급되고,
    상기 특징벡터에 의해 지정된 포인트가 상기 콜로니 클래스에 속하는지 여부가 상기 분류기에 의해 판단되고, 판단결과를 기초로 콜로니가 식별되는 것을 특징으로 하는 미생물 검출방법.
  12. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 분류기는 커널방법(Kernel method)을 기초로 한 서포트벡터머신(support vector machine), 신경망(neural network), 및 가우시안혼합모델(Gaussian mixture model) 중 적어도 하나를 포함하는 것을 특징으로 하는 미생물 검출방법.
  13. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 분류기는 커널방법을 기초로 한 서포트벡터머신이고,
    상기 교육단계에서,
    상기 배지 포인트의 색상 데이터의 특징벡터를 상기 분류기의 매핑부를 이용하여 커널방법에 따라 고차원특징공간상에 매핑함으로써 고차원특징벡터가 획득되고,
    상기 분류기로, 상기 고차원특징벡터에의해 지정된 포인트 세트를 선형적으로 분리하여 배지 클래스가 분류되고,
    상기 식별단계에서,
    상기 검사 포인트의 색상 데이터의 특징벡터를 상기 분류기의 상기 매핑부를 이용하여 커널방법에 따라 고차원특징공간상에 매핑함으로써 고차원특징벡터가 획득되고,
    상기 분류기로, 상기 고차원 특징벡터에 의해 지정된 포인트가 상기 교육단계에서 분류된 상기 배지 클래스에 속하는지 여부를 판단되고, 판단결과를 기초로 콜로니가 식별되는 것을 특징으로 하는 미생물 검출방법.
  14. 제8항에 있어서,
    상기 색상 이미지를 획득하기위한 이미지 촬영수단; 및
    상기 식별수단이 콜로니를 식별한 경우, 콜로니가 검출되었다는 알림을 전달하는 알림수단을 포함하는 것을 특징으로 하는 미생물 검출장치.
KR1020137001382A 2010-06-23 2011-06-20 미생물 검출방법, 미생물 검출장치 및 프로그램 KR101783836B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010143161 2010-06-23
JPJP-P-2010-143161 2010-06-23
PCT/JP2011/064078 WO2011162213A1 (ja) 2010-06-23 2011-06-20 微生物検出方法、微生物検出装置及びプログラム

Publications (2)

Publication Number Publication Date
KR20130038334A KR20130038334A (ko) 2013-04-17
KR101783836B1 true KR101783836B1 (ko) 2017-10-10

Family

ID=45371396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137001382A KR101783836B1 (ko) 2010-06-23 2011-06-20 미생물 검출방법, 미생물 검출장치 및 프로그램

Country Status (7)

Country Link
US (1) US8831313B2 (ko)
EP (1) EP2586873B1 (ko)
JP (1) JP5707399B2 (ko)
KR (1) KR101783836B1 (ko)
CN (1) CN103080331B (ko)
TW (1) TWI499669B (ko)
WO (1) WO2011162213A1 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989202B1 (ko) * 2011-03-04 2019-07-05 엘비티 이노베이션스 리미티드 미생물 성장을 분석하는 방법 및 소프트웨어
EP2681693B1 (en) * 2011-03-04 2018-08-01 LBT Innovations Limited Method for improving classification results of a classifier
WO2014144103A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
WO2014171381A1 (ja) * 2013-04-17 2014-10-23 大日本印刷株式会社 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
WO2014171382A1 (ja) * 2013-04-17 2014-10-23 大日本印刷株式会社 コロニー検出装置、培地情報登録システム、プログラム及び衛生管理システム
WO2015045012A1 (ja) * 2013-09-24 2015-04-02 富士通株式会社 コロニー検査プログラム、コロニー検査装置およびコロニー検査方法
WO2015045183A1 (ja) * 2013-09-30 2015-04-02 富士通株式会社 コロニー画像検査プログラム、コロニー画像検査方法及びコロニー画像検査装置
JP5850205B2 (ja) * 2013-11-27 2016-02-03 大日本印刷株式会社 培地情報登録システム、コロニー検出装置、プログラム及び衛生管理システム
JP6143365B2 (ja) * 2014-03-05 2017-06-07 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
JP6500358B2 (ja) * 2014-07-10 2019-04-17 大日本印刷株式会社 コロニー検出システム、コロニー検出方法、及び、プログラム
JP6490365B2 (ja) * 2014-08-29 2019-03-27 株式会社エヌテック 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
PL225872B1 (pl) * 2015-04-10 2017-05-31 Bioavlee Spółka Z Ograniczoną Odpowiedzialnością Sposób badania mikroorganizmów hodowanych na podłożach stałych i układ pomiarowy do badania mikroorganizmów hodowanych na podłożach stałych
CN105337108B (zh) 2015-08-12 2018-02-02 富士康(昆山)电脑接插件有限公司 电连接器
CN105322383B (zh) 2015-08-13 2018-08-10 富士康(昆山)电脑接插件有限公司 电连接器
WO2017045741A1 (en) * 2015-09-16 2017-03-23 Merck Patent Gmbh A method for early detection and identification of microbial-colonies, apparatus for performing the method and computer program
US10563164B1 (en) 2015-10-08 2020-02-18 Charm Sciences, Inc. Plate reader
CN105447527A (zh) * 2015-12-31 2016-03-30 四川木牛流马智能科技有限公司 采用图像识别技术将环境微生物进行分类的方法和系统
US10495563B1 (en) 2016-04-28 2019-12-03 Charm Sciences, Inc. Plate reader observation methods and operation
JP7003125B2 (ja) * 2016-11-04 2022-01-20 ベクトン・ディキンソン・アンド・カンパニー コロニーを選択するためのシステム及び方法
JP6837493B2 (ja) * 2016-12-06 2021-03-03 富士フイルム株式会社 細胞画像評価装置および細胞画像評価制御プログラム
FR3062133B1 (fr) * 2017-01-23 2022-06-17 Interscience Procede et appareil de comptage de colonies
US10311573B2 (en) * 2017-05-02 2019-06-04 Techcyte, Inc. Training and machine learning classification of mold in digital microscopy images
KR101924285B1 (ko) * 2017-05-24 2018-11-30 한국산업기술대학교산학협력단 미생물 자동 카운팅 방법 및 장치
CN107287109B (zh) * 2017-07-25 2024-01-16 浙江大学 微生物培养箱的自动检测系统及带该系统的微生物培养箱
KR101963415B1 (ko) * 2017-09-26 2019-03-29 농업회사법인(주)클팜 클로렐라 제조장치
WO2019070975A1 (en) * 2017-10-05 2019-04-11 Becton Dickinson And Company ENVIRONMENT FOR DEVELOPING APPLICATIONS FOR EVALUATION PROCESSING OF BIOLOGICAL SAMPLES
JP7021519B2 (ja) * 2017-11-30 2022-02-17 コニカミノルタ株式会社 画像検査装置、画像形成システムおよびプログラム
EP3620984B1 (en) * 2018-09-06 2024-04-10 Accenture Global Solutions Limited Digital quality control using computer visioning with deep learning
WO2020050687A1 (ko) * 2018-09-07 2020-03-12 주식회사 더웨이브톡 미생물 정보 제공 장치 및 방법
KR102207945B1 (ko) * 2019-04-17 2021-01-26 주식회사 더웨이브톡 미생물 정보 제공 장치 및 방법
CN113518827B (zh) * 2019-03-01 2024-09-06 安格瑞卡姆有限公司 用于检测微生物的方法、装置和系统
KR102306135B1 (ko) * 2019-03-27 2021-09-28 서강대학교산학협력단 금속 나노 구조체를 부착한 미생물의 공기/물 계면에서의 응집을 활용한 미생물 검출 방법
KR102587495B1 (ko) * 2019-04-17 2023-10-12 주식회사 더웨이브톡 미생물 정보 제공 장치 및 방법
CN110066724B (zh) * 2019-06-04 2024-08-02 天津市恒奥科技发展有限公司 微生物培养实时监测装置和检测方法
JP7361511B2 (ja) * 2019-07-04 2023-10-16 合同会社Ｈ．Ｕ．グループ中央研究所 検査支援方法、第１検査支援装置、第２検査支援装置およびコンピュータプログラム
KR102306136B1 (ko) * 2019-08-28 2021-09-29 서강대학교산학협력단 양전하를 가지는 소수성 나노 구조체를 활용한 미생물의 정량적 검출 방법 및 장치
JP2021093951A (ja) * 2019-12-17 2021-06-24 株式会社マルコム 微生物の判別システム
CN111415709B (zh) * 2020-03-16 2023-05-30 北京君立康生物科技有限公司 菌落生长图像的预测方法、装置、电子设备及存储介质
WO2021234513A1 (en) * 2020-05-18 2021-11-25 3M Innovative Properties Company Microorganic detection system using a deep learning model
KR102466257B1 (ko) * 2020-09-10 2022-11-14 주식회사 더웨이브톡 다중 광원을 활용한 분광 장치
KR102454880B1 (ko) 2021-02-05 2022-10-14 박병진 학습된 딥러닝 모델을 이용한 cfu 인식 방법
WO2022241245A2 (en) * 2021-05-13 2022-11-17 Fluid-Screen, Inc. Techniques for spore separation, detection, and quantification
US11490852B1 (en) 2021-08-09 2022-11-08 hemal b kurani Wearable device for detecting microorganisms, sterilizing pathogens, and environmental monitoring

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996018167A1 (en) 1994-12-05 1996-06-13 E.I. Du Pont De Nemours And Company Method for avoiding redundant identification (caused by artifacts in images of bacterial colonies)
JP2003116593A (ja) 2001-10-17 2003-04-22 Hakuju Inst For Health Science Co Ltd 微生物の判定方法およびその装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09187270A (ja) * 1996-01-11 1997-07-22 Nishi Nippon Shinku Tank Kk 細菌類の分析方法および同分析装置
JPH11221070A (ja) 1998-02-03 1999-08-17 Hakuju Inst For Health Science Co Ltd 微生物などの検査方法およびその装置
JP2000069994A (ja) 1998-08-28 2000-03-07 Konica Corp 微生物検出方法および微生物検出システム
US6251624B1 (en) * 1999-03-12 2001-06-26 Akzo Nobel N.V. Apparatus and method for detecting, quantifying and characterizing microorganisms
JP2001022929A (ja) 1999-07-07 2001-01-26 Meidensha Corp 群体微生物検出方法および装置
CN100436574C (zh) * 2001-09-06 2008-11-26 基因描绘系统有限公司 复制细胞的快速检测
US7298885B2 (en) * 2002-11-27 2007-11-20 3M Innovative Properties Company Biological growth plate scanner with automated image processing profile selection
US20050276456A1 (en) * 2004-05-27 2005-12-15 Toshiyuki Yamato Cell-operating device
JP4213142B2 (ja) * 2005-06-15 2009-01-21 株式会社エヌテック コロニーの計数方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996018167A1 (en) 1994-12-05 1996-06-13 E.I. Du Pont De Nemours And Company Method for avoiding redundant identification (caused by artifacts in images of bacterial colonies)
JP2003116593A (ja) 2001-10-17 2003-04-22 Hakuju Inst For Health Science Co Ltd 微生物の判定方法およびその装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Information systems frontiers, Vol. 11, Issue 4, pp. 349-368 (2009.02.)*

Also Published As

Publication number Publication date
CN103080331B (zh) 2014-07-09
EP2586873A4 (en) 2013-12-18
WO2011162213A1 (ja) 2011-12-29
TW201202415A (en) 2012-01-16
US20130109051A1 (en) 2013-05-02
TWI499669B (zh) 2015-09-11
EP2586873A1 (en) 2013-05-01
US8831313B2 (en) 2014-09-09
CN103080331A (zh) 2013-05-01
EP2586873B1 (en) 2015-11-18
JP5707399B2 (ja) 2015-04-30
KR20130038334A (ko) 2013-04-17
JPWO2011162213A1 (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
KR101783836B1 (ko) 미생물 검출방법, 미생물 검출장치 및 프로그램
AU2022200171B2 (en) Colony contrast gathering
US11674116B2 (en) Method and system for automated microbial colony counting from streaked sample on plated media
US10430640B2 (en) System and method for classification of particles in a fluid sample
EP2497823B1 (en) Device for harvesting bacterial colony and method therefor
JP6490365B2 (ja) 微生物検査装置の検証方法、微生物検査装置における検証装置及びプログラム
JP5430122B2 (ja) 微生物の検出方法、装置およびプログラム
US10407708B2 (en) Method and system for determining microorganism growth
US11884959B2 (en) Methods and systems for automated assessment of antibiotic sensitivity
JP2012080802A (ja) 細菌コロニーの釣菌方法及び釣菌装置
CN113853607A (zh) 用于监测菌落的细菌生长和预测菌落生物量的系统和方法
Liu et al. Development and Test of an Auto Seedling Detection System
Luo Color image analysis for cereal grain classification

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20130118

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160120

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170227

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170828

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170926

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170927

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200618

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210610

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220622

Start annual number: 6

End annual number: 6

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240707