KR101989202B1 - 미생물 성장을 분석하는 방법 및 소프트웨어 - Google Patents

Abstract

고체 배지 상의 미생물 성장을 분석하는 방법으로, 고체 배지와 미생물 성장의 이미지 데이터를 획득하는 단계, 이미지 데이터의 복수의 픽셀에 대하여, 하나 이상의 필터를 상기 이미지 데이터에 적용함으로써 얻어진 관련 특성벡터(feature vector)의 값들을 생성하는 단계, 상기 관련 특성벡터에 기초하여 상기 복수의 픽셀 내의 각 픽셀을 분류하기 위한 분류기를 이용하는 단계, 고체 배지와 미생물 성장의 미생물학적 평가를 도출하기 위하여 상기 각 픽셀의 픽셀 분류 결과를 분석하는 단계, 및 상기 미생물학적 평가를 출력하는 단계를 포함한다.

Description

미생물 성장을 분석하는 방법 및 소프트웨어{METHOD AND SOFTWARE FOR ANALYSING MICROBIAL GROWTH}

본 출원은 2011년 3월 4일 오스트레일리아에 가출원된 2011900786호를 우선권 주장하며, 참조로서 그 내용은 여기에 통합된 것으로 간주한다.

본 발명은 고체 배지(solid culture medium) 상에서의 미생물 성장, 특히 미생물학적 샘플(microbiological sample)로 고체 배지의 접종(inoculation)이나 배양(incubation)에 따라 성장한, 분리된 세균 집락의 형태로 미생물 성장을 분석하는 방법 및 소프트웨어와 관련한 것이다. 본 발명의 방법이나 소프트웨어는 미생물학적 연구소에서 사용처를 찾을 수 있을 것이다.

많은 미생물 연구소에서 미생물(특히 세균)의 개별 집락의 분리는 중요한 절차이다. 세균의 분리는 보통 숙련된 임상병리사에 의하여 수동적으로 이루어지거나 로봇도말장치(robotic streaking equipment)에 의해 자동적으로 이루어진다. 모든 경우에서 미생물학적 샘플이 고체 배지의 표면에 나뉘어 놓여지고 그 다음에 배지 표면 전체에 미생물학적 표본이 뿌려진다(이를 획선도말(streaking)이라 부른다). 일반적으로 다중 획선(multiple streaks)은 고체 배지에서 세균의 희석률이 점점 증가하는 것으로 구성된다.

희석률이 점점 증가하는 획선은 일반적으로 그 획선의 꼬리쪽으로 갈수록 배양 후 분리된 미생물 집락의 성장을 허용하는 단일 세포들이 더 많이 제공되는 경향이 있다. 이런 분리 집락들은 이후 집락 형태학(colony morphology)과 같은 다양한 물리적 특성들이 분석되고, 여과 절차(straining procedure)나 속(genus), 종(species) 및/혹은 미생물학적 표본에서 아직 정의되지 않은 유기체의 유형을 결정하기 위해 필요로 하는 그 외의 절차를 겪을 수 있다.

전통적으로 이러한 분석은 숙련된 미생물 임상병리사에 의해 시각적으로 수행되어 기술자들이 미생물학적 평가(assessment)를 내릴 수 있었다. 이런 평가는 세균 집락의 존부의 검지, 각 집락별 컬러(들)의 검지, 발효(fermentation)나 용혈(haemolysis)에 기인할 수 있는 컬러 변화의 모습을 결정하기 위한 컬러 분포의 매핑(mapping), 융합 집락 혹은 분리된 집락의 성장 차이, 집락의 텍스쳐(texture)나 점성의 측정, 2차원/3차원 형상의 결정 및/또는 종류가 다른 집락들의 계수(計數; enumeration)를 포함할 수 있다.

잠재 병원균의 성장이 확인된 곳에서는 현재의 규제요건에 따라, 고체 배지는 그 다음 단계의 실험과정이 진행되어 더욱 확실한 식별 대상 및 항생물질 감수성 테스트(antibiotic susceptibility testing)의 대상이 된다.

본 발명의 목적은 미생물학적 평가를 제공하기 위한 방법과 소프트웨어를 제공함에 있고, 이 평가는 작업자인 사람의 조작이 전혀 없이(혹은 아주 적은 조작만으로) 이루어지게 된다.

본 발명의 요약에 들어가기 전에, 상기 종래 기술에 대한 설명은 단순히 본 발명의 내용을 설명하기 위한 배경으로서 제공되기 위함임을 이해해야 한다. 여기 인용된 어떠한 물질도 공개되거나 공지된 것이나 오스트레일리아나 기타 지역에서 일반적으로 알려진 지식의 일부임을 인정하는 것으로 간주되어서는 안된다.

본 발명은 고체 배지 상에서의 미생물 성장을 분석하는 방법을 제공하며, 상기 방법은,

고체 배지와 미생물 성장의 이미지 데이터를 획득하는 단계,

이미지 데이터의 복수의 픽셀을 위하여, 하나 이상의 필터를 상기 이미지 데이터에 적용함으로써 얻어진 관련 특성벡터(feature vector)의 값들을 생성하는 단계,

상기 관련 특성벡터에 기초하여 상기 복수의 픽셀 내의 각 픽셀을 분류하기 위한 분류기를 이용하는 단계,

고체 배지와 미생물 성장의 미생물학적 평가를 도출하기 위하여 각 상기 픽셀의 픽셀 분류 결과를 분석하는 단계, 및

상기 미생물학적 평가를 출력하는 단계를 포함한다.

"고체 배지 상(上)의"라는 용어와 관련하여, "상(上)"이라는 의미는 미생물 성장이 고체 배지의 표면이나 고체 배지 내부에서 일어남을 모두 아우르는 것으로 사용되었음은 당업자에 의하여 자명할 것이다. 이하에서 "고체 배지(solid culture medium)"라는 용어는 종종 본 명세서에서 단순히 "배지(medium)"만으로도 불릴 것이다. 예를 들어 종종 "샘플"로 간단히 언급될 미생물학적 샘플은 배지의 표면이나 배지 내부에 뿌려져, 미생물 성장이 샘플과 함께 배지의 접종이나 배양에 따라 성장될 수 있음을 알아야 한다. 즉, 배지 상의 미생물 성장은 배지에서의 샘플, 예를 들어 소변 샘플(urine sample), 장내 샘플(enteric sample), 혈액 샘플(blood sample), 림프 샘플(lymph sample), 섬유조직 샘플(tissue sample), 수분 샘플(water sample), 음식 샘플(food sample) 혹은 그밖의 관련 샘플의 접종이나 배양의 결과이다.

또한 배지는 보통, 예를 들어 한천과 같은 것일 수 있고, 플레이트, 더욱 상세하게는 뚜껑을 구비할 수 있는 페트리접시(Petri dish)와 같은 용기에 보통 담겨질 것임은 당업자에게 자명할 것이다. 배지와 플레이트의 조합은 아래에서는 명세서 전체적으로 배지 플레이트로 불릴 것이고, 때로는 본 기술분야에서 언급되는 "한천 플레이트"로 불릴 수도 있을 것이다.

본 발명은 미생물학적 평가를 제공하기 위하여, 미생물 성장과 함께, 혹은 미생물 성장이 없는 배지의 이미지에서 픽셀들을 분류하는 분류기를 사용한다. 인간 조작자의 개입이 전혀 불필요하거나 거의 필요로 하지 않는다. 이는 배지 플레이트를 분류하는 데 드는 시간을 절약할 수 있고 숙련된 인력은 다른 업무로 돌림으로써 더욱 효율적인 인력 활용을 가능케 한다. 예를 들어 본 방법은 픽셀 분류 결과에 기초하여 배지 상의 미생물 성장을 분류하는 단계를 포함한다.

또 다른 실시예에서, 본 방법은, 상기 픽셀 분류 결과에 기초하여, 미생물 성장의 1 이상의 집락들을 계수하는 단계를 더 포함한다. 그후 본 발명은 미생물 성장의 예상된 집락들을 나타내는 일련의 영역들을 결정하기 위해, 예컨대 관련 요소 알고리즘을 이용하여 픽세 분류 결과를 분석할 수 있다. 이 경우 본 방법은 상기 영역들 각각의 크기 및/혹은 모양에 기초하여 상기 일련의 영역들로부터 미생물 성장의 집락들을 계수하는 단계를 더 포함한다.

미생물 성장은 예를 들어 하나 이상의 세균 성장, 균류 성장(fungal growth), 바이러스성 플라크(viral plaque)나 원생생물의 성장(protist growth)를 포함할 수 있고, 성장은 집락(colony), 균사체(mycelium), 균사(hypha), 플라크(plaque)나 그밖의 가시적 미생물 구조의 형태를 취할 수 있다. 몇몇 실시예로, 각각의 미생물 성장은 단일 미생물(microbe)(예컨대 샘플이 희석된 형식으로 배지에 가해져 개별 미생물이 분리될 때)에 의하여 발생한 성장일 수 있다.

배지는 미생물의 성장을 지원하는 어떠한 배지라도 포함할 수 있다. 이와 같이 배지는 예컨대 탄소원, 질소원, 필수 원소 및/혹은 필수 비타민을 포함하는 하나 이상의 미생물 영양소를 포함할 수 있다. 또한 배지는 일반적으로 예컨대 젤라틴, 한천, 젤란검(gellan gum), 아가로스(agarose) 혹은 우무겔(agargel)을 포함하는 겔화제(gelling agent)를 포함할 것이다.

어떤 실시예에서는 배지가, 일반적으로 공지되어 있는, 제한적인 영양소나 항생 물질과 같은 것을 포함하는 배지를 포함하여 다른 미생물의 성장을 방지하면서 어떤 미생물의 성장을 허용하는 선택적 배지(selective culture medium)를 포함할 수 있다.

어떤 실시예에서는 분석을 위한 샘플이 하나 이상의 배지 플레이트나 하나 이상의 세그먼트를 가지는 스플릿 배지 플레이트(split culture plate) 상에 놓여진다. 이러한 실시예들에서 미생물 성장의 분석은 서로 다른 배지 플레이트들이나 세그먼트들에 걸친 이미지들을 찍음으로써 수행되며, 픽셀 분류 결과들이 상술한 바와 같이 분석되어, 다른 배지 플레이트들이나 세그먼트들 상의 미생물 성장과의 비교에 기초해 미생물학적 평가가 이루어질 수 있다.

어떤 미생물학적 샘플들은 특정 배지상에서 미생물 성장의 결과를 낳지 않을 수도 있음을 알 수 있을 것이다. 예를 들어, 미생물학적 샘플은 선택적 배지(예를 들어, 어떤 미생물의 성장을 억제하는 영양소나 특정 항생 물질을 포함하는 배지)상에서는 미생물이 성장 능력을 포함하지 않을 수 있고, 그 미생물 샘플은 살균되어 있을 수도 있다(예를 들어 아무런 미생물도 포함하지 않음). 이러한 경우에, 획득되는 배지의 이미지 데이터는 배지 상에서 미생물 성장을 포함하지 않을 수 있다(예를 들어, 네가티브 반응(negative result)).

어떤 예에서, 미생물학적 평가는 배지 플레이트가 4개의 카테고리 - 1.웨이스트(waste)(예를 들어 어떠한 병원균도 보이지 않는 배지 플레이트), 2.재배양 필요(reincubation required), 3.병원균 가능성의 확인(예를 들어 포지티브 반응을 보이고 규정에 따라 재검토가 요구되는 배지 플레이트) 또는 4.인간의 재검토(예를 들어 컴퓨터가 1 내지 3의 카테고리에서 명확한 결정을 내릴 수 없거나 숙력된 작업자가 배지 플레이트를 어떤 요구되는 출력 스테이션(output station)으로 지정한 경우)- 중 하나에 속하는지 여부를 확인하는 데 이용될 수 있다.

이미지 데이터의 분석을 통한 배지와 미생물 성장(있는 경우)의 평가는 상술한 바와 같이 숙력된 전문가가 수행하는 평가를 나타낸다. 즉, 상기 평가는 배지 내의 미생물 성장 집락의 검지를 포함하며, 예를 들어 이러한 집락들, 예를 들어 세균 집락들의 분류, 발효나 용혈에 기인하는 컬러 상의 변화가 있는지를 결정하기 위하여 배지 컬러 분포의 매핑, 융합 집락과 분리 집락의 구별, 집락의 텍스쳐(texture)나 점성(viscosity)의 측정, 2차원 형상인지 3차원 형상인지의 결정, 및/또는 배지 상의 종류가 다른 집락들의 계수를 포함할 수 있다.

배지의 이미지 데이터 및 그 위의 미생물 성장(있는 경우)은 이미지 캡처 장치, 예를 들어 고해상도 컬러 디지털 카메라, 레이저 거리계(laser rangefinder)나 이와 다른 적절한 장치를 이용하여 찍은 하나 이상의 이미지들을 포함할 수 있다. 한 예로, 이미지 데이터는 이미 있는 이미지들, 예를 들어 다른 목적으로 찍혀질 수 있는 이미지들로부터 획득된다. 다른 예에서, 이미지 데이터는 본 방법을 위한 전용 이미지 캡처 장치를 이용해서 찍힌 이미지로부터 획득될 수 있다. 어떠한 경우에도, 이미지들은 예를 들어 동일한 미생물 성장을 포함하는 복수의 이미지들과 같은 이미지 데이터를 생성하도록 처리되고, 평균화되고(averaged), 디모자이크되고(demosiced), 그리고 컬러 칼리브레이트될(colour calibrated) 수 있다. 이미지 데이터는 일련의 그러한 처리 이미지들, 예를 들어 서로 다른 조명 구성들을 이용하여 찍은 이미지들을 포함할 수 있다. 나아가 이미지 캡처와 처리에 대한 상세는 아래에서 설명될 것이다.

분류기는 부스티드 분류기(boosted classifer)일 수 있다. 이와 달리 분류기는 디시전트리(decision tree), 랜덤 포리스트(random forest)일 수 있고, 선형판별분석(Linier Discriminant Analysis)(LDA)나 이와 다른 픽셀들을 분류하는 기술을 이용할 수 있다. 부스티드 분류기는 "약(weak)" 분류기들(랜덤보다는 좋지만, 낮은 분류 정확도)의 세트의 출력을 합쳐 정확도가 높은 하나의 "강(strong)" 분류기를 생성한다. 약분류기들을 결합하는 데 있어, 각각의 약분류기의 결과는 바람직하게는 약분류기의 정확도의 신뢰도에 따라 가중된다. 부스티드 분류기를 만들어내기 위한 적절한 부스팅 알고리즘(boosting algorithm)의 적당한 예는 디스크리트 아다부스트(discrete AdaBoost)로, 이는 아래에서 더욱 상세히 설명될 것이다. 디스크리트 아다부스트는 요아프 프룬드(Yoav Freund)와 로버트 이. 셔파이어(Robert E. Schapire)의 "결정-온라인 러닝과 부스팅으로의 적용의 이론적 일반화(decision-theoretic generalization of on-line learning and an application to boosting)", 저널 오브 컴퓨터 앤드 시스템 사이언스(J. Comput. Syst. Sci.)의 1997년 8월호 55:119-139에 기술된 아다부스트의 변형(a variant of AdaBoost)이고, 참조로서 여기에 통합된다. 디스크리트 아다부스트는 그 다음 약분류기를 트레이닝(training)시킬 때 약분류기에 의하여 잘못 분류된 표본들에 대하여 더 큰 가중치를 줌으로써 적응적으로 분류기의 성능을 향상시킨다. 이와 달리 리얼 아다부스트(Real AdaBoost), 젠틀 아다부스트(Gentle AdaBoost) 혹은 필터부스트(FilterBoost)와 같은 다른 부스팅 알고리즘이 이용될 수도 있다. 이러한 변형들은 약분류기들을 트레이닝하고 가중치를 주는 것에 있어 상이한 방법을 이용한다.

일 실시예에서 픽셀들을 분류하기 위해 사용되는 분류기는 부스티드 디시전트리 분류기(boosted decision tree classifier)다. 이 실시예에서 사용되는 약분류기들은 디시전트리다. 디시전트리는 2진 트리(binary tree)로 여기서 각 노드(node)는 룰(rule)을 포함하고, 각 가지(branch)는 그 룰의 결과, 그래서 디시전(decision)을 나타내며, 각 잎(leaf)은 분류(classification)를 나타낸다. 이 구조에서 각각의 룰은 x_i<t의 형태로 특성벡터 내에서 값에 대한 테스트이며, 여기서 x_i는 특성벡터 x=(x₁,...,x_n)으로부터의 값이고, t는 한계값이다. 트리는 단일 특성벡터를 분류하기 위하여 뿌리 노드(root node)로부터 횡단된다. 보통 구조는 만약 테스트가 지나게 되면 노드의 왼쪽 가지가 횡단되며, 그렇지 않으면 오른쪽 가지가 대신 횡단된다.

부스티드 디시전 트리 분류기는 멀티클래스 분류기(multi-class classifier)일 수 있다. 예를 들어 아다부스트.멀티레이블해밍(AdaBoost.MH(Multi-Label Hamming)) 방법이 복수 클래스들 중 하나로 픽셀들을 분류하기 위해 사용될 수 있다. 아다부스트.멀티레이블해밍 알고리즘은 제롬 프리드먼(Jerome Friedman), 트레버 해스티(Trevor Hastie) 및 로버트 티브셔러니(Robert Tibshirani)의 "부가 로지스틱 회귀분석: 부스팅의 통계학적 관점(additive logistic regression: a statical view of boosting), 1998년 통계학 연보(Annals of Statistics)의 28:2000에 설명되었고, 그 내용은 참조로서 여기에 통합된다.

더 나은 분류 속도와 분류 성능을 위하여, 분류가 2단계의 과정으로 수행될 수도 있다. 예를 들어 본 방법은 먼저 각 픽셀을 제1 복수 클래스의 하나로 분류하기 위해 제1 분류기를 이용하고 그 다음 제1 복수 클래스 중 하나 이상에서 각 픽셀을 제2 복수 클래스의 하나로 분류하기 위해 제2 분류기를 이용한다. 그 결과는 독립된 분류기들의 연속으로, 여기서 제1 분류기의 출력은 특성벡터의 증가나 제2 분류기를 트레이닝시킬 때 적용가능한 픽셀들을 제한하는 데 이용된다. 제1 분류기는 먼저 각 픽셀을 배경(background) 혹은 비배경(non-background)으로 분류하기 위한 2진 캐스케이드 분류기(binary cascade classifier)일 수 있고, 제2 분류기는 각 비배경 픽셀을 제2 복수 클래스의 하나로 분류하기 위한 멀티클래스 부스티드 디시전트리 분류기(multi-class boosted decision tree classifier)일 수 있다.

처음의 배경 픽셀들의 대략적 분류는 집락 종류들의 하나로 더욱 정확하게 분류될 필요가 있는 픽셀들의 수를 감소시킨다. 최초의 2진 분류는 높은 허위 포지티브률(false positive rate)(비배경으로 분류된 배경 픽셀들)을 가질 수 있고, 잘못분류된 픽셀들은 다음 단계에서 제대로 분류될 수 있다. 적절한 최초 2진 분류기는 폴 비올라(Paul Viola)와 마이클 존스(Michael Jones)의 "로버스트 실시간 물체 감지(Robust real-time object detection)", 2001년 7월 13일 시각의 통계적. 계산적 이론에 관한 제2 국제 워크샵(Second International Workshop on Statistical and Computational Theories of Vision)에 설명된 캐스케이드 분류 방법(cascade classifier method)을 따를 수 있고, 참조로서 여기에 통합된다.

클래스들은 유기체의 속(genus), 종(species) 혹은 계(strains), 한천 종류(agar types), 배경, 비배경을 나타낼 수 있다. 클래스들은 플렉서블(flexible)해서, 다른 말단 사용자들이 흥미를 가지는, 상이한 한천 종류나 유기체 종류들에 대해서도 가능하다.

본 방법은 나아가 신뢰값(confidence value)을 각 픽셀 분류에 할당하는 단계를 포함한다. 신뢰값은 픽셀의 올바른 분류에 대한 확률을 나타낸다.

본 발명은 나아가 픽셀 분류 결과를 향상시키기 위해 후처리 알고리즘(post processing algorithm)을 적용하는 단계를 포함할 수 있다. 다양한 이종 알고리즘들이 허위 레이블들(spurious labels)이나 불명확한 영역들을 제거하기 위해 적용될 수 있다. 예를 들어 후처리 알고리즘은 딜레이션(dilation)이나 이로전(erosion) 혹은 이를 대체하여 그래프컷(graph cut)과 같은 형태적 조작들을 포함할 수 있다. 적절한 그래프컷 알고리즘은 유리 보이코프(Yuri Boykov), 올가 벡슬러(Olga Veksler), 및 라민 자비(Ramin Zabih)의 2001년 11월 IEEE 트랜잭션 온 패턴 어낼러시스 앤드 머신 인텔리전스(IEEE Trans. Pattern Anal. Mach. Intell.)에 게재된 "그래프컷을 통한 고속 근사 에너지 최소화(Fast approximate energy minimization via graph cuts)"의 23:1222-1239에 기재되어 있고, 그 내용은 참조로서 여기에 통합된다. 그래프컷 알고리즘은 그래프를 두 개 이상의 세트로의 최적 분할을 계산한다. 그래프컷 알고리즘의 적용은 이미지 데이터에서 몇몇 픽셀들의 재분류를 수행케 한다. 그래프컷 알고리즘을 적용하는 단계는:

(a)복수의 노드와 복수의 레이블을 가지고, 각 노드는 이미지 데이터에서 상기 복수의 픽셀 중 하나에 대응하고, 각 레이블은 클래스에 대응하는 그래프를 구성하는 단계,

(b)상기 이미지 데이터에서 인접 픽셀들에 대응하는 노드들 사이에 에지(edge)를 부가하는 단계,

(c)각 노드와 각 레이블 사이에 에지를 부가하는 단계, 및

(d)노드에 대한 에지를 컷팅하고 상기 그래프를 클래스들로 분할하기 위하여, 상기 노드와 인접 픽셀들에 대응하는 픽셀에 대한 픽셀 분류 결과에 기초하는 그래프컷 알고리즘을 이용하는 단계를 포함한다.

그래프컷 알고리즘의 적용은 분류기에 의해 낮은 신뢰도가 주어졌던 픽셀 분류에 대한 분류 결과를 향상시킬 수 있다.그래프컷 알고리즘은 노드에 대응하는 픽셀에 대한 픽셀 분류의 신뢰값 및/혹은 이웃하는 픽셀들의 픽셀 분류에 대한 신뢰값을 고려할 수 있다. 이는 최후 분류에 있어 노이즈를 감소시켜 공간적으로 결과들을 부드럽게 만든다. 특히 낮은 신뢰도 주석(annotation)이 더욱 단일한 출력을 획득하도록 교체될 수 있는 동시에 높은 신뢰도 주석이 보통 유지될 것이다. 예를 들어 낮은 신뢰도의 픽셀이 높은 신뢰도로 동일한 클래스로 분류된 인접 픽셀들에 둘러싸여 있으면, 낮은 신뢰도의 픽셀 분류에서 더욱 좋은 신뢰도를 가질 수 있다. 같은 이유에서 인접 픽셀들이 높은 신뢰도를 가지고 이종 클래스로 분류된다면, 낮은 신뢰도의 픽셀 분류를 그 클래스로 변환시키는 경우가 많을 것이다.

그래프컷 알고리즘은 멀티클래스 그래프컷 알고리즘일 수 있고, 이는 그래프를 3개 혹은 그보다 많은 세트로 분할한다. 이는 2진 그래프컷보다 더 복잡한 알고리즘이지만 더욱 의미있는 평가를 가능케 하여 픽셀들이 더욱 상세히 분류될 수 있다. 그런 알고리즘은 알파 익스팬션 방법(alpha expansion procedure)일 수 있다. 알파 익스팬션에서는 각 노드에 대한 현재 레이블과 가능한 레이블들로부터의 후보 레이블 사이를 분할할 때마다 일련의 그래프컷이 수행된다. 이 방법은 가능한 각각의 레이블들에 반복하여, 수렴시까지 반복된다. 그래프를 생성할 때 상이한 레이블들을 가지는 인접 노드들 사이에 보조 노드(auxiliary node)들이 부가되어 컷(cut) 내에 이러한 레이블링 코스트(cost)를 포함한다.

적절한 그래프컷 알고리즘의 또 다른 상세들은 동일한 출원일에 동일한 출원인으로 출원되어 "분류기의 분류 결과를 향상시키는 방법(Method for Improving Classification Results of a Classifier)"의 명칭으로 함께 펜딩 중인 국제 출원에 기재되어 있고, 그 내용은 참조로서 여기에 통합된다.

이제 분류기로 입력되는 특성벡터 x=(x₁,...,x_n)으로 돌아온다. 특성벡터는 특성이미지들로부터 추출된 값들로 구성되며, 이는 하나 이상의 필터를 샘플의 이미지 데이터에 적용시킴으로써 생성된다. 특성이미지들을 획득하는 것은 중간 단계이며, 이와 달리 특성벡터들이 필터들을 픽셀바이픽셀(pixel-by-pixel)로 적용시킴으로써 추출된 값들로 이루어질 수 있음은 알 수 있을 것이다. "필터"라는 용어는 이미지 데이터의 일부 혹은 전체를, 분류기에 입력될 수 있는 하나 이상의 값으로 변환시키는 어떠한 이미지 처리 알고리즘 혹은 기타 알고리즘을 두루 포함함은 이해될 것이다.

1 이상의 필터들은 아래의 그룹에서 선택될 수 있다:

○ RGB 필터. RGB 필터는 3개의 특성이미지들을 생성하는데, 하나는 레드 채널(red channel), 하나는 그린 채널(green channel), 하나는 블루 채널(blue channel)이다.

○ LAB 필터. LAB 필터는 LAB 컬러 공간에서 3개 이상의 특성이미지들을 생성하는데, 여기서 L은 명도(lightness)를, A와 B는 유채색(chromatic colour) 정보를 나타낸다.

○ 오리엔티드 가우시안 필터(Oriented Gaussian Filter). 이는 1D 가우시안 커널을 다양한 방향으로 이미지에 적용한다. 또한 이는 가우시안 커널의 1차 및 2차 미분을 이용하는 것이 가능하다.

○ 위치 필터(Position Filter). 이는 예를 들어 각 픽셀이 배지 플레이트의 가장자리로부터 떨어진 거리를 나타내는 특성이미지를 생성한다. 이전 분류기의 출력이 가능할 때 필터가 적용된다면, 다른 위치 필터들이 특정 레이블로부터 각 픽셀의 거리를 보여줄 수 있다.

○ 컬러 양자화 필터(Colour quantisation filter). 이는 이미지 내의 컬러의 수가 감소되면, 보통 히스토그램을 통해, 유사 컬러의 영역을 위치시키는데 도움을 준다.

○ 텍스쳐 필터(Texture filter). 이는 각 픽셀 주위의 텍스쳐를 측정하는 하나 이상의 특성이미지들을 생성한다.

필터들은 집락들과 배지 그리고 플레이트 자체 사이의 차이를 부각시킬 수 있다. 몇몇 필터들은 피드백 매커니즘을 포함하여 이전 분류기로부터의 출력이 입력으로 사용될 수 있다.

특성벡터들은 어떠한 수의 필터들을 사용하여 만들어질 수 있다. 예를 들어 픽셀을 위한 특성벡터는 9개의 값을 포함할 수 있다:R,G,B 채널값에 대응하는 x₁, x₂ 및 x₃, 픽셀의 L,A,B값에 대응하는 x₄,x₅,x₆, 플레이트의 가장자리에서 픽셀까지의 거리에 대응하는 x₇, x 및 y 방향에서 이미지 그래디언트(image gradients)에 대응하는 x₈,x₉. 특성벡터들의 수는 어떤 수로도 사용될 수 있고 특성 값들은 동일한 성장에 대한 서로 다른 이미지(예를 들어 상부 조명 혹은 하부 조명이 켜진 상태에서)로부터 추출될 수도 있다.

텍스쳐와 관련하여, 하나 이상의 필터를 이미지 데이터에 적용하는 단계는 아래에 의한 이미지 데이터의 텍스쳐 측정 단계를 포함한다.

(a) 이미지 내에서 각 픽셀에 대한 그래디언트값을 추출하는 단계, 및

(b) 각 픽셀 주변의 윈도우(window)에서 그래디언트값의 공분산 매트릭스의 자취를 계산하는 단계.

그래디언트값들은 소벨 커널(Sobel kernel)을 이용하여 이미지 데이터의 x,y거리를 컨볼빙(convolving)함으로써 추출될 수 있다. 소벨 커널의 사용은 이미지를 부드럽게 하는 동시에 그래디언트 정보를 추출한다. 이미지 그래디언트의 공분산 매트릭스의 자취를 계산하는 것은 그 영역에서 그래디언트의 변동성을 측정하여 평활도(smoothness) 메트릭(metric)을 제공하는 텍스쳐의 정도를 측정한다.

트레이닝하는 동안 요구되는 계산은 이미지 데이터로부터의 복수 픽셀들을 저비율로 샘플링(sparsely sampling)함으로써 감소될 수 있다. 이는 특히 큰 이미지들에 대해 효과적이다. 사용될 수 있는 2개의 알고리즘은 고비율(dense) 혹은 저비율(sparse) 샘플링을 포함한다. 고비율 샘플링은 모든 1/N픽셀들을, 저비율 샘플링 방법은 N 픽셀들을 이미지 데이터의 레이블링된 픽셀들의 가능한 풀(pool)로부터 랜덤으로 취한다. 트레이닝에서, 저비율 샘플링 방법은 매 클래스에 대해 이용가능한 N픽셀들로 이끄는 트레이닝된 각 클래스에 대한 개별적 풀을 형성한다. 고비율 방법은 모든 클래스에 대해서 하나의 풀을 형성하여, 각 클래스에서 픽셀들의 숫자는 이미지들에서 클래스의 분포에 의존할 것이다.

또한 이 방법은 네가티브 제어(negative control)로서 배지를 식별할 것이다. 예를 들면, 분류기는 픽셀들을 배경 혹은 비배경으로 분류할 것이다. 이 방법은 배경으로 분류된 픽셀들의 수가 이미지 캡처와 분석이 유효하도록 하기 위한 기정의된 최소 숫자를 초과하는지를 결정한다. 배경(예를 들면 기본 한천(bare agar))으로 분류되어야할 픽셀들의 기설정된 최소 숫자는 한천의 종류 및 배지 플레이트 상에서 식별되는 다른 세균에 의존하는 값들의 테이블로부터 추출될 수 있다. 최대값은 단순히 이미지 내에서 배지 플레이트 상에 놓인 픽셀들의 수이다.

이미지 캡처와 분석의 완전성을 한층 더 체크하기 위해, 분류의 신뢰도가 조사될 수 있다. 만약 충분한 크기의 어떤 영역이 현저히 낮은 신뢰도를 갖고 존재한다면, 알려지지 않은 아이템이 배지 플레이트 위에 놓여졌을 가능성이 있다. 이 경우 오퍼레이트가 경보를 알리거나 배지 플레이트에 점검을 위한 마크가 표시될 수 있다.

평가를 생성하기 위해 픽셀 분류 결과들이 분석된다. 이는 상술한 바와 같이 집락의 수, 집락의 크기, 배지 플레이트 상에 나타난 유기체들의 범위, 성장 패턴, 용혈, 인공물(artefacts), 오염물질(contaminants), 한천의 결함(defect) 등과 같은 부가 메타데이터(additional metadata)를 추출하기 위해 픽셀 분류를 처리하는 단계를 포함한다.

각 종류의 집락의 수는 양자화(quantitation)로 알려진 방법을 이용하여 계산(계수)될 수 있다. 집락을 세는 것은 많은 집락들이 서로 분리되지 않을 수 있기 때문에 어려운 작업임은 당업자에 의하여 이해될 것이다. 그래서 3가지 접근방법이 제안된다:

1. 기본 카운팅(Basic counting). 이 방법에서 집락의 숫자는 각 종류의 한천 위에서 각 유기체 종류에 대한 평균 집락 크기를 결정함으로써 추측된다. 특정 배지 플레이트 위에서 검지된 각 유기체의 픽셀 숫자는 집락의 수를 산출해내기 위해서 이 숫자로 나뉘어질 수 있다.

2. 밀도 기반 카운팅(Density based counting). 이 방법에서 각 집락의 가장자리로부터의 거리는 카운팅 알고리즘에 포함된다. 이는 넓은 영역의 성장은 몇몇 개별 집락들로 카운팅된다는 관찰에 기초한 것이다. 그래서 집락의 중심에서 내부 픽셀들은 그런 결과를 수행해내기 위해 더 높은 가중치가 할당된다. 수작업에 의해 많은 집락의 수를 측정함으로 테이블이 형성되고, 이 메트릭에 대하여 그 결과들이 표로 만들어진다. 그후 테이블은 보이지 않는 배지 플레이트 위에서 평가가 이루어질 때 메트릭으로부터 집락의 수를 획득하는 데 이용될 수 있다.

3. 이미지 처리 기반 카운팅(Image processing-based counting). 이 방법에서 레이블들을 포함하는 이미지는 먼저 연결 성분 알고리즘(connected components algorithm)에 의하여 분석된다. 이 알고리즘에 의하여 검지된 각 성분은 차례로 검사를 받는다. 특정 집락이 기설정된 테이블의 역치들에 대해 너무 크다고 생각되면, 상기 1번으로 제안된 방법이 적용된다. 집락이 너무 작다고 생각되면 단일 집락으로 카운팅된다. 한편 성분의 모양이 고려될 수도 있다. 만약 그것이 원형이면 단일 집락으로 카운팅된다. 그렇지 않고 워터쉐드 알고리즘(watershed algorithm)이 성분을 개별 집락으로 분리하기 위해 적용될 수 있고, 그들 각각은 집락의 수를 하나씩 증가시킨다.

그 뒤에, 알고리즘이 배지 플레이트 위에서 검지된 각 집락의 종류의 적절한 계수를 산출할 것이다. 이러한 계수는 특정분야의 전문가(domain expert)에게 의미 있고, '1+'와 같은 사분면(quadrant specification)이나 10³cfu/ml와 같이 밀리리터의 솔루션(solution)당 집락들의 수의 추산(estimate)의 형태를 취할 수 있다. 그후 하나 이상의 배지 플레이트의 계수는, 샘플의 평가를 얻어내기 위해 결합된다.

평가를 생성함에 있어, 본 방법은 또한 분류기에 의해 생성된 분류들을 해석해내기 위해서 임상 규정(clinical rules)을 이용할 수 있고, 혹은 상술한 바와 같이 생성된 양자화(계수)을 이용할 수도 있다. 이러한 임상 규정들은 환자의 나이나 임상적 상태, 분석된 환자 샘플의 종류, 식별된 세균의 종류, 지역의 임상적 규정(local laboratory practice) 혹은 상기 분류기의 정상적 결정들을 덮어쓰기 할 그 외의 다양한 사용자 정의의 조건들(custom user-defined conditions)을 평가할 수 있다. 임상 규정은 소프트웨어에 의해 제공되는 정확한 집락의 수나 크기와 같은 저차원의 평가들로부터 임상병리사들에 적절한 형식으로 전형적인 고차원의 평가로 연결하는 다리를 제공하며, 여기서 핵심적인 정보만 리포트된다.

본 방법과 사용될 수 있는 적절한 장치의 상세는 "이미지 캡처 및 조명 장치(Image Capture and Lighting Apparatus)"라는 명칭으로 동일 출원인으로 동일자에 출원되어 함께 펜딩중인 국제특허출원에 의해 제공되며, 그 내용은 참조로서 여기에 포함된다.

본 방법은 이 장치와 함께 사용하는 것에 한정되지 않음은 이해될 것이고, 배지에 대한 이미지 데이터는 하나 이상의 조명 장치를 가진, 다른 적절한 구조의 하나 이상의 이미지 캡처 장치들(예를 들어 카메라들)에 의하여 획득될 수 있다.

이미지 데이터는 배지의 표면 이미지, 배지를 포함하는 플레이트 및 배지 플레이트 주위의 영역을 포함할 수 있다. 이상적으로는 이미지 데이터가 플레이트 바코드 데이터, 이미지 인식 파라미터, 시간/날짜 스탬프 및 이미지 캡처 장치 상세 데이터를 포함하는 관련 플레이트 데이터와 함께 데이터베이스에 저장될 것이다.

미생물 성장을 나타내는 이미지 데이터의 정확한 분석을 수행하기 위하여 고품질, 상세한 이미지 데이터가 요구된다. 이미지 캡처 장치로부터의 로우 이미지(raw image)를 적절한 형식으로 처리하기 위한 단계가 수행될 수 있다. 캡처된 이미지들을 처리하는 단계는 분석에 적합한 이미지 데이터를 획득하기 위해, 일련의 캡처 이미지들을 디모자이크(demosiacing), 화이트 밸런스(white balance) 및 컬러 보정(colour correction)에 의하여 평균화하는 단계를 포함한다.

사용 가능한 컬러 칼리브레이션 방법(colour calibration method)의 상세는 "이미지 캡처 장치를 위한 컬러 칼리브레이션 방법"이라는 명칭으로, 동일 출원인에 의해 동일 출원일에 출원되어 함께 펜딩중인 국제출원에 기재되어 있고, 그 내용은 참조로서 여기에 통합된다.

일례에서, 그 장치와 방법은 완벽한 이미지 획득 및 분석 기능을 제공할 수 있고, 완벽한 패키지로서 실험실에 제공될 수 있다. 이와 달리 이미지 데이터는 다른 제공자, 본 발명의 방법이 수행되고 있는 곳에서 먼 지역이나 나라로부터 공급될 수 있고, 그래서 이미지 데이터를 획득하기 위해 사용되는 다른 이미지 획득 장치가 이미지 데이터의 분석이 행해지는 곳으로부터 멀리 위치해 있을 수도 있다.

본 발명은 프로세서와 소프트웨어를 저장하는 메모리를 포함하는 컴퓨터에서 사용하기 위한 소프트웨어로 확장되며, 소프트웨어는 상기 설명한 실시예들 중 어느 하나에 따른 방법을 수행하기 위해, 프로세서에 의해 수행될 수 있는 일련의 지시들을 포함한다.

또한 본 발명은 상기 소프트웨어를 포함하는 컴퓨터로 판독가능한 매체와 프로세서, 메모리, 그리고 상기 프로세서로 접근 가능한 메모리에 저장되는 소프트웨어로 확장되며, 상기 소프트웨어는 상기 설명한 실시예들 중 어느 하나에 따른 방법을 수행하기 위해, 프로세서에 의해 수행될 수 있다.

또 다른 관점에서, 본 발명은 고체 배지상에서 미생물 성장을 분석하는 데 이용하기 위한 분류기를 트레이닝하는 방법을 제공하며, 본 방법은:

고체 배지 상의 미생물 성장의 복수 샘플에 대한 이미지 데이터를 획득하는 단계;

상기 이미지 데이터의 복수 픽셀들의 각각에 대하여, 하나 이상의 필터를 이미지 데이터에 적용함으로써 획득되는 관련 특성벡터값을 생성하는 단계; 및

상기 이미지 데이터에서 상기 픽셀과 관련된 레이블에 대응하는 상기 복수 픽셀에서의 각 픽셀을 분류하는 분류기를 트레이닝하는 관련 특성벡터를 이용하는 단계를 포함한다.

바람직하게는 상기 각 픽셀의 픽셀 분류 결과들은 고체배지 상의 미생물 성장의 미생물학적 평가를 도출하기 위해 분석된다.

본 발명의 실시예들이 오직 예시를 위한 수단으로, 첨부된 도면들을 참조하면서 설명될 것이다. 도면들의 특징이 앞서 설명한 본 발명의 일반적인 사항을 대체하는 것은 아님을 이해해야 한다.
도 1은 배지 플레이트에서 고체 배지 상의 미생물 성장을 분석하는 데 사용하기 위한 장치의 개략도이다.
도 2a는 사용자가 이미지들을 캡처할 때의 GUI의 화면, 도 2b 내지 도 2e는 도 2a의 화면 좌측부분의 상세를 나타내는 확대도이다.
도 3은 이미지에서 배지 플레이트의 위치로 들어가기 위한 GUI를 나타내는 일련의 화면들을 도시한다.
도 4는 고체 배지 상에서의 미생물 성장 이미지를 캡처하는 방법을 나타내는 흐름도이다.
도 5는 캡처된 이미지를 처리하는 방법을 나타내는 흐름도이다.
도 6은 겉보기 컬러로부터 실제 컬러로의 매핑을 추산하는 방법을 나타내는 방법을 나타내는 흐름도이다.
도 7은 캡처된 이미지의 밝기를 보정하기 위한 샘플 곡선을 나타내는 그래프이다.
도 8은 원형 휴(hue) 공간 내의 복수 제어 포인트를 나타내는 HSV공간을 나타내는 도면이다.
도 9는 특정 이미지 캡처 장치에 대한 (a) 휴/채도 공간을 거친 매핑 (b) 분리된 휴 매핑 함수 및 (c)분리된 채도 매핑 함수를 그래프로 표현한 도면이다.
도 10은 매핑의 정확도를 나타내는 그래프다.
도 11은 (a) 컬러 칼리브레이션 전과 (b) 컬러 칼리브레이션 후의 컬러 차트에 대한 두 개의 사진이다.
도 12는 겉보기 컬러를 실제 컬러로 매핑하는 방법을 나타내는 흐름도이다.
도 13은 스플릿 배지 플레이트 상에서 이미지 캡처 파이프라인의 흐름을 나타내는 흐름도이다.
도 14는 고체 배지 상의 미생물 성장을 분석하는 데 이용하는 분류기를 트레이닝하는 방법을 나타내는 흐름도이다.
도 15는 일련의 (a)고체 배지 상의 미생물 성장에 대한 이미지 데이터 (b)레드채널 특성이미지 (c)그린채널 특성이미지 (d)블루채널 특성이미지를 나타낸다.
도 16은 일련의 (a)L 특성이미지 (b)A 특성이미지 (c)B 특성이미지 (d)11×11 윈도우 특성이미지에서 L의 분산 (e)11×11 윈도우 특성이미지에서 A의 분산 (f)11×11 윈도우 특성이미지에서 B의 분산 (g)11×11 윈도우 특성이미지에서 L의 평균 (h)11×11 윈도우 특성이미지에서 A의 평균 (i)11×11 윈도우 특성이미지에서 B의 평균을 나타내는 도면이다.
도 17은 스플릿 배지 플레이트에 대한 위치 특성이미지를 나타내는 도면이다.
도 18은 일련의 (a)x방향의 그래디언트값의 특성이미지 (b)y방향의 그래디언트값의 특성이미지 (c)5×5 윈도우에 대한 평활도 특성이미지 (d)13×13 윈도우에 대한 평활도 특성이미지 (e)21×21 윈도우에 대한 평활도 특성이미지를 나타내는 도면이다.
도 19는 디시전트리의 예를 나타내는 도면이다.
도 20은 고체 배지 상에서의 미생물 성장의 일련의 이미지들을 분석하는 방법의 흐름도이다.
도 21은 부스티드 분류기의 분류 결과를 향상시키기 위한 그래프컷 알고리즘을 적용하는 방법의 흐름도이다.
도 22는 (a)최초 그래프 및 (b)그래프컷 알고리즘이 적용된 후의 레이블링을 나타내는 구분된 그래프를 나타낸다.
도 23은 알파 익스팬션 방법에서 사용하기 위한 보조 노드를 가지고 구성된 그래프를 나타낸다.
도 24는 알파 익스팬션 방법에서 만들어질 수 있는 가능한 컷(cut)들을 나타내는 그래프 세트이다.

컴퓨터 소프트웨어의 개요

소프트 웨어의 4가지 주요 구성이 있다:

○ 정보와 과정을 저장하고 관리하기 위해 이용되는 데이터 라이브러리(a library of data)

○ 부스티드 분류기를 트레이닝하기 위하여 서버상에서 수행되는 명령행 프로그램(command line program) 형태의 소프트웨어, 및

○ 이미지를 캡처하고 처리하며, 미지의 배지 플레이트에 대한 리포트를 생성하는 데 이용되는 데스크톱 컴퓨터상에서 실행되는 GUI 프로그램, 및

○ 레이블들을 트레이닝하고 메타데이터를 처리하기 위한, 데스크톱 컴퓨터상에서 실행되는 GUI 프로그램.

라이브러리에서, 확장성 작성 언어(Extensible Markup Language)(XML) 파일이 메타데이터를 저장하기 위해 사용되고 휴대망 그래픽스(Potable Network Graphics(PNG) 포맷이 이미지를 저장하는 데 이용된다. 모든 파일들은 디스크나 데이터베이스 안에 직접적으로 저장될 수 있다. 메타데이터는 세개의 주요 XML 파일형식: 이미지 메타데이터 파일, 플레이트 메타데이터 파일 및 부가 메타데이터를 저장하고 이미지 베타데이터와 플레이트 메타데이터 파일을 서로 연결시키기 위한 메인 메타데이터 파일로 저장된다. 라이브러리는 환자와 샘플에 관한 정보에 접근하기 위하여 실험실 정보관리 시스템(Laboratory Information Management System)(LIMS)에 연결될 수 있다.

이미지 데이터는 4가지 방법으로 저장된다: 이미지 메타데이터 파일, 미처리 이미지(카메라로부터 독출된 로우값(raw values)), 처리된 이미지(디모자이크 및 컬러 보정이 이루어짐), 그리고 프리뷰 이미지(작은 크기를 가짐). 이미지 메타데이터 파일은 다양한 정보를 캡처한다. 일례의 이미지 메타데이터 파일이 아래에 보여지는 바와 같다:

저장된 메타데이터는 노출 시간, 캡처 날짜, 조명 정보, 이미지와 카메라 데이터를 정정하기 위해 사용되는 컬러 트랜스폼(colour transform)을 포함한다. 파일 안의 속성 세트는 특정 이미지를 위치시키고 확인하기 위해 사용될 수 있다. 첫번째 속성은 경로(path)이고, 이는 메인 메타데이터 파일의 위치에 대하여 이미지 파일의 위치를 제공하며, 아래에서 논의될 것이다. 그다음 디스크 상의 이미지 크기와 함께 이미지 폭이나 높이가 바이트(byte)로 저장된다. 마지막으로 MD5 체크섬(checksum)이 저장되며, 이는 데이터가 캡처된 이후로 전혀 변조되지 않았음을 보증한다. 이러한 속성들은 이미지 로드상에서 체크될 수 있다. 나아가 XML 파일들은 변조를 방지하기 위해 암호표기법으로 표시된다.

플레이트 메타데이터 파일의 예가 아래에 보여진다.

페트리 접시가 2개 이상의 서로 다른 한천을 하나의 배지 플레이트 상에 가지도록 스플릿될 수 있기 때문에, 접시는 몇몇 관련 플레이트 메타데이터 파일을 가질 수 있다. 저장된 메타데이터는 한천의 종류, 포함된 샘플 종류에 적절한 성장 정보, 유기체 종류의 리스트를 포함하며, 이들은 작업자나 자동 분석 처리에 의하여 정의된다. 유기체 리스트는 유기체를 레이블 넘버와 연관시켜서, 레이블링된 이미지들이 해석될 수 있는 방법을 제공한다. 마지막으로 배지 플레이트에 대한 마스크(mask)가 구비되어, 소프트웨어로 하여금 레이블링된 이미지의 적절한 구역을 독출할 수 있도록 한다. 레이블링된 단일 이미지는 단일 페트리 접시로 이용되지만, 접시가 다중의 한천을 포함할 수 있기 때문에 다중 플레이트 메타데이터 파일이나 마스크가 어느 레이블이 어느 한천에 연결되는지를 결정하는 데 이용된다.

메인 메타데이터 파일의 예는 아래에 보여지는 바와 같다.

저장된 메타데이터는 배지 플레이트의 내부 ID, 배지 플레이트의 종류, 전체 혹은 스플릿, 환자 ID(배지 플레이트 상의 바코드로부터 독출될 수 있는), 캡처된 날짜, 이미지가 캡처될 때 소프트웨어를 사용하고 있던 작업자의 이름, 배지 플레이트(예를 들어 소변이나 장) 상에 놓여진 샘플의 종류, 및 플레이트 메타데이터 파일의 참조 리스트를 포함한다. 그후 배지 플레이트에 대한 진단이 기록되고, 그 이는 작업자일수도 있고 자동 분석 소프트웨어에 의해 이루어질 수 있다. 진단에 대한 허용된 값은 포지티브(positive), 네가티브(negative), 배양(incubate) 및 검사(inspect)이다. 작업자는 또한 노트 태그(notes tag)에 저장되는 임의의 텍스트를 입력할 수 있다. 배지 플레이트의 위치는 관련된 포맷으로 저장된다. 배지 플레이트의 픽셀 위치를 획득하기 위해서, 반드시 x와 y 좌표가 이미지폭(w), 높이(h)와 각각 곱해져야 한다. 배지 플레이트에 부착된 각각의 이미지들은 이후 그들의 이미지 메타데이터 파일을 통해 참조된다. 레이블링된 이미지들은 또한 그들의 PNG 파일로의 경로를 통해 참조된다. 또한 메인 메타데이터 파일은 계산된 레이블들에 대한 참조를 포함할 수 있지만 이는 선택적이다.

레이블링의 일관성을 보장하기 위하여, 한천, 샘플 및 특정 메타데이터 표본의 유기체 종류에 대한 용인되는 값의 리스트를 가진 바이올로지 데이터베이스(biology database)가 이용될 수도 있다. 데이터베이스의 정확한 콘텐츠들은 시스템이 사용되고 있는 연구실에 의존한다. 바이올로지 데이터베이스는 먼저 샘플 종류에 의해 체계화되고, 그 다음 한천 종류에 의하여 체계화된다. 이후 각 한천 종류는 유효한 유기체의 리스트를 포함한다. 데이터베이스의 모든 입력은 적어도 3개의 필드(field)를 포함한다. 이름, 요약(short description) 및 설명(description). 이름은 기계에서 읽을 수 있는 입력의 이름이 요구될 때 사용되며 데이터베이스로 들어가는 키(key)로 기능한다. 요약은 텍스트가 절절한 곳, 예를 들어 메뉴나 다른 사용자 인터페이스 요소들에서 GUI 내에서 사용되기 위한 것이다. 설명은 특정 독립체에 대한 기술적 이름의 전체 이름이고 임의적으로 길 수도 있다.

이미지 캡처

도 1은 한천 플레이트 형태의 배지 플레이트(102)에서 고체 배지 상의 미생물 성장을 분석하기 위해 사용되는 장치(100)의 일 실시예를 나타낸다. 본 장치(100)는 아래의 구성들을 포함한다.:

● 적절한 고정 초점거리 렌즈(108)를 가진 머신비전(machine vision) 품질의 고해상도 디지털 카메라(106) 형식의 이미지 캡처 장치(104). 카메라(106)는 환형 조명(110)에서 약 200mm 위에 위치한다.

● 환형 조명(ring light)(110)은 배지 플레이트(102)의 직경(diameter)보다 더 큰 직경을 가진다. 본 실시예에서 환형 조명은 180mm의 직경을 가진다. 환형 조명(110)은 원형으로 배열된 수백 개의 백색 LED들과 산광기(diffuser)를 가진다. 여기서 빛은 저각(low angle)의 산란된 측면 조명을 제공하여 배지 플레이트가 균일하게 조명될 수 있게 한다. 환형 조명(110)은 프레임(118)의 일부를 형성하는 불투명 커버(opaque cover)(112)의 약 40mm 위에 위치하며, 배지 플레이트(102)의 약 30mm 위에 위치한다. 백색 LED들로부터 나온 빛이 배지 플레이트(102)의 표면 위를 낮은 각도로 조명하게끔 환형 조명(110)을 배치하면 이미지 캡처 장치(104)로 캡처되는 배지의 중앙 표면으로부터의 LED 정반사를 방지하게 된다.

● 산광기 뒤의 백색 LED 배열에 기초하여 평면 패널 조명(flat panel light) 형태의 조명 장치(114). 조명 장치(114)는 불투명 커버(112)에서 약 150mm 아래에 위치한다. 이 거리는 배지 플레이트(102)의 후측 조명을 감소시키기 위하여, 환형 조명(110)으로부터의 빛이 조명 장치(114)가 아닌 차단막(baffle) 위로 떨어지도록 선택된다.

● 이미지 캡처 장치(104)의 정시야(direct field of view)에서 배지 플레이트(102)를 지지하기 위한 지지대(116). 지지대(116)는 3mm 두께를 가진 투명한 유리 스테이지이다. 유리는 시간이 지나면서 흠집이 생기면 교체될 수 있다. 지지대(116)는 배지 플레이트(102)를 지지대 위에 위치시키기 위한 두 개 이상의 삼각 투명 위치 요소들을 포함한다. 삼각형의 꼭짓점은 배지 플레이트(102)를 배치하기 위하여 지지대의 중심부를 향해 있어 꼭짓점이 배지 플레이트(102)의 주변에 닿게 된다.

● 프레임(118)은 이미지 캡처 장치(104), 지지대(116), 환형 조명(110) 및 조명 장치(114)를 서로에 대해 위치시킨다. 프레임(118)은 시트 형상의 금속이나 플라스틱과 같은 불투명 재질로 만들어지고, 이는 장치(100)로 유입되는 빛의 상당량을 감소시킨다. 장치(100)의 내측면은 어둡게 되어 있어 내측면들에서 렌즈(108)로 반사되는 빛을 줄일 수 있다.

● 프레임(118)은 인간 작업자가 배지 플레이트(102)를 지지대(116) 위에 놓기 위한 접근 통로를 제공하는 개폐구(120)를 포함한다. 이와 달리 로봇 플레이트 조작 장치(robotic plate-handling device)가 이미징을 위하여 배지 플레이트(102)를 지지대(116) 위에 정교하게 올려놓고 그후 배지 플레이트를 지정된 출력 채널/슬라이드로 제거하기 위해 접근 통로를 이용할 수 있다. 예를 들어 배지 플레이트는 상술한 4개의 카테고리 중 하나를 나타내는 출력 채널에 놓일 수 있다.

● 불투명 커버(112)는 프레임(118)의 폭 방향으로 뻗어 연장되는 알류미늄 플레이트이고 효과적으로 프레임(118)을 상부 동봉체(top enclosure)(122)와 하부 동봉체(bottom enclosure)(124)로 나눈다. 불투명 커버(112)는 빛을 조명 장치(114)로부터 배지 플레이트(102)로 전달하도록 하는 구멍(hole)(126)을 포함한다. 구멍(126)의 폭은 배지 플레이트(102)의 폭보다 아주 조금 크고(본 실시예에서는 90mm이고 전형적으로는 88mm에서 100mm 사이), 환형 조명(110)의 직경보다는 작다. 이는 환형 조명(110)으로부터 방출된 빛이 프레임(118)의 바닥면(128)이나 평면 패널 조명(114)의 표면으로부터 반사되거나 배지 플레이트(102) 뒤로 통과하는 것을 방지한다.

● 프레임(118)은 또한 불투명 커버(112) 아래 위치하는 광차단막(light baffle)(130)을 포함한다.

● 지지대(116)에 대해서 환형 조명(110)의 위치를 변경하기 위한 수단(113)이 랙(rack)과 피니언(pinion) 조합의 형태로 구비될 수도 있다.

● 프레임(118), 불투명 커버(112) 및 광차단막(130)은 공동(cavity)(132)을 형성해 지지대(116)가 이미지 캡처 장치(104)와 공동(132) 사이에서 배지 플레이트(102)를 지지하게 된다. 지지대(유리 스테이지)(116)는 공동(132)을 동봉하며 원치 않는 물질이 공동(132) 내부로 떨어지는 것을 방지한다. 환형 조명(110)이 조광될 때 조명 장치(114)가 꺼지고, 불투명 커버(112)는 환형 조명으로부터 나온 빛이 공동(132)의 가시 영역들을 조광하는 것을 방지한다. 이러한 구성으로 공동(132)은 검정색 배경으로 보이게 된다.

● 측각 조명(side angle light)(134)은 배지 플레이트(102)를 딤플들(dimples)이나 과립상(granular) 텍스쳐와 같은 한천의 표면 형태를 집중조명하기 위한 각도로 조광한다. 측각 조명(134)을 대체하여 배지 플레이트(102)가 어느 한 방향으로만 조광되도록 환형 조명(110)의 몇몇 LED만 활성화시킬 수도 있다.

● 컴퓨터(136)와 같은 프로세싱 수단(processing mean)이 물리적 혹은 무선 인터페이스를 통해 이미지 캡처 장치(104), 환형 조명(110) 및 조명 장치(114)에 연결된다. 컴퓨터(136)는 다른 구성들을 활성화시키기 위한 소프트웨어(142)를 저장하고 로우 데이터(raw data)를 캡처하여 그 데이터를 처리하는 프로세서(138)와 메모리(140)를 포함할 수 있다.

● 이미지들, 메타데이터(metadata) 및 그밖의 정보로 이루어진 라이브러리(library)는 컴퓨터(136)에 저장되어 있을 수도 있고, 네트워크를 통해 컴퓨터(136)에서 접근 가능할 수도 있다. 이와 마찬가지로 LIMS가 컴퓨터(136)를 통해 접속될 수도 있다.

위에서 설명한 본 장치의 구성들 중 어떠한 것들은 다른 구성으로 대체될 수 있고, 구성들간의 거리나 구성들의 위치도 조정될 수 있음은 이해될 것이다. 예를 들어 카메라(106)와 렌즈(108)가 프레임(118) 내부에 있는 것으로 도시되었으나, 다른 실시예에서는 그들이 프레임(118) 외부에 위치하여 렌즈(108)가 프레임(118)의 상면의 구멍을 통해 돌출될 수도 있다. 또한 장치(100)의 전체 크기를 줄이기 위해 프레임(118)의 폭이 더 작을 수도 있다.

이제부터 본 장치를 이용한 이미지 획득 과정이 설명될 것이다. 이 과정은 트레이닝된 기계 학습 분류기나 트레이닝 중인 분류기를 이용하여, 배지(102) 상의 미생물 성장 식별에 이용되는 이미지 획득에 적합할 수 있다. 많은 단계들이 인간 작업자에 의해서 수행되는 수동 처리 과정이 설명되지만, 그 과정의 많은 단계들이 소프트웨어나 로봇 장치에 의해서 자동으로 수행될 수 있음은 자명할 것이다.

먼저, 접종되고(inoculated) 배양된(incubated) 배지 플레이트(102)가 사용자에 의하여 지지대(116) 위에서 삼각 정지대 내에 위치하게 된다. 일반적으로 배지 플레이트(102)는 (뚜껑에 응결된 물이 한천 표면에 떨어져 손상시키는 것을 방지하기 위해) 한천을 아래로 향하게 해서 실험실 내에 보관되므로, 지지대 위의 배지 플레이트(102)를 위치시키는 것은 배지 플레이트(102)의 뚜껑을 제거하고 배지 플레이트를 회전시켜 한천을 위로 향하도록 하는 과정을 포함한다.

소프트웨어(142)는 이미지 캡처 과정을 시작하기 위해 활성화된다. 소프트웨어(142)는 사용자로 하여금 배지 플레이트(102) 상의 바코드를 스캔하도록 요구하거나, 수동적으로 숫자를 입력하도록 요구한다. 바코드는 샘플의 ID와 연계되어 있고, 이는 배지 플레이트를 특정 샘플과 연계시키며, LIM 시스템을 통해 특정 환자와 연계시킨다. 바코드가 입력되면 카메라에서 출력되는 실시간 화상의 프리뷰(preview)가 도 2a에 도시한 바와 같이 윈도우상에 나타난다. 사용자는 실시간 영상 스트림에 의하여 제공되는 피드백을 기초로 배지 플레이트(102)의 위치, 렌즈(108)의 초점 혹은 조리개를 조정할 수 있다.

이후 사용자는 배지 플레이트의 종류(예를 들어 스플릿형 혹은 일체형), 샘플의 종류(예를 들어 소변 샘플, 장내 샘플, 혈액 샘플, 섬유조직 샘플) 및 한천의 종류(예를 들어 혈액 혹은 크로모제닉(chromogenic))를 선택할 것을 요구받는다. 플레이트 데이터 선택 옵션들의 예가 도 2b 및 도 2a의 상부 좌측에 도시되어 있다. 이와 달리 사용자에게 배지 플레이트, 샘플, 한천 종류를 선택할 것을 요구하지 않고, 이러한 정보들은 입력된 바코드에 기초하여 LIM 시스템으로부터 추출될 수 있다.

이 데이터가 입력된 다음 배지 플레이트의 위치가 입력된다. 이런 정보가 사용자에 의해 입력될 수 있는 두 가지 방법이 있다. 하나는 반지름을 따라 접시의 x, y위치를 도입한 종래의 슬라이더 세트를 통하는 방법이다. 접시가 스플릿 접시인 경우에는 사용자가 스플릿의 위치도 입력해야만 한다. 그 예가 도 2c와 도 2a의 하단 좌측에 도시되어 있다. 두번째 방법은 실시간 동화상 프리뷰상의 마커 세트(a set of markers)를 조작하는 것이다. 사용자는 세 개의 포인트를 통해 한천 주위에 원을 올려놓으며, 이때 사용자는 쌍방향으로 움직일 수 있다. 이 세 개의 포인트는 단 하나의 원을 형성한다. 적절하게는 네 번째 제어 포인트가 사용자로 하여금 중심 스플릿의 위치를 특정하도록 한다. 이런 제어 포인트는 매우 정확하게, 그리고 빠르고 쉽게 놓일 수 있다. 도 3은 그런 상호작용이 어떻게 일어날 수 있는지에 대한 예시를 보여준다. 배지 플레이트 배치 로봇을 가진 시스템에서는 배지 플레이트의 위치가 이미 알 수 있는 상태이고, 스플릿의 위치는 산출될 수 있다.

노출과 조명 설정은 선택된 배지 플레이트, 샘플 및 한천의 종류에 기초하여 데이터베이스로부터 정해질 수 있다.

정확한 노출은 고품질의 이미지를 캡처하는 데 중요하다. 카메라(106)를 테스트하는 동안, 스플릿 배지 플레이트에 포함된 한천의 종류가 달라 불투명도가 다르기 때문에 스플릿 배지 플레이트의 각 측면에 대해 각각의 노출이 요구되게 된다. 조명의 선택 역시 필요한 노출 설정에 크게 영향을 주기 때문에, 사용자는 활성화된 상부 조명이나 하부 조명을 가지고 이용 가능한 환경 설정을 미리 볼 수 있다. 도 2d는 활성화할 상부 조명 혹은 하부 조명을 선택하는 데 이용되는 라디오 버튼을 보여준다. 도시되지는 않았지만 사용자는 이와 달리 활성화할 측각 조명을 선택할 수도 있다.

노출 설정은 예를 들면 도 2e에 도시된 드롭다운 메뉴(drop-down menu)를 이용하여 선택될 수 있는 다양한 자동 노출 영역 알고리즘을 이용해 사용자에 의하여 조절될 수 있다. 자동 노출 알고리즘 각각은 핵심이 동일하다. 타겟의 밝기(b_tgt) 및 측정된 밝기(b_meas)가 주어지면, 새로운 노출(e_new)가 아래 식에 의해 계산된다.

다시 말해, 밝기가 너무 강하면(이미지가 새추레이션되면), 무조건적으로 노출을 이전 값의 80%로 떨어뜨린다. 이런 경우가 아니라면 그 변화는 0.5에서 2 사이로 고정된다. 조정은 두 개의 연속적인 노출 설정이 서로 10 마이크로초 내에 있을 때 끝난다. 두 개의 밝기 측정 모두 일반적으로 0과 1 사이의 숫자로 표현되며, 여기서 0은 흑(밝기 없음)이고 1은 백(최대 밝기)이다.

다양한 자동 노출 알고리즘간의 차이는 어떻게 현재 이미지의 밝기를 계산하느냐에 있다. 사용될 수 있는 다른 알고리즘은 아래의 것들을 포함한다.

평균(Mean) - 이 모드에서는 이미지 상의 모든 픽셀의 평균 밝기가 계산된다.

중심가중평균(Centre-Wighted Mean) - 중심가중평균은 모든 픽셀의 평균 밝기를 계산하지만 그들 픽셀들에게

내의 중심부가가중치(centre additional weight)(각각의 중심 샘플을 8번 카운팅함)를 부여한다.

스폿(Spot) - 이 모드에서는 다시 평균 밝기를 계산하지만, 중심의

내의 픽셀들의 평균 밝기만 계산한다. 이 방법은 한천 플레이트에는 적합하지 않은데, 이는 이미지 중심부가 중요한 의미를 갖지 않기 때문이다.

중간값(Median) - 이 방법은 히스토그램 계산(histogram calculation)을 통해 이미지에 대해 중간값 밝기를 계산한다. 히스토그램의 각각의 빈(bin)은 4레벨폭(level wide)을 가지고 있으므로, 입력 이미지가 16비트라면 히스토그램은 16384의 빈들(bins)을 가진다. 트루 비트 심도(true bit-depth)의 이미지들이 카메라로부터 독출되어 알고리즘에 제공될 수도 있다.

그린(Green) - 이 방법은 평균(Mean)과 동일하지만, 밝기를 계산하기 위해 그린 채널만 이용한다. 이는 두 가지 면에서 이점이 있다. 첫째로 레드(red)나 블루(blue)에 비해 두 배나 많은 트루 그린 픽셀(true green pixels)들이 베이어 모자이크 이미지(Bayer mosaiced image)에 있다. 두 번째로 인간의 눈은 녹색에 민감하므로 이를 이미지 보정에 이용하면 개념상 고품질 이미지를 제공하게 된다.

소프트웨어(142)는 예를 들어 일반 컬러와 레드 컬러 사이의 픽셀들을 진동시킴으로써 사용자가 좋은 노출 설정을 돕기 위한 과정들을 더 포함할 수 있다. 이는 노출이 지나치거나 포화된 픽셀들을 식별하는 데 도움을 주는데, 이는 타겟 이미지의 밝기를 낮춤으로써 교정될 수 있다.

최초의 노출 설정은 앞에서 설명한 알고리즘 중 하나를 이용한 각 캡처가 수행되기 전에 데이터베이스로부터 로딩되어 조정된다. 주어진 조명 구성을 위한 노출 설정이 끝나면 이미지 캡처가 도 4에 도시된 방법을 이용하여 수행된다. 단계 164에서 이미지 캡처가 초기화되고, 단계 166에서 조명 구성(예를 들어 환형 조명(110))이 활성화된다. 단계 168에서 이미지 캡처 장치(104)가 이 조명 구성을 이용함으로써 이미지가 캡처된다. 이미지 캡처는 각 배지 플레이트마다 다섯 번씩 반복되고, 매번 동일한 노출을 가진다(단계 170). 이미지들 각각은 이미지 노이즈를 줄이기 위해 처리 단계에서 서로 평균화된다. 5개의 이미지들의 시퀀스로 충분하다. 이 과정은 스플릿 배지 플레이트의 경우 배지 플레이트의 다른 측면들에 대해서 반복되고(단계 172), 다른 조명 구성들, 예를 들어 하부 조명 장치(114)에 대해서 반복된다(단계 174). 단계 176에서는 캡처된 이미지들이 데이터 처리를 위해 전달되고 그후 이미지 캡처가 완료된다(단계 178). 일례로 스플릿 배지 플레이트의 이미지 캡처는 5×2×2=20개의 이미지를 요구할 수 있고, 이는 카메라(106)가 초당 9프레임으로 동작한다고 가정하면 약 2초 정도가 소요된다.

이미지들이 캡처되면 이미지들은 비동기처리(asynchronous processing)을 위해 각각의 처리 라인으로 전달될 수 있다. 이후 캡처 화면은 다시 바코드가 입력되기를 기다리게 된다. 배지 플레이트 이미지가 캡처될 때마다 이미지는 중요한 메타데이터와 함께 라이브러리에 저장된다.

상술한 소프트웨어에서 사용자는 배지 플레이트를 위치시키거나 메타데이터를 입력할 것을 요구받지만, 이 과정이 자동화될 수 있음을 알 수 있을 것이다. 예를 들어 로봇암(robotic arm)이 이미지를 캡처하기 전에 배지 플레이트를 지지대 위에 올려놓고 이미지 캡처 후에 이를 제거할 수도 있다. 소프트웨어는 이미지에서 배지 플레이트의 위치나 그것이 스플릿형인지 아니면 일체형인지를 자동적으로 검지할 수 있다. 로봇 시스템이 배지 플레이트 상의 바코드나 식별자를 읽어내는데 이용될 수 있다. 바코드와 그밖의 식별자는 배지 플레이트 종류, 샘플 종류 및 한천 종류와 같은 정보에 접근할 수 있게 하여, 이러한 정보들이 사용자에 의하여 입력될 필요가 없게 된다. 완전 자동화 처리를 목적으로 하는 소프트웨어 버전이라면 사용자가 노출이나 타겟 밝기 설정을 조정하지 않게 될 것이다.

이미지 처리

좋은 노출로 이미지가 캡처되었다면 이미지 캡처 장치로부터의 로우 데이터(raw data)는 부스티드 분류기를 생성하기 위한 부스팅 알고리즘에 사용되는 특성이미지를 생성하기 위해 사용될 수 있는 샘플에 대한 더욱 정확한 이미지를 획득하기 위해 처리된다. 본 실시예에서는 부스티드 알고리즘을 이용하는 것으로 설명했지만, 이와 달리 분류기는 다른 기술에 의해서 생성될 수도 있다.

도 5에 도시한 방법을 참조하면 이미지 처리는 단계 163에서 시작해서, 이미지 캡처 장치에 의해 캡처된 이미지들을 평균화하는 단계 165, 평균화된 이미지를 디모자이크하는 단계 167, 결과 이미지에 대하여 컬러 보정을 하는 단계 169, 특성벡터를 계산하는 단계 171 및 처리를 중지하는 단계 173을 포함한다.

이미지들은 동일한 노출에서 찍힌 5개(혹은 다른 개수)의 이미지들을 하나의 전체 이미지로 결합하기 위해 평균화(averaged)된다. 5개의 평균화된 이미지의 사용은 노이즈 영향을 줄인다.

대부분의 카메라가 각 물리적 위치에서 단 하나의 컬러를 측정하는 센서들을 가지고 있기 때문에, 예를 들어 컬러 필터들의 베이어 배열(Bayer arrangement)을 이용하여 디모자이크가 수행된다. 이는 카메라로부터의 로우 데이터가 개별적인 레드, 그린 및 블루 픽셀들의 모자이크 패턴임을 의미한다. 디모자이크의 적절한 방법들은 아래의 것들을 포함한다:

○ 최근린내삽법(Nearest Neighbour) - 최근린내삽법은 빠르고, 저품질 결과를 생성해내는 단순한 방법이다. 이 방법에서는 각각의 2×2 블록이 함께 처리된다. 레드값과 블루값은 그들의 원래 위치에서, 각각의 값을 잃은 다른 3개의 픽셀들로 복사된다. 그후 그린값은 수직 혹은 수평적으로 복사된다. 이는 각 2×2블록이 모든 위치에 채워진 모든 채널을 가지게 하는 결과를 만든다.

○ 다운샘플링(Downsampling) - 다운샘플링 방법은 분명히, 해상도를 버리면서 최고의 결과를 생성한다. 이 방법에서는 각 2×2 블록이 하나의 픽셀로 붕괴된다. 2개의 그린값은 평균화되고 레드와 블루값이 단순하게 할당된다. 이 방법은 보간(interpolation)을 필요로 하지 않기 때문에 원본 픽셀 데이터에 가장 충실하다.

○ 적응적 균질 방향성 디모자이크(Adaptive-Homogeneity-Directed demosaicing)(AHD) - 이 알고리즘은 가장 적절한 것으로 알려졌다. AHD 처리의 상세는 2013년 ICIP의 H.히라카와(K.Hirakawa)와 T.W.파크스(T.W.Parks)의 "적응적 균질 방향성 디모자이크 알고리즘(Adaptive-Homogeneity-Directed demosaicing algorithm)"에서 찾을 수 있고, 그 내용은 참조로서 여기에 통합된다. 본질적으로 AHD는 2개의 이미지를 만들어내기 위해 그린 채널을 수직 및 수평적으로 보간함으로써 진행된다. 이후 이들 각각은 레드와 그린 채널, 그리고 블루와 그린 채널들 사이의 차이를 부드럽게 함으로써 부가되는 레드와 블루 채널을 가진다. 마지막으로 2개의 이미지들이 균일한 영역을 식별하고 각 포인트로부터 픽셀을 그리기 위한 가장 적합한 이미지를 선택함으로써 결합된다. 이 과정은 매우 고품질의 결과를 낳는다.

이미지의 컬러 보정은, 화이트 밸런스와 밝기에 대한 보정과, 평균화된 이미지의 겉보기 컬러를 트루 컬러에 매핑하기 위한 미리 계산된 매핑을 포함한다. 화이트 밸런스와 컬러 보정은 한천과 집락의 컬러(들)에 대한 정확한 결정을 확실히 하는 데 유용하며, 이는 종형성(speciation)과 발효나 용혈과 같은 현상을 검지하는 데 중요하다. 따라서 고품질의 컬러 칼리브레이션이 중요하다.

이미지를 보정하기 위해 사용되는 화이트 밸런스와 컬러 보정 파라미터들은 이미지 캡처 장치와 조명 구성에 특수하고, 컬러 차트(colour chart)를 이용해 미리 계산된다. 도 6a를 참조하면, 단계 180에서, 기준 컬러 차트의 이미지가 캡처되었다. 그 차트는 "gretagmacbeth ColorChecker^TMColor Rendition Chart"규격일 수 있고, 이는 24개의 컬러 패치(colour patch)를 가지고 있으며, 이들 각각은 관련된 기준 레드, 그린 및 블루채널값을 가진다. 이미지는 수동으로 카메라(106)를 활성화하거나 소프트웨어(142)를 이용하여 전송된 전자 신호를 통해 캡처될 수 있다. 카메라 센서에 의해 캡처된 데이터는 컬러 칼리브레이션이 불가능한 상태로, 컴퓨터(36)와의 물리적 혹은 무선 연결을 통하여 전달된다.

스텝 182에서, 사용자는 상기 기준 컬러 차트의 각 컬러 패치의 위치를 표시한다. 예를 들면, 소프트웨어는 GUI를 만들어내어 카메라(30)로부터의 이미지에 대한 프리뷰를 표시할 수 있고, 사용자는 특정 순서로 상기 차트의 4개 사각 코너 안을 클릭하여 상기 컬러 패치들의 위치가 결정되도록 할 수 있다. 이와 달리 다른 사용자 인터페이스나 머신비전기술(Machine vision techniques)을 이용하거나 상기 카메라로부터의 고정 거리에 있는 공지의 특정 위치에 상기 기준 컬러 차트를 올려놓으므로써 상기 패치들의 위치가 결정될 수 있다.

각 위치의 평균 컬러는 21×21 픽셀 윈도우(Pixel window)에 캡처되고, 단계 184에서 상기 패치 컬러를 위해 이용된다. 물론 다른 크기의 픽셀 윈도우가 평균 컬러를 계산하는데 이용될 수 있다고 인정될 것이다.

단계 186에서, 화이트 밸런스는 단일 패치-즉, 상기 기준 컬러 차트에서 세번째로 가장 어두운 그레이 패치(grey patch)로부터 계산된다. R,G 및 B값은 이 중간 그레이 패치에서는 같다고 가정한다. 상기 화이트 밸런스는 아래와 같이 표시된다.

여기서 w_g는 암시적으로 1로서 정의된다. 가중치 w_r 및 w_b는 g'값과 같은 r'값과 b'값을 산출하도록 계산된다. 계산된 화이트 밸런스값

은 카메라에 의해 캡처된 이미지의 화이트 밸런스를 보정하는 데 이용될 것이다.

스텝 188에서 화이트 밸런스가 계산되면, 곡선 C가 계산되고, 가능한 한 겉보기 그레이값들도 함께 매핑시킨다. 이는 카메라에 대해 명도 매핑(brightness mapping)을 제공한다. 상기 곡선은

의 형태이고, 여기서 g는 입력 컬러, g'은 출력, 그리고 a, b와 c는 계산되는 곡선 C의 파라미터들이다. 도 7은 이 과정으로부터 얻어진 곡선의 예를 나타낸다. 평가가 이루어지면 상기 곡선은 컬러 채널당 독립적으로 적용될 수 있다. 컬러 매핑 함수(스텝 190)의 최종 단계는 각 픽셀의 휴와 채도에 대한 매핑을 생성하는 것을 목적으로 한다.

상기 화이트 밸런스와 컬러 보정된 이미지에 기초하여 복수의 컬러 패치들의 겉보기 휴(apparent hue) 및 채도(saturation)가 측정되고, 휴와 채도 매핑은 단계 190에서 계산된다. 휴 매핑 단계는 겉보기 휴 값들이 실제 휴 값들에 매핑되도록 일련의 제어 포인트를 이용하는 단계를 구비한다. 이를 얻기 위해 입체 보간(또는 다른 고차원 보간법)을 사용한다. 각 제어 포인트는 원형 휴 공간에서 고정된 위치와, 최적화 동안 계산되는 각도 오프셋으로 이루어진다. 상기 오프셋은 특정 휴값에 대한 오프셋을 제공하도록 입체적으로 보간되어 상기 특정 휴 값을 실제 휴로 매핑할 것이다.

채도 매핑 함수는 채도값을 스케일링하기 위해 일련의 제어 포인트를 이용한다. 제어 포인트들은 상기 휴 값들을 매핑하는 데 사용되는 제어 포인트들과 같거나 다를 수 있다. 채도 매핑 함수는 휴 매핑 함수와 동일한 보간 기법을 사용할 수 있다. 채도는 [0,1] 범위에 있어야 하며, 따라서 이 함수로부터의 출력값은 제한되어 이 범위로 확실히 강제시킬 수 있다. 이와 달리 채도 매핑이 명도 보정에 대하여 적용된 것과 유사한 곡선을 거쳐 행해질 수 있다.

휴 및 채도 매핑 함수들에서 사용되는 제어 포인트들은 도 8에 도시된 바와 같이 원형 휴 공간의 테두리 주위에 고르게 퍼져 있을 수 있다. 이 원형 휴 공간은 컬러화된 원들(예컨대, 제어 포인트 192)로 표시되는 16개의 제어 포인트를 포함한다. 예를 들면, 0도의 휴 및 1의 채도에서 컬러화된 원은 레드, 90도의 휴 및 1의 채도에서는 그린, 180의 휴 및 1의 채도에서는 블루, 그리고 270도의 휴 및 1의 채도에서는 퍼플(purple)일 수 있다. 또한, 각도 오프셋(194)과 스케일(196)의 방향은 도 8에 도시되어 있다. 제어 포인트들의 각도 위치는 이들 휴 값으로 규정되고, 제어 포인트들의 반경 위치는 이들의 채도로 규정된다. 제어 포인트들의 두 고리(ring), 0.5의 채도를 가지는 안쪽 고리와 1의 채도를 가지는 바깥 고리가 도시되어 있다. 제어 포인트들의 단일 고리의 경우, 단일 값만이 그 적절한 포인트, 휴에 대응하는 값을 선택하는데 요구된다. 휴는 각도로 표현되며 제어 포인트를 선택하면 함수는 이를 고려해야 한다.

제어 포인트들의 최대 숫자는 이용 가능한 컬러 샘플의 수로 결정된다. 각 제어 포인트는 2개의 파라미터들을 가지며, 각 샘플은 3개의 나머지를 제공한다. 따라서, n개의 컬러 샘플들은 많아야 3n/2개의 제어 포인트들을 가질 수 있다. 그러나, 실제로 상기 측정 과정은 컬러 측정에서 에러를 유발한다. 제어 포인트들을 선택한다는 것은, 여러 많은 제어 포인트들을 이용하여 일련의 후보 매핑에 대한 에러를 계산하고, 승인 가능한 에러를 산출하는 최소 수의 포인트들에 기초하여 상기 일련의 매핑으로부터 하나의 매핑을 선택하는 것을 포함할 수 있다. 24개 패치를 가지는 차트에 대하여 12개의 제어 포인트들이 충분하다는 것을 알아냈다.

명도 곡선은 이미 평가되어 있기 때문에, 상기 명도값은 보정된다고 추정되며, 따라서 이들은 조정될 필요가 없다. 각도 오프셋과 스케일들은 기준 컬러 차트에서 이미지로부터의 패치들의 겉보기 컬러들을 동등한 색상 패치의 실제 컬러들로 가장 좋게 매핑하도록 최적화된다. 이것은 트루 컬러와 매핑된 컬러 사이의 거리:

가 최소화되도록, 매핑 f(p)를 계산함으로써 행해지는데, 여기에서 p_i는 트루 컬러이고

는 측정된 컬러이다. 컬러은 어떠한 컬러 공간, 예컨대 RGB, YUV, LAB 또는 XYZ로 표시될 수 있다.

색상은 각도로 표현되며 함수는 제어 포인트들이 선택되면 이것을 고려해야 함을 주목해야 한다. 이것은 비용 함수를 이용해서 이루어진다. 비용 함수는 (360°의 오프셋과 같은) 매우 큰 변화를 방지하기 위해 상기 스케일들이 1 주위의 값을, 그리고 상기 오프셋들이 0 주위를 유지하는 것을 보증하는 항들을 포함한다. 다음의 에러 측정이 정해지면,

여기에서 δ_i는 상기 제어 포인트에 대한 오프셋이고, s_i는 제어 포인트에 대한 스케일이다. ε를 최소화하기 위해, 즉

δ_i와 s_i를 선택하도록 구해진다.

이에 대한 해가, 또한 비록 어떠한 다른 비구속 최소 인자(Unconstained minimiser)가 충분해도 르벤버그-마쿼트 알고리즘(Levenberg-Marquardt algorithm)을 이용하여 얻어질 수 있다. 상기 비용 함수는, 그 휴 오프셋들을 0 가까이 그리고 채도 스케일들을 1 가까이 유지하는 동안 컬러들을 함께 매핑하는 데 에러를 최소화하려고 한다.

요약하면, 0에 가까운 각도 오프셋과 1에 가까운 스케일을 유지하면서, 각도 오프셋(194) 및 스케일(196)은 각 제어 포인트에 대해 정해져서 변경된 겉보기 컬러(예를 들어 RGB)와 각 패치에 대한 기준 컬러(예를 들어 RGB) 사이의 거리의 제곱의 합이 최소화된다(1 마이너스 스케일로 최소화된다).

도 9는 특정 이미지 캡처 장치에 대한 (a) 휴/채도 공간을 거친 매핑 (b) 분리된 휴 매핑 함수 및 (c)분리된 채도 매핑 함수를 그래프로 나타낸다. 도 10은 매핑의 정확도를 나타낸다. y축 상의 각 위치는 24 컬러 패치들 중 하나를 나타내고, x축 상의 각 위치는 컬러 값들을 나타내며, 여기서 각각은 0과 1 사이일 수 있다. 매핑을 이용한 이미지 컬러 보정의 예가 도 11에 도시되었다. 첫번째 도면(a)는 카메라에 의하여 캡처되어, 사용자가 컬러 패치의 위치를 선택한 다음의 입력 이미지를 나타낸다. 이 실시예에서 화이트 밸런스는 이미 적당히 보정되었음을 알아야 한다. 두번째 도면(b)는 보정된 컬러들을 나타낸다. 패치 너머로 보이는 컬러화된 작은 사각형들이 각 패치의 트루 컬러를 나타낸다.

이후 동일한(혹은 동일한 종류의) 이미지 캡처 장치를 이용하여 캡처된 이미지를 컬러 보정하는 데 이 매핑이 이용될 수 있다. 도 12를 참조하면, 겉보기 컬러를 실제 컬러로 매핑시키는 방법은 단계 181의 카메라를 이용하여 이미지를 캡처하는 단계를 포함한다. 각 픽셀에 대한 겉보기 RGB 컬러 값들이 정해지고, 이미 계산된 가중치/곡선을 이용하여 컬러 값들이 화이트 밸런스 및 밝기 보정될 수 있다. 이후 본 방법은 단계 183에서 이미지 내의 하나 이상의 픽셀들에 대하여, 픽셀의 겉보기 휴 및 채도를 결정하는 단계(단계 185)와, 겉보기 휴와 관련한 각도 오프셋을 결정하기 위하여 원형 휴 공간 내의 2개 이상의 제어 포인트들의 각도 오프셋들 사이를 보간하는 단계(단계 187), 상기 겉보기 채도와 관련한 스케일을 결정하기 위하여 상기 원형 휴 공간 내에서 2 이상의 제어 포인트들의 상기 스케일들 사이를 보간하는 단계(단계 189), 겉보기 휴에 대한 각도 오프셋을 적용하는 단계(단계 191) 및 겉보기 채도에 대해 스케일을 적용하는 단계(단계 193)를 포함한다.

매핑이 적용되었으면 HSV 공간 컬러가 다시 RGB 공간이나, 필요하다면 그와 다른 출력 공간으로 변환될 수 있다.

또한 선형 방법이 HSV 방법을 대체할 수 있고, 여기서 컬러들은,

를 통하여 매핑되며, 여기서 T는 3×3 변환 행렬(transformation matrix)이고 남은 변수들은 스칼라값이다.

도 13은 반은 혈액 한천이고 반은 크로모제닉 한천으로 이루어진 스플릿 배지 플레이트에 대한 전체 이미지 캡처 파이프라인을 보여준다. 파이프라인은 두 번, 각 조명 구성(상부 조명 및 하부 조명)마다 한 번씩 이루어진다. 이 파이프라인은 또한 2개의 가지(branch)를 가지며, 배지 플레이트의 각 측면의 이미지를 각각 캡처하며, 각 가지는 한천의 종류에 최적화된다. 입력 배지 플레이트(200)를 보면, 노출이 크로모제닉(202) 혹은 혈액(204) 절반에 대해 설정되며, 그 다음 카메라로부터 로우 이미지들(206,208)이 캡처되고, 2개의 별개 RGB 이미지들을 생성하기 위해 디모자이크(210,212)된다. 그 절반들의 디모자이크된 이미지들은 서로 스티치되어 컬러 보정(216)된 합성이미지(214)를 형성한다. 이와 달리 로우 이미지들은 서로 합성될 수도 있고, 합성된 이미지가 디모자이크되어 필요한 계산을 감소시킬 수 있다.

이미지들이 평균화, 디모자이크화 및 컬러 칼리브레이션되면, 그 결과는 매체를 위한 이미지 데이터가 된다. 이미지 캡처 및 처리의 동일한 절차가 분류기를 트레이닝하기 위한 이미지 데이터, 그리고 배지 플레이트를 분류하기 위한 이미지 데이터를 얻는 데 이용될 수 있다.

이미지 레이블링(Image Labelling)

분류기를 트레이닝하기 위한 목적으로, 이미지 데이터는 숙련된 미생물학자에 의하여 레이블링된다. 이는 이미지 장치나 조명 장치와 떨어져서 이루어질 수 있다. 레이블링은 특정 배지 플레이트에 대하여 이미지 데이터의 정확한 레이블을 제공하는 과정이다. 레이블의 선택은 관심이 되는 세균의 상이한 종류나 상이한 한천에 대하여 다를 수 있다. 레이블링할 때에는 작업자가 그것이 정확한지를 확실히 하기 위하여 배지 플레이트에 대한 메타데이터를 체크할 수도 있다.

레이블링은 단순한 그리기 도구나 일반적인 그리기 소프트웨어를 통해 이루어질 수 있다. 레이블링 프로그램은 특정 이미지와 관련된 메타데이터를 로드할 수 있고 그것을 이용하여 어떤 유기체들을 특정 배지 플레이트에 적용시킬 수 있는지를 결정할 수 있다. 그후 사용자는 배지 플레이트의 어느 쪽에 레이블을 붙이고 싶은지 선택하고, 만약 스플릿 배지 플레이트라면, 가능한 유기체들의 세트를 바꿀 수도 있을 것이다. 일 실시예에서 페인팅할 유기체가 선택되면, 사용자는 페인팅이 가능한 3개의 주요 툴(tool)을 가진다: 브러시 툴(brush tool), 채우기 툴(fill tool) 그리고 지우개(eraser). 브러시 툴은 다양한 사이즈의 원형 브러시이다. 채우기 툴은 커서 아래의 포인트로부터 플러드필(flood fill)을 수행한다. 이는 클릭했을 때 커서 아래에 있는 것에 따라, 배경에 근접한 영역들을 채우거나 특정 레이블 컬러를 채운다. 지우개는 브러시 툴과 동일하게 기능하지만 유기체 레이블보다는 '미지의(unknown)' 레이블을 기재하는 기능을 가진다.

사용자는 다른 툴들도 이용할 수 있다: 아이 드롭퍼(eye dropper), 인스펙터 그리고 플레이트 위치툴(plate location tool). 아이 드롭퍼는 현재 선택된 유기체를 커서 아래에 있는 것으로 바꿀 때 이용된다. 또한 이는 마우스를 스크린상에서 이동시킬 때 윈도우 상태(window status)를 커서 아래의 유기체의 이름으로 설정한다. 인스펙터는 윈도우 상태를 커서 아래의 현재 컬러와 이미지 상의 커서의 픽셀 내의 위치로 설정시킨다. 또한 이는 커서 밑에 있는 유기체들을 강조하고 그들의 크기를 픽셀로 제공한다. 플레이트 위치툴은 캡처 윈도우에서의 툴과 동일하며, 이미지상에서 배지 플레이트의 위치를 조정하는 데 이용된다.

미생물학자가 이미지 데이터 내의 영역에 대하여 특정 레이블을 부여하도록 선택할 때 선택된 영역 내의 각 픽셀은 그 레이블로 할당된다. 레이블링된 이미지 데이터는 레이블로부터 추출된 메타데이터와 함께 라이브러리 내에 저장된다.

트레이닝( Training )

이미지 세트와 (아래에서 설명될) 특성벡터에 대한 사용자 공급의 레이블을 사용함으로써, 부스티드 디시전트리 분류기는 플레이트 자체와 세균 성장 사이, 그리고 서로 다른 종류의 성장들 사이를 구별하도록 트레이닝된다.

도 14를 참조하면, 분류기를 트레이닝하는 방법은 단계 220에서 미생물 성장의 복수 샘플들에 대한 레이블링된 이미지 데이터를 획득, 단계 222에서 각각의 레이블링된 이미지 데이터에 대하여: 이미지 데이터 내의 복수 픽셀들에 대하여 하나 이상의 필터를 이미지 데이터에 적용시켜 획득되는 특성벡터값을 생성하는 단계(단계 224), 그리고 단계 226에서, 레이블링된 이미지 데이터에서 픽셀과 관련되는 레이블에 따라 복수 픽셀들 내의 각 픽셀을 분류하기 위해 부스티드 분류기를 트레이닝하기 위한 특성벡터들을 이용한다.

하나 이상의 필터들이 이미지 데이터를 변형시키고 분류기를 트레이닝하는 데 이용될 수 있는 정보를 추출하기 위해 적용되며, 이는 분류기로 하여금 각 종류의 세균 성장의 독특한 특성을 습득하게끔 한다. 필터들은 각 픽셀 혹은 그 주위에서 배지 플레이트의 컬러 및 텍스쳐에 대한 정보를 추출한다. 필터들의 몇 가지 예와 각 필터에 따른 특성이미지들은 아래와 같다:

RGB 필터 - 몇몇 성장 종류들은 그 컬러에 의하여 쉽게 구별될 수 있다. RGB 필터는 가장 단순한 필터 종류로, 이미지 데이터의 RGB 채널들을 각 픽셀에 대한 R,G,B값을 부여하는 특성벡터로 복사한다. 도 15는 원본 이미지 데이터(a), 레드 채널 특성이미지(b), 그린 채널 특성이미지(c), 그리고 블루 채널 특성이미지(d)를 나타낸다.

LAB 필터 - 부가적인 컬러 정보가 LAB 필터에 의해 제공된다. 이 필터는 주로 RGB 이미지 데이터를 LAB 컬러 공간(여기서 L채널은 명도, A와 B채널은 컬러 정보를 포함)으로 변환시킨다. 이 공간은 몇몇 세균의 종류들의 컬러들 사이에서 더욱 쉬운 구별을 가능케 한다. 또한 이 필터는 서로 다른 사이즈의 윈도우에서 L,A 및 B의 평균과 분산을 측정하는 데 이용될 수 있다. 5×5, 11×11 및 21×21 윈도우들이 좋은 결과를 제공하는 것을 알았다. 픽셀 근처에서 컬러에 대한 이 부가 정보는, 개별 픽셀들에 대해서는 컬러들을 공유하지만, 더 큰 영역들에서 보이는 컬러들의 범위에서는 상이한, 유사한 모습을 가진 종류들 사이를 구별하는 데 도움을 줄 수 있다. 도 16은 L특성이미지(a), A특성이미지(b), B특성이미지(c), 11×11 윈도우 특성이미지에서의 L의 분산(d), 11×11 윈도우 특성이미지에서의 A의 분산(e), 11×11 윈도우 특성이미지에서의 B의 분산(f), 11×11 윈도우 특성이미지에서의 L의 평균(g), 11×11 윈도우 특성이미지에서의 A의 평균(h) 그리고 11×11 이미지 특성이미지에서의 B의 평균(i)을 나타낸다.

오리엔티드 가우시안 필터(Oriented Gaussian Filter). 이는 1D 가우시안 커널을 다양한 방향으로 이미지에 적용한다. 또한 이는 가우시안 커널의 1차 및 2차 미분을 이용하는 것이 가능하다.

위치 필터(Position Filter) - 위치 필터는 분류기에 배지 플레이트의 가장자리로부터 각 픽셀의 거리를 제공한다. 이 구성은 한천의 메니스커스 상이나 접시의 플라스틱 다리 위에서 배지 플레이트의 가장자리에 매우 어려운 경우들이 종종 일어난다는 관찰에서 기인한 것이다. 위치 정보의 등장은 분류기로 하여금 가장자리에서 상이한 거리에 있는 배지 플레이트의 서로 다른 양상으로 나타나는 것에 적응하도록 만든다. 가장자리로부터 각 픽셀의 거리는 마스크 이미지상의 거리 변환을 수행함으로써 획득된다. 위치 특성 이미지의 일례가 도 17에 도시되어 있다.

컬러 양자화 필터(Colour quantisation filter). 이는 이미지의 컬러들의 수가 감소되면, 보통 히스토그램을 통해, 유사 컬러의 영역을 위치시키는데 도움을 준다.

텍스쳐 필터(Texture filter) - 텍스쳐 정보는 분류기로 하여금 유사한 컬러이지만 다른 표면 텍스쳐들을 가지는 종류들 사이를 구별시키는 데 도움을 준다. 텍스쳐 필터를 적용시키면, 이미지는 먼저 그레이스케일로 변환된다. 그후 노이즈를 감소시키기 위해 이미지는 가우시안 커널로 컨벌루션(convolution)되어 부드럽게 된다. 2D 가우시안 커널은 아래와 같이 정의된다:

이 커널이 선형적으로 분리되어 있지만, 실제로 이 컨벌루션은 먼저 x 방향에서 1D 가우시안 커널

으로 컨벌빙(convolving)함으로써 수행되고, y 방향으로 1D 커널로 컨벌빙되고, σ는 4:0이다. 텍스쳐 필터는 그 다음 에지 정보(edge information)를 추출하고, 각 픽셀에서 그레이스케일 x 및 y 이미지 그래디언트(gradient)를 되돌린다. 픽셀에 대한 그래디언트값들은 소벨 커널,

및

로 컨벌루션되어 추출된다.

x 방향에서의 그래디언트값들의 특성이미지는 도 18a에 도시되어 있고, y 방향에서의 그래디언트값들의 특성이미지는 도 18b에 도시되어 있다.

또한 필터는 픽셀 주위의 5×5, 13×13 및 21×21 픽셀 윈도우에서 '평활도(smoothness)' 메트릭을 계산하여, 배지 플레이트가 그 영역에서 얼마만큼의 텍스쳐를 가지는지 측정한다. 사용되는 매끄러움 메트릭은 각 윈도우에서 그래디언트값의 공분산의 자취이며, 그 윈도우 안의 그래디언트의 총 분산(total variance)을 측정한다. 5×5, 13×13 및 21×21 윈도우에 대한 평활도 특성 이미지들의 예가 도 17c, 도 17d 및 도 17e에 각각 도시되어 있다.

특성 이미지가 생성되면, 각 복수 픽셀들에 대한 특성벡터의 값 x=(x₁,...,x_n)는 이들 특성 이미지들로부터 생성되고, 분류기로 전달된다. 배지 플레이트에 대한 하나 이상의 이미지가 있다면(예를 들어 상부 조명 구성을 이용해 찍은 제1 이미지 세트와 하부 조명 구성을 이용해 찍은 제2 이미지 세트), 특성벡터는 이미지 세트들 중 어느 하나 혹은 모두를 이용하여 생성된 특성이미지들로부터의 값들을 포함할 수 있다. 각 픽셀과 관련된 레이블 y도 분류기로 전달될 수 있다.

특성벡터는 이미지 데이터 내에서 모든 픽셀에 대하여 생성되거나, 픽셀 샘플과 관련해서만 생성될 수 있다. 픽셀의 샘플링은 필요한 계산을 줄이기에 분류기를 트레이닝하는 데 드는 시간을 절약할 수 있다. 랜덤 샘플링 방법이 레이블링된 픽셀들 세트의 완성으로부터 트레이닝에 사용되는 샘플 표본을 선택하는 데 이용될 수 있다. 이는 저비율 샘플링 혹은 고비율 샘플링 방법일 수 있다. 저비율 샘플링 방법은 트레이닝된 각 클래스에 대한 개별적인 풀을 구성하며, 거기서 N 샘플들이 선택된다. 만약 클래스에 대하여 레이블링된 픽셀들의 수가 이 샘플들의 특성 수보다 작으면, 픽셀들은 복원 추출된다(sampled with replacement). 각 클래스에 대한 동등한 크기 세트의 표본들을 트레이닝하면, 분류기가 더욱 자주 보이는 종류들에 치우쳐서 더 나은 수행능력을 보이는 것이 방지된다. 고비율 샘플링 방법은 모든 N 샘플들에서 하나를 가져온다. 배경 분류기를 트레이닝함에 있어 네가티브 샘플(negative sample) 세트는 각 성장종류의 표본들을 포함한다. N 네가티브 샘플과 J 성장종류에서, N/J 각 종류의 샘플이 선택된다.

각 픽셀을 분류하고 이를 플레이트 배경으로 혹은 성장 종류의 세트 중 하나로 레이블링하기 위해서 분류기는 반드시 트레이닝되어야 한다. 이 실시예에서 부스티드 분류기가 트레이닝되며, 이때 약분류기로서 디시전트리를 이용한다. 트레이닝에 있어, 뿌리 노드(root node)에서 시작하는 디시전트리는, 입력 데이터의 포지티브 샘플 혹은 네가티브 샘플로 최적의 스플릿(split)을 부여하는지 각 노드를 테스트하고, 상기 테스트에 따라 데이터를 나누고 데이터의 서브세트(subset) 상의 각 자노드(child node)에 대하여 그 절차를 반복함으로써, 재귀적으로 만들어진다. 자노드는 트리가 최대 특정 깊이까지 닿거나, 동일한 클래스에 속하는 노드에서의 모든 샘플들, 데이터의 랜덤 분리보다 더 나은 스플릿이 없거나, 의미있는 스플릿을 수행하기에 노드가 너무 적지 않는 한 스플릿이 이루어질 것이다. 디시전트리의 예는 도 19에 도시되어 있다.

본 실시예에서 사용되는 부스팅 방법은 디스크리트 아다부스트(Discrete AdaBoost)이다. 디스크리트 아다부스트의 의사코드(Pseudocode)는 아래와 같이 주어진다:

디스크리트 아다부스트는 반복적으로 일련의 T 약분류기들 h_t(x)을 트레이닝하고, 이는 각 부가 분류기와 함께 트레이닝 성능을 향상시키는 기능을 가진다. 각 분류기는 N 레이블링된 트레이닝 표본 (x,y)에서, 표본의 관련 중요도를 나타내는 각 표본과 관련된 가중치 w_i로 트레이닝된다. 각 트레이닝 표본 (x,y)는 특성벡터값 x=(x₁,...,x_n), 및 레이블 y∈{-1,1}을 가지고, 이는 포지티브(+1) 표본인지 네가티브(-1)표본인지를 가리킨다. 약분류기는 에러

를 최소화하는 데 최적화되어 있고, 이는 분류기에 의하여 잘못 분류된 표본들의 가중치의 합이다.

주어진 세트의 가중치로 최적의 분류기를 트레이닝한 이후, 다음 분류기가 이러한 표본들에 대한 성능을 향상시키도록, 가중치들이 분류기들의 현제 세트에 의하여 잘못 분류된 샘플들에 대하여 더 큰 중요도를 두도록 업데이트된다. 이는 분류기의 에러에 기초하여 잘못 분류된 표본들에 대한 가중치를 증가시키고, 모든 표본들에 대하여 가중치를 노멀라이징함으로써 이루어진다.

2진 분류기를 이용하여 2개 이상의 종류를 분류하기 위해, 아다부스트.멀티레이블해밍 방법이 이용된다. 이 알고리즘은 부가 특성값이 각 픽셀에 대한 특성벡터에 부가되며, 트레이닝 표본의 클래스를 나타내는 정수값(1,...,J)를 가진다. J 클래스들에 대하여, 각 트레이닝 표본은 J가 샘플의 클래스이면 +1로 설정되고, 그렇지 않으면 -1로 설정되는 표본에 대한 레이블 y와 함께 J번 반복된다. 픽셀은 가장 강한 분류 결과로 클래스가 할당된다. 신뢰값은 가장 강력한 분류기의 상대적 강도에 의존하여 픽셀에 대해 설정된다. 예를 들어 레이블 l_i를, J클래스를 가지는 멀티클래스 분류기에서 올바른 분류기의 가능성에 대한 공식으로 계산되는 특성벡터 xi에 할당시킴에 있어, 신뢰값

은 아래의 방정식에 의해 도출될 수 있다.

몇몇 분류기들이 특정 집락 종류, 배지 종류, 불필요한 배경, 부가 집락 특성들 혹은 그와 다른 구별 특성에 대한 결과를 얻는 동시에 독립적으로 수행될 수 있다.

더 나은 분류 속도와 성능을 위하여 분류기는 2단계 과정에 의해 수행될 수 있다. 처음 단계에서, 배경 픽셀들과 그외 모든 종류들 사이를 구별하는 2진 분류기가 빠르게 배경 픽셀의 대부분을 분류한다. 그다음 멀티클래스 분류기가 잔존하는 픽셀들을 분류한다.

최초의 2진 분류기는 캐스케이드 분류 방법을 따를 수 있다. 이 분류기는 재빨리 대부분의 배경을 분류하고, 더욱 정확한 분류는 그 다음 단계에서 수행된다. 그렇게 비교적 높은 허위 포지티브률(false positive rate)(전경으로 분류된 배경 픽셀들)이 용인되며, 이는 다음 단계에서 정확히 분류될 수 있기 때문이다. 하지만 ㅎ허위 네가티브률(false negative rate)은 매우 낮아야 하는데 이는 다음 단계에서 정정되지 못하기 때문이다. 빠른 분류를 위하여, 분류기에서 사용되는 트리의 숫자는 가능한 작게 유지된다. 최초의 분류기가 트레이닝되면, 그의 성능은 허위 포지티브률의 특정 최대치에 대해 테스트된다. 만약 이 한계치보다 크다면, 새로운 분류기가 트레이닝되고, 이는 분류기들의 조합이 원하는 허위 포지티브률을 가질 때까지 계속된다. 각 분류기가 부가될수록, 전경으로 분류되기 위한 한계치는 그 분류기 단계에서 요구되는 허위 네가티브률을 달성하도록 조정된다.

캐스케이드 필터들을 트레이닝하기 위한 의사코드는 아래와 같이 주어진다:

여기서 f는 단계당 용인될 수 있는 허위 포지티브률의 최대치이고, d는 레이어당 용인될 수 있는 트루 포지티브률(true positive rate)의 최소치이며, F_i는 단계 i에 대한 허위 포지티브률, D_i는 단계 i에 대한 트루 포지티브률이고, F_target은 총 허위 포지티브률(overall false positive rate)의 최대치, P는 포지티브 표본들의 세트, N은 네가티브 표본들의 세트, 그리고 t_i는 각 레이어에 대한 분류 한계치이며, 이상에서 어느 단계에서 분류기에 의한 예측은 포지티브로 간주된다.

트레이닝 단계로부터의 출력은 새로운 표본(specimen)에 대한 이미지 데이터 내에서 픽셀들을 분류하기 위해 사용될 수 있는 부스티드 분류기이다.

분류 결과를 향상시키기 위해서 레이블링된 이미지 데이터에서의 레이블이 주로 분류기 에러를 수정하도록 편집될 수 있고, 분류기가 다시 트레이닝될 수 있고, 피드백 루프를 생성한다. 이는 수차례 반복될 수 있지만, 실질적으로 두세번으로 보통 충분하다. 분류기에 의한 결과들은 상술한 바와 같이 새로운 분류기를 트레이닝하기 위한 특성벡터들을 생성하기 위해, 필터 속으로 입력될 수도 있다.

자동 플레이트 분석( Automatic Plate Analysis )

미지의 미생물 성장을 가지는 새로운 배지 플레이트를 분석하는 방법이 도 20에 도시되어 있다. 단계 250에서 배지 플레이트에 대한 메타데이터가 설정된다. 메타데이터는 상술한 바와 같이 LIM 시스템으로부터 획득되거나 사용자에 의하여 입력될 수 있다. 메타데이터값에 대한 옵션들은 바이올로지 데이터베이스(252)로부터 선택될 수 있다. 단계 254에서 배지 플레이트의 이미지가 캡처된다(혹은 만약 배지 플레이트가 대량 처리된다면 다중 배지 플레이트의 임지가 캡처된다). 이미지 캡처는 상술한 바와 같이 GUI프로그램을 통해 작업자에 의하여 수행될 수 있다. 그후 소프트웨어는 이미지를 취하고, 이를 디모자이크하고 단계 256에서 배지 플레이트 위치를 검지하고, 단계 258에서 이미지 필터 세트를 디모자이크된 이미지에 실행시키고, 그후 단계 260에서 그 결과들을 적절한 분류기로 공급한다. 필터링 단계와 분류 단계는 필요하다면 반복된다. 그후 분류기는 배지 플레이트 상의 픽셀당 추측되는 박테리아 예측을 생성하고, 이는 예측되는 레이블과 레이블에서의 신뢰도를 포함한다. 단계 262에서 그래프컷이 예측상에 수행되며, 그래프컷의 출력은 단계 264에서 리포트(report)를 생성하는 데 이용된다.

그래프컷 알고리즘은 그래프를 2개 이상의 세트로의 최적 분할을 계산한다. 픽셀 분류 결과를 향상시키는 방법이 도 21에 도시되어 있다. 단계 270에서 그래프가 이미지 데이터 내의 픽셀(혹은 픽셀들의 샘플 중 하나)에 대응하는 각 노드와 함께 구성된다. 또란 레이블들이 부가되고, 각 레이블은 클래스에 대응한다. 단계 272에서 인접 혹은 인근 픽셀들에 대응하는 노드들 사이에 에지(edge)들이 부가되며, 단계 274에서 각 노드와 각 레이블 사이에 에지가 더해진다. 단계 276에서 그래프컷 알고리즘은 노드로의 에지를 컷팅하고 그래프를 클래스들로 분할하는 데 이용되며, 그래프컷 알고리즘은 그 노드와 인접 픽셀들에 대응하는 픽셀에 대한 픽셀 분할 결과 입력으로 이용한다.

도 22는 초기 그래프 (a)와 컷 후의 레이블링을 나타내는 분할된 그래프 (b)의 일례를 나타낸다. 도 22에서 소스 노드(source node)(S) 및 싱크 노드(sink node)(T)는 가능한 노드 레이블들에 대응한다. 상기 그래프컷은 각각의 노드와 싱크 또는 소스 사이의 에지를 컷팅하고 상이한 레이블들을 갖는 인접 노드들 사이의 에지를 컷팅하는 각각의 노드에 대한 레이블을 결정한다. 특정 링크가 컷팅될 때마다 코스트(cost)가 발생하게 된다. 최소 코스트컷을 계산함에 있어서, 그래프컷 방법은 하기 형태의 에너지 함수를 최소화한다:

여기서 l은 레이블들의 세트이고, N은 노드들의 세트이며, M은 이웃하는 노드들의 세트이고, x는 특성데이터이며, U(l_i; x_i)는 (상기 에지를 상기 소스 또는 싱크로 컷팅하는 것에 관한 코스트로서 제공된) 각각의 가능한 레이블 할당을 위한 각각의 노드에 코스트를 할당하고, V(lp, lq)는 부착된 노드들에 상이한 표지들을 할당하기 위해 각각의 에지에 코스트를 할당한다.

pl_i(x_i)은 레이블 l_i를 특성벡터 x_i에 할당하는 데의 신뢰도이며, J 클래스들을 가지는 멀티클래스 분류기에서 올바른 분류의 확률을 위한 공식으로 계산되며, 여기서 h(x,k)는 클래스 k에 대한 분류기 결과이다:

이고,

이다.

그래프컷 알고리즘으로 입력되는 다른 입력값은 이미지 컬러 및 에지 데이터를 포함할 수 있다. 또한 레이블을 위한 예측된 집락의 크기는 상기 U(l_i; x_i) 코스트 할당에 포함될 수 있다. 고려될 수 있는 또 다른 인자로 서로 옆에 나타나지 않게 되거나 또는 함께 나타날 가능성이 있는 집락의 유형의 정의와 같은 전문 시스템으로부터 기설정된 규정이 있다. 이것은 평활도 용어(smoothness term) V(lp,lq)로 도입될 수 있다.

가능한 레이블들의 수가 2개보다 많은 경우 알파 익스팬션 방법을 이용하여 2진 레이블링으로부터 멀티클래스 레이블링을 수행한다. 알파 익스팬션 방법에 대한 의사코드는 문헌[page 2 of Yuri Boykov, Olga Veksler, and Ramin Zabih "Fast approximate energy minimization via graph cuts" IEEE Trans. Pattern Anal. Mach. Intell., 23:1222-1239, November 2001]에 제공되어 있다. 상기 문헌의 내용은 아래와 같다:

상기 방법은 예를 들어 세균의 종류 또는 배경의 가능한 클래스들 각각에 대한 단계 3.1 및 3.2를 반복하여, 이는 그래프의 총에너지 E를 증가시키지 않고 상이한 클래스들 내의 어떤 레이블들이 그 클래스로 스위칭될 수 있는지 여부를 체크한다. 상기 방법이 각 클래스에 대해 반복되었고, 에너지 감소가 더 이상 일어나지 않을 수 있다면, 최적의 레이블링이 회복된다.

그래프를 구성함에 있어서는, 컷에서 레이블링의 코스트를 포함하도록, 다른 레이블들을 가지는 인접 노드들 사이에 보조 노드들이 부가된다. 도 23은 노드 p와 q 사이에 보조 노드의 부가를 도시하며, 이러한 그래프에 대한 에지 가중치를 부여한다. 컷의 코스트는 에지 가중치들의 합과 동일하다. 각 쌍의 픽셀들에 대하여, 컷은 도 24에 도시된 바와 같이 3개의 에지 그룹 중 하나를 절단(sever)한다. 이러한 도면은 문헌[page 6 of Yuri Boykov, Olga Veksler, and Ramin Zabih's paper]으로부터 취해졌다. 상기 알파 익스팬션 방법은 상기 3개의 그룹 중 어느 것이 최소 에지 가중치를 가지고 이들 에지들을 컷팅할지 결정한다. 상기 컷이 상기 레이블 알파로부터 픽셀을 분리하면 픽셀은 레이블 알파가 할당된다.

상기 그래프 컷이 수행되었다면, 그에 의한 픽셀 분류 결과가 평가를 출력하도록 분석될 수 있다. 이는 배지 플레이트 상의 성장의 양자화 및 종류를 결정하기 위해, 얼마나 많은 픽셀들이 각 클래스에서 레이블링되었는지를 카운팅하는 단계를 포함한다. 이는 특정 클래스의 픽셀 수가 기설정된 수보다 큰지를 평가하는 단계를 포함할 수 있다.

집락의 수를 세는 3가지 방법이 제안된다:

1. 기본 카운팅(Basic counting). 이 방법에서 집락의 숫자는 각 종류의 한천 위에서 각 유기체 종류에 대한 평균 집락 크기를 결정함으로써 추측된다. 특정 배지 플레이트 위에서 검지된 각 유기체의 픽셀 숫자는 집락의 수를 산출해내기 위해서 이 숫자로 나뉘어질 수 있다.

2. 밀도 기반 카운팅(Density based counting). 이 방법에서 각 집락의 가장자리로부터의 거리는 카운팅 알고리즘에 포함된다. 이는 넓은 영역의 성장은 몇몇 개별 집락들로 카운팅된다는 관찰에 기초한 것이다. 그래서 집락의 중심에서 내부 픽셀들은 그런 결과를 수행해내기 위해 더 높은 가중치가 할당된다. 수작업에 의해 많은 집락의 수를 측정함으로 테이블이 형성되고, 이 메트릭에 대하여 그 결과들이 표로 만들어진다. 그후 테이블은 보이지 않는 배지 플레이트 위에서 평가가 이루어질 때 메트릭으로부터 집락의 수를 획득하는 데 이용될 수 있다.

3. 이미지 처리 기반 카운팅(Image processing-based counting). 이 방법에서 레이블들을 포함하는 이미지는 먼저 연결 성분 알고리즘(connected components algorithm)에 의하여 분석된다. 이 알고리즘에 의하여 검지된 각 성분은 차례로 검사를 받는다. 특정 집락이 기설정된 테이블의 역치들에 대해 너무 크다고 생각되면, 상기 1번으로 제안된 방법이 적용된다. 집락이 너무 작다고 생각되면 단일 집락으로 카운팅된다. 한편 성분의 모양이 고려될 수도 있다. 만약 그것이 원형이면 단일 집락으로 카운팅된다. 그렇지 않고 워터쉐드 알고리즘(watershed algorithm)이 성분을 개별 집락으로 분리하기 위해 적용될 수 있고, 그들 각각은 집락의 수를 하나씩 증가시킨다.

그후 개수는 양자화되어 미생물학 전문가를 위해 성장에 관한 중요한 척도를 만들어낸다.

평가는 네가티브 제어로서 배지의 식별을 포함할 수 있다. 이 방법은 기본 한천(bare agar)의 영역(예를 들어 배경으로서 분류된 기설정된 최소개수의 픽셀들)에 대한 기대치(expected value)를 결정하고, 이는 이미지 캡처와 유효한 분석을 위해 특정 최소 영역을 초과해야만 한다. 가시적이어야 하는 기본 한천의 정확한 영역은 한천의 종류와 배지 플레이트상에서 식별되는 다른 세균들에 의존하는 값의 테이블로부터 추출된다.

임상규정들이 픽셀 분류 및/혹은 양자화의 결과를 분석하거나 평가를 만들어내는 데 이용된다. 임상규정들은 환자 샘플의 종류, 한천의 종류, 식별되어진 세균의 혼합, 국가 표준(national standards), 지역 실험실 규정 및 사용자에 맞춰진 규정들을 포함할 수 있다.

메인 메타데이터 및 플레이트 메타데이터 파일들은 평가를 반영하거나 분류들로부터 추출된 다른 정보를 부가하도록 업데이트될 수 있다.

또한 일 실시예에서는 평가에 기초하여, 각 배지 플레이트는 장치(100)(미도시)의 4개의 출력 플레이트 스택 중 어느 하나로 보내질 수 있다: (1)웨이스트(waste) (2)재배양(reincubate) (3)병원균 가능성의 확인(identification of potentially pathogenic bacteria) 또는 (4)인간의 재검토 필요(human review required). 어떤 형태에 있어서 이러한 스택들 중 몇몇은 하나의 스택으로 합쳐질 수 있음을 생각할 수 있다. 어떤 경우에는, 또 다른 작업을 위해 그후 작업자가 배지 플레이트를 출력 플레이트 스택으로부터 제거할 수 있다. 모든 배지 플레이트가 처리되었다면, 모든 작업흐름이 반복되거나 시스템이 종료될 수 있다.

본 발명의 영역을 벗어나지 않는 범위 내에서 앞서 설명된 구성들에 대한 다양한 교체, 부가 및/혹은 변경이 가능함은 이해될 수 있을 것이고, 또한 상술한 설명에 비추어, 본 발명은 당업자에 자명하듯, 다양한 방식으로 소프트웨어, 펌웨어 및/혹은 하드웨어로 구현될 수 있을 것이다.

Claims (22)

1. 고체 배지 상의 미생물 성장을 분석하는 방법으로서,
   고체 배지와 미생물 성장의 이미지 데이터를 획득하는 단계,
   이미지 데이터의 복수의 픽셀에 대하여, 상기 이미지 데이터에 1 이상의 필터들을 적용함으로써 얻어진 값들의 관련 특성벡터(feature vector)를 생성하는 단계,
   상기 관련 특성벡터에 기초하여, 상기 복수의 픽셀들 내의 각 픽셀을 분류하는 분류기(classifier)를 이용하는 단계,
   상기 픽셀 분류의 결과에 기초하여, 미생물 성장의 1 이상의 집락들(colonies)을 계수(計數)하는(enumerating) 단계,
   고체 배지와 미생물 성장의 미생물학적 평가(assessment)를 도출하기 위하여, 상기 각 픽셀의 픽셀 분류 결과와 상기 1 이상의 집락들의 상기 계수의 결과를 분석하는 단계, 및
   상기 미생물학적 평가를 출력하는 단계
   를 포함하고,
   상기 고체 배지 및 미생물 성장의 상기 미생물학적 평가는, 상기 1 이상의 집락들을, 집락들의 타입들과 상기 집락들의 타입들의 각각의 계수의 결과로 분류한 것에 기초한 병원균 가능성의 확인을 포함하는
   분석방법.
2. 청구항 1에 있어서,
   미생물 성장의 예측 집락들을 나타내는 일련의 영역들을 결정하기 위하여, 연결 성분 알고리즘(connected components algorithm)을 이용하여, 픽셀 분류의 결과를 분석하는 단계를 더 포함하는
   분석방법.
3. 청구항 2에 있어서,
   상기 영역들의 각각의 크기 또는 모양에 기초하여, 상기 일련의 영역들로부터 미생물 성장의 상기 1 이상의 집락들을 계수하는 단계를 더 포함하는
   분석방법.
4. 청구항 1 내지 청구항 3 중 어느 하나에 있어서,
   상기 분류기는, 픽셀들을 3 이상의 클래스들로 분류하기 위한, 멀티클래스 분류기(multi-class classifier)인
   분석방법.
5. 청구항 1 내지 청구항 3 중 어느 하나에 있어서,
   상기 분류기는, 부스티드 분류기(boosted classifier)인
   분석방법.
6. 청구항 5에 있어서,
   상기 부스티드 분류기는, 부스티드 디시전 트리(decision tree) 분류기인
   분석방법.
7. 청구항 1 내지 청구항 3 중 어느 하나에 있어서,
   상기 복수의 픽셀들 내에서 상기 각 픽셀을 분류하는 상기 분류기를 이용하는 단계는,
   먼저 각 픽셀을 제1 복수의 클래스들 중의 하나로 분류하기 위해, 제1 분류기를 이용하는 단계, 및
   그 다음 상기 제1 복수의 클래스들 중의 1 이상 내의 각 픽셀을, 제2 복수의 클래스들 중의 하나로 분류하기 위해, 제2 분류기를 이용하는 단계
   를 포함하는
   분석방법.
8. 청구항 7에 있어서,
   상기 제1 분류기는, 먼저 각 픽셀을 배경 혹은 비배경으로 분류하기 위한, 2진 캐스케이드 분류기(binary cascade classifier)이고,
   제2 분류기는, 각 비배경 픽셀을 상기 제2 복수의 클래스들 중의 하나로 분류하기 위한, 멀티클래스 부스티드 디시전트리 분류기인
   분석방법.
9. 청구항 1 내지 청구항 3 중 어느 하나에 있어서,
   상기 픽셀 분류의 결과를 향상시키기 위해, 후처리 알고리즘을 적용하는 단계를 더 포함하는
   분석방법.
10. 청구항 9에 있어서,
    상기 후처리 알고리즘은, 그래프컷 알고리즘인
    분석방법.
11. 청구항 10에 있어서,
    복수의 노드들과 복수의 레이블들을 가지고, 각 노드는 상기 이미지 데이터 내의 상기 복수의 픽셀들 중 하나에 대응하고, 각 레이블은 클래스에 대응하는 그래프를 구성하는 단계,
    상기 이미지 데이터 내의 이웃하는 픽셀들에 대응하는 노드들 사이에 에지들(edges)을 부가하는 단계,
    각 노드와 각 레이블 사이에 에지들을 부가하는 단계, 및
    에지들을 노드로 컷팅하고 상기 그래프를 클래스들로 분할하기 위하여, 상기 노드에 대응하는 픽셀과 이웃하는 픽셀들에 대한 픽셀 분류 결과에 기초하는 그래프컷 알고리즘을 이용하는 단계
    를 더 포함하는
    분석방법.
12. 청구항 11에 있어서,
    상기 픽셀 분류의 각각에 신뢰도 값(confidence value)을 할당하는 단계를 더 포함하고,
    상기 그래프컷 알고리즘은, 나아가 상기 노드에 대응하는 상기 픽셀에 대한 상기 픽셀 분류의 상기 신뢰도 값에 기초하거나, 또는, 이웃하는 픽셀들에 대한 상기 픽셀 분류의 상기 신뢰도 값에 기초하는
    분석방법.
13. 청구항 1 내지 청구항 3 중 어느 하나에 있어서,
    상기 평가는, 네가티브 제어(negative control)로서 상기 고체 배지의 존재 확인(identification)을 포함하는
    분석방법.
14. 청구항 1 내지 청구항 3 중 어느 하나에 있어서,
    상기 픽셀 분류의 결과를 분석하여 상기 평가를 도출하기 위해, 임상 규정(clinical rule)을 이용하는 단계를 더 포함하는
    분석방법.
15. 청구항 1 내지 청구항 3 중 어느 하나에 있어서,
    상기 고체 배지 상의 미생물 성장을 분석하는데 이용되는 상기 분류기를 트레이닝하는 단계를 더 포함하고,
    상기 트레이닝하는 단계는,
    고체 배지 상의 미생물 성장의 복수의 샘플에 대한 이미지 데이터를 획득하는 단계;
    상기 이미지 데이터 내의 복수의 픽셀들의 각각에 대하여, 상기 이미지 데이터에 1 이상의 필터들을 적용함으로써 획득되는 값들의 관련 특성벡터를 생성하는 단계; 및
    상기 이미지 데이터 내의 상기 픽셀과 관련된 레이블에 대응하는 상기 복수 픽셀들 내의 각 픽셀을 분류하는 분류기를 트레이닝하는데 관련 특성벡터를 이용하는 단계
    에 의해 이루어지는
    분석방법.
16. 청구항 15에 있어서,
    상기 복수 픽셀들은, 상기 이미지 데이터로부터 저비율로 샘플링된
    분석방법.
17. 프로세서(processor) 및 소프트웨어를 저장하기 위한 메모리(memory)를 포함하는 컴퓨터에서 사용하기 위한 소프트웨어를 포함하는 컴퓨터 판독가능한 기록매체로서,
    상기 소프트웨어는, 청구항 1 내지 청구항 3 중 어느 하나에 청구된 방법을 수행하도록 상기 프로세서에 의해 실행가능한 일련의 인스터럭션들(a series of instructions)을 포함하는 소프트웨어인
    컴퓨터에서 사용하기 위한 소프트웨어를 포함하는 컴퓨터 판독가능한 기록매체.
18. 프로세서;
    메모리; 및
    상기 프로세서에 접근가능한 상기 메모리에 저장된 소프트웨어
    상기 프로세서에 액세스 가능한 상기 메모리 내에 상주하고, 청구항 1 내지 청구항 3 중 어느 하나에 청구된 방법을 수행하도록 상기 프로세서에 의해 실행가능한 일련의 인스트럭션들을 포함하는 소프트웨어
    를 포함하는 장치.
19. 청구항 1에 있어서,
    상기 1 이상의 집락의 상기 분류는,
    상기 집락의 시각적 외관에 기초하여, 상기 집락에 가장 최적의 형태학 카테고리(morphology category)의 할당;
    상기 1 이상의 집락들의 융합 집락 및 분리된 집락의 집락 성장간 차이;
    성장 카테고리화, 즉 하나 이상의 세균 성장, 균류 성장, 바이러스성 플라크나 원생생물의 성장에 따라, 각각의 성장 영역에서 집락들의 수를 카운팅;
    상기 1 이상의 집락들의 집락 텍스쳐 또는 점성의 측정; 및
    상기 1 이상의 집락들의 2차원 및 3차원 형상의 결정
    중 적어도 하나를 더 포함하는
    분석방법.
20. 삭제
21. 삭제
22. 삭제

Images