KR20210128505A

KR20210128505A - 3차원 정량적 위상 이미징을 이용하여 미생물들을 식별

Info

Publication number: KR20210128505A
Application number: KR1020217032964A
Authority: KR
Inventors: 홍기현; 민현석; 박용건; 김건; 조영주
Original assignee: 주식회사 토모큐브; 한국과학기술원
Priority date: 2019-03-13
Filing date: 2019-09-27
Publication date: 2021-10-26
Also published as: EP3906526A1; US20220156561A1; EP3906526A4; US20230013209A1; CN113508418A; JP2022526084A; WO2020183231A1

Abstract

하나 이상의 미생물의 예측된 유형을 식별하기 위한 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램들을 포함하는 방법들, 시스템들 및 장치가 개시된다. 일 양태에서, 시스템은 위상차 현미경 및 미생물 분류 시스템을 포함한다. 위상차 현미경은 하나 이상의 미생물의 3차원 정량적 위상 이미지를 생성하도록 구성된다. 미생물 분류 시스템은, 미생물들을 특징짓는 신경망 출력을 생성하기 위해 신경망을 이용하여 3차원 정량적 위상 이미지를 처리하고, 그 후, 신경망 출력을 이용하여 미생물들의 예측된 유형을 식별하도록 구성된다.

Description

3차원 정량적 위상 이미징을 이용하여 미생물들을 식별

관련 출원들에 대한 상호 참조

본 출원은, 35 U.S.C.§119 하에서, 2019년 3월 13일에 제출되고, 제목이 "생물학적 개체의 신속한 식별"인 미국 가특허 출원 일련 번호 62/817,680 및 2019년 6월 3일에 제출되고, 제목이 "3차원 정량적 위상 이미징을 이용하여 미생물들을 식별"인 미국 가특허 출원 일련 번호 62/856,290에 대한 우선권을 청구한다. 이들 2개의 가특허 출원들의 전체 내용들은 여기에 참조로 포함된다.

기술분야

본 명세서는 3차원(3D) 정량적 위상 이미징을 이용하여 미생물들을 식별하는 것에 관한 것이다. 본 명세서는 2019년 3월 13일에 제출되고, 제목이 "생물학적 개체의 신속한 식별"인 U.S.S.N. 62/817,680 전체를 참조로서 포함한다.

용어 미생물은, 예를 들어, 박테리아, 바이러스 또는 진균을 지칭할 수 있다. 미생물의 유형은, 예를 들어, 속, 종, 균주, 대사, 형태, 운동성 또는 미생물의 임의의 다른 적절한 특성을 나타낼 수 있다.

정량적 위상 이미징은 시료를 통과하는 빛에서 유도된 위상 이동을 정량화하여 시료를 특성화한다.

본 명세서는 3차원 컨볼루션 신경망과 같은 신경망을 이용하여 미생물의 3차원 QPI(quantitative phase image)를 처리하여 미생물을 식별하는 방법 및 장치를 서술한다.

제1 양태에 따르면, 하나 이상의 미생물의 예측된 유형을 식별하는 방법이 제공된다. 상기 방법은, 하나 이상의 미생물의 3차원 정량적 위상 이미지를 생성하기 위해 위상차 현미경을 이용하는 단계를 포함하고, 상기 3차원 정량적 위상 이미지는 상기 미생물의 3차원 표현을 포함한다. 상기 3차원 정량적 위상 이미지는 하나 이상의 3차원 컨볼루션 계층을 포함하는 컨볼루션 신경망을 이용하여 처리된다. 상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하기 위해 상기 신경망의 훈련된 파라미터 값들에 따라 상기 3차원 정량적 위상 이미지를 처리하도록 구성된다. 상기 미생물의 예측된 유형은 상기 신경망 출력을 이용하여 식별된다.

일부 구현들에서, 상기 신경망 출력은 미리 결정된 수의 미생물 유형들 각각에 대한 각각의 확률 값을 포함한다. 주어진 미생물 유형에 대한 확률 값은 상기 미생물이 상기 주어진 미생물 유형일 가능성을 나타낸다.

일부 구현들에서, 상기 미생물의 예측된 유형은 상기 신경망 출력에서 가장 높은 확률 값을 갖는 미생물 유형으로 식별된다.

일부 구현들에서, 상기 신경망 출력은 상기 미생물이 상기 미생물 유형일 가능성을 나타내는 미생물 유형의 확률 값을 포함한다.

일부 구현들에서, 상기 미생물의 예측된 유형은 속(genus), 종, 균주(strain), 그람-염색성(gram-stainability), 대사(metabolism), 형태 및 운동성으로 이루어진 그룹으로부터 선택된다.

일부 구현들에서, 상기 미생물의 3차원 정량적 위상 이미지는 3차원 굴절률 단층 촬영 영상이다.

일부 구현들에서, 상기 미생물은 박테리아, 바이러스, 진균, 기생충 및 미세조류로 이루어진 그룹으로부터 선택된다.

일부 구현들에서, 상기 미생물은 환자의 혈액 샘플에 존재하는 박테리아를 포함한다.

일부 구현들에서, 상기 방법은 상기 박테리아의 예측된 유형에 기초하여 환자에게 항생제 요법을 투여하는 단계를 포함한다.

일부 구현들에서, 위상차 현미경, 정량적 위상 현미경 또는 디지털 홀로그램 현미경은 복수의 조명 각도들 각각에서 상기 미생물의 위상 이미지 및 진폭 이미지를 생성하기 위해 이용되고, 그리고 3차원 굴절률 단층 촬영은 상기 위상 이미지 및 진폭 이미지를 이용하여 재구성된다.

일부 구현들에서, 상기 방법은 최대 1시간이 걸린다.

제2 양태에 따르면, 신경망의 훈련된 파라미터 값들에 따라 상기 신경망을 이용하여 하나 이상의 미생물의 3차원 정량적 위상 이미지를 처리하여 하나 이상의 미생물의 예측된 유형을 식별하는 방법이 제공된다.

일부 구현들에서, 상기 신경망은 하나 이상의 3차원 컨볼루션 계층을 포함한다.

일부 구현들에서, 상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하도록 구성되고, 그리고 상기 미생물의 예측된 유형은 상기 신경망 출력에 적어도 부분적으로 기초하여 식별된다.

일부 구현들에서, 상기 방법은 최대 1시간이 걸린다.

제3 양태에 따르면, 하나 이상의 미생물의 예측된 유형을 식별하는 방법이 제공된다. 상기 방법은 박테리아 감염이 있는 환자로부터 생물학적 샘플을 제공하는 단계를 포함한다. 상기 환자 내의 박테리아의 예측된 유형은, 상기 박테리아를 특징짓는 신경망 출력을 생성하기 위해, 상기 신경망의 훈련된 파라미터 값들에 따라, 하나 이상의 3차원 컨볼루션 계층을 포함하는 신경망을 이용하여 상기 생물학적 샘플로부터 분리된 하나 이상의 박테리아의 3차원 정량적 위상 이미지를 처리하함으로써 상기 환자로부터 생물학적 샘플을 얻은 지 1시간 이내에 식별된다. 상기 박테리아의 예측된 유형은 상기 신경망 출력을 이용하여 식별된다.

일부 구현들에서, 상기 생물학적 샘플은 혈액 샘플을 포함한다.

일부 구현들에서, 상기 환자내의 박테리아의 예측된 유형은 상기 환자로부터 생물학적 샘플을 제공한 지 45분 이내에 식별된다.

일부 구현들에서, 상기 환자내의 박테리아의 예측된 유형은 상기 환자로부터 생물학적 샘플을 제공한 지 30분 이내에 식별된다.

일부 구현들에서, 상기 환자내의 박테리아의 예측된 유형은 상기 환자로부터 생물학적 샘플을 제공한 지 15분 이내에 식별된다.

제4 양태에 따르면, 하나 이상의 미생물의 예측된 유형을 식별하는 방법이 제공된다. 방법은 박테리아 감염이 의심되는 환자로부터 생물학적 샘플을 제공하는 단계를 포함한다. 상기 환자내의 박테리아의 예측된 유형은, 상기 박테리아를 특징짓는 신경망 출력을 생성하기 위해, 상기 신경망의 훈련된 파라미터 값들에 따라, 하나 이상의 3차원 컨볼루션 계층을 포함하는 신경망을 이용하여 상기 생물학적 샘플로부터 분리된 하나 이상의 박테리아의 3차원 정량적 위상 이미지를 처리함으로써 상기 환자로부터 생물학적 샘플을 제공한 지 1시간 이내에 식별된다. 상기 박테리아의 예측된 유형은 상기 신경망 출력을 이용하여 식별된다.

제5 양태에 따르면, 위상차 현미경 및 미생물 분류 시스템을 포함하는 시스템이 제공된다. 상기 위상차 현미경은 하나 이상의 미생물의 3차원 정량적 위상 이미지를 생성하도록 구성되고, 상기 3차원 정량적 위상 이미지는 상기 미생물의 3차원 표현을 포함한다. 상기 미생물 분류 시스템은 신경망을 이용하여 상기 3차원 정량적 위상 이미지를 처리하도록 구성되고, 상기 신경망은 하나 이상의 3차원 컨볼루션 계층을 포함하는 컨볼루션 신경망이고, 그리고 상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하기 위해 상기 신경망의 훈련된 파라미터 값들에 따라 상기 3차원 정량적 위상 이미지를 처리하도록 구성된다. 상기 미생물의 예측된 유형은 상기 신경망 출력을 이용하여 식별된다.

제6 양태에 따르면, 하나 이상의 컴퓨터에 의해 실행될 때 상기 하나 이상의 컴퓨터로 하여금 위상차 현미경을 이용하여 생성된 하나 이상의 미생물의 3차원 정량적 위상 이미지를 수신하도록 하는 명령어들을 저장하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체가 제공되고, 상기 3차원 정량적 위상 이미지는 상기 미생물의 3차원 표현을 포함한다. 상기 3차원 정량적 위상 이미지는 신경망을 이용하여 처리되고, 상기 신경망은 하나 이상의 3차원 컨볼루션 계층을 포함하는 컨볼루션 신경망이다. 상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하기 위해 상기 신경망의 훈련된 파라미터 값들에 따라 상기 3차원 정량적 위상 이미지를 처리하도록 구성된다. 상기 미생물의 예측된 유형은 상기 신경망 출력을 이용하여 식별된다.

본 명세서에 서술된 주제의 특정 실시예들은 다음 이점들 중 하나 이상을 실현하도록 구현될 수 있다.

본 명세서에 서술된 방법은 미생물이 일부 통상적인 방법들보다 더 신속하고 그리고/또는 더 일관되게 식별될 수 있게 할 수 있다.

예를 들어, 혈액 배양을 기반으로 하는 스크리닝은 박테리아 종들을 식별하는 일반적인 방법이다. 혈액 배양으로 박테리아의 존재를 알 수 있지만, 박테리아가 자라 눈에 띄는 군집들을 형성하는 데는 종종 몇 시간에서 며칠이 걸린다. 또한, 다양한 항생제에 대한 질량 분광법 또는 감수성 테스트는 일반적으로 박테리아의 정확한 유형을 결정하는 데 사용된다. 항혈청 검사, 디옥시리보핵산(DNA) 마이크로어레이, 실시간 중합효소연쇄반응(PCR)을 포함한 다른 생화학적 방법들로 박테리아의 유형을 식별할 수 있다. 하지만, 생화학 반응이나 분자 특이적 신호에 의존하기 때문에, 이러한 통상적인 방법들은 또한 전문 생화학적 제제의 유지 및 사용 뿐만 아니라 시간에서 몇시간 내지 하루에 걸친 공정을 포함할 수 있다.

대조적으로, 본 명세서에 서술된 기술은 (일부 경우들에서) 정확한 박테리아의 식별을 1시간 이내에 가능하게 할 수 있다. 예를 들어, 미세유체 공학 및 항체 공학의 발전으로 박테리아 감염 환자의 혈액 농도만큼 낮은 농도에서 1시간 이내에 박테리아를 분리할 수 있다. 박테리아 샘플의 3D QPI를 획득하는 데는 배양 또는 염색과 같은 시간 소모적인 프로세스가 필요하지 않으며, 분류 신경망은 입력 데이터를 사용하여 예측들을 수행하는 데 밀리초 이하가 소요된다.

본 명세서에 서술된 기술은, 측정 및 분석 모두에서 인간 요인들에 덜 취약할 수 있기 때문에 일부 기존 방법들보다 더 일관되게 미생물을 식별할 수 있게 할 수 있다. 예를 들어, 일부 기존 방법은 사람이 수행하는 물리적 실험에 의존하지만, 본 명세서에 서술된 기술은 계산 기술들(즉, 분류 신경망)을 사용하여 일관된 측정들(즉, 정량적 위상 이미징을 사용하여 생성)을 활용할 수 있다.

3D QPI들을 처리함으로써, 본 명세서에 서술된 기술은 (일부 경우들에서) 2D QPI들을 처리함으로써 가능한 것보다 더 정확하게 미생물들을 식별할 수 있다. 특히, 특정 조명 각도에 해당하는 2D QPI들에는 다중 반사들 또는 먼지 입자에 의한 산란으로 인한 간섭으로 인해 노이즈가 많은 이미지 아티팩트들이 포함되는 경우가 많다. 수백 나노미터 두께의 미생물들(예: 박테리아) 이미지들은 특히 이러한 아티팩트들에 취약하다. 여러 2D QPI들로부터 재구성된 3D QPI의 신호 대 잡음비(SNR)는 2D QPI들보다 높을 수 있는데, 이는 노이즈가 많은 아티팩트들이 조명 각도에 따라 달라지지만 미생물들의 영향은 일관되게 유지되기 때문이다.

3차원 컨볼루션 신경망을 이용하여, 본 명세서에 서술된 기술은 (일부 경우들에서), 예를 들어, 2D 컨볼루션 신경망 또는 기타 기계 학습 모델을 사용하여 가능한 것보다 더 정확하게 미생물을 식별할 수 있다. 특히, 3D QPI에 묘사된 미생물을 정확하게 식별하기 위해 3D QPI의 서로 다른 부분 사이의 복잡한 3D 공간 관계들을 활용하도록 3D 컨볼루션 신경망을 훈련할 수 있다.

본 명세서의 주제의 하나 이상의 실시예의 특정 세부사항들은 첨부 도면 및 아래의 설명에 기재되어 있다. 주제의 다른 특징들, 양태들 및 이점들은 설명, 도면 및 청구범위로부터 명백해질 것이다.

도 1은 미생물의 3D QPI로부터 하나 이상의 미생물 집합의 유형을 예측하는 예시적인 환경의 블록도이다.
도 2는 예시적인 훈련 시스템을 도시한다.
도 3은 훈련 데이터의 예시적인 세트의 도시이다.
도 4는 박테리아 감염이 있는 환자를 치료하기에 적절한 항생제 요법을 결정하기 위해 위상차 현미경 및 미생물 분류 시스템을 이용하기 위한 예시적인 프로세스의 도시이다.
도 5는 위상차 현미경을 이용하여 미생물의 3D QPI를 생성하기 위한 예시적인 프로세스의 도시이다.
도 6a 내지 도 6g는 분류 신경망을 훈련하여 박테리아의 3차원 굴절률 단층 촬영에서 패혈증 유발 박테리아의 종을 예측하도록 훈련시킨 실험의 결과를 도시한다.
도 7은 미생물의 예측된 유형을 특징짓는 분류 출력을 생성하기 위해 미생물의 3D QPI를 처리하도록 구성된 분류 신경망의 예시적인 아키텍처의 도시이다.
도 8은 하나 이상의 미생물의 예측된 유형을 식별하기 위한 예시적인 프로세스의 흐름도이다.
도 9는 3D 굴절률 단층 사진들을 생성하기 위해 이용되는 마하젠더 위상차 현미경 장치의 도시이다.
다양한 도면들에서의 파이크 참조 번호들 및 명칭들은 유사한 요소들을 나타낸다.

본 명세서는 3D 컨볼루션 분류 신경망을 이용하여 미생물의 3차원(3D) QPI(quantitative phase image)를 처리하여 미생물(예: 박테리아)의 종류(예: 종)를 예측할 수 있는 미생물 분류 시스템을 서술한다. 미생물 분류 시스템은 진단 애플리케이션들을 위한 임상 환경에 배포할 수 있다. 이러한 특징들 및 기타 특징들은 아래에서 더 자세히 서술된다.

도 1은 하나 이상의 미생물(104) 세트의 유형(102)이 미생물(104)의 3D QPI(106)로부터 예측되는 예시적인 환경(100)의 블록도이다.

미생물(104)은 박테리아, 바이러스, 진균, 기생충, 미세조류, 또는 임의의 다른 적절한 종류의 미생물일 수 있다. 미생물(104)은 질병을 유발할 수 있지만(예를 들어, 패혈증을 유발함), 반드시 그런 것은 아니다.

미생물(104)은 임의의 다양한 소스로부터 유래할 수 있다. 예를 들어, 미생물(104)은 박테리아(또는 진균) 분리 기술을 이용하여 박테리아(또는 진균) 감염이 있는 환자의 혈액 샘플을 처리하여 얻은 박테리아(또는 진균)일 수 있으며, 도 4를 참조하여 보다 상세히 서술될 것이다.

미생물(104)의 예측된 유형(102)은, 예를 들어, 예측된 종(예를 들어, 아시노박터 바우만니(Acinobacter baumannii), 바실러스 서브틸리스(Bacillus subtilis), 또는 엔테로박터 클로아카에(Enterobacter cloacae)), 예측된 속, 예측된 균주, 예측된 그람-염색성(예를 들어, 그람 양성 또는 그람 음성), 예측된 대사(예: 호기성 또는 혐기성), 예측된 형태(예: 구균, 간균 또는 구간균), 예측된 운동성(예: 운동성 또는 비운동성), 또는 미생물의 다른 적절한 특성을 정의할 수 있다.

선택적으로, 미생물(104)의 예측된 유형(102)은 미생물(104)의 다중 특성에 대한 예측을 정의할 수 있다. 예를 들어, 미생물(104)의 예측된 유형(102)은 미생물의 예측된 종 및 미생물의 예측된 운동성을 모두 정의할 수 있다.

환경(100)은 위상차 현미경(108) 및 미생물 분류 시스템(110)을 포함한다. 미생물 분류 시스템(110)은 하나 이상의 위치에 있는 하나 이상의 컴퓨터 상의 컴퓨터 프로그램으로서 구현될 수 있다.

위상차 현미경(108)은 미생물(104)의 3D 정량적 위상 이미지(106)(즉, 3D QPI(106))를 생성하는데 이용된다. 광범위하게, 3D QPI(106)는 미생물(104)을 통과하는 빛에서 유도된 위상 변이를 정량화하여 형태학적 및 생물물리학적 특성을 특성화하는 미생물(104)의 3D 표현이다.

일반적으로, 미생물(104)의 3D QPI(106)는 수치 값(예를 들어, 부동 소수점 값)의 3D 매트릭스로 표현될 수 있고, 여기서 3D 매트릭스의 각 성분은 미생물(104) 내부 또는 주변에 있는 각각의 3D 공간 위치에 대응한다. 일 예에서, 3D QPI(106)는 "굴절률(RI) 단층촬영"일 수 있으며, 여기서 3D 매트릭스의 각 구성요소는 구성요소에 대응하는 공간적 위치에서 물질(예: 미생물의 일부)의 굴절률을 정의한다.

위상차 현미경(108)은 다양한 상이한 기술들 중 임의의 것을 이용하여 미생물(104)의 3D QPI(106)를 생성할 수 있다. 위상차 현미경(108)을 이용하여 미생물(104)의 3D QPI(106)를 생성하는 예시적인 방법은 도 5를 참조하여 더 상세히 서술된다.

미생물 분류 시스템(110)은, 분류 신경망(112)의 모델 파라미터(114)의 훈련된 값들에 따라 분류 신경망(112)을 이용하여 미생물(104)의 3D QPI(106)를 처리하여 분류 출력(116)을 생성하도록 구성된다. 그 후, 미생물 분류 시스템(110)은 분류 출력(116)을 이용하여 미생물(104)의 예측된 유형(102)을 식별한다. 다음은 몇가지 예이다.

일 예에서, 분류 출력(116)은 미리 결정된 수의 가능한 미생물 유형들에 대한 확률 분포를 정의한다. 즉, 분류 출력(116)은 각각의 가능한 미생물 유형에 대응하는 각각의 수치적 확률 값을 포함한다. 이 예에서, 시스템(110)은 분류 출력(116)에 의해 가장 높은 확률 값과 연관된 미생물 유형으로서 미생물(104)의 예측된 유형(102)을 식별할 수 있다.

다른 예에서, 분류 출력(116)은 미리 결정된 가능한 인덱스들의 세트로부터 인덱스(예를 들어, 양의 정수 값)를 정의하며, 여기서 각각의 인덱스는 각각의 가능한 미생물 유형에 대응한다. 이 예에서, 시스템(110)은 분류 출력(116)에 의해 정의된 인덱스에 대응하는 미생물 유형으로서 미생물(104)의 예측된 유형(102)을 식별할 수 있다.

일부 경우들에서, 위상차 현미경(108)에 의해 생성된 3D QPI(106)는 많은 수(예를 들어, 수천)의 미생물을 묘사할 수 있다. 예를 들어, 위상차 현미경(108)은 현미경 슬라이드에 장착된 수천 개의 미생물(예를 들어, 박테리아)을 묘사하는 3D QPI(106)를 생성할 수 있다. 시스템(110)은 (예를 들어, 미생물을 검출하도록 훈련된 물체 검출 신경망을 이용하여) 3D QPI(106)에서 개별 미생물을 검출할 수 있고 그리고 3D QPI(106)로부터 각각이 하나 이상의 개별 미생물을 묘사하는 다중 영역을 자를 수 있다. 3D QPI(106)로부터 잘린 각각의 영역에 대해, 시스템(110)은 잘린 영역에 묘사된 하나 이상의 미생물을 특징짓는 각각의 분류 출력(116)을 생성하기 위해 분류 신경망(112)을 이용하여 영역을 처리할 수 있다. 그 후, 시스템(110)은 잘린 영역들에 대해 생성된 각각의 분류 출력들을 이용하여 원래의 3D QPI(106)에 묘사된 미생물 유형에 대한 "전체" 예측을 생성할 수 있다. 다음은 몇 가지 예이다.

일 예에서, 3D QPI(106)로부터 자른 각 영역에 대해 분류 신경망(112)에 의해 생성된 각각의 분류 출력(116)은 (앞서 설명된 바와 같이) 가능한 미생물 유형에 대한 확률 분포를 정의한다. 이 예에서, 시스템(110)은 가능한 미생물 유형에 대한 "전체" 확률 분포를 생성하기 위해 3D QPI(106)로부터 자른 영역들 각각에 대해 생성된 가능한 미생물 유형에 대한 확률 분포를 결합(예를 들어, 평균)할 수 있다. 시스템(110)은 가능한 미생물 유형들에 대한 전체 확률 분포에 의해 가장 높은 확률 값과 연관된 미생물 유형으로서 3D QPI(106)에 도시된 미생물의 전체 예측 유형을 식별할 수 있다.

다른 예에서, 3D QPI(106)로부터 자른 각 영역에 대해 분류 신경망(112)에 의해 생성된 각각의 분류 출력(116)은 (앞서 설명된 바와 같이) 가능한 미생물 유형과 연관된 인덱스를 정의한다. 이 예에서, 시스템(110)은 3D QPI(106)로부터 잘린 영역에 대해 분류 신경망(112)에 의해 생성된 인덱스 세트에서 가장 빈번하게 발생하는 인덱스(즉, "모드 인덱스")를 결정할 수 있다. 시스템(110)은 모드 인덱스와 연관된 가능한 미생물 유형으로서 3D QPI(106)에 묘사된 미생물의 전체 예측 유형을 식별할 수 있다.

3D QPI로부터 자른 다중 영역들을 처리하여 3D QPI에 묘사된 미생물 유형에 대한 전체 예측을 생성하면 시스템(110)의 견고성을 향상시킬 수 있다.

일부 경우들에서, 단일 분류 신경망(112)을 이용하는 것보다, 시스템(110)은 예측된 미생물 유형(102)을 결정하기 위해 다중 분류 신경망(112)의 앙상블을 이용할 수 있다. 앙상블의 분류 신경망은 다양한 방식으로 서로 다를 수 있다. 예를 들어, 앙상블의 분류 신경망의 일부 또는 전부는, 서로 다른 신경망 아키텍처, 예를 들어, 서로 다른 3D 컨볼루션 신경망 아키텍처를 가질 수 있다. 다른 예로서, 앙상블의 분류 신경망들의 일부 또는 전부는, 예를 들어, 그들의 모델 파라미터 값을 상이하게 초기화함으로써 상이하게 훈련될 수 있다. 앙상블의 각각의 분류 신경망은 3D QPI(106)를 처리하여 각각의 분류 출력(116)을 생성할 수 있고, 그리고 시스템(110)은 (앞서 설명된 바와 같이) 각각의 분류 출력을 이용하여 3D QPI(106)에 묘사된 미생물의 유형에 대한 전체 예측을 생성할 수 있다.

선택적으로, 3D QPI(106)를 처리함으로써 분류 신경망(112)에 의해 생성된 하나 이상의 중간 출력은 미생물(104)을 특성화하는데 이용하기 위해 제공될 수 있다. 중간 출력(잠재 특징이라고도 함)은 분류 신경망(112)의 중간 계층(즉, 입력 계층과 출력 계층 사이의 계층)에 의해 생성된 출력을 의미한다. 중간 출력은 숫자 값들의 정렬된 모음(예: 숫자 값들의 벡터 또는 행렬)으로 나타낼 수 있다. 분류 신경망(112)에 의해 생성된 중간 출력들은, 미생물(104)을 특징짓는 예측 출력들을 생성하기 위해 다른 기계 학습 모델(예: 지원 벡터 머신(SVM) 또는 랜덤 포레스트(RF))에 의해 처리될 수 있는 3D QPI(106)의 컴팩트 디스크립터로 이용될 수 있다. 도 6b는 분류 신경망(112)에 의해 생성된 일부 중간 출력(즉, 잠재 특징)의 예를 도시한다.

분류 신경망(112)의 모델 파라미터들(114)은, 분류 신경망(112)의 계층들에 의해 수행되는 연산, 예를 들어, 분류 신경망(112)의 계층들의 가중치 매트릭스들 및 바이어스 벡터를 정의하는 파라미터들을 지칭한다.

분류 신경망(112)은 임의의 적절한 신경망 아키텍처를 가질 수 있다. 예를 들어, 분류 신경망(112)은 3차원 컨볼루션 신경망, 즉, 하나 이상의 3차원 컨볼루션 계층들을 포함하는 신경망일 수 있다. 3D 컨볼루션 계층은 하나 이상의 3D 출력을 생성하기 위해 하나 이상의 3D 컨볼루션 필터를 이용하여 하나 이상의 3D 입력(예: 숫자 값들의 3D 매트릭스들로 표시됨)을 처리하도록 구성된 컨볼루션 계층을 나타낸다.

3D 컨볼루션 계층 외에도, 분류 신경망(112)은 임의의 적절한 구성으로 연결된 임의의 적절한 유형(예를 들어, 풀링 또는 완전 연결 계층들)의 추가 신경망 계층들을 포함할 수 있다. 예시적인 분류 신경망 아키텍처는 도 7를 참조하여 더 상세히 서술된다.

훈련 시스템은 훈련의 예시들의 세트에 대해 분류 신경망(112)을 훈련함으로써 분류 신경망(112)의 모델 파라미터들(114)의 훈련된 값들을 결정할 수 있다. 훈련 시스템의 일 예를 도 2를 참조하여 보다 구체적으로 서술한다.

위상차 현미경(108) 및 미생물 분류 시스템(110)은 진단 애플리케이션들을 위한 임상 환경에 배치될 수 있다. 예를 들어, 도 4를 참조하여 서술된 바와 같이, 위상차 현미경(108) 및 미생물 분류 시스템(110)은 박테리아 감염 환자에 대한 적절한 항생제 요법들을 식별하는 데 이용될 수 있다.

도 2는 예시적인 훈련 시스템(200)을 도시한다. 훈련 시스템(200)은 아래에서 서술되는 시스템들, 구성요소들 및 기술들이 구현되는 하나 이상의 위치에 있는 하나 이상의 컴퓨터에서 컴퓨터 프로그램으로 구현되는 시스템의 예이다.

훈련 시스템(200)은 분류 신경망(112)의 모델 파라미터들(114)의 훈련된 값들을 결정하기 위해 훈련 데이터(202) 및 훈련 엔진(204)의 세트를 이용한다.

훈련 데이터(202)는 다수의 훈련 예들을 포함한다. 각 훈련 예시에는 (i) 하나 이상의 미생물(예: 박테리아)의 3D QPI 및 (ii) 3D QPI에 표시된 미생물 유형을 정의하는 "타겟 미생물 유형"이 포함된다. 타겟 미생물 유형은 3D QPI를 처리하여 분류 신경망(112)에 의해 생성되어야 하는 분류 출력을 지정한다.

일반적으로, 훈련 데이터(202)는 각각의 가능한 미생물 유형(즉, 분류 신경망(112)에 의해 예측될 수 있는 가능한 미생물 유형들의 미리 결정된 세트로부터)에 대응하는 적어도 하나의 훈련 예를 포함한다. 도 3은 훈련 데이터(202)의 예시적인 세트의 도시를 제공한다.

훈련 엔진(204)은 다수의 훈련 반복 각각에서 분류 신경망(112)의 모델 파라미터(114)의 현재 값을 반복적으로 조정하도록 구성된다.

각 훈련 반복에서, 훈련 엔진(204)은 훈련 데이터(202)로부터 하나 이상의 훈련 예(206)의 배치(즉, 세트)를 선택(예를 들어, 무작위로 샘플링)하고, 대응하는 예측된 미생물 유형(208)을 생성하기 위해 각 훈련 예(206)에 포함된 3D QPI를 처리한다.

훈련 엔진(204)은, (i) 분류 신경망(112)에 의해 생성된 예측된 미생물 유형들(208) 및 (ii) 훈련 예들(206)에 의해 지정된 타겟 미생물 유형들에 기초하여 모델 파라미터들(114)의 현재 값에 대한 파라미터 값 업데이트(210)를 결정한다. 더 구체적으로, 현재 훈련 반복에서 파라미터 값 업데이트(210)를 결정하기 위해, 훈련 엔진(204)은 분류 신경망(112)의 모델 파라미터(114)에 대한 목적 함수의 기울기를 결정한다. 일반적으로 목적 함수는 분류 신경망(112)에 의해 생성된 예측된 미생물 유형들(208) 및 훈련 예들(206)에 의해 지정된 타겟 미생물 유형들에 의존한다. 훈련 엔진(204)은 예를 들어 임의의 적절한 경사 하강 최적화 알고리즘(예를 들어, Adam 또는 RMSprop)의 업데이트 규칙에 따라 목적 함수의 기울기에 기초하여 파라미터 값 업데이트(210)를 결정할 수 있다.

파라미터 값 업데이트(210)는, 임의의 적절한 숫자 형식으로, 예를 들어, 분류 신경망(112)의 각 모델 파라미터(114)에 대응하는 각각의 수치 값을 포함하는 수치 값의 정렬된 컬렉션(예를 들어, 수치 값의 벡터)으로서 표현될 수 있다. 훈련 시스템(200)은, 모델 파라미터들(114)의 현재 값에 파라미터 값 업데이트(210)를 추가한 결과로서 훈련 반복에서 모델 파라미터들(114)의 업데이트된 값을 결정할 수 있다.

훈련 엔진(204)은 예를 들어 역전파 기술들을 이용하여 임의의 적절한 방식으로 목적 함수의 기울기들을 결정할 수 있다. 목적 함수는 임의의 적절한 분류 목적 함수, 예를 들어, 교차 엔트로피 목적 함수일 수 있다.

훈련 시스템(200)은 훈련 종료 기준이 충족될 때 분류 신경망(112)의 훈련이 완료된 것으로 결정할 수 있다. 예를 들어, 훈련 종료 기준은 미리 정해진 횟수의 훈련 반복들이 수행되었다는 것일 수 있다. 또 다른 예로서, 훈련 종료 기준은 훈련 예들의 보류된 세트에 대해 평가된 분류 신경망(112)의 정확도가 적어도 미리 결정된 임계값을 달성하는 것일 수 있다.

훈련 종료 기준이 충족된다고 결정한 후, 훈련 시스템(200)은 분류 신경망(112)의 모델 파라미터들(114)의 훈련된 값들을 미생물 분류 시스템(110)에 제공할 수 있다(즉, 도 1을 참조하여 서술됨). 모델 파라미터들(114)의 "훈련된 값들"은 훈련 시스템(200)에 의해 수행된 마지막 훈련 반복의 결론에서 모델 파라미터들(114)의 값을 지칭한다.

훈련 시스템(200)은 미생물 분류 시스템(110)으로부터 멀리 떨어져 위치할 수 있고, 이 경우 훈련 시스템(200)은 예를 들어 유선 또는 무선 연결을 통해 모델 파라미터들(114)의 훈련된 값들을 미생물 분류 시스템에 제공할 수 있다.

도 3은 훈련 데이터(202)의 예시 세트의 도시(300)이다. 훈련 데이터(202)의 훈련 예들은, 각각 (i) 패혈증 유발 박테리아의 3D QPI, 및 (ii) 박테리아의 종들을 정의하는 표적 미생물 유형을 포함한다.

도해(300)는 19개의 상이한 패혈증-유발 종들 각각에 대응하는 박테리아의 예시적인 3D QPI를 도시한다. 특히, 이미지 라벨 (i) 내지 (xix)에 따라 정렬된, 도 3의 3D QPI들은 각각 다음의 예: A. baumannii, B. subtilis, E. cloacae, E. faecalis, E. coli, H. influenza, K. pneumonia, L. monocytogenes, M. luteus, P. mirabilis, P. aeruginosa, S. marcescens, S. aureus, S. epidermidis, S. maltophilia, S. agalactiae, S. anginosus, S. pneumonia, and S. pyogenes bacteria를 보여준다.

선택적으로, 훈련 데이터(202)를 이용하여 분류 신경망(112)을 훈련시키기 전에(예를 들어, 도 2를 참조하여 설명된 바와 같이), 훈련 데이터(202)는 증강 엔진(302)을 이용하여 "증강(augment)"될 수 있다. 더 구체적으로, 증강 엔진(302)은 분류 신경망(112)을 훈련시키기 위해 후속적으로 이용될 수 있는 "새로운" 훈련 예들을 생성하기 위해 훈련 데이터(202)의 기존 훈련 예들을 처리할 수 있다.

기존 훈련 예시로부터 새로운 훈련 예시를 생성하기 위해, 증강 엔진(302)은, 예를 들어, 기존 훈련 예로부터 3D QPI 이미지를 무작위 노이즈 값들을 추가, 회전, 탄성 변형 또는 변환을 통해 기존 훈련 예로부터 3D QPI 이미지를 수정할 수 있다. 새로운 훈련 예시에는 (i) 수정된 3D QPI 이미지 및 (ii) 기존 훈련 예시와 동일한 대상 미생물 유형이 포함된다.

증강 엔진(302)을 이용하여 생성된 새로운 훈련 예시로 증강된 훈련 데이터(202)를 이용하여 분류 신경망(112)을 훈련하는 것은, 예를 들어, 과적합의 잠재적 영향을 완화하여 훈련된 분류 신경망의 정확도를 향상시킬 수 있다.

도 4는 박테리아 감염이 있는 환자(404)를 치료하기에 적절한 항생제 요법(402)을 결정하기 위해 위상차 현미경(108) 및 미생물 분류 시스템(110)(예를 들어, 도 1을 참조하여 서술됨)을 이용하기 위한 예시적인 프로세스(400)의 도시이다.

환자(404)로부터의 혈액 샘플(406)은 예를 들어 환자(404)로부터 혈액을 채취함으로써 제공된다. 편의상, 도 4는 "혈액 샘플"을 나타내지만, 다른 생물학적 샘플들, 조직 생검 샘플들(예: 위 조직), Pap 도말 샘플들(예: 자궁경부), 소변 샘플들, 대변 샘플들 또는 타액 샘플들이 이용될 수 있다.

박테리아 분리 기술은 환자(404)의 박테리아 감염에 기여하는 박테리아(408)를 분리하기 위해 혈액 샘플(406)에 적용된다. 즉, 혈액 샘플(406)로부터 박테리아(408)의 샘플을 제거하기 위해 박테리아 분리 기술이 적용된다. 임의의 적절한 박테리아 분리 기술을 적용하여 박테리아(408)를 적절한 순도 수준으로 분리할 수 있다. 박테리아 분리 기술의 예로는 원심분리, 기공이 있는 필터를 이용한 여과, 미세유체 또는 마이크로칩 장치를 이용한 분리가 있다.

위상차 현미경(108)은 박테리아(408)의 3D QPI(412)를 생성하기 위해 이용된다. 예를 들어, 위상차 현미경은 박테리아(408)의 3D 굴절률 단층 사진을 생성할 수 있다(앞서 설명된 바와 같음).

미생물 분류 시스템(110)은 박테리아(408)의 3D QPI(412)를 처리하여 환자(404)의 박테리아 감염에 기여하는 박테리아(408)의 예측된 종(410)을 정의하는 출력을 생성한다. 박테리아(408)는 예를 들어, 패혈증-유도, 말라리아-유도 또는 결핵-유도일 수 있다.

박테리아(408)의 예측된 종(410)은 환자(404)의 박테리아 감염을 치료하기에 적절한 항생제 요법(402)(또는 다른 치료법)을 선택하는 데 이용된다. 특히, 예측된 박테리아 종(410)을 억제하거나 파괴하는데 특히 효과적인 항생제 요법이 선택될 수 있다.

선택된 항생제 요법(402)은 그 후, 예를 들어 환자(404)에게 선택된 항생제를 정맥내 투여함으로써 환자(404)의 박테리아 감염을 치료하는데 이용될 수 있다.

프로세스(400)는 환자의 감염에 기여하는 박테리아 종들의 신속한 식별을 가능하게 할 수 있다. 예를 들어, 미세유체 공학 및 항체 공학의 발전으로 박테리아 감염 환자의 혈액에 존재하는 농도만큼 낮은 농도에서 1시간 이내에 박테리아를 분리할 수 있었다. 박테리아 샘플의 3D QPI 획득은 배양이나 염색과 같은 시간 소모적인 과정을 필요로 하지 않으며, 미생물 분류 시스템(특히 훈련된 분류 신경망)은 입력 데이터를 이용하여 예측들을 수행하는 데 밀리초 이하를 소비할 수 있다. 따라서, 일부 경우들에서, 프로세스(400)는 1시간 이내에 정확한 박테리아 식별을 가능하게 할 수 있다. 일부 특정 경우들에서, 프로세스(400)는 45분 미만, 30분 미만 또는 15분 미만의 정확한 박테리아 식별을 가능하게 할 수 있다. 박테리아(408)가 혈액 샘플(406)로부터 분리된 후(이는 프로세스(400)의 가장 시간 소모적인 단계일 수 있음), 3D QPI 생성(412) 및 박테리아 종 예측(410)은 10분 미만, 5분 미만, 3분 미만, 또는 1분 미만, 예를 들어 1 내지 45초(예를 들어, 1 내지 30초, 1 내지 20초, 1 내지 10초) 내에 발생할 수 있다.

대조적으로, 병원에서 일반적인 박테리아 종 식별(즉, 3D 정량적 위상 영상화 및 미생물 분류 시스템(110)의 이점 없이)은 혈액 배양 및 후속 분석이 수반되기 때문에 12시간 이상이 필요할 수 있다.

환자의 감염을 유발하거나 기여하는 박테리아의 종을 신속하게 식별하면 적절한 항생제(즉, 박테리아의 종들을 효과적으로 억제하거나 파괴하는 항생제)가 환자에게 신속하게 투여될 수 있다. 박테리아 감염이 있는 환자에게 적절한 항생제를 즉시 투여하면 환자의 임상 결과를 극적으로 향상시킬 수 있다.

예를 들어, 어떤 경우들에는, 패혈증 환자의 생명을 구하는 것은 입원 후 처음 몇 시간 동안 환자를 효과적으로 치료하는데 달려있다. 패혈증 환자의 사망률은 초기 항생제 치료가 지연됨에 따라 급증할 수 있다. 따라서, 3차원 위상차 영상과 미생물 분류 시스템(110)에 의해 촉진되는 신속한 항생제 치료는 패혈증 환자의 사망률을 줄이는 데 중요한 역할을 할 수 있다.

프로세스(400)는 위상차 현미경(108) 및 미생물 분류 시스템(110)이 이용될 수 있는 설정의 한 예일 뿐이다. 몇 가지 다른 예들은 다음과 같다. 일 예에서, 위상차 현미경(108) 및 분류 시스템(110)은, 예를 들어, 여러 시점 각각에서 현재 감염성 질병에 기여하고 있는 박테리아의 종들을 예측함으로써 감염성 질병으로 입원한 환자를 지속적으로 모니터링하기 위해 이용될 수 있다. 다른 예에서, 위상차 현미경(108) 및 분류 시스템(110)은 농업 환경(예를 들어, 양어장)에 존재하는 예측된 박테리아 종을 식별하는 데 이용될 수 있다. 다른 예에서, 위상차 현미경(108) 및 분류 시스템(110)은 식품, 의약품, 또는 둘 다에 존재하는 예측된 박테리아 종을 식별하는데 이용될 수 있다.

도 5는 위상차 현미경을 이용하여 미생물의 3D QPI를 생성하기 위한 예시적인 프로세스의 예시이다. 위상차 현미경을 이용하여, 미생물의 각각의 위상 이미지(예를 들어, 위상 이미지(502)) 및 각각의 진폭 이미지(예를 들어, 진폭 이미지(504))가 다중 조명 각도(예를 들어, 조명 각도 θ ₁-θ _7O)로부터 측정된다. 그 다음, 3D QPI(예를 들어, 3D 굴절률 단층도(506))는 광학 회절 단층 촬영(ODT) 기술을 이용하여 위상 이미지 및 진폭 이미지의 다중 각도 세트에 기초하여 재구성된다(굴절률 단층 촬영 기술, 단층 촬영 위상 현미경 기술 등으로도 지칭될 수 있음).

도 6a 내지 도 6g는 분류 신경망을 훈련하여 박테리아의 3차원 QPI들로부터 19종의 패혈증 유발 박테리아의 종들을 예측하도록 한 실험의 결과를 도시한다. 패혈증 유발 박테리아 19종들은 A. baumannii, B. subtilis, E. cloacae, E. faecalis, E. coli, H. influenza, K. pneumonia, L. monocytogenes, M. luteus, P. mirabilis, P. aeruginosa, S. marcescens, S. aureus, S. epidermidis, S. maltophilia, S. agalactiae, S. anginosus, S. pneumonia, and S. pyogenes bacteria를 보여준다. 이 실험에서, 3D QPI들은 7.2 x 7.2 x 4.0 μm³의 입방체 영역에 각각 대응하는 굴절률 단층 촬영이며, 입방체 내부에 표시된 종들의 하나 이상의 표본이 있다. 픽셀 크기는 x, y 및 z 방향으로 각각 0.1, 0.1 및 0.2μm이다. 본 실험에 이용된 분류 신경망의 구조는 도 7을 참조하여 보다 구체적으로 서술된다. 실험들은 패혈증 유발 박테리아의 5041 3D RI 단층 촬영에서 실행되었고, 모든 종들에 대해 동일한 수의 단층촬영들이 테스트 세트와 검증 세트에 무작위로 할당되었다.

훈련된 분류 신경망은 종 분류의 블라인드 테스트에서 94.6%의 정확도를 보였다. 각 종에 대한 평균 민감도, 특이도 및 정밀도는 각각 94.6%, 99.7% 및 94.7% 이었다. 민감도, 특이도 및 정밀도는 모든 종에서 85% 미만으로 떨어지지 않았다. E. coli를 K. pneumoniae로 오분류하는 오류와 S. pneumoniae를 S. pyogenes로 오분류하는 오류는 E. coli와 S. pneumoniae의 각각 7.5%에서 발생했다. H. influenzae, L. monocytogenes, P. aeruginosa, S. anginosus 등 4종을 100% 감수성으로 식별하였다. P. mirabilis의 85%의 식별 민감도를 가졌다. P. mirabilis, P. aeruginosa 및 S. maltophilia는 100%의 식별 특이도를 가졌다. E. coli와 K. pneumoniae의 99.17%의 특이도를 가졌다. P. mirabilis, P. aeruginosa, S. maltophilia는 각각 100%의 식별 정밀도를 가졌다. E. coli의 동정 정확도는 85.7%였다.

도 6a는 훈련된 분류 신경망의 정확도를 특징짓는 테이블(600)의 예시이다. i번째 행과 j번째 열에 대응하는 테이블(600) 부분의 음영은 분류 신경망이 i번째 행에 대응하는 종들의 박테리아가 j번째 열에 대응하는 종들의 것이라고 예측하는 빈도를 특징짓는다.

도 6b는 상이한 박테리아 종들의 3D 굴절률 단층 촬영을 위해 훈련된 분류 신경망에 의해 추출된 "잠재 특징"을 예시하는 산점도(602)를 도시한다. 특히, 산점도의 각 점은, 각각의 3D 굴절률 단층 촬영에 대해 분류 신경망의 마지막 완전 연결 계층(즉, 도 7을 참조하여 서술된 완전 연결 계층(730))에 제공된 입력의 표현이다. 고차원 잠재 특징은 t-분산 확률적 이웃 임베딩(t-SNE)을 이용하여 2차원(2D) 평면에 매핑되었다. 올바르게 분류된 3차원 굴절률 단층 촬영에 해당하는 잠재 특징들은 원들로 표시되고, 잘못 분류된 3차원 굴절률 단층 촬영에 해당하는 잠재 특징들은 "x" 기호로 표시된다. 훈련된 분류 신경망은 3D 굴절률 단층 촬영을 잠재 특징 공간의 각 그룹으로 클러스터링하는 잠재 특징들을 생성한다는 것을 알 수 있다. 대체로, 산점도의 각 클러스터는 각각의 박테리아 종에 해당한다. 예를 들어, 클러스터(604)는 A. baumannii 박테리아의 3D 굴절률 단층 촬영에 광범위하게 대응한다(즉, 클러스터(604)의 대부분의 점들은 A. baumannii 박테리아의 3D 굴절률 단층 촬영에 대응한다). 산점도(602)는 또한 다른 특성, 예를 들어, 그람-염색성 및 대사에 기초하여 3D 굴절률 단층 촬영을 대략적으로 클러스터링하도록 표시될 수 있다.

도 6c는 상이한 형태의 입력 데이터를 처리하도록 훈련된 후 분류 신경망의 정확도를 나타내는 막대 그래프(606)를 도시한다. 총 6가지 유형의 데이터: 2D 광학 위상 지연 이미지, 여러 조명 각도(즉, 3D RI 단층 촬영을 생성하기 위해 처리할 수 있는)의 2D 광학 위상 지연 이미지 세트, 3D RI 단층 촬영, 및 3가지 유형들의 이미지의 임계값 기반 바이너리 마스크들(도 6d를 참조하여 예시됨)가 비교되었다. 세 가지 유형들의 이미지들 및 해당 분류 방식들을 본 명세서에서는 2D, 멀티뷰 및 3D라고 한다. 2D 위상 이미지 및 3D RI 이미지의 임계값들은 박테리아의 다양한 위상 값 및 RI 값을 수용하기 위해 0.05π 및 1.3425로 설정되었다. 멀티뷰 접근법 및 2D 접근법에서, 분류 신경망은 2D 컨볼루션 신경망이었다. 멀티뷰 접근법에서, 2D 영상들의 예측은 다시점 데이터에 대한 예측을 만들기 위해 앙상블 평균화되었다. 막대 그래프(606)는 이 실험에서 3D RI 단층 촬영을 처리하는 것이 분류 신경망이 가장 정확한 박테리아 종 예측을 할 수 있게 함을 보여준다. 훈련된 분류 신경망의 정확도는 2D, 멀티뷰 및 3D 단층 촬영의 경우 각각 74.2%, 92.2% 및 94.6%였으며 해당 바이너리 마스크 입력 데이터의 경우 49.6%, 75.9% 및 92.4%였다.

도 6d는 대응하는 바이너리 마스크 이미지(610)를 생성하기 위해 0.05π에서 임계화된 2D 위상 이미지(608), 대응하는 바이너리 마스크 이미지들(614)을 생성하기 위해 각각 0.05π로 임계화된 다중 조명 각도들로부터의 멀티뷰 위상 지연 이미지들(612)의 세트, 및 대응하는 바이너리 마스크 이미지(618)를 생성하기 위해 1.3425로 임계화된 3D RI 단층 촬영(616)의 예시이다. 눈금 막대는 2μm를 나타낸다.

도 6e는 훈련된 분류 신경망에 의해 올바르게 분류된 3D RI 단층 촬영(620) 및 훈련된 분류 신경망에 의해 오분류된 3D RI 단층 촬영(628)을 예시한다. 3D RI 단층 촬영(620)은 Bacillus subtilis 박테리아를 묘사하고, 624는 3D RI 단층 촬영(620)의 세 단면을 묘사하고, 626은 Grad-CAM++ 기술들을 이용하여 3D RI 단층 촬영(620)에 대해 생성된 돌출 맵의 세 단면을 묘사한다. 3D RI 단층 촬영에 대한 돌출 맵에서 점의 강도는 3D RI 단층 촬영에 대해 훈련된 분류 신경망에 의해 생성된 예측에 대한 점의 중요성을 나타내는 것으로 이해될 수 있다. 3D RI 단층 촬영(628)은 Staphylococcus aureus 박테리아를 묘사하고, 630은 3D RI 단층 촬영(628)의 3개의 단면을 묘사하고, 632는 Grad-CAM++ 기술들을 이용하여 3D RI 단층 촬영(628)에 대해 생성된 돌출 맵의 3개 단면을 묘사한다. 눈금 막대는 2μm를 나타낸다. 범례(622)는 3D RI 단층 촬영들(620, 628)의 시각화를 특징짓고; 가로축은 굴절률 값(단위가 적을 수 있음)을 나타내고 세로축은 굴절률의 기울기(임의의 단위로 표시될 수 있음)를 나타낸다. 예를 들어, 시각화(620 및 628)의 더 어두운 영역들은 10보다 큰 굴절률 구배를 갖는 1.375 내지 1.4 범위의 굴절률을 갖는 3D RI 단층 촬영의 부분에 해당한다.

도 6f는 3D RI 단층 촬영을 처리하여 훈련된 분류 신경망에 의해 올바르게 분류된 Haemophilus influenzae 박테리아를 묘사하는 3D RI 단층 촬영의 3개의 단면(634) 및 Grad-CAM++ 기술들을 이용하여 3D RI 단층 촬영을 위해 생성된 돌출 맵의 3개의 단면(636)을 도시한다. 638은 훈련된 분류 신경망(2D 컨볼루션 아키텍처를 가짐)에 의해 처리되고 Staphylococcus aureus 박테리아를 묘사하는 것으로 잘못 분류된 동일한 Haemophilus influenzae 박테리아의 다중 각도 2D 위상 이미지 세트를 보여주고, 640은 Grad-CAM++ 기술을 이용하여 2D 위상 이미지(638) 각각에 대해 생성된 각각의 돌출 맵을 보여준다. 눈금 막대는 2μm를 나타낸다.

도 6g는 훈련된 분류 신경망을 이용하여 박테리아의 다양한 특성들(예: 속, 운동성, 형태, 그람 염색성 및 호기성)을 얼마나 정확하게 식별할 수 있는지에 대한 예를 나타낸다. 하나 이상의 박테리아 세트의 속성들은 박테리아의 종들을 예측하기 위해 훈련된 분류 신경망을 이용하여 박테리아의 3D RI 단층 촬영을 처리하고 이후 예측된 박테리아 종들을 기반으로 박테리아의 특성들을 식별함으로써 식별될 수 있다. 표 642는 19개의 패혈증 유발 박테리아 종의 15개 속을 식별할 때 훈련된 분류 신경망을 이용하는 정확도(전체: 95.5%)를 특성화한다. 표 644는 Staphylococcus 속에 속하는 박테리아의 종들을 식별할 때 훈련된 분류 신경망을 이용한 정확도(전체: 98.7%)를 나타낸다. 표 646은 Streptococcus 속에 속하는 박테리아의 종들을 식별할 때 훈련된 분류 신경망을 이용하는 정확도(전체: 96.2%)를 특성화한다. 막대 그래프(648)는 박테리아의 운동성을 식별할 때 훈련된 분류 신경망을 이용하는 정확도(전체: 98.2%)를 특성화한다. 막대 그래프(650)는 Bacillus, Coccobacillus 및 Coccus의 세 그룹에서 박테리아의 형태를 식별할 때 훈련된 분류 신경망을 이용하는 정확도(전체: 98.0%)를 특성화한다. 막대 그래프(652)는 박테리아의 그람-염색성을 식별할 때 훈련된 분류 신경망을 이용하는 정확도(전체: 97.5%)를 특성화한다. 박테리아의 호기성을 식별하기 위해 훈련된 분류 신경망을 이용하여 98.2%의 전체 정확도를 달성했다.

도 7은 미생물의 예측된 유형을 특성화하는 분류 출력(704)을 생성하기 위해 미생물의 3D QPI(702)를 처리하도록 구성된 분류 신경망의 예시적인 아키텍처의 예시이다. 아키텍처에는, 순서대로, 치수 7x7x7의 컨볼루션 필터들이 있는 3D 컨볼루션 계층(706), 6개의 병목 계층(708)의 시퀀스(여기서 건너뛰기 연결로 인해 제1 병목 계층 이후의 각 병목 계층에 대한 입력은 이전 병목 계층의 출력과 제1 병목 계층에 입력의 합계를 포함함), 1x1x1 컨볼루션 필터들을 갖는 3D 컨볼루션 계층(710), 3D 2x2x2 평균 풀링 계층(712), 12개의 병목 계층들(714)의 시퀀스, 1x1x1 컨볼루션 필터들을 갖는 3D 컨볼루션 계층(716), 3D 2x2x2 평균 풀링 계층(718), 32개의 병목 계층들(720)의 시퀀스, 1x1x1 컨볼루션 필터들을 갖는 3D 컨볼루션 계층(722), 3D 2x2x2 평균 풀링 계층(724), 32개의 병목 계층들(726)의 시퀀스, 3D 7x7x7 글로벌 평균 풀링 계층(728), 완전 연결 계층(730), 소프트 맥스 출력 계층(732)를 포함하는 계층들의 시퀀스를 갖는다.

분류 신경망의 특정 하이퍼파라미터들은 분류 신경망에 의해 행해지는 예측의 특성에 기초하여 선택될 수 있다. 예를 들어, 분류 신경망의 하나 이상의 컨볼루션 계층의 필터들의 치수들은 예측되는 박테리아 종의 박테리아의 (알려진) 크기를 기반으로 선택될 수 있다.

도 8은 하나 이상의 미생물의 예측된 유형을 식별하기 위한 예시적인 프로세스(800)의 흐름도이다.

위상차 현미경은 하나 이상의 미생물의 3D QPI를 생성하는 데 이용된다(802). 미생물들의 3D QPI는 미생물들의 3D 표현을 포함한다. 3D QPI는, 예를 들어, 3D 굴절률 단층 촬영일 수 있다. 미생물들은, 예를 들어, 박테리아, 바이러스 또는 진균일 수 있다. 특정 예에서, 미생물들은 박테리아 감염이 있는 환자의 혈액 샘플로부터 분리된 박테리아일 수 있다.

3D QPI는 분류 신경망의 훈련된 파라미터 값에 따라 분류 신경망을 이용하여 처리되어 미생물을 특성화하는 신경망 출력을 생성한다(804). 분류 신경망은 하나 이상의 3차원 컨볼루션 신경망 계층을 포함하는 컨볼루션 신경망일 수 있다. 한 예에서, 신경망 출력은 미리 결정된 수의 가능한 미생물 유형들에 대한 확률 분포를 정의한다. 다른 예에서, 신경망 출력은 미리 결정된 가능한 인덱스들의 세트로부터 인덱스를 정의하며, 여기서 각 인덱스는 각각의 가능한 미생물 유형에 대응한다.

미생물들의 예측된 유형은 신경망 출력을 이용하여 식별된다(806). 일 예에서, 미생물들의 예측된 유형은 신경망 출력에 의해 가장 높은 확률 값과 연관된 미생물 유형으로 식별될 수 있다. 다른 예로, 미생물들의 예측된 유형은 신경망 출력에 의해 정의된 인덱스에 해당하는 미생물 유형으로 식별될 수 있다.

도 9는 도 6a 내지 도 6g을 참조하여 서술된 실험에서 박테리아의 3D RI 단층 촬영을 생성하기 위해 이용된 예시적인 장치(마하-젠더 위상차 현미경 장치)(900)의 예시이다. 다방향 2D QPI 측정들의 세트는 ODT(광 회절 단층 촬영) 기술들을 이용하여 3D RI 단층 촬영을 생성하기 위해 공간 주파수 영역에서 조립되었다. 각 2D QPI 측정값은 축외 홀로그래피를 이용하여 획득되었다. 시료(예: 박테리아 샘플)를 조사하는 빛의 입사각은 DMD(디지털 마이크로 미러 디바이스), 즉 DMD의 격자 패턴에 의해 회절된 +1차 빔을 이용하여 제어되었다. 532 nm 파장의 연속파 레이저와 1.2 개구수를 갖는 2개의 침수 대물렌즈를 이용하여 나이퀴스트(Nyquist) 정리에 따라 광학 분해능은 수평축에서 110 nm, 수직축에서 330 nm였다. 3D RI 단층 촬영은 100nm 너비와 200nm 높이 복셀로 다시 샘플링되었다. 장치 900의 도시에서 "BC"는 빔 콜리메이터를 나타내고, "BS"는 빔 스플리터를 나타내고, "CL"은 콘덴서 렌즈를 나타내고, "FC"는 광섬유 커플러를 나타내고, "LP"는 선형 편광기를 나타내고, "OL "는 대물렌즈를 나타내고, "TL"은 튜브렌즈를 나타낸다.

일반적으로, 3D RI 단층 촬영을 생성하기 위해 임의의 적절한 장치가 이용될 수 있다. 3D RI 단층 촬영을 생성하는 데 이용할 수 있는 장치의 다른 예는 K. Kim, H. Yun, M. Diez-Silva, M. Dao, R.R. Dasari 및 Y. Park: "광학 회절 단층 촬영을 이용하여 Plasmodium falciparum에 기생한 적혈구 및 제자리 헤모조인 결정의 고해상도 3차원 영상", Journal of Biomedical Optics 19(1), 011005(2013년 6월 25일)를 참조하여 서술되고, 이는 논문에 개시된 장치의 목적을 위해 여기에 참조로 포함된다. 3D RI 단층 촬영을 생성하는 데 이용할 수 있는 장치의 다른 예는 F. Charriere, A. Marian, F. Montfort, J. Kuehn, T. Colomb, E. Cuche, P. Marquet 및 C. Depeursinge: "디지털 홀로그램 현미경에 의한 세포 굴절률 단층 촬영," Optics Letters, 31(2), pp. 178-180(2006)를 참조하여 서술되고, 이는 논문에 개시된 장치의 목적을 위해 여기에 참조로 포함된다.

본 명세서는 시스템들 및 컴퓨터 프로그램 컴포넌드들과 관련하여 "구성된"이라는 용어를 이용한다. 하나 이상의 컴퓨터로 구성된 시스템이 특정 동작들이나 작업들을 수행하도록 구성된다는 것은 시스템에 소프트웨어, 펌웨어, 하드웨어 또는 작동 중에 시스템이 동작들이나 작업들을 수행하도록 하는 이들의 조합이 설치되어 있음을 의미한다. 하나 이상의 컴퓨터 프로그램이 특정 동작들 또는 작업들을 수행하도록 구성된다는 것은 하나 이상의 프로그램이 데이터 처리 장치에 의해 실행될 때 장치가 동작들 또는 작업들을 수행하게 하는 명령어들을 포함한다는 것을 의미한다.

본 명세서에 서술된 주제 및 기능적 동작의 실시예들은, 디지털 전자 회로, 유형적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어, 본 명세서에 개시된 구조들 및 그 구조적 등가물들을 포함하는 컴퓨터 하드웨어, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 서술된 주제의 실시예들은, 하나 이상의 컴퓨터 프로그램, 즉, 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 작동을 제어하기 위해 유형의 비일시적 저장 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로 구현될 수 있다. 컴퓨터 저장 매체는 기계 판독 가능 저장 장치, 기계 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 장치, 또는 이들 중 하나 이상의 조합일 수 있다. 대안적으로 또는 추가적으로, 프로그램 명령어들은, 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위해 생성되는 인공적으로 생성된 전파된 신호, 예를 들어 기계 생성 전기, 광학 또는 전자기 신호에 인코딩될 수 있다.

"데이터 처리 장치"라는 용어는 데이터 처리 하드웨어를 말하며, 예를 들어 프로그램 가능한 프로세서, 컴퓨터, 또는 다중 프로세서들 또는 컴퓨터들을 포함하여 데이터를 처리하기 위한 모든 종류의 장치들, 디바이스들 및 기계들을 포함한다. 장치는 또한 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)과 같은 특수 목적 논리 회로일 수 있거나 이를 추가로 포함할 수 있다. 장치는 하드웨어에 추가하여 선택적으로, 컴퓨터 프로그램들을 위한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다.

프로그램, 소프트웨어, 소프트웨어 애플리케이션, 앱, 모듈, 소프트웨어 모듈, 스크립트 또는 코드로도 지칭될 수 있거나 또는 서술될 수 있는 컴퓨터 프로그램은, 컴파일된 언어 또는 해석된 언어, 선언적 또는 절차적 언어를 포함한 모든 형태의 프로그래밍 언어로 작성할 수 있고, 독립 실행형 프로그램 또는 모듈로서, 구성 요소, 서브루틴 또는 컴퓨팅 환경에서 이용하기에 적합한 기타 단위를 포함하여 모든 형태로 배포될 수 있다. 프로그램은 파일 시스템의 파일에 대응할 수 있지만 반드시 그런 것은 아니다. 프로그램은 다른 프로그램들이나 데이터를 포함하는 파일의 일부, 예를 들어, 마크업 언어 문서, 문제의 프로그램 전용 단일 파일, 또는 여러 조정된 파일들(예: 하나 이상의 모듈, 하위 프로그램 또는 코드 부분을 저장하는 파일)에 저장된 하나 이상의 스크립트에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 한 사이트에 있거나 여러 사이트에 분산되어 있고 데이터 통신 네트워크로 상호 연결된 여러 컴퓨터에서 실행되도록 배포될 수 있다.

본 명세서에서 "엔진"이라는 용어는 하나 이상의 특정 기능을 수행하도록 프로그래밍된 소프트웨어 기반 시스템, 서브시스템 또는 프로세스를 지칭하기 위해 광범위하게 이용된다. 일반적으로 엔진은 하나 이상의 위치에 있는 하나 이상의 컴퓨터에 설치된 하나 이상의 소프트웨어 모듈 또는 구성 요소로 구현된다. 어떤 경우에는 하나 이상의 컴퓨터가 특정 엔진 전용이고, 다른 경우에는 여러 엔진이 동일한 컴퓨터에 설치되어 실행될 수 있다.

본 명세서에 서술된 프로세스들 및 논리 흐름들은 입력 데이터에 대해 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능한 컴퓨터에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 FPGA 또는 ASIC과 같은 특수 목적 논리 회로 또는 특수 목적 논리 회로와 하나 이상의 프로그래밍된 컴퓨터의 조합에 의해 수행될 수도 있다.

컴퓨터 프로그램의 실행에 적합한 컴퓨터는 범용 또는 특수 목적 마이크로프로세서 또는 둘 다, 또는 임의의 다른 종류의 중앙 처리 장치에 기초할 수 있다. 일반적으로, 중앙 처리 장치는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 둘 다에서 명령과 데이터를 수신한다. 컴퓨터의 필수 요소들은 명령어들을 수행하거나 실행하기 위한 중앙 처리 장치와 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 중앙 처리 장치 및 메모리는 특수 목적 논리 회로에 의해 보완되거나 통합될 수 있다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어 자기, 광자기 디스크 또는 광 디스크로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 모두를 포함하거나 작동 가능하게 연결된다. 그러나 컴퓨터에는 그러한 장치가 필요하지 않다. 또한, 컴퓨터는 다른 디바이스, 예를 들어, 몇가지를 언급하자면, 이동 전화, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(Global Positioning System) 수신기, 또는 USB(Universal Serial Bus) 플래시와 같은 휴대용 저장 장치 드라이브에 내장될 수 있다.

컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는, 예를 들어, EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치; 자기 디스크, 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들; 광자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함한다.

이용자와의 상호작용을 제공하기 위해, 본 명세서에 서술된 주제의 실시예들은 디스플레이 장치, 예를 들어, 이용자에게 정보를 표시하기 위한 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터 및 이용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 마우스 또는 트랙볼과 같은 포인팅 장치를 갖는 컴퓨터 상에서 구현될 수 있다. 다른 종류의 장치를 이용하여 이용자와의 상호 작용도 제공할 수 있다. 예를 들어, 이용자에게 제공되는 피드백은 시각적 피드백, 청각적 피드백 또는 촉각적 피드백과 같은 임의의 형태의 감각적 피드백일 수 있고, 이용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함한 모든 형태로 수신될 수 있다. 또한, 컴퓨터는 이용자가 이용하는 장치로 문서를 보내고 문서를 수신하여 이용자와 상호 작용할 수 있다. 예를 들어, 컴퓨터는 웹 브라우저에서 수신된 요청에 대한 응답으로 이용자 장치의 웹 브라우저에 웹 페이지를 전송함으로써 이용자와 상호작용할 수 있다. 또한, 컴퓨터는, 문자 메시지 또는 다른 형태의 메시지를 개인 장치(예: 메시징 애플리케이션을 실행하는 스마트폰)에 보내고 이용자로부터 응답 메시지를 수신하여 이용자와 상호 작용할 수 있다.

기계 학습 모델들을 구현하기 위한 데이터 처리 장치는, 또한, 예를 들어, 기계 학습 훈련 또는 생산, 즉, 추론, 워크로드의 공통 및 컴퓨팅 집약적 부분을 처리하기 위한 특수 목적 하드웨어 가속기 유닛을 포함할 수 있다.

기계 학습 모델은, 기계 학습 프레임워크, 예를 들어 TensorFlow 프레임워크, Microsoft Cognitive Toolkit 프레임워크, Apache Singa 프레임워크 또는 Apache MXNet 프레임워크를 이용하여 구현 및 배포될 수 있다.

본 명세서에 서술된 주제의 실시예들은, 예를 들어, 데이터 서버와 같은 백엔드 구성요소를 포함하거나, 애플리케이션 서버와 같은 미들웨어 구성 요소를 포함하거나, 또는 프론트 엔드 구성 요소, 예를 들어, 그래픽 이용자 인터페이스를 가진 클라이언트 컴퓨터, 웹 브라우저, 또는 이용자가 본 명세서에 서술된 주제의 구현과 상호 작용할 수 있는 앱을 포함하거나 또는 하나 이상의 백엔드, 미들웨어 또는 프론트엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성 요소는 통신 네트워크와 같은 디지털 데이터 통신의 임의의 형태 또는 매체에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 LAN(Local Area Network) 및 WAN(Wide Area Network), 예를 들어 인터넷이 있다.

컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램으로 인해 발생한다. 일부 실시예들에서, 서버는, 예를 들어, 클라이언트로서 작용하는 장치와 상호작용하는 이용자로부터 데이터를 표시하고 이용자로부터 이용자 입력을 수신하기 위해 데이터, 예를 들어 HTML 페이지를 이용자 장치에 전송한다. 이용자 장치에서 생성된 데이터, 예를 들어 이용자 상호작용의 결과는 서버에서 장치로부터 수신될 수 있다.

본 명세서는 많은 구체적인 구현의 세부 사항들을 포함하지만, 이는 임의의 발명의 범위 또는 청구될 수 있는 범위에 대한 제한으로 해석되어서는 안되며, 오히려 특정 발명들의 특정 실시예들에 특정할 수 있는 특징들의 서술로 해석되어야 한다. 별도의 실시예들과 관련하여 본 명세서에 서술된 특정 특징들은 단일 실시예에서 조합하여 구현될 수도 있다. 역으로, 단일 실시예의 맥락에서 서술된 다양한 특징들은 또한 개별적으로 또는 임의의 적절한 하위 조합으로 다중 실시예에서 구현될 수 있다. 더욱이, 특징들이 특정 조합들로 작용하는 것으로 위에서 설명될 수 있고 심지어 초기에 그러한 것으로 청구될 수 있지만, 청구된 조합의 하나 이상의 특징은 일부 경우에 조합에서 제거될 수 있으며, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.

유사하게, 동작들이 도면에 도시되어 있고 청구범위에 특정 순서로 인용되어 있지만, 이는 바람직한 결과들을 달성하기 위해 이러한 동작들이 표시된 특정 순서 또는 순차적인 순서로 수행되거나 모든 예시된 동작들이 수행되어야 함을 요구하는 것으로 이해되어서는 안된다. 특정 상황들에서는, 멀티태스킹 및 병렬 처리가 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 시스템 모듈들 및 구성요소들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 서술된 프로그램 구성 요소들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 여러 소프트웨어 제품에 패키지될 수 있음을 이해해야 한다.

특정 실시예가 설명되었지만, 본 개시는 그러한 실시예로 제한되지 않는다.

예로서, 특정 박테리아가 상기에 개시되어 있지만, 일부 실시양태들에서, 박테리아는 예를 들어 임질, 매독 또는 클라미디아와 같은 성병과 관련될 수 있다. 그러한 실시예들에서, 미생물 분류 시스템은, 예를 들어, Treponema pallidium, Mycoplasma genitalium, Neisseria gonorrhoeae, Ureaplasma parvum, Mycoplasma hominis, Ureaplasma urealyticum, Gardnerella vaginalis, Chlamydia trachomatis, Trichomonas vaginalis, Candida albicans or Haemophilus ducreyi와 같은 박테리아의 종들을 식별할 수 있다. 따라서, 본 발명은 성 매개 감염의 비교적 신속한 진단을 제공하며, 이는 또한 그러한 감염의 비교적 신속한 치료를 산출할 수 있다.

주제의 특정 실시예가 서술되었다. 다른 실시예들은 다음 청구항의 범위 내에 있다. 예를 들어, 청구범위에 언급된 행동들은 다른 순서로 수행될 수 있으며 여전히 바람직한 결과를 얻을 수 있다. 일례로서, 첨부 도면들에 도시된 프로세스는 바람직한 결과들을 달성하기 위해 도시된 특정 순서 또는 순차적인 순서를 반드시 필요로 하는 것은 아니다. 경우에 따라, 멀티태스킹 및 병렬 처리가 유리할 수 있다.

Claims

방법으로서,
하나 이상의 미생물의 3차원 정량적 위상 이미지를 생성하기 위해 위상차 현미경을 이용하는 단계 - 상기 3차원 정량적 위상 이미지는 상기 미생물의 3차원 표현을 포함함 - 와;
신경망을 이용하여 상기 3차원 정량적 위상 이미지를 처리하는 단계 -
상기 신경망은 하나 이상의 3차원 컨볼루션 계층을 포함하는 컨볼루션 신경망이고, 그리고
상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하기 위해 상기 신경망의 훈련된 파라미터 값들에 따라 상기 3차원 정량적 위상 이미지를 처리하도록 구성됨 - 와; 그리고
상기 신경망 출력을 이용하여 상기 미생물의 예측된 유형을 식별하는 단계를 포함하는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 신경망 출력은 미리 결정된 수의 미생물 유형들 각각에 대한 각각의 확률 값을 포함하고; 그리고
주어진 미생물 유형에 대한 확률 값은 상기 미생물이 상기 주어진 미생물 유형일 가능성을 나타내는 것을 특징으로 하는
방법.
제2항에 있어서,
상기 신경망 출력을 이용하여 상기 미생물의 예측된 유형을 식별하는 단계는:
상기 미생물의 예측된 유형을 상기 신경망 출력에서 가장 높은 확률 값을 갖는 미생물 유형으로 식별하는 단계를 포함하는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 신경망 출력은 상기 미생물이 상기 미생물 유형일 가능성을 나타내는 미생물 유형의 확률 값을 포함하는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 미생물의 예측된 유형은 속(genus), 종, 균주(strain), 그람-염색성(gram-stainability), 대사(metabolism), 형태 및 운동성으로 이루어진 그룹으로부터 선택되는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 미생물의 3차원 정량적 위상 이미지는 3차원 굴절률 단층 촬영 영상인 것을 특징으로 하는
방법.
제1항에 있어서,
상기 미생물은 박테리아, 바이러스, 진균, 기생충 및 미세조류로 이루어진 그룹으로부터 선택되는 것을 특징으로 하는
방법.
제7항에 있어서,
상기 미생물은 박테리아를 포함하는 것을 특징으로 하는
방법.
제8항에 있어서,
상기 박테리아는 환자의 혈액 샘플에 존재하는 것을 특징으로 하는
방법.
제9항에 있어서,
상기 박테리아의 예측된 유형에 기초하여 환자에게 항생제 요법을 투여하는 단계를 더 포함하는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 하나 이상의 미생물의 3차원 정량적 위상 이미지를 생성하기 위해 위상차 현미경을 이용하는 단계는:
복수의 조명 각도들 각각에서 상기 미생물의 위상 이미지 및 진폭 이미지를 생성하기 위해 상기 위상차 현미경을 이용하는 단계와; 그리고
상기 위상 이미지 및 진폭 이미지를 이용하여 3차원 굴절률 단층 촬영을 재구성하는 단계를 포함하는 것을 특징으로 하는
방법.
제1항에 있어서,
상기 방법은 최대 1시간이 걸리는 것을 특징으로 하는
방법.
방법으로서,
신경망의 훈련된 파라미터 값들에 따라 상기 신경망을 이용하여 하나 이상의 미생물의 3차원 정량적 위상 이미지를 처리하여 하나 이상의 미생물의 예측된 유형을 식별하는 단계를 포함하는 것을 특징으로 하는
방법.
제13항에 있어서,
상기 신경망은 하나 이상의 3차원 컨볼루션 계층을 포함하는 것을 특징으로 하는
방법.
제13항에 있어서,
상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하도록 구성되고; 그리고
상기 미생물의 예측된 유형을 식별하는 단계는 상기 신경망 출력에 적어도 부분적으로 기초하여 상기 미생물의 예측된 유형을 식별하는 단계를 포함하며, 제13항의 방법은 최대 1시간이 걸리는 것을 특징으로 하는
방법.
방법으로서,
박테리아 감염이 있는 환자로부터 생물학적 샘플을 제공하는 단계와; 그리고
상기 환자로부터 생물학적 샘플을 얻은 지 1시간 이내에 상기 환자 내의 박테리아의 예측된 유형을 식별하는 단계를 포함하고, 상기 식별하는 단계는:
상기 박테리아를 특징짓는 신경망 출력을 생성하기 위해, 상기 신경망의 훈련된 파라미터 값들에 따라, 하나 이상의 3차원 컨볼루션 계층을 포함하는 신경망을 이용하여 상기 생물학적 샘플로부터 분리된 하나 이상의 박테리아의 3차원 정량적 위상 이미지를 처리하는 단계; 및
상기 신경망 출력을 이용하여 상기 박테리아의 예측된 유형을 식별하는 단계를 포함하는 것을 특징으로 하는
방법.
제15항에 있어서,
상기 생물학적 샘플은 혈액 샘플을 포함하는 것을 특징으로 하는
방법.
제15항에 있어서,
상기 환자내의 박테리아의 예측된 유형은 상기 환자로부터 생물학적 샘플을 제공한 지 45분 이내에 식별되는 것을 특징으로 하는
방법.
제15항에 있어서,
상기 환자내의 박테리아의 예측된 유형은 상기 환자로부터 생물학적 샘플을 제공한 지 30분 이내에 식별되는 것을 특징으로 하는
방법.
제13항에 있어서,
상기 환자내의 박테리아의 예측된 유형은 상기 환자로부터 생물학적 샘플을 제공한 지 15분 이내에 식별되는 것을 특징으로 하는
방법.
방법으로서,
박테리아 감염이 의심되는 환자로부터 생물학적 샘플을 제공하는 단계와; 그리고
상기 환자로부터 생물학적 샘플을 제공한 지 1시간 이내에 상기 환자내의 박테리아의 예측된 유형을 식별하는 단계를 포함하고, 상기 식별하는 단계는:
상기 박테리아를 특징짓는 신경망 출력을 생성하기 위해, 상기 신경망의 훈련된 파라미터 값들에 따라, 하나 이상의 3차원 컨볼루션 계층을 포함하는 신경망을 이용하여 상기 생물학적 샘플로부터 분리된 하나 이상의 박테리아의 3차원 정량적 위상 이미지를 처리하는 단계; 및
상기 신경망 출력을 이용하여 상기 박테리아의 예측된 유형을 식별하는 단계를 포함하는 것을 특징으로 하는
방법.
시스템으로서,
하나 이상의 미생물의 3차원 정량적 위상 이미지를 생성하도록 구성된 위상차 현미경 - 상기 3차원 정량적 위상 이미지는 상기 미생물의 3차원 표현을 포함함 - 와; 그리고
미생물 분류 시스템을 포함하고,
상기 미생물 분류 시스템은:
신경망을 이용하여 상기 3차원 정량적 위상 이미지를 처리하는 것 -
상기 신경망은 하나 이상의 3차원 컨볼루션 계층을 포함하는 컨볼루션 신경망이고, 그리고
상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하기 위해 상기 신경망의 훈련된 파라미터 값들에 따라 상기 3차원 정량적 위상 이미지를 처리하도록 구성됨 - 과; 그리고
상기 신경망 출력을 이용하여 상기 미생물의 예측된 유형을 식별하는 것을 포함하는 동작들을 수행하도록 구성되는 것을 특징으로 하는
시스템.
하나 이상의 컴퓨터에 의해 실행될 때 상기 하나 이상의 컴퓨터로 하여금 동작들을 수행하도록 하는 명령어들을 저장하는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체로서,
상기 동작들은:
위상차 현미경을 이용하여 생성된 하나 이상의 미생물의 3차원 정량적 위상 이미지를 수신하는 것 - 상기 3차원 정량적 위상 이미지는 상기 미생물의 3차원 표현을 포함함 - 과;
신경망을 이용하여 상기 3차원 정량적 위상 이미지를 처리하는 것 -
상기 신경망은 하나 이상의 3차원 컨볼루션 계층을 포함하는 컨볼루션 신경망이고, 그리고
상기 신경망은 상기 미생물을 특징짓는 신경망 출력을 생성하기 위해 상기 신경망의 훈련된 파라미터 값들에 따라 상기 3차원 정량적 위상 이미지를 처리하도록 구성됨 - 과; 그리고
상기 신경망 출력을 이용하여 상기 미생물의 예측된 유형을 식별하는 것을 포함하는
비일시적 컴퓨터 판독 가능 저장 매체.