KR20190043135A - 생물학적 입자의 분류 시스템 및 방법 - Google Patents

생물학적 입자의 분류 시스템 및 방법 Download PDF

Info

Publication number
KR20190043135A
KR20190043135A KR1020197005157A KR20197005157A KR20190043135A KR 20190043135 A KR20190043135 A KR 20190043135A KR 1020197005157 A KR1020197005157 A KR 1020197005157A KR 20197005157 A KR20197005157 A KR 20197005157A KR 20190043135 A KR20190043135 A KR 20190043135A
Authority
KR
South Korea
Prior art keywords
level
classification
features
image
subset
Prior art date
Application number
KR1020197005157A
Other languages
English (en)
Other versions
KR102469620B1 (ko
Inventor
카를로스 라미레스
스티븐 카다비드
진딴 조우
Original Assignee
아이리스 인터내셔널 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이리스 인터내셔널 인크. filed Critical 아이리스 인터내셔널 인크.
Publication of KR20190043135A publication Critical patent/KR20190043135A/ko
Application granted granted Critical
Publication of KR102469620B1 publication Critical patent/KR102469620B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/10—Signal processing, e.g. from mass spectrometry [MS] or from PCR
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B5/00—ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G16B50/30—Data warehousing; Computing architectures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

자동화된 이미지 기반 특징부 추출 및 분류 아키텍처를 사용하여 생물학적 샘플 중의 세포들 및 입자들의 분류를 위한 방법 및 시스템이 제공된다. 방법은 마스크 또는 일련의 마스크들을 이미지에 적용하고, 착색된 픽셀들의 콘텐츠 및 위치에 기초하여 이미지의 마스킹되지 않은 부분들로부터 특징부들을 추출하고, 추출된 특징부들의 서브세트를 선택하고, 추출된 특징부들의 서브세트를 분류기 아키텍처에 맵핑시킴으로써 동작한다. 대부분의 경우에, 제1 레벨 모델 아키텍처는 세포 또는 입자의 정확한 식별을 제공한다. 소수의 경우에, 세포 또는 입자의 분류는, 제2 레벨 모델과 조합하여 제1 레벨로부터의 수치 또는 카테고리 값들의 사용을 요구하는 제2 레벨 단계를 요구한다.

Description

생물학적 입자의 분류 시스템 및 방법
세포들 및 입자들을 비롯한 생물학적 입자들의 식별 및 계수는 혈액학적 상태들의 검출을 비롯한 다수의 연구 및 임상 응용들에서 유용하다.
자동화된 생물학적 입자 인식은, 종종 제한된 계산 리소스들을 갖는 하드웨어 상에서, 시간에 민감한 방식으로 실행되는 복잡한 동작들을 요구하는 태스크이다. 따라서, 시스템에서의 각각의 페이즈(phase)가 효율적인 것이 중요하다. 특히 혈구(blood cell)들에 대한 자동화된 생물학적 입자 인식은, 통상적으로 많은 전처리를 요구하는 기법들을 사용하여 행해졌다. 이것은 계산 효율과 서술 능력(descriptive power) 사이의 필요한 절충을 초래한다. 또한, 종래의 시스템들의 분석 및 문제 해결은, 그러한 복잡한 동작들에 필요한 많은 수의 요인들로 인해 불가능하지는 않더라도 번거로울 수 있다.
따라서, 자동화된 생물학적 입자 분류의 효율 및 정확도를 증가시키면서 계산 요건들을 감소시키는 개선된 방법들에 대한 필요성이 남아 있다. 본 발명의 실시 형태들은 이러한 문제 및 다른 문제들을 다룬다.
본 발명은 생물학적 샘플 중의, 세포들 및 다른 입자들을 비롯한 생물학적 입자들의 실시간 분류에 적합한 자동화된 이미지 기반 특징부 추출 및 분류 아키텍처를 포함하는 시스템에 관한 것이다. 이러한 시스템은 의료 진단 도구로서 사용될 수 있고, 세포들 및/또는 입자들의 식별 및 정량화를 향상시킬 수 있다. 개시된 이미지 기반 분류 시스템은, 4개의 주요 단계들, 즉, 이미지 획득, 특징부 추출, 특징부 선택, 및 캐스케이드 분류기 아키텍처(cascade classifier architecture)를 사용한 세포 또는 입자의 분류의 결정을 포함한다. 생물학적 샘플 내에 함유되는 세포들 및/또는 입자들을 분석하기 위해, 세포들 또는 입자들의 이미지들이 먼저 수집 또는 획득될 수 있다. 이러한 이미지들을 사용하여, 시스템은 이어서 개별 이미지들로부터 "특징부들"로 알려진 특정 수치 또는 카테고리 값들 또는 특성들을 추출할 수 있다. 이어서, 시스템은 추출된 특징부들의 분석 시에 계층적 또는 캐스케이드형 분류 아키텍처를 사용할 수 있다. 다양한 실시 형태들에 따르면, 결정 단계에서 사용되는 캐스케이드 분류기 아키텍처는 2-레벨 분석을 포함할 수 있다. 제1 레벨 분석의 결과가 결정적이지 않은 경우, 생물학적 샘플(예컨대, 혈액 샘플)의 추출된 특징부들 중 선택된 특징부들에 대해 제2 레벨 분석이 수행될 수 있다.
예시적인 아키텍처에서, 생물학적 샘플의 추출된 특징부들의 선택 세트는 알려진 특성들을 갖는 세포들 또는 입자들로부터 추출된 특징부들의 선택 세트와 비교될 수 있다. 대부분의 경우에, 비교("제1 레벨 모델")는 세포 또는 입자의 정확한 식별을 제공한다. 소수의 경우에, 세포 또는 입자의 분류는 세포 또는 입자를 분류하기 위해 추가의 단계("제2 레벨 모델")를 요구한다. 이러한 단계는, 제2 레벨 모델과 조합하여 제1 레벨 모델로부터의 수치 또는 카테고리 값들의 사용을 포함할 수 있다. 이러한 2-레벨 아키텍처는, 제1 레벨 또는 제2 레벨 이후에, 시스템이 각각의 이미지를 부류 또는 카테고리에 정확하게 할당하게 한다.
본 명세서에 논의되는 혈액 입자 특징부 선택 및 이미지 분류기 아키텍처 시스템들 및 방법들은, 다른 전통적인 접근법들과 비교할 때 다양한 이익들 및 이점들을 제공할 수 있다. 예를 들어, 본 발명의 실시 형태들은, 특징부 추출 계산 복잡도가 최소 값으로 유지될 수 있는 시스템들 및 방법들을 제공한다. 일부 경우에, 복잡하고 고가의 특징부 계산은, 세포 이벤트가 특정 특징부를 요구하는 아키텍처 내의 특정 분류기에 도달할 때까지 연기될 수 있다. 많은 경우에, 대부분의 특징부들은 계산될 필요가 없을 것이다. 특징부 추출은 임의의 자동화된 분류 시스템의 고가의 스테이지일 수 있다. 본 명세서에 개시된 아키텍처 시스템들 및 방법들은 복잡도 및 성능의 균형을 맞추기 위한 간단하면서도 강력한 접근법을 도입한다. 더욱이, 분류기 시스템의 캐스케이드 아키텍처는 모듈형이고, 크기조정가능하고, 사후 분석하기가 간단할 수 있다. 시스템의 출력은 개별 분류기들로 다시 쉽게 추적될 수 있다. 개별 분류기들은, 아키텍처의 나머지를 본래 그대로 유지하면서 쉽게 재트레이닝(retraining) 또는 업그레이드될 수 있다. 대조적으로, 많은 전통적인 접근법들은, 아키텍처의 분석 및 문제 해결을 불가능하지는 않더라도 번거롭게 만드는 다수의 특징부들을 갖는 단일 분류기로 구성된다. 본 명세서에 개시된 예시적인 시스템들 및 방법들은, 트레이닝 데이터에서 모든 카테고리들 사이의 분리성 측정들을 사용하는 특징부 선택 스테이지에서 정의되는 캐스케이드 아키텍처에서의 프로세싱의 순서를 제공할 수 있다. 분리성 메트릭들은, 분류 작업흐름의 시작 시에 어떤 카테고리가 프로세싱하기가 가장 쉬운지를 결정하는 데 사용될 수 있다. 카테고리들 사이의 복잡한 분리성 경우들은 캐스케이드의 말단으로 남겨질 수 있다. 예시적인 시스템 및 방법 실시 형태들에 따르면, 분류기 내의 낮은 레벨 복잡도(레벨 1)와 높은 레벨 복잡도(레벨 2) 사이의 전달 함수들의 특징부는 두 레벨들 사이의 매끄러운 전이를 허용할 수 있다. 이것은, 하드 임계치(hard threshold)들이 없고 오히려 2개의 레벨들 사이의 연속적인 전이가 있다는 사실로 인해, 특징부 값들의 작은 변화들을 갖는 유사한 이미지들이 프로세싱될 때 시스템 응답의 가변성을 감소시킬 수 있다.
일 태양에서, 생물학적 샘플 중의 입자의 분류를 결정하는 방법이 제공되며, 본 방법은 입자의 이미지를 획득하는 단계, 프로세서 시스템에서, 입자의 이미지를 수신하는 단계, 및 프로세서 시스템을 사용하여, 비일시적인 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 실행가능 코드를 실행하는 단계를 포함하고, 컴퓨터 실행가능 코드는 프로세서 시스템 상의 명령어들을 포함한다. 일부 경우에, 프로세서 시스템 상에서 실행될 때, 명령어들은, 프로세서 시스템으로 하여금, 이미지의 픽셀들의 콘텐츠 및 위치에 기초하여 이미지로부터 복수의 특징부들을 추출하는 단계를 포함할 수 있는 추출 루틴을 수행하게 한다. 일부 경우에, 추출하는 단계는 이미지에 제1 마스크를 적용하는 단계, 제1 마스크를 적용하는 단계에 기초하여 이미지로부터 픽셀들의 제1 세트를 획득하는 단계, 및 픽셀들의 제1 세트로부터 복수의 특징부들을 결정하는 단계를 포함한다. 일부 경우에, 맵핑시키는 것은, 추출된 특징부들의 서브세트를 분류기 아키텍처에 맵핑시키는 단계를 포함하는 맵핑 루틴을 수행하는 것을 포함한다. 일부 경우에, 맵핑시키는 단계는, 추출된 특징부들의 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 모델을 사용하는 단계, 및 추출된 특징부들의 서브세트와 이전에 저장된 데이터 세트의 비교에 기초하여 예비 분류를 식별하는 단계를 포함한다. 일부 경우에, 맵핑시키는 단계는, 제1 레벨 모델을 사용하여 예비 분류가 정확할 확률 값을 계산하는 단계를 포함하고, 또한, 확률 값이 임계 값 이상일 때 예비 분류에 기초하여 분류를 결정하는 단계를 포함할 수 있다.
일 태양에서, 생물학적 샘플 중의 입자의 분류를 결정하는 방법이 제공되며, 본 방법은 입자의 이미지를 획득하는 단계, 이미지의 픽셀들의 콘텐츠 및 위치에 기초하여 이미지로부터 복수의 특징부들을 추출하는 단계, 추출된 특징부들의 서브세트를 선택하는 단계, 추출된 특징부들의 서브세트를 캐스케이드 분류기 아키텍처에 맵핑시키는 단계, 제1 레벨 모델을 사용하여 예비 분류가 정확할 확률 값을 계산하는 단계, 및 확률 값이 임계 값 이상일 때 예비 분류에 기초하여 분류를 결정하는 단계를 포함한다. 일부 경우에, 추출하는 단계는 이미지에 제1 마스크를 적용하는 단계, 제1 마스크를 적용하는 단계에 기초하여 이미지로부터 픽셀들의 제1 세트를 획득하는 단계, 및 픽셀들의 제1 세트로부터 복수의 특징부들을 결정하는 단계를 포함한다. 일부 경우에, 맵핑시키는 단계는, 추출된 특징부들의 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 모델을 사용하는 단계, 및 추출된 특징부들의 서브세트와 이전에 저장된 데이터 세트의 비교에 기초하여 예비 분류를 식별하는 단계를 포함한다. 일부 경우에, 맵핑시키는 단계는, 제1 레벨 모델을 사용하여 예비 분류가 정확할 확률 값을 계산하는 단계를 포함하고, 또한, 확률 값이 임계 값 이상일 때 예비 분류에 기초하여 분류를 결정하는 단계를 포함할 수 있다.
일부 경우에, 추출하는 방법은 이미지에 제2 마스크를 적용하여 픽셀들의 제2 세트를 획득하는 단계를 포함한다. 일부 경우에, 제1 마스크 및 제2 마스크는 원형 또는 링 형상일 수 있다. 일부 경우에, 상이한 마스크들의 적용은 상이한 픽셀들을 드러낸다. 일부 경우에, 제1 마스크 및 제2 마스크는 미리결정된 순서로 적용될 수 있다.
일부 경우에, 추출하는 방법은 픽셀들의 제1 세트를 그룹으로 클러스터화하는 단계를 포함한다.
일부 경우에, 추출하는 방법은 픽셀들의 클러스터화된 그룹으로부터 색상 팔레트를 생성하는 단계를 포함한다.
일부 경우에, 추출하는 방법은 색상 팔레트에 부분적으로 기초하여 이미지에 대한 라벨을 결정하는 단계를 포함한다.
일부 경우에, 추출하는 방법은 이미지를 마스크 크기로 정규화하는 단계를 포함한다.
일부 경우에, 추출하는 방법은 제1 마스크를 단위 크기로 정규화하는 단계를 포함한다.
일부 경우에, 추출하는 방법은, 적색-녹색-청색(RGB) HSV(hue-saturation-value), HSL(hue-saturation-lightness), 또는 HSB(hue-saturation-brightness)를 비롯한, 선택된 색 공간을 사용하는 단계를 포함한다.
일부 경우에, 추출된 특징부들의 선택된 서브세트는 트레이닝 특징부들, 확인(validation) 특징부들, 또는 시험 특징부들을 포함한다. 일부 경우에, 추출된 특징부들의 서브세트는 캐스케이드 분류기 아키텍처에 맵핑된다.
일부 경우에, 제1 레벨 모델은 기계 학습 모델이다.
일부 경우에, 맵핑시키는 방법은, 확률 값이 임계 값 미만일 때 세포 또는 입자 분류를 결정하기 위해 제2 레벨 모델을 사용하는 단계를 포함한다. 일부 경우에, 제2 레벨 모델은 기계 학습 모델이다.
일부 경우에, 입자는 호중구, 림프구, 단핵구, 호산구, 호염기구, 미성숙 백혈구, 망상적혈구, 유핵 적혈구, 적혈구, 상피 세포, 세균, 효모, 또는 기생충일 수 있다.
다른 태양에서, 생물학적 샘플 중의 입자의 분류를 결정하는 방법이 제공되며, 본 방법은 제2 레벨 모델을 포함한다. 일부 경우에, 제2 레벨 모델은, 제2 레벨 모델에서 확률 값을 수신하는 것, 세포 또는 입자 카테고리에 관한 분류 성능에 따라 값들의 정렬된 목록을 생성하는 것, 확률 값과 정렬된 목록을 조합하여 제2 레벨 확률 값을 생성하는 것, 및 제1 레벨 모델에서 결정된 확률 값 및 제2 레벨 모델에서 결정된 확률 값을 사용하여 세포 또는 입자 분류를 결정하는 것을 포함한다.
다른 태양에서, 생물학적 샘플 중의 입자의 분류를 결정하기 위한 시스템이 제공되며, 본 시스템은 프로세서 및 프로세서에 결합된 컴퓨터 판독가능 저장 매체를 포함하고, 컴퓨터 판독가능 저장 매체는 방법을 구현하기 위해 프로세서에 의해 실행가능한 코드를 포함하며, 본 방법은, 입자의 이미지를 획득하는 단계, 이미지의 픽셀들의 콘텐츠 및 위치에 기초하여 이미지로부터 복수의 특징부들을 추출하는 단계, 추출된 특징부들의 서브세트를 선택하는 단계, 및 추출된 특징부들의 서브세트를 캐스케이드 분류기 아키텍처에 맵핑시키는 단계를 포함한다. 일부 경우에, 추출하는 단계는 이미지에 제1 마스크를 적용하는 단계, 제1 마스크를 적용하는 단계에 기초하여 이미지로부터 픽셀들의 제1 세트를 획득하는 단계, 및 픽셀들의 제1 세트로부터 복수의 특징부들을 결정하는 단계를 포함한다. 일부 경우에, 맵핑시키는 단계는, 추출된 특징부들의 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 모델을 사용하는 단계, 추출된 특징부들의 서브세트와 이전에 저장된 데이터 세트의 비교에 기초하여 예비 분류를 식별하는 단계, 제1 레벨 모델을 사용하여 예비 분류가 정확할 확률 값을 계산하는 단계, 및 확률 값이 임계 값 이상일 때 예비 분류에 기초하여 분류를 결정하는 단계를 포함한다. 일부 경우에, 컴퓨터 판독가능 저장 매체는 본 명세서에 개시된 방법들 중 임의의 방법을 구현하기 위해 프로세서에 의해 실행가능한 코드를 포함한다. 일부 경우에, 시스템은 디지털 현미경 카메라를 사용한다. 본 발명의 실시 형태들은 또한, 하나 이상의 프로세서들에 의해 실행가능한 프로그램 명령어들을 포함하는 비일시적인 컴퓨터 판독가능 저장 매체를 포괄하고, 프로그램 명령어들은, 실행될 때, 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하고, 동작들은 본 명세서에 개시된 방법들 중 임의의 방법을 포함한다.
다른 태양에서, 추출된 특징부들의 서브세트를 캐스케이드 분류기 아키텍처에 맵핑시키는 단계에 의해 생물학적 샘플 중의 입자의 분류를 결정하는 방법이 제공되며, 맵핑시키는 단계는, 추출된 특징부들의 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 기계 학습 모델을 사용하는 단계 - 추출된 특징부들은 이미지들로부터 추출될 수 있음 -, 제1 레벨 기계 학습 모델을 사용하여 확률 값을 계산하는 단계, 확률 값을 미리결정된 비교 표와 비교하는 단계, 확률 값이 임계 값 이상인 경우 세포 분류를 결정하는 단계, 확률 값이 임계 값 미만인 경우 제2 레벨 기계 학습 모델을 사용하는 단계, 제2 레벨 기계 학습 모델을 사용하여 세포 또는 입자 카테고리에 관한 그들의 분류 성능에 따라 값들의 오름차순 정렬된 목록을 생성하는 단계, 확률 값과 값들의 정렬된 목록을 조합하여 제2 레벨 점수를 생성하는 단계, 및 제2 레벨 점수를 사용하여 세포 분류를 결정하는 단계를 포함한다.
전술한 내용은, 다른 특징들 및 실시 형태들과 함께, 하기의 명세서, 청구범위 및 첨부 도면을 참조할 때 더욱 명백해질 것이다.
도 1a 및 도 1b는 본 명세서에 개시된 실시 형태들을 구현하는 데 사용될 수 있는 예시적인 시스템 및 아키텍처의 블록도들을 도시한다.
도 2는 본 발명의 일부 실시 형태들에 따른 예시적인 혈구 이미지들을 도시한다.
도 3은 본 발명의 일부 실시 형태들에 따른 이진 동심 링 마스크들의 예시적인 세트를 도시한다.
도 4는 본 발명의 일부 실시 형태들에 따른 단일 이진 링 마스크에 대한 예시적인 클러스터화를 도시한다.
도 5는 본 발명의 일부 실시 형태들에 따른, 백혈구 유형 호염기구 및 호산구에 대한 예시적인 특징부 히스토그램들을 도시한다.
도 6a 및 도 6b는 본 발명의 일부 실시 형태들에 따른 세포 분류 시스템의 예시적인 아키텍처 모델들을 도시한다.
도 7은 본 발명의 일부 실시 형태들에 따른, 생물학적 샘플 중의 입자의 분류를 결정하기 위한 방법의 일례를 도시하는 흐름도이다.
도 8은 본 발명의 일부 실시 형태들에 따른, 혈액 입자 이미지들, 혈액 입자 카테고리들, 및 추출된 특징부들의 태양들을 도시한다.
도 9는 본 발명의 일부 실시 형태들에 따른 캐스케이드 모델 분류기 아키텍처를 도시한다.
도 10은 본 발명의 실시 형태들에 따른 분류기 Clj에 대한 제안된 내부 구조를 도시한다.
도 11은 본 발명의 실시 형태들에 따른 2개의 특징부들 F1 및 F2를 고려한 예시적인 레벨 1 분류기를 도시한다.
도 12는 본 발명의 실시 형태들에 따른 레벨 1과 레벨 2 분류기 출력들 사이의 예시적인 전이 함수들을 도시한다.
하기의 설명에서는, 설명을 목적으로, 본 발명의 실시 형태들의 철저한 이해를 제공하기 위해 구체적인 상세사항들이 기술된다. 그러나, 다양한 실시 형태들이 이들 구체적인 상세사항들 없이 실시될 수 있다는 것이 이해될 것이다. 예를 들어, 실시 형태들이 불필요한 상세사항으로 불명료해지지 않게 하기 위해 블록도 형태의 컴포넌트들로서 회로들, 시스템들, 알고리즘들, 구조들, 기법들, 네트워크들, 프로세스들, 및 다른 컴포넌트들이 도시될 수 있다.
본 발명의 실시 형태들은 도면에 개별적으로 도시된 컴포넌트들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있다는 것이 이해될 것이다. 도면 및 설명은 제한하려는 것이 아니다.
또한, 개별 실시 형태들이 흐름도, 흐름도표, 데이터 흐름도, 구조도, 또는 블록도로서 도시되는 프로세스로서 기술될 수 있다는 것에 유의한다. 흐름도가 순차적인 프로세스로서 동작들을 기술할 수 있지만, 동작들 중 많은 것이 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 그의 동작들이 완료될 때 종료되지만, 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그의 종료는 호출 함수 또는 주 함수로의 함수의 반환에 대응할 수 있다.
본 발명은 생물학적 샘플 중의 세포들 및/또는 입자들의 실시간 분류에 적합한 자동화된 이미지 기반 특징부 추출 및 분류 아키텍처를 포함하는 시스템에 관한 것이다.
자동화된 입자 분류 시스템들은, 샘플 내에 함유되는 하나 이상의 유형의 세포들 및/또는 입자들의 조성 및/또는 수를 결정하기 위해 생물학적 샘플들을 분석하는 데 사용될 수 있다. 이러한 시스템들은 일반적으로 혈액학 분석기들 및 유세포측정기(flow cytometer)들을 포함한다. 예를 들어, 말초 혈액 중의 세포 집단들의 분석은, 호중구, 림프구, 단핵구, 호산구 및 호염기구를 포함하는, 백혈구(WBC)의 5가지 주요 하위유형들을 검출 및 계수하는 능력을 포함한다. 예를 들어, 말초 혈액 중의 주 적혈구(RBC)는 망상적혈구 및 유핵 적혈구이다. 이러한 세포 집단들은 상이한 형상들 및 기능들을 가지며, 샘플 중의 이러한 집단들의 수 및 존재는 병리학적 상태들, 세포 성숙 및 다른 요인들에 따라 상이할 수 있다. 세포 분류 시스템들은, 하나 이상의 기구들에 의해 모니터링되는 작은 개구 또는 측정 영역을 세포들이 통과할 때 생성되는 신호들을 수집 및 분석함으로써 다양한 유형의 세포들을 구별할 수 있다. 자동화된 세포 분류 시스템의 유리한 태양들은, 그들의 아키텍처에 기초하여 복수의 유형의 세포들을 식별하는 능력, 및 또한, 세포 프로세싱 또는 이미지 획득 프로세스로부터 야기되는 아티팩트(artifact)들(예컨대, 오래된 또는 손상된 세포들을 묘사하는 이미지들, 및 초점이 맞지 않는 이미지들)을 식별하는 능력을 포함한다.
혈액학
혈구 분석은 환자의 건강 상태의 개관을 제공하기 위해 가장 일반적으로 수행되는 의학적 시험들 중 하나이다. 혈액 샘플이 환자의 신체로부터 채취되고, 혈병형성(clotting)을 방지하기 위해 항응고제를 함유하는 시험관 내에 저장될 수 있다. 전혈 샘플은 적혈구, 백혈구 및 혈소판을 포함한 3가지 주요 부류의 혈구들을 통상 포함한다. 각각의 부류는 구성원들의 하위부류들로 추가로 세분될 수 있다. 예를 들어, 백혈구(WBC)의 5가지 주요 유형 또는 하위부류는 상이한 형상 및 기능을 갖는다. 백혈구는 호중구, 림프구, 단핵구, 호산구, 및 호염기구를 포함할 수 있다. 또한, 적혈구 유형들의 하위부류들이 있다. 샘플 중의 입자의 외관은 병리학적 상태, 세포 성숙 및 다른 원인들에 따라 상이할 수 있다. 적혈구의 하위부류들은 망상적혈구 및 유핵 적혈구를 포함할 수 있다.
일부 실시 형태에서, 입자는 호중구, 림프구, 단핵구, 호산구, 호염기구, 혈소판, 망상적혈구, 유핵 적혈구(RBC), 아세포, 전골수세포, 골수세포, 후골수세포, 적혈구(RBC), 혈소판, 세포, 세균, 미립자 물질, 세포 응괴(cell clump), 또는 세포 단편 또는 성분 중 적어도 하나로부터 선택된다.
명백히 달리 나타내지 않는 한, 본 명세서에서 행해진 "입자" 또는 "입자들"에 대한 언급은 유체 중에 분산된 임의의 개별 또는 형성된 물체를 포괄하는 것으로 이해될 것이다. 본 명세서에 사용되는 바와 같이, "입자"는 생물학적 유체들 중의 (예컨대, 이미지 및/또는 다른 측정가능한 파라미터들에 의해) 측정가능하고 검출가능한 성분들 모두를 포함할 수 있다. 입자들은 임의의 재료, 임의의 형상 및 임의의 크기를 갖는다. 소정 실시 형태에서, 입자들은 세포들을 포함할 수 있다. 입자들의 예에는, 혈구, 태아 세포, 상피, 줄기 세포, 종양 세포를 포함한 세포, 또는 세균, 기생충, 또는 상기 중 임의의 것의 단편들, 또는 생물학적 유체 내의 다른 단편들이 포함되지만 이들로 한정되지 않는다. 혈구는 생물학적 유체 내에 잠재적으로 존재하는 임의의 정상 또는 비정상, 성숙 또는 미성숙 세포를 포함한 임의의 혈구, 예를 들어 적혈구(RBC), 백혈구(WBC), 혈소판(PLT) 및 다른 세포들일 수 있다. 이들 구성원에는 또한 미성숙 또는 비정상 세포가 포함된다. 미성숙 WBC에는 후골수세포, 골수세포, 전골수세포 및 아세포가 포함될 수 있다. 성숙 RBC에 더하여, RBC의 구성원에는 유핵 RBC(NRBC) 및 망상적혈구가 포함될 수 있다. PLT에는 "거대(giant)" PLT 및 PLT 응괴가 포함될 수 있다. 명세서 전반에 걸쳐서, 이미지들은 세포 또는 입자의 이미지인 것으로 기술되어 있다. 많은 경우에 세포로 지칭되지만, 이미지들은 임의의 입자의 것일 수 있다.
예시적인 입자들에는 생물학적 유체 샘플 중의 유형적 요소들이 포함될 수 있으며, 이러한 유형적 요소들에는, 예를 들어 구형 및 비구형 입자들이 포함된다. 소정 실시 형태에서, 입자들은 비구형 성분들을 포함할 수 있다. 일부 실시 형태에서, 혈소판, 망상적혈구, 유핵 RBC, 및 호중구, 림프구, 단핵구, 호산구, 호염기구, 및 미성숙 WBC - 아세포, 전골수세포, 골수세포, 또는 후골수세포를 포함함 - 를 포함한 WBC가 입자들로서 카운팅되고 분석된다.
소변검사(Urinalysis)
예시적인 소변 입자들은 소변 침전물 입자들을 포함할 수 있다. 예시적인 소변 침전물 입자에는 적혈구(RBC), 이형 적혈구, 백혈구(WBC), 호중구, 림프구, 포식 세포, 호산구, 호염기구, 편평 상피 세포, 이행 상피 세포, 유인 세포, 신관 상피 세포, 원주, 결정체, 세균, 효모, 기생충, 타원형 지방체, 지방 방울, 정자, 점액, 트리코모나스, 세포 응괴, 및 세포 단편이 포함될 수 있다. 예시적인 세포에는 적혈구, 백혈구, 및 상피가 포함될 수 있다. 예시적인 원주에는 무세포성 색소 원주, 비분류형 원주(예컨대, 과립 원주)가 포함될 수 있다. 예시적인 무세포성 원주에는, 예를 들어, 밀랍 원주, 넓은 원주, 지방 원주, 및 결정체 원주가 포함될 수 있다. 예시적인 세포 원주에는, 예를 들어, RBC 원주, WBC 원주, 및 세포 원주가 포함될 수 있다. 예시적인 결정체에는, 예를 들어, 옥살산칼슘, 삼중 인산염, 인산칼슘, 요산, 탄산칼슘, 류신, 시스틴, 타이로신, 및 무정형 결정체가 포함될 수 있다. 예시적인 비편평 상피 세포에는, 예를 들어, 신장 상피 및 이행 상피가 포함될 수 있다. 예시적인 효모에는, 예를 들어, 출아 효모 및 가성균사(pseudohyphae)를 갖는 효모가 포함될 수 있다. 예시적인 소변 침전물 입자에는, 또한, RBC 응괴, 지방, 타원형 지방체, 및 트리코모나스가 포함될 수 있다.
시스템은, 예를 들어, 생물학적 유체 내의 입자들의 특성화, 예컨대 적혈구(RBC), 이형 적혈구, 백혈구(WBC), 호중구, 림프구, 포식 세포, 호산구, 호염기구, 편평 상피조직 세포, 이행 상피조직 세포, 유인 세포, 신관 상피조직 세포, 원주, 결정체, 세균, 효모, 기생충, 타원형 지방체, 지방 방울, 정자, 점액, 트리코모나스, 세포 응괴, 및 세포 단편의 검출 및 정량화, 카테고리화 및 서브카테고리화, 카운팅 및 분석에 유용할 수 있다.
상이한 부류들 또는 카테고리들로의 세포 및/또는 입자 이미지들의 할당은 복잡한 계산 태스크일 수 있다. 일부 분석 및 비교가 자동화 시스템을 통해 행해질 수 있지만, 세포들 및/또는 입자들의 모든 이미지들이 충분히 명확하거나, 또는 자동화가 적절하게 또는 효과적으로 작동하도록 할 정도로 공지의 특성들 및/또는 속성들을 갖는 세포들 및/또는 입자들의 이미지들과 충분히 유사하거나 한 것은 아니다. 추출된 특징부들은 상이한 정도의 계산 복잡도를 가질 수 있다. 많은 경우에, 세포들 및/또는 입자들은, 예를 들어 색상 기반 특징부들을 사용함으로써, 적은 수 또는 낮은 복잡도의 추출된 특징부들을 사용하여 분류될 수 있다. 전형적으로, 색상 기반 특징부들은 빠른 계산 태스크인 반면, 텍스처 및 형상 특징부들은 느린 계산 태스크이고 실시간 분류에 대한 제약을 부과할 수 있다. 실시간 분석 제약은, 획득 시스템이 미리정해진 처리량 요건들을 충족시키기 위하여 입자들의 스트림의 프로세싱이 소정의 예상 시간 이내에 종결되어야 할 필요가 있을 수 있다는 사실에 관련된다. 그러나, 소정의 질환 상태들 또는 시스템 관련 변화들(얼룩, 병소, 세포 노화, 기타) 하에서, 적절한 세포 및/또는 입자 카테고리를 정확하게 식별하기 위해 더 높은 복잡도를 갖는 추가 특징부들, 및 그에 따라서 더 큰 계산 태스크를 요구하는 특징부들이 필요할 수 있다. 식별을 요구하는 모든 입자들에 대해 높은 복잡도의 특징부들을 사용하는 것이 시간 및/또는 계산 제약들로 인해 항상 실현가능한 것은 아니다. 본 명세서의 실시 형태들은 세포들 및/또는 입자들, 예를 들어 혈구들 및/또는 입자들의 실시간 분류에 적합할 수 있는 분류 아키텍처를 제공한다.
보다 구체적으로, 실시 형태들은, 의료 진단 도구로서 사용될 수 있고 세포들 및/또는 입자들의 식별 및 정량화를 향상시킬 수 있는 시스템을 제공할 수 있다. 개시된 이미지 기반 분류 시스템은, 4개의 주요 단계들, 즉, 이미지 획득, 특징부 추출, 특징부 선택, 및 캐스케이드 분류기 아키텍처를 사용한 세포 또는 입자의 분류의 결정을 포함한다. 생물학적 샘플 내에 함유되는 세포들 및/또는 입자들을 분석하기 위해, 세포들 및/또는 입자들의 이미지들이 먼저 수집 또는 획득될 수 있다. 이러한 이미지들을 사용하여, 시스템은 이어서 개별 이미지들로부터 "특징부들"로 알려진 특정 수치 또는 카테고리 값들 또는 특성들을 추출할 수 있다. 이어서, 시스템은 추출된 특징부들의 분석 시에 계층적 또는 캐스케이드형 분류 아키텍처를 사용할 수 있다. 다양한 실시 형태들에 따르면, 결정 단계에서 사용되는 캐스케이드 분류기 아키텍처는 2-레벨 분석을 포함할 수 있다. 제1 레벨 모델의 결과가 결정적이지 않은 경우, 생물학적 샘플(예컨대, 혈액 샘플)의 추출된 특징부들 중 선택된 특징부들에 대해 제2 레벨 분석이 수행될 수 있다.
예시적인 아키텍처에서, 생물학적 샘플의 추출된 특징부들의 선택 세트는 알려진 특성들을 갖는 세포들 또는 입자들로부터 추출된 특징부들의 선택 세트와 비교될 수 있다. 대부분의 경우에, 비교("제1 레벨 모델")는 세포 또는 입자의 정확한 식별을 제공한다. 소수의 경우에, 세포 또는 입자의 분류는 세포 또는 입자를 분류하기 위해 추가의 단계("제2 레벨 모델")를 요구한다. 이러한 단계는, 제2 레벨 모델과 조합하여 제1 레벨 모델로부터의 수치 또는 카테고리 값들의 사용을 포함할 수 있다. 이러한 2-레벨 아키텍처는, 제1 레벨 또는 제2 레벨 이후에, 시스템이 각각의 이미지를 부류 또는 카테고리에 정확하게 할당하게 한다.
이미지 획득
일부 실시 형태들에서, 시스템은 입자들의 이미지들을 수집 또는 획득하기 위한 분석기를 포함할 수 있다. 일부 실시 형태들에서, 분석기는 시각적 분석기일 수 있다. 일 태양에서, 본 발명은 자동화 입자 이미징 시스템에 관한 것으로, 본 시스템에서는 관심 대상인 입자들을 함유하는 액체 샘플이 관찰구(viewport)를 갖는 유동 셀을 통해 유동되게 하며, 관찰구를 통해 광학 고분해능 이미징 디바이스가 이미지를 캡처한다. 일부 태양에서, 광학 고분해능 이미징 디바이스는 카메라, 예컨대 디지털 카메라를 포함한다. 일 태양에서, 광학 고분해능 이미징 디바이스는 대물렌즈를 포함한다. 높은 레벨의 분해능을 갖는 이미지들의 캡처링을 가능하게 하는 예시적인 이미지 획득 기법들은, 2014년 3월 17일자로 출원되고 발명의 명칭이 "ANALYSIS OF PARTICLES IN FLUID SAMPLES"인 특허 출원 제14/216,811호, 및 2015년 9월 11일자로 출원되고 발명의 명칭이 "HEMATOLOGY SYSTEMS AND METHODS"인 특허 출원 제14/775,448호를 비롯한, 다른 출원들에서 설명되었으며, 전체적으로 참고로 포함된다. 이미지 획득의 추가 태양들은, 노이즈를 제거하고/하거나 조명의 변화들을 보상하기 위해 이미지들의 전처리로 포함할 수 있지만, 이로 제한되지 않는다.
도 1a는 본 발명의 실시 형태들에 따른, 자동화된 세포 또는 입자 인식을 수행하기 위해 사용가능한 예시적인 시스템(100)의 블록도를 도시한다. 시스템(100)은, 컴퓨팅 디바이스(110) 및 분석기(115)를 비롯한 다양한 컴포넌트들을 포함할 수 있다. 분석기(115)는, 예를 들어, 체액 세포들의 이미지들을 캡처하는 체액 시스템을 통해 생물학적 입자들 및/또는 세포들의 이미지들을 수집할 수 있으며, 이는 2015년 9월 11일자로 출원되고 발명의 명칭이 "HEMATOLOGY SYSTEMS AND METHODS"인 특허 출원 제14/775,448호에 상세히 설명되어 있는 바와 같다. 시스템(100)은 특징부 추출, 특징부 선택, 및 캐스케이드 분류기 아키텍처를 통한 분류를 수행할 수 있고, 이러한 분석에서 결정되는 정보를 사용하여 세포 및/또는 입자를 분류할 수 있다. 분류를 위한 이미지들은 저장소(180)에 저장되어 있을 수 있고/있거나 외부 디바이스 또는 데이터베이스로부터 컴퓨터에 의해 수신될 수 있다. 예를 들어, 분석기(115)는 이미지들을 수집하고 그들을 저장소(180)에 저장할 수 있다. 기준 이미지들은 분석기(115)를 통해 그리고/또는 비교를 위한 다른 캡처 방법들을 통해 수집될 수 있고 저장소(180)에 저장될 수 있다. 시스템(100)은 컴퓨팅 디바이스(110)를 포함할 수 있는데, 컴퓨팅 디바이스는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, e-리더, 스마트폰 또는 모바일 디바이스, 스마트워치, PDA(personal data assistant), 또는 다른 전자 디바이스일 수 있다. 컴퓨팅 디바이스(110)는 클라우드 컴퓨팅 환경에 있을 수 있다. 컴퓨팅 디바이스(110)는 사용자에 의해 이용될 수 있다. 컴퓨팅 디바이스(110)는 버스(130)를 통해 다른 하드웨어와 인터페이싱되는 프로세서(120)를 포함할 수 있다. 시스템(100)은 바람직하게는 컴퓨팅 디바이스(110)의 메모리(140) 상에 저장된 하나 이상의 소프트웨어 프로그램들 또는 명령어들(145)을 포함한다. 명령어들(145)은 도 1b에 도시된 캐스케이드 분류기 아키텍처(185)와 같은 캐스케이드 분류기 아키텍처를 수행하도록 동작가능할 수 있다. 소프트웨어 프로그램들은 시스템(100)의 기계 판독가능 메모리(140)에 저장될 수 있다. 용어 "메모리"는 본 명세서에서, 설치 매체, 예컨대 CD-ROM, 또는 플로피 디스크들, 컴퓨터 시스템 메모리, 예컨대 DRAM, SRAM, EDO RAM, 램버스 RAM 등, 또는 비휘발성 메모리, 예컨대 자기 매체, 예컨대, 하드 드라이브, 또는 광학 저장소를 비롯한, 다양한 유형의 메모리를 포함하도록 의도된다. 메모리(140)는 또한 다른 유형의 메모리, 또는 이들의 조합들을 포함할 수 있다. 메모리(140)는 컴퓨팅 디바이스(110)의 동작을 구성하는 프로그램 컴포넌트들(예컨대, 명령어들(145) 및/또는 캐스케이드 분류기 아키텍처(185))을 구현할 수 있다. 일부 예들에서, 컴퓨팅 디바이스(110)는 (예컨대, 디스플레이(160), 모니터(165), 또는 키보드(170), 또는 마우스와 인터페이싱하기 위한) 입력/출력("I/O") 인터페이스 컴포넌트들(150) 및 저장소(180)를 포함할 수 있다. 저장소(180)는 카메라 입력으로부터의 샘플 이미지들뿐만 아니라 분석을 위한 기준 이미지들을 저장할 수 있다. 일부 실시 형태들에서, 기준 이미지들은 캐스케이드 분류기 아키텍처의 신경망 구현을 위한 트레이닝 데이터로서 사용될 수 있다. 저장소(180)는, 예를 들어 Microsoft® SQL Server® 데이터베이스, Oracle® 데이터베이스, 또는 Microsoft® Excel® 스프레드시트를 비롯한 임의의 적합한 데이터베이스를 포함할 수 있다.
컴퓨팅 디바이스(110)는 네트워크 컴포넌트들(190)을 추가로 포함할 수 있다. 네트워크 컴포넌트들(190)은 네트워크 접속을 가능하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 일부 예들에서, 네트워크 컴포넌트들(190)은 무선 접속을 가능하게 할 수 있고, IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 무선 인터페이스들(예컨대, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)과 같은 무선 인터페이스들을 포함할 수 있다. 다른 예들에서, 네트워크 컴포넌트들(190)은 유선 연결될 수 있고, 이더넷, USB, 또는 IEEE 1394와 같은 인터페이스들을 포함할 수 있다.
또한, 저장 매체(180)는 프로그램들이 실행될 수 있는 제1 컴퓨터 내에 위치될 수 있거나, 또는 네트워크(190)를 통해 제1 컴퓨터에 접속되는 제2 상이한 컴퓨터 내에 위치될 수 있다. 네트워크(190)의 예에서, 제2 컴퓨터는 실행을 위한 프로그램 명령어들(145)을 제1 컴퓨터에 제공할 수 있다. 도 1a가 단일 프로세서(120)를 갖는 단일 컴퓨팅 디바이스(110)를 도시하고 있지만, 시스템(100)은 임의의 수의 컴퓨팅 디바이스들(110) 및 임의의 수의 프로세서들(120)을 포함할 수 있다. 예를 들어, 다수의 컴퓨팅 디바이스들(110) 또는 다수의 프로세서들(120)은 유선 또는 무선 네트워크(예컨대, 광역 통신 네트워크, 근거리 통신 네트워크, 또는 인터넷)를 통해 분산될 수 있다. 다수의 컴퓨팅 디바이스들(110) 또는 다수의 프로세서들(120)은 본 발명의 단계들 중 임의의 단계를 개별적으로 또는 서로 협력해서 수행할 수 있다.
도 1b는 예시적인 캐스케이드 분류기 아키텍처(185)를 도시한다. 캐스케이드 분류기 아키텍처는 2개의 레벨 모델들을 포함할 수 있고, 2-레벨 분석을 수행할 수 있다. 일례에서, 제1 레벨 모델(187)은 세포 또는 입자의 정확한 식별을 제공할 수 있거나, 또는 캐스케이드 분류기 아키텍처(185)는 세포 또는 입자의 정확한 식별을 제공하기 위해 제2 레벨 모델(189)을 추가로 사용할 수 있다. 제2 레벨 모델(189)은, 제2 레벨 모델(189)과 조합하여 제1 레벨 모델(187)로부터의 수치 또는 카테고리 값들의 사용을 포함할 수 있다. 제1 레벨 모델(187)의 출력이 불명확하거나 불분명할 때, 제2 레벨 모델(189)이 사용될 수 있다. 캐스케이드 분류기 아키텍처(185)에서의 분석을 위한 이미지들은 저장소(180)로부터 또는 분석기(115)로부터 직접 나올 수 있고, 제1 레벨 모델(187)에 입력될 수 있다. 필요한 경우, 동일한 것이 제2 레벨 모델에 입력될 수 있다. 제1 레벨 모델(187)의 출력은 제2 레벨 모델(189)에 입력될 수 있다.
도 2는 본 명세서에 개시된 시스템들 및 방법들에서 사용될 수 있는 샘플 혈구 이미지들(200 내지 270)을 도시한다. 본 명세서에 사용되는 바와 같이, n은 대응하는 카테고리에 대한 각각의 입자를 식별하는 대응하는 표적 라벨 T를 갖는 제1 행(row)(205)에 예시된 혈액 입자 이미지들 P의 데이터 세트를 지칭한다. 본 명세서에 사용되는 바와 같이, m은 이미지
Figure pct00001
가 할당될 수 있는 제2 행(215)에 예시된 상이한 혈액 입자 카테고리들 C(즉, NRBC, 림프구, RBC, 호중구 등)를 지칭하며, 여기서 1≤i≤n이다. 본 명세서에 사용되는 바와 같이, 문자 "k"는 "m"개의 이용가능한 카테고리들의 세트에 속하는 단일 카테고리를 지칭하는 데 사용된다.
특징부 추출
특징부 추출은, 카테고리의 세트 중에서 분석 및 판별하는 데 필요한 데이터의 양을 감소시키도록 의도된다. 이러한 프로세스는, 결정을 행하기 위해 나중에 사용될 수 있는 값으로서 다량의 정보를 해석하거나 요약할 수 있다. 추출된 특징부들은 데이터의 특정 특성과 상관되는 수치 값들을 포함할 수 있다. 예를 들어, 이미지에서, 모든 색상들을 캐스케이드 분류기 아키텍처에 대한 입력으로서 사용하는 대신에, 모든 색상들을 따른 평균 및 표준 편차가 특징부로서 추출될 수 있다. 이미지 프로세싱에서, 특징부 추출은 다양한 정도의 계산 복잡도를 가질 수 있다. 매우 복잡한 추출 절차들은 관심 영역을 격리시키기 위해 이미지의 분할을 수반할 수 있고, 의미있는 정보를 여전히 추출하면서 그 영역에서의 지루한 계산 동작들을 방지할 수 있다. 간단한 추출 절차들은, 면적, 둘레(perimeter), 및 원형도를 포함하지만 이로 제한되지 않는 형상 특징부들을 수반할 수 있다. 추출 절차들은 에지들을 검출하기 위한 구배 프로파일들을 수반할 수 있다. 추출 프로파일들은 색상 세기, 히스토그램 색상 평균, 모드, 표준 편차, 또는 색상 임계화를 수반할 수 있다. 추출 절차들은 채널 적색과 채널 녹색 사이, 채널 적색과 채널 청색 사이, 그리고/또는 채널 녹색과 채널 청색 사이의 히스토그램 차이들 또는 비들을 의미할 수 있다.
일부 경우에, 이미지는 특징부들로서 추출될 수 있는 수천 개의 정보(예컨대, 데이터 포인트들)를 가질 수 있다. 일부 경우에, 이미지들은 3개의 착색된 이미지들, 즉, 하나의 적색, 하나의 녹색, 및 하나의 청색 이미지로 구성될 수 있다.
본 명세서에 기술된 바와 같이, 생물학적 샘플 중의 세포 또는 입자 분류를 결정하기 위한 시스템(100)에서, 이미지들의 특징부들은 컴퓨팅 디바이스의 메모리(140)에서 추출 및 저장될 수 있고, 그에 따라서 원래의 이미지들은 분석기(115)에 장기간 저장될 필요가 없다. 따라서, 세포 또는 입자 유형의 결정이 일어날 때, 이미지들은 추출된 특징부들 단독에 의해 표현될 수 있다. 본 명세서에 기술된 특징부 추출 방법에 따르면, 색 공간 양자화 방법이 이미지로부터 고유 색상 특징부들의 세트를 추출하는 데 사용될 수 있다. 이 방법은 대부분의 컴퓨터 계산들을, 오프라인 스테이지에서와 같이 또한 알려진, 실시간이 아니도록 수행할 수 있다. 오프라인 스테이지에서, 이미지들은, 이미지들이 획득될 때보다 나중에 저장 및 분석될 수 있다. 이것은 다른 특징부 추출 방법들에 비해 유리한데, 그 이유는 오프라인 프로세싱이 계산 태스크 에너지를 사용하지 않아서 더 빠른 온라인 프로세싱 시간들을 야기하기 때문이다. 오프라인 프로세싱이 시간에 의해 크게 제약되지 않기 때문에, 계산적으로 값비싼 복잡한 수학적 변환들의 계산 및 추출은 더 양호한 판별 특징부들을 야기할 수 있다. 일부 경우에, 특징부 추출은 부분적으로 또는 전체적으로 오프라인에서 일어날 수 있다. 일부 경우에, 특징부 추출은 부분적으로 또는 전체적으로 온라인에서 일어날 수 있다.
특징부 추출 방법은 이미지 내의 색상들의 위치 및 값에 기초하여 "색상 특징부 시그너처(color feature signature)"를 생성할 수 있다. 색상 특징부 시그너처는, 팔레트 색상들 각각에 속하는 픽셀들의 수를 누적함으로써 획득되는 히스토그램을 포함할 수 있다. 각각의 생물학적 입자에 대한 색상 특징부 시그너처를 추출하기 위해, 상이한 생물학적 입자 유형들에 대한 이미지의 선택된 영역들 내의 가장 대표적인 색상들에 대응하는 색상들의 팔레트가 구성될 수 있다. 일부 경우에, 특징부 추출은 픽셀들의 세트를 그룹으로 클러스터화하는 것을 포함할 수 있다. 각각의 픽셀은 팔레트 내의 가장 가까운 색상에 할당될 수 있다. 생성된 색상 특징부 시그너처는 팔레트 내의 각각의 색상에 대한 진폭 값을 갖는 히스토그램일 수 있다.
일 실시 형태에서, 위치 및 색상 정보 둘 모두를 통합하기 위해, 색 공간 양자화 접근법은 개별 동심 링들로 구성된 R 이진 마스크들의 세트를 생성할 수 있다. 도 3은 R(360)의 일례를 도시한다. 동심 링 마스크들(300 내지 350)이 사용될 때, 세포들의 생성된 이미지 평면 투영은 일반적으로 형상이 원형일 것이다. 링 마스크들(300 내지 350)은 등방성일 수 있고, 그에 따라서 링들을 사용하여 유도되는 특징부 시그너처들은 회전 불변일 수 있다. 이미징 시스템에서, 이미징된 세포 및/또는 입자까지의 거리가 고정될 때 스케일 불변이 고유할 수 있다. 각각의 링 마스크(100 내지 150)의 중심은 동적일 수 있고, 세기 또는 엔트로피와 같은 이미지 내의 특징부들에 의해 결정될 수 있다. 가장 간단한 경우에, 그 위치는 이미지(100)의 중심으로서 고정되고 정의될 수 있다. 이것은 특징부 시그너처의 변환 불변을 가능하게 한다.
R(360) 내의 링 마스크들(300 내지 350)의 폭 및 수 r은 최종 분류 성능에 기초하여 휴리스틱 방법으로 선택될 수 있다. 각각의 링 마스크(300 내지 350)는 원래의 세포 이미지로부터 픽셀들을 필터링하는 데 사용될 수 있다. 세트(360) 내의 마스크들은 임의의 순서로 적용될 수 있다. 일단 마스크들의 순서가 세트(360)에 대해 선택되면, 동일한 미리결정된 순서가 사용되어 이미지 분석을 위해 적용될 수 있다. 세트(360) 내의 마스크들은 반드시 이미지의 인접한 영역들을 드러내지는 않지만, 이미지의 인접 영역들을 드러낼 수도 있다. 링 마스크(300 내지 350)를 세포 이미지에 적용하기 위해, 세포 이미지는 먼저 링 마스크(300 내지 350)의 크기에 대해 정규화될 수 있다. 이어서, 각각의 링 마스크(300 내지 350) 내에 있는 픽셀들은 선택된 색 공간(즉, 적색-녹색-청색("RGB") "HSV", "HSL" 등)에서 추출 및 분석될 수 있다.
일 실시 형태에서, RGB 색 공간은 마스킹된 세포 이미지의 분석 공간으로서 선택될 수 있다. 그러한 실시 형태에서, 링 마스크들(300 내지 350)의 세트를 고려하여 색상 팔레트를 추출하는 프로세스는, 세포 이미지들에의 마스크들의 적용을 가능하게 하기 위해 링 마스크들
Figure pct00002
의 크기에 대한 모든 세포 이미지들
Figure pct00003
의 정규화에 의해 시작된다. 이러한 정규화에서,
Figure pct00004
는, 혈구 카테고리
Figure pct00005
와 동일한 트레이닝 세트 내의 대응하는 표적 라벨
Figure pct00006
를 갖는 모든 정규화된 세포 이미지들
Figure pct00007
의 세트를 나타낼 수 있으며, 여기서 1≤j≤m이다.
각각의 혈구 카테고리
Figure pct00008
에 대해, 각각의
Figure pct00009
내의 세포 이미지들의 변수 카운트에 의한 바이어스(bias)를 피하기 위해, 세포 이미지들의 무작위 서브세트가
Figure pct00010
에서 선택될 수 있고,
Figure pct00011
인데, 여기서 서브세트
Figure pct00012
의 크기는 모든
Figure pct00013
에 걸쳐 세포 이미지들의 최소 개수와 동일하다.
각각의 링 마스크
Figure pct00014
에 대해(1≤l≤r),
Figure pct00015
내의 모든 세포 이미지들을 링 마스크
Figure pct00016
로 마스킹하고
마스킹된 세포 이미지들에서의 보유된 픽셀들로부터 RGB 픽셀들
Figure pct00017
의 세트를 형성한다.
각각의 링 마스크
Figure pct00018
에 대해(1≤l≤r),
Figure pct00019
내의 픽셀들
Figure pct00020
의 각각의 세트에 대해
Figure pct00021
을 h개의 그룹들로 클러스터화하여 h개의 클러스터 중심들
Figure pct00022
의 세트를 야기하고(1≤j≤h);
링 색상 팔레트
Figure pct00023
를 생성하고; 최종 팔레트
Figure pct00024
를 생성한다
도 4는 HSV 색 공간에서 주어진 링 마스크에 대한 클러스터화 프로세스의 일례를 도시하는데, 여기서 차트에서의 X(400)는 클러스터들의 중심을 나타내고, 각각의 색상은 세포 카테고리에 속하는 픽셀들에 연관되고, s-축(410)은 채도(Saturation) 성분을 나타내고, h-축(420)은 색조(Hue) 성분을 나타내고, v-축(430)은 명암도(Value) 또는 밝기(brightness)를 나타낸다. 주어진 카테고리에 속하는 픽셀들은, 색상과 같은 다른 시각적 큐(cue)들을 사용함으로써 추가로 식별될 수 있다. 각각의 세포 카테고리는 트레이닝 세트 내의 상이한 수의 이미지들(예컨대, 기준 이미지들)에 의해 표현될 수 있다. 트레이닝 세트에서 더 큰 표현을 갖는 특정 세포 유형에 대한 바이어스를 감소시키기 위해, 클러스터화에 사용되는 색상 샘플들은 세포 카테고리들에 걸쳐 동일한 수의 트레이닝 세트 이미지들로부터 샘플링될 수 있다. 이 예에서, 상이한 세포 카테고리들(상이한 색상들에 의해 식별됨)은 색 공간에서 다른 세포 카테고리들과는 상이한 위치를 점유하고, 또한 각각의 세포 카테고리는 차트 내에서 상이한 분포를 갖는다.
트레이닝 세트 또는 트레이닝 특징부들이 색상 팔레트에 대해 평가되어서, 각각의 이미지에 대해, 대응하는 색상 히스토그램을 생성할 수 있다. 트레이닝 데이터 또는 기준 이미지들은 이전에 저장된 데이터 세트일 수 있다. 도 5는 백혈구 유형 호염기구(500) 및 호산구(510)에 대한 특징부 히스토그램의 일례를 도시한다. 데이터는, 히스토그램 상에서 수직 직사각형들로 표현될 수 있는 빈(bin)들로 지칭되는 간격들로 분할될 수 있다. 클러스터 중심들
Figure pct00025
의 각각의 세트에 대응하는 히스토그램에서의 각각의 빈은, 캐스케이드 분류기 아키텍처(185)에 대한 입력 특징부(예컨대, 도 6a에 도시된 입력 특징부(610))가 될 수 있다. 온라인(실시간 프로세싱으로도 알려짐) 특징부 추출 프로세스 동안, 색상 양자화는, 룩업 테이블들 또는 다른 인덱싱 방법들(예컨대, k-차원 트리(tree)들)을 사용하여 색 공간과 생성된 팔레트 사이의 맵핑을 저장함으로써 가속될 수 있다. 일부 경우에, 마스크(300 내지 350) 내의 링이 직경이 더 커짐에 따라, 더 많은 수의 픽셀들이 보유될 수 있고 대응하는 히스토그램에 기여할 수 있다. 따라서, 링 마스크들(300 내지 350)은 상이한 샘플 카운트들을 갖는 히스토그램들을 산출할 수 있다. 분류를 위해 그러한 히스토그램들을 사용하는 것은 더 큰 직경을 갖는 링 마스크들(300 내지 350)에 대한 바이어스를 도입할 수 있는데, 이는 그러한 링 마스크들(300 내지 350)에 대한 샘플 카운트들이 더 클 수 있기 때문이다. 이러한 문제를 해결하기 위해, 각각의 히스토그램 벡터는 단위 크기로 정규화될 수 있다.
특징부 정규화
특징부 벡터 정규화 방식들의 예들은 L2-norm, L1-norm, L2-norm, 이어서 클립핑, 및 L1-norm, 이어서 제곱근 등을 포함한다. 다른 구현예에서, L2-norm 방식이 히스토그램 벡터 정규화를 위해 선택된다. h가 정규화되지 않은 히스토그램 벡터라고 하면, 정규화된 히스토그램 벡터는
Figure pct00026
로서 정의되며, 여기서
Figure pct00027
Figure pct00028
는 벡터 h의 L2-norm이다.
공통 마스크 크기로의 이미지들의 정규화는 이미지들 사이의 상대적 크기 정보를 폐기할 수 있다. 이미지 폭은 세포 또는 입자 크기 정보를 보존하기 위한 최종 특징부로서 특징부 벡터에 부가될 수 있다. 추출된 특징부들은, 색 공간에서 이용가능한 추출된 정보를 보완하기 위해 구배, 엔트로피 등과 같은 추가 형태학적 특징부들에 의해 증대될 수 있다.
특징부 선택
서브세트 선택 또는 변수 선택으로도 알려진 특징부 선택은, 데이터세트에서 이용가능한 모든 특징부들로부터 특징부들의 서브세트를 선택하기 위해 기계 학습에 사용되는 방법이다. 그것은 학습 알고리즘을 적용하기 전에 기계 학습에 이용되는데, 이는 그것이 데이터세트 내의 모든 이용가능한 특징부들을 사용하는 것이 계산적으로 실행불가능하기 때문이다. 특징부 선택은 또한, 데이터세트가 다수의 특징부들을 포함하는 제한된 데이터 샘플들을 포함할 때 추정 및 오버피팅(over fitting)의 문제들을 최소화할 수 있다. 예를 들어, 세포 이미지는 수천 개의 특징부들을 포함할 수 있는데, 이 모두가 분석을 위해 양호하지는 않을 수 있다. 특정 특징부들의 선택은 시스템의 사양들에 의존할 수 있다. 특정 특징부들의 선택은 특정 시스템 내에서의 추출을 위한 속도 요건들에 의존할 수 있다. 추출된 특징부들은 트레이닝, 확인, 및/또는 시험에 사용되는 특징부들(즉, "트레이닝 특징부들, 확인 특징부들, 또는 시험 특징부들")을 포함할 수 있다.
분류기 아키텍처
분류기 아키텍처는 분류기 상태들 사이의 전이들을 통제하는 규칙들의 세트이다. 일부 경우에, 분류기는, 제1 레벨 모델 및 제2 레벨 모델과 같은 평가 또는 프로세싱 스테이지들의 캐스케이드를 포함할 수 있다. 예시적인 실시 형태에서, 제1 레벨 모델은 0 내지 1의 신뢰도 레벨의 형태로 의견을 생성할 수 있다. 신뢰도 레벨이 소정 임계치 이상인 경우, 이미징된 입자 또는 세포의 아이덴티티에 관한 결정이 이루어질 수 있다. 예시적인 실시 형태에서, 신뢰도 레벨이 소정 임계치 미만인 경우, 정보는 제2 레벨 모델로 전송될 수 있다. 제2 레벨 모델은, 이미징된 입자 또는 세포의 아이덴티티에 관한 결정을 행하기 위해, 제1 레벨 모델로부터의 신뢰도 레벨과 조합하여, 일부 경우에 결정 트리들의 랜덤 포레스트(random forest)를 비롯한, 제1 레벨 모델보다 더 복잡한 레벨의 특징부들을 사용할 수 있다. 제1 레벨 모델(600) 및 제2 레벨 모델(640)을 포함하는 예시적인 캐스케이드 분류기 아키텍처(650)가 도 6a에 도시되어 있다.
분류기 아키텍처(예컨대, 예시적인 캐스케이드 분류기 아키텍처(650))에서, 추출된 특징부들의 서브세트가 적절한 분리성 측정들을 사용하여 선택될 수 있고, 최종 데이터 세트가 구성될 수 있다. 데이터는 표로 통합될 수 있으며, 여기서 예시적인 표 1에 나타낸 바와 같이, 각각의 행은 특정 세포에 대응하고(그에 따라서 세포 이미지에 대응하고), 특징부 열(column)들은 대응하는 세포 카테고리와 연관된 고유 특징부들에 대응한다. 표 1에서, 카테고리 열은 각각의 세포에 대한 "진정한" 라벨 또는 부류를 정의할 목적으로 사용된다.
[표 1]
Figure pct00029
예시적인 실시 형태에서, 데이터 세트는 3개의 서브세트들, 즉, 트레이닝 세트, 확인 세트 및 시험 세트로 분리될 수 있다. 트레이닝 세트는 하나 이상의 인간 전문가들에 의해 분류되고 코딩된 이미지들로부터의 트레이닝 특징부들을 포함할 수 있다. 이러한 코딩(인간 기준 코딩으로 지칭됨)은, 분류기를 (트레이닝 데이터세트로서) 트레이닝시키기 위해 이용될 수 있고/있거나 확인 데이터세트로서 사용될 수 있다. 제1 레벨 모델(600)을 트레이닝시킨 후에, 트레이닝 및 확인 특징부들 또는 데이터는 CL 제1 레벨 모델(600)의 성능을 평가하는 데 사용될 수 있다. 시험 세트는 특성화되지 않은 세포들 및/또는 입자들의 이미지들을 포함할 수 있다.
도 6a에 도시된 아키텍처 모델(650)의 예시적인 실시 형태에서, 데이터는 그것이 그의 복잡도에 기초하여 아키텍처의 컴포넌트들을 정의하기 때문에 중요한 역할을 한다. 도 6a에 도시된 예시적인 실시 형태에서, 아키텍처는 2개의 레벨들의 분석 컴포넌트들로 구성된다. 제1 레벨 모델(600)에서, 일반적인 분류기가 트레이닝 데이터에 매칭되도록 트레이닝된다. 제2 레벨 모델(640)에서, 전문적인 분류기들이, 제1 레벨 모델의 확인 동안 식별되는 샘플들(630)을 분류하기 어려움에 대한 제2 의견을 제공한다.
분류기 아키텍처의 제1 레벨 모델
예시적인 실시 형태에서, 아키텍처의 제1 레벨(L1) 모델(600)은 분류기 모델 CL로 구성될 수 있다. 분류기 CL은, 입력 특징부들(610)의 세트를 트레이닝 데이터 세트에 의해 정의된 바와 같은 알려진 부류 라벨에 맵핑시킬 수 있는 임의의 기계 학습 모델일 수 있다. 이러한 아키텍처에 적합한 기계 학습 모델들의 예들은 랜덤 포레스트, 멀티클래스 서포트 벡터 머신(Support Vector Machine, SVM), 피드포워드 뉴럴 네트워크(Feedforward Neural Network, FNN) 등일 수 있다.
예시적인 실시 형태에서, 랜덤 포레스트 기계 학습 모델이, 입력 특징부 벡터를, 트레이닝 데이터 세트에서 정의되는 혈구 카테고리
Figure pct00030
중 하나에 맵핑시키기 위해 선택될 수 있다. 일부 경우에, 랜덤 포레스트는 트레이닝 세트의 상이한 부분 상에서 각각 트레이닝될 수 있는 다수의 결정 트리들로 구성된 앙상블(ensemble) 분류기일 수 있다. 랜덤 포레스트의 최종 분류 결정은 개별 트리들의 분류 결정들의 모드일 수 있다. 단일 결정 트리 분류기에 비해 랜덤 포레스트의 이점은, 랜덤 포레스트 분류 결정이 다수의 독립적으로 트레이닝된 결정 트리들의 종합 응답이기 때문에 랜덤 포레스트가 트레이닝 세트에 대한 오버피팅을 줄인다는 것이다. 일부 경우에, 랜덤 포레스트 기계의 트리들은 데이터의 80%를 사용하여 트레이닝될 수 있다. 일부 경우에, 랜덤 포레스트는 64개의 트리들을 포함한다.
일부 경우에, 랜덤 포레스트는 도 6b의 부트스트랩 어그리게이팅(bootstrap aggregating)(배깅(bagging)) 기법을 사용하여 트레이닝될 수 있다. 세포 이미지들
Figure pct00031
의 트레이닝 세트 및 대응하는 표적 라벨들
Figure pct00032
를 고려하면, 배깅 기법은, B회 반복들의 경우, 트레이닝 세트의 교체(replacement)에 의해 무작위 샘플을 반복적으로 선택한다. 생성된 B개의 샘플 세트들은 B개의 결정 트리들을 트레이닝시키는 데 사용되어, 랜덤 포레스트 CL을 형성할 수 있다. 교체에 의한 샘플링에 의해, 일부 트레이닝 샘플들이 샘플 세트들에 걸쳐 반복될 수 있다. 이러한 샘플링 전략은 부트스트랩 샘플링으로서 알려져 있고, 바이어스를 증가시키지 않고서, 트레이닝된 분류기의 분산(즉, 오버피팅에 대한 민감성(susceptibility))을 감소시킨다. 일부 경우에, CL의 출력은, 카테고리당 하나씩, 점수들
Figure pct00033
의 세트이며, 여기서
Figure pct00034
는 실수이다.
Figure pct00035
의 큰 값들은 특정 세포 부류에 소속됨을 나타낸다. 이와 관련하여, 점수
Figure pct00036
가 높을수록, 입력 특징부(610)가 세포 카테고리 j에 속할 가능성이 더 크고, 그 평가에 관한 불확실성이 더 작다. 따라서, 입력 특징부(610)에 대한 예비 카테고리 라벨은 초기에 M(625) 내의 최대 값
Figure pct00037
에 대응하는 카테고리에 의해 주어질 수 있다.
제1 레벨 모델(600)을 트레이닝시킨 후에, 트레이닝 및 확인 데이터 양쪽 모두는 CL 제1 레벨 모델(600)의 성능을 평가하는 데 사용될 수 있다. 주어진 입력 특징부 벡터
Figure pct00038
의 경우, 각각의 입력 세포 이미지
Figure pct00039
에 대해 대응하는 M 점수들을 갖는 예측된 부류 라벨
Figure pct00040
가 획득될 수 있다. 이어서, 이러한 정보는 제2 레벨 모델(640)의 설계 프로세스에 대한 입력으로서 사용될 수 있다.
분류기 아키텍처의 제2 레벨 모델
Figure pct00041
점수들(625)의 세트는, 제1 레벨 모델(600)에 의한 정확한 세포 예비 분류의 확률을 확립하기 위해 분석될 수 있다. 정확한 예비 분류의 확률은, 레벨 1의 예측된 부류 라벨
Figure pct00042
, 인간 전문가 표적 라벨
Figure pct00043
및 레벨 1의
Figure pct00044
점수들(625)을 사용함으로써 추정될 수 있다. 0.5에 가까운 최대치
Figure pct00045
를 갖는
Figure pct00046
점수들(625)은 레벨 1에서의 정확한 예비 분류 값의 낮은 확률과 연관될 것으로 예상된다.
카테고리들의 쌍들
Figure pct00047
에 대한 정확한 예비 분류 확률 Pr의 행렬들을 계산하기 위해 하기 수학식이 적용될 수 있다:
한 쌍의 카테고리들
Figure pct00048
을 고려한다
Figure pct00049
.
정확한 분류의 확률은 다음과 같이 계산될 수 있다:
Figure pct00050
여기서
Figure pct00051
Figure pct00052
Figure pct00053
에 대한 최소 값은, 낮은
Figure pct00054
값들에서의 결과들의 바이어스를 피하도록 채택될 수 있다. 표 2는 주어진 트레이닝 및 확인 데이터 세트 상에서 2개의 세포 카테고리들(즉, 호중구 및 호산구)에 대한
Figure pct00055
의 계산의 일례를 제공한다. 데이터의 모든 양성 호중구 및 호산구 서브세트 중 일 서브세트가 그 서브세트에 대한 대응하는 예측된 부류 라벨
Figure pct00056
, 표적 라벨
Figure pct00057
및 M 점수들로 이용가능하다고 가정하면,
Figure pct00058
및
Figure pct00059
의 행렬들이
Figure pct00060
를 찾아내기 위해 구성될 수 있다.
[표 2]
Figure pct00061
표 2의 예에서, 확률이 98% 이상일 때 M 점수들(625)을 생성하는 세포들은, 제2 레벨 모델(640)이 사용될 필요가 없다. 또한, 0.5에 가까운 M 점수들(625)을 생성하는 세포들은 제1 레벨 모델에서 정확한 예비 분류를 생성할 가능성이 더 적을 수 있다. 레벨 1의 CL 분류기(600)에 의해 제공되는 호중구 점수 = 0.5 및 호산구 점수 = 0.4는, 40.6%의 감도율로 결정에서의 최고 레벨의 불확실성을 생성한다. 호중구 및 호산구 점수들을 비닝(binning) 목적을 위해 반올림하였다.
표 2에 예시된 확률 행렬들
Figure pct00062
은 적어도 2개의 주요 목적들을 갖는다. 첫째, 행렬들은 카테고리들의 쌍들
Figure pct00063
에 대한 불확실성의 전체 측정치를 확립하기 위해 사용될 수 있다. 둘째,
Figure pct00064
에서의 낮은 또는 높은 확률 값들과 연관된 트레이닝 및 확인 데이터 세트 내의 세포 이미지들은, 캐스케이드 분류기 아키텍처의 제2 레벨 컴포넌트(640)를 트레이닝시키기 위한 후보들로서 선택될 수 있다. 불확실성의 전체 측정치를 확립하기 위해, 각각의
Figure pct00065
상의 모든 확률 값들의 합계를 계산하는 것이 가능하다. 더 큰 합계 값들을 갖는 카테고리들의 쌍들은 그들의 판별과 연관된 더 작은 불확실성을 가질 것이다. 보다 상세하게는, 각각의 카테고리
Figure pct00066
에 대해, 1≤k≤m,j≠k의 경우
Figure pct00067
값들의 오름차순 정렬된 목록
Figure pct00068
이 생성된다. 정렬된 목록의 상단에 있는 카테고리들은, 카테고리
Figure pct00069
에 관한 가장 낮은 분류 성능을 갖는 것들에 대응한다. 일부 경우에, 쌍들의 특정 조합이 쉽게 판별되고 트레이닝 또는 확인 데이터 세트들에서 어떠한 분류 오차들도 발견되지 않을 때 빈 목록을 갖는 것이 가능하다. 정렬된 목록
Figure pct00070
의 일례가 표 3에 나타나 있다.
[표 3]
Figure pct00071
표 3의 예에서, 레벨 1 분류기는 호중구와 핵농축(Pyknotic)(노화된) 세포 사이를 판별하려고 시도할 때의 더 높은 오차율들, 및 단핵구 또는 호산구보다 더 작은 예비 분류 오차들을 생성한다.
Figure pct00072
및
Figure pct00073
에 의해 제공되는 정보를 사용하여, 제2 레벨 모델(640)을 정의하는 것이 가능하다. 비어 있지 않은 각각의 목록
Figure pct00074
의 경우, 데이터 이용가능성에 따라 제2 레벨 모델(640)이 생성된다. 각각의 전문적인 분류기는
Figure pct00075
에서 정의되는 바와 같은 낮은 분류율들과 연관된 데이터만으로 트레이닝된다. 트레이닝 이전에, 선택된 트레이닝 데이터의 서브세트를 사용하여 새로운 특징부 선택 프로세스가 수행된다. 제2 레벨 모델(640)에서 사용되는 특징부들은 제1 레벨 모델(600)에서 사용되는 것들과 상이할 수 있다. 대부분의 경우에 그들의 복잡도 및 계산 비용은 이미지에서 더 많은 상세사항들을 캡처하기 위하여 더 높을 수 있다. 이러한 복잡도의 증가는, 대부분의 세포 및 입자 유형들을 취급할 수 있는 제1 레벨 모델(600)을 갖고 가장 문제가 되지만 희귀한 경우를 위해 제2 레벨 모델(640)을 남겨둘 수 있음으로써 균형을 이룬다. 실제로, 모든 카테고리들이 제2 레벨 모델(640)의 전문적인 분류기를 갖지는 않는데, 이는 그러한 경우에 이용가능한 데이터가 충분하지 않을 수 있거나 또는 제2 레벨 모델(640)의 성능이 제1 레벨 모델(600)의 성능을 개선시키지 못할 수 있기 때문이다.
트레이닝이 완료된 후에, 전문적인 제2 레벨 모델(640)은, 최종 부류 라벨(670)을 제공하기 위해 제1 레벨 모델(600)의 예비 분류 점수들(625)과 조합될(660) 수 있는 제2 점수 M2,k를 제공할 수 있다. 도 6b는 예시적인 캐스케이드 분류기의 아키텍처를 도시한다.
예시적인 아키텍처에서, 각각의 레벨 2 분류기는 제2 레벨 모델(640)과 연관된 분류기
Figure pct00076
(645) 및 전달 함수 f(660)로 구성될 수 있다. 분류기
Figure pct00077
(645)는, 입력 특징부들의 새로운 세트를 알려진 부류 라벨에 맵핑시킬 수 있는 임의의 기계 학습 모델일 수 있다. 이러한 아키텍처 하에서 적합한 기계 학습 모델들의 예들은 서포트 벡터 머신(SVM), 피드포워드 뉴럴 네트워크(FNN), 랜덤 포레스트 등일 수 있다. 분류기
Figure pct00078
(645)는 입력 특징부 벡터를
Figure pct00079
세포 카테고리들 중 임의의 카테고리에 할당하도록 트레이닝될 수 있다.
Figure pct00080
(645)의 출력은 각각의 분류기 상에서 전달 함수 f(660)의 값에 의해 결정될 수 있다.
전달 함수 f(660)는, 제1 레벨 모델(600)로부터의 M 점수(625),
Figure pct00081
확률 값 및
Figure pct00082
(645) 출력 점수를 조합할 목적으로 사용될 수 있다. 함수 f(660)는, 제1 레벨 모델(600) 및 제2 레벨 모델(640) 둘 모두로부터의 분류 점수들을 고려하는 연속적인 실수 값을 제공하도록 설계될 수 있다. 함수 f(660)의 높은 값들은 최종 부류 라벨(670)로서의 예비 카테고리 라벨 j의 확인으로 해석될 수 있다. 하기는 레벨 1 분류기와 레벨 2 분류기 사이의 전달 함수의 일례이다:
Figure pct00083
본 발명의 방법들 및 시스템들을 추가로 예시하기 위해, 시스템(100) 상에서 수행되는 바와 같은 예시적인 방법이 도 7에 그래프로 도시되어 있다. 도 7에서, 이미지가 획득되고(710), 추출된 특징부들(720)의 서브세트가 선택되고(750), 제1 레벨 모델 아키텍처에 맵핑된다(760). 제1 레벨 모델 아키텍처(760)는 확률 값을 미리결정된 비교 표와 비교하여, 확률 값이 임계 값 이상인 경우 세포 분류를 결정하거나(770), 또는 확률 값이 임계 값 미만인 경우 제2 레벨 모델 아키텍처를 사용할 수 있다(780). 제2 레벨 모델 아키텍처는, 혈구 카테고리에 관한 분류 성능에 따라 값들의 정렬된 목록을 생성, 확률 값과 정렬된 목록을 조합하여 제2 레벨 확률 값을 생성하는 것, 및 제1 레벨 확률 값 및 제2 레벨 확률 값을 사용하여 세포 분류를 결정하는 것(790)을 조합할 수 있다. 도 7의 특징부 추출(720)은, 도 3 내지 도 6에 도시되거나 또는 그와 관련하여 기술된 것들을 비롯하여, 본 발명에서 전술된 방법들 중 임의의 방법일 수 있다. 유사하게, 도 7의 제1 레벨 분류기(760) 및 제2 레벨 분류기(780)는, 도 6a 및 도 6b에 도시되거나 또는 그와 관련하여 기술된 것들을 비롯하여, 본 발명에서 전술된 분류기들 중 임의의 분류기일 수 있다.
일부 경우에, 본 발명의 시스템 및 방법 실시 형태들은 본 명세서 내의 다른 곳에 기술된 것들과 같은 입자 이미지 분류 기법들을 포괄한다.
본 발명의 계층적 또는 캐스케이드형 모델의 이점은 분석을 특징부들의 더 작은 서브세트로 제한하는 이익을 포함한다. 이것은 더 적은 특징부 추출을 요구할 수 있고, 분류오류에 대한 이유를 더 쉽게 정밀탐지하는 것을 허용할 수 있다. 본 발명에서, 낮은 치수(즉, 적은 수의 입력 특징부들) 분류기들로 구성되는 아키텍처의 관점에서 분류 문제를 해결하는 것은 잠재적으로, 2D 또는 3D 플롯들에서의 특징부 값들의 상호작용의 시각화(즉, 플롯팅)를 허용하며, 이는 이어서 분류기 설계자가, SVM 및 FNN을 포함하지만 이로 제한되지 않는 트레이닝 알고리즘들로부터 기인하는 결정 함수들을 더 잘 이해하고 파악하는 것을 돕는다. 시스템의 2-단계 아키텍처는 더 집중적이고 더 빠른 프로세싱을 허용하고, 추가로 시스템이 다른 동작들을 위한 프로세싱 리소스들을 예약하게 한다.
본 발명의 다른 이점은 아키텍처 복잡도가 더 양호하게 제어될 수 있다는 것이다. 아키텍처 복잡도는 분류 태스크의 초기 또는 나중 스테이지들에서 도입될 수 있다. 대부분의 경우에, 이미지들의 대부분의 특징부들은 추출 또는 결정될 필요가 없을 것이다. 대부분의 경우에, 특징부 선택은, 나중에 캐스케이드형 아키텍처 내에 있을 때까지 연기될 수 있다. 분류 문제를 정확하게 해결하기 위해, 단일 복합 분류기가, 단일 단계 또는 패스(pass)에서 모든 판별 특징부들을 사용하거나 포함해야 할 수 있다. 따라서, 분류기 모델의 후속 조합 및/또는 가장 최적의 방식으로의 그러한 특징부들의 사용은 필연적으로 매우 복잡할 수 있고, 선형이 아닐 수 있다. 이러한 접근법에서, 계산적으로 저렴한(간단한 또는 비싸지 않은 것으로도 알려짐) 특징부들이 생물학적 입자들의 큰 백분율을 분류하는 데 사용될 수 있다. 일부 경우에, 계산적으로 저렴한 특징부를 사용하는 것은, 입자를 분류하기 위해 요구되는 전부일 수 있다. 일부 생물학적 입자들에 대해 분류 오차가 존재하는 경우, 계산적으로 저렴한 특징부들이 식별할 수 없는 것들에 대해 ("더 쉬운" 큰 그룹에 대해 실제로 유용하지 않을 수 있는) 더 정제된(복잡한 것으로도 알려진) 특징부들이 선택되고 추출될 수 있다. 일반적으로, 이것은 또한 이해하기 더 쉬운 아키텍처를 허용할 수 있다. 모델은 또한, 분류기들에 걸쳐 공통 또는 공유된 특징부들을 사용하여 복잡도를 추가로 감소시킬 수 있다.
본 발명의 다른 이점은, 분류기 시스템의 캐스케이드형 아키텍처가 모듈형이고, 크기조정가능하고, 사후 분석하기가 간단하다는 것이다. 시스템의 출력은 개별 분류기들로 다시 추적될 수 있다. 개별 분류기들은, 아키텍처의 나머지를 본래 그대로 유지하면서 재트레이닝 또는 업그레이드될 수 있다. 전용 분류 모듈들을 가짐으로써, 필요에 따라 - 한 번에 하나의 특정 모델을 - 재트레이닝시키는 것이 가능하다. 예를 들어, 특정 세포 상태에 관련된 새로운 데이터가 수집되는 경우(즉, 핵농축 호중구), 핵농축 호중구-호산구의 레벨 2 분류기는 아키텍처 내의 다른 모듈들에 영향을 미치지 않으면서 재트레이닝될 수 있다.
본 발명의 다른 이점은, 분류기의 제1 레벨과 제2 레벨 사이의 전달 함수들의 개념이 두 레벨들 사이의 매끄러운 전이를 허용한다는 것이다. 이것은, 하드 임계치들이 없고 오히려 2개의 레벨들 사이의 연속적인 전이가 있다는 사실로 인해, 특징부 값들의 작은 변화들을 갖는 유사한 이미지들이 프로세싱될 때 시스템 응답의 가변성을 감소시킨다.
추가의 및 관련 예시적인 실시 형태
혈액 입자 이미지들은 디지털 현미경 카메라를 사용하여 캡처될 수 있고, 분류 목적을 위해 추가로 분석될 수 있다. 상이한 부류들 또는 카테고리들로의 혈액 입자 이미지들의 할당은 고가의 계산 태스크일 수 있다. 그것은 혈액 입자 이미지로부터의 특징부들로서 알려진 수치 또는 카테고리 값들의 추출을 수반할 수 있다. 이러한 특징부들은 상이한 정도의 계산 복잡도를 가질 수 있다. 전형적으로, 색상 기반 특징부들은 빨리 계산할 수 있는 반면, 텍스처 및 형상 특징부들은 느리고 실시간 분류에 대한 제약을 부과할 수 있다. 실시간 분석 제약은, 획득 시스템이 미리정해진 처리량 요건들을 충족시키기 위하여 혈구 입자들의 스트림의 프로세싱이 종종 소정의 예상 시간 이내에 종결되어야 한다는 사실에 관련될 수 있다.
많은 경우에, 혈구 입자들은 색상 기반 특징부들과 같은 낮은 복잡도 정보를 사용하여 정확하게 분류될 수 있다. 그러나, 소정의 질환 상태들 또는 시스템 관련 변화들(얼룩, 병소, 세포 노화, 기타) 하에서, 적절한 세포 카테고리를 정확하게 식별하기 위해 더 높은 복잡도 부하를 갖는 추가 특징부들을 수반하는 것이 유용할 수 있다. 그러나, 모든 입자들에 대해 높은 복잡도의 특징부들을 계산 및 적용하는 것이 시간 및 계산 제약들로 인해 실현가능하지 않을 수 있다.
본 발명의 실시 형태들은 혈액 입자 이미지들의 실시간 분류에 적합한 분류 아키텍쳐들을 포괄한다.
혈구 인식은, 종종 제한된 계산 리소스들을 갖는 하드웨어 상에서, 시간에 민감한 방식으로 실행되는 분할, 특징부 추출, 및 분류 페이즈들을 수반하는 복잡한 태스크일 수 있다. 따라서, 그것은 시스템에서의 각각의 페이즈가 효율적일 때 도움이 된다. 특징부 추출 컴포넌트는 전형적으로 가장 많이 영향을 받고, 종종 특징부 복잡도와 서술 능력 대 계산 효율 사이에서 절충된다.
본 발명의 실시 형태들은, 더 쉽고 더 일반적인 분류 이벤트들의 경우 더 단순하고 효율적인 특징부들의 사용을 그리고 더 어렵고 더 희귀한 이벤트들의 경우 더 복잡하고 값비싼 특징부들의 사용을 레버리징(leveraging)하는 계층적 분류 모델을 채용한다. 그와 관련하여, 본 발명의 실시 형태들은 분류 신뢰도의 고려사항 및 이벤트 어려움의 가능성을 수반하는데, 이는 계산 효율을 개선시킬 수 있다.
본 발명의 실시 형태들은, 트레이닝된 분류기들의 잠재적인 분류오류들 및 단점들을 조사하고 문제 해결하는 능력을 확장시키는 모듈성을 제공한다. 본 발명의 실시 형태들은 또한, 개발자가 입력 특징부 공간을 시각화하고 잠재적인 분류오류 이면의 이유를 분간할 수 있게 한다. 본 명세서에 개시된 아키텍처와 같은 캐스케이드형 모델들은, 분류 문제를 더 저차원의, 시각적으로 순응하는 입력 특징부 공간들을 갖는 분류기들의 앙상블로 모듈화하는 이점을 갖는다. 그러한 모델들에 의하면, 분류오류에 대한 이유를 정밀탐지하는 것이 쉽게 수행될 수 있다.
본 발명의 모듈성의 다른 이점은, 앙상블에서의 각각의 더 저차원의 분류기가 덜 복잡할 수 있다는 것이다. 예를 들어, 단일 고차원 분류기를 채용할 때, 각각의 세포 이미지는 전형적으로 부류 라벨을 산출하기 위해 모든 입력 치수들에 걸쳐 분류기에 의해 프로세싱된다. 캐스케이드형 모델에서, 세포 이미지는 앙상블의 서브세트에 의해서만 프로세싱되고, 각각의 분류기는 비교적 더 낮은 입력 차원수를 가져서 이미지당 더 적은 계산 동작들을 야기한다. 또한, 특징부 계산은, 세포 이벤트가 특정 특징부를 요구하는 캐스케이드 내의 특정 분류기에 도달할 때까지 연기될 수 있다. 대부분의 경우에, 대부분의 특징부들은 계산될 필요가 없을 것이다. 모델은 또한, 분류기들에 걸쳐 공유된 특징부들을 레버리징하여 복잡도를 추가로 감소시킬 수 있다.
일부 실시 형태들에서, 본 발명은 혈액 입자 이미지들의 실시간 분류에 적합한 분류 아키텍처를 제공한다. 전형적인 이미지 기반 분류는 4개의 주요 단계들, 즉, 이미지 획득, 특징부 추출, 특징부 선택 및 분류기 아키텍처로 구성될 수 있다. 본 발명 전체에 걸쳐서, 기술적 설명은 종종 특징부 선택 및 분류기 아키텍처에 중점을 두고 있다. 일부 경우에, 이미지 획득은 혈액 입자 이미지들을 캡처할 준비가 되어 있는 것으로 가정된다. 또한, 제안된 아키텍처 내의 개별 분류기들을 설계 및 트레이닝시키기 위해 상이한 정도의 판별 능력 및 계산 복잡도의 레벨들을 갖는 많은(a pool of) 특징부들이 이용가능하다는 것이 가정될 수 있다. 특징부들은 이미지로부터 직접 획득될 수 있거나, 또는 주성분 분석과 같은 추가 차원수 감소 기법들의 부산물일 수 있다.
특징부 선택은 이러한 맥락에서, 수많은 특징부들로부터 하나 이상의 혈액 입자들 사이에서 가장 큰 판별 능력을 제공하는 것들을 선택하는 프로세스로서 이해될 수 있다. 전통적인 이미지 기반 분류 시스템에서, 특징부 선택 및 분류기 아키텍처 설계는 일반적으로 2개의 독립적인 프로세스들이다. 특징부들은 미리정의된 성능 기준들에 기초하여 선택되고, 분류기 아키텍처는 선택된 특징부들로 설계되고 트레이닝된다. 그러나, 본 발명의 실시 형태들에서, 특징부 선택 프로세스 및 아키텍처는 밀접하게 결합될 수 있다. 특징부 선택 프로세스는 분류기 아키텍처 설계를 안내할 수 있다. 도 8은 본 발명의 실시 형태들에 따른, 혈액 입자 이미지들, 혈액 입자 카테고리들, 및 추출된 특징부들의 태양들을 도시한다.
하나의 간단한 형태에서, 특징부 선택 프로세스는 하기의 방식으로 특징부 단위로 수행될 수 있다. 더 복잡한 형태에서, 2개 이상의 특징부들의 조합이 그들의 판별 능력을 평가하기 위해 선택될 수 있다. 특징부들의 조합이 평가되는 경우, 궁극적으로 그러한 특징부들을 사용할 분류기 방법이 트레이닝될 수 있고, 그의 출력은 선택된 판별 계수를 계산할 목적으로 사용될 수 있다.
혈액 카테고리
Figure pct00084
의 경우(1≤j≤m)
이미지들
Figure pct00085
의 서브세트로서
Figure pct00086
를 정의하며, 이때 라벨
Figure pct00087
가 혈액 카테고리
Figure pct00088
에 매칭된다(1≤i≤n)
모든 특징부들
Figure pct00089
의 경우(1≤s≤m)
Figure pct00090
와 데이터 세트 내의 입자 이미지들의 나머지 사이의 특징부
Figure pct00091
의 판별 계수
Figure pct00092
를 계산한다.
계수
Figure pct00093
는 수용체 작동 곡선(Receiver Operating Curve, ROC)의 곡선하면적(Area Under the Curve, AUC), 정보 엔트로피 또는 다른 이용가능한 방법과 같은 다양한 방법들에 의해 계산될 수 있다.
종료
종료
최고
Figure pct00094
를 갖는 카테고리
Figure pct00095
는 분류기에 대한 라벨
Figure pct00096
로서 별개의 목록에 로그인되고(1≤j≤m, j=1에서 시작함), 나머지 카테고리들의 판별 시에 복잡도를 감소시키기 위해 분석으로부터 제거된다. 카테고리 라벨
Figure pct00097
은 결국 제안된 아키텍처 내의 제1 분류기가 될 것이고, 한편
Figure pct00098
은 마지막 분류기가 될 것이다. 전술된 프로세스는, 모든 카테고리들
Figure pct00099
가 분석되어 그것을
Figure pct00100
세트로 만들 때까지 반복된다.
일반적인 관점에서, 개시된 방법의 일 실시 형태는 카테고리들의 나머지로부터의 그의 분리성의 관점에서 각각의 카테고리
Figure pct00101
의 순위매김을 허용한다. 이러한 정렬된 목록은 분류기의 아키텍처 골격을 정의하는 데 사용된다. 최고 레벨의 분리성을 갖는 카테고리들(즉, 나머지로부터 분류하기가 더 쉬움)은 분류기 아키텍처에 의해 먼저 평가될 것이다. 판별 계수들
Figure pct00102
및 복잡도 지수들
Figure pct00103
는 추가 분류기 특징부 할당을 위해 저장된다.
일 실시 형태에서, 분류기 아키텍처는 도 9에 도시된 바와 같은 캐스케이드 모델을 따를 수 있다. 입력 이미지를 고려하여, 분류기
Figure pct00104
은, 이미지가 그의 연관된 카테고리에 속하는지 여부를 식별하려고 시도한다. 분류기
Figure pct00105
의 출력이 그 카테고리를 선호하는 경우, 입력 이미지는
Figure pct00106
로서 분류되고 분류가 종료된다. 그렇지 않으면, 이미지는, 모든 분류기들이 소모될 때까지
Figure pct00107
등등으로 넘어가게 된다.
각각의 분류기
Figure pct00108
의 내부 구조는 고유한데, 이는 그것이 복잡도와 성능 사이의 균형을 제공하기 때문이다. 이러한 접근법은 다른 대안적인 접근법들에서 보이지 않았다. 도 10은 본 발명의 실시 형태들에 따른 분류기
Figure pct00109
에 대한 제안된 내부 구조를 도시한다. 일 실시 형태에서, 분류기
Figure pct00110
는 2개의 분류기들로 구성된다. 레벨 1 분류기로 알려진 제1 분류기는 일반적으로, 감소된 수의 특징부들(통상, 특징부 공간의 용이한 시각화를 허용하기 위해 3개 이하임)을 사용하는 간단한 선형 분류기 모델이다. 이러한 레벨 1 분류기에 대한 특징부 선택은, 위에서 획득된
Figure pct00111
특징부 판별 계수 및 각각의 특징부에 연관된 계산 복잡도의 레벨
Figure pct00112
의 가중된 조합에 의해 주어진다. 높은 판별 계수 및 낮은 계산 복잡도를 갖는 상관되지 않은 특징부들이 레벨 1에 대한 이상적인 후보들이다. 서포트 벡터 머신, 퍼셉트론(Perceptron) 또는 다른 간단한 모델들과 같은 기계 학습 분류기 모델들이 레벨 1 분류기를 자동으로 트레이닝시키기 위해 사용될 수 있다.
일 실시 형태에서, 레벨 2 분류기는 더 복잡한 분류기 모델이다. 일반적으로, 복잡한 구조를 갖는 비선형 모델에 기초하여, 특징부들 사이의 명백하지 않은 관계들을 취급한다. 이러한 레벨 2 분류기에 대한 특징부 선택은 또한, 위에서 획득된
Figure pct00113
특징부 판별 계수들 및 각각의 특징부에 연관된 계산 복잡도의 레벨
Figure pct00114
의 가중된 조합에 의해 주어진다. 높은 판별 계수 및 높은 계산 복잡도를 갖는 특징부들이 레벨 2에 대한 이상적인 후보들이다. 특징부들의 수는 일반적으로 3개를 초과하며, 그에 따라서 특징부 공간의 시각화가 더 이상 가능하지 않다. 멀티레이어(Multilayer) 피드포워드 뉴럴 네트워크, 부트스트랩, 또는 임의의 다른 복잡한 모델들과 같은 기계 학습 분류기 모델들이 모델 파라미터들을 자동으로 추정하기 위해 사용될 수 있다.
제안된 아키텍처의 일 실시 형태에서, 레벨 1 분류기는 대다수의 입력 이미지들을 취급하며, 그에 따라서 계산 시간을 줄이고 분류 흐름의 분석을 단순화한다. 레벨 2 분류기는, 레벨 1 분류기 결정이 불확실하고 신뢰할 수 없을 때에만 연동한다. 하기 접근법은, 레벨 1 분류기의 불확실성을 평가하고
Figure pct00115
의 최종 결과에 대한 레벨 1 분류기 및 레벨 2 분류기의 기여를 제어하기 위해 제안된다.
일례에서, 2개의 주어진 특징부들
Figure pct00116
및
Figure pct00117
는, 도 11에 도시된 바와 같이 카테고리
Figure pct00118
를 식별하는 것을 담당하는 레벨 1 분류기에 대한 입력으로서 사용된다. 레벨 1 분류기 모델 출력
Figure pct00119
은, 모델 계수들 α,β 및 바이어스 항 γ를 갖는 특징부들
Figure pct00120
및
Figure pct00121
의 선형 조합으로서 정의된다. 입력 특징부들의 수가 증가함에 따라 더 많은 수의 모델 계수들이 존재할 것이다. 모델 계수들은 선형 판별 분석, 서포트 벡터 머신 또는 임의의 다른 적합한 접근법과 같은 기계 학습 알고리즘에 의해 획득될 수 있다.
0과 동일한 선형 조합 값(즉,
Figure pct00122
)은 혈액 입자 카테고리들의 나머지(즉, "기타")로부터
Figure pct00123
를 분리하는 경계의 정확한 위치에 대응한다. 선형 조합 값
Figure pct00124
은
Figure pct00125
=0에 대한 수직 거리에 비례하여 증가 또는 감소한다. 도면의 상부 좌측 코너에 가까운
Figure pct00126
내의 혈액 입자들은, 경계에 가까운 것들보다 더 큰 양의
Figure pct00127
값들을 가질 것이다. 다른 한편으로, 도면의 하부 우측 코너에 가까운 "기타" 영역 내의 혈액 입자들은 큰 음의
Figure pct00128
값들을 가질 것이다.
위에서 언급된 바와 같이,
Figure pct00129
=0에 의해 정의되는 선은 혈액 입자 카테고리들의 나머지로부터
Figure pct00130
를 분리하는 경계에 대응하지만, 또한, 그것은 분류기 결정에 관한 불확실성이 그의 최고 레벨에 있는 지점들에 대응한다. 특징부들
Figure pct00131
및
Figure pct00132
의 값들의 작은 변화는 이 영역 주위에서 분류기 결정을 어떻게 해서든 변화시킬 수 있다. 레벨 1 분류기 모델, 특징부 값들
Figure pct00133
및
Figure pct00134
및 대응하는 표적 라벨
Figure pct00135
(1≤i≤n)를 사용하면, 분류기로부터 고도로 불확실한 응답을 산출할 특징부들
Figure pct00136
및
Figure pct00137
의 값 조합들을 식별하기 위해 경계
Figure pct00138
=0 주위에 불확실성 영역을 정의하는 것이 가능하다.
이 예에서, 불확실성 영역은 경계 주위에 오프셋들
Figure pct00139
및
Figure pct00140
를 설정함으로써 정의될 수 있다. 가장 간단한 구현예에서, 오프셋들은 동일한 값을 가질 수 있다. 오프셋들의 실제 값들은 레벨 1 분류기에 대해 임의의 성능 메트릭을 설정함으로써 정의될 수 있다. 예를 들어, 불확실하지 않은 영역들에서 높은 정도의 특이성을 갖는 것이 요구될 수 있는데, 이는 혈액 입자가 불확실성 영역 밖에서 검출되는 경우 혈액 입자가 정확하게 분류될 신뢰도가 높다는 것을 의미한다.
일 실시 형태에서, 레벨 2 분류기는 오직, 혈액 입자에 대한 특징부들(이 예에서,
Figure pct00141
및
Figure pct00142
)의 특정 조합이 레벨 1 불확실성 영역 내에 있을 때 호출될 것이고, 그의 대응하는 입력 특징부들(일반적으로 레벨 1 특징부들과는 상이함)이 계산될 것이다. 이러한 고유한 설계는 전체 분류 시스템이 혈액 입자들을 분류하기가 간단하고 빠르거나 쉽지만 필요할 때 더 복잡한 시나리오들을 취급하기에 충분히 유연하게 유지되게 한다.
일 실시 형태에서, 레벨 2 불확실성 영역을 생성하기 위한 동일한 접근법이 레벨 2 분류기에 적용되어 그의 오프셋들을 정의할 수 있다. 일단 오프셋들
Figure pct00143
및
Figure pct00144
가 결정되면, 한 쌍의 전이 함수들
Figure pct00145
및
Figure pct00146
가 도 12에 도시된 바와 같이 정의될 수 있으며, 여기서 -1≤
Figure pct00147
≤1 이고 -1 ≤
Figure pct00148
≤1 이다. 이러한 함수들의 세트는 각각의 분류기의 불확실성 값에 따라 그들의 응답을 선형적으로 조합함으로써 레벨 1 분류기 출력과 레벨 2 분류기 출력 사이의 매끄러운 전이를 허용한다. 함수
Figure pct00149
가 일반적으로 레벨 2 분류기의 복잡한 특성으로 인해 불확실성 영역에서 비선형 거동을 갖는다는 것에 유의한다. 하기 수학식은 최종 분류기
Figure pct00150
출력이 어떻게 생성되는지를 설명한다:
Figure pct00151
하기 작업흐름은 실시간 프로세싱을 위해 제안된 분류기 아키텍처에 의한 단일 이미지
Figure pct00152
의 프로세싱을 요약한다(리콜 페이즈):
입력 이미지
Figure pct00153
를 고려하여
모든 분류기들
Figure pct00154
의 경우
이미지
Figure pct00155
를 분석하여
Figure pct00156
레벨 1 분류기에 필요한 특징부들 F를 추출한다
특징부들 F를 레벨 1 분류기에 입력하여
Figure pct00157
(레벨 1 출력)을 계산한다
Figure pct00158
≥
Figure pct00159
인 경우, 입력 이미지
Figure pct00160
를 혈액 입자 카테고리
Figure pct00161
로서 분류하고 입력 이미지
Figure pct00162
의 분류 태스크를 끝낸다
Figure pct00163
≤
Figure pct00164
인 경우, 입력 이미지
Figure pct00165
를 혈액 입자 카테고리 "기타"로서 분류하고 분류기
Figure pct00166
로 계속된다
Figure pct00167
<
Figure pct00168
<
Figure pct00169
인 경우,
레벨 1 분류기에 대한 전이 함수
Figure pct00170
을 계산한다
이미지
Figure pct00171
를 분석하여
Figure pct00172
레벨 2 분류기에 필요한 특징부들 F를 추출한다
특징부들 F를 레벨 2 분류기에 입력하여
Figure pct00173
(레벨 2 출력)을 계산한다
Figure pct00174
≥
Figure pct00175
인 경우, 입력 이미지
Figure pct00176
를 혈액 입자 카테고리
Figure pct00177
로서 분류하고 입력 이미지
Figure pct00178
의 분류 태스크를 끝낸다
Figure pct00179
≤
Figure pct00180
인 경우, 입력 이미지
Figure pct00181
를 혈액 입자 카테고리 "기타"로서 분류하고 분류기
Figure pct00182
로 계속된다
Figure pct00183
<
Figure pct00184
<
Figure pct00185
인 경우,
레벨 2 분류기에 대한 전이 함수
Figure pct00186
를 계산한다
위에서 나타낸 바와 같이
Figure pct00187
및
Figure pct00188
의 선형 조합을 사용하여 최종
Figure pct00189
Classifier Response를 계산한다.
Figure pct00190
Classifier Response>0인 경우, 입력 이미지
Figure pct00191
를 혈액 입자 카테고리
Figure pct00192
로서 분류하고 입력 이미지
Figure pct00193
의 분류 태스크를 끝낸다
Figure pct00194
Classifier Response<0인 경우, 입력 이미지
Figure pct00195
를 카테고리 "기타"로서 분류하고 분류기
Figure pct00196
로 계속된다.
종료
종료
종료
입력 이미지
Figure pct00197
가
Figure pct00198
분류기들 중 임의의 분류기에 의해 분류되지 않은 경우, 라벨 이미지
Figure pct00199
는 식별되지 않는다.
설명된 방법들의 모든 특징부들은 필요한 부분만 약간 수정하여 기술된 시스템들에 적용가능하며, 역으로도 성립한다.
본 명세서에 제시된 예들은 본 발명의 잠재적이고 구체적인 구현예들을 예시하고자 의도된다. 예들은 주로, 당업자를 위해 예시의 목적으로 의도된다는 것이 이해될 수 있다. 본 발명의 사상으로부터 벗어남이 없이 본 명세서에 기술된 이들 도면들 또는 동작들에 대한 변형예들이 있을 수 있다. 예를 들어, 소정의 경우들에 있어서, 방법 단계들 또는 동작들이 상이한 순서대로 수행 또는 실행될 수 있거나, 동작들이 추가, 삭제 또는 수정될 수 있다.
본 발명에서 논의된 모든 특허, 특허 공보, 특허 출원, 학술지 기사, 서적, 기술 참고 문헌 등이 모든 목적들을 위해 그들 전체가 참고로 본 명세서에 포함된다.
본 발명의 도면들 및 설명들은 본 발명의 명백한 이해를 위해 관련되는 요소들을 예시하도록 간소화되었음이 이해될 것이다. 도면들은 해석 상의 도면으로서가 아니라 예시의 목적으로 제시된다는 것이 이해되어야 한다. 생략된 상세사항들 및 수정예들 또는 대안의 실시 형태들은 당업자의 이해 범위 내에 있다. 또한, 본 발명의 소정 태양들에서, 요소 또는 구조를 제공하거나 주어진 기능 또는 기능들을 수행하기 위하여, 단일 컴포넌트가 다수의 컴포넌트들로 대체될 수 있고, 다수의 컴포넌트들이 단일 컴포넌트로 대체될 수 있다. 그러한 치환이 소정 실시 형태들을 실시하도록 동작하지 않게 될 경우를 제외하면, 그러한 치환은 본 발명의 범주 내에 있는 것으로 간주된다.
전술되거나 도면에 도시된 컴포넌트들뿐만 아니라 도시되거나 기술되지 않은 컴포넌트들 및 단계들의 상이한 배열들도 가능하다. 유사하게, 일부 특징부들 및 서브조합들이 유용하며, 다른 특징부들 및 서브조합들에 상관없이 채용될 수 있다. 제한적이 아닌 예시적인 목적을 위해 본 발명의 태양들 및 실시 형태들을 기술하였고, 대안적인 실시 형태들은 본 특허의 독자에게 자명해질 것이다. 따라서, 본 발명은 전술되거나 도면에 도시된 실시 형태들로 제한되지 않으며, 하기의 청구범위의 범주로부터 벗어나지 않고서 다양한 실시 형태 및 변형이 이루어질 수 있다.
예시적인 실시 형태들이 실시예에 의해 그리고 이해의 명료성을 위해 어느 정도 상세히 기술되었지만, 당업자는 다양한 수정, 개조, 및 변경이 채용될 수 있다는 것을 인식할 것이다. 이런 이유로, 본 발명의 범주는 청구범위에 의해서만 제한되어야 한다.

Claims (41)

  1. 생물학적 샘플 중의 입자의 분류를 결정하는 방법으로서,
    상기 입자의 이미지를 획득하는 단계;
    프로세서 시스템에서, 상기 입자의 상기 이미지를 수신하는 단계; 및
    상기 프로세서 시스템을 사용하여, 비일시적인 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 실행가능 코드를 실행하는 단계를 포함하고, 상기 컴퓨터 실행가능 코드는, 상기 프로세서 시스템 상에서 실행될 때, 상기 프로세서 시스템으로 하여금:
    상기 이미지의 픽셀들의 콘텐츠 및 위치에 기초하여 상기 이미지로부터 복수의 특징부들을 추출하는 단계 - 상기 추출하는 단계는,
    상기 이미지에 제1 마스크를 적용하는 단계,
    상기 제1 마스크를 적용하는 단계에 기초하여 상기 이미지로부터 픽셀들의 제1 세트를 획득하는 단계, 및
    상기 픽셀들의 제1 세트로부터 상기 복수의 특징부들을 결정하는 단계를 포함함 -; 및
    상기 추출된 특징부들의 서브세트를 선택하는 단계를 포함하는 추출 루틴을 수행하게 하고; 그리고
    상기 추출된 특징부들의 상기 서브세트를 분류기 아키텍처(classifier architecture)에 맵핑시키는 단계를 포함하는 맵핑 루틴을 수행하게 하는 명령어들을 포함하고, 상기 맵핑시키는 단계는,
    상기 추출된 특징부들의 상기 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 모델을 사용하는 단계,
    상기 추출된 특징부들의 상기 서브세트와 상기 이전에 저장된 데이터 세트의 비교에 기초하여 예비 분류를 식별하는 단계,
    상기 제1 레벨 모델을 사용하여 상기 예비 분류가 정확할 확률 값을 계산하는 단계, 및
    상기 확률 값이 임계 값 이상일 때 상기 예비 분류에 기초하여 상기 분류를 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 추출하는 단계는, 상기 이미지에 제2 마스크를 적용하여 픽셀들의 제2 세트를 획득하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 제1 마스크 및 상기 제2 마스크는 원형 또는 링 형상인, 방법.
  4. 제2항 또는 제3항에 있어서, 상기 상이한 마스크들의 적용은 상이한 픽셀들을 드러내는, 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 마스크 및 상기 제2 마스크는 미리결정된 순서로 적용되는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 추출하는 단계는 상기 픽셀들의 제1 세트를 그룹으로 클러스터화하는 단계를 포함하는, 방법.
  7. 제6항에 있어서, 상기 추출하는 단계는 픽셀들의 상기 클러스터화된 그룹으로부터 색상 팔레트를 생성하는 단계를 포함하는, 방법.
  8. 제7항에 있어서, 상기 추출하는 단계는 상기 색상 팔레트에 부분적으로 기초하여 상기 이미지에 대한 라벨을 결정하는 단계를 포함하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 추출하는 단계는 상기 이미지를 마스크 크기로 정규화하는 단계를 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 추출하는 단계는 상기 제1 마스크를 단위 크기로 정규화하는 단계를 포함하는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 추출하는 단계는, 적색-녹색-청색(RGB) HSV(hue-saturation-value), HSL(hue-saturation-lightness), 또는 HSB(hue-saturation-brightness)를 비롯한, 선택된 색 공간을 사용하는 단계를 포함하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 추출된 특징부들의 상기 선택된 서브세트는 트레이닝 특징부들, 확인(validation) 특징부들, 또는 시험 특징부들을 포함하는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 추출된 특징부들의 상기 서브세트는 캐스케이드(cascade) 분류기 아키텍처에 맵핑되는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 제1 레벨 모델은 기계 학습 모델인, 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 맵핑시키는 단계는,
    상기 확률 값이 상기 임계 값 미만일 때 상기 입자 분류를 결정하기 위해 제2 레벨 모델을 사용하는 단계를 추가로 포함하는, 방법.
  16. 제15항에 있어서, 상기 제2 레벨 모델은 기계 학습 모델인, 방법.
  17. 제15항 또는 제16항에 있어서, 상기 제2 레벨 모델을 사용하는 단계는,
    상기 제2 레벨 모델에서 상기 확률 값을 수신하는 단계;
    입자 카테고리에 관한 분류 성능에 따라 값들의 정렬된 목록을 생성하는 단계;
    상기 확률 값과 상기 정렬된 목록을 조합하여 제2 레벨 확률 값을 생성하는 단계; 및
    상기 제1 레벨 확률 값 및 상기 제2 레벨 확률 값을 사용하여 상기 입자 분류를 결정하는 단계를 추가로 포함하는, 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 입자는 호중구, 림프구, 단핵구, 호산구, 호염기구, 미성숙 백혈구, 망상적혈구, 유핵 적혈구, 적혈구, 상피 세포, 세균, 효모, 또는 기생충으로 이루어진 그룹으로부터 선택된 구성원을 포함하는, 방법.
  19. 생물학적 샘플 중의 입자의 분류를 결정하는 시스템으로서,
    프로세서 및 상기 프로세서에 결합된 컴퓨터 판독가능 저장 매체를 포함하고, 상기 컴퓨터 판독가능 저장 매체는 방법을 구현하기 위해 상기 프로세서에 의해 실행가능한 코드를 포함하며, 상기 방법은,
    상기 입자의 이미지를 획득하는 단계;
    상기 이미지의 픽셀들의 콘텐츠 및 위치에 기초하여 상기 이미지로부터 복수의 특징부들을 추출하는 단계 - 상기 추출하는 단계는,
    상기 이미지에 제1 마스크를 적용하는 단계,
    상기 제1 마스크를 적용하는 단계에 기초하여 상기 이미지로부터 픽셀들의 제1 세트를 획득하는 단계, 및
    상기 픽셀들의 제1 세트로부터 상기 복수의 특징부들을 결정하는 단계를 포함함 -;
    상기 추출된 특징부들의 서브세트를 선택하는 단계; 및
    상기 추출된 특징부들의 상기 서브세트를 분류기 아키텍처에 맵핑시키는 단계를 포함하고, 상기 맵핑시키는 단계는,
    상기 추출된 특징부들의 상기 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 모델을 사용하는 단계,
    상기 추출된 특징부들의 상기 서브세트와 상기 이전에 저장된 데이터 세트의 비교에 기초하여 예비 분류를 식별하는 단계,
    상기 제1 레벨 모델을 사용하여 상기 예비 분류가 정확할 확률 값을 계산하는 단계, 및
    상기 확률 값이 임계 값 이상일 때 상기 예비 분류에 기초하여 상기 분류를 결정하는 단계를 포함하는, 시스템.
  20. 제19항에 있어서, 상기 시스템은 디지털 현미경 카메라를 사용하는, 시스템.
  21. 추출된 특징부들의 서브세트를 분류기 아키텍처에 맵핑시키는 단계에 의해 생물학적 샘플 중의 입자의 분류를 결정하는 방법으로서, 상기 맵핑시키는 단계는,
    상기 추출된 특징부들의 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 기계 학습 모델을 사용하는 단계 - 상기 추출된 특징부들은 이미지들로부터 추출됨 -;
    상기 제1 레벨 기계 학습 모델을 사용하여 확률 값을 계산하는 단계;
    상기 확률 값을 미리결정된 비교 표와 비교하는 단계;
    상기 확률 값이 임계 값 이상인 경우 입자 분류를 결정하는 단계;
    상기 확률 값이 상기 임계 값 미만인 경우 제2 레벨 기계 학습 모델을 사용하는 단계;
    상기 제2 레벨 기계 학습 모델을 사용하여 입자 카테고리에 관한 그들의 분류 성능에 따라 값들의 오름차순 정렬된 목록을 생성하는 단계;
    상기 확률 값과 값들의 상기 정렬된 목록을 조합하여 제2 레벨 점수를 생성하는 단계; 및
    상기 제2 레벨 점수를 사용하여 입자 분류를 결정하는 단계를 포함하는, 방법.
  22. 생물학적 샘플 중의 입자의 분류를 결정하는 방법으로서,
    상기 입자의 이미지를 획득하는 단계;
    상기 이미지의 픽셀들의 콘텐츠 및 위치에 기초하여 상기 이미지로부터 복수의 특징부들을 추출하는 단계 - 상기 추출하는 단계는,
    상기 이미지에 제1 마스크를 적용하는 단계,
    상기 제1 마스크를 적용하는 단계에 기초하여 상기 이미지로부터 픽셀들의 제1 세트를 획득하는 단계, 및
    상기 픽셀들의 제1 세트로부터 상기 복수의 특징부들을 결정하는 단계를 포함함 -;
    상기 추출된 특징부들의 서브세트를 선택하는 단계; 및
    상기 추출된 특징부들의 상기 서브세트를 분류기 아키텍처에 맵핑시키는 단계를 포함하고, 상기 맵핑시키는 단계는,
    상기 추출된 특징부들의 상기 서브세트를 이전에 저장된 데이터 세트와 비교하기 위해 제1 레벨 모델을 사용하는 단계,
    상기 추출된 특징부들의 상기 서브세트와 상기 이전에 저장된 데이터 세트의 비교에 기초하여 예비 분류를 식별하는 단계,
    상기 제1 레벨 모델을 사용하여 상기 예비 분류가 정확할 확률 값을 계산하는 단계, 및
    상기 확률 값이 임계 값 이상일 때 상기 예비 분류에 기초하여 상기 분류를 결정하는 단계를 포함하는, 방법.
  23. 제22항에 있어서, 상기 추출하는 단계는, 상기 이미지에 제2 마스크를 적용하여 픽셀들의 제2 세트를 획득하는 단계를 포함하는, 방법.
  24. 제23항에 있어서, 상기 제1 마스크 및 상기 제2 마스크는 원형 또는 링 형상인, 방법.
  25. 제23항 또는 제24항에 있어서, 상기 상이한 마스크들의 적용은 상이한 픽셀들을 드러내는, 방법.
  26. 제23항 내지 제25항 중 어느 한 항에 있어서, 상기 제1 마스크 및 상기 제2 마스크는 미리결정된 순서로 적용되는, 방법.
  27. 제22항 내지 제26항 중 어느 한 항에 있어서, 상기 추출하는 단계는 상기 픽셀들의 제1 세트를 그룹으로 클러스터화하는 단계를 포함하는, 방법.
  28. 제27항에 있어서, 상기 추출하는 단계는 픽셀들의 상기 클러스터화된 그룹으로부터 색상 팔레트를 생성하는 단계를 포함하는, 방법.
  29. 제28항에 있어서, 상기 추출하는 단계는 상기 색상 팔레트에 부분적으로 기초하여 상기 이미지에 대한 라벨을 결정하는 단계를 포함하는, 방법.
  30. 제22항 내지 제29항 중 어느 한 항에 있어서, 상기 추출하는 단계는 상기 이미지를 마스크 크기로 정규화하는 단계를 포함하는, 방법.
  31. 제22항 내지 제30항 중 어느 한 항에 있어서, 상기 추출하는 단계는 상기 제1 마스크를 단위 크기로 정규화하는 단계를 포함하는, 방법.
  32. 제22항 내지 제31항 중 어느 한 항에 있어서, 상기 추출하는 단계는, 적색-녹색-청색(RGB) HSV, HSL, 또는 HSB를 비롯한, 선택된 색 공간을 사용하는 단계를 포함하는, 방법.
  33. 제22항 내지 제32항 중 어느 한 항에 있어서, 상기 추출된 특징부들의 상기 선택된 서브세트는 트레이닝 특징부들, 확인 특징부들, 또는 시험 특징부들을 포함하는, 방법.
  34. 제22항 내지 제33항 중 어느 한 항에 있어서, 상기 추출된 특징부들의 상기 서브세트는 캐스케이드 분류기 아키텍처에 맵핑되는, 방법.
  35. 제22항 내지 제34항 중 어느 한 항에 있어서, 상기 제1 레벨 모델은 기계 학습 모델인, 방법.
  36. 제22항 내지 제35항 중 어느 한 항에 있어서, 상기 맵핑시키는 단계는,
    상기 확률 값이 상기 임계 값 미만일 때 상기 입자 분류를 결정하기 위해 제2 레벨 모델을 사용하는 단계를 추가로 포함하는, 방법.
  37. 제36항에 있어서, 상기 제2 레벨 모델은 기계 학습 모델인, 방법.
  38. 제36항 또는 제37항에 있어서, 상기 제2 레벨 모델을 사용하는 단계는,
    상기 제2 레벨 모델에서 상기 확률 값을 수신하는 단계;
    입자 카테고리에 관한 분류 성능에 따라 값들의 정렬된 목록을 생성하는 단계;
    상기 확률 값과 상기 정렬된 목록을 조합하여 제2 레벨 확률 값을 생성하는 단계; 및
    상기 제1 레벨 확률 값 및 상기 제2 레벨 확률 값을 사용하여 상기 입자 분류를 결정하는 단계를 추가로 포함하는, 방법.
  39. 제22항 내지 제38항 중 어느 한 항에 있어서, 상기 입자는 호중구, 림프구, 단핵구, 호산구, 호염기구, 미성숙 백혈구, 망상적혈구, 유핵 적혈구, 적혈구, 상피 세포, 세균, 효모, 또는 기생충으로 이루어진 그룹으로부터 선택된 구성원을 포함하는, 방법.
  40. 제19항 또는 제20항에 있어서, 상기 컴퓨터 판독가능 저장 매체는 제1항 내지 제18항 중 어느 한 항의 방법을 구현하기 위해 상기 프로세서에 의해 실행가능한 코드를 포함하는, 시스템.
  41. 하나 이상의 프로세서들에 의해 실행가능한 프로그램 명령어들을 포함하는 비일시적인 컴퓨터 판독가능 저장 매체로서, 상기 프로그램 명령어들은, 실행될 때, 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하고, 상기 동작들은 제1항 내지 제18항 중 어느 한 항의 방법을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020197005157A 2016-08-22 2017-08-22 생물학적 입자의 분류 시스템 및 방법 KR102469620B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662377851P 2016-08-22 2016-08-22
US62/377,851 2016-08-22
PCT/US2017/047993 WO2018039216A1 (en) 2016-08-22 2017-08-22 System and method of classification of biological particles

Publications (2)

Publication Number Publication Date
KR20190043135A true KR20190043135A (ko) 2019-04-25
KR102469620B1 KR102469620B1 (ko) 2022-11-21

Family

ID=59746362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005157A KR102469620B1 (ko) 2016-08-22 2017-08-22 생물학적 입자의 분류 시스템 및 방법

Country Status (7)

Country Link
US (2) US11403751B2 (ko)
EP (1) EP3500964A1 (ko)
JP (2) JP7104691B2 (ko)
KR (1) KR102469620B1 (ko)
CN (1) CN109952614B (ko)
BR (1) BR112019003144A2 (ko)
WO (1) WO2018039216A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201433B1 (ko) * 2019-10-10 2021-01-13 연세대학교 산학협력단 기계학습을 이용한 바이오 에어로졸 모니터링 장치 및 그 방법
KR102326602B1 (ko) * 2021-03-24 2021-11-16 주식회사 에니텍 자료동화 및 하이브리드 모델을 적용한 상세 공간 해상도 오염지도 산출 방법 및 정보 제공 방법
KR20230080108A (ko) 2021-11-29 2023-06-07 한국생산기술연구원 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법
US11953419B2 (en) 2021-02-23 2024-04-09 Industry-Academic Cooperation Foundation, Yonsei University Apparatus for monitoring bioaerosols using machine learning and method thereof

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7104691B2 (ja) 2016-08-22 2022-07-21 アイリス インターナショナル， インコーポレイテッド 生体粒子の分類のシステム及び方法
US11132529B2 (en) * 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
CN109117689B (zh) * 2017-06-22 2020-01-07 京东方科技集团股份有限公司 行人检测方法和装置
WO2020004101A1 (ja) * 2018-06-27 2020-01-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
SE542402C2 (en) * 2018-07-02 2020-04-21 Cellavision Ab Method and apparatus for training a neural network classifier to classify an image depicting one or more objects of a biological sample
US20210073513A1 (en) * 2019-02-01 2021-03-11 Essen Instruments, Inc. D/B/A Essen Bioscience, Inc. Method for Classifying Cells
JP7352365B2 (ja) * 2019-03-22 2023-09-28 シスメックス株式会社 細胞の分析方法、深層学習アルゴリズムの訓練方法、細胞分析装置、深層学習アルゴリズムの訓練装置、細胞の分析プログラム及び深層学習アルゴリズムの訓練プログラム
JP7100336B2 (ja) * 2019-05-16 2022-07-13 ペイジ．エーアイ インコーポレイテッド デジタル病理学のために、画像を処理し、処理された画像を分類するためのシステムおよび方法
CN112241748A (zh) * 2019-07-16 2021-01-19 广州汽车集团股份有限公司 一种基于多源信息熵差异性的数据降维方法及装置
CN110796668B (zh) * 2019-10-28 2022-04-01 闽江学院 一种基于稀疏限制的白细胞细胞核分割方法
US20220391759A1 (en) * 2019-11-19 2022-12-08 Showa Denko K.K. Machine learning device, method, program, and system
US11625626B2 (en) * 2020-01-31 2023-04-11 Rsa Security Llc Performance improvement recommendations for machine learning models
US11860154B2 (en) * 2020-05-28 2024-01-02 Leuko Labs, Inc Method to detect white blood cells and/or white blood cell subtypes from non-invasive capillary videos
US20220082488A1 (en) * 2020-06-26 2022-03-17 Cytek Biosciences, Inc. Methods of forming multi-color fluorescence-based flow cytometry panel
CN114065826A (zh) * 2020-07-28 2022-02-18 紫东信息科技(苏州)有限公司 图像分类模型的构建方法、分类方法、装置及电子设备
CN112419262A (zh) * 2020-11-19 2021-02-26 上海联影智能医疗科技有限公司 骨髓涂片显微图像分析方法、装置、电子设备及存储介质
CN114663330A (zh) * 2020-12-03 2022-06-24 富泰华工业（深圳）有限公司 干细胞密度确定方法、装置、电子设备及存储介质
CN114765575A (zh) * 2021-01-04 2022-07-19 中国移动通信有限公司研究院 一种网络故障原因预测方法、装置及电子设备
CN112834518A (zh) * 2021-01-06 2021-05-25 优刻得科技股份有限公司 颗粒缺陷检测方法、系统、设备和介质
WO2022244075A1 (ja) * 2021-05-17 2022-11-24 日本電気株式会社 検査システム
CN113435252B (zh) * 2021-05-27 2023-09-29 广西壮族自治区烟草公司百色市公司 一种基于遥感的烟草病虫害监测预警方法和系统
WO2023105547A1 (ja) * 2021-12-06 2023-06-15 日本電気株式会社 分類装置、分類方法、及びプログラム
WO2023172763A1 (en) 2022-03-11 2023-09-14 Beckman Coulter, Inc. Controls and their use in analyzers
US20230334826A1 (en) * 2022-04-13 2023-10-19 Arkray, Inc. Image processing device, data management device, image processing system, image processing method, and non-transitory storage medium
WO2024030620A1 (en) 2022-08-05 2024-02-08 Beckman Coulter, Inc. Identification of immature cell types utilizing imaging
CN116934742B (zh) * 2023-09-13 2024-02-27 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种淋巴结构图像识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126008A1 (en) * 2000-04-24 2004-07-01 Eric Chapoulaud Analyte recognition for urinalysis diagnostic system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4612614A (en) * 1980-09-12 1986-09-16 International Remote Imaging Systems, Inc. Method of analyzing particles in a fluid sample
US6026174A (en) 1992-10-14 2000-02-15 Accumed International, Inc. System and method for automatically detecting malignant cells and cells having malignancy-associated changes
JP4945045B2 (ja) 2000-04-24 2012-06-06 アイアールアイエス インターナショナル， インコーポレイテッド マルチニューラルネット画像装置及びその方法
US20050251347A1 (en) 2004-05-05 2005-11-10 Pietro Perona Automatic visual recognition of biological particles
JP4719619B2 (ja) 2006-05-19 2011-07-06 ポーラ化成工業株式会社 角層細胞の自動鑑別装置
CN102663406A (zh) * 2012-04-12 2012-09-12 中国海洋大学 一种基于显微图像的角毛藻和非角毛藻自动分类方法
CA2901833A1 (en) * 2013-02-28 2014-09-04 Progyny, Inc. Apparatus, method, and system for image-based human embryo cell classification
US9008391B1 (en) 2013-10-22 2015-04-14 Eyenuk, Inc. Systems and methods for processing retinal images for screening of diseases or abnormalities
JP6197659B2 (ja) 2014-01-20 2017-09-20 富士ゼロックス株式会社 検出制御装置、プログラム及び検出システム
CN103745210B (zh) * 2014-01-28 2018-02-06 爱威科技股份有限公司 一种白细胞分类方法及装置
DE112015006268T5 (de) * 2015-04-08 2018-01-25 Olympus Corporation Zellverfolgungs-Korrekturverfahren, Zellverfolgungs-Korrekturgerät und Speichermedium zur temporären Speicherung eines computerlesbaren Zellverfolgungs-Korrekturprogramms
JP7104691B2 (ja) 2016-08-22 2022-07-21 アイリス インターナショナル， インコーポレイテッド 生体粒子の分類のシステム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126008A1 (en) * 2000-04-24 2004-07-01 Eric Chapoulaud Analyte recognition for urinalysis diagnostic system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dimiter Prodanov et al, Automated Segmentation and Morphometry of Cell and Tissue Structures. Selected Algorithms in ImageJ, Molecular Imaging, 2012.03.16. pp.183-208. *
Marten Bernhardt et al, X-Ray Micro- and Nanodiffraction Imaging on Human Mesenchymal Stem Cells and Differentiated Cells, Biophysical Journal, 2016.02.02., Vol.110, pp.680-690. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201433B1 (ko) * 2019-10-10 2021-01-13 연세대학교 산학협력단 기계학습을 이용한 바이오 에어로졸 모니터링 장치 및 그 방법
US11953419B2 (en) 2021-02-23 2024-04-09 Industry-Academic Cooperation Foundation, Yonsei University Apparatus for monitoring bioaerosols using machine learning and method thereof
KR102326602B1 (ko) * 2021-03-24 2021-11-16 주식회사 에니텍 자료동화 및 하이브리드 모델을 적용한 상세 공간 해상도 오염지도 산출 방법 및 정보 제공 방법
KR20230080108A (ko) 2021-11-29 2023-06-07 한국생산기술연구원 딥러닝 기반 미세 액적 분사 상태 모니터링 장치 및 방법

Also Published As

Publication number Publication date
WO2018039216A1 (en) 2018-03-01
CN109952614B (zh) 2023-11-10
US11403751B2 (en) 2022-08-02
JP2019529882A (ja) 2019-10-17
US11900598B2 (en) 2024-02-13
JP7104691B2 (ja) 2022-07-21
EP3500964A1 (en) 2019-06-26
KR102469620B1 (ko) 2022-11-21
US20190228527A1 (en) 2019-07-25
US20220335609A1 (en) 2022-10-20
CN109952614A (zh) 2019-06-28
JP7465914B2 (ja) 2024-04-11
BR112019003144A2 (pt) 2019-05-21
JP2022137166A (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
JP7465914B2 (ja) 生体粒子の分類のシステム及び方法
Patel et al. Automated leukaemia detection using microscopic images
Ghosh et al. Blood smear analyzer for white blood cell counting: a hybrid microscopic image analyzing technique
Ramesh et al. Isolation and two-step classification of normal white blood cells in peripheral blood smears
Ongun et al. Feature extraction and classification of blood cells for an automated differential blood count system
CN107389536B (zh) 基于密度-距离中心算法的流式细胞粒子分类计数方法
Alreza et al. Design a new algorithm to count white blood cells for classification leukemic blood image using machine vision system
Quiñones et al. Leukocyte segmentation and counting based on microscopic blood images using HSV saturation component with blob analysis
Pandit et al. Survey on automatic rbc detection and counting
Meimban et al. Blood cells counting using python opencv
CN115270874A (zh) 一种基于密度估计的流式细胞分类和计数的方法和系统
Sapna et al. Techniques for segmentation and classification of leukocytes in blood smear images-a review
Africa et al. Development of a urine strip analyzer using artificial neural network using an android phone
CN111274949B (zh) 一种基于结构分析的血液病白细胞散点图相似度分析方法
Hafeez et al. Image processing approach for segmentation of WBC nuclei based on K-Means clustering
Ruberto et al. A leucocytes count system from blood smear images.
Sankaran et al. Quantitation of Malarial parasitemia in Giemsa stained thin blood smears using Six Sigma threshold as preprocessor
Deore et al. Image analysis framework for automatic extraction of the progress of an infection
Chitra et al. Detection of aml in blood microscopic images using local binary pattern and supervised classifier
Darane et al. Recognizing Presence of Hematological Disease using Deep Learning
Sheikh et al. Leukocytic cell nucleus identification using boundary cell detection algorithm with dilation and erosion based morphometry
Alqudah et al. Automatic Segmentation and Classification of White Blood Cells in Peripheral Blood Samples.
Mercaldo et al. Blood cells counting and localisation through deep learning object detection
Lin et al. Supervised Neural Networks for the Automatic Classification of Leukocytes in Blood Microscope Images
Menagadevi et al. Web-based Approach for Detection of Acute Lymphoblastic Leukemia From Microscopic Blood Cell Images Using Convolutional Neural Network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant