KR20220133918A - 생물학적 샘플 내의 대상의 체계적인 특징화 - Google Patents
생물학적 샘플 내의 대상의 체계적인 특징화 Download PDFInfo
- Publication number
- KR20220133918A KR20220133918A KR1020227028822A KR20227028822A KR20220133918A KR 20220133918 A KR20220133918 A KR 20220133918A KR 1020227028822 A KR1020227028822 A KR 1020227028822A KR 20227028822 A KR20227028822 A KR 20227028822A KR 20220133918 A KR20220133918 A KR 20220133918A
- Authority
- KR
- South Korea
- Prior art keywords
- classification
- objects
- countable
- connected components
- object detection
- Prior art date
Links
- 239000012472 biological sample Substances 0.000 title description 4
- 238000012512 characterization method Methods 0.000 title description 3
- 230000009897 systematic effect Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000011218 segmentation Effects 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 210000002700 urine Anatomy 0.000 claims abstract description 24
- 210000004027 cell Anatomy 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 241000894006 Bacteria Species 0.000 claims description 6
- 210000003743 erythrocyte Anatomy 0.000 claims description 6
- 210000000265 leukocyte Anatomy 0.000 claims description 6
- 239000013078 crystal Substances 0.000 claims description 4
- 210000003979 eosinophil Anatomy 0.000 claims description 4
- 210000001616 monocyte Anatomy 0.000 claims description 4
- 210000000440 neutrophil Anatomy 0.000 claims description 4
- 230000002485 urinary effect Effects 0.000 claims description 4
- 240000004808 Saccharomyces cerevisiae Species 0.000 claims description 3
- 210000003651 basophil Anatomy 0.000 claims description 3
- 210000002540 macrophage Anatomy 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 32
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000001124 body fluid Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 239000013049 sediment Substances 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000010839 body fluid Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000003608 fece Anatomy 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010003445 Ascites Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010073310 Occupational exposures Diseases 0.000 description 1
- 208000005228 Pericardial Effusion Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000001132 alveolar macrophage Anatomy 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 210000003567 ascitic fluid Anatomy 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 238000004166 bioassay Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 210000002726 cyst fluid Anatomy 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000005170 neoplastic cell Anatomy 0.000 description 1
- 231100000675 occupational exposure Toxicity 0.000 description 1
- 210000004912 pericardial fluid Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000002381 plasma Anatomy 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 210000004910 pleural fluid Anatomy 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001179 synovial fluid Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G01N15/1475—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1486—Counting the particles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Dispersion Chemistry (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
본 발명은 슬라이드 상에 처리된 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 방법에 관한 것으로, 상기 방법은: 전체 슬라이드의 적어도 하나의 디지털화 이미지를 수신하는 단계; 전체 슬라이드의 이미지를 분할함으로써 연결된 구성요소를 검출하는 단계; 분류기를 사용하여 검출한 연결된 구성요소를 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류하는 단계; 계수 가능한 연결된 구성요소의 경우 각각의 분류에 대한 대상의 개수를 획득하기 위해 대상 검출 모델을 이용하는 단계; 계수 불가능한 구성요소의 경우 각각의 분류에 대한 대상의 개수를 획득하기 위해 의미론적 분할 모델을 이용하는 단계; 의미론적 분할 모델 및 대상 검출 모델로부터 획득된 각각의 분류에 대한 대상의 개수를 합산하여 각각의 분류에 대한 대상의 개수를 출력하는 단계를 포함한다.
Description
본 발명은 특히 비뇨기과적 병리의 검출을 위한 생물학적 분석 분야에 관한 것이다. 보다 구체적으로, 본 발명은 피험자의 체액 샘플, 특히 소변 샘플에서 발견될 수 있는 적어도 하나의, 바람직하게는 복수의 대상의 특징화에 대한 정확한 정보를 제공하는 방법에 관한 것이다.
본 발명은 바람직하게는 소변 샘플인 체액 샘플 내의 관련 대상의 분석을 위한 방법 및 시스템에 관한 것이다. 본 발명의 방법 및 시스템은 적어도 하나의 샘플 내의 예를 들어 세포 또는 박테리아를 포함하는 대상을 검출, 식별 및/또는 계수하는 데 유용할 수 있다.
본 발명은 또한 생물학적 샘플, 특히 소변 샘플 내의 대상의 체계적인 조사 및 특징화로부터 발생하는 신뢰 가능한 정보의 표시에 관한 것이다.
샘플 분석은 피험자의 건강 상태에 대한 개요를 제공하기 위한 가장 일반적인 테스트 중 하나이다. 샘플 내의 소정의 특징적인 대상의 출현은 임상적으로 중요할 수 있고/있거나 피험자의 병리학적 상태를 나타낼 수 있다.
소변 샘플은 세포 클러스터, 덩어리 또는 시트와 같은 다양한 대상; 혈액 세포, 예를 들어 적혈구 또는 RBC와 같은 혈액 세포; 요로상피 세포, 특히 비정형 요로상피 세포; 결정체; 림프구, 백혈구 또는 WBC; 호중구, 단핵구, 호산구; 또는 예를 들어 박테리아와 같은 미생물을 포함할 수 있다.
소변 침전물 분석을 수행하는 일반적인 방법은 샘플 내에 존재하는 소변 세포를 현미경 슬라이드 상에 침착시킨 다음, 명시야 광학 기술을 이용하여 슬라이드를 디지털화하는 것이다. 그러나 슬라이드 상에 세포를 침착시키는 데에 주의를 기울임에도 불구하고 불규칙한 세포 레이어, 클러스터 및 그 외의 세포 적층이 슬라이드 상에 나타날 수 있다.
이러한 문제는 이미 선행 기술에서 제기되었다.
선행 기술의 샘플 내의 세포 분석의 예로서, FR2996036은 생물학적 조직 내의 세포를 식별하기 위한 방법을 보고하며, 각각의 세포는 세포막으로 경계지어진 세포질을 포함하며, 이 방법은: a) 서로 다른 세기(intensity) 값을 갖는 복수의 픽셀을 포함하는, 식별될 세포를 포함하는 생물학적 조직의 단면의 원본 디지털 이미지를 획득하는 단계; b) 적어도 하나의 임계 이미지를 자동으로 생성하는 단계; c) 임계값 이미지 내에서 동일한 사전정의된 세기 값을 갖는 복수의 인접한 픽셀들로 형성된 표면을 자동으로 검색하고, 따라서 발견된 각각의 표면이 세포 후보군을 구성하는 단계를 포함한다. 본 발명에 따르면, 사전정의된 세기 값은 세포질에 상응하는 제 1 및 제 2 세기 값의 것이다.
그러나 이러한 방법은 세포의 중첩, 적층, 파일(pile) 및/또는 클러스터를 갖는 샘플에서는 정확하지 않다.
WO2015102948은 주변광 및 디포커싱 노이즈의 영향을 제거한 후에, 주변 영역의 평균 픽셀 값과 중앙 영역의 평균 픽셀 값의 차이를 계산하여 소변 구성요소 분류의 정확도를 향상시키는 것을 목표로 한다.
그러나 이러한 기술은 셀 클러스터를 다루는 데에 도움이 되지 않는다.
WO2015168365는 소변 침전물 이미지의 처리될 블록을 처리하기 위한 방법을 기술하며, 이 방법은:
- 처리될 블록 내의 픽셀 색상을 코드북 내의 kc 색상들 중 하나로 근사하는 단계(여기서 코드북은 소변 샘플 블록의 세트에 생성된 kc 색상들의 세트);
- kc 색상들의 각 색상에 해당하는 색상 근사 결과의 픽셀 개수의 분포 히스토그램을 획득하는 단계;
- 분포 히스토그램의 각 색상에 해당하는 색상 근사 결과의 픽셀 개수를 보정하기 위해 발생 빈도 보정 계수를 이용하는 단계;
- 분포 히스토그램의 각 색상에 해당하는 색상 근사 결과의 보정된 픽셀 개수를 표준화하는 단계; 및 표준화된 분포 히스토그램을 블록 처리의 특성 세트 내의 특성으로서 취하여 처리될 블록을 처리하는 단계를 포함한다.
이러한 기술은 블록이 잘 정의되어 있을 때 특히 유용하지만, 이미지가 흐리거나 문제가 있는 블록에 완전히 초점이 맞춰지지 않은 경우 정확한 결과를 제공하지 않을 수 있다.
또한, 이 방법은 회전, 크기 조정, 병진 이동, 자르기, 미러링, 탄성 변형 중 적어도 하나를 포함하는 데이터 개선 및 전처리 단계를 필요로 한다.
결과적으로, 특히 연령, 흡연 습관 또는 산업적 노출과 관련된 비뇨기과적 병리가 발생할 위험이 있는 많은 인구를 스크리닝하는 데 적합한 소변 샘플 스크리닝 방법을 제안하기 위해, 명시야 이미징에 의해 획득된 무거운 이미지를 다룰 수 있는 비용 효율적이고, 간단하고, 신뢰 가능하며 재생산 가능한 방법 및 시스템을 찾을 필요가 있다.
이것이 본 발명이 소변 샘플의 대상을 식별 및 계수하고 상기 계수 결과를 즉시 표시하기 위해서 디지털화 이미지를 컴퓨팅하는 비용 효율적이고 재생산 가능하며 정확한 수단을 사용함으로써 위에서 언급된 충족되지 않은 요구를 만족시키는 방법에 관한 것인 이유이다. 본 발명은 또한 많은 개수의 샘플을 차례로 신속하게 동작시키는 프로세스를 포함한다.
본 발명은 슬라이드 상에 처리된 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 방법에 관한 것으로, 이 방법은:
- 전체 슬라이드의 적어도 하나의 디지털화 이미지를 수신하는 단계;
- 전체 슬라이드의 이미지를 분할함으로써 연결된 구성요소를 검출하는 단계;
- 분류기를 사용하여 검출한 연결된 구성요소를 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류하는 단계;
- 계수 가능한 연결된 구성요소의 경우:
● 대상을 검출하고 각각의 검출된 대상에 대한 경계 상자 및 연관된 분류를 포함하는 출력을 획득하기 위해 각각의 계수 가능한 연결된 구성요소를 대상 검출 모델에 입력하는 단계;
● 각각의 분류에 대한 대상의 개수를 획득하는 각각의 분류와 연관된 경계 상자를 계수하는 단계;
- 계수 불가능한 구성요소의 경우:
● 각각의 계수 불가능한 연결된 구성요소를 의미론적 분할 모델에 입력하고, 모든 픽셀이 사전정의된 이용가능한 분류들 중 하나의 분류로 분류되는 분할 마스크를 출력으로서 획득하는 단계;
● 각각의 분류에 대해, 분류와 연관된 분할 마스크의 픽셀의 개수로서 획득된 상기 분류의 총 픽셀 면적과 상기 분류의 대상의 평균 면적 사이의 비율로서 대상의 개수를 계수하는 단계;
여기서 의미론적 분할 모델과 대상 검출 모델에 대한 상기 분류는 동일하고,
- 의미론적 분할 모델 및 대상 검출 모델로부터 획득된 각각의 분류에 대한 대상의 개수를 합산하는 단계;
- 각각의 분류에 대한 대상의 개수를 출력하는 단계를 포함한다.
유리하게는, 본 발명의 방법은 초점이 맞지 않은 이미지 또는 슬라이드 상의 대상의 두께로 인해 대상의 경계를 검출하기 어려운 경우에도 대상의 정확한 계수를 가능하게 하며, 실제로 단일 대상 또는 중첩된 대상이 상당한 두께를 가질 때 물체의 일부가 초점이 맞지 않아 이미지가 흐릿하거나 노이즈가 생기게 할 수 있다. 이 방법은 부정확한 분할로 인한 부정확성을 크게 감소시킨다.
일 실시예에서, 의미론적 분할 모델은 U-Net이다.
일 실시예에 따르면, 대상 검출 신경망은 Faster-RCNN, CenterNet, SOLO 또는 YOLO이다.
일 실시예에 따르면, 수신된 디지털화 이미지는 명시야(brightfield) 광학 시스템으로부터 생성된다.
일 실시예에 따르면, 라벨링된 디지털화 이미지의 데이터세트를 이용하여 모델이 훈련된다.
일 실시예에서, 의미론적 분할 모델 및 대상 검출 모델은 임상에 의해 라벨링된 디지털화 이미지의 데이터세트를 사용하여 훈련된다.
일 실시예에서, 의미론적 분할 모델 및 대상 검출 모델은 확률적 경사 하강(stochastic gradient descent) 훈련 방법을 이용하여 훈련된다. 확률적 경사 하강 최적화 방법은 유리하게는 모든 최적화 단계에서 계산 시간을 절약하는 것을 가능하게 한다.
이것은 (전체 훈련 데이터세트로부터 계산된) 실제 경사를 (임의로 선택된 데이터의 하위집합으로부터 계산된) 추정치로 대체하는 것으로 구성된다. 이것은 본 발명에서와 같은 대규모 머신 러닝 문제의 경우에 매우 효과적이다.
일 실시예에서, 각각의 분류는 아래 목록의 대상인:
- 백혈구: 호염기구, 호중구, 대식세포, 단핵구 및 호산구;
- 적혈구;
- 박테리아;
- 비뇨기 결정체;
- 실린더;
- 건강하고 비정형적인 요로상피 세포;
- 편평 세포;
- 반응성 요로상피 세포,
- 효모
중 적어도 하나와 연관된다.
일 실시예에 따르면, 이 방법은 전체 슬라이드의 적어도 한 부분의 디지털화 이미지와 함께 각각의 분류에 대한 대상의 총 계수를 표시하는 단계를 더 포함한다.
일 실시예에 따르면, 이 방법은 디지털화 이미지의 분류 내의 대상의 존재 또는 부재에 대한 정보를 제공하는 적어도 하나의 문자열을 표시하는 단계를 더 포함한다.
일 실시예에서, 이 샘플은 Papanicolaou(또는 Pap) 염색 또는 당업자에게 알려진 임의의 다른 다색성 세포학적 염색에 의해서 착색된다.
본 발명은 또한 슬라이드 상에 처리된 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 시스템에 관한 것으로, 상기 시스템은:
- 다수의 대상을 포함하는 전체 슬라이드의 적어도 하나의 디지털화 이미지를 수신하도록 조정된 적어도 하나의 입력;
- 적어도 하나의 프로세서;
- 각각의 분류에 대한 대상의 개수를 제공하도록 조정된 적어도 하나의 출력을 포함하고,
적어도 하나의 프로세서는:
● 전체 슬라이드의 이미지를 분할함으로써 연결된 구성요소를 검출하고;
● 분류기를 사용하여 상기 검출한 연결된 구성요소를 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류하고;
● 계수 가능한 연결된 구성요소의 경우:
ⅰ. 대상을 검출하고 각각의 대상에 대해 하나의 경계 상자 및 연관된 분류를 출력하도록 구성된 대상 검출 모델에 각각의 계수 가능한 연결된 구성요소를 입력하고;
ⅱ. 각각의 분류에 대한 대상의 개수를 획득하는 각각의 분류와 연관된 경계 상자를 계수하고;
● 계수 불가능한 구성요소의 경우:
ⅰ. 의미론적 분할 모델에 각각의 계수 불가능한 연결된 구성요소를 입력하고 모든 픽셀이 사전정의된 이용가능한 분류들 중 하나의 분류로 분류되는 분할 마스크를 출력으로서 획득하고;
ⅱ. 각각의 분류에 대해, 분류와 연관된 분할 마스크의 픽셀의 개수로서 획득된 상기 분류의 총 픽셀 면적과 상기 분류의 대상의 평균 면적 사이의 비율로서 대상의 개수를 계수하고;
● 의미론적 분할 모델 및 대상 검출 모델로부터 획득된 각각의 분류에 대한 대상의 개수를 합산하도록 구성되고,
의미론적 분할 모델 및 대상 검출 모델에 대한 상기 분류는 동일하다.
동등한 방식으로, 상기 시스템은:
- 다수의 대상을 포함하는 전체 슬라이드의 적어도 하나의 디지털화 이미지를 수신하도록 구성된 획득 모듈;
- 계산 모듈;
- 각각의 분류에 대한 대상의 개수를 출력하도록 구성된 출력 모듈을 포함하고,
계산 모듈은:
● 전체 슬라이드의 이미지를 분할함으로써 연결된 구성요소를 검출하고;
● 분류기를 사용하여 검출한 연결된 구성요소를 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류하고;
● 계수 가능한 연결된 구성요소의 경우:
■ 대상을 검출하고 각각의 대상에 대해 하나의 경계 상자 및 연관된 분류를 출력하도록 구성된 대상 검출 모델에 각각의 계수 가능한 연결된 구성요소를 입력하고;
■ 각각의 분류에 대한 대상의 개수를 획득하는 각각의 분류와 연관된 경계 상자를 계수하고;
● 계수 불가능한 구성요소의 경우:
■ 의미론적 분할 모델에 각각의 계수 불가능한 연결된 구성요소를 입력하고 모든 픽셀이 사전정의된 이용가능한 분류들 중 하나의 분류로 분류되는 분할 마스크를 출력으로서 획득하고;
■ 각각의 분류에 대해, 분류와 연관된 분할 마스크의 픽셀의 개수로서 획득된 상기 분류의 총 픽셀 면적과 상기 분류의 대상의 평균 면적 사이의 비율로서 대상의 개수를 계수하고;
여기서 의미론적 분할 모델 및 대상 검출 모델에 대한 상기 분류는 동일하며,
- 의미론적 분할 모델 및 대상 검출 모델로부터 획득된 각각의 분류에 대한 대상의 개수를 합산하도록 구성된다.
본 발명은 또한 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 컴퓨터 프로그램 제품에 관한 것으로, 프로그램이 컴퓨터에 의해 실행될 때 컴퓨터가 전술된 실시예 중 임의의 하나에 따른 방법의 단계를 수행하게 하는 명령어를 포함한다.
본 발명은 또한 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터가 전술된 실시예 중 어느 하나에 따른 방법의 단계를 수행하게 하는 명령어를 포함하는 컴퓨터 판독가능한 저장 매체에 관한 것이다.
본 발명의 특징 및 이점은 아래의 설명에서 나타날 것이다. 본 발명에 관한 디바이스 및 방법의 여러 구현 모드가 설명될 것이다.
도 1은 일 실시예에 따른 본 발명의 방법의 단계들을 나타내는 블록도이다.
도 2는 연결된 구성요소를 포함하는 전체 디지털 슬라이드 이미지 및 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소 사이에서 연결된 구성요소가 분류되는 방법의 예시가 제공된 도면이다.
도 1은 일 실시예에 따른 본 발명의 방법의 단계들을 나타내는 블록도이다.
도 2는 연결된 구성요소를 포함하는 전체 디지털 슬라이드 이미지 및 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소 사이에서 연결된 구성요소가 분류되는 방법의 예시가 제공된 도면이다.
본 발명에서, 아래의 용어는 다음과 같은 의미를 갖는다:
● 세포에 대한 "비정형"은 비병리적 상황에서 보고되지 않은 적어도 하나의 세포 특징을 갖는 것을 의미한다.
● "비정형 요로상피 세포"(AUC)는 TPSRUC(Paris System for Reporting Urinary Cytology)를 참조하여 본 명세서에 정의된다.
● "명시야 광학 시스템"은 표본이 밝게 빛나는 배경에 대해 어두운 이미지로 나타나도록 전체 샘플을 균일하게 조명함으로써 이미지가 생성되는 이미징 기술을 지칭한다. 명시야 이미징은 샘플의 관찰 및 검사를 위한 일반적인 이미징 기술로서 사용된다.
● "분류"는 피험자의 샘플 내의 대상을 예로서 적혈구와 같은 서로 다른 관심 분류로 카테고리화하는 것을 지칭한다.
● "연결된 구성요소"는 모든 픽셀이 유사한 픽셀 세기 값을 공유하고 어떤 방식으로든 서로 연결된 하나의 대상 또는 대상들의 그룹을 지칭한다. 연결된 구성요소들의 예는 도 2에 도시되었다.
● "카운팅"은 주제 샘플 내의 각각의 관심 분류에 대한 대상의 개수를 나열하는 것을 지칭한다.
● "계수 가능한 연결된 구성요소"는 구성요소들의 그룹을 지칭하며, 본 발명의 경우 이들 구성요소는 훈련된 의사가 그룹으로서 식별할 수 있고, 여기서 훈련된 의사가 각각의 단일 대상을 식별할 수 있으며 따라서 그룹에 포함된 대상의 개수를 계수 가능한 대상(즉, 백혈구, 세포, 박테리아 등)으로 지칭된다. 다른 한 편으로, "계수 가능하지 않은 연결된 구성요소"는 계수 가능한 연결된 구성요소에 상반되는 상황을 지칭하고, 여기서 훈련된 의사는 대상들의 그룹을 식별할 수 있지만 그룹 내의 단일 대상을 식별할 수 없다. 계수 가능한 구성요소 및 계수 불가능한 구성요소의 예가 도 2에 제공되었다. 연결된 구성요소에 대한 객관적인 척도는 일반적으로 훈련된 의사 패널에 의해 정의되며, 이러한 척도는 표준과 유사하며 세포 이미지 분석 분야의 당업자에 의해 수용된다.
● "데이터세트"는 데이터 구동 예측 또는 결정을 내리기 위해 기계 학습(ML) 수학적 모델을 구축하는 데 사용되는 데이터의 모음을 지칭한다. 지도 학습(즉, 라벨링된 훈련 데이터의 형태로 알려진 입출력 예시로부터 함수를 추론하는 것)에서, 세 가지 유형의 ML 데이터세트(ML 세트로도 지칭됨)는 일반적으로 세 가지 개별 작업 유형: 훈련(즉, 파라미터 맞춤), 검증(즉, 학습 프로세스를 제어하도록 사용되는 파라미터인 ML 하이퍼파라미터 조정) 및 테스트(즉, 만족스러운 결과를 제공하는 수학적 모델을 구축하기 위해 활용되는 훈련 데이터세트와 독립적인 검사)에 전용이다.
● "신경망 또는 인공 신경망(ANN)"은 노드(뉴런이라고 지칭됨) 및 가중치로 모델링된 뉴런 간의 연결을 포함하는 ML의 카테고리를 지정한다. 각각의 뉴런에 대해서, 활성 함수에 의해 입력 또는 입력들의 세트의 함수로 출력이 주어진다. 뉴런은 일반적으로 다중 레이어으로 조직화되어, 한 레이어의 뉴런은 바로 이전 레이어과 바로 이어지는 레이어의 뉴런에만 연결된다.
● "YOLO" 또는 "You Only Look Once"는 아키텍처가 대상 검출을 위해 특별히 구성된 단일 컨볼루션 네트워크를 지칭한다.
● "SOLO"(Segmenting Objects by Locations)는 견고하고 안정적인 네트워크 아키텍처를 생성하도록 자기-조직화 특징 맵(SOFM), 주요 구성요소 분석 및 다중 선형 회귀(multivariate linear regression)를 결합하는 일종의 인공 신경망(ANN)을 지칭한다.
● "Faster R-CNN": 2단계 대상 검출기의 제품군에 속하는 대상 검출 모델을 지칭한다. Faster R-CNN의 2단계는 각각 2개의 신경망에 해당한다. RPN(Region Proposal Network)이라고 지칭되는 제 1 단계는 경계 상자 후보의 세트를 출력한다. 제 2 단계는 경계 상자 좌표를 수정하고 경계 상자를 사전정의된 분류로 분류한다.
● "프로세서"라는 용어는 소프트웨어를 실행할 수 있는 하드웨어로 한정되는 것으로 해석되어서는 안 되며, 일반적으로 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍 가능한 논리 디바이스(PLD)를 포함할 수 있는 처리 디바이스를 지칭한다. 프로세서는 또한 컴퓨터 그래픽 및 이미지 처리 또는 다른 기능을 위해 활용되는지 여부에 관계없이 하나 이상의 그래픽 처리 장치(GPU)를 포함할 수 있다. 추가로, 연관된 및/또는 결과적인 기능을 수행할 수 있게 하는 명령어 및/또는 데이터는 예를 들어 집적 회로, 하드 디스크, CD(Compact Disc), DVD(Digital Versatile Disc)와 같은 광 디스크, RAM(랜덤 액세스 메모리) 또는 ROM(읽기 전용 메모리)와 같은 임의의 프로세서 판독가능한 매체 상에 저장될 수 있다. 명령어는 특히 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합에 저장될 수 있다.
● "의미론적 세분화(Semantic Segmentation)": 이미지의 각 픽셀을 사전정의된 분류로 개별적으로 분류하도록 구성된 알고리즘을 지칭한다.
● "조정된" 및 "구성된"이라는 용어는 재료 또는 (펌웨어를 포함하는) 소프트웨어 수단을 통해 영향을 받는지 여부에 관계없이, 본 발명의 초기 구성, 이후의 적응 또는 보완, 또는 이들의 유사 조합을 광범위하게 포함하는 것으로 본 개시내용에서 사용된다.
본 발명은 생물학적 샘플, 특히 슬라이드로 처리된 소변 샘플을 스크리닝하는 비용 효율적이고 처리량이 높은 방법에 관한 것이다. 보다 정확하게는, 본 발명의 방법은 피험자의 생물학적 샘플에 존재하는 대상을 식별 및 계수하는 것을 목적으로 한다.
피험자로부터 소변 샘플이 획득된다. 샘플은 또한 혈액, 혈장, 혈청, 림프액, 복수액, 낭포액, 소변, 담즙, 유두 삼출물, 활액, 기관지폐포 세척액, 가래, 양수, 복막액, 뇌척수액, 흉막 체액, 심낭액, 정액, 타액, 땀, 배설물, 대변 및 폐포대식세포과 같은 다른 체액일 수도 있다. 샘플은 농축될 수 있다.
일 실시예에서, 본 발명의 방법은 피험자로부터 샘플을 획득하는 것을 포함하지 않는다. 일 실시예에서, 피험자의 샘플은 피험자로부터 이전에 획득된 샘플이다. 상기 샘플은 본 발명의 방법에 따라 사용되기 전에 적절한 조건에서 저장될 수 있다.
샘플은 종양성 세포를 나타내거나 요로 병리가 발생할 위험이 있는 건강한 피험자 또는 건강하지 않은 피험자로부터 수집될 수 있다. 본 발명의 방법은 넓은 대상군에 적용되도록 설계된다.
일 실시예에서, 샘플은 균질화되고, 필터 상에 침착된 다음, 그 안에 세포를 침착시키기 위해 유리 슬라이드와 접촉하게 된다. 슬라이드의 재료는 유리인 것이 바람직하지만 예를 들어 폴리카보네이트와 같은 다른 재료일 수 있다. 재료는 일회용 재료일 수 있다.
슬라이드 침전물은 세포의 형태학적 변화를 검출하기 위해 Papanicolaou 염색 프로토콜에 따라 염색되며, 이러한 변화는 암 위험 지표이다. 대안적으로, 서로 다른 착색 수단들이 함께 사용될 수 있다.
염색 후에 슬라이드가 커버된다. 슬라이드는 예를 들어 커버 유리나 플라스틱 필름으로 커버될 수 있다.
일 실시예에 따르면, 소변 샘플의 슬라이드 이미지는 전체 슬라이드 스캐너와 같은 명시야 광학 시스템으로부터 획득된다.
스캐닝 단계를 위해, 탑재된 슬라이드는 예를 들어 Hamamatsu Nanozoomer-S60 슬라이드 스캐너와 같은 임의의 적절한 명시야 광학 시스템을 사용하여 디지털화될 수 있다. 데이터 획득은 Hamamatsu Nanozoomer-S360 슬라이드 스캐너 또는 3DHistech의 P250 또는 P1000으로도 실현될 수 있다.
슬라이드의 디지털화 이미지는 직사각형일 수 있다. 분석될 디지털화 이미지는 각각의 타겟 영역이 분석 대상이 되는 타겟 영역을 정의하도록 잘려질 수 있다. 분석의 정확도를 높이기 위해 민감한 영역이 타겟 영역 내에서 분할될 수 있다.
본 명세서에 개시된 실시예는 본 개시내용에서 기술하는 다양한 동작들을 포함한다. 이 동작들은 명령어로 프로그래밍된 범용 또는 전용 프로세서가 동작을 수행하게 하도록 사용될 수 있는, 기계 실행가능 명령어로 구현될 수 있고/있거나 하드웨어 구성요소에 의해 수행될 수 있다. 대안적으로, 이 동작들은 하드웨어, 소프트웨어 및/또는 펌웨어의 조합에 의해서 수행될 수 있다.
본 명세서에 기술된 하나 이상의 동작의 수행은 단일 기계 내에 존재할 뿐만 아니라 다수의 기계에 걸쳐 배치되는 하나 이상의 프로세서 사이에 분산될 수 있다. 일부 예에서, 하나 이상의 프로세서 또는 프로세서 구현 모듈은 단일의 지리적 위치 내(예를 들어, 가정 환경, 사무실 환경 또는 서버 팜 내)에 위치될 수 있다. 다른 실시예에서, 하나 이상의 프로세서 또는 프로세서 구현 모듈은 다수의 지리적 위치에 걸쳐 분산될 수 있다.
도 1에 도시된 바와 같이, 일 실시예에 따르면, 방법(100)의 제 1 단계(110)는 전체 슬라이드의 적어도 하나의 디지털화 이미지 또는 전체 슬라이드의 적어도 한 부분을 수신하는 것으로 구성된다.
일 실시예에서, 이 방법은 전체 슬라이드의 이미지 또는 전체 슬라이드의 적어도 일부의 분할에 의해 연결된 구성요소를 검출하는 단계(120)를 더 포함한다. 분할 방법은 배경과 전경을 분리할 수 있는 임계값 기반 방식일 수 있다. 전경의 연결된 구성요소는 분할 마스크로부터 검색될 수 있다. 연결된 구성요소는 하나의 대상 또는 대상들의 그룹을 구성한다.
일 실시예에서, 검출한 연결된 구성요소는 예를 들어 컨볼루션 신경망과 같은 분류기를 사용하여 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류된다(단계 130). 계수 가능한 연결된 구성요소는 사람이 그 안에 포함된 각각의 대상을 시각적으로 식별할 수 있는 연결된 구성요소이다. 반대로, 계수 불가능한 연결된 구성요소는 사람이 육안으로 식별할 수 없는 대상이다. 이러한 계수 가능한 연결된 구성요소 및 계수 불가능한 연결된 구성요소의 예가 도 2에 제공되었다.
일 실시예에 따르면, 본 발명의 방법은 계수 가능한 연결된 구성요소에 대해 각각의 계수 가능한 연결된 구성요소를 대상 검출 모델에 입력하는 단계(140)를 포함한다. 대상 검출 모델은 계수 가능한 연결된 구성요소에 포함된 대상을 검출하고 검출된 각각의 대상에 대해 하나의 경계 상자 및 연관된 분류를 출력으로서 획득하도록 구성되며, 여기서 분류는 사전정의된 이용가능한 분류 중에서 선택된다. 따라서 이러한 단계는 대상 검출 모델로부터 검출된 각각의 대상에 대한 경계 상자 및 하나의 연관된 분류를 출력하는 단계를 포함한다.
일 실시예에 따르면, 대상 검출 모델은 Faster-RCNN, CenterNet, SOLO 또는 YOLO이다.
Faster R-CNN에서, 이미지는 컨볼루션 특징 맵을 제공하는 컨볼루션 네트워크에 대한 입력으로서 제공된다. Faster R-CNN은 2개의 모듈로 구성된다. 제 1 모듈은 영역을 제안하는 딥 FCN(deep full convolutional network)이고, 제 2 모듈은 제안된 영역을 사용하는 Faster R-CNN 검출기이다. 전체 시스템은 대상 검출을 위한 단일의 통합된 네트워크이다. '주의' 메커니즘을 갖는 신경망인 RPN 모듈은 영역 제안을 생성하기 위한 것이다. 여기서 Faster R-CNN과의 주요 차이점은 영역 제안을 생성하도록 이후에 선택적인 검색을 사용한다는 것이다. RPN이 대상 검출 네트워크와 대부분의 계산을 공유할 때, 영역 제안을 생성하는 시간 비용은 선택적 검색보다 RPN에서 훨씬 적다. 간략하게, RPN은 (앵커라고 불리는) 영역 상자의 순위를 지정하고 대상을 포함할 가능성이 가장 높은 영역을 제안한다.
2개의 다른 대상 검출 모델(CenterNet, YOLO)과 달리 Faster R-CNN은 2단계 대상 검출기이며, 이는 경계 상자가 먼저 제안된 다음 정제됨을 의미한다. 1단계 검출기에서, 경계 상자는 정제되지 않는다. 따라서 이러한 모델의 성능은 일반적으로 단일 단계의 대상 검출기보다 우수하다.
CenterNet은 각 대상을 한 쌍이 아닌 삼중항(triplet)으로서 키포인트를 검출하여 정밀도 및 리콜을 모두 향상시킨다. CenterNet은 하나의 여분 키포인트를 사용하여 제안의 중앙 부분, 즉 기하학적 중심에 가까운 영역을 탐색한다. CenterNet의 아키텍처는 캐스케이드 코너 풀링 및 센터 풀링을 적용하여 각각 2개의 코너 히트맵과 중앙 키포인트 히트맵을 출력하는 컨볼루션 백본 네트워크를 포함한다. CornerNet과 유사하게, 한 쌍의 검출된 코너 및 유사한 임베딩이 잠재적인 경계 상자를 검출하는 데에 사용된다. 그 다음 최종 경계 상자를 결정하도록 검출된 중심 키포인트가 사용된다. 다른 모델에 비교한 CenterNet의 장점은 일반적으로 추론 시간 동안 구현하기 더욱 쉽고 훈련이 더 빠르다는 것이다.
YOLO는 회귀 및 분류를 수행하기 위해 더 적은 앵커 박스(입력 이미지를 S×S 그리드로 분할)를 사용한다. 보다 상세하게 YOLO는 GoogleNet에 의해 "영향을 받은" 네트워크이다. 이것은 특징 추출기로서 작동하는 24개의 컨볼루션 레이어 및 예측을 수행하기 위한 2개의 완전히 연결된 레이어를 갖는다. 특징 추출기의 아키텍처는 Darknet이라고 불린다. 요약하면, 입력 이미지는 S×S 형태의 특징 맵을 출력하는 특징 추출기(Darknet)에 공급된다. 따라서, 이미지는 S×S 셀의 그리드로 분할된다. 특징 맵의 각각의 셀은 K 분류에 대한 신뢰도 점수 및 분류 확률로 B 경계 상자를 예측하는 2개의 연속적인 완전히 연결된 레이어 블록에 공급된다. 신뢰 점수는 기본적으로 검출된 대상이 실제 대상와 얼마나 겹치는지 측정하는 IOU(교집합) 메트릭의 측면에서 주어진다. 알고리즘이 최소화하는 손실은 경계 상자의 위치 예측(x,y), 크기(h, w), 상기 예측에 대한 신뢰도 점수(대상 점수) 및 예측된 분류(분류 확률)를 고려한다.
반면 SOLO는 인스턴스의 위치 및 크기에 따라 인스턴스 내의 각 픽셀에 카테고리를 할당하는 "인스턴스 카테고리"를 사용하여, 인스턴스 분할을 단일-샷 분류 해결 가능한 문제로 변환한다. 유리하게도 SOLO는 강력한 성능으로 훨씬 더 간단하고 유연한 인스턴스 분할 프레임워크를 제공하여, Mask R-CNN과 동등한 정확도를 달성하며 정확도에 있어서 최근 단일-샷 인스턴스 분할기를 능가한다.
YOLO 및 SOLO의 보다 간단한 아키텍처는 적은 양의 데이터만이 훈련 데이터세트에 이용가능한 의료 분야에서 구현하기에 특히 유리하며, 더욱이 이것은 분석될 각각의 단일 슬라이드 상에 수천 개의 세포가 존재하는 경우에 중요한 보다 빠른 추론을 제공한다.
일 실시예에 따르면, 이 방법은 각각의 분류에 대한 대상의 총 개수를 획득하기 위해 대상 검출 모델의 출력으로서 획득된 각각의 분류와 연관된 경계 상자를 계수하는 단계(150)를 더 포함한다.
일 실시예에 따르면, 이 방법은 각각의 계수 불가능한 연결된 구성요소를 의미론적 분할 모델에 입력하고 모든 픽셀이 사전정의된 이용가능한 분류 중 하나의 분류로 분류되는 분할 마스크를 출력으로서 획득하는 단계(160)를 포함한다. 일부 경우에서, 대상 간의 겹침이 심한 경우 대상이 사람에 의해 개별적으로 식별될 수 없다. 따라서, 이러한 경우 대상 검출 모델은 각각의 개별 대상을 검출하지 못할 것이다. 따라서 분할 모델이 바람직하게는 대상의 대략적인 수를 계산하는 것을 가능하게 한다.
일 실시예에 따르면, 의미론적 분할 모델은 U-Net이다. U-Net의 아키텍처는 이름에 걸맞게 "U"과 같이 보인다. 이러한 아키텍처는: (1)수축 섹션, (2)병목 섹션 및 (3)확장 섹션으로 구성된다.
수축 섹션은 여러 수축 블록으로 구성된다. 입력을 받는 각각의 블록은 2X2 최대 풀링이 이어지는 2개의 3X3 컨볼루션 레이어를 적용한다. 아키텍처가 복잡한 구조를 효과적으로 학습할 수 있도록 각각의 블록 이후의 커널 또는 특징 맵의 개수가 두 배로 늘어난다.
병목 현상은 수축 섹션과 확장 섹션 사이를 중재한다. 이것은 2X2 업샘플링 레이어가 이어지는 2개의 3X3 컨볼루션 레이어를 사용한다.
수축 섹션과 마찬가지로, 확장 섹션은 여러 확장 블록으로 구성된다. 각각의 확장 블록의 시작에서, 상응하는 수축 블록의 출력 특징 맵과 이전 확장 블록의 출력이 연결된다. 그 다음, 이러한 연결된 블록은 2개의 3X3 컨볼루션 레이어과 1개의 2X2 업샘플링 레이어를 통과한다. 각각의 확장 블록에 있어서, 제 1 3X3 컨볼루션 레이어 이후에 특징 맵의 개수가 2로 나누어진다.
마지막으로, 결과적인 특징 맵은 결과적인 특징 맵의 개수가 분류의 개수와 동일한 마지막 1X1 컨볼루션 레이어를 통해서 전달된다.
일 실시예에 따르면, 이 방법은 의미론적 분할 모델의 각각의 분류에 대해, 분류와 연관된 분할 마스크의 픽셀의 개수로서 획득된 상기 분류의 총 픽셀 면적과 상기 분류의 대상의 평균 면적 사이의 비율로서 대상의 개수를 계수하는 단계(170)를 포함한다.
일 실시예에 따르면, 의미론적 분할 모델 및 대상 검출 모델에 대한 사전정의된 분류는 동일하다.
일 실시예에 따르면, 의미론적 분할 모델 및 대상 검출 모델은 라벨링된 디지털화 이미지의 데이터세트를 사용하여 훈련된다.
일 실시예에 따르면, 의미론적 분할 모델 및 대상 검출 모델은 확률적 경사하강(stochastic gradient descent) 훈련 방법을 이용하여 훈련된다.
일 실시예에 따르면, 각각의 분류는 다음 목록의 대상인:
- 백혈구: 호염기구, 호중구, 대식세포, 단핵구 및 호산구;
- 적혈구;
- 박테리아;
- 비뇨기 결정체;
- 실린더;
- 건강하고 비정형적인 요로상피 세포;
- 편평 세포;
- 반응성 요로상피 세포, 및/또는
- 효모.
중 적어도 하나와 연관된다.
일 실시예에 따르면, 이 방법은 전체 슬라이드의 적어도 한 부분의 디지털화 이미지와 함께 각각의 분류에 대한 대상의 총 계수를 표시하는 단계를 더 포함한다. 여기에서 사용자는 유리하게는 디지털화 이미지뿐만 아니라 방법으로 획득된 대상 계수의 결과를 시각화할 수 있다.
일 실시예에 따르면, 이 방법은 디지털화 이미지의 분류 내의 대상의 존재 또는 부재에 대한 정보를 제공하는 적어도 하나의 문자열을 표시하는 단계를 더 포함한다. 문자열은 디지털화 이미지와 함께 표시될 수 있다.
본 발명은 또한 슬라이드 상에 처리된 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 시스템에 관한 것이다. 아래의 내용에서, 모듈은 물리적으로 구별되는 물질적 구성요소가 아닌 기능적 실체로서 이해되어야 한다. 이들은 결과적으로 동일한 실체적이고 구체적인 구성요소 내에 함께 그룹화되거나, 또는 이러한 여러 구성요소로 배포되는 것으로 구현될 수 있다. 또한, 이러한 각각의 모듈은 적어도 2개의 물리적 구성요소 간에 공유될 수 있다. 또한, 모듈은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 혼합 형태로도 구현된다. 이들은 바람직하게는 시스템의 적어도 하나의 프로세서 내에 구현된다.
본 발명의 시스템은 다수의 대상을 포함하는 전체 슬라이드의 적어도 하나의 디지털화 이미지를 수신하도록 구성된 획득 모듈을 포함할 수 있다. 획득 모듈은 전체 슬라이드의 적어도 하나의 이미지를 획득하도록 구성된 명시야 광학 시스템에 연결될 수 있다.
일 실시예에서, 이 시스템은:
- 전체 슬라이드의 이미지를 분할함으로써 연결된 구성요소를 검출하고;
- 분류기를 사용하여 검출한 연결된 구성요소를 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류하고;
- 계수 가능한 연결된 구성요소의 경우:
● 대상을 검출하고 각각의 대상에 대해 하나의 경계 상자 및 연관된 분류를 출력하도록 구성된 대상 검출 모델에 각각의 계수 가능한 연결된 구성요소를 입력하고;
● 각각의 분류에 대한 대상의 개수를 획득하는 각각의 분류와 연관된 경계 상자를 계수하고;
- 계수 불가능한 구성요소의 경우:
● 의미론적 분할 모델에 각각의 계수 불가능한 연결된 구성요소를 입력하고 모든 픽셀이 사전정의된 이용가능한 분류들 중 하나의 분류로 분류되는 분할 마스크를 출력으로서 획득하고;
● 각각의 분류에 대해, 분류와 연관된 분할 마스크의 픽셀의 개수로서 획득된 상기 분류의 총 픽셀 면적과 상기 분류의 대상의 평균 면적 사이의 비율로서 대상의 개수를 계수하고;
의미론적 분할 모델 및 대상 검출 모델에 대한 사전정의된 분류는 동일하고,
- 의미론적 분할 모델 및 대상 검출 모델로부터 획득된 각각의 분류에 대한 대상의 개수를 합산하도록 구성된 계산 모듈을 포함한다.
일 실시예에 따르면, 이 시스템은 각각의 분류에 대한 대상의 개수를 출력하도록 구성된 출력 모듈을 포함한다.
본 발명은 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 컴퓨터 프로그램 제품을 더 포함하고, 이 컴퓨터 프로그램 제품은 프로그램이 컴퓨터에 의해 실행될 때 컴퓨터가 전술된 임의의 실시예에 따른 방법의 단계를 수행하게 하는 명령어를 포함한다.
전술된 방법을 수행하기 위한 컴퓨터 프로그램 제품은 하드웨어 구성요소에 의해 수행되는 동작을 수행하기 위한 특수 목적 컴퓨터 또는 기계로서 동작하도록 프로세서 또는 컴퓨터에 개별적으로 또는 집합적으로 명령하거나 구성하기 위한 컴퓨터 프로그램, 코드 세그먼트, 명령어 또는 이들의 조합으로서 작성될 수 있다. 하나의 예에서, 컴퓨터 프로그램 제품은 컴파일러에 의해 생성된 기계 코드와 같이 컴퓨터 또는 프로세서에 의해 직접 실행되는 기계 코드를 포함한다. 다른 예에서, 컴퓨터 프로그램 제품은 인터프리터(interpreter)를 사용하여 프로세서 또는 컴퓨터에 의해 실행되는 보다 상위 레벨 코드를 포함한다. 당업계의 프로그래머는 전술된 방법의 동작들을 수행하기 위한 알고리즘을 개시하는 도면 및 명세서의 대응하는 설명에서 예시된 블록도 및 흐름도에 기초하여 명령어 또는 소프트웨어를 쉽게 작성할 수 있다.
본 발명은 프로그램이 컴퓨터에 의해 실행될 때, 이 컴퓨터로 하여금 전술된 실시예 중 어느 하나에 따른 방법의 단계를 수행하게 하는 명령어를 포함하는 컴퓨터 판독가능 저장 매체를 더 포함한다.
일 실시예에 따르면, 컴퓨터 판독가능 저장 매체는 비일시적 컴퓨터 판독가능 저장 매체이다.
본 실시예의 방법을 구현하는 컴퓨터 프로그램은 제한적인 것은 아니지만 흔히 SD 카드, 외부 저장 장치, 마이크로칩, 플래시 메모리 장치, 휴대용 하드 드라이브 및 소프트웨어 웹사이트와 같은 배포 컴퓨터 판독가능 저장 매체 상에서 배포될 수 있다. 배포 매체로부터, 컴퓨터 프로그램은 하드 디스크 또는 유사한 중간 저장 매체로 복사될 수 있다. 컴퓨터 프로그램은 컴퓨터 명령어를 배포 매체 또는 중간 저장 매체로부터 컴퓨터의 실행 메모리로 로딩함으로써 실행될 수 있으며, 컴퓨터가 본 발명의 방법에 따라 작동하도록 구성한다. 이러한 모든 동작은 컴퓨터 시스템 분야의 당업자에게 잘 알려져 있다.
프로세서 또는 컴퓨터가 하드웨어 구성요소를 구현하고 전술된 방법을 수행하게 제어하기 위한 명령어 또는 소프트웨어, 그리고 임의의 관련 데이터, 데이터 파일 및 데이터 구조는 하나 이상의 비일시적인 컴퓨터 판독가능 저장 매체에서 지연, 저장 또는 고정된다. 비일시적 컴퓨터 판독가능 저장 매체의 예는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리, CD-ROM, CD-R, CD+R, CD-RW, CD+RW, DVD-ROM, DVD-R, DVD+R, DVD-RW, DVD+RW, DVD-RAM, BD-ROM, BD-R, BD-R LTH, BD-RE, 자기 테이프, 플로피 디스크, 자기-광 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 고체 상태 디스크 및 명령어 또는 소프트웨어 및 임의의 관련 데이터, 데이터 파일 및 데이터 구조를 비일시적인 방식으로 저장할 수 있고 프로세서 또는 컴퓨터가 명령어를 실행하도록 명령어 또는 소프트웨어 및 임의의 관련 데이터, 데이터 파일 및 데이터 구조를 프로세서 또는 컴퓨터에 제공할 수 있는 당업자에게 알려진 임의의 장치를 포함한다. 하나의 예에서, 명령어 또는 소프트웨어 및 임의의 관련 데이터, 데이터 파일 및 데이터 구조는, 명령어 또는 소프트웨어 및 임의의 관련 데이터, 데이터 파일 및 데이터 구조가 프로세서 또는 컴퓨터에 의해 배포 방식으로 저장, 액세스 및 실행되도록 네트워크-결합된 컴퓨터 시스템에 걸쳐 배포된다.
Claims (15)
- 슬라이드 상에 처리된 소변 샘플로부터 회수 가능한 대상을 분류 및 계수(counting)하기 위한 방법(100)으로서, 상기 방법은:
- 전체 슬라이드의 적어도 하나의 디지털화 이미지(digitalized image)를 수신하는 단계(110);
- 전체 슬라이드의 이미지를 분할(segmentation)함으로써 연결된 구성요소를 검출하는 단계(120);
- 분류기를 사용하여 상기 검출한 연결된 구성요소를 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류하는 단계(130);
- 상기 계수 가능한 연결된 구성요소의 경우:
● 대상을 검출하고 각각의 검출된 대상에 대한 경계 상자(bounding box) 및 연관된 분류를 포함하는 출력을 획득하기 위해 각각의 계수 가능한 연결된 구성요소를 대상 검출 모델에 입력하는 단계(140);
● 각각의 분류에 대한 대상의 개수를 획득하는 각각의 분류와 연관된 상기 경계 상자를 계수하는 단계(150);
- 상기 계수 불가능한 구성요소의 경우:
● 각각의 계수 불가능한 연결된 구성요소를 의미론적 분할 모델(semantic segmentation model)에 입력하고(160), 여기서 모든 픽셀이 다수의 사전정의된 이용가능한 분류들 중 하나의 분류로 분류되는 분할 마스크(segmentation mask)를 출력으로서 획득하는 단계;
● 각각의 분류에 대해, 상기 분류와 연관된 분할 마스크의 픽셀의 개수로서 획득된, 상기 분류의 총 픽셀 면적과 상기 분류의 대상의 평균 면적 사이의 비율로서 대상의 개수를 계수하는 단계(170);
- 상기 의미론적 분할 모델 및 상기 대상 검출 모델로부터 획득된 각각의 분류에 대한 대상의 개수를 합산하는 단계;
- 각각의 분류에 대한 대상의 개수를 출력하는 단계를 포함하고,
상기 의미론적 분할 모델 및 상기 대상 검출 모델에 대한 상기 분류는 동일한, 방법. - 제 1 항에 있어서,
상기 의미론적 분할 모델은 U-Net인, 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 대상 검출 모델은 Faster-RCNN, CenterNet, SOLO 또는 YOLO인, 방법. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 수신된 디지털화 이미지는 명시야(brightfield) 광학 시스템으로부터 생성되는, 방법. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 의미론적 분할 모델 및 상기 대상 검출 모델은 라벨링된(labelled) 디지털화 이미지의 데이터세트(dataset)를 사용하여 훈련되는, 방법. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 의미론적 분할 모델 및 상기 대상 검출 모델은 확률적 경사 하강(stochastic gradient descent) 훈련 방법을 이용하여 훈련되는, 방법. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 의미론적 분할 모델 및 상기 대상 검출 모델의 각각의 분류는 아래 목록:
- 백혈구: 호염기구, 호중구, 대식세포, 단핵구 및 호산구;
- 적혈구;
- 박테리아;
- 비뇨기 결정체;
- 실린더;
- 건강하고 비정형적인 요로상피 세포;
- 편평 세포;
- 반응성 요로상피 세포, 및/또는
- 효모
의 대상 중 적어도 하나와 연관되는, 방법. - 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
전체 슬라이드의 적어도 한 부분의 상기 디지털화 이미지와 함께 각각의 분류에 대한 대상의 총 계수를 표시하는 단계를 더 포함하는, 방법. - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 디지털화 이미지와 함께 분류 내의 대상의 존재 또는 부재에 대한 정보를 제공하는 적어도 하나의 문자열을 표시하는 단계를 더 포함하는, 방법. - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 샘플이 Pap 염색(stain)에 의해 착색되는, 방법. - 슬라이드 상에 처리된 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 시스템으로서, 상기 시스템은:
- 다수의 대상을 포함하는 전체 슬라이드의 적어도 하나의 디지털화 이미지를 수신하도록 조정된 적어도 하나의 입력;
- 적어도 하나의 프로세서;
- 각각의 분류에 대한 대상의 개수를 제공하도록 조정된 적어도 하나의 출력을 포함하고,
상기 적어도 하나의 프로세서는:
● 전체 슬라이드의 이미지를 분할함으로써 연결된 구성요소를 검출하고;
● 분류기를 사용하여 상기 검출한 연결된 구성요소를 계수 가능한 연결된 구성요소와 계수 불가능한 연결된 구성요소로 분류하고;
● 상기 계수 가능한 연결된 구성요소의 경우:
ⅰ. 대상을 검출하고 각각의 대상에 대해 하나의 경계 상자 및 연관된 분류를 출력하도록 구성된 대상 검출 모델에 각각의 계수 가능한 연결된 구성요소를 입력하고;
ⅱ. 각각의 분류에 대한 대상의 개수를 획득하는 각각의 분류와 연관된 상기 경계 상자를 계수하고;
● 상기 계수 불가능한 구성요소의 경우:
ⅰ. 각각의 계수 불가능한 연결된 구성요소를 의미론적 분할 모델에 입력하고, 모든 픽셀이 사전정의된 이용가능한 분류들 중 하나의 분류로 분류되는 분할 마스크를 출력으로서 획득하고;
ⅱ. 각각의 분류에 대해, 상기 분류와 연관된 분할 마스크의 픽셀의 개수로서 획득된, 상기 분류의 총 픽셀 면적과 상기 분류의 대상의 평균 면적 사이의 비율로서 대상의 개수를 계수하고;
● 상기 의미론적 분할 모델 및 상기 대상 검출 모델로부터 획득된 각각의 분류에 대한 대상의 개수를 합산하도록 구성되고,
상기 의미론적 분할 모델 및 상기 대상 검출 모델에 대한 상기 분류는 동일한, 시스템. - 제 11 항에 있어서,
상기 대상 검출 모델은 Faster-RCNN, CenterNet, SOLO 또는 YOLO인, 시스템. - 제 11 항 또는 제 12 항에 있어서,
상기 의미론적 분할 모델 및 상기 대상 검출 모델은 라벨링된 디지털화 이미지의 데이터세트를 사용하여 훈련되는, 시스템. - 소변 샘플로부터 회수 가능한 대상을 분류 및 계수하기 위한 컴퓨터 프로그램 제품으로서,
상기 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터가 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하게 하는 명령어를 포함하는, 컴퓨터 프로그램 제품. - 프로그램이 컴퓨터에 의해 실행될 때, 상기 컴퓨터가 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하게 하는 명령어를 포함하는 컴퓨터 판독가능한 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20305082 | 2020-01-30 | ||
| EP20305082.8 | 2020-01-30 | ||
| PCT/EP2021/052105 WO2021152089A1 (en) | 2020-01-30 | 2021-01-29 | Systematic characterization of objects in a biological sample |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220133918A true KR20220133918A (ko) | 2022-10-05 |
Family
ID=69528727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227028822A KR20220133918A (ko) | 2020-01-30 | 2021-01-29 | 생물학적 샘플 내의 대상의 체계적인 특징화 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20230066976A1 (ko) |
| EP (1) | EP4097631A1 (ko) |
| JP (1) | JP2023513022A (ko) |
| KR (1) | KR20220133918A (ko) |
| CN (1) | CN115210779A (ko) |
| CA (1) | CA3166288A1 (ko) |
| WO (1) | WO2021152089A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230056175A (ko) * | 2021-10-20 | 2023-04-27 | 주식회사 뷰노 | 의료 영상 분석 방법 |
| CN114047109B (zh) * | 2022-01-11 | 2022-06-21 | 深圳市帝迈生物技术有限公司 | 一种样本分析仪及其计数方法 |
| CN114049569B (zh) * | 2022-01-13 | 2022-03-18 | 自然资源部第三地理信息制图院 | 一种深度学习模型性能评价方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2721392B1 (en) * | 2011-06-17 | 2021-05-19 | Roche Diagnostics Hematology, Inc. | System and method for sample display and review |
| FR2996036B1 (fr) | 2012-09-25 | 2014-10-24 | Ecole Norm Superieure Lyon | Procede d'identification de cellules dans un tissu biologique |
| CN104751167A (zh) | 2013-12-31 | 2015-07-01 | 西门子医疗保健诊断公司 | 尿液有形成分分类方法和装置 |
| CN105096293B (zh) | 2014-04-30 | 2018-12-07 | 西门子医疗保健诊断公司 | 用于处理尿液沉渣图像的待处理区块的方法和装置 |
| US10552663B2 (en) * | 2017-05-02 | 2020-02-04 | Techcyte, Inc. | Machine learning classification and training for digital microscopy cytology images |
-
2021
- 2021-01-29 KR KR1020227028822A patent/KR20220133918A/ko unknown
- 2021-01-29 CA CA3166288A patent/CA3166288A1/en active Pending
- 2021-01-29 WO PCT/EP2021/052105 patent/WO2021152089A1/en unknown
- 2021-01-29 EP EP21701802.7A patent/EP4097631A1/en active Pending
- 2021-01-29 JP JP2022546073A patent/JP2023513022A/ja active Pending
- 2021-01-29 CN CN202180018102.4A patent/CN115210779A/zh active Pending
- 2021-01-29 US US17/795,755 patent/US20230066976A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN115210779A (zh) | 2022-10-18 |
| WO2021152089A1 (en) | 2021-08-05 |
| JP2023513022A (ja) | 2023-03-30 |
| CA3166288A1 (en) | 2021-08-05 |
| EP4097631A1 (en) | 2022-12-07 |
| US20230066976A1 (en) | 2023-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11901077B2 (en) | Multiple instance learner for prognostic tissue pattern identification | |
| US11803968B2 (en) | Automated stereology for determining tissue characteristics | |
| JP7201681B2 (ja) | 単一チャネル全細胞セグメンテーションのためのシステム及び方法 | |
| US10528848B2 (en) | Histomorphometric classifier to predict cardiac failure from whole-slide hematoxylin and eosin stained images | |
| Hegde et al. | Automated decision support system for detection of leukemia from peripheral blood smear images | |
| KR20220133918A (ko) | 생물학적 샘플 내의 대상의 체계적인 특징화 | |
| JP5602717B2 (ja) | 高密度細胞集団の自動セグメンテーション方法およびシステム | |
| CN111819569A (zh) | 对组织切片图像的虚拟染色 | |
| CA2948499A1 (en) | System and method for classifying and segmenting microscopy images with deep multiple instance learning | |
| CA3138959A1 (en) | Image diagnostic system, and methods of operating thereof | |
| Di Ruberto et al. | A leucocytes count system from blood smear images: Segmentation and counting of white blood cells based on learning by sampling | |
| Shirazi et al. | Extreme learning machine based microscopic red blood cells classification | |
| Ganapathy et al. | CometQ: An automated tool for the detection and quantification of DNA damage using comet assay image analysis | |
| JP2022521205A (ja) | 人工知能を使用した大きな画像データセット中の目的の細胞の検出 | |
| Peng et al. | PombeX: robust cell segmentation for fission yeast transillumination images | |
| Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
| Delpiano et al. | Automated detection of fluorescent cells in in‐resin fluorescence sections for integrated light and electron microscopy | |
| CN111815633A (zh) | 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质 | |
| RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
| Foucart et al. | Artifact identification in digital pathology from weak and noisy supervision with deep residual networks | |
| Teverovskiy et al. | Improved prediction of prostate cancer recurrence based on an automated tissue image analysis system | |
| Sudha et al. | Leukocyte segmentation in peripheral blood images using a novel edge strength cue-based location detection method | |
| US20230162485A1 (en) | Digital analysis of preanalytical factors in tissues used for histological staining | |
| Kotyk et al. | Detection of dead stained microscopic cells based on color intensity and contrast | |
| Rifkin | Identifying fluorescently labeled single molecules in image stacks using machine learning |