KR102622542B1 - 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 방법 및 장치 - Google Patents
의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR102622542B1 KR102622542B1 KR1020197027374A KR20197027374A KR102622542B1 KR 102622542 B1 KR102622542 B1 KR 102622542B1 KR 1020197027374 A KR1020197027374 A KR 1020197027374A KR 20197027374 A KR20197027374 A KR 20197027374A KR 102622542 B1 KR102622542 B1 KR 102622542B1
- Authority
- KR
- South Korea
- Prior art keywords
- histological
- image
- sample
- images
- target
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 210000001519 tissue Anatomy 0.000 description 56
- 230000000875 corresponding effect Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 18
- 230000011218 segmentation Effects 0.000 description 16
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012014 optical coherence tomography Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000001000 micrograph Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013107 unsupervised machine learning method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
의료 이미징 디바이스에 의해 캡처된 하나 이상의 조직학적 이미지를 프로세싱하기 위한 방법이 개시된다. 이 방법에서, 조직학적 이미지가 수신되고, 각각이 후보 조직 유형에 대응하는 타깃 영역들이 하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여 식별된다. 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성이 조직학적 이미지에 적용된다.
Description
본 출원은 2017년 2월 21일자로 출원된 선행 미국 가특허 출원 제62/461,490호, 및 2017년 9월 27일자로 출원된 미국 가특허 출원 제62/563,751호에 기초하고 이로부터 우선권의 이익을 주장하며, 이 미국 출원들의 전체 내용은 참고로 본 명세서에 포함된다.
본 개시는 일반적으로 디스플레이를 위해 조직학적 이미지(histological image)를 프로세싱하는 것에 관한 것으로서, 보다 구체적으로는, 준지도 학습 모델(semi-supervised learning model)을 사용하여 조직학적 이미지의 수정된 이미지를 생성하는 것에 관한 것이다.
조직학에서, H&E(헤마톡실린 및 에오신) 염색이 의료 진단에 널리 사용되어 왔다. 예를 들면, 환자의 신체에서 암과 같은 의심되는 병변을 검사하기 위해, 의사는 의심되는 병변의 샘플을 획득하고 H&E 염색의 현미경 사진을 생성하기 위한 미리 결정된 절차를 수행할 수 있다. 의사는 이어서 환자의 질병을 진단하기 위해 현미경으로 H&E 염색의 현미경 사진을 볼 수 있다. H&E 염색의 현미경 사진을 획득하기 위해, 환자로부터의 의심되는 병변의 샘플은 전형적으로 조직학 실험실로 보내진다. 또한, H&E 염색의 현미경 사진을 생성하기 위해 일련의 미리 결정된 절차들이 수행된다. 그러한 절차들은 H&E 염색의 현미경 사진을 획득하는 데 보통 하루 이상이 소요된다. 일부 경우들에서, 질병의 적시 치료를 제공하기 위해, 외과 수술 동안 질병의 신속한 진단이 요구될 수 있다. 그렇지만, 상기 절차들에 따르면, 의심되는 병변에 대한 질병이 수술 동안 즉시 진단되지 않을 수 있다.
한편, CT(Computer Tomography), MRI(Magnetic Resonance Imaging) 현미경 사진들 등과 같은 이미지들이 캡처되어 잠재적 환자를 확실하게 진단하는 데 사용될 수 있다. 그렇지만, 그러한 현미경 사진 이미지를 캡처하는 것은 잠재적 환자에게 상대적으로 비용이 많이 들 수 있다. 또한, 그러한 CT 및 MRI 디바이스들은 너무 거대하여 수술 동안 인체의 일 부분을 캡처하는 데 사용될 수 없다. 즉, 이 디바이스들은 수술 동안 수술실에 위치되거나 수술실로 이동하기에 적합하지 않을 수 있다.
즉각적이고 신속한 진단을 위해, OCT(Optical Coherence Tomography) 디바이스와 같은 의료 이미징 디바이스에 의해 캡처된 상대적으로 낮은 품질을 갖는 이미지들이 환자에서의 의심되는 병변을 위치확인하기 위해 사용되어 왔다. 그러한 이미지는 CT 및/또는 MRI 현미경 사진들보다 저렴하게 획득될 수 있고 H&E 염색의 현미경 사진들보다 신속하게 생성될 수 있다. 그렇지만, 그러한 이미지는 이미지에서 하나 이상의 조직 유형의 질병을 정확하게 진단하기에 적합한 가시성(visibility)을 갖추지 못할 수 있다.
본 개시에 기재된 실시예들은 준지도 학습 모델일 수 있는 예측 모델을 사용하여 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지의 수정된 이미지를 생성하는 것에 관한 것이다.
본 개시의 일 양태에 따르면, 의료 이미징 디바이스에 의해 캡처된 하나 이상의 조직학적 이미지를 프로세싱하기 위해, 컴퓨터에 의해, 수행되는 방법이 개시된다. 이 방법에서, 적어도 하나의 조직 유형을 포함하는 조직학적 이미지들 각각이 수신되고, 조직학적 이미지들 각각에서의 적어도 하나의 후보 조직 유형이 제1 오토인코더(autoencoder)에 의해 결정된다. 조직학적 이미지에서의 적어도 하나의 후보 조직 유형에 대응하는 적어도 하나의 타깃 영역이 제1 오토인코더에 의해 식별된다. 조직학적 이미지들 각각에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지는 하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여 식별된다. 식별된 타깃 조직학적 이미지 또는 이미지들과 연관된 하나 이상의 디스플레이 특성이 조직학적 이미지에 적용된다. 본 개시는 이 방법에 관련된 디바이스 및 컴퓨터 판독가능 매체를 또한 설명한다.
본 개시의 일 양태는 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위해, 컴퓨터에 의해, 수행되는 방법에 관한 것이며, 이 방법은: 적어도 하나의 조직 유형을 포함하는 조직학적 이미지를 수신하는 단계; 제1 오토인코더에 의해, 조직학적 이미지에서의 후보 조직 유형을 결정하는 단계; 제1 오토인코더에 의해, 조직학적 이미지에서의 후보 조직 유형에 대응하는 타깃 영역을 식별하는 단계; 하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하는 단계; 및 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지에 적용하는 단계를 포함한다. 이 방법은 적용된 디스플레이 특성들을 포함하는 조직학적 이미지의 수정된 이미지를 생성하는 단계를 더 포함할 수 있다.
일 실시예에서, 예측 모델은 샘플 조직학적 이미지들 각각에서의 제1 패치 세트 및 샘플 타깃 조직학적 이미지들 각각에서의 제2 패치 세트를 포함할 수 있고, 예측 모델에서 제1 패치 세트는 제2 패치 세트와 연관되며, 하나 이상의 디스플레이 특성을 적용하는 단계는 식별된 적어도 하나의 타깃 조직학적 이미지에서의 제2 패치 세트에 기초하여 수신된 조직학적 이미지에서의 복수의 패치들을 수정하는 단계를 포함한다.
일 실시예에서, 후보 조직 유형에 대응하는 타깃 영역을 식별하는 단계는 조직학적 이미지에서의 타깃 영역을 포함하는 복수의 영역들을 식별하는 단계를 포함할 수 있고, 예측 모델은 샘플 조직학적 이미지들 각각에서의 제1 영역 세트 및 샘플 타깃 조직학적 이미지들 각각에서의 제2 영역 세트를 포함하며, 예측 모델에서 제1 영역 세트는 제2 영역 세트와 연관되고, 하나 이상의 디스플레이 특성을 적용하는 단계는 식별된 적어도 하나의 타깃 조직학적 이미지에서의 제2 영역 세트에 기초하여 수신된 조직학적 이미지에서의 복수의 영역들을 수정하는 단계를 포함한다.
일 실시예에서, 제1 비지도 학습 모델은 제1 샘플 조직학적 이미지 세트에 기초하여 제1 오토인코더를 트레이닝하는 것에 의해 생성될 수 있다. 일 실시예에서, 예측 모델은 제1 비지도 학습 모델 및 제2 비지도 학습 모델에 기초하여 생성될 수 있고, 제2 비지도 학습 모델은 제2 샘플 타깃 조직학적 이미지 세트를 트레이닝하는 것에 의해 생성될 수 있다. 일 실시예에서, 제1 샘플 조직학적 이미지 세트에서의 M개의 샘플 조직학적 이미지의 하나 이상의 해부학적 위치는 제2 샘플 타깃 조직학적 이미지 세트에서의 N개의 샘플 타깃 조직학적 이미지의 하나 이상의 해부학적 위치와 매칭하도록 정렬될 수 있으며, M 및 N은 양의 정수들이다. 일 실시예에서, 예측 모델은 하나 이상의 디스플레이 특성을 나타내는 하나 이상의 특징에 관한 데이터를 포함할 수 있고, N개의 샘플 타깃 조직학적 이미지로부터의 하나 이상의 특징을 M개의 샘플 조직학적 이미지로부터의 하나 이상의 특징과 연관시키는 것에 의해 트레이닝된다.
일 실시예에서, 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지는 타깃 구조체의 하나 이상의 조직학적 이미지를 포함할 수 있고, 타깃 구조체는 가시 표면으로부터 2 내지 4 mm의 깊이를 가질 수 있다. 일 실시예에서, 제1 비지도 학습 모델은 조직학적 이미지에서의 타깃 영역과 연관된 하나 이상의 특징에 기초하여 트레이닝될 수 있다. 일 실시예에서, 제1 비지도 학습 모델, 제2 비지도 학습 모델, 및 예측 모델 각각은 인공 신경 네트워크의 하나 이상의 모델 하이퍼파라미터(model hyperparameters) 및 하나 이상의 가중치에 의해 정의된 다층 모델(multilayer model)을 포함할 수 있다.
본 개시의 일 양태는 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 이미지 프로세싱 디바이스에 관한 것이며, 이 디바이스는: 적어도 하나의 조직 유형을 포함하는 조직학적 이미지를 수신하고, 조직학적 이미지에서의 후보 조직 유형을 결정하며, 조직학적 이미지에서의 후보 조직 유형에 대응하는 타깃 영역을 식별하도록 구성된 제1 오토인코더; 및 하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하고, 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지에 적용하도록 구성된 이미지 생성 유닛을 포함한다.
일 실시예에서, 이미지 생성 유닛은 적용된 디스플레이 특성들을 포함하는 조직학적 이미지의 수정된 이미지를 생성하도록 더 구성될 수 있다. 일 실시예에서, 제1 오토인코더는 조직학적 이미지에서의 타깃 영역을 포함하는 복수의 영역들을 식별하도록 더 구성될 수 있고, 예측 모델은 샘플 조직학적 이미지들 각각에서의 제1 영역 세트 및 샘플 타깃 조직학적 이미지들 각각에서의 제2 영역 세트를 포함하며, 예측 모델에서 제1 영역 세트는 제2 영역 세트와 연관되고, 이미지 생성 유닛은 식별된 적어도 하나의 타깃 조직학적 이미지에서의 제2 영역 세트에 기초하여 수신된 조직학적 이미지에서의 복수의 영역들을 수정하도록 더 구성된다.
일 실시예에서, 제1 비지도 학습 모델은 제1 샘플 조직학적 이미지 세트에 기초하여 제1 오토인코더를 트레이닝하는 것에 의해 생성될 수 있다. 일 실시예에서, 예측 모델은 제1 비지도 학습 모델 및 제2 비지도 학습 모델에 기초하여 생성될 수 있고, 제2 비지도 학습 모델은 제2 샘플 타깃 조직학적 이미지 세트를 트레이닝하는 것에 의해 생성될 수 있다. 일 실시예에서, 제1 샘플 조직학적 이미지 세트에서의 M개의 샘플 조직학적 이미지의 하나 이상의 해부학적 위치는 제2 샘플 타깃 조직학적 이미지 세트에서의 N개의 샘플 타깃 조직학적 이미지의 하나 이상의 해부학적 위치와 매칭하도록 정렬될 수 있으며, M 및 N은 양의 정수들이다.
본 개시의 일 양태는 조직학적 이미지를 프로세싱하기 위한 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체에 관한 것이며, 이 명령어들은 컴퓨터의 프로세서로 하여금 동작들을 수행하게 하며, 이 동작들은: 적어도 하나의 조직 유형을 포함하는 조직학적 이미지를 수신하는 동작; 조직학적 이미지에서의 후보 조직 유형을 결정하는 동작; 조직학적 이미지에서의 후보 조직 유형에 대응하는 타깃 영역을 식별하는 동작; 하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하는 동작; 및 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지에 적용하는 동작을 포함한다.
일 실시예에서, 후보 조직 유형에 대응하는 타깃 영역을 식별하는 동작은 조직학적 이미지에서의 타깃 영역을 포함하는 복수의 영역들을 식별하는 동작을 포함할 수 있고, 여기서 예측 모델은 샘플 조직학적 이미지들 각각에서의 제1 영역 세트 및 샘플 타깃 조직학적 이미지들 각각에서의 제2 영역 세트를 포함하며, 여기서 예측 모델에서 제1 영역 세트는 제2 영역 세트와 연관되고, 여기서 하나 이상의 디스플레이 특성을 적용하는 동작은 식별된 적어도 하나의 타깃 조직학적 이미지에서의 제2 영역 세트에 기초하여 수신된 조직학적 이미지에서의 복수의 영역들을 수정하는 동작을 포함한다.
일 실시예에서, 예측 모델은 복수의 디스플레이 특성들을 나타내는 하나 이상의 특징을 포함할 수 있고, 제2 샘플 타깃 조직학적 이미지 세트에서의 N개의 샘플 타깃 조직학적 이미지로부터의 하나 이상의 특징을 제1 샘플 조직학적 이미지 세트에서의 M개의 샘플 조직학적 이미지로부터의 하나 이상의 특징과 연관시키는 것에 의해 트레이닝될 수 있으며, M 및 N은 양의 정수들이다.
본 개시의 발명 양태들의 실시예들은, 첨부 도면들과 관련하여 읽을 때, 하기의 상세한 설명을 참조하여 이해될 것이다.
도 1은 본 개시의 일 실시예에 따른, 의료 이미징 디바이스가 의료 수술 동안 작동하고 있으며 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지의 수정된 이미지가 디스플레이 유닛 상에 디스플레이되는 수술실 환경을 나타내고 있다.
도 2는 본 개시의 일 실시예에 따른, 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하고, 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지에 적용하는 것에 의해 조직학적 이미지의 수정된 이미지를 생성하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른, 제1 오토인코더, 제2 오토인코더, 및 지도 연관 학습기(supervised association learner)를 트레이닝하는 것에 의해 예측 모델을 생성하고 제1 오토인코더 및 예측 모델에 기초하여 조직학적 이미지를 프로세싱하도록 구성된 이미지 프로세싱 디바이스의 블록도를 예시하고 있다.
도 4는 본 개시의 일 실시예에 따른, 조직학적 이미지들의 제1 샘플 이미지 데이터베이스에서의 샘플 조직학적 이미지들에 기초하여 제1 오토인코더를 트레이닝하는 것에 의해 생성될 수 있는 제1 비지도 학습 모델의 블록도를 나타내고 있다.
도 5는 본 개시의 일 실시예에 따른, 타깃 조직학적 이미지들의 제2 샘플 이미지 데이터베이스에서의 샘플 타깃 조직학적 이미지들에 기초하여 제2 오토인코더를 트레이닝하는 것에 의해 생성될 수 있는 제2 비지도 학습 모델의 블록도를 예시하고 있다.
도 6은 본 개시의 일 실시예에 따른, 매칭하는 이미지들의 골든 세트(golden set)에 기초하여 제2 비지도 학습 모델을 제1 비지도 학습 모델과 연관시키는 것에 의해 예측 모델을 생성하도록 구성된 이미지 프로세싱 디바이스 내의 지도 연관 학습기를 도시하고 있다.
도 7은 본 개시의 일 실시예에 따른, 예측 모델에 기초하여 조직학적 이미지의 수정된 이미지를 생성하기 위해 사용되는 프로세서 내의 이미지 생성 유닛 및 제1 오토인코더의 블록도를 나타내고 있다.
도 8은 본 개시의 일 실시예에 따른, 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 수신하고 제1 오토인코더 및 예측 모델을 사용하여 조직학적 이미지의 수정된 이미지를 생성하기 위한 방법의 플로우차트이다.
도 9는 본 개시의 일 실시예에 따른, 제1 및 제2 비지도 학습 모델들을 생성하기 위해 제1 및 제2 오토인코더들을 트레이닝하고 매칭하는 이미지들의 골든 세트에 기초하여 제2 비지도 학습 모델을 제1 비지도 학습 모델과 연관시키는 것에 의해 예측 모델을 생성하기 위한 방법의 플로우차트이다.
도 1은 본 개시의 일 실시예에 따른, 의료 이미징 디바이스가 의료 수술 동안 작동하고 있으며 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지의 수정된 이미지가 디스플레이 유닛 상에 디스플레이되는 수술실 환경을 나타내고 있다.
도 2는 본 개시의 일 실시예에 따른, 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하고, 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지에 적용하는 것에 의해 조직학적 이미지의 수정된 이미지를 생성하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른, 제1 오토인코더, 제2 오토인코더, 및 지도 연관 학습기(supervised association learner)를 트레이닝하는 것에 의해 예측 모델을 생성하고 제1 오토인코더 및 예측 모델에 기초하여 조직학적 이미지를 프로세싱하도록 구성된 이미지 프로세싱 디바이스의 블록도를 예시하고 있다.
도 4는 본 개시의 일 실시예에 따른, 조직학적 이미지들의 제1 샘플 이미지 데이터베이스에서의 샘플 조직학적 이미지들에 기초하여 제1 오토인코더를 트레이닝하는 것에 의해 생성될 수 있는 제1 비지도 학습 모델의 블록도를 나타내고 있다.
도 5는 본 개시의 일 실시예에 따른, 타깃 조직학적 이미지들의 제2 샘플 이미지 데이터베이스에서의 샘플 타깃 조직학적 이미지들에 기초하여 제2 오토인코더를 트레이닝하는 것에 의해 생성될 수 있는 제2 비지도 학습 모델의 블록도를 예시하고 있다.
도 6은 본 개시의 일 실시예에 따른, 매칭하는 이미지들의 골든 세트(golden set)에 기초하여 제2 비지도 학습 모델을 제1 비지도 학습 모델과 연관시키는 것에 의해 예측 모델을 생성하도록 구성된 이미지 프로세싱 디바이스 내의 지도 연관 학습기를 도시하고 있다.
도 7은 본 개시의 일 실시예에 따른, 예측 모델에 기초하여 조직학적 이미지의 수정된 이미지를 생성하기 위해 사용되는 프로세서 내의 이미지 생성 유닛 및 제1 오토인코더의 블록도를 나타내고 있다.
도 8은 본 개시의 일 실시예에 따른, 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 수신하고 제1 오토인코더 및 예측 모델을 사용하여 조직학적 이미지의 수정된 이미지를 생성하기 위한 방법의 플로우차트이다.
도 9는 본 개시의 일 실시예에 따른, 제1 및 제2 비지도 학습 모델들을 생성하기 위해 제1 및 제2 오토인코더들을 트레이닝하고 매칭하는 이미지들의 골든 세트에 기초하여 제2 비지도 학습 모델을 제1 비지도 학습 모델과 연관시키는 것에 의해 예측 모델을 생성하기 위한 방법의 플로우차트이다.
다양한 실시예들에 대해 이제 상세히 언급할 것이고, 실시예들의 예들은 첨부 도면들에 예시되어 있다. 하기의 상세한 설명에서, 본 주제의 완전한 이해를 제공하기 위해 수많은 특정 세부사항들이 기재되어 있다. 그렇지만, 본 주제가 이 특정 세부사항들을 사용하지 않고 실시될 수 있음이 본 기술분야의 통상의 기술자에게는 명백할 것이다. 다른 경우들에서, 널리 공지된 방법들, 절차들, 시스템들, 및 컴포넌트들이 다양한 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.
도 1은 본 개시의 일 실시예에 따른, 의료 이미징 디바이스(100)가 의료 수술 동안 작동하고 있으며 의료 이미징 디바이스(100)에 의해 캡처된 조직학적 이미지의 수정된 이미지(120)가 디스플레이 디바이스(110) 상에 디스플레이되는 수술실 환경을 예시하고 있다. 예시된 바와 같은 수술실에서, 의사들(10 및/또는 20)은 베드(40) 상에 누워 있는 환자(30)를 수술할 수 있다. 본 실시예에서, 의사들(10 및/또는 20)은 수술 동안 환자(30)의 질병 또는 질환을 진단하기 위해 의료 이미징 디바이스(100)를 사용할 수 있다. 예를 들면, 의료 이미징 디바이스(100)는, OCT 디바이스, X-선 방사선 검사(X-ray radiography) 디바이스, MRI 디바이스, CT 디바이스, 초음파 검사(ultrasonography) 또는 초음파 디바이스, 내시경 검사(endoscopy) 디바이스, 촉각 이미징 디바이스, 서모그래피 디바이스, 핵의학 기능 이미징(nuclear medicine functional imaging) 디바이스, 또는 이와 유사한 것과 같은, 신체 부위의 2차원 또는 3차원 조직학적 이미지를 캡처하도록 구성되는 임의의 유형의 이미지 캡처 디바이스일 수 있다.
의료 이미징 디바이스(100)는 환자(30)의 신체 부위에서의 적어도 하나의 조직 유형을 포함하는 조직학적 이미지(예컨대, M2TM OCT 이미징 시스템의 OCT 디바이스에 의해 캡처된 M2TM 이미지)를 캡처하거나 생성하도록 구성될 수 있다. 예를 들면, 조직학적 이미지가 OCT 디바이스에 의해 캡처되면, 조직학적 이미지는 그레이 스케일 이미지일 수 있다. 비록 본 실시예에서 의료 이미징 디바이스(100)가 베드(40)에 고정되어 설치된 것으로 예시되어 있지만, 의료 이미징 디바이스(100)가 환자(30)의 신체 부위의 이미지를 캡처할 수 있도록 의료 이미징 디바이스(100)는 수술실의 임의의 부분에 고정되어 설치되도록 구성될 수 있다. 대안적으로, 의료 이미징 디바이스(100)는 의사(10 및/또는 20)에 의해 환자(30)의 관심 부위 근방에 위치될 수 있도록 탈부착형(detachable) 및/또는 휴대형(portable)이도록 구성될 수 있다.
일 실시예에 따르면, 의료 이미징 디바이스(100)가 OCT 디바이스이면, 의료 이미징 디바이스(100)는 광 소스를 사용하여 환자(30)의 신체 부위에 광(예컨대, 레이저 또는 저 코히런스(low-coherence) 광)을 조사하고, 환자(30)의 신체 부위에서 후방 산란되는 광을 수집하여, 의료 이미징 디바이스(100)에 의해 캡처되는 후방 산란된 광의 에코 시간 지연을 측정할 수 있다. 또한, 의료 이미징 디바이스(100)는 수집된 광의 광학 코히런스를 식별하도록 구성될 수 있다. 의료 이미징 디바이스(100)는, 예를 들면, 에코 시간 지연을 측정함으로써 및/또는 광의 광학 코히런스를 결정함으로써 신체 부위에서의 적어도 하나의 조직 유형을 나타내는 하나 이상의 2차원 조직학적 이미지(예컨대, 수직 슬라이스들의 이미지들) 및/또는 3차원 조직학적 이미지(예컨대, 3차원 단층 사진)를 생성할 수 있다. 하나 이상의 조직 유형을 포함하는 2차원 조직학적 이미지들 또는 3차원 조직학적 이미지들은 가시 표면(visible surface)으로부터 미리 결정된 깊이(예컨대, 약 2 내지 4 mm)를 갖는 타깃 구조체를 가질 수 있다. 일 실시예에서, 의료 이미징 디바이스(100)는 하나 이상의 3차원 조직학적 이미지를 임의의 방향으로 크로핑(cropping)하거나 슬라이싱하는 것에 의해 타깃 구조체의 일 부분을 나타내는 2차원 조직학적 이미지들을 생성하도록 구성될 수 있다. 일 실시예에서, 의료 이미징 디바이스(100)는 2차원 조직학적 이미지들에 기초하여 환자(30)에서의 신체 부위의 하나 이상의 3차원 조직학적 이미지를 생성하도록 구성될 수 있다.
환자(30)에서의 신체 부위에 대한 3차원 조직학적 이미지들 또는 2차원 조직학적 이미지들이 생성되면, 생성된 조직학적 이미지는, 도 3을 참조하여 나중에 상세히 기술될, 이미지 프로세싱 디바이스(도시되지 않음)에 제공될 수 있다. 이미지 프로세싱 디바이스는 복수의 유형들의 조직을 포함하는 조직학적 이미지를 수신 및/또는 프로세싱하도록 구성될 수 있다. 일 실시예에서, 의료 이미징 디바이스(100)로부터 조직학적 이미지가 수신되면, 이미지 프로세싱 디바이스는 조직학적 이미지를 프로세싱하여 조직학적 이미지의 수정된 이미지(120)를 생성할 수 있다.
도 2는 본 개시의 일 실시예에 따른, 의료 이미징 디바이스(100)에 의해 캡처된 조직학적 이미지(210)에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하고 조직학적 이미지(210)의 수정된 이미지(120)를 생성하기 위한 흐름도이다. 의료 이미징 디바이스(100)는 환자(30)의 신체 부위의 조직학적 이미지(210)(예컨대, 2차원 조직학적 이미지)를 캡처하거나 생성하여 이를 이미지 프로세싱 디바이스에 제공할 수 있다. 예를 들면, 도 2에 도시된 바와 같이, 조직학적 이미지(210)는 환자(30)의 유방에서의 적어도 하나의 조직 유형을 포함할 수 있다.
일 실시예에서, 이미지 프로세싱 디바이스는 조직학적 이미지(210)에서의 후보 조직 유형을 결정하고 조직학적 이미지(210)에서의 후보 조직 유형에 대응하는 타깃 영역을 식별하기 위해 조직학적 이미지(210)를 제1 오토인코더에 입력하도록 구성될 수 있다. 제1 오토인코더는 효율적인 코딩들의 비지도 학습을 위해 사용되는 임의의 유형의 인공 신경 네트워크일 수 있다. 또한, 제1 오토인코더는, 도 4를 참조하여 나중에 상세히 설명될 바와 같이, 제1 비지도 학습 모델을 생성하기 위해 트레이닝될 수 있다. 후보 조직 유형은 조직학적 이미지(210)에서의 임의의 의미있는 또는 의심스러운 위치들을 포함할 수 있다. 예를 들면, 후보 조직 유형은 세포핵, 종양, 또는 이와 유사한 것일 수 있다.
조직학적 이미지(210)에서 타깃 영역이 식별되면, 이미지 프로세싱 디바이스는 하나 이상의 조직학적 이미지를 하나 이상의 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응되는 적어도 하나의 타깃 조직학적 이미지를 식별할 수 있다. 일 실시예에서, 타깃 조직학적 이미지는 캡처된 조직학적 이미지의 가시성 또는 식별성(discernibility)을 개선시키기 위해 의료 이미징 디바이스(100)에 의해 캡처된 조직학적 이미지로부터 수정될 수 있는 임의의 조직학적 이미지일 수 있다. 적어도 하나의 타깃 조직학적 이미지는 그의 디스플레이 특성들에 기초하여 캡처된 이미지를 수정하는 데 사용될 수 있다. 예를 들면, 조직학적 이미지가 OCT 디바이스에 의해 캡처되면, 적어도 하나의 타깃 조직학적 이미지는 H&E 염색의 하나 이상의 이미지일 수 있다. 일 실시예에 따르면, 예측 모델은 제1 비지도 학습 모델의 확장으로서 생성될 수 있고, 효율적인 코딩들의 준지도 학습을 위한 임의의 유형의 인공 신경 네트워크일 수 있다. 예를 들면, 준지도 머신 러닝 기술이라고 지칭될 수 있는, 비지도 머신 러닝 기술과 지도 머신 러닝 기술 모두를 사용하는 것이, 도 6을 참조하여 나중에 상세히 설명될 바와 같이, 예측 모델을 생성하는 데 적용될 수 있다.
조직학적 이미지(210)에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지가 식별되면, 이미지 프로세싱 디바이스는 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지(210)에 적용할 수 있다. 예를 들면, 하나 이상의 디스플레이 특성은 조직학적 이미지 및 타깃 조직학적 이미지에서 유사한 특성들을 갖는 포인트들 또는 패치들의 컬러들, 형상들, 및/또는 선명도(sharpness), 포인트들 또는 패치들의 배열, 분포 및/또는 밀도와 같은 하나 이상의 특징을 포함할 수 있다. 패치는 이미지를 프로세싱하기 위한 단위 또는 윈도우(예컨대, 8x8 픽셀들)일 수 있는 조직학적 이미지에서의 구역(area) 또는 영역(region)일 수 있다. 타깃 조직학적 이미지는 그러한 단위 또는 윈도우에 기초하여 세그먼트화될 수 있다. 일 실시예에 따르면, 이미지 프로세싱 디바이스는 식별된 조직학적 이미지의 하나 이상의 디스플레이 특성에 기초하여 조직학적 이미지(210)의 하나 이상의 디스플레이 특성을 변경할 수 있다. 이 프로세스에서, 임의의 적합한 스타일 전달 기술들이 조직학적 이미지(210)를 식별된 타깃 조직학적 이미지의 스타일로 변경하는데 채택될 수 있다. 예를 들면, 조직학적 이미지, 예컨대, 이미지(210)가 OCT 디바이스에 의해 캡처되면, 이는 H&E 염색, 예컨대, 도 2에 도시된 바와 같은 이미지(120)의 형태로 보이도록 수정될 수 있다.
일 실시예에 따르면, 이미지 프로세싱 디바이스는 식별된 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 포함하는 수정된 이미지(120)를 생성할 수 있다. 예를 들면, 이미지 프로세싱 디바이스는 타깃 영역 내의 각 픽셀의 컬러 성분들의 값들(예컨대, 적색(R), 녹색(G), 청색(B) 값들) 및 선명도의 값을 변경할 수 있다. 조직학적 이미지(210)로부터 수정된 이미지(120)에 보여지는 바와 같이, 적색(예컨대, 진홍색) 컬러의 음영들이 타깃 영역에 할당될 수 있고, 타깃 영역의 중심 주위의 한 부분은 타깃 영역의 가시성을 개선시키기 위해 조정된다. 따라서, 고품질의 가시성을 갖는 수정된 이미지(120)는 의사들(10 및/또는 20)이 디바이스(100)에 의해 최초로 캡처된 조직학적 이미지(210)를 사용하는 것보다 환자(30)를 더 정확하게 진단할 수 있게 해줄 수 있다. 일부 실시예들에서, 의사들(10 및/또는 20)이 수술 동안에도 수정된 이미지(120)를 쉽게 제공받을 수 있도록, 이미지 프로세싱 디바이스는 조직학적 이미지(210)를 프로세싱하여 수정된 이미지(120)를 생성할 수 있다. 이와 유사하게, 의료 이미징 디바이스(100)에 의해 캡처된 3차원 조직학적 이미지가 이미지 프로세싱 디바이스에 제공되고 타깃 조직학적 이미지의 스타일로 수정될 수 있다. 이 경우에, 3차원 조직학적 이미지의 수정된 이미지가 디스플레이 디바이스(110) 상에 디스플레이될 수 있다. 또한, 의사들(10 및/또는 20)이 3차원 조직학적 이미지의 일 부분을 선택할 수 있다면, 선택된 부분에 대응하는 2차원 조직학적 이미지의 수정된 이미지가 디스플레이 디바이스(110) 상에 디스플레이될 수 있다.
도 3은 본 개시의 일 실시예에 따른, 제1 오토인코더(310), 제2 오토인코더(320), 및 지도 연관 학습기(330)를 트레이닝하는 것에 의해 예측 모델을 생성하고 제1 오토인코더(310) 및 예측 모델에 기초하여 조직학적 이미지를 프로세싱하도록 구성된 이미지 프로세싱 디바이스(300)의 블록도를 예시하고 있다. 이미지 프로세싱 디바이스(300)는 프로세서(305), 통신 유닛(340), 및/또는 저장 유닛(350)을 포함할 수 있다. 이미지 프로세싱 디바이스(300)에서의 프로세서(305)는 제1 오토인코더(310), 제2 오토인코더(320), 지도 연관 학습기(330), 및/또는 이미지 생성 유닛(360)을 포함할 수 있다.
이미지 프로세싱 디바이스(300)는 통신 네트워크(370)를 거쳐 통신 유닛(340)을 통해 의료 이미징 디바이스(100)와 통신하도록 구성된다. 일부 실시예들에서, 이미지 프로세싱 디바이스(300)는 전기 데이터 케이블 및, 블루투스, 지그비(ZigBee), 적외선 전송 등과 같은, 단거리 무선 네트워크를 포함하지만 이들로 제한되지 않는, 임의의 유형의 유선/무선 접속을 통해 의료 이미징 디바이스(100)와 통신할 수 있다. 비록 이미지 프로세싱 디바이스(300)가 의료 이미징 디바이스(100)와 별개의 디바이스인 것으로 도 3에 도시되어 있지만, 일부 실시예들에서, 의료 이미징 디바이스(100)와 이미지 프로세싱 디바이스(300)는 단일 디바이스 내에 통합될 수 있다.
프로세서(305)에서의 제1 오토인코더(310)는 저장 유닛(350)으로부터 복수의 조직학적 이미지들 및 복수의 샘플 조직학적 이미지들을 수신하도록 구성될 수 있다. 또한, 제1 오토인코더(310)는 수신된 조직학적 이미지들 및 복수의 샘플 조직학적 이미지들에 기초하여 트레이닝될 수 있고, 그에 의해 제1 비지도 학습 모델을 생성할 수 있다. K-평균 클러스터링(K-means clustering) 등을 포함하지만 이로 제한되지 않는 임의의 적합한 비지도 학습 기술이 제1 오토인코더(310)를 트레이닝하는 데 이용될 수 있다. 이와 유사하게, 프로세서(305)에서의 제2 오토인코더(320)는 저장 유닛(350)으로부터 복수의 타깃 조직학적 이미지들 및 복수의 샘플 타깃 조직학적 이미지들을 수신하고, 수신된 타깃 조직학적 이미지들 및 복수의 샘플 타깃 조직학적 이미지들에 기초하여 트레이닝되어, 제2 비지도 학습 모델을 생성하도록 구성될 수 있다. 제1 오토인코더(310)는 조직학적 이미지들의 효율적인 코딩의 비지도 학습을 위해 사용되는 인공 신경 네트워크를 포함할 수 있는 반면, 제2 오토인코더(320)는 타깃 조직학적 이미지들의 효율적인 코딩의 비지도 학습을 위해 사용되는 인공 신경 네트워크를 포함할 수 있다. 일부 실시예들에서, 제1 오토인코더(310) 및 제2 오토인코더(320)는, 적층 오토인코더들(stacked autoencoders), 다층 컨볼루션 오토인코더들(multi-layer convolutional autoencoders) 등을 포함한, 다층 오토인코더들을 포함할 수 있다. 비록 오토인코더들이 비지도 학습 유닛 또는 방법의 일 예로서 예시되어 있지만, GAN들(generative adversarial networks), SOM(self-organizing map), ART(adaptive resonance theory), k-평균 클러스터링, 및/또는 EM(expectation-maximization) 알고리즘을 포함하지만, 이들로 제한되지 않는, 임의의 다른 적합한 유형의 비지도 머신 러닝 방법이 그러한 유닛에 대해 사용될 수 있다. 또한, 비록 조직학적 이미지들, 샘플 조직학적 이미지들, 타깃 조직학적 이미지들, 및/또는 샘플 타깃 조직학적 이미지들이 저장 유닛(350)에 저장된 것으로 예시되어 있지만, 이미지들 중 적어도 일부는 하나 이상의 외부 저장 유닛에 저장될 수 있다.
프로세서(305)는 제1 비지도 학습 모델을 생성하기 위해 복수의 샘플 조직학적 이미지들에 기초하여 제1 오토인코더(310)를 트레이닝하도록 구성될 수 있다. 제1 비지도 학습 모델은 저장 유닛(350)에 저장될 수 있거나 제1 오토인코더(310) 내에 통합될 수 있다. 일 실시예에서, 제1 오토인코더(310)는 샘플 조직학적 이미지들 각각에서 시맨틱 세그먼트화(semantic segmentation)를 수행하도록(예컨대, 타깃 영역을 식별하도록) 트레이닝될 수 있다. 시맨틱 세그먼트화 동안, 제1 오토인코더(310)는 샘플 조직학적 이미지들 각각에서의 후보 조직 유형을 결정하고 샘플 조직학적 이미지에서의 후보 조직 유형에 대응하는 타깃 영역을 식별하도록 트레이닝될 수 있다. 이 프로세스에서, 제1 오토인코더(310)는 샘플 조직학적 이미지로부터 특징들을 추출하고 샘플 조직학적 이미지를, 샘플 조직학적 이미지로부터의 특징들과 유사한, 특징들을 갖는 그룹으로 분류하도록 구성될 수 있다. 예를 들면, 제1 오토인코더(310)는 샘플 조직학적 이미지로부터의 특징들과 제1 비지도 학습 모델에서의 특징들 또는 파라미터들 각각(예컨대, 인공 신경 네트워크의 은닉 계층) 간의 유사도(예컨대, 거리 또는 확률)를 결정하고, 제1 비지도 학습 모델에서의 특징들 또는 파라미터들로부터 샘플 조직학적 이미지에 대해 가장 큰 유사도(similarity)(예컨대, 가장 작은 거리)를 갖는 특징들 또는 파라미터들의 세트를 선택할 수 있다. 이 경우에, 제1 비지도 학습 모델에서의 특징들 또는 파라미터들은 하나 이상의 샘플 조직학적 이미지에서 추출된 특징들에 기초하여 생성될 수 있고, 네트워크의 토폴로지(예컨대, 계층들의 수 및 폭, 필터 사이즈들 등), 활성화 함수들 등 및 그 네트워크의 학습된 가중치들 및 바이어스들과 같은 모델 하이퍼파라미터들로서 표현될 수 있다.
샘플 조직학적 이미지에 대해 가장 큰 유사도를 갖는 특징들 또는 파라미터들의 세트가 선택되면, 샘플 조직학적 이미지는 제1 비지도 학습 모델에서의 선택된 특징들 또는 파라미터들의 세트에 대응하도록 결정될 수 있다. 제1 오토인코더(310)는 이어서 샘플 조직학적 이미지에서의 후보 조직 유형을 결정하고 제1 비지도 학습 모델에서의 선택된 특징들 또는 파라미터들의 세트에 기초하여 후보 조직 유형에 대응하는 타깃 영역을 식별할 수 있다. 이 프로세스에서, 제1 오토인코더(310)는 선택된 특징들 또는 파라미터들의 세트에 기초하여 샘플 조직학적 이미지에서의 타깃 영역을 포함한 복수의 영역들을 식별할 수 있다. 예를 들면, 복수의 영역들은 제1 비지도 학습 모델에서의 선택된 특징들 또는 파라미터들과 연관된 복수의 영역들에 대응할 수 있다. 이 경우에, 복수의 영역들은 하나 이상의 조직 세포, 공기 등을 나타낼 수 있다.
프로세서(305)는 샘플 조직학적 이미지들 각각에서 시맨틱 세그먼트화를 수행하는 것에 의해 제1 비지도 학습 모델을 생성하도록 제1 오토인코더(310)를 트레이닝할 수 있다. 일 실시예에서, 제1 오토인코더(310)는 샘플 조직학적 이미지를 샘플 조직학적 이미지의 특징들에 대응하는 선택된 특징들 또는 파라미터들의 세트를 갖는 그룹으로 분류할 수 있다. 이 프로세스에서, 그룹과 연관된 파라미터들은 조직학적 이미지에서의 식별된 타깃 영역 또는 식별된 복수의 영역들에 대한 추출된 특징들에 기초하여 업데이트되거나 조정된다. 조직학적 이미지에서의 후보 조직 유형에 대응하는, 타깃 영역을 포함한 식별된 복수의 영역들이 식별되고 조직학적 이미지의 수정된 이미지를 생성하기 위해 이미지 생성 유닛(360)에 제공될 수 있다. 일부 실시예에서, 제1 오토인코더(310)는 의료 이미징 디바이스(100)에 의해 캡처된 조직학적 이미지를 수신할 수 있고, 샘플 조직학적 이미지들과 유사한 방식으로 조직학적 이미지에서 시맨틱 세그먼트화를 수행하도록 트레이닝될 수 있다.
제2 오토인코더(320)는 제2 비지도 학습 모델을 생성하기 위해 수신된 타깃 조직학적 이미지들 및 샘플 타깃 조직학적 이미지들에 기초하여 트레이닝될 수 있다. 제2 비지도 학습 모델은 저장 유닛(350)에 저장될 수 있거나 제2 오토인코더(320) 내에 통합될 수 있다. 일 실시예에 따르면, 제2 오토인코더(320)는 제2 비지도 학습 모델을 생성하기 위해 제1 오토인코더(310)와 유사한 방식으로 트레이닝될 수 있다. 이 프로세스에서, 제2 오토인코더(320)는 수신된 타깃 조직학적 이미지들 및 샘플 타깃 조직학적 이미지들 각각으로부터 하나 이상의 특징을 추출할 수 있다. 이어서, 제2 비지도 학습 모델은 추출된 특징들에 기초하여 제1 비지도 학습 모델의 것들과 유사한 방식으로 타깃 조직학적 이미지들 및 샘플 타깃 조직학적 이미지들을 그룹화하여 제2 비지도 학습 모델을 생성할 수 있다. 생성된 제2 지도 학습 모델은 프로세서(305)에서의 지도 연관 학습기(330)에 의해 액세스될 수 있다.
지도 연관 학습기(330)는, 도 6을 참조하여 상세히 설명될 바와 같이, 본 개시의 일 실시예에 따른, 매칭하는 이미지들의 골든 세트에 기초하여 제2 비지도 학습 모델을 제1 비지도 학습 모델과 연관시키는 것에 의해 예측 모델을 생성하도록 구성될 수 있다. 매칭하는 이미지들의 골든 세트는, 하나 이상의 샘플 조직학적 이미지 및 샘플 조직학적 이미지들에 대응하는 하나 이상의 샘플 타깃 조직학적 이미지를 포함할 수 있는, 임의의 이미지 세트를 나타낼 수 있다. 매칭하는 이미지의 골든 세트에서, 샘플 조직학적 이미지들 각각은 샘플 타깃 조직학적 이미지들 각각의 것과 동일한 인체 내의 조직 또는 해부학적 위치들을 포함할 수 있다. 예를 들면, 지도 연관 학습기(330)는 제1 비지도 학습 모델에서의 특정 조직 유형에 대응하는 타깃 영역을 포함하는 조직학적 이미지 내의 복수의 영역들을 조직학적 이미지에 대응하는 샘플 타깃 조직학적 이미지 내의 복수의 영역들의 하나 이상의 디스플레이 특성을 나타내는 특징들과 연관시킬 수 있다. 일 실시예에서, 예측 모델은 네트워크의 토폴로지(예컨대, 계층들의 수 및 폭, 필터 사이즈들 등), 활성화 함수들 등 및 그 네트워크의 학습된 가중치들 및 바이어스들과 같은 모델 하이퍼파라미터들과 같은 파라미터들에 의해 정의될 수 있는 딥 러닝 신경 네트워크 기반 구조로서 표현될 수 있다. 예를 들면, 예측 모델의 파라미터들은 복수의 디스플레이 특성들을, 예를 들면, 타깃 조직학적 이미지들, 샘플 타깃 조직학적 이미지들, 조직학적 이미지들, 및 샘플 조직학적 이미지들과 연관시키기 위한 매핑 또는 전달 함수들을 표현할 수 있다.
이미지 프로세싱 디바이스(300)에서의 저장 유닛(350)은 의료 이미징 디바이스(100)에 의해 캡처된 샘플 조직학적 이미지들의 제1 데이터베이스 및/또는 적어도 하나의 미리 결정된 조직 염색의 적어도 하나의 이미지를 포함하는 샘플 타깃 조직학적 이미지들의 제2 데이터베이스를 저장하도록 구성된다. 예를 들면, 제2 데이터베이스는 H&E 염색의 샘플 조직학적 이미지들을 포함할 수 있다. 일 실시예에서, 저장 유닛(350)은 제1 오토인코더(310)에 의해 생성된 제1 비지도 학습 모델 및 제2 오토인코더(320)에 의해 생성된 제2 비지도 학습 모델을 포함할 수 있다. 비록 저장 유닛(350)이 본 실시예에서 이미지 프로세싱 디바이스(300)의 일부인 것으로 예시되어 있지만, 저장 유닛(350)은 이미지 프로세싱 디바이스(300)와 통신하도록 구성될 수 있는 외부 디바이스에 적어도 부분적으로 포함될 수 있다. 저장 유닛(350)은 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리, EEPROM(Electrically Erasable Programmable Read Only Memory) 등과 같은 임의의 적합한 저장 또는 메모리 디바이스를 사용하여 구현될 수 있다.
저장 유닛(350)은 샘플 조직학적 이미지들의 제1 데이터베이스 내의 미리 결정된 수(예컨대, 양의 정수 M)의 샘플 조직학적 이미지들 및 샘플 타깃 조직학적 이미지들의 제2 데이터베이스 내의 미리 결정된 수(예컨대, 양의 정수 N)의 샘플 타깃 조직학적 이미지들을 포함하는 매칭하는 이미지들의 골든 세트를 또한 저장할 수 있다. 제1 데이터베이스 내의 M개의 샘플 조직학적 이미지들의 하나 이상의 특징(예컨대, 해부학적 위치)은 제2 데이터베이스 내의 N개의 샘플 타깃 조직학적 이미지의 하나 이상의 특징(예컨대, 해부학적 위치)과 매칭하도록 연관되거나 정렬될 수 있다. 예를 들면, M개의 샘플 조직학적 이미지 각각에서의 복셀들 또는 픽셀들은 N개의 샘플 조직학적 이미지 각각에서의 그것들과 동일한 위치들을 갖는다.
이미지 프로세싱 디바이스(300)에서의 이미지 생성 유닛(360)은 제1 오토인코더(310)로부터 조직학적 이미지에 대한 타깃 영역을 수신하고, 타깃 영역의 가시성을 개선시키기 위해 조직학적 이미지를 수정하도록 구성된다. 일 실시예에 따르면, 이미지 생성 유닛(360)은 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별할 수 있다. 이미지 생성 유닛(360)은 이어서 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지에 적용할 수 있다. 일 실시예에 따르면, 적어도 하나의 타깃 조직학적 이미지에서의 복수의 영역들 각각에 대한 하나 이상의 디스플레이 특성은 조직학적 이미지에서의 대응하는 영역들 각각에 적용될 수 있다. 이 경우에, 디스플레이 특성들은 적어도 하나의 타깃 조직학적 이미지와 연관된 이미지 스타일을 나타낼 수 있고, 예를 들어, 적어도 하나의 타깃 조직학적 이미지에서 유사한 특성들을 갖는 포인트들 또는 패치들의 컬러들, 형상들, 및/또는 선명도, 포인트들 또는 패치들의 배열, 분포 및/또는 밀도와 같은 하나 이상의 특징 또는 파라미터를 포함할 수 있다. 적어도 하나의 타깃 조직학적 이미지에 대한 디스플레이 특성들을 조직학적 이미지에 적용하는 것에 의해, 조직학적 이미지의 이미지 스타일이 적어도 하나의 타깃 조직학적 이미지의 이미지 스타일에 전달될 수 있다. 적용된 디스플레이 특성들을 포함하는 조직학적 이미지의 수정된 이미지가 생성되고, 수정된 이미지를 의사와 같은 사용자에게 디스플레이하기 위해 디스플레이 유닛에 제공될 수 있다.
도 4는 본 개시의 일 실시예에 따른, 제1 샘플 이미지 데이터베이스(410) 내의 샘플 조직학적 이미지들 및 조직학적 이미지(420)에 기초하여 제1 비지도 학습 모델(430)을 생성하도록 트레이닝되도록 구성된 제1 오토인코더(310)의 블록도를 나타내고 있다. 제1 오토인코더(310)는 구역 세그먼트화 유닛(440), 특징 추출 유닛(450), 조직 유형 결정 유닛(460), 타깃 영역 식별 유닛(470), 및 모델 생성 유닛(480)을 포함할 수 있다. 제1 샘플 이미지 데이터베이스(410)는 의료 이미징 디바이스(100)(예컨대, OCT 디바이스)에 의해 캡처된 샘플 조직학적 이미지들을 포함할 수 있다. 비록 조직학적 이미지(420)가 제1 오토인코더(310)에 입력되는 것으로 예시되어 있지만, 제1 오토인코더(310)를 트레이닝하기 위해 복수의 조직학적 이미지들이 제1 오토인코더(310)에 입력될 수 있음이 인식될 것이다.
제1 오토인코더(310)에서의 구역 세그먼트화 유닛(440)은 제1 샘플 이미지 데이터베이스(410)로부터 3차원 또는 2차원 샘플 조직학적 이미지들을 수신하고 샘플 조직학적 이미지들 각각에서의 하나 이상의 구역을 세그먼트화하도록 구성된다. 일 실시예에서, 구역 세그먼트화 유닛(440)은 샘플 조직학적 이미지에서의 복수의 패치들을 세그먼트화할 수 있다. 다른 실시예들에 따르면, 샘플 조직학적 이미지에서의 하나 이상의 구역은 밝기, 포인트들의 위치들 등과 같은 하나 이상의 유사한 특성을 갖는 하나 이상의 블로브(blobs)를 결정하는 것에 의해 세그먼트화될 수 있다. 샘플 조직학적 이미지에서의 블로브들이 결정되면, 구역 세그먼트화 유닛(440)은 패치 클러스터링 동작에서 블로브들을 클러스터링할 수 있다. 예를 들면, 미리 결정된 밝기 값 범위 내에 있는 밝기 값들을 갖고 근접하여 위치되는 복수의 블로브들이 블로브 클러스터에 클러스터링될 수 있다. 세그먼트화된 구역들은 제1 오토인코더(310)에서의 특징 추출 유닛(450)에 제공될 수 있다.
특징 추출 유닛(450)은 구역 세그먼트화 유닛(440)으로부터의 샘플 조직학적 이미지에서의 세그먼트화된 구역들로부터 하나 이상의 특징을 추출하도록 구성된다. 일 실시예에서, 특징 추출 유닛(450)은 패턴, 포인트들의 밀도, 포인트들의 분포 또는 공간 등과 같은 구역들을 특징짓는 특징들을 추출할 수 있다. 예를 들면, 특징들은 스케일-불변 특징 변환 기술, 템플릿 매칭 기술, 또는 이와 유사한 것과 같은 임의의 적합한 특징 추출 기술들을 사용하는 것에 의해 구역들로부터 추출될 수 있다. 이 경우에, 특징들은, 숫자들의 세트를 포함할 수 있는, 특징 벡터로서 표현될 수 있다. 추출된 특징들은 제1 오토인코더(310)에서의 조직 유형 결정 유닛(460)에 제공될 수 있다.
조직 유형 결정 유닛(460)은 특징 추출 유닛(450)으로부터 샘플 조직학적 이미지에 대한 하나 이상의 특징을 수신하고 샘플 조직학적 이미지에서의 적어도 하나의 후보 조직 유형을 결정하도록 구성된다. 이 프로세스에서, 조직 유형 결정 유닛(460)은 샘플 조직학적 이미지에 대한 특징들과 유사한 제1 비지도 학습 모델(430)에서의 하나 이상의 특징 또는 파라미터의 세트를 선택할 수 있다. 샘플 조직학적 이미지에서의 적어도 하나의 후보 조직 유형은 선택된 파라미터들 또는 특징들의 세트에 기초하여 결정될 수 있다. 예를 들면, 조직 유형들은 임의의 정상 세포들 또는 종양, 암 등과 같은 비정상 세포들을 특징지울 수 있는 임의의 조직 유형을 포함할 수 있다. 결정된 후보 조직 유형들 및 선택된 파라미터들 또는 특징들의 세트는 제1 오토인코더(310)에서의 타깃 영역 식별 유닛(470)에 제공될 수 있다.
타깃 영역 식별 유닛(470)은 조직 유형 결정 유닛(460)으로부터 샘플 조직학적 이미지에서의 후보 조직 유형들 및/또는 선택된 그룹의 파라미터들 또는 특징들을 수신하고, 선택된 파라미터들 또는 특징들의 세트에 기초하여 샘플 조직학적 이미지에서의 영역들로부터 후보 조직 유형에 대응하는 타깃 영역을 식별하도록 구성된다. 일 실시예에 따르면, 샘플 조직학적 이미지에서의 타깃 영역은 제1 비지도 학습 모델(430)의 선택된 파라미터들 또는 특징들의 세트에 의해 정의되는 결정된 후보 조직 유형들을 갖는 영역에 대응하는 타깃 영역을 검출하는 것에 의해 식별될 수 있다. 또한, 타깃 영역 식별 유닛(470)은 제1 비지도 학습 모델(430)에서의 선택된 파라미터들 또는 특징들의 세트에 기초하여 샘플 조직학적 이미지에서의 타깃 영역을 포함하는 복수의 영역들을 식별할 수 있다. 이 경우에, 선택된 파라미터들 또는 특징들의 세트는 샘플 조직학적 이미지에서의 타깃 영역 및 하나 이상의 주변 영역을 나타낼 수 있다. 샘플 조직학적 이미지에서의 타깃 영역을 포함하는 식별된 영역들에 대한 특징들은 모델 생성 유닛(480)에 제공될 수 있다.
모델 생성 유닛(480)은 샘플 조직학적 이미지에서의 식별된 영역들에 대한 특징들을 수신하고 제1 오토인코더(310)를 트레이닝하는 것에 의해 제1 비지도 학습 모델(430)을 생성하고, 트레이닝하며 그리고/또는 조정하도록 구성될 수 있다. 일 실시예에 따르면, 모델 생성 유닛(480)은 샘플 조직학적 이미지에서의 타깃 영역을 포함하는 식별된 영역들에 대한 특징들에 기초하여 샘플 조직학적 이미지에 대한 선택된 파라미터들 또는 특징들의 세트를 업데이트하거나 조정할 수 있다. 샘플 조직학적 이미지에 대한 파라미터들 또는 특징들의 세트가 선택되지 않은 경우, 샘플 조직학적 이미지로부터 추출된 특징들이 제1 비지도 학습 모델(430)에서 새로 분류된 그룹을 정의하는 데 사용될 수 있다. 비록 본 실시예에서 복수의 샘플 조직학적 이미지들이 제1 오토인코더(310)를 트레이닝하는 데 사용되는 것으로 예시되어 있지만, 의료 이미징 디바이스(100)에 의해 캡처된 복수의 조직학적 이미지들은 샘플 조직학적 이미지들과 유사한 방식으로 제1 오토인코더(310)를 트레이닝하는 데 사용될 수 있다. 비록 제1 오토인코더(310)가 개별 유닛들(440, 450, 460, 470, 및 480)인 것으로 예시되어 있지만, 제1 오토인코더(310)는 단일 유닛 또는 개별 유닛들(440, 450, 460, 470, 및/또는 480)의 임의의 조합으로서 구현될 수 있다. 또한, 비록 샘플 조직학적 이미지들이 시맨틱 세그먼트화를 수행하고 제1 오토인코더(310)를 트레이닝하는 데 사용되는 것으로 예시되어 있지만, 조직학적 이미지(420)는 샘플 조직학적 이미지들과 유사한 방식으로 시맨틱 세그먼트화를 수행하고 그리고/또는 제1 오토인코더(310)를 트레이닝하는 데 사용될 수 있다. 생성된 또는 업데이트된 제1 비지도 학습 모델(430)은, 도 6을 참조하여 설명될 바와 같이, 예측 모델(620)을 생성하는 데 사용될 수 있다.
도 5는 본 개시의 일 실시예에 따른, 제2 샘플 이미지 데이터베이스(510) 내의 샘플 조직학적 이미지들 및 입력 타깃 조직학적 이미지들(520)에 기초하여 제2 비지도 학습 모델(530)을 생성하도록 트레이닝되도록 구성된 제2 오토인코더(310)의 블록도를 예시하고 있다. 제2 오토인코더(310)는 구역 세그먼트화 유닛(540), 특징 추출 유닛(550), 조직 유형 결정 유닛(560), 타깃 영역 식별 유닛(570), 및 모델 생성 유닛(580)을 포함할 수 있다. 일 실시예에 따르면, 제2 샘플 이미지 데이터베이스(510)는 적어도 하나의 미리 결정된 조직 염색의 적어도 하나의 이미지(예컨대, H&E 염색의 이미지들)를 포함하는 샘플 타깃 조직학적 이미지들을 포함할 수 있다. 비록 타깃 조직학적 이미지(520)가 제2 오토인코더(320)에 입력되는 것으로 예시되어 있지만, 제2 오토인코더(310)를 트레이닝하기 위해 복수의 타깃 조직학적 이미지들이 제2 오토인코더(310)에 입력될 수 있음이 인식될 것이다.
제2 오토인코더(320)는 샘플 타깃 조직학적 이미지들 및 타깃 조직학적 이미지들에 시맨틱 세그먼트화를 수행하고 제2 비지도 학습 모델(530)을 생성하며, 트레이닝하고 그리고/또는 업데이트하도록 구성될 수 있다. 이를 위해, 제2 오토인코더(320)에서의 영역 세그먼트화 유닛(540), 특징 추출 유닛(550), 조직 유형 결정 유닛(560), 타깃 영역 식별 유닛(570), 및 모델 생성 유닛(580)은, 각각, 영역 세그먼트화 유닛(440), 특징 추출 유닛(450), 조직 유형 결정 유닛(460), 타깃 영역 식별 유닛(470), 및 모델 생성 유닛(480)과 유사한 기능들 또는 동작들을 수행할 수 있다. 생성된 또는 업데이트된 제2 비지도 학습 모델(530)은, 도 6을 참조하여 설명될 바와 같이, 예측 모델(620)을 생성하는 데 사용될 수 있다.
도 6은 본 개시의 일 실시예에 따른, 매칭하는 이미지들의 골든 세트(610)에 기초하여 제2 비지도 학습 모델(530)을 제1 비지도 학습 모델(430)과 연관시키는 것에 의해 예측 모델(620)을 생성하도록 구성된 이미지 프로세싱 디바이스(300)에서의 지도 연관 학습기(330)를 도시하고 있다. 일 실시예에서, 예측 모델은 딥 러닝 신경 네트워크 기반 구조를 나타낼 수 있다. 예측 모델은 네트워크의 토폴로지(예컨대, 계층들의 수 및 폭, 필터 사이즈들 등), 활성화 함수들 등 및 그 네트워크의 학습된 가중치들 및 바이어스들과 같은 모델 하이퍼파라미터들에 의해 정의될 수 있는 복수의 파라미터들을 포함할 수 있다. 예측 모델(620)에서의 파라미터들은 조직학적 이미지들 및 타깃 조직학적 이미지들 각각에 대한 하나 이상의 디스플레이 특성을 나타내는 하나 이상의 특징을 포함할 수 있다.
일 실시예에서, 예측 모델(620)은 조직학적 이미지들 각각에서의 제1 패치 세트 및 타깃 조직학적 이미지들 각각에서의 제2 패치 세트를 포함할 수 있고, 여기서 예측 모델에서 제1 패치 세트는 제2 패치 세트와 연관된다. 이미지 생성 유닛(360)은 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 적용하고 그리고/또는 식별된 적어도 하나의 타깃 조직학적 이미지에서의 제2 패치 세트에 기초하여 수신된 조직학적 이미지에서의 복수의 패치들을 수정하는 것에 의해 수정된 이미지(720)를 생성할 수 있다.
매칭하는 이미지들의 골든 세트(610)는 제1 샘플 이미지 데이터베이스(410) 내의 하나 이상의 샘플 조직학적 이미지 및 제2 샘플 이미지 데이터베이스(510) 내의 하나 이상의 샘플 타깃 조직학적 이미지를 포함할 수 있으며, 여기서 샘플 조직학적 이미지들은 샘플 타깃 조직학적 이미지들의 해부학적 위치들과 매칭하도록 정렬된다. 일 실시예에 따르면, 샘플 조직학적 이미지는 하나 이상의 샘플 타깃 조직학적 이미지 각각의 해부학적 위치와 동일한 해부학적 위치를 가질 수 있다. 이와 유사하게, 샘플 타깃 조직학적 이미지는 하나 이상의 샘플 조직학적 이미지 각각의 해부학적 위치와 동일한 해부학적 위치를 가질 수 있다.
지도 연관 학습기(330)는 매칭하는 이미지들의 골든 세트(610) 내의 샘플 타깃 조직학적 이미지로부터 추출되는 하나 이상의 디스플레이 특성을 나타내는 적어도 하나의 특징을 매칭하는 이미지들의 골든 세트(610) 내의 하나 이상의 샘플 조직학적 이미지와 연관시키도록 구성된다. 이 프로세스에서, 샘플 타깃 조직학적 이미지들로부터의 적어도 하나의 특징은 제2 비지도 학습 모델(530)에 포함될 수 있는 샘플 조직학적 이미지들 각각에서의 복수의 영역들에 상관될 수 있다. 이에 따라, 제2 비지도 학습 모델(530)에서의 샘플 타깃 조직학적 이미지(예컨대, H&E 염색의 이미지)로부터의 적어도 하나의 특징에 대응하는 기존의 또는 알려진 디스플레이 특성들이 제1 비지도 학습 모델(430)에서의 샘플 조직학적 이미지들(예컨대, M2TM 이미지들) 각각에서의 복수의 영역들로부터의 특징들에 전달될 수 있다. 예측 모델(620)은 이어서 샘플 타깃 조직학적 이미지(즉, H&E 염색의 이미지)로부터의 적어도 하나의 특징을 샘플 조직학적 이미지(예컨대, M2TM 이미지들)와 연관시키는 것에 의해 생성되거나 트레이닝될 수 있다. 예를 들면, 예측 모델은 제1 및 제2 비지도 학습 모델들에 대한 유사도 메트릭을 생성하도록 트레이닝될 수 있다.
지도 연관 학습기(330)는 예측 모델(620)을 트레이닝 및/또는 업데이트하기 위해 매칭하는 이미지들의 골든 세트(610)에서의 하나 이상의 샘플 타깃 조직학적 이미지 각각에 대해 하나 이상의 라벨을 사용하도록 구성된다. 라벨들은 샘플 타깃 조직학적 이미지에서의 하나 이상의 영역을 식별해주는 임의의 데이터 또는 정보(예컨대, 세포핵, 종양 등)를 나타낼 수 있다. 샘플 타깃 조직학적 이미지에서의 영역들에 대한 라벨들은 실험자 또는 사용자에 의해 입력될 수 있는 샘플 타깃 조직학적 이미지에 대한 데이터 또는 정보에 기초하여 결정될 수 있다. 지도 연관 학습기(330)는 예측 모델(620)을 트레이닝하기 위해 제2 샘플 이미지 데이터베이스(510)의 샘플 타깃 조직학적 이미지에 대한 라벨들을 대응하는 샘플 조직학적 이미지에 할당할 수 있다.
일 실시예에서, 제1 비지도 학습 모델(430), 제2 비지도 학습 모델(530), 및 예측 모델(620) 각각은 인공 신경 네트워크의 하나 이상의 모델 하이퍼파라미터 및/또는 하나 이상의 가중치에 의해 정의된 다층 모델을 포함할 수 있다.
도 7은 본 개시의 일 실시예에 따른, 예측 모델(620)에 기초하여 조직학적 이미지(710)의 수정된 이미지(720)를 생성하기 위해 사용되는 프로세서(305)에서의 이미지 생성 유닛(360) 및 제1 오토인코더(310)의 블록도를 나타내고 있다. 프로세서(305)는 임의의 의료 이미징 디바이스(예컨대, 의료 이미징 디바이스(100))에 의해 캡처될 수 있는 조직학적 이미지(710)를 수신하고, 조직학적 이미지(710)의 가시성을 개선시키기 위해 조직학적 이미지(710)의 수정된 이미지(720)를 생성할 수 있다. 이 프로세스에서, 프로세서(305)는 조직학적 이미지(710)를 수정하기 위해 예측 모델(620)에 액세스할 수 있다.
프로세서(305)에서의 제1 오토인코더(310)는 수신된 조직학적 이미지에 시맨틱 세그먼트화를 수행할 수 있다. 일 실시예에 따르면, 제1 오토인코더(310)는 조직학적 이미지에서 세그먼트화를 수행하고 조직학적 이미지로부터 하나 이상의 특징을 추출할 수 있다. 특징들에 기초하여, 제1 오토인코더(310)는 조직학적 이미지를 추출된 특징들과 유사한 특징들 또는 파라미터들을 갖는 그룹으로 분류할 수 있다. 그룹의 특징들 또는 파라미터들에 기초하여, 조직학적 이미지에서의 후보 조직 유형이 결정될 수 있고, 후보 조직 유형에 대응하는 타깃 영역이 식별될 수 있다. 이 프로세스에서, 타깃 영역을 포함하는 복수의 영역들은 추출된 특징들을 그룹의 선택된 특징들 또는 파라미터들과 비교하는 것에 의해 식별될 수 있다. 타깃 영역을 포함하는 식별된 영역들은 이어서 프로세서(305)에서의 이미지 생성 유닛(360)에 제공될 수 있다.
이미지 생성 유닛(360)은 조직학적 이미지에서의 식별된 영역들을 수신하고 예측 모델(620)에 기초하여 수정된 이미지(720)를 생성하도록 구성될 수 있다. 일 실시예에 따르면, 이미지 생성 유닛(360)은 예측 모델(620)에서 타깃 영역에 대한 특징들에 대응하는 적어도 하나의 타깃 조직학적 이미지에 대한 하나 이상의 디스플레이 특성을 나타내는 특징을 식별하도록 구성될 수 있다. 예를 들면, 이미지 생성 유닛(360)은 식별된 영역들의 특징들과 유사한 하나 이상의 조직학적 이미지에 대한 그룹의 특징들을 검출하고 조직학적 이미지들에 대한 그룹에 상관되는 적어도 하나의 타깃 조직학적 이미지에 대한 그룹의 특징들을 식별할 수 있다. 적어도 하나의 타깃 조직학적 이미지에 대한 그룹의 특징들과 연관된 하나 이상의 디스플레이 특성이 조직학적 이미지(710)의 식별된 영역들 각각에 적용될 수 있다. 예를 들면, 하나 이상의 디스플레이 특성은 적어도 하나의 타깃 조직학적 이미지에 대한 그룹에서의 패치들(예컨대, n x n 픽셀들, 여기서 n은 양의 정수임) 등의 컬러들, 형상, 배열, 분포, 밀도, 선명도와 같은 복수의 특징들과 연관된다. 일 실시예에 따르면, 이미지 프로세싱 디바이스는 적어도 하나의 타깃 조직학적 이미지에 대한 그룹의 하나 이상의 디스플레이 특성에 기초하여 조직학적 이미지(710)의 하나 이상의 디스플레이 특성을 변경할 수 있다. 이 프로세스에서, 조직학적 이미지(710)를 적어도 하나의 타깃 조직학적 이미지에 대한 그룹의 스타일로 변경하기 위해 임의의 적합한 스타일 전달 기술들이 채택될 수 있다. 일 실시예에 따르면, 이미지 생성 유닛(360)은 적어도 하나의 타깃 조직학적 이미지의 그룹과 연관된 특징들에 기초하여 조직학적 이미지(710)에서 조직학적 이미지(710)의 식별된 영역들을 수정하는 것에 의해 수정된 이미지(720)를 생성할 수 있다. 수정된 이미지(720)는 이어서 수정된 이미지(720)로부터 식별될 수 있는 질병 또는 질환을 진단하기 위해 디스플레이 유닛(예컨대, 디스플레이 디바이스(110)) 상에 디스플레이될 수 있다.
일 실시예에서, 이미지 생성 유닛(360)은, CycleGAN 기술에 의해 구현될 수 있는, 사이클 일관성있는 적대 네트워크들(cycle-consistent adversarial networks)과 같은 하나 이상의 알려진 생성적 네트워크(generative networks)를 사용하여 조직학적 이미지(710)의 수정된 이미지(720)를 생성할 수 있다. 이 경우에, 예측 모델(620)은 사이클 일관성있는 적대 네트워크들에 의해 트레이닝될 수 있다. 이 프로세스에서, 제1 매핑 함수 G와 제1 적대 판별기(adversarial discriminator) Dx는 하나 이상의 샘플 타깃 조직학적 이미지에 기초하여 하나 이상의 샘플 조직학적 이미지를 변환(translate) 및/또는 수정하는 데 사용될 수 있는 반면, 제2 매핑 함수 F와 제2 적대 판별기 Dy는 샘플 조직학적 이미지들에 기초하여 샘플 타깃 조직학적 이미지들을 변환 및/또는 수정하는 데 사용될 수 있다. 그러한 매핑들을 조절하기 위해, 샘플 조직학적 이미지들이 제1 매핑 함수 및 제1 적대 판별기를 사용하여 샘플 타깃 조직학적 이미지들로 변환될 때 제1 사이클 일관성 손실(cycle consistency loss)이 결정될 수 있다. 이와 유사하게, 샘플 타깃 조직학적 이미지들이 제2 매핑 함수 및 제2 적대 판별기를 사용하여 샘플 조직학적 이미지들로 변환될 때 제2 사이클 일관성 손실이 결정될 수 있다. 샘플 조직학적 이미지들 및 샘플 타깃 조직학적 이미지들에 대한 예측 모델은 제1 및 제2 매핑 함수들, 제1 및 제2 적대 판별기들, 및/또는 제1 및 제2 사이클 일관성 손실들에 기초하여 생성될 수 있다. CycleGAN 기술에 의해 생성된 예측 모델에 기초하여, 조직학적 이미지(710)(예컨대, M2TM 이미지)는 이미지(720)(예컨대, H&E 염색의 이미지)로 수정될 수 있다.
도 8은 본 개시의 일 실시예에 따른, 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 수신하고, 예를 들어, 제1 오토인코더(예컨대, 제1 오토인코더(310)) 및 예측 모델(예컨대, 예측 모델(620))을 사용하여 조직학적 이미지의 수정된 이미지를 생성하기 위한 방법(800)의 플로우차트를 나타내고 있다. 방법(800)은 컴퓨터, 프로세서, 의료 디바이스, 이미지 프로세싱 디바이스, 또는 의료 디바이스의 일부인 모듈에 의해 수행될 수 있다. 일 실시예에서, 비일시적 컴퓨터 판독가능 저장 매체는 하나 이상의 조직학적 이미지를 프로세싱하기 위한 명령어들을 포함할 수 있으며, 이 명령어들은 컴퓨터의 프로세서로 하여금 방법(800)을 수행하게 한다. 처음에, 이미지 프로세싱 디바이스(예컨대, 이미지 프로세싱 디바이스(300))는, 810에서, 적어도 하나의 조직 유형을 포함하는 조직학적 이미지를 수신할 수 있다. 820에서, 이미지 프로세싱 디바이스에서의 제1 오토인코더는 수신된 조직학적 이미지에서의 후보 조직 유형을 결정할 수 있다. 830에서, 제1 오토인코더는 조직학적 이미지에서의 후보 조직 유형에 대응하는 타깃 영역을 식별할 수 있다.
840에서, 모델 생성 유닛(예컨대, 모델 생성 유닛(480))은 예측 모델에 기초하여 조직학적 이미지에서의 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별할 수 있다. 예측 모델은 비지도 딥 러닝 기술 및 지도 딥 러닝 기술의 임의의 적합한 조합에 기초하여 생성될 수 있다. 850에서, 이미지 생성 유닛(예컨대, 이미지 생성 유닛(360))은 조직학적 이미지를 수정하기 위해, 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 조직학적 이미지에 적용할 수 있다. 수정된 이미지는 타깃 영역의 가시성을 개선시킬 수 있다.
도 9는 본 개시의 일 실시예에 따른, 제1 및 제2 비지도 학습 모델들을 생성하기 위해 제1 및 제2 오토인코더들(예컨대, 제1 및 제2 오토인코더들(310 및 320))을 트레이닝하고 매칭하는 이미지들의 골든 세트에 기초하여 제2 비지도 학습 모델을 제1 비지도 학습 모델과 연관시키는 것에 의해 예측 모델(예컨대, 예측 모델(620))을 생성하기 위한 방법(900)의 플로우차트이다. 방법(900)은 컴퓨터, 프로세서, 의료 디바이스, 이미지 프로세싱 디바이스, 또는 의료 디바이스의 일부인 모듈에 의해 수행될 수 있다. 일 실시예에서, 비일시적 컴퓨터 판독가능 저장 매체는 하나 이상의 조직학적 이미지를 프로세싱하기 위한 명령어들을 포함할 수 있으며, 이 명령어들은 컴퓨터의 프로세서로 하여금 방법(900)을 수행하게 한다. 처음에, 프로세서(예컨대, 프로세서(305))는, 910에서, 제1 비지도 학습 모델을 생성하기 위해 제1 샘플 조직학적 이미지 세트에 기초하여 제1 오토인코더(예컨대, 제1 오토인코더(310))를 트레이닝할 수 있다. 920에서, 프로세서는 제2 비지도 학습 모델을 생성하기 위해 제2 샘플 타깃 조직학적 이미지 세트에 기초하여 제2 오토인코더(예컨대, 제2 오토인코더(320))를 트레이닝할 수 있다. 지도 연관 학습기(예컨대, 지도 연관 학습기(330))는, 930에서, 매칭하는 이미지들의 골든 세트에 기초하여 제1 비지도 학습 모델을 제2 비지도 학습 모델과 연관시킬 수 있다. 940에서, 예측 모델(620)은 의료 이미징 디바이스(예컨대, 의료 이미징 디바이스(100))에 의해 캡처된 입력 조직학적 이미지를 프로세싱하기 위해 생성 및/또는 트레이닝되고 사용될 수 있다.
본 개시의 사상 또는 범위를 벗어남이 없이 본 개시에 다양한 수정들 및 변형이 행해질 수 있다는 것이 본 기술분야의 통상의 기술자에게는 명백할 것이다. 따라서, 본 개시의 수정들 및 변형들이 첨부된 청구항들 및 그 등가물들의 범위 내에 있기만 한다면, 본 개시가 그러한 수정들 및 변형들을 커버하는 것으로 의도된다.
Claims (20)
- 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위해, 컴퓨터에 의해 수행되는 방법으로서,
적어도 하나의 조직 유형을 포함하는 상기 조직학적 이미지를 수신하는 단계;
제1 오토인코더에 의해, 상기 조직학적 이미지에서 후보 조직 유형을 결정하는 단계;
상기 제1 오토인코더에 의해, 상기 조직학적 이미지에서 상기 후보 조직 유형에 대응하는 타깃 영역을 식별하는 단계;
하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여, 상기 조직학적 이미지에서 상기 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하는 단계;
상기 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 상기 조직학적 이미지에 적용하는 단계; 및
상기 적용된 하나 이상의 디스플레이 특성을 포함하는 상기 조직학적 이미지의 수정된 이미지를 생성하는 단계;
를 포함하고,
제1 샘플 조직학적 이미지 세트에 기초하여 상기 제1 오토 인코더를 트레이닝하는 것에 의해 제1 비지도 학습 모델이 생성되고,
제2 샘플 타깃 조직학적 이미지 세트를 기초하여 제2 오토 인코더를 트레이닝하는 것에 의해 제2 비지도 학습 모델이 생성되고,
상기 예측 모델은 상기 제1 비지도 학습 모델 및 상기 제2 비지도 학습 모델에 기초하여 생성되고,
상기 제1 샘플 조직학적 이미지 세트에서의 M개의 샘플 조직학적 이미지의 하나 이상의 해부학적 위치는 상기 제2 샘플 타깃 조직학적 이미지 세트에서의 N개의 샘플 타깃 조직학적 이미지의 하나 이상의 해부학적 위치와 매칭하도록 정렬되며 - M 및 N은 양의 정수들임 -,
상기 예측 모델은 하나 이상의 디스플레이 특성을 나타내는 하나 이상의 특징에 관한 데이터를 포함하고, 상기 N개의 샘플 타깃 조직학적 이미지로부터의 하나 이상의 특징을 상기 M개의 샘플 조직학적 이미지로부터의 하나 이상의 특징과 연관시키는 것에 의해 트레이닝되는, 방법. - 삭제
- 제1항에 있어서, 상기 예측 모델은 상기 샘플 조직학적 이미지 각각에서의 제1 패치 세트 및 상기 샘플 타깃 조직학적 이미지 각각에서의 제2 패치 세트를 포함하며,
상기 예측 모델에서 상기 제1 패치 세트는 상기 제2 패치 세트와 연관되며,
상기 하나 이상의 디스플레이 특성을 적용하는 단계는 상기 식별된 적어도 하나의 타깃 조직학적 이미지에서의 상기 제2 패치 세트에 기초하여 상기 수신된 조직학적 이미지에서의 복수의 패치들을 수정하는 단계를 포함하는 방법. - 제1항에 있어서, 상기 후보 조직 유형에 대응하는 상기 타깃 영역을 식별하는 단계는 상기 조직학적 이미지에서 상기 타깃 영역을 포함하는 복수의 영역들을 식별하는 단계를 포함하고,
상기 예측 모델은 상기 샘플 조직학적 이미지 각각에서의 제1 영역 세트 및 상기 샘플 타깃 조직학적 이미지 각각에서의 제2 영역 세트를 포함하며,
상기 예측 모델에서 상기 제1 영역 세트는 상기 제2 영역 세트와 연관되고,
상기 하나 이상의 디스플레이 특성을 적용하는 단계는 상기 식별된 적어도 하나의 타깃 조직학적 이미지에서의 상기 제2 영역 세트에 기초하여 상기 수신된 조직학적 이미지에서의 상기 복수의 영역들을 수정하는 단계를 포함하는 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 제1 비지도 학습 모델은 상기 조직학적 이미지에서의 상기 타깃 영역과 연관된 하나 이상의 특징에 기초하여 트레이닝되는, 방법.
- 삭제
- 제1항에 있어서, 상기 제1 비지도 학습 모델, 상기 제2 비지도 학습 모델, 및 상기 예측 모델 각각은 인공 신경 네트워크의 하나 이상의 모델 하이퍼파라미터(model hyperparameters) 및 하나 이상의 가중치에 의해 정의된 다층 모델(multilayer model)을 포함하는 방법.
- 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 이미지 프로세싱 디바이스로서,
적어도 하나의 조직 유형을 포함하는 상기 조직학적 이미지를 수신하고, 상기 조직학적 이미지에서 후보 조직 유형을 결정하며, 상기 조직학적 이미지에서 상기 후보 조직 유형에 대응하는 타깃 영역을 식별하도록 구성된 제1 오토인코더; 및
하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여 상기 조직학적 이미지에서 상기 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하고, 상기 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 상기 조직학적 이미지에 적용하고, 상기 적용된 하나 이상의 디스플레이 특성을 포함하는 상기 조직학적 이미지의 수정된 이미지를 생성하도록 구성된 이미지 생성 유닛
을 포함하고,
제1 샘플 조직학적 이미지 세트에 기초하여 상기 제1 오토 인코더를 트레이닝하는 것에 의해 제1 비지도 학습 모델이 생성되고,
제2 샘플 타깃 조직학적 이미지 세트를 기초하여 제2 오토 인코더를 트레이닝하는 것에 의해 제2 비지도 학습 모델이 생성되고,
상기 예측 모델은 상기 제1 비지도 학습 모델 및 상기 제2 비지도 학습 모델에 기초하여 생성되고,
상기 제1 샘플 조직학적 이미지 세트에서의 M개의 샘플 조직학적 이미지의 하나 이상의 해부학적 위치는 상기 제2 샘플 타깃 조직학적 이미지 세트에서의 N개의 샘플 타깃 조직학적 이미지의 하나 이상의 해부학적 위치와 매칭하도록 정렬되며 - M 및 N은 양의 정수들임 -,
상기 예측 모델은 하나 이상의 디스플레이 특성을 나타내는 하나 이상의 특징에 관한 데이터를 포함하고, 상기 N개의 샘플 타깃 조직학적 이미지로부터의 하나 이상의 특징을 상기 M개의 샘플 조직학적 이미지로부터의 하나 이상의 특징과 연관시키는 것에 의해 트레이닝되는, 이미지 프로세싱 디바이스. - 삭제
- 제12항에 있어서, 상기 제1 오토인코더는 상기 조직학적 이미지에서 상기 타깃 영역을 포함하는 복수의 영역들을 식별하도록 더 구성되고,
상기 예측 모델은 상기 샘플 조직학적 이미지 각각에서의 제1 영역 세트 및 상기 샘플 타깃 조직학적 이미지 각각에서의 제2 영역 세트를 포함하며,
상기 예측 모델에서 상기 제1 영역 세트는 상기 제2 영역 세트와 연관되고,
상기 이미지 생성 유닛은 상기 식별된 적어도 하나의 타깃 조직학적 이미지에서의 상기 제2 영역 세트에 기초하여 상기 수신된 조직학적 이미지에서의 상기 복수의 영역들을 수정하도록 더 구성되는, 이미지 프로세싱 디바이스. - 삭제
- 삭제
- 삭제
- 조직학적 이미지를 프로세싱하기 위한 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 컴퓨터의 프로세서로 하여금 동작들을 수행하게 하며, 상기 동작들은:
적어도 하나의 조직 유형을 포함하는 상기 조직학적 이미지를 수신하는 동작;
상기 조직학적 이미지에서 후보 조직 유형을 결정하는 동작;
상기 조직학적 이미지에서 상기 후보 조직 유형에 대응하는 타깃 영역을 식별하는 동작;
하나 이상의 샘플 조직학적 이미지를 하나 이상의 샘플 타깃 조직학적 이미지와 연관시키는 예측 모델에 기초하여, 상기 조직학적 이미지에서 상기 타깃 영역에 대응하는 적어도 하나의 타깃 조직학적 이미지를 식별하는 동작;
상기 식별된 적어도 하나의 타깃 조직학적 이미지와 연관된 하나 이상의 디스플레이 특성을 상기 조직학적 이미지에 적용하는 동작; 및
상기 적용된 하나 이상의 디스플레이 특성을 포함하는 상기 조직학적 이미지의 수정된 이미지를 생성하는 동작;
을 포함하고,
제1 샘플 조직학적 이미지 세트에 기초하여 제1 오토 인코더를 트레이닝하는 것에 의해 제1 비지도 학습 모델이 생성되고,
제2 샘플 타깃 조직학적 이미지 세트를 기초하여 제2 오토 인코더를 트레이닝하는 것에 의해 제2 비지도 학습 모델이 생성되고,
상기 예측 모델은 상기 제1 비지도 학습 모델 및 상기 제2 비지도 학습 모델에 기초하여 생성되고,
상기 제1 샘플 조직학적 이미지 세트에서의 M개의 샘플 조직학적 이미지의 하나 이상의 해부학적 위치는 상기 제2 샘플 타깃 조직학적 이미지 세트에서의 N개의 샘플 타깃 조직학적 이미지의 하나 이상의 해부학적 위치와 매칭하도록 정렬되며 - M 및 N은 양의 정수들임 -,
상기 예측 모델은 하나 이상의 디스플레이 특성을 나타내는 하나 이상의 특징에 관한 데이터를 포함하고, 상기 N개의 샘플 타깃 조직학적 이미지로부터의 하나 이상의 특징을 상기 M개의 샘플 조직학적 이미지로부터의 하나 이상의 특징과 연관시키는 것에 의해 트레이닝되는, 저장 매체. - 제18항에 있어서, 상기 후보 조직 유형에 대응하는 상기 타깃 영역을 식별하는 동작은 상기 조직학적 이미지에서 상기 타깃 영역을 포함하는 복수의 영역들을 식별하는 동작을 포함하고,
상기 예측 모델은 상기 샘플 조직학적 이미지 각각에서의 제1 영역 세트 및 상기 샘플 타깃 조직학적 이미지 각각에서의 제2 영역 세트를 포함하며,
상기 예측 모델에서 상기 제1 영역 세트는 상기 제2 영역 세트와 연관되고,
상기 하나 이상의 디스플레이 특성을 적용하는 동작은 상기 식별된 적어도 하나의 타깃 조직학적 이미지에서의 상기 제2 영역 세트에 기초하여 상기 수신된 조직학적 이미지에서의 상기 복수의 영역들을 수정하는 동작을 포함하는 저장 매체. - 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762461490P | 2017-02-21 | 2017-02-21 | |
| US62/461,490 | 2017-02-21 | ||
| US201762563751P | 2017-09-27 | 2017-09-27 | |
| US62/563,751 | 2017-09-27 | ||
| PCT/KR2018/002118 WO2018155898A1 (en) | 2017-02-21 | 2018-02-21 | Method and apparatus for processing histological image captured by medical imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190112170A KR20190112170A (ko) | 2019-10-02 |
| KR102622542B1 true KR102622542B1 (ko) | 2024-01-10 |
Family
ID=63252850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197027374A KR102622542B1 (ko) | 2017-02-21 | 2018-02-21 | 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11984217B2 (ko) |
| EP (1) | EP3586306A4 (ko) |
| JP (1) | JP7226895B2 (ko) |
| KR (1) | KR102622542B1 (ko) |
| CN (1) | CN110326024B (ko) |
| WO (1) | WO2018155898A1 (ko) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456023A (zh) * | 2018-03-07 | 2024-01-26 | 威里利生命科学有限责任公司 | 对组织切片图像的虚拟染色 |
| JP7181001B2 (ja) * | 2018-05-24 | 2022-11-30 | 日本電子株式会社 | 生物組織画像処理システム及び機械学習方法 |
| JP6981940B2 (ja) * | 2018-08-29 | 2021-12-17 | 富士フイルム株式会社 | 画像診断支援装置、方法及びプログラム |
| US20220058839A1 (en) * | 2018-12-31 | 2022-02-24 | Oregon Health & Science University | Translation of images of stained biological material |
| CN113498323A (zh) * | 2019-02-26 | 2021-10-12 | 富士胶片株式会社 | 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序 |
| EP3953863A4 (en) * | 2019-04-10 | 2023-01-11 | The Board of Trustees of the Leland Stanford Junior University | HIGH RESOLUTION 3D IMAGING ALIGNMENT WITH 2D IMAGING |
| US10996306B2 (en) * | 2019-04-25 | 2021-05-04 | General Electric Company | MRI system and method using neural network for detection of patient motion |
| JP2021029258A (ja) * | 2019-08-13 | 2021-03-01 | ソニー株式会社 | 手術支援システム、手術支援方法、情報処理装置、及び情報処理プログラム |
| US11633145B2 (en) * | 2019-10-21 | 2023-04-25 | The Trustees Of Dartmouth College | Specimen imaging with x-ray and optical measurement |
| US10733325B1 (en) | 2019-11-15 | 2020-08-04 | Capital One Services, Llc | Securing user-entered text in-transit |
| KR102306658B1 (ko) * | 2019-12-24 | 2021-09-30 | 아주대학교산학협력단 | 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치 |
| US11508169B2 (en) * | 2020-01-08 | 2022-11-22 | Palo Alto Research Center Incorporated | System and method for synthetic image generation with localized editing |
| CN113378118B (zh) * | 2020-03-10 | 2023-08-22 | 百度在线网络技术（北京）有限公司 | 处理图像数据的方法、装置、电子设备和计算机存储介质 |
| WO2021186592A1 (ja) * | 2020-03-17 | 2021-09-23 | 株式会社村田製作所 | 診断支援装置及びモデル生成装置 |
| KR102447341B1 (ko) * | 2020-04-10 | 2022-09-26 | 주식회사 뷰웍스 | 유방 촬영 장치 및 방법 |
| JPWO2021206076A1 (ko) * | 2020-04-10 | 2021-10-14 | ||
| CN111539883B (zh) * | 2020-04-20 | 2023-04-14 | 福建帝视信息科技有限公司 | 基于强可逆对抗网络的数字病理图像h&e染色复原方法 |
| US11449994B2 (en) * | 2020-06-02 | 2022-09-20 | Memorial Sloan Kettering Cancer Center | Machine learning model for analyzing pathology data from metastatic sites |
| KR102261475B1 (ko) * | 2020-06-05 | 2021-06-07 | 주식회사 딥바이오 | 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템 |
| KR102196874B1 (ko) * | 2020-08-07 | 2020-12-31 | 주식회사 환경과학기술 | 위성 이미지 생성 학습 장치, 위성 이미지 생성 학습 방법, 위성 이미지 생성 장치 및 위성 이미지 생성 방법 |
| CN112908451B (zh) * | 2021-04-16 | 2023-12-26 | 千乘镜像(北京)科技有限公司 | 图像处理方法、装置和存储介质 |
| CN113781366B (zh) * | 2021-11-03 | 2023-06-23 | 四川大学 | 一种基于深度学习的眼部oct图像清晰化方法 |
| WO2023092081A1 (en) * | 2021-11-19 | 2023-05-25 | Verily Life Sciences Llc | Segmentation generation for image-related functions |
| US20230301510A1 (en) * | 2022-03-24 | 2023-09-28 | Worcester Polytechnic Institute | Robotic-assisted optical coherence tomography (oct) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011104016A (ja) * | 2009-11-13 | 2011-06-02 | Olympus Corp | 画像処理装置、電子機器、内視鏡システム及びプログラム |
| US20130317369A1 (en) | 2012-03-19 | 2013-11-28 | Genetic Innovations, Inc. | Devices, systems, and methods for virtual staining |
| WO2016092394A1 (en) * | 2014-12-10 | 2016-06-16 | Koninklijke Philips N.V. | Systems and methods for translation of medical imaging using machine learning |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7545965B2 (en) | 2003-11-10 | 2009-06-09 | The University Of Chicago | Image modification and detection using massive training artificial neural networks (MTANN) |
| WO2009058915A1 (en) * | 2007-10-29 | 2009-05-07 | The Trustees Of The University Of Pennsylvania | Computer assisted diagnosis (cad) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (mrs) and imaging (mri) |
| US8488863B2 (en) | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
| US9025850B2 (en) * | 2010-06-25 | 2015-05-05 | Cireca Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
| ES2711196T3 (es) * | 2010-07-30 | 2019-04-30 | Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud | Sistemas y procedimientos para la segmentación y el procesamiento de imágenes de tejidos y extracción de características de estos para tratar, diagnosticar o predecir afecciones médicas |
| WO2012123718A1 (en) | 2011-03-14 | 2012-09-20 | The University Of Warwick | Histology analysis |
| US8948522B2 (en) * | 2011-08-04 | 2015-02-03 | Seiko Epson Corporation | Adaptive threshold for object detection |
| US9317781B2 (en) * | 2013-03-14 | 2016-04-19 | Microsoft Technology Licensing, Llc | Multiple cluster instance learning for image classification |
| US9786050B2 (en) * | 2013-03-15 | 2017-10-10 | The Board Of Trustees Of The University Of Illinois | Stain-free histopathology by chemical imaging |
| US9668699B2 (en) * | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| US20150269314A1 (en) * | 2014-03-20 | 2015-09-24 | Rudjer Boskovic Institute | Method and apparatus for unsupervised segmentation of microscopic color image of unstained specimen and digital staining of segmented histological structures |
| US10283221B2 (en) * | 2016-10-27 | 2019-05-07 | International Business Machines Corporation | Risk assessment based on patient similarity determined using image analysis |
-
2018
- 2018-02-21 CN CN201880012805.4A patent/CN110326024B/zh active Active
- 2018-02-21 WO PCT/KR2018/002118 patent/WO2018155898A1/en unknown
- 2018-02-21 US US16/487,636 patent/US11984217B2/en active Active
- 2018-02-21 EP EP18756616.1A patent/EP3586306A4/en active Pending
- 2018-02-21 JP JP2019566558A patent/JP7226895B2/ja active Active
- 2018-02-21 KR KR1020197027374A patent/KR102622542B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011104016A (ja) * | 2009-11-13 | 2011-06-02 | Olympus Corp | 画像処理装置、電子機器、内視鏡システム及びプログラム |
| US20130317369A1 (en) | 2012-03-19 | 2013-11-28 | Genetic Innovations, Inc. | Devices, systems, and methods for virtual staining |
| WO2016092394A1 (en) * | 2014-12-10 | 2016-06-16 | Koninklijke Philips N.V. | Systems and methods for translation of medical imaging using machine learning |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110326024A (zh) | 2019-10-11 |
| KR20190112170A (ko) | 2019-10-02 |
| WO2018155898A1 (en) | 2018-08-30 |
| JP7226895B2 (ja) | 2023-02-21 |
| US20200035350A1 (en) | 2020-01-30 |
| JP2020508536A (ja) | 2020-03-19 |
| EP3586306A1 (en) | 2020-01-01 |
| US11984217B2 (en) | 2024-05-14 |
| CN110326024B (zh) | 2023-11-03 |
| EP3586306A4 (en) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102622542B1 (ko) | 의료 이미징 디바이스에 의해 캡처된 조직학적 이미지를 프로세싱하기 위한 방법 및 장치 | |
| JP4310099B2 (ja) | 肺疾患検出のための方法及びシステム | |
| CN109523522B (zh) | 内窥镜图像的处理方法、装置、系统及存储介质 | |
| CN107624192B (zh) | 通过内窥镜组织分化的外科引导和术中病理的系统和方法 | |
| CN110473186B (zh) | 一种基于医学图像的检测方法、模型训练的方法及装置 | |
| CN110458883A (zh) | 一种医疗影像的处理系统、方法、装置和设备 | |
| US11935215B2 (en) | System and method for the visualization and characterization of objects in images | |
| CN114129240B (zh) | 一种引导信息生成方法、系统、装置及电子设备 | |
| Sinha et al. | Medical image processing | |
| BR112020023281A2 (pt) | classificação de tecido biológico por computador | |
| CN109493325A (zh) | 基于ct影像的肿瘤异质性分析系统 | |
| Du et al. | Identification of COPD from multi-view snapshots of 3D lung airway tree via deep CNN | |
| CN112699869A (zh) | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 | |
| CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
| JP2006346094A (ja) | 検出情報の出力方法及び医用画像処理システム | |
| US20220092786A1 (en) | Method and arrangement for automatically localizing organ segments in a three-dimensional image | |
| US20210125334A1 (en) | System and Method for Analyzing Three-Dimensional Image Data | |
| CN113539476A (zh) | 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统 | |
| CN112750519A (zh) | 医学图像数据的匿名化 | |
| Cao et al. | Deep learning based lesion detection for mammograms | |
| ALOUPOGIANNI et al. | Binary malignancy classification of skin tissue using reflectance and texture features from macropathology multi-spectral images | |
| CN111862014A (zh) | 一种基于左右侧脑室分割的alvi自动测量方法及装置 | |
| CN115132357B (zh) | 基于医学影像图预测目标疾病指标状态的装置 | |
| TWI778759B (zh) | 醫療影像處理方法和設備、及其電腦儲存介質和電腦程式產品 | |
| CN116344001B (zh) | 一种基于人工智能的医疗信息可视化管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |