KR20220129451A - 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템 - Google Patents
뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템 Download PDFInfo
- Publication number
- KR20220129451A KR20220129451A KR1020210141101A KR20210141101A KR20220129451A KR 20220129451 A KR20220129451 A KR 20220129451A KR 1020210141101 A KR1020210141101 A KR 1020210141101A KR 20210141101 A KR20210141101 A KR 20210141101A KR 20220129451 A KR20220129451 A KR 20220129451A
- Authority
- KR
- South Korea
- Prior art keywords
- disease
- expression region
- diagnosis result
- neural network
- expressed
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 144
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 144
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003745 diagnosis Methods 0.000 claims abstract description 123
- 238000004393 prognosis Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 29
- 230000011218 segmentation Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 206010060862 Prostate cancer Diseases 0.000 description 7
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000007170 pathology Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 206010061818 Disease progression Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 108700024394 Exon Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템이 개시된다. 상기 예후예측방법은 상기 시스템이 생체 이미지를 입력받는 단계, 상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계, 상기 시스템이 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하고, 판단결과에 기초한 예후예측정보를 생성하는 단계를 포함하며, 상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계는, 상기 생체 이미지가 소정의 크기로 분할된 소정의 패치 각각에 대해 질병이 발현되었는지 여부의 판단결과에 기초하여 상기 발현영역 진단결과를 생성하거나, 상기 패치 각각에 대해 패치 중 질병이 발현된 영역을 세그멘테이션한 결과에 기초하여 상기 발현영역 진단결과를 생성한다.
Description
본 발명은 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템에 관한 것이다. 보다 상세하게는 뉴럴 네트워크를 통해 질병의 발현 영역을 세그멘테이션할 수 있는 질병 진단 시스템의 진단결과를 이용해 해당 질병의 예후예측을 위한 예측팩터를 도출하고 이를 이용한 예후예측을 수행할 수 있는 방법 및 그 시스템에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체이미지를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜 기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다.
최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution neural network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있다.
특히 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 진단은 종래에 숙련된 의료인의 경험과 지식을 단순히 자동화하는 것이 아니라, 스스로 학습을 통해 특징적인 요소들을 찾아내어 원하는 해답을 도출한다는 점에 있어서 오히려 숙련된 의료인이 알지 못하던 질병인자의 특징을 이미지에서 찾아내는 경우도 있다.
일반적으로 생체이미지를 이용하는 뉴럴 네트워크를 통한 질병의 진단은 생체이미지의 조각 즉, 패치(pathch, 또는 타일(tile)이라고도 함)을 이용한다. 즉, 해당 타일에 대해 숙련된 의료인은 특정 질병의 상태(예컨대, 암이 발현되었는지 여부)를 어노테이션(annotaion)하고, 이러한 어노테이션된 다수의 타일들을 트레이닝 데이터로 이용하여 뉴럴 네트워크를 학습하게 된다. 이때 상기 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크가 이용될 수 있다.
한편, 질병의 예후 예측을 위해서는 진단의 대상이 되는 전체 조직에서 질병의 발현부위가 얼마나 큰 영역을 차지하는지에 대한 정보 즉, 발현비율이 중요한 팩터로 활용될 수 있다. 이러한 발현비율을 통해 질병의 진행상황을 예측하고 적합한 치료방법, 수술여부, 약물의 선택 등이 이루어지므로 예후예측을 위한 발현비율은 매우 중요한 정보일 수 있다.
하지만 종래에는 병리 전문가가 육안으로 조직 검체가 포함된 유리 슬라이드를 현미경으로 관찰하면서 자신이 판단한 발병 영역을 소정의 도구(예컨대, 사인펜 등)로 유리 슬라이드 상에 마킹하고, 마킹 정보에 기반하여 개략적인 발현비율만을 도출하는데 그치고 있었다.
이러한 종래의 발현비율의 판단방식은 도 1에 도시된다.
도 1은 종래의 병리 전문가에 의해 질병의 발현비율이 판단되는 방식을 설명하기 위한 도면이다.
도 1을 참조하면, 도 1의 상부에 도시된 바와 같이 종래에는 적어도 하나의 생체조직이 소정의 방식으로 염색된 후 슬라이드에 배치된다.
그러면 도 1의 하부에 도시된 바와 같이 병리 전문가는 이러한 슬라이드에 배치된 조직을 현미경을 통해 일일이 육안으로 확인하면서 각각의 조직에서 질병이 발현된 영역을 마킹하게 된다. 이때 육안으로 확인하면서 질병의 발현 영역을 마킹하여야 하므로 매우 미세한 영역 단위(예컨대, 전립선암의 경우 글랜드 단위)로 마킹을 하는 것은 실질적으로 불가능하고 도 1의 하부에 도시된 바와 같이 질병의 발현 영역의 일측 방향 끝지점과 타측방향 끝지점을 마킹하는 방식과 같이 대략의 발현비율을 판단할 수 있는 최소한의 정보만 마킹하게 된다.
도 1의 하부에서는 병리 전문가가 붉은색 필기도구로 슬라이드(유리 슬라이드)상에 직접 마킹한 일 예를 도시하고 있다. 또한 도 1에서는 질병이 전립선 암인 경우를 예시적으로 설명하지만 본 발명의 권리범위가 이에 한정되지는 않으며 다양한 질병에 본 발명의 기술적 사상이 적용될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
그러면 도 1의 하부의 경우에, 첫 번째 조직에 대해 병리 전문가의 판단으로 알 수 있는 발현비율과 관련된 정보는, 해당 조직의 총 길이는 8.5mm이고 마킹된 정보에 기반하여 판단된 발현 영역의 길이는 7mm이며, 발현된 영역에는 글리슨 스코어 3 및 4가 혼재되어 있다는 정보일 수 있다.
또한, 두 번째 조직에 대해 병리 전문가의 판단으로 알 수 있는 발현비율과 관련된 정보는, 해당 조직의 총 길이는 8mm이고 마킹된 정보에 기반하여 판단된 발현 영역의 길이는 6.5mm로 이며, 발현된 영역에는 글리슨 스코어 3 및 4가 혼재되어 있다는 정보일 수 있다.
또한, 세 번째 조직에 대해 병리 전문가의 판단으로 알 수 있는 발현비율과 관련된 정보는, 해당 조직의 총 길이는 9.6mm이고 마킹된 정보에 기반하여 판단된 발현 영역의 길이는 1.5mm로 이며, 발현된 영역에는 글리슨 스코어 3만 있다는 정보일 수 있다.
이처럼 병리 전문가의 판단에 기반하여 예후예측을 위한 발현비율과 관련된 정보를 획득하는 경우에는, 질병의 발현 영역을 마킹하는 방식, 필기도구의 굵기, 병리 전문가의 판단시의 몸의 컨디션에 지배적인 영향을 받을 수 밖에 없어서 부정확성이 높을 가능성이 매우 크다.
또한 도 1에서와 같이 통상 병리 전문가의 경우에는 질병의 발현영역의 바운더리(예컨대, 양 끝지점)만 마킹하고 해당 바운더리 내의 모든 영역에 질병이 발현되었다고 가정하여 발현비율을 예측하는 것이 일반적이다. 하지만 실제로는 해당 바운더리 내에도 질병이 발현된 영역과 미발현된 영역이 혼재하여 정확한 발현비율을 판단하기 어려운 문제가 있다.
또한 도 1에서 설명한 바와 같이 질병이 발현되었어도 질병의 진행상태(예컨대, 전립선암의 글리슨 스코어)가 구분되는 경우에는, 질병의 진행상태별 발현비율이 중요한 정보(예컨대, 전체 조직에서 글리슨 스코어 3만의 발현비율, 글리슨 스코어 4만의 발현비율)가 될 수 있음에도 이러한 정보를 획득하는 것이 실질적으로 어렵다는 문제가 있다.
따라서 뉴럴 네트워크를 이용한 진단결과를 이용하여 정확하게 예후예측을 위한 정보를 획득할 수 있고, 이를 이용해 질병의 예후예측을 수행할 수 있는 방법 및 그 시스템이 절실히 요구된다.
본 발명이 이루고자 하는 기술적인 과제는 뉴럴 네트워크를 이용한 진단결과를 이용하여 정확하게 예후예측을 위한 정보를 획득할 수 있고, 이를 이용해 질병의 예후예측을 수행할 수 있는 기술적 사상을 제공하는 것이다.
특히, 패치단위로 질병이 발현되었다고 판단하는 것이 아니라 패치 내에서도 질병이 발현한 영역의 구분을 위한 세그멘테이션을 수행한 진단결과를 이용하여 보다 정확한 예후예측정보를 획득할 수 있는 기술적 사상을 제공하는 것이다.
본 발명의 일 측면에 따르면, 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 의해 구현되는 예후예측 방법은 상기 시스템이 생체 이미지를 입력받는 단계, 상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계, 상기 시스템이 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하고, 판단결과에 기초한 예후예측정보를 생성하는 단계를 포함하며, 상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계는, 상기 생체 이미지가 소정의 크기로 분할된 소정의 패치 각각에 대해 질병이 발현되었는지 여부의 판단결과에 기초하여 상기 발현영역 진단결과를 생성하거나, 상기 패치 각각에 대해 패치 중 질병이 발현된 영역을 세그멘테이션한 결과에 기초하여 상기 발현영역 진단결과를 생성한다.
상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계는, 상기 질병이 발현된 경우 발현된 질병의 상태가 복수의 클래스들로 구분되는 경우, 상기 시스템이 각각의 클래스별로 발현영역 진단결과를 생성하는 단계를 포함하며, 상기 시스템이 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하고, 판단결과에 기초한 예후예측정보를 생성하는 단계는, 상기 시스템이 상기 발현영역 진단결과에 기초하여 각각의 클래스별로 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하는 것을 특징으로 할 수 있다.
상기 예후예측정보는 상기 전체 조직의 크기 대비 상기 발현영역의 크기에 상응하는 발현비율에 대한 정보를 포함할 수 있다.
다른 일측면에 따른 예후예측을 위한 시스템은 프로세서, 상기 프로세서에 의해 구동되는 프로그램 및 뉴럴 네트워크를 저장하는 메모리를 포함하며, 상기 프로세서는 상기 프로그램을 구동하여, 생체 이미지를 입력받고, 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하며, 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하고, 판단결과에 기초한 예후예측정보를 생성하되, 상기 생체 이미지가 소정의 크기로 분할된 소정의 패치 각각에 대해 질병이 발현되었는지 여부의 판단결과에 기초하여 상기 발현영역 진단결과를 생성하거나, 상기 패치 각각에 대해 패치 중 질병이 발현된 영역을 세그멘테이션한 결과에 기초하여 상기 발현영역 진단결과를 생성한다.
상기 프로세서는 상기 프로그램을 구동하여, 상기 질병이 발현된 경우 발현된 질병의 상태가 복수의 클래스들로 구분되는 경우, 각각의 클래스별로 발현영역 진단결과를 생성하고, 상기 발현영역 진단결과에 기초하여 각각의 클래스별로 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하는 것을 특징으로 할 수 있다.
상기의 방법은 데이터 처리장치에 설치된 프로그램에 의해 구현될 수 있다.
본 발명의 기술적 사상에 의하면, 뉴럴 네트워크를 이용한 진단결과를 이용하여 예후예측을 상대적으로 정확하게 할 수 있는 예후예측정보를 획득할 수 있고, 이를 이용해 질병의 예후예측을 수행함으로써 정확하면서도 객관적인 정보에 기반한 예후예측을 할 수 있는 효과가 있다.
또한 패치단위로 질병이 발현되었다고 판단하는 것이 아니라 패치 내에서도 질병이 발현한 영역의 구분을 위한 세그멘테이션을 수행한 진단결과를 이용하여 보다 정밀한 예후예측정보를 획득할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 종래의 병리 전문가에 의해 질병의 발현비율이 판단되는 방식을 설명하기 위한 도면이다.
도 2는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법을 구현하기 위한 개략적인 시스템 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 시스템의 하드웨어적 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 시스템을 진단시스템과 예후예측시스템으로 구분한 일 예를 도시하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법을 설명하기 위한 생체 이미지의 발현영역 진단결과를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 패치레벨 세그멘테이션 뉴럴 네트워크의 전체적인 구조를 설명하기 위한 도면이다.
도 1은 종래의 병리 전문가에 의해 질병의 발현비율이 판단되는 방식을 설명하기 위한 도면이다.
도 2는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법을 구현하기 위한 개략적인 시스템 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 시스템의 하드웨어적 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 시스템의 논리적 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 시스템을 진단시스템과 예후예측시스템으로 구분한 일 예를 도시하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법을 설명하기 위한 생체 이미지의 발현영역 진단결과를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 패치레벨 세그멘테이션 뉴럴 네트워크의 전체적인 구조를 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, “포함하다” 또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 기술적 사상에 따른 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법을 구현하기 위한 개략적인 시스템 구성을 나타내는 도면이다. 도 3은 본 발명의 실시 예에 따른 시스템의 하드웨어적 구성을 설명하기 위한 도면이다. 도 4는 본 발명의 실시 예에 따른 시스템의 논리적 구성을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 시스템을 진단시스템과 예후예측시스템으로 구분한 일 예를 도시하기 위한 도면이다.
도 2 내지 도 5를 참조하면, 본 발명의 기술적 사상을 구현하기 위해 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측을 위한 시스템(100)이 구비될 수 있다.
본 발명의 기술적 사상에 따른 시스템(100)은 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 도 3에 도시된 바와 같이 프로세서(11) 및 저장장치(메모리, 12)를 포함할 수 있다. 상기 프로세서(11)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(12-1)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(11)는 상기 프로그램(12-1)과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크(Neural Network, 12-2)를 이용해 진단을 수행할 수 있다.
상기 뉴럴 네트워크(12-2)는 생체이미지에서 소정의 질병이 발현된 영역을 판단할 수 있다. 일 예에 의하면, 상기 뉴럴 네트워크(12-2)는 생체 이미지가 소정의 크기로 분할된 패치에 질병이 발현되었는지 여부를 판단하도록 학습된 것일 수 있다. 이러한 뉴럴 네트워크(12-2)를 후술할 바와 같이 패치레벨 진단을 수행하는 패치레벨 클래시피케이션 뉴럴 네트워크로 정의할 수 있다.
실시 예에 따라서는 상기 뉴럴 네트워크(12-2)는 패치레벨 클래시피케이션 뉴럴 네트워크뿐만 아니라 각각의 패치 중에서도 질병이 발현된 영역만을 구분하여 특정하기 위한 뉴럴 네트워크 즉, 패치레벨 세그멘테이션 뉴럴 네트워크를 포함할 수도 있다. 상기 패치레벨 세그멘테이션 뉴럴 네트워크는 패치 중 질병이 존재하는 영역을 특정하는 패치레벨 세그멘테이션을 수행할 수도 있다.
구현 예에 따라 상기 뉴럴 네트워크(12-2)는 슬라이드 레벨 진단을 수행하는 뉴럴 네트워크를 더 포함할 수도 있다. 실시 예에 따라서 상기 슬라이드 레벨 진단을 수행하는 구성은 뉴럴 네트워크뿐만 아니라 다양한 머신러닝 기법을 통해 구현될 수도 있다. 본 발명의 기술적 사상에 따르면 상기 슬라이드 레벨 진단을 수행하는 진단엔진은 공지의 XGBoost가 이용되었지만 다양한 방식의 머신러닝 기법에 따른 진단엔진이 구현될 수 있고, 이러한 진단엔진은 상기 저장장치(12)에 저장될 수 있음은 물론이다.
상기 서버(10)는 도 3에 도시된 바와 같이 프로세서(11) 및 저장장치(12)를 포함할 수 있다. 상기 프로세서(11)는 본 발명의 기술적 사상을 구현하기 위한 프로그램(12-1)을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로세서(11)는 상기 프로그램(12-1)과 본 발명의 기술적 사상에 의해 정의되는 뉴럴 네트워크(Nerual Network, 12-2)를 이용해 진단을 수행할 수 있다.
상기 뉴럴 네트워크(12-2)는 후술할 바와 같이 패치레벨 진단을 수행하는 뉴럴 네트워크를 포함할 수 있다. 패치레벨 진단을 수행하는 뉴럴 네트워크는 슬라이드를 분할한 일부인 패치에 질병이 존재하는지 여부를 판단할 수 있다. 또한 패치레벨 진단을 수행하는 뉴럴 네트워크는 해당 패치 중 질병의 발병 영역을 특정하는 세그멘테이션을 수행할 수도 있는데, 이러한 뉴럴 네트워크를 이하에서는 패치레벨 세그멘테이션 뉴럴 네트워크라고 부르기로 한다.
상기 저장장치(12)는 상기 프로그램(12-1), 뉴럴 네트워크(12-2), 및/또는 슬라이드 레벨 진단을 수행하는 진단엔진을 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치(12)는 상기 서버(10)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서(11)에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 시스템(100)은 도 2 또는 도 3에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 명세서에서 상기 시스템(100)이 진단을 수행한다고 함은 생체조직이 표현된 생체이미지 즉, 슬라이드의 전체 또는 상기 슬라이드의 일부인 패치를 입력받아 본 명세서에서 정의된 출력 데이터를 출력하는 일련의 프로세스를 의미할 수 있다.
일 예에 의하면 상기 시스템(100)은 투 페이스(two phase) 진단을 수행할 수 있다. 첫 번째 페이스는 패치레벨 진단을 수행하는 과정일 수 있고, 이러한 과정에서 상기 시스템(100)은 슬라이드의 패치 별로 입력을 받고 해당 패치에 질병의 발현여부를 출력하고 및/또는 해당 패치에서 질병이 발병한 영역을 특정할 수 있다. 이를 위한 뉴럴 네트워크가 학습되어 구현될 수 있음은 물론이다.
두 번째 페이스는 첫 번째 페이스의 진단결과를 통해 슬라이드에 질병이 발현되었는지 여부를 출력할 수 있다. 이러한 과정은 뉴럴 네트워크 또는 소정의 머신러닝 기법이 이용될 수 있다.
즉, 패치별 진단결과에 따라 일부 패치가 질병이 발현되었다고 판단되더라도, 해당 패치를 포함하는 슬라이드 전체에 상응하는 생체조직에서 질병이 발현된 것으로 판단되지 않을 가능성은 존재할 수 있다. 예컨대, 질병 발현된 것으로 판단된 패치들이 슬라이드 내에서 산만하게 흩어져 있거나, 그 수가 적은 경우, 또는 밀집도 등 기타 질병이 발현된 것으로 판단된 패치들의 물리적 특성(예컨대, 위치, 크기, 밀집도 등)이 실제 해당 슬라이드에서 질병의 발현여부 판단에 중요한 의미를 가질 수 있다. 따라서 두 번째 페이스는 패치별 진단결과와 이러한 진단결과에 기초하여 판단된 패치들(즉, 질병이 발현된 것으로 진단된 패치들)의 특성에 기초하여 슬라이드에서의 질병의 발현여부를 판단함으로써 효과적으로 그리고 정확도 높은 진단을 수행할 수 있다.
한편, 상기 시스템(100)이 패치별로 세그멘테이션을 수행하기 위한 패치레벨 세그멘테이션 뉴럴 네트워크를 포함할 수도 있다. 이는 패치 단위의 진단결과에 따라 질병의 발현여부를 패치 별로 판단(즉 패치 별 클래시피케이션)하고, 패치 단위로 질병이 발현되었다고 판단되는 경우에는 패치 내에 질병이 발현되지 않은 영역이 존재함에도 패치 전체가 질병이 발현되었다고 판단되는 문제가 있을 수 있다. 따라서 질병으로 진단된 조직 부분을 명확히 파악할 수 있도록 어느 하나의 패치 내에서도 질병 영역을 구분해낼 수 있는 세그멘테이션이 필요할 수 있으며, 이를 위해 상기 패치레벨 세그멘테이션 뉴럴 네트워크가 구현될 수 있다.
이러한 세그멘테이션을 위한 기술적 사상의 일 예는 한국공개특허 10-2019-0084814 " 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법"(이하, '이전출원')에 개시된 바 있으며, 이전출원은 본 발명의 레퍼런스로 포함될 수 있다.
어떠한 경우든 상기 뉴럴 네트워크(12-2)는 질병의 발현여부를 패치별로 판단하고, 실시 예에 따라 각각의 패치 내에서도 질병의 발현영역만을 특정할 수 있다.
즉, 상기 뉴럴 네트워크(12-2)는 질병의 발현영역을 단순히 패치별로만 판단할 수도 있고, 패치 내에서도 질병의 발현영역만을 더 특정할 수도 있다.
또한, 상기 뉴럴 네트워크(12-2)는 특정 질병의 발현여부뿐만 아니라, 특정 질병의 진행 정도를 나타내는 상태정보(또는 상기 진행 정도에 해당할 확률)를 판단할 수도 있다.
예컨대, 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 스코어(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 상기 뉴럴 네트워크가 출력하는 상태정보에 포함될 수 있다. 예컨대, 글리슨 스코어는 2 내지 5의 값을 가지며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 따라서 상기 상태정보는 진단의 대상이 되는 패치에 해당하는 생체조직이 글리슨 스코어의 특정 값(예컨대, 3, 4, 또는 5)에 해당할 확률을 의미할 수도 있다.
즉 상기 뉴럴 네트워크(12-2)는 패치별로 단순히 질병의 발현여부 뿐만 아니라, 질병이 발현된 경우에도 해당 패치가 복수의 클래스들(예컨대, 글리슨 스코어 3, 4, 또는 5) 중 어떤 클래스로 분류되는지를 판단할 수 있다.
상기 시스템(100)이 소정의 서버(10)에 포함되어 구현되는 경우, 상기 시스템(100)은 상기 서버(10)에 접속가능한 적어도 하나의 클라이언트(예컨대, 20, 20-1)와 통신을 수행할 수도 있다. 이러한 경우 상기 클라이언트(예컨대, 20, 20-1)는 생체이미지를 상기 시스템(100)으로 전송할 수 있고, 상기 시스템(100)은 전송된 생체이미지에 대해 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 그리고 진단결과를 상기 클라이언트(예커대, 20, 20-1)로 전송할 수도 있다. 또한 상기 시스템(100)은 상기 생체이미지의 진단결과에 기초하여 예후예측정보를 생성하고 출력할 수도 있다.
이를 위해 상기 시스템(100)은 도 5에 도시된 바와 같이 진단시스템과 예후예측시스템을 포함할 수 있다.
상기 진단시스템은 전술한 바와 같이 생체이미지를 입력받아 진단을 수행하는 구성일 수 있다. 진단을 수행한다고 함은 특히, 생체이미지에서 질병이 발현된 영역을 특정할 수 있는 정보 즉, 발현영역 진단결과를 출력하는 것을 의미할 수 있다. 발현영역 진단결과는 생체이미지 상에서 질병이 발현된 영역을 특정할 수 있는 정보이기만 하면 족하다. 예컨대, 생체 이미지 상에서 질병이 발현된 영역이 타 영역과 구분되도록 표시된 이미지 정보 자체가 발현영역 진단결과일 수도 있고, 질병이 발현된 영역에 포함되는 픽셀들에 대한 정보(좌표)가 발현영역 진단결과일 수도 있다. 또는 질병이 발현된 패치의 식별정보가 발현영역 진단결과일 수도 있다. 발현영역 진단결과를 구현하기 위한 다양한 실시 예가 존재할 수 있다.
상기 예후예측시스템은 예후예측에 이용되는 정보를 생성할 수 있다. 이를 위해 상기 예후예측시스템은 상기 진단시스템으로부터 발현영역 진단결과를 수신할 수 있다.
그러면 상기 예후예측시스템은 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단할 수 있다. 그리고 판단결과에 기초한 예후예측정보를 생성할 수 있다. 상기 예후예측정보는 전술한 바와 같이 발현비율에 대한 정보를 포함할 수 있지만, 이에 국한되지는 않으며 상기 발현영역 진단결과로부터 도출할 수 있으면서 예후예측에 유의미성을 가지는 어떠한 정보도 상기 예후예측정보에 포함될 수 있다.
상기 제1정보는 조직의 크기에 대한 정보를 나타낼 수 있으며, 상기 제1정보는 길이, 면적, 픽셀 수 등 다양한 방식으로 정의될 수 있다.
상기 제1정보를 판단하기 위해 상기 예후예측시스템은 조직의 염색된 색과 배경을 소정의 방식으로 구분하여 조직의 크기에 상응하는 상기 제1정보를 연산할 수 있다.
상기 제2정보는 상기 조직 중에서 실제 질병이 발현된 영역의 크기를 나타내를 수 있는 정보일 수 있다.
또한 상기 진단시스템이 질병이 발현된 경우 질병의 상태에 따라 복수의 클래스들 중 어느 하나로 발현된 질병을 분류하도록 구현된 경우, 각각의 클래스별로 발현영역의 크기를 나타내는 제2정보가 상기 예후예측시스템에 의해 연산될 수 있다. 예컨대, 전립선 암의 경우 글리슨 스코어 3에 상응하는 제2정보, 글리슨 스코어 4에 상응하는 제2정보, 및 글리슨 스코어 5에 상응하는 제2정보가 각각 개별적으로 판단될 수도 있다.
한편, 상기 진단시스템은 전술한 바와 같이 단순히 패치별로 질병의 진단을 수행할 수 있고, 이러한 경우에는 질병이 발현된 것으로 발현된 패치에 대해서는 패치 전체가 해당하는 질병(또는 해당하는 클래스의 질병)이 발현된 것으로 취급될 수 있다.
이러한 경우에도 도 1에서 전술한 바와 같이 종래의 병리 전문가에 의해 제2정보가 판단되는 것에 비해서는 월등히 정확한 예후예측정보의 연산이 가능할 수 있다.
구현 예에 따라서는 상기 진단시스템은 패치 각각에 대해 패치 중 질병이 발현된 영역을 세그멘테이션할 수 있다. 이러한 경우에는 어느 한 패치 내에서도 질병이 발현된 영역만 구분되어 특정될 수 있고, 이에 따라 제2정보는 보다 정밀할 수 있고, 그 결과에 기초하여 제2정보가 판단되는 경우 보다 더 높은 정확도를 갖는 예후예측정보의 연산이 가능할 수 있다.
상기 도 5에 도시된 바와 같은 진단시스템과 예후예측시스템의 구분은 그 논리적 기능을 구분한 것이지, 반드시 물리적으로 구분된 구성으로 본 발명의 기술적 사상에 따른 시스템(100)이 구현되는 것을 의미하는 것은 아니다. 즉, 상기 도 3 및 도 4에 개시된 구성들이 상기 진단시스템 및 상기 예후예측시스템을 모두 구현할 수 있다.
이러한 기술적 사상은 도 6을 참조하여 설명하도록 한다.
도 6은 본 발명의 일 실시 예에 따른 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법을 설명하기 위한 생체 이미지의 발현영역 진단결과를 나타내는 도면이다.
도 6은 도 1에 도시된 조직이 본 발명의 기술적 사상에 따른 진단시스템에 의해 진단되어 발현영역 진단결과가 생체이미지상에서 표시된 일 예를 나타낸다.
도 6에서 노란색으로 표시된 영역은 질병상태 중 소정의 제1클래스(예컨대, 글리슨 스코어 3)으로 판단된 영역이고, 주황색으로 표시된 영역은 질병상태 중 소정의 제2클래스(예컨대, 글리슨 스코어 4)로 판단된 영역을 나타낸다.
도 6과 도1을 비교하여 참조하면, 도 6에 도시된 바와 같이 병리 전문가가 질병이 발현된 영역의 바운더리를 마킹하고 바운더리 내의 조직은 모두 질병이 발현된 것으로 취급하는 것과 달리, 본 발명의 기술적 사상에 의하면 상기 바운더리 내에서도 실제로 질병이 발현된 영역과 그렇지 않은 영역이 픽셀레벨 또는 이에 가까운 세부영역까지 구분되어 판단될 수 있다.
따라서 종래에는 대강의 발현비율만 추정되는 것에 비해, 본 발명의 기술적 사상에 의하면 상대적으로 매우 정확한 질병의 발현영역의 크기에 대한 정보가 획득될 수 있다.
또한 도 6에 도시된 바와 같이 질병이 발현된 영역뿐만 아니라, 질병의 상태 즉, 클래스별로 정확한 영역의 계산이 가능해질 수 있다. 따라서 상기 시스템(100)은 전체 조직 대비 질병의 발현영역에 대한 비율뿐만 아니라, 이와 더불어 질병의 발현영역 대비 제1클래스(예컨대, 글리슨 스코어 3)의 발현영역의 비율, 질병의 발현영역 대비 제2클래스의 발현영역의 비율(예컨대, 글리슨 스코어 4), 제1클래스의 발현영역 대비 제2클래스의 발현영역의 비율 등 예후예측을 위한 다양한 지표가 설정될 수 있다.
이처럼 다양한 예후예측정보가 활용될 수 있음은, 현재의 환자의 상태를 보다 세밀하게 구분할 수 있고, 그에 따른 치료나 처방이 가능해질 수 있음을 의미할 수 있다.
한편, 상기 뉴럴 네트워크(12-2)는 전술한 바와 같이 패치레벨로 질병의 진단을 수행하고, 생체 이미지 상에서 질병의 발현영역을 판단할 수 있다. 물론, 이러한 진단을 수행하기 위해 상기 뉴럴 네트워크를 학습시키는 프로세스를 먼저 수행할 수도 있다. 또한 슬라이드 레벨 진단 역시 소정의 뉴럴 네트워크가 이용될 수도 있음은 전술한 바와 같다.
따라서 상기 시스템(100)은 본 발명의 기술적 사상에 따라 학습된 뉴럴 네트워크 및 상기 뉴럴 네트워크를 이용하여 진단을 수행하기 위한 프로그램을 외부로부터 수신하여 진단을 수행하는 시스템일 수도 있고, 상기 뉴럴 네트워크의 학습까지 수행하는 시스템일 수도 있다. 또한, 상기 시스템(100)은 범용의 데이터처리장치가 아니라 본 발명의 기술적 사상을 구현하기 위해 제작된 전용 장치로 구현될 수도 있고, 이러한 경우에는 생체이미지를 스캔하기 위한 수단 등이 더 구비될 수도 있다.
이러한 기술적 사상을 구현하기 위한 상기 시스템은 논리적으로 도 4와 같은 구성을 가질 수 있다.
도 4를 참조하면, 상기 시스템은 제어모듈(110) 및 상기 뉴럴 네트워크 및/또는 슬라이드 진단엔진이 저장된 뉴럴 네트워크모듈(120)을 포함한다. 또한, 상기 시스템(100)은 전처리 모듈(130)을 더 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 클라이언트(예컨대, 20, 20-1)와 통신하기 위한 통신모듈(미도시)을 더 포함할 수 있다.
상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 제어모듈(110), 상기 뉴럴 네트워크모듈(120), 및/또는 상기 전처리 모듈(130) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(110), 상기 뉴럴 네트워크모듈(120) 및/또는 상기 전처리 모듈(130) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 제어모듈(110)은 본 발명의 기술적 사상을 구현하기 위해 상기 시스템(100)에 포함된 다른 구성(예컨대, 상기 뉴럴 네트워크모듈(120) 및/또는 상기 전처리 모듈(130) 등)을 제어할 수 있다.
또한, 상기 제어모듈(110)은 생체 이미지를 입력받고, 입력받은 생체 이미지에 대해 저장된 뉴럴 네트워크모듈(120) 및/또는 슬라이드 진단엔진을 이용하여 본 발명의 기술적 사상에 따른 진단을 수행할 수 있다. 또한 발현영역 진단결과를 출력할 수 있다. 그리고 상기 제어모듈(110)은 예후예측정보를 생성할 수 있다.
상기 제어모듈(110)은 상기 뉴럴 네트워크모듈(120)에 저장된 패치레벨 뉴럴 네트워크 즉, 학습된 뉴럴 네트워크에 입력 데이터 즉, 패치 별 입력을 받을 수 있다. 그리고 뉴럴 네트워크에 의해 정의되는 연산들을 수행하여 출력 데이터 즉, 패치에 해당하는 질병 발현 확률에 상응하는 피쳐 값을 출력할 수 있다. 또한 실시예에 따라서는 패치 중 질병이 발현한 영역의 특정할 수 있다. 또한, 실시 예에 따라서는 후술할 바와 같은 슬라이드 레벨 진단을 위해 상기 피쳐 값이 소정의 문턱 값지 여부에 따라 해당 패치가 질병이 발현되었는지 여부를 출력할 수도 있다.
상기 뉴럴 네트워크모듈(120)은 패치레벨 진단을 수행하는 패치 진단엔진 및 슬라이드레벨 진단을 수행하는 슬라이드 진단엔진을 포함할 수 있다.
상기 패치 레벨 진단엔진은 전술한 바와 같이 본 발명의 기술적 사상에 따른 딥러닝 기반의 뉴럴 네트워크를 통해 구현될 수 있다. 상기 슬라이드 진단엔진은 딥러닝 기반의 뉴럴 네트워크가 이용될 수도 있고, 뉴럴 네트워크가 아닌 소정의 머신러닝(예컨대, XGBoost) 엔진이 이용될 수도 있다.
상기 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 본 명세서에서 상기 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크일 수 있다.
상기 컨볼루션 뉴럴 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 또한 batch normalization(BN) 레이어 등의 정규화 레이어가 포함되도록 컨볼루션 뉴럴 네트워크가 설계될 수도 있다.
컨볼루션 뉴럴 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴럴 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit), Swish, ELU(exponential linear unit)등일 수 있다.
앞서 언급한 바와 같이 패치 레벨 진단을 수행하는 뉴럴 네트워크는 패치에 질병이 존재하는지 여부를 판단할 뿐만 아니라 해당 패치 중 질병의 발병 영역을 특정하기 위한 세그멘테이션을 수행하는 패치레벨 세그멘테이션 뉴럴 네트워크일 수 있다.
본 발명의 일 실시예에 따른 패치레벨 세그멘테이션 뉴럴 네트워크는 패치에 질병이 존재하는지 여부를 판단하기 위한 클래시피케이션을 수행하는 뉴럴 네트워크(후술할 '패치레벨 클래시피케이션 뉴럴 네트워크')를 베이스로 하여, 여기에 세그멘테이션을 위한 별도의 아키텍쳐를 결합한 형태로 구현될 수 있다. 이와 같은 패치레벨 세그멘테이션 뉴럴 네트워크의 구조가 도 7에 도시되어 있다. 도 7에 도시된 패치레벨 세그멘테이션 뉴럴 네트워크는 이전출원에 상세히 개시되어 있으므로 간략히만 설명하면 다음과 같다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 패치레벨 세그멘테이션 뉴럴 네트워크(400)는 패치레벨 클래시피케이션 뉴럴 네트워크(200) 및 패치레벨 세그멘테이션 아키텍쳐(500)를 포함할 수 있다.
상기 패치레벨 클래시피케이션 뉴럴 네트워크(200)는 슬라이드를 분할한 일부인 패치를 입력 레이어로 입력 받아서 상기 패치에 상기 질병이 존재하는지 여부에 관한 패치레벨 분류 결과(예를 들어, 도 7에 도시된 바와 같은 스코어)를 출력할 수 있다. 이를 클래시피케이션이라고 하는데, 클래시피케이션 과정에서 상기 패치레벨 클래시피케이션 뉴럴 네트워크(200)는 내부에 포함된 일부 히든 레이어에서 중간 생성물로서 입력(즉, 패치)에 대한 피쳐를 생성할 수 있다. 특히, 이미지와 같은 2차원 이상의 매트릭스를 입력으로 받는 경우 생성되는 피쳐는 2차원 매트릭스의 형태이므로 피쳐 맵이라는 용어를 사용하기도 한다. 한편, 이하에서는 상기 패치레벨 클래시피케이션 뉴럴 네트워크(200)에 포함된 히든 레이어 중 피쳐 맵을 생성하는 레이어를 피쳐 맵 추출 레이어라고 부르기로 한다.
한편, 상기 패치레벨 세그멘테이션 아키텍쳐(500)는 상기 패치레벨 클래시피케이션 뉴럴 네트워크(200)에 포함된 히든 레이어 중 2 이상의 피쳐 맵 추출 레이어 각각에서 생성되는 피쳐 맵(예를 들어, 이전출원의 도 4에 도시되어 있는 f1, f2, f3)을 입력 받아서 상기 패치 중 질병이 존재하는 영역을 특정하여 출력할 수 있다.
도 7에서는 패치레벨 클래시피케이션 뉴럴 네트워크(200)가 클래시피케이션을 수행하는 과정에서 3 개의 피쳐 맵(저수준 피쳐맵 f1, 중수준 피쳐맵 f2, 고수준 피쳐맵 f3)을 생성하는 예를 도시하고 있으나, 실시예에 따라서 이보다 많거나 적은 수의 피쳐 맵이 생성될 수 있음은 물론이다.
한편, 본 발명의 실시 예에 따르면, 패치레벨 클래시피케이션을 수행하는 패치레벨 클래시피케이션 뉴럴 네트워크(200)는 공지된 densenet을 이용할 수 있으나 이에 국한되지는 않는다. 이외에도 다양한 뉴럴 네트워크가 활용될 수 있으며, 어떠한 경우든 상기 패치레벨 클래시피케이션 뉴럴 네트워크(200)는 특정 패치를 입력으로 받고 해당 특정 패치의 질병 발현 확률에 상응하는 피쳐 값을 출력하도록 정의될 수 있다.
상기 패치레벨 세그멘테이션 아키텍쳐(500)는 상술한 바와 같이 상기 패치레벨 클레시피케이션 뉴럴 네트워크(200)에서 수행되는 클래시피케이션 과정에서 각각의 피쳐 추출 레이어에 의해 피쳐 맵들(f1, f2, f3)이 생성될 수 있고 이에 기초하여 패치 중에서 질병이 존재하는 영역을 특정할 수 있다. 또한, 이를 위해 비국소적 상관관계가 이용될 수 있음은 이전출원에 개시된 바와 같다.
상술한 바와 같이 뉴럴 네트워크 모듈(120)에 의해 질병이 발현된 영역이 특정되면, 즉, 발현영역 진단결과가 생성되면, 상기 제어모듈(110)은 예후예측정보를 생성할 수 있다.
상기 제어모듈(110)은 전술한 바와 같이 진단의 대상이 된 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보를 판단할 수 있다. 예컨대, 픽셀의 수 및/또는 패치의 수에 기초하여 상기 제1정보를 판단할 수 있다.
또한 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단할 수 있다. 예컨대, 질병이 발현된 것으로 판단된 픽셀 및/또는 패치의 수에 기초하여 상기 제2정보를 판단할 수 있다.
그러면 상기 제어모듈(110)은 상기 제1정보 및 상기 제2정보에 기초하여 예후예측정보를 생성할 수 있다.
또한, 상기 제어모듈(110)은 상기 뉴럴 네트워크 모듈(120)이 픽셀 단위 및/또는 패치별로 질병의 발현여부를 판단하면서 상기 질병을 복수의 클래스로 구분한 경우, 각각의 클래스별로 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단할 수 있다. 그리고 이러한 경우에 상기 예후예측정보에는 전체 조직의 크기 대비 각각의 클래스별 질병 발현영역의 크기에 상응하는 발현비율이 포함될 수 있음은 물론이다.
상기 전처리 모듈(130)은 뉴럴 네트워크를 이용하여 진단을 수행하기 전에 필요한 생체이미지의 전처리를 수행할 수 있다. 예컨대, 상기 생체이미지의 전처리는 상기 생체이미지를 미리 정의된 크기의 패치들로 패치화하는 과정을 포함할 수 있으며, 전술한 바와 같이 패치별 픽셀들의 그레이 값을 산출할 수도 있다. 또한 필요에 따라 상기 뉴럴 네트워크에 적합한 방식으로 적절한 이미지 프로세싱을 수행할 수도 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 구현 예에 따라서, 상기 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (6)
- 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 시스템에 의해 구현되는 예후예측 방법에 있어서,
상기 시스템이 생체 이미지를 입력받는 단계;
상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계;
상기 시스템이 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하고, 판단결과에 기초한 예후예측정보를 생성하는 단계를 포함하며,
상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계는,
상기 생체 이미지가 소정의 크기로 분할된 소정의 패치 각각에 대해 질병이 발현되었는지 여부의 판단결과에 기초하여 상기 발현영역 진단결과를 생성하거나, 상기 패치 각각에 대해 패치 중 질병이 발현된 영역을 세그멘테이션한 결과에 기초하여 상기 발현영역 진단결과를 생성하는 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법.
- 제1항에 있어서, 상기 시스템이 입력받은 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하는 단계는,
상기 질병이 발현된 경우 발현된 질병의 상태가 복수의 클래스들로 구분되는 경우, 상기 시스템이 각각의 클래스별로 발현영역 진단결과를 생성하는 단계를 포함하며,
상기 시스템이 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하고, 판단결과에 기초한 예후예측정보를 생성하는 단계는,
상기 시스템이 상기 발현영역 진단결과에 기초하여 각각의 클래스별로 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하는 것을 특징으로 하는 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법.
- 제1항에 있어서, 상기 예후예측정보는,
상기 전체 조직의 크기 대비 상기 발현영역의 크기에 상응하는 발현비율에 대한 정보를 포함하는 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법.
- 데이터 처리장치에 설치되며 제1항 내지 제3항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
- 프로세서 및 뉴럴 네트워크를 저장하는 저장장치를 포함하는 예후예측을 위한 시스템에 있어서,
프로세서;
상기 프로세서에 의해 구동되는 프로그램 및 뉴럴 네트워크를 저장하는 메모리를 포함하며,
상기 프로세서는 상기 프로그램을 구동하여,
생체 이미지를 입력받고, 생체 이미지에 대해 상기 생체 이미지에서 질병이 발현된 발현영역이 판단된 발현영역 진단결과를 생성하며, 상기 생체 이미지 상에서 전체 조직의 크기에 상응하는 제1정보 및 상기 진단결과에 기초하여 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하고, 판단결과에 기초한 예후예측정보를 생성하되,
상기 생체 이미지가 소정의 크기로 분할된 소정의 패치 각각에 대해 질병이 발현되었는지 여부의 판단결과에 기초하여 상기 발현영역 진단결과를 생성하거나, 상기 패치 각각에 대해 패치 중 질병이 발현된 영역을 세그멘테이션한 결과에 기초하여 상기 발현영역 진단결과를 생성하는 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측을 위한 시스템.
- 제5항에 있어서, 상기 프로세서는 상기 프로그램을 구동하여,
상기 질병이 발현된 경우 발현된 질병의 상태가 복수의 클래스들로 구분되는 경우, 각각의 클래스별로 발현영역 진단결과를 생성하고,
상기 발현영역 진단결과에 기초하여 각각의 클래스별로 상기 생체 이미지 상에서 발현영역의 크기에 상응하는 제2정보를 판단하는 것을 특징으로 하는 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측을 위한 시스템.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22771711.3A EP4293685A1 (en) | 2021-03-16 | 2022-03-14 | Prognosis prediction method using result of disease diagnosis through neural network and system therefor |
| US18/282,202 US20240156416A1 (en) | 2021-03-16 | 2022-03-14 | Prognosis prediction method using result of disease diagnosis through neural network and system therefor |
| PCT/KR2022/003547 WO2022197045A1 (ko) | 2021-03-16 | 2022-03-14 | 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템 |
| JP2023551760A JP2024510119A (ja) | 2021-03-16 | 2022-03-14 | ニューラルネットワークを介した疾患の診断結果を用いた予後予測方法及びそのシステム |
| CN202280022103.0A CN117015832A (zh) | 2021-03-16 | 2022-03-14 | 利用基于神经网络的疾病的诊断结果的预后预测方法及其系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210034257 | 2021-03-16 | ||
| KR20210034257 | 2021-03-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220129451A true KR20220129451A (ko) | 2022-09-23 |
Family
ID=83445926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210141101A KR20220129451A (ko) | 2021-03-16 | 2021-10-21 | 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220129451A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190084814A (ko) | 2018-01-09 | 2019-07-17 | (주) 가나테크엠 | 무선조광기를 이용한 조명 제어 시스템 및 방법 |
-
2021
- 2021-10-21 KR KR1020210141101A patent/KR20220129451A/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190084814A (ko) | 2018-01-09 | 2019-07-17 | (주) 가나테크엠 | 무선조광기를 이용한 조명 제어 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11901077B2 (en) | Multiple instance learner for prognostic tissue pattern identification | |
| US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
| US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
| WO2021093451A1 (zh) | 病理切片图像的处理方法、装置、系统及存储介质 | |
| KR102174379B1 (ko) | 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 | |
| EP3819912B1 (en) | System and method for disease diagnosis using neural network | |
| KR102236948B1 (ko) | 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 | |
| KR20190143510A (ko) | 투 페이스 질병 진단 시스템 및 그 방법 | |
| EP3819910A2 (en) | Disease diagnosis system and method using multiple color models and neural network | |
| KR102329546B1 (ko) | 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법 | |
| EP4266247A1 (en) | Method for refining tissue specimen image, and computing system performing same | |
| KR20200017261A (ko) | 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말 | |
| EP3623991B1 (en) | Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same | |
| EP3819907A2 (en) | Diagnosis result generation system and method | |
| JP7109815B2 (ja) | デュアルクラスに対応できる疾病診断システム及び該方法 | |
| KR20220129451A (ko) | 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템 | |
| EP4293685A1 (en) | Prognosis prediction method using result of disease diagnosis through neural network and system therefor | |
| EP4170677A1 (en) | Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same | |
| CN117015832A (zh) | 利用基于神经网络的疾病的诊断结果的预后预测方法及其系统 | |
| EP4170678A1 (en) | Method for annotating pathogenic site of disease by means of semi-supervised learning, and diagnosis system for performing same | |
| KR20200092801A (ko) | 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 | |
| Dubey et al. | Enhancing Brain Tumor Detection Using Convolutional Neural Networks in Medical |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |