KR102651589B1 - 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 - Google Patents
영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102651589B1 KR102651589B1 KR1020230094629A KR20230094629A KR102651589B1 KR 102651589 B1 KR102651589 B1 KR 102651589B1 KR 1020230094629 A KR1020230094629 A KR 1020230094629A KR 20230094629 A KR20230094629 A KR 20230094629A KR 102651589 B1 KR102651589 B1 KR 102651589B1
- Authority
- KR
- South Korea
- Prior art keywords
- target disease
- prognosis
- image data
- image
- disease
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 146
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 146
- 238000004393 prognosis Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 title description 3
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 67
- 238000007405 data analysis Methods 0.000 claims abstract description 18
- 238000012351 Integrated analysis Methods 0.000 claims abstract description 12
- 230000005856 abnormality Effects 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims description 35
- 206010008111 Cerebral haemorrhage Diseases 0.000 claims description 32
- 206010018852 Haematoma Diseases 0.000 claims description 6
- 230000036760 body temperature Effects 0.000 claims description 6
- 201000008482 osteoarthritis Diseases 0.000 claims description 6
- 229940079593 drug Drugs 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 4
- 108090000623 proteins and genes Proteins 0.000 claims description 4
- 208000024891 symptom Diseases 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 238000002059 diagnostic imaging Methods 0.000 claims description 2
- 230000012010 growth Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000018109 developmental process Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 206010017076 Fracture Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 208000032843 Hemorrhage Diseases 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 208000010392 Bone Fractures Diseases 0.000 description 3
- 206010053942 Cerebral haematoma Diseases 0.000 description 3
- 208000026106 cerebrovascular disease Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 2
- 206010017088 Fracture nonunion Diseases 0.000 description 2
- 208000008558 Osteophyte Diseases 0.000 description 2
- 208000034189 Sclerosis Diseases 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 208000031513 cyst Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 201000010934 exostosis Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000021332 multicellular organism growth Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명의 일 실시예에 따른 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측하는 방법은 이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하는 단계, 제1 인공지능모델을 이용하여 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하는 영상 데이터 분석단계, 환자의 의료데이터를 획득하고, 이를 수치화하는 제1 비영상 데이터 생성단계, 의료 영상 내의 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터 생성단계, 영상 데이터 분석단계의 결과값, 제1 및 상기 제2 비영상 데이터를 제2 인공지능모델에 적용하여 대상 질병의 예후를 예측하는 통합분석단계를 포함할 수 있다.
Description
본 발명은 의료 영상 및 비영상 데이터에 기초하여 질병의 예후를 예측하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로, 보다 자세하게는 의료 영상에 포함된 이상 부위를 분석 및 분류하고, 대상자의 의료 데이터를 분석하여 영상 및 비영상 데이터를 통합하여 대상 질병의 예후를 예측하는 분석하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
현재 우리나라의 의사 부족 문제는 점점 심화되고 있으며, 특히 긴급한 의료 현장에 전문의가 부족하여 빠른 대처가 이루어지지 않는 문제가 있다.
방사선 단순촬영(Radiography or X-ray), 초음파(ultrasonography), 컴퓨터단층촬영(Computed Tomography: CT), 자기공명영상(Magnetic Resonance Imaging: MRI), 양전자단층촬영(Positron Emission Tomography: PET) 등 다양한 의료 진단 기기로부터 획득된 의료 영상을 의사가 판독함으로써 과거에 비해 질병의 조기 진단 및 치료가 가능해지고, 그 결과 인간 수명 연장이 실현되고 있다. 그러나 다양한 진단 기기를 이용하는 환자 수의 증가에 비해 세부 전문의의 적시 진단의 어려움, 인간의 부정확한 판독 및 의사 간 혹은 동일 의사 내에서의 판독 편차 등으로 인한 오진의 가능성도 문제로 대두되고 있다. 또한, 의료현장의 복잡하고 시간을 요하는 업무 프로세스로 인해서 의료진에게 과중한 업무가 부담되고 있다. 더욱이 환자의 위중 정도에 대한 판단과 치료 우선 순위 분류는 환자의 적시 치료와 생명을 살리는데 있어 매우 중요하지만, 복잡한 데이터들을 종합적으로 분석이 필요하고 이에 대한 즉각적인 판단이 현실적으로 매우 어렵다.
따라서, 의료 영상에서는 인공지능 알고리즘 기반 진단 시스템을 도입함으로써 이러한 문제점들을 보완하고자 하는 다양한 시도가 나타나고 있다. 즉, 의사에 의한 의료 영상의 판독에 더해 인공 지능을 이용한 진단 소견을 보완함(second-opinion 또는 double-reading으로 활용)으로써 보다 정확한 진단을 목적으로 하는 연구 등이 활발히 진행되고 있다. 또한, 인공 지능은 환자의 상태와 위중도 및 예후를 예측함으로써 치료 우선순위를 분류하는데 도움을 줄 수 있다.
다만, 동 기술분야에서는 기계학습모델을 이용하여 자동으로 방사선 사진을 판독하고자 하는 시도들이 이루어지고 있으나, 아직까지 기계학습모델을 사용한 방식은 정확성에 한계가 있고, 블랙박스로 불리는 기계학습의 특성 상 자동분석 결과에 대한 설명이 부족하여 현장에서 잘 활용되지 못하고 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 신속하고 정확하게 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측할 수 있도록 하는 것을 일목적으로 한다.
또한, 본 발명은 심층신경망 인공지능 기법을 활용한 의료 영상 분석에 있어서, 영상 데이터 및 비영상 데이터를 통합적으로 사용하여 대상 질병의 예후 예측 정확도를 향상시키는 것을 다른 목적으로 한다.
본 발명은 전술한 목적을 달성하기 위한 것으로, 본 발명의 일 실시예에 따른 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측하는 방법은 이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하는 단계, 제1 인공지능모델을 이용하여 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하는 영상 데이터 분석단계, 환자의 의료데이터를 획득하고, 이를 수치화하는 제1 비영상 데이터 생성단계, 의료 영상 내의 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터 생성단계, 영상 데이터 분석단계의 결과값, 제1 및 상기 제2 비영상 데이터를 제2 인공지능모델에 적용하여 대상 질병의 예후를 예측하는 통합분석단계를 포함할 수 있다.
전술한 바와 같은 본 발명에 의하면, 의료 영상 및 비영상 데이터를 이용하여 신속하고 정확하게 대상 질병의 예후를 예측할 수 있다.
또한, 본 발명에 의하면 심층신경망 인공지능 기법을 활용한 의료 영상 분석에 있어서, 의료 영상의 분류 정확도를 향상시킬 수 있다.
도 1은 본 발병의 일 실시예에 따른 전자 장치의 개략도이다.
도 2 내지 4는 본 발명의 일 실시예에 따른 전자 장치의 동작을 나타낸 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 전자 장치의 인공지능 모델을 나타낸 도면이다.
도 7및 도 8은 본 발명의 일 실시예에 따른 대상 질병의 예후 예측 방법을 도시화한 순서도이다.
도 2 내지 4는 본 발명의 일 실시예에 따른 전자 장치의 동작을 나타낸 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 전자 장치의 인공지능 모델을 나타낸 도면이다.
도 7및 도 8은 본 발명의 일 실시예에 따른 대상 질병의 예후 예측 방법을 도시화한 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 발명은 다양한 분야에 적용 가능하다. 본 명세서에서는 뇌출혈, 퇴행성 관절염 및/또는 성장발달 이상 상태의 예후를 예측하는 방법을 중심으로 기술의 내용을 설명할 것이나, 본 발명은 이상 질환의 종류에 제한받지 않으며, 심혈관질환, 뇌혈관질환 등의 이상 상태를 판단하기 위한 다양한 의료 영상 분석에 활용될 수 있다.
본 발명에 따른 인공지능모델 또는 통합분석모델은 기계학습 기반의 딥러닝모델일 수 있다. 또한, 해당 모델들은 획득된 데이터 또는 통계 데이터를 이용하여 학습될 수 있다.
한편, 본 명세서에서 '이상 부위'라는 용어는 정상(normal), 이상(abnormal)의 이진 분류에 있어서 이상이 있는 것으로 판단되는 부위뿐 아니라, 정상이 아닌 것으로 판단되는 다양한 이상 상태(의심, 물혹, 종양, 골절, 골절 불유합, 급성 골절, 출혈, 출혈 의심 등)로 판단되는 부위를 포함하는 개념으로 이해될 수 있다.
또한 본 명세서에서 사용되는 '이상 상태'라는 용어는 의료 영상 또는 관심 영역에 존재하는 이상 부위의 상태를 의미하는 용어로 이해될 수 있다. '이상 상태'로는 정상, 이상이 포함될 수 있고, 더 구체적으로 정상, 의심, 물혹, 양성 종양, 음성 종양, 악성 종양과 같이 이상 부위의 구체적인 상태가 포함될 수도 있다. 또는 분석 의료 영상이 뇌출혈이 의심되는 영상인 경우, '이상 상태'는 정상, 뇌출혈 의심, 미세출혈, 혈종비대, 내압 상승 징후, 천막 상 출혈인지 천막 상 출혈 등의 상태를 포함할 수 있다.
따라서 대상 질병을 기 설정된 그룹으로 분류하는 분류값 역시 분류 방법에 따라 다르게 정의될 수 있다. 예를 들어, 전자 장치(1000)가 영상 데이터 또는 비영상 데이터(이하 데이터들)를 기 설정된 그룹, 즉 정상 또는 이상으로 이진분류(binary classification)하는 경우, 이진 분류에 따라 정상 상태로 분류되는 데이터들은 '이상 상태'가 아닌 것에 해당하는 분류값, 이상 상태로 분류되는 데이터들은 '이상 상태'에 해당하는 분류값을 가질 것이다. 만약, 전자 장치(1000)가 영상 데이터 또는 비영상 데이터(이하 데이터들)를 다중 분류하는 경우, 정상 상태로 분류되는 데이터들은 '이상 상태'가 아닌 것에 해당하는 분류값, 의심 상태로 분류되는 데이터들은 '이상 상태'의 종류가 '의심' 카테고리에 해당하는 분류값, 물혹이 있는 상태로 분류되는 데이터들은 '이상 상태'의 종류가 '물혹' 카테고리에 해당하는 분류값, 종양이 있는 상태로 분류되는 데이터들은 '이상 상태'의 종류가 '종양' 카테고리에 해당하는 분류값을 가질 수 있다. 즉, 이상 상태는 복수의 상태 종류를 포함하는 개념으로, 단순히 정상 상태에 반대되는 개념이 아닌, 이상 부위, 관심 영역, 의료 영상의 다양한 상태를 나타내는 개념으로 이해될 수 있다.
또한, 해당 발명의 일 실시예로 뇌출혈의 예후를 예측하는 것은, 뇌출혈이 발생하였을 때, 이 뇌출혈이 확장이 되어 혈종 부피가 일정 이상으로 커지는 혈종 증가가 될 가능성이 높은지 예후를 예측함으로써 이에 알맞은 치료를 제공하기 위해 매우 중요한 기술에 해당한다. 자발성 뇌내출혈의 약 30%가량에서 발생하는 혈종증가는 사망률과 밀접한 연관이 있어서 예측을 통해 우선적으로 적합한 치료를 하는 것이 중요하다.
또한, 해당 발명의 일 실시예로 퇴행성 관절염의 예후를 예측하는 것은, 퇴행성 관절염이 발생하는 부위에 따라 또는 예후의 심각도에 따라 올바른 치료 방법을 제공하기 위해 매우 중요하다.
또한, 본 발명에서 제1 내지 제3 인공지능모델을 나누는 것은 발명의 이해를 높이기 위해 구분하여 놓은 것일 뿐, 실제로는 하나 또는 복수의 모델일 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 장치(1000)의 개략도이다.
본 발명의 일 실시예에 따른 전자 장치(1000)는 송수신부(1100), 메모리(1200) 및 프로세서(1300)를 포함할 수 있다.
전자 장치(1000)의 송수신부(1100)는 사용자 단말 및/또는 데이터베이스를 포함한 임의의 외부 기기(또는 외부 서버)와 통신을 수행할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 사용자 단말 또는 외부 기기로부터 질병의 예후를 예측을 요청하는 입력을 획득할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 사용자 단말로부터 환자의 분석 시점의 성별, 나이, 가족력, 유전자, 기존질환, 분석 시점의 골 연령 정보, 및/또는 복용약 정보, 병력 정보, 신장, 체중, 체온, 생활습관, 발현증상 정보를 포함하여 질병의 예후를 예측하기 위하여 필요한 의료데이터를 획득할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 데이터베이스로부터 나이별, 성별별, 국가별, 지역별, 및/또는 인종별로 분류된 질병 예후 통계 데이터를 획득할 수 있다. 예컨대, 전자 장치(1000)는, 송수신부(1100)를 통해, 예측된 질병의 예후 정보를 사용자 단말을 포함한 임의의 외부 기기로 송신할 수 있다.
필요에 따라, 전자 장치(1000)는, 송수신부(1100)를 통해, 환자의 의료 영상을 획득할 수 있다. 환자의 의료 영상은 예후를 예측하고자 하는 질병에 따라 다양한 신체 부위의 영상 및 다양한 의료 장치로부터 촬영된 영상일 수 있으며, 신체부위 또는 의료 장치에 제한없이 획득할 수 있다.
전자 장치(1000)는, 송수신부(1100)를 통해 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(1100)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 전자 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.
전자 장치(1000)의 메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 전자 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 전자 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 전자 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 전자 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.
프로세서(1300)는 전자 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(1300)는 후술할 영상 데이터를 분석하는 동작, 비영상 데이터를 생성하고 분석하는 동작, 및/또는 입력데이터를 기반으로 질병의 예후를 예측하는 동작을 포함하여 전자 장치(1000)의 전반적인 동작을 제어할 수 있다. 구체적으로 프로세서(1300)는 메모리(1200)로부터 전자 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 프로세서(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit), MCU(Microcontroller Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.
이하에서는 도 2 내지 도 8을 참고하여, 본 발명의 일 실시예에 따른 전자 장치(1000)의 동작과 전자 장치(1000)에 의해 수행되는 질병의 예후 예측 방법을 보다 구체적으로 서술하기로 한다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 프로세서(1300)의 동작을 나타낸 도면이다.
도 2 내지 도 4를 참조하면, 전자 장치(1000)의 프로세서(1300)는, 이상 부위를 검출하고자 하는 환자의 의료 영상 및 의료데이터를 획득하고, 생성된 통합 분석 모델을 이용하여 질병의 예후를 예측하도록 구성될 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른, 전자 장치(1000)의 프로세서(1300)는, 송수신부(1100)를 통해, 입력 데이터를 획득할 수 있다. 여기서 입력 데이터는 환자의 의료 영상 및 의료데이터를 포함할 수 있다. 보다 구체적으로 환자의 의료 영상은 카메라, 방사선 촬영 장치, 컴퓨터 단층 촬영 장치 등의 촬상 장치를 통해 획득된 것이거나, 전자 장치의 캡처 기능을 통해 획득된 것일 수 있으며, 특정 부위의 CT, X-ray, MRI 등의 데이터를 포함할 수 있다.
필요에 따라, 프로세서(1300)는 획득한 영상을 전처리할 수 있다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 대상 영상에서 하나 이상의 관심 영역을 추출할 수 있다. 여기서 관심 영역이란, 대상 영상을 분석하는 데 있어서 중요도를 지닌 특정 영역을 의미한다. 기계 학습 분석에 있어서 특정 영역의 중요도는 해당 영상이 속한 도메인 지식에 기반하는 경우가 많다. 즉, 관심 영역을 중심으로 분석하는 것은 분석에 있어 오류를 야기할 가능성이 있는 주요 관심 영역 이외의 영역에서의 노이즈를 제거하여 정확도를 높이기 위한 것이다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 수동 또는 자동으로 관심 영역을 검출할 수 있는데, 예를 들어, 사용자에 의해 설정된 위치 정보에 대응되는 영역을 관심 영역으로 추출할 수 있다.
필요에 따라, 제1 인공지능모델은 대상 영상에서 하나 이상의 관심 영역을 자동으로 추출할 수 있다. 기계 학습 분석에 있어서 특정 영역의 중요도는 해당 영상이 속한 도메인 지식에 기반하는 경우가 많다. 즉, 관심 영역을 중심으로 분석하는 것은 분석에 있어 오류를 야기할 가능성이 있는 주요 관심 영역 이외의 영역에서의 노이즈를 제거하여 정확도를 높이기 위한 것이다.
제1 인공지능모델은 대상 영상에서 복수의 관심 영역을 추출하기 위해 학습된(훈련 및 평가된) 심층신경망인 자동검출모델을 포함할 수 있다. 자동검출모델로는 심층신경망 기반의 CNN(Convolutional Neural Network), Faster-RCNN, Yolo, Transformer 계열 모델 등 검출 기법 등이 사용될 수 있으나, 이에 한정되는 것은 아니다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 수동 또는 자동으로 관심 영역의 영상을 분할하고, 분할한 영상 내에서 대상 질병 관련 영역을 추출할 수 있다. 이러한 관심 영역의 추출은 정확도를 향상시키기 위한 것으로, 기존 일반 영상 분석 방식과 같이 전체 영상을 입력 데이터로 하여 영상을 분석하는 것이 아니라, 주요 세부 영역 별로 기계학습모델링 및 적용을 수행함으로써 주요 세부 영역별로 정밀한 분석이 이루어질 수 있도록 한다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 복수의 뇌출혈 CT 영상을 이용하여 자동검출모델을 훈련시킬 수 있으며, 학습된 자동검출모델에 임의의 대상 영상(뇌 CT)을 적용하여 뇌출혈에 해당하는 일 영역을 관심 영역으로 추출할 수 있다. 자동검출모델은 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 관심 영역 내에 이상 부위가 존재하는지에 따라 관심 영역을 검출하고, 관심 영역의 영상을 분할하고, 분할한 영상 내에서 대상 질병 관련 영역을 추출할 수 있다. 관심 영역 내에 이상 부위가 존재한다는 것은 결과적으로 대상 영상 내에 이상 부위가 존재한다는 것을 의미하므로, 제1 인공지능모델이 대상 영상의 정상/이상 상태를 판단, 분류하는 것으로 보아도 무방하다. 실시 예로, 대상 영상이 뇌 영상이고, 제1 인공지능모델이 뇌출혈이 존재하는 이상 판별 데이터와 뇌출혈이 존재하지 않는 정상 판별 데이터로 학습된 기계학습모델인 경우, 장치는 입력받은 뇌 영상 내 뇌출혈 부위를 포함하는 영역을 관심 영역으로 검출하고, 관심 영역의 영상을 분할하고, 분할한 영상 내에서 대상 질병 관련 영역을 추출할 수 있으며, 또는, 입력 영상으로부터 대상 질병 양성 유무를 판단할 수 있으며, 이에 따라 대상 영상의 이상 상태 또는 관심 영역의 이상 상태를 분류할 수 있다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하는 제1 인공지능모델을 포함할 수 있다. 제1 인공지능모델에서 사용되는 기계학습모델은 하나 이상의 계층으로 구성된 심층신경망으로, 관심 영역의 특징들에 대한 특징 지도(feature map)을 만들어내는 다수의 합성곱 계층(convolution layer)과 다수의 합성곱 계층 사이에 서브 샘플링을 수행하는 통합 계층(pooling layer)을 포함하는 합성곱 신경망 (convolutional Neural Network, CNN)일 수 있다. 합성곱 신경망은 입력 영상에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 특징을 추출할 수 있다.
합성곱 신경망은 여러 개의 합성곱 계층(convolution layer), 여러 개의 서브샘플링 계층(subsampling layer, Max-Pooling layer, Pooling layer)를 포함하며, GAP 계층(Global Average Pooling layer), 완전 연결 계층(Fully-Connected layer), 소프트맥스 계층(Softmax layer) 등을 포함할 수 있다. 합성곱 계층은 입력 영상에 대해 합성곱을 수행하는 계층이며, 서브샘플링 계층은 입력 영상에 대해 지역적으로 최대값 또는 평균값을 추출하여 2차원 영상에 매핑하는 계층으로 국소적인 영역을 더 크게 하고 서브샘플링을 수행할 수 있다. 합성곱 계층에서는 커널의 크기, 사용할 커널의 개수(생성할 맵의 개수), 합성곱 연산 시 적용할 가중치 테이블 등의 정보가 필요하다. 서브 샘플링 계층에서는 서브 샘플링할 커널의 크기 정보, 커널 영역 내의 값들 중 최대값을 선택할 것인지 최소값을 선택할 것인지 등에 대한 정보가 필요하다. 일 실시예에 따르면, 합성곱 신경망은 합성곱 계층(layer 1, layer 3) 사이에 서브 샘플링이 이루어지는 통합 계층(layer 2)을 포함하고, 말단에 GAP 계층, 완전 연결 계층, 소프트맥스 계층을 포함할 수 있다. 이는 설명의 편의를 위한 것으로, 본 예시에 적용된 것과는 다른 특성을 갖는 계층을 보다 다양하게 조합하여 합성곱 신경망을 구성할 수 있으며, 본 발명은 심층신경망의 구성 및 구조에 의해 제한되지 아니한다. 제1 인공신경모델에서 출력되는 값은 관심 영역을 심층신경망 기계학습모델에 적용하여 산출된 값으로 기 설정된 그룹 중 적어도 하나에 따른 분류값을 의미하며, 전술한 바와 같이 분류값은 이진 분류에 따른 정상(normal)/이상(abnormal)에 각각 대응되는 값일 수 있으며, 다중 분류에 따른 정상/의심/물혹/종양(음성, 양성, 악성) 또는 정상/골절의심/골절 불유합/급성 골절/골절 등 사용자 설정에 따른 클래스에 대응되는 값일 수 있다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 제1 인공지능모델을 이용하여 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하도록 학습된 모델일 수 있다. 기 설정된 그룹이란, 질병의 종류 그룹, 질병의 심각도 등급 그룹, 질병의 양성 여부 그룹, 질병의 예후 예측 그룹, 뇌출혈의 혈종 비대 예측 그룹을 포함하는 그룹 중 하나 이상의 그룹을 포함한다. 즉, 뇌 영상인 경우 뇌졸증, 뇌출혈 등의 질병으로 분류한 그룹, 질병의 심각도 등급을 복수개로 분류한 그룹, 대상질병이 양성인지 음성인지 이진 분류로 나눈 그룹, 질병의 예후 그룹을 포함하며, 전자 장치는 제1 인공지능모델을 이용하여 환자의 의료 영상을 이 중 하나 이상 이상의 그룹으로 분류할 수 있다.
본 발명의 구체적 일 실시예에 따르면, 전자 장치는 뇌 CT 영상을 제1 인공지능모델에 적용하여, 뇌출혈의 부피가 일정 크기 이상 증가할 가능성을 수치화하여 출력할 수 있다.
전자 장치는 추출된 대상 질병 관련 영역에 관한 영상을 정상 판별 데이터와 이상 판별 데이터로 나누어 기초로 제1 인공지능모델을 학습시킬 수 있다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 환자의 의료데이터를 수치화하여 제1 비영상 데이터를 생성할 수 있다. 의료 데이터는 환자의 나이, 성별, 가족력, 유전자, 기저질환, 기존질환, 복용약, 신장, 체중, 체온, 생활습관 및 발현증상을 포함하는 그룹에서 하나 이상의 데이터일 수 있으며, 이 외에도 질병의 예후에 영향을 줄 수 있는 임의의 정보를 포함할 수 있다.
의료데이터를 수치화하는 방법은 사용자가 질병의 예후에 영향을 미치는 요소에 가중치를 두어 수치화하는 방법, 사용자가 설정한 방법, GCS(Glasgow Coma score) 등 다양한 방법을 통해 이루어질 수 있으며, 기재된 내용에 제한되지 않는다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 의료 영상 내의 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터를 생성할 수 있다. 대상 질병 관련 특징이란 영상 내에 포함된 환자의 관한 정보 중 대상 질병의 예후에 영향을 미칠 수 있는 특징을 모두 포함할 수 있으며, 제2 비영상 데이터는 영상 내에 포함된 질병 관련 특징의 위치, 부피, 모양 등을 수치화한 데이터를 의미한다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 제1 인공지능모델의 중간 출력값을 이용하여 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터를 생성할 수 있다. 보다 구체적으로, 중간 출력값이란 제1 인공지능모델을 통해 검출된 관심 영역 영상 또는 관심 영역의 영상을 분할한 뒤, 대상 질병 관련 영역을 추출한 값일 수 있다. 프로세서는 제1 인공지능모델의 중간 출력값을 이용하여 질병 관련 특징을 수치화함으로써 보다 정확도가 높은 데이터를 생성할 수 있다.
일 실시예로, 뇌출혈과 관련된 영상을 획득한 경우, 전자 장치(1000)의 프로세서(1300)는 혈관의 두께, 뇌출혈 발생 부위의 위치좌표, 뇌출혈 중심점의 3D 좌표, 뇌영역에서의 상대적 위치, 뇌출혈 발생 부위의 부피, 면적, 뇌출혈이 가장 큰 위치의 면적 및 위치, 뇌출혈 종류별 개수 및 부피, 뇌출혈 영역의 이미지 패턴, 질감 특성, 뇌출혈의 모양, 상태 등을 수치화하여 제2 비영상 데이터를 생성할 수 있다.
또 다른 실시예에 따르면, 퇴행성 관절염과 관련된 영상을 획득하는 경우, 전자 장치(1000)의 프로세서(1300)는 영상 내에서 대상 부위의 관절 간격, 경화 위치, 경화 정도, 골극 위치, 골극 정도, 뼈의 번호, 뼈의 간격, 뼈의 두께 등을 수치화하여 제2 비영상 데이터를 생성할 수 있다.
필요에 따라, 본 발명의 일 실시예에 따른 전자 장치(1000)의 프로세서(1300)는 제1 및 제2 비영상 데이터를 제3 인공지능모델에 적용하여 기 설정된 그룹으로 분류할 수 있다. 제3 인공지능모델은 SVM, regression, fully connected neural network 모델 등 기계학습기법을 활용하여 제1 및 제2 비영상 데이터를 분석하여, 목적하는 이중분류, 다중분류 등을 실행할 수 있다. 이 때, 기 설정된 그룹은 상부에 기재된 내용과 동일한 바, 이에 대한 자세한 설명은 생략한다.
본 발명의 일 실시예에 따른 전자 장치(1000)의 프로세서(1300)는 의료 영상 및 비영상 데이터에 기초하여 질병의 예후를 통합적으로 예측하기 위한 제2 인공지능모델을 생성할 수 있다. 본 발명의 일 실시예에 따른 전자 장치(1000)는, 송수신부(1100)를 통해 대상 질병의 예후 통계 데이터를 획득할 수 있다. 예후 통계 데이터는, 대상 질병의 위치별, 부피별, 나이별, 성별별, 국가별, 지역별, 및 또는 인종별로 그룹화될 수 있다. 본 발명의 일 실시예에 따른 전자 장치(1000)는 입력 데이터 및 질병의 예후 통계 데이터를 기반으로 대상 질병의 예후를 예측할 수 있는 제2 인공지능모델을 학습할 수 있다.
필요에 따라, 전자 장치(1000)의 프로세서(1300)는 제2 인공지능모델을 이용하여 환자의 의료 영상 및 의료데이터로부터 대상 질병의 예후를 예측할 수 있다. 보다 구체적으로 전자 장치(1000)는 전술한 바에 따라 인공지능 모델을 통해 도출된 가중치(또는 파라미터)를 포함하는 대상 질병의 예후를 예측할 수 있다.
본 발명의 일 실시예에 따르면, 제2 인공지능모델은 제1 인공지능모델의 출력값, 및 제1 및 제2 비영상 데이터를 입력데이터로 하여 대상 질병의 예후 예측 값을 출력할 수 있다.
필요에 따라, 제2 인공지능모델은 제1 인공지능모델의 출력값 및 제3 인공지능모델의 출력값을 입력데이터로 하여 대상 질병의 예후 예측 값을 출력할 수 있다.
필요에 따라, 본 발명의 일 실시예에 따른 인공지능모델은 심층신경망의 최종 클래스 분류를 위한 각 클래스의 스코어 또는 정규화된 확률값을 분류값으로 사용할 수 있다. 예를 들어, 소프트맥스 레이어의 각 클래스 스코어 값이나, 소프트맥스 레이어의 결과로 나온 정규화된 확률값을 해당 관심 영역의 분류값으로 산출하여 인공지능모델에 입력할 수 있다.
이에, SC는 클래스C의 스코어가 되고, wc i 는 Ai의 가중치(weight)이다.
는 k 채널에서의 각 특징값 들의 평균값이고, 이 경우 관심영역h의 특징값은 Fh= [S1, S2, S3,…, SM]으로 구성할 수 있다. M은 클래스의 총 개수이다.
본 발명의 일 실시예에 따른 전자 장치(1000)의 프로세서(1300)는 대상 질병의 예후를 예측하기 위한 통합 예측 모델을 생성할 수 있다. 나아가 전자 장치(1000)의 프로세서(1300)는, 생성된 통합 예측 모델을 이용하여 환자의 의료 영상 및/또는 환자의 의료데이터를 포함하는 입력 데이터로부터 대상 질병의 예후를 예측하는 연산을 수행하도록 구성될 수 있다. 또한, 전자 장치(1000)의 프로세서(1300)는, 환자의 의료 영상 및 의료데이터를 가공한 의료 영상 및 비영상 데이터를 생성된 통합 예측 모델에 적용하여 대상 질병의 예후를 예측하는 연산을 수행하도록 구성될 수 있다.
본 발명의 구체적 일 실시예에 따르면, 전자 장치(1000)는 뇌혈관 질환이 의심되는 환자의 뇌 CT 의료 영상 및 의료데이터를 획득할 수 있다. 전자 장치(1000)는 제1 인공지능모델에 환자의 의료 영상을 입력데이터로 하여, 환자의 뇌혈관 질환의 종류를 분류하고, 뇌출혈 혈종비대가 될 가능성이 높다고 판단되는 경우, 해당 그룹에 분류할 수 있다.
이에 더하여, 전자 장치(1000)는 환자의 의료 영상을 통해 뇌출혈 중심점의 좌표(x,y,z)를 특정하여 수치화하고, 뇌출혈 부위의 부피(ex. mL)를 수치화하여 제2 비영상 데이터로 저장할 수 있다. 뇌출혈은 중심점의 좌표, 부피 등에 따라 그 위험도가 달라질 수 있는 바, 해당 데이터들을 수치화하여 분석에 사용함으로써 대상 질병의 예후를 보다 정확하게 예측할 수 있다. 해당 데이터는 점수 형태로 생성될 수 있으며, 벡터의 형태로 저장되어 제2 인공지능모델에 입력될 수 있다.
또한, 전자 장치(1000)는 의료데이터를 수치화하여 제1 비영상 데이터를 생성할 수 있다. 일 실시예로, Glasgow coma scale에 따르면, 환자의 눈 반응 정도를 1~4점으로 점수화 하고, 언어 반응 정도를 1~5점으로 점수화하고, 운동 반응 정도를 1~6으로 점수화하여 환자의 심각여부를 판단할 수 있다.
또 다른 실시예에 따르면, 해당 질병에 관하여, 환자의 나이대별로 위험도를 점수화하고, 성별에 따라 위험도를 점수화하고, 기저질환이 있는 경우, 기저질환에 따라 위험도를 부과하여 환자의 의료데이터를 대상 질병에 따라 점수화할 수 있다. 즉, 뇌출혈의 경우, 환자가 60대 이상인 경우에는 위험도를 5로, 50대는 4, 40대는 3으로 점수화할 수 있으며, 고혈압이 있는 경우 위험도를 5, 이미 뇌출혈 병력이 있는 경우 위험도 20을 추가하는 방식으로 환자의 의료데이터를 수치화하여 제1 비영상 데이터를 생성할 수 있다.
전자 장치는 제1 및 제2 비영상 데이터를 제3 인공지능모델에 입력하여 기 설정된 그룹으로 분류할 수 있다. 전자 장치는 환자의 제1 및 제2 비영상 데이터를 통해 환자를 뇌출혈 혈종비대가 될 가능성이 낮다고 판단할 수 있다.
전자 장치의 제2 인공지능모델은 영상 데이터, 제1 및 제2 비영상 데이터를 입력데이터로 하여 질병의 예후를 예측할 수 있다.
필요에 따라, 제2 인공지능모델은 제1 및 제3 인공지능모델의 출력값을 입력데이터로 하여 질병의 예후를 예측할 수 있다. 제1 및 제3 인공지능모델에 따라 분류된 질병의 그룹이 상이할 경우, 제2 인공지능모델을 통해 추가적으로 예후를 판단하도록 하여 예후 예측 가능성을 보다 높일 수 있다.
이하 본 발명의 또 다른 실시예에 해당하는 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측하는 방법에 대해 설명한다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 대상 질병의 예후를 예측하는 방법의 순서도이다.
본 발명의 일 실시예에 따른 예후 예측 방법은 환자의 영상 및 비영상 데이터를 획득하고, 이들을 각각 또는 통합하여 분석한 결과값을 이용하여 통합적으로 질병의 예후를 예측하는 방법에 관한 것으로, 대상질병의 예후를 보다 정확하게 예측하기 위한 방법에 관한 것이다.
본 발명의 제1 실시예에 따른 예후 예측 방법은 이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하는 단계(S1100), 제1 인공지능모델을 이용하여 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하는 영상 데이터 분석단계(S1200), 환자의 의료데이터를 획득하고, 이를 수치화하는 제1 비영상 데이터 생성단계(S1300), 의료 영상 내의 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터 생성단계(S1400), 영상 데이터 분석단계의 결과값, 제1 및 제2 비영상 데이터를 제2 인공지능모델에 적용하여 대상 질병의 예후를 예측하는 통합분석단계(S1500)를 포함할 수 있다.
본 발명의 제2 실시예에 따른 예후 예측 방법은 이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하는 단계(S2100), 제1 인공지능모델을 이용하여 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하는 영상 데이터 분석단계(S2200), 환자의 의료데이터를 획득하고, 이를 수치화하는 제1 비영상 데이터 생성단계(S2300), 의료 영상 내의 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터 생성단계(S2400), 제1 및 제2 비영상 데이터를 제3 인공지능모델에 적용하여 기 설정된 그룹으로 분류하는 비영상 데이터 분석단계(S2500), 영상 데이터 분석단계의 결과값과 비영상 데이터 분석단계의 결과값을 제2 인공지능모델에 적용하여 대상 질병의 예후를 통합적으로 예측하는 통합분석단계(S2600)를 포함할 수 있다.
필요에 따라, 본 발명의 제1 및 제2 실시예에 따른 대상 질병의 예후를 예측하는 방법에서 영상 데이터 분석 단계는 제1 인공지능모델을 이용하여 획득된 의료 영상에서 이상 부위를 포함하는 관심 영역을 검출하는 단계, 관심 영역의 영상을 분할하는 단계(segmentation), 분할한 영상 내에서 대상 질병 관련 영역을 추출하는 단계를 포함할 수 있다. 필요에 따라, 제1 인공지능모델은 대상 질병 관련 영역을 추출한 뒤, 추출된 영상 내의 대상 질병을 기 설정된 그룹으로 분류할 수 있다.
필요에 따라, 제1 비영상 데이터 생성단계는 의료데이터를 점수화하는 단계를 포함할 수 있다. 의료데이터는, 환자의 나이, 성별, 가족력, 유전자, 기저질환, 기존질환, 복용약, 체온, 신장, 체중, 체온, 생활습관 및 발현증상을 포함하는 그룹에서 하나 이상의 데이터를 포함할 수 있다.
필요에 따라, 제2 비영상 데이터 생성단계는 대상 질병 관련 영역의 특징을 수치화하는 단계를 포함할 수 있다. 필요에 따라, 전자 장치는 분할한 영상 내에서 대상 질병 관련 영역을 추출한 데이터를 이용하여 대상 질병 관련 영역의 특징을 수치화하여 제2 비영상 데이터를 생성할 수 있다.
필요에 따라, 본 발명의 제1 및 제2 실시예에 따른 방법에서 기 설정된 그룹은 질병의 종류 그룹, 질병의 심각도 등급 그룹, 질병의 양성 여부 그룹, 질병의 예후 그룹을 포함하는 그룹 중 하나 이상의 그룹을 포함할 수 있으며, 대상 질병 관련 특징은 대상 질병 관련 영역의 위치, 크기, 부피 및 대상 질병과 관련 있는 신체적 특징을 포함하는 그룹에서 하나 이상을 포함할 수 있다.
필요에 따라, 본 발명의 제1 및 제2 실시예에 따른 대상 질병의 예후를 예측하는 방법에서 통합분석단계는 퇴행성 관절염 또는 신체의 성장발달의 예후를 예측하는 단계를 포함할 수 있다.
필요에 따라, 본 발명의 제1 및 제2 실시예에 따른 대상 질병의 예후를 예측하는 방법에서 통합분석단계는 뇌출혈 혈종 비대의 예후를 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예는 본 발명의 대상 질병의 예후 예측 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 전자장치
1100: 송수신부
1200: 메모리
1300: 프로세서
1100: 송수신부
1200: 메모리
1300: 프로세서
Claims (11)
- 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측하는 방법에 있어서,
이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하는 단계;
제1 인공지능모델을 이용하여 상기 의료 영상 내의 상기 대상 질병을 기 설정된 그룹으로 분류하는 영상 데이터 분석단계;
상기 환자의 의료데이터를 획득하고, 이를 수치화하는 제1 비영상 데이터 생성단계;
상기 의료 영상 내의 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터 생성단계;
상기 영상 데이터 분석단계의 결과값, 상기 제1 및 상기 제2 비영상 데이터를 제2 인공지능모델에 적용하여 상기 대상 질병의 예후를 예측하는 통합분석단계;를 포함하며,
상기 대상 질병 관련 특징은,
상기 대상 질병 관련 영역의 위치, 크기, 부피 및 상기 대상 질병과 관련 있는 신체적 특징을 포함하는 그룹에서 하나 이상을 포함하는,
대상 질병의 예후를 예측하는 방법.
- 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측하는 방법에 있어서,
이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하는 단계;
제1 인공지능모델을 이용하여 상기 의료 영상 내의 상기 대상 질병을 기 설정된 그룹으로 분류하는 영상 데이터 분석단계;
상기 환자의 의료데이터를 획득하고, 이를 수치화하는 제1 비영상 데이터 생성단계;
상기 의료 영상 내의 대상 질병 관련 특징을 수치화하는 제2 비영상 데이터 생성단계;
상기 제1 및 상기 제2 비영상 데이터를 제3 인공지능모델에 적용하여 상기 기 설정된 그룹으로 분류하는 비영상 데이터 분석단계;
상기 영상 데이터 분석단계의 결과값과 상기 비영상 데이터 분석단계의 결과값을 제2 인공지능모델에 적용하여 상기 대상 질병의 예후를 통합적으로 예측하는 통합분석단계;를 포함하며,
상기 대상 질병 관련 특징은,
상기 대상 질병 관련 영역의 위치, 크기, 부피 및 상기 대상 질병과 관련 있는 신체적 특징을 포함하는 그룹에서 하나 이상을 포함하는,
대상 질병의 예후를 예측하는 방법.
- 제1 항 또는 제2 항에 있어서,
상기 영상 데이터 분석단계는,
상기 의료 영상에서 상기 이상 부위를 포함하는 관심 영역을 검출하는 단계;
상기 관심 영역의 영상을 분할하는 단계(segmentation);
상기 분할한 영상 내에서 상기 대상 질병 관련 영역을 추출하는 단계;를 포함하는,
대상 질병의 예후를 예측하는 방법.
- 제3 항에 있어서,
상기 제2 비영상 데이터 생성단계는,
상기 대상 질병 관련 영역의 특징을 수치화하는 단계;를 포함하는,
대상 질병의 예후를 예측하는 방법.
- 제1 항 또는 제2 항에 있어서,
상기 기 설정된 그룹은,
질병의 종류 그룹, 질병의 심각도 등급 그룹, 질병의 양성 여부 그룹, 질병의 예후 그룹을 포함하는 그룹 중 하나 이상의 그룹을 포함하는 것을 특징으로 하는,
대상 질병의 예후를 예측하는 방법.
- 제1 항 또는 제2 항에 있어서,
상기 의료데이터는,
상기 환자의 나이, 성별, 가족력, 유전자, 기저질환, 기존질환, 복용약, 체온, 신장, 체중, 체온, 생활습관 및 발현증상을 포함하는 그룹에서 하나 이상의 데이터를 포함하며,
상기 제1 비영상 데이터 생성단계는,
상기 의료데이터를 점수화하는 단계;를 포함하는,
대상 질병의 예후를 예측하는 방법.
- 제1 항 또는 제2 항에 있어서,
상기 통합분석단계는,
퇴행성 관절염 또는 신체의 성장발달의 예후를 예측하는 단계;를 포함하는,
대상 질병의 예후를 예측하는 방법.
- 제1 항 또는 제2 항에 있어서,
상기 통합분석단계는,
뇌출혈 혈종 비대의 예후를 예측하는 단계;를 포함하는,
대상 질병의 예후를 예측하는 방법.
- 컴퓨터에 제1 항 또는 제2 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
- 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측하는 전자 장치에 있어서,
이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하고, 제1 인공지능모델을 이용하여 상기 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하고, 상기 환자의 의료데이터를 획득하고, 이를 수치화하여 제1 비영상 데이터를 생성하고, 상기 의료 영상 내의 대상 질병 관련 특징을 수치화하여 제2 비영상 데이터를 생성하고, 상기 제1 인공지능모델의 출력값과 상기 제1 및 상기 제2 비영상 데이터를 제2 인공지능모델에 적용하여 상기 대상 질병의 예후를 통합적으로 예측하도록 구성된 프로세서를 포함하며,
상기 대상 질병 관련 특징은,
상기 대상 질병 관련 영역의 위치, 크기, 부피 및 상기 대상 질병과 관련 있는 신체적 특징을 포함하는 그룹에서 하나 이상을 포함하는,
전자장치.
- 의료 영상 및 비영상 데이터에 기초하여 대상 질병의 예후를 예측하는 전자 장치에 있어서,
이상 부위를 검출하고자 하는 환자의 의료 영상을 획득하고, 제1 인공지능모델을 이용하여 상기 의료 영상 내의 대상 질병을 기 설정된 그룹으로 분류하고, 상기 환자의 의료데이터를 획득하고, 이를 수치화하여 제1 비영상 데이터를 생성하고, 상기 의료 영상 내의 대상 질병 관련 특징을 수치화하여 제2 비영상 데이터를 생성하고, 상기 제1 및 상기 제2 비영상 데이터를 제3 인공지능모델에 적용하여 상기 대상 질병을 기 설정된 그룹으로 분류하고, 상기 제1 및 제3 인공지능모델의 출력값을 제2 인공지능모델에 적용하여 상기 대상 질병의 예후를 통합적으로 예측하도록 구성된 프로세서를 포함하며,
상기 대상 질병 관련 특징은,
상기 대상 질병 관련 영역의 위치, 크기, 부피 및 상기 대상 질병과 관련 있는 신체적 특징을 포함하는 그룹에서 하나 이상을 포함하는,
전자장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230094629A KR102651589B1 (ko) | 2023-07-20 | 2023-07-20 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
| PCT/KR2024/010406 WO2025018825A1 (ko) | 2023-07-20 | 2024-07-19 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230094629A KR102651589B1 (ko) | 2023-07-20 | 2023-07-20 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020240039264A Division KR20250015795A (ko) | 2024-03-21 | 영상 및 비영상 데이터를 이용한 관절염 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 | |
| KR1020240039263A Division KR20250015794A (ko) | 2024-03-21 | 영상 및 비영상 데이터를 이용한 뇌출혈 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 | |
| KR1020240039265A Division KR20250015796A (ko) | 2024-03-21 | 영상 및 비영상 데이터를 이용한 종양 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102651589B1 true KR102651589B1 (ko) | 2024-03-27 |
Family
ID=90480511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230094629A KR102651589B1 (ko) | 2023-07-20 | 2023-07-20 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102651589B1 (ko) |
| WO (1) | WO2025018825A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025018825A1 (ko) * | 2023-07-20 | 2025-01-23 | 주식회사 크레스콤 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101777391B1 (ko) | 2016-07-05 | 2017-09-27 | 충남대학교산학협력단 | 척추 관절가동범위 측정 방법 |
| KR20200005411A (ko) * | 2018-07-06 | 2020-01-15 | 연세대학교 산학협력단 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR20210124024A (ko) * | 2020-04-06 | 2021-10-14 | 두에이아이(주) | 인공지능을 이용한 안저 영상 데이터의 품질 점수 산출 방법, 장치 및 컴퓨터프로그램 |
| KR20220129521A (ko) * | 2020-05-29 | 2022-09-23 | 서울여자대학교 산학협력단 | 종양 이미지를 분석하여 암 예후에 대한 예측이 가능한 예측 모델의 학습 방법, 장치 및 프로그램 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102342990B1 (ko) * | 2020-02-04 | 2021-12-24 | (주)헬스허브 | 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치 및 그 방법 |
| KR102651589B1 (ko) * | 2023-07-20 | 2024-03-27 | 주식회사 크레스콤 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
-
2023
- 2023-07-20 KR KR1020230094629A patent/KR102651589B1/ko active IP Right Grant
-
2024
- 2024-07-19 WO PCT/KR2024/010406 patent/WO2025018825A1/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101777391B1 (ko) | 2016-07-05 | 2017-09-27 | 충남대학교산학협력단 | 척추 관절가동범위 측정 방법 |
| KR20200005411A (ko) * | 2018-07-06 | 2020-01-15 | 연세대학교 산학협력단 | 심혈관 질병 진단 보조 방법 및 장치 |
| KR20210124024A (ko) * | 2020-04-06 | 2021-10-14 | 두에이아이(주) | 인공지능을 이용한 안저 영상 데이터의 품질 점수 산출 방법, 장치 및 컴퓨터프로그램 |
| KR20220129521A (ko) * | 2020-05-29 | 2022-09-23 | 서울여자대학교 산학협력단 | 종양 이미지를 분석하여 암 예후에 대한 예측이 가능한 예측 모델의 학습 방법, 장치 및 프로그램 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025018825A1 (ko) * | 2023-07-20 | 2025-01-23 | 주식회사 크레스콤 | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2025018825A1 (ko) | 2025-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423541B2 (en) | Assessment of density in mammography | |
| US11455723B2 (en) | Second reader suggestion | |
| JP5159242B2 (ja) | 診断支援装置、診断支援装置の制御方法、およびそのプログラム | |
| US10734107B2 (en) | Image search device, image search method, and image search program | |
| US11107215B2 (en) | Medical image diagnosis assistant apparatus and method for generating evaluation scores for plurality of medical image diagnosis algorithms | |
| CN111353998A (zh) | 一种基于人工智能的肿瘤诊疗预测模型及装置 | |
| Shen et al. | Breast mass detection from the digitized X-ray mammograms based on the combination of deep active learning and self-paced learning | |
| US20220207730A1 (en) | Systems and Methods for Automated Image Analysis | |
| KR20180022607A (ko) | 다양한 측정으로부터의 의료 측정 데이터에 기초한 결과 데이터의 결정 | |
| JP5456132B2 (ja) | 診断支援装置、診断支援装置の制御方法、およびそのプログラム | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
| KR102739821B1 (ko) | 분류 및 분할을 이용한 근골격계 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
| Vijayakumar et al. | Multilevel mammogram image analysis for identifying outliers: Misclassification using machine learning | |
| Banumathy et al. | Breast Calcifications and Histopathological Analysis on Tumour Detection by CNN. | |
| KR102651589B1 (ko) | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 | |
| Zhang et al. | Detection and quantification of intracerebral and intraventricular hemorrhage from computed tomography images with adaptive thresholding and case-based reasoning | |
| Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
| US20240312183A1 (en) | Breast ultrasound diagnosis method and system using weakly supervised deep-learning artificial intelligence | |
| CN115274094A (zh) | 肝癌影像学联合afp诊断模型构建方法、系统及装置 | |
| Cazzolato et al. | dp-breath: Heat maps and probabilistic classification assisting the analysis of abnormal lung regions | |
| KR20250015795A (ko) | 영상 및 비영상 데이터를 이용한 관절염 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 | |
| KR20250015794A (ko) | 영상 및 비영상 데이터를 이용한 뇌출혈 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 | |
| KR20250015796A (ko) | 영상 및 비영상 데이터를 이용한 종양 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 | |
| CN112329876A (zh) | 一种基于影像组学的结直肠癌预后预测方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20230720 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20230720 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20231026 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240206 |
|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant | ||
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20240321 Patent event code: PA01071R01D |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240321 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240322 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |