KR20230151865A - 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법 - Google Patents
의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법 Download PDFInfo
- Publication number
- KR20230151865A KR20230151865A KR1020220118135A KR20220118135A KR20230151865A KR 20230151865 A KR20230151865 A KR 20230151865A KR 1020220118135 A KR1020220118135 A KR 1020220118135A KR 20220118135 A KR20220118135 A KR 20220118135A KR 20230151865 A KR20230151865 A KR 20230151865A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- section
- distribution
- signal intensity
- target area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 76
- 238000003745 diagnosis Methods 0.000 title abstract description 64
- 238000012800 visualization Methods 0.000 claims description 69
- 238000011002 quantification Methods 0.000 claims description 60
- 230000003902 lesion Effects 0.000 claims description 58
- 238000002059 diagnostic imaging Methods 0.000 claims description 50
- 201000010099 disease Diseases 0.000 claims description 43
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 210000003484 anatomy Anatomy 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 description 39
- 238000004458 analytical method Methods 0.000 description 28
- 238000013528 artificial neural network Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 23
- 239000007787 solid Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 238000002591 computed tomography Methods 0.000 description 18
- 206010028980 Neoplasm Diseases 0.000 description 15
- 206010056342 Pulmonary mass Diseases 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 201000011510 cancer Diseases 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000036210 malignancy Effects 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000003759 clinical diagnosis Methods 0.000 description 5
- 230000003211 malignant effect Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010061818 Disease progression Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000005750 disease progression Effects 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000037841 lung tumor Diseases 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010003211 Arteriosclerosis coronary artery Diseases 0.000 description 1
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 208000037819 metastatic cancer Diseases 0.000 description 1
- 208000011575 metastatic malignant neoplasm Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 229940102240 option 2 Drugs 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Primary Health Care (AREA)
- Heart & Thoracic Surgery (AREA)
- Epidemiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명에 따른 프로세서를 포함하는 의료 영상 진단 보조 장치는, 의료 영상 내의 적어도 하나 이상의 타겟 영역에 대한 정보를 획득하고, 타겟 영역 내의 신호 세기 값의 분포에 대한 분포 정보를 획득하고, 타겟 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하고, 분포 정보 및 제1 보조 정보에 기반하여 제2 보조 정보를 생성할 수 있다.
Description
본 발명은 의료 영상을 이용한 진단(diagnosis)을 보조하는 장치 및 방법에 관한 것이다. 구체적으로는 의료 영상을 이용한 진단을 보조하기 위하여 의료 영상을 분석하고 분석 결과를 시각화하는 기술에 관한 것이다.
본 발명은 중소벤처기업부 및 중소기업기술정보진흥원의 중소기업기술혁신개발사업(시장대응형)의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 1425156395, 과제명: CT기반 흉복부 전이암 판독 보조 인공지능 개발 및 검증].
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
현재, 병변을 분석함으로써 진단에 이용하기 위하여 CT(computed tomography; 전산화 단층 촬영) 등의 의료 영상이 널리 이용되고 있다. 예를 들어, 흉부 CT 영상은 신체의 내부, 예컨대, 폐, 기관지, 심장 등의 이상을 관찰할 수 있어 진단용으로 빈번히 이용된다.
흉부 CT 영상을 통하여 진단될 수 있는 몇몇 소견들(findings)은 영상의학과 의사도 다년 간의 수련을 통하여야만 그 특징 및 형태를 구분해낼 수 있을 정도로 그 판독이 용이하지 않아 인간인 의사가 쉽게 간과할 수 있다. 특히, 폐결절(lung nodule)과 같이 그 판독의 난이도가 높으면 의사가 고도의 주의를 기울여도 미처 보지 못하고 넘어가는 경우가 발생할 수 있어 문제가 될 소지가 있다.
이 같이 인간이 쉽게 간과할 수 있는 영상의 판독(reading)을 보조하기 위하여, 컴퓨터 보조 진단(CAD; computer aided diagnosis)의 필요성이 대두되었는데, 종래의 CAD 기술은 매우 한정된 영역에서 의사의 판단을 보조함에 그친다.
컴퓨터 보조 진단을 이용한 병변의 판독은 우선 병변으로 의심되는 부위를 특정하고, 그 부위에 대한 점수{예컨대, 신뢰도(confidence), 악성도(malignity) 등}을 평가하는 프로세스로 이루어질 수 있다. 예를 들어, 폐 영역에서 복수의 결절이 발견되는 경우, 그 중 악성도가 높을 것으로 예상되는 결절을 특정하여 추후의 치료 방안을 결정할 필요가 있을 것이다.
그런데, 복수의 결절이 있기 때문에 그 중 어떤 결절이 가장 악성도가 높은지는 판독 이전에 알 수가 없고 실제 악성도가 높지 않거나 악성이 아닐 것이라 예상되는 결절부터 진단이 수행되어 판독 효율이 떨어지게 되는 경우가 산재한다. 또한 어떤 결절이 실제 결절인지 판독 이전에 알기 어렵고 신뢰도가 높지 않아 실제 결절이 아닐 것이라 예상되는 부분에서부터 진단이 수행되어도 판독 효율이 떨어진다.
선행 문헌인 한국등록특허 KR 10-1943011호 "피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치"에서는 종래의 병변 검출 시스템에 대하여 점수 평가 방식을 도입하고 검출된 병변들 중에서 점수(예컨대, 신뢰도, 악성도 등)가 가장 높은 병변들부터 판독할 수 있게 하여 판독 효율을 증진하는 방법 및 이를 이용한 장치를 제안하였다.
KR 10-1943011에서는 단일 종류의 질환에 대해서 다수의 병변이 검출되었을 때 단일 디스플레이 설정 내에서 신뢰도, 악성도 등의 점수가 가장 높은 병변들부터 배치되는 리스트를 디스플레이하고, 사용자가 리스트에서 해당 병변을 선택하면 병변과 관련된 영상을 디스플레이하는 구성을 개시한다.
다만 신경망 등을 통하여 검출된 병변에 대한 정보가 신경망에 의한 신뢰도, 악성도 등의 점수와 함께 시각화되더라도 신경망 내부는 블랙박스와 유사하여 신뢰도 및/악성도 산출의 근거를 외부에서 알기 어려우므로 사용자인 의료 전문가는 신경망의 추론 결과에 대한 검증의 수단을 함께 제공받을 수 없다.
상기와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 특정한 장기(organ), 병변(lesion), 또는 소견(findings)의 검출 결과에 대하여 의료 전문가가 검증할 수 있는 수단을 보조 정보로서 제공하는 것이다.
본 발명의 목적은 특정한 장기, 병변, 또는 소견에 대하여 의료 전문가가 질병의 존재 여부, 질병의 진행, 질병의 중증도에 대한 부가 정보를 얻을 수 있는 수단을 보조 정보로서 제공하는 것이다.
본 발명의 목적은 특정한 장기가 분할되거나 병변 또는 소견이 검출되어 시각화된 상태에서, 분할된 장기, 검출된 병변 또는 소견에 실제로 질병이 존재하는 지, 질병이 진행되고 있는지, 질병이 중증인 지에 대한 정보를 사용자인 의료 전문가가 알 수 있는 보조 정보를 함께 제공하는 것이다.
본 발명의 목적은 특정한 병변 또는 장기의 시간의 경과에 다른 추이에 대한 추적 검사에 용이한 기능을 제공하는 것이다.
본 발명의 목적은 관심 영역의 타입 또는 상태를 나타내는 데에 효과적인 시각화 정보를 제공하는 것이다.
본 발명의 목적은 관심 영역의 타입 또는 상태의 변화를 나타내는 데에 효과적인 시각화 수단을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치는 프로세서(processor)를 포함하고, 프로세서는, 의료 영상 내의 적어도 하나 이상의 타겟 영역에 대한 정보를 획득하고, 타겟 영역 내의 신호 세기 값의 분포에 대한 분포 정보를 획득하고, 타겟 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하고, 분포 정보 및 제1 보조 정보에 기반하여 제2 보조 정보를 생성한다.
제1 임계값에 의하여 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분될 수 있다.
제2 보조 정보는 타겟 영역 내의 신호 세기 값의 제1 구간에 대응하는 제1 구간 분포 정보 및 타겟 영역 내의 신호 세기 값의 제2 구간에 대응하는 제2 구간 분포 정보 중 적어도 하나 이상을 포함할 수 있다.
제2 보조 정보는 제1 구간 분포 정보를 나타내는 제1 시각화 요소 및 제2 구간 분포 정보를 나타내는 제2 시각화 요소를 더 포함할 수 있다.
제2 보조 정보는 타겟 영역 내의 신호 세기 값의 제1 구간에 대응하는 제1 구간 분포 정량화 정보 및 타겟 영역 내의 신호 세기 값의 제2 구간에 대응하는 제2 구간 분포 정량화 정보 중 적어도 하나 이상을 포함할 수 있다.
제1 구간 분포 정량화 정보는 타겟 영역 내에서 제1 구간에 대응하는 신호 세기 값의 픽셀 또는 복셀의 퍼센타일(percentile), 최대값(max), 최소값(min), 평균값(mean), 최빈값(mode), 중간값(median) 중 적어도 하나 이상을 포함할 수 있다.
제2 구간 분포 정량화 정보는 타겟 영역 내에서 제2 구간에 대응하는 신호 세기 값의 픽셀 또는 복셀의 퍼센타일(percentile), 최대값(max), 최소값(min), 평균값(mean), 최빈값(mode), 중간값(median) 중 적어도 하나 이상을 포함할 수 있다.
프로세서는, 제1 구간에 대응하는 타겟 영역 내의 적어도 하나 이상의 제1 소영역에 대한 의료 영상 상의 제1 오버레이 시각화 정보; 및 제2 구간에 대응하는 타겟 영역 내의 적어도 하나 이상의 제2 소영역에 대한 의료 영상 상의 제2 오버레이 시각화 정보 중 적어도 하나 이상을 생성할 수 있다.
프로세서는, 제2 보조 정보와 관련되는 제1 구간에 대한 사용자 입력이 인식되면 제1 오버레이 시각화 정보를 생성할 수 있다. 프로세서는, 제2 보조 정보와 관련되는 제2 구간에 대한 사용자 입력이 인식되면 제2 오버레이 시각화 정보를 생성할 수 있다.
제1 임계값은 타겟 영역과 관련되는 질병의 존재 여부, 질병의 진행, 및 질병의 중증도 중 적어도 하나 이상과 관련되는 값일 수 있다.
타겟 영역에 대한 정보는 타겟 영역의 경계에 대한 분할(segmentation) 정보를 포함할 수 있다.
타겟 영역은 의료 영상 내에서 질병 또는 병변과 관련되어 검출된 소견 영역일 수 있다.
타겟 영역은 의료 영상 내의 해부학적 구조가 분할된 결과에 의하여 얻어지는 영역일 수 있다.
프로세서는, 타겟 영역 내의 신호 세기 값의 제2 임계값을 더 포함하는 제1 보조 정보를 생성할 수 있다. 이때 제1 임계값 및 제2 임계값에 의하여 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간, 제2 상태에 대응하는 제2 구간, 및 제3 상태에 대응하는 제3 구간으로 구분될 수 있다.
분포 정보는, 타겟 영역 내의 픽셀 또는 복셀의 신호 세기 값의 분포에 대응하는 히스토그램 정보일 수 있다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치는, 프로세서(processor)를 포함하고, 프로세서는, 피검체에 관하여 제1 시간에 획득된 제1 의료 영상 내의 적어도 하나 이상의 제1 영역에 대한 정보를 획득하고, 피검체에 관하여 제2 시간에 획득된 제2 의료 영상 내에서 적어도 하나 이상의 제1 영역에 대응하는 적어도 하나 이상의 제2 영역에 대한 정보를 획득한다.
이때 프로세서는 제1 영역 내의 신호 세기 값의 분포에 대한 제1 분포 정보를 획득하고, 제2 영역 내의 신호 세기 값의 분포에 대한 제2 분포 정보를 획득한다.
프로세서는 제1 분포 정보 및 제2 분포 정보에 기반하여 시각화 정보를 생성한다.
프로세서는 제1 영역 및 제2 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성할 수 있다. 프로세서는 제1 분포 정보 및 제1 보조 정보에 기반하여 제2 보조 정보를 생성할 수 있고, 제2 분포 정보 및 제1 보조 정보에 기반하여 제3 보조 정보를 생성할 수 있다.
제1 임계값에 의하여 제1 영역 및 제2 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분될 수 있다.
프로세서는, 제1 분포 정보에 기반하여 제1 영역 내의 신호 세기 값의 제1 구간에 대응하는 제1 구간 분포 정보 및 제1 영역 내의 신호 세기 값의 제2 구간에 대응하는 제2 구간 분포 정보 중 적어도 하나 이상을 획득할 수 있다.
프로세서는 제1 구간 분포 정보 및 제2 구간 분포 정보 중 적어도 하나 이상을 포함하면서 제1 보조 정보를 포함하는 제2 보조 정보를 시각화 정보의 일부로서 생성할 수 있다.
프로세서는 제2 분포 정보에 기반하여 제2 영역 내의 신호 세기 값의 제1 구간에 대응하는 제3 구간 분포 정보 및 제2 영역 내의 신호 세기 값의 제2 구간에 대응하는 제4 구간 분포 정보 중 적어도 하나 이상을 획득할 수 있다.
프로세서는 제3 구간 분포 정보 및 제4 구간 분포 정보 중 적어도 하나 이상을 포함하면서 제1 보조 정보를 포함하는 제3 보조 정보를 시각화 정보의 일부로서 생성할 수 있다.
프로세서는, 제1 분포 정보에 기반하여 제1 영역 내의 신호 세기 값의 제1 구간에 대응하는 제1 구간 분포 정량화 정보 및 제1 영역 내의 신호 세기 값의 제2 구간에 대응하는 제2 구간 분포 정량화 정보 중 적어도 하나 이상을 생성할 수 있다.
프로세서는 제1 구간 분포 정량화 정보 및 제2 구간 분포 정량화 정보 중 적어도 하나 이상을 포함하면서 제1 보조 정보를 포함하는 제2 보조 정보를 시각화 정보의 일부로서 생성할 수 있다.
프로세서는 제2 분포 정보에 기반하여 제2 영역 내의 신호 세기 값의 제1 구간에 대응하는 제3 구간 분포 정량화 정보 및 제2 영역 내의 신호 세기 값의 제2 구간에 대응하는 제4 구간 분포 정량화 정보 중 적어도 하나 이상을 생성할 수 있다.
프로세서는 제3 구간 분포 정량화 정보 및 제4 구간 분포 정량화 정보 중 적어도 하나 이상을 포함하면서 제1 보조 정보를 포함하는 제3 보조 정보를 시각화 정보의 일부로서 생성할 수 있다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 프로세서(processor)를 포함하는 컴퓨팅 시스템에 의하여 실행될 수 있다. 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 의료 영상 내의 적어도 하나 이상의 타겟 영역에 대한 정보를 획득하는 단계; 타겟 영역 내의 신호 세기 값의 분포에 대한 분포 정보를 획득하는 단계; 타겟 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하는 단계; 및 분포 정보 및 제1 보조 정보에 기반하여 제2 보조 정보를 생성하는 단계를 포함한다.
이때 제1 임계값에 의하여 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분될 수 있다.
제2 보조 정보를 생성하는 단계는, 타겟 영역 내의 신호 세기 값의 제1 구간에 대응하는 제1 구간 분포 정보 및 타겟 영역 내의 신호 세기 값의 제2 구간에 대응하는 제2 구간 분포 정보 중 적어도 하나 이상을 포함하는 제2 보조 정보를 생성할 수 있다.
제2 보조 정보를 생성하는 단계는, 타겟 영역 내의 신호 세기 값의 제1 구간에 대응하는 제1 구간 분포 정량화 정보 및 타겟 영역 내의 신호 세기 값의 제2 구간에 대응하는 제2 구간 분포 정량화 정보 중 적어도 하나 이상을 포함하는 제2 보조 정보를 생성할 수 있다.
본 발명의 실시예에 따르면 특정한 장기(organ), 병변(lesion), 또는 소견(findings)의 검출 결과에 대하여 의료 전문가가 검증할 수 있는 수단을 보조 정보로서 제공할 수 있다.
본 발명의 실시예에 따르면 특정한 장기, 병변, 또는 소견에 대하여 의료 전문가가 질병의 존재 여부, 질병의 진행, 질병의 중증도에 대한 부가 정보를 얻을 수 있는 수단을 보조 정보로서 제공할 수 있다.
본 발명의 실시예에 따르면 특정한 장기가 분할되거나 병변 또는 소견이 검출되어 시각화된 상태에서, 분할된 장기, 검출된 병변 또는 소견에 실제로 질병이 존재하는 지, 질병이 진행되고 있는지, 질병이 중증인 지에 대한 정보를 사용자인 의료 전문가가 알 수 있는 보조 정보를 함께 제공할 수 있다.
본 발명의 실시예에 따르면, 특정한 병변 또는 장기의 시간의 경과에 다른 추이에 대한 추적 검사에 용이한 UI를 제공할 수 있다.
본 발명의 실시예에 따르면, 관심 영역의 타입 또는 상태를 나타내는 데에 효과적인 시각화 정보를 포함하는 UI를 제공할 수 있다.
본 발명의 실시예에 따르면, 관심 영역의 타입 또는 상태의 변화를 나타내는 데에 효과적인 시각화 수단을 포함하는 UI를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 추적 검사(Follow-up Exam) 및 추적 검사의 대상인 타겟 영역을 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 보조 정보와 관련되어 시각화되는 의료 영상의 일 예를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 보조 정보와 관련되어 시각화되는 의료 영상의 일 예를 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법을 도시하는 동작 흐름도이다.
도 9 및 도 10은 도 8의 의료 영상 진단 보조 방법의 일부 과정의 일 예를 상세히 도시하는 동작 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법을 도시하는 동작 흐름도이다.
도 12, 도 13, 도 14, 및 도 15는 도 11의 의료 영상 진단 보조 방법의 일부 과정을 상세히 도시하는 동작 흐름도이다.
도 16은 본 발명의 일 실시예에 따른 의료 영상 추적 검사 및 보조 정보의 일 예를 도시하는 도면이다.
도 17은 본 발명의 일 실시예에 따른 일반화된 의료 영상 진단 보조 장치 또는 컴퓨팅 시스템을 도시하는 블록도이다.
도 18은 본 발명의 일 실시예에 따른 일반화된 의료 영상 진단 보조 장치 또는 컴퓨팅 시스템의 내부 구조로서 프로세서와 인공 신경망을 포함하는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 보조 정보와 관련되어 시각화되는 의료 영상의 일 예를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 보조 정보와 관련되어 시각화되는 의료 영상의 일 예를 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법을 도시하는 동작 흐름도이다.
도 9 및 도 10은 도 8의 의료 영상 진단 보조 방법의 일부 과정의 일 예를 상세히 도시하는 동작 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법을 도시하는 동작 흐름도이다.
도 12, 도 13, 도 14, 및 도 15는 도 11의 의료 영상 진단 보조 방법의 일부 과정을 상세히 도시하는 동작 흐름도이다.
도 16은 본 발명의 일 실시예에 따른 의료 영상 추적 검사 및 보조 정보의 일 예를 도시하는 도면이다.
도 17은 본 발명의 일 실시예에 따른 일반화된 의료 영상 진단 보조 장치 또는 컴퓨팅 시스템을 도시하는 블록도이다.
도 18은 본 발명의 일 실시예에 따른 일반화된 의료 영상 진단 보조 장치 또는 컴퓨팅 시스템의 내부 구조로서 프로세서와 인공 신경망을 포함하는 개념도이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원의 실시예들에서, "A 및 B 중에서 적어도 하나"는 "A 또는 B 중에서 적어도 하나" 또는 "A 및 B 중 하나 이상의 조합들 중에서 적어도 하나"를 의미할 수 있다. 또한, 본 출원의 실시예들에서, "A 및 B 중에서 하나 이상"은 "A 또는 B 중에서 하나 이상" 또는 "A 및 B 중 하나 이상의 조합들 중에서 하나 이상"을 의미할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
CT(Computed Tomography) 또는 MRI(Magnetic Resonance Image)와 같은 최근의 의료 영상은 한 번의 획득(Acquisition)을 통하여 의료 영상 시리즈(Series)를 획득하고, 의료 영상 시리즈는 한 종류의 병변 뿐에만 국한되지 않고 여러 종류의 병변을 검출하는 데에 이용될 수 있다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
이러한 인공 신경망 기술이 적용되어 의료 영상 내에서 인간의 육안으로 식별하기 어려운 질환이나 병변을 검출하고, 특정 조직 등 관심 영역을 분할하며(segmentation), 분할된 영역에 대한 측정 등 분석 과정을 수행할 수 있을 것으로 기대된다.
한편 본 출원일 전에 공지된 기술이라 하더라도 필요 시 본 출원 발명의 구성의 일부로서 포함될 수 있으며, 이에 대해서는 본 발명의 취지를 흐리지 않는 범위 내에서 본 명세서에서 설명한다. 다만 본 출원 발명의 구성을 설명함에 있어, 본 출원일 전에 공지된 기술로서 당업자가 자명하게 이해할 수 있는 사항에 대한 자세한 설명이 본 발명의 취지를 흐릴 수 있다고 생각되면 공지 기술에 대한 지나치게 자세한 사항의 설명은 생략할 수 있다. 본 출원 발명의 구성의 일부로 포함되는 공지 기술로서 필요한 경우에는 관련된 선행문헌을 인용함으로써 공지 기술의 설명에 갈음할 수 있다.
본 명세서에서 생략된 사항은 본 출원명세서에서 인용하고 있는 선행문헌들, 예를 들어, KR 10-2270934호 "의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법", KR 10-2283673호 "병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법", KR 10-1943011호 "피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치", KR 10-1887194호 "피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치", KR 10-1818074호 "인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템" 등을 통하여 당업자에게 공지되었음을 알림으로써 설명에 갈음할 수 있다.
이상의 선행문헌들에서는 인공 신경망을 이용하여 병변 후보를 검출하고, 이들을 분류(classification)하여 소견(findings)을 생성한다. 각 소견은 진단 보조 정보를 포함하며, 진단 보조 정보는 각 소견이 실제로 병변일 확률, 소견의 신뢰도(confidence), 악성도(malignity), 및 소견이 대응하는 병변 후보들의 크기, 부피 등 정량적 측정을 포함할 수 있다.
인공 신경망을 이용한 의료 영상 진단 지원에서는 각 소견은 반드시 확률, 또는 신뢰도를 수치화하여 진단 보조 정보로서 포함하며, 모든 소견을 사용자에게 제공할 수 없으므로 일반적으로는 일정한 임계치(threshold)를 적용하여 소견을 필터링하고, 필터링된 소견만이 사용자에게 제공된다. 의료 영상을 영상의(radiologist)인 사용자가 판독하여(read) 임상적 소견을 생성하고, 임상의사(clinician)가 소견을 분석하여 진단 결과가 생성되는 워크플로우에서, 인공 신경망 또는 자동화 프로그램은 영상의의 판독 과정, 소견 생성 과정, 및/또는 임상의의 진단 과정을 적어도 부분적으로 보조할 수 있다.
이들 선행문헌들이 개시하는 내용 중 일부는 본 발명이 해결하고자 하는 문제점과 관련되며, 본 발명이 채택하는 해결 수단 중 일부는 이들 선행문헌에도 공통적으로 적용된다.
이하의 도 1 내지 도 18의 설명에서도, 본 발명의 기술 분야에서 널리 알려진 공지 기술이라고 간주되는 사항은 요점을 흐리지 않기 위하여 필요에 따라 설명을 생략하거나, 선행문헌을 인용함으로써 설명을 대체할 수 있다.
또한 앞서 인용된 선행문헌 및 이후 인용되는 선행문헌들의 구성의 일부 또는 전부는 본 발명이 해결하고자 하는 문제점의 일부와 관련될 수 있으며, 본 발명이 채택하는 해결 수단 중 일부는 선행문헌들로부터 차용한 것일 수 있다.
선행문헌들에 개시된 사항들 중 본 발명을 구체화하기 위하여 공통적으로 포함되는 사항에 한하여 본 발명의 구성의 일부로서 간주될 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하에서 본 발명의 상세한 사항을 도 1 내지 도 18의 실시예들을 통하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 추적 검사(Follow-up Exam) 및 추적 검사의 대상인 타겟 영역을 도시하는 도면이다.
도 1을 참조하면, 현재 시점에 획득된 추적 검사 영상인 제1 의료 영상(100), 및 과거 시점에 획득된 베이스라인(baseline) 영상인 제2 의료 영상(200)이 도시된다.
제1 의료 영상(100) 내에는 제1 타겟 영역(110)이 식별되어 표시되고, 제2 의료 영상(200) 내에는 제2 타겟 영역(210)이 식별되어 표시될 수 있다.
제1 타겟 영역(110) 및 제2 타겟 영역(210)은 서로 대응하는 영역임이 이미 인식된 상태를 가정한다. 제1 타겟 영역(110) 및 제2 타겟 영역(210)의 대응 관계는 제1 의료 영상(100) 및 제2 의료 영상(200) 간의 정합(registration)에 의하여 미리 획득될 수 있다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치는 이전 영상인 제2 의료 영상(200)에서 식별된 ROI인 제2 타겟 영역(210)과 Follow-up 영상인 제1 의료 영상(100)에서 식별된 ROI인 제1 타겟 영역(110)에 대한 추적 검사(Follow-up Exam) 기능을 제공할 수 있다. 본 발명의 장치는 F/U 기능화 함께 이전 영상의 ROI와 다음 영상의 ROI의 신호 세기 값 분포에 따른 히스토그램 시각화 기능을 결합하여 제공할 수 있다.
의료 영상 진단 보조 장치는 ROI가 장기 또는 병변인 경우에, 장기 또는 병변의 분할 과정이 적합했는 지를 체크할 수 있는 메뉴의 일환으로 히스토그램 시각화 기능을 제공할 수 있다.
의료 영상 진단 보조 장치는 ROI가 장기가 아니라 병변인 경우에, 병변 내의 픽셀/복셀의 신호 세기 값 분포에 따른 히스토그램을 제공할 수 있다.
의료 영상 진단 보조 장치는 특정 장기 또는 병변에 대해서 진단 보조에 효과적인 CT 히스토그램을 위한 신호 세기 값(밝기 값)의 적절한 윈도우를 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
도 2에 도시되지는 않았지만 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치는 프로세서(processor)를 포함하는 컴퓨팅 시스템일 수 있다. 본 발명의 컴퓨팅 시스템의 동작은 프로세서의 제어 또는 관리 하에서 실행될 수 있다.
도 2는 도 1의 제1 의료 영상(100) 및 제2 의료 영상(200) 중 어느 쪽에 대해서도 적용될 수 있다. 설명의 편의상 도 2가 제1 의료 영상(100)에 대응하는 것을 가정하여 설명한다.
본 발명의 일 실시예에 따르면, 장치는 제1 의료 영상(100) 내의 적어도 하나 이상의 제1 타겟 영역(110)에 대한 정보를 획득하고, 제1 타겟 영역(110) 내의 신호 세기 값의 분포에 대한 분포 정보(330)를 획득하고, 제1 타겟 영역(110) 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보(340)를 생성하고, 분포 정보(330) 및 제1 보조 정보(340)에 기반하여 제2 보조 정보(300)를 생성한다.
분포 정보(330)는 신호 세기 값에 대응하는 가로축(310) 및 신호 세기 값을 가지는 픽셀 및/또는 복셀의 개수 및/또는 분포에 대응하는 세로축(320)과 함께 시각화될 수 있다. 신호 세기 값은 CT 스캔 영상 또는 X-ray 영상의 밝기 값일 수 있고, 하운스필드 유닛(HU, Hounsfield Unit)으로 나타내어질 수 있다. 분포 정보(330)는 제1 타겟 영역(110) 내의 픽셀 및/또는 복셀의 신호 세기 값에 대응하는 히스토그램일 수 있다.
본 발명의 실시예에 따르면 제1 타겟 영역(110)은 병변(lesion)일 수 있다. 예를 들어 제1 타겟 영역(110)은 폐 결절(lung nodule). 관상동맥 석회화(CAC, Coronary Artery Calcification) 영역, 또는 폐 종양(lung tumor)일 수 있다.
제1 타겟 영역(110)이 폐 결절인 경우에는 CT 밝기 값에 대하여 분포 정보(330)와 함께 -100HU, 100HU 기준선을 제1 보조 정보(340)로서 표시하여 사용자가 nodule type을 구분하는 과정을 지원할 수 있다. 히스토그램에 표시되는 가로축 HU 값의 범위는 해당 병변에 특화된 실시예로서, 예를 들어 lung nodule인 경우에는 [-1000, 500] 구간 내에서 최적화될 수 있다.
히스토그램을 통하여 밝기 값의 분포가 시각화되는 실시예에서는 밝기 값의 기준선을 제공하여, ROI의 type 또는 상태를 사용자가 구분할 수 있도록 지원할 수 있다. 이때 하나 이상의 기준선에 의하여 구분되는 복수개의 밝기값 구간의 정량화 분석 결과가 기준선과 함께 시각화될 수 있다.
또는 기준선에 기반하여 ROI의 type 또는 상태를 의료 영상 분석 모듈이 판정하고, 판정 결과를 기준선과 함께 시각화할 수 있다. 이때 하나 이상의 기준선에 의하여 구분되는 복수개의 밝기값 구간의 정량화 분석 결과가 기준선 및 ROI의 type 또는 상태에 대한 판정 결과와 함께 시각화될 수 있다. 이때 판정 결과는 ROI의 type 또는 상태의 변화에 대한 예측/추론 정보를 더 포함할 수 있다.
ROI가 예를 들어 lung nodule인 경우에는 nodule의 type(solid, non-solid, part-solid)이 구분되기에 용이한 밝기값 기준선이 제공될 수 있다.
제1 보조 정보(340)는 분포 정보(330)와 함께 시각화되는 제1 임계값에 대응하는 기준선 또는 구간 표시일 수 있다. 제1 임계값은 신호 세기 값의 임계값일 수 있다.
제1 임계값에 의하여 제1 타겟 영역(110) 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간(350) 및 제2 상태에 대응하는 제2 구간(352)으로 구분될 수 있다.
제2 보조 정보(300)는 제1 타겟 영역(110) 내의 신호 세기 값의 제1 구간(350)에 대응하는 제1 구간 분포 정보 및 제1 타겟 영역(110) 내의 신호 세기 값의 제2 구간(352)에 대응하는 제2 구간 분포 정보 중 적어도 하나 이상을 포함할 수 있다.
제1 구간 분포 정보는 분포 정보(330) 중에서 제1 구간(350)에 속하는 세그먼트 또는 부분일 수 있다. 제2 구간 분포 정보는 분포 정보(330) 중에서 제2 구간(352)에 속하는 세그먼트 또는 부분일 수 있다.
제2 보조 정보(300)는 히스토그램인 분포 정보(330)가 각 구간(350, 352, 354, 356) 별로 구분되는 각 구간 분포 정보, 및 각 구간(350, 352, 354, 356)을 구분하는 임계치에 대응하는 제1 보조 정보(340, 342, 344)를 포함할 수 있다. 제2 보조 정보(300)는 사용자에게 디스플레이 또는 사용자 인터페이스를 경유하여 제공될 수 있도록 시각화 정보로서 생성될 수 있다. 시각화 정보가 사용자에게 시각화됨으로써 제2 보조 정보(300)가 사용자에게 제공될 수 있다.
제2 보조 정보(300)는 제1 구간 분포 정보를 나타내는 제1 시각화 요소 및 제2 구간 분포 정보를 나타내는 제2 시각화 요소를 더 포함할 수 있다. 즉, 구간 별로 히스토그램이 시각적으로 구분되도록 각 세그멘트는 서로 다른 시각화 요소를 이용하여 시각화될 수 있다. 시각화 요소는 색상, 패턴, 마커, 선의 굵기, 실선/점선, 및/또는 형상을 포함할 수 있다.
제1 임계값은 제1 타겟 영역(110)과 관련되는 질병의 존재 여부, 질병의 진행, 및 질병의 중증도 중 적어도 하나 이상과 관련되는 값일 수 있다. 제1 임계값은 제1 타겟 영역(110) 및 제2 타겟 영역(210)에 공통적으로 적용되는 값일 수 있다.
제1 타겟 영역(110)에 대한 정보는 제1 타겟 영역(110)의 경계(boundary)에 대한 분할(segmentation) 정보를 포함할 수 있다. 즉, 제1 타겟 영역(110)에 대한 정보는 분할의 결과로 얻어지는 boundary 정보를 포함할 수 있다.
타겟 영역은 의료 영상 내에서 질병 또는 병변과 관련되어 검출된 소견 영역일 수 있다. 예를 들어 병변은 결절, CAC, 종양 등을 포함할 수 있다. 예를 들어 소견(finding)은 COPD 등의 질환과 관련되는 LAA(Low Attenuation Area) 영역을 포함할 수 있다.
타겟 영역은 의료 영상 내의 해부학적 구조가 분할된 결과에 의하여 얻어지는 영역일 수 있다. 해부학적 구조의 예로는 장기(organ)을 들 수 있다. 장기는 폐, 간, 심장, 혈관 등을 포함할 수 있다.
본 발명의 타겟 영역에 대한 정보는 인공 신경망의 추론에 의하여 얻어진 것일 수 있다.
또는 본 발명의 타겟 영역에 대한 정보는 룰-기반 분석 엔진의 동작에 의하여 얻어진 것일 수 있다.
본 발명의 실시예는 인공 신경망의 추론 결과 또는 룰-기반 분석 엔진의 동작 결과인 타겟 영역에 대한 정보에 대한 검증 수단으로서 분포 정보, 제1 보조 정보, 제2 보조 정보를 사용자에게 제공할 수 있다.
이때 본 발명의 실시예는 제2 보조 정보(분포 정보 및 제1 보조 정보를 포함)를 사용자에게 제공될 시각화 정보로서 생성할 수 있다.
이때 본 발명의 실시예는 시각화 정보를 디스플레이 등의 사용자 인터페이스를 경유하여 사용자에게 제공할 수 있다.
본 발명의 실시예는 의료 영상 내의 타겟 영역에 대한 시각화 정보와 함께 사용자에게 제2 보조 정보를 사용자에게 제공할 수 있다.
이때 본 발명의 실시예는 자동으로 타겟 영역에 대한 시각화 정보와 함께 제2 보조 정보를 사용자에게 제공할 수도 있고, 타겟 영역에 대한 시각화 정보에 대하여 사용자 입력이 인식되면 사용자 입력에 응답하여 타겟 영역에 대한 제2 보조 정보를 사용자에게 제공할 수도 있다.
본 발명의 실시예에서는 타겟 영역 내의 신호 세기 값이 타겟 영역 내의 픽셀/복셀들의 제1 상태에 대응하는 제1 구간 또는 제2 상태에 대응하는 제2 구간으로 구분될 수 있다. 이때 제1 상태 및 제2 상태는 타겟 영역과 관련되는 질병의 존재 여부, 질병의 진행, 및 질병의 중증도 중 적어도 하나 이상과 관련되어 구분되는 상태일 수 있다. 제1 상태 및 제2 상태는 타겟 영역 내의 픽셀/복셀들 각각이 가질 수 있는 상태로서, 질병의 존재 여부, 질병의 진행, 및 질병의 중증도 중 적어도 하나 이상과 관련되어 구분되는 상태일 수 있다.
도 2를 참조하면, 장치는 타겟 영역 내의 신호 세기 값의 복수의 임계값들을 이용하여 3개의 제1 보조 정보(340, 342, 344)를 생성할 수 있다.
이때 적어도 하나 이상의 임계값에 의하여 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간(350), 제2 상태에 대응하는 제2 구간(352), 및 제3 상태에 대응하는 제3 구간(354)으로 구분될 수 있다. 각 구간은 타겟 영역 내의 픽셀 및/또는 복셀의 상태에 대응하여 설정될 수 있다. 상태는 타겟 영역과 관련되는 질병의 존재 여부, 질병의 진행, 질병의 중증도에 관련되어 타겟 영역 내부의 소영역 별로 달리 설정될 수 있다. 상태와 관련되는 구간 정보는 타겟 영역에 대한 부가적인 진단 정보로서 제공될 수 있다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 시각화되는 보조 정보의 다른 일 예를 도시하는 도면이다.
도 3을 참조하면, 제2 보조 정보(300)는 타겟 영역 내의 픽셀/복셀들의 신호 세기 값의 제1 구간에 대응하는 분포의 정량화 정보인 제1 구간 분포 정량화 정보(360) 및 타겟 영역 내의 픽셀/복셀들의 신호 세기 값의 제2 구간에 대응하는 분포의 정량화 정보인 제2 구간 분포 정량화 정보(362) 중 적어도 하나 이상을 포함할 수 있다.
구간 분포 정량화 정보(360, 362, 364, 366)는 히스토그램 그래프의 각 구간 별 통계/정량화 정보일 수 있다. 각 구간에 대응하는 픽셀/복셀의 개수, 분포, 또는 전체 타겟 영역 내의 픽셀/복셀 중 각 구간에 대응하는 픽셀/복셀의 개수의 비율 등이 구간 분포 정량화 정보(360, 362, 364, 366)로서 포함될 수 있다.
제1 구간 분포 정량화 정보(360)는 타겟 영역 내에서 제1 구간에 대응하는 신호 세기 값을 가지는 픽셀 또는 복셀의 개수/분포에 관련된 퍼센타일(percentile), 최대값(max), 최소값(min), 평균값(mean), 최빈값(mode), 중간값(median) 중 적어도 하나 이상을 포함할 수 있다.
마찬가지로 제2 구간 분포 정량화 정보(362)는 타겟 영역 내에서 제2 구간에 대응하는 신호 세기 값을 가지는 픽셀 또는 복셀의 개수/분포에 관련되는 퍼센타일(percentile), 최대값(max), 최소값(min), 평균값(mean), 최빈값(mode), 중간값(median) 중 적어도 하나 이상을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치는, 프로세서(processor)를 포함하고, 장치의 동작은 프로세서의 제어 및 관리에 의하여 실행될 수 있다. 장치는 피검체에 관하여 제1 시간(현재 시간)에 획득된 제1 의료 영상(100) 내의 적어도 하나 이상의 제1 타겟 영역(110)에 대한 정보를 획득하고, 피검체에 관하여 제2 시간(과거 시간)에 획득된 제2 의료 영상(200) 내에서 적어도 하나 이상의 제2 타겟 영역(210)에 대한 정보를 획득한다. 제2 타겟 영역(210)은 제1 타겟 영역(110)과 대응하는 영역이며, 두 영역들(110, 210) 간의 대응 관계는 제1 의료 영상(100) 및 제2 의료 영상(200) 간의 정합의 결과로서 얻어질 수 있다.
장치는 제1 타겟 영역(110) 내의 신호 세기 값의 분포에 대한 제1 분포 정보(330)를 획득하고, 제2 타겟 영역(210) 내의 신호 세기 값의 분포에 대한 제2 분포 정보(430)를 획득한다.
장치는 제1 분포 정보(330) 및 제2 분포 정보(430)가 상호 비교될 수 있도록, 제1 분포 정보(330) 및 제2 분포 정보(430)를 포함하는 시각화 정보를 생성할 수 있다. 이때 시각화 정보는 반드시 하나의 통합된 윈도우 또는 사용자 인터페이스를 의미하지는 않으며, 도 4의 실시예에서처럼 제1 분포 정보(330)는 제2 보조 정보(300) 내에서 시각화되고, 제2 분포 정보(430)는 제3 보조 정보(400) 내에서 시각화될 수 있다.
본 발명의 일 실시예에서, 시각화 정보는 하나의 윈도우 또는 사용자 인터페이스를 경유하여 통합적으로 디스플레이될 수도 있고, 둘 이상의 윈도우 또는 사용자 인터페이스를 경유하여 디스플레이될 수도 있다. 예를 들어 제1 분포 정보(330)를 포함하는 제2 보조 정보(300)는 제1 디스플레이를 경유하여 디스플레이될 수 있고, 제2 분포 정보(430)를 포함하는 제3 보조 정보(400)는 제2 디스플레이를 경유하여 디스플레이될 수도 있다.
본 발명의 또 다른 실시예에서는 제1 분포 정보(330) 및 제2 분포 정보(430)가 하나의 가로축-세로축으로 이루어진 평면 상에서 오버레이되어 시각화될 수도 있다. 이때 제1 분포 정보(330) 및 제2 분포 정보(430)는 서로 비교될 수 있도록 서로 다른 시각화 요소에 의하여 시각화될 수 있다.
장치는 제1 타겟 영역(110) 및 제2 타겟 영역(210) 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보(340, 440)를 생성할 수 있다. 장치는 제1 분포 정보(330) 및 제1 보조 정보(340)/제1 임계값에 기반하여 제2 보조 정보(300)를 시각화 정보의 일부로서 생성할 수 있고, 제2 분포 정보(430) 및 제1 보조 정보(440)/제1 임계값에 기반하여 제3 보조 정보(400)를 시각화 정보의 일부로서 생성할 수 있다.
제1 분포 정보(330)는 신호 세기 값을 나타내는 가로축(310) 및 신호 세기 값의 픽셀/복셀의 개수 또는 분포에 대응하는 세로축(320) 상에서 나타내어지는 제1 타겟 영역(110) 내의 픽셀/복셀에 대응하는 신호 세기 값의 히스토그램일 수 있다. 제2 분포 정보(430)는 신호 세기 값을 나타내는 가로축(410) 및 신호 세기 값의 픽셀/복셀의 개수 또는 분포에 대응하는 세로축(420) 상에서 나타내어지는 제2 타겟 영역(210) 내의 픽셀/복셀에 대응하는 신호 세기 값의 히스토그램일 수 있다.
제1 임계값에 의하여 제2 보조 정보(300) 및 제3 보조 정보(400)에 포함되는, 제1 타겟 영역(110) 및 제2 타겟 영역(210)에 적용될 신호 세기 값이 제1 상태에 대응하는 제1 구간(350, 450) 및 제2 상태에 대응하는 제2 구간(352, 452)으로 구분될 수 있다.
장치는, 제1 타겟 영역(110) 내의 픽셀/복셀들이 신호 세기 값의 제1 구간(350)에 대응하여 형성하는 제1 구간 분포 정보 및 제1 타겟 영역(110) 내의 픽셀/복셀들이 신호 세기 값의 제2 구간(352)에 대응하여 형성하는 제2 구간 분포 정보 중 적어도 하나 이상을 포함하고, 제1 보조 정보(340)를 포함하는 제2 보조 정보(300)를 시각화 정보의 일부로서 생성할 수 있다. 제1 구간 분포 정보는 제1 분포 정보(330) 중 제1 구간(350)에 대응하는 세그멘트이고, 제2 구간 분포 정보는 제1 분포 정보(330) 중 제2 구간(352)에 대응하는 세그멘트일 수 있다.
장치는, 제2 타겟 영역(210) 내의 픽셀/복셀들이 신호 세기 값의 제1 구간(450)에 대응하여 형성하는 제3 구간 분포 정보 및 제2 타겟 영역(210) 내의 픽셀/복셀들이 신호 세기 값의 제2 구간(452)에 대응하여 형성하는 제4 구간 분포 정보 중 적어도 하나 이상을 포함하고, 제1 보조 정보(440)를 포함하는 제3 보조 정보(400)를 시각화 정보의 일부로서 생성할 수 있다. 제3 구간 분포 정보는 제2 분포 정보(430) 중 제1 구간(450)에 대응하는 세그멘트이고, 제4 구간 분포 정보는 제2 분포 정보(430) 중 제2 구간(452)에 대응하는 세그멘트일 수 있다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 시각화되는 보조 정보의 일 예를 도시하는 도면이다.
장치는, 제1 분포 정보(330) 및 제1 보조 정보(340)/제1 임계값에 기반하여 제1 타겟 영역(110) 내의 픽셀/복셀들이 신호 세기 값의 제1 구간에 대응하여 형성하는 제1 구간 분포 정량화 정보(360) 및 제1 타겟 영역(110) 내의 픽셀/복셀들이 신호 세기 값의 제2 구간에 대응하여 형성하는 제2 구간 분포 정량화 정보(362) 중 적어도 하나 이상을 생성할 수 있다. 장치는, 제1 구간 분포 정량화 정보(360) 및 제2 구간 분포 정량화 정보(362) 중 적어도 하나 이상을 포함하고, 제1 보조 정보(340)를 포함하는 제2 보조 정보(300)를 시각화 정보의 일부로서 생성할 수 있다.
장치는, 제2 분포 정보(430) 및 제1 보조 정보(440)/제1 임계값에 기반하여 제2 타겟 영역(210) 내의 픽셀/복셀들이 신호 세기 값의 제1 구간에 대응하여 형성하는 제3 구간 분포 정량화 정보(460) 및 제2 타겟 영역(210) 내의 픽셀/복셀들이 신호 세기 값의 제2 구간에 대응하여 형성하는 제4 구간 분포 정량화 정보(462) 중 적어도 하나 이상을 생성할 수 있다. 장치는, 제3 구간 분포 정량화 정보(460) 및 제4 구간 분포 정량화 정보(462) 중 적어도 하나 이상을 포함하고, 제1 보조 정보(440)를 포함하는 제3 보조 정보(400)를 시각화 정보의 일부로서 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 보조 정보와 관련되어 시각화되는 의료 영상의 일 예를 도시하는 도면이다.
도 6을 참조하면, 의료 영상(100, 200) 상에 병변/소견/장기 영역인 타겟 영역(120, 220) 중 각 히스토그램 구간(밝기값 구간)에 대응하는 영역을 구분하여 표시하는 실시예가 도시된다.
장치는, 제1 구간(350)에 대응하는 제1 타겟 영역(120) 내의 적어도 하나 이상의 제1 소영역에 대한 제1 의료 영상(100) 상의 제1 오버레이 시각화 정보, 및 제2 구간(352)에 대응하는 제1 타겟 영역(120) 내의 적어도 하나 이상의 제2 소영역에 대한 제1 의료 영상(100) 상의 제2 오버레이 시각화 정보 중 적어도 하나 이상을 생성할 수 있다.
마찬가지로 장치는, 제1 구간(450)에 대응하는 제2 타겟 영역(220) 내의 적어도 하나 이상의 제3 소영역에 대한 제2 의료 영상(200) 상의 제3 오버레이 시각화 정보, 및 제2 구간(452)에 대응하는 제2 타겟 영역(220) 내의 적어도 하나 이상의 제4 소영역에 대한 제2 의료 영상(200) 상의 제4 오버레이 시각화 정보 중 적어도 하나 이상을 생성할 수 있다.
제1 타겟 영역(120)은 복수의 밝기값(신호 세기 값) 구간들에 대응하는 소영역들로 분할될 수 있고, 도 6에서처럼 각 소영역들이 구분되어 시각화될 수 있다.
제2 타겟 영역(220)도 복수의 밝기값(신호 세기 값) 구간들에 대응하는 소영역들로 분할될 수 있고, 도 6에서처럼 각 소영역들이 구분되어 시각화될 수 있다.
본 발명의 실시예에 따라서는, 밝기값 구간들에 대응하는 소영역들로 구분되어 시각화되는 도 6의 제1 타겟 영역(120) 및 제2 타겟 영역(220)이 제2 보조 정보(300) 및 제3 보조 정보(400)의 대안적 실시예일 수도 있다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치에 의하여 의료 영상 추적 검사에 대하여 보조 정보와 관련되어 시각화되는 의료 영상의 일 예를 도시하는 도면이다.
장치는, 제2 보조 정보(300)와 관련되는 제1 구간(350)에 대한 사용자 입력이 인식되면 제1 구간(350)에 대응하는 소영역에 대한 제1 오버레이 시각화 정보를 생성할 수 있다. 장치는, 제2 보조 정보(300)와 관련되는 제2 구간(352)에 대한 사용자 입력이 인식되면 제2 구간(352)에 대응하는 소영역에 대한 제2 오버레이 시각화 정보를 생성할 수 있다. 예를 들어 제2 보조 정보(300) 상의 제1 구간(350) 영역, 또는 제1 구간(350)에 대응하는 제1 구간 분포 정량화 정보(360)에 대한 사용자 입력이 인식되면 제1 구간(350)에 대한 사용자 입력이 있는 것으로 간주되고, 제1 오버레이 시각화 정보가 생성될 수 있다.
본 발명의 다른 일 실시예에 따르면, 장치는 사용자 입력 없이 미리 정해진 루틴에 의하여 제1 구간(350)과 연동되는 제1 오버레이 시각화 정보를 생성할 수 있고, 제2 구간(352)과 연동되는 제2 오버레이 시각화 정보를 생성할 수 있다.
도 7에 도시되는 제1 타겟 영역(130)은 제1 구간(350)에 대응하는 소영역이 강조되도록(다른 소영역들과 구분되도록) 시각화되는 제1 오버레이 시각화 정보와 함께 시각화되는 실시예를 도시한다.
마찬가지로 제2 타겟 영역(130)은 제1 구간(450)에 대응하는 소영역이 강조되도록(다른 소영역들과 구분되도록) 시각화되는 제3 오버레이 시각화 정보와 함께 시각화되는 실시예를 도시한다.
만일 제2 구간(352, 452)에 대응하는 사용자 입력이 인식되면 제2 구간(352, 452)에 대응하는 소영역이 강조되도록 제2 오버레이 시각화 정보와 함께 제1 타겟 영역(130)이 시각화될 수 있고, 제4 오버레이 시각화 정보와 함께 제2 타겟 영역(230)이 시각화될 수 있다.
이때 의료 영상 상에서 타겟 영역 내의 특정 밝기값 구간들에 대응하는 특정 소영역들이 강조되어 시각화되는 동안 특정 소영역들에 대응하는 특정 밝기값 구간들 또한 보조 정보(300, 400)에서 강조되어 시각화될 수 있다. 즉, 의료 영상 상의 소영역이 강조되는 오버레이 시각화 정보와 동기화되어 보조 정보(300, 400)의 구간 정보가 강조되어 시각화될 수 있다.
본 발명의 실시예에 따라서는, 특정 밝기값 구간들에 대응하는 소영역들이 구분되고 강조되어 시각화되는 도 7의 제1 타겟 영역(130) 및 제2 타겟 영역(230)이 제2 보조 정보(300) 및 제3 보조 정보(400)의 대안적 실시예일 수도 있다.
도 8은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법을 도시하는 동작 흐름도이다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 프로세서(processor)를 포함하는 컴퓨팅 시스템에 의하여 실행될 수 있다. 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 의료 영상 내의 적어도 하나 이상의 타겟 영역에 대한 정보를 획득하는 단계(S1010); 타겟 영역 내의 신호 세기 값의 분포에 대한 분포 정보를 획득하는 단계(S1030); 타겟 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하는 단계(S1020); 및 분포 정보 및 제1 보조 정보에 기반하여 제2 보조 정보를 생성하는 단계(S1040)를 포함한다.
이때 제1 임계값에 의하여 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분될 수 있다.
도 9 및 도 10은 도 8의 의료 영상 진단 보조 방법의 일부 과정의 일 예를 상세히 도시하는 동작 흐름도이다.
도 9를 참조하면, 제2 보조 정보를 생성하는 단계(S1040)는, 타겟 영역 내의 픽셀/복셀들이 신호 세기 값의 제1 구간에 대응하여 형성하는 제1 구간 분포 정보를 생성하는 단계(S1050), 및 타겟 영역 내의 픽셀/복셀들이 신호 세기 값의 제2 구간에 대응하여 형성하는 제2 구간 분포 정보를 생성하는 단계(S1052)를 포함할 수 있다.
본 발명의 일 실시예의 의료 영상 진단 보조 방법의 제2 보조 정보를 생성하는 단계(S1040)는, 제1 구간 분포 정보 및 제2 구간 분포 정보 중 적어도 하나 이상을 포함하는 제2 보조 정보를 생성할 수 있다.
도 10을 참조하면, 제2 보조 정보를 생성하는 단계(S1040)는, 타겟 영역 내의 픽셀/복셀들의 신호 세기 값의 제1 구간에 대응하는 분포에 대한 정량화 정보인 제1 구간 분포 정량화 정보를 생성하는 단계(S1060) 및 타겟 영역 내의 픽셀/복셀들의 신호 세기 값의 제2 구간에 대응하는 분포에 대한 정량화 정보인 제2 구간 분포 정량화 정보를 생성하는 단계(S1062)를 포함할 수 있다.
본 발명의 일 실시예의 의료 영상 진단 보조 방법의 제2 보조 정보를 생성하는 단계(S1040)는, 제1 구간 분포 정보 및 제2 구간 분포 정보 중 적어도 하나 이상을 포함하는 제2 보조 정보를 생성할 수 있다.
도 11은 본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법을 도시하는 동작 흐름도이다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 제1 의료 영상 내의 적어도 하나 이상의 제1 영역에 대한 정보를 획득하는 단계(S1110); 제1 영역 내의 신호 세기 값의 분포에 대한 제1 분포 정보를 획득하는 단계(S1140); 및 제1 분포 정보에 기반하여 제1 영역에 대한 제2 보조 정보를 생성하는 단계(S1160)를 포함한다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 제2 의료 영상 내의 적어도 하나 이상의 제2 영역에 대한 정보를 획득하는 단계(S1120); 제2 영역 내의 신호 세기 값의 분포에 대한 제2 분포 정보를 획득하는 단계(S1150); 및 제2 분포 정보에 기반하여 제3 보조 정보를 생성하는 단계(S1170)를 포함한다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 제2 보조 정보 및 제3 보조 정보를 포함하는 시각화 정보를 생성할 수 있다. 시각화 정보는 하나의 윈도우 또는 사용자 인터페이스를 경유하여 통합적으로 디스플레이될 수도 있고, 둘 이상의 윈도우 또는 사용자 인터페이스를 경유하여 디스플레이될 수도 있다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법은 신호 세기 값의 제1 임계값에 기반하여 제1 영역과 제2 영역에 공통적으로 적용되는 제1 보조 정보를 획득하는 단계(S1130)를 더 포함할 수 있다. 이때 단계(S1160)에서는 제1 분포 정보 및 제1 보조 정보에 기반하여 제1 영역에 대한 제2 보조 정보가 생성될 수 있다. 단계(S1170)에서는 제2 분포 정보 및 제1 보조 정보에 기반하여 제3 보조 정보가 생성될 수 있다.
도 12, 도 13, 도 14, 및 도 15는 도 11의 의료 영상 진단 보조 방법의 일부 과정을 상세히 도시하는 동작 흐름도이다.
도 12를 참조하면, 제1 영역에 대한 제2 보조 정보를 생성하는 단계(S1160)는 제1 영역 내의 제1 구간 분포 정보를 생성하는 단계(1161), 제1 영역 내의 제2 구간 분포 정보를 생성하는 단계(S1162), 및 제1 영역에 대한 제1 구간 분포 정보 및 제2 구간 분포 정보를 포함하는 제2 보조 정보를 생성하는 단계(S1163)를 포함할 수 있다.
도 13을 참조하면, 제1 영역에 대한 제2 보조 정보를 생성하는 단계(S1160)는 제1 영역 내의 제1 구간 분포 정량화 정보를 생성하는 단계(1164), 제1 영역 내의 제2 구간 분포 정량화 정보를 생성하는 단계(S1165), 및 제1 영역에 대한 제1 구간 분포 정량화 정보 및 제2 구간 분포 정량화 정보를 포함하는 제2 보조 정보를 생성하는 단계(S1166)를 포함할 수 있다.
도 14를 참조하면, 제2 영역에 대한 제3 보조 정보를 생성하는 단계(S1170)는 제2 영역 내의 제3 구간 분포 정보를 생성하는 단계(1171), 제2 영역 내의 제4 구간 분포 정보를 생성하는 단계(S1172), 및 제2 영역에 대한 제3 구간 분포 정보 및 제4 구간 분포 정보를 포함하는 제3 보조 정보를 생성하는 단계(S1173)를 포함할 수 있다.
도 15를 참조하면, 제2 영역에 대한 제3 보조 정보를 생성하는 단계(S1170)는 제2 영역 내의 제3 구간 분포 정량화 정보를 생성하는 단계(1174), 제2 영역 내의 제4 구간 분포 정량화 정보를 생성하는 단계(S1175), 및 제2 영역에 대한 제3 구간 분포 정량화 정보 및 제4 구간 분포 정량화 정보를 포함하는 제3 보조 정보를 생성하는 단계(S1176)를 포함할 수 있다.
도 16은 본 발명의 일 실시예에 따른 의료 영상 추적 검사 및 보조 정보의 일 예를 도시하는 도면이다.
도 16을 참조하면, 현재 영상의 Axial 영상과 이전 영상의 Axial 영상이 디스플레이된다. 현재 영상에서 검출된 폐결절과 이전 영상에서 검출된 폐결절이 비교될 수 있도록 강조되어 디스플레이된다.
현재 영상의 Axial 영상과 이전 영상의 Axial 영상 각각에 반투명 윈도우 포맷의 히스토그램 리포트가 시각화될 수 있다. 히스토그램 리포트는 폐결절의 특성을 의료 전문가인 사용자가 확인할 수 있도록 CT 밝기 값 [-1000, 500] HU 구간에 대하여 시각화될 수 있다. 특히 폐결절이 solid인지, part-solid인지, non-solid인 지를 사용자가 식별할 수 있도록 CT 밝기값 -100 HU와 +100HU에서 제1 보조 정보로서 기준선이 함께 시각화될 수 있다.
즉 도 16에서는 ROI가 폐결절인 경우 ROI의 시간의 경과에 따른 밝기 값 분포를 비교할 수 있도록 시각화된다.
도 1 내지 도 16의 실시예를 통하여 설명된 본 발명의 구성은 다음과 같다.
본 발명의 실시예에서는 분할된 영역 내의 픽셀(pixel) 또는 복셀(voxel)에 대하여 CT 영상의 HU 스케일 값의 분포를 도시할 수 있다.
분할된 영역은 관심 영역이라 불릴 수 있다.
HU 스케일 값의 분포는 히스토그램일 수 있다.
히스토그램의 가로축은 HU 스케일의 밝기 값이고, 세로축은 각 밝기 값에 해당하는 픽셀 또는 복셀의 개수일 수 있다.
분할된 영역인 관심 영역은 바디 파트(body part)일 수 있다.
분할된 영역인 관심 영역은 심장, 폐, 간, 위, 심혈관 등의 장기(organ)일 수 있다.
분할된 영역인 관심 영역은 종양(tumor), 폐 결절(lung nodule), 심혈관의 석회화된 영역, 용종(polyp) 등의 병변(lesion)일 수 있다.
분할된 영역의 밝기 값 히스토그램은 이전 의료 영상(Baseline image), 및 추적 검사의 의료 영상(Follow-up image) 각각에서 서로 대응하는 동일 관심 영역에 대하여 표시될 수 있다.
이전 의료 영상과 추적 검사의 의료 영상 각각에서 서로 대응하는 동일 관심 영역을 찾기 위하여 이전 의료 영상과 추적 검사의 의료 영상이 서로 정합될 수 있다.
이전 의료 영상의 관심 영역의 픽셀 또는 복셀 각각과 추적 검사의 의료 영상의 관심 영역의 픽셀 또는 복셀 각각이 서로 정합될 수 있다.
이전 의료 영상의 관심 영역의 픽셀 또는 복셀의 밝기 값의 분포와, 추적 검사의 의료 영상의 관심 영역의 픽셀 또는 복셀의 밝기 값의 분포가 비교 가능하도록 시각화됨으로써, 이전 의료 영상의 관심 영역과 추적 검사의 의료 영상의 관심 영역 간의 임상적 특징이 비교될 수 있다.
예를 들어, 관심 영역이 장기인 경우, 장기의 질환의 중증도, 장기의 질환의 확산, 장기의 질환의 위험도, 장기 내 질환 영역의 확산 등이 이전 의료 영상과 추적 검사의 의료 영상에서 밝기 값의 분포를 비교함으로써 임상적으로 진단될 수 있다.
예를 들어, 관심 영역이 병변인 경우, 병변의 중증도, 병변 내의 중증 영역의 확산, 병변 내 위험도, 병변 내 위험 영역의 확산 등이 이전 의료 영상과 추적 검사의 의료 영상에서 밝기 값의 분포를 비교함으로써 임상적으로 진단될 수 있다.
본 발명의 일 실시예에서 임상적인 진단은 사용자의 역할이고, 본 발명의 인터페이스는 이전 의료 영상과 추적 검사의 의료 영상에서 밝기 값의 분포를 시각화하여 사용자로 하여금 비교하고 사용자가 임상적인 진단을 할 수 있도록 지원할 수 있다.
본 발명의 일 실시예에서 임상적인 진단은 사용자의 역할이고, 본 발명의 인터페이스는 이전 의료 영상과 추적 검사의 의료 영상에서 밝기 값의 분포를 시각화할 뿐 아니라 이전 의료 영상과 추적 검사의 의료 영상에서 관심 영역 내 밝기 값의 분포에 대한 정량적인 측정 정보를 추가로 제공하여 사용자가 임상적인 진단을 하는 데 있어서 진단 보조 정보를 제공할 수 있다.
실시예의 하나로, 관심 영역이 폐 영역 내의 결절일 때, 이전 의료 영상과 추적 검사의 의료 영상 간의 결절의 밝기 값의 변화를 알기 쉽게 해주어 결절이 non-solid, part-solid, solid nodule인지, solid nodule로 악성화되고 있는 지 등의 정보를 제공할 수 있다. 예를 들어 밝기 값이 높은 경우가 solid 영역에 해당한다면 높은 밝기 값의 픽셀 또는 복셀의 개수가 많아지면 악성화되고 있을 가능성이 높은 것으로 예측할 수 있다.
밝기 값의 분포가 시각화될 때, 시각화되는 밝기 값의 범위는 장기 또는 병변의 추적 진단(follow-up diagnosis)에 특화된 윈도우로 선택될 수 있다. 예를 들어 lung nodule인 경우에는 [-1000 HU, +500 HU] 윈도우 구간에서 밝기 값의 분포가 시각화될 수 있다. 또한 시각화되는 밝기 값들 중 장기 또는 병변의 추적 진단에 임상적인 의미를 부여할 수 있는 임계값에 대해서는 기준선(-100 HU, 및 +100 HU)이 표시되어 장기 또는 병변의 유형, 중증도, 위험도를 임상적으로 판단하는 데에 도움이 될 수 있다.
본 발명의 실시예에 따라 CT/MR 영상에서 신호의 세기/밝기(intensity)의 분포를 시각화하는 구성은 다음의 구성과 결합될 수 있다.
1) 시각화하는 구성은 F/U 기능과 결합되거나,
2) 시각화하는 구성은 분할 결과의 타당성을 체크하는 메뉴와 결합하여, 해당 메뉴를 통해서 제공될 수 있다.
F/U 기능의 경우에는 Baseline 영역과, F/U 영역의 히스토그램을 함께 표시함으로써 종래 기술들과 차별화된다.
히스토그램 분석/시각화 외에 F/U 기능에 필요한 병변 간 정합, 측정 구성이 결합될 수 있다.
3) 분할된 관심 영역은 인체의 부위(body part) 또는 장기(organ)일 수도 있다. 또는 관심 영역은 병변(lesion)이고, 특히 결절(lung nodule) 또는 폐 종양(lung tumor)일 수도 있다.
이 경우에는 -100HU, 100HU 기준선을 표시하여 사용자가 nodule type을 구분하는 과정을 지원할 수 있다. 히스토그램에 표시되는 가로축 HU 값의 범위는 해당 병변에 특화된 실시예로서, 예를 들어 lung nodule인 경우에는 [-1000, 500] 구간 이내에서 최적화될 수 있다.
히스토그램을 통하여 밝기 값의 분포가 시각화되는 실시예에서는 밝기 값의 기준선을 제공하여, ROI의 type 또는 상태를 사용자가 구분할 수 있도록 지원할 수 있다. 이때 하나 이상의 기준선에 의하여 구분되는 복수개의 밝기값 구간의 정량화 분석 결과가 기준선과 함께 시각화될 수 있다.
또는 기준선에 기반하여 ROI의 type 또는 상태를 의료 영상 분석 모듈이 판정하고, 판정 결과를 기준선과 함께 시각화할 수 있다. 이때 하나 이상의 기준선에 의하여 구분되는 복수개의 밝기값 구간의 정량화 분석 결과가 기준선 및 ROI의 type 또는 상태에 대한 판정 결과와 함께 시각화될 수 있다. 이때 판정 결과는 ROI의 type 또는 상태의 변화에 대한 예측/추론 정보를 더 포함할 수 있다.
ROI가 예를 들어 lung nodule인 경우에는 nodule의 type(solid, non-solid, part-solid)이 구분되기에 용이한 밝기값 기준선이 제공될 수 있다.
히스토그램 대신 밝기값의 등고선 맵의 형태로 밝기값의 분포가 시각화되는 경우에는 밝기값의 기준선에 기반하여 구분되는 복수개의 영역이 서로 구분되는 시각 요소에 의하여 시각화될 수 있다. 이때 기준선에 의하여 구분된 영역, 각 영역의 정량화 분석 결과, ROI의 type 또는 상태에 대한 판정 결과 중 적어도 하나 이상이 함께 시각화될 수 있다.
4) 특정 장기 또는 병변의 경우에 임상적인 진단 목적에 부합하도록 히스토그램 및/또는 등고선 맵의 CT 값의 윈도우를 결정할 수도 있다.
5) F/U 기능이 결합된 CT 또는 MRI의 히스토그램 실시예에서, 병변(lesion, nodule, tumor)이 아니라 일반 장기(organ)인 경우에도 적용 가능할 수 있다.
종래 기술은 히스토그램을 분석하여 첨도(kurtosis) 맵 또는 왜도(skewness) 맵을 제공하는데, 이러한 계산 결과에 대하여 사용자가 검증할 수 있는 수단이 제공되지 않는다. 본 발명의 실시예에서는 영역 내 모든 픽셀의 분포를 표시함으로써 의료진으로 하여금 장기의 질환의 진행 여부를 검토할 수 있도록 지원하는 UI를 제공할 수 있다.
F/U에서 밝기 값의 변화가 나타난 구간/부분을 표시하여 의료진의 주의를 끌거나, 판단을 지원하는 기능이 추가될 수 있다.
6) 분할 결과의 타당성을 체크하고자 제공되는 메뉴를 통해서도 히스토그램 시각화 기능을 호출할 수 있다.
위 6)과 관련하여, Baseline 영역과 F/U 영역 양쪽의 분할 결과 타당성 체크 가능한 메뉴를 제공할 수 있다.
Nodule 또는 Tumor의 검출은 CT의 HU 값에 기반하여 segmentation을 수행함으로써 이루어질 수 있다.
검출 과정은 Segmentation 일 수도 있고, thresholding 일 수도 있다.
Segmentation 또는 thresholding 결과물로 도출되는 ROI (장기일 수도 있고, 병변일 수도 있음)의 타당성에 대해서 사용자(의료진 또는 의료영상 전문가)가 검토할 수 있는 메뉴로서 ROI에 대해 제공되는 메뉴를 통하여 ROI 내의 픽셀 내 CT 밝기값의 분포가 제공될 수 있다.
밝기값의 분포는 히스토그램일 수도 있고, 등고선 맵을 통하여 시각화될 수도 있다.
ROI가 예를 들어 병변 또는 종양인 경우에는, 추적 검사(F/U)에서 밝기값의 변화를 사용자가 알기 쉽게 해 주어 결절 및 종양의 악성 여부를 알기 쉽게 지원하는 UI가 제공될 수 있다.
예를 들어 ROI가 폐결절인 경우, 임상적으로는 밝기값이 변화하면 non-solid 또는 part-solid에서 solid화되는 것으로 해석될 수 있다.
예를 들어 nodule 내 non-solid 영역보다 solid 영역의 HU 값이 높다면, baseline nodule에서보다 F/U nodule에서 높은 HU 값의 픽셀이 많아지는 경우 non-solid 또는 part-solid에서 solid화되는 것으로 해석될 수 있다.
폐암 스크리닝(LCS, Lung Cancer Screening)에서는 일반적으로 폐암 발생 전의 nodule의 크기 변화를 추적하는데, 본 발명의 실시예는 nodule의 크기가 변화하지 않더라도 픽셀의 HU 값 분포가 달라지는 경우 solid화되어 nodule의 악성화가 진행되고 있음을 사용자에게 알려줄 수 있다.
ROI가 장기(organ)인 실시예에서는 추적 검사(F/U)에서 사용자가 밝기값의 변화를 알기 쉽게 해 주어 장기의 질환 진행 정도를 알기 쉽게 지원하는 UI가 제공될 수 있다.
ROI가 장기인 경우 간의 경화, 폐 LAA 영역의 증가, 심혈관의 석회화 영역의 증가 등을 히스토그램을 통하여 사용자에게 알기 쉽게 제공하는 UI가 제공될 수 있다.
ROI가 장기(organ)인 경우 밝기 값의 분포를 비교하거나 분포의 변화를 시각화함으로써 사용자가 장기의 크기의 변화를 알기 쉽게 시각화하고, 질환이 심해지는 정도를 정량화할 수도 있고, 장기의 크기가 변화하지 않는 경우에 장기 내부의 밝기 값의 분포를 비교하거나 분포의 변화를 시각화함으로써 사용자가 장기 내부의 성분의 변화 또는 질환이 심해지는 정도를 알기 쉽게 시각화하고, 질환이 심해지는 정도를 정량화할 수도 있다.
Option1: 현재는 nodule로 검출된 영역 내에서 pixel들의 HU 밝기값에 기반하여 Histogram을 표시하는데, 의사가 (수정 메뉴에 의해서) nodule 영역을 수정하는 경우 수정된 영역에 대해서 수정된 histogram을 보여줄 수도 있다.
Option2: 현재는 가로축을 HU 값으로 하고 세로축을 픽셀의 개수로 하는 histogram을 실시예로 하는데, HU값에 따라 색상을 달리 하여 해당 nodule 영역을 등고선처럼 표시하는 UI도 가능하다.
크기 비교를 위하여 이전/과거 병변을 동일 스케일로 표시한 후, 등고선 맵을 오버레이할 수 있다. 이러한 등고선 맵 등의 UI는 형태나 크기의 변화에 대한 insight를 intensity 변화와 함께 제공할 수도 있다,
F/U에서 밝기 값의 변화가 나타난 구간/부분을 표시하여 의료진의 주의를 끌거나, 판단을 지원하는 기능이 추가될 수 있다.
F/U에서 밝기 값 중 도수 변화가 크게 나타난 구간/부분을 표시하여 의료진의 주의를 끌거나, 판단을 지원하는 기능이 추가될 수 있다.
Baseline ROI와 F/U ROI 간의 밝기 값의 변화가 임계값 이상인 구간/부분을 표시할 수 있다.
Baseline ROI와 F/U ROI 간의 밝기 값 중 도수 변화가 임계값 이상으로 크게 나타난 구간/부분을 표시할 수 있다.
본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 의료 영상에 대한 영상 처리 및 영상 분석 과정을 수행한 후, 영상 처리 및 영상 분석 과정의 각 단계별 결과를 중간 결과 및 최종 결과 중 적어도 하나 이상으로서 생성하고, 최종 결과를 DICOM, HL7 등 표준화된 규격에 따라서 임시 결과 영상으로서 생성하고, 중간 결과 및 최종 결과를 포함하는 상세 분석 정보를 생성하고, 상세 분석 정보에 대한 QR 이미지 등 연결 영상을 생성하고, 연결 영상을 임시 결과 영상에 부가하여 중간 결과 및 최종 결과 중 적어도 하나 이상에 연결된 영상을 생성할 수 있다.
본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 이때 생성되는 중간 결과 및 최종결과에 대한 이미지 정보 및 논-이미지 정보가 상세 분석 정보에 포함될 수 있다.
본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 연결된 영상에 표시되는 연결 영상(예를 들어 QR 코드 이미지)을 인식하고, 연결 영상에 의하여 상세 분석 정보를 의료 영상 분석 서버로 요청하고, 서버로부터 수신한 상세 분석 정보를 디스플레이 상에 시각화하고, 상세 분석 정보는 의료 영상에 대한 영상 처리 및 분석 결과가 연결된 영상으로서 생성되기까지의 과정의 중간 결과 및 최종 결과를 포함하도록 생성될 수 있다.
본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 상세 분석 정보를 중간 결과 및 최종 결과 중 적어도 하나 이상에 대한 사용자의 승인 또는 거부의 피드백을 입력할 수 있는 메뉴와 함께 시각화할 수 있다.
본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 사용자가 승인한 경우에는 사용자의 승인 사실을 원본 의료 영상, 연결 영상에 의하여 연결된 의료 영상, 상세 분석 결과와 관련시켜 내부 또는 외부의 데이터베이스에 저장할 수 있다.
본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 사용자가 승인하는 대신 중간 결과 및 최종 결과 중 적어도 하나 이상을 사용자가 수동으로 수정할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
상세 분석 정보는 원본 의료 영상에 대한 전처리 결과를 중간 결과로서 포함하고, 본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 전처리 결과에 기반하여 생성되는 원본 의료 영상에 대한 정량적 분석 결과를 최종 결과로서 포함할 수 있다. 전처리 결과는 특정 장기 또는 병변의 분할 결과일 수 있다. 전처리 결과는 정량적 분석 결과와 비교 가능한 별도의 화면을 통하여 시각화될 수도 있고, 전처리 결과와 정량적 분석 결과가 하나의 화면 상에서 서로 오버레이되어 표시될 수도 있다.
상세 분석 정보는 원본 의료 영상에 대한 객체 식별 결과를 중간 결과로서 포함하고, 본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 객체 식별 결과에 대하여 임계치를 적용하여 필터링한 결과를 최종 결과로서 포함할 수 있다.
본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 의료 영상을 편집하거나 의료 영상의 설정이 조정된 새로운 의료 영상을 생성할 수 있는 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
의료 영상이 원본 의료 영상에 대한 재구성 영상 및 리포맷 영상 중 적어도 하나 이상인 경우, 본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 재구성 영상 및 리포맷 영상 중 적어도 하나 이상이 생성되는 범위, 각도, 뷰포인트, 및 옵션 중 적어도 하나 이상을 조정하여 새로운 재구성 영상 및 리포맷 영상 중 적어도 하나 이상을 새로운 의료 영상으로서 생성할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
적어도 하나 이상의 의료 영상이 영상 분석 결과를 나타낸 리포트를 포함하는 경우, 본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 리포트를 생성하기 위하여 사용되는 적어도 하나 이상의 파라미터를 조정하여 새로운 리포트를 생성할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
상세 분석 정보가 원본 의료 영상에 대한 객체 식별 결과를 포함하는 경우, 본 발명의 실시예에 따른 의료 영상 진단 보조 장치의 프로세서는 객체 식별 결과에 대하여 적용하는 임계치를 수정하거나, 수정된 임계치를 적용하여 필터링한 결과를 새로운 상세 분석 정보로서 생성하거나, 임계치가 적용되기 전의 객체 식별 결과를 수동으로 검증할 수 있는 작업 환경 메뉴를 연결 영상과 연결하여 상세 분석 정보와 함께 제공할 수 있다.
도 17은 본 발명의 일 실시예에 따른 도 1 내지 도 16의 과정의 적어도 일부를 수행할 수 있는 일반화된 의료 영상 진단 보조 장치 또는 컴퓨팅 시스템을 도시하는 블록도이다.
도 1 내지 도 16의 실시예에서 도면 상으로는 생략되었으나 프로세서, 및 메모리가 전자적으로 각 구성 요소와 연결되고, 프로세서에 의하여 각 구성 요소의 동작이 제어되거나 관리될 수 있다.
본 발명의 일 실시예에 따른 의료 영상 진단 보조 방법의 적어도 일부의 과정은 도 17의 컴퓨팅 시스템(2000)에 의하여 실행될 수 있다.
도 17을 참조하면, 본 발명의 일 실시예에 따른 컴퓨팅 시스템(2000)은, 프로세서(2100), 메모리(2200), 통신 인터페이스(2300), 저장 장치(2400), 입력 인터페이스(2500), 출력 인터페이스(2600) 및 버스(bus)(2700)를 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따른 컴퓨팅 시스템(2000)은, 적어도 하나의 프로세서(processor)(2100) 및 상기 적어도 하나의 프로세서(2100)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)(2200)를 포함할 수 있다. 본 발명의 일 실시예에 따른 방법의 적어도 일부의 단계는 상기 적어도 하나의 프로세서(2100)가 상기 메모리(2200)로부터 명령어들을 로드하여 실행함으로써 수행될 수 있다.
프로세서(2100)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
메모리(2200) 및 저장 장치(2400) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(2200)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 컴퓨팅 시스템(2000)은, 무선 네트워크를 통해 통신을 수행하는 통신 인터페이스(2300)를 포함할 수 있다.
또한, 컴퓨팅 시스템(2000)은, 저장 장치(2400), 입력 인터페이스(2500), 출력 인터페이스(2600) 등을 더 포함할 수 있다.
또한, 컴퓨팅 시스템(2000)에 포함된 각각의 구성 요소들은 버스(bus)(2700)에 의해 연결되어 서로 통신을 수행할 수 있다.
본 발명의 일 실시예에 따른 프로세서(2100)를 포함하는 장치는 예를 들어 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
도 18은 본 발명의 일 실시예에 따른 일반화된 의료 영상 진단 보조 장치 또는 컴퓨팅 시스템의 내부 구조로서 프로세서와 인공 신경망을 포함하는 개념도이다.
도 18의 장치 또는 컴퓨팅 시스템 내에 포함되는 구성요소들 중 도 17에 도시된 구성요소 일부는 간략한 설명을 위하여 생략되었다. 도 18의 프로세서(2100)는 인공 신경망(2800)과 버스(2700)를 경유하여 연결될 수 있다. 인공 신경망(2800)을 구성하는 가중치 매트릭스는 메모리(2200), 및/또는 저장 장치(2400)에 저장될 수 있고, 인공 신경망 연산 중에 발생하는 액티베이션 파라미터는 메모리(2200), 및/또는 저장 장치(2400)에 저장될 수 있다.
인공 신경망(2800)을 구성하는 가중치 및 액티베이션 파라미터는 메모리(2200), 및/또는 저장 장치(2400) 이외의 별도의 장치(도시되지 않음)에 저장될 수 있고, 프로세서(2100)와 연결되어 프로세서(2100)의 제어 하에 인공 신경망 연산을 수행할 수 있다. 인공 신경망 연산은 본 발명의 실시예에 따른 방법을 수행하기 위하여 훈련 과정, 추론 과정, 및/또는 결과를 출력/생성하는 과정 동안 이루어지는 프로세서(2100) 및 인공 신경망(2800) 사이의 데이터 입출력 및 논리적/산술적 연산을 포함할 수 있다. 인공 신경망(2800)의 훈련 과정, 추론 과정, 및/또는 결과를 출력/생성하는 과정은 프로세서(2100)의 제어 하에 실행될 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 정보가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시 예에서, 가장 중요한 방법 단계들의 적어도 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이(field-programmable gate array)는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서(microprocessor)와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (20)
- 프로세서(processor);
를 포함하고,
상기 프로세서는,
의료 영상 내의 적어도 하나 이상의 타겟 영역에 대한 정보를 획득하고,
상기 타겟 영역 내의 신호 세기 값의 분포에 대한 분포 정보를 획득하고,
상기 타겟 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하고,
상기 분포 정보 및 상기 제1 보조 정보에 기반하여 제2 보조 정보를 생성하는, 의료 영상 진단 보조 장치. - 제1항에 있어서,
상기 제1 임계값에 의하여 상기 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분되는,
의료 영상 진단 보조 장치. - 제2항에 있어서,
상기 제2 보조 정보는 상기 타겟 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제1 구간 분포 정보 및 상기 타겟 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제2 구간 분포 정보 중 적어도 하나 이상을 포함하는,
의료 영상 진단 보조 장치. - 제3항에 있어서,
상기 제2 보조 정보는 상기 제1 구간 분포 정보를 나타내는 제1 시각화 요소 및 상기 제2 구간 분포 정보를 나타내는 제2 시각화 요소를 더 포함하는,
의료 영상 진단 보조 장치. - 제2항에 있어서,
상기 제2 보조 정보는 상기 타겟 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제1 구간 분포 정량화 정보 및 상기 타겟 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제2 구간 분포 정량화 정보 중 적어도 하나 이상을 포함하는,
의료 영상 진단 보조 장치. - 제5항에 있어서,
상기 제1 구간 분포 정량화 정보는 상기 타겟 영역 내에서 상기 제1 구간에 대응하는 신호 세기 값의 픽셀 또는 복셀의 퍼센타일, 최대값, 최소값, 평균값, 최빈값, 중간값 중 적어도 하나 이상을 포함하고,
상기 제2 구간 분포 정량화 정보는 상기 타겟 영역 내에서 상기 제2 구간에 대응하는 신호 세기 값의 픽셀 또는 복셀의 퍼센타일, 최대값, 최소값, 평균값, 최빈값, 중간값 중 적어도 하나 이상을 포함하는,
의료 영상 진단 보조 장치. - 제2항에 있어서,
상기 프로세서는,
상기 제1 구간에 대응하는 상기 타겟 영역 내의 적어도 하나 이상의 제1 소영역에 대한 상기 의료 영상 상의 제1 오버레이 시각화 정보; 및
상기 제2 구간에 대응하는 상기 타겟 영역 내의 적어도 하나 이상의 제2 소영역에 대한 상기 의료 영상 상의 제2 오버레이 시각화 정보;
중 적어도 하나 이상을 생성하는,
의료 영상 진단 보조 장치. - 제7항에 있어서,
상기 프로세서는,
상기 제2 보조 정보와 관련되는 상기 제1 구간에 대한 사용자 입력이 인식되면 상기 제1 오버레이 시각화 정보를 생성하고,
상기 제2 보조 정보와 관련되는 상기 제2 구간에 대한 사용자 입력이 인식되면 상기 제2 오버레이 시각화 정보를 생성하는,
의료 영상 진단 보조 장치. - 제1항에 있어서,
상기 제1 임계값은 상기 타겟 영역과 관련되는 질병의 존재 여부, 질병의 진행, 및 질병의 중증도 중 적어도 하나 이상과 관련되는,
의료 영상 진단 보조 장치. - 제1항에 있어서,
상기 타겟 영역에 대한 정보는 상기 타겟 영역의 경계에 대한 분할 정보인,
의료 영상 진단 보조 장치. - 제1항에 있어서,
상기 타겟 영역은 상기 의료 영상 내에서 질병 또는 병변과 관련되어 검출된 소견 영역인,
의료 영상 진단 보조 장치. - 제1항에 있어서,
상기 타겟 영역은 상기 의료 영상 내의 해부학적 구조가 분할된 결과에 의하여 얻어지는 영역인,
의료 영상 진단 보조 장치. - 제1항에 있어서,
상기 프로세서는, 상기 타겟 영역 내의 신호 세기 값의 제2 임계값을 더 포함하는 상기 제1 보조 정보를 생성하고,
상기 제1 임계값 및 상기 제2 임계값에 의하여 상기 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간, 제2 상태에 대응하는 제2 구간, 및 제3 상태에 대응하는 제3 구간으로 구분되는,
의료 영상 진단 보조 장치. - 제1항에 있어서,
상기 분포 정보는, 상기 타겟 영역 내의 픽셀 또는 복셀의 신호 세기 값의 분포에 대응하는 히스토그램 정보인,
의료 영상 진단 보조 장치. - 프로세서(processor);
를 포함하고,
상기 프로세서는,
피검체에 관하여 제1 시간에 획득된 제1 의료 영상 내의 적어도 하나 이상의 제1 영역에 대한 정보를 획득하고,
상기 피검체에 관하여 제2 시간에 획득된 제2 의료 영상 내에서 상기 적어도 하나 이상의 제1 영역에 대응하는 적어도 하나 이상의 제2 영역에 대한 정보를 획득하고,
상기 제1 영역 내의 신호 세기 값의 분포에 대한 제1 분포 정보를 획득하고,
상기 제2 영역 내의 신호 세기 값의 분포에 대한 제2 분포 정보를 획득하고,
상기 제1 분포 정보 및 상기 제2 분포 정보에 기반하여 시각화 정보를 생성하는,
의료 영상 진단 보조 장치. - 제15항에 있어서,
상기 프로세서는, 상기 제1 영역 및 상기 제2 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하고,
상기 제1 임계값에 의하여 상기 제1 영역 및 상기 제2 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분되고,
상기 프로세서는, 상기 제1 분포 정보에 기반하여 상기 제1 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제1 구간 분포 정보 및 상기 제1 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제2 구간 분포 정보 중 적어도 하나 이상을 획득하고,
상기 프로세서는, 상기 제1 구간 분포 정보 및 상기 제2 구간 분포 정보 중 적어도 하나 이상을 포함하면서 상기 제1 보조 정보를 포함하는 제2 보조 정보를 상기 시각화 정보의 일부로서 생성하고,
상기 프로세서는, 상기 제2 분포 정보에 기반하여 상기 제2 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제3 구간 분포 정보 및 상기 제2 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제4 구간 분포 정보 중 적어도 하나 이상을 획득하고,
상기 프로세서는, 상기 제3 구간 분포 정보 및 상기 제4 구간 분포 정보 중 적어도 하나 이상을 포함하면서 상기 제1 보조 정보를 포함하는 제3 보조 정보를 상기 시각화 정보의 일부로서 생성하는,
의료 영상 진단 보조 장치. - 제15항에 있어서,
상기 프로세서는, 상기 제1 영역 및 상기 제2 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하고,
상기 제1 임계값에 의하여 상기 제1 영역 및 상기 제2 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분되고,
상기 프로세서는, 상기 제1 분포 정보에 기반하여 상기 제1 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제1 구간 분포 정량화 정보 및 상기 제1 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제2 구간 분포 정량화 정보 중 적어도 하나 이상을 생성하고,
상기 프로세서는, 상기 제1 구간 분포 정보 및 상기 제2 구간 분포 정보 중 적어도 하나 이상을 포함하면서 상기 제1 보조 정보를 포함하는 제2 보조 정보를 상기 시각화 정보의 일부로서 생성하고,
상기 프로세서는, 상기 제2 분포 정보에 기반하여 상기 제2 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제3 구간 분포 정량화 정보 및 상기 제2 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제4 구간 분포 정량화 정보 중 적어도 하나 이상을 생성하고,
상기 프로세서는, 상기 제3 구간 분포 정량화 정보 및 상기 제4 구간 분포 정량화 정보 중 적어도 하나 이상을 포함하면서 상기 제1 보조 정보를 포함하는 제3 보조 정보를 상기 시각화 정보의 일부로서 생성하는,
의료 영상 진단 보조 장치. - 프로세서(processor)를 포함하는 컴퓨팅 시스템에 의하여 실행되는 의료 영상 진단 보조 방법에 있어서,
의료 영상 내의 적어도 하나 이상의 타겟 영역에 대한 정보를 획득하는 단계;
상기 타겟 영역 내의 신호 세기 값의 분포에 대한 분포 정보를 획득하는 단계;
상기 타겟 영역 내의 신호 세기 값의 제1 임계값에 기반하여 제1 보조 정보를 생성하는 단계; 및
상기 분포 정보 및 상기 제1 보조 정보에 기반하여 제2 보조 정보를 생성하는 단계;
를 포함하는 의료 영상 진단 보조 방법. - 제18항에 있어서,
상기 제1 임계값에 의하여 상기 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분되고,
상기 제2 보조 정보를 생성하는 단계는,
상기 타겟 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제1 구간 분포 정보 및 상기 타겟 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제2 구간 분포 정보 중 적어도 하나 이상을 포함하는 상기 제2 보조 정보를 생성하는,
의료 영상 진단 보조 방법. - 제18항에 있어서,
상기 제1 임계값에 의하여 상기 타겟 영역 내의 신호 세기 값이 제1 상태에 대응하는 제1 구간 및 제2 상태에 대응하는 제2 구간으로 구분되고,
상기 제2 보조 정보를 생성하는 단계는,
상기 타겟 영역 내의 신호 세기 값의 상기 제1 구간에 대응하는 제1 구간 분포 정량화 정보 및 상기 타겟 영역 내의 신호 세기 값의 상기 제2 구간에 대응하는 제2 구간 분포 정량화 정보 중 적어도 하나 이상을 포함하는 상기 제2 보조 정보를 생성하는,
의료 영상 진단 보조 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/307,444 US20230343455A1 (en) | 2022-04-26 | 2023-04-26 | Medical image diagnosis assistant apparatus and method for generating and visualizing assistant information based on distributions of signal intensities in medical images |
| DE102023203884.6A DE102023203884A1 (de) | 2022-04-26 | 2023-04-26 | Medizinbilddiagnosehilfsvorrichtung und Verfahren zum Erzeugen und Visualisieren von Hilfsinformationen auf der Basis von Verteilungen von Signalintensitäten in Medizinbildern |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220051650 | 2022-04-26 | ||
| KR20220051650 | 2022-04-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230151865A true KR20230151865A (ko) | 2023-11-02 |
Family
ID=88747591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220118135A KR20230151865A (ko) | 2022-04-26 | 2022-09-19 | 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230151865A (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101818074B1 (ko) | 2017-07-20 | 2018-01-12 | (주)제이엘케이인스펙션 | 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템 |
| KR101887194B1 (ko) | 2018-06-20 | 2018-08-10 | 주식회사 뷰노 | 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
| KR101943011B1 (ko) | 2018-01-22 | 2019-01-28 | 주식회사 뷰노 | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 |
| KR102270934B1 (ko) | 2019-11-19 | 2021-06-30 | 주식회사 코어라인소프트 | 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법 |
| KR102283673B1 (ko) | 2020-11-30 | 2021-08-03 | 주식회사 코어라인소프트 | 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법 |
-
2022
- 2022-09-19 KR KR1020220118135A patent/KR20230151865A/ko unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101818074B1 (ko) | 2017-07-20 | 2018-01-12 | (주)제이엘케이인스펙션 | 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템 |
| KR101943011B1 (ko) | 2018-01-22 | 2019-01-28 | 주식회사 뷰노 | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 |
| KR101887194B1 (ko) | 2018-06-20 | 2018-08-10 | 주식회사 뷰노 | 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
| KR102270934B1 (ko) | 2019-11-19 | 2021-06-30 | 주식회사 코어라인소프트 | 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법 |
| KR102283673B1 (ko) | 2020-11-30 | 2021-08-03 | 주식회사 코어라인소프트 | 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11302002B2 (en) | Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking | |
| US11915822B2 (en) | Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination | |
| US11996182B2 (en) | Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network | |
| US20230343455A1 (en) | Medical image diagnosis assistant apparatus and method for generating and visualizing assistant information based on distributions of signal intensities in medical images | |
| KR20230151865A (ko) | 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법 |