KR20220100830A - 복수의 질환을 분석하기 위한 의료 영상 처리 장치 및 방법 - Google Patents
복수의 질환을 분석하기 위한 의료 영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR20220100830A KR20220100830A KR1020220081962A KR20220081962A KR20220100830A KR 20220100830 A KR20220100830 A KR 20220100830A KR 1020220081962 A KR1020220081962 A KR 1020220081962A KR 20220081962 A KR20220081962 A KR 20220081962A KR 20220100830 A KR20220100830 A KR 20220100830A
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- reconstruction
- medical
- lesion
- protocol
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 title claims abstract description 10
- 201000010099 disease Diseases 0.000 title description 38
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title description 38
- 230000003902 lesion Effects 0.000 claims abstract description 100
- 230000008569 process Effects 0.000 abstract description 30
- 238000013528 artificial neural network Methods 0.000 description 80
- 238000003745 diagnosis Methods 0.000 description 56
- 238000012549 training Methods 0.000 description 51
- 238000004458 analytical method Methods 0.000 description 33
- 238000002059 diagnostic imaging Methods 0.000 description 32
- 238000002591 computed tomography Methods 0.000 description 30
- 238000013135 deep learning Methods 0.000 description 22
- 210000004072 lung Anatomy 0.000 description 17
- 230000004044 response Effects 0.000 description 15
- 230000002308 calcification Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000012216 screening Methods 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 206010014561 Emphysema Diseases 0.000 description 7
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 7
- 201000005202 lung cancer Diseases 0.000 description 7
- 208000020816 lung neoplasm Diseases 0.000 description 7
- 238000011002 quantification Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 206010003211 Arteriosclerosis coronary artery Diseases 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000019693 Lung disease Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002526 effect on cardiovascular system Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010006458 Bronchitis chronic Diseases 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical group [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 206010006451 bronchitis Diseases 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000007451 chronic bronchitis Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/444—Low dose acquisition or reduction of radiation dose
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
의료 영상의 판독을 지원하기 위하여 의료 영상을 처리하며, 컴퓨팅 시스템을 포함하는 의료 영상 처리 장치가 개시된다. 본 발명의 일 실시예에 따른 장치는 컴퓨팅 시스템을 포함한다. 상기 컴퓨팅 시스템은 제1 병변을 진단 또는 분석하기 위한 제1 의료 영상을 수신하는 수신 인터페이스부; 및 상기 제1 의료 영상을 영상 처리하여, 상기 제1 병변과 다른 제2 병변을 진단 또는 분석하기 위한 제2 의료 영상을 생성하는 적어도 하나 이상의 프로세서를 포함한다.
Description
본 발명은 피검체의 의료 영상의 판독을 지원하는 장치 및 방법에 관한 것이다. 구체적으로는 본 발명은 의료용 인공 신경망의 분석 결과를 이용하여 의료 영상의 판독을 지원하는 컴퓨팅 시스템 및 그 컴퓨팅 시스템에서 실행되는 소프트웨어에 관한 것이다.
본 발명은 산업통상자원부 및 한국산업기술평가관리원의 전자시스템산업핵심기술개발(R&D) 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 1415160865, 과제명: 폐, 간, 심질환 영상판독지원을 위한 인공지능 원천기술개발 및 PACS 연계 상용화].
현재, 병변을 분석함으로써 진단에 이용하기 위하여 CT(computed tomography; 전산화 단층 촬영) 등의 의료 영상이 널리 이용되고 있다. 예를 들어, 흉부 CT 영상은 신체의 내부, 예컨대, 폐, 기관지, 심장 등의 이상을 관찰할 수 있어 판독용으로 빈번히 이용된다.
X선 CT 영상이 예를 들면 암 스크리닝 등 다양한 응용에 의해 이용됨에 따라, 임상 CT 스캔의 방사선량(dose)을 줄여 인체에 미치는 영향을 최소화하고자 하는 노력이 시도된다.
저선량(Low-Dose) CT의 화질을 향상시키기 위하여 많은 기술이 개발되고 있으며, 일반적으로 저선량에서도 노이즈를 저감하고 영상 품질(image quality)을 개선하기 위하여 최근에는 인공 신경망(ANN, Artificial Neural Network) 기술이 적용되고 있다.
미국공개특허 US 2020/0335201 "METHOD FOR SETTING A MEDICAL IMAGING PROTOCOL, SYSTEM FOR SETTING A MEDICAL INSTRUMENT, COMPUTER PROGRAM AND COMPUTER-READABLE MEDIUM"에서는 환자와 의사 간의 인터뷰에 기반하여 예비적 진단/파인딩(preliminary findings)을 도출하고, 예비적 진단에 기반하여 인공 신경망이 영상 촬영(imaging), 재구성(reconstruction), 및 기록(recording)을 위하여 필요한 파라미터 및 프로토콜을 제안한다. 제안된 파라미터 및 프로토콜이 그대로 실행되거나 의료진에 의하여 수정된 프로토콜이 실행된 이후, 영상 분석에 의하여 검출된 병변과 예비적 진단/파인딩(preliminary findings)을 비교하고, 그 결과를 피드백하여 인공 신경망이 학습한다.
미국공개특허 US 2020/0311490 "APPARATUS AND METHOD FOR SINOGRAM RESTORATION IN COMPUTED TOMOGRAPHY (CT) USING ADAPTIVE FILTERING WITH DEEP LEARNING (DL)"에서는 일반적인 CT에서 의료 영상의 노이즈를 저감하고 영상 품질을 개선하기 위하여 딥러닝 및 적응적 필터링(adaptive filtering)을 이용하여 재구성에 필요한 파라미터를 제안한다.
미국등록특허 US 10,565,477 "Deep learning medical systems and methods for image reconstruction and quality evaluation" (2020년 2월 18일)에서는 의료 영상의 재구성과 품질 평가를 위하여 딥러닝 기술을 응용하는 예시가 개시된다. 딥러닝의 예로 합성곱 신경망(CNN), 순환 신경망(RNN), 및 생성적 적대 신경망(GAN, Generative Adversarial Network)을 들고 있다.
미국공개특허 US 2019/0369191 "MRI reconstruction using deep learning, generative adversarial network and acquisition signal model" (2019년 12월 5일)에서는 생성적 적대 신경망(GAN)을 이용하여 MRI 영상을 재구성하는 예시가 개시된다.
최근의 연구는 의료 영상 품질을 개선하기 위하여 생성적 적대 신경망을 이용하는 시도가 증가하고 있으나, 생성적 적대 신경망은 원본 의료 영상에 전적으로 의존하는 것이 아니고 새로운 결과 영상을 생성하므로, 생성된 결과 영상이 원본 의료 영상의 임상적 특징을 완전히 유지하지 못하는 경우가 빈번하다.
이에, 미국공개특허 US 2020/0294284 "POSTERIOR IMAGE SAMPLING USING STATISTICAL LEARNING MODEL" (2020년 9월 17일)에서는 단순한 GAN을 이용하지 않고, 조건부 생성적 적대 신경망(CGAN, Conditional GAN)을 이용함으로써 재구성 영상의 불확실성 또는 오류를 표현하는 시도가 개시된 바 있다.
그러나 이러한 다수의 선행문헌들에 의해서도 여전히 의료 영상의 재구성은 의료 영상 촬영 장치(Medical Imaging Device) 또는 모달리티(Modality)에서 재구성된 이후에는 다시 재구성될 수 없다는 한계를 여전히 안고 있다.
또한 생성적 적대 신경망은 인간의 육안으로 보기에는 우수한 품질을 가지는 의료 영상을 생성하지만, 원본 의료 영상의 임상적 특징이 그대로 유지되지 못할 가능성을 무시할 수 없다.
CT(Computed Tomography) 또는 MRI(Magnetic Resonance Image)와 같은 최근의 의료 영상은 한 번의 획득(Acquisition)을 통하여 의료 영상 시리즈(Series)를 획득하고, 의료 영상 시리즈는 한 종류의 병변 뿐에만 국한되지 않고 여러 종류/타입의 병변을 검출하는 데에 이용될 수 있다. 예를 들어 폐(lung)에 대해서는 폐결절(lung nodule)이 진단될 수 있는 동시에 만성 폐쇄성 폐질환(COPD, Chronic Obstructive Pulmonary Disease), 또는 폐기종(emphysema)이 진단될 수 있고, 만성 기관지염 또는 기도(airway)와 관련된 질환도 진단될 수 있다. 또한 폐질환 뿐 아니라 흉부 CT(Chest CT)에서는 관상 동맥 혈관의 석회화(CAC, Coronary Artery Calcification Scoring) 정도도 분석될 수 있다.
종래 기술에서 의료 영상은 의료 영상 이미징 장치(medical imaging device)에서 수신한 신호들의 집합으로부터 의료 영상 재구성 과정을 거쳐 임상적으로 의료진이 해석 가능한 의료 영상으로 생성된다. 원본 데이터(신호들의 집합) 또는 원본 의료 영상으로부터 다수의 병변 각각을 진단하기 위한 독립적인 재구성 프로토콜이 존재한다.
종래 기술에서는 원본 데이터 또는 원본 의료 영상에 각각의 재구성 프로토콜을 적용하면 하나의 원본 의료 영상으로부터 다수의 병변을 진단할 수 있는 각각의 의료 영상을 생성할 수는 있으나, 의료 영상 이미지 장치에서 재구성 과정이 종료되고 세션이 완결되면 원본 의료 영상은 소실되고, 더 이상의 재구성 과정을 진행할 수 없다.
앞서 언급된 종래 기술들인 미국공개특허 US 2020/0335201 "METHOD FOR SETTING A MEDICAL IMAGING PROTOCOL, SYSTEM FOR SETTING A MEDICAL INSTRUMENT, COMPUTER PROGRAM AND COMPUTER-READABLE MEDIUM", 미국공개특허 US 2020/0311490 "APPARATUS AND METHOD FOR SINOGRAM RESTORATION IN COMPUTED TOMOGRAPHY (CT) USING ADAPTIVE FILTERING WITH DEEP LEARNING (DL)", 미국등록특허 US 10,565,477 "Deep learning medical systems and methods for image reconstruction and quality evaluation", 미국공개특허 US 2019/0369191 "MRI reconstruction using deep learning, generative adversarial network and acquisition signal model", 및 미국공개특허 US 2020/0294284 "POSTERIOR IMAGE SAMPLING USING STATISTICAL LEARNING MODEL"은 모두 의료 영상 이미징 장치에서 의료 영상을 재구성하는 과정을 인공 신경망을 이용하여 개선하는 기술로서, 상기 선행문헌들에 의하더라도 재구성 과정이 종료된 후에는 동일한 원본 의료 영상으로부터 다른 재구성 프로토콜이 적용된 의료 영상을 얻을 수는 없다.
그러나 현대 사회에서 질환의 종류가 다양해지고 복잡해지며, 또한 의료 영상의 분석을 필요로 하는 상황도 다양해지면서 추가적인 질환 또는 병변에 대한 진단을 필요로 하는 경우가 빈번해지고 있다. 이때마다 새롭게 의료 영상 이미징을 수행하는 것은 환자를 높은 방사선량에 노출시키게 되므로 가급적 새로운 의료 영상 이미징을 수행하지 않고 기존 의료 영상을 재활용할 수 있는 방법에 대한 수요가 존재한다.
본 발명은 이러한 종래 기술의 한계 및 새로운 수요에 대응하고자 도출된 발명으로서, 의료 영상 이미징 장치에서 이미 재구성 과정이 종료된 이후에 수신된 의료 영상으로부터 원본 의료 영상의 임상적 특징을 훼손하지 않으면서 추가적인 질환 또는 병변을 진단/분석하는 데에 적합한 새로운 재구성 프로토콜을 제안하고, 이에 기반하여 새로운 의료 영상을 재구성하며, 추가적인 질환 또는 병변을 진단/분석할 수 있는 의료 영상 재구성 장치를 제안하는 것을 목적으로 한다.
본 발명은 의료 영상 이미징 장치로부터 독립적으로, 소프트웨어에 의한 의료 영상 처리를 실행하여 현재 주어진 의료 영상으로부터 추가적인 질환 또는 병변을 진단/분석할 수 있는 의료 영상 재구성 장치 및 방법을 제안하는 것을 목적으로 한다.
본 발명은 인공 신경망의 훈련/학습 및 추론을 이용하여, 동일한 원본 의료 영상으로부터 추가적인 질환 또는 병변을 진단/분석할 수 있는 의료 영상 재구성 프로토콜 간의 변환 기법을 제공하는 것을 목적으로 한다. 이때 의료 영상 재구성 프로토콜 간의 변환은 의료 영상 이미징 장치와 독립적으로 수행되며, 의료 영상 이미징 장치가 재구성 과정을 종료하여 의료 영상 이미징 장치로부터 원본 의료 영상에 대한 정보를 수신할 수 없는 환경에서도 수행될 수 있도록 제공되는 것을 본 발명의 목적으로 한다.
본 발명은 상기의 목적을 달성하기 위하여 도출된 구성으로서, 본 발명의 일 실시예에 따른 의료 영상 재구성 장치는 의료 영상의 판독을 지원하기 위하여 의료 영상을 재구성하는 의료 영상 재구성 장치로서, 상기 의료 영상 재구성 장치는 컴퓨팅 시스템을 포함한다. 상기 컴퓨팅 시스템은 제1 타입의 병변을 진단 또는 분석하기 위한 제1 재구성 프로토콜이 적용된 제1 의료 영상을 수신하는 수신 인터페이스부; 및 제2 타입의 병변을 진단 또는 분석하기 위한 진단 오더에 응답하여 상기 제1 의료 영상에 적용될 제2 재구성 프로토콜을 생성하는 적어도 하나 이상의 프로세서를 포함한다. 상기 적어도 하나 이상의 프로세서는 상기 제2 재구성 프로토콜을 사용자 인터페이스부를 경유하여 사용자에게 제공하거나, 상기 제1 의료 영상에 대하여 상기 제2 재구성 프로토콜을 실행함으로써 상기 제2 타입의 병변을 진단 또는 분석하기 위한 제2 의료 영상을 생성하고 상기 제2 의료 영상을 상기 사용자 인터페이스부를 경유하여 상기 사용자에게 제공한다.
상기 적어도 하나 이상의 프로세서는 의료 이미징 장치(medical imaging device)로부터 독립적으로 진단 오더에 응답하여 상기 제1 의료 영상에 적용될 제2 재구성 프로토콜을 생성할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 의료 영상의 수신 정보로부터 상기 제1 재구성 프로토콜의 정보를 식별할 수 있다. 상기 적어도 하나 이상의 프로세서는 상기 제1 재구성 프로토콜의 정보 및 상기 진단 오더를 제1 인공 신경망에 전달하고, 상기 제1 인공 신경망이 상기 제1 재구성 프로토콜의 정보 및 상기 진단 오더에 기반하여 상기 제2 재구성 프로토콜을 생성하도록 상기 제1 인공 신경망을 제어할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제1 종류의 병변의 정보, 상기 제2 종류의 병변의 정보, 및 상기 제1 재구성 프로토콜의 정보를 상기 제1 인공 신경망에 전달할 수 있다. 상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망이 상기 제1 종류의 병변의 정보, 상기 제2 종류의 병변의 정보, 및 상기 제1 재구성 프로토콜의 정보에 기반하여 상기 제1 재구성 프로토콜을 변환하여 상기 제2 재구성 프로토콜을 생성하도록 상기 제1 인공 신경망을 제어할 수 있다.
상기 제1 인공 신경망은 하나의 원본 의료 영상에 대하여 상기 제1 종류의 병변을 진단 또는 분석하기 위하여 도출된 제1 훈련용 재구성 프로토콜, 및 상기 원본 의료 영상에 대하여 상기 제2 종류의 병변을 진단 또는 분석하기 위하여 도출된 제2 훈련용 재구성 프로토콜을 포함하는 복수의 훈련용 데이터셋을 입력받은 인공 신경망일 수 있다. 또한 상기 제1 인공 신경망은 상기 제1 종류의 병변 및 상기 제2 종류의 병변 간의 관련성에 대응하는 상기 제1 훈련용 재구성 프로토콜 및 상기 제2 훈련용 재구성 프로토콜 간의 관련성을 학습한 인공 신경망일 수 있다.
상기 컴퓨팅 시스템은 상기 진단 오더에 응답하여 상기 제2 의료 영상에 대한 의료 영상 분석을 수행하는 제2 인공 신경망을 더 포함할 수 있다. 상기 적어도 하나 이상의 프로세서는 상기 제2 의료 영상을 상기 제2 인공 신경망에 입력하여 상기 제2 인공 신경망이 상기 제2 의료 영상에 대한 의료 영상 분석 결과를 생성하도록 상기 제2 인공 신경망을 제어할 수 있다. 이때 제1 의료 영상에 대한 의료 영상 분석은 상기 컴퓨팅 시스템 내부의 다른 인공 신경망에 의하여 실행될 수도 있고, 상기 컴퓨팅 시스템 외부의 또 다른 인공 신경망에 의하여 실행될 수도 있다.
본 발명의 실시예에 따라서는 상기 컴퓨팅 시스템은 외부로 데이터를 전송하는 전송 인터페이스부를 더 포함할 수 있다. 이때 상기 적어도 하나 이상의 프로세서는 상기 전송 인터페이스부 또는 상기 사용자 인터페이스부를 경유하여 상기 진단 오더에 응답하여 상기 제2 재구성 프로토콜 또는 상기 제2 의료 영상을 제3 인공 신경망에 제공할 수 있다. 상기 적어도 하나 이상의 프로세서는 상기 제3 인공 신경망에 의하여 상기 진단 오더에 응답하여 수행된 의료 영상 분석 결과를 상기 수신 인터페이스부를 경유하여 수신할 수 있다.
상기 진단 오더는 상기 사용자 인터페이스부를 경유하여 상기 사용자로부터 입력받는 사용자 명령에 기반하여 결정될 수도 있고, 상기 진단 오더는 상기 적어도 하나 이상의 프로세서에 의하여 관리되는 미리 지정된 정보 및 상기 제1 타입의 병변의 정보에 기반하여 결정될 수도 있다.
상기 적어도 하나 이상의 프로세서는 1) 상기 제1 의료 영상에 대하여 수행된 제1 타입의 병변의 진단 또는 분석 결과; 및 2) 상기 제2 의료 영상에 대하여 수행된 제2 타입의 병변의 진단 또는 분석 결과를 함께 상기 사용자 인터페이스부를 경유하여 상기 사용자에게 제공할 수 있다.
상기 적어도 하나 이상의 프로세서는 상기 제2 재구성 프로토콜 및 상기 제2 의료 영상 중 적어도 하나 이상에 대하여 상기 사용자가 승인한 경우, 상기 제2 재구성 프로토콜 및 상기 제2 의료 영상 중 적어도 하나 이상을 상기 제1 의료 영상 및 상기 제2 재구성 프로토콜과 관련시켜 의료 영상 데이터베이스에 저장할 수 있다. 의료 영상 데이터베이스는 의료 영상 저장 전송 시스템(PACS, Picture Archive Communication System)일 수 있다.
본 발명의 일 실시예에 따른 의료 영상 재구성 장치는 의료용 인공 신경망에 기반하여 의료 영상의 판독을 지원하기 위하여 의료 영상을 재구성할 수 있다. 상기 의료 영상 재구성 장치는 컴퓨팅 시스템을 포함한다. 상기 컴퓨팅 시스템은 하나의 원본 의료 영상에 대하여 제1 종류의 병변을 진단 또는 분석하기 위하여 도출된 제1 훈련용 재구성 프로토콜, 및 상기 원본 의료 영상에 대하여 제2 종류의 병변을 진단 또는 분석하기 위하여 도출된 제2 훈련용 재구성 프로토콜을 포함하는 복수의 훈련용 데이터셋을 수신하는 수신 인터페이스부; 적어도 하나 이상의 프로세서; 및 인공 신경망을 포함한다.
상기 적어도 하나 이상의 프로세서는 상기 복수의 훈련용 데이터셋을 상기 인공 신경망에 전달하고, 상기 인공 신경망이 상기 제1 종류의 병변 및 상기 제2 종류의 병변 간의 관련성에 대응하는 상기 제1 훈련용 재구성 프로토콜 및 상기 제2 훈련용 재구성 프로토콜 간의 관련성을 학습하도록 상기 인공 신경망을 제어한다.
본 발명의 일 실시예에 따른 의료 영상 재구성 방법은 컴퓨팅 시스템에서 실행되는 의료 영상의 판독을 지원하기 위하여 의료 영상을 재구성하는 의료 영상 재구성 방법이고, 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다. 본 발명의 일 실시예에 따른 의료 영상 재구성 방법은 상기 적어도 하나 이상의 프로세서가, 수신 인터페이스부를 경유하여 제1 타입의 병변을 진단 또는 분석하기 위한 제1 재구성 프로토콜이 적용된 제1 의료 영상을 수신하는 단계; 상기 적어도 하나 이상의 프로세서가, 제2 타입의 병변을 진단 또는 분석하기 위한 진단 오더에 응답하여 상기 제1 의료 영상에 적용될 제2 재구성 프로토콜을 생성하는 단계; 및 상기 적어도 하나 이상의 프로세서가, 상기 제2 재구성 프로토콜을 사용자 인터페이스부를 경유하여 사용자에게 제공하거나, 상기 제1 의료 영상에 대하여 상기 제2 재구성 프로토콜을 실행함으로써 상기 제2 타입의 병변을 진단 또는 분석하기 위한 제2 의료 영상을 생성하고 상기 제2 의료 영상을 상기 사용자 인터페이스부를 경유하여 상기 사용자에게 제공하는 단계를 포함한다.
본 발명에 따르면 의료 영상 이미징 장치에서 이미 재구성 과정이 종료된 이후에 수신된 의료 영상으로부터 원본 의료 영상의 임상적 특징을 훼손하지 않으면서 추가적인 질환 또는 병변을 진단/분석하는 데에 적합한 새로운 재구성 프로토콜을 제안할 수 있다. 본 발명에 따르면 새로운 재구성 프로토콜에 기반하여 새로운 의료 영상을 재구성하며, 추가적인 질환 또는 병변을 진단/분석할 수 있다.
본 발명의 의료 영상 재구성 장치에 따르면 의료 영상 이미징 장치로부터 독립적으로, 소프트웨어에 의한 의료 영상 처리를 실행하여 현재 주어진 의료 영상으로부터 추가적인 질환 또는 병변을 진단/분석할 수 있다.
본 발명에 따르면 인공 신경망의 훈련/학습 및 추론을 이용하여, 동일한 원본 의료 영상으로부터 추가적인 질환 또는 병변을 진단/분석할 수 있는 의료 영상 재구성 프로토콜 간의 변환 기법을 구현할 수 있다. 이때 의료 영상 재구성 프로토콜 간의 변환은 의료 영상 이미징 장치와 독립적으로 수행되며, 의료 영상 이미징 장치가 재구성 과정을 종료하여 의료 영상 이미징 장치로부터 원본 의료 영상에 대한 정보를 수신할 수 없는 환경에서도 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 재구성 장치를 포함하는 의료 영상 재구성 및 복수의 의료 영상 재구성 프로토콜을 제공하는 워크플로우를 도시하는 도면이다.
도 2는 도 1의 의료 영상 재구성 장치(110)의 일 실시예를 도시하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 재구성 장치가 재구성 프로토콜을 생성하는 기능을 학습하는 훈련 과정을 도시하는 도면이다.
도 4는 도 3의 의료 영상 재구성 장치(310) 내부에서 실행되는 훈련/학습 과정을 도시하는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 재구성 장치를 포함하는 의료 영상 재구성 및 복수의 의료 영상 재구성 프로토콜을 제공하는 워크플로우를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝(LCS, Lung Cancer Screeening)을 위한 의료 영상 재구성 및 의료 영상 진단/분석 스크린샷의 일 예이다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝을 위하여 수신된 도 6의 의료 영상에 기반하여 관상 동맥 혈관의 석회화(CAC, Coronary Artery Calcification Scoring) 분석을 위한 의료 영상 재구성 프로토콜 및 그에 따른 의료 영상 진단/분석 스크린샷의 일 예이다.
도 8은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝을 위하여 수신된 도 6의 의료 영상에 기반하여 폐기종 색인(Emphysema Index)을 측정/분석하여 폐기종 또는 만성폐쇄성폐질환(COPD)을 진단하기 위한 의료 영상 재구성 프로토콜 및 그에 다른 의료 영상 진단/분석 스크린샷의 일 예이다.
도 2는 도 1의 의료 영상 재구성 장치(110)의 일 실시예를 도시하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 재구성 장치가 재구성 프로토콜을 생성하는 기능을 학습하는 훈련 과정을 도시하는 도면이다.
도 4는 도 3의 의료 영상 재구성 장치(310) 내부에서 실행되는 훈련/학습 과정을 도시하는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 재구성 장치를 포함하는 의료 영상 재구성 및 복수의 의료 영상 재구성 프로토콜을 제공하는 워크플로우를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝(LCS, Lung Cancer Screeening)을 위한 의료 영상 재구성 및 의료 영상 진단/분석 스크린샷의 일 예이다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝을 위하여 수신된 도 6의 의료 영상에 기반하여 관상 동맥 혈관의 석회화(CAC, Coronary Artery Calcification Scoring) 분석을 위한 의료 영상 재구성 프로토콜 및 그에 따른 의료 영상 진단/분석 스크린샷의 일 예이다.
도 8은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝을 위하여 수신된 도 6의 의료 영상에 기반하여 폐기종 색인(Emphysema Index)을 측정/분석하여 폐기종 또는 만성폐쇄성폐질환(COPD)을 진단하기 위한 의료 영상 재구성 프로토콜 및 그에 다른 의료 영상 진단/분석 스크린샷의 일 예이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
이러한 인공 신경망 기술이 적용되어 의료 영상 내에서 인간의 육안으로 식별하기 어려운 질환이나 병변을 검출하고, 특정 조직 등 관심 영역을 분할하며(segmentation), 분할된 영역에 대한 측정 등 분석 과정을 수행할 수 있을 것으로 기대된다.
의료 영상은 CT, MRI, 초음파 등 의료 이미징 장치(medical imaging device)에서 얻어지는 신호들의 집합을 의료 전문가가 인지하기 적합한 상태로 변환하는 과정을 거쳐야 비로소 질환 또는 병변의 진단에 이용될 수 있다. 이때 동일한 바디 파트(body part)에 대하여 얻어진 원본 데이터 또는 원본 의료 영상이라 하더라도 진단 또는 검출하고자 하는 질환/병변의 종류에 따라 의료 영상을 재구성하는(constructing) 프로토콜이 상이하다.
본 발명은 의료 영상의 다양한 분석 기술을 이용하여 인간 전문가가 특정 질환/병변을 판독하기에 가장 적절한 형태로 재구성할 수 있는 플랫폼을 제공하며, 이 과정에서 인공 신경망(ANN)을 이용하여 더욱 효율적인 재구성 프로토콜을 제안할 수 있다.
종래 기술에서는 원본 데이터 또는 원본 의료 영상에 각각의 재구성 프로토콜을 적용하면 하나의 원본 의료 영상으로부터 다수의 병변을 진단할 수 있는 각각의 의료 영상을 생성할 수는 있으나, 의료 영상 이미지 장치에서 재구성 과정이 종료되고 세션이 완결되면 원본 의료 영상은 소실되고, 더 이상의 재구성 과정을 진행할 수 없다.
본 발명은 적어도 다음과 같은 경우에 특히 종래 기술들에 비하여 우수한 효과를 가질 수 있다. 물론 본 발명의 사상이 아래 실시예들에 의하여 한정되어 해석되지 않는 것은 당업자라면 본 발명의 개시로부터 자명하게 이해할 것이다.
예를 들어, 하나의 원본 의료 영상으로부터 타입 A, 타입 B, 타입 C의 질환/병변을 진단/검출/분석할 수 있는 재구성 프로토콜 A, 재구성 프로토콜 B, 재구성 프로토콜 C가 존재하는 경우에, 처음부터 3가지 타입의 질환/병변에 대한 진단 오더가 주어지면 3가지 재구성 프로토콜이 각각 적용된 3가지 버전의 의료 영상이 생성되겠지만, 일반적으로 1가지 또는 2가지의 재구성 프로토콜만이 적용되는 경우가 훨씬 빈번하다.
이때 환자와 의사 간의 인터뷰를 통하여 의사가 타입 A일 가능성이 가장 높다는 예비 진단을 내리고, 타입 A를 위한 재구성 프로토콜 A만이 실행되어 버전 A의 의료 영상만이 생성되었다고 가정한다. 그러나 실제로 버전 A 의료 영상을 분석한 결과, 타입 A의 질환/병변일 가능성보다 타입 B 또는 타입 C의 질환/병변일 가능성이 높다는 분석 결과가 제시되면, 타입 B 또는 타입 C를 위한 의료 영상을 획득하기 위해서는 (이미 의료 이미징 장치는 재구성 세션을 완료하였고 원본 의료 영상은 소실된 상태이므로) 새롭게 의료 영상을 획득해야 한다. 이러한 반복적인 의료 이미징은 환자를 더 많은 방사선량에 노출시켜 환자의 건강을 해칠 우려가 있다.
따라서 버전 A 의료 영상만을 이용하여 타입 B 또는 타입 C의 질환/병변을 진단/검출/분석할 수 있는 재구성 프로토콜 B 또는 재구성 프로토콜 C를 재구성 프로토콜 A로부터 변환하여 생성할 수 있다면 새로운 의료 이미징 없이도 타입 B 또는 타입 C의 질환/병변에 대한 의료 영상을 획득하고, 해당 질환/병변을 진단/검출/분석할 수 있을 것이다.
또는 건강 검진 프로세스와 같은 경우에, 검사 희망자가 최초에 타입 A의 질환/병변만을 검사할 의사를 밝힌 후 의료 이미징 이후에 타입 B 및 타입 C의 질환/병변에 대해서도 검사할 의사를 밝힌 상태를 가정할 수 있다. 또한 검사 희망자가 최초에 타입 A의 질환/병변만을 검사할 의사를 밝힌 후 의료 이미징 이후에 의료진이 검사 희망자의 다른 통계 및/또는 정보(예를 들어 다른 측정/검사 결과, 검사 희망자의 생활습관에 따른 다른 질환/병변의 가능성 등)를 검토한 후 뒤늦게 타입 B 및 타입 C의 질환/병변에 대해서도 검사할 필요성이 있음을 확인한 경우를 가정할 수도 있다.
이러한 경우에도 추가적인 의료 이미징 없이 기존의 버전 A의 의료 영상만을 이용하여 재구성 프로토콜 A로부터 재구성 프로토콜 B 및 C를 변환하여 도출함으로써 환자 또는 검사 희망자의 영향에 미치는 악영향을 최소화하면서 타입 B 및/또는 C의 질환/병변에 대하여 의료 영상에 기반한 진단/검출/분석을 실행할 수 있다.
본 발명의 구성 중 본 발명의 출원 전에 당업자에게 공지된 내용은 필요에 따라서 본 명세서에서 본 발명의 구성 중 일부로서 설명하되, 당업자에게 자명한 사실은 발명의 취지를 흐릴 수 있다고 생각되면 설명을 생략할 수 있다. 또한 본 명세서에서 생략된 사항은 본 출원명세서에서 인용하고 있는 선행문헌들, 예를 들어, 미국공개특허 US 2020/0335201 "METHOD FOR SETTING A MEDICAL IMAGING PROTOCOL, SYSTEM FOR SETTING A MEDICAL INSTRUMENT, COMPUTER PROGRAM AND COMPUTER-READABLE MEDIUM", 미국공개특허 US 2020/0311490 "APPARATUS AND METHOD FOR SINOGRAM RESTORATION IN COMPUTED TOMOGRAPHY (CT) USING ADAPTIVE FILTERING WITH DEEP LEARNING (DL)", 미국등록특허 US 10,565,477 "Deep learning medical systems and methods for image reconstruction and quality evaluation", 미국공개특허 US 2019/0369191 "MRI reconstruction using deep learning, generative adversarial network and acquisition signal model", 및 미국공개특허 US 2020/0294284 "POSTERIOR IMAGE SAMPLING USING STATISTICAL LEARNING MODEL" 등을 통하여 당업자에게 공지되었음을 알림으로써 설명에 갈음할 수 있다.
미국공개특허 US 2020/0311490 "APPARATUS AND METHOD FOR SINOGRAM RESTORATION IN COMPUTED TOMOGRAPHY (CT) USING ADAPTIVE FILTERING WITH DEEP LEARNING (DL)"에서는 의료 영상 재구성 프로토콜이 kernel 또는 filter의 parameter에 대한 정보를 의미함이 개시되어 있다.
이들 선행문헌들이 개시하는 내용 중 일부는 본 발명이 해결하고자 하는 문제점과 관련되며, 본 발명이 채택하는 해결 수단 중 일부는 이들 선행문헌에도 공통적으로 적용된다.
이하의 도 1 내지 도 8의 설명에서, 본 발명의 기술 분야에서 널리 알려진 공지 기술이라고 간주되는 사항은 요점을 흐리지 않기 위하여 필요에 따라 설명을 생략하거나, 선행문헌을 인용함으로써 설명을 대체할 수 있다.
또한 앞서 인용된 선행문헌 및 이후 인용되는 선행문헌들의 구성의 일부 또는 전부는 본 발명이 해결하고자 하는 문제점의 일부와 관련될 수 있으며, 본 발명이 채택하는 해결 수단 중 일부는 선행문헌들로부터 차용한 것일 수 있다.
선행문헌들에 개시된 사항들 중 본 발명을 구체화하기 위하여 공통적으로 포함되는 사항에 한하여 본 발명의 구성의 일부로서 간주될 것이다.
이하에서 본 발명의 상세한 사항을 도 1 내지 도 8의 실시예들을 통하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 재구성 장치(110)를 포함하는 의료 영상 재구성 및 복수의 의료 영상 재구성 프로토콜을 제공하는 워크플로우를 도시하는 도면이다.
본 발명의 일 실시예에 따른 의료 영상 재구성 장치(110)는 의료 영상의 판독을 지원하기 위하여 의료 영상을 재구성한다. 의료 이미징 장치(medical imaging device)(150)는 진단하고자 하는 질환/병변의 종류에 기반하여 재구성 프로토콜 I을 적용하고 실행하여 재구성 타입 I의 제1 의료 영상을 생성한다. 의료 이미징 장치(150)가 생성한 제1 의료 영상은 의료 영상 데이터베이스(130)에 저장되고, 의료 영상 재구성 장치(110)의 호출에 응답하여 의료 영상 데이터베이스(130)로부터 의료 영상 재구성 장치(110)로 전달될 수 있다. 이때 의료 영상 데이터베이스(130)는 의료 영상 저장 전송 시스템(PACS, Picture Archive Communication System)일 수 있다.
의료 영상 재구성 장치(110)는 의료 이미징 장치(medical imaging device)(150)로부터 독립적으로 진단 오더에 응답하여 제1 의료 영상에 적용될 제2 재구성 프로토콜 및/또는 제3 재구성 프로토콜을 생성할 수 있다. 의료 영상 재구성 장치(110)는 제1 재구성 프로토콜을 변환하여 제1 의료 영상에 적용될 제2 재구성 프로토콜 및/또는 제3 재구성 프로토콜을 생성할 수 있으며, 제1 의료 영상에 제1 재구성 프로토콜을 적용하여 제2 의료 영상을 생성할 수 있다. 이때 의료 이미징 장치(150)에서는 이미 재구성 세션이 종료된 이후이므로 원본 의료 영상 데이터는 이미 소실된 상태이고 의료 이미징 장치(150)에서는 제1 의료 영상에 대한 추가적인 재구성은 실행될 수 없는 상태이다.
도 2는 도 1의 의료 영상 재구성 장치(110)의 일 실시예를 도시하는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 의료 영상 재구성 장치(110)는 의료 영상의 판독을 지원하기 위하여 의료 영상을 재구성하는 장치로서, 컴퓨팅 시스템(도시되지 않음)을 포함할 수 있다. 의료 영상 재구성 장치(110) 내의 컴퓨팅 시스템은 수신 인터페이스부(250), 적어도 하나 이상의 프로세서(210), 및 제1 인공 신경망(230)을 포함할 수 있다. 또한 의료 영상 재구성 장치(110)는 사용자 인터페이스부(270)를 더 포함할 수 있으며, 도 2에 도시되지는 않았으나 의료 영상 재구성 장치(110)는 외부로 데이터를 전송하는 전송 인터페이스부를 더 포함할 수 있다.
도 1 및 도 2를 함께 참조하면, 수신 인터페이스부(250)는 제1 타입의 병변을 진단 또는 분석하기 위한 제1 재구성 프로토콜이 적용된 제1 의료 영상을 수신한다. 적어도 하나 이상의 프로세서(210)는 제2 타입의 병변을 진단 또는 분석하기 위한 진단 오더에 응답하여 제1 의료 영상에 적용될 제2 재구성 프로토콜을 생성한다. 적어도 하나 이상의 프로세서(210)는 제2 재구성 프로토콜을 생성함에 있어서 제1 인공 신경망(230)과 협력하여 제1 재구성 프로토콜을 변환하여 제2 재구성 프로토콜을 생성할 수 있다.
적어도 하나 이상의 프로세서(210)는 제2 재구성 프로토콜을 사용자 인터페이스부(270)를 경유하여 사용자에게 제공하거나, 제1 의료 영상에 대하여 제2 재구성 프로토콜을 실행함으로써 제2 타입의 병변을 진단 또는 분석하기 위한 제2 의료 영상을 생성하고 제2 의료 영상을 사용자 인터페이스부(270)를 경유하여 사용자에게 제공할 수 있다. 즉, 사용자 인터페이스부(270)를 경유하여 제2 재구성 프로토콜을 수신한 어플리케이션 측에서 제2 재구성 프로토콜을 실행하여 제2 의료 영상을 생성할 수도 있고, 제2 의료 영상이 의료 영상 재구성 장치(110) 내에서 생성되어 사용자 인터페이스부(270)를 경유하여 외부의 어플리케이션에 전달될 수도 있다.
적어도 하나 이상의 프로세서(210)는 의료 이미징 장치(medical imaging device)(150)로부터 독립적으로 진단 오더에 응답하여 제1 의료 영상에 적용될 제2 재구성 프로토콜을 생성할 수 있다.
진단 오더는 사용자 인터페이스부(270)를 경유하여 사용자로부터 입력받는 사용자 명령에 기반하여 결정될 수도 있다. 또는 진단 오더는 적어도 하나 이상의 프로세서(270)에 의하여 관리되는 미리 지정된 정보 및 제1 타입의 병변의 정보에 기반하여 결정될 수도 있다.
적어도 하나 이상의 프로세서(210)는 1) 제1 의료 영상에 대하여 수행된 제1 타입의 병변의 진단 또는 분석 결과; 및 2) 제2 의료 영상에 대하여 수행된 제2 타입의 병변의 진단 또는 분석 결과를 함께 사용자 인터페이스부(270)를 경유하여 사용자에게 제공할 수 있다.
적어도 하나 이상의 프로세서(210)는 제2 재구성 프로토콜 및 제2 의료 영상 중 적어도 하나 이상에 대하여 사용자가 승인한 경우, 제2 재구성 프로토콜 및 제2 의료 영상 중 적어도 하나 이상을 제1 의료 영상 및 제2 재구성 프로토콜과 관련시켜 의료 영상 데이터베이스(130)에 저장할 수 있다. 의료 영상 데이터베이스(130)는 의료 영상 저장 전송 시스템(PACS, Picture Archive Communication System)일 수 있다.
이때 사용자는 의료 전문가인 임상의(clinician) 또는 영상의(radiologist)일 수도 있지만, 진단하고자 하는 대상에 따라서는 영상 분할 등 기본적인 전처리 과정이 합리적인 범위 내에서 수행되었는 지를 확인하는 정도의 지식만 가지고 있는 지원 스태프일 수도 있다. 즉, 임상적인 지식을 가지고 있지 않더라도 특정 진단 오더를 위한 주요한 시각적 정보가 해당 재구성 프로토콜에 의하여 적절하게 표현되었는지를 확인할 수 있는 정도의 대표성을 가지고 있다면 본 발명의 재구성 프로토콜을 승인할 수 있으며, 본 발명에서 의미하는 사용자에 포함될 수 있다.
진단 오더는 진단하고자 하는 질환/병변을 가리키는 오더이며, 병원의 의료 정보 시스템 또는 처방 관리 시스템(OCS) 등을 통하여 전달될 수도 있고, 미리 규정된 내부 규약에 의하여 추가적인 질환/병변에 대한 진단 오더가 생성될 수도 있다. 환자 또는 검사 희망자가 추가적인 질환/병변에 대한 진단을 원하는 경우, 의료진이 추가적인 질환/병변에 대한 진단이 필요하다고 인정한 경우 등이 여기에 해당할 수 있다.
사용자가 진단하고자 하는 질환을 추가하거나 선택하는 경우는 다음과 같이 진행될 수 있다. 사용자는 현재 주어진 의료 영상의 kernel 정보 및 그 kernel이 진단하기에 적합한 진단 오더를 사용자 인터페이스부(270)를 경유하여 확인할 수 있다. 사용자는 주어진 진단 오더 이외에 새로운 진단 오더를 추가하고자 하는 경우에 이를 사용자 인터페이스부(270)를 경유하여 추가할 수 있다. 적어도 하나 이상의 프로세서(210)는 사용자가 추가한 새로운 진단 오더에 부합하고 새로운 진단 오더의 질환/병변을 진단/검출/분석하기에 적합한 kernel을 도출하기 위하여 현재 주어진 kernel에 kernel adaptation을 수행할 수 있다.
적어도 하나 이상의 프로세서(210)는 제1 의료 영상의 수신 정보로부터 제1 재구성 프로토콜의 정보를 식별할 수 있다. 제1 재구성 프로토콜의 정보는 제1 의료 영상과 함께 DICOM 표준에 기반하여 의료 영상 데이터베이스(130)에 저장될 수 있다. 따라서 적어도 하나 이상의 프로세서(210)는 제1 의료 영상으로부터 제1 재구성 프로토콜의 정보를 식별할 수 있다. 적어도 하나 이상의 프로세서(210)는 제1 재구성 프로토콜의 정보 및 진단 오더를 제1 인공 신경망(230)에 전달하고, 제1 인공 신경망(230)이 제1 재구성 프로토콜의 정보 및 진단 오더에 기반하여 제2 재구성 프로토콜을 생성하도록 제1 인공 신경망(230)을 제어할 수 있다.
적어도 하나 이상의 프로세서(210)는 제1 종류의 병변의 정보, 제2 종류의 병변의 정보, 및 제1 재구성 프로토콜의 정보를 제1 인공 신경망(230)에 전달할 수 있다. 적어도 하나 이상의 프로세서(210)는 제1 인공 신경망(230)이 제1 종류의 병변의 정보, 제2 종류의 병변의 정보, 및 제1 재구성 프로토콜의 정보에 기반하여 제1 재구성 프로토콜을 변환하여 제2 재구성 프로토콜을 생성하도록 제1 인공 신경망(230)을 제어할 수 있다. 이때 본 발명의 의료 영상 재구성 장치(110)에서 이루어지는 제2 재구성 프로토콜로의 변환은 일종의 kernel adaptation일 수 있다. 재구성 프로토콜 간의 kernel adaptation은 pixel to pixel로 이루어질 것이고 인공 신경망을 이용하지 않는다면 일종의 parameter relation의 형태로 주어질 수도 있을 것이다. 다만 kernel adaptation 이 pixel-wise 최적화된다면 그 정보량이 방대할 것이므로 인공 신경망의 가중치 데이터셋에 의하여 저장되고, 학습 모델을 구성할 것이다.
이때 종래 기술들 중 일부는 생성적 적대 신경망(GAN) 또는 조건부 생성적 적대 신경망(CGAN)을 이용하는 경우가 있으나, GAN 또는 CGAN은 원본 의료 영상에 전적으로 의존하지 않고 원본 의료 영상에 기반하여 새로운 영상을 생성하므로, 원본 의료 영상에 포함된 임상적 특징이 손실될 우려가 있다. 본 발명은 선행 문헌들과 달리 GAN 또는 CGAN을 이용하지 않으며, 제1 인공 신경망(230)은 kernel adaptation 기능을 학습하고 학습된 결과 가중치 데이터셋에 기반하여 kernel adaptation을 수행한다.
제1 인공 신경망(230)은 하나의 원본 의료 영상에 대하여 제1 종류의 병변을 진단 또는 분석하기 위하여 도출된 제1 훈련용 재구성 프로토콜, 및 원본 의료 영상에 대하여 제2 종류의 병변을 진단 또는 분석하기 위하여 도출된 제2 훈련용 재구성 프로토콜을 포함하는 복수의 훈련용 데이터셋을 입력받은 인공 신경망일 수 있다. 또한 제1 인공 신경망(230)은 제1 종류의 병변 및 제2 종류의 병변 간의 관련성에 대응하는 제1 훈련용 재구성 프로토콜 및 제2 훈련용 재구성 프로토콜 간의 관련성을 학습한 인공 신경망일 수 있다.
컴퓨팅 시스템은 진단 오더에 응답하여 제2 의료 영상에 대한 의료 영상 분석을 수행하는 제2 인공 신경망(도시되지 않음)을 더 포함할 수 있다. 적어도 하나 이상의 프로세서(210)는 제2 의료 영상을 제2 인공 신경망에 입력하고, 제2 인공 신경망이 제2 의료 영상에 대한 의료 영상 분석 결과를 생성하도록 제2 인공 신경망을 제어할 수 있다. 이때 제1 의료 영상에 대한 의료 영상 분석은 컴퓨팅 시스템 내부의 다른 인공 신경망에 의하여 실행될 수도 있고, 컴퓨팅 시스템 외부의 또 다른 인공 신경망에 의하여 실행될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 재구성 장치(310)가 재구성 프로토콜을 생성하는 기능을 학습하는 훈련 과정을 도시하는 도면이다.
본 발명의 일 실시예에 따른 의료 영상 재구성 장치(310)는 의료용 인공 신경망에 기반하여 의료 영상의 판독을 지원하기 위하여 의료 영상을 재구성할 수 있다. 의료 영상 재구성 장치는 컴퓨팅 시스템을 포함한다. 컴퓨팅 시스템은 하나의 원본 의료 영상에 대하여 제1 종류의 병변을 진단 또는 분석하기 위하여 도출된 제1 훈련용 재구성 프로토콜, 및 원본 의료 영상에 대하여 제2 종류의 병변을 진단 또는 분석하기 위하여 도출된 제2 훈련용 재구성 프로토콜을 포함하는 복수의 훈련용 데이터셋을 수신할 수 있다.
도 3에 도시된 의료 이미징 장치(350)는 하나의 원본 의료 영상에 대하여 제1 훈련용 재구성 프로토콜, 제2 훈련용 재구성 프로토콜, 및 제3 훈련용 재구성 프로토콜을 적용하고 실행하여 제1 훈련용 의료 영상, 제2 훈련용 의료 영상, 제3 훈련용 의료 영상을 생성할 수 있다. 의료 이미징 장치(350)에 의하여 생성된 제1 훈련용 의료 영상, 제2 훈련용 의료 영상, 제3 훈련용 의료 영상은 의료 영상 데이터베이스(330)에 저장되었다가 의료 영상 재구성 장치(310)의 훈련 요청에 의하여 의료 영상 재구성 장치(310)로 전달될 수 있다.
도 4는 도 3의 의료 영상 재구성 장치(310) 내부에서 실행되는 훈련/학습 과정을 도시하는 블록도이다.
의료 영상 재구성 장치(310)는 하나의 원본 의료 영상에 대하여 생성된 제1 훈련용 의료 영상, 제2 훈련용 의료 영상, 및 제3 훈련용 의료 영상을 수신하는 수신 인터페이스부(450), 적어도 하나 이상의 프로세서(410) 및 인공 신경망(430)을 포함한다. 각 훈련용 의료 영상을 생성하는 데에 기여한 재구성 프로토콜들은 의료 영상 표준에 기반하여 의료 영상 데이터베이스(330)에 저장된다. 이때 의료 영상 데이터베이스(330)는 PACS와 같은 표준에 기반한 시스템일 수 있다.
의료 영상 재구성 프로토콜은 의료 영상을 사용자 뷰어에서 다시 시각화할 때 필요한 정보를 망라하는 것으로서, 다음의 정보를 모두 포함할 수 있다. PACS에는 의료 영상을 이미징하거나 생성할 때 활용된 조건, 즉, 방사선량(dose), 사용된 kernel 정보, 장비에 의존적인 정보(vendor-related information)가 특정되어(specified) 의료 영상과 함께 저장된다. 또한 각 의료 영상이 생성된 근거가 되는 진단 오더, 즉, 해당 의료 영상을 이용하여 진단하고자 하는 질환/병변에 대한 정보 또한 PACS에 의료 영상과 함께 저장될 수 있다.
적어도 하나 이상의 프로세서(410)는 복수의 훈련용 데이터셋을 인공 신경망(430)에 전달하고, 인공 신경망(430)이 제1 종류의 병변 및 제2 종류의 병변 간의 관련성에 대응하는 제1 훈련용 재구성 프로토콜 및 제2 훈련용 재구성 프로토콜 간의 관련성을 학습하도록 인공 신경망(430)을 제어한다.
인공 신경망(430)은 동일한 원본 의료 영상으로부터 도출된 복수의 재구성 프로토콜들을 식별하고, 각 재구성 프로토콜들 간의 관련성을 학습할 수 있다. 이때 각 재구성 프로토콜은 진단하고자 하는 진단 오더를 포함하고 있으므로, 인공 신경망(430)은 동일한 원본 의료 영상으로부터 제1 종류의 병변을 진단 또는 분석하기 위하여 도출된 제1 훈련용 재구성 프로토콜, 및 동일한 원본 의료 영상에 대하여 제2 종류의 병변을 진단 또는 분석하기 위하여 도출된 제2 훈련용 재구성 프로토콜 간의 관련성을 제1 종류의 병변과 제2 종류의 병변 간의 관련성에 기반하여 학습할 수 있다. 이러한 훈련용 데이터셋은 다수의 원본 의료 영상에 대하여 각각 진단 오더(질환/병변)와 재구성 프로토콜이 구분되어 인공 신경망(430)에 전달되며, 인공 신경망(430)은 제1 종류의 병변을 위한 제1 재구성 프로토콜을 제2 종류의 병변을 위하여 제2 재구성 프로토콜로 변환하는 기능을 학습할 수 있고, 제2 종류의 병변을 위한 제2 재구성 프로토콜을 제1 종류의 병변을 위하여 제1 재구성 프로토콜로 변환하는 기능을 학습할 수 있다.
한편 이때 훈련에 이용되는 훈련용 데이터셋은 사용자에 의하여 특정 진단 오더에 대응하여 적절하게 생성된 재구성 프로토콜임을 승인받은 경우에 한하며, 이러한 승인 프로세스를 경유할 때 훈련용 데이터셋의 품질을 향상시킬 수 있다.
인공 신경망(430)은 목적 함수(420)를 통하여 훈련 과정에서 생성되는 임시 재구성 프로토콜들이 훈련용 데이터로 주어진 레퍼런스 프로토콜들과 오차를 줄여나가도록 피드백되고, 훈련이 반복되면서 레퍼런스 프로토콜들과 동등한 재구성 프로토콜을 생성하도록 기능을 학습한다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 재구성 장치(510)를 포함하는 의료 영상 재구성 및 복수의 의료 영상 재구성 프로토콜을 제공하는 워크플로우를 도시하는 도면이다.
도 5의 의료 이미징 장치(550) 및 의료 영상 데이터베이스(530)의 동작은 도 1의 의료 이미징 장치(110) 및 의료 영상 데이터베이스(130)의 동작과 매우 유사하므로 중복되는 설명은 생략한다.
본 발명의 실시예에 따라서는 의료 영상 재구성 장치(510)는 외부로 데이터를 전송하는 전송 인터페이스부(도시되지 않음)를 더 포함할 수 있다. 이때 의료 영상 재구성 장치(510)의 적어도 하나 이상의 프로세서는 전송 인터페이스부 또는 사용자 인터페이스부를 경유하여 진단 오더에 응답하여 제2 재구성 프로토콜 또는 제2 의료 영상을 제3 인공 신경망(540)에 제공할 수 있다. 적어도 하나 이상의 프로세서는 제3 인공 신경망(540)에 의하여 진단 오더에 응답하여 수행된 의료 영상 분석 결과를 수신 인터페이스부를 경유하여 수신할 수 있다.
또한 제1 의료 영상을 이용하여 제1 종류의 병변을 진단/검출/분석하는 과정은 도 5의 의료 영상 재구성 장치(510)의 외부의 또 다른 제4 인공 신경망(520)에 의하여 실행될 수 있다.
도 1 내지 도 5에서는 의료 영상 데이터베이스(130, 330, 530)가 외부에 위치하는 실시예가 도시되었으나, 본 발명의 다른 실시예에 따르면 데이터베이스(도시되지 않음)가 의료 영상 재구성 장치(110, 310, 510)의 내부에 위치하는 경우의 실시예도 구현할 수 있음은 당업자에게 자명하게 이해될 것이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝(LCS, Lung Cancer Screeening)을 위한 의료 영상 재구성 및 의료 영상 진단/분석 스크린샷의 일 예이다.
도 6에서 도시된 폐암 스크리닝은 low-dose 또는 ultra low-dose CT에서 실행되는 경우 high frequency 또는 sharp kernel에 기반하여 재구성된 후 폐결절(lung nodule)을 검출하는 데에 이용된다. 이에 대해서는 다양한 종래 기술들이 제시되고 있으나, 정상적인 장기와 병변을 구분하는 것이 가장 중요하며, 따라서 주변 밝기와 다른 밝기값을 가지는 영역을 도출하는 것이 중요한 목표이다.
도 7은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝을 위하여 수신된 도 6의 의료 영상에 기반하여 관상 동맥 혈관의 석회화(CAC, Coronary Artery Calcification Scoring) 분석을 위한 의료 영상 재구성 프로토콜 및 그에 따른 의료 영상 진단/분석 스크린샷의 일 예이다.
도 7을 참조하면 LCS 스크리닝을 위하여 수신된 sharp kernel 적용 영상을 soft kernel을 적용하여 재구성한 영상이 도시된다. 또한 이 재구성 영상에 CAC 정량화 분석 알고리즘을 적용하여 시각화한 영상이 오버레이되어 도시된다.
CAC 정량화는 ECG-gated CT 영상을 이용하여 분석하는 것을 golden rule로 삼고 있으나, low dose CT에 standard kernel 또는 soft kernel을 적용한 경우에는 원본 영상이 non-gated 영상인 경우에도 CAC의 정량화 결과가 ECG-gated CT 영상을 이용한 경우와 큰 차이를 보이지 않는 경우가 보고되고 있다. 물론 이 경우 non-gated CT 영상을 soft kernel 적용하여 재구성한 영상의 CAC 정량화 분석 결과를 전적으로 신뢰할 것은 아니고, CAC 정밀 분석이 필요한 환자인 지를 스크리닝하는 수단으로 활용할 수 있을 정도의 관련성은 인정된다.
도 7에 도시된 CAC 정량화 분석 결과는 종래 기술에서 calcium 영역을 직접 detect하는 방식과는 다소 상이하다. 이때 진단 오더가 CAC에 대한 정량화 분석 인 경우, 심혈관 분할 과정이 전처리 과정으로서 실행된다. 이때 심혈관 분할 과정에 오류가 있어 갈비뼈 영역이 혈관 영역으로 편입되는 경우 CAC 측정값은 실제보다 매우 크게 측정되는 오류가 발생할 수 있으므로 이러한 오류에 대한 고려를 통하여 Axial 영상 위에 검출된 calcification 영역을 모두 표시한 하나의 영상이 시각화될 수 있다. 이후 심혈관 영역을 thresholding하여 밝은 부분과 어두운 부분을 구분한다.
관상 동맥 혈관의 석회화를 단순 검출하기 위해서는 LCS 를 위하여 적용된 sharp kernel 이 더욱 유리한 경우도 있을 수 있다. 다만 segmentation 이후 밝은 부분과 어두운 부분을 정량화하고 비교하는 구성이 중요시되는 경우에는 soft kernel 이 더 효과적으로 나타날 수 있다. 즉, 진단 오더 뿐만 아니라 구체적인 의료 영상 분석 및 시각화 방식에 따라서 kernel adaptation의 결과가 달라질 수 있으며, 이러한 차이점을 고려하여 최적화된 kernel adaptation을 제공하기 위하여 사용자가 각 분석 및 시각화 결과를 확인하고 최적화된 kernel 을 승인하여 훈련용 데이터셋의 정확도와 신뢰도를 높이는 과정이 필요하다.
도 8은 본 발명의 일 실시예에 따른 의료 영상 재구성 프로토콜의 예시로서, 폐암 스크리닝을 위하여 수신된 도 6의 의료 영상에 기반하여 폐기종 색인(Emphysema Index)을 측정/분석하여 폐기종 또는 만성폐쇄성폐질환(COPD)을 진단하기 위한 의료 영상 재구성 프로토콜 및 그에 다른 의료 영상 진단/분석 스크린샷의 일 예이다.
도 8을 참고하면, 폐 영역 내에서 밝은 부분과 어두운 부분을 thresholding하여 LAA (Low Attenuation Area)를 정량화하는 의료 영상 분석 결과가 의료 영상의 kernel adaptation 결과와 함께 표시된다.
COPD를 진단하기 위하여 폐기종(emphysema)을 단순 검출하는 경우에는 sharp kernel이 적합할 수 있으나, LAA 영역을 정량화하는 경우에는 soft kernel이 sharp kernel보다 적합한 경향을 보인다.
따라서 도 8에 도시된 것처럼 도 6의 의료 영상 재구성 프로토콜과 상이한 soft kernel 이 적용되어 재구성된 의료 영상이 표시되고, 재구성된 영상에 기반하여 LAA 분석이 실행되어 COPD 진단을 위한 emphysema 정량화 분석 결과가 오버레이되어 표시된다.
LAA는 폐를 포함하는 CT 영상에 대하여 분석된 결과로서 CT 영상 내의 밝기값이 기준값보다 어두운 영역을 의미할 수 있다. 정상적인 폐포는 호흡의 페이즈에 따라서 CT 영상 내에서 밝기값이 변할 수 있다. 그러나 폐의 CT 영상 내에서 특정한 기준값 미만의 밝기값으로 계속 유지되는 영역은 공기로 채워진 영상이고 폐포가 터졌거나 비활성화된 것으로 간주되므로 호흡에 도움이 되지 않는 영역으로 판단될 수 있다.
LAA에 대한 정량 분석 결과는 특정한 영역(region) 내에서 밝기값이 기준값(예를 들어 -950 HU) 이하로 유지되는 영역의 부피의 해당 영역의 부피에 대한 비율로 나타낼 수 있다. 또 다른 LAA에 대한 정량 분석 결과는 LAA 영역의 크기를 구분하여 크기 별로 LAA 영역의 개수를 카운트하여 표시하는 방법으로도 나타낼 수 있다. 이러한 정량화 결과는 환자의 호흡 레벨(호흡을 어느 정도까지 들이마셨는지)에 따라 달라지며, Log 연산을 이용하여 가공할 경우 호흡 레벨과 무관한 일정한 값을 도출하여 환자의 폐의 전체적인 능력에 대한 지표로서 제공될 수 있다. 이러한 LAA에 대한 정량적 측정 결과는 만성 폐쇄성 폐질환(COPD) 등의 진단을 위하여 사용자에게 제공되며, 진단을 지원할 수 있다.
이러한 LAA 분석 결과는 복수의 단계의 영상 처리 과정을 거쳐서 얻어진다.
폐 CT 영상은 Whole Lung, Left Lung, Right Lung으로 분할될(segmented) 수 있다. Left Lung과 Right Lung 각각의 폐엽이 분할될 수 있다.
LAA 분석 결과 중 영역 별로 LAA 영역의 비율을 도출하기 위한 기준 영역은 이렇게 구분된 폐엽 또는 좌폐/우폐일 수 있다.
LAA 분석 결과를 도출하기 위해 필요한 복수의 전처리 과정들에 오류가 있으면 LAA 분석 결과에 대해서도 신뢰성이 낮아질 수 있다.
따라서 분석 결과에 기반하여, 분석 결과에 도달하기 위한 복수의 전처리 과정들의 전처리 결과들이 대표적인 시각화 형태와 함께 시각화되어 분석 결과와 함께 제공될 수 있다.
본 발명의 일 실시예에 따른 의료 영상 재구성 방법은 컴퓨팅 시스템에서 실행되는 의료 영상의 판독을 지원하기 위하여 의료 영상을 재구성하는 의료 영상 재구성 방법이고, 컴퓨팅 시스템은 적어도 하나 이상의 프로세서를 포함한다.
본 발명의 일 실시예에 따른 의료 영상 재구성 방법은 프로그램 인스트럭션의 형태로 메모리에 로드되고 프로세서, 컨트롤러, 및/또는 분산 설계된 전자회로 로직 등에 의하여 호출되고 실행될 수 있다.
예를 들어 도 2에 개시된 적어도 하나 이상의 프로세서(210)가, 수신 인터페이스부(250)를 경유하여 제1 타입의 병변을 진단 또는 분석하기 위한 제1 재구성 프로토콜이 적용된 제1 의료 영상을 수신하는 과정은 프로그램 인스트럭션의 형태로 구현되어 제1 의료 영상을 수신하는 단계로서 실행될 수 있다.
또한 적어도 하나 이상의 프로세서(210)가, 제2 타입의 병변을 진단 또는 분석하기 위한 진단 오더에 응답하여 제1 의료 영상에 적용될 제2 재구성 프로토콜을 생성하는 과정 또한 프로그램 인스트럭션의 형태로 구현되어 제2 재구성 프로토콜을 생성하는 단계로서 실행될 수 있다.
적어도 하나 이상의 프로세서(210)가, 제2 재구성 프로토콜을 사용자 인터페이스부(270)를 경유하여 사용자에게 제공하거나, 제1 의료 영상에 대하여 제2 재구성 프로토콜을 실행함으로써 제2 타입의 병변을 진단 또는 분석하기 위한 제2 의료 영상을 생성하고 제2 의료 영상을 사용자 인터페이스부(270)를 경유하여 사용자에게 제공하는 과정은 프로그램 인스트럭션의 형태로 구현되어 제2 재구성 프로토콜 또는 제2 의료 영상을 사용자에게 제공하는 단계로서 실행될 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110, 310. 510: 의료 영상 재구성 장치
130, 330, 530: 의료 영상 데이터베이스
150, 350, 550: 의료 이미징 장치
210, 410: 프로세서
230: 제1 인공 신경망
420: 목적 함수 430: 인공 신경망
520, 540: 외부의 인공 신경망
250, 450: 수신 인터페이스부
270: 사용자 인터페이스부
130, 330, 530: 의료 영상 데이터베이스
150, 350, 550: 의료 이미징 장치
210, 410: 프로세서
230: 제1 인공 신경망
420: 목적 함수 430: 인공 신경망
520, 540: 외부의 인공 신경망
250, 450: 수신 인터페이스부
270: 사용자 인터페이스부
Claims (1)
- 의료 영상의 판독을 지원하기 위하여 의료 영상을 처리하는 의료 영상 처리 장치로서, 상기 의료 영상 처리 장치는 컴퓨팅 시스템을 포함하고,
상기 컴퓨팅 시스템은
제1 병변을 진단 또는 분석하기 위한 제1 의료 영상을 수신하는 수신 인터페이스부; 및
상기 제1 의료 영상을 영상 처리하여, 상기 제1 병변과 다른 제2 병변을 진단 또는 분석하기 위한 제2 의료 영상을 생성하는 적어도 하나 이상의 프로세서;
를 포함하는 의료 영상 처리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220081962A KR20220100830A (ko) | 2020-11-30 | 2022-07-04 | 복수의 질환을 분석하기 위한 의료 영상 처리 장치 및 방법 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200164449A KR102337031B1 (ko) | 2020-11-30 | 2020-11-30 | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 |
| KR1020210130548A KR102469907B1 (ko) | 2020-11-30 | 2021-10-01 | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 |
| KR1020220081962A KR20220100830A (ko) | 2020-11-30 | 2022-07-04 | 복수의 질환을 분석하기 위한 의료 영상 처리 장치 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210130548A Division KR102469907B1 (ko) | 2020-11-30 | 2021-10-01 | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220100830A true KR20220100830A (ko) | 2022-07-18 |
Family
ID=78867583
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200164449A KR102337031B1 (ko) | 2020-11-30 | 2020-11-30 | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 |
| KR1020210130548A KR102469907B1 (ko) | 2020-11-30 | 2021-10-01 | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 |
| KR1020220081962A KR20220100830A (ko) | 2020-11-30 | 2022-07-04 | 복수의 질환을 분석하기 위한 의료 영상 처리 장치 및 방법 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200164449A KR102337031B1 (ko) | 2020-11-30 | 2020-11-30 | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 |
| KR1020210130548A KR102469907B1 (ko) | 2020-11-30 | 2021-10-01 | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12079988B2 (ko) |
| KR (3) | KR102337031B1 (ko) |
| DE (1) | DE102021131238A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102598233B1 (ko) * | 2022-06-07 | 2023-11-07 | 충북대학교병원 | 의료 영상을 대상으로 하는 딥러닝 기반의 의료정보 제공시스템 및 방법 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7817835B2 (en) | 2006-03-31 | 2010-10-19 | Siemens Medical Solutions Usa, Inc. | Cross reference measurement for diagnostic medical imaging |
| KR101241060B1 (ko) | 2011-03-29 | 2013-03-11 | 주식회사 인피니트헬스케어 | 의료 영상 정보 저장과 표시 방법 및 그 장치 |
| US9235889B1 (en) * | 2012-06-11 | 2016-01-12 | University Of Central Florida Research Foundation, Inc. | Systems, apparatus and methods for collecting and storing raw scan data and software for performing data processing, image reconstruction and interpretation |
| KR102070427B1 (ko) | 2012-08-08 | 2020-01-28 | 삼성전자주식회사 | 종양의 위치를 추적하는 방법 및 장치 |
| KR20140091176A (ko) | 2013-01-10 | 2014-07-21 | 삼성전자주식회사 | 병변 진단 장치 및 방법 |
| US9361711B2 (en) * | 2013-08-05 | 2016-06-07 | Siemens Aktiengesellschaft | Lesion-type specific reconstruction and display of digital breast tomosynthesis volumes |
| KR20160012758A (ko) | 2014-07-25 | 2016-02-03 | 삼성전자주식회사 | 영상 진단 보조 장치 및 방법 |
| US10074038B2 (en) | 2016-11-23 | 2018-09-11 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
| KR101910822B1 (ko) | 2017-04-12 | 2018-10-24 | 고려대학교 산학협력단 | 복수의 의료 영상에서의 동일 병변 영역 추적 장치 및 방법 |
| KR20190002960A (ko) | 2017-06-30 | 2019-01-09 | 연세대학교 산학협력단 | 신체인식을 이용한 작업 기반 ct 이미지 재구성 프로토콜 최적화 방법 |
| EP3467840A1 (en) | 2017-10-05 | 2019-04-10 | Siemens Healthcare GmbH | Method for setting a medical imaging protocol, system for setting a medical instrument, computer program and computer-readable medium |
| KR101943011B1 (ko) | 2018-01-22 | 2019-01-28 | 주식회사 뷰노 | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 |
| KR101923962B1 (ko) | 2018-02-12 | 2018-11-30 | 주식회사 뷰노 | 의료 영상의 열람을 지원하는 방법 및 이를 이용한 장치 |
| US10672153B2 (en) | 2018-04-23 | 2020-06-02 | Elekta Ab (Publ) | Posterior image sampling using statistical learning model |
| US10859657B2 (en) | 2018-05-31 | 2020-12-08 | The Board Of Trustees Of The Leland Stanford Junior University | MRI reconstruction using deep learning, generative adversarial network and acquisition signal model |
| KR101977067B1 (ko) * | 2018-08-24 | 2019-05-10 | 주식회사 뷰노 | 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치 |
| US11176428B2 (en) | 2019-04-01 | 2021-11-16 | Canon Medical Systems Corporation | Apparatus and method for sinogram restoration in computed tomography (CT) using adaptive filtering with deep learning (DL) |
-
2020
- 2020-11-30 KR KR1020200164449A patent/KR102337031B1/ko active
-
2021
- 2021-10-01 KR KR1020210130548A patent/KR102469907B1/ko active IP Right Grant
- 2021-11-29 DE DE102021131238.8A patent/DE102021131238A1/de active Pending
- 2021-11-30 US US17/538,625 patent/US12079988B2/en active Active
-
2022
- 2022-07-04 KR KR1020220081962A patent/KR20220100830A/ko active Application Filing
Non-Patent Citations (5)
| Title |
|---|
| 미국공개특허 US 2019/0369191 "MRI reconstruction using deep learning, generative adversarial network and acquisition signal model" (2019년 12월 5일) |
| 미국공개특허 US 2020/0294284 "POSTERIOR IMAGE SAMPLING USING STATISTICAL LEARNING MODEL" (2020년 9월 17일) |
| 미국공개특허 US 2020/0311490 "APPARATUS AND METHOD FOR SINOGRAM RESTORATION IN COMPUTED TOMOGRAPHY (CT) USING ADAPTIVE FILTERING WITH DEEP LEARNING (DL)" (2020년 10월 1일) |
| 미국공개특허 US 2020/0335201 "METHOD FOR SETTING A MEDICAL IMAGING PROTOCOL, SYSTEM FOR SETTING A MEDICAL INSTRUMENT, COMPUTER PROGRAM AND COMPUTER-READABLE MEDIUM" (2020년 10월 22일) |
| 미국등록특허 US 10,565,477 "Deep learning medical systems and methods for image reconstruction and quality evaluation" (2020년 2월 18일) |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220076296A (ko) | 2022-06-08 |
| DE102021131238A1 (de) | 2022-06-02 |
| KR102469907B1 (ko) | 2022-11-23 |
| US20220172353A1 (en) | 2022-06-02 |
| KR102337031B1 (ko) | 2021-12-08 |
| US12079988B2 (en) | 2024-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10304198B2 (en) | Automatic medical image retrieval | |
| US10997475B2 (en) | COPD classification with machine-trained abnormality detection | |
| US11443201B2 (en) | Artificial intelligence-based self-learning in medical imaging | |
| EP3806744B1 (en) | Immediate workup | |
| AU2004316027B2 (en) | Systems and methods for automated diagnosis and decision support for heart related diseases and conditions | |
| CN102855618B (zh) | 用于图像产生和图像分析的方法 | |
| JP2020500377A (ja) | ディープラーニング医療システムおよび画像収集のための方法 | |
| EP3614390B1 (en) | Imaging and reporting combination in medical imaging | |
| CA2530595A1 (en) | Automated regional myocardial assessment for cardiac imaging | |
| KR102676569B1 (ko) | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 | |
| CN110458837B (zh) | 一种图像后处理方法、装置、电子设备及存储介质 | |
| US11996182B2 (en) | Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network | |
| US20230154620A1 (en) | Apparatus and method for assisting reading of chest medical images | |
| US20220399107A1 (en) | Automated protocoling in medical imaging systems | |
| KR20210084127A (ko) | 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법 | |
| WO2019200349A1 (en) | Systems and methods for training a deep learning model for an imaging system | |
| KR102469907B1 (ko) | 복수의 폐질환을 스크리닝하기 위한 의료 영상 재구성 장치 및 방법 | |
| WO2019200351A1 (en) | Systems and methods for an imaging system express mode | |
| WO2019200346A1 (en) | Systems and methods for synchronization of imaging systems and an edge computing system | |
| CN115274063A (zh) | 用于操作医学图像数据集的评估系统的方法、评估系统 | |
| WO2024200649A1 (en) | Systems and methods for automatic analysis of three-dimensional imaging for determining cardiovascular health | |
| KR20230151865A (ko) | 의료 영상에서 세기의 분포에 기반한 보조 정보를 생성하고 시각화하는 의료 영상 진단 보조 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |