KR20230040484A - 흉부 의료 영상 객체 검출 시스템 및 그 방법 - Google Patents
흉부 의료 영상 객체 검출 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20230040484A KR20230040484A KR1020210123674A KR20210123674A KR20230040484A KR 20230040484 A KR20230040484 A KR 20230040484A KR 1020210123674 A KR1020210123674 A KR 1020210123674A KR 20210123674 A KR20210123674 A KR 20210123674A KR 20230040484 A KR20230040484 A KR 20230040484A
- Authority
- KR
- South Korea
- Prior art keywords
- chest
- bounding box
- object detection
- ray image
- image
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000011976 chest X-ray Methods 0.000 claims abstract description 135
- 238000002591 computed tomography Methods 0.000 claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 238000002059 diagnostic imaging Methods 0.000 claims description 21
- 208000006029 Cardiomegaly Diseases 0.000 claims description 19
- 206010003598 Atelectasis Diseases 0.000 claims description 11
- 208000002151 Pleural effusion Diseases 0.000 claims description 11
- 208000007123 Pulmonary Atelectasis Diseases 0.000 claims description 11
- 206010035600 Pleural fibrosis Diseases 0.000 claims description 9
- 230000002685 pulmonary effect Effects 0.000 claims description 9
- 206010067182 Bronchial wall thickening Diseases 0.000 claims description 7
- 206010014561 Emphysema Diseases 0.000 claims description 6
- 201000009267 bronchiectasis Diseases 0.000 claims description 6
- 238000007596 consolidation process Methods 0.000 claims description 6
- 201000003144 pneumothorax Diseases 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 abstract description 12
- 210000000038 chest Anatomy 0.000 description 76
- 238000013527 convolutional neural network Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 16
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 201000010099 disease Diseases 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000011176 pooling Methods 0.000 description 9
- 210000004072 lung Anatomy 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 230000003902 lesion Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 5
- 206010061218 Inflammation Diseases 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004054 inflammatory process Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 206010003445 Ascites Diseases 0.000 description 3
- 206010011224 Cough Diseases 0.000 description 3
- 206010011732 Cyst Diseases 0.000 description 3
- 206010013975 Dyspnoeas Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 3
- 208000019425 cirrhosis of liver Diseases 0.000 description 3
- 208000031513 cyst Diseases 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 230000009245 menopause Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000000059 Dyspnea Diseases 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 206010041660 Splenomegaly Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000013220 shortness of breath Diseases 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 201000008827 tuberculosis Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010019273 Heart disease congenital Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010062717 Increased upper airway secretion Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 206010037423 Pulmonary oedema Diseases 0.000 description 1
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000035508 accumulation Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001062 anti-nausea Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036471 bradycardia Effects 0.000 description 1
- 208000006218 bradycardia Diseases 0.000 description 1
- 210000003123 bronchiole Anatomy 0.000 description 1
- 230000007882 cirrhosis Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 208000028831 congenital heart disease Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 208000018578 heart valve disease Diseases 0.000 description 1
- 230000001631 hypertensive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007331 pathological accumulation Effects 0.000 description 1
- 208000026435 phlegm Diseases 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 210000003281 pleural cavity Anatomy 0.000 description 1
- 208000008423 pleurisy Diseases 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 208000005333 pulmonary edema Diseases 0.000 description 1
- 208000005069 pulmonary fibrosis Diseases 0.000 description 1
- 201000004193 respiratory failure Diseases 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명의 실시예들은 흉부 영상 객체 검출 시스템 및 그 방법에 관한 것이다. 본 발명의 실시예들에 따르면, 복수의 흉부 엑스레이 영상 및 흉부 엑스레이 영상과 대응되는 흉부 컴퓨터 단층 촬영 영상의 판독문을 수집하는 수집부; 흉부 엑스레이 영상 및 흉부 컴퓨터 단층 촬영 영상의 판독문을 수신하고, 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 하나 이상의 객체를 흉부 엑스레이 영상에 바운딩 박스로 매칭하고, 바운딩 박스 정보를 포함하며 흉부 엑스레이 영상에 대응되는 바운딩 박스 주석을 생성하는 매칭부; 흉부 엑스레이 영상 및 바운딩 박스 주석을 수신하고, 흉부 엑스레이 영상 및 바운딩 박스 주석에 객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성하는 모델 생성부; 환자의 흉부 엑스레이 영상을 객체 검출 모델에 입력하여 환자의 흉부 엑스레이 영상에서 객체를 검출하는 객체 검출부; 및 검출부에서 검출된 객체를 출력하는 출력부;를 포함하는 흉부 의료 영상 객체 검출 시스템을 제공할 수 있다.
Description
본 발명은 흉부 의료 영상 객체 검출 시스템 및 그 방법을 제공한다.
흉부 엑스레이 검사는 X-선을 이용한 검사 방법으로, 흉부의 질환을 진단하는 가장 간단하고 기본적인 검사이다. 심장의 크기와 모양, 심장 혈관 및 대혈관 각 부위의 확장, 폐혈관의 크기, 폐 부종 등을 알 수 있는 가장 쉽고도 필수적인 검사이다.
CT(Computed Tomography)검사로 알려진 컴퓨터 단층 촬영 검사는 X-선을 대상부위에 투과시켜 그 흡수의 차이를 컴퓨터로 재구성하여 인체의 단면 영상이나 3차원적인 입체 영상을 얻는 영상 진단 방법이다. 컴퓨터를 이용하여 계산 및 영상을 재구성하므로 매우 작은 조직의 밀도차이를 구별할 수 있어, 질병의 조기진단과 함께 그 구성성분까지도 확인할 수 있다.
흉부 컴퓨터 단층 촬영 검사는 폐 실질조직 내의 질환과 작은 크기의 폐결절(Nodule)진단, 그리고 기관지 부위의 진단을 위해 시행할 수 있다. 또한 폐암의 유무 파악, 병기 결절, 타 장기로부터의 전이 여부를 파악할 수 있다.
흉부 엑스레이 영상 기반의 컴퓨터 지원 감지(Computer-aided detection)는 1950년대부터 대두되고 있었고, 판독의 정확도를 높일 뿐만 아니라, 판독의의 판독 시간을 대폭 줄일 수 있다.
현재 개발된 흉부 엑스레이 영상 기반의 컴퓨터 지원 프로그램들이 대부분 특정 질병에 대한 단일 판독 프로그램으로, 폐결절이면 폐결절, 결핵이면 결핵 각각의 범주 해당여부에 따른 학습을 통해 개발하여, 누락된 오류가 발생한 부분에 대하여 교정이 어렵고, 질병의 진단에 있어서 범용성을 가지 못한다는 문제가 있다.
객체 검출(Object detection) 기술은 컴퓨터 비전 및 영상 처리와 관련된 기술로서, 디지털 영상에서 객체를 감지하는 일을 취급한다. 최근 인공지능 기반의 딥 러닝 기술이 발달하면서, 합성곱 신경망을 기반으로 한 객체 검출 알고리즘이 다양한 분야에서 활용되고 있다.
흉부 엑스레이 영상 기반 검사는 가장 쉽게 접할 수 있는 영상검사이지만, 단순 2차원 영상으로 정보가 상당히 제한된다. 따라서 미세한 병변 또는 초기의 병변 진단에 제한이 있다. 또한 많은 판독량에 비해 전문 인력이 부족하여 판독의 질이 균일하지 않다. 또한, 흉부 엑스레이 영상 기반 검사는 판독하는 자의 육안으로 관찰하는 방법으로 수행되므로, 육안으로 분석할 때의 해상도와 흉부 엑스레이 영상의 해상도 차이로 인하여 영상이 담고 있는 정보를 파악하는데 제한될 수 있다.
일례로, 2020년 1198명의 환자를 상대로 진행된 엑스레이 영상 기반의 COVID-19 판독의 결과로, 민감도는 56%, 특이도는 60%로 매우 낮고, 종합 정확도도 57%에 불과하다는 연구 결과가 있다. 같은 연구 결과에서 흉부 컴퓨터 단층 촬영 검사 판독의 경우에는 85%의 민감도, 50%의 특이도를 얻을 수 있었다.
흉부 컴퓨터 단층 촬영 검사는 영상 시퀀스를 통해 3차원적으로 판단할 수 있기 때문에 풍부한 진단이 가능하다. 다만, 일부 낙후된 지역 내지 국가에서는 흉부 컴퓨터 단층 촬영 검사 자체가 어려울 수 있다.
본 발명의 실시예들은 흉부 엑스레이 영상에 이와 대응되는 전문의가 판독한 흉부 컴퓨터 단층 촬영 영상 판독문에서 파악한 객체를 매칭시킬 수 있다. 높은 수준의 정확도를 가지는 판독결과로써 흉부 엑스레이 영상 및 매칭된 객체를 인공지능 알고리즘을 이용하여 학습시켜 객체 검출 모델을 생성할 수 있고, 객체 검출 모델에 진단하려는 환자의 엑스레이 영상을 입력하여 전문의 수준의 판독결과를 얻을 수 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에서 본 발명의 실시예들은 복수의 흉부 엑스레이 영상 및 흉부 엑스레이 영상과 대응되는 흉부 컴퓨터 단층 촬영 영상의 판독문을 수집하는 수집부; 흉부 엑스레이 영상 및 흉부 컴퓨터 단층 촬영 영상의 판독문을 수신하고, 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 하나 이상의 객체를 흉부 엑스레이 영상에 바운딩 박스로 매칭하고, 객체에 대응되는 바운딩 박스 정보를 포함하며 흉부 엑스레이 영상에 대응되는 바운딩 박스 주석을 생성하는 매칭부; 흉부 엑스레이 영상 및 바운딩 박스 주석을 수신하고, 흉부 엑스레이 영상 및 바운딩 박스 주석에 객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성하는 모델 생성부; 환자의 흉부 엑스레이 영상을 객체 검출 모델에 입력하여 환자의 흉부 엑스레이 영상에서 객체를 검출하는 객체 검출부; 및 검출부에서 검출된 객체를 출력하는 출력부;를 포함하고, 흉부 컴퓨터 단층 촬영 영상의 판독문은,전문의의 소견에 따라 작성된 흉부 의료 영상 객체 검출 시스템을 제공한다.
다른 측면에서, 본 발명의 실시예들은 흉부 의료 영상 객체 검출 방법에 있어서, 복수의 흉부 엑스레이 영상 및 흉부 엑스레이 영상과 대응되는 흉부 컴퓨터 단층 촬영 영상의 판독문을 수집하는 수집 단계; 흉부 엑스레이 영상 및 흉부 컴퓨터 단층 촬영 영상의 판독문을 수신하고, 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 하나 이상의 객체를 흉부 엑스레이 영상에 바운딩 박스로 매칭하는 매칭 단계; 객체에 대응되는 바운딩 박스 정보를 포함하며 흉부 엑스레이 영상에 대응되는 바운딩 박스 주석을 생성하는 주석 생성 단계; 흉부 엑스레이 영상 및 바운딩 박스 주석을 수신하고, 흉부 엑스레이 영상 및 바운딩 박스 주석에 객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성하는 모델 생성 단계; 환자의 흉부 엑스레이 영상을 객체 검출 모델에 입력하여 환자의 흉부 엑스레이 영상에서 객체를 검출하는 객체 검출 단계; 및 검출 단계에서 검출된 객체를 출력하는 출력 단계;를 포함하는 흉부 의료 영상 객체 검출 방법을 제공한다.
본 발명의 실시예들에 따르면, 객체 검출 알고리즘을 이용한 객체 검출 모델 설계를 통해 환자의 흉부 엑스레이 영상으로부터 진단에 사용될 객체를 검출할 수 있다.
본 발명의 실시예들에 따르면, 흉부 의료 영상 객체 검출 시스템은 흉부 엑스레이 영상으로부터 하나 이상의 객체를 한 번에 검출할 수 있고, 검출된 객체를 흉부 엑스레이 영상에 표시할 수 있다. 흉부 엑스레이 영상만으로 판독하는 자의 육안에 의한 관찰에서 기인한 해상도 등의 제한사항을 넘어, 흉부 컴퓨터 단층 촬영 영상 수준에 준하는 객체 검출이 가능하고, 이를 1차 진단에 활용할 수 있다.
본 발명의 실시예들에 따르면, 흉부 의료 영상 객체 검출 시스템에 의해 자동으로 객체 검출이 가능하므로, 영상 의학 전문의의 업무 부담을 감소시킬 수 있고, 엑스레이 판독 비용을 경감할 수 있다.
도 1은 본 발명의 실시예들에 따른 흉부 의료 영상 개체 검출 시스템의 개략적인 구성도이다.
도2는 본 발명의 실시예들에 따른 매칭부가 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체 중 흉부 엑스레이 영상에 매칭할 객체를 정하는 동작을 나타내는 흐름도이다.
도 3는 본 발명의 실시예들에 따른 매칭부가 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체를 흉부 엑스레이 영상에 바운딩 박스로 매칭하는 동작의 일 예를 나타내는 도면이다.
도 4은 본 발명의 실시예들에 따른 매칭부가 바운딩 박스 주석을 생성하는 동작의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시예들에 따른 객체의 종류를 표시한 도면이다.
도 6는 본 발명의 실시예들에 따른 객체에 대한 바운딩 박스 정보의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시예들에 따른 바운딩 박스 주석의 일 예를 나타낸 도면이다.
도 8은 본 발명의 실시예들에 따른 모델 생성부가 흉부 엑스레이 영상 및 바운딩 박스 주석에 Faster R-CNN 알고리즘을 적용하여 객체 검출 모델을 생성하는 동작을 나타내는 순서도이다.
도 9는 본 발명의 실시예들에 따른 객체 검출부가 흉부 엑스레이 영상을 Faster R-CNN 알고리즘을 학습한 객체 검출 모델에 입력하여 객체를 검출하는 동작을 나타낸 도면이다.
도 10은 본 발명의 실시예들에 따른 흉부 의료 영상 객체 검출 방법을 나타낸 도면이다.
도2는 본 발명의 실시예들에 따른 매칭부가 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체 중 흉부 엑스레이 영상에 매칭할 객체를 정하는 동작을 나타내는 흐름도이다.
도 3는 본 발명의 실시예들에 따른 매칭부가 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체를 흉부 엑스레이 영상에 바운딩 박스로 매칭하는 동작의 일 예를 나타내는 도면이다.
도 4은 본 발명의 실시예들에 따른 매칭부가 바운딩 박스 주석을 생성하는 동작의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시예들에 따른 객체의 종류를 표시한 도면이다.
도 6는 본 발명의 실시예들에 따른 객체에 대한 바운딩 박스 정보의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시예들에 따른 바운딩 박스 주석의 일 예를 나타낸 도면이다.
도 8은 본 발명의 실시예들에 따른 모델 생성부가 흉부 엑스레이 영상 및 바운딩 박스 주석에 Faster R-CNN 알고리즘을 적용하여 객체 검출 모델을 생성하는 동작을 나타내는 순서도이다.
도 9는 본 발명의 실시예들에 따른 객체 검출부가 흉부 엑스레이 영상을 Faster R-CNN 알고리즘을 학습한 객체 검출 모델에 입력하여 객체를 검출하는 동작을 나타낸 도면이다.
도 10은 본 발명의 실시예들에 따른 흉부 의료 영상 객체 검출 방법을 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실행할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"도어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들의 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
도 1은 본 발명의 실시예들에 따른 흉부 의료 영상 개체 검출 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 흉부 의료 영상 객체 검출 시스템(100)은, 수집부(110), 매칭부(120), 모델 생성부(130), 객체 검출부(140) 및 출력부(150)를 포함할 수 있다.
수집부(110)는 복수의 흉부 엑스레이 영상 및 흉부 엑스레이 영상과 대응되는 흉부 컴퓨터 단층 촬영 영상의 판독문을 수집할 수 있다.
흉부 컴퓨터 단층 촬영 영상의 판독문은 전문의의 소견에 따라 작성된 것일 수 있다. 흉부 컴퓨터 단층 촬영은 영상 시퀀스를 이용하여 3차원적으로 진단이 가능하다. 따라서 2차원의 평면 영상인 흉부 엑스레이 영상에 비하여 상대적으로 정밀한 진단이 가능하며, 다양한 질병을 파악할 수 있다.
객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성하기 위한 학습데이터로 사용될 흉부 엑스레이 영상과 이와 대응되는 흉부 컴퓨터 단층 촬영 영상은 동일한 일자의 인접한 시간에 촬영된 것을 사용할 수 있다. 동일한 일자의 인접한 시간에 촬영된 흉부 엑스레이 영상과 흉부 컴퓨터 단층 촬영 영상을 이용하면 두 영상간의 객체의 차이를 최소화할 수 있고, 흉부 컴퓨터 단층 촬영을 이용한 정밀한 진단 내용이 흉부 엑스레이 영상에 반영될 수 있다.
매칭부(120)는 상기 흉부 엑스레이 영상 및 상기 흉부 컴퓨터 단층 촬영 영상의 판독문을 수신하고, 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 하나 이상의 객체를 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 매칭할 수 있다. 그리고 매칭부(120)는 바운딩 박스 정보(Bounding Box Information)를 포함하며 흉부 엑스레이 영상에 대응되는 바운딩 박스 주석(Bounding Box Annotation)을 생성할 수 있다.
바운딩 박스 정보(Bounding Box Information)는 흉부 엑스레이 영상에 대하여 객체가 위치하는 영역 및 객체의 종류에 관한 정보를 의미한다. 바운딩 박스 주석(Bounding Box Annotation)은 하나의 흉부 엑스레이 영상에 매칭된 모든 객체들에 대하여 그 바운딩 박스 정보(Bounding Box Information)를 담고 있는 레이블을 의미한다. 바운딩 박스 주석(Bounding Box Annotation)은 해당하는 흉부 엑스레이 영상에 일체로 합쳐서 취급될 수 있고, 흉부 엑스레이 영상과는 별도로 취급되어 관리될 수도 있다.
모델 생성부(130)는 흉부 엑스레이 영상 및 바운딩 박스 주석(Bounding Box Annotation)을 수신하고, 흉부 엑스레이 영상 및 바운딩 박스 주석(Bounding Box Annotation)에 객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성할 수 있다.
객체 검출 알고리즘으로는 전통적인 방법인 캐니 에지(Canny Edge) 검출 알고리즘, 해리스 코너(harris corner) 검출 알고리즘, Haar-Like 피쳐(feature) 선택 알고리즘, HOG(Histogram of Oriented Gradient) 알고리즘, SIFT 알고리즘(Scale Invariant Feature Transform) 및 SVM, Adaboost를 포함하는 분류(Classification) 알고리즘 등을 사용할 수 있다.
또한, 모델 생성부(130)는 객체 검출 알고리즘 중 딥 러닝 알고리즘에 한 분류인 합성곱 신경망(CNN)을 객체 검출 모델 학습에 사용할 수 있다. 합성곱 신경망(CNN)은 시각적 영상을 분석하는데 사용되는 신경망이다. 다차원 배열의 처리에 특화되어 있고, 이미지에서 특징을 추출하여 처리할 수 있다. 합성곱 신경망(CNN)은 합성곱층과 풀링층으로 구성될 수 있다.
합성곱층은 합성곱(Convolution) 연산을 통해서 영상의 특징을 추출하는 역할을 수행할 수 있다. 합성곱층은 입력된 영상에 대하여 특정 크기의 필터를 훑으면서 합성곱(Convolution) 연산을 수행하여 피처 맵(Feature Map)을 생성할 수 있다.
합성곱 신경망(CNN)은 합성곱(Convolution) 연산을 수행하면서, 피처 맵(Feature Map)의 크기를 입력된 영상의 크기와 동일하게 유지하기 위하여 패딩(Padding)을 수행할 수 있다. 패딩(Padding)은 합성곱 신경망(CNN) 입력의 가장자리에 특정 개수의 폭만큼 행과 열을 추가하는 것을 의미한다. 패딩(Padding)은 추가한 열과 행에는 0을 채우는 제로 패딩(Zero Padding)이 사용될 수 있다.
일반적으로 합성곱층 다음에는 풀링층을 추가할 수 있다. 풀링층은 피처 맵(Feature Map)을 다운샘플링하여 피처 맵(Feature Map)의 크기를 줄이는 풀링(Pooling) 연산을 수행할 수 있다. 풀링(Pooling)의 방법에는 특정 영역에 대한 최대 값을 추출하는 최대 풀링(Max Pooling)과 특정 영역에 대한 평균을 추출하는 평균 풀링(Average Pooling) 등이 사용될 수 있다. 풀링(Pooling)을 사용하는 경우, 피처 맵(Feature Map)의 크기가 줄어드므로 피처 맵(Feature Map)의 가중치의 개수를 줄일 수 있다.
합성곱 신경망(CNN)에서 입력에 대한 특징이 추출되었으면, 추출된 특징 값들을 기 학습된 신경망에 넣어 분류할 수 있다.
합성곱 신경망(CNN)을 이용한 객체 검출 알고리즘으로는 R-CNN 알고리즘, Fast R-CNN 알고리즘, Faster R-CNN 알고리즘 등이 이용될 수 있다.
객체 검출부(140)는 환자의 흉부 엑스레이 영상을 객체 검출 모델에 입력하여 환자의 흉부 엑스레이 영상에서 객체를 검출할 수 있다.
객체 검출부(140)는 모델 생성부(130)에서 생성된 객체 검출 모델에 특정 환자의 흉부 엑스레이 영상을 입력하면, 환자의 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 처리된 객체의 위치 및 영역과 객체의 종류를 검출 결과로서 파악할 수 있다.
출력부(150)는 객체 검출부(140)에서 검출된 객체를 출력할 수 있다.
출력부(150)는 객체 검출부(140)에서 생성된 객체 검출 결과를 출력할 수 있다. 이때, 출력부(150)는 디스플레이를 통한 화면출력 또는 프린터를 이용한 검출 결과 인쇄 등의 방법으로 검출 결과를 출력할 수 있다. 출력부(150)는 검출 결과를 환자의 흉부 엑스레이 영상에 검출된 객체의 바운딩 박스(Bounding Box)가 표시되는 방식으로 출력할 수 있다.
도2는 본 발명의 실시예들에 따른 매칭부(120)가 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체 중 흉부 엑스레이 영상에 매칭할 객체를 정하는 동작을 나타내는 흐름도이다.
도 2를 참조하면, 매칭부(120)가 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체를 흉부 엑스레이 영상에 매칭 가능한지 여부를 파악하는 동작을 확인할 수 있다.
흉부 컴퓨터 단층 촬영의 영상은 상술한 바와 같이, 영상 시퀀스를 통해 3차원적인 판단이 가능하기 때문에 흉부 엑스레이 영상에 비해서 정밀한 진단이 가능하여 다양한 질병을 파악할 수 있다. 흉부 엑스레이 영상은 2차원 평면 영상이므로, 흉부 컴퓨터 단층 촬영 영상에서는 파악할 수 있는 객체라도, 흉부 엑스레이 영상에서는 객체를 파악할 수 없는 경우가 존재할 수 있다.
매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체를 파악하고, 흉부 엑스레이 영상에 반영할 수 있는지 여부를 판단할 수 있다.
일 예로, 흉부 컴퓨터 단층 촬영 영상의 판독문의 기록을 참고할 때, 1) 심장비대, 2) 선형/소분절 무기폐, 3) 비특이적 양측 흉수, 4) 복수 및 비장 비대를 동반한 간경변증, 5) 간낭종으로 의심되는 왼쪽 반구에 2.1cm 미만의 작은 약독화된 병변이라는 객체가 파악될 수 있다(S210).
매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문에서 파악되는 객체에 대하여, 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 매칭하여 반영 가능한지 여부를 판단할 수 있다(S220).
매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문으로부터 파악되는 객체를 흉부 엑스레이 영상에 반영할 수 있는 경우(S220-Y), 객체를 흉부 엑스레이 영상상에 바운딩 박스(Bounding Box)로 매칭할 수 있다(S230).
매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 내용에 따라 1) 심장비대, 2) 선형/소분절 무기폐, 3) 비특이적 양측 흉수에 대하여는 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 매칭 가능하다고 판단할 수 있다.
매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문으로부터 파악되는 객체를 흉부 엑스레이 영상에 반영할 수 없는 경우(S220-N), 해당 객체를 흉부 엑스레이 영상에 매칭하지 않고, 매칭 과정을 종료할 수 있다.
매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 내용에 따라 4) 복수 및 비장 비대를 동반한 간경변증, 5) 간낭종으로 의심되는 왼쪽 반구에 2.1cm 미만의 작은 약독화된 병변에 대하여는 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 매칭 불가능하다고 판단할 수 있다.
이 경우, 매칭부(120)는 1) 심장비대, 2) 선형/소분절 무기폐, 3) 비특이적 양측 흉수에 대해서는 해당 객체에 대하여 흉부 엑스레이 영상 상에 바운딩 박스(Bounding Box)로 매칭하고(S230), 해당하는 바운딩 박스 정보(Bounding Box Information)를 바운딩 박스 주석(Bounding Box Annotation)에 저장할 수 있고, 4) 복수 및 비장 비대를 동분한 간경변증, 5) 간낭종으로 의심되는 왼쪽 반구에 2.1cm 미만의 작은 약독화된 병변에 대해서는 흉부 엑스레이 영상에 별도의 표시하지 않고 종료하여 학습 대상에서 제외할 수 있다.
도 3는 본 발명의 실시예들에 따른 매칭부가 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체를 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 매칭하는 동작의 일 예를 나타내는 도면이다.
도 3를 참조하면, 매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 객체에 대하여 흉부 엑스레이 영상 상에 바운딩 박스(Bounding Box)로 매칭할 수 있다.
도2에서 상술한바와 같이, 흉부 컴퓨터 단층 촬영 영상의 판독문에서 파악되는 객체에 대하여, 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 매칭 가능한지 판단한 후, 매칭부(120)는 바운딩 박스(Bounding Box)로 매칭 가능하다고 판단된 객체들에 대해서는 매칭을 실행할 수 있다.
일 예로, 매칭부(120)는 흉부 컴퓨터 단층 촬영 영상의 판독문에서 파악되는 1) 심장비대, 2) 선형/소분절 무기폐, 3) 비특이적 양측 흉수에 대하여, 객체 및 객체가 존재하는 영역에 대한 정보를 표시할 수 있다.
도 4은 본 발명의 실시예들에 따른 매칭부가 바운딩 박스 주석(Bounding Box Annotation)을 생성하는 동작의 일 예를 나타낸 도면이다.
도 4을 참조하면, 매칭부(120)는 바운딩 박스 정보(Bounding Box Information)를 포함하며 흉부 엑스레이 영상과 대응되는 바운딩 박스 주석(Bounding Box Annotation)을 생성할 수 있다.
상술한 바와 같이, 매칭부(120)에서 생성되는 바운딩 박스 주석(Bounding Box Annotation)은 각 객체에 대응되는 바운딩 박스 정보(Bounding Box Information)를 담고 있다. 바운딩 박스 주석(Bounding Box Annotation)은 흉부 엑스레이 영상과 함께 객체 검출 알고리즘을 적용하여 객체 검출 모델을 학습시킬 때 사용될 수 있다.
바운딩 박스 주석(Bounding Box Annotation)은 객체 검출 모델을 학습시킬 때, 그라운드 트루스(Ground Truth)로 사용될 수 있다. 그라운드 트루스(Ground Truth)란, 학습하고자 하는 데이터의 원본 또는 실제 값을 표현한 것이며 객체 검출을 이용하여 객체 검출 모델을 학습시키거나, 학습된 객체 검출 모델의 성능을 검증할 때, 기준으로 사용할 수 있다.
일 예로, 도 4에는 흉부 엑스레이 영상에 심장비대, 폐경화, 흉막 삼출_좌, 흉막 삼출_우의 객체가 바운딩 박스(Bounding Box)로 매칭되어 있으며, 바운딩 박스 주석(Bounding Box Annotation)은 흉부 엑스레이 영상에 포함된 모든 객체들의 바운딩 박스 정보(Bounding Box Information)를 포함할 수 있다.
도 5는 본 발명의 실시예들에 따른 객체의 종류를 표시한 도면이다.
도 5를 참조하면, 흉부 엑스레이 영상에 매칭된 객체는 흉막삼출(Pleural effusion), 무기폐(Atelectasis), 폐결절(Pulmonary nodule), 폐경화(Consolidation), 폐기종(Emphysema), 기흉(Pneumothorax), 심장비대(Cardiomegaly), 케모포트(Chemoport), 페이스메이커(Pacemaker), 기관지벽 비후(Bronchial wall thickening), 망상 음영(Reticular opacities), 흉막 비후(Pleural thickening), 기관지 확장증(Bronchiectasis)을 포함하는 객체의 종류 중 어느 하나에 해당할 수 있다
흉부 엑스레이 영상에 매칭된 객체는 진단명 및 의료 기구를 포함할 수 있다.
객체의 진단명은 전통적인 흉부 엑스레이 영상에서 파악 가능한 진단명과, 흉부 컴퓨터 단층 촬영 영상에 특화된 진단명을 포함할 수 있다.
전통적인 흉부 엑스레이 영상에서 파악 가능한 진단명으로는 흉막삼출(Pleural effusion), 무기폐(Atelectasis), 폐결절(Pulmonary nodule), 폐경화(Consolidation), 폐기종(Emphysema), 기흉(Pneumothorax), 심장비대(Cardiomegaly) 등을 포함할 수 있다.
흉막삼출(Pleural effusion)은 흉강 내에, 혈장성 액체나 삼출액이 축적되는 것으로 염증, 종양 심부전이 원인일 수 있다. 호흡부전의 증상 등이 있을 수 있다. 흉강 내에 고인 액체를 튜브를 이용하거나 주사기를 이용하여 빼내어 치료할 수 있다.
무기폐(Atelectasis)는 폐전체 또는 일부분의 폐포속에 공기가 없어지는 것을 말한다. 허파꽈리가 완전히 펴지지 못하고 쪼그라들어 있어서 허파꽈리가 가지고 있던 공기가 없어지고, 허파꽈리의 기능인 가스 교환이 일어나지 않는 상태를 말한다. 폐암, 이물질, 과도한 분비물에 의한 기관지 폐쇄가 무기폐의 원인이 될 수 있다.
폐결절(Pulmonary nodule)은 폐에 형성되는 비정상적인 성장으로서 하나 이상의 결절이 있을 수 있다. 폐의 반점, 동전 병병 또는 그림자로 나타날 수 있다.
폐경화(Consolidation)는 폐섬유화증이라고 하며, 폐의 굳어가는 부분이 넓어지고, 폐의 용적이 감소하며, 굳은 폐로 인해 호흡 곤란, 기침, 가래 등의 증상이 심화되는 질병이다.
폐기종(Emphysema)은 조직이나 기관에 공기가 병적으로 축적되는 것으로, 퍼하 꽈리벽이 파괴됨으로써 종말 세기관지 먼지쪽의 숨길이 비정상적으로 확장되는 질병이다.
기흉(Pneumothorax)은 흉막강 안에 공기나 가스가 비정상적으로 모이는 현상을 말하는 것으로, 심한 통증과 숨이 차고 재채기, 구토, 기침 및 호흡 곤란 등을 일으키는 예가 많다.
심장비대(Cardiomegaly)는 심장에 지나치게 부담이 가서 심근이 두꺼워지고 심장이 커진 상태를 말한다. 심장 기형, 심장 판막증, 고혈압증 등의 각종 심장병에 의한 것일 수 있고, 운동선수 등에게서 나타나는 건강한 것일 수 있다. 특히 고혈압 환자는 대게 동맥의 높은 압력에 대항하여 심장이 비대해 질 수 있다.
흉부 컴퓨터 단층 촬영 영상에 특화된 진단명으로는 기관지벽 비후, 망상 음영, 흉막 비후, 기관지 확장증 등을 포함할 수 있다.
기관지벽 비후는(Bronchial Wall Thickening)은 천식환자의 흉부 CT에서 발견되는 가장 흔한 이상소견으로, 기관지벽이 두꺼워 진 것을 의미한다. 기관지 염증의 경우 기관지벽 비후로 나타날 수 있다.
망상 음영(Reticular opacities)은 그물모양의 음영으로, 염증이 폐포를 침범하는 경우, 흉부 컴퓨터 단층 촬영 영상에서 망상 음영으로 나타날 수 있다.
흉막 비후(Pleural thickening)는 늑막 비후라고도 하며, 흉막이 두꺼워 진 것을 흉막 비후라고 한다. 흉막염을 앓고 나면 흉막이 두꺼워질 수 있다. 흉부 컴퓨터 단층 촬영 영상에서 흉막 비후 여부를 확인할 수 있다.
기관지확장증(bronchiectasis)은 기관지의 내강 일부가 확장되고 변형되는 병으로, 악취호흡, 기침발작, 점액 및 농성물질의 객출을 특징으로 한다. 확장된 내강이 가래가 고이기 쉽게 되고, 세균으로 인해 염증을 일으킬 수 있다.
흉부 엑스레이 영상에서 파악할 수 있는 의료 기구로는 케모포트, 페이스메이커를 포함할 수 있다.
케모포트(Chemoport)는 주기적으로 항함제를 안전하게 맞기 위해 삽입하는 기구로, 심장 쪽의 피부 밑에 있으며, 약물 투입구만 피부 밖으로 나와있고, 외관상으로는 잘 보이지 않는다. 흉부 엑스레이 영상에서 원형의 구조로 나타날 수 있다.
페이스메이커(Pacemaker)는 심근병증 등 심장 박동이 정상적이지 못하거나, 부정맥에 의한 서맥이 있는 경우 이식하는 기구로서, 심장에 들어간 전극 선을 통해 심방과 심실의 박동을 조율해 주는 의료기기이다. 박동발생기와 전극선으로 구성되며, 금속부분에 의해 흉부 엑스레이 영상에서 파악 가능하다.
도 6는 본 발명의 실시예들에 따른 객체에 대한 바운딩 박스 정보(Bounding Box Information)의 일 예를 나타낸 도면이다.
도 6을 참조하면, 바운딩 박스 정보(Bounding Box Information)는 흉부 엑스레이 영상에 매칭된 바운딩 박스(Bounding Box)의 중심 X좌표, 중심 Y좌표, 가로 길이, 세로 길이 및 바운딩 박스(Bounding Box)가 표시하는 객체의 객체명을 포함할 수 있다.
일 예로, 흉부 엑스레이 영상에 매칭된 객체 중 심장비대에 대해서 검토할 때, 심장비대 객체의 바운딩 박스(Bounding Box)의 중심 X좌표는 X1, 중심 Y좌표는 Y1이며, 가로 길이는 W1, 세로 길이는 H1이고, 객체명은 심장비대에 해당할 수 있다.
따라서, 심장비대 객체의 바운딩 박스 정보(Bounding Box Information)는 "X1, Y1, W1, H1, 심장비대"를 포함할 수 있다.
도 7은 본 발명의 실시예들에 따른 바운딩 박스 주석(Bounding Box Annotation)의 일 예를 나타낸 도면이다.
도 7을 참조하면, 바운딩 박스 주석(Bounding Box Annotation)은 흉부 엑스레이 영상에 포함된 모든 객체의 바운딩 박스 정보(Bounding Box Information)를 포함할 수 있다.
상술한 바와 같이, 바운딩 박스 정보(Bounding Box Information)는 바운딩 박스(Bounding Box)의 중심 X좌표, 중심 Y좌표, 가로 길이, 세로 길이 및 바운딩 박스(Bounding Box)가 표시하는 객체의 객체명을 포함할 수 있는데, 바운딩 박스 주석(Bounding Box Annotation)은 흉부 엑스레이 영상에 매칭된 모든 객체에 대한 바운딩 박스(Bounding Box)의 중심 X좌표, 중심 Y좌표, 가로 길이, 세로 길이 및 바운딩 박스(Bounding Box)가 표시하는 객체의 객체명을 포함할 수 있다. 일 예로, 심장비대에 대해서는, "X1, Y1, W1, H1, 심장비대"로 저장될 수 있으며, 폐경화에 대해서는 "X2, Y2, W2, H2, 폐경화"로, 양 측의 흉막삼출에 대해서는 "X3, Y3, W3, H3, 흉막삼출_좌"와 "X4, Y4, W4, H4, 흉막삼출_우"로 저장될 수 있다.
바운딩 박스 주석(Bounding Box Annotation)은 상술한 바와 같이 그라운드 트루스(Ground Truth)역할을 수행할 수 있으며, 객체 검출 모델의 학습에 있어서, 특정 영역에 객체가 포함되는지 여부를 판단할 때 및 특정 영역에 대한 바운딩 박스 회귀(Bounding Box regression)를 통해 정확한 영역 검출에 사용될 수 있다.
도 8은 본 발명의 실시예들에 따른 모델 생성부가 흉부 엑스레이 영상 및 바운딩 박스 주석(Bounding Box Annotation)에 Faster R-CNN 알고리즘을 적용하여 객체 검출 모델을 생성하는 동작을 나타내는 순서도이다.
도 8을 참조하면, 모델 생성부(130)는 흉부 엑스레이 영상 및 바운딩 박스 주석(Bounding Box Annotation)에 Faster R-CNN 알고리즘을 적용하여 객체 검출 모델을 생성할 수 있다.
모델 생성부(130)는 객체 검출 모델을 생성할 때 사용하는 객체 검출 알고리즘에 있어서, 지역 기반 합성곱 신경망(Region Based Convolutional Neural Networks)을 사용할 수 있다. 그 중에서도 Faster R-CNN알고리즘을 사용할 수 있다.
Faster R-CNN은 이전에 제안 되었던 알고리즘인 Fast R-CNN의 구조를 계승하면서, 병목현상의 원인으로 지적되었던 선택적 탐색(Selective Search)부분 대신 Faster R-CNN은 지역 제안 네트워크(RPN)를 이용하여 관심 지역(RoI)을 계산할 수 있다. 이를 통하여 GPU를 활용한 관심 지역(RoI) 계산이 가능해졌고, Faster R-CNN 이전에 제안되었던 구조인 Fast R-CNN보다 적은 관심 지역(RoI)을 계산하면서도 더 높은 정확도를 확보할 수 있다. 또한, Faster R-CNN은 Fast R-CNN의 구조를 계승함에 있어 Fast R-CNN의 객체 검출 네트워크(Object Detection Network)를 채용하여 객체의 분류를 수행할 수 있다.
모델 생성부(130)는 흉부 엑스레이 영상 및 바운딩 박스 주석(Bounding Box Annotation)에 대하여 Faster R-CNN을 적용하여 객체 검출 모델을 생성할 때, 교대학습(Alternating training), 근사 합동학습(Approximate training), 비-근사 합동학습(Non-approximate training) 등의 방법을 사용할 수 있다. 일 예로, 교대학습(Alternating training)을 이용하여 객체 검출 모델을 생성하는 경우를 상정할 수 있다.
모델 생성부(130)는 기 학습된 합성곱 신경망(CNN) 모델을 이용하여 지역 제안 네트워크지역 제안 네트워크(RPN)를 학습시킬 수 있킨다(S810). 이때, 모델 생성부(130)는 흉부 엑스레이 영상과 그라운드 트루스(Ground Truth)로 사용되는 바운딩 박스 주석(Bounding Box Annotation)을 기 학습된 합성곱 신경망(CNN) 모델에 입력하여 지역 제안 네트워크지역 제안 네트워크(RPN)를 학습시킬 수 있다. 이 과정에서 기 학습된 합성곱 신경망(CNN) 모델과 지역 제안 네트워크지역 제안 네트워크(RPN)는 업데이트 될 수 있다.
모델 생성부(130)는 학습된 지역 제안 네트워크지역 제안 네트워크(RPN) 중에서 지역 제안 층만 가져와서 Fast R-CNN의 검출 네트워크객체 검출 네트워크(Object Detection Network)를 학습시킬 수 있다(S820). 이 과정에서 합성곱 신경망(CNN)과 Fast R-CNN의 검출 네트워크객체 검출 네트워크(Object Detection Network)는 업데이트 될 수 있다.
모델 생성부(130)는 합성곱 신경망(CNN)은 고정한 채, 지역 제안 네트워크지역 제안 네트워크(RPN)에 해당하는 층들에만 미세 조정(fine tune)할 수 있다(S830). 이 과정에서 지역 제안 네트워크지역 제안 네트워크(RPN)의 지역 제안 층만 업데이트 될 수 있다.
모델 생성부(130)는 합성곱 신경망(CNN)과 지역 제안 네트워크지역 제안 네트워크(RPN)에 포함된 층은 고정하고, Fast R-CNN의 검출 네트워크객체 검출 네트워크(Object Detection Network)에만 포함된 층들에 미세 조정을 할 수 있다(S840). 이 과정에서 Fast R-CNN의 검출 네트워크객체 검출 네트워크(Object Detection Network)만 업데이트 될 수 있다.
모델 생성부(130)는 교대 학습을 실행하여 합성곱 신경망(CNN)을 공유하는 지역 제안 네트워크지역 제안 네트워크(RPN)와 Fast R-CNN의 검출 네트워크객체 검출 네트워크(Object Detection Network)를 얻을 수 있다. S830 및 S840 단계에서 합성곱 신경망(CNN)을 고정한 채, 지역 제안 네트워크지역 제안 네트워크(RPN)와 Fast R-CNN의 검출 네트워크객체 검출 네트워크(Object Detection Network)를 얻었으므로, 합성곱 신경망(CNN)을 공유한다고 볼 수 있다.
도 9는 본 발명의 실시예들에 따른 객체 검출부(140)가 흉부 엑스레이 영상을 Faster R-CNN 알고리즘을 학습한 객체 검출 모델에 입력하여 객체를 검출하는 동작을 나타낸 도면이다.
도 9을 참조하면, 객체 검출부(140)는 환자의 흉부 엑스레이 영상을 Faster R-CNN알고리즘이 적용된 객체 검출 모델에 입력하여 환자의 흉부 엑스레이 영상에서 객체를 검출할 수 있다.
객체 검출부(140)는 검출을 위해 입력된 환자의 흉부 엑스레이 영상에 대하여 객체 검출 모델의 합성곱 신경망(CNN)을 거쳐 피처 맵(Feature Map)을 생성할 수 있고, 이를 지역 제안 네트워크지역 제안 네트워크(RPN)에 입력할 수 있다.
객체 검출부(140)의 지역 제안 네트워크(RPN)는 지역 제안을 생성하기 위해 피처 맵(Feature Map)위에 미리 학습된 3X3의 복수의 채널만큼 수행하는 중간 층(Intermediate Layer)과정을 연산할 수 있다.
객체 검출부(140)는 상기 중간 층(Intermediate Layer)과정을 통과하여 두 번째 피처 맵(Feature Map)을 얻을 수 있다. 객체 검출부(140)는 두번째 피처 맵(2nd Feature map)을 이용하여, 분류와 바운딩 박스 회귀(Bounding Box Regression) 예측값을 계산할 수 있다.
객체 검출부(140)에서 분류를 수행하기 위해서는 1X1 합성곱을 2X(앵커 박스의 수) 채널만큼 수행해야 하는데, 앵커 박스(Anchor Box)는 하나 이상이 사용될 수 있고, 일 예로, 9개를 사용할 수 있다.
객체 검출부(140)에서 분류를 수행할 때, 입력된 피처 맵(Feature Map)의 넓이에 18(2X9)의 깊이를 가지는 결과를 얻을 수 있는데, 이는 각 좌표에 해당하는 앵커 박스(Anchor Box)들이 객체에 해당하는지 여부에 대한 예측값을 담고 있다.
객체 검출부(140)는 바운딩 박스 회귀(Bounding Box Regression)에 있어서 1X1 합성곱을 4X(앵커 박스의 수)채널 수만큼 수행할 수 있다. 일 예로, 앵커 박스(Anchor Box)의 종류가 9 가지인 경우, 36의 깊이를 얻을 수 있는데, 이는 각 앵커마다의 X좌표, Y좌표, 넓이, 높이에 대한 예측값에 해당 할 수 있다. 바운딩 박스 회귀(Bounding Box Regression)에 합성곱(Convolution) 연산 결과로 얻은 값을 그대로 사용할 수 있다.
객체 검출부(140)는 분류를 통해 얻은 물체일 확률 값들을 정렬하고, 높은 순으로 특정 개수만큼의 앵커를 추려낼 수 있다. 추려낸 앵커들에 대해 각각 바운딩 박스 회귀(Bounding Box Regression)를 적용할 수 있다. 이후, 복수의 검출된 바운딩 박스(Bounding Box)에 대하여 IoU를 적용하여, 겹친다고 판단되는 박스들을 추려내는 알고리즘인 비-최대 억제(Non-Maximum Suppression)을 적용하여 관심 지역(RoI)을 계산할 수 있다.
객체 검출부(140)는 관심 지역(RoI)을 첫 번째 피처 맵(Feature Map)에 투영한 다음 관심 지역 풀링(RoI Pooling)을 적용하여 새로운 피처 맵(Feature Map)을 생성하고, 이에 대하여 Fast R-CNN 검출 네트워크객체 검출 네트워크(Object Detection Network)에 입력하면, 객체 예측 결과를 얻을 수 있다.
Faster R-CNN의 합성곱 신경망(CNN)으로는 스킵 커넥션을 지원하는 신경망을 사용할 수 있다.
일반적인 신경망 모델 학습시 모델의 층이 깊어질수록 학습 결과가 좋을 수 있지만, 층을 너무 깊이 쌓거나 노드 수를 너무 크게 증가시키면 입력 정보가 여러 층을 거치면서 정보의 손실이 발생할 수 있어, 가중치가 잘못된 방향으로 갱신되는 문제가 발생할 수 있다. 따라서 이를 해결하기 위해 이전 층의 정보를 이용하기 위해 이전 층의 정보를 연결하는 스킵 커넥션(Skip Connection)을 적용할 수 있다.
합성곱 신경망(CNN)은 출력층에서 입력층 방향으로 계산하면서 가중치를 업데이트하는 역전파 과정에서, 입력층으로 갈수록 기울기가 점차적으로 작아지는 기울기 소실 문제가 발생할 수 있다. 기울기 소실 문제를 해결하기 위해 정류 선형 유닛(reLU)과 배치 정규화를 사용할 수 있다.
정류 선형 유닛이란, f(x) = max(0,x)로 입력값이 0보다 작으면 0을, 0보다 크면 입력값 그대로를 출력하는 유닛이다. 정류 선형 유닛을 사용하면, 시그모이드(Sigmoid) 함수나 하이퍼볼릭 탄젠트(tanh) 함수를 사용하여 발생할 수 있는 기울기 소실 문제를 방지할 수 있다.
배치 정규화(Batch Normalization)는 한번에 입력되는 배치 단위로 정규화 하는 것을 의미한다. 배치 정규화는 각 층에서 활성화 함수를 통과하기 전에 수행된다. 배치 정규화가 구현된 경우, 각 층마다 정규화 하는 부분이 존재하고, 변형된 분포가 나오지 않도록 조절할 수 있다.
배치 정규화는 미니배치의 평균과 분선을 이용해서 정규화 한 뒤에, 스케일 및 시프트 값을 감마값 베타값을 통하여 실행할 수 있다.
객체 검출부(140)는 모델 생성부(130)에서 생성된 객체 검출 모델의 성능을 평가할 수 있다. 성능 평가 방법으로는 mAP(mean Average Precision)을 사용할 수 있다.
객체 검출부(140)는 예측 영역과 그라운드 트루스(Ground Truth)의 실제 영역의 IoU(Intersection over Union)를 계산하고, IoU가 임계점 이상인 경우 제대로 검출했다고 판단할 수 있다.
IoU는 다음과 같이 계산할 수 있다.
정밀도(Precision)는 양성으로 판단한 것 중에서 옳게 양성으로 검출한 비율을 의미한다.
재현율(Recall)은 실제 양성인 것 중에서 옳게 양성으로 검출한 비율을 의미한다.
객체 검출부(140)는 성능 평가를 위한 객체 검출 결과, 각 객체명 별로 박스에 대한 예측의 정확도를 높은 순으로 나열했을 때, 누적되는 TP와 FP의 개수에 따라 정밀도(Precision)와 재현율(Recall)을 계산할 수 있다.
객체 검출부(140)는 PR curve(Precision-Recall curve)의 아래 면적을 계산하여 AP를 계산하고, 모든 클래스에 대해 평균을 구하면 mAP를 확인할 수 있다.
도 10은 본 발명의 실시예들에 따른 흉부 의료 영상 객체 검출 방법을 나타낸 도면이다.
도 10을 참조하면, 흉부 의료 영상 객체 검출 방법은, 복수의 흉부 엑스레이 영상 및 흉부 엑스레이 영상과 대응되는 흉부 컴퓨터 단층 촬영 영상의 판독문을 수집하는 수집 단계(S1010)를 포함할 수 있다. 한편, 수집 단계(S1010는 전술한 수집부(110)에 의해 실행될 수 있다.
그리고 흉부 의료 영상 객체 검출 방법은, 흉부 엑스레이 영상 및 흉부 컴퓨터 단층 촬영 영상의 판독문을 수신하고, 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 하나 이상의 객체를 흉부 엑스레이 영상에 바운딩 박스(Bounding Box)로 매칭하는 매칭 단계(S1020)를 포함할 수 있다.
그리고 흉부 의료 영상 객체 검출 방법은, 바운딩 박스 정보(Bounding Box Information)를 포함하며 흉부 엑스레이 영상에 대응되는 바운딩 박스 주석(Bounding Box Annotation)을 생성하는 주석 생성 단계(S1030)를 포함할 수 있다.
한편, 매칭 단계(S1020) 및 주석 생성 단계(S1030)는 전술한 매칭부(120)에 의해 실행될 수 있다.
그리고 흉부 의료 영상 객체 검출 방법은, 흉부 엑스레이 영상 및 바운딩 박스 주석(Bounding Box Annotation)을 수신하고, 흉부 엑스레이 영상 및 바운딩 박스 주석(Bounding Box Annotation)에 객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성하는 모델 생성 단계(S1040)를 포함할 수 있다. 한편, 모델 생성 단계(S1040)는 전술한 모델 생성부(130)에 의해 실행될 수 있다.
그리고 흉부 의료 영상 객체 검출 방법은, 환자의 흉부 엑스레이 영상을 객체 검출 모델에 입력하여 환자의 흉부 엑스레이 영상에서 객체를 검출하는 객체 검출 단계(S1050)를 포함할 수 있다. 한편, 객체 검출 단계(S1050)는 객체 검출부(140)에 의해 실행될 수 있다.
그리고 흉부 의료 영상 객체 검출 방법은, 검출 단계에서 검출된 객체를 출력하는 출력 단계(S1060)를 포함할 수 있다. 한편, 출력 단계(S1060)는 전술한 출력부(150)에 의해 실행될 수 있다.
이때, 객체는 흉막삼출(Pleural effusion), 무기폐(Atelectasis), 폐결절(Pulmonary nodule), 폐경화(Consolidation), 폐기종(Emphysema), 기흉(Pneumothorax), 심장비대(Cardiomegaly), 케모포트(Chemoport), 페이스메이커(Pacemaker), 기관지벽 비후(Bronchial wall thickening), 망상 음영(Reticular opacities), 흉막 비후(Pleural thickening), 기관지 확장증(Bronchiectasis)을 포함하는 객체의 종류 중 어느 하나에 해당할 수 있다.
이때, 바운딩 박스 정보(Bounding Box Information)는 흉부 엑스레이 영상에 매칭된 바운딩 박스(Bounding Box)의 중심 X좌표, 중심 Y좌표, 가로 길이, 세로 길이 및 바운딩 박스(Bounding Box)가 표시하는 객체의 객체명을 포함할 수 있다.
또한, 바운딩 박스 주석(Bounding Box Annotation)은 흉부 엑스레이 영상에 포함된 모든 객체의 바운딩 박스 정보(Bounding Box Information)를 포함할 수 있다.
이때, 객체 검출 알고리즘은 Faster R-CNN 알고리즘일 수 있다.
전술한 흉부 의료 영상 객체 검출 시스템(100)은, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한, 전술한 흉부 의료 영상 객체 검출 방법은, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어, 실시예들에 따른 흉부 의료 영상 객체 검출 방법은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 전술한 흉부 의료 영상 객체 검출 방법을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 전술한 흉부 의료 영상 객체 검출 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 흉부 의료 영상 객체 검출 방법을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 흉부 의료 영상 객체 검출 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
흉부 의료 영상 객체 검출 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
흉부 의료 영상 객체 검출 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 흉부 의료 영상 객체 검출 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어 단일형으로 설명되어 있는 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 흉부 의료 영상 객체 검출 시스템
110: 수집부
120: 매칭부
130: 모델 생성부
140: 개체 검출부
150: 출력부
110: 수집부
120: 매칭부
130: 모델 생성부
140: 개체 검출부
150: 출력부
Claims (10)
- 복수의 흉부 엑스레이 영상 및 상기 흉부 엑스레이 영상과 대응되는 흉부 컴퓨터 단층 촬영 영상의 판독문을 수집하는 수집부;
상기 흉부 엑스레이 영상 및 상기 흉부 컴퓨터 단층 촬영 영상의 판독문을 수신하고, 상기 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 하나 이상의 객체를 상기 흉부 엑스레이 영상에 바운딩 박스로 매칭하고, 상기 바운딩 박스 정보를 포함하며 상기 흉부 엑스레이 영상에 대응되는 바운딩 박스 주석을 생성하는 매칭부;
상기 흉부 엑스레이 영상 및 상기 바운딩 박스 주석을 수신하고, 상기 흉부 엑스레이 영상 및 상기 바운딩 박스 주석에 객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성하는 모델 생성부;
검출 대상 환자의 흉부 엑스레이 영상을 상기 객체 검출 모델에 입력하여 상기 검출 대상 환자의 흉부 엑스레이 영상에서 객체를 검출하는 객체 검출부; 및
상기 검출부에서 검출된 객체를 출력하는 출력부;를 포함하는 흉부 의료 영상 객체 검출 시스템.
- 제1항에 있어서,
상기 객체는,
흉막삼출(Pleural effusion), 무기폐(Atelectasis), 폐결절(Pulmonary nodule), 폐경화(Consolidation), 폐기종(Emphysema), 기흉(Pneumothorax), 심장비대(Cardiomegaly), 케모포트(Chemoport), 페이스메이커(Pacemaker), 기관지벽 비후(Bronchial wall thickening), 망상 음영(Reticular opacities), 흉막 비후(Pleural thickening), 기관지 확장증(Bronchiectasis) 중 하나에 해당하는 흉부 의료 영상 객체 검출 시스템.
- 제1항에 있어서,
상기 바운딩 박스 정보는,
상기 흉부 엑스레이 영상에 매칭된 바운딩 박스의 중심 X좌표, 중심 Y좌표, 가로 길이, 세로 길이 및 상기 바운딩 박스가 표시하는 객체의 객체명을 포함하는 흉부 영상 객체 검출 시스템
- 제1항에 있어서,
상기 바운딩 박스 주석은 상기 흉부 엑스레이 영상에 포함된 모든 객체의 바운딩 박스 정보를 포함하는 흉부 영상 객체 검출 시스템.
- 제1항에 있어서,
상기 객체 검출 알고리즘은,
Faster R-CNN 알고리즘인 흉부 영상 객체 검출 시스템.
- 흉부 의료 영상 객체 검출 방법에 있어서,
복수의 흉부 엑스레이 영상 및 상기 흉부 엑스레이 영상과 대응되는 흉부 컴퓨터 단층 촬영 영상의 판독문을 수집하는 수집 단계;
상기 흉부 엑스레이 영상 및 상기 흉부 컴퓨터 단층 촬영 영상의 판독문을 수신하고, 상기 흉부 컴퓨터 단층 촬영 영상의 판독문에 기록된 하나 이상의 객체를 상기 흉부 엑스레이 영상에 바운딩 박스로 매칭하는 매칭 단계;
상기 바운딩 박스 정보를 포함하며 상기 흉부 엑스레이 영상에 대응되는 바운딩 박스 주석을 생성하는 주석 생성 단계;
상기 흉부 엑스레이 영상 및 상기 바운딩 박스 주석을 수신하고, 상기 흉부 엑스레이 영상 및 상기 바운딩 박스 주석에 객체 검출 알고리즘을 적용하여 객체 검출 모델을 생성하는 모델 생성 단계;
검출 대상 환자의 흉부 엑스레이 영상을 상기 객체 검출 모델에 입력하여 상기 검출 대상 환자의 흉부 엑스레이 영상에서 객체를 검출하는 객체 검출 단계; 및
상기 검출 단계에서 검출된 객체를 출력하는 출력 단계;를 포함하는 흉부 의료 영상 객체 검출 방법
- 제6항에 있어서,
상기 객체는,
흉막삼출(Pleural effusion), 무기폐(Atelectasis), 폐결절(Pulmonary nodule), 폐경화(Consolidation), 폐기종(Emphysema), 기흉(Pneumothorax), 심장비대(Cardiomegaly), 케모포트(Chemoport), 페이스메이커(Pacemaker), 기관지벽 비후(Bronchial wall thickening), 망상 음영(Reticular opacities), 흉막 비후(Pleural thickening), 기관지 확장증(Bronchiectasis) 중 하나에 해당하는 흉부 의료 영상 객체 검출 방법.
- 제6항에 있어서,
상기 바운딩 박스 정보는,
상기 흉부 엑스레이 영상에 매칭된 바운딩 박스의 중심 X좌표, 중심 Y좌표, 가로 길이, 세로 길이 및 상기 바운딩 박스가 표시하는 객체의 객체명을 포함하는 흉부 영상 객체 검출 방법.
- 제6항에 있어서,
상기 바운딩 박스 주석은 상기 흉부 엑스레이 영상에 포함된 모든 객체의 바운딩 박스 정보를 포함하는 흉부 영상 객체 검출 방법.
- 제6항에 있어서,
상기 객체 검출 알고리즘은,
Faster R-CNN 알고리즘인 흉부 영상 객체 검출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210123674A KR102710082B1 (ko) | 2021-09-16 | 흉부 의료 영상 객체 검출 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210123674A KR102710082B1 (ko) | 2021-09-16 | 흉부 의료 영상 객체 검출 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230040484A true KR20230040484A (ko) | 2023-03-23 |
| KR102710082B1 KR102710082B1 (ko) | 2024-09-25 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024080393A1 (ko) * | 2022-10-12 | 2024-04-18 | 가톨릭대학교 산학협력단 | 흉부 의료 영상 객체 검출 시스템 및 그 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024080393A1 (ko) * | 2022-10-12 | 2024-04-18 | 가톨릭대학교 산학협력단 | 흉부 의료 영상 객체 검출 시스템 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yun et al. | Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net | |
| Fuhrman et al. | A review of explainable and interpretable AI with applications in COVID‐19 imaging | |
| Yamashita et al. | Convolutional neural networks: an overview and application in radiology | |
| US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
| CN111563523B (zh) | 利用机器训练的异常检测的copd分类 | |
| Gündel et al. | Robust classification from noisy labels: Integrating additional knowledge for chest radiography abnormality assessment | |
| JP7346553B2 (ja) | 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定 | |
| US11830197B2 (en) | Generating shape difference data between multiple imaging modalities | |
| US20230230241A1 (en) | System and method for detecting lung abnormalities | |
| US20220101034A1 (en) | Method and system for segmenting interventional device in image | |
| EP3929936A1 (en) | Automatic detection of covid-19 in chest ct images | |
| CN113971657A (zh) | 用于医学成像中的异常评估的基于噪声标签的机器学习 | |
| US20240078669A1 (en) | System and methods for inferring thickness of object classes of interest in two-dimensional medical images using deep neural networks | |
| CN114037651A (zh) | 根据x射线图像的与covid-19相关联的异常模式的评估 | |
| Liang et al. | Dense networks with relative location awareness for thorax disease identification | |
| Zhang et al. | CdcSegNet: automatic COVID-19 infection segmentation from CT images | |
| Liu et al. | RPLS-Net: pulmonary lobe segmentation based on 3D fully convolutional networks and multi-task learning | |
| Chaisangmongkon et al. | External validation of deep learning algorithms for cardiothoracic ratio measurement | |
| US20220020145A1 (en) | Real-time estimation of local cardiac tissue properties and uncertainties based on imaging and electro-anatomical maps | |
| JP2024528381A (ja) | 医用画像データの自動追跡読影方法及びシステム | |
| KR102710082B1 (ko) | 흉부 의료 영상 객체 검출 시스템 및 그 방법 | |
| KR20230040484A (ko) | 흉부 의료 영상 객체 검출 시스템 및 그 방법 | |
| Li et al. | Detectability of pulmonary nodules by deep learning: Results from a phantom study | |
| JP2022069143A (ja) | Ａｉを用いる診断装置、学習データ生成装置、データ要求装置、診断システム、及び、プログラム | |
| Kalkeseetharaman et al. | A Bird’s Eye View Approach on the Usage of Deep Learning Methods in Lung Cancer Detection and Future Directions Using X-Ray and CT Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |