KR102356348B1 - 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법 - Google Patents
흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법 Download PDFInfo
- Publication number
- KR102356348B1 KR102356348B1 KR1020210088910A KR20210088910A KR102356348B1 KR 102356348 B1 KR102356348 B1 KR 102356348B1 KR 1020210088910 A KR1020210088910 A KR 1020210088910A KR 20210088910 A KR20210088910 A KR 20210088910A KR 102356348 B1 KR102356348 B1 KR 102356348B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lung
- chest
- lung region
- segmentation
- Prior art date
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 359
- 230000011218 segmentation Effects 0.000 title claims abstract description 201
- 238000011976 chest X-ray Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000012800 visualization Methods 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 24
- 238000012360 testing method Methods 0.000 description 10
- 208000019693 Lung disease Diseases 0.000 description 8
- 238000001514 detection method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/56—Details of data transmission or power supply, e.g. use of slip rings
- A61B6/563—Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법에 관한 것이다. 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법은, 영상 입력부가 외부로부터 흉부 엑스-레이 영상을 입력받는 단계와; 영상 생성부가 흉부 엑스-레이 영상을 바탕으로 지역적 균일화(CLAHE) 영상과 전역적 균일화(HEQ) 영상을 생성하는 단계와; 영상 구성부가 상기 CLAHE 영상 및 HEQ 영상과 상기 흉부 엑스-레이 영상의 3채널 영상을 구성하는 단계와; 폐 영역 분할 제1 모델이 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성하는 단계와; 폐 영역 분할 제2 모델이 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성하는 단계와; 영상 통합부가 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성하는 단계와; 외곽선 추적부가 상기 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적하는 단계; 및 제어부가 외곽선 추적부의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 단계를 포함한다.
Description
본 발명은 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법에 관한 것으로서, 더 상세하게는 흉부 엑스-레이 영상에서 폐 영역, 배경 영역 및 폐 영역과 배경 영역의 경계 영역을 표시해 줌으로써 폐 영역을 보다 효과적으로 분석할 수 있도록 하는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법에 관한 것이다.
의료 영상 분야에서 이미지 분석과 시각화는 진단 및 치료 시스템에서 중요한 부분을 차지한다. 이러한 의료 영상 분야에서 영상 처리 및 3차원 가시화 기법은 의학 연구, 교육 및 외과적 치료나 방사선 치료 등으로 확대되고 있다.
흉부 엑스-레이(X-ray) 영상은 폐 질환을 진단하는데 좋은 의료 영상 데이터로 활용할 수 있다. 흉부 엑스-레이 영상에서 정상인의 폐(lung) 영역은 폐를 둘러싸고 있는 영역과 구분이 쉬울 수 있으나, 폐렴(pneumonia)과 같은 질환이 있는 환자의 경우 폐 영역을 명확하게 구분하기가 어려울 수 있다.
한편, 한국 등록특허공보 제10-1685821호(특허문헌 1)에는 "흉부 X-ray 영상에서 몸체 및 관심영역 분할 방법 및 시스템"이 개시되어 있는 바, 이에 따른 흉부 X-ray 영상에서 몸체 및 관심영역 분할 방법은, 배경성분 검출부가 히스토그램의 중심부부터 시작하여 순차적으로 영상의 밝기값을 상승시키면서 상기 히스토그램의 기울기를 이용하여 배경성분을 검출하는 단계; 가이드 필터를 이용하여 상기 검출된 배경성분과 관심영역의 경계오차를 줄이는 단계; 및 목표영역 검출부가 상기 관심영역 중 목표영역을 경계지점으로 하여 초기 검출을 한 후, 상기 목표영역을 제외한 부분을 제거하고, 바운딩 박스를 이용하여 상기 관심영역을 분할함으로써 상기 목표영역을 검출하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 관심영역 중 목표영역을 경계지점으로 하여 초기 검출을 한 후, 목표영역을 제외한 부분을 제거하고, 바운딩 박스를 이용하여 상기 관심영역을 분할함으로써 상기 목표영역을 검출함에 따라 목표영역을 정확히 얻을 수 있는 장점이 있기는 하나, 최종 획득된 영상에서 목표영역과 배경영역 및 목표영역과 배경영역의 경계영역을 명확히 구분하여 보여주지는 않아, 목표영역을 좀 더 정확히 분석하기는 어려운 문제점을 내포하고 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 개선하기 위하여 창출된 것으로서, 흉부 엑스-레이 영상에서 폐 영역, 배경 영역 및 폐 영역과 배경 영역의 경계 영역을 표시해 줌으로써 폐 영역을 보다 효과적으로 분석할 수 있도록 하는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 시스템은,
외부로부터 흉부 엑스-레이 영상을 입력받는 영상 입력부와;
상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상을 바탕으로 지역적 균일화(Contrast Limited Adaptive Histogram Equalization; CLAHE) 영상과 전역적 균일화(Histogram Equalization; HEQ) 영상을 생성하는 영상 생성부와;
상기 영상 생성부에 의해 생성된 CLAHE 영상 및 HEQ 영상과 상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상의 3채널 영상을 구성하는 영상 구성부와;
사전에 학습된 일종의 AI(Artificial Intelligence)로서, 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성하는 폐 영역 분할 제1 모델과;
사전에 학습된 일종의 AI로서, 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성하는 폐 영역 분할 제2 모델과;
상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성하는 영상 통합부와;
상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적하는 외곽선 추적부; 및
상기 영상 입력부, 영상 생성부, 영상 구성부, 폐 영역 분할 제1 모델, 폐 영역 분할 제2 모델, 영상 통합부 및 외곽선 추적부의 상태 체크 및 동작을 제어하며, 상기 외곽선 추적부의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 제어부를 포함하는 점에 그 특징이 있다.
여기서, 바람직하게는 외부 기기와의 데이터 송/수신을 위한 통신부를 더 포함할 수 있다.
또한, 상기 폐 영역 분할 제1 모델은 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다.
또한, 상기 폐 영역 분할 제2 모델은 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다.
또한, 상기 영상 통합부는 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성함에 있어서, 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상에 "Bitwise AND" 알고리즘을 적용하여 공통 폐 영역 분할 영상을 생성할 수 있다.
또한, 상기 외곽선 추적부는 상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적함에 있어서, 공통 폐 영역 분할 영상에서 CC(connected component)의 외곽선을 추적할 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법은,
a) 영상 입력부가 외부로부터 흉부 엑스-레이 영상을 입력받는 단계와;
b) 영상 생성부가 상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상을 바탕으로 지역적 균일화(Contrast Limited Adaptive Histogram Equalization; CLAHE) 영상과 전역적 균일화(Histogram Equalization; HEQ) 영상을 생성하는 단계와;
c) 영상 구성부가 상기 영상 생성부에 의해 생성된 CLAHE 영상 및 HEQ 영상과 상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상의 3채널 영상을 구성하는 단계와;
d) 사전에 학습된 폐 영역 분할 제1 모델이 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성하는 단계와;
e) 사전에 학습된 폐 영역 분할 제2 모델이 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성하는 단계와;
f) 영상 통합부가 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성하는 단계와;
g) 외곽선 추적부가 상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적하는 단계; 및
h) 제어부가 상기 외곽선 추적부의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 d)에서 상기 폐 영역 분할 제1 모델은 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다.
또한, 상기 단계 e)에서 상기 폐 영역 분할 제2 모델은 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다.
또한, 상기 단계 f)에서 상기 영상 통합부가 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성함에 있어서, 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상에 "Bitwise AND" 알고리즘을 적용하여 공통 폐 영역 분할 영상을 생성할 수 있다.
또한, 상기 단계 g)에서 상기 외곽선 추적부가 상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적함에 있어서, 공통 폐 영역 분할 영상에서 CC(connected component)의 외곽선을 추적할 수 있다.
이때, 상기 CC의 외곽선을 추적함에 있어서, 폐와 배경의 경계 부분과, 폐와 배경의 경계가 모호한 부분을 화면에 표시할 수 있다.
또한, 상기 단계 h)에서의 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 단계는,
h-1) 폐와 배경의 모호한 경계 부분을 표시할지 여부를 판별하는 단계와;
h-2) 상기 판별에서 모호한 경계 부분을 표시하지 않는 경우, 모호한 경계 부분도 폐 영역으로 시각화하는 단계와;
h-3) 상기 단계 h-1)의 판별에서 모호한 경계 부분을 표시하는 경우, 경계 두께를 세분화하는지 여부를 판별하는 단계와;
h-4) 상기 단계 h-3)의 판별에서 경계 두께를 세분화하는 경우, 폐 경계 두께를 세분화하고, 폐와 배경의 경계가 모호한 부분과 구별되어 확인할 수 있도록 시각화하는 단계; 및
h-5) 상기 단계 h-3)의 판별에서 경계 두께를 세분화하지 않는 경우, 폐 경계와 모호한 부분이 구별되어 확인할 수 있도록 시각화하는 단계를 포함할 수 있다.
또한, 상기 단계 h)에서 제어부가 상기 외곽선 추적부의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화함에 있어서, 추적 결과 검출된 폐 영역의 외곽선에서 폐와 배경의 경계가 모호한 부분의 외곽선 경계를 비율로 나타낼 수 있다.
이때, 상기 폐와 배경의 경계가 모호한 부분의 외곽선 경계 비율(Ar)은 다음과 같은 수식 관계로 표현될 수 있다.
Ar(%) = (모호한 영역의 외곽선 픽셀 수/검출된 영역의 외곽선 픽셀 수)×100
또한, 상기 단계 h) 이후에, 폐 영역 영상에 대한 분석 종료 여부를 판별하여, 분석 종료가 아니면 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 프로세스 진행을 상기 단계 a)로 회귀시키고, 분석 종료이면 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 프로세스를 종료하는 단계를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, 흉부 엑스-레이 영상에서 폐 영역, 배경 영역 및 폐 영역과 배경 영역의 경계 영역을 표시해 줌으로써 폐 영역을 보다 효과적으로 분석할 수 있는 장점이 있다.
도 1은 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 폐 영역 분할 제1 모델과 제2 모델을 이용한 폐 영역 분할 과정을 나타낸 도면이다.
도 4는 폐 영역 분할에 대한 결과(폐 경계 및 모호한 부분에 대한 시각화)를 나타낸 도면이다.
도 5는 폐 영역 분할 결과 영상에서 모호한 경계의 비율을 나타낸 도면이다.
도 6은 폐 영역 분할 모델 개발을 위한 정답 영상 생성의 예를 나타낸 도면이다.
도 7은 폐 영역 분할 모델 개발을 위한 학습 및 정답 영상의 예를 나타낸 도면이다.
도 8은 폐 영역 분할을 위한 모델의 학습 개요를 나타낸 도면이다.
도 9는 폐 분할 영상에서 CC(connected component)의 외곽선을 추적하며 폐와 경계가 모호한 부분을 나타내는 과정을 보여주는 도면이다.
도 10은 폐 영역 분할에 대한 결과(폐 영역의 정답이 있는 테스트 영상의 결과 예)를 나타낸 도면이다.
도 11은 폐 영역 분할에 대한 결과(폐 영역의 정답이 없는 테스트 영상의 결과의 일 예)를 나타낸 도면이다.
도 12는 폐 영역 분할에 대한 결과(폐 영역의 정답이 없는 테스트 영상의 결과의 다른 예)를 나타낸 도면이다.
도 13a 및 도 13b는 실제 폐질환이 없는 영상과 실제 폐질환이 있는 영상에 대한 폐 영역 분할에 대한 결과를 나타낸 도면이다.
도 14는 폐 영역 분할에 대한 결과로서 폐와 경계 영역을 4종류로 나타낸 예를 보여주는 도면이다.
도 2는 본 발명의 실시예에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 폐 영역 분할 제1 모델과 제2 모델을 이용한 폐 영역 분할 과정을 나타낸 도면이다.
도 4는 폐 영역 분할에 대한 결과(폐 경계 및 모호한 부분에 대한 시각화)를 나타낸 도면이다.
도 5는 폐 영역 분할 결과 영상에서 모호한 경계의 비율을 나타낸 도면이다.
도 6은 폐 영역 분할 모델 개발을 위한 정답 영상 생성의 예를 나타낸 도면이다.
도 7은 폐 영역 분할 모델 개발을 위한 학습 및 정답 영상의 예를 나타낸 도면이다.
도 8은 폐 영역 분할을 위한 모델의 학습 개요를 나타낸 도면이다.
도 9는 폐 분할 영상에서 CC(connected component)의 외곽선을 추적하며 폐와 경계가 모호한 부분을 나타내는 과정을 보여주는 도면이다.
도 10은 폐 영역 분할에 대한 결과(폐 영역의 정답이 있는 테스트 영상의 결과 예)를 나타낸 도면이다.
도 11은 폐 영역 분할에 대한 결과(폐 영역의 정답이 없는 테스트 영상의 결과의 일 예)를 나타낸 도면이다.
도 12는 폐 영역 분할에 대한 결과(폐 영역의 정답이 없는 테스트 영상의 결과의 다른 예)를 나타낸 도면이다.
도 13a 및 도 13b는 실제 폐질환이 없는 영상과 실제 폐질환이 있는 영상에 대한 폐 영역 분할에 대한 결과를 나타낸 도면이다.
도 14는 폐 영역 분할에 대한 결과로서 폐와 경계 영역을 4종류로 나타낸 예를 보여주는 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 시스템(100)은 영상 입력부(110), 영상 생성부(120), 영상 구성부(130), 폐 영역 분할 제1 모델(140), 폐 영역 분할 제2 모델(150), 영상 통합부(160), 외곽선 추적부(170), 제어부(180)를 포함하여 구성된다.
영상 입력부(110)는 외부로부터 흉부 엑스-레이 영상을 입력받는다. 예를 들면, 영상 입력부(110)는 흉부 엑스-레이 촬영 기사나 병원(의원)의 의사의 단말기 또는 외부의 서버로부터 흉부 엑스-레이 영상을 입력받을 수 있다.
영상 생성부(120)는 상기 영상 입력부(110)를 통해 입력받은 흉부 엑스-레이 영상을 바탕으로 지역적 균일화(Contrast Limited Adaptive Histogram Equalization; CLAHE) 영상과 전역적 균일화(Histogram Equalization; HEQ) 영상을 생성한다. 여기서, 지역적 균일화(CLAHE) 영상은 원 영상과 영상 밝기를 지역적으로 균일화한 영상이고, 전역적 균일화(HEQ) 영상은 원 영상과 영상 밝기를 전역적으로 균일화한 영상이다.
영상 구성부(130)는 상기 영상 생성부(120)에 의해 생성된 CLAHE 영상 및 HEQ 영상과 상기 영상 입력부(110)를 통해 입력받은 흉부 엑스-레이 영상의 3채널 영상을 구성한다.
폐 영역 분할 제1 모델(140)은 사전에 학습된 일종의 AI(Artificial Intelligence)로서, 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성한다. 여기서, 이와 같은 폐 영역 분할 제1 모델(140)은 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다.
폐 영역 분할 제2 모델(150)은 마찬가지로 사전에 학습된 일종의 AI로서, 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성한다. 이와 같은 폐 영역 분할 제2 모델(150)은 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다.
영상 통합부(160)는 상기 폐 영역 분할 제1 및 제2 모델(140)(150)에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성한다. 이와 같은 영상 통합부(160)는 상기 폐 영역 분할 제1 및 제2 모델(140)(150)에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성함에 있어서, 상기 폐 영역 분할 제1 및 제2 모델(140)(150)에 의해 각각 생성된 폐 영역 분할 영상에 "Bitwise AND" 알고리즘을 적용하여 공통 폐 영역 분할 영상을 생성할 수 있다.
외곽선 추적부(170)는 상기 영상 통합부(160)에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적한다. 이와 관련해서는 뒤에서 다시 설명하기로 한다. 여기서, 이와 같은 상기 외곽선 추적부(170)는 상기 영상 통합부(160)에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적함에 있어서, 공통 폐 영역 분할 영상에서 CC(connected component)의 외곽선을 추적할 수 있다.
제어부(180)는 상기 영상 입력부(110), 영상 생성부(120), 영상 구성부(130), 폐 영역 분할 제1 모델(140), 폐 영역 분할 제2 모델(150), 영상 통합부(160) 및 외곽선 추적부(170)의 상태 체크 및 동작을 제어하며, 상기 외곽선 추적부(170)의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화한다. 이와 관련해서는 뒤에서 다시 설명하기로 한다.
여기서, 이상과 같은 흉부 엑스-레이 영상에서 폐 영역 분할 시스템(100)은 외부 기기와의 데이터 송/수신을 위한 통신부(190)를 더 포함할 수 있다.
또한, 이상과 같은 흉부 엑스-레이 영상에서 폐 영역 분할 시스템(100)은 하나의 컴퓨터 시스템으로 통합되어 구성될 수도 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템을 기반으로 한 흉부 엑스-레이 영상에서 폐 영역 분할 방법에 대해 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 실행 과정을 나타낸 흐름도이고, 도 3은 폐 영역 분할 제1 모델과 제2 모델을 이용한 폐 영역 분할 과정을 나타낸 도면이다.
도 2 및 도 3을 참조하면, 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법에 따라, 먼저 영상 입력부(110)가 흉부 엑스-레이 영상을 입력받는다(단계 S201). 이때, 흉부 엑스-레이 영상의 소스는 흉부 엑스-레이 촬영 기사나 병원(의원)의 의사의 단말기 또는 외부의 서버일 수 있다.
이렇게 하여 영상 입력부(110)가 흉부 엑스-레이 영상을 입력받으면, 영상 생성부(120)는 영상 입력부(110)를 통해 입력받은 흉부 엑스-레이 영상을 바탕으로 지역적 균일화(Contrast Limited Adaptive Histogram Equalization; CLAHE) 영상과 전역적 균일화(Histogram Equalization; HEQ) 영상을 생성한다(단계 S202).
그러면, 영상 구성부(130)는 상기 영상 생성부(120)에 의해 생성된 CLAHE 영상 및 HEQ 영상과 상기 영상 입력부(110)를 통해 입력받은 흉부 엑스-레이 영상의 3채널 영상을 구성한다(단계 S203).
한편, 사전에 학습된 폐 영역 분할 제1 모델(140)은 상기 영상 입력부(110)를 통해 입력받은 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성한다(단계 S204). 여기서, 이와 같은 폐 영역 분할 제1 모델(140)은 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다.
또한, 사전에 학습된 폐 영역 분할 제2 모델(150)은 상기 영상 구성부(130)에 의해 구성된, 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상으로 이루어진 3채널 영상을 제공받아 폐 영역 분할 영상을 생성한다(단계 S205). 여기서, 상기 폐 영역 분할 제2 모델(150)은 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널 영상)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성할 수 있다. 여기서, 또한 이와 같이 폐 영역 분할 제2 모델(150)에 의해 폐 영역 분할 영상을 생성함에 있어서, 반드시 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상의 3채널 영상을 이용하는 것으로 한정되는 것은 아니며, 경우에 따라서는 흉부 엑스-레이 영상과 CLAHE 영상 또는 HEQ 영상의 2채널 영상을 이용하여 폐 영역 분할 영상을 생성할 수도 있다.
이렇게 하여 폐 영역 분할 제1 및 제2 모델(140)(150)에 의해 폐 영역 분할 영상이 각각 생성되면, 영상 통합부(160)는 상기 폐 영역 분할 제1 및 제2 모델 (140)(150)에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성한다(단계 S206). 여기서, 영상 통합부 (160)가 상기 폐 영역 분할 제1 및 제2 모델(140)(150)에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성함에 있어서, 상기 폐 영역 분할 제1 및 제2 모델(140)(150)에 의해 각각 생성된 폐 영역 분할 영상에 "Bitwise AND" 알고리즘을 적용하여 공통 폐 영역 분할 영상을 생성할 수 있다.
이후, 외곽선 추적부(170)는 상기 영상 통합부(160)에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적한다(단계 S207). 여기서, 외곽선 추적부(170)가 상기 영상 통합부(160)에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적함에 있어서, 공통 폐 영역 분할 영상에서 CC(connected component)의 외곽선을 추적할 수 있다. 이때, 상기 CC의 외곽선을 추적함에 있어서, 폐와 배경의 경계 부분과, 폐와 배경의 경계가 모호한 부분을 화면에 표시할 수 있다.
이상과 같이 외곽선 추적부(170)에 의해 폐 영역의 외곽선 추적이 완료되면, 제어부(180)는 상기 외곽선 추적부(170)의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화한다(단계 S208∼S212).
여기서, 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 과정에 대해 조금 더 상세히 설명해 보기로 한다.
먼저, 폐와 배경의 모호한 경계 부분을 표시할지 여부를 판별한다(단계 S208). 이 판별에서 모호한 경계 부분을 표시하지 않는 경우, 도 4의 (A)와 같이 모호한 경계 부분도 폐 영역으로 시각화한다(단계 S209).
그리고 상기 단계 S208의 판별에서 모호한 경계 부분을 표시하는 경우, 경계 두께를 세분화하는지 여부를 판별한다(단계 S210). 이 판별에서 경계 두께를 세분화하는 경우, 도 4의 (B)와 같이 폐 경계 두께를 세분화하고, 폐와 배경의 경계가 모호한 부분과 구별되어 확인할 수 있도록 시각화한다(단계 S211).
그리고 상기 단계 S210의 판별에서 경계 두께를 세분화하지 않는 경우, 도 4의 (B)와 같이 폐 경계와 모호한 부분이 구별되어 확인할 수 있도록 시각화한다(단계 S212).
한편, 상기 단계 S208∼S212에서 제어부(180)가 상기 외곽선 추적부(170)의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화함에 있어서, 추적 결과 검출된 폐 영역의 외곽선에서 폐와 배경의 경계가 모호한 부분의 외곽선 경계를 비율로 나타낼 수 있다.
이때, 상기 폐와 배경의 경계가 모호한 부분의 외곽선 경계 비율(Ar)은 다음과 같은 수식 관계로 표현될 수 있고, 도 5와 같이 좌, 우 폐에 대하여 각각 수치화된 비율로 표시될 수 있다.
Ar(%) = (모호한 영역의 외곽선 픽셀 수/검출된 영역의 외곽선 픽셀 수)×100
도 5에서 (A)는 양쪽 폐가 모두 모호한 경계의 비율이 0.0%인 경우이고, (B)는 일측 폐(도면상에서 좌측 폐)는 모호한 경계의 비율이 6.6%, 타측 폐(도면상에서 우측 폐)는 모호한 경계의 비율이 0.0%인 경우이며, (C)는 일측 폐(도면상에서 좌측 폐)는 모호한 경계의 비율이 0.0%, 타측 폐(도면상에서 우측 폐)는 모호한 경계의 비율이 18.0%인 경우이다. 여기서, 경우에 따라서는 좌,우 폐의 면적을 산출하여 나타낼 수 있고, 면적의 비율도 나타낼 수 있다. 또한, 모호한 경계의 비율 구간을 지정하여, 폐와 배경의 경계선의 색상과 다른 색상으로 비율을 나타낼 수도 있다. 또한, 상기 폐와 배경의 경계가 모호한 부분의 외곽선 경계 비율(Ar)은 좌측 및 우측 폐에 대해서 각각 산출할 수 있고, 흉부 엑스-레이 영상에서 폐가 검출되지 않는 경우, 그것을 알리는 메시지, 예를 들면 "검출되지 않았음"과 같은 메시지로 나타낼 수도 있다.
또한, 상기 단계 S211 및 S212 이후에, 폐 영역 영상에 대한 분석 종료 여부를 판별하여, 분석 종료가 아니면 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 프로세스 진행을 상기 단계 S201로 회귀시키고, 분석 종료이면 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 프로세스를 종료하는 단계(S213)를 더 포함할 수 있다.
이하에서는 이상과 같은 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법과 관련하여 조금 더 설명을 부가해 보기로 한다.
도 6은 폐 영역 분할 모델 개발을 위한 정답 영상 생성의 예를 나타낸 도면이다.
도 6을 참조하면, 폐 영역 분할 모델 개발을 위해 (A)와 같이 폐 영역과 배경 영역을 갖는 영상에 대해, 영상처리에서의 팽창(dilation) 알고리즘을 사용하여경계 영역의 두께를 설정하고, 폐 영역을 팽창하여 경계 영역을 설정함으로써 (B)와 같이 정답 영상을 생성할 수 있다.
도 7은 폐 영역 분할 모델 개발을 위한 학습 및 정답 영상의 예를 나타낸 도면이다.
도 7을 참조하면, 폐 영역 분할 모델 개발을 위해 폐 영역 분할 제1 모델(일종의 인공지능)에는 그레이 흉부 X-ray 영상인 입력 영상과 사전에 생성해 놓은 정답 영상(폐와 배경의 경계 영역이 표시되어 있는 영상)을 제공하여 학습시킬 수 있다. 그리고 폐 영역 분할 제2 모델(일종의 인공지능)에는 그레이 흉부 X-ray 영상, CLAHE 영상 및 HEQ 영상의 3 영상을 3채널로 구성한 입력 영상과 사전에 생성해 놓은 정답 영상을 제공하여 학습시킬 수 있다. 이때, 폐 영역 분할 제2 모델에 제공되는 입력 영상은 반드시 3채널로 구성되는 것으로 한정되는 것은 아니며, 경우에 따라서는 그레이 흉부 X-ray 영상과, CLAHE 영상 또는 HEQ 영상을 사용하여 2채널로 구성될 수도 있다.
도 8은 폐 영역 분할을 위한 모델의 학습 개요를 나타낸 도면이다.
도 8을 참조하면, 위의 도 7에서 설명한 바와 같이, 폐 영역 분할 제1 모델은 그레이 흉부 X-ray 영상인 입력 영상과, 사전에 생성해 놓은 정답 영상을 각각 제공받아 학습하게 되고, 폐 영역 분할 제2 모델은 그레이 흉부 X-ray 영상, CLAHE 영상 및 HEQ 영상의 3 영상을 3채널로 구성한 입력 영상과, 사전에 생성해 놓은 정답 영상을 제공받아 학습하게 된다.
도 9는 폐 분할 영상에서 CC(connected component)의 외곽선을 추적하며 폐와 경계가 모호한 부분을 나타내는 과정을 보여주는 도면이다.
도 9를 참조하면, 첫 번째 영상의 오른쪽 폐(도면상에서는 좌측 폐)의 상단으로부터 CC(connected component)의 외곽선을 따라가며, 픽셀값이 255이면 폐의 경계, 픽셀값이 127이면 경계가 모호한 부분(폐와 배경의 경계가 나타나지 않은 영역을 의미함), 픽셀값이 0(zero)이면 배경으로 나타내게 된다. 여기서, 255, 127, 0이라는 숫자는 적용한 값의 하나의 예에 불과하며, 3종류로 구분 가능한 숫자이면, 다른 숫자도 사용 가능하다.
이상과 같이 CC(connected component)의 외곽선을 추적하다가 경계가 모호한 부분이 탐지되면, 그 경계가 모호한 부분은 네 번째 영상에서와 같이 폐와 배경의 경계선(여기서는 적색)과는 다른 색상(여기서는 초록색)으로 나타내게 된다.
도 10은 폐 영역 분할에 대한 결과(폐 영역의 정답이 있는 테스트 영상의 결과 예)를 나타낸 도면이다.
도 10을 참조하면, (A)와 같이 폐 영역 분할 제1 모델에는 흉부 X-ray 영상과 폐 영역을 분할한 정답 영상이 입력되고, (B)와 같이 폐 영역 분할 제2 모델에는 흉부 X-ray 영상, CLAHE영상 및 HEQ 영상과 폐 영역을 분할한 정답 영상이 입력되며, 두 모델의 영역 분할 결과를 "Bitwise AND"하여 (C)와 같은 결과를 얻게 된다.
도 11은 폐 영역 분할에 대한 결과(폐 영역의 정답이 없는 테스트 영상의 결과의 일 예)를 나타낸 도면이다.
도 11을 참조하면, (A)와 같이 폐 영역 분할 제1 모델에는 폐 영역의 정답이 없는 테스트 영상과 흉부 X-ray 영상이 입력되고, (B)와 같이 폐 영역 분할 제2 모델에는 흉부 X-ray 영상, CLAHE 영상 및 HEQ 영상과 폐 영역의 정답이 없는 테스트 영상이 입력되며, 두 모델의 영역 분할 결과를 "Bitwise AND"하여 (C)와 같은 결과(모호한 경계가 없는 영상)를 얻게 된다.
도 12는 폐 영역 분할에 대한 결과(폐 영역의 정답이 없는 테스트 영상의 결과의 다른 예)를 나타낸 도면이다.
도 12를 참조하면, (A)와 같이 폐 영역 분할 제1 모델에는 폐 영역의 정답이 없는 테스트 영상과 흉부 X-ray 영상이 입력되고, (B)와 같이 폐 영역 분할 제2 모델에는 흉부 X-ray 영상, CLAHE 영상 및 HEQ 영상과 폐 영역의 정답이 없는 테스트 영상이 입력되며, 두 모델의 영역 분할 결과를 "Bitwise AND"하여 (C)와 같은 결과(모호한 경계가 있는 영상)를 얻게 된다.
도 13a 및 도 13b는 실제 폐질환이 없는 영상과 실제 폐질환이 있는 영상에 대한 폐 영역 분할에 대한 결과를 나타낸 도면이다.
도 13a를 참조하면, 실제 폐질환이 없는 영상에 대한 폐 영역 분할에 대한 결과는 (A)와 같이 폐 경계 구분이 잘된 경우, (B) 및 (C)와 같이 폐 경계가 일부 모호한 경우와 같은 영상을 얻을 수 있게 된다.
도 13b를 참조하면, 실제 폐질환이 있는 영상에 대한 폐 영역 분할에 대한 결과는 (D)와 같이 폐 경계 구분이 잘된 경우, (E)와 같이 폐 경계가 일부 모호한 경우, (F)와 같이 한 쪽 폐가 잘 안보이는 경우와 같은 영상을 얻을 수 있게 된다.
도 14는 폐 영역 분할에 대한 결과로서 폐와 경계 영역을 4종류로 나타낸 예를 보여주는 도면이다.
도 14를 참조하면, 폐 영역 분할 영상에서 CC(connected component)의 외곽선을 추적하며 폐와 배경의 경계의 두께에 따라 "두꺼운 영역", "얇은 영역"으로 나타낼 수 있다. 이때, 정답 영상을 생성할 때, 팽창했던 반복 회수를 기준으로 "두꺼운 영역"과 "얇은 영역"을 설정할 수 있다.
정답 영상 생성 시 3번 팽창했으면, CC를 반복적으로 침식(erosion) 연산한다. 이때, 예를 들어, 1번 연산하여 경계가 없어졌다면 "얇은 영역", 5번 연산하여 경계가 없어졌다면 "두꺼운 영역"으로 각각 설정할 수 있다.
이때, 또한 침식/팽창을 비율로 나타내어, CC의 외곽선 특정 좌표에서 폐와 배경의 경계의 두께가 1/3이면 "얇은 영역", 5/3이면 "두꺼운 영역"으로 각각 설정할 수도 있다.
이상의 설명과 같이, 본 발명에 따른 흉부 엑스-레이 영상에서 폐 영역 분할 방법은 흉부 엑스-레이 영상에서 폐 영역, 배경 영역 및 폐 영역과 배경 영역의 경계 영역을 표시해 줌으로써 폐 영역을 보다 효과적으로 분석할 수 있는 장점이 있다.
또한, 흉부 엑스-레이 영상에서 폐와 경계 영역이 영상 품질이나 폐질환 등에 의해 모호하여 확인이 어려울 수 있는데, 본 발명에서는 그 영역을 AI에 기반한 폐 영역 분할 모델에 의해 폐와 배경의 경계 영역의 모호한 부분도 표시해 줌으로써 더욱 정밀한 의료 영상 분석을 가능하게 하는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 입력부 120: 영상 생성부
130: 영상 구성부 140: 폐 영역 분할 제1 모델
150: 폐 영역 분할 제2 모델 160: 영상 통합부
170: 외곽선 추적부 180: 제어부
190: 통신부
130: 영상 구성부 140: 폐 영역 분할 제1 모델
150: 폐 영역 분할 제2 모델 160: 영상 통합부
170: 외곽선 추적부 180: 제어부
190: 통신부
Claims (16)
- 외부로부터 흉부 엑스-레이 영상을 입력받는 영상 입력부와;
상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상을 바탕으로 지역적 균일화(Contrast Limited Adaptive Histogram Equalization; CLAHE) 영상과 전역적 균일화(Histogram Equalization; HEQ) 영상을 생성하는 영상 생성부와;
상기 영상 생성부에 의해 생성된 CLAHE 영상 및 HEQ 영상과 상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상의 3채널 영상을 구성하는 영상 구성부와;
사전에 학습된 일종의 AI(Artificial Intelligence)로서, 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성하는 폐 영역 분할 제1 모델과;
사전에 학습된 일종의 AI로서, 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성하는 폐 영역 분할 제2 모델과;
상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성하는 영상 통합부와;
상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적하는 외곽선 추적부; 및
상기 영상 입력부, 영상 생성부, 영상 구성부, 폐 영역 분할 제1 모델, 폐 영역 분할 제2 모델, 영상 통합부 및 외곽선 추적부의 상태 체크 및 동작을 제어하며, 상기 외곽선 추적부의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 제어부를 포함하고,
상기 폐 영역 분할 제1 모델은 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성하는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템.
- 제1항에 있어서,
외부 기기와의 데이터 송/수신을 위한 통신부를 더 포함하는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템.
- 삭제
- 제1항에 있어서,
상기 폐 영역 분할 제2 모델은 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성하는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템.
- 제1항에 있어서,
상기 영상 통합부는 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성함에 있어서, 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상에 "Bitwise AND" 알고리즘을 적용하여 공통 폐 영역 분할 영상을 생성하는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템.
- 제1항에 있어서,
상기 외곽선 추적부는 상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적함에 있어서, 공통 폐 영역 분할 영상에서 CC(connected component)의 외곽선을 추적하는 흉부 엑스-레이 영상에서 폐 영역 분할 시스템.
- a) 영상 입력부가 외부로부터 흉부 엑스-레이 영상을 입력받는 단계와;
b) 영상 생성부가 상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상을 바탕으로 지역적 균일화(Contrast Limited Adaptive Histogram Equalization; CLAHE) 영상과 전역적 균일화(Histogram Equalization; HEQ) 영상을 생성하는 단계와;
c) 영상 구성부가 상기 영상 생성부에 의해 생성된 CLAHE 영상 및 HEQ 영상과 상기 영상 입력부를 통해 입력받은 흉부 엑스-레이 영상의 3채널 영상을 구성하는 단계와;
d) 사전에 학습된 폐 영역 분할 제1 모델이 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성하는 단계와;
e) 사전에 학습된 폐 영역 분할 제2 모델이 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성하는 단계와;
f) 영상 통합부가 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성하는 단계와;
g) 외곽선 추적부가 상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적하는 단계; 및
h) 제어부가 상기 외곽선 추적부의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 단계를 포함하고,
상기 단계 d)에서 상기 폐 영역 분할 제1 모델은 상기 흉부 엑스-레이 영상(1채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성하는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 삭제
- 제7항에 있어서,
상기 단계 e)에서 상기 폐 영역 분할 제2 모델은 상기 흉부 엑스-레이 영상, CLAHE 영상 및 HEQ 영상(3채널)을 제공받아 폐 영역 분할 영상을 생성함에 있어서, 폐 영역, 배경 영역, 폐와 배경의 경계 영역 영상을 생성하는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 제7항에 있어서,
상기 단계 f)에서 상기 영상 통합부가 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상을 각각 제공받아 하나의 영상으로 통합하여 공통 폐 영역 분할 영상을 생성함에 있어서, 상기 폐 영역 분할 제1 및 제2 모델에 의해 각각 생성된 폐 영역 분할 영상에 "Bitwise AND" 알고리즘을 적용하여 공통 폐 영역 분할 영상을 생성하는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 제7항에 있어서,
상기 단계 g)에서 상기 외곽선 추적부가 상기 영상 통합부에 의해 생성된 공통 폐 영역 분할 영상을 입력받아 폐 영역의 외곽선을 추적함에 있어서, 공통 폐 영역 분할 영상에서 CC(connected component)의 외곽선을 추적하는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 제11항에 있어서,
상기 CC의 외곽선을 추적함에 있어서, 폐와 배경의 경계 부분과, 폐와 배경의 경계가 모호한 부분을 화면에 표시하는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 제7항에 있어서,
상기 단계 h)에서의 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화하는 단계는,
h-1) 폐와 배경의 모호한 경계 부분을 표시할지 여부를 판별하는 단계와;
h-2) 상기 판별에서 모호한 경계 부분을 표시하지 않는 경우, 모호한 경계 부분도 폐 영역으로 시각화하는 단계와;
h-3) 상기 단계 h-1)의 판별에서 모호한 경계 부분을 표시하는 경우, 경계 두께를 세분화하는지 여부를 판별하는 단계와;
h-4) 상기 단계 h-3)의 판별에서 경계 두께를 세분화하는 경우, 폐 경계 두께를 세분화하고, 폐와 배경의 경계가 모호한 부분과 구별되어 확인할 수 있도록 시각화하는 단계; 및
h-5) 상기 단계 h-3)의 판별에서 경계 두께를 세분화하지 않는 경우, 폐 경계와 모호한 부분이 구별되어 확인할 수 있도록 시각화하는 단계를 포함하는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 제7항에 있어서,
상기 단계 h)에서 제어부가 상기 외곽선 추적부의 추적 결과를 바탕으로 폐와 배경의 경계가 모호한 부분을 구별하여 확인할 수 있도록 시각화함에 있어서, 추적 결과 검출된 폐 영역의 외곽선에서 폐와 배경의 경계가 모호한 부분의 외곽선 경계를 비율로 나타내는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 제14항에 있어서,
상기 폐와 배경의 경계가 모호한 부분의 외곽선 경계 비율(Ar)은,
Ar(%) = (모호한 영역의 외곽선 픽셀 수/검출된 영역의 외곽선 픽셀 수)×100의 수식 관계로 표현되는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
- 제7항에 있어서,
상기 단계 h) 이후에, 폐 영역 영상에 대한 분석 종료 여부를 판별하여, 분석 종료가 아니면 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 프로세스 진행을 상기 단계 a)로 회귀시키고, 분석 종료이면 흉부 엑스-레이 영상에서 폐 영역 분할 방법의 프로세스를 종료하는 단계를 더 포함하는 흉부 엑스-레이 영상에서 폐 영역 분할 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210088910A KR102356348B1 (ko) | 2021-07-07 | 2021-07-07 | 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210088910A KR102356348B1 (ko) | 2021-07-07 | 2021-07-07 | 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102356348B1 true KR102356348B1 (ko) | 2022-02-08 |
Family
ID=80252870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210088910A KR102356348B1 (ko) | 2021-07-07 | 2021-07-07 | 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102356348B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102564740B1 (ko) * | 2022-07-21 | 2023-08-10 | 주식회사 래디센 | 개선된 콘트라스트를 갖는 X-ray 이미지 보정 방법 및 이를 위한 장치 |
| KR20230130459A (ko) | 2022-03-03 | 2023-09-12 | 연세대학교 산학협력단 | 흉부 ct 이미지에서의 호흡기계 구조물 자동 분할 시스템 및 그 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101685821B1 (ko) | 2015-06-18 | 2016-12-13 | 인하대학교 산학협력단 | 흉부 Ｘ－ｒａｙ 영상에서 몸체 및 관심영역 분할 방법 및 시스템 |
| KR101685823B1 (ko) * | 2015-06-18 | 2016-12-21 | 인하대학교 산학협력단 | 흉부 Ｘ―ｒａｙ 영상을 위한 화질 개선 방법 및 시스템 |
| KR20210069250A (ko) * | 2019-12-03 | 2021-06-11 | 서울여자대학교 산학협력단 | 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법 |
-
2021
- 2021-07-07 KR KR1020210088910A patent/KR102356348B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101685821B1 (ko) | 2015-06-18 | 2016-12-13 | 인하대학교 산학협력단 | 흉부 Ｘ－ｒａｙ 영상에서 몸체 및 관심영역 분할 방법 및 시스템 |
| KR101685823B1 (ko) * | 2015-06-18 | 2016-12-21 | 인하대학교 산학협력단 | 흉부 Ｘ―ｒａｙ 영상을 위한 화질 개선 방법 및 시스템 |
| KR20210069250A (ko) * | 2019-12-03 | 2021-06-11 | 서울여자대학교 산학협력단 | 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법 |
Non-Patent Citations (2)
| Title |
|---|
| Papers (Chen H-J et al. Lung X-ray Segmentation using Deep Convolutional Neural Networks on Contrast-Enhanced Binarized Images. Mathematics. 2020; 8(4):545. Published April 7, 2020.)* * |
| 논문(Chen H-J 외. Lung X-ray Segmentation using Deep Convolutional Neural Networks on Contrast-Enhanced Binarized Images. Mathematics. 2020; 8(4):545. 2020년 4월 7일 공개.)* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230130459A (ko) | 2022-03-03 | 2023-09-12 | 연세대학교 산학협력단 | 흉부 ct 이미지에서의 호흡기계 구조물 자동 분할 시스템 및 그 방법 |
| KR102564740B1 (ko) * | 2022-07-21 | 2023-08-10 | 주식회사 래디센 | 개선된 콘트라스트를 갖는 X-ray 이미지 보정 방법 및 이를 위한 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6636678B2 (ja) | 画像内物体の注釈付けの学習 | |
| US10186038B1 (en) | Segmentation and representation network for pose discrimination | |
| US11941807B2 (en) | Artificial intelligence-based medical image processing method and medical device, and storage medium | |
| KR102356348B1 (ko) | 흉부 엑스-레이 영상에서 폐 영역 분할 시스템 및 방법 | |
| JP6525912B2 (ja) | 画像分類装置、方法およびプログラム | |
| JP5712774B2 (ja) | 物体検知方法及び装置 | |
| US20200364570A1 (en) | Machine learning method and apparatus, program, learned model, and discrimination apparatus | |
| US8311296B2 (en) | Voting in mammography processing | |
| EP3477589B1 (en) | Method of processing medical image, and medical image processing apparatus performing the method | |
| CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
| US10929643B2 (en) | 3D image detection method and apparatus, electronic device, and computer readable medium | |
| CN100592336C (zh) | 医学图像配准的系统和方法 | |
| US20120053446A1 (en) | Voting in image processing | |
| CN111275707B (zh) | 肺炎病灶分割方法和装置 | |
| CA3110581C (en) | System and method for evaluating the performance of a user in capturing an image of an anatomical region | |
| CN113362272A (zh) | 具有不确定性估计的医学图像分割 | |
| CN110858399A (zh) | 用于提供虚拟断层扫描中风后续检测图像的方法和装置 | |
| US11683438B2 (en) | Systems and methods to semi-automatically segment a 3D medical image using a real-time edge-aware brush | |
| Zabulis et al. | Multicamera human detection and tracking supporting natural interaction with large-scale displays | |
| US20100119129A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| Foo et al. | Interactive segmentation for covid-19 infection quantification on longitudinal ct scans | |
| Amanova et al. | Explainability for deep learning in mammography image quality assessment | |
| US20100202674A1 (en) | Voting in mammography processing | |
| CN111429406B (zh) | 结合多视图推理的乳腺x射线影像病变检出方法和装置 | |
| US20210279884A1 (en) | Method of computing a boundary |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |