KR102603525B1 - X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법 - Google Patents
X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법 Download PDFInfo
- Publication number
- KR102603525B1 KR102603525B1 KR1020210083706A KR20210083706A KR102603525B1 KR 102603525 B1 KR102603525 B1 KR 102603525B1 KR 1020210083706 A KR1020210083706 A KR 1020210083706A KR 20210083706 A KR20210083706 A KR 20210083706A KR 102603525 B1 KR102603525 B1 KR 102603525B1
- Authority
- KR
- South Korea
- Prior art keywords
- tumor
- image
- pixel
- area
- probability value
- Prior art date
Links
- 208000018084 Bone neoplasm Diseases 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 17
- 210000003127 knee Anatomy 0.000 title claims abstract description 16
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 171
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 230000003902 lesion Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 201000011510 cancer Diseases 0.000 description 6
- 230000003211 malignant effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010049119 Emotional distress Diseases 0.000 description 1
- 208000016593 Knee injury Diseases 0.000 description 1
- 206010026865 Mass Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법에 관한 것으로, X-ray의 원본 이미지를 입력으로 원본 이미지의 크기를 재설정한 축소 이미지 및 적어도 하나의 분할 이미지를 생성하고, 생성된 축소 이미지 및 적어도 하나의 분할 이미지를 딥러닝으로 학습하여 픽셀별로 종양에 대한 확률값에 따라 종양 영역 마스크를 생성하되, 종양의 확장 영역을 단계별로 표시한 적어도 하나의 종양 확장 마스크와, 종양에 대한 각 픽셀의 확률값 전체를 Max 함수로 연산하여 생성된 종양 검출 정보로 원본 이미지의 종양 여부를 판단하는 구성으로 크기가 작거나 특수한 모양의 종양을 탐지하고, 골 종양의 이미지에 대한 병변 결정에 있어 정보 손실을 최소화하여 골 종양의 진단 효율을 향상시킬 수 있다.
Description
본 발명은 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법에 관한 것으로, 딥러닝 모델을 이용하여 X-ray 이미지에서 무릎 골종양을 분류할 수 있도록 한 기술에 관한 것이다.
무릎 종양은 사람의 무릎의 뼈 부위에 나타나는 종양이다. 종양은 보통 양성, 악성, 및 유사 종양의 세가지 유형으로 나뉜다. 이 종양들은 영향을 받은 환자에게 상당한 신체적, 정서적 고통을 준다.
초기 임상 조사에서는 비용이 저렴한 방사선 사진을 이용하여 무릎 부상을 효과적으로 검출했다. 그러나, 방사선 이미지가 제공하는 많은 장점이 있음에도 불구하고, 환자의 의료기록 수집, 이미지 검사, 및 이미지 분석과 관련된 수작업 프로세스는 많은 시간이 소요되며, 이는 적절한 치료 계획의 개발을 지연시키고 지연으로 인한 환자의 상태가 악화되어 장애나 사망으로 이어질 수 있다.
컴퓨터 보조 진단은 임상의가 정확하고 시기 적절한 결정을 내리는데 도움이 되는 귀중한 도구가 될 수 있다. 컴퓨터를 이용하면 결과적으로 환자들은 결국 더 신뢰할 수 있는 진단을 받게 될 것이고, 적절한 조기 치료로 이어져 결과적으로 수명이 길어지게 될 수 있다.
최근 딥러닝 기술인 Convolutional Neural Network(CNN)을 이용한 기존 방사선 사진 분석의 자동화는 의료 이미지에 특히 유용한 일반 시각 인식 분야의 획기적인 연구 분야로 부상하고 있다.
그러나, 골 종양에 대한 이미지 분석으로 골 종양의 검출 작업은 여전히 어려운 문제로 남아있다. 또한, 환자의 X-ray 이미지 이미지가 병원마다 다른 크기를 가질 수 있어 전처리 과정에서 이미지를 축소함에 따른 종양의 검출이 불가능할 우려가 있어 이러한 문제를 해결하기 위한 기술의 개발이 시급하다.
본 발명은, 딥러닝을 이용하여 골 종양의 방사선 분석을 기반으로 양성, 악성, 정상으로 종양의 범위를 분류할 수 있는 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법을 제공할 수 있다.
본 발명의 일 측면에 따른 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템은 X-ray의 원본 이미지를 입력으로 원본 이미지의 크기를 재설정한 축소 이미지 및 원본 이미지를 종양 영역과 비 종양 영역을 일정한 비율로 재구성하는 랜덤 밸런스 샘플링(Random Balance Sampling) 기법으로 적어도 하나의 분할 이미지를 생성하는 이미지 전처리부; 상기 생성된 축소 이미지 및 적어도 하나의 분할 이미지 각각을 딥러닝으로 학습하여 축소 이미지 및 분할 이미지 각각의 픽셀별로 종양에 대한 확률값을 도출하고 도출된 각 픽셀의 확률값에 따라 종양 영역 및 비 종양 영역이 차별적으로 표시되도록 종양 영역을 마스크하는 종양 학습부; 및 상기 축소 이미지 및 적어도 하나의 분할 이미지 각각으로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값으로 상기 원본 이미지에 대한 종양 발생 여부를 결정하는 종양 검출부를 포함할 수 있다.
바람직하게는, 상기 이미지 전처리부는, 상기 원본 이미지를 슬라이딩 윈도우(Sliding window)를 통해 기 설정된 크기로 분할하여 적어도 하나의 분할 이미지를 생성하되, 상기 적어도 하나의 분할 이미지는 여러 개의 이미지의 조합으로 이루어진 이미지 청크(Chunk)일 수 있다.
바람직하게는, 상기 종양 학습부는, 상기 각 픽셀로부터 도출된 종양에 대한 확률로 종양 영역을 정상, 양성, 및 악성 중 어느 하나로 분류할 수 있다.
바람직하게는, 상기 종양 검출부는, 상기 축소 이미지로부터 마스크된 종양 영역을 기준으로 하여 종양의 확장영역에 따라 단계별 임계값을 적용하여 적어도 하나의 종양 확장 마스크를 생성하고 생성된 각각의 종양 확장 마스크의 위험도를 도출할 수 있다.
바람직하게는, 상기 종양 검출부는, 상기 적어도 하나의 분할 이미지로부터 마스크된 종양에 대한 각 픽셀의 확률값 전체를 Max 함수로 연산하되, 상기 저겅도 하나의 분할 이미지 중 어느 하나의 픽셀의 확률이 설정치 이상이면 상기 원본 이미지를 종양 발생 이미지로 분류할 수 있다.
본 발명의 다른 측면에 따른 X-ray 이미지를 이용한 골 종양 검출 방법은 X-ray의 원본 이미지를 입력으로 원본 이미지의 크기를 재설정한 축소 이미지 및 원본 이미지를 종양 영역과 비 종양 영역을 일정한 비율로 재구성하는 랜덤 밸런스 샘플링(Random Balance Sampling) 기법으로 적어도 하나의 분할 이미지가 생성되는 이미지 전처리 단계; 상기 생성된 축소 이미지 및 적어도 하나의 분할 이미지 각각을 딥러닝으로 학습하여 축소 이미지 및 분할 이미지 각각의 픽셀별로 종양에 대한 확률값을 도출하고 도출된 각 픽셀의 확률값에 따라 종양 영역 및 비 종양 영역이 차별적으로 표시되도록 종양 영역이 마스크되는 종양 학습 단계; 및 상기 축소 이미지 및 적어도 하나의 분할 이미지 각각으로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값으로 상기 원본 이미지에 대한 종양 발생 여부가 결정되되, 상기 적어도 하나의 분할 이미지로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값 전체를 Max 함수로 연산하여 상기 분할 이미지 중 어느 하나로부터 종양 영역에 대한 픽셀의 확률이 설정치 이상이면 상기 원본 이미지를 종양 발생 이미지가 분류되는 종양 검출 단계를 포함할 수 있다.
본 발명에 따르면, 크기가 작거나 특수한 모양의 종양을 탐지하고, 골 종양의 이미지에 대한 병변 결정에 있어 정보 손실을 최소화하여 골 종양의 진단 효율을 향상시킬 수 있다.
도 1은 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출을 위한 아키텍처를 나타낸 도면이다.
도 2는 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 시스템을 나타낸 구성도이다.
도 3은 일 실시예에 따른 픽셀 확률에 따른 종양 영역을 나타낸 예시도이다.
도 4는 일 실시예에 따른 고위험 종양 영역에 따른 단계별 종양 확장 마스크를 나타낸 예시도이다.
도 5는 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 방법을 나타낸 순서도이다.
도 2는 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 시스템을 나타낸 구성도이다.
도 3은 일 실시예에 따른 픽셀 확률에 따른 종양 영역을 나타낸 예시도이다.
도 4는 일 실시예에 따른 고위험 종양 영역에 따른 단계별 종양 확장 마스크를 나타낸 예시도이다.
도 5는 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 방법을 나타낸 순서도이다.
이하에서는 본 발명에 따른 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 시스템을 나타낸 구성도이다.
도 1에서 나타낸 바와 같이, 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 시스템 구성은 이미지 전처리부(100), 종양 학습부(300), 및 종양 검출부(500)를 포함할 수 있다.
이미지 전처리부(100)는 X-ray의 원본 이미지(10)를 입력으로 원본 이미지(10)의 크기를 재설정한 축소 이미지(20) 및 원본 이미지(10)를 종양 영역과 비 종양 영역을 일정한 비율로 재구성하는 랜덤 밸런스 샘플링(Random Balance Sampling) 기법으로 적어도 하나의 분할 이미지(30)를 생성할 수 있다.
여기서, 이미지 전처리부(100)는 원본 이미지(10)를 슬라이딩 윈도우(Sliding window)를 통해 기 설정된 크기로 분할하여 적어도 하나의 분할 이미지(30)를 생성하되, 적어도 하나의 분할 이미지(30)는 여러 개의 이미지의 조합으로 이루어진 이미지 청크(Chunk)일 수 있다.
종양 학습부(300)는 생성된 축소 이미지(20) 및 적어도 하나의 분할 이미지(30) 각각을 딥러닝으로 학습하여 축소 이미지(20) 및 분할 이미지(30) 각각의 픽셀별로 종양에 대한 확률값을 도출하고 도출된 각 픽셀의 확률값에 따라 종양 영역 및 비 종양 영역이 차별적으로 표시되도록 종양 영역을 마스크할 수 있다.
여기서, 종양 학습부(300)는 각 픽셀로부터 도출된 종양에 대한 확률로 종양 영역을 정상, 양성, 및 악성 중 어느 하나로 분류할 수 있다.
여기서, 종양 검출부(500)는 축소 이미지(20)로부터 마스크된 종양 영역을 기준으로 하여 종양의 확장영역에 따라 단계별 임계값을 적용하여 적어도 하나의 종양 확장 마스크(60)를 생성하고 생성된 각각의 종양 확장 마스크(60)의 위험도를 도출할 수 있다.
종양 검출부(500)는 축소 이미지(20) 및 적어도 하나의 분할 이미지(30) 각각으로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값으로 원본 이미지(10)에 대한 종양 발생 여부를 결정할 수 있다.
또한, 종양 검출부(500)는 적어도 하나의 분할 이미지(30)로부터 마스크된 종양에 대한 각 픽셀의 확률값 전체를 Max 함수로 연산하되, 적어도 하나의 분할 이미지(30) 중 어느 하나의 픽셀의 확률이 설정치 이상이면 원본 이미지(10)를 종양 발생 이미지로 분류할 수 있다.
도 2는 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출을 위한 아키텍처를 나타낸 도면이다.
도2에서 나타낸 바와 같이, 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출은 인코딩 및 디코딩을 통해 입력된 이미지로부터 종양 영역을 검출하는 구조를 제시한다.
먼저, 입력되는 원본 이미지(10) 의 크기 는 최소 330 x 597에서 최대 3480 x 4240를 수신할 수 있으며, 학습 모델에 입력될 이미지 크기는 416 x 416 사이즈이므로 학습 모델에 입력될 사이즈로 축소될 수 있다. 여기서 학습 모델은 글로벌 기반 모델과 패치 기반 모델이 될 수 있으며, 글로벌 기반 모델은 축소 이미지(20)를 입력으로 종양 영역에 대한 확률을 도출할 수 있고, 패치 기반 모델은 원본 이미지(10)가 적어도 하나의 이미지로 분할되어 특정 영역이 확대된 형태의 분할 이미지(30)가 입력되어 적어도 하나의 분할 이미지(30)에 대한 각 픽셀의 확률에 따라 원본 이미지(10)의 종양 검출 여부가 도출될 수 있다.
더욱 상세하게는, 글로벌 기반 모델에서 축소 이미지(20)는 인코딩 및 디코딩을 통해 각 픽셀별로 종양에 대한 확률값을 도출할 수 있다. 도출된 각 픽셀의 확률값은 픽셀이 종양 영역에 존재하는지에 대한 여부를 나타내는 것이고, 픽셀이 종양 영역에 존재할 확률값이 설정치 이상일 경우, 100% 확률로 정규화하여 종양 영역에 존재하는 픽셀과 비 종양 영역에 존재하는 픽셀의 색상을 차별적으로 표시하도록 마스크할 수 있다.
도 3은 일 실시예에 따른 픽셀 확률에 따른 종양 영역을 나타낸 예시도이다.
도 3에서 나타낸 바와 같이, 일 실시예에 따른 픽셀 확률에 따른 종양 영역은 X-ray 원본 이미지(10)로부터 골 종양에 대한 각 픽셀의 설정치 이상의 확률값을 정규화하여 종양 영역만이 표시되도록 마스크한 이미지로 도출될 수 있다.
이때, 마스크된 종양 영역을 기준으로 거리에 따른 임계값을 적용하여 종양 영역 주변으로 종양의 확장 영역을 생성할 수 있다. 즉, 거리에 따라 단계별 임계값을 적용하여 거리 변환 마스크(50)를 통해 종양 확장 마스크(60)를 생성할 수 있다. 여기서, 거리 변환은 이미지의 임의의 점 P에서 픽셀 q의 가장 가까운 점에 의해 각 픽셀 q에 대한 점 P간의 연관 함수로 정의될 수 있으며, 이는 다음 수학식으로 표현될 수 있다.
[수학식 1]
수학식 1에서, 는 이미지 상의 점 p와 픽셀 q 사이의 거리이고, f는 픽셀 q를 포함하는 그리드 함수이다. 여기서, 종양 확장 영역에 대한 단계별 임계값은 다음 수학식으로 표현될 수 있다.
[수학식 2]
생성된 종양 확장 마스크(60)는 단계별로 양성 종양과 악성 종양을 구분될 수 있다.
도 4는 일 실시예에 따른 악성 종양 영역에 따른 단계별 종양 확장 마스크를 나타낸 예시도이다.
도 4에서 나타낸 바와 같이, 일 실시예에 따른 악성 종양 영역에 따른 단계별 종양 확장 마스크 결과는 종양 영역으로부터 거리에 따른 임계값을 적용하여 종양 영역이 단계별로 확장된 종양 확장 마스크(60)이다. 종양에서 멀어지는 방향으로 형성된 각각의 종양 확장 마스크(60)에 따라 1레벨 종양 마스크(62), 2레벨 종양 마스크(63), 3레벨 종양 마스크(64), 4레벨 종양 마스크(65), 5레벨 종양 마스크로 총 5단계의 종양 마스크로 구분될 수 있다.
여기서, 2레벨 종양 마스크(63) 내지 4레벨 종양 마스크(65)를 고위험 종양으로 분류할 수 있다. 축소 이미지(20)로부터 도출된 종양 영역 마스크는 종양에 대한 위험도를 판단할 수 있는 기준이 될 수 있고, 도출된 종양 영역 마스크에서 단계별 종양 마스크는 모델이 종양의 주변 정보를 인식할 수 있도록 한다.
원본 이미지(10) 를 입력으로 원본 이미지(10)를 종양 영역과 비 종양 영역을 일정한 비율로 재구성하는 랜덤 밸런스 샘플링(Random Balance Sampling) 기법으로 적어도 하나의 분할 이미지(30)를 생성할 수 있다. 랜덤 밸런스 샘플링은 슬라이딩 윈도우(Sliding window)를 통해 원본 이미지(10)를 기 설정된 크기로 분할하여 적어도 하나의 분할 이미지(30)를 생성할 수 있다. 이때, 생성되는 적어도 하나의 분할 이미지(30)는 여러 개의 이미지의 조합으로 이루어진 이미지 청크(Chunk)일 수 있다.
생성된 적어도 하나의 분할 이미지(30)를 딥러닝으로 학습하여 분할 이미지(30) 각각의 픽셀에 대하여 종양 영역을 구분할 수 있다. 이때, 각 픽셀이 종양 영역에 존재할 확률값을 도출하고 도출된 확률값을 정규화함에 따라 종양 영역과 비 종양 영역이 차별적으로 표시된 종양 마스크로 도출될 수 있다.
여기서, 적어도 하나의 분할 이미지(30)로부터 도출된 적어도 하나의 종양 마스크에 대한 각 픽셀의 확률 전체를 Max 함수로 연산하여 적어도 하나의 종양 마스크 중 어느 하나의 픽셀이 종양에 대한 확률이 설정치 이상인 경우, 원본 이미지(10)에 종양이 존재하는 것으로 판단할 수 있다. 이는 학습 모델이 비 종양 영역에 대한 학습 시간을 단축시킬 수 있고, 이로 인해 학습 효율이 상승하는 결과를 가져온다.
각각의 학습 모델에서 도출된 마스크 결과를 융합함에 따라 원본 이미지(10)의 종양 판단 확률을 향상시킬 수 있고, 각 이미지의 학습 결과의 융합은 다음 수학식으로 표현될 수 있다.
[수학식 3]
수학식 3에서, 는 융합 접근법의 분할 확률이고, 는 축소 이미지(20)를 학습한 결과, 는 분할 이미지(30)를 학습한 결과이고, 는 축소 이미지(20)와 적어도 하나의 분할 이미지(30)에 대한 학습 모델 간의 우선 순위를 조정하는 요소이다. 는 축소 이미지(20) 학습 모델에서 종양 영에 인접한 분할 이미지(30) 학습 모델의 이진 마스크이다.
도출된 학습 모델 간의 결과는 다음 수학식을 통해 통합될 수 있다.
[수학식 4]
[수학식 5]
수학식 4 내지 5에서, 와 는 이미지 i의 분류 확률 벡터이다. C는 양성 종양, 악성 종양, 및 정상 중 3가지 유형의 분류 라벨(Label)이며, 은 정상 라벨이다. 는 두 모델 간의 우선 순위 수준을 조율하는 제어 요소이고, T는 단계별 임계값이다.
각 학습 모델에서 학습에 따른 각각의 손실함수(Loss function)는 다음 수학식으로 표현될 수 있다.
[수학식 6]
수학식 6에서, N은 분류라벨 수이고, 는 예측된 마스크와 Ground Truth 의 비교값이고, ε는 스무스 기간이며, 학습으로 인한 멀티 태스크 손실함수는 다음 수학식으로 표현될 수 있다.
[수학식 7]
수학식 7에서, , , 및 각각은 종양 분류에 따른 손실함수, 픽셀 분할에 따른 손실함수, 및 종양 단계별 확장 마스크에 따른 손실함수이다.
도 5는 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 방법을 나타낸 순서도이다.
도 5에서 나타낸 바와 같이, 일 실시예에 따른 X-ray 이미지를 이용한 골 종양 검출 방법은 이미지 전처리 단계(S100), 종양 학습 단계(S300), 및 종양 검출 단계(S500)를 포함할 수 있다.
이미지 전처리 단계(S100)는 X-ray의 원본 이미지(10)를 입력으로 원본 이미지(10)의 크기를 재설정한 축소 이미지(20) 및 원본 이미지(10)를 종양 영역과 비 종양 영역을 일정한 비율로 재구성하는 랜덤 밸런스 샘플링(Random Balance Sampling) 기법으로 적어도 하나의 분할 이미지(30)가 생성될 수 있다.
종양 학습 단계(S300)는 생성된 축소 이미지(20) 및 적어도 하나의 분할 이미지(30) 각각을 딥러닝으로 학습하여 축소 이미지(20) 및 분할 이미지(30) 각각의 픽셀별로 종양에 대한 확률값을 도출하고 도출된 각 픽셀의 확률값에 따라 종양 영역 및 비 종양 영역이 차별적으로 표시되도록 종양 영역이 마스크될 수 있다.
종양 검출 단계(S500)는 축소 이미지(20) 및 적어도 하나의 분할 이미지(30) 각각으로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값으로 원본 이미지(10)에 대한 종양 발생 여부가 결정되되, 적어도 하나의 분할 이미지(30)로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값 전체를 Max 함수로 연산하여 분할 이미지(30) 중 어느 하나로부터 종양 영역에 대한 픽셀의 확률이 설정치 이상이면 원본 이미지(10)를 종양 발생 이미지로 분류될 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
100: 이미지 전처리부 300: 종양 학습부
500: 종양 검출부
10: 원본 이미지 20: 축소 이미지
30: 분할 이미지 40: 종양 마스크
50: 거리 변환 마스크 60: 종양 확장 마스크
61: 악성 종양 마스크 62: 1레벨 종양 마스크
63: 2레벨 종양 마스크 64: 3레벨 종양 마스크
65: 4레벨 종양 마스크
500: 종양 검출부
10: 원본 이미지 20: 축소 이미지
30: 분할 이미지 40: 종양 마스크
50: 거리 변환 마스크 60: 종양 확장 마스크
61: 악성 종양 마스크 62: 1레벨 종양 마스크
63: 2레벨 종양 마스크 64: 3레벨 종양 마스크
65: 4레벨 종양 마스크
Claims (6)
- X-ray 이미지를 딥러닝으로 학습하여 골 종양을 검출하는 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템에 있어서,
X-ray의 원본 이미지를 입력으로 원본 이미지의 크기를 재설정한 축소 이미지 및 원본 이미지를 종양 영역과 비 종양 영역을 일정한 비율로 재구성하는 랜덤 밸런스 샘플링(Random Balance Sampling) 기법으로 적어도 하나의 분할 이미지를 생성하는 이미지 전처리부;
상기 생성된 축소 이미지 및 적어도 하나의 분할 이미지 각각을 딥러닝으로 학습하여 축소 이미지 및 분할 이미지 각각의 픽셀별로 종양에 대한 확률값을 도출하고 도출된 각 픽셀의 확률값에 따라 종양 영역 및 비 종양 영역이 차별적으로 표시되도록 종양 영역을 마스크하는 종양 학습부; 및
상기 축소 이미지 및 적어도 하나의 분할 이미지 각각으로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값으로 상기 원본 이미지에 대한 종양 발생 여부를 결정하는 종양 검출부를 포함하고,
상기 이미지 전처리부는,
상기 원본 이미지를 슬라이딩 윈도우(Sliding window)를 통해 기 설정된 크기로 분할하여 적어도 하나의 분할 이미지를 생성하되,
상기 적어도 하나의 분할 이미지는 여러 개의 이미지의 조합으로 이루어진 이미지 청크(Chunk)인 것을 특징으로 하는 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템.
- 삭제
- 제1항에 있어서,
상기 종양 학습부는,
상기 각 픽셀로부터 도출된 종양에 대한 확률로 종양 영역을 정상, 양성, 및 악성 중 어느 하나로 분류하는 것을 특징으로 하는 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템.
- 제1항에 있어서,
상기 종양 학습부는,
상기 축소 이미지로부터 마스크된 종양 영역을 기준으로 하여 종양의 확장영역에 따라 단계별 임계값을 적용하여 적어도 하나의 종양 확장 마스크를 생성하고 생성된 각각의 종양 확장 마스크의 위험도를 도출하는 것을 특징으로 하는 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템.
- 제1항에 있어서,
상기 종양 검출부는,
상기 적어도 하나의 분할 이미지로부터 마스크된 종양에 대한 각 픽셀의 확률값 전체를 Max 함수로 연산하되, 상기 적어도 하나의 분할 이미지 중 어느 하나의 픽셀의 확률이 설정치 이상이면 상기 원본 이미지를 종양 발생 이미지로 분류하는 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템.
- 제1항의 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템에서 수행되는 X-ray 이미지를 이용한 무릎 골 종양 검출 방법에 있어서,
X-ray의 원본 이미지를 입력으로 원본 이미지의 크기를 재설정한 축소 이미지 및 원본 이미지를 종양 영역과 비 종양 영역을 일정한 비율로 재구성하는 랜덤 밸런스 샘플링(Random Balance Sampling) 기법으로 적어도 하나의 분할 이미지가 생성되는 이미지 전처리 단계;
상기 생성된 축소 이미지 및 적어도 하나의 분할 이미지 각각을 딥러닝으로 학습하여 축소 이미지 및 분할 이미지 각각의 픽셀별로 종양에 대한 확률값을 도출하고 도출된 각 픽셀의 확률값에 따라 종양 영역 및 비 종양 영역이 차별적으로 표시되도록 종양 영역이 마스크되는 종양 학습 단계; 및
상기 축소 이미지 및 적어도 하나의 분할 이미지 각각으로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값으로 상기 원본 이미지에 대한 종양 발생 여부가 결정되되, 상기 적어도 하나의 분할 이미지로부터 마스크된 종양 영역에 대한 각 픽셀의 확률값 전체를 Max 함수로 연산하여 상기 분할 이미지 중 어느 하나로부터 종양 영역에 대한 픽셀의 확률이 설정치 이상이면 상기 원본 이미지를 종양 발생 이미지가 분류되는 종양 검출 단계를 포함하는 X-ray 이미지를 이용한 무릎 골 종양 검출 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210083706A KR102603525B1 (ko) | 2021-06-28 | 2021-06-28 | X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210083706A KR102603525B1 (ko) | 2021-06-28 | 2021-06-28 | X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230001148A KR20230001148A (ko) | 2023-01-04 |
| KR102603525B1 true KR102603525B1 (ko) | 2023-11-16 |
Family
ID=84925160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210083706A KR102603525B1 (ko) | 2021-06-28 | 2021-06-28 | X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102603525B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023132702A1 (ko) | 2022-01-06 | 2023-07-13 | 주식회사 케이티 | 저사양 단말이 신호를 송수신하는 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020243583A1 (en) | 2019-05-29 | 2020-12-03 | Leica Biosystems Imaging, Inc. | Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology |
| JP2021002339A (ja) | 2019-06-21 | 2021-01-07 | ストラックスコープ ピーティワイ リミテッドＳｔｒａｘｃｏｒｐ Ｐｔｙ Ｌｔｄ | 画像内での構造又は物質セグメンテーションに基づいた機械学習分類のための方法及びシステム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102174379B1 (ko) * | 2018-08-27 | 2020-11-04 | 주식회사 딥바이오 | 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
| KR102202361B1 (ko) | 2019-01-08 | 2021-01-14 | 전남대학교산학협력단 | 골 종양 탐지 시스템 |
-
2021
- 2021-06-28 KR KR1020210083706A patent/KR102603525B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020243583A1 (en) | 2019-05-29 | 2020-12-03 | Leica Biosystems Imaging, Inc. | Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology |
| JP2021002339A (ja) | 2019-06-21 | 2021-01-07 | ストラックスコープ ピーティワイ リミテッドＳｔｒａｘｃｏｒｐ Ｐｔｙ Ｌｔｄ | 画像内での構造又は物質セグメンテーションに基づいた機械学習分類のための方法及びシステム |
Non-Patent Citations (1)
| Title |
|---|
| He Y. 외. Deep learning-based classification of primary bone tumors on radiographs: A preliminary study. EBioMedicine. 2020 Dec. 2020.11.22. 공개* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230001148A (ko) | 2023-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chan et al. | Effective pneumothorax detection for chest X‐ray images using local binary pattern and support vector machine | |
| De Bruijne | Machine learning approaches in medical image analysis: From detection to diagnosis | |
| Shen et al. | An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy | |
| Lin et al. | Autonomous detection of pulmonary nodules on CT images with a neural network-based fuzzy system | |
| Rajinikanth et al. | Skin melanoma assessment using Kapur’s entropy and level set—a study with bat algorithm | |
| Soleymanpour et al. | Fully automatic lung segmentation and rib suppression methods to improve nodule detection in chest radiographs | |
| JP2019500110A (ja) | 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 | |
| Sahin | Image processing and machine learning‐based bone fracture detection and classification using X‐ray images | |
| Ponnoprat et al. | Classification of hepatocellular carcinoma and intrahepatic cholangiocarcinoma based on multi-phase CT scans | |
| Basha et al. | Computer aided fracture detection system | |
| Ray et al. | Intensity population based unsupervised hemorrhage segmentation from brain CT images | |
| Naing et al. | Advances in automatic tuberculosis detection in chest x-ray images | |
| EP2208183A2 (en) | Computer-aided detection (cad) of a disease | |
| KR102603525B1 (ko) | X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법 | |
| Bhattacharjee et al. | Automated computer-aided lung cancer detection system | |
| Ramkumar et al. | Multi res U-Net based image segmentation of pulmonary tuberculosis using CT images | |
| Chanda et al. | Effective and reliable lung segmentation of chest images with medical image processing and machine learning approaches | |
| Podsiadlo et al. | Automated selection of trabecular bone regions in knee radiographs | |
| JP2006340835A (ja) | 異常陰影候補の表示方法及び医用画像処理システム | |
| Muiz Fayyaz et al. | Computer Vision-Based Prognostic Modelling of COVID-19 from Medical Imaging | |
| AU2021103578A4 (en) | A Novel Method COVID -19 infection using Deep Learning Based System | |
| CA3227095A1 (en) | A coronary artery disease analysis system | |
| Rahmany et al. | A priori knowledge integration for the detection of cerebral aneurysm | |
| Horry et al. | Factors determining generalization in deep learning models for scoring COVID-CT images | |
| Vieira et al. | Using a siamese network to accurately detect ischemic stroke in computed tomography scans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |