KR102202361B1 - System for detecting bone tumour - Google Patents
System for detecting bone tumour Download PDFInfo
- Publication number
- KR102202361B1 KR102202361B1 KR1020190002323A KR20190002323A KR102202361B1 KR 102202361 B1 KR102202361 B1 KR 102202361B1 KR 1020190002323 A KR1020190002323 A KR 1020190002323A KR 20190002323 A KR20190002323 A KR 20190002323A KR 102202361 B1 KR102202361 B1 KR 102202361B1
- Authority
- KR
- South Korea
- Prior art keywords
- bone
- learning
- information
- tumor detection
- learning information
- Prior art date
Links
- 206010005949 Bone cancer Diseases 0.000 title 1
- 208000018084 Bone neoplasm Diseases 0.000 claims abstract description 60
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 21
- 210000002082 fibula Anatomy 0.000 claims abstract description 8
- 210000002303 tibia Anatomy 0.000 claims abstract description 8
- 210000000689 upper leg Anatomy 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000006820 Arthralgia Diseases 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000024765 knee pain Diseases 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 골 종양 탐지 시스템에 관한 것으로서, 입력 이미지에 포함된 뼈의 형상을 유사하게 재구성하여 뼈의 구조적 표현을 학습하여 제1학습정보를 생성하는 구조 학습부; 제1학습정보를 인가받아 종양 검출 판별 기준을 학습하여 제2학습정보를 생성하는 판별 학습부; 및 제1학습정보 및 제2학습정보와 입력받은 X선 영상의 비교를 통해 골 종양 여부와 그 위치를 검출하여 골 종양 검출정보를 생성하는 종양 검출부를 포함하되, 구조 학습부는, 입력받은 이미지에 포함된 뼈 형상의 차별적인 표현을 추출하여 재조합하는 인코더; 추출한 차별적인 표현을 저장 및 관리하고, 대퇴골, 경골 또는 비골 중에 어느 하나에 대한 구성 요소를 마스크하는 디코더; 및 마스크된 구성 요소들로부터 뼈 상태 확률을 결정하여 뼈 상태를 분류한 제1학습정보를 생성하는 SoftMax 분류기를 포함한다.
상기와 같은 본 발명에 따르면, 촬영 영상에 대해 앙상블 반감독학습(ESSW)을 이용하여 골격을 분할하고, 분할된 영상에서 softmax 분류기를 통해 뼈 상태 확률을 결정하여 뼈 상태를 분류함으로써, 골 종양을 조기에 발견하고, 골 종양 검진의 의사결정 보조 도구로 활용이 가능하다.The present invention relates to a bone tumor detection system, comprising: a structure learning unit configured to similarly reconstruct a shape of a bone included in an input image to learn a structural representation of a bone to generate first learning information; A discrimination learning unit that receives the first learning information and learns a tumor detection criterion to generate second learning information; And a tumor detection unit for generating bone tumor detection information by detecting the presence and location of a bone tumor by comparing the first learning information and the second learning information with the input X-ray image, wherein the structure learning unit An encoder that extracts and recombines the differential expression of the included bone shape; A decoder that stores and manages the extracted differential expression, and masks a component for any one of the femur, tibia, and fibula; And a SoftMax classifier that determines a bone state probability from the masked components and generates first learning information that classifies the bone state.
According to the present invention as described above, bone tumors are classified by segmenting the skeleton using ensemble half-supervised learning (ESSW) for a captured image, and determining a bone state probability through a softmax classifier from the segmented image. It can be detected early and used as a decision aid tool for bone tumor screening.
Description
본 발명은 골 종양 탐지 시스템에 관한 것으로 더욱 상세하게는, 방사선 사진(x-ray) 영상을 이용하여 환자의 뼈가 정상인지 종양인지 여부를 분류하고 탐지하여 자동으로 골 종양을 검출하는 기술에 관한 것이다.The present invention relates to a bone tumor detection system, and more particularly, to a technology for automatically detecting a bone tumor by classifying and detecting whether a patient's bone is normal or a tumor using a radiograph (x-ray) image. will be.
무증상 환자에서 흔히 발견되는 부작용인 뼈 조양의 영상 진단은 전문가의 주의와 평가가 필요하다. 특히 무릎 통증의 경우, 방사선 촬영은 조사에 필수적인 진단 방법이다.Imaging diagnosis of bone tone, a side effect commonly found in asymptomatic patients, requires expert attention and evaluation. In particular, for knee pain, radiography is an essential diagnostic method for irradiation.
모든 종양 중 골 종양 발생률은 2% 내지 3% 이며 지속적으로 증가하고 있으며, 의사는 정확한 진단을 위해 종종 임상 증상을 관찰하면서 영상과 같은 여러 가지 방법을 사용한다. 전통적인 방사선 촬영을 이용한 뼈 종양의 감별 진단 및 평가의 기본 요소는, 환자의 병력 및 연령, 임상 증상, 병변의 해부학적 위치, 병변과 주관절의 전이 영역의 정의 및 방사선적 특성 병변으로 나뉜다.Among all tumors, the incidence of bone tumors is 2% to 3% and is constantly increasing, and doctors often use various methods such as imaging while observing clinical symptoms for accurate diagnosis. The basic elements of the differential diagnosis and evaluation of bone tumors using conventional radiography are divided into the patient's medical history and age, clinical symptoms, the anatomical location of the lesion, the definition of the lesion and the metastatic area of the elbow joint, and the radiographic characteristic lesion.
딥러닝(DL: Deep Learning)은 방사선과 의학 영상에서 많은 중요한 작업을 수행하는데 사용되는 보편적인 방법이다. 심층 학습 아키텍처는 일반적으로 이미지 패치 회선 및 최대 응답 샘플링을 포함하여 작업을 수행하는 레이어 일련의 구별된 계층으로 구성된다.Deep Learning (DL) is a popular method used to perform many important tasks in radiology medical imaging. Deep learning architectures typically consist of a set of distinct layers that perform the task, including image patch convolutions and maximum response sampling.
많은 연구들은 뼈 종양의 확인을 포함하여 의학 이미지 분석 분야에 딥러닝 방법을 도입하는 추세이고, 그중에 심층컨볼루션신경망(CNN: Convolution Neural Network)은 이미지 분류에 큰 이점을 제공한다. Many studies are introducing deep learning methods in the field of medical image analysis, including the identification of bone tumors, among which the deep convolutional neural network (CNN) provides a great advantage for image classification.
그러나, 종래에 뼈 종양을 감지하기 위해서는 방사선 촬영, 환자의 병력, 연령, 임상증상, 병변의 해부학적 위치 등의 여러 가지 데이터가 필요하며, 조기에 정확하게 검출하기가 쉽지 않고, 보조 치료와 병행하거나 외과적 절제술을 시행하는 후기 단계에서는 완치되기가 어렵다. 따라서, 뻐 종양의 조기 발견은 치료 과정에서 매우 중요하다.However, in order to detect a bone tumor in the related art, various data such as radiography, patient's medical history, age, clinical symptoms, and the anatomical location of the lesion are required, and it is not easy to accurately detect early, or in parallel with auxiliary treatment. It is difficult to cure in the later stages of surgical resection. Therefore, early detection of puff tumors is very important in the treatment process.
이에 본 출원인은 촬영 영상을 복수의 부분으로 분류하고 형태에 따라 분류/학습한 뒤 특징을 추출하고 신경망을 통해 뼈 종양을 분류함으로써, 뼈 종양 여부를 조기에 정확하게 검출하는 기술을 제안하고자 한다.Accordingly, the applicant of the present invention intends to propose a technology for early and accurate detection of bone tumors by classifying a captured image into a plurality of parts, classifying/learning according to its shape, extracting features, and classifying bone tumors through a neural network.
본 발명의 목적은, 촬영 영상에 대해 앙상블 반감독학습(ESSW: Ensemble Semi-Supervised Wnet)을 이용하여 골격을 분할하고, 분할된 영상에서 softmax 분류기를 통해 뼈 상태 확률을 결정하여 뼈 상태를 분류함으로써, 골 종양을 조기에 발견하고, 골 종양 검진의 의사결정 보조 도구로 활용하는데 있다.An object of the present invention is to classify a bone state by segmenting a skeleton using an ensemble semi-supervised learning (ESSW) for a captured image, and determining a bone state probability through a softmax classifier in the segmented image. It is intended to detect bone tumors early and use them as a decision aid tool for bone tumor screening.
이러한 기술적 과제를 달성하기 위한 본 발명의 일 실시예는 골 종양 탐지 시스템으로서, 입력 이미지에 포함된 뼈의 형상을 유사하게 재구성하여 뼈의 구조적 표현을 학습하여 제1학습정보를 생성하는 구조 학습부; 제1학습정보를 인가받아 종양 검출 판별 기준을 학습하여 제2학습정보를 생성하는 판별 학습부; 및 제1학습정보 및 제2학습정보와 입력받은 X선 영상의 비교를 통해 골 종양 여부와 그 위치를 검출하여 골 종양 검출정보를 생성하는 종양 검출부를 포함하되, 구조 학습부는, 입력받은 이미지에 포함된 뼈 형상의 차별적인 표현을 추출하여 재조합하는 인코더; 추출한 차별적인 표현을 저장 및 관리하고, 대퇴골, 경골 또는 비골 중에 어느 하나에 대한 구성 요소를 마스크하는 디코더; 및 마스크된 구성 요소들로부터 뼈 상태 확률을 결정하여 뼈 상태를 분류한 제1학습정보를 생성하는 SoftMax 분류기를 포함한다.An embodiment of the present invention for achieving this technical problem is a bone tumor detection system, a structure learning unit that learns structural representation of bone by similarly reconstructing the shape of a bone included in an input image to generate first learning information ; A discrimination learning unit that receives the first learning information and learns a tumor detection criterion to generate second learning information; And a tumor detection unit for generating bone tumor detection information by detecting the presence and location of a bone tumor by comparing the first learning information and the second learning information with the input X-ray image, wherein the structure learning unit An encoder that extracts and recombines the differential expression of the included bone shape; A decoder that stores and manages the extracted differential expression, and masks a component for any one of the femur, tibia, and fibula; And a SoftMax classifier for generating first learning information that classifies the bone state by determining a bone state probability from the masked components.
바람직하게는, 구조 학습부는 비감독학습(unsupervised learning)을 통해 제1학습정보를 생성하고, 판별 학습부는 감독학습(supervised learning)을 통해 제2학습정보를 생성하며, 종양 검출부는 앙상블 반감독학습(ESSW)을 통해 골 종양 검출정보를 생성하는 것을 특징으로 한다.Preferably, the structural learning unit generates first learning information through unsupervised learning, the discriminant learning unit generates second learning information through supervised learning, and the tumor detection unit generates ensemble half-supervised learning. It is characterized by generating bone tumor detection information through (ESSW).
구조 학습부는, 인코더를 통해 대퇴골, 경골 또는 비골 중에 어느 하나의 세그먼트를 포함하는 이미지를 입력받고, 다수의 컨벌루션 레이어 및 풀링 레이어를 통해 입력받은 이미지에 포함된 뼈의 형상을 재구성하여 뼈의 구조적 표현을 학습하는 것을 특징으로 한다.The structure learning unit receives an image including any one segment of the femur, tibia, or fibula through the encoder, and reconstructs the shape of the bone included in the image received through a plurality of convolutional layers and pooling layers to express the structure of the bone. Characterized in that learning to.
SoftMax 분류기는, 인코더 및 디코더 각각의 마지막 레이어의 출력으로부터 뼈 상태의 확률을 계산하여 뼈 종양을 분류하는 것을 특징으로 한다.The SoftMax classifier is characterized in classifying a bone tumor by calculating a probability of a bone state from the output of the last layer of each of the encoder and the decoder.
상기와 같은 본 발명에 따르면, 촬영 영상에 대해 앙상블 반감독학습(ESSW)을 이용하여 골격을 분할하고, 분할된 영상에서 softmax 분류기를 통해 뼈 상태 확률을 결정하여 뼈 상태를 분류함으로써, 골 종양을 조기에 발견하고, 골 종양 검진의 의사결정 보조 도구로 활용이 가능한 효과가 있다.According to the present invention as described above, bone tumors are classified by segmenting the skeleton using ensemble half-supervised learning (ESSW) for a captured image, and determining a bone state probability through a softmax classifier from the segmented image. It is detected early and can be used as a decision aid tool for bone tumor screening.
도 1은 본 발명의 일 실시예에 따른 골 종양 탐지 시스템의 뼈 종양 검출을 위한 ESSW의 아키텍처를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 골 종양 탐지 시스템을 도시한 구성도.
도 3은 본 발명의 일 실시예에 따른 골 종양 탐지 시스템에 의해 생성된 골 종양 검출정보의 샘플을 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 골 종양 탐지 시스템의 인코더 및 디코더를 통해 수행되는 뼈 분할 과정을 도시한 예시도.
도 5는 본 발명의 일 실시예에 따른 골 종양 탐지 시스템에 의해 부분적으로 분할된 뼈 형상을 도시한 예시도.
도 6은 본 발명의 일 실시예에 따른 골 종양 탐지 방법을 도시한 순서도.
도 7은 본 발명의 일 실시예에 따른 골 종양 탐지 방법의 제S100단계에 대한 세부과정을 도시한 순서도.1 is a view showing the architecture of an ESSW for bone tumor detection of a bone tumor detection system according to an embodiment of the present invention.
2 is a block diagram showing a bone tumor detection system according to an embodiment of the present invention.
3 is an exemplary view showing a sample of bone tumor detection information generated by the bone tumor detection system according to an embodiment of the present invention.
4 is an exemplary view showing a bone segmentation process performed through an encoder and a decoder of the bone tumor detection system according to an embodiment of the present invention.
5 is an exemplary view showing a bone shape partially divided by the bone tumor detection system according to an embodiment of the present invention.
6 is a flow chart showing a method for detecting a bone tumor according to an embodiment of the present invention.
7 is a flow chart showing a detailed process for step S100 of the method for detecting a bone tumor according to an embodiment of the present invention.
본 발명의 구체적인 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, terms or words used in the present specification and claims are based on the principle that the inventor can appropriately define the concept of terms in order to describe his or her invention in the best way. It should be interpreted as a corresponding meaning and concept. In addition, when it is determined that a detailed description of known functions and configurations thereof related to the present invention may unnecessarily obscure the subject matter of the present invention, it should be noted that the detailed description has been omitted.
도 1은 본 발명의 일 실시예에 따른 골 종양 탐지 시스템(S)의 뼈 종양 검출을 위한 ESSW의 아키텍처를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 골 종양 탐지 시스템(S)을 도시한 구성도이다.1 is a diagram showing the architecture of an ESSW for bone tumor detection of a bone tumor detection system S according to an embodiment of the present invention, and FIG. 2 is a bone tumor detection system S according to an embodiment of the present invention. ) Is a configuration diagram showing.
도 1 및 도 2를 참조하면 본 발명의 일 실시예에 따른 골 종양 탐지 시스템(S)은, 입력 이미지에 포함된 뼈의 형상을 유사하게 재구성하여 뼈의 구조적 표현을 학습하여 제1학습정보를 생성하는 구조 학습부(100)와, 제1학습정보를 인가받아 종양 검출 판별 기준을 학습하여 제2학습정보를 생성하는 판별 학습부(200), 및 제1학습정보 및 제2학습정보와 입력받은 X선 영상의 비교를 통해 골 종양 여부와 그 위치를 검출하여 골 종양 검출정보를 생성하는 종양 검출부(300)를 포함하여 구성된다.1 and 2, the bone tumor detection system S according to an embodiment of the present invention similarly reconstructs the shape of the bone included in the input image to learn the structural representation of the bone to obtain first learning information. A structure learning unit to generate 100, a discrimination learning unit 200 that receives the first learning information and learns a tumor detection criterion to generate second learning information, and the first learning information and the second learning information and input It is configured to include a tumor detection unit 300 for generating bone tumor detection information by detecting the presence and location of a bone tumor through comparison of the received X-ray images.
이때, 골 종양 검출정보는 도 3에 도시된 샘플과 같이 정상 림프종, 양성 종양 또는 악성 종양 중에 어느 하나를 포함할 수 있다.In this case, the bone tumor detection information may include any one of a normal lymphoma, a benign tumor, or a malignant tumor, as shown in the sample shown in FIG. 3.
이하에서는 그 구체적인 언급을 생략하겠으나, 본 발명의 일 실시예에 따른 골 종양 탐지 시스템(S)에 의해 생성되는 제1학습정보는 비감독학습(unsupervised learning)에 의해 생성되고, 제2학습정보는 감독학습(supervised learning)에 의해 생성된다. 따라서, 골 종양 검출정보는 비감독학습 및 감독학습의 결합에 의한 결과물인바, 결국 서로 다른 학습모델을 결합한 앙상블 반감독학습(ESSW)에 의해 생성되는 것으로 해석하는 것이 바람직하다.In the following, a specific reference will be omitted, but the first learning information generated by the bone tumor detection system S according to an embodiment of the present invention is generated by unsupervised learning, and the second learning information is It is created by supervised learning. Therefore, since bone tumor detection information is a result of the combination of unsupervised learning and supervised learning, it is desirable to interpret it as being generated by ensemble half-supervised learning (ESSW) combining different learning models.
구체적으로, 구조 학습부(100)는 입력받은 이미지에 포함된 뼈 형상의 차별적인 표현을 추출하여 재조합하는 인코더(102a, 102b)와, 추출한 차별적인 표현을 저장 및 관리하고, 대퇴골, 경골 또는 비골 중에 어느 하나에 대한 구성 요소를 마스크하는 디코더(104a, 104b), 및 마스크된 구성 요소들로부터 뼈 상태 확률을 결정하여 뼈 상태를 분류한 제1학습정보를 생성하는 SoftMax 분류기(106)를 포함하여 구성된다.Specifically, the structure learning unit 100 stores and manages the encoders 102a and 102b that extract and recombine the differential expression of the bone shape included in the input image, and the extracted differential expression, and the femur, tibia or fibula Including a decoder (104a, 104b) for masking any one of the constituent elements, and a SoftMax classifier 106 that determines the bone state probability from the masked constituent elements to generate first learning information that classifies the bone state. Is composed.
이때, 본 발명의 일 실시예에 따른 인코더 및 디코더를 통해 수행되는 뼈 분할 과정은 도 4에 도시된 예와 같고, 부분적으로 분할된 뼈 형상은 도 5에 도시된 예와 같다.In this case, the bone segmentation process performed by the encoder and decoder according to an embodiment of the present invention is the same as the example shown in FIG. 4, and the partially divided bone shape is the same as the example shown in FIG. 5.
구체적으로, 인코더(102a, 102b)는 다수의 컨벌루션 레이어 및 풀링 레이어를 통해 입력받은 이미지에 포함된 뼈의 형상의 차별적인 표현을 추출한다.Specifically, the encoders 102a and 102b extract a differential representation of the shape of a bone included in an image received through a plurality of convolutional layers and pooling layers.
또한, 인코더(102a, 102b)가 입력받은 이미지는 대퇴골, 경골 또는 비골 중에 어느 하나의 세그먼트를 포함하고, 다수의 컨벌루션 레이어 및 풀링 레이어를 통해 입력받은 이미지에 포함된 뼈의 형상을 유사하게 재구성하여 뼈의 구조적 표현을 학습한다.In addition, the image received by the encoders 102a and 102b includes any one segment of the femur, tibia, or fibula, and similarly reconstructs the shape of the bone included in the image received through a plurality of convolutional layers and pooling layers. Study the structural representation of bones.
또한, 추출한 차별적인 표현은 다운 샘플링 또는 업 샘플링 이전에 인코더(102a, 102b) 각각과 연결된 연속 컨볼루션 계층의 합계를 계산하고, 그 계산 결과에 대한 풀링작업을 통해 기능 맵의 크기를 줄이게 된다.In addition, the extracted differential expression calculates the sum of the continuous convolutional layers connected to each of the encoders 102a and 102b before downsampling or upsampling, and reduces the size of the functional map through a pooling operation on the calculation result.
이때, 최소화할 비용 함수는 평균 제곱 오차(MSE: Mean Squared Error)이고, 아래의 [수학식 1]과 같이 표현된다.At this time, the cost function to be minimized is a mean squared error (MSE), and is expressed as [Equation 1] below.
[수학식 1][Equation 1]
또한, SoftMax 분류기(106)는 인코더(102a)와 디코더(104a), 및 인코더(102b)와 디코더(104b)의 마지막 레이어의 각 출력으로부터 뼈 상태의 확률을 계산하여 뼈 종양을 분류한다. 이때, 교차 엔트로피는 아래의 [수학식 2]와 같이 계산된 뼈 종양의 분류를 위한 비용 함수로 사용된다.In addition, the SoftMax classifier 106 classifies a bone tumor by calculating the probability of a bone state from the outputs of the encoder 102a and the decoder 104a, and the last layer of the encoder 102b and the decoder 104b. In this case, the cross entropy is used as a cost function for classification of bone tumors calculated as in [Equation 2] below.
[수학식 2][Equation 2]
한편, 판별 학습부(200)는 구조 학습부(100)로부터 인가받은 제1학습정보에 포함된 뼈 상태를 토대로 종양 검출 판별 기준을 학습하여 뼈 상태 확률을 결정하는 제2학습정보를 생성한다.On the other hand, the discrimination learning unit 200 generates second learning information for determining a bone state probability by learning a tumor detection criterion based on the bone state included in the first learning information approved from the structure learning unit 100.
이때, 본 발명의 일 실시예는 구조 학습부(100)의 비감독학습(unsupervised learning)을 통해 제1학습정보를 생성하고, 판별 학습부(200)의 감독학습(supervised learning)을 통해 제2학습정보를 생성하는 즉, 두개의 출력으로부터 뼈 종양을 분류하기 때문에 전체 손실 함수는 아래의 [수학식 3]과 같이 표현된다.At this time, an embodiment of the present invention generates the first learning information through unsupervised learning of the structure learning unit 100, and the second learning information through supervised learning of the discrimination learning unit 200. Because learning information is generated, that is, bone tumors are classified from two outputs, the total loss function is expressed as [Equation 3] below.
[수학식 3][Equation 3]
그리고, 종양 검출부(300)는 앙상블 반감독학습(ESSW)에 의한 제1학습정보 및 제2학습정보의 평균 출력과, 입력받은 X선 영상의 비교를 통해 골 종양 여부와 그 위치를 검출하여 골 종양 검출정보를 생성한다.In addition, the tumor detection unit 300 detects the presence of a bone tumor and its location by comparing the average output of the first learning information and the second learning information by the ensemble half-supervised learning (ESSW) and the input X-ray image. Generate tumor detection information.
이때, 종양 검출부(300)가 생성하는 골 종양 검출정보는 제1학습정보(비감독학습) 및 제2학습정보(감독학습)의 결합에 의한 결과물인바, 서로 다른 학습모델을 결합한 앙상블 반감독학습(ESSW)에 의해 생성된다.At this time, the bone tumor detection information generated by the tumor detection unit 300 is a result of the combination of the first learning information (unsupervised learning) and the second learning information (supervised learning), and the ensemble half-supervised learning combining different learning models Generated by (ESSW).
이때, 앙상블 반감독학습(ESSW)에 의한 평균 출력을 통해 아래의 [수학식 4]와 같이 클래스 i에 대한 평균 확률(마스크된 구성 요소들로부터 뼈 상태 확률)을 계산하여 뼈 상태를 분류한다.At this time, the bone state is classified by calculating the average probability for class i (the bone state probability from the masked components) as shown in [Equation 4] below through the average output by the ensemble half-supervised learning (ESSW).
[수학식 4][Equation 4]
상기 수학식들에 사용된 인자에 대한 설명은 다음과 같다.A description of the factors used in the above equations is as follows.
먼저, 
전술한 바와 같은 본 발명의 일 실시예에 따른 골 종양 탐지 시스템(S)은, 입력받는 이미지의 크기를 240x200으로 조정하고, 각 컨벌루션 레이어에 대해 커널 크기는 3x3으로 설정하였으며, 역전파 알고리즘은 매개 변수에 대한 오차 함수의 기울기를 계산하기 위해 적용되며, 학습 속도가 0.0001인 Adam 알고리즘을 사용하여 가중치를 업데이트 할 수 있다.The bone tumor detection system S according to an embodiment of the present invention as described above adjusts the size of the input image to 240x200, and the kernel size for each convolutional layer is set to 3x3, and the backpropagation algorithm is It is applied to calculate the slope of the error function for the variable, and the weights can be updated using the Adam algorithm with a learning rate of 0.0001.
또한, 미니배치 전략은 완전 배치 훈련보다 더욱 빠르게 수렴하기 위해 사용되며, 숨겨진 레이어의 가중치는 무작위로 초기화되고, SoftMax 레이어의 경우 모든 가중치가 0으로 초기화 된다. 그리고, 모멘텀 방법은 훈련 단계를 가속화하기 위해 0.9의 값으로 사용된다.In addition, the mini-batch strategy is used to converge faster than full-batch training, the weights of hidden layers are initialized randomly, and in the case of SoftMax layers, all weights are initialized to zero. And, the momentum method is used with a value of 0.9 to accelerate the training phase.
이하, 도 6을 참조하여 본 발명의 일 실시예에 따른 골 종양 탐지 방법에 대해 살피면 아래와 같다.Hereinafter, a method for detecting a bone tumor according to an embodiment of the present invention will be described with reference to FIG. 6.
먼저, 구조 학습부(100)가 입력 이미지에 포함된 뼈의 형상을 유사하게 재구성하고, 뼈의 구조적 표현을 학습하여 제1학습정보를 생성한다(S100). 이때, 제1학습정보는 비감독학습(unsupervised learning)을 통해 생성된다.First, the structure learning unit 100 similarly reconstructs the shape of the bone included in the input image and learns the structural representation of the bone to generate first learning information (S100). At this time, the first learning information is generated through unsupervised learning.
이어서, 판별 학습부(200)가 제1학습정보를 인가받아 종양 검출 판별 기준을 학습하여 제2학습정보를 생성한다(S200). 이때, 제2학습정보는 감독학습(supervised learning)을 통해 생성된다.Subsequently, the discrimination learning unit 200 receives the first learning information, learns a tumor detection criterion, and generates second learning information (S200). At this time, the second learning information is generated through supervised learning.
그리고, 종양 검출부(300)가 제1학습정보 및 제2학습정보와 입력받은 X선 영상의 비교를 통해 골 종양 여부와 그 위치를 검출하여 골 종양 검출정보를 생성한다(S300). 이때, 골 종양 검출정보는 앙상블 반감독학습(ESSW)에 의한 평균 출력을 통해 생성된다.Then, the tumor detection unit 300 detects the presence of a bone tumor and its location by comparing the first learning information and the second learning information with the input X-ray image to generate bone tumor detection information (S300). At this time, bone tumor detection information is generated through an average output by ensemble half-supervised learning (ESSW).
이하, 도 7을 참조하여 본 발명의 일 실시예에 따른 골 종양 탐지 방법의 제S100단계에 대한 세부과정에 대해 살피면 아래와 같다.Hereinafter, a detailed process of step S100 of the method for detecting a bone tumor according to an embodiment of the present invention will be described with reference to FIG. 7.
먼저, 구조 학습부(100)가 입력받은 이미지에 포함된 뼈 형상의 차별적인 표현을 추출하여 재조합한다(S102).First, the structure learning unit 100 extracts and recombines the differential expression of the bone shape included in the input image (S102).
이어서, 구조 학습부(100)가 추출한 차별적인 표현을 저장 및 관리하고, 대퇴골, 경골 또는 비골 중에 어느 하나에 대한 구성 요소를 마스크 한다(S104).Subsequently, the structure learning unit 100 stores and manages the extracted differential expression, and masks a component for any one of the femur, tibia, and fibula (S104).
그리고, 구조 학습부(100)가 마스크된 구성 요소들로부터 뼈 상태 확률을 결정하여 뼈 상태를 분류한 제1학습정보를 생성한다(S106).Then, the structure learning unit 100 determines a bone state probability from the masked constituent elements to generate first learning information that classifies the bone state (S106).
이때, 구조 학습부(100)는 SoftMax 분류기(106)를 통해 인코더(102a)와 디코더(104a), 및 인코더(102b)와 디코더(104b)의 마지막 레이어의 각 출력으로부터 뼈 상태의 확률을 계산하여 뼈 종양을 분류한다.At this time, the structure learning unit 100 calculates the probability of the bone state from each output of the last layer of the encoder 102a and the decoder 104a, and the encoder 102b and the decoder 104b through the SoftMax classifier 106. Classify bone tumors.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.As described above and shown in connection with a preferred embodiment for illustrating the technical idea of the present invention, the present invention is not limited to the configuration and operation as shown and described as described above, and deviates from the scope of the technical idea. It will be appreciated by those skilled in the art that many changes and modifications can be made to the present invention without. Therefore, all such appropriate changes and modifications and equivalents should be considered to be within the scope of the present invention.
S: 골 종양 탐지 시스템
100: 구조 학습부
102a, 102b: 인코더
104a, 104b: 디코더
106: SoftMax 분류기
200: 판별 학습부
300: 종양 검출부S: bone tumor detection system
100: Structure Learning Department
102a, 102b: encoder
104a, 104b: decoder
106: SoftMax classifier
200: discrimination learning unit
300: tumor detection unit
Claims (4)
상기 제1학습정보를 인가받아 종양 검출 판별 기준을 학습하여 제2학습정보를 생성하는 판별 학습부; 및
상기 제1학습정보 및 제2학습정보와 입력받은 X선 영상의 비교를 통해 골 종양 여부와 그 위치를 검출하여 골 종양 검출정보를 생성하는 종양 검출부를 포함하되,
상기 구조 학습부는,
입력받은 이미지에 포함된 뼈 형상의 차별적인 표현을 추출하여 재조합하는 인코더;
추출한 차별적인 표현을 저장 및 관리하고, 대퇴골, 경골 또는 비골 중에 어느 하나에 대한 구성 요소를 마스크하는 디코더; 및
마스크된 구성 요소들로부터 뼈 상태 확률을 결정하여 뼈 상태를 분류한 제1학습정보를 생성하는 SoftMax 분류기를
포함하는 것을 특징으로 하는 골 종양 탐지 시스템.A structure learning unit that similarly reconstructs the shape of the bone included in the input image to learn a structural representation of the bone to generate first learning information;
A discrimination learning unit that receives the first learning information and learns a tumor detection criterion to generate second learning information; And
Comprising a tumor detection unit for generating bone tumor detection information by detecting the presence and location of a bone tumor by comparing the first learning information and the second learning information with the input X-ray image,
The structure learning unit,
An encoder that extracts and recombines the differential expression of the bone shape included in the input image;
A decoder that stores and manages the extracted differential expression, and masks a component for any one of the femur, tibia, and fibula; And
A SoftMax classifier that determines the bone state probability from the masked components and generates first learning information that classifies the bone state.
Bone tumor detection system comprising a.
상기 구조 학습부는 비감독학습(unsupervised learning)을 통해 상기 제1학습정보를 생성하고,
상기 판별 학습부는 감독학습(supervised learning)을 통해 상기 제2학습정보를 생성하며,
상기 종양 검출부는 앙상블 반감독학습(ESSW)을 통해 상기 골 종양 검출정보를 생성하는 것을 특징으로 하는 골 종양 탐지 시스템.The method of claim 1,
The structure learning unit generates the first learning information through unsupervised learning,
The discriminant learning unit generates the second learning information through supervised learning,
The tumor detection unit generates the bone tumor detection information through ensemble half-supervised learning (ESSW).
상기 구조 학습부는,
상기 인코더를 통해 대퇴골, 경골 또는 비골 중에 어느 하나의 세그먼트를 포함하는 이미지를 입력받고, 다수의 컨벌루션 레이어 및 풀링 레이어를 통해 입력받은 이미지에 포함된 뼈의 형상을 재구성하여 뼈의 구조적 표현을 학습하는 것을 특징으로 하는 골 종양 탐지 시스템.The method of claim 1,
The structure learning unit,
Receiving an image including any one segment among the femur, tibia, or fibula through the encoder, and reconstructing the shape of the bone included in the image received through a plurality of convolutional layers and pooling layers to learn structural representation of the bone Bone tumor detection system, characterized in that.
상기 SoftMax 분류기는,
인코더 및 디코더 각각의 마지막 레이어의 출력으로부터 뼈 상태의 확률을 계산하여 뼈 종양을 분류하는 것을 특징으로 하는 골 종양 탐지 시스템.The method of claim 1,
The SoftMax classifier,
Bone tumor detection system, characterized in that to classify the bone tumor by calculating the probability of the bone state from the output of each of the last layer of the encoder and the decoder.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190002323A KR102202361B1 (en) | 2019-01-08 | 2019-01-08 | System for detecting bone tumour |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190002323A KR102202361B1 (en) | 2019-01-08 | 2019-01-08 | System for detecting bone tumour |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200086406A KR20200086406A (en) | 2020-07-17 |
| KR102202361B1 true KR102202361B1 (en) | 2021-01-14 |
Family
ID=71832364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190002323A KR102202361B1 (en) | 2019-01-08 | 2019-01-08 | System for detecting bone tumour |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102202361B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230001148A (en) | 2021-06-28 | 2023-01-04 | 전남대학교산학협력단 | Knee bone tumor detection system and method using x-ray image |
| KR20230129078A (en) | 2022-02-28 | 2023-09-06 | 코넥티브 주식회사 | Appartus and method for quantifying lesion in biometric image |
| KR20240044196A (en) | 2022-09-28 | 2024-04-04 | 서울여자대학교 산학협력단 | Method and apparatus for multi-stage segmentation of organs based on semi-supervised learning |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102705884B1 (en) * | 2022-03-22 | 2024-09-11 | 사회복지법인 삼성생명공익재단 | Tumor classification method based on learning model using hip x-ray and analysis apparatus |
| KR102686815B1 (en) * | 2022-12-06 | 2024-07-19 | 사회복지법인 삼성생명공익재단 | Visualization method for bone tumor within humerus in chest x-ray and analysis apparatus |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101623431B1 (en) | 2015-08-06 | 2016-05-23 | 주식회사 루닛 | Pathological diagnosis classifying apparatus for medical image and pathological diagnosis system using the same |
| KR101889725B1 (en) | 2018-07-04 | 2018-08-20 | 주식회사 루닛 | Method and Apparatus for Diagnosing Malignant Tumor |
| US20200066407A1 (en) | 2017-02-23 | 2020-02-27 | Google Llc | Method and System for Assisting Pathologist Identification of Tumor Cells in Magnified Tissue Images |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014201052A2 (en) | 2013-06-10 | 2014-12-18 | University Of Mississippi Medical Center | Medical image processing method |
-
2019
- 2019-01-08 KR KR1020190002323A patent/KR102202361B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101623431B1 (en) | 2015-08-06 | 2016-05-23 | 주식회사 루닛 | Pathological diagnosis classifying apparatus for medical image and pathological diagnosis system using the same |
| US20200066407A1 (en) | 2017-02-23 | 2020-02-27 | Google Llc | Method and System for Assisting Pathologist Identification of Tumor Cells in Magnified Tissue Images |
| KR101889725B1 (en) | 2018-07-04 | 2018-08-20 | 주식회사 루닛 | Method and Apparatus for Diagnosing Malignant Tumor |
Non-Patent Citations (1)
| Title |
|---|
| 호녁휜 등, 적응적 U-Net을 이용한 X-레이 영상의 뼈 영역 분할, 한국정보과학회 학술발표논문집, 2018년, 페이지 849-851 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230001148A (en) | 2021-06-28 | 2023-01-04 | 전남대학교산학협력단 | Knee bone tumor detection system and method using x-ray image |
| KR20230129078A (en) | 2022-02-28 | 2023-09-06 | 코넥티브 주식회사 | Appartus and method for quantifying lesion in biometric image |
| KR20240044196A (en) | 2022-09-28 | 2024-04-04 | 서울여자대학교 산학협력단 | Method and apparatus for multi-stage segmentation of organs based on semi-supervised learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200086406A (en) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102202361B1 (en) | System for detecting bone tumour | |
| Wang et al. | Automated pulmonary nodule detection: High sensitivity with few candidates | |
| Bayramoglu et al. | Machine learning based texture analysis of patella from X-rays for detecting patellofemoral osteoarthritis | |
| JP4354737B2 (en) | Computer aided diagnosis with multiple energy images. | |
| Dodia et al. | Recent advancements in deep learning based lung cancer detection: A systematic review | |
| Wason et al. | Image processing techniques for analyzing CT scan images towards the early detection of lung cancer | |
| Magdy et al. | Automatic classification of normal and cancer lung CT images using multiscale AM‐FM features | |
| Liu et al. | Diagnostic and gradation model of osteoporosis based on improved deep U-Net network | |
| Tiwari et al. | Multiclass classification of disease using cnn and svm of medical imaging | |
| Saranya et al. | Analyzing fibrous tissue pattern in fibrous dysplasia bone images using deep R-CNN networks for segmentation | |
| Mebarkia et al. | X-ray image analysis for osteoporosis diagnosis: From shallow to deep analysis | |
| Darıcı | Performance analysis of combination of cnn-based models with adaboost algorithm to diagnose covid-19 disease | |
| Kondal et al. | Automatic grading of knee osteoarthritis on the Kellgren-Lawrence scale from radiographs using convolutional neural networks | |
| Fathima et al. | A deep learning approach on segmentation of bone for bmd measurement from dexa scan images | |
| Gunasekaran et al. | Wavelet based CNN for diagnosis of COVID 19 using chest X ray | |
| Jalehi et al. | Highly accurate multiclass classification of respiratory system diseases from chest radiography images using deep transfer learning technique | |
| Varalakshmi et al. | Detection of Osteoporosis with DEXA Scan Images using Deep Learning Models | |
| Huo et al. | Effect of dominant features on neural network performance in the classification of mammographic lesions | |
| Balaji et al. | Computer-aided detection and diagnosis of diaphyseal femur fracture | |
| Hashem et al. | Jaw fracture classification using meta heuristic firefly algorithm with multi-layered associative neural networks | |
| Farooq et al. | DC-AAE: dual channel adversarial autoencoder with multitask learning for KL-grade classification in knee radiographs | |
| Thangavel et al. | Revolutionizing breast cancer diagnosis with a comprehensive approach using digital mammogram-based feature extraction and selection for early-stage identification | |
| Yazar | A Comparative study on classification performance of Emphysema with transfer learning methods in deep convolutional neural networks | |
| Shinde et al. | Automatic COVID-19 Detection from Chest X-Rays using Deep Learning Techniques | |
| Vallurupalli et al. | Bone Fracture Detection Using CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |