KR20240026705A - Bone age prediction system and method - Google Patents
Bone age prediction system and method Download PDFInfo
- Publication number
- KR20240026705A KR20240026705A KR1020220104893A KR20220104893A KR20240026705A KR 20240026705 A KR20240026705 A KR 20240026705A KR 1020220104893 A KR1020220104893 A KR 1020220104893A KR 20220104893 A KR20220104893 A KR 20220104893A KR 20240026705 A KR20240026705 A KR 20240026705A
- Authority
- KR
- South Korea
- Prior art keywords
- bone age
- bone
- instance
- original image
- preprocessor
- Prior art date
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000007469 bone scintigraphy Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 11
- 238000009795 derivation Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 6
- 230000032683 aging Effects 0.000 abstract description 5
- 230000036541 health Effects 0.000 abstract description 2
- 208000006386 Bone Resorption Diseases 0.000 abstract 1
- 230000024279 bone resorption Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 238000011176 pooling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000007717 exclusion Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 골연령 예측 시스템 및 방법에 관한 것으로, 수신부가 뼈 형상에 대한 원본 이미지를 수신하고, 전처리부가 수신된 원본 이미지의 특징을 추출하고, 학습부가 추출된 특징을 딥러닝 알고리즘으로 학습하며, 골연령 예측부가 학습된 특징을 토대로 입력된 원본 이미지에서 환자의 골연령을 도출하는 골연령 예측부를 포함하는 골연령 예측 시스템에서, 전처리부가 수신된 원본 이미지를 다수개의 인스턴스(Instance)로 분할하고, 분할된 인스턴스 각각의 특징을 추출하기 위해 기 학습된 신경망에 입력으로 각 인스턴스에 대한 특징 임베딩을 도출하고, 도출된 특징 임베딩을 주의 기반 알고리즘에 입력으로 각 인스턴스의 특징 임베딩에 대한 가중치를 도출하고, 각 인스턴스의 특징 임베딩 및 가중치를 연산하여 골연령을 예측하기 위한 융합된 특징을 생성하는 구성으로 전신 뼈 신티그라피로 측정한 Tc-99m-HDP의 뼈 흡수와 노화 과정 및 노화 관련 질병의 관계의 도출이 가능함에 따라 노화 및 노화 관련 질병을 예방하기 위한 건강관리의 효율성을 향상시킬 수 있다.The present invention relates to a bone age prediction system and method, wherein a receiver receives an original image of the bone shape, a preprocessor extracts features of the received original image, and a learner learns the extracted features using a deep learning algorithm, In a bone age prediction system that includes a bone age prediction unit that derives the patient's bone age from the original image input based on the learned features, the preprocessor divides the received original image into a plurality of instances, In order to extract features of each segmented instance, feature embeddings for each instance are derived as input to a pre-trained neural network, and weights for the feature embeddings of each instance are derived by inputting the derived feature embeddings to an attention-based algorithm. This is a configuration that generates fused features to predict bone age by calculating the feature embedding and weight of each instance, and derives the relationship between bone resorption of Tc-99m-HDP measured by whole-body bone scintigraphy and the aging process and age-related diseases. If possible, the efficiency of health care to prevent aging and age-related diseases can be improved.
Description
본 발명은 골연령 예측 시스템 및 방법에 관한 것으로, 원본 이미지에 대한 다중 인스턴스 학습과 주의 네트워크를 이용하여 골연령을 추정할 수 있도록 한 기술에 관한 것이다.The present invention relates to a bone age prediction system and method, and to a technology that allows bone age to be estimated using multi-instance learning and an attention network for an original image.
뼈 나이 추정(BAE) 작업에는 여러 가지 목적이 있다. 먼저, 어린이 성장의 몇 가지 신체적 문제를 조사하는데 사용할 수 있다. 이 작업은 인체에 X선 이미지를 조사하여 얻어진 방사선 이미지로 어린이 뼈의 생물학적 구조를 표현할 수 있지만 18세 이상의 사람들에게는 효과적이지 못하다. 또한, BAE는 노화 과정 및 뼈 관련 질병을 분석하고 조기에 예측하는 작업에 사용할 수 있다.Bone age estimation (BAE) has several purposes. First, it can be used to investigate some physical problems in a child's growth. This operation can represent the biological structure of children's bones with radiological images obtained by irradiating X-ray images to the human body, but is not effective for people over 18 years of age. Additionally, BAE can be used to analyze and early predict the aging process and bone-related diseases.
최근 질병의 상태를 평가하는 기본 과정인 골연령 예측을 위해 DL(Deep Learning) 기반 영상 분석 모델이 개발되었다. 512 x 512 대신 크기를 재설정하여 32 x 32 크기의 입력 영상을 받아 뼈 나이를 예측하는 CNN(Convolutional Neural Networks) 기반의 LeNet-5 네트워크가 제안되었다. SVR(Support Vector Regression)은 뼈의 나이를 예측하는 작업을 위해 이질적인 특징을 집계하는 데에도 사용할 수 있다. 따라서, CNN과 SVR 기반 모델의 조합은 데이터에 이기종 특성이 포함된 경우 BAE 작업에 대한 성능 효율성이 향상된다. Recently, a DL (Deep Learning)-based image analysis model was developed to predict bone age, which is a basic process for evaluating disease status. A LeNet-5 network based on CNN (Convolutional Neural Networks) was proposed that predicts bone age by receiving an input image of size 32 x 32 by resetting the size instead of 512 x 512. Support Vector Regression (SVR) can also be used to aggregate disparate features for the task of predicting bone age. Therefore, the combination of CNN and SVR-based models improves performance efficiency for BAE tasks when the data contains heterogeneous features.
다른 모델을 사용한 일 예로, BAE용 ad-hoc CNN을 설계한 BoNet 구조는 변형 레이어를 활용하여 뼈의 비강체 변형을 처리하고, 복잡성이 낮은 CaffeNet 기반 CNN 모델은 뉴런과 연결되는 엄청난 수의 엣지(edge)를 가짐과 동시에 뉴런의 값이 고정되어 작은 크기의 입력 이미지에서 더 나은 성능을 보인다.As an example using different models, the BoNet architecture designed ad-hoc CNN for BAE utilizes deformation layers to handle non-rigid deformation of bone, and the low-complexity CaffeNet-based CNN model has a huge number of edges connecting neurons ( edge) and at the same time the neuron value is fixed, showing better performance in small-sized input images.
또한, 분류 모델에 대한 시작 블록을 사용하여 ImageNet 데이터 세트에 대한 사전 학습으로 BAE에 전이 학습을 사용하는 데 중점을 둠에 따라 뼈 나이 분류 작업에 22개 은닉층을 포함하는 Google-Net 모델을 통해 골연령을 예측 성능을 향상시킨 연구결과가 있다.Additionally, we focused on using transfer learning on BAE with pre-training on the ImageNet dataset using starting blocks for the classification model, using a Google-Net model with 22 hidden layers for the task of bone age classification. There are research results that improve age prediction performance.
그러나, 종래의 골연령을 예측하기 위한 모델들은 학습을 위한 영상 또는 이미지가 약 900 x 3000 픽셀로 구성되어 처리해야할 데이터의 양이 많아 방대한 데이터의 영상을 학습하기 위해 많은 시간을 요구하거나 크기를 줄이는 과정에서 데이터 손실의 발생은 해결해야할 문제로 남아있다. 또한, 전신 이미지를 사용하게 되면 모델이 일부 중요한 영역에 초점을 맞추지 못해 골연령을 예측하는데 어려움이 있다.However, conventional models for predicting bone age require a lot of time to learn or reduce the size of images with large amounts of data because the images or images for learning are composed of approximately 900 x 3000 pixels, so the amount of data to be processed is large. The occurrence of data loss in the process remains a problem that needs to be solved. Additionally, when using full-body images, it is difficult to predict bone age because the model cannot focus on some important areas.
본 발명은, 이미지 크기를 줄이는 과정에서 발생하는 데이터 손실을 최소화하기 위해 원본 이미지를 여러 타일로 분할하여 인스턴스집합으로 간주하고 세 가지 주요 모듈을 통해 골연령을 도출할 수 있는 골연령 예측 시스템 및 방법을 제공할 수 있다.The present invention is a bone age prediction system and method that divides the original image into several tiles, considers them as an instance set, and derives bone age through three main modules in order to minimize data loss occurring in the process of reducing image size. can be provided.
본 발명의 일 측면에 따른 골연령 예측 시스템은 뼈 형상에 대한 원본 이미지를 수신하는 수신부; 상기 수신된 원본 이미지의 특징을 추출하는 전처리부; 상기 추출된 특징을 딥러닝 알고리즘으로 학습하는 학습부; 및 상기 학습된 특징을 토대로 입력된 원본 이미지에서 환자의 골연령을 도출하는 골연령 예측부를 포함하고, 상기 전처리부는, 수신된 원본 이미지를 다수개의 인스턴스(Instance)로 분할하고, 상기 분할된 인스턴스 각각의 특징을 추출하기 위해 기 학습된 신경망에 입력으로 각 인스턴스에 대한 특징 임베딩을 도출하고, 상기 도출된 특징 임베딩을 주의 기반 알고리즘에 입력으로 각 인스턴스의 특징 임베딩에 대한 가중치를 도출하고, 상기 각 인스턴스의 특징 임베딩 및 가중치를 연산하여 골연령을 예측하기 위한 융합된 특징을 생성한다.A bone age prediction system according to one aspect of the present invention includes a receiving unit that receives an original image of the bone shape; a preprocessor that extracts features of the received original image; A learning unit that learns the extracted features using a deep learning algorithm; and a bone age prediction unit that derives the patient's bone age from the input original image based on the learned features, wherein the preprocessor divides the received original image into a plurality of instances, and each of the divided instances. In order to extract features, feature embeddings for each instance are derived as input to a pre-trained neural network, and the derived feature embeddings are input to an attention-based algorithm to derive weights for the feature embeddings of each instance. Calculate feature embeddings and weights to generate fused features to predict bone age.
바람직하게는, 상기 원본 이미지는 전신 뼈 신티그래피(Scintigraphy)일 수 있다.Preferably, the original image may be whole body bone scintigraphy.
바람직하게는, 상기 전처리부는 원본 이미지를 기 설정된 크기로 분할할 수 있다.Preferably, the preprocessor may divide the original image into a preset size.
바람직하게는, 상기 전처리부는 분할된 인스턴스 중 특징 추출에서 제외되는 인스턴스를 도출할 수 있다.Preferably, the preprocessor may derive instances excluded from feature extraction among the segmented instances.
바람직하게는, 상기 전처리부는 각 인스턴스를 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh) 함수 및 시그모이드(Sigmoid, Sigm) 함수 중 적어도 하나의 함수로 연산되는 선형 레이어로 구성된 신경망에 입력할 수 있다.Preferably, the preprocessor may input each instance into a neural network composed of a linear layer calculated with at least one of a hyperbolic tangent (tanh) function and a sigmoid (Sigm) function.
바람직하게는, 상기 전처리부는 적어도 하나의 선형 레이어의 출력단에 시그소프트맥스(Sigsoftmax) 함수를 적용하여 각 특징에 대한 적어도 하나의 가중치를 도출하되, 상기 가중치는 0 내지 1 범위이고, 가중치 각각의 합이 1일 수 있다.Preferably, the preprocessor applies a Sigsoftmax function to the output of at least one linear layer to derive at least one weight for each feature, wherein the weight is in the range of 0 to 1, and the sum of each weight is This could be 1.
바람직하게는, 상기 전처리부는 인스턴스의 특징 각각에 서로 다른 가중치를 부여하고 부여된 각각의 가중치에 따라 중요 인스턴스를 도출할 수 있다.Preferably, the preprocessor may assign different weights to each feature of the instance and derive important instances according to each assigned weight.
본 발명의 다른 측면에 따른 골연령 예측 시스템에서 수행되는 골연령 예측 방법은 수신부에서 전신 뼈 신티그래피(Scintigraphy)의 원본 이미지가 수신되는 수신 단계; 전처리부에서 수신된 상기 원본 이미지가 다수개의 인스턴스(Instance)로 분할되는 단계; 상기 전처리부에서 상기 분할된 각 인스턴스를 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh) 함수 및 시그모이드(Sigmoid, Sigm) 함수 중 적어도 하나의 함수로 연산되는 신경망에 입력으로 특징 임베딩이 도출되는 특징 임베딩 도출 단계; 상기 전처리부에서 상기 도출된 특징 임베딩을 적어도 하나의 선형 레이어를 병합하기 위해 출력단에서 시그소프트맥스(Sigsoftmax) 함수로 연산하는 주의 기반 알고리즘에 입력으로 각 인스턴스의 특징 임베딩에 대한 가중치가 도출되는 가중치 도출 단계; 상기 전처리부에서 상기 각 인스턴스의 특징 임베딩 및 가중치를 연산하여 환자의 골연령 예측을 위한 융합된 특징이 생성되는 융합 특징 추출 단계; 학습부가 상기 생성된 특징을 딥러닝 기반 알고리즘으로 학습하여 각 인스턴스의 특징별로 골연령에 대한 라벨 데이터가 생성되어 예측 모델이 구축되는 학습 단계; 및 골연령 예측부에서 상기 학습된 특징을 토대로 입력된 원본 이미지에 대한 환자의 골연령이 도출되는 예측 단계를 포함한다.A bone age prediction method performed in a bone age prediction system according to another aspect of the present invention includes a reception step of receiving an original image of whole body bone scintigraphy at a receiver; Dividing the original image received from the preprocessor into a plurality of instances; Derivation of feature embeddings in which feature embeddings are derived by inputting each segmented instance from the preprocessor into a neural network that is calculated using at least one of the hyperbolic tangent (tanh) function and the sigmoid (Sigm) function. step; Weight derivation in which weights for the feature embeddings of each instance are derived as input to an attention-based algorithm that calculates the feature embeddings derived from the preprocessor using the Sigsoftmax function at the output stage to merge at least one linear layer. step; A fusion feature extraction step in which the preprocessor calculates feature embeddings and weights of each instance to generate fused features for predicting the patient's bone age; A learning step in which the learning unit learns the generated features using a deep learning-based algorithm to generate label data for bone age for each feature of each instance to build a prediction model; And a prediction step in which the patient's bone age is derived from the input original image based on the learned features in the bone age prediction unit.
본 발명에 따르면, 전신 뼈 신티그라피로 측정한 Tc-99m-HDP의 뼈 흡수와 노화 과정 및 노화 관련 질병의 관계의 도출이 가능함에 따라 노화 및 노화 관련 질병을 예방하기 위한 건강관리의 효율성을 향상시킬 수 있다.According to the present invention, it is possible to derive the relationship between bone absorption of Tc-99m-HDP measured by whole-body bone scintigraphy and the aging process and age-related diseases, thereby improving the efficiency of health care to prevent aging and age-related diseases. You can.
도 1은 일 실시예에 따른 골연령 예측 시스템의 구성도이다.
도 2는 일 실시예에 따른 골연령을 예측하는 전체 과정을 도시한 모식도이다.
도 3은 일 실시예에 따른 전신 뼈 신티그래피을 나타낸 도면이다.
도 4는 일 실시예에 따른 골연령 예측 방법을 나타낸 순서도이다.1 is a configuration diagram of a bone age prediction system according to an embodiment.
Figure 2 is a schematic diagram showing the entire process of predicting bone age according to an embodiment.
Figure 3 is a diagram showing whole body bone scintigraphy according to one embodiment.
Figure 4 is a flowchart showing a method for predicting bone age according to an embodiment.
이하에서는 본 발명에 따른 골연령 예측 시스템 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, the bone age prediction system and method according to the present invention will be described in detail with reference to the attached drawings. In this process, the thickness of lines or sizes of components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the operator's intention or custom. Therefore, definitions of these terms should be made based on the content throughout this specification.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.The purpose and effect of the present invention can be naturally understood or become clearer through the following description, and the purpose and effect of the present invention are not limited to the following description. Additionally, in describing the present invention, if it is determined that a detailed description of known techniques related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.
도 1은 일 실시예에 따른 골연령 예측 시스템의 구성도이다.1 is a configuration diagram of a bone age prediction system according to an embodiment.
도 1에서 나타낸 바와 같이, 일 실시예에 따른 골연령 예측 시스템은 수신부(100), 전처리부(300), 학습부(500), 및 골연령 예측부(700)를 포함한다.As shown in FIG. 1, the bone age prediction system according to one embodiment includes a receiving unit 100, a preprocessing unit 300, a learning unit 500, and a bone age predicting unit 700.
수신부(100)는 뼈 형상에 대한 원본 이미지를 수신할 수 있다. 여기서, 원본 이미지는 전신 뼈 신티그래피(10)(Scintigraphy)일 수 있으나, 반드시 상술한 신티그래피(10)에 한정하지 아니한다. 예를 들어, 원본 이미지는 X선 이미지일 수 있다. The receiving unit 100 may receive an original image of the bone shape. Here, the original image may be whole body bone scintigraphy (10), but is not necessarily limited to the above-described scintigraphy (10). For example, the original image may be an X-ray image.
전처리부(300)는 수신된 원본 이미지의 특징을 추출한다. 여기서, 전처리부(300)는 수신된 원본 이미지를 다수개의 인스턴스(20)(Instance)로 분할하고, 상기 분할된 인스턴스(20) 각각의 특징을 추출하기 위해 기 학습된 신경망에 입력으로 각 인스턴스(20)에 대한 특징 임베딩을 도출하고, 상기 도출된 특징 임베딩을 주의 기반 알고리즘에 입력으로 각 인스턴스(20)의 특징 임베딩에 대한 가중치를 도출하고, 상기 각 인스턴스(20)의 특징 임베딩 및 가중치를 연산하여 골연령을 예측하기 위한 융합된 특징을 생성할 수 있다.The preprocessor 300 extracts features of the received original image. Here, the preprocessor 300 divides the received original image into a plurality of instances 20, and inputs each instance ( Derive feature embeddings for 20), derive weights for feature embeddings of each instance 20 by inputting the derived feature embeddings into an attention-based algorithm, and calculate feature embeddings and weights for each instance 20. Thus, fused features for predicting bone age can be created.
또한, 상기 전처리부(300)는 원본 이미지를 기 설정된 크기로 분할할 수 있고, 분할된 인스턴스(20) 중 특징 추출에서 제외되는 인스턴스(20)를 도출할 수 있다. 전처리부(300)는 각 인스턴스(20)를 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh) 함수 및 시그모이드(Sigmoid, Sigm) 함수 중 적어도 하나의 함수로 연산되는 선형 레이어로 구성된 신경망에 입력할 수 있고, 적어도 하나의 선형 레이어의 출력단에 시그소프트맥스(Sigsoftmax) 함수를 적용하여 각 특징에 대한 적어도 하나의 가중치를 도출하되, 가중치는 0 내지 1 범위이고, 가중치 각각의 합이 1일 수 있다.Additionally, the preprocessor 300 can segment the original image into a preset size and derive instances 20 excluded from feature extraction among the segmented instances 20. The preprocessor 300 may input each instance 20 into a neural network composed of a linear layer calculated with at least one of the hyperbolic tangent (tanh) function and the sigmoid (Sigm) function. , At least one weight for each feature is derived by applying the Sigsoftmax function to the output of at least one linear layer, where the weight ranges from 0 to 1, and the sum of each weight may be 1.
또한, 전처리부(300)는 인스턴스(20)의 특징 각각에 서로 다른 가중치를 부여하고 부여된 각각의 가중치에 따라 중요 인스턴스(20)를 도출할 수 있다.Additionally, the preprocessor 300 may assign different weights to each feature of the instance 20 and derive important instances 20 according to each assigned weight.
학습부(500)는 추출된 특징을 딥러닝 알고리즘으로 학습할 수 있다.The learning unit 500 can learn the extracted features using a deep learning algorithm.
골연령 예측부(700)는 학습된 특징을 토대로 입력된 원본 이미지에서 환자의 골연령을 도출할 수 있다. The bone age prediction unit 700 can derive the patient's bone age from the original image input based on the learned features.
도 2는 일 실시예에 따른 골연령을 예측하는 전체 과정을 도시한 모식도이다.Figure 2 is a schematic diagram showing the entire process of predicting bone age according to an embodiment.
도 2에서 나타낸 바와 같이, 전신 뼈 신티그래피(10)를 사용하는 뼈 나이 추정(BAE)은 훈련되는 세 개의 상호 연결된 네트워크로 구성될 수 있으며, 각각 특징 추출 모듈, 주의 모듈, 예측 모듈로 구성될 수 있다.As shown in Figure 2, bone age estimation (BAE) using whole-body bone scintigraphy (10) can consist of three interconnected networks to be trained, each of which will be composed of a feature extraction module, an attention module, and a prediction module. You can.
먼저, 원본 이미지는 N × N 크기의 여러 인스턴스(20)로 분할될 수 있다. 이러한 인스턴스(20)는 기능 추출을 위한 백본 네트워크로 사전 훈련된 InceptionV3(상위 계층 없음)인 첫 번째 모듈에 제공될 수 있다. 훈련 과정에서 k개의 인스턴스(20) 벡이 특징 추출기에 공급되어 tanh(.) 및 sigm(.) 함수가 있는 두 개의 선형 레이어가 있는 신경망을 사용하는 주의 모듈이 k개의 주의 가중치를 생성하는 데 사용되는 k개의 특징 임베딩을 얻는다. Sigsoftmax 함수는 두 선형 레이어의 출력에 적용되어 주의 가중치가 (0, 1) 범위에 있고 합계가 1이다. 이러한 주의 가중치는 다음 특징 임베딩과 결합하여 백 표현을 얻는다. 백 표현은 두 개의 완전 연결(FC, Fully connected) 레이어와 선형 활성화를 통해 환자의 나이를 예측하는 단일 뉴런의 최종 레이어를 포함하는 예측 모듈에 의해 추가 처리된다.First, the original image can be divided into several instances (20) of size N × N. These instances 20 can be provided to the first module, which is InceptionV3 (no upper layers), pre-trained as a backbone network for feature extraction. During the training process, a beck of k instances (20) is fed to the feature extractor, which is used to generate k attention weights by the attention module using a neural network with two linear layers with tanh(.) and sigm(.) functions. Obtain k feature embeddings. The Sigsoftmax function is applied to the outputs of the two linear layers so that the attention weights are in the range (0, 1) and sum to 1. These attention weights are then combined with the feature embeddings to obtain the bag representation. The bag representation is further processed by a prediction module, which includes two fully connected (FC) layers and a final layer of single neurons that predict the patient's age through linear activation.
이미지 데이터의 원본 크기는 약 900 × 3000으로 이미지를 300 × 300 크기의 여러 인스턴스(20)로 분할하여 이미지당 총 30 개의 인스턴스(20)가 생성될 수 있다. 실험 중 30 개의 인스턴스(20)가 모두 포함된 백을 사용하여 모델을 훈련시키는 것은 이미지에 많은 배경 영역이 포함되어 있기 때문에 각 이미지에 대해 배경 값의 백분율을 계산하고 대부분의 픽셀이 배경인 10개의 인스턴스(20)를 제외 영역(11)을 설정할 수 있다. 전처리부는 제외 영역(11)으로 지정된 인스턴스(20) 외 나머지 추출 영역(12)의 인스턴스(20)만 특징을 추출함에 따라 학습 성능을 향상시킬 수 있다. The original size of the image data is about 900 During the experiment, training the model using a bag containing all 30 instances (20) meant that the images contained a lot of background areas, so for each image we calculated the percentage of background values and used 10 instances where most pixels were background. An exclusion area (11) can be set for the instance (20). The preprocessor can improve learning performance by extracting features only from the instances 20 in the remaining extraction area 12 other than the instances 20 designated as the exclusion area 11.
도 3은 일 실시예에 따른 전신 뼈 신티그래피을 나타낸 도면이다.Figure 3 is a diagram showing whole body bone scintigraphy according to one embodiment.
도 3에서 나타낸 바와 같이, 일 실시예에 따른 전신 뼈 신티그래피(10)에서는 한 클래스(레이블)에 속한다고 가정하는 일반적인 이미지 분류와는 다르게, 부분적으로 다른 클래스가 존재하는 경우가 있다. 이러한 경우 다중 인스턴스(20) 모델을 적용할 수 있다. 약하게 주석이 달린 데이터의 문제는 일반적으로 의료 영상 분야에서 발생하는데 전체 슬라이드 의료 이미지는 수백만 픽셀로 기가 픽셀 이미지는 크기가 너무 커 자세한 주석을 처리하기에 시간과 비용이 많이 든다. 따라서, 이러한 방대한 크기의 이미지를 딥 러닝 모델로 훈련하기 위해 다중으로 분할할 수 있다. MIL(Matrox Image Library)에서 이러한 이미지는 여러 인스턴스(20)가 있는 백(집합)으로 간주될 수 있으며, 인스턴스(20) 집합으로 모델을 처리하고 전체 백에 대한 단일 레이블을 출력할 수 있다.As shown in FIG. 3, in whole body bone scintigraphy 10 according to an embodiment, unlike general image classification that assumes that the image belongs to one class (label), partially different classes may exist. In this case, the multi-instance (20) model can be applied. The problem of weakly annotated data commonly arises in the field of medical imaging, where full-slide medical images have millions of pixels, and gigapixel images are too large for detailed annotation, making detailed annotation time-consuming and expensive. Therefore, these massive-sized images can be divided into multiple segments to train a deep learning model. In the Matrox Image Library (MIL), these images can be considered as a bag (set) with multiple instances (20), and we can process a model with a set of instances (20) and output a single label for the entire bag.
그러나, MIL 문제에서 인스턴스(20)는 복잡한 처리가 필요하니 아니한 입력 데이터 기능으로 표현될 수 있다. 컴퓨터 비전이나 언어 처리와 같은 일부 작업에서는 추가 기능 추출 과정이 필요하다. 따라서, 신명망을 사용하여 MIL의 모든 절차를 매개 변수화함에 따라 전체 프로세스가 역전파를 통해 종단 간 학습될 수 있다. 최대 풀링과 평균 풀링인 MIL 풀링 방법에는 미리 정의되어 있고 훈련할 수 없다는 몇 가지 단점이 있다. 이러한 어려움을 해결하기 위해 신경망을 사용하여 인스턴스(20)에 가중 평균을 할당할 수 있으며, 주의(Attention) MIL 풀링은 특징 임베딩()과 주의 가중치()를 결합하여 다음 수학식으로 표현될 수 있다.However, in the MIL problem, the instance 20 can be expressed as an input data function that does not require complex processing. Some tasks, such as computer vision or language processing, require additional feature extraction processes. Therefore, by parameterizing all procedures of MIL using a novel network, the entire process can be learned end-to-end through backpropagation. MIL pooling methods, which are max pooling and average pooling, have some disadvantages in that they are predefined and cannot be trained. To solve this difficulty, a neural network can be used to assign a weighted average to the instances 20, and Attention MIL pooling can be done using feature embeddings ( ) and attention weights ( ) can be combined and expressed in the following equation.
[수학식 1][Equation 1]
[수학식 2][Equation 2]
수학식 1의 특징 임베딩()은 수학식 2로 표현할 수 있으며, 수학식 1에서 W, V, U는 파라미터이고, 는 요소별 곱셈이고, tanh(.)는 하이퍼볼릭 탄젠트(Hyperbolic Tangent) 함수이고, sigm(.)는 시그모이드(sigmoid) 함수이다. 쌍곡선 요소 접선(tanh(.))은 음의 값과 양의 값 모두에 해당하는 (-1,1) 범위의 형상 값을 스케일링하여 인스턴스(20) 간의 관계를 검색하는 데 사용된다. 그러나 tanh(.) 함수와 함께 하나의 레이어만 사용하면 복잡한 관계 문제에 대한 최종 표현이 제한될 수 있다. 이때, 게이트 메커니즘을 사용하면 설명된 대로 이 문제를 처리할 수 있다.Feature embedding of Equation 1 ( ) can be expressed in Equation 2, and in Equation 1, W, V, and U are parameters, is element-wise multiplication, tanh(.) is a hyperbolic tangent function, and sigm(.) is a sigmoid function. The hyperbolic element tangent (tanh(.)) is used to retrieve the relationship between instances 20 by scaling the shape values in the range (-1,1), corresponding to both negative and positive values. However, using only one layer with the tanh(.) function may limit the final expression for complex relational problems. In this case, a gate mechanism can be used to handle this problem as described.
첫 번째는 요소별 쌍곡선 탄젠트(tanh(.))를 사용하여 특징을 1에서 1 사이의 값으로 정규화하고 인스턴스(20) 간의 유사점과 차이점을 조사한다. 그런 다음 이 선형 레이어의 출력은 각 인스턴스(20)에 대해 0과 1 사이의 주의 가중치를 계산하는 시그모이드 함수를 사용하여 다른 선형 레이어와 요소별로 곱한다. 그런 다음 주의 가중치가 기능 임베딩과 결합되고 MIL 풀링이 적용되어 최종 백 표현을 만든다. 따라서 모델은 중요한 사례에 더 중점을 두어 훈련 성과를 향상시킬 수 있다. 다시 말해, 최종 예측에 더 큰 영향을 미치는 중요한 인스턴스(20)를 발견할 수 있다. 또한 주의 기반 MIL 풀링은 더 유연하고 훈련 가능하기 때문에 기존 풀링 방법의 단점을 극복할 수 있다. The first normalizes the features to values between 1 and 1 using the elementwise hyperbolic tangent (tanh(.)) and examines the similarities and differences between instances (20). The output of this linear layer is then multiplied element-wise with another linear layer using a sigmoid function that calculates an attention weight between 0 and 1 for each instance (20). The attention weights are then combined with the feature embeddings and MIL pooling is applied to create the final bag representation. Therefore, the model can improve training performance by focusing more on important cases. In other words, we can discover important instances (20) that have a greater impact on the final prediction. Additionally, attention-based MIL pooling can overcome the shortcomings of traditional pooling methods because it is more flexible and trainable.
수학식 2에서 softmax를 사용하는 주의 접근 방식은 모델에 대한 용량 표현의 병목 현상이 있어 출력 공간이 특징 임베딩의 크기보다 훨씬 큰 경우에 Linear-Softmax가 확률 분포를 표현하는데 한계가 있다. 따라서, 이러한 용량 제한 문제를 해결하기 위해 sigsoftmax 함수를 사용할 수 있으며, 이는 다음 수학식으로 표현될 수 있다. The attention approach using softmax in Equation 2 has a bottleneck in capacity representation for the model, so Linear-Softmax has limitations in expressing probability distributions when the output space is much larger than the size of the feature embedding. Therefore, the sigsoftmax function can be used to solve this capacity limitation problem, which can be expressed as the following equation.
[수학식 3][Equation 3]
수학식 3에서, 주의 기반 MIL 풀링은 최종 백 표현으로 병합하기 전에 인스턴스(20)에 대한 중요도 가중치를 할당한다. 따라서, 예측 모델은 가중치가 부여된 인스턴스(20) 중 중요도가 높은 인스턴스(20)에 더 집중하여 훈련 성능을 향상시킬 수 있다. In Equation 3, attention-based MIL pooling assigns importance weights to instances 20 before merging them into the final bag representation. Accordingly, the prediction model can improve training performance by focusing more on the highly important instance 20 among the weighted instances 20.
도 4는 일 실시예에 따른 골연령 예측 방법을 나타낸 순서도이다.Figure 4 is a flowchart showing a method for predicting bone age according to an embodiment.
도 4에서 나타낸 바와 같이, 일 실시예에 따른 골연령 예측 방법은 수신 단계(S100), 인스턴스 분할 단계(S200), 특징 임베딩 도출 단계(S300), 가중치 도출 단계(S400), 융합 특징 추출 단계(S500), 학습 단계(S600), 및 예측 단계(S700)를 포함한다. As shown in Figure 4, the bone age prediction method according to one embodiment includes a reception step (S100), an instance segmentation step (S200), a feature embedding derivation step (S300), a weight derivation step (S400), and a fusion feature extraction step ( S500), a learning step (S600), and a prediction step (S700).
수신 단계(S100)는 수신부(100)에서 전신 뼈 신티그래피(10)(Scintigraphy)의 원본 이미지가 수신된다. In the reception step (S100), the original image of whole body bone scintigraphy 10 is received by the receiver 100.
인스턴스 분할 단계(S200)는 전처리부(300)에서 수신된 원본 이미지가 다수개의 인스턴스(20)(Instance)로 분할된다.In the instance division step (S200), the original image received from the preprocessor 300 is divided into a plurality of instances 20 (Instance).
특징 임베딩 도출 단계(S300)는 전처리부(300)에서 상기 분할된 각 인스턴스(20)를 하이퍼볼릭 탄젠트(Hyperbolic Tangent) 함수 및 시그모이드(Sigmoid) 함수 중 적어도 하나의 함수로 연산되는 선형 레이어로 구성된 신경망에 입력으로 특징 임베딩이 도출된다.In the feature embedding derivation step (S300), the preprocessor 300 converts each of the divided instances 20 into a linear layer calculated with at least one of the hyperbolic tangent function and the sigmoid function. Feature embeddings are derived as input to the constructed neural network.
가중치 도출 단계(S400)는 전처리부(300)에서 상기 도출된 특징 임베딩을 적어도 하나의 선형 레이어를 병합하기 위해 출력단에서 시그소프트맥스(Sigsoftmax) 함수로 연산하는 주의 기반 알고리즘에 입력으로 각 인스턴스(20)의 특징 임베딩에 대한 가중치가 도출된다.In the weight derivation step (S400), the feature embeddings derived from the preprocessor 300 are input to each instance (20 ) weights for feature embeddings are derived.
융합 특징 추출 단계(S500)는 전처리부(300)에서 상기 각 인스턴스(20)의 특징 임베딩 및 가중치를 연산하여 환자의 골연령 예측을 위한 융합된 특징이 생성된다.In the fusion feature extraction step (S500), the preprocessor 300 calculates the feature embedding and weight of each instance 20 to generate fused features for predicting the patient's bone age.
학습 단계(S600)는 상기 생성된 특징을 딥러닝 기반 알고리즘으로 학습하여 각 인스턴스(20)의 특징별로 골연령에 대한 라벨 데이터를 생성하여 예측 모델이 구축된다.In the learning step (S600), a prediction model is constructed by learning the generated features using a deep learning-based algorithm to generate label data for bone age for each feature of each instance 20.
예측 단계(S700)는 상기 학습된 특징을 토대로 입력된 원본 이미지에 대한 환자의 골연령이 도출된다.In the prediction step (S700), the patient's bone age for the input original image is derived based on the learned features.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.Although the present invention has been described in detail through representative embodiments above, those skilled in the art will understand that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. will be. Therefore, the scope of rights of the present invention should not be limited to the described embodiments, but should be determined not only by the claims described later, but also by all changes or modified forms derived from the claims and the concept of equivalents.
100: 수신부
300: 전처리부
500: 학습부
700: 골연령 예측부
10: 신티그래피
20: 인스턴스
11: 제외 영역
12: 추출 영역100: Receiving unit 300: Preprocessing unit
500: Learning unit 700: Bone age prediction unit
10: Scintigraphy 20: Instance
11: Exclusion area 12: Extraction area
Claims (8)
상기 수신된 원본 이미지의 특징을 추출하는 전처리부;
상기 추출된 특징을 딥러닝 알고리즘으로 학습하는 학습부; 및
상기 학습된 특징을 토대로 입력된 원본 이미지에서 환자의 골연령을 도출하는 골연령 예측부를 포함하는 골연령 예측 시스템에 있어서,
상기 전처리부는,
수신된 원본 이미지를 다수개의 인스턴스(Instance)로 분할하고,
상기 분할된 인스턴스 각각의 특징을 추출하기 위해 기 학습된 신경망에 입력으로 각 인스턴스에 대한 특징 임베딩을 도출하고,
상기 도출된 특징 임베딩을 주의 기반 알고리즘에 입력으로 각 인스턴스의 특징 임베딩에 대한 가중치를 도출하고,
상기 각 인스턴스의 특징 임베딩 및 가중치를 연산하여 골연령을 예측하기 위한 융합된 특징을 생성하는 것을 특징으로 하는 골연령 예측 시스템.
A receiving unit that receives the original image of the bone shape;
a preprocessor that extracts features of the received original image;
A learning unit that learns the extracted features using a deep learning algorithm; and
In the bone age prediction system including a bone age prediction unit that derives the patient's bone age from the input original image based on the learned features,
The preprocessor,
Divide the received original image into multiple instances,
In order to extract features of each of the divided instances, feature embeddings for each instance are derived as input to a pre-trained neural network,
By inputting the derived feature embeddings into an attention-based algorithm, a weight for the feature embeddings of each instance is derived,
A bone age prediction system that generates fused features for predicting bone age by calculating feature embeddings and weights of each instance.
상기 원본 이미지는 전신 뼈 신티그래피(Scintigraphy)인 것을 특징으로 하는 골연령 예측 시스템.
According to claim 1,
A bone age prediction system, wherein the original image is whole body bone scintigraphy.
상기 전처리부는 원본 이미지를 기 설정된 크기로 분할하는 것을 특징으로 하는 골연령 예측 시스템.
According to claim 1,
A bone age prediction system wherein the preprocessing unit divides the original image into preset sizes.
상기 전처리부는 분할된 인스턴스 중 특징 추출을 ?? 제외되는 인스턴스를 도출하는 것을 특징으로 하는 골연령 예측 시스템.
According to claim 1,
The preprocessor extracts features from the divided instances. A bone age prediction system characterized by deriving excluded instances.
상기 전처리부는 각 인스턴스를 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh) 함수 및 시그모이드(Sigmoid, Sigm) 함수 중 적어도 하나의 함수로 연산되는 선형 레이어로 구성된 신경망에 입력하는 것을 특징으로 하는 골연령 예측 시스템.
According to claim 1,
The preprocessor inputs each instance into a neural network composed of a linear layer operated by at least one of the Hyperbolic Tangent (tanh) function and the Sigmoid (Sigm) function. Bone age prediction system. .
상기 전처리부는 적어도 하나의 선형 레이어의 출력단에 시그소프트맥스(Sigsoftmax) 함수를 적용하여 각 특징에 대한 적어도 하나의 가중치를 도출하되,
상기 가중치는 0 내지 1 범위이고, 가중치 각각의 합이 1인 것을 특징으로 하는 골연령 예측 시스템.
According to claim 1,
The preprocessor applies the Sigsoftmax function to the output of at least one linear layer to derive at least one weight for each feature,
The bone age prediction system is characterized in that the weight ranges from 0 to 1, and the sum of each weight is 1.
상기 전처리부는 인스턴스의 특징 각각에 서로 다른 가중치를 부여하고 부여된 각각의 가중치에 따라 중요 인스턴스를 도출하는 것을 특징으로 하는 골연령 예측 시스템.
According to claim 1,
A bone age prediction system wherein the preprocessor assigns different weights to each feature of the instance and derives important instances according to each assigned weight.
수신부에서 전신 뼈 신티그래피(Scintigraphy)의 원본 이미지가 수신되는 수신 단계;
전처리부에서 수신된 상기 원본 이미지가 다수개의 인스턴스(Instance)로 분할되는 단계;
상기 전처리부에서 상기 분할된 각 인스턴스를 하이퍼볼릭 탄젠트(Hyperbolic Tangent, tanh) 함수 및 시그모이드(Sigmoid, Sigm) 함수 중 적어도 하나의 함수로 연산되는 신경망에 입력으로 특징 임베딩이 도출되는 특징 임베딩 도출 단계;
상기 전처리부에서 상기 도출된 특징 임베딩을 적어도 하나의 선형 레이어를 병합하기 위해 출력단에서 시그소프트맥스(Sigsoftmax) 함수로 연산하는 주의 기반 알고리즘에 입력으로 각 인스턴스의 특징 임베딩에 대한 가중치가 도출되는 가중치 도출 단계;
상기 전처리부에서 상기 각 인스턴스의 특징 임베딩 및 가중치를 연산하여 환자의 골연령 예측을 위한 융합된 특징이 생성되는 융합 특징 추출 단계;
학습부가 상기 생성된 특징을 딥러닝 기반 알고리즘으로 학습하여 각 인스턴스의 특징별로 골연령에 대한 라벨 데이터가 생성되어 예측 모델이 구축되는 학습 단계; 및
골연령 예측부에서 상기 학습된 특징을 토대로 입력된 원본 이미지에 대한 환자의 골연령이 도출되는 예측 단계를 포함하는 골연령 예측 방법.In the bone age prediction method performed in the bone age prediction system,
A receiving step in which an original image of whole body bone scintigraphy is received at a receiving unit;
Dividing the original image received from the preprocessor into a plurality of instances;
Derivation of feature embeddings in which feature embeddings are derived by inputting each segmented instance from the preprocessor into a neural network that is calculated using at least one of the hyperbolic tangent (tanh) function and the sigmoid (Sigm) function. step;
Weight derivation in which weights for the feature embeddings of each instance are derived as input to an attention-based algorithm that calculates the feature embeddings derived from the preprocessor using the Sigsoftmax function at the output stage to merge at least one linear layer. step;
A fusion feature extraction step in which the preprocessor calculates feature embeddings and weights of each instance to generate fused features for predicting the patient's bone age;
A learning step in which the learning unit learns the generated features using a deep learning-based algorithm to generate label data for bone age for each feature of each instance to build a prediction model; and
A bone age prediction method comprising a prediction step in which the patient's bone age is derived for the original image input based on the learned features in the bone age prediction unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220104893A KR20240026705A (en) | 2022-08-22 | 2022-08-22 | Bone age prediction system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220104893A KR20240026705A (en) | 2022-08-22 | 2022-08-22 | Bone age prediction system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240026705A true KR20240026705A (en) | 2024-02-29 |
Family
ID=90041528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220104893A KR20240026705A (en) | 2022-08-22 | 2022-08-22 | Bone age prediction system and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240026705A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102308257B1 (en) | 2018-06-15 | 2021-10-05 | 주식회사 뷰노 | System and Method for Bone Age Calculation |
KR102330216B1 (en) | 2021-05-31 | 2021-11-25 | (주)웨버인스트루먼트 | Method for bone age and health status measurement using AI learning analysis |
-
2022
- 2022-08-22 KR KR1020220104893A patent/KR20240026705A/en not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102308257B1 (en) | 2018-06-15 | 2021-10-05 | 주식회사 뷰노 | System and Method for Bone Age Calculation |
KR102330216B1 (en) | 2021-05-31 | 2021-11-25 | (주)웨버인스트루먼트 | Method for bone age and health status measurement using AI learning analysis |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dharanya et al. | Facial Expression Recognition through person-wise regeneration of expressions using Auxiliary Classifier Generative Adversarial Network (AC-GAN) based model | |
Deshmukh et al. | Faster region-convolutional neural network oriented feature learning with optimal trained recurrent neural network for bone age assessment for pediatrics | |
Alhudhaif et al. | A novel nonlinear automated multi-class skin lesion detection system using soft-attention based convolutional neural networks | |
Sangeetha et al. | Diagnosis of pneumonia using image recognition techniques | |
Bhardwaj et al. | Computational biology in the lens of CNN | |
El-Saadawy et al. | A Hybrid Two-Stage GNG–Modified VGG Method for Bone X-rays Classification and Abnormality Detection | |
Francis et al. | Ensemble learning approach for multi-class classification of Alzheimer’s stages using magnetic resonance imaging | |
Ishwerlal et al. | Lung disease classification using chest X ray image: An optimal ensemble of classification with hybrid training | |
KR20240026705A (en) | Bone age prediction system and method | |
Zaeri et al. | Thermal image identification against pose and expression variations using deep learning | |
Panda et al. | Application of artificial intelligence in medical imaging | |
Oguntoye et al. | Predicting COVID-19 From Chest X-Ray Images using Optimized Convolution Neural Network | |
Sriram et al. | Deep Learning Approaches for Pneumonia Classification in Healthcare | |
John et al. | Classification of ovarian cysts using artificial neural network | |
Elborolosy et al. | Predicting Difficulty Level of Surgical Removal of Impacted Mandibular Third Molar Using Deep Learning Approaches | |
Li et al. | A graph convolutional siamese network for the assessment and recognition of physical rehabilitation exercises | |
Karthik et al. | Automated view orientation classification for x-ray images using deep neural networks | |
Vidyasri et al. | A CONV-XGB DNN for the Detection of Lung Disease on Chest X-ray Images Using Transfer Learning | |
Banerjee et al. | Deep Learning Neural Network-Based Pneumonia Classification | |
Sheethal et al. | Diagnosis of Pneumonia utilizing X-rays and other Image Processing techniques based on Containers and Deep Learning | |
Shoaib et al. | COVID-19 Lungs CT Scan Lesion Segmentation | |
Janthakal et al. | A granular parakeratosis classification using svm hinge and cross validation | |
Maurya et al. | Mathematical Modeling and Statistical Exploration of Residual Computing Based Convolutional Neural Network Based Classifier for Complex Image Demarcation | |
Sreenivasu et al. | ODQN-Net: Optimized Deep Q Neural Networks for Disease Prediction Through Tongue Image Analysis Using Remora Optimization Algorithm | |
Ghildiyal et al. | Layer-based deep net models for automated classification of pulmonary tuberculosis from chest radiographs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |