KR102672531B1 - Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation - Google Patents

Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation Download PDF

Info

Publication number
KR102672531B1
KR102672531B1 KR1020210152804A KR20210152804A KR102672531B1 KR 102672531 B1 KR102672531 B1 KR 102672531B1 KR 1020210152804 A KR1020210152804 A KR 1020210152804A KR 20210152804 A KR20210152804 A KR 20210152804A KR 102672531 B1 KR102672531 B1 KR 102672531B1
Authority
KR
South Korea
Prior art keywords
spine
individual vertebrae
deep learning
model
positions
Prior art date
Application number
KR1020210152804A
Other languages
Korean (ko)
Other versions
KR20230067088A (en
Inventor
최치원
김정환
조성동
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210152804A priority Critical patent/KR102672531B1/en
Publication of KR20230067088A publication Critical patent/KR20230067088A/en
Application granted granted Critical
Publication of KR102672531B1 publication Critical patent/KR102672531B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 관한 것으로서, 보다 구체적으로는 컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서, (1) 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 단계; (2) 척추가 촬영된 입력 의료 영상을 수신하는 단계; 및 (3) 상기 단계 (2)에서 수신한 입력 의료 영상을 상기 단계 (1)에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 단계를 포함하며, 상기 척추 위치 추정 모델은, 영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및 상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치에 관한 것으로서, 보다 구체적으로는 척추 위치 자동 추정 장치로서, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 딥러닝 모델부; 척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부; 및 상기 영상 수신부에서 수신한 입력 의료 영상을 상기 딥러닝 모델부에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부를 포함하며, 상기 척추 위치 추정 모델은, 영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및 상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 따르면, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈을 포함하는 척추 위치 추정 모델을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있다.The present invention relates to a method for automatically estimating the spine position in medical images using deep learning-based pose estimation. More specifically, it is a method for automatically estimating the spine position in which each step is performed by a computer. (1) Deep learning-based Using the pose estimation model, constructing a spine position estimation model that automatically estimates the positions of individual vertebrae constituting the spine from the image using medical images of the spine as learning data; (2) receiving an input medical image in which the spine is captured; and (3) acquiring the positions of individual vertebrae by inputting the input medical image received in step (2) into the spine position estimation model constructed in step (1), wherein the spine position estimation model is , a feature map module including a backbone model that extracts feature maps from images; and a plurality of coordinate regression modules each corresponding to the individual vertebrae, so as to estimate the position of the individual vertebrae using the feature map extracted from the feature map module.
In addition, the present invention relates to an automatic spine position estimation device in medical images using deep learning-based pose estimation. More specifically, it is an automatic spine position estimation device that uses a deep learning-based pose estimation model to determine the spine position. A deep learning model unit that configures a spine position estimation model that automatically estimates the positions of individual vertebrae constituting the spine from the images using captured medical images as learning data; An image receiving unit that receives an input medical image of the spine; and a spine position estimation unit that obtains the positions of individual vertebrae by inputting the input medical image received from the image receiver into a spine position estimation model constructed in the deep learning model unit, wherein the spine position estimation model is obtained from the image. a feature map module including a backbone model for extracting feature maps; and a plurality of coordinate regression modules each corresponding to the individual vertebrae, so as to estimate the position of the individual vertebrae using the feature map extracted from the feature map module.
According to the method and device for automatically estimating spine position in medical images using deep learning-based pose estimation proposed in the present invention, a feature map module extracts feature maps from medical images using a deep learning-based pose estimation model. By constructing a spine position estimation model that includes multiple coordinate regression modules that estimate the positions of individual vertebrae that make up the spine using feature maps, the positions of individual vertebrae can be obtained without additional post-processing, allowing medical imaging It can increase the efficiency of processing and spine position estimation.

Description

딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATICALLY ESTIMATING SPINE POSITION IN MEDICAL IMAGES USING DEEP LEARNING-BASED POSE ESTIMATION}Method and device for automatically estimating spine position in medical images using deep learning-based pose estimation {METHOD AND APPARATUS FOR AUTOMATICALLY ESTIMATING SPINE POSITION IN MEDICAL IMAGES USING DEEP LEARNING-BASED POSE ESTIMATION}

본 발명은 척추 위치 자동 추정 방법 및 장치에 관한 것으로서, 보다 구체적으로는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 관한 것이다.The present invention relates to a method and device for automatically estimating the position of the spine, and more specifically, to a method and device for automatically estimating the position of the spine in a medical image using deep learning-based pose estimation.

척추 질환은 매년 환자 수가 가파르게 증가하고 있는 질환으로, 2019년을 기준으로 대한민국 국민 중 9,200,737명이 앓고 있는 질환이다. 척추측만증은 대표적인 척추 질환 중 하나로, 척추가 해부학적 정중앙의 축에서 측방으로 만곡 혹은 편위된 변형 상태를 일컫는다. 척추측만증은 통증 및 척추의 퇴행성 변화를 유발하며, 노동 능력이나 일상생활에서 심각한 문제를 가져올 수 있다.Spinal disease is a disease in which the number of patients is rapidly increasing every year, and as of 2019, 9,200,737 people in Korea are suffering from it. Scoliosis is one of the representative spinal diseases and refers to a deformed condition in which the spine is curved or deviated laterally from the anatomical center axis. Scoliosis causes pain and degenerative changes in the spine, and can cause serious problems in working ability or daily life.

척추측만증의 진단에는 방사선학적 검사가 유용하게 사용된다. 그중에서도, 단순 방사선 사진(X-ray)이 주로 사용되며 정기적인 검사를 통해 질환의 악화 및 개선 여부를 알 수 있다. 척추측만증의 진단에 있어서 방사선 영상 판독의 정확성과 일관성은 중요한 요소이다. 그러나 방사선 영상 판독은 측정하는 사람이나 측정의 방법 및 시점에 따라 오차가 발생한다는 한계점을 가지고 있다.Radiological examination is useful in diagnosing scoliosis. Among them, simple radiographs (X-rays) are mainly used, and regular examinations can reveal whether the disease is worsening or improving. Accuracy and consistency of radiological image interpretation are important factors in diagnosing scoliosis. However, radiological image interpretation has the limitation that errors occur depending on the person measuring or the method and timing of measurement.

최근, 의료 영상의 급격한 증가로 컴퓨터 보조 진단(Computer-aided diagnosis, CAD)의 필요성이 증대하여, 이에 대한 개발이 활발하게 이루어지고 있다. 특히, 최근 영상처리 분야에서 많은 성과를 보인 딥러닝(Deep learning) 기술을 의료 영상의 분석에 도입하려는 시도가 이루어지고 있다.Recently, due to the rapid increase in medical imaging, the need for computer-aided diagnosis (CAD) has increased, and its development is being actively conducted. In particular, attempts are being made to introduce deep learning technology, which has recently shown great success in the image processing field, to the analysis of medical images.

종래 척추 질환 관련 의료 영상의 분석에 딥러닝 모델을 적용하는 기술을 살펴보면, 딥러닝의 분할(segmentation) 알고리즘을 사용해 X-ray 영상에서 흉추와 요추 등의 뼈 영역을 분할하는 방식의 연구가 이루어졌다. 분할 알고리즘의 결과는 입력 영상에서 척추의 위치에 대한 mask 영상으로 도출된다. 이 결과는 척추들의 개별 정보인 위치가 없기에 추가적인 후처리 작업인 영상처리를 도입해야 하는 문제가 있다. 따라서 추가적인 후처리가 없고 척주들의 정보가 담긴 출력을 얻을 수 있는 척추 위치 추정 방법의 개발이 필요하다.Looking at the technology of applying deep learning models to the analysis of medical images related to spinal diseases, research has been conducted on segmenting bone areas such as the thoracic and lumbar spine in X-ray images using a deep learning segmentation algorithm. . The result of the segmentation algorithm is derived as a mask image of the position of the spine in the input image. This result has the problem of having to introduce additional post-processing work, image processing, because there is no individual information about the positions of the vertebrae. Therefore, it is necessary to develop a spinal position estimation method that does not require additional post-processing and can obtain output containing information about the spinal column.

한편, 포즈 추정(Pose Estimation)은 카메라로 촬영된 이미지나 영상을 분석하여 객체의 자세를 인식하는 기술을 의미한다. 특히, 딥러닝을 사용해 영상 내에서 사람의 자세를 인식하는 휴먼 포즈 추정(Human Pose Estimation)은, 그 정확도가 점차 높아지면서 응용 분야도 다양하게 확대되고 있다. 대표적인 포즈 추정 알고리즘으로 오픈포즈(OpenPose), 포즈넷(PoseNet) 등이 있다. 도 1은 딥러닝 기반의 포즈 추정 결과를 예를 들어 도시한 도면으로, 검출된 17개의 신체 키포인트를 인간의 신체 구조에 따라 연결해 포즈가 추정된 것을 확인할 수 있다.Meanwhile, pose estimation refers to a technology that recognizes the pose of an object by analyzing images or videos captured by a camera. In particular, Human Pose Estimation, which uses deep learning to recognize a person's posture in an image, is expanding its application fields as its accuracy gradually increases. Representative pose estimation algorithms include OpenPose and PoseNet. Figure 1 is a diagram illustrating the results of deep learning-based pose estimation as an example. It can be confirmed that the pose was estimated by connecting the 17 detected body key points according to the human body structure.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈을 포함하는 척추 위치 추정 모델을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치를 제공하는 것을 그 목적으로 한다.The present invention was proposed to solve the above problems of previously proposed methods, and constructs the spine using a feature map module that extracts feature maps from medical images using a deep learning-based pose estimation model and the feature maps. By constructing a spine position estimation model that includes multiple coordinate regression modules that estimate the positions of individual vertebrae, the positions of individual vertebrae can be obtained without additional post-processing, thereby improving the efficiency of medical image processing and spine position estimation. The purpose is to provide a method and device for automatically estimating spine position in medical images using deep learning-based pose estimation that can be improved.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법은,A method for automatically estimating the position of the spine in a medical image using deep learning-based pose estimation according to the characteristics of the present invention to achieve the above object is,

컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서,A method of automatically estimating the spine position in which each step is performed by a computer, comprising:

(1) 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 단계;(1) Using a deep learning-based pose estimation model, constructing a spine position estimation model that automatically estimates the positions of individual vertebrae constituting the spine from the image using medical images of the spine as learning data;

(2) 척추가 촬영된 입력 의료 영상을 수신하는 단계; 및(2) receiving an input medical image in which the spine is captured; and

(3) 상기 단계 (2)에서 수신한 입력 의료 영상을 상기 단계 (1)에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 단계를 포함하며,(3) Inputting the input medical image received in step (2) into the spine position estimation model constructed in step (1), and obtaining the positions of individual vertebrae,

상기 척추 위치 추정 모델은,The spine position estimation model is,

영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및a feature map module including a backbone model for extracting feature maps from images; and

상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.Its structural feature includes a plurality of coordinate regression modules each corresponding to the individual vertebrae, so as to estimate the position of the individual vertebrae using the feature map extracted from the feature map module.

바람직하게는, 상기 의료 영상은,Preferably, the medical image is:

x-ray, CT 또는 MRI로 척추를 촬영한 영상일 수 있다.This may be an image taken of the spine using an x-ray, CT, or MRI.

바람직하게는, 상기 단계 (2)에서는,Preferably, in step (2),

상기 입력 의료 영상을 8비트의 그레이 스케일 영상으로 변환하여 상기 단계 (3)에 전달할 수 있다.The input medical image can be converted into an 8-bit gray scale image and transmitted to step (3).

바람직하게는, 상기 좌표 회귀 모듈은,Preferably, the coordinate regression module:

인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈을 포함해 구성될 수 있다.It can be configured to include 24 coordinate regression modules to estimate the positions of each of the 24 individual vertebrae that make up the human spine.

더욱 바람직하게는, 상기 좌표 회귀 모듈은,More preferably, the coordinate regression module:

개별 척추뼈에 대해, 존재 가능성 및 위치 좌표를 출력할 수 있다.For individual vertebrae, the probability of presence and location coordinates can be output.

바람직하게는, 상기 단계 (3) 이후에는,Preferably, after step (3),

(4) 상기 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계를 더 포함할 수 있다.(4) A step of estimating the spine shape using the obtained positions of individual vertebrae may be further included.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치는,An automatic spine position estimation device in medical images using deep learning-based pose estimation according to the characteristics of the present invention to achieve the above object,

척추 위치 자동 추정 장치로서,A device for automatically estimating the position of the spine, comprising:

딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 딥러닝 모델부;A deep learning model unit that configures a spine position estimation model that uses a deep learning-based pose estimation model to automatically estimate the positions of individual vertebrae constituting the spine from the image using medical images of the spine as learning data;

척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부; 및An image receiver that receives an input medical image of the spine; and

상기 영상 수신부에서 수신한 입력 의료 영상을 상기 딥러닝 모델부에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부를 포함하며,A spine position estimation unit that acquires the positions of individual vertebrae by inputting the input medical image received from the image receiver into a spine position estimation model constructed in the deep learning model unit,

상기 척추 위치 추정 모델은,The spine position estimation model is,

영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및a feature map module including a backbone model for extracting feature maps from images; and

상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.Its structural feature includes a plurality of coordinate regression modules each corresponding to the individual vertebrae, so as to estimate the position of the individual vertebrae using the feature map extracted from the feature map module.

바람직하게는, 상기 좌표 회귀 모듈은,Preferably, the coordinate regression module:

인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈을 포함해 구성될 수 있다.It can be configured to include 24 coordinate regression modules to estimate the positions of each of the 24 individual vertebrae that make up the human spine.

본 발명에서 제안하고 있는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 따르면, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈을 포함하는 척추 위치 추정 모델을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있다.According to the method and device for automatically estimating spine position in medical images using deep learning-based pose estimation proposed in the present invention, a feature map module extracts feature maps from medical images using a deep learning-based pose estimation model. By constructing a spine position estimation model that includes multiple coordinate regression modules that estimate the positions of individual vertebrae that make up the spine using feature maps, the positions of individual vertebrae can be obtained without additional post-processing, allowing medical imaging It can increase the efficiency of processing and spine position estimation.

도 1은 딥러닝 기반의 포즈 추정 결과를 예를 들어 도시한 도면.
도 2는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 단계 S100에서 구성된 척추 위치 추정 모델의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서, 척추 위치 추정 모델의 출력 정보의 구성을 도시한 도면.
도 6 내지 도 8은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 의해 추정된 척추 위치를 표시한 의료 영상을 예를 들어 도시한 도면.1 is a diagram illustrating deep learning-based pose estimation results as an example.
Figure 2 is a diagram showing the configuration of an automatic spine position estimation device in a medical image using deep learning-based pose estimation according to an embodiment of the present invention.
Figure 3 is a diagram illustrating the flow of a method for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention.
Figure 4 is a diagram showing the detailed configuration of the spine position estimation model constructed in step S100 of the method for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention.
Figure 5 is a diagram illustrating the configuration of output information of a spine position estimation model in a method for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention.
6 to 8 are diagrams illustrating, for example, medical images displaying the spine position estimated by the method for automatically estimating the spine position in medical images using deep learning-based pose estimation according to an embodiment of the present invention. .

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, with reference to the attached drawings, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention. However, when describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same symbols are used throughout the drawings for parts that perform similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Additionally, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case when it is 'directly connected', but also when it is 'indirectly connected' with another element in between. Includes. Additionally, ‘including’ a certain component does not mean excluding other components, but rather including other components, unless specifically stated to the contrary.

도 2는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10)는, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 딥러닝 모델부(100); 척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부(200); 및 영상 수신부(200)에서 수신한 입력 의료 영상을 딥러닝 모델부(100)에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부(300)를 포함하여 구성될 수 있으며, 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 척추 형태 추정부(400)를 더 포함하여 구성될 수 있다.FIG. 2 is a diagram illustrating the configuration of an apparatus 10 for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention. As shown in FIG. 2, the apparatus 10 for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention uses a deep learning-based pose estimation model to estimate the spine position. A deep learning model unit 100 that configures a spine position estimation model 110 that automatically estimates the positions of individual vertebrae constituting the spine from the images using the captured medical images as learning data; An image receiver 200 that receives an input medical image in which the spine is photographed; and a spine position estimation unit 300 that acquires the positions of individual vertebrae by inputting the input medical image received from the image receiver 200 into the spine position estimation model 110 constructed in the deep learning model unit 100. It may be configured to further include a spine shape estimation unit 400 that estimates the spine shape using the acquired positions of individual vertebrae.

도 3은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법은, 컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 단계(S100), 척추가 촬영된 입력 의료 영상을 수신하는 단계(S200) 및 입력 의료 영상을 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 단계(S300)를 포함하여 구현될 수 있으며, 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계(S400)를 더 포함하여 구현될 수 있다.Figure 3 is a diagram illustrating the flow of a method for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention. As shown in Figure 3, the method of automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention is a method of automatically estimating the spine position in which each step is performed by a computer. , using a deep learning-based pose estimation model to construct a spine position estimation model 110 that automatically estimates the positions of individual vertebrae constituting the spine from the image using medical images of the spine as learning data (S100) ), receiving an input medical image in which the spine is photographed (S200), and inputting the input medical image into the spine position estimation model 110 to obtain the position of the individual vertebrae (S300). It can be implemented by further including a step (S400) of estimating the spine shape using the positions of individual vertebrae.

본 발명은 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 관한 것으로서, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, PDA, 스마트폰, 태블릿 PC 등에 저장 및 구현될 수 있으며, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10)에서 각 단계가 수행될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.The present invention relates to a method for automatically estimating spine position in medical images using deep learning-based pose estimation, and may be composed of software recorded in hardware including memory and processor. For example, the method of automatically estimating the spine position in medical images using deep learning-based pose estimation of the present invention can be stored and implemented in personal computers, laptop computers, server computers, PDAs, smartphones, tablet PCs, etc. , each step can be performed in the apparatus 10 for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention. Below, for convenience of explanation, the subject performing each step may be omitted.

단계 S100에서는, 딥러닝 모델부(100)가, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성할 수 있다. 여기서, 의료 영상은, x-ray, CT 또는 MRI로 척추를 촬영한 영상일 수 있으나, 척추 질환의 일차적 진단에 많이 사용하는 x-ray 영상일 수 있다.In step S100, the deep learning model unit 100 uses a deep learning-based pose estimation model to automatically estimate the positions of individual vertebrae constituting the spine from the image using medical images of the spine as learning data. A position estimation model 110 can be configured. Here, the medical image may be an image taken of the spine using x-ray, CT, or MRI, but may be an x-ray image often used for primary diagnosis of spinal diseases.

도 1에 도시된 바와 같이, 딥러닝 기반의 포즈 추정 방법은 다양한 사람의 모습에서 관절 키포인트를 찾고, 키포인트를 연결해 포즈를 추정하는 방법이다. 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서는, 이와 같은 포즈 추정 방법을 개별 척추뼈의 위치 추정에 적용할 수 있다.As shown in Figure 1, the deep learning-based pose estimation method is a method of finding joint key points in various human figures and connecting the key points to estimate the pose. In the method for automatically estimating the position of the spine in a medical image using deep learning-based pose estimation according to an embodiment of the present invention, this pose estimation method can be applied to estimating the position of individual vertebrae.

도 4는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 단계 S100에서 구성된 척추 위치 추정 모델(110)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 척추 위치 추정 모델(110)은, 포즈 추정 모델의 구조로 구현될 수 있다.Figure 4 is a diagram showing the detailed configuration of the spine position estimation model 110 constructed in step S100 of the method for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention. . As shown in FIG. 4, the spine position estimation model 110 of the method for automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention has the structure of a pose estimation model. It can be implemented.

보다 구체적으로, 척추 위치 추정 모델(110)은, 영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈(111); 및 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈(112)을 포함하여 구성될 수 있다.More specifically, the spine position estimation model 110 includes a feature map module 111 including a backbone model for extracting a feature map from an image; and a plurality of coordinate regression modules 112 each corresponding to individual vertebrae, so as to estimate the position of the individual vertebrae using the feature map extracted from the feature map module 111.

특징 맵 모듈(111)은 영상으로부터 특징 맵을 추출하는 모델로, U-Net, Hourglass, FCN, DeepLab V1, 2, 3와 같은 특징 맵 추출 모델(백본 모델)을 사용할 수 있다.The feature map module 111 is a model that extracts a feature map from an image, and can use feature map extraction models (backbone models) such as U-Net, Hourglass, FCN, and DeepLab V1, 2, and 3.

좌표 회귀 모듈(112)은, 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정할 수 있다. 이때, 좌표 회귀 모듈(112)은, 포즈 추정 모델에서 키포인트의 좌표 검출을 위해 사용하는 회귀 모델을 이용해 구현될 수 있다.The coordinate regression module 112 can estimate the location of individual vertebrae using the feature map extracted from the feature map module 111. At this time, the coordinate regression module 112 may be implemented using a regression model used to detect the coordinates of a key point in the pose estimation model.

또한, 좌표 회귀 모듈(112)은, 인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈(112)을 포함해 구성할 수 있다. 보다 구체적으로, 좌표 회귀 모듈(112)은, 목뼈(경추) 7개, 등뼈(흉추) 12개, 허리뼈(요추) 5개로 구성되는 개별 척추뼈 24개 각각에 대응되는 24개의 좌표 회귀 모듈(112)로 구성될 수 있으며, 개별 척추뼈에 대해, 존재 가능성(conf.) 및 위치 좌표(dx, dy)를 출력할 수 있다. 실시예에 따라서는, 척추의 가장 끝부분을 구성하는 꼬리뼈 2~5개를 더 포함하여, 26~29개의 좌표 회귀 모듈(112)로 구성될 수도 있다.Additionally, the coordinate regression module 112 may be configured to include 24 coordinate regression modules 112 to estimate the positions of each of the 24 individual vertebrae that make up the human spine. More specifically, the coordinate regression module 112 includes 24 coordinate regression modules ( 112), and for individual vertebrae, the possibility of existence (conf.) and location coordinates (dx, dy) can be output. Depending on the embodiment, it may be composed of 26 to 29 coordinate regression modules 112, including 2 to 5 coccyx vertebrae that constitute the most extreme part of the spine.

한편, 도 4에 도시된 바와 같이, 척추 위치 추정 모델(110)은, 24개의 좌표 회귀 모듈(112)의 출력을 하나의 출력 맵으로 구성하는 출력 모듈(113)을 더 포함하여 구성될 수 있다.Meanwhile, as shown in FIG. 4, the spine position estimation model 110 may further include an output module 113 that configures the outputs of the 24 coordinate regression modules 112 into one output map. .

도 5는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서, 척추 위치 추정 모델(110)의 출력 정보의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 척추 위치 추정 모델(110)은, 최종적인 출력 맵을 24×Grid×Grid×3의 차원으로 도출할 수 있다. 여기서 24는 개별 척추뼈의 개수, Grid는 의료 영상을 나누는 격자(예를 들어, 15×15, 30×30, 50×50 등)를 의미할 수 있다. 마지막 차원의 3은 개별 척추뼈에 대한 예측 정보가 담겨있는데 Conf.(Confidence)는 입력된 의료 영상에서 해당 척추뼈가 존재할 확률을 의미하고, (dx, dy)는 각 격자(Grid) 내에서 개별 척추뼈의 정확한 위치를 보정하기 위한 파라미터일 수 있다. 따라서, 척추 위치 추정 모델(110)에서 출력되는 출력 맵에서, 격자 위치, conf., (dx, dy)로부터 개별 척추뼈의 정확한 위치를 도출할 수 있다.FIG. 5 is a diagram illustrating the configuration of output information of the spine position estimation model 110 in the method of automatically estimating the spine position in a medical image using deep learning-based pose estimation according to an embodiment of the present invention. As shown in FIG. 5, the spine position estimation model 110 of the method for automatically estimating the spine position in medical images using deep learning-based pose estimation according to an embodiment of the present invention produces a final output map of 24. It can be derived as a dimension of ×Grid×Grid×3. Here, 24 may refer to the number of individual vertebrae, and Grid may refer to a grid that divides the medical image (e.g., 15×15, 30×30, 50×50, etc.). The last dimension, 3, contains prediction information about individual vertebrae. Conf. (Confidence) means the probability that the corresponding vertebra exists in the input medical image, and (dx, dy) is the individual vertebra within each grid. It may be a parameter for correcting the exact position of the vertebrae. Therefore, in the output map output from the spine position estimation model 110, the exact position of each vertebra can be derived from the grid position, conf., (dx, dy).

한편, 단계 S100에서는, 척추 위치 추정 모델(110)이 의료 영상을 입력으로 하여 24개의 개별 척추뼈의 좌표를 포함하여 구성되는 출력 맵을 출력하도록, 의료 영상으로 구성되는 학습 데이터를 학습함으로써 척추 위치 추정 모델(110)을 구성할 수 있다. 의료 영상은 일반적으로 높은 해상도와 높은 정밀도를 갖지만, 딥러닝의 입력에 사용하기 위해서 작은 크기로 줄이면서 8비트(bit)의 그레이 스케일로 변환하여 사용할 수 있다.Meanwhile, in step S100, the spine position estimation model 110 takes the medical image as input and learns learning data consisting of medical images to output an output map including the coordinates of 24 individual vertebrae, thereby determining the spine position. An estimation model 110 can be constructed. Medical images generally have high resolution and high precision, but in order to be used as input for deep learning, they can be reduced to a small size and converted to 8-bit gray scale.

단계 S200에서는, 영상 수신부(200)가, 척추가 촬영된 입력 의료 영상을 수신할 수 있다. 여기서, 입력 의료 영상은, x-ray, CT 또는 MRI로 척추를 촬영한 영상일 수 있고, 입력 의료 영상을 8비트의 그레이 스케일 영상으로 변환하여 단계 S300에 전달할 수 있다.In step S200, the image receiver 200 may receive an input medical image in which the spine is imaged. Here, the input medical image may be an image taken of the spine using x-ray, CT, or MRI, and the input medical image may be converted into an 8-bit gray scale image and transmitted to step S300.

단계 S300에서는, 척추 위치 추정부(300)가, 단계 S200에서 수신한 입력 의료 영상을 단계 S100에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득할 수 있다. 즉, 단계 S300은, 단계 S100에서 학습을 통해 구성된 척추 위치 추정 모델(110)을 사용해 새로운 입력 의료 영상으로부터 개별 척추뼈의 위치를 추정하는 예측을 수행하는 과정에 해당할 수 있다.In step S300, the spine position estimation unit 300 may obtain the positions of individual vertebrae by inputting the input medical image received in step S200 into the spine position estimation model 110 constructed in step S100. That is, step S300 may correspond to a process of performing prediction to estimate the position of individual vertebrae from a new input medical image using the spine position estimation model 110 constructed through learning in step S100.

도 6 내지 도 8은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 의해 추정된 척추 위치를 표시한 의료 영상을 예를 들어 도시한 도면이다. 도 6은 목부터 엉덩이 부근까지를 정면에서 촬영한 x-ray 영상, 도 7은 경추(cervical vertebrae)를 측면에서 촬영한 x-ray 영상, 도 8은 요추와 꼬리뼈를 측면에서 촬영한 x-ray 영상에, 추정된 개별 척추뼈의 위치를 표시한 것이다.6 to 8 are diagrams illustrating, for example, medical images displaying the spine position estimated by the method for automatically estimating the spine position in medical images using deep learning-based pose estimation according to an embodiment of the present invention. am. Figure 6 is an x-ray image taken from the front from the neck to the hip area, Figure 7 is an x-ray image taken from the side of the cervical vertebrae, and Figure 8 is an x-ray image taken from the side of the lumbar spine and coccyx. In the image, the estimated positions of individual vertebrae are indicated.

도 6 내지 도 8에 도시된 바와 같이, 개별 척추뼈의 형태를 분할(segmentation)하는 기존 방식과는 다르게, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서는, 개별 척추뼈의 중심 부분을 해당 척추뼈의 위치로 추정하며, 24개의 개별 척추뼈 중에서 입력 의료 영상에 촬영된 척추뼈의 위치를 정확하게 추정해 표시할 수 있다. 또한, 도 6 내지 도 8에 도시된 바와 같이, 경추(7개, 파란색), 흉추(12개, 녹색), 요추(5개, 노란색), 꼬리뼈(2개, 주황색)를 서로 다른 색상으로 영상에 표시할 수도 있다.As shown in Figures 6 to 8, unlike the existing method of segmenting the shape of individual vertebrae, the spine in a medical image using deep learning-based pose estimation according to an embodiment of the present invention In the automatic position estimation method, the center of each vertebra is estimated as the position of the corresponding vertebra, and the position of the vertebra captured in the input medical image can be accurately estimated and displayed among 24 individual vertebrae. In addition, as shown in Figures 6 to 8, the cervical vertebrae (7, blue), thoracic vertebrae (12, green), lumbar vertebrae (5, yellow), and coccyx (2, orange) are imaged in different colors. It can also be displayed in .

단계 S400에서는, 척추 형태 추정부(400)가, 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정할 수 있다. 즉, 도 6 내지 도 8에 도시된 바와 같이, 획득한 개별 척추뼈를 의료 영상에 표시하고 이를 연결하여 척추 형태를 추정할 수 있고, 척추 형태로부터 척추측만증 등을 평가할 수도 있다.In step S400, the spine shape estimation unit 400 may estimate the spine shape using the acquired positions of individual vertebrae. That is, as shown in Figures 6 to 8, the shape of the spine can be estimated by displaying the acquired individual vertebrae on the medical image and connecting them, and scoliosis, etc. can also be evaluated from the shape of the spine.

전술한 바와 같이, 본 발명에서 제안하고 있는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 따르면, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈(111)과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈(112)을 포함하는 척추 위치 추정 모델(110)을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있다.As described above, according to the method and device for automatically estimating spine position in medical images using deep learning-based pose estimation proposed in the present invention, feature maps are extracted from medical images using a deep learning-based pose estimation model. By constructing a spine position estimation model 110 that includes a feature map module 111 to extract and a plurality of coordinate regression modules 112 to estimate the positions of individual vertebrae constituting the spine using the feature map, additional post-processing is performed. Since the position of individual vertebrae can be obtained without any processing, the efficiency of medical image processing and vertebral position estimation can be increased.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Meanwhile, the present invention may include a computer-readable medium containing program instructions for performing operations implemented in various communication terminals. For example, computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floptical disks. It may include magneto-optical media and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, etc.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Such computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. At this time, program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the computer software art. For example, it may include not only machine language code such as that produced by a compiler, but also high-level language code that can be executed by a computer using an interpreter, etc.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those skilled in the art, and the scope of the technical idea according to the present invention should be determined by the claims below.

10: 척추 위치 자동 추정 장치
100: 딥러닝 모델부
110: 척추 위치 추정 모델
111: 특징 맵 모듈
112: 좌표 회귀 모듈
113: 출력 모듈
200: 영상 수신부
300: 척추 위치 추정부
400: 척추 형태 추정부
S100: 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 단계
S200: 척추가 촬영된 입력 의료 영상을 수신하는 단계
S300: 입력 의료 영상을 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 단계
S400: 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계10: Automatic spine position estimation device
100: Deep learning model department
110: Spine position estimation model
111: Feature map module
112: Coordinate regression module
113: output module
200: Video receiving unit
300: Spine position estimation unit
400: Spine shape estimation unit
S100: Using a deep learning-based pose estimation model, constructing a spine position estimation model that automatically estimates the positions of individual vertebrae constituting the spine from the image using medical images of the spine as learning data.
S200: Receiving an input medical image in which the spine is imaged
S300: Step of acquiring the positions of individual vertebrae by inputting the input medical image into the spine position estimation model
S400: Step of estimating spine shape using the positions of individual vertebrae

Claims (8)

컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서,
(1) 사람의 모습에서 관절 키포인트를 찾고 키포인트를 연결해 포즈를 추정하는 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 단계;
(2) 척추가 촬영된 입력 의료 영상을 수신하는 단계;
(3) 상기 단계 (2)에서 수신한 입력 의료 영상을 상기 단계 (1)에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 단계; 및
(4) 상기 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계를 포함하며,
상기 척추 위치 추정 모델(110)은,
영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈(111);
상기 포즈 추정 모델에서 키포인트의 좌표 검출을 위해 사용하는 회귀 모델을 이용해 구현되며, 상기 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈(112); 및
상기 복수의 좌표 회귀 모듈(112)의 출력을 하나의 출력 맵으로 구성하는 출력 모듈(113)을 포함하며,
상기 좌표 회귀 모듈(112)은,
인간의 척추를 구성하는 개별 척추뼈의 위치를 각각 추정하도록, 개별 척추뼈의 개수만큼의 복수의 좌표 회귀 모듈(112)을 포함해 구성되며,
상기 좌표 회귀 모듈(112)은,
개별 척추뼈에 대해, 존재 가능성 및 위치 좌표를 출력하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
A method of automatically estimating the spine position in which each step is performed by a computer, comprising:
(1) Using a deep learning-based pose estimation model that finds joint key points in the human figure and connects the key points to estimate the pose, medical images of the spine are used as learning data, and the positions of individual vertebrae that make up the spine are obtained from the images. Constructing a spine position estimation model 110 that automatically estimates;
(2) receiving an input medical image of the spine;
(3) acquiring the positions of individual vertebrae by inputting the input medical image received in step (2) into the spine position estimation model 110 constructed in step (1); and
(4) including the step of estimating the spine shape using the obtained positions of individual vertebrae,
The spine position estimation model 110 is,
a feature map module 111 including a backbone model for extracting feature maps from images;
It is implemented using a regression model used to detect the coordinates of key points in the pose estimation model, and each corresponds to the individual vertebrae to estimate the position of the individual vertebrae using the feature map extracted from the feature map module 111. a plurality of coordinate regression modules 112; and
It includes an output module 113 that configures the output of the plurality of coordinate regression modules 112 into one output map,
The coordinate regression module 112,
It is configured to include a plurality of coordinate regression modules 112 as many as the number of individual vertebrae to estimate the positions of each individual vertebrae constituting the human spine,
The coordinate regression module 112,
A method for automatically estimating spine position in medical images using deep learning-based pose estimation, characterized by outputting the presence probability and position coordinates for individual vertebrae.
 제1항에 있어서, 상기 의료 영상은,
x-ray, CT 또는 MRI로 척추를 촬영한 영상인 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
The method of claim 1, wherein the medical image is:
A method of automatically estimating the position of the spine in a medical image using deep learning-based pose estimation, characterized in that the image is an image of the spine using x-ray, CT, or MRI.
 제1항에 있어서, 상기 단계 (2)에서는,
상기 입력 의료 영상을 8비트의 그레이 스케일 영상으로 변환하여 상기 단계 (3)에 전달하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
The method of claim 1, wherein in step (2),
A method for automatically estimating spine position in a medical image using deep learning-based pose estimation, characterized in that the input medical image is converted into an 8-bit gray scale image and transmitted to step (3).
 삭제delete 삭제delete 삭제delete 척추 위치 자동 추정 장치(10)로서,
사람의 모습에서 관절 키포인트를 찾고 키포인트를 연결해 포즈를 추정하는 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 딥러닝 모델부(100);
척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부(200);
상기 영상 수신부(200)에서 수신한 입력 의료 영상을 상기 딥러닝 모델부(100)에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부(300); 및
상기 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 척추 형태 추정부(400)를 포함하며,
상기 척추 위치 추정 모델(110)은,
영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈(111);
상기 포즈 추정 모델에서 키포인트의 좌표 검출을 위해 사용하는 회귀 모델을 이용해 구현되며, 상기 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈(112); 및
상기 복수의 좌표 회귀 모듈(112)의 출력을 하나의 출력 맵으로 구성하는 출력 모듈(113)을 포함하며,
상기 좌표 회귀 모듈(112)은,
인간의 척추를 구성하는 개별 척추뼈의 위치를 각각 추정하도록, 개별 척추뼈의 개수만큼의 복수의 좌표 회귀 모듈(112)을 포함해 구성되며,
상기 좌표 회귀 모듈(112)은,
개별 척추뼈에 대해, 존재 가능성 및 위치 좌표를 출력하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10).As an automatic spine position estimation device (10),
Using a deep learning-based pose estimation model that finds joint key points in the human figure and connects the key points to estimate the pose, we use medical images of the spine as learning data to automatically estimate the positions of individual vertebrae that make up the spine from the images. A deep learning model unit 100 constituting a spine position estimation model 110;
An image receiver 200 that receives an input medical image in which the spine is photographed;
a spine position estimation unit 300 that obtains the positions of individual vertebrae by inputting the input medical image received from the image receiver 200 into the spine position estimation model 110 constructed in the deep learning model unit 100; and
It includes a spine shape estimation unit 400 that estimates the spine shape using the obtained positions of individual vertebrae,
The spine position estimation model 110 is,
a feature map module 111 including a backbone model for extracting feature maps from images;
It is implemented using a regression model used to detect the coordinates of key points in the pose estimation model, and each corresponds to the individual vertebrae to estimate the position of the individual vertebrae using the feature map extracted from the feature map module 111. a plurality of coordinate regression modules 112; and
It includes an output module 113 that configures the output of the plurality of coordinate regression modules 112 into one output map,
The coordinate regression module 112,
It is configured to include a plurality of coordinate regression modules 112 as many as the number of individual vertebrae to estimate the positions of each individual vertebrae constituting the human spine,
The coordinate regression module 112,
An automatic spine position estimation device in medical images using deep learning-based pose estimation, characterized by outputting the presence probability and position coordinates for individual vertebrae (10). 삭제delete
KR1020210152804A 2021-11-09 2021-11-09 Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation KR102672531B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210152804A KR102672531B1 (en) 2021-11-09 2021-11-09 Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210152804A KR102672531B1 (en) 2021-11-09 2021-11-09 Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation

Publications (2)

Publication Number Publication Date
KR20230067088A KR20230067088A (en) 2023-05-16
KR102672531B1 true KR102672531B1 (en) 2024-06-07

Family

ID=86546439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210152804A KR102672531B1 (en) 2021-11-09 2021-11-09 Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation

Country Status (1)

Country Link
KR (1) KR102672531B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015062529A (en) * 2013-09-25 2015-04-09 富士フイルム株式会社 Medical image processor, operation method thereof, and medical image processing program
JP2020062378A (en) * 2018-08-19 2020-04-23 チャン グァン メモリアル ホスピタル，リンコウＣｈａｎｇ Ｇｕｎｇ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ，Ｌｉｎｋｏｕ Analysis method, system and model of medical image
CN111932533A (en) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Method, device, equipment and medium for positioning vertebrae by CT image
US20210286983A1 (en) 2018-12-13 2021-09-16 Fujitsu Limited Estimation method, and computer-readable recording medium recording estimation program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015062529A (en) * 2013-09-25 2015-04-09 富士フイルム株式会社 Medical image processor, operation method thereof, and medical image processing program
JP2020062378A (en) * 2018-08-19 2020-04-23 チャン グァン メモリアル ホスピタル，リンコウＣｈａｎｇ Ｇｕｎｇ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ，Ｌｉｎｋｏｕ Analysis method, system and model of medical image
US20210286983A1 (en) 2018-12-13 2021-09-16 Fujitsu Limited Estimation method, and computer-readable recording medium recording estimation program
CN111932533A (en) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Method, device, equipment and medium for positioning vertebrae by CT image

Also Published As

Publication number Publication date
KR20230067088A (en) 2023-05-16

Similar Documents

Publication Publication Date Title
US11443428B2 (en) Systems and methods for probablistic segmentation in anatomical image processing
CN111210897B (en) Processing medical images
US8958614B2 (en) Image-based detection using hierarchical learning
US8639060B2 (en) System and method for image based multiple-modality cardiac image alignment
JP5417321B2 (en) Semi-automatic contour detection method
US7929745B2 (en) Method and system for characterization of knee joint morphology
CN111862249A (en) System and method for generating canonical imaging data for medical image processing using deep learning
US10872408B2 (en) Method and system for imaging and analysis of anatomical features
JP4640845B2 (en) Image processing apparatus and program thereof
EP3722996A2 (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
KR102338018B1 (en) Ultrasound diagnosis apparatus for liver steatosis using the key points of ultrasound image and remote medical-diagnosis method using the same
KR102389067B1 (en) Method for evaluating scoliosis and device evaluating scoliosis using the same
CN112950648B (en) Method and apparatus for determining a mid-sagittal plane in a magnetic resonance image
US20200410674A1 (en) Neural Network Classification of Osteolysis and Synovitis Near Metal Implants
KR20210000542A (en) Method and apparatus for segmentation of specific cartilage in medical image
Reyes et al. Automatic digital biometry analysis based on depth maps
Zhang et al. Learning-based coronal spine alignment prediction using smartphone-acquired scoliosis radiograph images
Reddy et al. Anatomical landmark detection using deep appearance-context network
US9286688B2 (en) Automatic segmentation of articulated structures
JP6676758B2 (en) Determining alignment accuracy
US11138736B2 (en) Information processing apparatus and information processing method
KR102672531B1 (en) Method and apparatus for automatically estimating spine position in medical images using deep learning-based pose estimation
US20230032941A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
US20230368913A1 (en) Uncertainty Estimation in Medical Imaging
US11928828B2 (en) Deformity-weighted registration of medical images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right