KR20230067088A - 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치 - Google Patents

딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치 Download PDF

Info

Publication number
KR20230067088A
KR20230067088A KR1020210152804A KR20210152804A KR20230067088A KR 20230067088 A KR20230067088 A KR 20230067088A KR 1020210152804 A KR1020210152804 A KR 1020210152804A KR 20210152804 A KR20210152804 A KR 20210152804A KR 20230067088 A KR20230067088 A KR 20230067088A
Authority
KR
South Korea
Prior art keywords
spine
deep learning
image
pose estimation
individual vertebrae
Prior art date
Application number
KR1020210152804A
Other languages
English (en)
Other versions
KR102672531B1 (ko
Inventor
최치원
김정환
조성동
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210152804A priority Critical patent/KR102672531B1/ko
Publication of KR20230067088A publication Critical patent/KR20230067088A/ko
Application granted granted Critical
Publication of KR102672531B1 publication Critical patent/KR102672531B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 관한 것으로서, 보다 구체적으로는 컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서, (1) 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 단계; (2) 척추가 촬영된 입력 의료 영상을 수신하는 단계; 및 (3) 상기 단계 (2)에서 수신한 입력 의료 영상을 상기 단계 (1)에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 단계를 포함하며, 상기 척추 위치 추정 모델은, 영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및 상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치에 관한 것으로서, 보다 구체적으로는 척추 위치 자동 추정 장치로서, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 딥러닝 모델부; 척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부; 및 상기 영상 수신부에서 수신한 입력 의료 영상을 상기 딥러닝 모델부에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부를 포함하며, 상기 척추 위치 추정 모델은, 영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및 상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 따르면, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈을 포함하는 척추 위치 추정 모델을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있다.

Description

딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATICALLY ESTIMATING SPINE POSITION IN MEDICAL IMAGES USING DEEP LEARNING-BASED POSE ESTIMATION}
본 발명은 척추 위치 자동 추정 방법 및 장치에 관한 것으로서, 보다 구체적으로는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 관한 것이다.
척추 질환은 매년 환자 수가 가파르게 증가하고 있는 질환으로, 2019년을 기준으로 대한민국 국민 중 9,200,737명이 앓고 있는 질환이다. 척추측만증은 대표적인 척추 질환 중 하나로, 척추가 해부학적 정중앙의 축에서 측방으로 만곡 혹은 편위된 변형 상태를 일컫는다. 척추측만증은 통증 및 척추의 퇴행성 변화를 유발하며, 노동 능력이나 일상생활에서 심각한 문제를 가져올 수 있다.
척추측만증의 진단에는 방사선학적 검사가 유용하게 사용된다. 그중에서도, 단순 방사선 사진(X-ray)이 주로 사용되며 정기적인 검사를 통해 질환의 악화 및 개선 여부를 알 수 있다. 척추측만증의 진단에 있어서 방사선 영상 판독의 정확성과 일관성은 중요한 요소이다. 그러나 방사선 영상 판독은 측정하는 사람이나 측정의 방법 및 시점에 따라 오차가 발생한다는 한계점을 가지고 있다.
최근, 의료 영상의 급격한 증가로 컴퓨터 보조 진단(Computer-aided diagnosis, CAD)의 필요성이 증대하여, 이에 대한 개발이 활발하게 이루어지고 있다. 특히, 최근 영상처리 분야에서 많은 성과를 보인 딥러닝(Deep learning) 기술을 의료 영상의 분석에 도입하려는 시도가 이루어지고 있다.
종래 척추 질환 관련 의료 영상의 분석에 딥러닝 모델을 적용하는 기술을 살펴보면, 딥러닝의 분할(segmentation) 알고리즘을 사용해 X-ray 영상에서 흉추와 요추 등의 뼈 영역을 분할하는 방식의 연구가 이루어졌다. 분할 알고리즘의 결과는 입력 영상에서 척추의 위치에 대한 mask 영상으로 도출된다. 이 결과는 척추들의 개별 정보인 위치가 없기에 추가적인 후처리 작업인 영상처리를 도입해야 하는 문제가 있다. 따라서 추가적인 후처리가 없고 척주들의 정보가 담긴 출력을 얻을 수 있는 척추 위치 추정 방법의 개발이 필요하다.
한편, 포즈 추정(Pose Estimation)은 카메라로 촬영된 이미지나 영상을 분석하여 객체의 자세를 인식하는 기술을 의미한다. 특히, 딥러닝을 사용해 영상 내에서 사람의 자세를 인식하는 휴먼 포즈 추정(Human Pose Estimation)은, 그 정확도가 점차 높아지면서 응용 분야도 다양하게 확대되고 있다. 대표적인 포즈 추정 알고리즘으로 오픈포즈(OpenPose), 포즈넷(PoseNet) 등이 있다. 도 1은 딥러닝 기반의 포즈 추정 결과를 예를 들어 도시한 도면으로, 검출된 17개의 신체 키포인트를 인간의 신체 구조에 따라 연결해 포즈가 추정된 것을 확인할 수 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈을 포함하는 척추 위치 추정 모델을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법은,
컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서,
(1) 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 단계;
(2) 척추가 촬영된 입력 의료 영상을 수신하는 단계; 및
(3) 상기 단계 (2)에서 수신한 입력 의료 영상을 상기 단계 (1)에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 단계를 포함하며,
상기 척추 위치 추정 모델은,
영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및
상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 의료 영상은,
x-ray, CT 또는 MRI로 척추를 촬영한 영상일 수 있다.
바람직하게는, 상기 단계 (2)에서는,
상기 입력 의료 영상을 8비트의 그레이 스케일 영상으로 변환하여 상기 단계 (3)에 전달할 수 있다.
바람직하게는, 상기 좌표 회귀 모듈은,
인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈을 포함해 구성될 수 있다.
더욱 바람직하게는, 상기 좌표 회귀 모듈은,
개별 척추뼈에 대해, 존재 가능성 및 위치 좌표를 출력할 수 있다.
바람직하게는, 상기 단계 (3) 이후에는,
(4) 상기 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치는,
척추 위치 자동 추정 장치로서,
딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 딥러닝 모델부;
척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부; 및
상기 영상 수신부에서 수신한 입력 의료 영상을 상기 딥러닝 모델부에서 구성된 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부를 포함하며,
상기 척추 위치 추정 모델은,
영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈; 및
상기 특징 맵 모듈에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 좌표 회귀 모듈은,
인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈을 포함해 구성될 수 있다.
본 발명에서 제안하고 있는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 따르면, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈을 포함하는 척추 위치 추정 모델을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있다.
도 1은 딥러닝 기반의 포즈 추정 결과를 예를 들어 도시한 도면.
도 2는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 단계 S100에서 구성된 척추 위치 추정 모델의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서, 척추 위치 추정 모델의 출력 정보의 구성을 도시한 도면.
도 6 내지 도 8은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 의해 추정된 척추 위치를 표시한 의료 영상을 예를 들어 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 2는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10)는, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 딥러닝 모델부(100); 척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부(200); 및 영상 수신부(200)에서 수신한 입력 의료 영상을 딥러닝 모델부(100)에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부(300)를 포함하여 구성될 수 있으며, 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 척추 형태 추정부(400)를 더 포함하여 구성될 수 있다.
도 3은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법은, 컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 단계(S100), 척추가 촬영된 입력 의료 영상을 수신하는 단계(S200) 및 입력 의료 영상을 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 단계(S300)를 포함하여 구현될 수 있으며, 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계(S400)를 더 포함하여 구현될 수 있다.
본 발명은 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 관한 것으로서, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, PDA, 스마트폰, 태블릿 PC 등에 저장 및 구현될 수 있으며, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10)에서 각 단계가 수행될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.
단계 S100에서는, 딥러닝 모델부(100)가, 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성할 수 있다. 여기서, 의료 영상은, x-ray, CT 또는 MRI로 척추를 촬영한 영상일 수 있으나, 척추 질환의 일차적 진단에 많이 사용하는 x-ray 영상일 수 있다.
도 1에 도시된 바와 같이, 딥러닝 기반의 포즈 추정 방법은 다양한 사람의 모습에서 관절 키포인트를 찾고, 키포인트를 연결해 포즈를 추정하는 방법이다. 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서는, 이와 같은 포즈 추정 방법을 개별 척추뼈의 위치 추정에 적용할 수 있다.
도 4는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 단계 S100에서 구성된 척추 위치 추정 모델(110)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 척추 위치 추정 모델(110)은, 포즈 추정 모델의 구조로 구현될 수 있다.
보다 구체적으로, 척추 위치 추정 모델(110)은, 영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈(111); 및 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈(112)을 포함하여 구성될 수 있다.
특징 맵 모듈(111)은 영상으로부터 특징 맵을 추출하는 모델로, U-Net, Hourglass, FCN, DeepLab V1, 2, 3와 같은 특징 맵 추출 모델(백본 모델)을 사용할 수 있다.
좌표 회귀 모듈(112)은, 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정할 수 있다. 이때, 좌표 회귀 모듈(112)은, 포즈 추정 모델에서 키포인트의 좌표 검출을 위해 사용하는 회귀 모델을 이용해 구현될 수 있다.
또한, 좌표 회귀 모듈(112)은, 인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈(112)을 포함해 구성할 수 있다. 보다 구체적으로, 좌표 회귀 모듈(112)은, 목뼈(경추) 7개, 등뼈(흉추) 12개, 허리뼈(요추) 5개로 구성되는 개별 척추뼈 24개 각각에 대응되는 24개의 좌표 회귀 모듈(112)로 구성될 수 있으며, 개별 척추뼈에 대해, 존재 가능성(conf.) 및 위치 좌표(dx, dy)를 출력할 수 있다. 실시예에 따라서는, 척추의 가장 끝부분을 구성하는 꼬리뼈 2~5개를 더 포함하여, 26~29개의 좌표 회귀 모듈(112)로 구성될 수도 있다.
한편, 도 4에 도시된 바와 같이, 척추 위치 추정 모델(110)은, 24개의 좌표 회귀 모듈(112)의 출력을 하나의 출력 맵으로 구성하는 출력 모듈(113)을 더 포함하여 구성될 수 있다.
도 5는 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서, 척추 위치 추정 모델(110)의 출력 정보의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법의 척추 위치 추정 모델(110)은, 최종적인 출력 맵을 24×Grid×Grid×3의 차원으로 도출할 수 있다. 여기서 24는 개별 척추뼈의 개수, Grid는 의료 영상을 나누는 격자(예를 들어, 15×15, 30×30, 50×50 등)를 의미할 수 있다. 마지막 차원의 3은 개별 척추뼈에 대한 예측 정보가 담겨있는데 Conf.(Confidence)는 입력된 의료 영상에서 해당 척추뼈가 존재할 확률을 의미하고, (dx, dy)는 각 격자(Grid) 내에서 개별 척추뼈의 정확한 위치를 보정하기 위한 파라미터일 수 있다. 따라서, 척추 위치 추정 모델(110)에서 출력되는 출력 맵에서, 격자 위치, conf., (dx, dy)로부터 개별 척추뼈의 정확한 위치를 도출할 수 있다.
한편, 단계 S100에서는, 척추 위치 추정 모델(110)이 의료 영상을 입력으로 하여 24개의 개별 척추뼈의 좌표를 포함하여 구성되는 출력 맵을 출력하도록, 의료 영상으로 구성되는 학습 데이터를 학습함으로써 척추 위치 추정 모델(110)을 구성할 수 있다. 의료 영상은 일반적으로 높은 해상도와 높은 정밀도를 갖지만, 딥러닝의 입력에 사용하기 위해서 작은 크기로 줄이면서 8비트(bit)의 그레이 스케일로 변환하여 사용할 수 있다.
단계 S200에서는, 영상 수신부(200)가, 척추가 촬영된 입력 의료 영상을 수신할 수 있다. 여기서, 입력 의료 영상은, x-ray, CT 또는 MRI로 척추를 촬영한 영상일 수 있고, 입력 의료 영상을 8비트의 그레이 스케일 영상으로 변환하여 단계 S300에 전달할 수 있다.
단계 S300에서는, 척추 위치 추정부(300)가, 단계 S200에서 수신한 입력 의료 영상을 단계 S100에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득할 수 있다. 즉, 단계 S300은, 단계 S100에서 학습을 통해 구성된 척추 위치 추정 모델(110)을 사용해 새로운 입력 의료 영상으로부터 개별 척추뼈의 위치를 추정하는 예측을 수행하는 과정에 해당할 수 있다.
도 6 내지 도 8은 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에 의해 추정된 척추 위치를 표시한 의료 영상을 예를 들어 도시한 도면이다. 도 6은 목부터 엉덩이 부근까지를 정면에서 촬영한 x-ray 영상, 도 7은 경추(cervical vertebrae)를 측면에서 촬영한 x-ray 영상, 도 8은 요추와 꼬리뼈를 측면에서 촬영한 x-ray 영상에, 추정된 개별 척추뼈의 위치를 표시한 것이다.
도 6 내지 도 8에 도시된 바와 같이, 개별 척추뼈의 형태를 분할(segmentation)하는 기존 방식과는 다르게, 본 발명의 일실시예에 따른 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법에서는, 개별 척추뼈의 중심 부분을 해당 척추뼈의 위치로 추정하며, 24개의 개별 척추뼈 중에서 입력 의료 영상에 촬영된 척추뼈의 위치를 정확하게 추정해 표시할 수 있다. 또한, 도 6 내지 도 8에 도시된 바와 같이, 경추(7개, 파란색), 흉추(12개, 녹색), 요추(5개, 노란색), 꼬리뼈(2개, 주황색)를 서로 다른 색상으로 영상에 표시할 수도 있다.
단계 S400에서는, 척추 형태 추정부(400)가, 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정할 수 있다. 즉, 도 6 내지 도 8에 도시된 바와 같이, 획득한 개별 척추뼈를 의료 영상에 표시하고 이를 연결하여 척추 형태를 추정할 수 있고, 척추 형태로부터 척추측만증 등을 평가할 수도 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치에 따르면, 딥러닝 기반의 포즈 추정 모델을 이용해, 의료 영상으로부터 특징 맵을 추출하는 특징 맵 모듈(111)과 특징 맵을 사용해 척추를 구성하는 개별 척추뼈의 위치를 추정하는 복수의 좌표 회귀 모듈(112)을 포함하는 척추 위치 추정 모델(110)을 구성함으로써, 추가적인 후처리 과정 없이 개별 척추뼈의 위치를 얻을 수 있으므로, 의료 영상처리 및 척추 위치 추정의 효율성을 높일 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 척추 위치 자동 추정 장치
100: 딥러닝 모델부
110: 척추 위치 추정 모델
111: 특징 맵 모듈
112: 좌표 회귀 모듈
113: 출력 모듈
200: 영상 수신부
300: 척추 위치 추정부
400: 척추 형태 추정부
S100: 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델을 구성하는 단계
S200: 척추가 촬영된 입력 의료 영상을 수신하는 단계
S300: 입력 의료 영상을 척추 위치 추정 모델에 입력하여, 개별 척추뼈의 위치를 획득하는 단계
S400: 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계

Claims (8)

  1. 컴퓨터에 의해 각 단계가 수행되는 척추 위치 자동 추정 방법으로서,
    (1) 딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 단계;
    (2) 척추가 촬영된 입력 의료 영상을 수신하는 단계; 및
    (3) 상기 단계 (2)에서 수신한 입력 의료 영상을 상기 단계 (1)에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 단계를 포함하며,
    상기 척추 위치 추정 모델(110)은,
    영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈(111); 및
    상기 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈(112)을 포함하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
  2. 제1항에 있어서, 상기 의료 영상은,
    x-ray, CT 또는 MRI로 척추를 촬영한 영상인 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
  3. 제1항에 있어서, 상기 단계 (2)에서는,
    상기 입력 의료 영상을 8비트의 그레이 스케일 영상으로 변환하여 상기 단계 (3)에 전달하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
  4. 제1항에 있어서, 상기 좌표 회귀 모듈(112)은,
    인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈(112)을 포함해 구성되는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
  5. 제4항에 있어서, 상기 좌표 회귀 모듈(112)은,
    개별 척추뼈에 대해, 존재 가능성 및 위치 좌표를 출력하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
  6. 제1항에 있어서, 상기 단계 (3) 이후에는,
    (4) 상기 획득한 개별 척추뼈의 위치를 사용해 척추 형태를 추정하는 단계를 더 포함하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법.
  7. 척추 위치 자동 추정 장치(10)로서,
    딥러닝 기반의 포즈 추정 모델을 이용해, 척추가 촬영된 의료 영상을 학습 데이터로 하여 영상으로부터 척추를 구성하는 개별 척추뼈의 위치를 자동 추정하는 척추 위치 추정 모델(110)을 구성하는 딥러닝 모델부(100);
    척추가 촬영된 입력 의료 영상을 수신하는 영상 수신부(200); 및
    상기 영상 수신부(200)에서 수신한 입력 의료 영상을 상기 딥러닝 모델부(100)에서 구성된 척추 위치 추정 모델(110)에 입력하여, 개별 척추뼈의 위치를 획득하는 척추 위치 추정부(300)를 포함하며,
    상기 척추 위치 추정 모델(110)은,
    영상으로부터 특징 맵을 추출하는 백본 모델을 포함하는 특징 맵 모듈(111); 및
    상기 특징 맵 모듈(111)에서 추출된 특징 맵을 사용해 개별 척추뼈의 위치를 추정하도록, 상기 개별 척추뼈에 각각 대응하는 복수의 좌표 회귀 모듈(112)을 포함하는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10).
  8. 제7항에 있어서, 상기 좌표 회귀 모듈(112)은,
    인간의 척추를 구성하는 24개의 개별 척추뼈의 위치를 각각 추정하도록 24개의 좌표 회귀 모듈(112)을 포함해 구성되는 것을 특징으로 하는, 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 장치(10).
KR1020210152804A 2021-11-09 2021-11-09 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치 KR102672531B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210152804A KR102672531B1 (ko) 2021-11-09 2021-11-09 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210152804A KR102672531B1 (ko) 2021-11-09 2021-11-09 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230067088A true KR20230067088A (ko) 2023-05-16
KR102672531B1 KR102672531B1 (ko) 2024-06-07

Family

ID=86546439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210152804A KR102672531B1 (ko) 2021-11-09 2021-11-09 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102672531B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015062529A (ja) * 2013-09-25 2015-04-09 富士フイルム株式会社 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
JP2020062378A (ja) * 2018-08-19 2020-04-23 チャン グァン メモリアル ホスピタル，リンコウＣｈａｎｇ Ｇｕｎｇ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ，Ｌｉｎｋｏｕ 医療画像の分析方法、システムおよびモデル
CN111932533A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Ct图像椎骨定位方法、装置、设备及介质
US20210286983A1 (en) * 2018-12-13 2021-09-16 Fujitsu Limited Estimation method, and computer-readable recording medium recording estimation program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015062529A (ja) * 2013-09-25 2015-04-09 富士フイルム株式会社 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
JP2020062378A (ja) * 2018-08-19 2020-04-23 チャン グァン メモリアル ホスピタル，リンコウＣｈａｎｇ Ｇｕｎｇ Ｍｅｍｏｒｉａｌ Ｈｏｓｐｉｔａｌ，Ｌｉｎｋｏｕ 医療画像の分析方法、システムおよびモデル
US20210286983A1 (en) * 2018-12-13 2021-09-16 Fujitsu Limited Estimation method, and computer-readable recording medium recording estimation program
CN111932533A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Ct图像椎骨定位方法、装置、设备及介质

Also Published As

Publication number Publication date
KR102672531B1 (ko) 2024-06-07

Similar Documents

Publication Publication Date Title
US20220383495A1 (en) Systems and methods for probablistic segmentation in anatomical image processing
US8958614B2 (en) Image-based detection using hierarchical learning
CN107133946B (zh) 医学图像处理方法、装置及设备
CN111862249A (zh) 使用深度学习生成用于医学图像处理的规范成像数据的系统和方法
US20120170823A1 (en) System and method for image based multiple-modality cardiac image alignment
US9135696B2 (en) Implant pose determination in medical imaging
EP3424017B1 (en) Automatic detection of an artifact in patient image data
JP6541334B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102537214B1 (ko) 자기 공명 이미지들에서 정중시상 평면을 결정하기 위한 방법 및 장치
EP3722996A2 (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
JP2008212396A (ja) 画像処理装置およびそのプログラム
KR20170069587A (ko) 영상처리장치 및 그의 영상처리방법
CN114943714A (zh) 医学图像处理系统、装置、电子设备及存储介质
Reddy et al. Anatomical landmark detection using deep appearance-context network
JP2020006152A (ja) 頭部イメージ分析装置及びイメージ分析方法
US9286688B2 (en) Automatic segmentation of articulated structures
US20230032941A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
KR102672531B1 (ko) 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치
JP6676758B2 (ja) 位置合わせ精度の決定
JP7265805B2 (ja) 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体
US11138736B2 (en) Information processing apparatus and information processing method
US11928828B2 (en) Deformity-weighted registration of medical images
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
KR20220095401A (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
JP6660741B2 (ja) 画像抽出装置、画像抽出方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right