KR102523555B1 - 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치 - Google Patents

갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR102523555B1
KR102523555B1 KR1020220064707A KR20220064707A KR102523555B1 KR 102523555 B1 KR102523555 B1 KR 102523555B1 KR 1020220064707 A KR1020220064707 A KR 1020220064707A KR 20220064707 A KR20220064707 A KR 20220064707A KR 102523555 B1 KR102523555 B1 KR 102523555B1
Authority
KR
South Korea
Prior art keywords
rib
slices
order
region
segmentation
Prior art date
Application number
KR1020220064707A
Other languages
English (en)
Inventor
김광기
김영재
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020220064707A priority Critical patent/KR102523555B1/ko
Application granted granted Critical
Publication of KR102523555B1 publication Critical patent/KR102523555B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 갈비뼈 분할 및 순서 결정하는 방법으로서, 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들을 수신하는 단계, 상기 복수 개의 2D 슬라이스를 입력으로 하여 갈비뼈 관심 영역을 분할하도록 학습된 분할 모델을 이용하여, 수신된 상기 복수 개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 단계, 상기 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스를 기초로 하여 상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계를 포함하는, 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스를 제공한다.

Description

갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치{METHOD FOR DETERMINING RIB SEGMENTATION AND ORDER AND APPARATUS USING THE SAME}
본 발명은, 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 디바이스에 관한 것이다.
CT 영상 기반 진단은 비교적 단 시간에 다수 인체 조직 내의 고차원 정보를 판독할 수 있다는 점에서 촬영 빈도가 높다. 보다 구체적으로, 상체 골절 및 복강 질환 발병 횟수의 증가로 환자의 상체를 촬영한 CT 영상의 수요가 증가하고 있다.
이에, CT 영상 판독자 (radiologists)에게 노동적 부담이 늘어나고 있다는 보고가 있다. 늑골의 순서 클래스를 기반으로 상대적인 체내 위치 정보를 기록하는 것에 대하여 판독자가 반복적으로 가장 위쪽 늑골부터 수동으로 세는 것은 영상 기반 진단 환경에서 많은 부담을 초래한다.
이에, 판독 환경에 편의성 향상을 위하여 임상 판독자의 번거로운 작업 및 판독 소요 시간을 단축할 수 있는 새로운 방법의 개발이 요구된다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
전술한 한계를 극복하기 위한 방안으로, 본 발명의 발명자들은 인공지능 알고리즘 기반의 시스템을 도입하여 전체적인 판독 시간과 환경을 개선하고자 하였다.
보다 구체적으로, 본 발명의 발명자들은, CT 영상을 학습한 분할 모델을 갈비뼈 분할 시스템에 적용하고자 하였다
한편, 모델은 데이터의 양이 적을 경우, 해당 데이터의 특정 패턴이나 노이즈까지 적용하게 되므로 과 적합 현상이 발생할 확률이 늘어난다. 그렇기 때문에 데이터의 양을 늘릴수록 모델은 데이터의 일반적인 패턴을 학습하여 과 적합을 방지할 수 있지만, 의료 영상 데이터 수집에는 한계가 있다.
본 발명의 발명자들은 많은 데이터의 수를 요구하는 딥 러닝 네트워크 활용에서 의료 데이터 수의 한계를 극복하기 위해 단일 분할 네트워크를 활용하고, 추가적인 영상 재구성 과정을 줄여 시스템의 과 적합 한계를 극복할 수 있는 시스템을 제안하였다.
더 나아가, 갈비뼈 분할 시스템에 대하여 갈비뼈 영역을 분할하도록 학습된 분할 모델과, 이로부터 획득한 갈비뼈 영역 마스크 마스크를 기초로 순서 를 부여하는 알고리즘을 적용하고자 하였다.
그러나, 분할 모델을 통해 갈비뼈 영역을 분할하는 과정에서 갈비뼈 주변 조직에 대한 영역을 제거하지 않은 경우, 12쌍의 갈비뼈가 하나로 인식되는 문제에 직면할 수 있었다.
이에, 본 발명의 발명자들은, 흉부 영역을 포함하는 CT 영상 내에서 갈비뼈 영역을 다른 조직과 구분하기 위해 전처리 과정을 통해 갈비뼈를 제외한 척추 영역과 복장 뼈 영역을 포함한 모든 조직들을 배제함으로서 정확도를 향상시킬 수 있었다.
나아가, 갈비뼈 분할 알고리즘을 통해 획득된 갈비뼈 영역의 영상 내 발생 순서에 따라 순서를 부여함으로써 반복적인 작업을 줄이고, 빠르게 갈비뼈 순서를 판독자가 알 수 있게 하는 방법을 제공하고자 하였다.
이에, 본 발명이 해결하고자 하는 과제는, 수신된 흉부 영역을 포함한 CT 영상에 대하여, 인공 신경망 네트워크에 기초한 분할 모델을 이용하여 갈비뼈 영역을 분할하고, 그 결과에 기초하여 갈비뼈에 차례로 순서를 부여하도록 구성된, 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 사용자 인터페이스 제공 방법이 제공된다. 상기 방법은, 프로세서에 의해 구현되는 갈비뼈 분할 및 순서 결정하는 방법으로서, 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들을 수신하는 단계, 복수 개의 2D 슬라이스를 입력으로 하여 갈비뼈 관심 영역을 분할하도록 학습된 분할 모델을 이용하여, 수신된 복수 개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 단계, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스를 기초로 하여 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계를 포함한다.
본 발명의 특징에 따르면, 복수 개의 2D 슬라이스들을 수신하는 단계는, 수신하는 단계 이후에, 갈비뼈를 제외한 모든 조직을 제거하기 위한 영상 전처리를 수행하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 분할 모델은 단일의 모델과 단일의 네트워크로 이루어질 수 있다.
본 발명의 또 다른 특징에 따르면, 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는, 영역 확장 기법에 기초하여 이루어질 수 있다.
본 발명의 또 다른 특징에 따르면, 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는 갈비뼈 영역 마스크가 표시된 복수개의 2D 슬라이스의 가운데에 위치한 픽셀을 시드 픽셀 (seed pixel)로 설정하는 단계, 설정된 시드 픽셀 을 포함하는 슬라이스에서 시드 픽셀 과 닿아있는 x축, y축 방향의 모든 픽셀 및 시드 픽셀 을 포함하는 슬라이스의 전후 슬라이스에서 시드 픽셀 과 닿아있는 z축 방향의 모든 픽셀을 검사하여 영역 확장하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 영역 확장하는 단계는, CT 영상의 첫 슬라이스부터 척추 영역의 좌표를 기준으로 일정 영역 범위 내에서 발생한 갈비뼈에 차례로 순서를 부여하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는, 갈비뼈 순서 색인 검증 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는 1번 내지 12번의 갈비뼈 순서가 부여된 슬라이스를 제공하도록 구성될 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스가 제공된다. 본 디바이스는, 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들을 수신하도록 구성된 통신부, 및 통신부와 연결된 프로세서를 포함하고, 프로세서는, 복수 개의 2D 슬라이스를 입력으로 하여, 갈비뼈 관심 영역을 분할하도록 학습된 분할 모델을 이용하여, 수신된 복수 개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하고, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스를 기초로 하여 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 복수 개의 2D 슬라이스들을 수신한 이후에, 갈비뼈를 제외한 모든 조직을 제거하기 위해 영상 전처리를 수행하도록 구성될 수 있다.
본 발명의 다른 특징에 따르면, 분할 모델은 단일의 모델과 단일의 네트워크로 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 영역 확장 기법에 기초하여 이루어질 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 갈비뼈 영역 마스크가 표시된 복수개의 2D 슬라이스의 가운데에 위치한 픽셀을 시드 픽셀로 설정하고, 설정된 시드 픽셀을 포함하는 슬라이스에서 시드 픽셀과 닿아있는 x축, y축 방향의 모든 픽셀 및 시드 픽셀을 포함하는 슬라이스의 전후 슬라이스에서 시드 픽셀과 닿아있는 z축 방향의 모든 픽셀을 검사하여 영역 확장하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, CT 영상의 첫 슬라이스부터 척추 영역의 좌표를 기준으로 일정 영역 범위 내에서 발생한 갈비뼈에 차례로 순서를 부여하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 획득한 갈비뼈 영역 마스크 각각의 순서를 결정한 이후에, 갈비뼈 순서 색인 검증하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 획득한 갈비뼈 영역 마스크 각각의 순서를 결정한 이후에, 1번 내지 12번의 갈비뼈 순서가 부여된 슬라이스를 제공하도록 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 딥 러닝 모델에 기초하여 CT 영상으로부터 갈비뼈 영역을 분할하여 순서를 결정함으로써, 전체적인 판독 시간과 환경을 개선하는 시스템을 제공할 수 있다.
보다 구체적으로, 본 발명은, 전처리 단계를 통해 척추 영역과 복장 뼈 영역을 배제하고, 딥러닝 모델에 기초하여 갈비뼈 영역 마스크를 획득할 수 있다.
특히, 본 발명은 단일의 모델 또는 단일의 네트워크로 이루어진 분할 모델로 이루어진 분할 모델을 사용하여 추가적인 영상 재구성 과정을 줄여 의료 데이터 수의 한계를 극복할 수 있다.
또한, 갈비뼈 분할 알고리즘을 통해 획득된 갈비뼈 영역의 영상 내 발생 순서에 따라 순서를 부여함으로써 판독자의 번거로운 작업 및 판독 소요 시간을 단축하고, 객관적 레이블 부여를 통한 정확도 높은 진단 정보를 제공할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스에 기초한 갈비뼈 분할 및 순서 결정에 대한 시스템을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스로부터 갈비뼈 분할에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정 방법의 절차를 도시한 것이다.
도 5는 본 발명의 일 실시예에 이용되는 분할 모델의 구조를 예시적으로 도시한 것이다.
도 6a 및 6b는 본 발명의 일 실시예에 이용되는 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계를 예시적으로 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 갈비뼈 분할 및 순서 결정을 하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 흉부 영역을 포함한 CT 영상을 촬영한 개체일 수도 있다. 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, “CT 영상”은, 영상 진단 장치로부터 촬영된 의료 영상으로, 흉부 영역을 포함할 수 있다.
예를 들어, CT 영상은, 흉부 영역에 대하여 촬영된 의료 영상으로, 흉부 영역, 특히 갈비뼈 영역을 포함할 수 있다. 그러나, 이에 제한되는 것은 아니다.
한편, CT 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수 개의 컷으로 구성된 동영상일 수 있다. 예를 들어, CT 영상이 복수 개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 신부전증의 진단에 대한 정보 제공 방법에 따라 복수 개의 CT 영상 각각에 대하여 갈비뼈 영역을 분할한 후 갈비뼈 순서에 대한 결정이 수행될 수 있다. 그 결과, 본 발명은 영상 진단 장치로부터의 CT 영상의 수신과 동시에 갈비뼈 순서가 부여된 슬라이스를 제공할 수 있다.
본 명세서에서 사용되는 용어, “분할 모델”은 CT 영상 내에서 갈비뼈 관심 영역을 분할하도록 학습된 모델일 수 있다.
예를 들어, 분할 모델은, CT영상을 이루는 복수 개의 2D 슬라이스들을 입력으로 하여, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 출력하도록 구성된 모델일 수 있다.
보다 구체적으로 분할 모델은, 갈비뼈 영역 ROI (region of interest) 에 대하여 갈비뼈 영역 마스크를 획득하도록 학습된 모델일 수 있다.
바람직하게, 본 발명의 실시예에서 갈비뼈 분할 모델은, 흉부 역역으로부터 갈비뼈를 제외한 척추 영역 및 복장 뼈 영역을 포함한 모든 조직을 제거한 복수 개의 2D 슬라이스들을 입력으로 하여, 갈비뼈 관심 영역을 분할 할 수 있는 U-net 기반의 분할 학습 모델일 수 있으나 이에 제한되는 것은 아니다. 예를 들어, 갈비뼈 분할 모델들은 VGG net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다.
본 명세서에서 사용되는 용어 “영역 확장 기법”은 기준 픽셀을 정하고, 기준 픽셀과 비슷한 속성을 갖는 이웃 픽셀로 3차원으로 영역을 확장해 나가며 영역의 크기를 확장해 나갈 수 있다.
예를 들어, 본 발명의 일 실시예에서 CT영상을 이루는 복수 개의 2D 슬라이스들 중에서 임의로 하나의 픽셀을 선택한 후, 선택된 픽셀은 밝기가 유사한 이웃 픽셀로 영역을 확장 시킬 수 있다. 더 이상 확장할 공간이 없다면, 아직 탐색이 안된 영역의 픽셀을 다시 선택하여 작업을 수행할 수 있고, 모든 픽셀들이 한 번씩 다 체크 될 때까지 작동 될 수 있다. 영역 확장 기법을 통해 하나의 개체로 판단된 갈비뼈에 순서를 부여할 수 있다.
이하에서는 도 1 내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스에 기초한 갈비뼈 분할 및 순서 결정 시스템을 설명한다.
도 1은 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스에 기초한 갈비뼈 분할 및 순서 결정에 대한 시스템을 예시적으로 도시한 것이다.
먼저, 도 1을 참조하면, 갈비뼈 분할 및 순서 결정 시스템 (1000) 은, 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들을 기초로 CT 내 갈비뼈 자체에 순서를 결정하고, 결정된 정보를 제공하도록 구성된 시스템일 수 있다.
갈비뼈 분할 및 순서 결정 시스템 (1000) 은, CT 영상을 이루는 복수 개의 2D 슬라이스들을 기초로 갈비뼈 관심 영역을 분할하도록 구성된, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100), 갈비뼈 분할 및 순서 결정에 대한 정보를 수신하는 의료진 디바이스 (200) 및 흉부 영역을 포함하는 CT 영상을 제공하는 영상 촬영용 디바이스 (300) 를 포함한다.
먼저, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 는 영상 촬영용 디바이스 (300) 로부터 제공된 사용자의 흉부 영역을 포함한 CT 영상을 기초로 갈비뼈 분할 및 순서를 결정하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 의료진 디바이스 (200) 는 갈비뼈 분할 및 순서 결정에 대한 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 엑세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
구체적으로, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 는 영상 촬영용 디바이스 (300) 로부터 CT 영상을 이루는 복수 개의 2D 슬라이스들을 수신하고, 수신된 복수 개의 2D 슬라이스들로부터 갈비뼈 관심 영역을 분할하여, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하고, 나아가 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하여 최종적으로 갈비뼈 순서가 부여된 슬라이스를 제공할 수 있다.
갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 는 개체에 대한 갈비뼈 분할 및 순서 결정과 연관된 데이터를 의료진 디바이스 (200) 로 제공할 수 있다.
이와 같이 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 데이터는, 의료진 디바이스 (200)에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 의료진 디바이스 (200) 는 개체에 대한 갈비뼈 분할 및 순서 결정에 대한 정보 제공을 요청하고 갈비뼈 순서가 부여된 슬라이스를 나타내기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (200) 는 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 로부터 개체에 대한 갈비뼈 순서가 부여된 슬라이스 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 본 실시예에서는 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 와 의료진 디바이스 (200) 가 분리된 것으로 설명하였으나, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 와 의료진 디바이스 (200) 는 하나의 디바이스로 구현될 수 있다.
다음으로, 도 2를 참조하여, 본 발명의 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다.
도 2를 참조하면, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다.
먼저, 저장부 (110) 는 개체에 대한 갈비뼈 분할 및 순서 결정을 하기 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
통신부 (120) 는 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200), 나아가 영상 촬영용 디바이스 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 영상 촬영용 디바이스 (300) 로부터 개체의 흉부 영역을 포함하는 CT 영상을 수신할 수 있다. 또한, 통신부 (120) 는 의료진 디바이스 (200) 로 갈비뼈 순서가 부여된 슬라이스 결과를 전달할 수 있다. 나아가 통신부 (120) 는 외부의 개체에 대한 전자 의료 기록 (electronic medical record) 데이터를 의료진 디바이스 (200) 로 정보를 전달할 수 있다.
프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 CT 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 수신된 CT 영상을 이루는 복수 개의 2D 슬라이스들을 갈비뼈 관심 영역을 분할하도록 학습된 분할 모델에 기초하여 영역을 분할하고, 이들 영역에 기초하여 12쌍의 갈비뼈 각각의 순서를 부여할 수 있다.
한편, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 는 하드웨어 적으로 설계된 것에 제한되는 것은 아니다. 예를 들어, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 의 프로세서 (130) 는 소프트웨어로 구현될 수 있다. 이에, 갈비뼈 순서가 부여된 슬라이스는 상기 소프트웨어가 연결된 영상 촬영용 디바이스 (300) 의 표시부 (미도시) 를 통해 표시될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스로부터 갈비뼈 분할에 대한 정보를 수신 받아 출력하는 의료진 디바이스의 구성을 예시적으로 도시한 것이다.
도 3을 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다.
통신부 (210) 는 의료진 디바이스 (200) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 와 연결되어 갈비뼈 분할 및 순서 결정과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210) 는 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스 (100) 로부터 개체의 갈비뼈에 순서가 부여된 슬라이스 결과를 수신할 수 있다. 상기 정보들은 CT 영상에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다.
표시부 (220) 는 개체의 갈비뼈 분할 및 순서 결정과 연관된 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다.
다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다.
저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다.
이하에서는, 도 4, 도 5, 도 6a 및 6b를 참조하여, 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정 방법을 구체적으로 설명한다. 도 4는 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정 방법의 절차를 도시한 것이다. 도 5는 본 발명의 일 실시예에 이용되는 분할 모델의 구조를 예시적으로 도시한 것이다. 도 6a 및 6b는 본 발명의 다양한 실시예에 이용되는 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계를 예시적으로 도시한 것이다.
먼저, 도 4를 참조하면, 본 발명의 일 실시예에 따른 갈비뼈 분할 및 순서 결정에 대한 정보 제공의 절차는 다음과 같다. 먼저, 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들이 수신된다 (S410). 그 다음, 분할 모델을 이용하여, 수신된 복수 개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득한다. (S420). 마지막으로, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 기초로 하여 획득한 갈비뼈 영역 마스크 각각의 순서가 결정된다. (S430).
보다 구체적으로, 복수 개의 2D 슬라이스들이 수신되는 단계 (S410) 에서 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들이 수신될 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따르면, 복수 개의 2D 슬라이스들이 수신되는 단계 (S410) 에서 영상 촬영 디바이스가 구동되어 실시간으로 촬영된 흉부 영역을 포함한 CT 영상이 획득될 수 있다.
예를 들어, 획득한 CT 영상을 가로 512 pixel, 세로 512 pixel 크기의 영상으로 통일하고, 16비트로 이루어진 CT 이미지를 Dicom 파일에 저장된 디폴트 윈도우 값을 적용하여 8비트의 CT 이미지, 즉 복수 개의 2D 슬라이스들을 수신한다.
그 다음, 복수 개의 2D 슬라이스들을 수신한 이후에, 갈비뼈를 제외한 모든 조직을 제거하기 위한 영상 전처리가 수행될 수 있다.
보다 구체적으로, 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계에서, 척추 및 복장 뼈 영역이 제거되지 않으면 12쌍의 갈비뼈가 하나의 뼈로 인식이 될 수 있다.
예를 들어, 먼저, 영상 이진화 방법을 통해 뼈를 제외한 나머지 영역을 제거할 수 있다. 다음으로, 12쌍의 갈비뼈를 하나로 잇고 있는 척추 및 복장 뼈 영역을 제거하기 위해 템플릿 매칭 (Template matching) 을 사용한 후, 제거하는 과정에서 남아있는 노이즈를 제거하기 위해 모폴로지 (Morphology) 연산이 수행될 수 있다. 영상 전처리 된 복수 개의 2D 슬라이스들은 이후 갈비뼈 관심 영역을 분할하도록 학습된 분할 모델에 사용될 수 있다.
여기서, 템플릿 매칭 (Template matching) 이란 영상에 포함된 특정 영역을 검색하기 위한 방법으로서, 한 영상의 전체에 걸쳐 다른 영상 (Template image) 을 매칭함으로써 두 영상의 상관계수 맵 (Coefficient Map) 을 구하는 유사성 (similarity) 을 구하고, 구해진 상관계수 맵 (Coefficient Map) 에서 최대 유사성 (Maximum value) 을 갖는 값을 찾는 과정을 거칠 수 있다.
예를 들어, 척추 및 복장 뼈 영역의 템플릿 이미지 (Template image) 를 여러 개 만들어 이진화 된 복수 개의 2D 슬라이스 전체에 걸쳐 매칭함으로써 척추 및 복장 뼈 영역을 찾아 제거할 수 있다. 그러나 이에 제한되지 않고, 척추 및 복장 뼈 영역을 제거할 수 있는 다양한 방식이 채용될 수 있다.
다음으로, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 단계 (S420)에서, 갈비뼈 영역을 분할하도록 구성된 분할 모델이 이용될 수 있다.
본 발명의 특징에 따르면, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 단계 (S420)에서, 분할 모델은 복수 개의 2D 슬라이스를 입력으로 하여 수신된 복수개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 갈비뼈 관심 영역을 분할하도록 학습된 모델일 수 있다.
본 발명의 일 실시예에서 이용되는 분할 모델은, 단일의 모델과 단일의 네트워크로 이루어진 모델일 수 있다. 가중치를 낮추는 단일 네트워크를 이용하여 과 적합 및 의료 데이터의 한계가 극복될 수 있다.
보다 구체적으로, 단일 분할 네트워크를 이용하여 3차원상의 갈비뼈 모델로 재구성하는 과정을 줄여 시스템의 과 적합을 막을 수 있다. 2D 영상 슬라이스를 이용한 단순 분할 네트워크일 수 있으며, 간단한 영상 처리 과정을 이용하여 가중치를 낮출 수 있다.
본 개시에서, 간단한 영상 처리 과정은 후술할 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계 (S430)에서 이루어지는 영역 확장 기법일 수 있다.
예를 들어, 도 5를 참조하면, 분할 모델은 U-net 구조를 가질 수 있다. 도 5의 U 자 형태의 분할 모델에서 왼쪽 영역은 컨볼루션 (convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서 CT 영상을 이루는 복수 개의 2D 슬라이스는 전역적 특징으로 표현될 수 있다. 나아가, 분할 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 분할 모델에 의해 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들에서, 갈비뼈 영역 마스크를 획득할 수 있다.
나아가, 분할 모델은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다.
갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 단계 (S420) 이후에, 척추 영역과 많이 벗어난 갈비뼈와 유사한 형태의 뼈를 제외하는 단계가 더욱 수행될 수 있다.
보다 구체적으로, 척추 영역의 범위는 해부학적으로 갈비뼈는 척추 뼈에 닿아 연결되어 있어 CT 영상 중심부에 위치하는 척추 영역을 기반으로, 실험 데이터 크기 (512 X 512) 기준, 약 (X;256-40=216~256+40=296) 구간일 수 있다.
그러나, 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 단계 (S420)에서, 갈비뼈 관심 영역을 분할하여 복수 개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스를 획득하는 절차는 전술한 것에 제한되지 않고 보다 다양한 방법에 의해 수행될 수 있다.
다시, 도 3을 참조하면, 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계 (S430)에서, 1번 내지 12번의 갈비뼈 순서가 결정될 수 있다.
본 발명의 특징에 따르면, 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계 (S430)에서, 갈비뼈 각각의 순서를 결정하기 위해, 분할 모델에 의해 획득한 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들이 이용될 수 있다.
획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는 영역 확장 기법에 기초하여 이루어질 수 있다.
예를 들어, 영역 확장 기법으로 3D region growing 알고리즘을 사용할 수 있다. 상기 알고리즘을 통해 각각의 개체로 레이블링 된 12쌍의 갈비뼈 개체에, 척추 범위 영역에서 출현한 순서대로 1번 내지 12번의 갈비뼈 순서를 부여할 수 있다.
도 6a를 참조하면, (k-1, k, k+1) 슬라이스는 연속적인 전후 슬라이스를 모두 확인하여 영역 확장 (region growing) 하는 과정일 수 있다. 3D region growing은 먼저, k슬라이스의 시드 픽셀 (seed pixel)을 중심으로 x축, y축, z축 모두 검사하는 과정으로, k 슬라이스의 시드 픽셀을 검사하는 동안 k-1, k, k+1 슬라이스에서 해당 k 슬라이스의 시드 픽셀과 닿아 있는 모든 픽셀을 검사할 수 있다.
보다 구체적으로, 복수 개의 2D 슬라이스들을 획득하는 단계 (S420) 에서 획득한 갈비뼈 영역 마스크가 표시된 복수개의 2D 슬라이스의 가운데 위치한 픽셀을 시드 픽셀 (602) 로 설정하고, 설정된 시드 픽셀 (602)을 포함하는 슬라이스 (606) 에서 시드 픽셀 (602) 과 닿아있는 x축, y축 방향의 모든 픽셀 (neighbors) (604) 및 시드 픽셀을 포함하는 슬라이스의 전후 슬라이스 (608, 610) 에서 시드 픽셀 과 닿아 있는 z축 방향의 모든 픽셀 (604)을 검사하여 영역을 확장할 수 있다. 더 이상 확장할 공간이 없다면, 아직 탐색이 안된 영역의 픽셀을 다시 선택하여 작업을 수행할 수 있고, 모든 픽셀들이 한 번씩 다 체크 될 때까지 작동 될 수 있다.
영역 확장 기법을 통해 각각의 개체로 판단된 12쌍의 갈비뼈 개체에 CT 영상의 첫 슬라이스부터 척추 영역의 좌표를 기준으로 일정 영역 범위 내에서 발생한 갈비뼈에 차례로 순서를 부여할 수 있다.
예를 들어, 도 6b의 (a), (b), (c), (d)는, 시간에 따른 CT 세트를 나타낸 것일 수 있다.
보다 구체적으로, CT 영상의 첫 슬라이스부터 12쌍의 갈비뼈 개체에 1번 내지 12번의 갈비뼈 순서를 가시화한 결과일 수 있다.
예를 들어, (a)는 초반부에 발생한 CT 영상일 수 있다. 연속적인 chest CT 영상 내에서 1, 2, 3번 갈비뼈와 같이 영상 내 발생 시점이 유사한 경우에도 갈비뼈 개체에 각각 순서를 부여할 수 있다. (b)의 4, 5, 6번 갈비뼈, (c)의 7, 8, 9번 갈비뼈, (d)의 10, 11, 12번 갈비뼈도 영상 내 발생 시점이 유사한 갈비뼈일 수 있다. 발생 시점이 유사한 갈비뼈가 없는 경우, CT 영상의 슬라이스에 한 개의 갈비뼈만 표시될 수 있다.
1번 내지 12번의 갈비뼈 순서가 부여된 경우, 의료진 디바이스 (200)를 통해 1번 내지 12번의 갈비뼈 순서가 부여된 슬라이스를 제공할 수 있다. 순서가 부여된 슬라이스는 CT 판독 시야 방해를 막기 위해 마우스 콜백 (mouse callback) 기능을 사용하여 나타낼 수 있으나, 이에 제한되는 것은 아니다.
본 개시에서, 마우스 콜백 (mouse callback)은 마우스 버튼을 누를 때, 마우스가 움직일 때 또는 마우스를 드래그 할 때 발생할 수 있으나, 이에 제한되는 것은 아니다.
예를 들어, 순서가 부여된 슬라이스에서 갈비뼈 영역을 마우스 버튼으로 누르거나, 마우스 커서를 올려 놓으면 해당 갈비뼈에 부여된 순서를 볼 수 있다. 또는 마우스를 드래그 한 경우, 드래그 한 영역 안에 있는 갈비뼈 순번에 대한 정보들이 표시되도록 구성될 수 있다. 제시된 실시예에서 설명한 마우스 콜백 방법 및 기능은 상술한 내용으로 한정되지 않으며, 다양하게 구성될 수 있다.
갈비뼈 영역 마스크 각각의 순서를 결정하는 단계 (S430) 에서 순서를 결정한 이후에, 갈비뼈 순서 색인 검증 단계가 더욱 수행될 수 있다.
보다 구체적으로, 순서 색인 검증은 CT 세트에서 3D region growing으로 구성된 12개의 갈비뼈 개체에 1번부터 12번까지의 레이블이 올바르게 순서대로 모두 부여된 경우를 성공 사례로 두어 실험에 활용한 총 데이터 케이스 중 1번부터 12번까지 올바르게 갈비뼈 레이블이 부여된 경우의 성공률을 확인하여 이루어질 수 있다.
더욱이, 골절이나 변형이 있는 갈비뼈 영역에서도 올바르게 순서를 부여할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 일 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 골반 계측에 대한 정보 제공용 디바이스
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 디바이스
220: 표시부
300: 영상 촬영 디바이스
602: 시드 픽셀
604: 이웃 픽셀 (neighbors)
606: Current slice
608: Previous slice
610: Next slice

Claims (16)

  1. 프로세서에 의해 구현되는 갈비뼈 분할 및 순서 결정하는 방법으로서,
    흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들을 수신하는 단계;
    상기 수신한 2D 슬라이스들에서 갈비뼈를 제외한 모든 조직을 제거하기 위해 한 영상의 전체에 걸쳐 다른 영상 (Template image) 을 매칭함으로써 두 영상의 상관계수 맵 (Coefficient Map) 을 구하는 유사성 (similarity) 을 구하고, 구해진 상관계수 맵 (Coefficient Map) 에서 최대 유사성 (Maximum value) 을 갖는 값을 찾는, 템플릿 매칭 (Template matching) 을 사용하여 영상 전처리를 수행하는 단계;
    상기 복수 개의 2D 슬라이스를 입력으로 하여 갈비뼈 관심 영역을 분할하도록 학습된 분할 모델을 이용하여, 수신된 상기 복수 개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하는 단계;
    상기 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스를 기초로 하여 상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계를 포함하는,
    갈비뼈 분할 및 순서 결정 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 분할 모델은 단일의 모델과 단일의 네트워크로 이루어진 갈비뼈 분할 및 순서 결정 방법.
  4. 제 1항에 있어서,
    상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는,
    영역 확장 기법에 기초하여 이루어지는 갈비뼈 분할 및 순서 결정 방법.
  5. 제 1항에 있어서,
    상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는,
    상기 갈비뼈 영역 마스크가 표시된 복수개의 2D 슬라이스의 가운데에 위치한 픽셀을 시드 픽셀 (seed pixel)로 설정하는 단계, 상기 설정된 시드 픽셀을 포함하는 슬라이스에서 시드 픽셀 과 닿아있는 x축, y축 방향의 모든 픽셀 및
    시드 픽셀을 포함하는 슬라이스의 전후 슬라이스에서 시드 픽셀 과 닿아있는 z축 방향의 모든 픽셀을 검사하여 영역 확장하는 단계를 포함하는 갈비뼈 분할 및 순서 결정 방법.
  6. 제 4항에 있어서,
    상기 영역 확장하는 단계는,
    상기 CT 영상의 첫 슬라이스부터 척추 영역의 좌표를 기준으로 일정 영역 범위 내에서 발생한 갈비뼈에 차례로 순서를 부여하는 단계를 더 포함하는 갈비뼈 분할 및 순서 결정 방법.
  7. 제 1항에 있어서,
    상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는,
    갈비뼈 순서 색인 검증 단계를 더 포함하는 갈비뼈 분할 및 순서 결정 방법.
  8. 제 1항에 있어서,
    상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하는 단계는,
    1번 내지 12번의 갈비뼈 순서가 부여된 슬라이스를 제공하도록 구성된 갈비뼈 분할 및 순서 결정 방법.
  9. 흉부 영역을 포함하는 CT 영상을 이루는 복수 개의 2D 슬라이스들을 수신하도록 구성된 통신부,
    및 상기 통신부와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 복수 개의 2D 슬라이스를 입력으로 하여, 상기 복수 개의 2D 슬라이스들을 수신한 이후에, 갈비뼈를 제외한 모든 조직을 제거하기 위해 한 영상의 전체에 걸쳐 다른 영상 (Template image) 을 매칭함으로써 두 영상의 상관계수 맵 (Coefficient Map) 을 구하는 유사성 (similarity) 을 구하고, 구해진 상관계수 맵 (Coefficient Map) 에서 최대 유사성 (Maximum value) 을 갖는 값을 찾는, 템플릿 매칭 (Template matching) 을 사용하여 영상 전처리를 수행하며, 갈비뼈 관심 영역을 분할하도록 학습된 분할 모델을 이용하여,
    수신된 상기 복수 개의 2D 슬라이스에서 각각 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스들을 획득하고,
    상기 갈비뼈 영역 마스크가 표시된 복수 개의 2D 슬라이스를 기초로 하여 상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정하도록 구성된,
    갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스.
  10. 삭제
  11. 제 9항에 있어서,
    상기 분할 모델은 단일의 모델과 단일의 네트워크로 구성된, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스.
  12. 제 9항에 있어서,
    상기 프로세서는,
    영역 확장 기법에 기초하여 이루어지는 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스.
  13. 제 9항에 있어서,
    상기 프로세서는,
    상기 갈비뼈 영역 마스크가 표시된 복수개의 2D 슬라이스의 가운데에 위치한 픽셀을 시드 픽셀로 설정하는 단계,
    상기 설정된 시드 픽셀을 포함하는 슬라이스에서 시드 픽셀과 닿아있는 x축, y축 방향의 모든 픽셀 및
    시드 픽셀을 포함하는 슬라이스의 전후 슬라이스에서 시드 픽셀과 닿아있는 z축 방향의 모든 픽셀을 검사하여 영역 확장하도록 구성된 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스.
  14. 제 12항에 있어서,
    상기 프로세서는,
    상기 CT 영상의 첫 슬라이스부터 척추 영역의 좌표를 기준으로 일정 영역 범위 내에서 발생한 갈비뼈에 차례로 순서를 부여하도록 더 구성된, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스.
  15. 제 9항에 있어서,
    상기 프로세서는,
    상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정한 이후에, 갈비뼈 순서 색인 검증하도록 더 구성된 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스.
  16. 제 9항에 있어서,
    상기 프로세서는,
    상기 획득한 갈비뼈 영역 마스크 각각의 순서를 결정한 이후에, 1번 내지 12번의 갈비뼈 순서가 부여된 슬라이스를 제공하도록 구성된, 갈비뼈 분할 및 순서 결정에 대한 정보 제공용 디바이스.
KR1020220064707A 2022-05-26 2022-05-26 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치 KR102523555B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220064707A KR102523555B1 (ko) 2022-05-26 2022-05-26 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220064707A KR102523555B1 (ko) 2022-05-26 2022-05-26 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치

Publications (1)

Publication Number Publication Date
KR102523555B1 true KR102523555B1 (ko) 2023-04-20

Family

ID=86143988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220064707A KR102523555B1 (ko) 2022-05-26 2022-05-26 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR102523555B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027535A (ko) * 1999-09-14 2001-04-06 남궁석 턱뼈의 치조신경 검출방법
US20060062425A1 (en) * 2004-09-02 2006-03-23 Hong Shen Interactive atlas extracted from volume data
JP2012115387A (ja) * 2010-11-30 2012-06-21 Hitachi Aloka Medical Ltd 超音波画像処理装置
JP2019165923A (ja) * 2018-03-23 2019-10-03 コニカミノルタ株式会社 診断支援システム及び診断支援方法
KR20200110532A (ko) * 2019-03-14 2020-09-24 고려대학교 산학협력단 기계학습을 이용한 ct/mri 영상의 흉추 탐지 및 갈비뼈 순번 지정 방법
KR20220004476A (ko) * 2020-07-03 2022-01-11 주식회사 뷰노 진단 결과를 제공하기 위한 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027535A (ko) * 1999-09-14 2001-04-06 남궁석 턱뼈의 치조신경 검출방법
US20060062425A1 (en) * 2004-09-02 2006-03-23 Hong Shen Interactive atlas extracted from volume data
JP2012115387A (ja) * 2010-11-30 2012-06-21 Hitachi Aloka Medical Ltd 超音波画像処理装置
JP2019165923A (ja) * 2018-03-23 2019-10-03 コニカミノルタ株式会社 診断支援システム及び診断支援方法
KR20200110532A (ko) * 2019-03-14 2020-09-24 고려대학교 산학협력단 기계학습을 이용한 ct/mri 영상의 흉추 탐지 및 갈비뼈 순번 지정 방법
KR20220004476A (ko) * 2020-07-03 2022-01-11 주식회사 뷰노 진단 결과를 제공하기 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
Fourcade et al. Deep learning in medical image analysis: A third eye for doctors
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
CN107844800B (zh) 一种全脊椎最佳矢状位的确定系统、方法及装置
US10997466B2 (en) Method and system for image segmentation and identification
US11158047B2 (en) System and method for segmentation and visualization of medical image data
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
NL2003805A (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model.
US10770175B2 (en) System and method for segmentation and visualization of medical image data
US20210287454A1 (en) System and method for segmentation and visualization of medical image data
US10390726B2 (en) System and method for next-generation MRI spine evaluation
US20230005138A1 (en) Lumbar spine annatomical annotation based on magnetic resonance images using artificial intelligence
Tian et al. Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data
AU2020223750B2 (en) Method and System for Image Annotation
CN113822283A (zh) 文本内容处理方法、装置、计算机设备及存储介质
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置
KR102523555B1 (ko) 갈비뼈 분할 및 순서 결정 방법 및 이를 이용한 장치
CN107610772A (zh) 一种甲状腺结节ct图像诊断系统设计方法
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
JP6516321B2 (ja) 形状特徴抽出方法、形状特徴抽出処理装置、形状記述方法及び形状分類方法
CN116504406A (zh) 基于影像组合病理的肺癌术后风险模型构建方法和系统
Kockelkorn et al. Semi-automatic classification of textures in thoracic CT scans
EP3905192A1 (en) Region identification device, method, and program
CN112633405A (zh) 模型训练方法、医学影像分析方法及装置、设备、介质
CN114402395A (zh) 基于vrds 4d医学影像的脊椎疾病识别方法及相关装置
KR102595106B1 (ko) 천장골관절염 진단을 위한 딥러닝 네트워크 모델 생성 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant