KR20230026678A - 심장의 해부학적 분할을 위한 기준점 결정 방법 - Google Patents

심장의 해부학적 분할을 위한 기준점 결정 방법 Download PDF

Info

Publication number
KR20230026678A
KR20230026678A KR1020210108567A KR20210108567A KR20230026678A KR 20230026678 A KR20230026678 A KR 20230026678A KR 1020210108567 A KR1020210108567 A KR 1020210108567A KR 20210108567 A KR20210108567 A KR 20210108567A KR 20230026678 A KR20230026678 A KR 20230026678A
Authority
KR
South Korea
Prior art keywords
reference point
heart
heart image
determined
image
Prior art date
Application number
KR1020210108567A
Other languages
English (en)
Other versions
KR102627917B1 (ko
Inventor
권기욱
박지용
Original Assignee
주식회사 팬토믹스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬토믹스 filed Critical 주식회사 팬토믹스
Priority to KR1020210108567A priority Critical patent/KR102627917B1/ko
Publication of KR20230026678A publication Critical patent/KR20230026678A/ko
Priority to KR1020240007421A priority patent/KR102660758B1/ko
Application granted granted Critical
Publication of KR102627917B1 publication Critical patent/KR102627917B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02028—Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 심장 이미지의 해부학적 분할을 위한 기준점 결정 방법은 복수의 심장 이미지에서 우심실(RV)의 내막(endocardium)과 좌심실(LV)이 연결되는 기준점을 미리 결정된 규칙(Rule)에 따라 결정하는 단계 및 규칙에 따라 심장 이미지의 기준점이 결정되지 않는 경우, 기준점이 결정되지 않은 심장 이미지와 인접한 심장 이미지를 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 단계를 포함할 수 있다.

Description

심장의 해부학적 분할을 위한 기준점 결정 방법{Method for determining fiducial points for anatomical segmentation of the heart}
본 발명은 심장 이미지의 해부학적 분할을 위한 기준점 결정 방법에 관한 것이다. 본 발명은 중소벤처기업부 창업사업화 지원사업[10448495, 종합적 심장 자기공명영상(MRI) 분석을 통한 심장 질병 진단 자동화 모델 개발]의 지원을 받아 수행한 결과물을 포함한다.
다양한 분자영상기술(molecular imaging techniques) 중에서 자기공명영상(magnetic resonance imaging; MRI)은 조직 주변(lattice)을 둘러싸고 있는 분자들과 수소원자(proton) 간의 상호작용(interaction)에 기반하여 매우 우수한 해부학적 영상을 제공해 줄 수 있기 때문에 가장 강력하고 비-침습적인 진단 수단중의 하나로 여겨지고 있다.
최근의 자기공명영상은 기존의 해부학적 단층 영상 뿐 아니라 생체 물리량을 정량적으로 측정할 수 있도록 영상기술들이 개발되고 있다. MRI에서 측정할 수 있는 생체 물리량은 인체 조직에서의 고주파 펄스에 따른 수소 원자의 자기회복 시간, 혈류속도, 확산, 관류 등이 대표적이며 비침습적으로 안전하고 정확하게 측정이 가능하다.
특히, 심장에 대하여 심장 자기공명영상(cardiac magnetic resonance imaging) 촬영을 통해 심장 수축기와 이완기의 움직임을 볼 수 있으며, 전체적인 심장의 기능뿐만 아니라 국소적인 심장의 기능을 평가할 수 있다.
구체적으로 좌우 구분된 심장의 운동을 평가하기 위해서는 우심실(RV, Right Ventrile)의 내막(endocardium)과 좌심실(LV, Left Ventricle)이 연결된 지점(Right Ventricle insertion points; RVIP 이하, 기준점)을 기준으로 심장을 해부학적으로 분할하고, 심장의 세그먼트(Segment) 별 움직임을 관찰하여 심장의 운동을 평가할 수 있다.
한편, 심장의 위치나 형태는 개개인 마다 다양한 특징을 가질 수 있으며 촬영 장치나 촬영 각도에 따라 영상으로 표시되는 심장은 다양한 형상을 가질 수 있으므로 정확한 해부학적 분할을 위해 기준점을 정확하게 결정하는 것이 중요하다.
종래에는 딥러닝 기반의 영상처리를 통해 심장 이미지 내 해부학적 분할을 위한 기준점을 결정하였으나, 복수의 심장 이미지 중 몇몇 심장 이미지에서 기준점을 결정하지 못하는 문제가 발생하고 있다.
상술한 문제를 해결하기 위해, 본원 발명은 딥러닝 기반의 영상처리를 통해 심장 이미지의 기준점이 결정되지 않는 경우, 심장의 해부학적 분할을 위한 기준점 결정 방법을 제안하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 심장 이미지의 해부학적 분할을 위한 기준점 결정 방법은 복수의 심장 이미지에서 우심실(RV)의 내막(endocardium)과 좌심실(LV)이 연결되는 기준점을 미리 결정된 규칙(Rule)에 따라 결정하는 단계 및 상기 규칙에 따라 심장 이미지의 기준점이 결정되지 않는 경우, 기준점이 결정되지 않은 심장 이미지와 인접한 심장 이미지를 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 단계를 포함할 수 있다.
또한, 상기 인접한 심장 이미지들의 기준점을 기초로 3차원 공간 상에 커브 피팅(curve fitting)하여 기준점에 대한 가이드선을 산출하는 단계를 더 포함하고, 상기 기준점을 결정하는 단계는 상기 산출된 가이드선을 기초로 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다,
또한, 상기 기준점을 결정하는 단계는 상기 인접한 심장 이미지들과 상기 기준점이 결정되지 않은 심장 이미지 간의 축 상의 간격을 고려하여 상기 기준점을 결정할 수 있다.
또한, 상기 인접한 심장 이미지는 상기 영상 처리를 통해 기준점이 결정된 심장 이미지로써, 상기 기준점이 결정되지 않은 심장 이미지와 동일 축 상에 평행하는 심장 이미지일 수 있다.
또한, 상기 기준점을 결정하는 단계는 상기 인접한 심장 이미지의 결정된 기준점의 위치에 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다.
또한, 상기 미리 결정된 규칙에 따라 결정하는 단계는 학습된 신경망을 이용하여 획득된 심장 이미지를 직교 좌표상의 미리 결정된 기준에 따른 복수의 영역으로 분할(segmentation)하는 단계, 상기 분할된 영역 중 좌심실 영역의 중심점을 결정하는 단계, 상기 결정된 중심점을 이용하여 상기 심장 이미지를 극 좌표계로 변환하는 단계 및 상기 극 좌표계로 변환된 심장 이미지에서 분할을 위한 기준점을 결정하는 단계를 더 포함할 수 있다.
한편, 심장 이미지의 해부학적 분할을 위한 심장 이미지 분할 장치는 복수의 심장 이미지에서 우심실(RV)의 내막(endocardium)과 좌심실(LV)이 연결되는 기준점을 미리 결정된 규칙(Rule)에 따라 결정하는 제1 기준점 결정부 및 상기 규칙에 따라 심장 이미지의 기준점이 결정되지 않는 경우, 기준점이 결정되지 않은 심장 이미지와 인접한 심장 이미지를 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 제2 기준점 결정부를 포함할 수 있다.
또한, 상기 인접한 심장 이미지들의 기준점을 기초로 3차원 공간 상에 커브 피팅(curve fitting)하여 기준점에 대한 가이드선을 산출하는 가이드선 산출부를 더 포함하고, 상기 제2 기준점 결정부는 상기 산출된 가이드선을 기초로 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다.
또한, 상기 제2 기준점 결정부는 상기 인접한 심장 이미지들과 상기 기준점이 결정되지 않은 심장 이미지 간의 축 상의 간격을 고려하여 상기 기준점을 결정할 수 있다.
또한, 상기 인접한 심장 이미지는 상기 영상 처리를 통해 기준점이 결정된 심장 이미지로써, 상기 기준점이 결정되지 않은 심장 이미지와 동일 축 상에 평행하는 심장 이미지일 수 있다.
또한, 상기 제2 기준점 결정부는 상기 인접한 심장 이미지의 결정된 기준점의 위치에 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다.
또한, 상기 제1 기준점 결정부는 학습된 신경망을 이용하여 획득된 심장 이미지를 직교 좌표상의 미리 결정된 기준에 따른 복수의 영역으로 분할(segmentation)하고, 상기 분할된 영역 중 좌심실 영역의 중심점을 결정한 후, 상기 결정된 중심점을 이용하여 상기 심장 이미지를 극 좌표계로 변환하고, 상기 극 좌표계로 변환된 심장 이미지에서 분할을 위한 기준점을 결정할 수 있다.
본 발명에 따르면, 기 결정된 규칙(Rule)에 따라 기준점이 결정되지 않는 경우에도 인접한 심장 이미지를 이용하여 기준점을 결정할 수 있다.
또한, 인접한 심장 이미지를 이용함으로써, 기준점이 결정되지 않은 심장 이미지의 기준점을 정확하게 결정할 수 있다.
또한, 인접한 심장 이미지를 이용하여 기준점을 결정함으로써, 모든 심장 이미지의 기준점을 정확하게 결정할 수 있고, 이를 통해 정확한 해부학적 분할을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 심장 이미지의 해부학적 분할을 위한 기준점 결정 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 심장 이미지의 분할 방법을 나타내는 예시도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 심장 이미지의 기준점 결정 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 신경망을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에서 표준화된 기준에 따라 분할된 심장 이미지를 나타낸 예시도이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 기준점 결정 방법을 나타낸 예시도이다.
도 9는 본 발명의 일 실시예에 따른 심장 이미지 분할 장치의 구성을 나타낸 블록도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.
자기공명영상(magnetic resonance imaging; MRI), 즉 MRI는 자기장에 의해 종축자화된 원자를 반전회복 RF 펄스를 사용하여 반전시킨 이후 지수곡선 형태로 회복되는 회복 과정상의 성분을 구분하여 성분에 따른 회복 시간을 산출할 수 있다. 피검체로부터 발생되는 신호를 k 공간(k - spacte)에서 스캔하여 MRI 신호를 획득하고, 위 획득한 MRI 신호를 변환하여 MRI 영상을 획득한다.
심장 MRI 영상인 심장 이미지를 미국 심장 협회(AHA)의 표준화된 심장 분할 기준(예를 들어, 17 segment)으로 분할하기 위해 우심실(RV, Right Ventrile)의 내막(endocardium)과 좌심실(LV, Left Ventricle)이 연결된 지점(Right Ventricle insertion points; RVIP)을 결정하고, 결정된 지점을 기준으로 심장 분할을 수행할 수 있다. 이하, 본 명세서는 상술한 지점(RVIP)을 기준점으로 명명하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 심장 이미지의 해부학적 분할을 위한 기준점 결정 방법을 나타낸 흐름도이다.
도 1을 참조하면, 심장 이미지 분할 장치(100)는 영상 장치로부터 복수의 심장 이미지를 획득하고, 획득된 복수의 심장 이미지에서 우심실(RV)의 내막(endocardium)과 좌심실(LV)이 연결되는 기준점을 미리 결정된 규칙(Rule)에 따라 결정할 수 있다(S100). 여기서, 영상 장치는 RMI 장치와 같은 자기공명영상을 획득하는 장치일 수 있다. 또한 미리 결정된 규칙은 딥러닝 기반의 영상처리를 통한 기준점을 결정하는 방식을 의미할 수 있다. 이에 대해서는 도 4 이하를 참고하여 보다 상세히 후술한다.
다음, 기 결정된 규칙에 따라 심장 이미지의 기준점이 결정되지 않는 경우, 심장 이미지 분할 장치(100)는 기준점이 결정되지 않은 심장 이미지와 인접한 심장 이미지를 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다(S200). 여기서, 인접한 심장 이미지는 (S100)단계에서 복수의 심장 이미지 중 미리 결정된 규칙에 따라 기준점이 결정된 심장 이미지로써, 기준점이 결정되지 않은 심장 이미지와 동일 축 상에 위치하고, 해당 축을 기준으로 소정의 간격에 따라 축과 직교하는 평면 상의 심장 이미지일 수 있다.
바람직하게 본 실시예에서는 좌심실의 중심 축을 기준으로 복수의 심장 이미지를 이용하여 기준점을 결정할 수 있도록 한다.
이와 관련하여 도 2를 참조하면, 심장 이미지는 심장의 좌심실을 높이 방향으로 미리 결정된 기준 높이 간격으로 하단(base), 중단(mid) 및 상단(apex)으로 나눠질 수 있으며, 심장 이미지는 나눠진 해당 위치에서 심장 단면의 각 이미지를 의미할 수 있다.
즉, 복수의 심장 이미지는 심장의 높이 방향의 축에서 높이를 달리하는 연속하는 심장 단면의 각 이미지들일 수 있다.
다시 도 1을 참조하면, 기준점을 결정하는 단계(S200)에서 심장 이미지 분할 장치(100)는 인접한 심장 이미지의 결정된 기준점의 위치에 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다. 이때, 심장 이미지 분할 장치(100)는 인접한 심장 이미지 중 기준점이 결정되지 않은 심장 이미지와 가장 가까이에 위치하는 심장 이미지를 이용할 수 있다.
즉, 심장 이미지 분할 장치(100)는 인접한 심장 이미지의 결정된 기준점을 기초로 기준점이 결정되지 않은 심장 이미지의 기준점으로 추정하도록 사용할 수 있다.
또한, 심장 이미지 분할 장치(100)는 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하기 위해 가이드선을 산출하는 과정을 더 포함할 수 있으며 이와 관련하여 도 3을 추가로 참조하여 설명한다.
도 3을 참조하면, 심장 이미지 분할 장치(100)는 인접한 복수의 심장 이미지들의 기준점을 기초로 3차원 공간 상에 커브 피팅(curve fitting)하여 기준점에 대한 가이드선을 산출할 수 있다(S11).
구체적으로, 심장 이미지 분할 장치(100)는 인접한 심장 이미지들의 기준점들의 3차원 공간 상 추세를 나타내는 함수를 산출하고, 해당 함수를 기초로 3차원 공간 상의 가이드선을 산출할 수 있다. 여기서, 가이드선은 심장 이미지들의 기준점들의 추세를 나타낸 추세선(trend line)일 수 있다.
다음, 기준점을 결정하는 단계(S200)에서 심장 이미지 분할 장치(100)는 산출된 가이드선을 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다.
이때, 심장 이미지 분할 장치(100)는 인접한 심장 이미지들과 기준점이 결정되지 않은 심장 이미지 간의 축 상의 간격을 이용하여 3차원 공간 상의 가이드선 내 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다.
심장 이미지 분할 장치(100)는 인접한 심장 이미지들과 기준점이 결정되지 않은 심장 이미지 간의 축 상의 간격을 고려하여 가이드 선 상의 일 지점을 기준점으로 결정할 수 있다.
이하, 도 4를 참조하여 미리 결정된 규칙(Rule)에 따라 결정하는 단계(S100)를 보다 구체적으로 설명한다.
도 4를 참조하면, 심장 이미지 분할 장치(100)는 학습된 신경망을 이용하여 획득된 심장 이미지를 직교 좌표상의 미리 결정된 기준에 따른 복수의 영역으로 분할(segmentation)할 수 있다(S21). 여기서, 복수의 영역은 심장의 우심실 심내막(endocardium), 좌심실 심내막 및 좌심실 심근(myocardium)으로 구분되는 영역을 의미한다.
또한, 상술한 신경망은 심장 이미지에서 복수의 영역을 구분하여 분할하도록 학습된 것으로, 신경망은 복수의 합성곱 연산을 수행하는 레이어로 구성된 CNN(Convolution Neural Network) 모델로 구성될 수 있다. 이와 관련하여 도 5를 추가로 참조하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 신경망을 나타낸 예시도이다.
도 5를 참조하면, 심장 이미지를 우심실 심내막, 좌심실 심내막, 좌심실 심근 영역으로 분할하도록 학습된 신경망(30)에 심장 이미지(31)가 입력되면, 신경망(30) 내부의 레이어들을 거치면서 특징 값들은 합성곱을 통해 강조될 수 있다.
그리고, 다양한 특징 값들은 각각의 합성곱 레이어(Convolution layer) 별로 결정된 필터와의 연산을 통해 새로운 특징 맵의 형태로 출력되며, 레이어 별 반복 연산을 통해 생성된 최종 특징 맵은 다시 업 샘플링 과정을 통해 입력 심장 이미지(31)의 크기에 따른 픽셀 단위의 객체 위치 정보를 출력함으로써 복수의 영역으로 분할된 심장 이미지(33)를 출력할 수 있다.
구체적으로 본 실시예에서 신경망(30)은 분할 결과를 보다 높은 해상도로 출력하기 위하여 컨볼루션을 수행하는 제1 네트워크와 업 샘플링을 수행하는 제2 네트워크로 구성하되 각 네트워크의 단계를 상호 대칭 구조로 구성할 수 있다.
신경망(30)의 제1 네트워크는 입력된 심장 이미지(31)에 대하여 심근 영역의 특성이 컨볼루션 연산을 통해 강조된 특징 맵을 단계적으로 출력한다. 또한, 특징 맵은 맥스 풀링(Max-pooling)에 의해 크기가 축소될 수 있으며 채널의 수는 연산되는 필터에 따라 확장될 수 있다.
최종적으로 제1 네트워크에서 생성된 특징맵은 상호 대칭 구조를 갖는 제2 네트워크를 통해서 다시 재 확장될 수 있다.
제2 네트워크는 채널의 수를 축소시키는 대신에 영상의 크기를 디(업)컨볼루션을 통하여 확장시킬 수 있다.
이때 제2 네트워크의 각 단계는 디컨볼루션을 통해 확장된 크기의 영상과 제1 네트워크의 대응되는 단계의 출력값을 이용하여, 컨볼루션 연산을 수행하고 단계별 특징 맵을 생성한다.
즉, 제2 네트워크는 디컨볼루션 결과값과 대응되는 상기 제1 네트워크의 컨볼루션 단계의 출력값을 합성(concatenate)하고, 합성된 영상에 대해 컨볼루션 연산을 수행하여 특징맵을 생성한다.
이상의 과정 역시, 제1 네트워크에 대응되는 단계 마다 반복 수행될 수 있으며 바람직하게는 입력 심장 이미지(31)의 크기와 제2 네트워크에서 출력되는 특징맵의 크기가 동일해질 때까지 수행될 수 있다. 제2 네트워크를 통해 복수의 영역으로 분할된 심장 이미지(33)는 좌심실 심내막 영역(33a), 좌심실 심근 영역(33b) 및 우심실 심내막 영역(33c)로 구성될 수 있으며, 각 영역은 서로 구분될 수 있도록 고유색으로 해당 영역이 채색되거나 경계선으로 구분되어 출력될 수 있다.
다시, 도 4를 참조하면, 심장 이미지 분할 장치(100)는 분할된 영역 중 좌심실 영역의 중심 점(축)을 결정할 수 있다(S22). 이와 관련하여 도 6을 추가로 참조하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 심장 이미지(43)를 나타낸 예시도이다.
구체적으로, 심장 이미지 분할 장치(100)는 심장 이미지(43)에서 분할된 좌심실 심내막 영역(43a), 좌심실 심근 영역(43b) 및 우심실 심내막 영역(43c) 중에서 좌심실 영역(43a, 43b) 내 좌표 값들의 직교 좌표 평면 상 평균을 통해 중심 이 되는 지점 또는, 좌심실 영역(43a, 43b)의 면적을 기준으로 무게 중심을 중심점(43d)으로 결정할 수 있다. 즉, 심장 이미지 분할 장치(100)는 이상의 심장 이미지(43) 내 구분된 영역을 통해 좌심실 블러드 풀(blood pool)의 중심점을 결정할 수 있다.
다음, 심장 이미지 분할 장치(100)는 결정된 중심점을 이용하여 심장 이미지를 극 좌표계로 변환한다(S23). 이와 관련하여 도 7을 참조하여 설명한다.
도 7(a)는 직교 좌표상의 심장 이미지를 나타낸 것이고 도 7(b)는 극 좌표상의 심장 이미지를 나타낸 것이다.
구체적으로, 심장 이미지 분할 장치(100)는 결정된 좌심실 영역의 중심점(51)을 극 좌표계의 원점으로, 도 7(a)의 직교 좌표상에 심장 이미지를 도 7(b)의 극 좌표상의 심장 이미지로 변환할 수 있다.
다음, 심장 이미지 분할 장치(100)는 극 좌표계로 변환된 심장 이미지에서 좌심실 영역의 재 분할을 위한 기준점을 결정할 수 있다(S24). 구체적으로, 심장 이미지 분할 장치(100)는 극 좌표계로 변환된 심장 이미지의 우심실 심내막 영역의 Y축 최소/최대 값 및 좌심실 심내막 영역의 X축의 중간값을 이용하여 2개의 기준점을 결정할 수 있다. 이와 관련하여 도 8을 추가로 참조하여 설명한다.
도 8(a)를 참조하면, 심장 이미지 분할 장치(100)는 극 좌표계로 변환된 심장 이미지 중에서 우심실 심내막 영역(63)의 Y축 상 최소값이 되는 Y축 좌표값과, 좌심실 심내막 영역(61)의 X축 상 중간값을 X축 좌표값으로 가지는 지점(65)을 제1 기준점으로 결정할 수 있다.
또한, 심장 이미지 분할 장치(100)는 극 좌표계로 변환된 심장 이미지 중에서, 우심실 심내막 영역(63)의 Y축 상 최대값이 되는 Y축 좌표값과, 이에 대응되는 좌심실 심내막 영역(61)의 X축 상 중간값을 X축 좌표값으로 가지는 지점(67)을 제2 기준점으로 결정할 수 있다.
즉, 심장 이미지 분할 장치(100)는 극 좌표계로 변환된 심장 이미지에서 우심실 심내막 영역(63)의 Y축 상 최소값과 최대값에 대응되는 Y축 좌표값을 기준으로 좌심실 심내막 영역(61)의 X축 상 중간값의 좌표들 중에서 가지는 두개의 지점(65, 67)을 각각 기준점으로 결정할 수 있다.
이상의 기준점의 결정 방법은 입력된 심장 이미지 내의 픽셀 값들을 기초로 수행될 수 있으며 해당 방법은 규칙(Rule)으로 정의되어 보다 간소화된 처리를 통해 출력될 수 있다.
이하, 도 9를 참조하여 심장 이미지 분할 장치(100)의 구성에 대해 설명한다.
도 9는 본 발명의 일 실시예에 따른 심장 이미지 분할 장치의 구성을 나타낸 블록도이다.
도 9를 참조하면, 심장 이미지 분할 장치(100)는 제1 기준점 결정부(110), 가이드선 산출부(120) 및 제2 기준점 결정부(130)를 포함할 수 있다.
제1 기준점 결정부(110)는 복수의 심장 이미지의 우심실(RV)의 내막(endocardium)과 좌심실(LV)이 연결되는 기준점을 미리 결정된 규칙(Rule)에 따라 결정할 수 있다.
구체적으로, 제1 기준점 결정부(110)는 학습된 신경망을 이용하여 획득된 심장 이미지를 직교 좌표상의 미리 결정된 기준에 따른 복수의 영역으로 분할(segmentation)하고, 분할된 영역 중 좌심실 영역의 중심점을 결정한 후, 결정된 중심점을 이용하여 심장 이미지를 극 좌표계로 변환하고, 극 좌표계로 변환된 심장 이미지에서 분할을 위한 기준점을 결정할 수 있다.
가이드선 산출부(120)는 인접한 심장 이미지들의 기준점을 기초로 3차원 공간 상에 커브 피팅(curve fitting)하여 기준점에 대한 가이드선을 산출할 수 있다.
구체적으로, 가이드선 산출부(120)는 인접한 심장 이미지들의 기준점들의 3차원 공간 상 추세를 나타내는 함수를 산출하고, 해당 함수를 기초로 3차원 공간 상의 가이드선을 산출할 수 있다.
제2 기준점 결정부(130)는 상기 규칙에 따라 심장 이미지의 기준점이 결정되지 않는 경우에 기준점이 결정되지 않은 심장 이미지와 인접한 심장 이미지를 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다.
또한, 제2 기준점 결정부(130)는 가이드선 산출부(120)에서 산출된 가이드선을 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다. 이때, 제2 기준점 결정부(130)는 인접한 심장 이미지들과 기준점이 결정되지 않은 심장 이미지 간의 축 상의 간격을 고려하여 기준점이 결정되지 않은 심장 이미지의 기준점을 결정할 수 있다.
이하, 상술한 본 발명에 따르면, 기 결정된 규칙(Rule)에 따라 기준점이 결정되지 않는 경우에도 인접한 심장 이미지를 이용하여 기준점을 결정할 수 있다.
또한, 인접한 심장 이미지를 이용함으로써, 기준점이 결정되지 않은 심장 이미지의 기준점을 정확하게 결정할 수 있다.
또한, 인접한 심장 이미지를 이용하여 기준점을 결정함으로써, 모든 심장 이미지의 기준점을 정확하게 결정할 수 있고, 이를 통해 정확한 해부학적 분할을 수행할 수 있다.
나아가, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 심장 이미지의 해부학적 분할을 위한 기준점 결정 방법에 있어서,
    복수의 심장 이미지에서 우심실(RV)의 내막(endocardium)과 좌심실(LV)이 연결되는 기준점을 미리 결정된 규칙(Rule)에 따라 결정하는 단계; 및
    상기 규칙에 따라 심장 이미지의 기준점이 결정되지 않는 경우, 기준점이 결정되지 않은 심장 이미지와 인접한 심장 이미지를 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 단계를 포함하는 기준점 결정 방법.
  2. 제 1 항에 있어서,
    상기 인접한 심장 이미지들의 기준점을 기초로 3차원 공간 상에 커브 피팅(curve fitting)하여 기준점에 대한 가이드선을 산출하는 단계;를 더 포함하고,
    상기 기준점을 결정하는 단계는 상기 산출된 가이드선을 기초로 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 것을 특징으로 하는 기준점 결정 방법.
  3. 제 2 항에 있어서,
    상기 기준점을 결정하는 단계는 상기 인접한 심장 이미지들과 상기 기준점이 결정되지 않은 심장 이미지 간의 축 상의 간격을 고려하여 상기 기준점을 결정하는 것을 특징으로 하는 기준점 결정 방법.
  4. 제 1 항에 있어서,
    상기 인접한 심장 이미지는 상기 미리 결정된 규칙에 따라 기준점이 결정된 심장 이미지로써, 상기 기준점이 결정되지 않은 심장 이미지와 동일 축 상에 평행하는 심장 이미지인 것을 특징으로 하는 기준점 결정 방법.
  5. 제 1 항에 있어서,
    상기 기준점을 결정하는 단계는 상기 인접한 심장 이미지의 결정된 기준점의 위치에 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 것을 특징으로 하는 기준점 결정 방법.
  6. 제 1 항에 있어서,
    상기 미리 결정된 규칙에 따라 결정하는 단계는
    학습된 신경망을 이용하여 획득된 심장 이미지를 직교 좌표상의 미리 결정된 기준에 따른 복수의 영역으로 분할(segmentation)하는 단계;
    상기 분할된 영역 중 좌심실 영역의 중심점을 결정하는 단계;
    상기 결정된 중심점을 이용하여 상기 심장 이미지를 극 좌표계로 변환하는 단계; 및
    상기 극 좌표계로 변환된 심장 이미지에서 분할을 위한 기준점을 결정하는 단계;를 더 포함하는 것을 특징으로 하는 기준점 결정 방법.
  7. 심장 이미지의 해부학적 분할을 위한 심장 이미지 분할 장치에 있어서,
    복수의 심장 이미지에서 우심실(RV)의 내막(endocardium)과 좌심실(LV)이 연결되는 기준점을 미리 결정된 규칙(Rule)에 따라 결정하는 제1 기준점 결정부; 및
    상기 규칙에 따라 심장 이미지의 기준점이 결정되지 않는 경우, 기준점이 결정되지 않은 심장 이미지와 인접한 심장 이미지를 기초로 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 제2 기준점 결정부를 포함하는 심장 이미지 분할 장치.
  8. 제 7 항에 있어서,
    상기 인접한 심장 이미지들의 기준점을 기초로 3차원 공간 상에 커브 피팅(curve fitting)하여 기준점에 대한 가이드선을 산출하는 가이드선 산출부;를 더 포함하고,
    상기 제2 기준점 결정부는 상기 산출된 가이드선을 기초로 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 것을 특징으로 하는 심장 이미지 분할 장치.
  9. 제 8 항에 있어서,
    상기 제2 기준점 결정부는 상기 인접한 심장 이미지들과 상기 기준점이 결정되지 않은 심장 이미지 간의 축 상의 간격을 고려하여 상기 기준점을 결정하는 것을 특징으로 하는 심장 이미지 분할 장치.
  10. 제 7 항에 있어서,
    상기 인접한 심장 이미지는 상기 미리 결정된 규칙에 따라 기준점이 결정된 심장 이미지로써, 상기 기준점이 결정되지 않은 심장 이미지와 동일 축 상에 평행하는 심장 이미지인 것을 특징으로 하는 심장 이미지 분할 장치.
  11. 제 7 항에 있어서,
    상기 제2 기준점 결정부는 상기 인접한 심장 이미지의 결정된 기준점의 위치에 상기 기준점이 결정되지 않은 심장 이미지의 기준점을 결정하는 것을 특징으로 하는 심장 이미지 분할 장치.
  12. 제 7 항에 있어서,
    상기 제1 기준점 결정부는
    학습된 신경망을 이용하여 획득된 심장 이미지를 직교 좌표상의 미리 결정된 기준에 따른 복수의 영역으로 분할(segmentation)하고, 상기 분할된 영역 중 좌심실 영역의 중심점을 결정한 후, 상기 결정된 중심점을 이용하여 상기 심장 이미지를 극 좌표계로 변환하고, 상기 극 좌표계로 변환된 심장 이미지에서 분할을 위한 기준점을 결정하는 것을 특징으로 하는 심장 이미지 분할 장치.
  13. 제 1 항 내지 제 6 항 중 어느 한 항에 기재된 기준점 결정 방법을 실행하기 위한 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체.
KR1020210108567A 2021-08-18 2021-08-18 심장의 해부학적 분할을 위한 기준점 결정 방법 KR102627917B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210108567A KR102627917B1 (ko) 2021-08-18 2021-08-18 심장의 해부학적 분할을 위한 기준점 결정 방법
KR1020240007421A KR102660758B1 (ko) 2021-08-18 2024-01-17 심장 이미지 기준점의 추세선을 이용한 심장의 해부학적 분할을 위한 기준점 결정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210108567A KR102627917B1 (ko) 2021-08-18 2021-08-18 심장의 해부학적 분할을 위한 기준점 결정 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020240007421A Division KR102660758B1 (ko) 2021-08-18 2024-01-17 심장 이미지 기준점의 추세선을 이용한 심장의 해부학적 분할을 위한 기준점 결정 방법

Publications (2)

Publication Number Publication Date
KR20230026678A true KR20230026678A (ko) 2023-02-27
KR102627917B1 KR102627917B1 (ko) 2024-01-23

Family

ID=85329447

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210108567A KR102627917B1 (ko) 2021-08-18 2021-08-18 심장의 해부학적 분할을 위한 기준점 결정 방법
KR1020240007421A KR102660758B1 (ko) 2021-08-18 2024-01-17 심장 이미지 기준점의 추세선을 이용한 심장의 해부학적 분할을 위한 기준점 결정 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020240007421A KR102660758B1 (ko) 2021-08-18 2024-01-17 심장 이미지 기준점의 추세선을 이용한 심장의 해부학적 분할을 위한 기준점 결정 방법

Country Status (1)

Country Link
KR (2) KR102627917B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170084435A (ko) * 2016-01-12 2017-07-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
KR20190084100A (ko) * 2016-11-11 2019-07-15 오르후스 우니베르시테트 인간의 심장 및 심방을 모델링하는 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170084435A (ko) * 2016-01-12 2017-07-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
KR20190084100A (ko) * 2016-11-11 2019-07-15 오르후스 우니베르시테트 인간의 심장 및 심방을 모델링하는 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Budai A, etc., Fully automatic segmentation of right and left ventricle on short-axis cardiac MRI images. Computerized Medical Imaging and Graphics. 85, 101786, pp.1~9 (2020.08.21.)* *

Also Published As

Publication number Publication date
KR102627917B1 (ko) 2024-01-23
KR20240015117A (ko) 2024-02-02
KR102660758B1 (ko) 2024-04-26

Similar Documents

Publication Publication Date Title
CN106682636B (zh) 血管提取方法及其系统
JP4918048B2 (ja) 画像処理装置及び方法
CN111292314B (zh) 冠脉分段方法、装置、图像处理系统和存储介质
US9495725B2 (en) Method and apparatus for medical image registration
US8649844B2 (en) Medical image diagnosis assisting apparatus, method, and program
WO2018000564A1 (zh) 血管中心线提取方法及系统
US8913060B2 (en) Systems and methods for extracting a curve-skeleton from a volumetric image of a vessel
KR20190100005A (ko) 혈관 모델 생성 방법 및 장치
US8483462B2 (en) Object centric data reformation with application to rib visualization
CN111161241B (zh) 一种肝脏图像识别方法、电子设备及存储介质
CN109035261B (zh) 医疗影像处理方法及装置、电子设备及存储介质
US20150289848A1 (en) Method and apparatus for registration of medical images
US11282170B2 (en) Contrast injection imaging
CN112861961B (zh) 肺血管分类方法及装置、存储介质及电子设备
CN107507212B (zh) 数字脑可视化方法、装置、计算设备及存储介质
WO2020033566A1 (en) Neural networks for volumetric segmentation and parcellated surface representations
EP2601637B1 (en) System and method for multi-modality segmentation of internal tissue with live feedback
JP2012179272A (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
CN105225257A (zh) 用于来自医学扫描的人类骨架的可视化方法
KR102660758B1 (ko) 심장 이미지 기준점의 추세선을 이용한 심장의 해부학적 분할을 위한 기준점 결정 방법
WO2022163402A1 (ja) 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置
JP2013040829A (ja) ボリュームデータ処理装置及び方法
KR102556432B1 (ko) 딥러닝 기반의 심장의 해부학적 분할을 위한 기준점 생성 및 분할 방법
CN114419157A (zh) 一种基于深度学习的心脏四腔心自动定位方法
US20240127441A1 (en) Medical image processing device, medical image processing method, and storage medium

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant