KR20170000040A - 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법 - Google Patents

피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법 Download PDF

Info

Publication number
KR20170000040A
KR20170000040A KR1020150088559A KR20150088559A KR20170000040A KR 20170000040 A KR20170000040 A KR 20170000040A KR 1020150088559 A KR1020150088559 A KR 1020150088559A KR 20150088559 A KR20150088559 A KR 20150088559A KR 20170000040 A KR20170000040 A KR 20170000040A
Authority
KR
South Korea
Prior art keywords
image
dimensional
user
divided
region
Prior art date
Application number
KR1020150088559A
Other languages
English (en)
Other versions
KR101727670B1 (ko
Inventor
박안진
엄주범
이병일
안재성
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020150088559A priority Critical patent/KR101727670B1/ko
Publication of KR20170000040A publication Critical patent/KR20170000040A/ko
Application granted granted Critical
Publication of KR101727670B1 publication Critical patent/KR101727670B1/ko

Links

Images

Classifications

    • G06K9/342—
    • G06K9/6206—
    • G06K9/6224—
    • G06T7/0081—
    • G06T7/0093—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은, 의료영상 분할 장치에 있어서, 3차원의 의료영상 이미지를 디스플레이하는 표시부; 표시부로부터 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 생성하는 사용자 입력부; 2차원 분할대상 이미지를 3차원으로 확장하는 이미지 확장부; 및 이미지 확장부에서 생성된 3차원 분할대상 이미지에서 상기 관심영역과 상기 배경영역을 분할하여 3차원 출력 이미지를 생성하는 이미지 분할부를 포함한다.
본 발명에 따르면, 사용자가 직접 분할하고자 하는 관심영역과 배경영역을 입력하기 때문에 뼈, 간, 폐 등과 같은 특정 영역에 대한 영상분할이 아닌 사용자가 원하는 관심부위를 분할할 수 있는 이점이 있다. 이 경우, 이미지 확장부에 의해서 사용자는 3차원에 해당하는 2차원 분할대상 이미지를 여러번 선택할 필요 없으므로 사용자 입력을 최소화하여 적은 수의 입력만으로 최종 분할 결과를 출력할 수 있는 이점이 있다.

Description

피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법{DEVICE AND METHOD FOR MEDICAL IMAGE SEGMENTATION BASED ON USER INTERACTIVE INPUT}
본 발명은 의료영상 이미지에서 사용자가 선택한 특정 부분을 분할하는 의료영상 분할 장치 및 그 방법에 관한 것으로서, 특히 MRI, CT, 등의 의료영상 촬영장치로부터 제공되는 3차원 의료영상에서 사용자가 선택한 관심영역과 배경에 대한 대략적인 위치를 기반으로 관심영역을 3차원으로 분할하여 출력할 수 있는 의료영상 분할 장치 및 방법에 관한 것이다.
최근 의료기관에서 보다 정밀한 의료영상 획득을 위해 컴퓨터 단층촬영(CT: Computerized Tomography) 또는 자기공명 단층촬영(MRI: Magnetic Resonance Imaging)을 많이 사용하고 있다. 이러한 영상획득장치는 2차원 영상들을 영상 평면에 수직을 이루는 Z축 방향으로 이동하여 인체에 대한 영상을 획득하며, 획득한 영상들을 Z축으로 쌓으면 3차원 영상데이터를 생성할 수 있다.
3차원 영상데이터를 입력 받아 배경이 되는 영상으로부터 대상이 되는 인체부위를 분리하는 기법을 "의료영상분할기법"이라 부른다. 분할기법은 컴퓨터 통합 수술(Computer-integrated Surgery), 해부학 연구, 병리학(Pathology)과 같은 다양한 의료분야의 진단이나 연구를 진행할 때 전체영상으로부터 분할된 대상이 되는 관심부위를 2차원 또는 3차원 영상으로 시각화함으로써 정확성이나 능률성을 향상시킬 수 있다.
의료영상 분할을 위해 다양한 기법들이 연구개발되고 있으며, 그 중 임계값(Threshold) 기법, 에지 검출(Edge Detection) 기법, 영역성장(Region Growing) 기법이 대표적으로 이용되고 있다. 임계값 기법은 주어진 영상에 대한 히스토그램(Histogram)을 생성하고 임계값을 자동 또는 수동으로 설정하여 배경과 관심영역을 분할하는 기법이다. 에지 검출 기법은 이웃하는 화소의 차이가 높은 불연속적인 픽셀을 검출하고 검출된 픽셀을 경계선으로 배경과 관심영역을 분할하는 기법이다. 영역 성장 기법은 이웃하는 화소의 유사도를 기반으로 주어진 특정 위치로부터 영역을 확장하여 관심영역을 분할하는 기법이다.
위 기법들은 영상분할을 위한 기능으로 대부분의 의료영상 분석소프트웨어에 포함되어 있지만, 이웃하는 화소만을 고려(에지 검출, 영역 성장 기법)하거나 특정 임계값에 의존(임계값 기법)하기 때문에 특정부위를 정교하게 분할하지 못하거나 과도하게 분할하는 단점이 있다.
정교한 영상분할을 위해 사용자가 관심영역에 대한 대략적인 위치를 제공하는 사용자-시스템 간의 상호작용(Interactive)이 가능한 사용자 입력 기반의 영상분할기법이 다양하게 연구개발되고 있다. 이 기법은 배경과 관심영역에 대한 대략적인 위치를 사용자로부터 입력 받은 시스템이 배경과 관심영역을 분할하고 이를 사용자에게 피드백하며, 사용자는 피드백된 정보에 오류가 있는 경우 추가적인 정보를 시스템에 제공한다. 사용자와 시스템 간의 피드백을 통해 최종결과를 도출하기 때문에 상호작용적 영상분할이라 부르며, 사용자 편리성을 향상시키기 위해 분할결과에 대한 피드백 속도(분할 처리 속도)와 사용자 입력 최소화에 초점을 맞추어 개발이 진행되고 있다.
상호작용 방식의 영상분할 중 그래프 컷(Graph Cuts)을 이용한 기법(미국등록특허 제6973212호)이 가장 대표적이며, 사용자가 입력한 사전정보와 영상 각 화소와의 유사도, 이웃하는 화소와의 유사도를 기반으로 에너지함수를 설정하고 그래프 컷 알고리즘으로 함수에 대한 최적의 솔루션을 구하여 영상분할을 수행한다. 분할된 결과는 사용자에게 피드백되며, 사용자는 분할결과가 만족스럽지 않은 경우 추가적인 사전정보를 입력할 수 있다. 추가적인 사전정보를 기반으로 다시 그래프 컷 기법의 영상분할을 수행하며, 최적의 영상분할을 위해 사전정보입력/피드백 과정을 반복 수행한다.
이와 같은 그래프 컷 기법은 사전정보에 따라 최적의 분할결과를 제공할 수 있는 장점을 가지고 있기 때문에 의료영상뿐만 아니라 다양한 종류의 영상에 대한 분할을 위해 많이 활용되고 있지만, 수 십장 또는 수 백장의 2차원 영상으로 구성된 3차원 의료영상에 적용할 경우 그래프 분할에 대한 반응시간이 느리기 때문에 실질적으로 활용되기 어려운 문제점이 있다. 예를 들어 512x512x512 크기의 3차원 의료영상을 분할할 때 그래프 컷 수행시간이 30초 이상이 소요된다. 이는 한번의 사용자 입력에 대한 반응시간이며, 최종 결과를 얻기 위해 수 번에서 수십 번의 사용자 입력이 필요하기 때문에 사용자는 시스템의 반응속도에 답답함을 느낄 수 있고, 하나의 관심영역을 분할하기 위해 오랜 시간이 소요될 수 있다.
이와 관련 종래 기술로, 피드백 수를 줄이기 위해 그래프 컷 기법에 모양정보를 추가적으로 반영하는 기법(미국공개특허 2007-0014473호)과 Geodesic 정보를 활용한 기법(PCT WO2009-142858호)이 제안되었다. 하지만, 이 역시 사용자 입력에 대한 반응속도가 느리기 때문에 3차원 의료영상 분할에 적용하기에는 부족함이 있다.
전술한 바와 같은 종래기술은 3차원의 의료영상이 수십 또는 수백 장의 2차원 영상 집합으로 구성되기 때문에, 상호보완적 영상분할을 위해서 사용자가 관심영역이 포함된 모든 2차원 영상에 대한 정보를 입력해야 하는 문제점이 있다. 종래기술의 문제점에 따라, 사용자가 3차원 영상의 단일 부분을 2차원적으로 한번만 선택하여도 3차원의 영상을 분할할 수 있는 장치 및 방법이 요구되는 실정이다.
미국등록특허 제6973212호 미국공개특허 제2007-0014473호
본 발명은 MRI, CT, 등의 의료영상 촬영장치로부터 제공되는 3차원 의료영상에서 사용자가 2차원의 이미지를 일회적으로 선택하여도 선택된 2차원의 분할대상 이미지로부터 관심영역의 3차원 이미지를 분할하여 출력할 수 있는 의료영상 분할 장치 및 방법을 제공하고자 한다.
또한, 본 발명은 사용자 입력에 대한 분할 처리 속도를 향상하여 빠르게 피드백이 가능한 의료영상 분할 장치 및 방법을 제공하고자 한다.
상기 목적을 달성하기 위하여 본 발명은, 의료영상 분할 장치에 있어서, 3차원의 의료영상 이미지를 디스플레이하는 표시부; 표시부로부터 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 생성하는 사용자 입력부; 2차원 분할대상 이미지를 3차원으로 확장하는 이미지 확장부; 및 이미지 확장부에서 생성된 3차원 분할대상 이미지에서 상기 관심영역과 상기 배경영역을 분할하여 3차원 출력 이미지를 생성하는 이미지 분할부를 포함하는 것을 일 특징으로 한다.
바람직하게, 본 발명에 따른 표시부는 3차원 의료영상 이미지에서 사용자가 선택한 좌표의 수평면(horizontal) 또는 시상면(sagittal) 또는 관상면(coronal)의 2차원 이미지를 추가적으로 디스플레이할 수 있다.
바람직하게, 본 발명에 따른 사용자 입력부는 이미지 분할부에서 생성된 3차원 출력 이미지를 피드백하여, 3차원 출력 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 추가적으로 입력 받을 수 있다.
바람직하게, 본 발명에 따른 사용자 입력부는 표시부로부터 디스플레이된 3차원의 의료영상 이미지에서 사용자로부터 x, y, z의 좌표 값을 입력받아 수평면(horizontal) 또는 시상면(sagittal) 또는 관상면(coronal)의 2차원 분할대상 이미지를 생성할 수 있다.
바람직하게, 본 발명에 따른 사용자 입력부는, 2차원 분할대상 이미지에서 사용자가 선택한 관심영역과 배경영역에 대한 설정 범위를 추가적으로 입력받을 수 있다.
바람직하게, 본 발명에 따른 이미지 확장부는 이웃하는 화소의 유사도를 기초로 2차원 분할대상 이미지를 3차원으로 확장할 수 있다.
바람직하게, 본 발명에 따른 이미지 분할부는 3차원 분할대상 이미지의 관심영역에 대한 이미지 데이터를 저장하는 제1 데이터베이스; 및 3차원 분할대상 이미지의 배경영역에 대한 이미지 데이터를 저장하는 제2 데이터베이스를 구비할 수 있다.
바람직하게, 본 발명에 따른 이미지 분할부는 기준 화소값을 순차적으로 변화하여 제1 데이터베이스와 제2 데이터베이스에 저장된 데이터의 화소값을 기준 화소값과 매칭하는 제1 모듈; 및 제1 모듈에서 화소값이 매칭된 양 데이터의 좌표값이 일치되는 지점을 분할 경계면으로 설정하는 제2 모듈을 더 구비할 수 있다.
또한, 본 발명은 의료영상 분할 방법에 있어서, 3차원의 의료영상 이미지를 디스플레이 하는 (a)단계; (a)단계에서 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 생성하는 (b)단계; 2차원 분할대상 이미지를 3차원으로 확장하는 (c)단계; 및 (c)단계에서 생성된 3차원 분할대상 이미지에서 관심영역과 배경영역을 분할하여 3차원 출력 이미지를 생성하는 (d)단계를 포함하는 것을 다른 특징으로 한다.
본 발명에 따르면, 사용자가 직접 분할하고자 하는 관심영역과 배경영역을 입력하기 때문에 뼈, 간, 폐 등과 같은 특정 영역에 대한 영상분할이 아닌 사용자가 원하는 관심부위를 분할할 수 있는 이점이 있다.
이 경우, 이미지 확장부에 의해서 사용자는 3차원에 해당하는 2차원 분할대상 이미지를 여러번 선택할 필요 없으므로 사용자 입력을 최소화하여 적은 수의 입력만으로 최종 분할 결과를 출력할 수 있는 이점이 있다.
또한, 본 발명은 분할된 결과 이미지를 사용자 입력부로 피드백하여 사용자가 분할된 관심영역을 점진적으로 보정할 수 있으므로 정교한 관심영역의 이미지 획득이 가능한 이점이 있다.
또한, 본 발명은 이미지 분할부의 제1 모듈, 제2 모듈이 영상 분할의 기준면을 단일 화소값을 변수로 매칭하기 때문에 분할처리 속도가 빠른 이점이 있다.
이미지 분할부의 데이터 베이스와 제1, 2 모듈에 따른 분할처리 과정은 추가적인 Mesh 생성 및 저장이 가능하여 디지털화할 수 있다. 이에 따라, 디지털화된 관심영역의 3차원 이미지는 영화, TV 다큐멘터리 등에서 폭넓게 활용 가능한 인체영상기반의 콘텐츠 제작에 적용될 수 있다. 또한, 인제영상 중 관심 부위에 대한 실사 출력이 가능함으로 학교 등의 교육기관에서 인체교육 또는 해부학 강의를 위한 교보재로 활용될 수 있고, 환자 입장에서는 본인의 상태를 모니터가 아닌 실사의 이미지로 확인할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 의료영상 분할 장치를 나타낸다.
도 2는 본 발명의 실시에에 따른 표시부에 디스플레이 되는 의료영상 이미지를 나타낸다.
도 3은 본 발명의 실시예에 따른 사용자 입력부에 입력된 2차원 분할대상 이미지를 나타낸다.
도 4는 본 발명의 실시예에 따른 이미지 확장부가 이웃하는 화소의 유사도를 기초로 2차원 분할대상 이미지를 3차원으로 확장하는 모습을 개념적으로 도시한 모습이다.
도 5는 본 발명의 실시예에 따른 이미지 확장부에 의해서 자동적으로 생성된 이웃하는 화소들의 이미지들을 나타낸다.
도 6은 본 발명의 실시예에 따른 볼륨영상 생성 모듈에서 관심영역에 색조값이 설정된 3차원 출력 이미지를 도시한 모습이다.
도 7은 본 발명의 실시예에 따른 의료영상 분할 방법을 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 의료영상 분할 장치(1)를 나타낸다. 도 1을 참조하면, 의료영상 분할 장치(1)는 표시부(10), 사용자 입력부(30), 이미지 확장부(50) 및 이미지 분할부(70)를 포함할 수 있다.
표시부(10)는 3차원의 의료영상 이미지를 디스플레이할 수 있다. 3차원의 의료영상 이미지라 함은 MRI, X-ray, CT 등과 같은 의료영상기기로부터 촬상된 3차원의 영상 이미지를 의미한다.
도 2는 표시부(10)에 디스플레이 되는 의료영상 이미지를 나타낸다. 도 2를 참조하면, 표시부(10)는 3차원 의료영상 이미지에서 사용자가 선택한 좌표의 수평면(horizontal) 또는 시상면(sagittal) 또는 관상면(coronal)의 2차원 이미지를 추가적으로 디스플레이할 수 있다.
도 2는 일례로, 3차원 의료영상 이미지에서 사용자가 선택한 수평면(3)의 이미지가 함께 표시된 모습이 도시되었다. 표시부(10)는 수평면(3) 외에 인체 영상에서 몸을 세로 앞뒤방향으로 나란히 지나면서 몸을 좌우로 나누는 단면인 시상면 또는 몸의 정중면에 직각으로 세로 좌우방향을 나란히 지나면서 몸을 앞뒤로 나누는 단면인 관상면의 2차원 이미지를 함께 디스플레이할 수 있다.
표시부(10)는 이와 같이 3차원 및 사용자가 선택한 2차원의 단면 이미지를 함께 디스플레이하여 사용자로 하여금 분할하고자 하는 영역을 정확히 선택할 수 있도록 한다. 표시부(10)에 함께 디스플레이되는 2차원의 단면 이미지는 초기 사용자가 선택한 관심영역이 선택되지 않은 2차원의 이미지일 수 있고, 후술하게 될 사용자 입력부(30) 및 이미지 확장부(50)에서 생성된 분할하고자 하는 2차원의 분할대상 이미지가 될 수도 있다.
사용자 입력부(30)는 표시부(10)로부터 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 생성할 수 있다.
사용자 입력부(30)는 표시부(10)로부터 디스플레이된 3차원의 의료영상 이미지에서 사용자로부터 x, y, z의 좌표 값을 입력받아 수평면(horizontal) 또는 시상면(sagittal) 또는 관상면(coronal)의 2차원 분할대상 이미지를 생성할 수 있다. 사용자 입력부(30)는 2차원 분할대상 이미지에서 사용자가 선택한 관심영역과 배경영역에 대한 설정 범위를 추가적으로 입력받을 수 있다.
도 3은 사용자 입력부(30)에 입력된 2차원 분할대상 이미지를 나타낸다. 도 3을 참조하면, 사용자는 표시부(10)에 표시된 3차원 의료영상 이미지의 수평면, 시상면 또는 관상면의 일단면을 선택한다. 선택될 2차원 이미지는 사용자가 선택하는 3차원 좌표에 의해서 결정될 수 있다. 사용자는 y축 변위량을 조절하여 원하는 위치의 수평면을 선택할 수 있다. 또한, 사용자는 x축 변위량을 조절하여 원하는 위치의 시상면을 선택할 수 있다. 또한, 사용자는 z축 변위량을 조절하여 원하는 위치의 관상면을 선택할 수 있다.
이와 같이 선택된 수평면, 시상면 또는 관상면의 2차원 이미지는 사용자가 분할하고자 하는 관심영역이 포함된 이미지로서 이하 2차원 분할대상 이미지라 한다. 이후, 선택된 단면에서 분할하고자 하는 관심영역과 배경영역을 선택할 수 있다. 관심영역 또는 배경영역의 선택은 스크롤바(scroll var)나 마우스 클릭 또는 휠 등의 주지의 입력 인터페이스가 이용될 수 있다.
관심영역과 배경영역은 점, 선 또는 폐영역의 형식으로 선택될 수 있다. 사용자 입력부(30)는 사용자가 선택한 2차원 분할대상 이미지를 생성하고 표시부(10)는 이를 다시 화면에 디스플레이 할 수 있다. 2차원 분할대상 이미지 및 관심영역과 배경역역의 이미지 데이터는 이미지 확장부(50)로 전달될 수 있다.
사용자 입력부(30)는 후술하게 될 이미지 분할부(70)에서 생성된 3차원 출력 이미지를 피드백하여, 3차원 출력 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 추가적으로 입력 받을 수 있다.
이 경우, 피드백 결과가 사용자 입력부(30)로 전송되면, 표시부(10)는 최초의 3차원 의료영상이 아닌 이미지 분할부의 출력결과로서의 3차원 출력 이미지를 디스플레이한다. 디스플레이된 3차원 출력 이미지에서 사용자는 전술한 선택 과정을 반복할 수 있다.
이러한 피드백 과정은 상호보완적 영상분할 과정으로, 사용자가 분할된 결과값을 확인하여 결과값에 오류가 있는 경우 추가적인 정보를 시스템에 제공하는 것으로 이해될 수 있다. 사용자와 시스템 간의 피드백으로 최종결과의 수정 및 도출이 가능하므로 사용자 편리성이 향상되며 보다 정교한 분할영상의 획득이 가능하다. 상호작용 피드백이 효율적이려면 분할결과에 대한 피드백 속도가 높아야 한다. 본 실시예에 따른 의료영상 분할 장치(1)는, 사용자 입력부(30)에서 생성된 2차원 분할대상 이미지를 시스템 상에서 3차원으로 확장한다. 따라서, 사용자는 유사한 2차원 이미지를 반복적으로 선택할 필요가 없어 피드백 수행과정의 속도가 획기적으로 향상될 수 있다.
이미지 확장부(50)는 2차원 분할대상 이미지를 3차원으로 확장할 수 있다. 이미지 확장부(50)는 이웃하는 화소의 유사도를 기초로 2차원 분할대상 이미지를 3차원으로 확장할 수 있다.
이미지 확장부(50)는 사전정보 처리 리스트(501), 및 사전 정보 리스트(503)가 저장된 데이터베이스를 구비할 수 있다. 사전정보 처리 리스트(501)는 사용자 입력부(30)에서 생성된 2차원 분할대상 이미지에서 연산과정이 요구되는, 아직 처리되지 않은 화소들의 리스트로 이해될 수 있다. 사전정보 리스트(503)는 이미지 확장부(50)의 수행에 따라 2차원 분할대상 이미지의 확장 처리된 화소들의 리스트로 이해될 수 있다.
도 4는 이미지 확장부(50)가 이웃하는 화소의 유사도를 기초로 2차원 분할대상 이미지를 3차원으로 확장하는 모습을 개념적으로 도시한 모습이다. 2차원 분할대상 이미지가 이미지 확장부(50)로 입력되면, 2차원 분할대상 이미지의 모든 화소는 사전정보 처리 리스트(501)에 추가된다.
이후, 이미지 확장부(50)는 사전정보 처리 리스트에 포함된 각 화소(Vc)에 대하여 이웃 화소 리스트를 생성한다. 이웃하는 화소는 3차원 공간 좌표에서 x, y, z축의 이웃하는 모든 화소를 의미한다.도 4의 예시는 3X3으로 이웃 화소를 고려한 모습 나타낸다. 이 경우 이웃하는 화소의 수는 26개가 된다. 중복 계산을 피하기 위하여 사전정보 리스트(503)에 포함된 화소는 이웃 화소 리스트에서 제외될 수 있다.
이후, 이미지 확장부(50)는 사전정보 처리 리스트(501)의 특정 화소(Vc)와 이웃 화소의 유사도를 계산하여 유사도가 임계값보다 낮은 화소를 사전정보 리스트(503)에 추가한다. 유사도는 일례로 두 화소값의 차이의 절대값이 될 수 있다. 임계값은 사용자에 따라 적절하게 선택되어 두 화소값이 유사한 인접화소까지만 2차원 분할대상 이미지가 확장되도록 한다. 사전정보 처리 리스트(501)에 처리되지 않은 2차원 분할대상 이미지의 화소가 존재하면 해당 화소(Vc)를 기반으로 위의 과정을 반복 수행한다.
이와 같은 2차원 분할대상 이미지의 확장으로 이미지 확장부(50)는 2차원 분할대상 이미지에서 3면의 화소 데이터를 획득한다. 이러한 화소의 집합으로 이미지 확장부(50)는 3차원으로 확장된 분할대상 이미지를 생성한다.
도 5는 이미지 확장부(50)에 의해서 자동적으로 생성된 이웃하는 화소들의 이미지들을 나타낸다. 2차원 분할대상 이미지(51)의 상하에 위치한 인접한 2차원 이미지(52, 53, 54, 55)가 획득되며, 획득 기준은 임계값 설정에 따라 2차원 분할대상 이미지(51)와 유사한 화소값을 갖는 이미지가 된다. 도 5를 참조하면 2차원 분할대상 이미지(51)와 임계값 내에서 화소값이 유사한 상부의 인접 이미지(52, 53)와 하부의 인접 이미지(54, 55)가 획득된 모습을 확인할 수 있다.
인접 이미지를 포함한 확장된 2차원의 분할대상 이미지는 별도의 데이터베이스에 각각 저장될 수 있다. 각각의 2차원 이미지는 이후, 이미지 분할부(70)로 전달되어 각 이미지 별로 관심영역과 배경영역을 분할하는 과정을 수행한다.
전술한 바와 같이, 이미지 확장부(50)는 2차원 분할대상 이미지의 x, y, z축으로의 이웃 화소를 모두 고려하여 3차원 확장 과정을 수행할 수 있다. 이로 인해 한 장에 대한 2차원 분할대상 이미지로부터 이웃하는 여러 장의 2차원 이미지의 사전정보를 자동으로 획득할 수 있다. 인접 이미지를 포함하여 획득된 2차원 분할대상 이미지는 모두 이미지 분할부(70)로 전달된다.
이미지 분할부(70)는 이미지 확장부(50)에서 생성된 3차원 분할대상 이미지에서 관심영역과 배경영역을 분할하여 3차원 출력 이미지를 생성할 수 있다. 이 경우, 이미지 분할부(70)는 이미지 확장부(50)로부터 정합된 3차원 분할대상 이미지를 전달받을 수 있고, 3차원 분할대상 이미지의 정합에 사용되는 인접 이미지를 포함하는 2차원 분할대상 이미지를 각각 전달받을 수 있다. 인접 이미지를 포함하는 2차원 분할대상 이미지는 결국 3차원 분할대상 이미지를 형성함에따라, 본 명세서에서는 이미지 확장부(50)에서 획득된 인접한 2차원 분할대상 이미지에 관한 생성 결과를 3차원 분할대상 이미지라 명명한다.
이미지 분할부(70)는 제1 데이터베이스(701), 제2 데이터베이스(703), 제3 데이터베이스(705), 제1 모듈(707) 및 제2 모듈(709)을 구비할 수 있다.
제1 데이터베이스(701)는 3차원 분할대상 이미지의 관심영역에 대한 이미지 데이터가 저장될 수 있다. 제2 데이터베이스(703)는 3차원 분할대상 이미지의 배경영역에 대한 이미지 데이터가 저장될 수 있다. 제3 데이터베이스(705)는 3차원 분할대상 이미지에서 관심영역과 배경영역을 제외한 영역에 대한 이미지 데이터가 저장될 수 있다.
제1 모듈(707)은 기준 화소값을 순차적으로 변화하여 제1 데이터베이스(701)와 제2 데이터베이스(703)에 저장된 데이터의 화소값을 기준 화소값과 매칭할 수 있다.
제2 모듈(709)은 제1 모듈(707)에서 화소값이 매칭된 양 데이터의 좌표값이 일치되는 지점을 분할 경계면으로 설정할 수 있다. 이와 같은 알고리즘으로 3차원 분할대상 이미지의 분할 경계면을 빠르게 결정할 수 있다.
제1 모듈(707)과 제2 모듈(709)의 분할 경계면 설정 과정을 개념적으로 도시하면 하기의 [그림]과 같다.
[그림]
Figure pat00001
이미지 분할부(70)는 3차원 분할대상 이미지가 2차원 이미지의 집합으로 구성되기 때문에 2차원 이미지 단위로 영상분할을 수행할 수 있다. 관심영역(L1)과 배경영역(L2)의 분할 과정과 관련하여 상기의 [그림]을 참조하면, 개념적으로 낮은 골짜기부터 물을 채워 물웅덩이를 형성하고 두 웅덩이가 만나는 지점을 분할 경계선으로 하여 두 웅덩이를 구분하는 것으로 이해할 수 있다.
이를 이미지 분할에 적용하면, 상기 [그림]의 x축은 3차원 분할대상 이미지(또는 각 2차원 분할대상 이미지)의 좌표값으로 이해될 수 있다. 즉, 해당 x축의 값은 3차원의 분할대상 이미지에서 화소들의 위치에 관한 정보가 된다. y축은 화소값이 된다. 이 경우, 제1 모듈(707)은 3차원 분할대상 이미지에서 화소값을 0부터 스캔한다. 제1 모듈(707)은 화소값을 0부터 255까지 순차적으로 증가시키면서 해당 화소값을 갖는 3차원 분할대상 이미지의 화소를 매칭한다.
제1 모듈(707)이 0부터 255까지 가변시키는 화소를 기준 화소값이라 한다. 상기의 [그림]을 참조하면, 기준 화소값의 스캔에 따라 매칭되는 화소들이 점점 물이 차오르는 것처럼 표시된 것으로 이해될 수 있다. 이 경우, L1은 관심영역의 이미지 데이터가 저장된 제1 데이터베이스(701)의 화소정보이고, L2는 배경영역의 이미지 데이터가 저장된 제2 데이터베이스(703)의 화소정보이며, L0는 그 밖의 이미지 데이터가 저장된 제3 데이터베이스(705)의 화소 정보로 이해될 수 있다. 이와 같은 과정으로 화소의 좌표값이 일치되는 경계면이 생기게 된다. 제2 모듈(709)은 제1 데이터베이스(701)와 제2 데이터베이스(703)에 저장된 데이터의 매칭된 화소의 좌표값이 일치되는 지점을 분할 경계면으로 설정한다. 이 과정은 화소값이 시스템 상 최대값에 도달할 때까지 이미지 분할부(70)에서 반복 수행된다. 상기 과정에서 분할 경계면이 확정되면 이미지 분할부(70)는 분할 경계면을 기준으로 관심영역과 배경영역을 분리하여 3차원 출력 이미지를 생성할 수 있다.
도면에는 도시되지 않았으나 이미지 분할부(70)는 3차원 볼륨영상 생성 모듈 및 매쉬(Mesh) 모듈을 더 포함할 수 있다. 3차원 볼륨영상 생성 모듈은 사용자가 원하는 시점에서 분할된 3차원 출력 이미지를 바라볼 수 있도록 3차원 출력 이미지를 영상처리 할 수 있다. 3차원 볼륨영상 생성 모듈은 사용자가 마우스나 키보드와 같은 입력장치를 통해 관심영역을 확대, 축소, 회전, 이동 등을 할 수 있도록 유저 인터페이스를 제공할 수 있다. 볼륨영상 생성 모듈에는 볼륨 렌더링 알고리즘이 적용될 수 있으며, 추가적으로 인체 내 관심영역의 위치를 눈으로 확인할 수 있도록 3차원 의료영상 내에 분할된 관심영역에 색조값을 설정할 수 있다.
도 6은 볼륨영상 생성 모듈에서 관심영역에 색조값이 설정된 3차원 출력 이미지를 도시한 모습이다.
매쉬 모듈은 분할된 3차원 출력 이미지를 Mesh로 변환하는 역할을 수행한다. Mesh 변환시 다양한 3D 편집 툴 또는 CAD/CAM에서 사용할 수 있는 파일 포맷으로 변환이 가능하다. 특히, 확장자를 (.stl) 파일 포맷으로 변환하면 3D프린팅을 통해 인체 내의 관심영역에 대한 실사 출력이 가능하다. 이를 통해 의료인 또는 의료종사자들은 환자 설명용 또는 학생 강의용 등 다양한 용도로 사용이 가능하다.
도 7는 본 발명의 실시예에 따른 의료영상 분할 방법을 나타낸다. 도 7를 참조하면, 의료영상 분할 방법은 이미지를 디스플레이 하는 (a)단계(S10), 분할대상 이미지를 생성하는 (b)단계(S30), 이미지를 확장하는 (c)단계(S50), 및 출력 이미지를 생성하는 (d)단계(S70)를 포함할 수 있다.
(a)단계(S10)는 3차원의 의료영상을 디스플레이 할 수 있다. (a)단계(S10)는 표시부(10)에서 수행되는 과정으로 그 원용을 생략한다.
(b)단계(S30)는 (a)단계(S10)에서 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 생성할 수 있다. (b)단계(S30)는 단면 선택 단계(S301), 관심영역 선택 단계(S303), 배경영역 선택 단계(S305)를 포함할 수 있다.
단면 선택 단계(S301)는, 사용자가 표시부(10)에 디스플레이된 3차원 의료영상 이미지에서 분할하고자 하는 관상면, 시상면 또는 수평면의 단면 사진을 선택하는 단계를 의미한다.
관심영역 선택 단계(S303) 및 배경영역 선택 단계(S305)는, 사용자가 단면 선택 단계(S301)에서 선택된 수평면, 관상면 또는 시상면의 2차원 이미지에서 점 또는 선으로 분할하고자 하는 관심영역과 배경영역을 선택하는 단계를 의미한다.
(c)단계(S50)는 (b)단계(S30)에서 생성된 2차원 분할대상 이미지를 3차원으로 확장할 수 있다. (c)단계(S50)는 이미지 확장부(50)에서 수행되는 과정을 의미하므로 그 원용을 생략한다.
(d)단계(S70)는 (c)단계(S50)에서 생성된 3차원 분할대상 이미지에서 관심영역과 배경영역을 분할하여 3차원 출력 이미지를 생성할 수 있다. (d)단계(S70)는 화소값 매칭 단계(S701), 분할 경계면 설정 단계(S703), 분할 단계(S705), 및 3차원 이미지 생성 단계(S707)를 포함할 수 있다.
화소값 매칭 단계(S701)는, 제1 모듈(707)에서 수행되는 과정을 의미한다. 분할 경계면 설정 단계(S703)는, 제2 모듈(709)에서 수행되는 과정을 의미한다. 분할 단계(S705)는, 분할 경계면 설정 단계(S703)에서 결정된 경계면을 기준으로 관심영역과 배경영역의 이미지를 분리하는 과정을 의미한다. 3차원 이미지 생성 단계(S707)는, 볼륨 생성 모듈에서 수행되는 과정으로 분할 단계(S705)의 수행 결과 분할된 복수개의 2차원 이미지를 정합하여 3차원으로 관심영역에 대한 이미지를 생성하는 과정을 의미한다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
1: 의료영상 분할 장치 10: 표시부
30: 사용자 입력부 50: 이미지 확장부
501: 사전정보 처리 리스트 503: 사전 정보 리스트
70: 이미지 분할부 701: 제1 데이터베이스
703: 제2 데이터베이스 705: 제3 데이터베이스
707: 제1 모듈 709: 제2 모듈
S10: 디스플레이 단계 S30: 분할대상 이미지 생성 단계
S301: 단면 선택 S303: 관심영역 선택
S305: 배경영역 선택 S50: 이미지 확장 단계
S70: 출력 이미지 생성 단계 S701: 화소값 매칭 단계
S703: 분할 경계면 설정 단계 S705: 분할 단계
S707: 3차원 이미지 생성 단계

Claims (9)

  1. 3차원의 의료영상 이미지를 디스플레이하는 표시부;
    상기 표시부로부터 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 생성하는 사용자 입력부;
    상기 2차원 분할대상 이미지를 3차원으로 확장하는 이미지 확장부; 및
    상기 이미지 확장부에서 생성된 3차원 분할대상 이미지에서 상기 관심영역과 상기 배경영역을 분할하여 3차원 출력 이미지를 생성하는 이미지 분할부를 포함하여,
    사용자로부터 선택된 2차원의 분할대상 이미지로부터 관심영역의 3차원 이미지를 생성하는 것을 특징으로 하는 의료영상 분할 장치.
  2. 제 1 항에 있어서,
    상기 표시부는,
    상기 3차원 의료영상 이미지에서 사용자가 선택한 좌표의 수평면(horizontal) 또는 시상면(sagittal) 또는 관상면(coronal)의 2차원 이미지를 추가적으로 디스플레이 하는 것을 특징으로 하는 의료영상 분할 장치.
  3. 제 1 항에 있어서,
    상기 사용자 입력부는,
    상기 이미지 분할부에서 생성된 3차원 출력 이미지를 피드백하여, 상기 3차원 출력 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 추가적으로 입력 받는 것을 특징으로 하는 의료영상 분할 장치.
  4. 제 1 항에 있어서,
    상기 사용자 입력부는,
    상기 표시부로부터 디스플레이된 3차원의 의료영상 이미지에서 사용자로부터 x, y, z의 좌표 값을 입력받아 수평면(horizontal) 또는 시상면(sagittal) 또는 관상면(coronal)의 2차원 분할대상 이미지를 생성하는 것을 특징으로 하는 의료영상 분할 장치.
  5. 제 4 항에 있어서,
    상기 사용자 입력부는,
    상기 2차원 분할대상 이미지에서 사용자가 선택한 상기 관심영역과 상기 배경영역에 대한 설정 범위를 추가적으로 입력받는 것을 특징으로 하는 의료영상 분할 장치.
  6. 제 1 항에 있어서,
    상기 이미지 확장부는,
    이웃하는 화소의 유사도를 기초로 상기 2차원 분할대상 이미지를 3차원으로 확장하는 것을 특징으로 하는 의료영상 분할 장치.
  7. 제 1 항에 있어서,
    상기 이미지 분할부는,
    상기 3차원 분할대상 이미지의 관심영역에 대한 이미지 데이터를 저장하는 제1 데이터베이스; 및
    상기 3차원 분할대상 이미지의 배경영역에 대한 이미지 데이터를 저장하는 제2 데이터베이스를 구비한 것을 특징으로 하는 의료영상 분할 장치.
  8. 제 7 항에 있어서,
    상기 이미지 분할부는,
    기준 화소값을 순차적으로 변화하여 상기 제1 데이터베이스와 상기 제2 데이터베이스에 저장된 데이터의 화소값을 상기 기준 화소값과 매칭하는 제1 모듈; 및
    상기 제1 모듈에서 화소값이 매칭된 양 데이터의 좌표값이 일치되는 지점을 분할 경계면으로 설정하는 제2 모듈을 더 구비한 것을 특징으로 하는 의료영상 분할 장치.
  9. (a) 3차원의 의료영상 이미지를 디스플레이 하는 단계;
    (b) 상기 (a)단계에서 디스플레이된 3차원 의료영상 이미지에서 사용자로부터 분할하고자 하는 관심영역과 배경영역이 선택된 2차원 분할대상 이미지를 생성하는 단계;
    (c) 상기 2차원 분할대상 이미지를 3차원으로 확장하는 단계; 및
    (d) 상기 (c)단계에서 생성된 3차원 분할대상 이미지에서 상기 관심영역과 상기 배경영역을 분할하여 3차원 출력 이미지를 생성하는 단계를 포함하여,
    사용자로부터 선택된 2차원의 분할대상 이미지로부터 관심영역의 3차원 이미지를 생성하는 것을 특징으로 하는 의료영상 분할 방법.
KR1020150088559A 2015-06-22 2015-06-22 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법 KR101727670B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150088559A KR101727670B1 (ko) 2015-06-22 2015-06-22 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150088559A KR101727670B1 (ko) 2015-06-22 2015-06-22 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170000040A true KR20170000040A (ko) 2017-01-02
KR101727670B1 KR101727670B1 (ko) 2017-04-18

Family

ID=57810430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150088559A KR101727670B1 (ko) 2015-06-22 2015-06-22 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101727670B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3457356A1 (en) 2017-09-15 2019-03-20 Korea Advanced Institute of Science and Technology Method and apparatus for fully automated segmentation of joint using patient-specific optimal thresholding and watershed algorithm
CN111723875A (zh) * 2020-07-16 2020-09-29 哈尔滨工业大学 基于CV-RefocusNet的SAR三维转动舰船目标重聚焦方法
CN112766258A (zh) * 2020-12-31 2021-05-07 深圳市联影高端医疗装备创新研究院 图像的分割方法、系统、电子设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070014473A (ko) 2005-07-28 2007-02-01 삼성전자주식회사 반도체 제조장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4675509B2 (ja) * 2001-07-04 2011-04-27 株式会社日立メディコ 臓器の特定領域抽出表示装置及び方法
JP2007140810A (ja) * 2005-11-17 2007-06-07 Korea Inst Of Industrial Technology ３次元形状検索装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070014473A (ko) 2005-07-28 2007-02-01 삼성전자주식회사 반도체 제조장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3457356A1 (en) 2017-09-15 2019-03-20 Korea Advanced Institute of Science and Technology Method and apparatus for fully automated segmentation of joint using patient-specific optimal thresholding and watershed algorithm
US10540770B2 (en) 2017-09-15 2020-01-21 Korea Advanced Institute Of Science And Technology Method and apparatus for fully automated segmentation of joint using patient-specific optimal thresholding and watershed algorithm
CN111723875A (zh) * 2020-07-16 2020-09-29 哈尔滨工业大学 基于CV-RefocusNet的SAR三维转动舰船目标重聚焦方法
CN112766258A (zh) * 2020-12-31 2021-05-07 深圳市联影高端医疗装备创新研究院 图像的分割方法、系统、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
KR101727670B1 (ko) 2017-04-18

Similar Documents

Publication Publication Date Title
US11330250B2 (en) Three-dimensional display device and three-dimensional display method
US8532359B2 (en) Biodata model preparation method and apparatus, data structure of biodata model and data storage device of biodata model, and load dispersion method and apparatus of 3D data model
US7450749B2 (en) Image processing method for interacting with a 3-D surface represented in a 3-D image
CN106663309B (zh) 用于医学成像中的用户引导的骨骼分段的方法和存储介质
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
US7773786B2 (en) Method and apparatus for three-dimensional interactive tools for semi-automatic segmentation and editing of image objects
CN107169919B (zh) 用于3d医学体积的加速读取的方法和系统
Kalra Developing fe human models from medical images
JP2019526124A (ja) 三次元表面の画像を再構築するための方法、装置およびシステム
US9697600B2 (en) Multi-modal segmentatin of image data
KR101760287B1 (ko) 의료영상 분할 장치 및 방법
TWI594206B (zh) Cardiac medical imaging single chamber mapping system and method
CN110189352A (zh) 一种基于口腔cbct图像的牙根提取方法
CN1449721A (zh) 具有医学图像测量功能的医学图像处理装置
CN101689298A (zh) 用于对对象成像的成像系统和成像方法
CN107194909A (zh) 医用图像处理装置及医用图像处理程序
US8086013B2 (en) Image processing apparatus and image processing method
KR20180009707A (ko) 화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체
CN102132322B (zh) 用于确定对象的尺寸改变的设备
CN113645896A (zh) 手术计划、手术导航和成像用系统
US9530238B2 (en) Image processing apparatus, method and program utilizing an opacity curve for endoscopic images
JP6840481B2 (ja) 画像処理装置および画像処理方法
KR101727670B1 (ko) 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법
WO2009122724A1 (ja) 画像処理装置および方法並びにプログラム
JP2001118058A (ja) 画像処理装置及び放射線治療計画システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant