KR101982149B1 - 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치 - Google Patents

의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101982149B1
KR101982149B1 KR1020110089388A KR20110089388A KR101982149B1 KR 101982149 B1 KR101982149 B1 KR 101982149B1 KR 1020110089388 A KR1020110089388 A KR 1020110089388A KR 20110089388 A KR20110089388 A KR 20110089388A KR 101982149 B1 KR101982149 B1 KR 101982149B1
Authority
KR
South Korea
Prior art keywords
image
state
organ
patient
medical image
Prior art date
Application number
KR1020110089388A
Other languages
English (en)
Other versions
KR20130026041A (ko
Inventor
황영규
김정배
김용선
방원철
김도균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110089388A priority Critical patent/KR101982149B1/ko
Priority to US13/550,735 priority patent/US9087397B2/en
Publication of KR20130026041A publication Critical patent/KR20130026041A/ko
Application granted granted Critical
Publication of KR101982149B1 publication Critical patent/KR101982149B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치가 개시된다. 이와 같이 개시된 방법 내지 장치에 따르면, 실시간으로 의료 영상을 입력받고, 이를 3차원 모델과 정합한 영상과 비교하여, 실시간 의료 영상에 3차원 모델이 결합된 영상을 출력한다.

Description

의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치{Method and apparatus for creating medical image using partial medical image}
의료 영상의 일부 정보를 이용하여 장기의 영상을 생성하는 방법과 그 장치에 관한 것이다.
질병치료에 있어서 환자의 진단과 치료의 전통적인 방법은 외과적 수술을 통하여 개복 후 육안으로 발병상태를 확인하고 거대한 수술용 기구를 이용하여 병변에 대해 절개와 성형을 가하는 방법이었다. 하지만 최근 의료기술의 발달로 인해 높은 해상도의 의료영상을 얻을 수 있고 의료 기구의 미세한 조작이 가능해 짐에 따라서, 인체의 직접적인 절개를 하지 않고도 피부에 작은 구멍을 만든 뒤 혈관 혹은 기타 원하는 신체 부위에 직접 카테터나 의료용 바늘을 넣고 의학 영상 장비로 몸속을 관찰하면서 치료하는 방법이 개발되고 있다. 이를 "영상을 이용하는 시술법", "인터벤션(Interventional) 영상 시술법" 또는 "중재적 영상 시술법"이라고 부른다. 시술자는 장기나 병변의 위치를 영상을 통해 파악한다. 게다가 시술을 하는 동안 환자는 호흡을 하거나 움직이게 되는데 이에 따른 변화를 파악해야한다. 따라서 시술자는 실시간 영상을 토대로 호흡이나 움직임을 정확하고 빠르게 파악하여 시술을 시행해야 하는데, 이 때 실시간 영상에서 장기와 병변의 형상을 육안으로 파악하기 쉽지 않다.
환자의 실시간 의료 영상에서 장기의 빠르고 정확한 추적에 적합한 영상을 생성하는 방법 및 장치를 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일 측면에 따른 신체 장기의 추적 방법은 환자의 적어도 하나의 장기를 나타내는 제 1 의료 영상에 기초하여 상기 적어도 하나의 장기의 3차원 모델을 생성하는 단계, 상기 환자의 신체 활동에 따른 상기 적어도 하나의 장기의 형태적 변화를 나타내는 복수 개의 영상들과 상기 장기의 3차원 모델을 정합함으로써 복수 개의 정합 영상들을 생성하는 단계, 상기 환자의 제 2 의료 영상의 일부 영역에 기초하여 상기 정합 영상들 중 어느 하나를 선택하여 출력하는 단계를 포함한다.
본 발명의 다른 측면에 따라 상기된 신체 장기의 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
본 발명의 또 다른 측면에 따른 신체 장기의 추적 장치는 환자의 적어도 하나의 장기를 나타내는 제 1 의료 영상을 기초로 상기 적어도 하나의 장기의 3차원 모델을 생성하는 장기 모델 생성부, 환자의 신체 활동에 따른 적어도 하나의 장기의 형태적 변화를 나타내는 복수 개의 영상들과 상기 장기의 3차원 모델을 정합한 영상을 생성하는 영상 정합부, 상기 환자의 제 2 의료 영상의 일부 영역에 기초하여 상기 정합 영상들 중 어느 하나를 선택하는 영상 검색부를 포함한다.
상기된 바에 따르면, 실시간으로 출력되는 의료 영상에 그래픽적인 장기의 모델을 합성하여 출력하므로써, 중재적 시술시 장기의 위치를 정확하게 빠르게 추적할 수 있다.
도 1은 본 발명의 일 실시예에 따른 신체 장기 영상 생성 시스템의 구성도이다.
도 2은 도 1에 도시된 영상 정합 장치(20)의 구성도이다.
도 3은 평균 모델 생성부(202)에서의 장기 경계와 내부 구조의 위치 좌표 정보를 추출하는 과정의 일례를 도시한 도면이다.
도 4는 영상 정합부(204)가 각 영상 별로 장기의 변형을 반영된 개인화 모델을 초음파 영상에서의 장기의 위치와 일치시키는 과정의 흐름도를 나타낸 것이다.
도 5는 2차원 영상에서 어파인 변환함수(Taffine)를 획득하는 일례를 도시한 도면이다.
도 6는 영상 정합부(204)가 영상을 정합(match)하는 과정을 도시한 도면이다.
도 7은 영상 검색부(205)가 실시간으로 입력되는 초음파 영상들과 가장 유사한 영상을 스토리지(207)에서 검색하는 과정의 흐름도이다.
도 8은 초음파 영상에서 선택되어진 후보점의 위치를 표시한 도면이다.
도 9는 도 8의 지정된 후보점에서 영상 검색부(205)가 후보 영역을 자동적으로 생성되는 하나의 실시예를 나타내고 있다.
도 10는 실제 초음파 영상에서 특징윈도우의 후보 영역들을 나타낸 것이다.
도 11은 도 10에 표시된 후보 영역에서 장기의 움직임을 도시한 그림이다.
도 12은 특징윈도우로 선정된 영역에서의 장기의 움직임을 그래프로 나타낸 것이다.
도 13은 도 12에서의 일부 영역을 확대한 것이다.
도 14는 호흡의 상태를 파악하는 또 다른 실시예를 도시한 도면이다.
도 15는 영상 검색부(205)가 704 단계에서 특징 검출 알고리즘을 활용한 검색 방법의 과정을 나타낸 흐름도이다.
도 16는 3차원적 장기 모델 기반의 동적 장기와 병변 추적 방법의 전체적인 흐름도를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 신체 장기 영상 생성 시스템의 구성도이다. 도 1을 참조하면, 도 1에 도시된 실시예에 따른 신체 장기 영상 생성 시스템은 영상 검출 장치(10), 영상 정합 장치(20), 영상 표시 장치(30)로 구성된다. 영상 검출 장치(10)는 이것에 장착된 프로브(probe)(11)로부터 발생된 소스 신호(source signal)가 의사 등과 같은 의료 전문가가 진단하고자 하는 환자 신체의 특정 부위에 전달됨으로써 발생되는 반응을 이용하여 영상 데이터를 생성한다. 여기에서 소스 신호는 초음파, X선 등 여러 가지 신호가 될 수 있다. 영상 검출 장치(10)가 초음파(ultrasound)를 이용하여 환자 신체로부터 3차원 영상을 검출하는 초음파 진단기(ultrasonography machine)인 경우를 예를 들어 설명하면 다음과 같다.
초음파 진단기에서의 프로브(11)는 일반적으로 압전 변환기(piezoelectric transducer)로 제조된다. 영상 검출 장치(10)의 프로브(11)로부터 2 ~ 18 MHz 범위의 초음파가 환자 신체 내부의 특정 부위에 전달되면, 이 초음파는 여러 다른 조직들(tissues) 사이의 계층들로부터 부분적으로 반사된다. 특히, 초음파는 신체 내부에서의 밀도 변화가 있는 곳, 예를 들어, 혈장(blood plasma) 내의 혈구들(blood cells), 장기들(organs) 내의 작은 조직들(structures) 등에서 반사된다. 이와 같이 반사된 초음파들은 프로브(11)의 압전 변환기를 진동시키고, 압전 변환기는 이 진동들에 따른 전기적 펄스들(electrical pulses)을 출력한다. 이와 같은 전기적 펄스들이 영상으로 변환된다.
영상 검출 장치(10)는 2차원적인 영상을 출력할 수도 있지만, 3차원적인 영상도 출력할 수 있다. 영상 검출 장치(10)가 3차원적 영상을 출력하는 방법은 다음과 같다. 환자 신체 위에서 프로브(11)의 위치(location)와 방향(orientation)을 변화시키면서, 환자 신체의 특정 부위에 대한 다수의 단면 영상들을 검출한다. 이어서, 영상 검출 장치(10)는 이와 같은 단면 영상들을 축적하여 환자 신체의 특정 부위를 3차원적으로 나타내는 3차원 볼륨(volume)의 영상 데이터를 생성한다. 이와 같이 단면 영상들을 축적하여 3차원 볼륨의 영상 데이터를 생성하는 방식을 MPR(Multiplanar reconstruction) 방식이라고 한다.
그런데, 이와 같이 영상 검출 장치(10)에 의해 얻을 수 있는 영상, 예를 들면 초음파 영상들은 실시간 영상을 얻을 수 있다는 장점이 있으나, 장기의 윤곽, 내부 구조나 병변을 명확하게 식별해내기가 어렵다는 단점이 있다.
한편, CT(computed tomography)영상 이나 MR(magnetic resonance)영상의 경우에는 장기의 위치나 병변의 위치가 명확하게 구별이 되는 장점이 있다. 하지만 CT(computed tomography)영상 이나 MR(magnetic resonance)영상은 시술하는 동안 환자가 호흡을 하거나 뒤척일 때 장기가 변형되거나 위치가 변할 수 있는데 상기 실시간적인 변화를 반영한 영상을 얻을 수 없는 단점이 있다. 실시간으로 영상을 출력할 수 없는 각각의 이유는 CT(computed tomography)영상의 경우 방사선을 이용한 촬영방법이기 때문에 환자와 시술자가 장시간 방사능에 노출될 우려가 있기 때문에 짧은 시간의 촬영이 권장되며, MR(magnetic resonance)영상의 경우 한번 촬영하는데 시간이 오래 걸리기 때문이다.
이에 따라, 실시간으로 촬영이 가능함과 동시에 장기의 윤곽, 내부 구조나 병변을 명확하게 식별해내는 방법 및 장치가 요구된다. 따라서 이하에서 설명될 실시예들은 실시간으로 검출된 영상들에서 장기 및 병변의 모델을 정합(match)한 영상을 출력하여 실시간 영상에서 장기 및 병변의 정확한 위치나 변형을 식별할 수 있는 방법을 제시한다.
도 2은 도 1에 도시된 영상 정합 장치(20)의 구성도이다. 도 2를 참조하면, 도 1에 도시된 영상 정합 장치(20)는 의료 영상 DB(201), 평균 모델 생성부(202), 개인화 모델 생성부(203), 영상 정합부(204), 영상 검색부(205), 추가 조정부(206), 및 스토리지(207)로 구성된다.
평균 모델 생성부(202)는 다양한 개인의 의료 영상을 입력받아 이를 처리하므로써 대상 장기의 평균적인 모델을 출력한다. 본 발명에서는 환자 개인화된 모델을 생성하여 장기를 추적하는데, 여기서 평균적인 모델을 생성하는 단계는 개인화된 모델을 생성하기 위한 준비단계이다. 왜냐하면 개인에 따라서 장기의 형태, 크기, 특징 등 다양성이 있어서, 정확한 시술환경을 제공하기 위해서는 환자 개인의 특성을 반영할 필요가 있기 때문이다. 한편, 정확한 평균적인 모델을 얻기 위해서는 다양한 개인의 영상 정보가 활용될 수 있다. 또한 각 개인에서 얻은 영상도, 호흡에 따라서 변하는 장기의 형태를 반영하기 위해 다양한 호흡에서의 영상을 얻을 수 있다.
구체적으로 우선 평균 모델 생성부(202)는 다양한 개인의 장기 형태, 크기 등을 분석하기 위해서 의료 전문가가 환자의 진단을 위해 촬영한 영상(이하, 외부의료영상이라 한다.)을 촬영기구로부터 직접 또는 영상이 저장된 저장매체로부터 입력받는다. 따라서 장기와 병변의 윤곽이나 장기 내부 특징의 분석이 용이한 영상을 입력받는 것이 바람직하다. 이를테면 CT(computed tomograhpy) 혹은 MR(magnetic resonance)영상이 입력될 수 있다.
외부 영상을 입력받는 다른 방법으로는 의료 영상 DB(201)에 의해서 상기 외부의료영상이 데이터화 되어 저장된 영상을 불러올 수 있다. 의료 영상 DB(201)에는 상기 외부의료영상이 다양한 개인에게서 촬영장치로부터 촬영되어 저장이 되어질 수도 있고, 저장매체로부터 입력받을 수도 있다. 의료 영상 DB(201)로부터 영상을 불러올 때에는 영상 전부를 불러올 수도 있고 사용자의 선택에 따라 일부를 불러올 수도 있다.
하나의 실시예로 평균 모델 생성부(202)는 입력받은 외부의료영상을 기초로 3차원 ASM(active shape models) 알고리즘을 적용시킬 수 있다. 상기 알고리즘을 적용시키기 위해서 우선 상기 외부의료영상을 분석하여 각 외부의료영상에서 장기의 형태, 크기, 해부학적 특징을 추출하고, 이를 평균을 내서 통계적으로 평균을 낸 모델을 생성한다. ASM(active shape models) 알고리즘은 1994년에 발표된 "The Use of Active Shape Models For Locating Structure in Medical Images" (T.F.Cootes, A.Hill, C.J.Taylor and J.Haslam 저)에 자세한 설명이 나와있다. ASM(active shape models) 알고리즘을 적용하면 평균적인 장기의 형상을 얻을 수 있는데, 이 평균적인 장기 형상은 변수를 조정할 경우 그 형태를 변형 시킬 수 있다.
도 3은 평균 모델 생성부(202)가 상기 외부의료영상을 분석하는 과정으로써, 상기 입력된 CT(computed tomograhpy) 혹은 MR(magnetic resonance)영상의 장기 경계와 내부 구조의 위치 좌표 정보를 추출하는 개략적인 방법을 도시한 것이다. 평균 모델 생성부(202)는 CT(computed tomograhpy) 혹은 MR(magnetic resonance)영상이 입력되면, 장기 경계와 내부 구조의 위치 좌표 정보를 추출할 때 2차원 영상일 경우와 3차원 영상일 경우 다른 방식으로 진행된다. 여기서 내부 구조란, 간을 예로 들면 간동맥, 간정맥, 간문맥과 간관의 위치 등이 있을 수 있으며 이들의 경계값도 포함될 수 있다.
2차원 영상의 입력을 받을 경우 3차원 모델을 생성하기 위해서는 다수의 단면 영상들을 축적하여 대상 부위를 3차원적으로 나타내는 3차원 볼륨(volume)의 영상 데이터를 얻게 되는데, 이 과정은 도 3에서 왼쪽 부분에 여러 영상 정보가 축적되어 3차원 볼륨(volume)영상을 얻는 방법을 도시된 부분이다. 축적하기 전 다수의 단면 영상에서의 장기 경계와 내부 구조의 위치 좌표 정보를 추출한 후 축적하는 방향 축의 좌표 정보를 추가해 3차원 좌표 정보를 얻을 수 있는데, 도 3의 오른쪽 부분에 나타나 있는 영상은 z축의 값이 1인 영상이므로 상기 영상에서 추출되는 경계 위치 좌표 값의 z는 항상 1이다. 따라서 왼쪽 영상 데이터의 단면에서의 좌표 정보를 추출하는데 이는 2차원의 좌표 정보이므로 x,y축의 데이터로 나타 내어지지만, z축의 좌표 정보까지 포함하여 [x,y,1]의 좌표로 경계의 위치 좌표 정보를 추출한다. 그러면 상기 좌표 정보는 x,y,z축의 좌표를 포함한 정보일 것이다. 3차원 영상이 입력될 경우에는 소정의 간격으로 3차원 영상의 단면을 추출한 후 2차원 영상이 입력된 경우와 같은 과정을 거치게 되면 장기 경계와 내부 구조의 위치 좌표 정보를 얻을 수 있다. 이 과정에서의 2차원 영상에서 경계 위치 좌표의 추출은 알고리즘에 의한 자동/반자동적으로 얻을 수 있으며, 사용자가 출력된 영상 정보를 보고 수동적으로 좌표 정보를 입력 받을 수도 있다. 자동으로 경계의 좌표 정보를 얻는 방법을 예를 들면, 영상에서 밝기가 급변하게 변하는 지점의 좌표 정보를 얻을 수 있으며, DTFT(discrete time fourier transform)을 이용하여 주파수값이 가장 큰 위치를 경계라고 추출할 수 있다. 반자동적인 방법은 사용자에 의해 영상에서 일부 경계지점에 대한 정보를 입력받으면, 상기 경계지점을 기초로하여 상기 자동으로 좌표를 얻는 방법과 동일하게 주변의 경계를 추출할 수 있다. 장기의 경계는 연속적이며 폐곡선 형태를 이루기 때문에, 상기 성질을 이용하여 장기 경계 전체에 대한 정보를 얻을 수 있다. 반자동인 방법은 영상 전체를 검색하지 않아도 되기 때문에 자동적인 경우보다 더 빠르게 결과를 얻을 수 있다. 수동적으로 얻을 때에는 사용자가 영상을 보면서 직접 경계의 좌표를 지정할 수 있는데, 이 때 지정하는 간격은 연속적일 수 없으므로, 중간에 불연속적인 구간은 보간(interpolation)을 통해 연속적으로 경계를 추출할 수 있다. 상기 기재된 방법으로 얻은 장기와 병변의 위치 좌표 정보는 3차원 공간에서 상기 좌표에 해당하는 복셀에서의 밝기값을 소정의 값으로 설정한 후 출력한다면 사용자가 3차원 그래픽적으로 표현된 장기와 내부 구조의 모습을 확인할 수 있다. 예를 들면 대상 장기 경계 좌표의 밝기값을 최소, 즉 가장 어두운 값으로 설정한다면 출력되는 영상에서 대상 장기의 영상은 검은 형태로 출력될 것이며, 대상 장기의 밝기를 흰색과 검은색의 중간값으로 설정하고 병변의 좌표의 밝기를 검은색으로 설정한다면 대상 장기와 병변을 쉽게 육안으로 구분할 수 있다. 상기 방법으로 얻은 복수의 장기 경계와 내부 구조의 위치 좌표 정보를 데이터 세트라고 정하고 3차원 ASM(active shape models) 알고리즘을 활용하기 위한 정보로 활용할 수 있다. 이하 ASM(active shape models) 알고리즘에 대해서 설명한다.
ASM(active shape models) 알고리즘을 적용하기 위해서는 복수의 장기 경계와 내부 구조의 위치 좌표 정보의 좌표축을 일치시킨다. 좌표축을 일치시킨다는 것은 복수개의 대상체의 무게 중심을 하나의 원점으로 일치시키고 여러가지 다양한 형태에 대해 모든 장기의 방향을 정렬시킴을 의미한다. 그 후, 복수의 장기 경계와 내부 구조의 위치 좌표 정보에서 특징점(Landmark point)이 되는 지점을 결정한다. 특징점(Landmark point)이란 알고리즘을 적용시키기 위한 기본적인 지점을 말한다. 특징점(Landmark point)은 아래와 같은 방법으로 결정한다.
1. 대상의 특징이 뚜렷하게 반영된 지점을 특징점(Landmark point)으로 정한다. 예를 들면, 간의 경우 모든 사람이 공통적으로 갖고 있는 혈관이 나누어 지는 지점 또는 심장의 경우 우심방과 좌심방이 나뉘는 경계, 대정맥과 심장의 외벽이 만나는 경계 등이 있다.
2. 정해진 좌표계에서 대상체의 가장 높은 지점, 혹은 가장 낮은 지점을 특징점(Landmark point)으로 정한다.
3. 상기 1.과 2.에서 정한 점들간의 사이를 보간(interpolation)할 수 있는 지점을 소정의 일정한 간격으로 경계를 따라 특징점(Landmark point)으로 지정한다.
지정된 특징점은 2차원일 경우 x,y축의 좌표 3차원일 경우 x,y,z축의 좌표로 나타낼 수 있다. 따라서 3차원일 경우 각각의 특징점 좌표를 벡터로
Figure 112011069029181-pat00001
과 같이 나타낸다면, (n은 특징점의 갯수를 뜻한다.) 수학식 1로 표현할 수 있다.
Figure 112011069029181-pat00002
아래첨자 i는 i번째 영상에서 얻은 장기 경계와 내부 구조의 위치 좌표 정보를 뜻한다. 상기 위치 좌표 정보는 경우에 따라서 그 갯수가 많아질 수 있는데 이의 연산을 용이하게 하기 위해서 하나의 벡터로 표현할 수 있다. 그러면 특징점 전체를 하나의 벡터로 나타낸 특징점 벡터를 수학식 2로 정의할 수 있다.
Figure 112011069029181-pat00003
xi벡터의 크기는
Figure 112011069029181-pat00004
이다.
데이터 세트의 갯수를 N개라고 할 때 세트 전체에 대해 특징점의 평균을 아래의 수학식 3으로 나타낼 수 있다.
Figure 112011069029181-pat00005
마찬가지로
Figure 112011069029181-pat00006
벡터의 크기는
Figure 112011069029181-pat00007
이다.
평균 모델 생성부(202)는 수학식 3을 계산하면 평균적인 특징점인
Figure 112011069029181-pat00008
를 얻고 이를 기초로한 모델을 생성하게 되면 그 모델이 평균적인 장기 모델이 될 수 있다. ASM(active shape models) 알고리즘은 평균적인 모델을 생성하는 것 뿐만 아니라 더 나아가 상기 평균적인 모델을 복수 개의 파라미터의 조절만으로 형태를 변형시킬 수 있다. 따라서 평균 모델 생성부(202)는 단순히 평균적인 모델을 계산할 뿐만 아니라, 복수개의 파라미터를 적용할 수 있도록 수식을 계산한다. 이하, 파라미터를 적용하는 수식을 설명한다.
아래의 수학식 4에 의해서 특징점의 평균과 각 데이터의 차이를 나타낼 수 있다. 수학식 4에서 아래첨자 i는 i번째 영상을 뜻한다. 따라서 수학식 4는 각 영상에서의 특징점이 전체 영상의 평균과의 차이를 뜻한다.
Figure 112011069029181-pat00009
각 데이터의 차이를 이용하여 수학식 5에 의해 세 변수 x,y,z에 대한 공분산 행렬(covariance matrix)을 정의할 수 있다. 상기 공분산 행렬(covariance matrix)을 구하는 이유는 ASM(active shape models) 알고리즘을 적용하기 위한 복수개의 파라미터에 대한 아이겐벡터(unit eigen-vector)를 구하기 위함이다. (자세한 내용은 상기 논문에 기재되어 있음.)
Figure 112011069029181-pat00010
공분산 행렬(covariance matrix) S의 단위 아이겐벡터(unit eigen-vector)를
Figure 112011069029181-pat00011
라 하면, 벡터
Figure 112011069029181-pat00012
가 의미하는 것은 ASM(active shape models) 알고리즘에 의해 생성된 모델이 변화는 태양이다. 예를 들면, 벡터
Figure 112011069029181-pat00013
과 곱해진 파라미터
Figure 112011069029181-pat00014
을
Figure 112011069029181-pat00015
에서 변형시키게 되면 좌우로의 길이가 변한다던지, 벡터
Figure 112011069029181-pat00016
과 곱해진 파라미터
Figure 112011069029181-pat00017
을
Figure 112011069029181-pat00018
에서 변형시키게 되면 상하로의 길이가 변한다던지를 말한다. 그럼 이 단위 아이겐벡터(unit eigen-vector)
Figure 112011069029181-pat00019
(크기
Figure 112011069029181-pat00020
)는 아래와 같이 수학식 6에 의해 구할 수 있다.
Figure 112011069029181-pat00021
(
Figure 112011069029181-pat00022
는 아이겐벨류(eigen-value)를 뜻한다.)
그러면 최종적으로 변형을 적용한 특징점 벡터
Figure 112011069029181-pat00023
를 특징점의 평균 벡터인
Figure 112011069029181-pat00024
를 이용하여 계산하면,
Figure 112011069029181-pat00025
여기서
Figure 112011069029181-pat00026
(각
Figure 112011069029181-pat00027
의 크기
Figure 112011069029181-pat00028
,
Figure 112011069029181-pat00029
의 크기
Figure 112011069029181-pat00030
) 는 처음 t개의 아이겐벡터를 말하고,
Figure 112011069029181-pat00031
(크기
Figure 112011069029181-pat00032
)는 각 아이겐벡터의 비중(weight)을 의미한다.
평균 모델 생성부(202)는 상기 과정의 수학식들 계산을 통해서 평균적인 모델의 형태를 뜻하는
Figure 112011069029181-pat00033
(크기
Figure 112011069029181-pat00034
)와 3차원 ASM(active shape models) 알고리즘을 이용해 변형을 적용시키기 위한
Figure 112011069029181-pat00035
(크기
Figure 112011069029181-pat00036
) 벡터를 계산할 수 있다.
개인화 모델 생성부(203)는 평균 모델 생성부(202)로부터 평균적인 장기 모델(
Figure 112011069029181-pat00037
)과
Figure 112011069029181-pat00038
(크기
Figure 112011069029181-pat00039
) 벡터를 입력받고 상기 3차원 ASM(active shape models) 알고리즘의 파라미터 처리에 의해 개인화 모델을 생성한다. 환자 개인의 장기 형상도 마찬가지로 형태나 크기 등이 상이하므로 평균적인 장기 모델을 그대로 사용하게 되면 정확성이 떨어질 수 있다. 왜냐하면 개인에 따라 평균 형태보다 좌우가 길다던가, 상하가 길다던가, 또는 좌측이 더 두껍다던가, 우측이 더 아래쪽으로 내려왔다던가 하는 특징이 있기 때문이다. 또한 개인의 장기에 병변이 위치하고 있을 경우 병변의 형태와 위치를 정확하게 파악하기 위해서 개인화 모델 생성부(203)는 상기 병변의 위치를 모델에 포함시킬 수 있다. 따라서 개인화 모델 생성부(203)는 영상 촬영장치 또는 저장매체로부터 환자 개인의 외부의료영상을 입력받아, 개인 장기 형태, 크기, 위치 정보를 분석하고, 병변이 있다면 병변의 위치, 크기, 형태정보를 분석한다. 이하에서 이 과정을 상세히 설명한다.
개인화 모델 생성부(203)는 CT(computed tomograhpy) 혹은 MR(magnetic resonance)영상과 같이 장기의 형상을 뚜렷하게 파악할 수 있는 영상을 기초로 환자 개인의 ASM(active shape models) 알고리즘의 아이겐벡터의 비중값(벡터b)을 결정하는 것이다. 따라서 우선 환자 개인의 외부의료영상을 입력받아 장기 경계와 내부 구조의 위치 좌표 정보를 파악한다. 이 때는 상기 평균 모델 생성부(202)가 상기 외부의료영상을 분석하는 과정와 같이 도 3의 과정으로 파악한다. 게다가 상기 알고리즘을 처음 적용할 때 특징점(Landmark point)을 파악한 방법과 같은 과정으로 특징점(Landmark point) 좌표 정보를 파악하면 환자 개인화된 특징점 집합인 벡터
Figure 112011069029181-pat00040
(크기
Figure 112011069029181-pat00041
)의 값을 얻을 수 있다. 상기 벡터
Figure 112011069029181-pat00042
를 기초로 장기 모델을 생성한 것이 개인화 모델이 될 수 있다. 수학식 7을 역함수와 단위 아이겐벡터의 성질(
Figure 112011069029181-pat00043
)을 활용하면 아래의 수학식 8을 얻을 수 있다. 수학식 8에 의해서
Figure 112011069029181-pat00044
값을 결정한다.
Figure 112011069029181-pat00045
한편, 평균 모델 생성부(202) 의해서 결정된 벡터
Figure 112011069029181-pat00046
정보는 스토리지(207)에 대상 장기에 대한 평균적인 모델로 저장해 데이터 베이스화 되어 반복적으로 사용되어 질 수 있다. 또한 개인화 모델 생성부(202)에 입력된 환자 개인의 외부의료영상은 다음 환자의 진료시 상기 데이터 베이스에 저장된 평균적인 모델을 결정할 때에 추가하는 학습과정을 갖출 수 있다.
영상 정합부(204)는 개인화 모델 생성부(203)에서 벡터
Figure 112011069029181-pat00047
정보를 받게 되면, 이를 소정의 주기동안의 환자의 의료영상과 정합(match)을 할 수 있다. 초음파 영상에서 장기의 위치에 상기 ASM(active shape models) 알고리즘을 이용한 모델을 겹쳐서 출력한다는 의미이며, 좀더 정확하게는 영상에서 ASM(active shape models) 알고리즘에 의해 형성된 모델의 좌표정보에 해당하는 픽셀(pixel) 혹은 복셀(voxel)값을 소정의 밝기로 치환 또는 중첩할 수 있다는 의미이다. 치환을 하게 되면 원래 초음파 영상에서 장기부분은 제거되고 개인화 모델만을 출력하겠지만, 중첩을 하게 되면 원래 초음파 영상과 개인화 모델이 겹쳐진 영상이 출력될 수 있다. 겹처진 영상은 색깔을 달리 하게 되면 육안으로 구분하기 쉽다. 예컨데, 흑백 초음파 영상에 개인화 모델은 파란색으로 중첩하게 되면 그래픽적인 모습을 육안으로 구별하기 용이할 수 있다.
상기 의료영상은 바람직하게는 실시간 영상을 촬영할 수 있는 영상이며, 예를 들면 초음파 영상이 있다. 상기 의료영상은 2차원 혹은 3차원 영상일 수 있다. 소정의 주기는 바람직하게는 1 호흡주기가 될 수 있다. 왜냐하면 신체의 호흡 주기동안 장기의 변화 또한 일정한 주기를 갖기 때문이다. 예컨데 환자의 1 호흡 주기를 5초라고 했을 때 초음파 영상을 1초당 20프레임 생성한다고 한다면, 100프레임의 영상이 생성될 수 있다.
영상 정합부(204)에서 영상을 정합하는 과정은 크게 두 단계로 나뉘어 질 수 있다. 소정의 주기 동안 입력되는 초음파 영상에서 호흡에 의한 장기의 변화를 3차원 장기 모델에 반영시키는 단계와 상기 변형이 반영된 3차원 장기 모델을 스케일 조정, 축회전 및 축이동을 해서 초음파 영상에서의 대상 장기와 정렬시키는 단계이다.
영상 정합부(204)가 호흡에 의한 장기의 변화를 3차원 장기 모델에 반영시키는 단계는 아래와 같다. 의료영상과 정합(match)하기 전에 초음파 영상의 경우를 예로 들면 초음파 영상의 각 프레임 별로 장기의 위치 및 변화를 파악하여 ASM(active shape models) 알고리즘의 파라미터인 비중(weight)값인 벡터b의 값을 조정한다. 이 때 결정되는 벡터b의 값은 상기 평균 모델 생성부(202)에서 결정된 벡터b의 값에서 크게 차이가 나지 않는다. 그 이유는 영상 정합부(204)는 상기 환자의 호흡에 의한 변화만이 반영되는데 호흡에 의한 장기의 형상 변화는 다른 개인과의 변화에 비해 작기 때문이다. 따라서 벡터b의 값을 결정할 때에 평균 모델 생성부(202)에서 결정된 벡터b의 값을 기초로 소정의 제한된 범위내에서의 변형만을 가해준다. 추가적으로 전 프레임의 벡터b는 다음 프레임의 벡터b를 결정하는데 반영할 수 있다. 왜냐하면 호흡과정에서의 장기의 변화는 연속적이므로 짧은 프레임 사이의 주기 동안 큰 변화가 없기 때문이다. 벡터b의 값을 결정하게되면 3차원 ASM(active shape models) 알고리즘의 연산에 의해 각 초음파 영상에 장기의 변형을 반영한 개인화 모델을 프레임별로 생성할 수 있다.
도 4는 영상 정합부(204)가 각 영상 별로 장기의 변형을 반영된 개인화 모델을 회전, 스케일 조정, 평행이동을 통해 초음파 영상에서의 장기의 위치와 일치시키는 과정의 흐름도를 나타낸 것이다. 상세하게는 각 프레임 별로 아이겐벡터의 비중(weight)값인 벡터b가 정해졌으면 각 프레임 별로 일대일 어파인 정합(affine registration)을 실시하는 흐름도를 나타낸 것이다. 프래임의 갯수를 N이라고 하고 n을 프레임 번호라고 한다면 n=1에서부터 n=N이 될 때 까지 일대일 정합(match)을 실시한다. 초음파 영상에서의 특징점(Landmark point) 집합과 모델의 특징점(Landmark point) 집합을 사용하여 각 프레임 별로 ICP(iterative closest point) 알고리즘을 이용해 어파인 변환함수(Taffine)을 획득하여 이를 이용하여 3차원 신체 장기 모델 영상을 변환한다. ICP(iterative closest point) 알고리즘이란 복수개의 영상 내의 대상체를 정렬시키기 위해서 하나의 영상을 기준으로 나머지 영상을 회전, 평행이동, 스케일 조정을 시키는 알고리즘이다. ICP(iterative closest point) 알고리즘은 "Iterative point matching for registration of free-form curves and surfaces" (Zhengyou Zhang 저)에 자세한 설명이 나와있다.
도 5는 2차원 영상에서 어파인 변환함수(Taffine)를 획득하는 방법을 간략하게 도시한것이다. 501은 변환을 적용하기 전에 상태이고, 502는 변환을 적용 후의 상태이다. 변환을 적용시에는 회전, 평행이동, 스케일 조정을 시켜야 하나 어파인 변환이 1:1 점대응이라는 것을 이용하면 아래의 수학식 9에 의해서 최초 좌표와 최종 좌표를 획득하면 바로 행렬 Taffine 의 계수를 결정할 수 있다.
Figure 112011069029181-pat00048
수학식 10은 2차원이 아닌 3차원 이상에서 획득한 어파인 변환함수(Taffine)를 각 프레임별로 적용시키는 식이다.
Figure 112011069029181-pat00049
n은 n번째 프레임을 뜻하고
Figure 112011069029181-pat00050
인 정수이다.
Figure 112011069029181-pat00051
은 영상 정합부(204)에서 비중(weight)값인 벡터b을 변화시킨 특징점 벡터을 뜻한다. 상기 형성된
Figure 112011069029181-pat00052
는 각 프레임별로 변형을 반영한 장기 경계와 내부 구조의 위치 좌표 정보가 있는데 이를 초음파 영상과 정합(match)할 때에 초음파 영상에서 상기 위치 좌표에 해당하는 복셀 값을 소정의 밝기 값으로 치환 혹은 중첩시키게 되면 육안으로 장기의 그래픽적인 모습을 확인할 수 있다.
도 6는 영상 정합부(204)에서 영상을 정합(match)하는 과정을 개략적으로 도시한 것이다. 도 6는 한 호흡 주기 동안에 입력된 초음파 영상을 토대로 영상 정합부(204)에서 입력된 소정 주기 동안의 의료영상과 신체 장기 모델간의 정합 영상을 형성하는 과정을 도시하였다. 입력된 초음파 영상은 도 6에서 왼쪽 가장자리에 배치되어 있으며, 입력된 초음파 영상에 (*)는 특징점을 표시한 것이다. 입력된 초음파 영상은 들숨에서 날숨에 이르기까지 호흡의 여러 형태를 반영해야 바람직하다.
개인화 모델 생성부(203)가 생성한 개인화 모델은 호흡에 따라서 그 형태가 변형 될 것이다. 하지만 호흡에 따른 변형은 개인간의 다양성에 의한 변형보다는 작을 것이다. 따라서 호흡에 따른 변형을 반영할 때에 3차원 ASM(active shape models) 알고리즘 파라미터의 값을 새로 구하는 것 보다 개인화 모델 생성부(203)에 의해 결정된 파라미터 값에서 조정하는 방법이 더 신속하고, 용이할 수 있다. 상기 변형을 반영한 장기 모델의 특징점과 초음파 영상의 장기에서의 특징점을 이용하여 ICP(iterative closest point) 알고리즘을 통한 어파인 변환함수(Taffine)를 적용한다. 어파인 변환을 통하게 되면 3차원 장기 모델의 크기와 위치가 초음파 영상내의 장기의 크기와 위치에 맞게 변할 수 있다. 변형된 모델을 초음파 영상에 합성을 하는 것은 모델의 위치에 해당하는 상기 초음파 영상의 픽셀(또는 복셀)값을 일정한 값으로 치환 또는 중첩하는 방법을 통해 할 수 있다. 한편, 정합된 영상을 초음파-모델정합영상이라 하고 스토리지(207)에 저장할 수 있다. 이 때 영상 정합부(204)에 입력되는 상기 소정 주기 동안의 의료 영상과 각 프래임별로 일대일로 대응(match)시켜 저장할 수 있다.
영상 검색부(205)는 실시간으로 입력되는 환자의 의료 영상을 입력받아, 이 의료 영상에 장기의 형상을 그래픽적으로 표현한 모델을 상기 의료 영상과 함께 출력한다. 이 때 우선 영상 검색부(205)가 입력받는 실시간 의료영상은 바람직하게는 영상 정합부(204)에서 입력받는 영상과 같은 영상이다. 따라서 상기 예와 마찬가지로 초음파 영상을 예로 들면, 영상 검색부(205)는 입력된 실시간 초음파 영상과 상기 영상 정합부(204)에 입력된 소정 주기 동안의 의료영상을 비교하여 가장 유사한 영상을 결정하고 결정된 영상과 대응되는 초음파-모델정합영상을 스토리지(207)에서 검색하여 출력한다. 이하 가장 유사한 영상을 결정하는 구체적 방법을 설명한다.
실시간 의료 영상이 입력되는 동안 환자의 장기의 위치와 형태는 호흡에 따라서 변형된다. 따라서 영상 검색부(205)는 실시간으로 입력되는 초음파 영상들로부터 상기 변형을 계산하고, 계산된 상기 변형에 기초하여 가장 적합한 초음파-모델 정합 영상을 스토리지(207)에서 검색한다.
도 7은 영상 검색부(205)가 실시간으로 입력되는 초음파 영상들과 가장 유사한 영상을 스토리지(207)에서 검색하는 과정의 흐름도이다. 도 7을 참조하면, 영상 검색부(205)가 상기 유사한 영상을 검색하는 과정은 다음과 같은 단계들로 구성된다. 701 단계에서 영상 검색부(205)는 실시간으로 입력되는 초음파 영상 내에서 일부 영역을 설정한다. 701 단계에서 영상 검색부(205)가 일부 영역을 설정하는 이유는 실시간으로 입력되는 초음파 영상들과 상기 스토리지(207)에 저장되어 있는 영상을 비교할 때에 상기 스토리지(207)에 저장된 전체 영상과 일대일 비교를 수행할 경우 처리해야 할 데이터 양이 방대해 지기 때문이다. 따라서 영상 검색부(205)는 일부 영역을 비교하여 영상끼리 비교를 수행하는데, 일부 영역만으로는 영상의 정확한 비교는 할 수 없다. 왜냐하면 영상 검색부(205)가 일부 영역을 분석하여 얻을 수 있는 정보는 장기의 위치 정보뿐이고, 영상 끼리 비교를 할 수 있는 정확한 정보는 얻을 수 없기 때문이다. 따라서 영상 검색부(205)는 상기 일부 영역으로부터 추출한 상기 장기의 위치정보를 이용해 상기 스토리지(207)에 저장된 전체 영상 중 일부의 영상으로 비교 범위를 한정하는 용도로 사용한다.(이하에서, 상기 일부 영역을 특징윈도우라고 한다.) 영상 검색부(205)가 일부 영역만으로는 정확한 비교를 할 수는 없지만, 장기의 위치와 형태의 변형 또한 호흡 주기에 따라 주기적인 것을 이용하면, 스토리지(207)의 영상 중 상기 장기의 위치 정보와 유사한 위치를 가지는 영상으로 한정할 수 있기 때문이다.
영상 검색부(205)가 특징윈도우를 선정할 때에는 호흡의 주기를 가장 잘 표현할 수 있는 영역을 선정해야 하므로 (1) 초음파 반사율이 좋은 영역이나, (2) 영상 내 조직중 또렷한 영역이 선정이 될 수 있다. 따라서 영상 검색부(205)는 복수 개의 후보 영역을 설정하고 후보 영역 중 가장 호흡의 주기를 잘 표현할 수 있는 영역을 특징윈도우로 선정할 수 있다. 영상 검색부(205)가 후보 영역을 설정할 때에는 의료 전문가로부터 후보점을 설정받게 되면 후보점을 포함한 복수 개의 후보 영역을 자동적으로 생성할 수 있다. 이 때 영상 검색부(205)가 후보 영역을 설정할 때에는 호흡의 주기적인 특성과 1차원 운동이라는 특성을 고려하여 일축이 다른 축보다 길도록 설정한 직사각형의 영역으로 잡는 것이 바람직할 것이다.
도 8은 초음파 영상에서 선택되어진 후보점의 위치를 표시한 도면이다. 도 8에서 육안으로 구별되어진 횡경막은 점선으로 표시되어 있다. 영상 검색부(205)는 회귀 분석을 이용하면 상기 점선으로 표시된 횡경막을 하나의 선으로 근사시킬 수 있는데 이 선은 도 8에 실선으로 표시되어 있다. 그리고 도 8에 (*)은 사용자로부터 선택되어진 후보점이다.
도 9는 도 8의 지정된 후보점에서 영상 검색부(205)가 후보 영역을 자동적으로 생성되는 하나의 실시예를 나타내고 있다. 영상 검색부(205)는 후보 영역의 긴 축의 길이가 바람직하게는 장기의 이동거리를 전부 포함할 수 있을 만큼 형성해야 한다. 따라서 한 호흡에서 장기의 이동거리가 20mm~ 40mm인 점을 기초로 하면, 후보 영역의 길이는 50mm~60mm 길이 혹은 그 이상이 바람직할 것이다. 짧은 축의 길이는 영상을 분석할 수 있을 정도의 길이가 되면 바람직하고, 너무 길게 되면 분석해야 할 후보 영역의 처리해야할 데이터 양이 방대해 질 수 있으므로 10mm 내지는 20mm 정도가 바람직 할 것이다. 영상 검색부(205)가 특징점을 포함하도록 영역을 설정할 때에는 직사각형 영역에서 중심이 특징점에 위치하도록 설정할 수 있고, 긴 축이 초음파 영상의 기본축과 이루는 각이 0도, 45도, 90도로 설정할 수 있다. 만일 횡경막과 같이 장기의 특징이 선형을 띄는 영역 위에 후보점이 지정될 경우(도 9에 도시) 영상 검색부(205)는 상기 횡경막을 회귀 분석을 이용하여 하나의 선으로 근사를 하고(도 8에 실선으로 표시), 회귀선이 긴 축과 수직이 되도록(도 9에서 ④번 후보 영역) 후보 영역을 설정할 수 있다. 도 9의 ④번 후보 영역이 중요한 의미를 가질 수 있는 이유는 선형 특징을 가지는 장기들의 운동 방향이 선형 방향과 직각으로 운동하기 때문이다.
도 10는 실제 초음파 영상에서 특징윈도우의 후보 영역들을 나타낸 것이다. 영상 검색부(205)는 복수 개의 후보 영역 중 가장 호흡 주기를 잘 표현할 수 있는 후보 영역을 특징윈도우를 선택할 수 있다. 복수 개의 후보 영역 중에서 호흡의 특성을 잘 표현할 수 있기 위해서는 첫째, 호흡에 의한 장기의 최대 움직임이 크며 둘째, 초음파 영상에서 노이즈의 영향을 가장 적게 받아야 할 것이다.(이하, 노이즈 레벨의 높낮음으로 표현) 따라서 영상 검색부(205)는 위 두 가지 특성을 데이터화 시켜 복수 개의 각 후보 영역의 점수를 계산하고 가장 점수가 높은 후보 영역을 특징윈도우로 선택할 수 있다.
도 11은 도 10에 표시된 후보 영역에서 장기의 움직임을 도시한 그림이다. 도 11에서의 x축은 실시간으로 입력되는 초음파 영상에서의 프레임의 넘버(Number)이고 y축은 상기 후보 영역에서의 장기 일부의 상대적인 위치다. 이 6개의 후보 영역의 예에서 영상 검색부(205)는 위 두 가지 특징을 반영하여 후보 영역을 결정할 수 있다. 우선 영상 검색부(205)가 노이즈 레벨(level)을 먼저 고려한다면 5번째(Window E), 6번째(Window F) 후보 영역은 노이즈의 레벨이 높은 후보 영역이라 결론낼 수 있다. 따라서, 영상 검색부(205)가 특징윈도우로의 선정에서 상기 두 후보 영역을 제외할 수 있다. 그리고 영상 검색부(205)가 나머지 1번째(Window A) 내지 4번째(Window D) 영역을 비교할 때에 노이즈의 영향은 비슷하다고 보이는데 3번째(Window C) 영역이 나머지 영역보다 더 움직임이 크다고 계산할 수 있다. 따라서 영상 검색부(205)가 여기서 6개의 후보 영역을 예로 들었을 때에 3번째(Window C) 후보 영역을 특징윈도우로 선정할 수 있다. 이하, 영상 검색부(205)가 상기 특징윈도우를 선정하는 과정을 수식적으로 설명한다.
영상 검색부(205)가 첫 번째 특징인 장기의 호흡 주기 동안 최대 움직임을 구할 때에는, 각 후보 영역 내에 장기 일부분의 한 호흡 주기 동안 최대 움직임을 측정해 구할 수 있다. 예를 들면, 영상 검색부(205)가 가장 밝기가 밝은 지점이 한 호흡 주기 동안 후보 영역에서 최대로 변하는 움직임을 구해, 후보 영역 내에서 상기 최대 움직임을 계산할 수 있다. 혹은 반대로 영상 검색부(205)가 가장 밝기가 어두운 지점으로 최대 움직임을 계산할 수도 있다. 바람직하게는 영상 검색부(205)가 후보 영역에서 긴축에 해당하는 최대 움직임을 파악하는 것이 1차원적인 운동을 파악하는데 좋다. 만일 상기 예처럼 영상 검색부(205)가 후보 영역에서 가장 밝기가 밝은 지점의 움직임을 측정한다고 한다고 한다. 이때 영상 검색부(205)가 한 호흡 주기(=T) 동안 N번의 샘플링을 한다면, 영상은 N개가 생성이 되며 n는 정수이고,
Figure 112011069029181-pat00053
으로 설정할 수 있다. 영상 검색부(205)는 후보 영역 내에서 장기 일부분의 위치를 나타내야 하는데, 각 후보 영역에서 긴축의 중간을 기준으로 한 가장 장기의 위치를 m(n)이라 표현할 수 있다. 만일 m(n)=0이라면 (n+1)번 째 영상에서 장기의 위치는 긴축에서 중간에 위치, m(n)>0이라면 중간에서 윗부분에 위치, m(n)<0이라면 중간을 기준으로 아랫부분에 위치한다고 나타낼 수 있다. 위치가 가장 큰 지점을 Max{m(n)}, 위치가 가장 작은 지점을 min{m(n)}이라 하면 영상 검색부(205)는 한 주기동안 최대 움직임(S1i)을 아래 수학식 11과 같이 표현할 수 있다.
Figure 112011069029181-pat00054
여기서 아래 첨자 i는 i번 째 후보 영역을 나타내며, 만일 후보 영역이 M개라면 i는
Figure 112011069029181-pat00055
내의 정수를 가질 것이다.
영상 검색부(205)은 두 번째 특징인 후보 영역 내 초음파 영상의 노이즈 레벨(level)을 상기 m(n)의 2계 미분(가속도)의 분산을 통해서 구할 수 있다. 영상 검색부(205)는 만일 후보 영역 내 노이즈가 많다면, 그만큼 노이즈의 영향으로 위치의 변화가 더 심해지기 때문에 역으로 가속도의 분산이 크다면 노이즈가 많다고 추정할 수 있다. 따라서 영상 검색부(205)는 m(n)의 2계 미분을 통해서 노이즈 레벨(level)을 수치화 할 수 있는 척도로 활용 할 수 있다.
하지만, m(n)은 영상 검색부(205)가 초음파 영상 후보 영역에서의 위치를 샘플링(sampling)한 불연속적인 데이터이기 때문에 미분을 구하는 과정이 아래와 같을 것이다.
Figure 112011069029181-pat00056
단, k는
Figure 112011069029181-pat00057
인 정수일 것이다.
그러면, 2계미분은 위와 마찬가지로 아래 수학식 13으로 계산할 수 있을 것이다.
Figure 112011069029181-pat00058
단, l은
Figure 112011069029181-pat00059
인 정수일 것이다.
그렇게 되면 2계 미분의 분산은 아래 수학식 14일 것이다.
Figure 112011069029181-pat00060
i번째 후보 영역의 분산의 역수를 S2i라고 하면, 수학식 15와 같이 쓸수 있다.
Figure 112011069029181-pat00061
노이즈가 많을 수록 분산이 커지기 때문에 그 역수인 S2i는 작아질 것이다. (결국 노이즈가 작을 수록 좋은 후보 영역이기 때문에 S2i는 커야 할 것이다.)
그러면, 영상 검색부(205)는 위 두가지 특성의 점수를 모두 반영하기 위해서 아래 수학식 16과 선형계수 p를 이용하여 두가지 특성의 가중치(weight)를 조절해 후보 영역 i의 최종 점수 Wi를 얻을 수 있다.
Figure 112011069029181-pat00062
p는 S1i과 S2i의 가중치(weight)수치로써, 가장 적합한 p의 값을 실험적으로 결정하여 영상 검색부(205)에 입력될 수 있다. Max{S1i}은 후보 영역에서 가장 큰 S1i를 갖는 값을 의미하며, S1i을 Max{S1i}로 나누어서 정규화(normalization)할 수 있다. Max{S2i}도 마찬가지로 정규화(normalization)하기 위함이다. 상기 방법으로 각 후보 영역 별로 점수인 Wi를 계산하여 가장 큰 후보 영역을 특징윈도우로 지정할 수 있다.
702단계는 영상 검색부(205)가 환자의 호홉이 들숨인지, 날숨인지 여부(이하, 호흡의 상태(respiration phase)라 한다.)를 파악하는 단계이다. 영상 검색부(205)가 호흡의 상태를 파악하는 이유는 들숨 또는 날숨에 따라 장기의 이동속도도 틀리고 변형하는 형태도 다르기 때문이다. 영상 검색부(205)가 실시간으로 입력되는 초음파 영상이 환자의 날숨상태라고 파악되었다면, 영상 검색부(205)가 상기 스토리지(207)에서 초음파-모델 정합 영상을 검색할 때 범위를 날숨상태의 데이터만으로 한정한다. 들숨일 때에도 영상 검색부(205)는 마찬가지 과정으로 검색을 할 수 있다. 영상 검색부(205)가 환자의 호흡의 상태를 파악하게 될 경우 검색 범위가 작아져 빠르게 검색할 수 있고, 같은 호흡의 상태끼리 비교를 해 정밀하게 장기를 추적할 수 있다.
영상 검색부(205)가 호흡이 들숨인지 날숨인지 여부를 파악하는 하나의 실시예는 아래와 같다. 도 12은 특징윈도우로 선정된 영역에서의 장기의 움직임을 그래프로 나타낸 것이다. 따라서 도 11의 후보 영역과 마찬가지로 x축은 실시간 초음파 영상의 프레임 넘버(Number)이고 y축은 상기 후보 영역에서의 장기 일부의 상대적인 위치다. 영상 검색부(205)는 환자가 숨을 들이마시게 되면 장기의 움직임이 위로 이동하므로 기울기가 양수인 부분이 들숨, 반대로 기울기가 음수인 부분이 날숨이라고 판단할 수 있다. 이를 좀더 데이터적으로 접근하면 영상 검색부(205)는 상기 데이터의 기울기(
Figure 112011069029181-pat00063
)가 정해진 기울기T(
Figure 112011069029181-pat00064
, 식별번호 111)이상이면 들숨(
Figure 112011069029181-pat00065
), 데이터의 기울기가 정해진 기울기 이하이면 날숨(
Figure 112011069029181-pat00066
, 식별번호 112)이라 결정할 수 있다.
Figure 112011069029181-pat00067
일 경우는 영상 검색부(205)는 들숨-날숨전환, 혹은 날숨-들숨전환 구간으로 결정할 수 있는데, 이 구간 전에 들숨이었다면 들숨-날숨전환 구간일 것이고, 이 구간 전에 날숨이었다면 날숨-들숨전환 구간으로 결정할 수 있다.
상기 데이터의 기울기
Figure 112011069029181-pat00068
를 구할 때 상기 전 단계에서 설정된 특징윈도우에서의 장기의 상대적인 위치를 m(n)이라고 설정했는데, 이 값은 불연속적인 값이며 노이즈가 섞여있음을 고려해야 한다. 도 13은 도 12에서의 일부 영역을 확대한 것이다. 영상 검색부(205)는 초음파 영상의 노이즈 영향으로 인해 샘플링된 데이터의 기울기를 바로 구할 수 없고, 노이즈를 제거한 후에 구할 수 있다. 영상 검색부(205)가 노이즈를 제거하기 위해서 구하고자 하는 지점 일정 시간전의 데이터를 회귀 분석을 이용하여 선으로 표현하고 선의 기울기를 측정할 수 있다. 영상 검색부(205)는 기울기를 구하고자 하는 지점이 N이면, 그 전의 임의의 간격을 m으로 잡으면 도 13에서의 x축 좌표를 나열하면 아래와 같이 수학식 17의 벡터 X(크기
Figure 112011069029181-pat00069
)로 표현할 수 있다.
Figure 112011069029181-pat00070
수학식 17과 마찬가지로 y축에 대해서도 샘플링된 데이터를 F벡터(크기
Figure 112011069029181-pat00071
)로 놓으면
Figure 112011069029181-pat00072
그리고 이 직선의 기울기를
Figure 112011069029181-pat00073
라고 놓게 되면 영상 검색부(205)는 위 두 벡터를 이용하여 수학식 19의 직선의 방정식을 사용할 수 있다.
Figure 112011069029181-pat00074
여기서 B백터는 y절편 벡터로써,
Figure 112011069029181-pat00075
크기를 갖고 있고, 모든 성분의 값이 b(y절편)로 일정하다.
Figure 112011069029181-pat00076
수학식 19의 또다른 표현으로는, 아래 수학식 21과 같이 표현할 수 있다.
Figure 112011069029181-pat00077
그러면 여기서 기울기
Figure 112011069029181-pat00078
를 임의의 기울기 h로 변형하게 되면 아래 수학식 22와 같이 부등식으로 쓸 수 있다. 왜냐하면 임의의 기울기 h가 직선의 기울기
Figure 112011069029181-pat00079
와 같아지게 된다면
Figure 112011069029181-pat00080
와 같아지게 될 것이므로 최소값이 될 수 있기 때문이다.
Figure 112011069029181-pat00081
여기서 벡터의 절대값
Figure 112011069029181-pat00082
이 의미하는 것은 벡터의 크기인데 각 성분의 제곱의 합에 루트를 씌운것을 말하며
Figure 112011069029181-pat00083
를 예로 들 경우, 수학식 23과 같이 표현할 수 있다.
Figure 112011069029181-pat00084
따라서 영상 검색부(205)가
Figure 112011069029181-pat00085
이 최소값이 되는 h의 값을 구하면 그 h의 값이 기울기
Figure 112011069029181-pat00086
값이 될 것이다. 이를 수학식 24로 표현할 수 있다.
Figure 112011069029181-pat00087
수학식 24를 미분한 값이 0이 되도록 하는 h의 값을 구하게 되면(수학식 25) 수학식 26의 결과를 얻게 된다.
Figure 112011069029181-pat00088
인 h의 값을 구하게 되면 수학식 26과 같이 된다.
Figure 112011069029181-pat00089
수학식 22 내지 26에서의 방법으로 702 단계에서는 영상 검색부(205)는 선형 회귀분석(linear regression analysis)을 이용한 직선의 기울기
Figure 112011069029181-pat00090
를 이용하여 일정한 기울기 T와의 값을 비교하여 들숨, 날숨인지를 판단하여, 만일 들숨이라면 스토리지(207)에서 초음파-모델 정합 영상 중 들숨영역의 정합 영상 데이터 영역으로, 날숨이라면 날숨영역의 데이터 영역으로 데이터 범위를 한정한다. 회귀분석(回歸分析, regression analysis)은 통계학에서 관찰된 연속형 변수들에 대해 독립변수와 종속변수 사이의 인과관계에 따른 수학적 모델인 선형적 관계식을 구하여 어떤 독립변수가 주어졌을 때 이에 따른 종속변수를 예측한다.
영상 검색부(205)의 702 단계의 호흡의 상태를 파악하는 방법 중 또 다른 실시예는 아래와 같다. 도 14는 호흡의 상태를 파악하는 또 다른 실시예를 도시한 도면이다. 도 14를 살펴보면 영상 검색부(205)는 특징윈도우에서 장기의 위치 m(n)이 소정의 상한 임계값 XT(식별부호 141) 이상이면 들숨-날숨 전환(Inspiration-Expiration Transition)이고 소정의 하한 임계값 XB(식별부호 142) 이하이면 날숨-들숨 전환(Expiration-Inspiration Transition)이라 결정할 수 있다. 다만 상기 위치 데이터인 m(n)은 불연속적인 데이터이고 노이즈의 영향이 있는 바, 영상 검색부(205)는 주변 데이터와의 비교를 통해 오차를 수정할 수 있다. 예를 들면 영상 검색부(205)는 m(1)~m(20), m(22)~m(30)의 데이터 모두 날숨-들숨 전환(Expiration-Inspiration Transition)인데 m(21)이 들숨 일정값 XB 이상이라 해도, 주변 데이터를 고려하여 m(21)이 날숨-들숨 전환(Expiration-Inspiration Transition)과정이라 수정할 수 있다. 이 전환과정을 파악했으면 들숨과 날숨의 구별은
Figure 112011069029181-pat00091
내의 영상 중 전 과정이 날숨-들숨 전환(Expiration-Inspiration Transition)과정이라면 현재 과정은 들숨, 전 과정이 들숨-날숨 전환(Inspiration-Expiration Transition)이면 현재 과정은 날숨이 될 수 있다.
703 단계는 영상 검색부(205)가 특징윈도우에서 장기의 상대적인 위치를 계산한다. 영상 검색부(205)는 상기 스토리지(207)에 저장되어 있는 초음파-모델 정합 영상 중 계산한 상기 위치와 근접한 위치의 장기 영상들로 검색 범위를 제한한다. 영상 검색부(205)가 검색을 할 영역을 좁혀나가는 과정이다. 만약 영상 검색부(205)가 날숨 구간에서의 실시간 의료영상에서 특징윈도우에서의 상기 장기의 위치를 파악하면, 스토리지(207)의 날숨 데이터 영역에서 상기 파악된 장기의 위치와 같은 위치의 초음파-모델 정합 영상을 결정하고 이 결정된 영상의 프래임 전,후에 일정 간격의 프래임으로 검색 범위를 한정한다.
704 단계에서 영상 검색부(205)는 702, 703 단계에서 스토리지(207)에 저장된 초음파-모델 정합 영상 데이터 영역을 한정한 영상 내에서 실시간 초음파 영상과 가장 유사한 영상을 정밀하게 검색한다. 영상 검색부(205)가 정밀하게 검색하는 방법은 특징 검출 알고리즘을 활용한 검출방법일 수 있다.
도 15는 영상 검색부(205)가 704 단계에서 특징 검출 알고리즘을 활용한 검색 방법의 과정을 나타낸 흐름도이다. 도 15의 검색 방법은 세 가지 단계로 진행될 수 있다. 151 단계는 영상 검색부(205)가 비교 대상인 두 영상의 특징점(Feature detector)을 추출하는 단계이다. 여기서 두 영상이란, 실시간 초음파 영상과 스토리지(207)에 저장되어 있는 초음파-모델 정합 영상을 말한다. 특징점(Feature detector)이란 전체 영상이나 영상내의 목표물의 특징을 잘 표현할 수 있는 지점을 의미하며, 한 개 혹은 두 개 이상 설정이 가능하다. 영상 검색부(205)가 특징점(Feature detector)을 설정하는 방법으로는 상기 ASM(Active Shape Model) 알고리즘을 적용하기 위해 지정한 방법과 같이 수동으로 설정이 가능하며 자동으로도 특징점(Feature detector)의 설정이 가능하다. 영상 검색부(205)가 자동으로 설정하기 위해서는 알고리즘을 활용할 수 있는데 이는 공지 기술인 해리스 코너 알고리즘(Harris corner Algorithm)을 활용하여 검출할 수 있다. 해리스 코너 알고리즘(Harris corner Algorithm)은 1988년에 발표된 논문인 "A combined corner and edge detector"(C. Harris and M. Stephens 저)에 자세히 나와있다. 혹은 영상 검색부(205)가 영상에서 경계(edge)가 되는 부분을 추출하면 상기 특징점(Feature detector)과 같은 역할을 할 수 있다. 왜냐하면 의료 영상에서는 경계부분이 주로 장기의 외곽이나 병변의 형태등을 나타내기 때문에 주요한 특징을 갖기 때문이다. 따라서 영상 검색부(205)가 디퍼런스 오브 가우시안(Difference of Gaussian)을 활용해 경계를 추출하여 상기 특징점(Feature detector)과 같은 역할을 할 수 있다.
152 단계에서는 영상 검색부(205)가 상기 추출된 특징점의 국부 기술자(local descriptor)를 사용할 수 있다. 국부 기술자(local descriptor)란, 점 주변의 영상의 특징을 데이터화해서 표현한 것으로써, 영상 검색부(205)가 특징점끼리 국부 기술자(local descriptor)를 비교하면 어느 영상이 비슷한 지 판단할 수 있다.
153 단계는 영상 검색부(205)가 비교 대상 영상의 상기 각 특징점(Feature detector) 별로 국부 기술자(local descriptor)를 생성하여 비교하여 정밀하게 가장 유사한 영상을 검색하는 단계이다. 영상 검색부(205)는 국부 기술자(local descriptor)를 SIFT, SURF(Speeded Up Robust Features) 알고리즘 등을 활용하여 구할 수 있다. SIFT 알고리즘은 2004년에 발표된 논문인 "Distinctive Image Features from Scale-Invariant Keypoints"(David G. lowe 저)에, SURT 알고리즘은 2006년에 발표된 논문인 "SURF : Speeded Up Robust Features" (Herbert Bay, Tinne Tuytelaars, Luc Van Gool 저)에 자세히 나와있다.
영상 검색부(205)가 실시간 초음파 영상을 입력받아, 이 실시간 초음파 영상과 가장 유사한 영상을 결정하는 또 다른 실시예는 아래와 같다. 실시간 초음파 영상 내에 장기의 형상이 상대적으로 뚜렷한 부분의 위치를 측정하고, 이를 비교 대상 초음파-모델 정합영상에서 같은 부분의 위치를 측정하여, 영상 검색부(205)는 측정된 두 위치의 거리 차이가 가장 작은 영상을 결정할 수 있다. 예를 들면 간 주위의 실시간 초음파 영상에서 횡격막의 부분이 상대적으로 뚜렷한 부분일 수 있다.
한편, 추가 조정부(206)는 영상 검색부(205)가 출력한 영상을 본 사용자에 의해 추가적으로 조정을 요청 받으면 어파인 변환함수(Taffine), 3차원 ASM(active shape models) 알고리즘의 파라미터를 조정하여 최종 출력 결과를 조정할 수 있다.
도 16는 3차원적 장기 모델 기반의 동적 장기와 병변 추적 방법의 전체적인 흐름도를 나타낸 것이다. 802 단계와 803 단계는 기처리된 데이터 베이스화되어질 수 있다. 802단계는 평균 모델 생성부(202)가 다양한 개인에 대해 각 개인의 다양한 호흡 주기에 대한 CT(computed tomograhpy) 혹은 MR(magnetic resonance)영상을 입력받는다. 803단계는 평균 모델 생성부(202)가 입력받은 영상을 토대로 3차원 신체 장기 모델을 생성하는데 3차원 ASM(active shape models) 알고리즘을 사용할 수 있음은 상기 설명한 바 있다.
801단계는 개인화 모델 생성부(203)가 환자 개인의 CT(computed tomograhpy) 혹은 MR(magnetic resonance)영상을 입력받는다. 804단계는 개인화 모델 생성부(203)가 입력받은 영상을 기초로 상기 803단계에서 생성된 3차원 신체 장기 모델을 변형시킨다. 상기 개인화 모델 생성부(203)가 개인화된 3차원 신체 장기 모델을 생성하는 과정은 준비과정으로 시술실 밖에서도 행하여 질 수 있다. 805단계는 영상 정합부(204)가 환자 1 호흡 주기 동안의 초음파 영상(이하, 제 1 초음파 영상이라 한다.)이 입력되고, 상기 제 1 초음파 영상과 상기 개인화된 신체 장기 모델과 정합(match)한다. 영상 정합부(204)가 정합된 영상을 초음파-모델정합영상이라 하고, 일시적 메모리에 저장할 수도 있고 스토리지와 같은 저장매체에 저장할 수도 있다. 상기 805단계는 영상 정합부(204)가 시술실 내의 준비과정으로 행할 수 있다. 또한 805단계와 806단계의 환자와 프로브의 위치는 고정되어 있음이 바람직하다. 806단계에서 영상 검색부(205)가 시술실에서의 실시간 단계로써 실시간으로 환자의 초음파 영상(제 2 초음파 영상)이 입력되면 상기 초음파 영상과 가장 유사한 상기 제 1 초음파 영상이 결정되고 상기 결정된 제 1 초음파 영상에 대응하는 초음파-모델 정합영상을 출력한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
11: 프로브 10: 영상 검출 장치
20: 영상 정합 장치 30: 영상 표시 장치

Claims (18)

  1. 장기 영상 생성 장치가 장기 영상을 생성하는 방법에 있어서,
    환자의 적어도 하나의 장기를 나타내는 제 1 의료 영상에 기초하여 상기 적어도 하나의 장기의 3차원 모델을 생성하는 단계;
    상기 환자의 신체 활동에 따른 상기 적어도 하나의 장기의 형태적 변화를 나타내는 복수 개의 영상들과 상기 장기의 3차원 모델을 정합함으로써 복수 개의 정합 영상들을 생성하는 단계; 및
    상기 환자의 제 2 의료 영상의 일부 영역에 기초하여 상기 정합 영상들 중 어느 하나를 선택하여 출력하는 단계를 포함하는 장기 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 출력하는 단계는
    상기 제 2 의료 영상 내에서 복수 개의 후보 영역들을 설정하는 단계;
    상기 후보 영역들 중 어느 하나를 선택하는 단계; 및
    상기 선택된 후보 영역에 기초하여 상기 정합 영상들 중 어느 하나를 선택하여 출력하는 단계를 포함하는 장기 영상 생성 방법.
  3. 제 2 항에 있어서,
    상기 후보 영역을 설정하는 단계는
    사용자로부터 상기 제 2 의료 영상 내에서 적어도 하나의 위치를 입력받는 단계;
    상기 후보 영역들로서 상기 위치를 기초로 하는 기본 축에 대하여 서로 다른 각을 갖는 일정 형태의 영역들을 설정하는 단계를 포함하는 장기 영상 생성 방법.
  4. 제 2 항에 있어서,
    상기 선택하는 단계는 상기 후보 영역들 각각에서의 환자의 들숨-날숨 간 상기 장기의 이동 거리를 기초로 상기 후보 영역들 중 어느 하나를 선택하는 장기 영상 생성 방법.
  5. 제 2 항에 있어서,
    상기 선택하는 단계는 상기 후보 영역들 각각의 노이즈 레벨(level)을 기초로 상기 후보 영역들 중 어느 하나를 선택하는 장기 영상 생성 방법.
  6. 제 2 항에 있어서,
    상기 선택하는 단계는 상기 후보 영역들 각각에서의 환자의 들숨-날숨 간 상기 장기의 이동 거리와 상기 후보 영역들 각각의 노이즈 레벨(level)을 조합한 결과를 기초로 상기 후보 영역들 중 어느 하나를 선택하는 장기 영상 생성 방법.
  7. 제 6 항에 있어서,
    상기 선택하는 단계는 소정의 가중치들이 적용된 상기 이동 거리와 상기 노이즈 레벨(level)을 조합한 결과를 기초로 상기 후보 영역들 중 어느 하나를 선택하는 장기 영상 생성 방법.
  8. 제 1 항에 있어서,
    상기 선택하여 출력하는 단계는
    상기 제 2 의료 영상에서 환자의 호흡의 상태를 판단하는 단계; 및
    상기 판단된 호흡의 상태를 기초로 상기 정합 영상들 중 어느 하나를 선택하여 출력하는 단계를 포함하는 장기 영상 생성 방법.
  9. 제 8 항에 있어서,
    상기 판단하는 단계는 상기 제 2 의료 영상 내에서 복수 개의 후보 영역들을 설정하고 상기 후보 영역들 각각에서의 환자의 들숨-날숨 간 상기 장기의 이동 경로의 기울기를 기초로 환자의 호흡의 상태를 판단하는 장기 영상 생성 방법.
  10. 제 9 항에 있어서,
    상기 호흡의 상태를 판단하는 단계는 상기 장기의 이동 경로의 기울기가 제 1의 소정의 값 이상일 때에는 들숨 상태, 상기 장기의 이동 경로의 기울기가 제 2의 소정의 값 이하일 때에는 날숨 상태, 상기 장기의 이동 경로의 기울기가 제 1의 소정의 값과 제 2의 소정의 값 사이의 값일 때에는 상기 들숨 상태와 상기 날숨 상태 간의 전환 상태로 판단하는 장기 영상 생성 방법.
  11. 제 10 항에 있어서,
    상기 호흡의 상태를 판단하는 단계는
    상기 장기의 속도가 제 1의 소정의 값과 제 2의 소정의 값 사이일 때 호흡의 전 상태에 따라, 호흡의 전 상태가 들숨 상태라면 현 상태는 상기 들숨 상태에서 상기 날숨 상태로 전환되는 상태이고, 호흡의 전 상태가 날숨 상태라면 현 상태는 상기 날숨 상태에서 상기 들숨 상태로 전환되는 상태라고 판단하는 장기 영상 생성 방법.
  12. 제 8 항에 있어서,
    상기 호흡의 상태를 판단하는 단계는
    상기 제 2 의료 영상 내에서 복수 개의 후보 영역들을 설정하고, 상기 후보 영역들 내 장기의 위치가 상한 임계값 이상이면 들숨 상태에서 날숨 상태로 전환되는 상태라고 판단하고, 상기 후보 영역들 내 장기의 위치가 하한 임계값 이하이면 날숨 상태에서 들숨 상태로 전환되는 상태라고 판단하고, 상한 임계값과 하한 임계값 내의 값이면 전 단계의 전환 상태 종류에 따라서, 전 상태가 상기 들숨 상태에서 날숨 상태로 전환되는 상태일 때에는 현 상태를 날숨 상태, 전 상태가 상기 날숨 상태에서 들숨 상태로 전환되는 상태일 때에는 현 상태를 들숨 상태라고 판단하는 장기 영상 생성 방법.
  13. 제 1 항에 있어서,
    상기 선택하여 출력하는 단계는 상기 제 2 의료 영상의 특징점(Feature detector)을 추출하는 단계; 및
    상기 추출한 특징점(Feature detector)의 국부 기술자(local descriptor)를 기초로 상기 정합 영상들 중 어느 하나를 선택하여 출력하는 단계를 포함하는 장기 영상 생성 방법.
  14. 환자의 적어도 하나의 장기를 나타내는 제 1 의료 영상을 기초로 상기 적어도 하나의 장기의 3차원 모델을 생성하는 장기 모델 생성부;
    환자의 신체 활동에 따른 적어도 하나의 장기의 형태적 변화를 나타내는 복수 개의 영상들과 상기 장기의 3차원 모델을 정합한 복수 개의 정합 영상들을 생성하는 영상 정합부; 및
    상기 환자의 제 2 의료 영상의 일부 영역에 기초하여 상기 정합 영상들 중 어느 하나를 선택하는 영상 검색부를 포함하는 장기 영상 생성 장치.
  15. 제 1 항에 있어서,
    상기 출력하는 단계는 상기 복수 개의 영상의 횡격막의 위치와 상기 제 2 의료 영상의 횡격막의 위치의 차이를 계산하여, 가장 차이가 작은 영상에 대응하는 정합 영상을 선택하는 장기 영상 생성 방법.
  16. 제 1 항에 있어서,
    상기 3차원 모델을 생성하는 단계는 상기 제 1 의료 영상에서 장기의 경계와 내부 구조의 위치 좌표 정보를 추출하는 단계;
    특징점(Landmark points)의 좌표를 상기 위치 좌표 정보 내에서 지정하는 단계;
    상기 특징점(Landmark points)의 좌표를 기초로 통계적인 외관 모델을 생성하는 단계; 및
    상기 통계적인 외관 모델을 환자 장기의 형태적 특성을 반영한 모델로 변형하는 단계를 포함하는 장기 영상 생성 방법.
  17. 제 16 항에 있어서,
    상기 형태적 특성은 병변의 형태와 위치를 더 포함하는 장기 영상 생성 방법.
  18. 제 1 항 내지 제 13 항 및 제 15 항 내지 제 17 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.


KR1020110089388A 2011-09-05 2011-09-05 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치 KR101982149B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110089388A KR101982149B1 (ko) 2011-09-05 2011-09-05 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
US13/550,735 US9087397B2 (en) 2011-09-05 2012-07-17 Method and apparatus for generating an image of an organ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110089388A KR101982149B1 (ko) 2011-09-05 2011-09-05 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130026041A KR20130026041A (ko) 2013-03-13
KR101982149B1 true KR101982149B1 (ko) 2019-05-27

Family

ID=47752788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110089388A KR101982149B1 (ko) 2011-09-05 2011-09-05 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US9087397B2 (ko)
KR (1) KR101982149B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021125889A1 (ko) * 2019-12-20 2021-06-24 (주)시안솔루션 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10667790B2 (en) 2012-03-26 2020-06-02 Teratech Corporation Tablet ultrasound system
US9877699B2 (en) 2012-03-26 2018-01-30 Teratech Corporation Tablet ultrasound system
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
RU2530220C1 (ru) * 2013-03-18 2014-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
CN103679810B (zh) * 2013-12-26 2017-03-08 海信集团有限公司 肝部ct图像的三维重建方法
KR102250086B1 (ko) * 2014-05-16 2021-05-10 삼성전자주식회사 의료 영상 정합 방법, 이를 포함하는 장치 및 컴퓨터 기록 매체
KR102446343B1 (ko) * 2015-06-15 2022-09-22 삼성메디슨 주식회사 초음파 장치 및 그 제어방법
US10127655B2 (en) * 2015-07-09 2018-11-13 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
GB2542114B (en) * 2015-09-03 2018-06-27 Heartfelt Tech Limited Method and apparatus for determining volumetric data of a predetermined anatomical feature
JP6860000B2 (ja) * 2016-03-03 2021-04-14 ソニー株式会社 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
JP2018015022A (ja) * 2016-07-25 2018-02-01 コニカミノルタ株式会社 医用画像処理装置
KR102592905B1 (ko) * 2016-12-21 2023-10-23 삼성전자주식회사 엑스선 영상 촬영 장치 및 제어방법
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP6829437B2 (ja) * 2017-03-03 2021-02-10 国立大学法人 東京大学 生体内運動追跡装置
KR102704243B1 (ko) * 2018-11-22 2024-09-09 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
KR20200075623A (ko) * 2018-12-18 2020-06-26 (주)제노레이 2차원 의료 영상 및 3차원 의료 영상의 정합을 이용한 치과 치료 계획 장치 및 방법
TWI720398B (zh) * 2019-01-03 2021-03-01 國立陽明大學 用於肋膜訊號分析辨識、追蹤測距及顯示的合併方法及其內針超音波系統
KR102240184B1 (ko) * 2019-05-15 2021-04-14 고려대학교 산학협력단 해부학적 구조의 모델 생성 시스템 및 이를 포함하는 의료 도구 가이드 시스템
JP7209113B2 (ja) * 2019-12-10 2023-01-19 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20220253637A1 (en) * 2021-02-11 2022-08-11 International Business Machines Corporation Patch generation in region of interest

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081712A1 (en) 2005-10-06 2007-04-12 Xiaolei Huang System and method for whole body landmark detection, segmentation and change quantification in digital images

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674894B1 (en) * 1999-04-20 2004-01-06 University Of Utah Research Foundation Method and apparatus for enhancing an image using data optimization and segmentation
JP2002369888A (ja) 2001-06-15 2002-12-24 Mitsubishi Electric Corp 放射線照射ターゲットの三次元動き推定方法および放射線照射システム
GB0219408D0 (en) * 2002-08-20 2002-09-25 Mirada Solutions Ltd Computation o contour
US7558402B2 (en) 2003-03-07 2009-07-07 Siemens Medical Solutions Usa, Inc. System and method for tracking a global shape of an object in motion
US20050096543A1 (en) * 2003-11-03 2005-05-05 Jackson John I. Motion tracking for medical imaging
EP1712183A4 (en) 2003-12-16 2009-07-08 Hitachi Medical Corp ULTRASONOGRAPHIC BIOLOGICAL MOTION DETECTION DEVICE, IMAGE PRESENTATION DEVICE USING THE SAME, AND TREATMENT DEVICE
WO2005120373A1 (ja) 2004-06-11 2005-12-22 Hitachi Medical Corporation 超音波治療装置
JP3932303B2 (ja) * 2005-05-13 2007-06-20 独立行政法人放射線医学総合研究所 臓器動態の定量化方法、装置、臓器位置の予測方法、装置、放射線照射方法、装置及び臓器異常検出装置
JP4473779B2 (ja) 2005-05-23 2010-06-02 株式会社東芝 超音波診断装置及びその画像処理方法
US7713205B2 (en) 2005-06-29 2010-05-11 Accuray Incorporated Dynamic tracking of soft tissue targets with ultrasound images, without using fiducial markers
JP5031758B2 (ja) * 2006-10-04 2012-09-26 株式会社日立メディコ 医用画像診断装置
KR20080053057A (ko) * 2006-12-08 2008-06-12 주식회사 메디슨 초음파 영상과 외부 의료영상의 혼합영상을 형성 및디스플레이하기 위한 초음파 영상 시스템 및 방법
RU2009139916A (ru) * 2007-03-29 2011-05-10 Конинклейке Филипс Электроникс Н.В. (Nl) Способ и устройство для получения объединенных рентгеновских изображений
US8406491B2 (en) * 2008-05-08 2013-03-26 Ut-Battelle, Llc Image registration method for medical image sequences
US8111892B2 (en) * 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
US8781183B2 (en) * 2009-03-31 2014-07-15 Mitsubishi Electric Research Laboratories, Inc. Enhanced visualizations for ultrasound videos
WO2010114836A2 (en) * 2009-04-03 2010-10-07 The General Hospital Corporation Systems and methods for respiratory-gated auricular vagal afferent nerve stimulation
WO2011002874A1 (en) * 2009-06-30 2011-01-06 University Of Utah Research Foundation Image reconstruction incorporating organ motion
JP5737858B2 (ja) * 2010-04-21 2015-06-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20120111871A (ko) * 2011-03-29 2012-10-11 삼성전자주식회사 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
US9265468B2 (en) * 2011-05-11 2016-02-23 Broncus Medical, Inc. Fluoroscopy-based surgical device tracking method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081712A1 (en) 2005-10-06 2007-04-12 Xiaolei Huang System and method for whole body landmark detection, segmentation and change quantification in digital images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021125889A1 (ko) * 2019-12-20 2021-06-24 (주)시안솔루션 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법

Also Published As

Publication number Publication date
US20130057547A1 (en) 2013-03-07
KR20130026041A (ko) 2013-03-13
US9087397B2 (en) 2015-07-21

Similar Documents

Publication Publication Date Title
KR101982149B1 (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
EP2505162B1 (en) Method and apparatus for generating medical image of body organ by using 3-D model
KR20120111871A (ko) 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
KR102001219B1 (ko) 의료 영상들의 정합 방법 및 장치
KR102114415B1 (ko) 의료 영상 정합 방법 및 장치
KR102094502B1 (ko) 의료 영상들의 정합 방법 및 장치
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
KR102205898B1 (ko) 의료영상들을 정합하는 방법 및 장치
US8559689B2 (en) Medical image processing apparatus, method, and program
JP5498299B2 (ja) ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
KR102251830B1 (ko) 초음파 및 ct 영상의 정합에 관한 시스템 및 작동 방법
CN108289651A (zh) 用于跟踪身体部位中的超声探头的系统
KR20150118484A (ko) 의료 영상 정합 방법 및 장치
US8655040B2 (en) Integrated image registration and motion estimation for medical imaging applications
KR20130143434A (ko) 고강도 집속 초음파의 초점을 결정하는 방법 및 장치
WO2012073769A1 (ja) 画像処理装置及び画像処理方法
CN106456084A (zh) 超声成像装置
KR20150129506A (ko) 의료 영상 정합 방법 및 그 장치
JP2011161104A (ja) 画像生成装置、画像生成方法、及びそのプログラム
KR20140021109A (ko) 초음파를 이용하여 움직이는 장기 내부에 위치한 병변의 이동 궤적을 추적하는 방법 및 시스템
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
WO2021137115A1 (en) Method and apparatus for registering live medical image with anatomical model
JP7412223B2 (ja) 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置
Chen QUiLT (Quantitative Ultrasound in Longitudinal Tissue Tracking): Stitching 2D images into 3D Volumes for Organ Health Monitoring
KR20150088972A (ko) 의료 영상 정합 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant