KR101059312B1 - 밝기값과 그레디언트 정보를 이용한 초음파 영상과 ｃｔ 영상의 비강체 영상정합 장치 - Google Patents

밝기값과 그레디언트 정보를 이용한 초음파 영상과 ｃｔ 영상의 비강체 영상정합 장치 Download PDF

Info

Publication number
KR101059312B1
KR101059312B1 KR1020090050039A KR20090050039A KR101059312B1 KR 101059312 B1 KR101059312 B1 KR 101059312B1 KR 1020090050039 A KR1020090050039 A KR 1020090050039A KR 20090050039 A KR20090050039 A KR 20090050039A KR 101059312 B1 KR101059312 B1 KR 101059312B1
Authority
KR
South Korea
Prior art keywords
image
ultrasound
region
objective function
rigid
Prior art date
Application number
KR1020090050039A
Other languages
English (en)
Other versions
KR20090127101A (ko
Inventor
현동규
나종범
이덕운
남우현
Original Assignee
한국과학기술원
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 삼성메디슨 주식회사 filed Critical 한국과학기술원
Publication of KR20090127101A publication Critical patent/KR20090127101A/ko
Application granted granted Critical
Publication of KR101059312B1 publication Critical patent/KR101059312B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A61B5/302—Input circuits therefor for capacitive or ionised electrodes, e.g. metal-oxide-semiconductor field-effect transistors [MOSFET]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

초음파 영상과 CT 영상의 비강체 영상정합 장치가 개시된다. 본 발명에 따른 비강체 영상정합 장치는, 초음파 신호를 송수신하여 대상체의 3차원 초음파 영상을 형성하는 초음파 영상 형성부; 대상체의 3차원 CT 영상을 형성하는 CT 영상 형성부; 및 3차원 초음파 영상과 3차원 CT 영상 각각에서 횡경막 영역 및 혈관 영역에 대응하는 밝기값 및 그레디언트 정보에 기초하여 횡경막 영역 및 혈관 영역의 제1 및 제2 목적함수를 형성하고, 제1 및 제2 목적함수에 기초하여 3차원 초음파 영상과 3차원 CT 영상을 정합하기 위한 정합부를 포함한다.
초음파, CT, 영상정합, 그레디언트, 밝기값, 목적함수

Description

밝기값과 그레디언트 정보를 이용한 초음파 영상과 ＣＴ 영상의 비강체 영상정합 장치{APPARATUS AND METHOD OF NON-RIGID IMAGE REGISTRATION BETWEEN ULTRASOUND IMAGES AND CT IMAGES}
본 발명은 초음파 진단 분야에 관한 것으로, 특히 밝기값과 그레디언트 정보를 이용한 초음파 영상과 CT 영상의 비강체 영상 정합 장치 및 방법에 관한 것이다.
초음파 진단 장치는 초음파를 이용하여 비파괴, 비침습 방식으로 대상체의 내부 구조를 실시간으로 보이며, CT(computerized tomography) 또는 MR(magnetic resonance)와 달리 방사선을 이용하지 않기 때문에 인체에 거의 무해하다. 그러나, 초음파 영상은 신호대 잡음비가 낮기 때문에, 이를 보완하기 위해 CT 영상과 초음파 영상의 정합(registration)을 수행한다.
다양한 의학적 응용분야에서 비강체 영상정합(non-rigid image registration)은 핵심적인 과정이다. 영상 가이드 중재(image guided intervention)는 시술전 영상과 시술중 영상 사이의 정합을 필요로 하는 응용 분야의 하나이다. 간의 경우, 3차원 초음파 영상이 영상 가이드 중재술을 위해 자주 이 용된다. 화질이 불량한 초음파 영상의 단점을 극복하기 위해, 시술중 3차원 초음파 영상에 대응하는 고화질의 시술전 CT 또는 MR 영상을 디스플레이한다. 이러한 목적으로, 간의 초음파 영상과 CT 영상의 정렬(alignment)이 필요하다. 초음파 영상과 CT 영상은 다른 호흡 단계에서 촬상되기 때문에 국부적 변형(local deformation)이 나타나 비강체 영상 정합이 수행되어야 한다.
서로 다른 특성 때문에 CT 영상과 초음파 영상을 정합하는 것은 어려운 작업이다. 간의 3차원 초음파 영상과 CT(또는 MR) 영상을 비강체 영상정합하기 위한 몇 가지 알고리즘(algorithm)이 제안되었다. 3차원 초음파 영상과 MR의 정합에서, 초음파 영상과 MR 영상이 혈관 확률 영상(vessel probability image)으로 각각 변환되고, 두 혈관 확률 영상 사이의 정규화된 교차 상관(cross correlation)을 최대화시켜 정합한다. 혈관들의 중심선들을 추출하고 정합하여 3차원 초음파 영상과 CT 영상 간의 정합을 수행하는 방법도 제안되었다. 그러나, 이들 방법에서 정합 정밀도는 초음파 영상과 CT 영상의 혈관 분류(segmentation) 정확도에 의한 영향을 받는다.
밝기값 및 그레디언트 정보를 이용한 초음파 영상과 CT 영상의 비강체 영상 정합 장치 및 방법을 제공한다.
본 발명에 따른 비강체 영상정합 장치는, 초음파 신호를 송수신하여 대상체의 3차원 초음파 영상을 형성하는 초음파 영상 형성부; 대상체의 3차원 CT 영상을 형성하는 CT 영상 형성부; 및 상기 3차원 초음파 영상과 상기 3차원 CT 영상 각각에서 횡경막 영역 및 혈관 영역에 대응하는 밝기값 및 그레디언트 정보에 기초하여 횡경막 영역 및 혈관 영역의 제1 및 제2 목적함수를 형성하고, 상기 제1 및 제2 목적함수에 기초하여 상기 3차원 초음파 영상과 상기 3차원 CT 영상을 비강체 영상정합하기 위한 정합부를 포함한다.
또한, 본 발명에 따른 비강체 영상정합 방법은, a) 초음파 신호를 송수신하여 대상체의 3차원 초음파 영상을 형성하는 단계; b) 대상체의 3차원 CT 영상을 형성하는 단계; 및 c) 상기 3차원 초음파 영상과 상기 3차원 CT 영상 각각에서 제1 및 제2 영역에 대응하는 밝기값 및 그레디언트 정보에 기초하여 제1 영역과 제2 영역의 제1 및 제2 목적함수를 형성하고, 상기 제1 및 제2 목적함수에 기초하여 상기 3차원 초음파 영상과 상기 3차원 CT 영상을 비강체 영상정합하는 단계를 포함한다.
본 발명은, 초음파 영상과 CT 영상의 각 특성을 고려하여, 혈관 목적 함수와 횡격막 목적 함수를 구하고, 비용 함수를 정의한다. 국부 변형에 관계없이 CT 영상을 초음파 영상에 정합시킬 수 있어, 초음파 영상을 이용한 중재시술에 유용하게 이용될 수 있다.
본 발명은 간의 초음파 영상과 CT 영상의 정합을 위해 혈관과 횡격막 정보를 이용한다. 보다 정확한 정합을 위해 본 발명에서는 초음파 영상과 CT 영상으로부터 얻어진 밝기값과 그레디언트 정보의 3차원 접합 히스토그램(3D joint histogram)에 기초한 새로운 목적함수(objective function)를 이용한다. 본 발명의 실시예에서는 초음파 영상과 정합하는 의료 영상으로 CT 영상을 설명하고 있으나, 이에 한정되지 않고, 다른 실시예에서는 자기 공명 영상(MRI), 양전자 단층(PET) 영상 등이 이용될 수 있다.
이하, 본 발명의 실시예를 상세하게 설명한다.
본 발명에서는 비강체 영상정합을 위해 간의 두 특징(feature) 즉, 혈관과 횡격막의 특징을 이용한다. 비강체 영상정합을 위한 적절한 변환을 찾기 위해, 두 특징의 목적 함수((objective function)를 이용하여 비용 함수(cost function)를 정의하고, 최적화 과정을 통해 비용를 최소화시킨다.
도 1은 본 발명의 실시예에 따른 초음파 영상과 CT 영상의 비강체 영상정합 장치를 보이는 블록도이다. 도 1을 참조하면, 정합 장치(100)는 대상체(예를 들어, 간)에 초음파 신호를 송수신하여 초음파 영상을 형성하는 초음파 영상 형성부(110)를 포함한다. 본 발명의 실시예에서, 초음파 영상은 B-모드로 얻은 3차원 초음파 영상일 수 있다.
정합 장치(100)는 CT 영상을 형성하는 CT 영상 형성부(120)을 더 포함한다. 본 발명의 실시예에서 CT 영상은 3차원 CT 영상일 수 있다. 초음파 영상과 CT 영상은 서로 다른 호흡에서 형성될 수 있다.
정합 장치(100)는 초음파 영상과 CT 영상에 대해서 비강체 영상정합을 수행하기 위한 정합부(130)를 더 포함할 수 있다. 이하, 정합부(130)의 동작을 도 2를 참조하여 자세히 설명한다.
도 2는 본 발명의 실시예에 따른 정합부(130)에서 초음파 영상과 CT 영상의 비강체 영상정합을 수행하는 방법을 보이는 순서도이다. 도 2를 참조하면, 초음파 영상 형성부(110) 및 CT 영상 형성부(120)가 동일한 환자로부터 임의의 호흡에서 간의 3D B-모드 초음파 영상과 3D CT 영상을 형성하면, 초음파 영상과 CT 영상에 대해 ICP(Iterative Closest Point) 기반 아핀 정합(affine registration)을 수행한다(210).
본 발명의 실시예에서, 초음파 영상과 CT 영상에서 간의 국부적 변형을 모델링하기 위한 변환식으로서 B-스플라인(B-spline) FFD(free form deformation)를 이용할 수 있다. 이 FFD 변환식은 균일한 간격을 갖는 제어점들의 변위(displacement of control points)로써 정의된다. 변위는 변형 변수 Φ로 표현될 수 있다. 간 영상의 전체에 걸쳐 국부 변형은 고를(smooth) 것으로 기대되기 때문에, 고른 변형(smooth transformation)으로 추정한다. 따라서, 금속 박판(thin-plate of metal)의 2D 구부림 에너지에 대응하는 3D 구속 Csmooth를 정의하여 사용한다.
혈관과 횡격막의 밝기값 관계는 초음파 영상과 CT 영상에서 각기 다르다. 초음파 영상에서, 초음파 신호의 강한 반사에 의해 횡격막은 밝기값이 큰 값을 나타낸다. 이러한 밝기값 특성은 CT 영상에서 횡격막이 큰 그레디언트 크기로 표현되는 것과 관련시킬 수 있다. 반면에, 혈관 영역에서는 비록 명암은 반전되지만 초음파 영상의 밝기값은 CT 영상의 밝기값과 관련될 수 있다. 횡격막 영역의 제1 목적함수 Cdiaphragm는 초음파 영상에서의 밝기값과 CT 영상에서의 그레디언트 크기에 의해서 구해지는데 반하여, 혈관 영역의 제2 목적함수 Cvessel는 초음파 영상과 CT 영상의 밝기값을 이용하여 구해진다.
횡격막과 혈관 영역에서 목적함수를 구하기 위해, CT 영상에서 복수의 ROI 영역을 정의한다(220). 즉, 영역-성장 방법(region-growing scheme)을 이용하여 혈관 및 간을 분할하고, 분할된 영역의 에지(edge) 영역을 확장하여 각 ROI 영역을 정의한다. 정합시 CT 영상과 초음파 영상이 서로 겹쳐지는 부분에 대해서만 정합에 필요한 계산이 수행되므로, CT 영상과 초음파 영상 중 한 영상에서만 ROI 영역이 정의되면 충분하다. 본 발명의 실시예에서는 상대적으로 혈관이나 간 경계 구분이 확실한 CT 영상에서 ROI 영역을 정의한다. 한편, ROI 영역을 정의하기 위한 ROI 마스킹을 혈관 영역과 횡격막 영역에 대해 각각 실시한다. 이에 따라, ROI 마스킹에 의해 두 영역, 혈관 영역과 횡격막 영역이 나누어진다. 이후, ROI 영역에서 횡격막 영역의 목적 함수 Cdiaphragm와 혈관 영역의 목적함수 Cvessel를 형성한다(230). 정확한 정합을 위해 본 발명의 실시예에서는, 초음파 영상과 CT 영상의 밝기값과 그레디언트 크기 및 에지 방향 각도(edge orientation angle)에 기초하여 목적 함수를 계산한다.
그레디언트 크기 및 에지 방향 각도는 다음과 같이 구한다. 먼저, 각 복셀(voxel)에서 구조 매트릭스(structure matrix)를 계산한다. 구조 매트릭스의 고유값 분석(eigen-analysis)을 통하여 고유 벡터(eigen-vector)와 고유값(eigen- value)을 추출한다. 여기서 가장 큰 고유값을 가지는 고유 벡터를 영상의 에지 방향으로 정의하고, 그레디언트 크기는 고유값으로써 정의한다. 만일, 두 영상이 완벽하게 정합되면, 대응하는 에지 방향 각도가 동일할 것이다. 이러한 관계를 고려하여 두 에지 방향 벡터의 내적의 제곱으로 에지 방향 일치 정도를 정의할 수 있다.
두 목적함수 Cvessel과 Cdiaphragm은 다음과 같이 구해진다.
혈관 영역에서는 초음파 영상과 CT 영상이 서로 밝기값의 상관관계가 존재한다. 따라서 초음파 영상 밝기값, CT 영상 밝기값, 에지 방향 일치 정도를 이용하여 통계적인 엔트로피를 측정하여 Cvessel로 정의한다.
횡격막 영역에서는 초음파 영상의 밝기값과 CT 영상의 그레디언트 크기가 서로 상관관계가 있다. 따라서 초음파 영상 밝기값, CT 영상 그레디언트 크기, 에지 방향 일치 정도를 이용하여 통계적인 엔트로피를 측정하여 Cdiaphragm로 정의한다.
이어서, 두 목적 함수 Cdiaphragm, Cvessel로써 다음의 수학식 1과 같은 비용 함수를 형성한다(240).
Figure 112009034261650-pat00001
여기서, λ는 두 영상의 정렬과 변환의 평탄(smoothness) Csmooth 사이의 교환조건(trade-off)을 나타낸다. 그레디언트 하강 방법(gradient descent scheme)에 따라 다음의 수학식 2와 같이 비용함수의 그레디언트를 이용하여 변형 변수 Φ를 갱신하는 최적화 과정을 수행한다(250).
Figure 112009034261650-pat00002
수학식 2에서 μ는 스텝 크기를 나타내며, k는 자연수로서 그레디언트 하강의 반복 상태를 나타낸다. 구현을 위해 ▽C는 차분으로 근사화할 수 있다. 작은 양의 값 ε에 대해 수학식 3과 같은 조건을 만족하면 최적화 과정을 종료한다.
Figure 112009034261650-pat00003
최종적으로, 최적화된 변수들을 CT 영상에 반영하여 변형된 CT 영상을 형성함으로써 초음파 영상에 정합된 CT 영상을 생성한다(260).
본 발명에 따른 정합 장치(100)는 초음파 영상, CT 영상, 정합된 초음파-CT 영상을 디스플레이하는 디스플레이부(140)를 포함할 수 있다.
도 3은 초음파 영상(A), 비강체 영상정합전 CT 영상(B) 및 초음파-CT 정합영상(C)을 슬라이스별로 보인다.
도 4는 본 발명에 따른 비강체 정합 방법의 정확성을 보이는 초음파 사진으로서, 초음파 영상(A)과 비강체 영상정합전 CT 영상(B)에 각각 표시된 마커(M1, M2)가 모든 슬라이스 영상에서 혈관 영역뿐만 아니라 횡격막 영상에서도 정확하게 일치됨을 보인다.
상술한 실시예는 본 발명의 원리를 응용한 다양한 실시예의 일부를 나타낸 것에 지나지 않음을 이해해야 한다.　 본 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질로부터 벗어남이 없이 여러 가지 변형이 가능함을 명백히 알 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 초음파 영상과 CT 영상의 비강체 영상정합 장치를 보이는 블록도.
도 2는 본 발명의 실시예에 따른 정합부(130)에서 초음파 영상과 CT 영상의 비강체 영상정합을 수행하는 방법을 보이는 순서도.
도 3은 초음파 영상(A), 비강체 영상정합전 CT 영상(B) 및 초음파-CT 정합영상(C)을 슬라이스별로 보이는 예시도.
도 4는 본 발명에 따른 비강체 영상정합 방법의 정확성을 보이는 예시도.

Claims (18)

  1. 초음파 영상과 CT 영상의 비강체 영상정합 장치로서,
    초음파 신호를 송수신하여 대상체의 3차원 초음파 영상을 형성하는 초음파 영상 형성부;
    대상체의 3차원 CT 영상을 형성하는 CT 영상 형성부; 및
    상기 3차원 초음파 영상과 상기 3차원 CT 영상 각각에서 횡경막 영역 및 혈관 영역에 대응하는 밝기값 및 그레디언트 정보에 기초하여 횡경막 영역과 혈관 영역의 제1 및 제2 목적함수를 형성하고, 상기 제1 및 제2 목적함수에 기초하여 상기 3차원 초음파 영상과 상기 3차원 CT 영상을 비강체 영상정합하기 위한 정합부
    를 포함하는 비강체 영상정합 장치.
  2. 제1항에 있어서, 상기 3차원 초음파 영상 및 상기 3차원 CT 영상은 간의 3차원 초음파 영상 및 3차원 CT 영상인, 비강체 영상정합 장치.
  3. 제2항에 있어서, 상기 정합부는, 상기 간의 3차원 초음파 영상과 3차원 CT 영상에 대해 아핀 정합을 수행하고, 상기 아핀 정합된 3차원 초음파 영상과 3차원 CT 영상에서 나타나는 국부 변형을 모델링하여 변형 변수를 정의하고, 상기 3차원 CT 영상에서 다수의 ROI(region of interest) 영역을 정의하고, 상기 ROI 영역에서 횡격막 영역의 제1 목적 함수와 혈관 영역의 제2 목적함수를 형성하고, 상기 제1 목적함수와 상기 제2 목적함수를 이용하여 비용함수를 형성하고, 상기 비용함수를 이용하여 변형 변수를 갱신하는 최적화 과정을 수행하고, 상기 최적화된 변형 변수들을 상기 CT 영상에 반영하여 변형된 CT 영상을 형성하고, 변형된 CT 영상을 상기 3차원 초음파 영상에 비강체 영상정합시키는, 비강체 영상정합 장치.
  4. 제3항에 있어서, 상기 정합부는 상기 아핀 정합을 ICP(Iterative Closest Point)에 기반하여 수행하는, 비강체 영상정합 장치.
  5. 제3항에 있어서, 상기 정합부는, 상기 아핀 정합된 3D초음파 영상과 CT 영상에 B-스플라인(B-spline) FFD(free form deformation)를 적용하여 상기 국부 변형을 모델링하는, 비강체 영상정합 장치.
  6. 제3항에 있어서, 상기 제1 목적함수는 상기 초음파 영상에서의 밝기값과 상기 CT 영상에서의 그레디언트 크기로서 형성되는 횡격막 영역의 목적함수이고, 상기 제2 목적함수는 상기 초음파 영상과 CT 영상의 밝기값으로써 형성되는 혈관영역의 목적함수로서, 에지 방향 각도(edge orientation angle)에 기초한 3차원 접합 히스토그램(3D joint histogram)을 이용하여 얻어지는, 비강체 영상정합 장치.
  7. 제6항에 있어서, 상기 ROI 영역은 영역-성장 방법(region-growing scheme)을 이용하여 혈관 및 간을 분할하고, 일정한 크기로 대응하는 분할들의 에지 영역을 확장하여 정의하는, 비강체 영상정합 장치.
  8. 제6항에 있어서, 상기 비용함수는 상기 횡격막 영역의 목적 함수 Cdiaphragm와 상기 혈관 영역의 목적함수 Cvessel를 이용하여 다음의 수학식과 같이 정의되고,
    Figure 112011004499967-pat00004
    상기 λ는 상기 초음파 영상과 상기 CT 영상의 정렬과 변환의 평탄(smoothness) 사이의 교환조건(trade-off)을 나타내고, Csmooth는 3D 구속을 나타내는, 비강체 영상정합 장치.
  9. 제8항에 있어서, 상기 변형변수는 Φ로써 표현되고, 수학식
    Figure 112011004499967-pat00005
    이 만족될 때까지 수학식
    Figure 112011004499967-pat00006
    을 반복적으로 수행하여 상기 변형변수 Φ를 최적화하되, 상기 ε는 미리 설정된 양의 값이고, 상기 μ는 스텝 크기를 나타내며, k는 자연수로서 그레디언트 하강의 반복 상태를 나타내는, 비강체 영상정합 장치.
  10. 초음파 영상과 CT 영상의 비강체 영상정합 방법으로서,
    a) 초음파 신호를 송수신하여 대상체의 3차원 초음파 영상을 형성하는 단계;
    b) 대상체의 3차원 CT 영상을 형성하는 단계; 및
    c) 상기 3차원 초음파 영상과 상기 3차원 CT 영상 각각에서 횡경막 영역 및 혈관 영역에 대응하는 밝기값 및 그레디언트 정보에 기초하여 횡경막 영역 및 혈관 영역의 제1 및 제2 목적함수를 형성하고, 상기 제1 및 제2 목적함수에 기초하여 상기 3차원 초음파 영상과 상기 3차원 CT 영상을 비강체 영상정합하는 단계
    를 포함하는 비강체 영상정합 방법.
  11. 제10항에 있어서, 상기 3차원 초음파 영상 및 상기 3차원 CT 영상은 간의 3차원 초음파 영상 및 3차원 CT 영상인, 비강체 영상정합 방법.
  12. 제11항에 있어서, 상기 단계 c)는,
    c1) 상기 간의 3차원 초음파 영상과 3차원 CT 영상에 대해 아핀 정합을 수행하는 단계;
    c2) 상기 아핀 정합된 3차원 초음파 영상과 3차원 CT 영상에서 나타나는 국부 변형을 모델링하여 변형 변수를 정의하는 단계;
    c3) 상기 3차원 CT 영상에서 다수의 ROI(region of interest) 영역을 정의하는 단계;
    c4) 상기 ROI 영역에서 횡격막 영역의 제1 목적 함수와 혈관 영역의 제2 목적함수를 형성하는 단계;
    c5) 상기 제1 목적함수와 상기 제2 목적함수를 이용하여 비용함수를 형성하 는 단계;
    c6) 상기 비용함수를 이용하여 변형 변수를 갱신하는 최적화 과정을 수행하는 단계;
    c7) 상기 최적화된 변형 변수들을 상기 CT 영상에 반영하여 변형된 CT 영상을 형성하는 단계; 및
    c8) 변형된 CT 영상을 상기 3차원 초음파 영상에 비강체 영상정합시키는 단계
    를 포함하는 비강체 영상정합 방법.
  13. 제12항에 있어서, 상기 단계 c1)은,
    상기 아핀 정합을 ICP(Iterative Closest Point)에 기반하여 수행하는 단계
    를 포함하는 비강체 영상정합 방법.
  14. 제12항에 있어서, 상기 단계 c2)는,
    상기 아핀 정합된 3D초음파 영상과 CT 영상에 B-스플라인(B-spline) FFD(free form deformation)를 적용하여 상기 국부 변형을 모델링하는 단계
    를 포함하는 비강체 영상정합 방법.
  15. 제12항에 있어서, 상기 제1 목적함수는 상기 초음파 영상에서의 밝기값과 상기 CT 영상에서의 그레디언트 크기로서 형성되는 횡격막 영역의 목적함수이고, 상 기 제2 목적함수는 상기 초음파 영상과 CT 영상의 밝기값으로써 형성되는 혈관영역의 목적함수로서, 에지 방향 각도(edge orientation angle)에 기초한 3차원 접합 히스토그램(3D joint histogram)을 이용하여 얻어지는, 비강체 영상정합 방법.
  16. 제15항에 있어서, 상기 ROI 영역은 영역-성장 방법(region-growing scheme)을 이용하여 혈관 및 간을 분할하고, 일정한 크기로 대응하는 분할들의 에지 영역을 확장하여 정의하는, 비강체 영상정합 방법.
  17. 제15항에 있어서, 상기 비용함수는 상기 횡격막 영역의 목적 함수 Cdiaphragm와 상기 혈관 영역의 목적함수 Cvessel를 이용하여 다음의 수학식과 같이 정의되고,
    Figure 112011004499967-pat00007
    상기 λ는 상기 초음파 영상과 상기 CT 영상의 정렬과 변환의 평탄(smoothness) 사이의 교환조건(trade-off)을 나타내고, Csmooth는 3D 구속을 나타내는, 비강체 영상정합 방법.
  18. 제17항에 있어서, 상기 변형변수는 Φ로써 표현되고, 수학식
    Figure 112011004499967-pat00008
    이 만족될 때까지 수학식
    Figure 112011004499967-pat00009
    을 반복적으로 수행하여 상기 변형변수 Φ를 최적화하되, 상기 ε는 미리 설정된 양의 값이고, 상기 μ는 스텝 크기를 나타내며, k는 자연수로서 그레디언트 하강의 반복 상태를 나타내는, 비강체 영상정합 방법.
KR1020090050039A 2008-06-05 2009-06-05 밝기값과 그레디언트 정보를 이용한 초음파 영상과 ｃｔ 영상의 비강체 영상정합 장치 KR101059312B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080053225 2008-06-05
KR1020080053225 2008-06-05

Publications (2)

Publication Number Publication Date
KR20090127101A KR20090127101A (ko) 2009-12-09
KR101059312B1 true KR101059312B1 (ko) 2011-08-24

Family

ID=41018010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090050039A KR101059312B1 (ko) 2008-06-05 2009-06-05 밝기값과 그레디언트 정보를 이용한 초음파 영상과 ｃｔ 영상의 비강체 영상정합 장치

Country Status (4)

Country Link
US (1) US8369597B2 (ko)
EP (1) EP2131212A3 (ko)
JP (1) JP4983860B2 (ko)
KR (1) KR101059312B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100377835B1 (ko) * 2000-08-01 2003-03-31 박세환 유성페인트를 이용한 직물 나염 스크린 제조방법
US9092666B2 (en) 2012-01-03 2015-07-28 Samsung Electronics Co., Ltd. Method and apparatus for estimating organ deformation model and medical image system
KR20180063773A (ko) 2016-12-02 2018-06-12 숭실대학교산학협력단 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법, 이를 수행하기 위한 기록 매체 및 장치

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7945117B2 (en) * 2006-08-22 2011-05-17 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images
FR2914466B1 (fr) * 2007-04-02 2009-06-12 Inst Nat Rech Inf Automat Dispositif de traitement d'images pour la mise en correspondance d'images d'une meme portion d'un corps obtenues par resonance magnetique et par ultrasons.
JP5580030B2 (ja) * 2009-12-16 2014-08-27 株式会社日立製作所 画像処理装置、および画像位置合せ方法
WO2012019162A1 (en) 2010-08-06 2012-02-09 Accuray, Inc. Systems and methods for real-time tumor tracking during radiation treatment using ultrasound imaging
FR2966956B1 (fr) * 2010-10-27 2012-12-14 Michelin Soc Tech Methode de pre-traitement d'une image tri dimensionnelle de la surface d'un pneumatique a l'aide de deformations b-spline successives
JP2013542435A (ja) * 2010-10-27 2013-11-21 コンパニー ゼネラール デ エタブリッスマン ミシュラン タイヤ表面の検査に用いられるタイヤ表面の三次元画像を前処理する方法
KR101227272B1 (ko) * 2011-03-25 2013-01-28 가천대학교 산학협력단 초음파 영상과 자기공명 영상 간의 영상정합 방법
US9218643B2 (en) * 2011-05-12 2015-12-22 The Johns Hopkins University Method and system for registering images
KR101842043B1 (ko) 2011-07-22 2018-03-26 삼성전자주식회사 초음파 영상 분석 장치 및 방법
TWI446897B (zh) 2011-08-19 2014-08-01 Ind Tech Res Inst 超音波影像對齊裝置及其方法
KR101768526B1 (ko) 2012-07-27 2017-08-17 삼성전자주식회사 혈관 구조에 기초하여 환자에 특화된 대상 장기의 모델을 생성하는 방법 및 장치
KR101932721B1 (ko) 2012-09-07 2018-12-26 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
EP2912629B1 (en) 2012-10-26 2018-10-03 Brainlab AG Matching patient images and images of an anatomical atlas
KR102106535B1 (ko) 2013-02-06 2020-05-06 삼성전자주식회사 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
JP5889265B2 (ja) 2013-04-22 2016-03-22 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
CN104116523B (zh) * 2013-04-25 2016-08-03 深圳迈瑞生物医疗电子股份有限公司 一种超声影像分析系统及其分析方法
KR101527656B1 (ko) * 2013-12-12 2015-06-10 한국과학기술원 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템
KR102205898B1 (ko) 2013-09-04 2021-01-21 삼성전자주식회사 의료영상들을 정합하는 방법 및 장치
US20160217560A1 (en) * 2013-09-30 2016-07-28 Koninkljke Philips N.V. Method and system for automatic deformable registration
KR101578770B1 (ko) 2013-11-21 2015-12-18 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
KR102233427B1 (ko) * 2014-04-14 2021-03-29 삼성전자주식회사 의료 영상 정합 방법 및 장치
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
KR102328266B1 (ko) * 2014-10-29 2021-11-19 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 영상 처리부가 마련된 초음파 영상 장치
JP6383483B2 (ja) * 2015-02-26 2018-08-29 株式会社日立製作所 超音波撮像装置、および、画像処理装置
CA2980976C (en) * 2015-04-24 2023-03-21 Sunnybrook Research Institute Method for registering pre-operative images of a subject to an ultrasound treatment space
DE102015208929B3 (de) 2015-05-13 2016-06-09 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm
US10127655B2 (en) * 2015-07-09 2018-11-13 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
WO2017013019A1 (en) * 2015-07-17 2017-01-26 Koninklijke Philips N.V. Guidance for lung cancer radiation
US20180271471A1 (en) * 2015-09-29 2018-09-27 Institut National De La Sante Et De La Recherche Medicale (Inserm) Method for determining a property of an object and associated device
KR101840106B1 (ko) 2016-02-04 2018-04-26 가톨릭대학교 산학협력단 의료영상을 이용한 혈류 분석 방법
GB201717397D0 (en) 2017-10-23 2017-12-06 Brainomix Ltd Tomographic data analysis
WO2019222606A1 (en) * 2018-05-18 2019-11-21 The Johns Hopkins University Multi-motion compensation for high-quality cone-beam ct of the head
CN110934613B (zh) * 2018-09-21 2023-01-13 佳能医疗系统株式会社 超声波诊断装置及超声波诊断方法
CN109934861B (zh) * 2019-01-22 2022-10-18 广东工业大学 一种头颈部多模态医学图像自动配准方法
KR102375910B1 (ko) * 2020-03-02 2022-03-16 연세대학교 산학협력단 초음파 영상유도 방법 및 장치
CN112184781A (zh) * 2020-09-14 2021-01-05 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058205B2 (en) * 2001-12-07 2006-06-06 Xerox Corporation Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
JP4406226B2 (ja) 2003-07-02 2010-01-27 株式会社東芝 生体情報映像装置
JP4317412B2 (ja) * 2003-09-29 2009-08-19 株式会社日立製作所 画像処理方法
US8090429B2 (en) * 2004-06-30 2012-01-03 Siemens Medical Solutions Usa, Inc. Systems and methods for localized image registration and fusion
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
KR20070110965A (ko) 2006-05-16 2007-11-21 주식회사 메디슨 초음파 영상과 외부 의료영상의 합성 영상을디스플레이하기 위한 초음파 시스템
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ 乳房画像診断システム
WO2008063494A2 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8098911B2 (en) * 2006-12-05 2012-01-17 Siemens Aktiengesellschaft Method and system for registration of contrast-enhanced images with volume-preserving constraint
KR20080053057A (ko) 2006-12-08 2008-06-12 주식회사 메디슨 초음파 영상과 외부 의료영상의 혼합영상을 형성 및디스플레이하기 위한 초음파 영상 시스템 및 방법
JP5335280B2 (ja) * 2008-05-13 2013-11-06 キヤノン株式会社 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
US8111892B2 (en) * 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
US8852107B2 (en) * 2008-06-05 2014-10-07 Koninklijke Philips N.V. Extended field of view ultrasonic imaging with guided EFOV scanning

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100377835B1 (ko) * 2000-08-01 2003-03-31 박세환 유성페인트를 이용한 직물 나염 스크린 제조방법
US9092666B2 (en) 2012-01-03 2015-07-28 Samsung Electronics Co., Ltd. Method and apparatus for estimating organ deformation model and medical image system
KR20180063773A (ko) 2016-12-02 2018-06-12 숭실대학교산학협력단 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
KR20090127101A (ko) 2009-12-09
US8369597B2 (en) 2013-02-05
JP4983860B2 (ja) 2012-07-25
JP2009291617A (ja) 2009-12-17
EP2131212A2 (en) 2009-12-09
EP2131212A3 (en) 2011-10-05
US20090304252A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
KR101059312B1 (ko) 밝기값과 그레디언트 정보를 이용한 초음파 영상과 ｃｔ 영상의 비강체 영상정합 장치
RU2663649C2 (ru) Сегментация крупных объектов из нескольких трехмерных видов
US10242450B2 (en) Coupled segmentation in 3D conventional ultrasound and contrast-enhanced ultrasound images
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
US7876945B2 (en) Method for processing slice images
EP2131326A2 (en) Registration of CT image onto ultrasound images
EP3174467B1 (en) Ultrasound imaging apparatus
US20130170726A1 (en) Registration of scanned objects obtained from different orientations
CN109152566B (zh) 校正超声融合成像系统中的探头引起的变形
EP3242602B1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
Audette et al. Level-set surface segmentation and fast cortical range image tracking for computing intrasurgical deformations
KR20120000729A (ko) 엑스레이 이미지와 씨티 3차원 모델 정합을 통한 혈관 치료용 마이크로 로봇의 위치 추적 방법
Lorenz et al. Automated abdominal plane and circumference estimation in 3D US for fetal screening
KR20120000722A (ko) 이종 의료용 이미지간의 비강체 융합 방법
EP2710553B1 (en) Determination of a physically-varying anatomical structure
KR20120000731A (ko) 엑스레이 이미지를 이용한 혈관의 경로 추출 방법
KR20130013504A (ko) 엑스레이의 원본데이터를 활용한 씨티 3차원 모델 정합 방법
KR20120000727A (ko) 다중 의료용 영상 표식을 활용하여 가상 엑스레이 이미지를 추출하는 방법
KR20120000725A (ko) 비강체 융합 방법을 이용한 혈관 치료용 마이크로 로봇의 위치 추적 방법
KR20130013506A (ko) 엑스레이스 촬영각도 변화에 따른 마커의 인식 방법
KR20130013505A (ko) 바이-플레인 엑스레이스를 활용한 3차원 모델 구성 방법
Mao Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography
CN116583912A (zh) 医学指标测量方法及针对该方法的超声诊断设备
Carminati et al. Automated registration of 3D TEE datasets of the descending aorta for improved examination and quantification of atheromas burden

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160811

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 9