KR101121396B1 - 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법 - Google Patents

2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법 Download PDF

Info

Publication number
KR101121396B1
KR101121396B1 KR1020090070981A KR20090070981A KR101121396B1 KR 101121396 B1 KR101121396 B1 KR 101121396B1 KR 1020090070981 A KR1020090070981 A KR 1020090070981A KR 20090070981 A KR20090070981 A KR 20090070981A KR 101121396 B1 KR101121396 B1 KR 101121396B1
Authority
KR
South Korea
Prior art keywords
image
images
ultrasound image
dimensional
diaphragm
Prior art date
Application number
KR1020090070981A
Other languages
English (en)
Other versions
KR20110013026A (ko
Inventor
현동규
나종범
이덕운
남우현
Original Assignee
한국과학기술원
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 삼성메디슨 주식회사 filed Critical 한국과학기술원
Priority to KR1020090070981A priority Critical patent/KR101121396B1/ko
Priority to EP10170226A priority patent/EP2293245A1/en
Priority to JP2010167490A priority patent/JP5498299B2/ja
Priority to US12/846,528 priority patent/US20110028843A1/en
Publication of KR20110013026A publication Critical patent/KR20110013026A/ko
Application granted granted Critical
Publication of KR101121396B1 publication Critical patent/KR101121396B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4218—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

3차원 초음파 영상과 3차원 CT 영상 간에 영상 정합을 수행하여 2차원 초음파 영상에 대응하는 2차원 CT 영상을 제공하는 시스템 및 방법이 개시된다. 이 시스템은, 사전 설정된 주기동안 일정 간격으로 대상체내의 관심객체에 대한 복수의 3차원 CT 영상을 형성하도록 동작하는 CT 영상 형성부; 관심객체에 대한 적어도 하나의 3차원 초음파 영상을 형성하도록 동작하는 초음파 영상 형성부; 복수의 3차원 CT 영상과 적어도 하나의 3차원 초음파 영상 간에 영상 정합을 수행하여 제1 변환 함수를 획득하도록 동작하는 프로세서; 및 사용자의 입력 정보를 수신하도록 동작하는 사용자 입력부를 포함한다. 초음파 영상 형성부는 입력 정보에 해당하는 2차원 초음파 영상을 형성하도록 더 동작한다. 프로세서는 입력 정보와 제1 변환 함수를 이용하여 복수의 3차원 CT 영상으로부터 복수의 2차원 CT 영상을 획득하고, 2차원 초음파 영상과 복수의 2차원 CT 영상 간에 유사도를 검출하여 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출하도록 더 동작한다.
초음파, CT, 영상 정합, 변환 함수, 유사도

Description

2차원 초음파 영상에 대응하는 2차원 ＣＴ 영상을 제공하는 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING 2-DIMENSIONAL CT IMAGE CORRESPONDING TO 2-DIMENSIONAL ULTRASOUND IMAGE}
본 발명은 영상 정합에 관한 것으로, 특히 3차원 초음파 영상과 3차원 CT 영상 간에 영상 정합을 수행하여 2차원 초음파 영상에 대응하는 2차원 CT 영상을 제공하는 시스템 및 방법에 관한 것이다.
초음파 시스템은 무침습 및 비파괴 특성을 가지고 있어, 대상체 내부의 정보를 얻기 위한 의료 분야에서 널리 이용되고 있다. 초음파 시스템은 대상체를 직접 절개하여 관찰하는 외과 수술의 필요 없이, 대상체 내부의 고해상도 영상을 실시간으로 의사에게 제공할 수 있으므로 의료 분야에서 매우 중요하게 사용되고 있다.
그러나, 초음파 영상은 신호대 잡음비가 낮기 때문에, 이를 보완하기 위해 CT 영상과 초음파 영상간에 영상 정합을 수행하여 CT 영상과 초음파 영상을 제공하고 있다.
종래에는 센서를 이용하여 CT 영상과 초음파 영상 간에 영상 정합을 수행하였다. 이로 인해 센서가 반드시 필요하게 되며, 호흡 등과 같은 대상체의 움직임에 의해 대상체 내부 장기의 변형이 일어난 경우 오차가 발생하는 문제점이 있다.
한편, 종래에는 초음파 프로브가 다른 위치로 이동되어 2차원 초음파 영상을 획득하는 경우, 2차원 초음파 영상이 3차원 초음파 영상내에 포함되는 초음파 영상인지를 검출하거나 3차원 초음파 영상에 영상 정합된 3차원 CT 영상에서 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출하기 위해서는 반드시 센서가 필요하게 되는 문제점이 있다.
본 발명은 센서를 이용하지 않고, 3차원 초음파 영상과 3차원 CT(computerized tomography) 영상간에 영상 정합을 수행하고, 영상 정합된 3차원 CT 영상에서 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출하여 제공하는 시스템 및 방법을 제공한다.
본 발명에 따른 영상 제공 시스템은, 사전 설정된 주기동안 일정 간격으로 대상체내의 관심객체에 대한 복수의 3차원 CT 영상을 형성하도록 동작하는 CT 영상 형성부; 상기 관심객체에 대한 적어도 하나의 3차원 초음파 영상을 형성하도록 동작하는 초음파 영상 형성부; 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상 간에 영상 정합을 수행하여 제1 변환 함수를 획득하도록 동작하는 프로세서; 및 사용자의 입력 정보를 수신하도록 동작하는 사용자 입력부를 포함하고, 상기 초음파 영상 형성부는, 상기 입력 정보에 해당하는 2차원 초음파 영상을 형성하도록 더 동작하고, 상기 프로세서는, 상기 입력 정보와 상기 제1 변환 함수를 이용하여 상기 복수의 3차원 CT 영상으로부터 복수의 2차원 CT 영상을 획득하고, 상기 2차원 초음파 영상과 상기 복수의 2차원 CT 영상 간에 유사도를 검출하여 상기 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출하도록 더 동작한다.
또한 본 발명에 따른 영상 제공 방법은, a) 사전 설정된 주기동안 일정 간격으로 대상체내의 관심객체에 대한 복수의 3차원 CT 영상을 형성하는 단계; b) 상기 관심객체에 대한 적어도 하나의 3차원 초음파 영상을 형성하는 단계; c) 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상 간에 영상 정합을 수행하여 제1 변환 함수를 획득하는 단계; d) 사용자의 입력 정보를 수신하는 단계; e) 상기 입력 정보에 해당하는 2차원 초음파 영상을 형성하는 단계; f) 상기 입력 정보와 상기 제1 변환 함수를 이용하여 상기 복수의 3차원 CT 영상으로부터 복수의 2차원 CT 영상을 획득하는 단계; 및 g) 상기 2차원 초음파 영상과 상기 복수의 2차원 CT 영상 간에 유사도를 검출하여 상기 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출하는 단계를 포함한다.
본 발명은, 센서를 이용하지 않고서 3차원 초음파 영상에 정합된 3차원 CT 영상에서 3차원 초음파 영상내의 2차원 초음파 영상에 대응하는 2차원 CT 영상을 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 본 실시예에서 사용된 용어 "관심객체"는 대상체내의 간 등을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 제공 시스템(100)의 구성을 보이는 블록도이다. 영상 제공 시스템(100)은 CT(computerized tomography) 영상 형성부(110), 초음파 영상 형성부(120), 사용자 입력부(130), 프로세서(140) 및 디스플레이부(150)를 포함한다.
CT 영상 형성부(110)는 대상체내의 관심객체에 대한 3차원 CT 영상 - 3차원 CT 영상은 복수의 2차원 CT 영상으로 이루어짐 - 을 형성한다. 본 실시예에서, CT 영상 형성부(110)는 들숨부터 날숨까지의 호흡주기에서 일정 간격으로 3차원 CT 영상(ICT(ti)(1≤i≤K))을 형성할 수 있다.
초음파 영상 형성부(120)는 대상체내의 관심객체에 대한 3차원 초음파 영상을 형성한다. 본 실시예에서, 초음파 영상 형성부(120)는 최대 들숨 및 최대 날숨에서 3차원 초음파 영상(IUS(tj)(1≤j≤2))을 형성한다. 아울러, 초음파 영상 형성부(120)는 대상체내의 관심객체에 대한 2차원 초음파 영상을 형성한다.
전술한 실시예에서는 최대 들숨 및 최대 날숨에서 3차원 초음파 영상(IUS(tj)(1≤j≤2))을 형성하는 것으로 설명하였지만, 다른 실시예에서는 최대 들숨 및 최대 날숨 중 어느 하나에서 3차원 초음파 영상을 형성할 수 있다. 이하, 설명의 편의를 위해 초음파 영상 형성부(120)가 최대 들숨 및 최대 날숨에서 3차원 초음파 영상(IUS(tj)(1≤j≤2))을 형성하는 것으로 설명한다.
도 2는 본 발명의 실시예에 따른 초음파 영상 형성부(120)의 구성을 보이는 블록도이다. 초음파 영상 형성부(120)는 송신신호 형성부(121), 초음파 프로브(122), 빔 포머(123), 초음파 데이터 형성부(124) 및 영상 형성부(125)를 포함한다. 초음파 영상 형성부(120)는 도 3에 도시된 바와 같이 초음파 프로브(122)를 대상체(P)의 특정 위치에 고정시키기 위한 초음파 프로브 홀더(126)를 더 포함할 수 있다.
송신신호 형성부(121)는 복수의 프레임 각각을 얻기 위한 제1 송신신호를 형성한다. 본 실시예에서, 제1 송신신호는 최대 들숨에서 복수의 프레임 각각을 얻기 위한 송신신호 및 최대 날숨에서 복수의 프레임 각각을 얻기 위한 송신신호 중 적어도 하나를 포함한다. 아울러, 송신신호 형성부(121)는 프레임을 얻기 위한 제2 송신신호를 형성한다. 프레임은 B 모드(brightness mode) 영상을 포함할 수 있다.
초음파 프로브(122)는 복수의 변환소자(transducer element)(도시하지 않음)를 포함한다. 초음파 프로브(122)는 3차원 프로브 및 2D 어레이(array) 프로브를 포함할 수 있다. 초음파 프로브(122)는 송신신호 형성부(121)로부터 제공되는 제1 송신신호를 초음파 신호로 변환하여 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 수신신호를 형성한다. 아울러, 초음파 프로브(122)는 사용자에 의해 설정된 위치로 변환소자를 이동시켜 송신신호 형성부(121)로부터 제공되는 제2 송신신호를 초음파 신호로 변환하여 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제2 수신신호를 형성한다.
빔 포머(123)는 초음파 프로브(122)로부터 제1 수신신호가 제공되면, 제1 수신신호를 아날로그 디지털 변환하여 제1 디지털 신호를 형성한다. 빔 포머(123)는 변환소자의 위치 및 집속점을 고려하여 제1 디지털 신호를 수신 집속시켜 제1 수신집속신호를 형성한다. 빔 포머(123)는 초음파 프로브(122)로부터 제2 수신신호가 제공되면, 제2 수신신호를 아날로그 디지털 변환하여 제2 디지털 신호를 형성한다. 빔 포머(123)는 변환소자의 위치 및 집속점을 고려하여 제2 디지털 신호를 수신 집속시켜 제2 수신집속신호를 형성한다.
초음파 데이터 형성부(124)는 빔 포머(123)로부터 제1 수신집속신호가 제공되면, 제1 수신집속신호를 이용하여 제1 초음파 데이터를 형성한다. 초음파 데이터 형성부(124)는 빔 포머(123)로부터 제2 수신집속신호가 제공되면, 제2 수신집속신호를 이용하여 제2 초음파 데이터를 형성한다. 아울러, 초음파 데이터 형성부(124)는 초음파 데이터를 형성하는데 필요한 신호 처리(예를 들어, 게인(gain) 조절, 필터링 처리) 등을 제1 내지 제3 수신집속신호에 수행할 수도 있다.
영상 형성부(125)는 초음파 데이터 형성부(124)로부터 제1 초음파 데이터가 제공되면, 제1 초음파 데이터를 이용하여 3차원 초음파 영상을 형성한다. 본 실시예에서 3차원 초음파 영상은 최대 들숨에서의 3차원 초음파 영상(IUS(t1)) 및 최대 날숨에서의 3차원 초음파 영상(IUS(t2))중 적어도 하나를 포함한다. 영상 형성부(125)는 초음파 데이터 형성부(124)로부터 제2 초음파 데이터가 제공되면, 제2 초음파 데이터를 이용하여 2차원 초음파 영상을 형성한다.
다시 도 1을 참조하면, 사용자 입력부(130)는 사용자의 입력 정보를 수신한다. 본 실시예에서 입력 정보는 2차원 초음파 영상을 얻기 위한 단면 위치를 설정 하는 단면위치 설정정보, 3차원 CT 영상(ICT(ti)(1≤i≤K))에서 횡경막 영역을 설정하는 횡경막 영역 설정정보 및 3차원 CT 영상(ICT(ti)(1≤i≤K))에서 혈관 영역을 설정하는 혈관 영역 설정정보를 포함한다. 일례로서, 단면위치 설정정보는 초음파 프로브(122), 즉 3차원 프로브의 변환소자가 스윙할 수 있는 회전 각도 범위(즉, -35° 내지 +35°)에서 어느 하나의 회전 각도를 설정하는 단면위치 설정정보를 포함할 수 있다. 다른 예로서, 단면위치 설정정보는 초음파 프로브(122), 즉 2D 어레이 프로브에서 획득 가능한 프레임들 중에서 어느 하나의 프레임을 선택하는 단면위치 설정정보를 포함할 수 있다. 따라서, 초음파 영상 형성부(120)는 단면위치 설정정보에 해당하는 2차원 초음파 영상을 형성할 수 있다. 사용자 입력부(130)는 다이얼 버튼 등을 포함하는 컨트롤 패널(control panel), 마우스(mouse), 키보드(keyboard) 등으로 구현될 수 있다.
프로세서(140)는 3차원 CT 영상과 3차원 초음파 영상 간에 영상 정합을 수행하여 3차원 CT 영상과 3차원 초음파 영상 간의 변환 함수(즉, 초음파 프로브(122)의 위치)(Tprobe)를 획득한다. 이하, 설명의 편의를 위해 3차원 초음파 영상(IUS(tj)(1≤j≤2))이 최대 들숨에서의 3차원 초음파 영상(IUS(t1)) 및 최대 날숨에서의 3차원 초음파 영상(IUS(t2))을 포함하는 것으로 설명하지만, 이에 국한되지 않는다. 아울러, 프로세서(140)는 변환 함수를 이용하여 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출한다.
도 4는 본 발명의 실시예에 따른 프로세서(140)의 구성을 보이는 블록도이다. 프로세서(140)는 보간부(141), 횡경막 추출부(142), 혈관 추출부(143), 횡경막 리파이닝(refining)부(144), 정합부(145), 변환부(146), 유사도 검출부(147) 및 CT 영상 추출부(148)를 포함한다.
보간부(141)는 CT 영상 형성부(110)로부터 제공되는 3차원 CT 영상(ICT(ti))과 3차원 CT 영상(ICT(ti +1))을 보간(interpolation)하여, 3차원 CT 영상(ICT(ti))과 3차원 CT 영상(ICT(ti +1)) 사이에 적어도 하나의 3차원 CT 영상을 형성한다. 일례로서, 보간부(141)는 CT 영상 형성부(110)로부터 제공되는 3차원 CT 영상(ICT(ti)(1≤i≤K)) 간에 보간을 수행하여 N개의 3차원 CT 영상(ICT(ti)(1≤i≤N))을 획득한다.
횡경막 추출부(142)는 보간부(141)로부터 제공되는 3차원 CT 영상(ICT(ti)(1≤i≤N)) 각각에서 횡경막을 추출한다. 아울러, 횡경막 추출부(142)는 초음파 영상 형성부(120)로부터 제공되는 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 횡경막을 추출한다.
일실시예에서, 횡경막 추출부(142)는 헤시안 매트릭스(Hessian matrix)에 기초하여 평탄도 테스트(flatness test)를 3차원 CT 영상(ICT(ti)(1≤i≤N)) 및 3차원 초음파 영상(IUS(tj)(1≤j≤2))에 실시하여 횡경막을 추출한다. 즉, 횡경막 추출부(142)는 횡경막이 3차원 CT 영상 및 3차원 초음파 영상에서 곡면인 것을 고려하 여 표면에 수직한 방향의 복셀값(voxel intensity) 변화가 표면과 수평한 방향의 복셀값 변화보다 큰 영역을 횡경막으로서 추출한다. 도 5는 방향에 따른 헤시안 매트릭스 고유값(eigen value)(λ1, λ2, λ3)을 보인다.
보다 상세하게, 횡경막 추출부(142)는 3차원 CT 영상(ICT(ti)(1≤i≤N)) 및 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 횡경막을 추출하기 위해 기준값보다 평탄도가 높은 복셀(voxel)을 선택한다. 평탄도(μ(v))는 다음의 수학식 1과 같이 정의된다.
Figure 112009047284187-pat00001
수학식 1의 φ1(ν), φ2(ν) 및 φ3(ν)는 다음의 수학식 2와 같이 표현된다.
Figure 112009047284187-pat00002
전술한 λ1(ν), λ2(ν) 및 λ3(ν)는 복셀의 위치에 따른 헤시안 매트릭스의 고유값을 나타낸다. 평탄도(μ(ν))는 0 내지 1 사이의 값을 갖도록 정규화된다. 횡경막 추출부(142)는 수학식 1 및 2에 의해 얻어진 평탄도를 이용하여 평탄맵 을 형성하고, 상대적으로 평탄도가 큰 복셀을 선택한다. 본 실시예에서 횡경막 추출부(142)는 평탄도가 0.1 이상인 복셀을 선택한다.
횡경막 추출부(142)는 선택된 복셀들을 대상으로 모포로지컬 오프닝(morphological opening)을 수행하여 작은 클러터(clutter)를 제거한다(morphological filtering). 모포로지컬 오프닝은 수축(erosion)과 팽창(dilation)을 순차적으로 수행하는 것을 의미한다. 횡경막 추출부(142)는 형태학적으로 복셀값이 존재하는 영역의 에지를 일정 복셀만큼 제거하여 수축(침식)시킨 후, 다시 그 일정 복셀만큼 팽창(확장)시킨다. 본 발명의 실시예에서, 횡경막 추출부(142)는 1 복셀의 크기로 수축 및 팽창을 실시한다.
3차원 CT 영상 및 3차원 초음파 영상에서 횡격막은 가장 큰 표면이므로, 복셀들의 CCA(intensity-based connected component analysis)로써 획득된 후보들(candidates) 중에서 가장 큰 표면이 선택되어, 횡격막으로 간주된다. 복셀값 기반의 CCA는 이진화 된 영상에서 복셀값이 존재하는 영역끼리 모으는(grouping) 하는 방법 중 하나이다. 예를 들어, 횡경막 추출부(142)는 1 복셀을 중심으로 주변 복셀들(예컨대 26개의 복셀)의 복셀값을 참조하여 복셀간 연결 테스트(connectivity test)를 통해 해당 복셀을 중심으로 연결되는 복셀들의 수(복셀 수)를 계산하고, 연결 복셀수가 일정 개수 이상인 복셀들을 후보 그룹으로 선정한다. 횡격막이 3차원 CT 영상 및 3차원 초음파 영상의 관심 영역 안에서 가장 넓게 존재하는 곡면이라는 특성을 이용하여, 횡경막 추출부(142)는 후보 그룹들 중 가장 많은 연결 복셀수(복셀 수)를 갖는 그룹을 횡격막으로 추출한다. 이후, 횡경막 추 출부(141)는 횡격막 표면을 고르게 한다(smoothen).
다른 실시예에서, 횡경막 추출부(142)는 3차원 초음파 영상(IUS(tj)(1≤j≤2))에 전술한 바와 같은 과정을 수행하여 횡경막을 추출한다. 아울러, 횡경막 추출부(142)는 사용자 입력부(130)로부터 제공되는 입력 정보(즉, 횡경막 영역 설정정보)에 따라 3차원 CT 영상(ICT(ti)(1≤i≤N))에서 횡경막을 추출한다. 보다 상세하게, 3차원 CT 영상은 일반적인 초음파 영상에 비해 간의 경계가 뚜렷하므로, 횡경막 추출부(142)는 간 영역 추출을 위한 상용 프로그램 또는 씨앗점 기반 영역 성장 방법(seeded region growing segmantation method) 등의 방법을 이용하여 횡경막을 추출할 수 있다.
혈관 추출부(143)는 3차원 CT 영상(ICT(ti)(1≤i≤N))에서 혈관을 추출한다. 아울러, 혈관 추출부(143)는 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 혈관을 추출한다.
일실시예에서, 혈관 추출부(143)는 마스킹, 혈관 분할(segmentation) 및 분류(classification) 순으로 3차원 CT 영상(ICT(ti)(1≤i≤N)) 및 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 혈관 추출을 수행할 수 있다.
보다 상세하게, 혈관 추출부(143)는 거울 허상(mirror artifacts)에 의한 혈관 추출 오류 발생을 피하기 위해, 횡경막을 다항 곡면(polynomial curved surface)으로 모델링하여 3차원 CT 영상(ICT(ti)(1≤i≤N)) 및 3차원 초음파 영 상(IUS(tj)(1≤j≤2))에 ROI(region of interest) 마스킹을 적용한다. 이때, 혈관 추출부(143)는 LMS(Least mean square)를 이용하여 횡경막을 다항 곡면으로 모델링한 ROI 마스크를 이용할 수 있다. 그러나, 모델링된 다항 곡면 아래 영역을 모두 제거할 경우, 다항 곡면의 에러로 인해 일부 영역에서는 의미 있는 혈관 정보를 잃는 경우가 생길 수도 있다. 혈관 추출부(143)는 혈관정보 손실을 방지하기 위해, ROI 마스크 하단에서 10 복셀 정도의 여유 복셀(marginal distance)를 적용하고, 그 이하 영역을 제거한다.
혈관 추출부(143)는 혈관 영역과 비혈관 영역을 분할한다(segment). 혈관 추출부(143)는 횡경막 또는 혈관벽과 같이 세기가 큰 비혈관 영역(non-vessel region)을 제거하기 위해, ROI 마스킹된 영역에서 기준 경계값보다 작은 저강도 경계(low intensity bound)를 추정하고, 상기 기준 경계값보다 세기가 큰 복셀을 제거한다. 혈관 추출부(143)는 적응 임계 방법(adaptive threshold scheme)을 적용하여 남은 영역들을 이진화한다(binarize). 이진화된 영역들은 혈관 후보들(vessel candidates)이 된다.
혈관 추출부(143)는 비혈관 유형 클러터(non-vessel-type clutters)를 제거하여 혈관 후보들 중에서 진정한 혈관을 분류한다. 혈관 분류 과정은 작은 배경 클러터를 제거하기 위한 크기 테스트(size test), GOF(goodness of fit)를 원통관으로 어림(evaluate)하여 비혈관 유형을 제거하는 구조 기반 혈관 테스트(structure-based vessel test), 즉 초기 혈관 테스트(initial vessel test), 그레디언트 크기 분석(Gradient magnitude analysis), 클러터들을 완전하게 제거하기 위한 최종 혈관 테스트(final vessel test)를 포함한다. 구조 기반 혈관 테스트에서 일부 클러터들이 제거되지 않더라도 모든 혈관이 포함되도록 초기 임계값(Cinitial)이 최소 한계로 설정된다. 본 실시예에서 초기 임계값은 0.6이다. 혈관 추출부(143)는 최종 혈관 테스트로써 복셀값의 변화율, 즉 그레디언트 크기(gradient magnitude)를 고려하여, 그레디언트 크기가 작은 음영 허상(shading artifacts)에 기인하여 형성되는 클러터들을 완전히 제거하여 혈관을 추출한다. 본 실시예에서 최종 혈관 테스트의 임계값은 0.4이다.
다른 실시예에서, 혈관 추출부(143)는 3차원 초음파 영상(IUS(tj)(1≤j≤2))에 전술한 바와 같은 과정을 수행하여 혈관을 추출한다. 아울러, 혈관 추출부(143)는 사용자 입력부로부터 제공되는 입력 정보(즉, 혈관 영역 설정정보)에 따라 3차원 CT 영상(ICT(ti)(1≤i≤N))에서 혈관을 추출한다. 보다 상세하게, 혈관 조영된 3차원 CT 영상에서는 간 영역의 조직에 비해 혈관이 보다 밝은 화소값을 갖는 특성을 이용하여, 혈관 추출부(143)는 화소값이 제1임계값 (T1)과 제2임계값 (T2) 사이에 존재하는 화소들에만 255값을 설정하고, 나머지 화소들은 0으로 설정한다. 이 과정을 두 임계값을 이용한 밝기 임계화(intensity thresholding)라고 한다. 이 과정의 결과로, 관심 대상인 혈관 이외에 늑골, 신장 등의 밝은 화소값을 가지는 다른 영역들도 함께 나타난다. 이런 혈관이 아닌 영역을 없애주기 위해, 혈관의 연결성을 이용한다. 일반적으로 간 영역의 혈관은 간문맥(portal vein)과 간정 맥(hepatic vein)으로 이루어져 있다. 따라서 혈관 추출부(143)는 각각의 혈관에 해당하는 2개의 특정 위치를 씨앗점으로 입력함으로써, 그 씨앗점을 시작점으로 해서 기반 영역 확장 방법(seeded region growing method)을 수행하여 혈관만을 추출한다.
횡경막 리파이닝부(144)는 혈관 추출부(143)에서 추출된 혈관을 이용하여 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 횡격막의 리파인먼트(refinement)를 수행한다. 보다 상세하게, 횡경막 리파이닝부(144)는 혈관 추출부(143)에서 추출된 혈관을 이용하여 횡경막의 리파인먼트를 수행하여 클러터를 제거한다. 추출된 횡경막에서 클러터는 주로 혈관 벽에 위치한다. 특히, 하대정맥(IVC, inferior vena cava)은 횡경막에 연결되어 클러터를 유발한다. 이와 같은 클러터가 특징으로서 추출되어 영상 정합에 사용될 경우 영상 정합의 정확도를 저하시킬 수 있으므로, 횡경막 리파이닝부(144)는 클러터를 제거하여 횡경막을 개선한다. 횡경막 리파이닝부(144)는 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 혈관 영역을 추출하고, 추출된 혈관 영역을 팽창(dilation)시키고, 팽창된 혈관 영역에서 피가 흐르는 혈관을 제거하여 혈관벽을 추정한다(estimate). 횡경막 리파이닝부(144)는 CCA 및 크기 테스트를 한 번 더 적용하여 횡격막을 추출한다.
정합부(145)는 3차원 CT 영상(ICT(ti)(1≤i≤N))과 3차원 초음파 영상(IUS(tj)(1≤j≤2))에 대해 해부학적 특징, 즉 혈관 영역과 횡경막 영역에서 샘플 포인트를 추출하고, 추출된 샘플 포인트를 이용하여 3차원 CT 영상(ICT(ti)(1≤i≤N))과 3차원 초음파 영상(IUS(tj)(1≤j≤2)) 간에 영상 정합을 수행하여, 3차원 초음파 영상과 3차원 CT 영상 간의 변환 함수(Tprobe)를 획득한다. 여기서, 변환 함수(Tprobe)는 행렬로 나타낼 수 있다. 본 실시예에서, 변환 함수(Tprobe)는 수학식 3을 통해 획득될 수 있다.
Figure 112009047284187-pat00003
여기서, Dist 함수는 3차원 초음파 영상과 3차원 CT 영상간에 서로 대응하는 특정점 사이의 거리로 정의된다.
즉, 정합부(145)는 최대 들숨에서의 3차원 초음파 영상(IUS(t1))과 가장 오차가 적은 3차원 CT 영상(ICT(ti)) 간의 dist 값을 제1 오차로 정의하고, 최대 날숨에서의 3차원 초음파 영상(IUS(t2))과 가장 오차가 적은 3차원 CT 영상(ICT(ti)) 간의 dist 값을 제2 오차로 정의하여, 제1 오차와 제2 오차의 합이 가장 작은 X를 계산하여 변환 함수(Tprobe)를 획득한다.
변환부(146)는 사용자 입력부(130)로부터 제공되는 입력 정보 및 정합부(145)로부터 제공되는 변환 함수(Tprobe)를 이용하여 3차원 CT 영상(ICT(ti)(1≤i≤ N))을 변환하기 위한 변환 함수(T)를 산출하고, 산출된 변환 함수(T)를 3차원 CT 영상(ICT(ti)(1≤i≤N))에 적용하여 2차원 CT 영상(I2CT(ti)(1≤i≤N))을 획득한다
유사도 검출부(147)는 2차원 초음파 영상과 2차원 CT 영상(I2CT(ti)(1≤i≤N)) 간에 유사도를 검출한다. 본 실시예에서, 유사도는 상호 상관(cross correlation)법, 상호 정보(mutual information)법, SSID(sum of squared intensity difference)법 등을 이용하여 검출될 수 있다.
CT 영상 추출부(148)는 유사도 검출부(147)에서 검출된 유사도를 비교하여 유사도가 가장 큰 2차원 CT 영상((I2CT(ti))을 추출한다.
다시 도 1을 참조하면, 디스플레이부(150)는 초음파 영상 형성부(120)로부터 제공되는 2차원 초음파 영상과 프로세서(140)로부터 제공되는 2차원 CT 영상을 디스플레이한다. 일실시예에서, 2차원 초음파 영상과 2차원 CT 영상은 중첩되어 디스플레이될 수 있다. 다른 실시예에서, 2차원 초음파 영상과 2차원 CT 영상은 동일한 화면에 상하 또는 좌우로 디스플레이될 수 있다.
이하, 첨부된 도면을 참조하여 3차원 CT 영상과 3차원 초음파 영상 간에 영상 정합을 수행하여 2차원 초음파 영상에 대응하는 2차원 CT 영상을 제공하는 절차를 설명한다. 설명의 편의를 위해 3차원 CT 영상에서 횡경막 및 혈관을 자동으로 추출하는 것으로 설명하지만, 이에 국한되지 않는다.
도 6을 참조하면, CT 영상 형성부(110)는 들숨부터 날숨까지의 호흡주기에서 일정 간격으로 대상체내의 관심각체에 대한 3차원 CT 영상(ICT(ti)(1≤i≤K))을 형 성한다(S102).
프로세서(140)의 보간부(141)는 CT 영상 형성부(110)로부터 제공되는 3차원 CT 영상(ICT(ti)(1≤i≤K)) 간에 보간을 수행하여 3차원 CT 영상(ICT(ti)(1≤i≤N))을 획득한다(S104).
초음파 프로브(122)가 초음파 프로브 홀더(126)에 고정되면(S106), 초음파 영상 형성부(120)는 최대 들숨에서 대상체내의 관심객체에 대한 3차원 초음파 영상(ICT(t1))을 형성하고, 최대 날숨에서 대상체내의 관심객체에 대한 3차원 초음파 영상(ICT(t2))을 형성한다(S108).
프로세서(140)는 3차원 CT 영상(ICT(ti)(1≤i≤N))과 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 해부학적 특징(예를 들어, 횡경막 및 혈관)을 추출한다(S110).
프로세서(140)의 정합부(145)는 3차원 CT 영상(ICT(ti)(1≤i≤N))과 3차원 초음파 영상(IUS(tj)(1≤j≤2))에 대해 해부학적 특징, 즉 혈관 영역과 횡경막 영역에서 샘플 포인트를 추출하고, 추출된 샘플 포인트를 이용하여 3차원 CT 영상(ICT(ti)(1≤i≤N))과 3차원 초음파 영상(IUS(tj)(1≤j≤2)) 간에 영상 정합을 수행하여, 3차원 초음파 영상과 3차원 CT 영상 간의 변환 함수(Tprobe)를 획득한다(S112).
사용자 입력부(130)를 통해 입력 정보(즉, 단면위치 설정정보)가 수신되면(S114), 초음파 영상 형성부(120)는 입력 정보에 해당하는 단면의 2차원 초음파 영상을 형성한다(S116).
프로세서(140)의 변환부(146)는 사용자 입력부(130)로부터 제공되는 입력 정보(즉, 단면위치 설정정보) 및 정합부(145)로부터 제공되는 변환 함수(Tprobe)를 이용하여 3차원 CT 영상(ICT(ti)(1≤i≤N))을 변환하기 위한 변환 함수(T)를 산출하고, 산출된 변환 함수(T)를 3차원 CT 영상(ICT(ti)(1≤i≤N))에 적용하여 2차원 CT 영상((I2CT(ti)(1≤i≤N))을 획득한다(S118).
보다 상세하게, 변환부(146)는 사용자 입력부(130)로부터 제공되는 입력 정보를 이용하여 3차원 초음파 영상(IUS(tj)(1≤j≤2))에서 2차원 초음파 영상의 위치를 나타내는 변환 함수, 즉 2차원 초음파 영상에 대한 초음파 프로브(122)의 위치를 나타내는 변환 함수(Tplane)을 획득한다. 여기서, 변환 함수(plane)는 행렬로 나타낼 수 있다. 변환부(146)는 변환 함수(Tprobe)와 변환 함수(Tplane)를 이용하여 3차원 CT 영상(ICT(ti)(1≤i≤N))을 변환하기 위한 변환 함수(T)를 산출한다. 본 실시예에서, 변환부(146)는 변환 함수(Tprobe)와 변환 함수(Tplane)에 행렬 곱셈 연산을 수행하여 변환 함수(T)를 산출할 수 있다. 변환부(146)는 변환 함수(T)를 3차원 CT 영상(ICT(ti)(1≤i≤N)) 각각에 적용하여 2차원 CT 영상(I2CT(ti)(1≤i≤N))을 획득한 다.
프로세서(140)의 유사도 검출부(147)는 초음파 영상 형성부(120)로부터 제공되는 2차원 초음파 영상과 변환부(146)로부터 제공되는 2차원 CT 영상(I2CT(ti)(1≤i≤N)) 간에 유사도를 검출한다(S120).
CT 영상 추출부(148)는 유사도 검출부(147)에서 검출된 유사도를 비교하여 유사도가 가장 큰 2차원 CT 영상(I2CT(ti))을 추출한다(S122). 디스플레이부(150)는 초음파 영상 형성부(120)로부터 제공되는 2차원 초음파 영상과 CT 영상 추출부(148)에서 추출된 2차원 CT 영상을 디스플레이한다(S124).
본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부된 특허청구범위의 사항 및 범주를 벗어나지 않고 여러 가지 변경 및 변형이 이루어질 수 있음을 알 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 영상 제공 시스템의 구성을 보이는 블록도.
도 2는 본 발명의 실시예에 따른 초음파 영상 형성부의 구성을 보이는 블록도.
도 3은 본 발명의 실시예에 따른 초음파 프로브 홀더와 초음파 프로브 홀더에 고정된 초음파 프로브를 보이는 개략도.
도 4는 본 발명의 실시예에 따른 프로세서의 구성을 보이는 블록도.
도 5는 방향에 따른 헤시안 매트릭스의 고유값을 보이는 예시도.
도 6은 본 발명의 실시예에 따라 3차원 초음파 영상과 3차원 CT 영상 간에 영상 정합을 수행하여 2차원 초음파 영상에 대응하는 2차원 CT 영상을 제공하는 절차를 보이는 플로우챠트.

Claims (30)

  1. 영상 제공 시스템으로서,
    사전 설정된 주기동안 일정 간격으로 대상체내의 관심객체에 대한 복수의 3차원 CT 영상을 형성하도록 동작하는 CT 영상 형성부;
    상기 관심객체에 대한 적어도 하나의 3차원 초음파 영상을 형성하도록 동작하는 초음파 영상 형성부;
    상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상 간에 영상 정합을 수행하여 제1 변환 함수를 획득하도록 동작하는 프로세서; 및
    사용자의 입력 정보를 수신하도록 동작하는 사용자 입력부
    를 포함하고,
    상기 초음파 영상 형성부는, 상기 입력 정보에 해당하는 2차원 초음파 영상을 형성하도록 더 동작하고,
    상기 프로세서는, 상기 입력 정보와 상기 제1 변환 함수를 이용하여 상기 복수의 3차원 CT 영상으로부터 복수의 2차원 CT 영상을 획득하고, 상기 2차원 초음파 영상과 상기 복수의 2차원 CT 영상 간에 유사도를 검출하여 상기 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출하도록 더 동작하는 영상 제공 시스템.
  2. 제1항에 있어서, 상기 입력 정보는 상기 2차원 초음파 영상을 얻기 위한 단면 위치를 설정하는 단면위치 설정정보를 포함하는 영상 제공 시스템.
  3. 제1항에 있어서, 상기 주기는 들숨부터 날숨까지의 호흡주기인 영상 제공 시스템.
  4. 제3항에 있어서, 상기 3차원 초음파 영상은 최대 들숨에서의 3차원 초음파 영상 및 최대 날숨에서의 3차원 초음파 영상중 적어도 하나를 포함하는 영상 제공 시스템.
  5. 제1항에 있어서, 상기 프로세서는,
    상기 복수의 3차원 CT 영상 및 상기 적어도 3차원 초음파 영상에서 횡경막을 추출하도록 동작하는 횡경막 추출부;
    상기 복수의 3차원 CT 영상 및 상기 적어도 3차원 초음파 영상에서 혈관을 추출하도록 동작하는 혈관 추출부;
    상기 적어도 하나의 3차원 초음파 영상에 대해 상기 혈관에 기초하여 상기 횡경막에서 클러터를 제거하여 상기 횡경막을 리파이닝(refining)하도록 동작하는 횡경막 리파이닝부;
    상기 복수의 3차원 CT 영상 및 상기 적어도 하나의 3차원 초음파 영상에 대해 상기 혈관 및 상기 횡경막에서 샘플 포인트를 추출하고, 상기 샘플 포인트를 이용하여 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상 간에 영상 정합을 수행하여 상기 제1 변환 함수를 획득하도록 동작하는 정합부;
    상기 입력 정보 및 상기 제1 변환 함수를 이용하여 상기 복수의 3차원 CT 영상으로부터 상기 복수의 2차원 CT 영상을 획득하도록 동작하는 변환부;
    상기 2차원 초음파 영상과 상기 복수의 2차원 CT 영상 간에 유사도를 검출하도록 동작하는 유사도 검출부; 및
    상기 검출된 유사도에서 유사도가 가장 큰 2차원 CT 영상을 추출하도록 동작하는 CT 영상 추출부
    를 포함하는 영상 제공 시스템.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 복수의 3차원 CT 영상 간에 보간(interpolation)을 수행하도록 동작하는 보간부
    를 더 포함하는 영상 제공 시스템.
  7. 제5항에 있어서, 상기 횡경막 추출부는, 평탄맵을 이용하여 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상의 복셀로부터 평탄도를 획득하고, 기준값보다 평탄도가 높은 복셀을 선택하고, 형태학적으로 복셀값이 존재하는 영역의 에지를 일정 복셀만큼 제거하여 수축시키고, 상기 일정 복셀만큼 확장시켜 클러터를 제거하고, CCA(intensity-based connected component analysis)에 의해 상기 클러터가 제거된 복셀로부터 복수의 후보 표면을 획득하며, 상기 복수의 후보 표면중에서 가장 큰 표면을 선택하여 상기 횡경막을 추출하도록 동작하는 영 상 제공 시스템.
  8. 제5항에 있어서, 상기 혈관 추출부는, 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상에서 상기 혈관을 추출하고, 상기 횡경막을 다항 곡면(polynomial curved surface)으로 모델링하여 상기 복수의 3차원 CT 영상과 상기 3차원 초음파 영상에 ROI(region of interest) 마스킹을 적용하고, 기준 경계값보다 큰 세기값을 갖는 복셀을 제거하여 혈관 후보를 선택하며, 상기 선택된 혈관 후보에서 비혈관 유형 클러터를 제거하여 실제 혈관을 분류하도록 동작하는 영상 제공 시스템.
  9. 제5항에 있어서, 상기 입력 정보는 상기 복수의 3차원 CT 영상에서 횡경막 영역을 설정하는 횡경막 영역 설정정보 및 상기 복수의 3차원 CT 영상에서 혈관 영역을 설정하는 혈관 영역 설정정보를 더 포함하는 영상 제공 시스템.
  10. 제9항에 있어서, 상기 횡경막 추출부는,
    상기 횡경막 영역 설정정보에 따라 상기 복수의 3차원 CT 영상에서 상기 횡경막을 추출하고,
    평탄맵을 이용하여 상기 적어도 하나의 3차원 초음파 영상의 복셀로부터 평탄도를 획득하고, 기준값보다 평탄도가 높은 복셀을 선택하고, 형태학적으로 복셀값이 존재하는 영역의 에지를 일정 복셀만큼 제거하여 수축시키고, 상기 일정 복셀 만큼 확장시켜 클러터를 제거하고, CCA(intensity-based connected component analysis)에 의해 상기 클러터가 제거된 복셀로부터 복수의 후보 표면을 획득하며, 상기 복수의 후보 표면중에서 가장 큰 표면을 선택하여 상기 적어도 하나의 3차원 초음파 영상에서 상기 횡경막을 추출하도록 동작하는 영상 제공 시스템.
  11. 제9항에 있어서, 상기 혈관 추출부는,
    상기 혈관 설정정보에 따라 상기 복수의 3차원 CT 영상에서 상기 혈관을 추출하고,
    상기 적어도 하나의 3차원 초음파 영상에서 상기 혈관을 추출하고, 상기 횡경막을 다항 곡면(polynomial curved surface)으로 모델링하여 상기 적어도 하나의 3차원 초음파 영상에 ROI(region of interest) 마스킹을 적용하고, 기준 경계값보다 큰 세기값을 갖는 복셀을 제거하여 혈관 후보를 선택하며, 상기 선택된 혈관 후보에서 비혈관 유형 클러터를 제거하여 실제 혈관을 분류하도록 동작하는 영상 제공 시스템.
  12. 제5항에 있어서, 상기 혈관 추출부는, 비혈관 유형 클러터를 제거하기 위한 구조 기반 혈관 테스트(structured-based vessel test), 그레디언트 크기 분석(gradient magnitude analysis) 및 최종 혈관 테스트(final vessel test)를 수행하도록 더 동작하는 영상 제공 시스템.
  13. 제5항에 있어서, 상기 변환부는, 상기 입력 정보를 이용하여 상기 적어도 하나의 3차원 초음파 영상에서 상기 2차원 초음파 영상의 위치를 나타내는 제2 변환 함수를 산출하고, 상기 제1 변환 함수 및 제2 변환 함수를 이용하여 상기 복수의 3차원 CT 영상을 변환하기 위한 제3 변환 함수를 산출하고, 상기 제3 변환 함수를 상기 복수의 3차원 CT 영상에 적용하여 상기 복수의 2차원 CT 영상을 획득하도록 동작하는 영상 제공 시스템.
  14. 제5항에 있어서, 상기 유사도 검출부는, 상호 상관(cross correlation)법, 상호 정보(mutual information)법 및 SSID(sum of squared intensity difference)법 중 어느 하나를 이용하여 상기 유사도를 산출하도록 동작하는 영상 제공 시스템.
  15. 제1항 내지 제14항중 어느 한 항에 있어서,
    상기 2차원 초음파 영상 및 상기 2차원 CT 영상을 디스플레이하도록 동작하는 디스플레이부
    를 더 포함하는 영상 제공 시스템.
  16. 영상 제공 방법으로서,
    a) 사전 설정된 주기동안 일정 간격으로 대상체내의 관심객체에 대한 복수의 3차원 CT 영상을 형성하는 단계;
    b) 상기 관심객체에 대한 적어도 하나의 3차원 초음파 영상을 형성하는 단계;
    c) 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상 간에 영상 정합을 수행하여 제1 변환 함수를 획득하는 단계;
    d) 사용자의 입력 정보를 수신하는 단계;
    e) 상기 입력 정보에 해당하는 2차원 초음파 영상을 형성하는 단계;
    f) 상기 입력 정보와 상기 제1 변환 함수를 이용하여 상기 복수의 3차원 CT 영상으로부터 복수의 2차원 CT 영상을 획득하는 단계; 및
    g) 상기 2차원 초음파 영상과 상기 복수의 2차원 CT 영상 간에 유사도를 검출하여 상기 2차원 초음파 영상에 대응하는 2차원 CT 영상을 검출하는 단계
    를 포함하는 영상 제공 방법.
  17. 제16항에 있어서, 상기 입력 정보는 상기 2차원 초음파 영상을 얻기 위한 단면 위치를 설정하는 단면위치 설정정보를 포함하는 영상 제공 방법.
  18. 제16항에 있어서, 상기 단계 a)는,
    상기 복수의 3차원 CT 영상 간에 보간(interpolation)을 수행하는 단계
    를 더 포함하는 영상 제공 방법.
  19. 제16항에 있어서, 상기 주기는 들숨부터 날숨까지의 호흡주기인 영상 제공 방법.
  20. 제19항에 있어서, 상기 3차원 초음파 영상은 최대 들숨에서의 3차원 초음파 영상 및 최대 날숨에서의 3차원 초음파 영상중 적어도 하나를 포함하는 영상 제공 방법.
  21. 제16항에 있어서, 상기 단계 c)는,
    c1) 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상에서 횡경막을 추출하는 단계;
    c2) 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상에서 혈관을 추출하는 단계;
    c3) 상기 적어도 하나의 3차원 초음파 영상에 대해 상기 혈관에 기초하여 상기 횡경막에서 클러터를 제거하여 상기 횡경막을 리파이닝(refining)하는 단계;
    c4) 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상에 대해 상기 혈관 및 상기 횡경막에서 샘플 포인트를 추출하는 단계; 및
    c5) 상기 샘플 포인트를 이용하여 상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상 간에 영상 정합을 수행하여 상기 제1 변환 함수를 획득하는 단계
    를 포함하는 영상 제공 방법.
  22. 제21항에 있어서, 상기 단계 c1)은,
    평탄맵을 이용하여 상기 복수의 3차원 CT 영상과 상기 적어도 3차원 초음파 영상의 복셀로부터 평탄도를 획득하는 단계;
    기준값보다 평탄도가 높은 복셀을 선택하고, 형태학적으로 복셀값이 존재하는 영역의 에지를 일정 복셀만큼 제거하여 수축시키는 단계;
    상기 일정 복셀만큼 확장시켜 클러터를 제거하는 단계;
    CCA(intensity-based connected component analysis)에 의해 상기 클러터가 제거된 복셀로부터 복수의 후보 표면을 획득하는 단계; 및
    상기 복수의 후보 표면중에서 가장 큰 표면을 선택하여 상기 횡경막을 추출하는 단계
    를 포함하는 영상 제공 방법.
  23. 제21항에 있어서, 상기 단계 c2)는,
    상기 복수의 3차원 CT 영상과 상기 적어도 하나의 3차원 초음파 영상에서 상기 혈관을 추출하는 단계;
    상기 횡경막을 다항 곡면(polynomial curved surface)으로 모델링하여 상기 복수의 3차원 CT 영상과 상기 3차원 초음파 영상에 ROI(region of interest) 마스킹을 적용하는 단계;
    기준 경계값보다 큰 세기값을 갖는 복셀을 제거하여 혈관 후보를 선택하는 단계; 및
    상기 선택된 혈관 후보에서 비혈관 유형 클러터를 제거하여 실제 혈관을 분류하는 단계
    를 포함하는 영상 제공 방법.
  24. 제21항에 있어서, 상기 단계 c) 이전에,
    상기 복수의 3차원 CT 영상에서 횡경막 영역을 설정하는 횡경막 영역 설정정보 및 혈관 영역을 설정하는 혈관 영역 설정정보를 수신하는 단계
    를 더 포함하는 영상 제공 방법.
  25. 제24항에 있어서, 상기 단계 c1)은
    상기 횡경막 영역 설정정보에 따라 상기 복수의 3차원 CT 영상에서 상기 횡경막을 추출하는 단계; 및
    평탄맵을 이용하여 상기 적어도 3차원 초음파 영상의 복셀로부터 평탄도를 획득하고, 기준값보다 평탄도가 높은 복셀을 선택하고, 형태학적으로 복셀값이 존재하는 영역의 에지를 일정 복셀만큼 제거하여 수축시키고, 상기 일정 복셀만큼 확장시켜 클러터를 제거하고, CCA(intensity-based connected component analysis)에 의해 상기 클러터가 제거된 복셀로부터 복수의 후보 표면을 획득하며 상기 복수의 후보 표면중에서 가장 큰 표면을 선택하여 상기 횡경막을 추출하는 단계
    를 포함하는 영상 제공 방법.
  26. 제24항에 있어서, 상기 단계 c2)는,
    상기 혈관 영역 설정정보에 따라 상기 복수의 CT 영상에서 상기 혈관을 추출하는 단계;
    상기 적어도 하나의 3차원 초음파 영상에서 상기 혈관을 추출하고, 상기 횡경막을 다항 곡면(polynomial curved surface)으로 모델링하여 상기 적어도 하나의 3차원 초음파 영상에 ROI(region of interest) 마스킹을 적용하고, 기준 경계값보다 큰 세기값을 갖는 복셀을 제거하여 혈관 후보를 선택하며, 상기 선택된 혈관 후보에서 비혈관 유형 클러터를 제거하여 실제 혈관을 분류하는 단계
    를 포함하는 영상 제공 방법.
  27. 제21항에 있어서, 상기 단계 c)는,
    비혈관 유형 클러터를 제거하기 위한 구조 기반 혈관 테스트(structured-based vessel test), 그레디언트 크기 분석(gradient magnitude analysis) 및 최종 혈관 테스트(final vessel test)를 수행하는 단계
    를 더 포함하는 영상 제공 방법.
  28. 제16항에 있어서, 상기 단계 f)는,
    상기 입력 정보를 이용하여 상기 3차원 초음파 영상에서 상기 2차원 초음파 영상의 위치를 나타내는 제2 변환 함수를 산출하는 단계;
    상기 제1 변환 함수 및 제2 변환 함수를 이용하여 상기 복수의 3차원 CT 영 상을 변환하기 위한 제3 변환 함수를 산출하는 단계; 및
    상기 제3 변환 함수를 상기 복수의 3차원 CT 영상에 적용하여 상기 복수의 2차원 CT 영상을 획득하는 단계
    를 포함하는 영상 제공 방법.
  29. 제16항에 있어서, 상기 단계 g)는,
    상호 상관(cross correlation)법, 상호 정보(mutual information)법 및 SSID(sum of squared intensity difference)법 중 어느 하나를 이용하여 상기 유사도를 산출하는 단계; 및
    상기 산출된 유사도를 비교하여 유사도가 가장 큰 상기 2차원 CT 영상을 추출하는 단계
    를 포함하는 영상 제공 방법.
  30. 제16항 내지 제29항중 어느 한 항에 있어서,
    h) 상기 2차원 초음파 영상 및 상기 2차원 CT 영상을 디스플레이하는 단계
    를 더 포함하는 영상 제공 방법.
KR1020090070981A 2009-07-31 2009-07-31 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법 KR101121396B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090070981A KR101121396B1 (ko) 2009-07-31 2009-07-31 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
EP10170226A EP2293245A1 (en) 2009-07-31 2010-07-21 Providing a 2-dimensional CT image corresponding to a 2-dimensional ultrasound image
JP2010167490A JP5498299B2 (ja) 2009-07-31 2010-07-26 ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
US12/846,528 US20110028843A1 (en) 2009-07-31 2010-07-29 Providing a 2-dimensional ct image corresponding to a 2-dimensional ultrasound image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090070981A KR101121396B1 (ko) 2009-07-31 2009-07-31 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110013026A KR20110013026A (ko) 2011-02-09
KR101121396B1 true KR101121396B1 (ko) 2012-03-05

Family

ID=42735491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090070981A KR101121396B1 (ko) 2009-07-31 2009-07-31 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법

Country Status (4)

Country Link
US (1) US20110028843A1 (ko)
EP (1) EP2293245A1 (ko)
JP (1) JP5498299B2 (ko)
KR (1) KR101121396B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521980B2 (en) 2014-05-16 2016-12-20 Samsung Electronics Co., Ltd. Method for registering medical images, apparatus performing the method, and computer readable media including the method
US10542955B2 (en) 2012-11-26 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2130497A1 (en) * 2008-06-05 2009-12-09 Medison Co., Ltd. Anatomical feature extraction from an ultrasound liver image
US20120253170A1 (en) * 2011-03-29 2012-10-04 Samsung Electronics Co., Ltd. Method and apparatus for generating medical image of body organ by using 3-d model
TWI446897B (zh) 2011-08-19 2014-08-01 Ind Tech Res Inst 超音波影像對齊裝置及其方法
KR101932721B1 (ko) 2012-09-07 2018-12-26 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
US9922447B2 (en) * 2013-04-30 2018-03-20 Mantis Vision Ltd. 3D registration of a plurality of 3D models
US9230331B2 (en) * 2013-10-21 2016-01-05 Samsung Electronics Co., Ltd. Systems and methods for registration of ultrasound and CT images
KR102233427B1 (ko) * 2014-04-14 2021-03-29 삼성전자주식회사 의료 영상 정합 방법 및 장치
US8958623B1 (en) 2014-04-29 2015-02-17 Heartflow, Inc. Systems and methods for correction of artificial deformation in anatomic modeling
US10966688B2 (en) * 2014-08-26 2021-04-06 Rational Surgical Solutions, Llc Image registration for CT or MR imagery and ultrasound imagery using mobile device
EP3190973A1 (en) * 2014-09-08 2017-07-19 Koninklijke Philips N.V. Medical imaging apparatus
US10675006B2 (en) * 2015-05-15 2020-06-09 Siemens Medical Solutions Usa, Inc. Registration for multi-modality medical imaging fusion with narrow field of view
KR101927298B1 (ko) * 2015-06-22 2019-03-08 연세대학교 산학협력단 혈관 조영 영상에서 자동으로 혈관을 영역화하는 기법
JP6865755B2 (ja) 2015-12-22 2021-04-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被験者のボリュームを検査する医用撮像装置及び医用撮像方法
KR101900679B1 (ko) * 2016-12-02 2018-09-20 숭실대학교산학협력단 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
EP3508132A1 (en) 2018-01-04 2019-07-10 Koninklijke Philips N.V. Ultrasound system and method for correcting motion-induced misalignment in image fusion
KR102099415B1 (ko) * 2018-02-23 2020-04-09 서울대학교산학협력단 Ct 데이터와 광학 데이터의 정합성능 향상 방법 및 그 장치
KR102427573B1 (ko) * 2019-09-09 2022-07-29 하이윈 테크놀로지스 코포레이션 의료 영상 등록 방법
CN113041515A (zh) * 2021-03-25 2021-06-29 中国科学院近代物理研究所 三维图像引导运动器官定位方法、系统及存储介质
KR102444581B1 (ko) * 2021-10-07 2022-09-19 주식회사 피맥스 흉부 영상으로부터 횡격막을 검출하는 방법 및 이를 위한 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640956A (en) * 1995-06-07 1997-06-24 Neovision Corporation Methods and apparatus for correlating ultrasonic image data and radiographic image data
JP3834365B2 (ja) * 1996-10-16 2006-10-18 アロカ株式会社 超音波診断装置
US7117026B2 (en) * 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
JP2004174220A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理方法をコンピュータに実行させるプログラムを格納する記録媒体
US7167760B2 (en) * 2003-04-28 2007-01-23 Vanderbilt University Apparatus and methods of optimal placement of deep brain stimulator
US20070167806A1 (en) * 2005-11-28 2007-07-19 Koninklijke Philips Electronics N.V. Multi-modality imaging and treatment
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
DE102007009017B3 (de) * 2007-02-23 2008-09-25 Siemens Ag Anordnung zur Unterstützung eines perkutanen Eingriffs
DE102007010806B4 (de) * 2007-03-02 2010-05-12 Siemens Ag Verfahren zum Schaffen erweiterter Möglichkeiten bei der Verwendung von für den Einsatz von Registrierungsverfahren ungeeigneten Bilddaten eines Patienten und Röntgenangiographiesystem
KR101411639B1 (ko) * 2007-09-11 2014-06-24 삼성전기주식회사 영상 정합 방법 및 장치
US8290303B2 (en) * 2007-10-11 2012-10-16 General Electric Company Enhanced system and method for volume based registration
JP2009106530A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 医用画像処理装置、医用画像処理方法、及び医用画像診断装置
JP5835680B2 (ja) * 2007-11-05 2015-12-24 株式会社東芝 画像位置合わせ装置
US8111892B2 (en) * 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
US8724874B2 (en) * 2009-05-12 2014-05-13 Siemens Aktiengesellschaft Fusion of 3D volumes with CT reconstruction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542955B2 (en) 2012-11-26 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for medical image registration
US9521980B2 (en) 2014-05-16 2016-12-20 Samsung Electronics Co., Ltd. Method for registering medical images, apparatus performing the method, and computer readable media including the method

Also Published As

Publication number Publication date
JP5498299B2 (ja) 2014-05-21
EP2293245A1 (en) 2011-03-09
KR20110013026A (ko) 2011-02-09
US20110028843A1 (en) 2011-02-03
JP2011031040A (ja) 2011-02-17

Similar Documents

Publication Publication Date Title
KR101121396B1 (ko) 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
KR101121353B1 (ko) 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
KR101121286B1 (ko) 센서의 교정을 수행하는 초음파 시스템 및 방법
KR101017611B1 (ko) 초음파 - ｃｔ 영상 정합을 위한 3차원 초음파 간 영상의 해부학적 특징을 추출하는 시스템 및 방법
RU2653274C2 (ru) Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях
Menchón-Lara et al. Fully automatic segmentation of ultrasound common carotid artery images based on machine learning
CN110325119B (zh) 卵巢卵泡计数和大小确定
EP2961324B1 (en) Systems and methods for ultrasound imaging
US9119559B2 (en) Method and system of generating a 3D visualization from 2D images
EP3174467B1 (en) Ultrasound imaging apparatus
US9230331B2 (en) Systems and methods for registration of ultrasound and CT images
US9536318B2 (en) Image processing device and method for detecting line structures in an image data set
KR101175426B1 (ko) 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
US10548564B2 (en) System and method for ultrasound imaging of regions containing bone structure
US20200111559A1 (en) Analyzing apparatus and analyzing method
CN109310388B (zh) 一种成像方法和系统
CN112826535A (zh) 一种超声成像中自动定位血管的方法和装置及设备
KR101024857B1 (ko) 3차원 초음파 영상에 컬러 모델링 처리를 수행하는 초음파 시스템 및 방법
King et al. Image-to-physical registration for image-guided interventions using 3-D ultrasound and an ultrasound imaging model
US10467753B1 (en) Methods and apparatus for slicing three dimensional medical images along curved anatomical surfaces
Alruhaymi Ultrasound imaging operation capture and image analysis for speckle noise reduction and detection of shadows
Lascu et al. A new morphological image segmentation with application in 3D echographic images
Bozma et al. Model-based multi-objective analysis of ultrasound image sequences in prenatal diagnosis

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 8