KR20140144633A - 영상 정합 방법 및 장치 - Google Patents

영상 정합 방법 및 장치 Download PDF

Info

Publication number
KR20140144633A
KR20140144633A KR1020130071956A KR20130071956A KR20140144633A KR 20140144633 A KR20140144633 A KR 20140144633A KR 1020130071956 A KR1020130071956 A KR 1020130071956A KR 20130071956 A KR20130071956 A KR 20130071956A KR 20140144633 A KR20140144633 A KR 20140144633A
Authority
KR
South Korea
Prior art keywords
image data
image
coordinate information
probe
matching
Prior art date
Application number
KR1020130071956A
Other languages
English (en)
Other versions
KR102114417B1 (ko
Inventor
신동국
서봉구
최성진
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to PCT/KR2014/005038 priority Critical patent/WO2014200230A1/en
Priority to EP14811493.7A priority patent/EP3008688B1/en
Priority to US14/897,428 priority patent/US9818194B2/en
Publication of KR20140144633A publication Critical patent/KR20140144633A/ko
Priority to US15/810,928 priority patent/US10685451B2/en
Application granted granted Critical
Publication of KR102114417B1 publication Critical patent/KR102114417B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/14
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image

Abstract

본 발명의 일 실시예에 따른 영상 정합 방법에 의하면, 좌표계가 서로 대응되도록 정렬된 영상 데이터들 간의 영상 정합이 수행됨에 따라 간단하고 빠르게 높은 품질의 정합 영상이 획득될 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법은, 제 1 좌표 정보를 포함하는, 대상체에 대한 제 1 영상 데이터를 획득하는 단계, 프로브를 이용하여, 제 2 좌표 정보를 포함하는, 상기 대상체에 대한 제 2 영상 데이터를 획득하는 단계, 상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 이용하여, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계 를 포함할 수 있다.

Description

영상 정합 방법 및 장치 {METHOD AND APPARATUS FOR IMAGE REGISTRATION}
본 발명은 영상 정합 방법 및 장치에 관한 것으로서, 보다 상세하게는, 정확하고 빠른 영상 정합을 가능하게 하는, 사용자 친화적인 (user-friendly) 영상 정합 방법 및 장치에 관한 것이다.
영상 정합 (image registration) 은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리 기법이다. 영상 정합은 둘 이상의 영상들을 한 장의 합성된 영상으로 재구성하는 것을 의미할 수 있다. 사용자는 영상 정합 기술을 이용하여, 서로 다른 영상들이 어떻게 대응되는지를 알 수 있다.
의료 영상을 이용한 진단 분야에서, 환부의 영상을 시간에 따라 비교하거나, 정상인 조직의 영상과 비교하기 위해서, 영상 정합 기술이 널리 이용된다. 또한, 서로 다른 영상 획득 방식 (modality) 들 간의 장점 또는 단점이 보완된 영상을 진단에 이용하기 위해서, 획득된 영상들을 같은 공간에 나타내어 비교하여 볼 수 있게 하는 영상 정합 기술이 이용된다.
예를 들어, 폐 또는 위에 공기가 차 있는 경우, 초음파 진단 장치, CT(computed tomography) 진단 장치 및 MRI(magnetic resonance imaging) 진단 장치로부터 획득된 의료 영상만으로 병변을 진단하는데 어려움이 있다. 따라서, 대상체 내의 관심 객체에 삽입되는 촬영 장치로부터 제공되는 의료 영상과, 초음파 진단장치, CT 진단 장치 또는 MRI(magnetic resonance imaging) 진단 장치로부터 제공되는 의료 영상 간에 영상 정합을 수행하는 영상 정합 시스템이 요구된다.
또한, 초음파 시스템은 무침습 및 비파괴 특성을 가지고 있어, 대상체 내부의 정보를 얻기 위한 의료 분야에서 널리 이용되고 있다. 초음파 시스템은 대상체를 직접 절개하여 관찰하는 외과 수술의 필요 없이, 대상체 내부의 고해상도 영상을 실시간으로 의사에게 제공할 수 있으므로 의료 분야에서 매우 중요하게 사용되고 있다. 그러나, 초음파 영상은 신호대 잡음비가 낮기 때문에, 이를 보완하기 위해 CT 영상과 같은 다른 의료 영상 획득 방식에 의해 획득된 영상과 초음파 영상간에 정합을 수행하는 영상 정합 시스템이 요구된다.
또한, 정합된 영상을 이용하여 사용자가 질병에 대한 정확한 진단을 내리기 위해서, 정확하게 정합된 영상을 빠르게 제공할 수 있는 영상 정합 방법 및 장치가 요구된다.
종래에는 서로 다른 영상 데이터 세트들 간에 대응하는 점, 평면, 및 볼륨 중 적어도 하나를 찾아서, 영상 데이터 세트들을 정합하는 방법이 사용되었다. 따라서, 종래의 영상 정합 방법에 의하면, 사용자가 대상체의 방향을 고려하여, 특징 점, 특징 평면, 및 특징 볼륨 중 적어도 하나를 직접 선택해야 하는 불편함이 있었다. 또한, 정합에 적합할 것으로 예상되는 특징 점, 특징 평면, 및 특징 볼륨 중 적어도 하나를 사용자가 직접 검색하고 선택하는 데 많은 시간이 소요된다는 문제점이 있었다.
따라서, 본 발명은 이러한 종래의 문제점을 해결하여, 정확하고 빠른 영상 정합을 가능하게 하며, 사용자 친화적인 (user-friendly) 영상 정합 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 정합 방법은, 제 1 좌표 정보를 포함하는, 대상체에 대한 제 1 영상 데이터를 획득하는 단계; 프로브를 이용하여, 제 2 좌표 정보를 포함하는, 상기 대상체에 대한 제 2 영상 데이터를 획득하는 단계; 및 상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 이용하여, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 제 2 영상 데이터를 획득하는 단계는, 소정 시점에 대응하는 상기 프로브의 좌표 정보를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 제 2 영상 데이터를 획득하는 단계는, 소정 시점에 대응하는 상기 프로브의 좌표 정보로부터, 상기 제 2 영상 데이터에 대한 상기 제 2 좌표 정보를 추정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 제 2 좌표 정보를 포함하는 상기 제 2 영상 데이터는, 상기 대상체의 좌측으로부터 우측으로 갈수록 x축 값이 증가하고, 상기 대상체의 전측으로부터 후측으로 갈수록 y축 값이 증가하고, 상기 대상체의 하측으로부터 상측으로 갈수록 z축 값이 증가하도록, 직교 좌표계 상에 형성될 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 프로브의 좌표 정보는, 상기 프로브의 방향, 기울기, 및 회전 각도 중 적어도 하나에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계는, 상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 비교하는 단계; 및 상기 비교 결과에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나를 변환하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 제 2 영상 데이터를 획득하는 단계는, 상기 제 2 영상 데이터를 디스플레이하는 단계; 및 상기 디스플레이된 제 2 영상 데이터에 대한 사용자의 입력에 기초하여, 상기 제 2 좌표 정보에 대한 상기 제 2 영상 데이터의 기울어짐 (yaw), 어긋남 (pitch), 및 회전 (roll) 중 적어도 하나를 보정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계는, 사용자의 입력에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나 내에서 제 1 특징 점을 선택하는 단계; 상기 제 1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 하나 내에서, 상기 제 1 특징 점에 대응하는 제 2 특징 점을 선택하는 단계; 및 상기 제 1 특징 점 및 상기 제 2 특징 점에 기초하여, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법은, 제 3 영상 데이터로부터 추출된 적어도 하나의 단면 영상을 디스플레이하는 단계를 더 포함할 수 있고, 상기 제 3 영상 데이터는, 상기 제 1 영상 데이터에 포함되는 제 1 볼륨 데이터와 상기 제 2 영상 데이터에 포함되는 제 2 볼륨 데이터를 정합함으로써 생성될 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 상기 제 1 영상 데이터는, CT 또는 MR 방식에 의해 획득되고, 상기 제 2 영상 데이터는, 초음파 방식을 이용하여 획득될 수 있다.
한편, 본 발명의 일 실시예에 따른 영상 정합 장치는, 제 1 좌표 정보를 포함하는, 대상체에 대한 제 1 영상 데이터를 획득하는 제 1 영상 데이터 획득부; 프로브를 이용하여, 제 2 좌표 정보를 포함하는, 상기 대상체에 대한 제 2 영상 데이터를 획득하는 제 2 영상 데이터 획득부; 및 상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 이용하여, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하도록 영상 처리부를 제어하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치는, 소정 시점에 대응하는 상기 프로브의 좌표 정보를 획득하는 프로브 위치 센싱부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치는, 소정 시점에 대응하는 상기 프로브의 좌표 정보를 획득하는 프로브 위치 센싱부를 더 포함하고, 상기 제 2 영상 데이터 획득부는, 상기 프로브의 좌표 정보로부터, 상기 제 2 영상 데이터에 대한 상기 제 2 좌표 정보를 추정할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치에 있어서, 상기 제 2 좌표 정보를 포함하는 상기 제 2 영상 데이터는, 상기 대상체의 좌측으로부터 우측으로 갈수록 x축 값이 증가하고, 상기 대상체의 전측으로부터 후측으로 갈수록 y축 값이 증가하고, 상기 대상체의 하측으로부터 상측으로 갈수록 z축 값이 증가하도록, 직교 좌표계 상에 형성될 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치에 있어서, 상기 프로브의 좌표 정보는, 상기 프로브의 방향, 기울기, 및 회전 각도 중 적어도 하나에 대한 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치에 있어서, 상기 영상 처리부는, 상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 비교하고, 상기 비교 결과에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나를 변환할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치는, 상기 제 2 영상 데이터를 디스플레이하는 디스플레이부를 더 포함하고, 상기 제 2 영상 데이터 획득부는, 상기 디스플레이된 제 2 영상 데이터에 대한 사용자의 입력에 기초하여, 상기 제 2 좌표 정보에 대한 상기 제 2 영상 데이터의 기울어짐, 어긋남, 및 회전 중 적어도 하나를 보정할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치에 있어서, 상기 영상 처리부는, 사용자의 입력에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나 내에서 제 1 특징 점을 선택하고, 상기 제 1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 하나 내에서, 상기 제 1 특징 점에 대응하는 제 2 특징 점을 선택하고, 상기 제 1 특징 점 및 상기 제 2 특징 점에 기초하여 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치는, 제 3 영상 데이터로부터 추출된 적어도 하나의 단면 영상을 디스플레이하는 디스플레이부를 더 포함하고, 상기 제 3 영상 데이터는, 상기 제 1 영상 데이터에 포함되는 제 1 볼륨 데이터와 상기 제 2 영상 데이터에 포함되는 제 2 볼륨 데이터를 정합함으로써 생성될 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치에 있어서, 상기 제 1 영상 데이터는, CT 또는 MR 방식에 의해 획득되고, 상기 제 2 영상 데이터는, 초음파 방식을 이용하여 획득될 수 있다.
한편, 본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체는, 상술한 영상 정합 방법을 구현하기 위한 프로그램이 기록될 수 있다.
도 1 은 본 발명의 일 실시예에 따른 영상 정합 장치를 포함하는 영상 정합 시스템을 설명하기 위한 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 흐름도이다.
도 3 은 본 발명의 일 실시예에 따른 영상 정합 방법에 있어서, 프로브의 좌표 정보 및 대상체의 좌표 정보를 설명하기 위한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 개념도이다.
도 5 는 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 개념도이다.
도 6 은 본 발명의 일 실시예에 따른 영상 정합 장치를 설명하기 위한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서 "대상체" 란, 영상이 나타내고자 하는 생물 또는 무생물일 수 있다. 또한, 대상체는 신체의 전부 또는 일부를 의미할 수 있고, 대상체에는 간이나, 심장, 자궁, 뇌, 유방, 복부 등의 장기나, 태아 등이 포함될 수 있으며, 신체의 어느 한 단면이 포함될 수 있다.
명세서 전체에서 "사용자" 란, 의료 전문가로서 의사, 간호사, 임상병리사, 소노그래퍼(sonographer), 의료 영상 전문가 등이 될 수 있으나, 이에 한정되지 않는다. 또한, 명세서 전체에서 "영상" 이란, 초음파 영상, MR(magnetic resonance) 영상, CT(computerized tomography) 영상, PET(Positron Emission Tomography) 영상 등을 포함할 수 있으나, 이에 한정되지 않는다.
명세서 전체에서 "영상 데이터" 란, 의료 영상을 획득할 수 있는 데이터 세트를 의미하고, 영상 데이터는 볼륨 데이터, 및 2D 영상 데이터를 포함할 수 있다.
"볼륨 데이터" 란, 복셀(voxel)을 기본 단위로 하는 데이터 세트를 의미하고, 대상체에 대한 해부학적 형태와 함께 공간 정보를 포함하는 영상 데이터 세트를 의미할 수 있다. 여기서 복셀이란, 2 차원 단면의 한 점을 정의하는 기본 단위인 픽셀 (Pixel) 과 같이 3 차원 공간을 정의하는 기본 단위를 의미한다. 복셀은, 좌표 값, 컬러 값 및 밀도 값 (density value) 중 적어도 하나를 가질 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 영상 정합 장치를 포함하는 영상 정합 시스템을 설명하기 위한 블록도이다.
도 1 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 정합 시스템은 영상 획득 장치 (100) 및 영상 정합 장치 (200) 를 포함할 수 있다.
영상 획득 장치 (100) 는, 대상체에 관한 의료 영상을 획득하는 장치일 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 영상 획득 장치 (100) 는, 컴퓨터 단층 촬영 장치 (이하 'CT 장치'), 자기 공명 영상 장치 (이하 'MRI 장치'), 혈관 조영 검사 (Angiography) 장치, 초음파 장치 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
CT 장치는 대상체에 대하여 단면 영상을 제공할 수 있으므로, 일반적인 X-ray 촬영 기기에 비하여 대상체의 내부 구조(예컨대, 신장, 폐 등의 장기 등)를 겹치지 않게 표현할 수 있다는 장점이 있다. CT 장치는, 예를 들어, 2mm 두께 이하의 영상을 초당 수십, 수백 장씩 획득하여 가공함으로써 대상체에 대하여 비교적 정확한 단면 영상을 제공할 수 있다.
MRI 장치는 특정 세기의 자기장에서 발생하는 RF(Radio Frequency) 신호에 대한 MR(Magnetic Resonance) 신호의 세기를 명암 대비로 표현하여 대상체의 단층 부위에 대한 이미지를 획득하는 기기이다. 예를 들어, 대상체를 강력한 자기장 속에 눕힌 후 특정의 원자핵(예컨대, 수소 원자핵 등)만을 공명시키는 RF 신호를 대상체에 순간적으로 조사했다가 중단하면 상기 특정의 원자핵에서 MR 신호가 방출되는데, MRI 장치는 이 MR 신호를 수신하여 MR 영상을 획득할 수 있다. MR 신호는 대상체로부터 방사되는 RF 신호를 의미한다. MR 신호의 크기는 대상체에 포함된 소정의 원자(예컨대, 수소 등)의 농도, 이완시간 T1, 이완시간 T2 및 혈류 등의 흐름에 의해 결정될 수 있다.
초음파 장치는, 프로브를 이용하여 체내의 소정 부위를 향하여 초음파 신호를 전달하고, 체내의 조직에서 반사된 초음파 신호의 정보를 이용하여 연부조직의 단층이나 혈류에 관한 이미지를 얻는 것이다.
본 발명의 일 실시예에 따른 영상 획득 장치 (100) 는, 복수의 영상 획득 장치를 포함할 수 있다. 예를 들어, 영상 획득 장치 (100) 는, 제 1 영상 획득 장치 (100-1), 제 2 영상 획득 장치 (100-2), 제 N 영상 획득 장치 (100-N) 등을 포함할 수 있다.
이때, 제 1 영상 획득 장치 (100-1), 및 제 2 영상 획득 장치 (100-2) 는, 서로 다른 영상 획득 방식을 이용하는 상이한 종류의 영상 획득 장치일 수도 있고, 동일한 영상 획득 방식을 이용하는 동종의 영상 획득 장치일 수도 있다. 이하에서는 설명의 편의상 제 1 영상 획득 장치(100-1)와 제 2 영상 획득 장치(200-2)가 서로 상이한 영상 획득 방식을 이용하는 경우를 예로 들어 설명하기로 한다.
본 발명의 일 실시예에 따른 영상 획득 장치(100)는, 대상체에 관한 영상데이터를 획득할 수 있다. 예를 들어, 제 1 영상 획득 장치 (100-1) 는 제 1 영상 획득 방식을 이용하여 제 1 영상 데이터를 획득할 수 있고, 제 2 영상 획득 장치 (100-2) 는 제 2 영상 획득 방식을 이용하여 제 2 영상 데이터를 획득할 수 있다. 이때, 제 1 영상 획득 방식 또는 제 2 영상 획득 방식은, 초음파 영상 획득 방식, MR 영상 획득 방식, CT 영상 획득 방식, PET 영상 획득 방식, X 선 영상 획득 방식, 광학 영상 (optical image) 획득 방식 또는 그들을 조합한 방식을 포함할 수 있다.
영상 정합 장치 (200) 는, 영상 획득 장치 (100) 로부터 영상 데이터들을 수신하고, 수신된 영상 데이터들을 정합할 수 있다. 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는 영상 데이터들의 좌표 정보를 고려하여 영상 정합을 수행할 수 있다. 예를 들어, 영상 정합 장치 (200) 는, 영상 데이터들이 형성된 좌표계들이 서로 대응되도록 영상 데이터들을 정렬할 수 있다. 이에 관하여는 도 2 를 참조하여 후에 자세히 살펴 보기로 한다.
본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 영상 획득 장치 (100) 중 적어도 하나 (예컨대, 제 2 영상 획득 장치(100-2)) 를 포함할 수도 있다. 이 경우, 영상 정합 장치 (200) 가 직접 대상체에 관한 의료 영상을 획득할 수 있다. 예를 들어, 영상 정합 장치 (200) 가 초음파 장치를 포함하는 경우, 영상 정합 장치 (200) 는, 대상체에 관한 초음파 영상을 직접 획득할 수 있다. 그리고 영상 정합 장치 (200) 는 직접 획득한 초음파 영상과, 외부로부터 수신되거나 미리 저장된 CT 영상의 정합을 수행할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 가 좌표 정보를 이용하여 영상 데이터들 간의 정합을 수행하는 방법에 대해서 도 2 를 참조하여 자세히 살펴보기로 한다.
도 2 는 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 흐름도이다.
단계 S210 에서, 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 제 1 좌표 정보를 포함하는, 대상체에 대한 제 1 영상 데이터를 획득할 수 있다.
제 1 영상 데이터는 제 1 영상 획득 방식, 예를 들어, CT 또는 MR 방식에 의해 획득될 수 있으나, 이에 한정되지 않는다. 또한, 제 1 영상 데이터는 볼륨 데이터를 포함할 수 있다.
영상 정합 장치 (200) 는, 영상 정합 장치 (200) 에 포함되는 제 1 영상 획득 장치 (100-1) 로부터, 또는 영상 정합 장치 (200) 와 유, 무선으로 연결된 제 1 영상 획득 장치 (100-1) 로부터 제 1 영상 데이터를 획득될 수 있다. 또는, 영상 정합 장치 (200) 는, 영상 정합 장치 (200) 내에 미리 저장된 제 1 영상 데이터를 획득할 수 있다.
영상 데이터에 대한 "좌표 정보" 란, 대상체를 기준으로 결정되는 좌표계 상에서, 영상 데이터의 위치에 대한 정보를 포함할 수 있다.
영상 데이터에 대한 좌표 정보를 설명하기 위해서, 일 예로서, DICOM (Digital Imaging and Communication in Medicine) 표준에 의해 사용되는 좌표계 (이하, DICOM 좌표계라고 함) 를 기준으로 설명한다.
도 3 의 (b) 에 도시된 바와 같이, DICOM 좌표계는, 신체의 좌측 (left) 으로부터 우측 (right) 으로 향하는 x 축, 신체의 전측 (anterior) 으로부터 후측 (posterior) 으로 향하는 y 축, 및 신체의 하측 (inferior) 으로부터 상측 (superior) 으로 향하는 z 축으로 구성될 수 있다.
따라서, DICOM 좌표계에 따른 좌표 정보를 포함하는 영상 데이터는, 대상체의 좌측으로부터 우측으로 갈수록 x축 값이 증가하고, 대상체의 전측으로부터 후측으로 갈수록 y축 값이 증가하고, 대상체의 하측으로부터 상측으로 갈수록 z축 값이 증가하도록, 직교 좌표계 상에 형성될 수 있다.
다른 예로서, 대상체의 표준 평면에 기초한 좌표계에 따른 좌표 정보를 포함하는 영상 데이터를 설명한다. 대상체는, 표준 평면으로서, 관상면 (coronal plane), 가로면 (transverse plane), 및 시상면 (sagittal plane) 을 포함할 수 있다. 표준 평면에 기초한 좌표계에 따른 좌표 정보를 포함하는 영상 데이터는, 대상체의 관상면을 xy 평면으로, 가로면을 xz 평면으로, 시상면을 yz 평면으로 하는 직교 좌표계 상에 형성될 수 있다.
그러나 본 발명의 "좌표 정보" 에 있어서, 대상체를 기준으로 결정되는 좌표계는 상술한 예에 한정되지 않는다.
한편, 영상 정합 장치 (200) 는, 제 1 영상 데이터를 획득하고, 제 1 좌표 정보에 대한, 획득된 제 1 영상 데이터의 기울어짐 (yaw), 어긋남 (pitch), 및 회전 (roll) 중 적어도 하나를 보정할 수 있다.
제 1 영상 데이터를 획득하는 제 1 영상 획득 장치 (100) 의 오차 등에 의해, 대상체의 좌표 축과 비교하여 영상 데이터의 좌표 축이 기울어지거나, 어긋나거나, 회전할 수 있다.
예를 들어, 상술한 바와 같이, DICOM 좌표계에 따른 제 1 좌표 정보를 포함하는 제 1 영상 데이터의 경우에는, 대상체의 좌측으로부터 우측으로 갈수록 x축 값이 증가하도록 영상 데이터가 형성되어야 한다.
그러나, 실제로 획득된 제 1 영상 데이터에 따르면, x축 값이 증가하는 방향이, 대상체의 우측으로부터 좌측으로 향하는 방향이거나, 대상체의 전측에서 후측으로 향하는 방향으로 나타나는 등, 제 1 좌표 정보와 제 1 영상 데이터 간의 부정합 (mismatching) 이 발생할 수 있다.
따라서, 이러한 부정합이 발생한 경우, 영상 정합 장치 (200) 는, 제 1 영상 데이터의 기울어짐, 어긋남, 및 회전을 보정함으로써, 제 1 좌표 정보와 제 1 영상 데이터가 정확하게 매칭되도록 영상 데이터를 보정할 수 있다.
영상 정합 장치 (200) 는, 획득된 제 1 영상 데이터로부터 생성된 소정 영상을 디스플레이하고, 디스플레이된 영상에 대한 사용자의 입력에 기초하여, 제 1 좌표 정보에 대해서 제 1 영상 데이터를 수동으로 보정할 수 있다.
또는, 영상 정합 장치 (200) 는, 좌표 정보를 포함하는 미리 저장된 해부학적 정보에 기초하여 제 1 영상 데이터를 자동으로 보정할 수 있다. 미리 저장된 해부학적 정보는, 대상체를 기준으로 결정되는 좌표계 상에서 '소정 간격', '소정 형태', 또는 '소정 각도'를 이루면서 매치된 둘 이상의 구조물의 위치에 대한 정보를 포함할 수 있다. '구조물' 이란, 생체 내에 포함되는 세포 (cellular), 조직 (tissue), 및 장기 (organ) 를 포함할 수 있다.
영상 정합 장치 (200) 는, 미리 저장된 해부학적 정보에 기초하여 좌표 정보에 대한 제 1 영상 데이터의 기울어짐, 어긋남, 및 회전의 정도를 판단하고, 판단된 정도에 따라 영상 데이터를 보정할 수 있다.
예를 들어, 대상체가 "간" 인 경우, 90도의 각도를 이루면서 교차하는 하대정맥 (IVC) 및 간문맥 (portal vein) 은, "간"에 대한 제 1 영상 데이터를 제 1 좌표 정보에 대해 보정하는 기준이 될 수 있다.
영상 정합 장치 (200) 는, "간"을 기준으로 결정된 좌표계 상에서, "하대정맥 (IVC)" 및 "간문맥 (portal vein)" 이 각각 x 축 및 y 축에 대응되는 위치가 되도록 하는 해부학적 정보를 저장할 수 있다. 영상 정합 장치 (200) 는, "간" 에 대해서 획득된 제 1 영상 데이터로부터 하대정맥 및 간문맥에 대응되는 복셀들을 검색할 수 있다. 영상 정합 장치 (200) 는, 미리 저장된 해부학적 정보에 기초하여, 하대정맥 및 간문맥에 대응되는 복셀들이 각각 x축 및 y축 에 대응하도록, 영상 데이터를 보정할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법은, 좌표 정보를 이용하여 영상 데이터를 정합하는 방법이다. 따라서, 영상 데이터의 좌표 정보가 대상체 내에서 해당 영상 데이터에 대응되는 영역의 위치를 얼마나 정확하게 나타내느냐에 따라, 영상 데이터들 간의 정합의 정확성이 결정된다.
그러므로, 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 상술한 바와 같이, 좌표 정보에 대해서 영상 데이터의 기울어짐, 어긋남, 및 회전 중 적어도 하나를 보정함으로써, 영상 정합의 정확도를 높일 수 있다.
단계 S220 에서, 영상 정합 장치 (200) 는, 프로브를 이용하여 대상체에 대한 제 2 영상 데이터를 획득할 수 있다. 이 때, 대상체에 대한 제 2 영상 데이터는 제 2 좌표 정보를 포함할 수 있다.
제 2 영상 데이터는 제 2 영상 획득 방식, 예를 들어, 초음파 방식에 의해 획득될 수 있으나, 이에 한정되지 않는다. 영상 정합 장치 (200) 는, 영상 정합 장치 (200) 에 포함되는 제 2 영상 획득 장치 (100-2) 로부터, 또는 영상 정합 장치 (200) 와 유, 무선으로 연결된 제 2 영상 획득 장치 (100-2) 로부터 제 2 영상 데이터를 획득될 수 있다. 또는, 영상 정합 장치 (200) 는, 영상 정합 장치 (200) 내에 미리 저장된 제 2 영상 데이터를 획득할 수 있다.
영상 정합 장치 (200) 가 제 2 영상 획득 장치 (100-2) 를 포함하는 경우, 영상 정합 장치 (200) 는, 프로브를 통해 실시간으로 얻어지는 데이터를 이용하여 제 2 영상 데이터를 획득할 수 있다. 또는, 영상 정합 장치 (200) 는, 프로브를 통해 얻어진, 미리 저장된 데이터를 이용하여 제 2 영상 데이터를 획득할 수 있다.
또한, 프로브는, 2D 프로브 또는 3D 프로브 일 수 있다.
일 예로서, 프로브가 2D 프로브인 경우, 영상 정합 장치 (200) 는, 프로브의 위치를 변경하면서 대상체에 포함되는 단면에 대한 2D 영상 데이터를 획득할 수 있다. 영상 정합 장치 (200) 가 획득하는 2D 영상 데이터는, 해당 2D 영상 데이터를 획득할 때 프로브의 위치 정보를 포함할 수 있다.
또한, 영상 정합 장치 (200) 는, 2D 프로브의 위치를 변경하면서 대상체에 포함되는 복수의 단면에 대한 복수의 영상 데이터를 획득할 수 있다. 이 경우, 영상 정합 장치 (200) 는, 복수의 단면 영상 데이터 및 프로브의 복수의 위치에 대한 정보에 기초하여, 복수의 단면 영상 데이터를 하나의 공간 좌표계 상의 볼륨 데이터를 획득할 수 있다.
일 예로서, 프로브가 3D 프로브인 경우, 영상 정합 장치 (200) 는, 프로브를 이용하여, 대상체에 포함되는 복수의 단면에 대한 복수의 영상 데이터를 한번에 획득할 수 있다. 이 경우, 영상 정합 장치 (200) 는 3D 프로브를 통해 획득된 복수의 영상 데이터로부터 볼륨 데이터를 획득할 수 있다.
영상 정합 장치 (200) 는, 프로브를 이용하여 획득된 2D 영상 데이터 또는 볼륨 데이터를 제 2 영상 데이터로서 획득할 수 있다.
이 때, 영상 정합 장치 (200) 가 획득하는 제 2 영상 데이터는, 제 2 좌표 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 소정 시점에 대응하는 프로브의 좌표 정보를 획득할 수 있다. 영상 정합 장치 (200) 는, 소정 시점에 대응하여 획득된 프로브의 좌표 정보로부터 제 2 좌표 정보를 획득할 수 있다.
프로브의 좌표 정보와 관련하여서는 이하 도 3 의 (a) 를 참조하여 설명한다.
본 발명의 일 실시예에 따른 영상 정합 장치 (200) 에 포함되는 프로브 (222) 는 미리 결정된 좌표계를 가질 수 있다.
예를 들어, 도 3 의 (a) 에 도시된 바와 같이, 영상 정합 장치 (200) 는, 프로브 (222) 의 하측으로부터 상측으로 향하는 방향은 z축 값이 증가하는 방향, 프로브 (222) 의 전측으로부터 후측으로 향하는 방향은 y축 값이 증가하는 방향, 및 프로브 (222) 의 좌측으로부터 우측으로 향하는 방향은 x축 값이 증가하는 방향으로 미리 설정할 수 있다.
도 3 의 (a) 에 도시된 프로브 (222) 에서는, 프로브 (222) 의 트랜스듀서가 배열된 면 (311) 이 프로브 (222) 의 상측으로, 트랜스듀서가 배열된 면 (311) 과 수직이고 소정의 영상 (322) 이 표시된 면이 프로브 (222) 의 전측으로 가정된다.
그러나 프로브 (222) 에 대해 미리 결정된 좌표계는 도 3 의 (a) 에 도시된 예에 한정되지 않으며, 사용자의 입력에 의해 또는 프로브의 설정에 의해 변경될 수 있다.
프로브 (222) 의 좌표 정보는, 공간 내에서 프로브 (222) 의 방향, 기울기, 및 회전 각도 중 적어도 하나에 대한 정보를 포함할 수 있다. 프로브의 좌표 정보는, 프로브에 부착되거나 외부 공간에 설치된 프로브 위치 센싱부로부터 획득될 수 있다.
프로브 (222) 의 방향이란, 프로브 (222) 의 어느 한 축이 가리키는 방위 (즉, 동서남북) 를 의미할 수 있다. 프로브 (222) 의 기울기란 지축 (地軸) 과 프로브 (222) 의 어느 한 축이 이루는 각도를 의미할 수 있다. 프로브 (222) 의 회전 각도란, 프로브 (222) 의 어느 한 축과 지평면이 이루는 각도를 의미할 수 있다.
예를 들어, 도 3 의 (a) 에 도시된 프로브 (222) 에 있어서, 프로브 (222) 의 방향이란, 프로브 (222) 의 z 축이 가리키는 방위 (즉, 동서남북) 를 의미할 수 있다. 프로브 (222) 의 기울기란 지축 (地軸) 과 프로브 (222) 의 y 축이 이루는 각도를 의미할 수 있다. 프로브 (222) 의 회전 각도란, 프로브 (222) 의 x 축과 지평면이 이루는 각도를 의미할 수 있다.
영상 정합 장치 (200) 는, 소정 시점에 대응하는 프로브 (222) 의 좌표 정보로부터 제 2 영상 데이터의 제 2 좌표 정보를 추정할 수 있다. 즉, 영상 정합 장치 (200) 는, 소정 시점에 대응하는 프로브 (222) 의 좌표 정보로부터 제 2 영상 데이터가 대상체로부터 어떠한 방향에서 획득된 영상 데이터인지를 추정할 수 있다.
영상 정합 장치 (200) 는, 소정 시점에서, 프로브 (222) 의 좌표계와 대상체의 좌표계가 대응되는 위치에 프로브 (222) 가 위치한다고 가정할 수 있다.
일 예로서, 프로브 (222) 의 좌표계와 대상체의 좌표계가 대응되는 위치란, 프로브 (222) 의 좌표계와 대상체의 좌표계가 평행하는 위치일 수 있다.
프로브 (222) 의 좌표계와 대상체의 좌표계가 평행하다는 것은, 프로브 (222) 의 좌표계의 x축, y 축, 및 z 축이, 각각 대상체의 좌표계의 x축, y 축, 및 z 축과 평행하다는 것을 의미할 수 있다.
다른 예로서, 프로브 (222) 의 좌표계와 대상체의 좌표계가 대응되는 위치란, 프로브 (222) 의 좌표계와 대상체의 좌표계가 수직하는 위치일 수 있다.
프로브 (222) 의 좌표계와 대상체의 좌표계가 수직하는 위치일 수 있다는 것은, 예를 들어, 프로브 (222) 의 좌표계의 x축, y 축, 및 z 축이, 각각 대상체의 좌표계의 z축, y 축, 및 x 축이 평행하다는 것을 의미할 수 있다.
이러한 가정에 기초하여 영상 정합 장치 (200) 는, 소정 시점에 대응하는 프로브 (222) 의 좌표 정보로부터 대상체의 좌표계를 추정할 수 있다. 영상 정합 장치 (200) 는, 추정된 대상체의 좌표계에 기초하여, 제 2 영상 데이터가 대상체로부터 어떠한 방향에서 획득된 영상 데이터인지를 추정할 수 있다. 즉, 영상 정합 장치 (200) 는 추정된 대상체의 좌표계로부터 제 2 좌표 정보를 포함하는 제 2 영상 데이터를 획득할 수 있다.
프로브 (222) 의 좌표 정보로부터 제 2 좌표 정보를 추정하는 방법과 관련하여서는, 후에 도 4 를 참조하여 보다 구체적으로 설명한다.
영상 정합 장치 (200) 는, 사용자가 프로브 (222) 의 좌표 정보를 입력할 소정 시점을 결정하도록 소정의 GUI (Graphic User Interface) 를 제공할 수 있다. 소정 시점에서 사용자는, 영상 정합 장치 (200) 로부터 제공되는 GUI 를 통해서, 제 2 좌표 정보를 추정하기 위한 기준으로서, 프로브 (222) 의 좌표 정보를 입력할 수 있다.
일 예로서, 사용자는, 소정 시점에서, 프로브 (222) 의 좌표계와 대상체의 좌표계가 대응되는 위치에 프로브 (222) 를 위치시킬 수 있다. 그리고 사용자는, 제공되는 GUI 를 통해, 소정 시점에서의 프로브 (222) 의 좌표 정보를 영상 정합 장치 (200) 에 입력할 수 있다.
영상 정합 장치 (200) 는, 사용자에 의해 대상체의 좌표계와 대응되는 위치에 놓여진 소정 시점의 프로브 (222) 의 좌표 정보로부터 대상체의 좌표계를 추정할 수 있다. 영상 정합 장치 (200) 는, 추정된 대상체의 좌표계를 기준으로, 제 2 좌표 정보를 포함하는 제 2 영상 데이터를 획득할 수 있다.
한편, 영상 정합 장치 (200) 는, 제 2 영상 데이터를 획득하고, 제 2 좌표 정보에 대한 제 2 영상 데이터의 기울어짐, 어긋남, 및 회전 중 적어도 하나를 보정할 수 있다. 영상 데이터의 보정과 관련하여서는 단계 S210 에서 상술하였으므로, 중복되는 내용은 생략한다.
단계 S230 에서, 영상 정합 장치 (200) 는, 제 1 좌표 정보 및 제 2 좌표 정보를 이용하여, 제 1 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
제 1 영상 데이터와 제 2 영상 데이터가 볼륨 데이터들인 경우, 영상 정합 장치 (200) 는, 볼륨 데이터 기반의 정합 과정을 수행한다.
한편, 제 1 영상 데이터가 볼륨 데이터이고, 제 2 영상 데이터가 단면 영상 데이터인 경우, 영상 정합 장치 (200) 는, 제 2 영상 데이터에 대응되는 단면 영상을 제 1 영상 데이터로부터 추출하고, 추출된 단면 영상과 제 2 영상 데이터를 정합하는, 단면 영상 기반의 정합 과정을 수행할 수 있다.
영상 정합 장치 (200) 는, 제 1 좌표 정보 및 제 2 좌표 정보를 비교할 수 있다. 영상 정합 장치 (200) 는, 제 1 좌표 정보 및 제 2 좌표 정보의 비교 결과에 기초하여, 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나를 변환할 수 있다.
예를 들어, 제 1 좌표 정보와 제 2 좌표 정보가 동일한 좌표계에 대한 정보인 경우, 영상 정합 장치 (200) 는 영상 데이터들을 정합하기 위해서 축을 일치시키는 정렬 과정이 필요하지 않다. 즉, 제 1 영상 데이터 및 제 2 영상 데이터가 동일한 좌표계 상에서 형성된 영상 데이터들 인 경우, 이미 제 1 영상 데이터와 제 2 영상 데이터의 축은 일치한다. 따라서, 이러한 경우, 영상 정합 장치 (200) 는 영상 데이터들을 정합하기 위해서 축을 일치시키는 정렬 과정이 필요하지 않다.
그러나, 제 1 좌표 정보와 제 2 좌표 정보가 서로 다른 좌표계에 대한 정보인 경우, 영상 정합 장치 (200) 는 영상 데이터들을 정합하기 위해서 축을 일치시키는 정렬 과정을 필요로 한다.
이하, 제 1 영상 데이터가 대상체에 대한 제 1 좌표계 상에서 형성되고, 제 2 영상 데이터가 대상체에 대한 제 2 좌표계 상에서 형성되며, 제 1 좌표계와 제 2 좌표계는 서로 다른 경우를 예로 들어 영상 데이터들의 축을 일치시키는 정렬 과정에 대해서 설명한다.
이러한 경우, 영상 정합 장치 (200) 는, 제 1 좌표 정보 및 제 2 좌표 정보를 이용하여, 제 1 영상 데이터 및 제 2 영상 데이터가 서로 대응되도록 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나를 변환할 수 있다.
예를 들어, 영상 정합 장치 (200) 는, 제 1 좌표계에 포함되는 제 1 축과 제 2 좌표계에 포함되는 제 2 축 간의 변환 함수를 획득하고, 획득된 변환 함수에 기초하여 제 1 영상 데이터 및 제 2 영상 데이터가 서로 대응되도록 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나를 변환할 수 있다.
또는, 영상 정합 장치 (200) 는, 제 1 좌표 정보 및 제 2 좌표 정보에 기초하여, 제 1 좌표계와 제 2 좌표계의 상관 관계를 획득할 수있다. 영상 정합 장치 (200) 는, 획득된 상관 관계에 기초하여, 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나를 좌표 변환할 수 있다. 예를 즐어, 영상 정합 장치 (200) 는 제 1 좌표계와 제 2 좌표계의 상관 관계에 기초하여, 제 2 영상 데이터를 제 1 좌표계 상의 데이터로 좌표 변환할 수 있다.
따라서, 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 좌표 정보를 이용하여 제 1 영상 데이터와 제 2 영상 데이터를 정합함으로써, 간단하고 빠르게 높은 품질의 정합 영상 데이터를 획득할 수 있다.
한편, 영상 정합 장치 (200) 는 사용자의 입력에 기초한 추가적인 포인트 (point) 정합을 통해서 제 1 영상 데이터와 제 2 영상 데이터의 정합의 정확성을 높일 수 있다. 영상 정합 장치 (200) 는, 제 1 영상 데이터와 제 2 영상 데이터를 정합하기 위해서, 사용자의 입력에 기초하여, 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나 내에서 제 1 특징 점을 선택할 수 있다.
특징 점이란, 대상체에 포함되는 소정 부분을 다른 부분과 구분하는 기준이 되는 소정의 점, 선, 영역 또는 볼륨을 포함할 수 있다. 예를 들어, 영상 정합 장치 (200) 는 간에 대한 볼륨 데이터 내에서 하대정맥 및 간문맥에 해당하는 영역을 특징 점으로서 선택할 수 있다.
특징 점은, 영상 데이터들 간의 정합의 기준이 될 수 있다. 예를 들어, 특징 점은, 해부학적 특징이 될 수 있는 영역 또는 타겟 종양에 대응되는 영역을 포함할 수 있다.
영상 정합 장치 (200) 는, 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나 내에서, 제 1 특징 점에 대응하는 제 2 특징 점을 선택할 수 있다.
일 예로서, 영상 정합 장치 (200) 는, 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나 내에서, 제 1 특징 점에 대응하는 소정의 점을 검색하고, 검색된 점을 제 2 특징 점으로서 자동으로 선택할 수 있다.
다른 예로서, 영상 정합 장치 (200) 는, 사용자의 입력에 기초하여, 제 1 특징 점에 대응하는 제 2 특징 점을 수동으로 선택할 수 있다.
영상 정합 장치 (200) 는, 선택된 제 1 특징 점 및 제 2 특징 점에 기초하여, 제 1 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
예를 들어, 영상 정합 장치 (200) 는, 선택된 제 1 특징 점 및 제 2 특징 점 간의 변환 함수를 획득하고, 획득된 변환 함수에 기초하여 제 1 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
또한, 영상 정합 장치 (200) 는, 소정 간격, 소정의 형태 또는 소정의 각도로 배치된 둘 이상의 구조물들에 해당하는 복수의 점, 복수의 선, 복수의 영역 또는 복수의 영상을 각 영상 데이터에서 선택하고, 이들에 기초하여 제 1 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
영상 정합 장치 (200) 는, 정확한 정합 결과가 도출될 때까지, 사용자에 의해 선택된 특징 점들을 기준으로 제 1 영상 데이터와 제 2 영상 데이터의 정합을 수행하는 포인트 정합을 추가적으로 반복하여 수행할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 좌표축이 서로 대응되도록 자동으로 조정된 영상 데이터들로부터 추출된 영상들을 사용자에게 제공할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 사용자는 보다 빠르고 정확하게, 좌표축이 서로 대응되도록 자동으로 조정된 영상 데이터들로부터 추출된 영상들로부터, 정합의 기준이 되는 특징 점, 특징 평면, 및 특징 영상 중 적어도 하나를 선택할 수 있다.
영상 정합 장치 (200) 는, 제 1 영상 데이터와 제 2 영상 데이터를 정합함으로써 제 3 영상 데이터를 생성할 수 있다. 영상 정합 장치 (200) 는, 제 3 영상 데이터로부터 생성된 영상을 디스플레이할 수 있다.
또한, 영상 정합 장치 (200) 는, 제 1 영상 데이터에 포함되는 제 1 볼륨 데이터와 제 2 영상 데이터에 포함되는 제 2 볼륨 데이터를 정합함으로써 제 3 볼륨 데이터를 생성할 수 있다. 영상 정합 장치 (200) 는, 제 3 볼륨 데이터로부터 추출된 적어도 하나의 단면 영상을 디스플레이할 수 있다.
도 4 는 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 개념도이다. 도 4 에서는, DICOM 좌표계가 영상 데이터 형성의 기준이 되는 좌표계로서 설정되는 예를 도시하지만, 본 발명은 이에 한정되지 않는다.
예를 들어, 영상 정합 장치 (200) 는, 도 4 의 (a) 에 도시된 바와 같이, 프로브 (222) 는 미리 결정된 좌표계 (402) 를 가질 수 있다. 또한, 대상체 (105) 에 대해서도 소정의 좌표계 (401) 가 미리 결정될 수 있다.
대상체 (105) 에 대한 제 2 영상 데이터를 획득하기에 앞서, 사용자 (405) 는, 대상체 (105) 에 대한 DICOM 좌표계 (401) 와 프로브 (222) 의 좌표계 (402) 가 평행하도록, 프로브 (222) 를 위치시킬 수 있다. 사용자는, DICOM 좌표계 (401) 와 프로브 (222) 의 좌표계 (402) 가 평행하도록 위치된, 소정 시점의 프로브 (222) 의 좌표 정보를 영상 정합 장치 (200) 에 입력할 수 있다.
예를 들어, 사용자는, 영상 정합 장치 (200) 로부터 제공되는 GUI 를 통해 소정 시점의 프로브 (222) 의 좌표 정보를 획득하라는 명령을 영상 정합 장치 (200) 에 입력할 수 있다. 영상 정합 장치 (200) 는, 프로브 위치 센싱부를 이용하여, 소정 시점의 프로브 (222) 의 좌표 정보를 획득할 수 있다.
영상 정합 장치 (200) 는, 소정 시점에 대응하는 프로브 (222) 의 좌표 정보로부터 대상체의 좌표계를 추정할 수 있다. 도 4 의 (a) 에 도시된 일 예에 따르면, 영상 정합 장치 (200) 는, 소정 시점의 프로브 (222) 의 좌표 정보로부터 프로브 (222) 의 좌표계 (402) 와 평행한 대상체 (105) 의 좌표계 (401) 를 추정할 수 있다.
영상 정합 장치 (200) 는, 추정된 대상체 (105) 의 좌표계 (401) 에 기초하여, 프로브 (222) 를 통해서 제 2 영상 데이터를 획득할 수 있다. 영상 정합 장치 (200) 는, 추정된 대상체 (105) 의 좌표계 (401) 상에서 제 2 영상 데이터의 위치에 대한 정보를, 제 2 좌표 정보로서 획득할 수 있다.
따라서, 본 발명의 일 실시예에 따른 영상 정합 방법을 통해서 획득된 제 2 영상 데이터는, 제 2 영상 데이터가 대상체의 좌표계 상에서 어디에 위치하는지, 어떠한 방향에서 대상체로부터 획득된 영상 데이터인지를 나타내는 정보를 포함할 수 있다.
도 4 의 (a) 의 경우를 예로 들면, 영상 정합 장치 (200) 는, 대상체 (105) 의 좌측으로부터 우측으로 갈수록 x축 값이 증가하고, 대상체 (105) 의 전측으로부터 후측으로 갈수록 y축 값이 증가하고, 대상체 (105) 의 하측으로부터 상측으로 갈수록 z축 값이 증가하도록, 직교 좌표계 상에 형성된 제 2 영상 데이터를 획득할 수 있다.
한편, 도 4 의 (b) 에 도시된 바와 같이, 도 4 의 (a) 의 대상체 (105) 와 비교하여 대상체 (105) 의 누운 방향 또는 각도가 변화한 경우, 제 2 좌표 정보를 포함하는 제 2 영상 데이터를 획득하기 위해서는, 프로브 (222) 의 제 2 좌표 정보에 기초하여 대상체 (105) 의 좌표계 (401) 를 추정하는 과정을 다시 수행하여야 한다.
도 4 의 (b) 에 도시된 바와 같이, 대상체 (105) 에 대한 제 2 영상 데이터를 획득하기에 앞서, 사용자 (405) 는, 대상체 (105) 에 대한 DICOM 좌표계 (401) 와 프로브 (222) 의 좌표계 (402) 가 평행하도록, 프로브 (222) 를 위치시킬 수 있다. 사용자는, DICOM 좌표계 (401) 와 프로브 (222) 의 좌표계 (402) 가 평행하도록 위치된, 소정 시점의 프로브 (222) 의 좌표 정보를 영상 정합 장치 (200) 에 입력할 수 있다.
따라서, 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 에 의하면, 대상체 (105) 의 누운 방향 또는 각도에 관계 없이, 제 2 영상 데이터는 동일한 제 2 좌표 정보를 포함할 수 있다.
즉, 도 4 의 경우를 예로 들면, 영상 정합 장치 (200) 는, 대상체 (105) 의 누운 방향 또는 각도에 관계 없이, 대상치 (105) 의 좌측으로부터 우측으로 갈수록 x축 값이 증가하고, 대상체 (105) 의 전측으로부터 후측으로 갈수록 y축 값이 증가하고, 대상체 (105) 의 하측으로부터 상측으로 갈수록 z축 값이 증가하도록, 직교 좌표계 상에 형성된 제 2 영상 데이터를 획득할 수 있다.
도 5 는 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하기 위한 개념도이다.
도 5 의 (a) 에 도시된 바와 같이, 영상 정합 장치 (200) 는 제1 좌표 정보를 포함하는, 대상체에 대한 제 1 볼륨 데이터 (401) 를 제 1 영상 데이터로서 획득할 수 있다.
영상 정합 장치 (200) 는, 프로브 (222) 의 좌표 정보를 획득할 수 있다. 영상 정합 장치 (200) 는, 프로브 (222) 의 좌표 정보에 기초하여, 프로브 (222) 의 좌표계 (402) 로부터 대상체 (105) 의 좌표계를 추정할 수 있다. 일 예로서, 영상 정합 장치 (200) 는, 프로브 (222) 의 좌표계와 평행한 좌표계를 대상체 (105) 의 좌표계로서 추정할 수 있다.
도 5 의 (b) 에 도시된 바와 같이, 영상 정합 장치 (200) 는 소정 시점에 대응하는 프로브 (222) 의 좌표계 (402) 로부터 대상체 (105) 의 좌표계 (402) 를 추정할 수 있다. 영상 정합 장치 (200) 는 추정된 좌표계 (401) 상에 형성된, 제 2 볼륨 데이터 (502) 를 제 2 영상 데이터로서 획득할 수 있다.
도 5 의 (b) 에 도시된 바와 같이, 제 1 볼륨 데이터 (501) 가 형성된 제 1 좌표계와 제 2 볼륨 데이터 (502) 가 형성된 제 2 좌표계가 대응되는 경우, 볼륨 데이터들 간의 축을 대응시키는 별도의 동작이 불필요하다.
따라서, 영상 정합 장치 (200) 는, 볼륨 데이터들 간의 축을 대응시키는 정렬 과정을 거치지 않고도, 방향이 정렬된 (즉, 대상체로부터 동일한 방향에서 획득된) 제 1 볼륨 데이터 및 제 2 볼륨 데이터를 획득할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 방향이 정렬된 제 1 볼륨 데이터 (501) 및 제 2 볼륨 데이터 (502) 를 정합함으로써, 정합의 정확도 및 속도를 높일 수 있다.
또한, 도 5 의 (c) 에 도시된 바와 같이, 영상 정합 장치 (200) 는 사용자의 입력에 기초한 추가적인 포인트 정합을 통해서 정합의 정확성을 높일 수 있다.
영상 정합 장치 (200) 는 사용자의 입력에 기초하여 제 1 볼륨 데이터 (501) 및 제 2 볼륨 데이터 (502) 로부터, 서로 대응되는 제 1 특징 점 (551) 및 제 2 특징 점 (552) 을 선택할 수 있다.
예를 들어, 도 5 의 (c) 에 도시된 바와 같이, 제 1 특징 점 (551) 및 제 2 특징 점 (552) 은, 제 1 볼륨 데이터 (501) 및 제 2 볼륨 데이터 (502) 에 포함되는 복수의 단면 슬라이스들 중 어느 하나의 단면으로부터 선택될 수 있으나, 이에 한정되지 않는다. 제 1 특징 점 (551) 및 제 2 특징 점 (552) 은, 제 1 볼륨 데이터 (501) 및 제 2 볼륨 데이터 (502) 를 복수의 단면 슬라이스로 구분하는 과정 없이, 볼륨 데이터들로부터 직접 선택될 수도 있다.
도 5 의 (d) 에 도시된 바와 같이, 영상 정합 장치 (200) 는 제 1 특징 점 (551) 및 제 2 특징 점 (552) 을 기초로 제 1 볼륨 데이터 (501) 및 제 2 볼륨 데이터 (502) 를 정합함으로써 제 3 볼륨 데이터 (503) 를 생성할 수 있다.
도 5 에서는, 제 1 영상 데이터와 제 2 영상 데이터가 볼륨 데이터인 경우를 예로 들어 설명하였지만, 본 발명은 이에 한정되지 않는다. 본 발명의 일 실시예에 따른 영상 정합 방법에서 획득되는 제 2 영상 데이터는 제 2 좌표 정보를 포함하는 2D 영상 데이터를 포함할 수 있다.
제 1 영상 데이터가 볼륨 데이터이고, 제 2 영상 데이터가 2D 영상 데이터인 경우에도, 영상 정합 장치 (200) 는 도 5 의 (a) 및 (b) 의 과정을 동일하게 수행한다. 즉, 영상 정합 장치 (200) 는, 프로브 (222) 의 좌표계 (402) 로부터 대상체 (105) 의 좌표계를 추정하고, 추정된 좌표계 상에 형성된, 제 2 영상 데이터를 획득할 수 있다.
제 1 영상 데이터가 볼륨 데이터이고, 제 2 영상 데이터가 2D 영상 데이터인 경우, 영상 정합 장치 (200) 가 제 1 영상 데이터와 제 2 영상 데이터를 정합하는 과정은, 상술한 도 5 의 (c) 및 (d) 의 과정과 다르게 수행된다.
제 2 영상 데이터가 2D 영상 데이터인 경우, 영상 정합 장치 (200) 는, 제 1 영상 데이터로부터 제 2 영상 데이터에 대응하는 제 1 2D 영상 데이터를 추출하는 과정을 더 수행할 수 있다. 영상 정합 장치 (200) 는, 제 1 2D 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
또한, 영상 정합 장치 (200) 는, 사용자의 입력에 기초한 추가적인 포인트 정합을 통해서 정합의 정확성을 높일 수 있다.
영상 정합 장치 (200) 는, 사용자의 입력에 기초하여 제 2 영상 데이터 내에 제 1 특징점을 선택할 수 있다. 영상 정합 장치 (200) 는, 제 1 특징 점에 대응되는 제 2 특징점을 제 1 영상 데이터로부터 검색할 수 있다.
영상 정합 장치 (200) 는, 검색된 제 2 특징 점을 포함하는 제 2 2D 영상 데이터를 제 1 영상 데이터로부터 추출할 수 있다. 영상 정합 장치 (200) 는, 제 2 2D 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
영상 정합 장치 (200) 는, 제 2 영상 데이터에 대응되는 제 1 2D 영상 데이터 또는 제 2 2D 영상 데이터를 검색함에 있어서, 방향이 정렬된 제 1 영상 데이터 및 제 2 영상 데이터를 이용함으로써 검색 속도를 높일 수 있다.
도 6 은 본 발명의 일 실시예에 따른 영상 정합 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 영상 정합 장치 (200) 의 각 구성 요소는 도 2 에 도시된 영상 정합 방법의 각 단계를 수행하도록 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 2 에 도시된 영상 정합 방법에 관하여 이상에서 기술된 내용은 도 6 의 영상 정합 장치 (200) 에도 적용됨을 알 수 있다.
도 6a 는 본 발명의 일 실시예에 따른 영상 정합 장치를 설명하기 위한 블록도이다.
도 6a 를 참조하면, 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는, 제 1 영상 데이터 획득부 (210), 프로브 (222) 를 포함하는 제 2 영상 데이터 획득부 (220), 영상 처리부 (230), 및 제어부 (240) 를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는 다양한 형태로 구현이 가능하다. 예를 들어, 본 명세서에서 기술되는 영상 정합 장치 (200) 는 고정식 단말뿐만 아니라 이동식 단말 형태로도 구현될 수 있다. 이동식 단말의 일례로 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있다.
먼저, 제 1 영상 데이터 획득부 (210) 는, 제 1 좌표 정보를 포함하는, 대상체에 대한 제 1 영상 데이터를 획득할 수 있다.
제 1 영상 데이터 획득부 (210) 는, 제 1 영상 데이터를 대상체로부터 직접 획득하는 제 1 영상 획득 장치 (100-1) 를 포함할 수 있다. 또는, 제 1 영상 데이터 획득부 (210) 는, 영상 정합 장치 (200) 와 별도의 장치인 제 1 영상 획득 장치 (100-1) 에서 획득된 제 1 영상 데이터를 제 1 영상 획득 장치 (100-1) 로부터 수신할 수 있다. 제 1 영상 데이터 획득부 (210) 는, 영상 정합 장치 (200) 내에 미리 저장된 제 1 영상 데이터를 획득할 수 있다.
제 2 영상 데이터 획득부 (220) 는, 프로브 (222) 를 이용하여, 제 2 좌표 정보를 포함하는, 대상체에 대한 제 2 영상 데이터를 획득할 수 있다. 제 2 영상 데이터 획득부 (220) 는, 제 2 영상 데이터를 직접 대상체로부터 획득하는 제 2 영상 획득 장치 (100-2) 를 포함할 수 있다.
제 2 영상 데이터 획득부 (220) 는 프로브 (222) 에 의해 실시간으로 획득되는 초음파 영상을 포함하는 제 2 영상 데이터를 획득할 수 있다. 제 2 영상 데이터 획득부 (220) 는, 도 2b 에서 후술할 프로브 위치 센싱부 (224) 를 포함할 수 있다.
프로브 (222) 는, 대상체 (105) 로 소정의 신호를 송신하고, 대상체 (105) 로부터 반사된 에코 신호를 수신할 수 있다. 영상 정합 장치 (200) 는 프로브 (222) 를 이용하는 제 2 영상 획득 방식을 통해 제 2 영상 데이터를 획득할 수 있다. 예를 들어, 제 2 영상 획득 방식은 초음파 영상 획득 방식일 수 있다. 이 경우, 프로브 (222) 는 대상체 (105) 로부터 수신된 초음파 신호인 에코 신호를 디지털화하여 초음파 영상 데이터를 생성한다.
프로브 (222) 는, 대상체 (105) 의 단면 영상 데이터를 획득할 수 있는 2D 프로브, 영상 데이터를 획득할 수 있는 3D 프로브, 및 영상 데이터 및 시간 정보를 함께 획득할 수 있는 4D 프로브 중 적어도 하나를 포함할 수 있다.
영상 처리부 (230) 는, 제 1 좌표 정보 및 제 2 좌표 정보를 이용하여, 제 1 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
또한, 영상 처리부 (230) 는, 제 1 영상 데이터와 제 2 영상 데이터의 축이 서로 일치하도록, 제 1 좌표 정보 및 제 2 좌표 정보에 기초하여, 제 1 영상 데이터 및 제 2 영상 데이터 중 적어도 하나를 보정할 수 있다.
영상 처리부 (230) 는, 축이 서로 일치하도록 보정된 제 1 영상 데이터와 제 2 영상 데이터를 정합할 수 있다.
제어부 (240) 는, 제 1 영상 데이터와 제 2 영상 데이터를 정합하도록 영상 처리부 (230) 를 제어할 수 있다.
또한, 제어부 (240) 는, 영상 정합 장치 (200) 의 전체 동작을 제어하며, 본 발명에 따른 영상 정합 방법을 수행할 수 있도록 제 1 영상 데이터 획득부 (210) 및 제 2 영상 데이터 획득부 (220) 를 제어할 수 있다.
도 6a 는 본 발명의 일 실시예에 따른 영상 정합 장치를 설명하기 위한 구체적인 블록도이다.
도 6b 를 참조하면, 본 발명의 일 실시예에 따른 영상 정합 장치 (200) 는 프로브 위치 센싱부 (224), 디스플레이부 (250), 사용자 입력부 (220) 및 저장부 (270) 를 더 포함할 수 있다.
프로브 위치 센싱부 (224) 는, 프로브 (222) 의 위치 정보를 검출할 수 있다. 프로브 (222) 의 위치 정보는 프로브 (222) 의 공간 상의 위치뿐만 아니라, 프로브 (222) 의 좌표 정보를 포함할 수 있다.
프로브 위치 센싱부 (224) 는 프로브 (222) 내부에 포함되거나 프로브 (222) 에 부착되는 센서, 예를 들어, 기울기 센서 등을 포함할 수 있다.
또한, 프로브 위치 센싱부 (224) 는, 프로브 (222) 의 외부에 위치할 수 있다. 프로브 (222) 의 외부에 위치하는 프로브 위치 센싱부 (224) 는, 대상체 (105) 에 대한 영상 촬영이 수행되는 쉴드 룸 (shielded room) 내에 위치할 수 있다. 프로브 위치 센싱부 (224) 가 프로브의 위치를 검출하는 방법은 공지된 기술이므로 구체적인 설명은 생략하기로 한다.
디스플레이부 (250) 는, 제 1 영상 데이터 획득부 (210) 또는 제 2 영상 데이터 획득부 (220) 에서 획득된 영상 데이터 또는 영상 데이터에 포함되는 적어도 하나의 단면 영상을 디스플레이할 수 있다.
또한, 디스플레이부 (250) 는, 영상 처리부 (230) 에서 생성된 제 3 영상 데이터의 적어도 하나의 단면 영상을 더 디스플레이할 수 있다.
또한, 디스플레이부 (250) 는 영상 정합 장치 (200) 에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부 (250) 는 영상 데이터를 획득하고 정합하는데 필요한 상태 정보, 기능 설정과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface) 및 대상체 (105) 에 대한 영상을 표시할 수 있다.
디스플레이 패널과 후술할 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부 (250) 는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
디스플레이부 (250) 는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
사용자 입력부 (220) 는, 사용자가 영상 정합을 위한 정보를 입력하는 수단을 의미한다.
영상 정합을 위한 정보는, 예를 들어, 정합의 기준이 되는 특징 점, 특징 평면, 및 특징 영상 중 적어도 하나를 추가적으로 선택하는 사용자의 입력을 포함할 수 있다. 또한, 영상 정합을 위한 정보는, 소정 시점에 대응하는 프로브의 위치 정보를 포함할 수 있으며, 좌표 정보에 대한 영상 데이터의 기울어짐, 어긋남, 및 회전 중 적어도 하나를 보정하는 사용자의 입력을 포함할 수 있다.
사용자 입력부 (260) 에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 포함될 수 있으나 이에 한정되는 것은 아니다. 특히, 전술한 바와 같이, 터치 패드가 디스플레이 패널과 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.
저장부 (270) 는 영상 정합 장치 (200) 가 영상 정합에 관련된 정보를 표시하기 위하여 필요한 각종의 정보를 저장한다. 예를 들어, 저장부 (270) 는, 제 1 영상 데이터 및 제 2 영상 데이터 등을 저장할 수 있으나, 이에 제한되지 않는다.
저장부 (270)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 영상 정합 장치 (200)는 인터넷(internet)상에서 저장부 (270)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
상술한 본 발명의 일 실시예에 따르면, 사용자가 정합의 기준으로서 소정의 평면을 선택하는 동작 없이도, 좌표축이 서로 대응되도록 조정된 복수의 볼륨 데이터 간의 영상 정합이 수행됨에 따라 간단하고 빠르게 높은 품질의 정합 영상이 획득될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자가 정합의 기준이 되는 특징 점, 특징 평면, 및 특징 볼륨 중 적어도 하나를 선택함으로써 추가적인 정합을 수행하는 경우에도, 좌표축이 서로 대응되도록 조정된 볼륨 데이터들로부터 추출된 영상들이 디스플레이됨에 따라, 사용자가 보다 빠르고 정확하게 정합의 기준이 되는 특징 점, 특징 평면, 및 특징 볼륨 중 적어도 하나를 선택할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (21)

  1. 제 1 좌표 정보를 포함하는, 대상체에 대한 제 1 영상 데이터를 획득하는 단계;
    프로브를 이용하여, 제 2 좌표 정보를 포함하는, 상기 대상체에 대한 제 2 영상 데이터를 획득하는 단계; 및
    상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 이용하여, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  2. 제 1 항에 있어서,
    상기 제 2 영상 데이터를 획득하는 단계는,
    소정 시점에 대응하는 상기 프로브의 좌표 정보를 획득하는 단계를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  3. 제 1 항에 있어서,
    상기 제 2 영상 데이터를 획득하는 단계는,
    소정 시점에 대응하는 상기 프로브의 좌표 정보로부터, 상기 제 2 영상 데이터에 대한 상기 제 2 좌표 정보를 추정하는 단계를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  4. 제 1 항에 있어서,
    상기 제 2 좌표 정보를 포함하는 상기 제 2 영상 데이터는,
    상기 대상체의 좌측 (left) 으로부터 우측 (right) 으로 갈수록 x-축 값이 증가하고, 상기 대상체의 전측 (anterior) 으로부터 후측 (posterior) 으로 갈수록 y-축 값이 증가하고, 상기 대상체의 하측 (inferior) 으로부터 상측 (superior) 으로 갈수록 z-축 값이 증가하도록, 직교 좌표계 상에 형성되는 것을 특징으로 하는, 영상 정합 방법.
  5. 제 2 항에 있어서,
    상기 프로브의 좌표 정보는,
    상기 프로브의 방향, 기울기, 및 회전 각도 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  6. 제 1 항에 있어서,
    상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계는,
    상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 비교하는 단계; 및
    상기 비교 결과에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나를 변환하는 단계를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  7. 제 1 항에 있어서,
    상기 제 2 영상 데이터를 획득하는 단계는,
    상기 제 2 영상 데이터를 디스플레이하는 단계; 및
    상기 디스플레이된 제 2 영상 데이터에 대한 사용자의 입력에 기초하여, 상기 제 2 좌표 정보에 대한 상기 제 2 영상 데이터의 기울어짐 (yaw), 어긋남 (pitch), 및 회전 (roll) 중 적어도 하나를 보정하는 단계를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  8. 제 1 항에 있어서,
    상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계는,
    사용자의 입력에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나 내에서 제 1 특징 점을 선택하는 단계;
    상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나 내에서, 상기 제 1 특징 점에 대응하는 제 2 특징 점을 선택하는 단계; 및
    상기 제 1 특징 점 및 상기 제 2 특징 점에 기초하여, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 단계를 포함하는 것을 특징으로 하는, 영상 정합 방법.
  9. 제 1 항에 있어서,
    제 3 볼륨 데이터로부터 추출된 적어도 하나의 단면 영상을 디스플레이하는 단계를 더 포함하고, 상기 제 3 볼륨 데이터는, 상기 제 1 영상 데이터에 포함되는 제 1 볼륨 데이터와 상기 제 2 영상 데이터에 포함되는 제 2 볼륨 데이터를 정합함으로써 생성되는 것을 특징으로 하는, 영상 정합 방법.
  10. 제 1 항에 있어서,
    상기 제 1 영상 데이터는,
    CT 또는 MR 방식에 의해 획득되고,
    상기 제 2 영상 데이터는,
    초음파 방식을 이용하여 획득되는 것을 특징으로 하는, 영상 정합 방법.
  11. 제 1 좌표 정보를 포함하는, 대상체에 대한 제 1 영상 데이터를 획득하는 제 1 영상 데이터 획득부;
    프로브를 이용하여, 제 2 좌표 정보를 포함하는, 상기 대상체에 대한 제 2 영상 데이터를 획득하는 제 2 영상 데이터 획득부; 및
    상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 이용하여, 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하도록 영상 처리부를 제어하는 제어부를 포함하는 것을 특징으로 하는, 영상 정합 장치.
  12. 제 11 항에 있어서,
    소정 시점에 대응하는 상기 프로브의 좌표 정보를 획득하는 프로브 위치 센싱부를 더 포함하는 것을 특징으로 하는, 영상 정합 장치.
  13. 제 11 항에 있어서,
    소정 시점에 대응하는 상기 프로브의 좌표 정보를 획득하는 프로브 위치 센싱부를 더 포함하고,
    상기 제 2 영상 데이터 획득부는,
    상기 프로브의 좌표 정보로부터, 상기 제 2 영상 데이터에 대한 상기 제 2 좌표 정보를 추정하는 것을 특징으로 하는, 영상 정합 장치.
  14. 제 11 항에 있어서,
    상기 제 2 좌표 정보를 포함하는 상기 제 2 영상 데이터는,
    상기 대상체의 좌측으로부터 우측으로 갈수록 x-축 값이 증가하고, 상기 대상체의 전측으로부터 후측으로 갈수록 y-축 값이 증가하고, 상기 대상체의 하측으로부터 상측으로 갈수록 z-축 값이 증가하도록, 직교 좌표계 상에 형성되는 것을 특징으로 하는, 영상 정합 장치.
  15. 제 12 항에 있어서,
    상기 프로브의 좌표 정보는,
    상기 프로브의 방향, 기울기, 및 회전 각도 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는, 영상 정합 장치.
  16. 제 11 항에 있어서,
    상기 영상 처리부는,
    상기 제 1 좌표 정보 및 상기 제 2 좌표 정보를 비교하고, 상기 비교 결과에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나를 변환하는 것을 특징으로 하는, 영상 정합 장치.
  17. 제 11 항에 있어서,
    상기 제 2 영상 데이터를 디스플레이하는 디스플레이부를 더 포함하고,
    상기 제 2 영상 데이터 획득부는,
    상기 디스플레이된 제 2 영상 데이터에 대한 사용자의 입력에 기초하여, 상기 제 2 좌표 정보에 대한 상기 제 2 영상 데이터의 기울어짐 (yaw), 어긋남 (pitch), 및 회전 (roll) 중 적어도 하나를 보정하는 것을 특징으로 하는, 영상 정합 장치.
  18. 제 11 항에 있어서,
    상기 영상 처리부는,
    사용자의 입력에 기초하여, 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터 중 적어도 하나 내에서 제 1 특징 점을 선택하고, 상기 제 1 영상 데이터 및 상기 제2 영상 데이터 중 적어도 하나 내에서, 상기 제 1 특징 점에 대응하는 제 2 특징 점을 선택하고, 상기 제 1 특징 점 및 상기 제 2 특징 점에 기초하여 상기 제 1 영상 데이터와 상기 제 2 영상 데이터를 정합하는 것을 특징으로 하는, 영상 정합 장치.
  19. 제 11 항에 있어서,
    제 3 볼륨 데이터로부터 추출된 적어도 하나의 단면 영상을 디스플레이하는 디스플레이부를 더 포함하고,
    상기 제 3 볼륨 데이터는, 상기 제 1 영상 데이터에 포함되는 제 1 볼륨 데이터와 상기 제 2 영상 데이터에 포함되는 제 2 볼륨 데이터를 정합함으로써 생성되는 것을 특징으로 하는, 영상 정합 장치.
  20. 제 11 항에 있어서,
    상기 제 1 영상 데이터는,
    CT 또는 MR 방식에 의해 획득되고,
    상기 제 2 영상 데이터는,
    초음파 방식을 이용하여 획득되는 것을 특징으로 하는, 영상 정합 장치.
  21. 제 1 항의 영상 정합 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020130071956A 2013-06-11 2013-06-21 영상 정합 방법 및 장치 KR102114417B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2014/005038 WO2014200230A1 (en) 2013-06-11 2014-06-09 Method and apparatus for image registration
EP14811493.7A EP3008688B1 (en) 2013-06-11 2014-06-09 Method and apparatus for image registration
US14/897,428 US9818194B2 (en) 2013-06-11 2014-06-09 Method and apparatus for image registration
US15/810,928 US10685451B2 (en) 2013-06-11 2017-11-13 Method and apparatus for image registration

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130066825 2013-06-11
KR20130066825 2013-06-11

Publications (2)

Publication Number Publication Date
KR20140144633A true KR20140144633A (ko) 2014-12-19
KR102114417B1 KR102114417B1 (ko) 2020-05-22

Family

ID=52674824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130071956A KR102114417B1 (ko) 2013-06-11 2013-06-21 영상 정합 방법 및 장치

Country Status (4)

Country Link
US (2) US9818194B2 (ko)
EP (1) EP3008688B1 (ko)
KR (1) KR102114417B1 (ko)
WO (1) WO2014200230A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496441B1 (ko) * 2013-11-01 2015-02-27 한국과학기술연구원 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치
KR101655910B1 (ko) * 2015-05-06 2016-09-09 재단법인 아산사회복지재단 혈관조영영상 정합 방법 및 정합 프로그램
KR101999785B1 (ko) * 2018-02-09 2019-07-12 메디컬아이피 주식회사 3차원 모델 제공 방법 및 그 장치
WO2020106092A1 (ko) * 2018-11-23 2020-05-28 연세대학교 산학협력단 생체 4차원 영상 획득에서 볼륨 내 움직임 및 측정 시각 동시 보정 방법 및 장치
KR20230065021A (ko) * 2021-11-04 2023-05-11 오스템임플란트 주식회사 교정 진단을 위해 서로 다른 시점에 획득된 복수개의 이미지를 중첩하여 디스플레이하는 방법, 디바이스 및 그 기록매체

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114417B1 (ko) * 2013-06-11 2020-05-22 삼성메디슨 주식회사 영상 정합 방법 및 장치
US10152786B2 (en) 2016-10-11 2018-12-11 Biosense Webster (Israel) Ltd. Registration of a magnetic tracking system with an imaging device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100036000A (ko) * 2008-09-29 2010-04-07 주식회사 메디슨 대상체를 자동으로 인식하는 초음파 시스템 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8565860B2 (en) * 2000-08-21 2013-10-22 Biosensors International Group, Ltd. Radioactive emission detector equipped with a position tracking system
US6872181B2 (en) 2001-04-25 2005-03-29 Siemens Medical Solutions Usa, Inc. Compound image display system and method
US7778686B2 (en) 2002-06-04 2010-08-17 General Electric Company Method and apparatus for medical intervention procedure planning and location and navigation of an intervention tool
EP1623674B1 (en) 2003-05-08 2016-04-13 Hitachi Medical Corporation Reference image display method for ultrasonography and ultrasonograph
WO2005109342A1 (en) 2004-05-06 2005-11-17 Philips Intellectual Property & Standards Gmbh Pharmacokinetic image registration
US7729744B2 (en) 2004-07-20 2010-06-01 Resonant Medical, Inc. Verifying lesion characteristics using beam shapes
US8423125B2 (en) * 2004-11-09 2013-04-16 Spectrum Dynamics Llc Radioimaging
WO2007014105A2 (en) * 2005-07-22 2007-02-01 Tomotherapy Incorporated Method and system for adapting a radiation therapy treatment plan based on a biological model
US7740584B2 (en) 2005-08-16 2010-06-22 The General Electric Company Method and system for mapping physiology information onto ultrasound-based anatomic structure
US7853058B2 (en) * 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
EP2104919A2 (en) 2006-11-27 2009-09-30 Koninklijke Philips Electronics N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
US8290303B2 (en) * 2007-10-11 2012-10-16 General Electric Company Enhanced system and method for volume based registration
CA2751629C (en) 2007-10-19 2016-08-23 Metritrack, Llc Three dimensional mapping display system for diagnostic ultrasound machines and method
JP5486182B2 (ja) * 2008-12-05 2014-05-07 キヤノン株式会社 情報処理装置および情報処理方法
US9521994B2 (en) 2009-05-11 2016-12-20 Siemens Healthcare Gmbh System and method for image guided prostate cancer needle biopsy
WO2012019162A1 (en) * 2010-08-06 2012-02-09 Accuray, Inc. Systems and methods for real-time tumor tracking during radiation treatment using ultrasound imaging
US9247880B2 (en) * 2012-02-23 2016-02-02 Siemens Aktiengesellschaft Image fusion for interventional guidance
KR102114417B1 (ko) * 2013-06-11 2020-05-22 삼성메디슨 주식회사 영상 정합 방법 및 장치
KR102233966B1 (ko) * 2014-05-12 2021-03-31 삼성전자주식회사 의료 영상 정합 방법 및 그 장치
EP2989988B1 (en) * 2014-08-29 2017-10-04 Samsung Medison Co., Ltd. Ultrasound image display apparatus and method of displaying ultrasound image
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
US10426414B2 (en) * 2015-11-25 2019-10-01 Koninklijke Philips N.V. System for tracking an ultrasonic probe in a body part

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100036000A (ko) * 2008-09-29 2010-04-07 주식회사 메디슨 대상체를 자동으로 인식하는 초음파 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Thomas Lange et. al., "3D ultrasound-CT registration of the liver using combined landmark-intensity information", Int. J. CARS, 2009.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496441B1 (ko) * 2013-11-01 2015-02-27 한국과학기술연구원 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치
KR101655910B1 (ko) * 2015-05-06 2016-09-09 재단법인 아산사회복지재단 혈관조영영상 정합 방법 및 정합 프로그램
KR101999785B1 (ko) * 2018-02-09 2019-07-12 메디컬아이피 주식회사 3차원 모델 제공 방법 및 그 장치
WO2020106092A1 (ko) * 2018-11-23 2020-05-28 연세대학교 산학협력단 생체 4차원 영상 획득에서 볼륨 내 움직임 및 측정 시각 동시 보정 방법 및 장치
KR20230065021A (ko) * 2021-11-04 2023-05-11 오스템임플란트 주식회사 교정 진단을 위해 서로 다른 시점에 획득된 복수개의 이미지를 중첩하여 디스플레이하는 방법, 디바이스 및 그 기록매체

Also Published As

Publication number Publication date
US20180089845A1 (en) 2018-03-29
EP3008688B1 (en) 2021-12-29
US20160133003A1 (en) 2016-05-12
EP3008688A4 (en) 2017-01-25
US9818194B2 (en) 2017-11-14
KR102114417B1 (ko) 2020-05-22
US10685451B2 (en) 2020-06-16
EP3008688A1 (en) 2016-04-20
WO2014200230A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
CN106163408B (zh) 使用同时的x平面成像的图像配准和引导
US10631829B2 (en) Segmentation of large objects from multiple three-dimensional views
US9700281B2 (en) Sensor attachment for three dimensional mapping display systems for diagnostic ultrasound machines
KR102114417B1 (ko) 영상 정합 방법 및 장치
US8126239B2 (en) Registering 2D and 3D data using 3D ultrasound data
US7467007B2 (en) Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
US10755453B2 (en) Image processing apparatus, image processing method, and ultrasound imaging apparatus having image processing unit
US9355448B2 (en) Method and apparatus for image registration
US20160113632A1 (en) Method and system for 3d acquisition of ultrasound images
JP2018514352A (ja) 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法
US11672505B2 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
US10799207B2 (en) Ultrasound imaging apparatus and control method for the same
US20180360427A1 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
KR20170084945A (ko) 영상 정합 방법 및 장치
US20230100078A1 (en) Multi-modal medical image registration and associated devices, systems, and methods
US20230355212A1 (en) Ultrasound diagnosis apparatus and medical image processing method
EP3152735B1 (en) Device and method for registration of two images
US20230138666A1 (en) Intraoperative 2d/3d imaging platform
CN110546684B (zh) 时变数据的定量评估
WO2019048284A1 (en) INTRA-PROCEDURE CALIBRATION FOR TRACKING BASED ON IMAGES

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant