KR20150145106A - 의료 영상 정합 방법 및 그 장치 - Google Patents

의료 영상 정합 방법 및 그 장치 Download PDF

Info

Publication number
KR20150145106A
KR20150145106A KR1020140074506A KR20140074506A KR20150145106A KR 20150145106 A KR20150145106 A KR 20150145106A KR 1020140074506 A KR1020140074506 A KR 1020140074506A KR 20140074506 A KR20140074506 A KR 20140074506A KR 20150145106 A KR20150145106 A KR 20150145106A
Authority
KR
South Korea
Prior art keywords
medical image
image
probe
medical
entity
Prior art date
Application number
KR1020140074506A
Other languages
English (en)
Other versions
KR102273020B1 (ko
Inventor
김선권
서준호
황영규
김정배
오영택
방원철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140074506A priority Critical patent/KR102273020B1/ko
Priority to US14/736,914 priority patent/US9842379B2/en
Publication of KR20150145106A publication Critical patent/KR20150145106A/ko
Application granted granted Critical
Publication of KR102273020B1 publication Critical patent/KR102273020B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

의료 영상 정합 방법 및 그 장치를 제공한다. 본 의료 영상 정합 방법은, 프로브가 대상체의 기준점 위에 위치하면 프로브를 통해 획득된 제1 의료 영상 및 제1 의료 영상과 모달리티가 다른 제2 의료 영상을 정합시킬 수 있는 변환 관계를 산출하고, 변환 관계를 이용하여 제2 의료 영상으로부터 제1 의료 영상의 단면 영상에 대응하는 제2 의료 영상의 단면 영상을 획득한다.

Description

의료 영상 정합 방법 및 그 장치{Method and appartus for registering medical images}
본 개시는 모달리티(modality)가 상이한 의료 영상들을 정합하는 방법 및 장치에 관한 것이다.
최근 의료기술의 발달로 인해 높은 해상도의 의료 영상을 얻을 수 있다. 그리고, 의료 기구의 미세한 조작이 가능해 짐에 따라서, 시술 부위를 노출시키기 위한 절개를 하지 않고도 피부에 작은 구멍을 만든 뒤 혈관 혹은 기타 원하는 신체 부위에 직접 카테터나 의료용 바늘을 넣고 의학 영상 장비로 몸속을 관찰하면서 치료하는 방법이 개발되고 있다. 이를 "영상을 이용하는 시술법", "인터벤션(Interventional) 영상 시술법" 또는 "중재적 영상 시술법"이라고 부른다.
시술자는 장기나 병변의 위치를 영상을 통해 파악한다. 게다가 시술을 하는 동안 환자는 호흡을 하거나 움직이게 되는데 이에 따른 변화를 파악해야 한다. 따라서 시술자는 실시간 영상을 토대로 호흡이나 움직임을 정확하고 빠르게 파악하여 시술을 시행해야 하는데, 이 때 초음파 실시간 영상에서 장기와 병변의 형상을 육안으로 파악하기 쉽지 않다.
초음파 영상과 대조적으로, MR(Magnetic Resonance) 또는 CT 영상은 장기와 병변을 명확히 식별할 수 있다. 하지만, MR 또는 CT 영상은 의료 시술 중 실시간으로 영상이 획득될 수 없기 때문에, 의료 시술 중 발생되는 환자의 호흡과 움직임이 반영되지 않는 단점이 있다.
그리하여, 실시간으로 촬영된 영상과 모달리티가 다른 영상을 정합할 필요성이 대두되고 있다. 모달리티가 다른 복수 개의 영상을 정합할 때, 영상에서 특징점을 획득하여 정합하는 경우가 있으나, 영상의 화질에 따라 정합이 어려울 수 있는 문제점이 있다.
본 개시는 센서를 이용하여 모달리티가 다른 복수 개의 의료 영상을 정합하는 방법 및 그 장치를 제공한다.
일 유형에 따르는 의료 영상 정합 방법은 프로브가 대상체의 기준점 위에 위치하면, 상기 프로브를 통해 획득된 제1 의료 영상 및 상기 제1 의료 영상과 모달리티가 다른 제2 의료 영상을 정합시킬 수 있는 변환 관계를 상기 기준점을 이용하여 산출하는 단계; 및 상기 변환 관계를 이용하여 상기 제2 의료 영상으로부터 상기 제1 의료 영상의 단면 영상에 대응하는 상기 제2 의료 영상의 단면 영상을 획득하는 단계;를 포함한다.
그리고, 상기 기준점은 상기 대상체 중 시간에 따라 변형되지 않는 개체일 수 있다.
또한, 상기 개체는, 뼈일 수 있다.
그리고, 상기 변환 관계를 산출하는 단계는, 상기 기준점을 이용하여 상기 제1 의료 영상의 좌표계와 상기 제2 의료 영상의 좌표계간의 변환 관계를 산출하는 단계;를 포함할 수 있다.
또한, 상기 제1 의료 영상에 포함된 제1 개체와 상기 제2 의료 영상에 포함된 제2 개체를 정렬시킴으로써 상기 변환 관계를 보완하는 단계;를 더 포함할 수 있다.
그리고, 상기 정렬은, 상기 제1 개체와 상기 제2 개체가 동일한 경우, 상기 제1 개체와 상기 제2 개체를 일치시킬 수 있다.
또한, 상기 정렬은 상기 제1 개체와 상기 제2 개체가 다른 경우, 상기 제1 개체와 상기 제2 개체간의 기하학적 배치 구조를 기저장된 기하학적 배치 구조와 일치시킬 수 있다.
그리고, 상기 프로브가 대상체의 기준점 위에 위치할 때, 상기 프로브의 축은 상기 대상체의 축과 평행하게 배치될 수 있다.
또한, 상기 대상체의 축은 상기 제2 의료 영상의 좌표축과 평행할 수 있다.
그리고, 상기 제2 의료 영상의 단면 영상을 획득하는 단계는, 상기 제1 의료 영상의 단면 영상에 대한 좌표 정보를 획득하는 단계; 상기 변환 관계를 이용하여 상기 좌표 정보를 상기 제2 의료 영상에서의 좌표 정보로 변환하는 단계; 및 상기 변환된 좌표 정보를 갖는 제2 의료 영상의 단면 영상을 상기 제2 의료 영상으로부터 획득하는 단계;를 포함할 수 있다.
또한, 상기 제1 의료 영상의 단면 영상에 대한 좌표 정보는 상기 프로브의 위치 및 방향 정보와 대응될 수 있다.
그리고, 상기 제1 의료 영상은 실시간으로 촬영된 영상이고, 상기 제2 의료 영상은 기촬영된 영상일 수 있다.
또한, 상기 제1 의료 영상은 초음파 영상 및 OCT 영상 중 어느 하나이고, 상기 제2 의료 영상은 MR, CT, PET, SPECT, 및 X-ray 영상 중 어느 하나일 수 있다.
그리고, 상기 제2 의료 영상의 단면 영상을 상기 제1 의료 영상의 단면 영상과 함께 표시하는 단계;를 더 포함할 수 있다.
한편, 일 실시예에 따른 의료 영상 장치는, 제1 의료 영상을 획득하는 프로브의 위치 및 방향 정보 중 적어도 하나를 수신하는 인터페이스; 및 상기 프로브가 대상체의 기준점 위에 위치하면, 제1 의료 영상 및 상기 제1 의료 영상과 모달리티가 다른 제2 의료 영상을 정합시킬 수 있는 변환 관계를 상기 기준점을 이용하여 산출하는 프로세서;를 포함한다.
그리고, 상기 기준점은 상기 대상체 중 시간에 따라 변형되지 않는 개체일 수 있다.
또한, 상기 변환 관계는, 상기 제1 의료 영상에 포함된 제1 개체와 상기 제2 의료 영상에 포함된 제2 개체를 정렬시킴으로써 보완될 수 있다.
그리고, 상기 프로브가 대상체의 기준점 위에 위치할 때, 상기 프로브의 축은 상기 대상체의 축과 평행하게 배치될 수 있다.
또한, 프로브의 위치 및 방향 정보 중 적어도 하나를 검출하는 검출기;를 더 검출할 수 있다.
일 실시예에 따른 의료 영상 정합 방법 및 그 장치는 센서를 이용하기 때문에 정합이 용이할 수 있다.
일 실시예에 따른 의료 영상 정합 방법 및 그 장치는 프로브가 대상체의 특정한 지점에 위치할 때 정합을 위한 변환 관계를 산출하기 때문에 변환 관계 산출이 용이하다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 시스템을 도시한다.
도 2는 일 실시예에 따른 프로브의 축을 설명하는 참조도면이다.
도 3은 일 실시예에 따른 대상체의 축을 설명하는 참조도면이다.
도 4는 일 실시예에 따른 대상체에 프로브를 위치시키는 참조도면이다.
도 5는 도 1에 도시된 정합 장치를 나타내는 블록도이다.
도 6은 일 실시예에 따른 의료 영상을 정합하는 방법을 설명하는 흐름도이다.
도 7은 일 실시예에 따른 변환 관계를 보완하는 방법을 설명하는 흐름도이다.
도 8은 일 실시예에 따른 제1 및 제2 개체를 정렬하는 방법을 설명하는 흐름도이다.
도 9는 일 실시예에 따른 제1 의료 영상의 단면 영상에 대응하는 제2 의료 영상의 단면 영상을 획득하는 방법을 설명하는 흐름도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 "대상체"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 또한, 본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 의료 영상 시스템(100)을 도시한다. 도 1을 참조하면 시스템(100)은 제1 의료 장치(110), 제2 의료 장치(120), 검출 장치(130), 정합 장치(140) 및 표시 장치(150)를 포함한다.
제1 의료 장치(110)와 제2 의료 장치(120)는 각각 제1 의료 영상과 제2 의료 영상을 생성하여 정합 장치(140)에 제공한다. 제1 의료 영상과 제2 의료 영상은 상이한 모달리티(modality)를 갖는다. 즉, 제1 의료 영상과 제2 의료 영상은 생성 방식 및 원리가 상이할 수 있다. 정합 장치(140)는 제1 의료 영상과 제2 의료 영상을 각각 획득하고, 상이한 모달리티를 갖는 제1 의료 영상과 제2 의료 영상을 정합한다. 정합 장치(140)가 정합한 영상은 표시 장치(150)를 통해 표시될 수 있다.
제1 의료 장치(110)는 대상체의 관심 볼륨에 대하여 실시간으로 제1 의료 영상을 제공한다. 예를 들어, 대상체의 신체 활동에 따른 장기의 변형과 변위가 발생되면, 실시간으로 제1 의료 영상에 변화가 나타난다. 다만, 제1 의료 영상은 모든 장기와 병변이 명확히 관찰될 수 없는 경우가 있고, 장기의 변형과 변위를 제1 의료 영상만으로 파악하는데 어려움이 있다.
일 실시예에 따르면, 제1 의료 장치(110)는 환자에 대한 중재적 의료 시술 과정에서 실시간으로 영상을 생성하는 초음파 영상장치(ultrasonography machine)일 수 있다. 또는, 제1 의료 장치(110)는 실시간으로 영상을 제공하는 OCT(optical coherence tomography) 등의 다른 의료 장치일 수도 있으며, 초음파 영상 장치에 한정되는 것은 아니다.
제1 의료 장치(110)가 초음파 영상 장치인 경우, 제1 의료 장치(110)는 프로브 (probe)(111)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성한다. 프로브(111)는 일반적으로 압전 변환기 (piezoelectric transducer)를 포함할 수 있다. 그러나, 이에 한정되지 않는다. 프로브(111)는 정전 용량의 변화로 초음파와 전기적 신호를 상호 변환시키는 정전 용량형 초음파 변환기(capacitive micromachined ultrasonic transducer, cMUT), 자기장의 변화로 초음파와 전기적 신호를 상호 변환시키는 자기형 초음파 변환기(magnetic micromachined ultrasonic transducer, mMUT), 광학적 특성의 변화로 초음파와 전기적 신호를 상호 변환시키는 광학형 초음파 검출기(Optical ultrasonic detection) 등을 포함할 수도 있다.
프로브(111)로부터 수 내지 수백 MHz 범위의 초음파가 환자 신체 내부의 특정 부위에 전달되면, 이 초음파는 여러 다른 조직들(tissues) 사이의 계층들로부터 부분적으로 반사된다. 초음파는 신체 내부에서의 밀도 변화가 있는 개체들, 예를 들어, 혈장(blood plasma) 내의 혈구들(blood cells), 장기들(organs) 내의 작은 조직들(structures) 등에서 반사된다.
이와 같이 반사된 초음파들은 프로브(111)의 변환기를 진동시키고, 변환기는 이 진동들에 따른 전기적 펄스들(electrical pulses)을 출력한다. 이와 같은 전기적 펄스들이 영상으로 변환된다. 개체들이 서로 상이한 초음파 반사 특성을 갖는 경우, B 모드의 초음파 영상에서는 각 개체들이 서로 상이한 밝기 값으로 나타날 수 있다.
제2 의료 장치(120)는 비실시간으로 대상체의 관심 볼륨(VOI: Volume of Interest)에 대한 제2 의료 영상을 생성한다. 제2 의료 장치(120)의 비실시간 특성을 고려할 때, 제2 의료 영상은 의료 시술 이전에 미리 촬영되는 것일 수 있다.
예컨대, 제2 의료 장치(120)는 CT(computed tomography) 영상 장치, MR(magnetic resonance)영상 장치, 엑스선(X-ray) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치 중 어느 하나로 일 수 있다. 이하의 실시예에서는 설명의 편의를 위하여 제2 의료 영상이 MR 또는 CT 영상인 것을 가정하나, 이에 한정되지 않는다.
제2 의료 장치(120)에서 생성한 CT 영상 또는 MR 영상의 경우 장기의 위치나 병변의 위치가 명확하게 구별이 되는 장점이 있다. 하지만 CT(computed tomography)영상이나 MR(magnetic resonance)영상은 시술하는 동안 환자가 호흡을 하거나 뒤척일 때 장기가 변형되거나 위치가 변할 수 있는데, 이러한 환자의 움직임에 따른 장기의 변형과 변위를 영상에 실시간으로 반영할 수 없다는 문제점이 있다.
제2 의료 장치(120)가 실시간으로 영상을 출력할 수 없는 각각의 이유는 CT(computed tomography)영상의 경우 방사선을 이용한 촬영방법이기 때문에 환자와 시술자가 장시간 방사능에 노출될 우려가 있어 짧은 시간의 촬영이 권장되며, MR(magnetic resonance)영상의 경우 한번 촬영하는데 시간이 오래 걸리기 때문이다. 일반적으로 CT 영상은 환자의 호흡이 일시적으로 정지된 상태, 예컨대 최대 들숨 상태에서 촬영된다.
제1 의료 장치(110) 또는 제2 의료 장치(120)가 촬영하는 의료 영상들은 2차원의 단면 영상들일 수도 있고, 2차원의 단면 영상들을 축척하여 생성된 3차원 영상일 수 있다. 예컨대, 제1 의료 장치(110)는 2차원 단면 영상을 생성할 수도 있고, 프로브(111)를 핸드 스윕(Hand Sweep)하거나 와블링(Wabbling)함으로써, 또는 2D 어레이 방식의 프로브(111)를 통해서 3차원 영상을 생성할 수도 있다.
그리고, 제2 의료 장치(120)는 대상체 또는 제2 의료 장치(120)의 위치(location) 또는 방향(orientation)을 변화시키면서, 다수의 단면 영상들을 촬영한다. 이와 같은 단면 영상들이 축적되면 환자 신체의 특정 부위를 3차원적으로 나타내는 3차원 볼륨(volume)의 영상 데이터가 생성될 수 있다. 이와 같이 단면 영상들을 축적하여 3차원 볼륨의 영상 데이터를 생성하는 방식을 MPR(Multiplanar reconstruction) 방식이라고 한다. 제2 의료 영상은 환자의 관심 장기의 밝기를 향상시키기 위하여, 조영 증강된 영상일 수 있다. 이하에서는 설명의 편의를 도모하기 위해 의료 영상은 2차원 영상 또는 3차원 영상일 수 있고, 특히, 2차원의 의료 영상을 단면 영상이라고 한다.
검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하여 프로브(111)의 움직임을 검출할 수 있다. 검출 장치(130)는 자기장 발생기(131)와 자기장의 변화를 감지하는 센서(132)를 포함할 수 있다. 자기장 발생기(131)는 제1 의료 장치(110)의 특정 위치에 고정될 수 있고, 센서(132)는 프로브(111)상에 배치될 수 있다. 그리하여, 검출 장치(130)는 센서(132)에 대한 자기장 발생기(131)의 상대적인 위치 관계로부터 프로브(111)의 위치 및 방향 중 적어도 하나를 검출할 수 있다. 이외에도 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하기 위한 광 센서, 가속도계 센서, 기울기 센서 등을 포함할 수 있다. 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출 장치(130)의 좌표계에서의 좌표 정보로 산출할 수 있다.
정합 장치(140)는 제1 의료 장치(110)로부터 획득한 제1 의료 영상과 제2 의료 장치(120)로부터 획득한 제2 의료 영상을 정합(registration)한다. 의료 영상들의 정합은 제1 의료 영상 좌표계와 제2 의료 영상 좌표계를 서로 대응시키는 과정을 포함할 수 있다. 그리고, 제1 의료 영상의 단면 영상은 프로브(111)의 위치 및 방향과 일대일 대응된다. 그리하여 일 실시예에 따른 시스템은 프로브(111)가 특정 위치 및 방향에 위치할 때, 제1 의료 영상과 제2 의료 영상을 정합시킬 수 있는 변환 관계를 산출한다. 그리고, 일 실시예에 따른 의료 영상의 정합은 프로브(111)의 위치 및 방향 정보와 제1 및 제2 의료 영상에 포함된 개체의 좌표 정보 중 적어도 하나를 이용하여 수행될 수 있다. 이는 프로브(111)의 움직임 즉, 검출 장치만을 기반으로 하는 영상 정합보다 대상체에 대한 해부학적 지식이 과도하게 요구되지 않는 장점이 있다. 또한, 영상 내 개체를 기반으로 하는 영상 정합보다 정합 오류가 발생될 확률을 줄일 수 있는 장점이 있다.
일 실시예에서, 정합된 영상은 제1 의료 영상과 제2 의료 영상이 융합된 영상(fusion image)일 수 있다. 다른 실시예에서 정합된 영상은 같은 관측시점에서의 제1 의료 영상과 제2 의료 영상을 나란하게 배치한 영상일 수도 있다. 정합된 영상은 영상 표시 장치(150)에 의해 표시될 수 있다.
도 1에 도시된 실시예에서는 제1 의료 장치(110), 검출 장치(130), 정합 장치(140) 및 디스플레이 장치(140)가 각각 독립된 장치를 구성하고 있으나, 이는 설명의 편의를 도모하기 위할 뿐이며, 제1 의료 장치(110), 검출 장치(130) 및 디스플레이 장치는 단일의 장치로 구현될 수 있음은 물론이다.
한편, 제1 의료 영상의 단면 영상에 대응하는 제2 의료 영상의 단면 영상을 획득하기 위해 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 획득하여야 한다. 상기한 변환 관계를 용이하게 획득하기 위해, 프로브(111)의 위치 및 방향 정보 중 적어도 하나를 이용할 수 있다. 제1 의료 영상의 단면 영상은 프로브(111)의 위치 및 방향 정보에 일대일 대응되기 때문이다.
먼저 프로브(111)의 위치 및 방향을 설명하기에 앞서 프로브(111)의 축에 대한 설명한다. 도 2는 일 실시예에 따른 프로브(111)의 축을 설명하는 참조도면이다. 도 2에 도시된 바와 같이, 프로브(111)의 축은 프로브(111)의 변환기(112)를 기준으로 하여 송신파의 진행 방향으로 정의되는 축방향(axial direction)인 제1 축(1), 변환기(112)의 너비 방향으로 정의되는 측방향(lateral direction)인 제2 축(2)과, 변환기(112)의 높이 방향으로 정의되는 고도방향(elevation direction)인 제3 축(3)으로 정의될 수 있다. 그리고, 프로브(111)의 중심은 상기한 변환기(112)의 중심을 의미하며, 프로브(111)의 위치는 프로브(111)의 중심에 대한 위치를 의미할 수 있다.
도 3은 일 실시예에 따른 대상체의 축을 설명하는 참조도면이다. 도 3에 도시된 바와 같이, 대상체를 자르는 평면에 따라 시상면(sagittal plane)(310) 및 관상면(coronal plane)(320) 및 횡단면(transverse plnae)(330)으로 구분될 수 있다. 시상면(310)과 횡단면(330)이 만나는 축을 제4 축(4), 시상면(310)과 관상면(320)이 만나는 축을 제5 축(5) 및 관상면(320)과 횡단면(330)이 만나는 축을 제6축(6)으로 정의할 수 있다.
제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 획득하기 위해, 프로브(111)를 대상체의 기준점(12) 위에 위치시킬 수 있다. 여기서 기준점(12)은 대상체의 개체 중 적어도 하나일 수 있다. 기준점(12)은 제1 의료 영상에서 식별이 용이하고 시간에 따라 변형되지 않는 개체일 수 있다. 예를 들어, 기준점(12)은 대상체의 개체 중 뼈일 수 있다. 사용자는 프로브(111)를 대상체의 기준점(12) 위에 위치시킬 수 있다.
도 4는 일 실시예에 따른 대상체에 프로브(111)를 위치시키는 참조도면이다. 도 4에 도시된 바와 같이, 사용자는 프로브(111)를 대상체(10)의 개체 중 명치 위에 놓을 수 있다. 여기서 명치가 대상체(10)의 기준점(12)이 될 수 있다. 더 나아가, 사용자는 프로브(111)의 축, 예를 들어, 제1 축을 대상체(10)의 축, 예를 들어, 제4 축(220)과 평행하게 배치시킬 수도 있다.
프로브(111)가 대상체(10)의 기준점(12) 위에 위치할 때, 정합 장치(140)는 프로브(111)를 통해 획득된 제1 의료 영상으로부터 기준점(12)에 대한 좌표 정보를 획득할 수 있다. 상기한 기준점(12)에 대한 좌표 정보는 제1 의료 영상 좌표계를 기준으로 한다. 또한, 정합 장치(140)는 제2 의료 영상으로부터 기준점(12)에 대한 좌표 정보를 획득할 수 있다. 여기서 기준점(12)에 대한 좌표 정보는 제2 의료 영상 좌표계를 기준으로 한다. 그리하여, 제1 의료 영상 좌표계에서의 기준점(12)에 대한 좌표 정보와 제2 의료 영상 좌표계에서의 기준점(12)에 대한 좌표 정보간의 변환 관계를 산출함으로써 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 획득할 수 있다.
도 5는 도 1에 도시된 정합 장치(140)를 나타내는 블록도이다. 도 5를 참조하면, 정합 장치(140)는 통신부(510), 저장부(520), 사용자 인터페이스(530), 프로세서(540) 및 제어부(550)를 포함할 수 있다. 다만, 도시된 구성요소들이 모두 필수 구성요소들은 아니며, 도시된 구성요소들 이외에 다른 범용적인 구성요소들이 더 포함될 수도 있다.
통신부(510)는 제1 의료 장치(110) 및 제2 의료 장치(120)로부터 각각 제1 의료 영상과 제2 의료 영상을 수신하고, 검출 장치(130)로부터 프로브(111)의 위치 및 방향 정보 중 적어도 하나를 수신할 수 있다. 통신부(510)는 제1 의료 장치(110) 및 제2 의료 장치(120)로부터 제1 의료 영상 및 제2 의료 영상을 획득하기 위한 인터페이스들(511, 512, 513)을 포함한다. 제1 인터페이스(511) 및 제2 인터페이스(512) 는 제1 의료 장치(110) 및 제2 의료 장치(120)와 직접 또는 간접으로 연결되기 위한 인터페이스를 의미한다.
제1 인터페이스(511)는 제1 의료 장치(110)가 촬영하는 제1 의료 영상을 실시간 획득할 수 있다. 제2 인터페이스(512)는 제2 의료 장치(120)가 의료시술 이전에 미리 촬영한 제2 의료 영상을 획득하기 위하여, 제2 의료 장치(120)와 직접 연결될 수 있다. 또는, 제2 인터페이스(512)는 다른 외부 저장매체(USB, CD, DVD 등) 또는 네트워크를 통해 제2 의료 영상을 획득할 수 있다. 통신부(510)는 획득한 제2 의료 영상을 저장부(520)에 저장할 수 있다. 제3 인터페이스(513)는 검출 장치(130)로부터 프로브(111)의 좌표 정보를 수신할 수 있다. 프로브(111)의 좌표 정보는 제1 인터페이스(511)로부터 수신된 제1 의료 영상의 단면 영상과 일대일 매칭될 수 있다. 제1 의료 영상과 프로브(111)의 좌표 정보가 서로 다른 인터페이스(511, 513)를 통해 수신된다고 하였으나, 이에 한정되지 않는다. 하나의 인터페이스를 통해 제1 의료 영상과 프로브(111)의 좌표 정보가 수신될 수도 있다.
사용자 인터페이스(530)는 사용자로부터 정합 장치(140)을 조작하기 위한 입력을 수신하고, 정합 장치(140)가 획득한 제1 의료 영상, 제2 의료 영상 또는 정합된 의료 영상을 출력한다. 사용자 인터페이스(530)는 사용자가 직접 정합 장치(140)를 조작하기 위한 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 사용자 인터페이스(530)는 영상을 디스플레이하기 위한 디스플레이부를 포함할 수 있으며, 터치스크린으로 구현될 수 있다. 또 다른 실시예에서, 사용자 인터페이스(530)는 HID(Human Interface Device) 들을 연결하기 위한 I/O 포트를 구비할 수 있다. 사용자 인터페이스(530)는 영상의 입/출력을 위한 I/O 포트를 구비할 수 있다.
프로세서(540)는 제1 의료 영상과 그에 대응하는 제2 의료 영상을 정합하여 정합된 영상을 사용자 인터페이스(530)로 출력할 수 있다. 프로세서(540)는 제1 의료 영상으로부터 정합을 위한 개체를 획득하는 제1 획득부(541), 제2 의료 영상으로부터 정합을 위한 개체를 획득하는 제2 획득부(542), 획득된 개체들을 정렬시킴으로써, 제1 의료 영상과 제2 의료 영상간의 변환 관계를 산출하는 산출부(543) 및 제1 의료 영상의 단면 영상에 대응하는 제2 의료 영상의 단면 영상을 제2 의료 영상으로부터 획득하는 제3 획득부(544)를 포함할 수 있다. 제1 및 제2 획득부(541, 542)에서 획득되는 개체는 동일할 수도 있고, 동일하지 않을 수도 있다. 개체들이 동일한지 여부에 따라 변환 관계의 산출 방식이 상이할 수 있다.
제1 획득부(541)는 제1 의료 영상으로부터 개체를 획득할 수 있다. 상기한 개체는 대상체내의 기준점일 수도 있고, 제1 의료 영상에서 뚜렷하게 나타나는 기준점 이외의 개체일 수도 있다. 예를 들어, 제1 의료 영상이 간을 포함하는 초음파 영상인 경우, 개체는 간 이외에도 간과 인접하게 배치된 하대 정맥 또는 횡경막일 수 있다. 이외에도, 간에 인접한 신장, 담낭, Portal vein, Hepatic vein, IVC 중 적어도 하나 이상이 개체가 될 수 있다.
제2 획득부(542)는 제2 의료 영상으로부터 개체를 획득할 수 있다. 상기한 개체는 대상체내의 기준점일 수도 있고, 제2 의료 영상에서 뚜렷하게 나타나는 기준점 이외의 다른 개체일 수도 있다. 제2 획득부(542)가 획득하는 개체는 제1 획득부(541)가 획득하는 개체와 동일하거나 다를 수 있다. 예를 들어, 관심 장기가 간인 경우, 일반적으로 횡경막, 하대정맥 등은 초음파 영상인 제1 의료 영상과 MR 영상인 제2 의료 영상에 모두 뚜렷하게 나타날 수 있다. 그리하여, 제1 및 제2 획득부(541, 542) 각각은 횡경막 또는 하대 정맥을 개체로 획득할 수 있다. 그러나, 이에 한정되지 않는다. 이하 설명의 편의를 위해 제1 획득부에서 획득된 기준점(12) 이외의 개체를 제1 개체라고 하고, 제2 획득부에서 획득된 기준점(12) 이외의 개체를 제2 개체라고 한다. 제2 획득부(542)는 제1 개체와 다르면서 제1 개체와 인접하게 배치된 제2 개체를 획득할 수 있다. 예를 들어, 제1 개체가 횡경막일 때, 제2 개체는 간일 수 있다. 이때, 간과 횡격막은 동일한 개체는 아니지만, 간의 경계면과 횡격막이 접하므로 횡격막을 간의 경계면으로 간주하면, 횡격막과 간을 정렬시킴으로써 의료 영상들을 정합할 수 있기 때문이다.
산출부(543)는 제1 의료 영상 내 기준점과 제2 의료 영상 내 기준점을 일치시킴으로써 제1 의료 영상과 제2 의료 영상 간의 변환 관계를 산출할 수도 있고, 제1 개체와 제2 개체를 정렬시킴으로써 상기한 변환 관계를 보완할 수 있다. 제1 개체와 제1 개체가 동일한 경우, 산출부(543)는 제1 개체와 제2 개체를 일치시킴으로써 변환 관계를 보완할 수 있다. 그러나, 제1 개체와 제2 개체가 다른 경우, 산출부(543)는 제1 개체와 제2 개체간의 기하학적 배치 구조가 기저장된 기하학적 배치 구조와 일치시킴으로써 변환 관계를 보완할 수 있다. 제1 개체와 제2 개체간의 기하학적 배치 구조가 기저장되어 있을 수 있다.
상기와 같이, 기준점을 이용하여 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출하면 임의의 지점을 기준으로 좌표계간의 변환 관계를 산출하는 것보다 산출이 용이할 수 있다.
한편, 제1 및 제2 의료 영상의 기준점에 대한 좌표 정보가 명확한 경우, 제1 의료 영상에서의 기준점에 대한 좌표 정보와 제2 의료 영상에서의 기준점에 대한 좌표 정보의 변환 관계만으로 제1 의료 영상과 제2 의료 영상의 변환 관계를 산출할 수 있다. 그러나, 사용자의 역량 등에 따라 프로브는 기준점 위에 위치할 수도 있고, 약간 어긋날 수도 있다. 따라서, 일 실시예에 따른 정합 장치는 기준점 이외에 대상체의 다른 개체를 이용하여 변환 관계를 보완하는 것이다.
그리고, 제3 획득부(544)는 제1 의료 영상의 단면 영상에 대응하는 제2 의료 영상의 단면 영상을 제2 의료 영상으로부터 획득할 수 있다. 예를 들어, 제3 획득부(544)는 변환 관계를 이용하여 제1 의료 영상의 단면 영상에 대한 좌표 정보를 제2 의료 영상 좌표계에서의 좌표 정보로 변환시키고, 변환된 좌표 정보를 갖는 제2 의료 영상의 단면 영상을 제2 의료 영상으로부터 획득할 수 있다.
제1 의료 영상의 단면 영상 및 제2 의료 영상의 단면 영상은 표시 장치(150) 또는 사용자 인터페이스(530)로 인가되어, 제1 의료 영상의 단면 영상과 제2 의료 영상의 단면 영상이 함께 표시될 수 있다. 제1 의료 영상과 제2 의료 영상의 단면 영상 각각이 영역을 달리하여 표시될 수도 있고, 융합되어 하나의 영상으로 표시될 수도 있다.
제어부(550)는 정합 장치(140)의 동작을 전반적으로 제어한다. 예를 들어, 제어부(550)는 사용자 인터페이스(530)를 통해 입력된 사용자 명령이나 저장부(520)에 저장된 프로그램을 이용하여 프로세서(540)가 영상을 생성하도록 제어할 수 있다. 또한, 제어부(550)는 프로세서(540)에서 생성한 영상이 사용자 인터페이스(530) 또는 표시 장치(150)에 표시되도록 제어할 수도 있다.
정합장치(130)의 보다 상세한 동작에 대해서는, 후술하는 의료영상 정합 방법을 참조하여 설명을 계속한다. 이하에서, 의료영상 정합장치(130)의 어느 구성요소가 각 프로세스를 수행하는지를 구체적으로 특정하지 않더라도, 당업자라면 전술한 설명으로부터 이를 파악할 수 있다.
도 6은 일 실시예에 따른 의료 영상을 정합하는 방법을 설명하는 흐름도이다. 도 6을 참조하면, 제어부(550)는 프로브(111)가 대상체의 기준점(12) 위에 위치하는지 판단한다(S610). 사용자는 프로브(111)를 대상체의 기준점(12) 위에 위치시키고, 프로브(111)가 대상체의 기준점(12) 위에 위치하였음을 알리는 사용자 명령을 입력할 수 있다. 그러면, 제어부(550)는 프로브(111)가 기준점(12) 위에 위치하였다고 판단할 수 있다. 여기서 기준점(12)은 대상체의 개체 중 외부 힘에 의해 변형되지 않는 개체일 수 있다. 예를 들어, 기준점(12)은 대상체의 특정 뼈일 수 있다. 프로브(111)가 대상체의 기준점(12) 위에 위치할 때, 제어부(550)는 검출 장치의 좌표계와 제1 의료 영상 좌표계를 매칭시킬 수 있다.
프로브(111)가 대상체의 기준점(12) 위에 위치하면(S610-Y), 제1 획득부(541)는 제1 의료 영상으로부터 기준점(12)을 획득하고, 제1 의료 영상 좌표계에서 기준점(12)에 대한 좌표 정보를 획득할 수 있다(S620).
예를 들어, 제1 의료 장치(110)는 실시간으로 프로브(111)를 통해 제1 의료 영상의 단면 영상을 획득할 수 있고, 제1 의료 영상의 단면 영상을 재구성하여 3차원의 제1 의료 영상을 생성할 수 있다. 그리고, 제1 의료 장치(110)는 3차원의 제1 의료 영상을 정합 장치(140)에 인가하고, 정합 장치(140)의 제1 획득부(541)는 제1 의료 영상으로부터 기준점(12)을 획득할 수 있다. 기준점을 획득함에 있어서, 제1 획득부(541)는 밝기 값을 이용할 수 있다. 그러나, 이에 한정되지 않는다. 밝기 값 이외의 다른 방법으로도 기준점을 획득할 수 있다.
제2 획득부(542)도 제2 의료 영상으로부터 기준점(12)을 획득하고, 제2 영상 좌표계에서 상기한 기준점(12)에 대한 좌표 정보를 획득할 수 있다(S630). 한편, 기준점(12)은 제2 의료 영상에 선명하지 않을 수 있다. 이와 같은 경우, 제2 획득부(542)는 기저장된 기준점(12)에 대한 정보를 이용하여 제2 의료 영상 좌표계에서 기준점(12)에 대한 좌표 정보를 예측할 수 있다. 또한, 제1 획득부(541)가 제1 의료 영상으로부터 기준점을 획득한 후 제2 획득부(542)가 제2 의료 영상으로부터 기준점을 획득한다고 설명하였으나, 이는 설명의 편의를 위할 뿐 그 순서는 바뀌어도 무방하고, 동시에 진행하여도 무방하다.
그리고, 산출부(543)는 제1 의료 영상의 기준점(12)과 제2 의료 영상의 기준점(12)을 일치시킴으로써 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출할 수 있다(S640). 변환 관계는 하기 수학식 1과 같을 수 있다.
[수학식 1]
Figure pat00001
여기서,
Figure pat00002
는 제1 의료 영상 좌표계에서 기준점(12)의 좌표 정보이고,
Figure pat00003
는 제2 의료 영상 좌표계에서 기준점(12)의 좌표 정보이다.
한편, 프로브(111)를 기준점(12) 위에 위치시킨다 하더라도 사용자의 역량에 따라 프로브(111)의 중심이 기준점(12)의 중심에 정확하게 위치하지 않을 수 있다. 그리고, 경우에 따라서는 상기한 프로브(111)를 통해 실시간으로 획득된 제1 의료 영상에 기준점(12)에 대한 정보가 명확히 포함되지 않을 수 있다. 뿐만 아니라, 제2 의료 영상에 기준점(12)에 대한 정보가 명확히 포함되어 있지 않는 경우, 기준점(12)만으로 제1 의료 영상과 제2 의료 영상간의 변환 관계를 명확히 산출하는 것이 어려울 수 있다. 그리하여, 일 실시예에 따른 정합 장치(140)는 기준점 이외의 대상체내 다른 개체를 이용하여 상기한 변환 관계를 보완할 수 있다.
도 7은 일 실시예에 따른 변환 관계를 보완하는 방법을 설명하는 흐름도이다. 도 7를 참조하면, 제1 획득부(541)는 제1 의료 영상으로부터 제1 개체를 획득하고, 제1 개체에 대한 좌표 정보를 획득하다(S710). 그리고, 산출부(543)는 제1 개체의 좌표 정보를 변환 관계를 이용하여 제2 영상 좌표계의 좌표 정보로 변환시킨다(S720).
한편, 제2 획득부(542)는 제2 의료 영상으로부터 제2 개체를 획득하고, 제2 개체에 대한 좌표 정보를 획득한다(S730). 제1 및 제2 개체 각각은 제1 및 제2 의료 영상 각각에서 선명하게 표시되는 개체일 수 있다. 제1 및 제2 개체는 동일할 수도 있고, 다를 수 도 있다. 개체 획득 방법은 의료 영상에서 개체를 획득하는 일반적인 기술이 적용되는 바, 구체적인 설명은 생략한다. 또한, 제2 획득부(542)는 제2 의료 영상으로부터 사전에 제2 개체를 획득하여 저장해 놓을 수 있다. 그리하여, 제2 획득부(542)는 기저장된 제2 개체를 로딩할 수도 있다. S710과 S730은 그 순서가 바뀌어도 되고 동시에 진행되어도 무방하다.
그리고, 산출부(543)는 변환된 제1 개체와 제2 개체를 정렬시킴으로써 제1 의료 영상 좌표계와 제2 의료 영상 좌표계간의 변환 관계를 보완하여 최종적인 변환 관계(Tf)를 획득할 수 있다(S740). 최종 변환 관계는 하기 수학식 2와 같이 산출할 수 있다.
[수학식 2]
Figure pat00004
여기서,
Figure pat00005
는 제1 의료 영상 좌표계에서 제1 개체의 좌표 정보이고,
Figure pat00006
는 제2 의료 영상 좌표계에서 제2 개체의 좌표 정보이며, T는 기준점을 이용하여 획득된 변환 관계, Ts는 변환된 제1 개체와 제2 개체를 이용하여 획득된 보완 관계이다.
한편, 제1 및 제2 개체가 동일한지 여부에 따라 제1 및 제2 개체의 정렬 방법이 다를 수 있다. 도 8은 일 실시예에 따른 제1 및 제2 개체를 정렬하는 방법을 설명하는 흐름도이다. 먼저, 산출부(543)는 제1 개체와 제2 개체가 동일한지 여부를 판단한다(S810). 산출부(543)는 제1 및 제2 개체의 크기, 반경 등을 고려하여 제1 및 제2 개체가 동일한지 여부를 판단할 수 있다. 또는 제2 개체는 미리 획득되어 저장되어 있을 수 있기 때문에 제2 획득부(542)는 상기한 제2 개체에 대한 정보를 로딩하고, 로딩된 정보로 제2 개체와 동일한 제1 개체를 획득할 수 있다. 이와 같은 경우, 산출부(543)는 제1 및 제2 개체가 동일하다고 판단할 수 있다. 또한, 제1 의료 영상과 제2 의료 영상은 서로 다른 개체가 선명하게 표시될 수 있기 때문에 정합 장치(140)에는 획득하고자 하는 제1 및 제2 개체에 대한 정보가 각각 저장되어 있을 수도 있다. 제1 및 제2 개체가 서로 다른 경우, 정합 장치(140)에는 제1 및 제2 개체에 대한 기하학적 배치 구조에 대한 정보가 기저장되어 있을 수 있다.
제1 및 제2 개체가 동일하면(S810-Y), 산출부(543)는 변환된 제1 개체와 제2 개체를 일치시킴으로써 변환된 제1 개체와 제2 개체를 정렬시킬 수 있다(S820).
또는 제1 및 제2 개체가 다르면(S810-N), 산출부(543)는 변환된 제1 개체와 제2 개체의 기하학적 배치 구조가 기저장된 기하학적 배치 구조와 일치되도록 제1 개체와 제2 개체를 정렬시킬 수 있다(S830). 상기와 같이, 기준점(12)을 일치시켜 제1 의료 영상과 제2 의료 영상간의 변환 관계를 산출하고, 다시 제1 및 제2 개체를 이용하여 변환 관계를 보완하기 때문에 단순히 제1 및 제2 개체를 정렬시키는 것보다 정합의 오류를 줄일 수 있다.
뿐만 아니라, 프로브(111)를 기준점(12) 위에 위치시키면서 프로브(111)의 축을 대상체의 축과 평행하게 위치시키면 제1 의료 영상과 제2 의료 영상간의 변환 관계를 산출하는 것이 보다 용이하다, 제2 의료 영상의 좌표축은 대상체의 축과 평행하기 때문에 기준점을 일치시키는 과정이 간소화될 수 있다.
지금까지 기준점은 제1 개체 또는 제2 개체와 다른 개체로 정의하여 설명하였으며, 기준점을 이용하여 변환 관계를 산출하고, 다른 개체를 이용하여 변환 관계를 보완한다고 설명하였다. 그러나, 이에 한정되지 않는다. 기준점이 제1 개체 또는 제2 개체가 될 수 있다. 그리하여, 프로브가 제1 개체 또는 제2 개체 위에 위치하면, 제1 및 제2 개체를 이용하여 변환 관계를 산출할 수도 있다.
그리고, 상기한 최종 변환 관계를 이용하여 제1 의료 영상의 단면 영상에 대응하는 제2 의료 영상의 단면 영상을 획득할 수 있다. 도 9는 일 실시예에 따른 제1 의료 영상의 단면 영상에 대응하는 제2 의료 영상의 단면 영상을 획득하는 방법을 설명하는 흐름도이다. 도 9를 참조하면, 제1 의료 장치(110)는 프로브(111)를 통해 제1 의료 영상의 단면 영상을 실시간으로 획득할 수 있다(S910). 제1 의료 장치(110)가 초음파 영상 장치인 경우, 제1 의료 장치(110)는 프로브(111)(probe)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성할 수 있다. 그리고, 획득된 제1 의료 영상은 정합 장치(140)에 인가된다.
한편, 검출 장치(130)는 프로브(111)의 움직임을 검출할 수 있다(S920). 프로브(111)가 움직임으로써 대상체에 조사되는 초음파의 위치 및 방향이 달라질 수 있고, 제1 의료 영상의 뷰도 달라질 수 있다. 프로브(111)의 위치 및 방향을 나타내는 정보와 제1 의료 영상의 뷰는 일대일 대응되기 때문에 프로브(111)의 움직임을 검출하면 제1 의료 영상의 뷰도 예측할 수 있다. 제1 의료 영상의 획득과 프로브(111)의 움직임 검출은 동시에 수행될 수 있으나, 설명의 편의를 도모하기 위해 제1 의료 영상의 획득을 먼저 설명하였을 뿐이다.
정합 장치(140)는 프로브(111)의 움직임에 대응하는 제2 의료 영상의 단면 영상을 제2 의료 영상으로부터 획득할 수 있다(S930). 제2 의료 영상은 기촬영된 영상일 수 있다. 그리고, 제2 의료 영상은 제1 의료 영상에 비해 장기와 병변의 형상이 선명할 수 있다. 제2 의료 영상은 제2 의료 장치(120)로부터 수신할 수도 있고, 저장된 영상일 수도 있다. 예를 들어, 제2 의료 영상은 CT 영상 또는 MR 영상일 수 있다. 구체적으로, 프로브(111)의 이동 및 회전 중 적어도 하나에 따라 프로브(111)의 위치 및 방향 중 적어도 하나가 변경되면 검출 장치(130)는 프로브(111)를 재검출하고, 재검출된 프로브(111)의 위치 및 방향 정보를 정합 장치(140)에 인가할 수 있다. 프로브(111)의 위치 및 방향 정보는 제1 의료 영상의 단면 영상에 대한 좌표 정보와 일대일 대응되기 때문에, 산출부(543)는 최종 변환 관계(Tf)를 이용하여 하기 수학식 2와 같이, 재검출된 제1 의료 영상의 단면 영상에 대한 좌표 정보(
Figure pat00007
)를 제2 의료 영상 좌표계에서의 좌표 정보(
Figure pat00008
)로 변환시킬 수 있다.
[수학식 2]
그리고, 제3 획득부(544)는 제2 의료 영상으로부터 변환된 좌표 정보를 갖는 단면 영상을 획득할 수 있다. 상기한 제1 의료 영상의 단면 영상과 그에 대응하는 제2 의료 영상의 단면 영상은 대상체에 대한 동일한 뷰일 수 있다. 제1 의료 영상의 단면 영상과 그에 대응하는 제2 의료 영상의 단면 영상은 사용자 인터페이스(530) 또는 표시 장치(150)를 통해 외부로 함께 표시될 수 있다. 제1 의료 영상의 단면 영상과 그에 대응하는 제2 의료 영상의 단면 영상은 하나의 화면에 영역을 달리하여 표시될 수도 있고, 하나의 영역에 중첩되어 표시될 수도 있다.
상기와 같이 기준점을 이용하여 제1 의료 영상의 좌표계와 제2 의료 영상의 좌표계간의 변환 관계를 산출하기 때문에 임의의 초기 위치에서 모달리티가 다른 복수 개의 영상을 정합하는 것보다 정합 처리가 간소화될 수 있고, 영상 정합의 오류를 줄일 수 있다. 또한, 다른 개체를 이용하여 변환 관계를 보완할 수 있기 때문에 변환 관계를 보다 정확하게 획득할 수 있다.
한편, 상술한 의료 영상들의 정합 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 의료 영상 시스템 110: 제1 의료 장치
111: 프로브 120: 제2 의료 장치
130: 검출 장치 140: 정합 장치
150: 표시 장치 310: 통신부
320: 저장부 330: 사용자 인터페이스
540: 프로세서 541: 제1 획득부
542: 제2 획득부 543: 산출부
544: 제3 산출부 550: 제어부

Claims (20)

  1. 프로브가 대상체의 기준점 위에 위치하면, 상기 프로브를 통해 획득된 제1 의료 영상 및 상기 제1 의료 영상과 모달리티가 다른 제2 의료 영상을 정합시킬 수 있는 변환 관계를 상기 기준점을 이용하여 산출하는 단계; 및
    상기 변환 관계를 이용하여 상기 제2 의료 영상으로부터 상기 제1 의료 영상의 단면 영상에 대응하는 상기 제2 의료 영상의 단면 영상을 획득하는 단계;를 포함하는 의료 영상 정합 방법.
  2. 제 1항에 있어서,
    상기 기준점은
    상기 대상체 중 시간에 따라 변형되지 않는 개체인 의료 영상 정합 방법.
  3. 제 2항에 있어서,
    상기 개체는,
    뼈인 의료 영상 정합 방법.
  4. 제 1항에 있어서,
    상기 변환 관계를 산출하는 단계는,
    상기 기준점을 이용하여 상기 제1 의료 영상의 좌표계와 상기 제2 의료 영상의 좌표계간의 변환 관계를 산출하는 단계;를 포함하는 의료 영상 정합 방법.
  5. 제 4항에 있어서,
    상기 제1 의료 영상에 포함된 제1 개체와 상기 제2 의료 영상에 포함된 제2 개체를 정렬시킴으로써 상기 변환 관계를 보완하는 단계;를 더 포함하는 의료 영상 정합 방법.
  6. 제 5항에 있어서,
    상기 정렬은,
    상기 제1 개체와 상기 제2 개체가 동일한 경우, 상기 제1 개체와 상기 제2 개체를 일치시키는 의료 영상 정합 방법.
  7. 제 5항에 있어서,
    상기 정렬은
    상기 제1 개체와 상기 제2 개체가 다른 경우, 상기 제1 개체와 상기 제2 개체간의 기하학적 배치 구조를 기저장된 기하학적 배치 구조와 일치시키는 의료 영상 정합 방법.
  8. 제 1항에 있어서,
    상기 프로브가 대상체의 기준점 위에 위치할 때, 상기 프로브의 축은 상기 대상체의 축과 평행하게 배치되는 의료 영상 정합 방법.
  9. 제 8항에 있어서,
    상기 대상체의 축은 상기 제2 의료 영상의 좌표축과 평행한 의료 영상 정합 방법.
  10. 제 1항에 있어서,
    상기 제2 의료 영상의 단면 영상을 획득하는 단계는,
    상기 제1 의료 영상의 단면 영상에 대한 좌표 정보를 획득하는 단계;
    상기 변환 관계를 이용하여 상기 좌표 정보를 상기 제2 의료 영상에서의 좌표 정보로 변환하는 단계; 및
    상기 변환된 좌표 정보를 갖는 제2 의료 영상의 단면 영상을 상기 제2 의료 영상으로부터 획득하는 단계;를 포함하는 의료 영상 정합 방법.
  11. 제 1항에 있어서,
    상기 제1 의료 영상의 단면 영상에 대한 좌표 정보는 상기 프로브의 위치 및 방향 정보와 대응되는 의료 영상 정합 방법.
  12. 제 1항에 있어서,
    상기 제1 의료 영상은 실시간으로 촬영된 영상이고,
    상기 제2 의료 영상은 기촬영된 영상인 의료 영상 정합 방법.
  13. 제 1항에 있어서,
    상기 제1 의료 영상은 초음파 영상 및 OCT 영상 중 어느 하나이고,
    상기 제2 의료 영상은 MR, CT, PET, SPECT, 및 X-ray 영상 중 어느 하나인 의료 영상 정합 방법.
  14. 제 1항에 있어서,
    상기 제2 의료 영상의 단면 영상을 상기 제1 의료 영상의 단면 영상과 함께 표시하는 단계;를 더 포함하는 의료 영상 정합 방법.
  15. 제 1항 내지 제 13항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  16. 제1 의료 영상을 획득하는 프로브의 위치 및 방향 정보 중 적어도 하나를 수신하는 인터페이스; 및
    상기 프로브가 대상체의 기준점 위에 위치하면, 제1 의료 영상 및 상기 제1 의료 영상과 모달리티가 다른 제2 의료 영상을 정합시킬 수 있는 변환 관계를 상기 기준점을 이용하여 산출하는 프로세서;를 포함하는 의료 영상 장치.
  17. 제 16항에 있어서,
    상기 기준점은
    상기 대상체 중 시간에 따라 변형되지 않는 개체인 의료 영상 장치.
  18. 제 16항에 있어서
    상기 변환 관계는,
    상기 제1 의료 영상에 포함된 제1 개체와 상기 제2 의료 영상에 포함된 제2 개체를 정렬시킴으로써 보완되는 의료 영상 장치.
  19. 제 16항에 있어서,
    상기 프로브가 대상체의 기준점 위에 위치할 때, 상기 프로브의 축은 상기 대상체의 축과 평행하게 배치되는 의료 영상 장치.
  20. 제 16항에 있어서,
    프로브의 위치 및 방향 정보 중 적어도 하나를 검출하는 검출기;를 더 포함하는 의료 영상 장치.
KR1020140074506A 2014-06-18 2014-06-18 의료 영상 정합 방법 및 그 장치 KR102273020B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140074506A KR102273020B1 (ko) 2014-06-18 2014-06-18 의료 영상 정합 방법 및 그 장치
US14/736,914 US9842379B2 (en) 2014-06-18 2015-06-11 Method and apparatus for registering medical images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140074506A KR102273020B1 (ko) 2014-06-18 2014-06-18 의료 영상 정합 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20150145106A true KR20150145106A (ko) 2015-12-29
KR102273020B1 KR102273020B1 (ko) 2021-07-05

Family

ID=54870098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140074506A KR102273020B1 (ko) 2014-06-18 2014-06-18 의료 영상 정합 방법 및 그 장치

Country Status (2)

Country Link
US (1) US9842379B2 (ko)
KR (1) KR102273020B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170084435A (ko) * 2016-01-12 2017-07-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
KR102084598B1 (ko) * 2019-08-16 2020-03-05 주식회사 딥노이드 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
US10966688B2 (en) * 2014-08-26 2021-04-06 Rational Surgical Solutions, Llc Image registration for CT or MR imagery and ultrasound imagery using mobile device
US9934570B2 (en) 2015-10-09 2018-04-03 Insightec, Ltd. Systems and methods for registering images obtained using various imaging modalities and verifying image registration
US11547488B2 (en) * 2016-07-05 2023-01-10 7D Surgical Ulc Systems and methods for performing intraoperative image registration
US11712304B2 (en) * 2017-06-23 2023-08-01 7D Surgical ULC. Systems and methods for performing intraoperative surface-based registration and navigation
CN116703994B (zh) * 2023-07-31 2023-10-24 柏意慧心(杭州)网络科技有限公司 医学图像配准的方法、计算设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003144412A (ja) * 2001-11-14 2003-05-20 Ge Medical Systems Global Technology Co Llc 画像診断支援システムおよび画像処理方法
JP2010515472A (ja) * 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
JP2010131269A (ja) * 2008-12-05 2010-06-17 Canon Inc 情報処理装置および情報処理方法
KR20110013036A (ko) * 2009-07-31 2011-02-09 주식회사 메디슨 센서의 교정을 수행하는 초음파 시스템 및 방법
US8355775B2 (en) * 2004-06-03 2013-01-15 Hitachi Medical Corporation Image diagnosing support method and image diagnosing support apparatus
US20150070469A1 (en) * 2013-09-06 2015-03-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9131922B2 (en) * 2013-01-29 2015-09-15 Eigen, Inc. Calibration for 3D reconstruction of medical images from a sequence of 2D images
US9351709B2 (en) * 2013-08-23 2016-05-31 General Electric Company Image processing method and apparatus and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006296464A (ja) 2005-04-15 2006-11-02 Toshiba Corp 超音波診断装置
KR20080053057A (ko) 2006-12-08 2008-06-12 주식회사 메디슨 초음파 영상과 외부 의료영상의 혼합영상을 형성 및디스플레이하기 위한 초음파 영상 시스템 및 방법
US8320711B2 (en) 2007-12-05 2012-11-27 Biosense Webster, Inc. Anatomical modeling from a 3-D image and a surface mapping
US8111892B2 (en) 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
KR101121353B1 (ko) 2009-08-03 2012-03-09 한국과학기술원 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
US9563959B2 (en) * 2010-12-09 2017-02-07 Samsung Electronics Co., Ltd. Image processor, lighting processor and method therefor
US8607193B2 (en) * 2012-01-16 2013-12-10 International Business Machines Corporation Tracking stale comments in source code listings

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003144412A (ja) * 2001-11-14 2003-05-20 Ge Medical Systems Global Technology Co Llc 画像診断支援システムおよび画像処理方法
US8355775B2 (en) * 2004-06-03 2013-01-15 Hitachi Medical Corporation Image diagnosing support method and image diagnosing support apparatus
JP2010515472A (ja) * 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
JP2010131269A (ja) * 2008-12-05 2010-06-17 Canon Inc 情報処理装置および情報処理方法
US20100239150A1 (en) * 2008-12-05 2010-09-23 Canon Kabushiki Kaisha Information processing apparatus for registrating medical images, information processing method and program
KR20110013036A (ko) * 2009-07-31 2011-02-09 주식회사 메디슨 센서의 교정을 수행하는 초음파 시스템 및 방법
US9131922B2 (en) * 2013-01-29 2015-09-15 Eigen, Inc. Calibration for 3D reconstruction of medical images from a sequence of 2D images
US9351709B2 (en) * 2013-08-23 2016-05-31 General Electric Company Image processing method and apparatus and program
US20150070469A1 (en) * 2013-09-06 2015-03-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170084435A (ko) * 2016-01-12 2017-07-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
KR102084598B1 (ko) * 2019-08-16 2020-03-05 주식회사 딥노이드 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템

Also Published As

Publication number Publication date
KR102273020B1 (ko) 2021-07-05
US20150371361A1 (en) 2015-12-24
US9842379B2 (en) 2017-12-12

Similar Documents

Publication Publication Date Title
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
US20190272632A1 (en) Method and a system for registering a 3d pre acquired image coordinates system with a medical positioning system coordinate system and with a 2d image coordinate system
US10542955B2 (en) Method and apparatus for medical image registration
US8126239B2 (en) Registering 2D and 3D data using 3D ultrasound data
KR102369652B1 (ko) 의료영상 장치, 영상 처리 장치 및 영상 융합 방법
JP6182045B2 (ja) 画像処理装置およびその方法
KR20140096919A (ko) 의료 영상 정합 방법 및 장치
JP2018520746A (ja) ３ｄ超音波画像化とこれに関連する方法、装置、及びシステム
KR102233966B1 (ko) 의료 영상 정합 방법 및 그 장치
KR20150118484A (ko) 의료 영상 정합 방법 및 장치
JP2014530348A (ja) 元の放射線画像を更新するための放射線画像システム及び方法
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
KR20140127635A (ko) 영상 정합 방법 및 장치
US9521980B2 (en) Method for registering medical images, apparatus performing the method, and computer readable media including the method
US10076311B2 (en) Method and apparatus for registering medical images
JP2018134197A (ja) 医用手技ナビゲーションシステムおよび方法
KR20160041803A (ko) 영상 처리 장치, 영상 처리 장치 제어 방법 및 의료 영상 장치
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
JP6461257B2 (ja) 画像処理装置およびその方法
KR102336446B1 (ko) 의료 영상 정합 방법 및 그 장치
US20220284602A1 (en) Systems and methods for enhancement of 3d imagery and navigation via integration of patient motion data
WO2022192837A1 (en) Systems and methods for enhancement of 3d imagery and navigation via integration of patient motion data
TW202110404A (zh) 超音波影像系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant