KR20160041803A

KR20160041803A - 영상 처리 장치, 영상 처리 장치 제어 방법 및 의료 영상 장치

Info

Publication number: KR20160041803A
Application number: KR1020150140526A
Authority: KR
Inventors: 류지원; 방원철; 오영택; 이경준; 이민우; 장정우; 정자연; 신동국; 최성진
Original assignee: 삼성전자주식회사
Priority date: 2014-10-08
Filing date: 2015-10-06
Publication date: 2016-04-18
Also published as: KR102530170B1

Abstract

모달리티가 상이한 의료 영상들을 정합하는 영상 처리 장치 및 그 제어 방법에 대한 발명으로, 기준 위치를 미리 지정하고, 대상체의 미리 지정된 단면 영상을 이용하며 대응되는 위치를 추출한 뒤 영상 정합을 하는 것으로, 복수개의 의료 영상 중 하나가 단면 영상인 경우에 3차원 볼륨 영상을 획득할 필요가 없으며, 3차원 볼륨 영상에서도 단면을 이용하여 빠르고 편리한 자동 정합을 하는 기술이다.
일 실시예에 따른 영상 처리 장치는, 제 1의료 장치 및 제 2의료 장치로부터 각각 대상체의 제 1의료 영상 및 상기 제 1의료 영상과 모달리티가 다른 제 2의료 영상을 수신하는 통신부, 상기 제 2의료 영상으로부터 미리 지정된 단면 영상을 추출하고, 상기 추출된 단면 영상에서 상기 대상체의 기준 위치에 대응되는 위치를 추출하여 상기 추출된 단면 영상에 대응되는 제 1의료 영상과 상기 제 2의료 영상을 정합하는 영상 처리부를 포함한다.

Description

영상 처리 장치, 영상 처리 장치 제어 방법 및 의료 영상 장치{IMAGE PROCESSING APPARATUS AND CONTROL METHOD FOR THE SAME, AND MEDICAL IMAGE APPARATUS}

영상 처리 장치, 영상 처리 장치 제어 방법 및 의료 영상 장치에 대한 발명으로, 모달리티(modality)가 상이한 의료 영상들을 정합하는 장치 및 방법에 관한 것이다.

최근 의료기술의 발달로 인해 높은 해상도의 의료 영상을 얻을 수 있다. 의료 기구의 미세한 조작이 가능해 짐에 따라서, 시술 부위를 노출시키기 위한 절개를 하지 않고도 피부에 작은 구멍을 만든 뒤 혈관 혹은 기타 원하는 신체 부위에 직접 카테터나 의료용 바늘을 넣고 의학 영상 장비로 몸속을 관찰하면서 치료하는 방법이 개발되고 있다. 이를 "영상을 이용하는 시술법", "중재적(Interventional; 인터벤션) 영상 시술법" 이라고 부른다.

시술자는 장기나 병변의 위치를 영상을 통해 파악한다. 게다가 시술을 하는 동안 환자는 호흡을 하거나 움직이게 되는데 이에 따른 변화를 파악해야 한다. 따라서 시술자는 실시간 영상을 토대로 호흡이나 움직임을 정확하고 빠르게 파악하여 시술을 시행해야 하는데, 이 때 초음파 실시간 영상에서 장기와 병변의 형상을 육안으로 파악하기 쉽지 않다.

모달리티가 상이한 복수 개의 의료 영상을 정합하는 장치 및 방법으로써, 3차원 볼륨 영상에서도 단면을 이용하여 빠르고 편리한 자동 정합을 하는 것을 목적으로 한다.

상술한 목적을 달성하기 위한 일 실시 예에 따른 영상 처리 장치는,

제 1의료 장치 및 제 2의료 장치로부터 각각 대상체의 제 1의료 영상 및 상기 제 1의료 영상과 모달리티가 다른 제 2의료 영상을 수신하는 통신부, 상기 제 2의료 영상으로부터 미리 지정된 단면 영상을 추출하고, 상기 추출된 단면 영상에서 상기 대상체의 기준 위치에 대응되는 위치를 추출하여 상기 추출된 단면 영상에 대응되는 제 1의료 영상과 상기 제 2의료 영상을 정합하는 영상 처리부를 포함한다.

또한, 제 1의료 영상은, 초음파 영상, OCT 영상, CT 영상, MR 영상, 엑스선(X-ray) 영상, SPECT 영상, PET 영상, C-arm 영상 중 어느 하나이고, 제 2의료 영상은, OCT 영상, CT 영상, MR 영상, SPECT 영상, PET 영상, C-arm 영상 중 상기 제 1의료 영상과 상이한 어느 하나의 영상인 것을 포함할 수 있다.

또한, 기준 위치는, 상기 대상체에 위치한 네비게이터의 기준 위치인 것을 포함할 수 있다.

또한, 상기 네비게이터는, 초음파 프로브, 광학 추정기(optical tracker) 또는 위치 설정이 가능한 센서가 장착된 시술도구 중 어느 하나를 포함할 수 있다.

또한, 영상 처리부는, 상기 추출된 단면 영상에서 나타나는 해부학적 개체들을 영상 처리 하여 상기 네비게이터의 기준 위치에 대응되는 위치를 추출하는 것을 포함할 수 있다.

또한, 영상 처리부는, 상기 대응되는 위치를 이용하여 피부 표면에서 교차되는 위치를 추출하는 것을 포함할 수 있다.

또한, 교차되는 위치는, 상기 대응되는 위치로부터 상기 네비게이터가 위치하는 축 방향의 교차 지점을 포함할 수 있다.

또한, 영상 처리부는, 상기 추출된 단면 영상에서 상기 네비게이터의 기준 위치에 대응되는 위치 데이터를 제공하는 것을 포함할 수 있다.

또한, 영상 처리부는, 상기 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치를, 제 1의료 영상 및 제 2의료 영상으로부터 추가적으로 추출하는 것을 포함할 수 있다.

또한, 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치는, 상기 제 2의료 영상으로부터 추출된 단면 영상에 포함된 위치인 것을 포함할 수 있다.

또한, 영상 처리부는, 상기 서로 대응되는 해부학적 위치가 추출되지 않은 경우에는, 서로 대응되는 해부학적 위치 데이터를 제공하는 것을 포함할 수 있다.

또한, 상기 대상체의 기준 위치와 상기 피부 표면에서 교차되는 위치를 이용하여 정합된 영상을 표시하는 디스플레이부를 더 포함할 수 있다.

또한, 상술한 목적을 달성하기 위한 일 실시 예에 따른 영상 처리 장치 제어 방법은,

제 1의료 장치 및 제 2의료 장치로부터 각각 대상체의 제 1의료 영상 및 상기 제 1의료 영상과 모달리티가 다른 제 2의료 영상을 수신하는 단계, 상기 제 2의료 영상으로부터 미리 지정된 단면 영상을 추출하고, 상기 추출된 단면 영상에서 상기 대상체의 기준 위치에 대응되는 위치를 추출하는 단계, 상기 추출된 단면 영상에 대응되는 제 1의료 영상과 상기 제 2의료 영상을 정합하는 단계를 포함한다.

또한, 대응되는 위치를 추출하는 단계는, 상기 추출된 단면 영상에서 나타나는 해부학적 개체들을 영상 처리 하여 상기 네비게이터의 기준 위치에 대응되는 위치를 추출하는 것을 포함할 수 있다.

또한, 대응되는 위치를 이용하여 피부 표면에서 교차되는 위치를 추출하는 단계를 포함할 수 있다.

또한, 교차되는 위치는, 상기 대응되는 위치로부터 상기 네비게이터가 위치하는 축 방향의 교차 지점인 것을 포함할 수 있다.

또한, 상기 추출된 단면 영상에서 상기 네비게이터의 기준 위치에 대응되는 위치 데이터를 제공하는 단계를 포함할 수 있다.

또한, 서로 대응되는 해부학적 위치가 추출되지 않은 경우에는, 서로 대응되는 해부학적 위치 데이터를 제공하는 것을 포함할 수 있다.

또한, 상술한 목적을 달성하기 위한 일 실시 예에 따른 의료 영상 장치는,

대상체의 제 1의료 영상을 획득하는 프로브, 상기 대상체에 위치한 프로브의 기준 위치를 검출하는 센서, 상기 제 1의료 영상과 모달리티가 다른 제 2의료 영상으로부터 미리 지정된 단면 영상을 추출하고, 상기 추출된 단면 영상에서 상기 대상체의 기준 위치에 대응되는 위치를 추출하여 상기 추출된 단면 영상에 대응되는 제 1의료 영상과 상기 제 2의료 영상을 정합하는 영상 처리부를 포함한다.

또한, 센서는, 상기 대상체의 특정 위치 및 방향에 위치한 프로브의 좌표 정보를 검출하는 것을 포함할 수 있다.

또한, 특정 위치 및 방향은, 상기 프로브의 축이 상기 대상체의 축과 평행하고 상기 프로브가 상기 대상체의 기준점 위에 위치할 때의 상기 프로브의 위치 및 방향인 것을 포함할 수 있다.

복수개의 의료 영상 중 하나가 단면 영상인 경우에 3차원 볼륨 영상을 획득할 필요가 없으며, 3차원 볼륨 영상에서도 단면을 이용하여 빠르고 편리한 자동 정합이 가능하여, 사용자의 편의성 증가 및 소요시간 감소의 효과를 볼 수 있다.

도 1은 일 실시예에 따른 의료 영상 처리 시스템을 도시한 도면이다.
도 2는 일 실시예에 따라 대상체에 초음파 프로브를 위치시켜서 제 1의료 영상의 기준 위치를 검출하는 것을 도시한 도면이다.
도 3은 영상 처리 장치의 구성을 나타내는 제어 블록도이다.
도 4는 일 실시예에 따른 영상 처리 방법을 도시한 순서도이다.
도 5는 단면 영상 추출부가 명치부분을 포함하는 단면을 추출하기 위하여 인체의 해부학적 중심을 기준면으로 하는 것을 도시한 것이다.
도 6은 단면 영상 추출부에 의하여 제 2의료 영상에서 미리 지정된 단면 영상이 추출된 것을 나타내는 도면이다.
도 7은 일 실시예에 따라 추출된 단면 영상으로부터 세그멘테이션이 수행된 것을 도시하는 도면이다.
도 8은 일 실시예에 따라 세그멘테이션된 해부학적 개체인 간에 대해서, 대상체에 위치한 프로브의 기준 위치와 대응되는 위치를 제 2의료 영상으로부터 추출하기 위한 좌표축을 가정하여 나타낸 것이다.
도 9는 피부 표면 에서의 교차 위치를 추출하는 것을 개략적으로 도시한 도면이다.
도 10은 대상체가 간인 경우에 제 1의료 영상과 제 2의료 영상을 정합하여 나란하게 배치한 영상이다.
도 11은 일 실시예에 따라서 프로브의 기준 위치에 대응되는 위치 데이터를 제공하는 영상 처리 방법을 도시한 순서도이다.
도 12는 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 추가적으로 자동 추출 하고, 자동 추출이 실패하는 경우 수동 추출 하는 영상 처리 방법을 도시한 순서도이다.
도 13은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 추가적으로 자동 추출 하고, 자동 추출이 실패하는 경우 해부학적 위치 데이터를 제공 하는 영상 처리 방법을 도시한 순서도이다.
도 14는 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 수동 추출 및 제 2의료 영상에서 자동 추출하고, 제 2의료 영상에서 자동 추출이 실패하는 경우 수동 추출 하는 영상 처리 방법을 도시한 순서도이다.
도 15는 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 수동 추출 및 제 2의료 영상에서 자동 추출하고, 제 2의료 영상에서 자동 추출이 실패하는 경우 해부학적 위치 데이터를 제공 하는 영상 처리 방법을 도시한 순서도이다.
도 16 은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 자동 추출 및 제 2의료 영상에서 수동 추출하고, 제 1의료 영상에서 자동 추출이 실패하는 경우 수동 추출 하는 영상 처리 방법을 도시한 순서도이다.
도 17은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 자동 추출 및 제 2의료 영상에서 수동 추출하고, 제 1의료 영상에서 자동 추출이 실패하는 경우 해부학적 위치 데이터를 제공 하는 영상 처리 방법을 도시한 순서도이다.
도 18은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 추가적으로 수동 추출하는 영상 처리 방법을 도시한 순서도이다.
도 19 는 일 실시예에 따른 영상 처리부가 마련된 의료 영상 장치를 도시한 사시도이다.
도 20은 의료 영상 장치의 일 실시예에 따른 제어 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도 면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

본 명세서에 기재된 실시 예와 도면에 도시된 구성은 개시된 발명의 바람 직한 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형 예들이 있음을 이해하여야 한다.

이하 첨부된 도면을 참조하여 초음파 영상 장치 및 그 제어 방법을 후술된 실시예들에 따라 상세하게 설명하도록 한다. 도면에서 동일한 도면 부호는 동일한 구성요소를 나타내며, 이에 대한 중복되는 설명은 생략하기로 한다.

본 명세서에서 "대상체"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다. 또한, 본 명세서에서 "사용자"는 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.

또한,이하 설명하는 기준 위치는 기준점을 포함할 수 있고, 대응 위치는 대응점을 포함할 수 있으며, 교차 위치는 교차점을 포함할 수 있다.

모달리티가 상이한 이종 영상 정합의 필요성을 예로 들어 설명하면, 초음파 영상의 경우에는 실시간성을 가지나 장기와 병변을 명확히 식별 하는데 어려움이 있고, 이와 대조적으로, MR(Magnetic Resonance) 또는 CT 영상은 장기와 병변을 명확히 식별할 수 있지만, 의료 시술 중 실시간으로 영상이 획득될 수 없기 때문에, 의료 시술 중 발생되는 환자의 호흡과 움직임이 반영되지 않는 단점이 있다. 또한, 초음파 영상의 경우에는 간이나 폐와 같은 연한 조직(soft tissues)에 대한 인지율이 뼈와 같은 강한 조직(hard tissues)에 비해 높으나, CT 영상의 경우에는 강한 조직에 대한 인지율이 연한 조직에 비하여 높다.

그리하여, 모달리티가 다른 영상을 정합하여 각 영상들의 장점을 살릴 수 있는 필요성이 있다. 모달리티가 다른 복수 개의 영상을 정합할 때, 영상의 화질에 따라 정합이 어려운 경우가 있는 바, 이러한 문제점을 해결하기 위한 정합 방법이 논의 되었다.

도 1은 일 실시예에 따른 의료 영상 처리 시스템을 도시한 도면이다.

도 1을 참조하면 영상 처리 시스템(100)은 제1의료 장치(110), 제2의료 장치(120), 검출 장치(130), 영상 처리 장치(140) 및 디스플레이부(150)를 포함한다.

일 실시예에 따르면, 제1 의료 장치(110)는 환자에 대한 중재적 의료 시술 과정에서 영상을 생성하는 장치일 수 있다. 제1 의료 장치(110)는 초음파 영상 장치 또는 OCT(optical coherence tomography) 등의 의료 장치일 수 있으며 또한, CT(computed tomography) 영상 장치, MR(magnetic resonance) 영상 장치, 엑스선(X-ray) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치, C-arm 영상장치 중 어느 하나일 수 있다. 단 개시된 발명의 제 1의료 장치의 실시예가 상기 예로 든 의료 장치들 중 어느 하나에 한정되는 것은 아니다.제2 의료 장치(120)는 OCT(optical coherence tomography), CT(computed tomography) 영상 장치, MR(magnetic resonance) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치, C-arm 영상장치 중 어느 하나일 수 있다.

제1의료 장치(110)와 제2의료 장치(120)는 각각 제1의료 영상과 제2의료 영상을 생성하여 영상 처리 장치(140)에 제공한다. 제1의료 영상과 제2의료 영상은 상이한 모달리티(modality)를 갖는다. 모달리티는 제 1의료 영상과 제 2의료 영상이 서로 다른 유형에 해당하는 것을 의미한다. 즉, 제1 의료 영상과 제2 의료 영상은 생성 방식 및 원리가 상이할 수 있다. 영상 처리 장치(140)는 제1 의료 영상과 제2 의료 영상을 각각 획득하고, 상이한 모달리티를 갖는 제1 의료 영상과 제2 의료 영상을 정합한다. 영상 처리 장치(140)가 정합한 영상은 디스플레이부(150)를 통해 표시될 수 있다.

이하, 제 1의료 장치(110)가 초음파 영상 장치인 경우를 예로 들어 설명하나 제 1의료 장치(110)는 초음파 영상 장치에 국한되지 않는다. 제 1의료 장치(110)가 MR 영상 장치, CT 영상 장치 등 초음파 영상 장치 이외의 장치인 경우에는 대상체의 기준 위치를 설정하고 위치 정보를 산출하는 역할을 초음파 프로브 대신에 광학 추정기(optical tracker)와 같이 위치에 대한 네비게이션이 가능한 센서가 달린 시술도구가 대신할 수 있다.

제1 의료 장치(110)가 초음파 영상 장치인 경우,대상체의 관심 볼륨에 대하여 실시간으로 제1 의료 영상을 제공할 수 있다. 예를 들어, 대상체의 신체 활동에 따른 장기의 변형과 변위가 발생되면, 실시간으로 제1 의료 영상에 변화가 나타난다. 다만, 제1 의료 영상은 모든 장기와 병변이 명확히 관찰될 수 없는 경우가 있고, 장기의 변형과 변위를 제1 의료 영상만으로 파악하는데 어려움이 있다. 따라서 제 1의료 영상과 상이한 모달리티를 가지는 CT 영상 또는 MR 영상 등의 2 의료 영상과의 정합을 통하여 장기의 위치나 병변의 위치가 명확하게 구별되도록 할 수 있다.

제1 의료 장치(110)는 초음파 프로브(probe)(111)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성한다. 프로브(111)는 일반적으로 압전 변환기(piezoelectric transducer)를 포함할 수 있다. 그러나, 이에 한정되지 않는다. 프로브(111)는 정전 용량의 변화로 초음파와 전기적 신호를 상호 변환시키는 정전 용량형 초음파 변환기(capacitive micromachined ultrasonic transducer, cMUT), 자기장의 변화로 초음파와 전기적 신호를 상호 변환시키는 자기형 초음파 변환기(magnetic micromachined ultrasonic transducer, mMUT), 광학적 특성의 변화로 초음파와 전기적 신호를 상호 변환시키는 광학형 초음파 검출기(Optical ultrasonic detection) 등을 포함할 수도 있다.

프로브(111)로부터 수 내지 수백 MHz 범위의 초음파가 환자 신체 내부의 특정 부위에 전달되면, 이 초음파는 여러 다른 조직들(tissues) 사이의 계층들로부터 부분적으로 반사된다. 초음파는 신체 내부에서의 밀도 변화가 있는 개체들, 예를 들어, 혈장(blood plasma) 내의 혈구들(blood cells), 장기들(organs) 내의 작은 조직들(structures) 등에서 반사된다.

이와 같이 반사된 초음파들은 프로브(111)의 변환기를 진동시키고, 변환기는 이 진동들에 따른 전기적 펄스들(electrical pulses)을 출력한다. 이와 같은 전기적 펄스들이 영상으로 변환된다. 개체들이 서로 상이한 초음파 반사 특성을 갖는 경우, B 모드의 초음파 영상에서는 각 개체들이 서로 상이한 밝기 값으로 나타날 수 있다. 제2 의료 장치(120)는 대상체의 관심 볼륨(VOI: Volume of Interest)에 대한 제2 의료 영상을 생성할 수 있고, 제2 의료 영상은 의료 시술 이전에 미리 촬영되는 것일 수 있다.

상술한 바와 같이, 제2 의료 장치(120)는 OCT(optical coherence tomography), CT(computed tomography) 영상 장치, MR(magnetic resonance) 영상 장치, SPECT(single photon emission computed tomography) 영상장치, PET(positron emission tomography) 영상장치, C-arm 영상장치 중 어느 하나일 수 있으며, 이하의 실시예에서는 설명의 편의를 위하여 제2 의료 영상이 MR 또는 CT 영상인 것을 가정하나, 이에 한정되지 않는다.

제2 의료 장치(120)에서 생성한 CT 영상 또는 MR 영상의 경우 장기의 위치나 병변의 위치가 명확하게 구별이 되는 장점이 있다. 하지만 CT(computed tomography)영상이나 MR(magnetic resonance)영상은 시술하는 동안 환자가 호흡을 하거나 뒤척일 때 장기가 변형되거나 위치가 변할 수 있는데, 이러한 환자의 움직임에 따른 장기의 변형과 변위를 영상에 실시간으로 반영할 수 없다.

제1 의료 장치(110) 또는 제2 의료 장치(120)가 촬영하는 의료 영상들은 2차원의 단면들일 수도 있고, 2차원의 단면들을 축척하여 생성된 3차원 영상일 수 있다. 예컨대, 제1 의료 장치(110)는 2차원 단면을 생성할 수도 있고, 프로브(111)를 핸드 스윕(Hand Sweep)하거나 와블링(Wabbling)함으로써, 또는 2D 어레이 방식의 프로브(111)를 통해서 3차원 영상을 생성할 수도 있다. 그리고, 제2 의료 장치(120)는 단면의 위치(location) 또는 방향(orientation)을 변화시키면서, 다수의 단면들을 촬영한다. 이와 같은 단면들이 축적되면 환자 신체의 특정 부위를 3차원적으로 나타내는 3차원 볼륨(volume)의 영상 데이터가 생성될 수 있다. 이와 같이 단면들을 축적하여 3차원 볼륨의 영상 데이터를 생성하는 방식을 MPR(Multiplanar reconstruction) 방식이라고 한다. 제2 의료 영상은 환자의 관심장기의 밝기를 향상시키기 위하여, 조영 증강된 영상일 수 있다. 이하에서는 설명의 편의를 도모하기 위해 제1 의료 영상은 2차원 영상이고, 제2 의료 영상은 3차원 영상인 것으로 가정한다.

검출 장치(130)는 제 1의료 영상으로 나타날 수 있는 대상체의 기준 위치를 검출할 수 있다. 예를 들어, 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하여 프로브(111)의 움직임을 검출할 수 있으며, 기준 위치는, 대상체에 설정하는 위치이다. 예를 들어, 대상체의 명치 부분을 스캔하고자 하는 경우에는 명치를 스캔할 수 있는 위치를 대상체의 기준 위치로 설정할 수 있다. 검출 장치(130)는 자기장 발생기(131)와 자기장의 변화를 감지하는 센서(132)를 포함할 수 있다. 자기장 발생기(131)는 제1 의료 장치(110)의 특정 위치에 고정될 수 있고, 센서(132)는 프로브(111)상에 배치될 수 있다. 그리하여, 검출 장치(130)는 센서(132)에 대한 자기장 발생기(131)의 상대적인 위치 관계로부터 프로브(111)의 위치 및 방향 중 적어도 하나를 검출할 수 있다. 이외에도 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출하기 위한 광 센서, 가속도계 센서, 기울기 센서 등을 포함할 수 있다. 검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 하나를 검출 장치(130)의 좌표계에서의 좌표 정보로 산출할 수 있다.

영상 처리 장치(140)는 제1 의료 장치(110)로부터 획득한 제1 의료 영상과 제2 의료 장치(120)로부터 획득한 제2 의료 영상으로부터 추출한 단면 영상을 정합(registration)한다. 의료 영상들의 정합은 검출 장치(130)의 좌표계와 제2 의료 영상의 좌표계를 서로 대응시키는 과정을 포함할 수 있다. 프로브(111)의 움직임과 제1 의료 영상의 뷰는 일대일 대응된다. 그리고, 사용자는 제1 의료 영상을 제어하는 것보다 프로브(111)의 움직임을 제어하는 것이 용이하다. 그리하여 일 실시예에 따른 시스템은 대상체에 위치시키는 프로브(111)의 기준 위치를 검출하고, 프로브(111)의 기준 위치에 대응하는 제2 의료 영상의 대응 위치를 추출할 수 있다. 또한, 추출한 제 2의료 영상의 대응 위치로부터 피부 표면(500)에서 교차되는 위치인 교차점을 추출함으로써 이종의 의료 영상을 정합할 수 있다. 대응 위치는 제 1의료 영상에 표시될 수 있는 대상체의 기준 위치에 대응되는 제 2의료 영상에서의 위치이다. 프로브(111)의 기준 위치를 검출하여 영상 정합을 수행하기 때문에 의료 영상들의 해상도와 무관하게 영상을 정합할 수 있다.

일 실시예에서, 정합된 영상은 제1 의료 영상과 제2 의료 영상이 융합된 영상(fusion image)일 수 있다. 다른 실시예에서 정합된 영상은 같은 관측시점에서의 제1 의료 영상과 제2 의료 영상을 나란하게 배치한 영상일 수도 있다. 정합된 영상은 디스플레이부(150)에 의해 표시될 수 있다.

도 1에 도시된 실시예에서는 제1 의료 장치(110), 검출 장치(130), 영상 처리 장치(140) 및 디스플레이부(150)가 각각 독립된 장치를 구성하고 있으나, 이는 설명의 편의를 도모하기 위할 뿐이며, 제1 의료 장치(110), 검출 장치(130) 및 디스플레이부(150)는 단일의 장치로 구현될 수 있음은 물론이다.

한편, 프로브(111)의 기준 위치에 대응하는 제2 의료 영상의 단면을 추출하고, 기준 위치에 대응 하는 피부 표면(500) 에서의 교차 위치를 추출하기 위해서 프로브(111)의 축을 대상체의 축과 평행하게 배치시킬 수 있다. 여기서 프로브(111)의 축은 프로브(111)을 중심으로 서로 직교하는 적어도 두 개의 축으로 구분될 수 있으며, 프로브(111)를 통해 획득된 제1 의료 영상의 단면에 대한 좌표축과 동일할 수 있다. 예를 들어, 프로브(111)의 두 개의 축은 초음파의 진행 방향인 제1 축 및 상기한 제1 축과 직교하는 제2 축일 수 있다. 또한, 대상체의 축은 대상체를 중심으로 서로 직교하는 적어도 두 개의 축으로 구분될 수 있으며, 제2 의료 영상의 좌표축과 동일할 수 있다. 대상체의 두 개의 축을 포함하는 평면은 해부학적 중심선을 포함하는 면인 시상면(sagittal plane), 관상면(coronal plane) 및 횡단면(transverse plnae)으로 구분될 수 있으며, 상기한 세 개의 면은 대상체의 기준면이 될 수 있다.

그리고, 프로브(111)의 중심을 대상체의 기준 위치 위에 위치시킬 수 있다. 여기서 프로브(111)의 중심은 프로브(111)의 면 중 초음파가 송신하는 면의 중심을 의미할 수 있다. 여기서 기준 위치는 대상체의 개체 중 적어도 하나일 수 있다. 기준 위치는 제1 및 제2 의료 영상에서 식별이 용이하고 시간에 따라 변형되지 않는 개체일 수 있다. 예를 들어, 기준 위치는 대상체의 개체 중 뼈일 수 있다.

도 2는 일 실시예에 따라 대상체에 초음파 프로브를 위치시켜서 제 1의료 영상의 기준 위치를 검출하는 것을 도시한 도면이다.

도 2 (a)에 개시된 바와 같이, 사용자는 프로브(111)를 대상체(10) 위에 위치시킬 수 있고, 구체적으로 (b)에 개시된 것과 같이 대상체(10)의 개체 중 명치(12)위에 위치시킬 수 있고 이때 프로브(11)가 대상체에 위치하는 지점이 대상체의 기준 위치가 될 수 있다. 또한, 사용자는 프로브(111)의 축(210)을 대상체의 축(220)과 평행하게 위치시킬 수 있다.

프로브(111)가 대상체의 기준 위치 위에 배치되면서 프로브(111)의 축이 대상체의 축과 평행할 때, 검출 장치(130)는 프로브(111)의 좌표 정보를 산출할 수 있다. 프로브(111)의 좌표 정보는 검출 장치(130)의 좌표계 상에서의 좌표 정보이며, 프로브(111)의 위치 및 방향 정보 중 적어도 하나를 포함할 수 있다.설명의 편의를 위해, 프로브(111)의 좌표 정보로 하여 설명한다.

영상 처리 장치(140)는 제 2의료 영상의 좌표계에서 제 2의료 영상의 대응 위치 및 교차 위치에 대한 좌표 정보를 산출할 수 있고, 제 2의료 영상의 축은 대상체의 축과 같을 수 있다. 따라서, 기준 위치에 위치한 프로브(111)의 좌표 정보와 제 2의료 영상에서의 대응 위치 및 교차 위치의 좌표 정보간의 관계를 산출함으로써 검출 장치(130)의 좌표계와 제 2의료 영상의 좌표계간의 관계를 획득할 수 있다.

도 3은 영상 처리 장치의 구성을 나타내는 제어 블록도이다.

도 3에 개시된 바와 같이, 영상 처리 장치(140)는 통신부(160), 입력부(170), 저장부(180), 제어부(190), 영상 처리부(200)를 포함할 수 있다. 다만, 도시된 구성요소들이 모두 필수 구성요소들은 아니며, 도시된 구성요소들 이외에 다른 범용적인 구성요소들이 더 포함될 수도 있다.

통신부(160)는 제 1의료 장치(110) 및 제 2의료 장치(120)로부터 각각 제 1의료 영상과 제 2의료 영상을 수신하고, 검출 장치(130)로부터 프로브(111)의 위치 및 방향 정보 중 적어도 어느 하나를 수신할 수 있다. 통신부(160)는 제 1의료 장치(110) 및 제 2의료 장치(120)로부터 제 1의료 영상 및 제 2의료 영상을 획득하기 위한 인터페이스를 포함할 수 있다. 인터페이스는 제 1의료 장치(110) 및 제 2의료 장치(120)와 직접 또는 간접으로 연결되기 위한 인터페이스(미도시)를 의미한다.

인터페이스는 제 1의료 장치(110)가 촬영하는 제 1의료 영상을 실시간으로 획득할 수 있으며, 제 2의료 장치(120)가 의료 시술 전에 미리 촬영한 제 2의료 영상을 획득하기 위해 제 2의료 장치(120)와 직접 연결될 수 있다. 또한, 인터페이스는 다른 외부 저장 매체(USB, CD, DVD 등) 또는 네트워크를 통해서 제 2의료 영상을 획득할 수 있다. 통신부(160)는 획득한 제 2의료 영상을 저장부(180)에 저장할 수 있다.

또한, 인터페이스는 검출 장치(130)로부터 프로브(111)의 좌표 정보를 수신할 수 있다.

통신부(600)는 다양한 유/무선 통신 프로토콜에 따라 다른 장치와 데이터를 통신할 수 있으나, 바람직하게는 의료용 디지털 영상 및 통신(DICOM, Digital Imaging and Communications in Medicine) 표준에 따라 데이터 통신할 수 있다.

입력부(170)는 사용자로부터 영상 처리 장치(140)를 조작하기 위한 입력을 할 수 있고, 사용자가 직접 영상 처리 장치(140)를 조작하기 위한 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 입력부(170)는 영상을 디스플레이 하기 위한 디스플레이 패널을 포함할 수 있으며, 터치스크린으로 구현될 수 있다.

제어부(190)는 영상 처리 장치(140)의 동작을 전반적으로 제어한다. 예를 들어, 제어부(190)는 입력부(170)를 통해 입력된 사용자 명령이나 통신부(160)를 통해 수신한 데이터, 저장부(180)에 저장된 프로그램을 이용하여 영상 처리부(200)가 영상을 생성하고 정합할 수 있도록 제어할 수 있다. 또한, 영상 처리부(200)에서 처리한 영상이 디스플레이부(150)에 표시되도록 제어할 수도 있다.

영상 처리부(200)는 단면 영상 추출부(210), 영상 분리부(220), 대응 위치 추출부(230), 교차 위치 추출부(240), 대응 위치 데이터 제공부(250), 영상 정합부(260), 해부학적 대응 위치 추출부(270), 해부학적 위치 데이터 제공부(280)를 포함할 수 있다.

단면 영상 추출부(210)는 제 2의료 영상에서 미리 지정된 단면 영상을 추출한다. 단면 영상은 제 2의료 장치(120)인 MR 또는 CT에 대한 2차원 영상으로, 상술한 바와 같이, 제 2의료 장치가 촬영하는 의료 영상들은 2차원의 단면들일 수도 있고, 2차원의 단면들을 축적하여 생성된 3차원 영상일 수도 있다. 따라서, 기 촬영된 2차원 단면들의 의료 영상들 중에서 단면 영상을 추출할 수도 있고, 3차원 영상으로부터 단면 영상을 추출할 수도 있는데, 이하의 실시예에서는 3차원 영상으로부터 단면 영상을 추출하는 것을 예로 들어 설명한다.

영상 분리부(220)는 제 2의료 영상으로부터 추출된 단면 영상에서 나타나는 해부학적 개체들을 세그멘테이션(segmentation) 한다. 세그멘테이션이란, 영상 처리의 한 종류로서 이러한 해부학적 개체들 각각을 배경의 영상과 분리해 내는 것을 말한다. 세그멘테이션을 수행하여, 대응 위치를 추출할 수 있는 정보를 획득할 수 있다.

대응 위치 추출부(230)는 영상 분리부(220)가 수행한 세그멘테이션 정보를 이용하여, 대상체에 위치한 프로브의 기준 위치에 대응되는 위치를 제 2의료 영상으로부터 추출한다.

교차 위치 추출부(240)는 대응 위치 추출부(230)가 추출한 대응위치와 대상체의 피부 표면(500)에서 교차되는 위치를 추출한다. 세그멘테이션을 통하여 추출한 대응 위치는 인체 내부에 위치할 수도 있는 지점 이므로, 제 1의료 영상에서의 프로브(111)의 기준 위치와 정합하기 위해 피부 표면(500)에서 대응하는 점을 추출할 수 있다.

대응 위치 데이터 제공부(250)는 제 2의료 영상에서 추출된 단면 영상으로부터, 프로브(111)의 기준 위치에 대응되는 위치가 추출되지 않은 경우, 프로브(111)의 기준 위치에 대응되는 위치 데이터를 제공할 수 있다.

영상 정합부(260)는 제 1의료 영상에서 프로브(111)가 위치하는 기준 위치와, 제 2의료 영상에서 추출된 단면 영상의 대응 위치 또는 제공된 위치 데이터로부터 추출된 교차 위치를 정합하여 정합 영상을 생성할 수 있다.

해부학적 대응 위치 추출부(270)는 제 1의료 영상과 제 2의료 영상에서 서로 대응되는 해부학적 위치를 제 1의료 영상 및 제 2의료 영상으로부터 추가적으로 자동 추출할 수 있다.

해부학적 위치 데이터 제공부(280)는 제 1의료 영상 및 제 2의료 영상으로부터 서로 대응되는 해부학적 위치가 자동으로 추출되지 않고, 수동으로도 추출할 수 없는 경우에, 해부학적 위치 데이터를 제공할 수 있다.

저장부(180)은 미리 입력된 데이터 및 일실시예에 따라 영상 처리를 수행하면서 산출되는 데이터를 저장할 수 있다. 저장부(180)는 통신부(160)사 수신한 제 1의료 영상 및 제 2의료 영상을 저장할 수 있으며, 대상체에 대해서 제 2의료 장치(120)가 생성한 2차원 단면 영상 및 3차원 영상을 저장할 수 있다. 또한, 대상체에 위치하는 프로브(111)의 기준 위치 정보를 좌표값으로 저장할 수 있으며, 세그멘테이션을 하기 위한 해부학적 개체들의 해부학적 정보, 위치 정보 및 밝기 정보등을 저장할 수 있다. 그리고, 대상체에 위치하는 프로브의 기준 위치에 대응되는 위치데이터를 저장할 수도 있다.

이러한 저장부(180)는 롬(Read Only Memory: ROM), 피롬(Programmable Read Only Memory: PROM), 이피롬(Erasable Programmable Read Only Memory: EPROM), 플레시 메모리와 같은 비휘발성 메모리 소자, 또는 램(Random Access Memory: RAM)과 같은 휘발성 메모리 소자, 또는 하드 디스크, 광 디스크와 같은 저장 장치로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 당업계에 알려져 있는 임의의 다른 형태로 구현될 수도 있다.

도 4는 일 실시예에 따른 영상 처리 방법을 도시한 순서도이다.

도 4에 개시된 영상 처리 방법을 도 5 내지 도 10을 참고하여 상세히 설명하도록 한다.

본 발명의 실시예에 따라 프로브(111)를 대상체 위에 위치시킬 수 있으며, 대상체의 개체는 다양할 수 있으나, 이하 설명의 편의를 위하여 개체가 명치(12)에 해당하는 경우를 예로 들어 설명한다. 다만 이에 구속되지는 않는다.

먼저, 도 4에 개시된 바와 같이, 프로브(111)를 대상체의 명치(12)부분에 위치시킬 수 있다(S100). 앞서 도 2에서 설명한 바와 같이, 사용자는 프로브(111)를 명치(12)위에 위치시킬 수 있고, 이때 명치(12)가 제 1의료 영상에서 대상체에 대한 프로브(111)의 기준 위치가 될 수 있으며, 프로브(111)의 축(210)을 대상체의 축(220)과 평행하게 위치시킬 수 있다.

검출 장치(130)는 프로브(111)의 위치 및 방향 중 적어도 어느 하나를 검출하여 대상체 에서의 프로브(111)의 기준 위치를 검출할 수 있다(S110). 전술한 도 1에 개시된 바와 같이, 검출 장치(130)는 자기장 발생기(131)와 자기장의 변화를 감지하는 센서(132)를 포함할 수 있다. 검출 장치(130)는 센서(132)에 대한 자기장 발생기(131)의 상대적인 위치 관계로부터 프로브(111)의 위치 및 방향 중 어느 하나를 검출하여 프로브(111)의 기준 위치를 검출하여 좌표계에서의 좌표 정보로 산출할 수 있다. 이렇게 검출된 프로브(111)의 기준 위치에 대한 좌표 정보는 영상 처리 장치(140)로 전송되어 영상 정합(S160)을 하는데 사용 되거나, 제 2의료 영상에서 프로브의 기준 위치에 대응되는 위치로부터, 피부 표면(500)에서 교차되는 위치를 추출(S150)하는데 사용될 수 있다.

단면 영상 추출부(210)는 제 2의료 영상에서 미리 지정된 단면 영상을 추출한다(S120). 상술한 바와 같이, 제 2의료 장치(120)가 촬영하는 의료 영상들은 2차원의 단면들일 수도 있고, 2차원의 단면들을 축적하여 생성된 3차원 영상일 수도 있다. 단면 영상 추출부(120)는 검출 장치(130)가 검출한 프로브(111)의 기준 위치에 대한 좌표 정보를 이용하여 미리 지정된 단면 영상을 추출할 수 있는데, 이 때 대상체의 통계적인 위치 정보들로부터 지정되어 있는 단면 영상을 추출할 수 있다. 대상체의 통계적인 위치 정보들을 명치(12)부분을 예로 들어 설명 하면, 사람의 몸을 외부에서 볼 때 명치(12)는 몸의 중심에 위치하는 것으로 명치(12)가 위치하는 위치정보를 통하여 해당 위치를 포함하는 단면을 지정할 수 있다. 또한, 제 2의료 영상 장치(120)가 촬영한 2차원 단면 영상들의 데이터로부터, 프로브의 기준 위치에 대한 좌표정보를 포함하는 단면을 추출할 수도 있다.

도 5는 단면 영상 추출부가 명치 부분을 포함하는 단면을 추출하기 위하여 인체의 해부학적 중심(middle sagittal plane)을 기준면으로 하는 것을 도시한 것이다.

도 5에 개시된 바와 같이, 점선으로 표시된 부분(L)은 명치(12)가 위치하는 해부학적 중심선을 나타낸다. 인체를 해부학적 기준면으로 크게 구분하면, 해부학적 중심선을 포함하는 면(시상면; middle sagittal plane) 외에도, 횡단면(transverse plane), 관상면(coronal plane)등으로 표현할 수 있는데, 실시예에서는 명치(12) 부분을 포함하는 위치를 예로 들어 설명하므로, 이하 해부학적 중심을 포함하는 면을 기준으로 하여 설명하나, 이에 한정되지 않으며 추출되는 단면은 해부학적 중심 이외의 다른 단면일 수 있다. 단면은 프로브(111)가 위치하는 기준 위치에 따라 해부학적 중심면 이외의 다른 단면이 추출될 수 있다.

단면 영상 추출부(210)는 제 2의료 장치(120)가 기촬영한 2차원의 단면들 중에서 지정된 단면을 추출할 수도 있고, 3차원의 제 2의료 영상으로부터 지정된 단면 영상을 추출할 수도 있다. 단면 영상을 추출하는 방법은 일반적인 영상 추출 방법이 적용될 수 있는 바, 구체적인 설명은 생략한다.

도 6은 단면 영상 추출부에 의하여 제 2의료 영상에서 미리 지정된 단면 영상이 추출된 것을 나타내는 도면이다.

도 6을 참조하면, 해부학적 중심선을 기준으로 추출한 단면의 모습을 확인할 수 있다.

영상 분리부(220)는 단면 영상 추출부(210)가 추출한 단면 영상으로부터, 단면 영상에서 나타나는 해부학적 개체들을 세그멘테이션 한다(S130). 세그멘테이션을 수행하는 이유는, 인체 내부의 해부학적 개체들의 분리된 영상을 획득하여 그로부터 제 2의료 영상에서 프로브의 기준 위치에 대응되는 위치를 추출하기 위함이다. 해부학적 개체들이란, 장기, 혈관, 병변, 뼈, 장기와 장기의 경계면 등 의료 영상에서 식별 가능한 인체의 구성물을 말한다. 세그멘테이션이란, 영상 처리의 한 종류로서 이러한 해부학적 개체들 각각을 배경의 영상과 분리해 내는 것을 말한다. 저장부(180)에는 세그멘테이션을 수행할 해부학적 개체에 대한 정보가 미리 입력되어 있을 수 있다.

영상 분리부(220)는 그래프 컷(graph cut) 기법 또는 가우시안 믹스쳐 모델(GMM) 기법을 사용하여 세그멘테이션을 수행할 수 있다. 그래프 컷 기법이란, 배경의 시드(seed) 값과 해부학적 개체의 시드 값을 이용하여, 배경의 시드 포인트와 해부학적 개체의 시드 포인트의 영역을 점차 확장한다. 확장하는 중에, 배경 영역과 해부학적 개체의 영역이 만나게 되는 영역을 잘라내는 방식으로 해부학적 개체를 세그멘테이션하는 방식이다. 가우시안 믹스쳐 모델 기법은 의료 영상의 컬러 히스토그램을 복수개의 가우시안 분포 모델들로 표현한다. 이어서, 히스토그램에서 특정 영역의 가우시안 분포 모델을 선택하는 방식으로 해부학적 개체들을 세그멘테이션하는 방식이다. 이외에도 다양한 세그멘테이션 방식이 적용될 수 있다.

도 7은 일 실시예에 따라 추출된 단면 영상으로부터 세그멘테이션이 수행된 것을 도시하는 도면이다.

도 7을 참조하면, 밝게 표시된 부분은 해부학적 개체가 간(1110)의 경우에 세그멘테이션이 수행된 것을 나타내는 것으로, 간(1110)을 제외한 다른 해부학적 개체들과 비교할 때, 간의 밝기와 위치정보를 알 수 있다.

도 8은 일 실시예에 따라 세그멘테이션된 해부학적 개체인 간에 대해서, 대상체에 위치한 프로브의 기준 위치와 대응되는 위치를 제 2의료 영상으로부터 추출하기 위한 좌표축을 가정하여 나타낸 것이다.

도 8에 개시된 바와 같이 도 7에서의 단면 영상을 세그멘테이션 한 뒤 간(1110)의 위치적 정보로부터 대응되는 위치를 추출할 수 있다.

대응 위치 추출부(230)는 단면 영상에서 나타나는 해부학적 개체들을 세그멘테이션 한 영상과 대상체 내부의 위치 정보를 이용하여 대상체에 위치한 프로브(111)의 기준 위치에 대응하는 위치를 추출할 수 있다(S140). 도 7 및 도 8을 참조하면, 세그멘테이션 된 간(1110)은 인체의 해부학적 개체로서 위치 정보, 밝기 정보 등의 해부학적 특징을 가지고 있으며, 도 8에 도시된 바와 같이 간(1110)의 위치 정보는 Anterior-Postorior방향, Superior-Inferior방향 및 Left-Right 방향으로 나타낼 수 있다. 이 때, 설명의 편의를 위하여 본 실시예에서는 간(1110)의 Superior-Inferior 방향으로의 위치 정보를 사용한다고 가정하면, 해부학적 중심면(middle sagittal plane)을 기준으로, 간(1110)에서 가장 윗부분의 위치가 Superior 축과 만나는 부분은 Superior-tip, 가장 아래부분의 위치가 Inferior 축과 만나는 부분은 Inferior-tip으로 표현될 수 있다. Superior-tip 및 Inferior-tip은 해부학적 중심면 상에 위치하는 것으로, 다른 단면 상에서는 다른 위치로 정의될 수 있다. 이러한 간의 Inferior-tip 또는 Superior-tip은 초음파 영상에서도 뚜렷하게 표현되므로 영상을 통해서 육안으로 확인할 수 있으며, MR 또는 CT영상에서도 상기 위치정보를 통해서 간(1110)의 위치를 알 수 있다. 따라서, 간(1110)의 위치 정보로부터 제 1의료 영상에서 대상체에 위치한 프로브(111)의 기준 위치에 대응하는 위치를 찾을 수 있는데, 이는 간(1110)의 Superior-tip 또는 Inferior-tip으로부터 명치(12)까지의 좌표정보를 이용하여 찾을 수도 있고, Superior-tip 부분을 직접 명치(12)의 위치로 설정하여 사용할 수도 있으나, 위치 정보를 사용하는 기준이 한정되는 것은 아니며, 세그멘테이션된 해부학적 개체들로부터의 위치를 고려하여 대응 위치를 추출할 수 있다.

도 8에 개시된 바와 같이, 대응 위치 추출부(230)가 추출한 제 2의료 영상에서의 대응 위치는 ①과 같이 나타낼 수 있다.

교차 위치 추출부(240)는 대응 위치 추출부(230)로부터 추출된 대응 위치로부터 피부 표면(skin line)(500)과 교차되는 교차 위치를 추출할 수 있다(S150). 프로브(111)로부터 제 1의료 영상을 획득 하는 경우에 프로브(111)가 대상체에 위치하는 기준 위치는 피부 표면(500)에 해당하므로, 상기 기준 위치와 제 2의료 영상에서 추출된 위치를 이용하여 영상 정합을 수행하기 위해서는, 대응 위치 추출부(230)가 추출한 명치(12)의 위치로부터 피부 표면(500) 상에서의 교차 위치를 추출해야 한다.

도 9는 피부 표면 에서의 교차 위치를 추출하는 것을 개략적으로 도시한 도면이다.

도 9의 (a)는 프로브(111)가 위치하는 대상체를 외부에서 본 경우 교차 위치를 나타내는 것을 표시한 것이고, 도 9의 (b)는 제 2의료 영상으로부터 추출된 단면 영상에서 피부 표면(500)과의 교차 위치를 나타내는 것을 표시한 것이다. 도 9에 개시된 바와 같이 ①은 대응 위치 추출부(230)가 추출한 대응 위치이고 ②는 피부 표면(500)에서의 교차 위치에 해당한다. 도 2에서 언급한 바와 같이, 사용자는 프로브(111)를 명치(12)위에 위치시킬 수 있고 이때 프로브(111)의 축(210)을 대상체의 축(220)과 평행하게 위치시킬 수 있다. 검출 장치(130)는 대상체의 기준 위치 위에 배치되면서 프로브(111)의 축이 대상체의 축과 평행할 때, 검출 장치(130)는 프로브(111)의 좌표 정보를 산출할 수 있고, 상기 좌표 정보와 영상 처리 장치(140)의 대응 위치 추출부(230)가 추출한 대응 위치(①)의 좌표 정보로부터 피부 표면(500)에서의 교차 위치(②)의 좌표 정보를 획득할 수 있다.

교차 위치 추출부(240)가 교차 위치(②)를 추출하는 방법을 도 9를 참고하여 설명하면, 먼저 대응 위치(①)로부터 피부 표면(500)에 도달하는 축(y축)을 따라서 교차 지점을 찾을 수 있다. 대상체의 피부 표면(500)의 방향을 x축으로 설정하고, 프로브(111)가 위치하는 기준 위치의 방향 및 대응 위치(①)에서 교차 위치(②)에 접근 하는 방향을 y축으로 설정하면 피부 표면(500)에서 x축과 y축의 교차 지점이 곧 피부 표면(500)에서의 교차 위치(②)에 해당할 수 있다. 교차 위치 추출부(240)가 피부 표면(500)을 찾는 방법은, MR 또는 CT영상에서는 피부의 밝기 값과 공기에서의 밝기 값의 차이가 상이하므로 피부에서의 밝기 값의 데이터로부터 피부 표면(500)을 찾을 수 있다. 따라서 피부 표면(500)을 찾고, 검출 장치(130)가 추출한 프로브(111)의 좌표 정보를 대응 위치(①)에 적용하여 y축 방향에서의 피부 표면(500)과의 교차 지점을 찾아서 교차 위치(②)를 추출할 수 있다.

영상 정합부(260)는 대상체에 위치한 프로브(111)의 기준 위치에 대한 좌표 정보와, 교차 위치 추출부(240)으로부터 추출된 피부 표면(500)에서의 교차 위치에 대한 좌표 정보로부터 영상 정합을 수행할 수 있다(S160). 영상 정합부(260)는 제 1의료 장치(110)로부터 획득한 제 1의료 영상과 제 2의료 장치(120)로부터 획득한 제 2의료 영상을 정합 하는데, 의료 영상들의 정합은 검출 장치(130)가 검출한 프로브(111)의 기준 위치의 좌표계와 제 2의료 영상에서 추출된 교차 위치의 좌표계를 서로 대응시키는 과정을 포함할 수 있다. 프로브(111)의 움직임과 제 1의료 영상의 뷰는 일대일 대응되며, 사용자는 제 1의료 영상을 제어하는 것보다 프로브(111)의 움직임을 제어하는 것이 용이하다. 따라서 일 실시예에 따른 영상 처리 장치(140)는 프로브(111)의 기준 위치를 검출하고, 프로브(111)의 기준 위치에 대응하는 제 2의료 영상의 교차 위치를 추출함으로써 이종의 의료 영상을 정합할 수 있다. 제 2의료 영상의 단면 영상으로부터 추출된 위치를 통한 정합을 하기 때문에 사용자의 편의성 증가 및 소요시간이 감소되는 효과를 볼 수 있다.

일 실시예에서, 정합된 영상은 제 1의료 영상과 제 2의료 영상이 융합된 영상(fusion image)일 수 있다. 다른 실시예에서 정합된 영상은 같은 관측시점에서의 제 1의료 영상과 제 2의료 영상을 나란하게 배치한 영상일 수도 있다. 정합된 영상은 디스플레이부(150)에 의해 표시될 수 있다(S170).

도 10은 대상체가 간인 경우에 제 1의료 영상과 제 2의료 영상을 정합하여 나란하게 배치한 영상이다.

도 10에 개시된 바와 같이, (a)는 초음파 영상이고, (b)는 MR영상으로 볼 수 있으며 같은 위치 및 좌표에 따라 영상을 확인하여 실시간으로 관찰함과 동시에 대상체의 병변 유무 등에 대하여 확인할 수 있다.

도 11은 일 실시예에 따라서 프로브의 기준 위치에 대응되는 위치 데이터를 제공하는 영상 처리 방법을 도시한 순서도이다.

도 11에 개시된 바와 같이, 대상체에 프로브(111)를 위치 시켜서(S100), 프로브(111)의 기준 위치를 검출하고(S110), 제 2의료 영상에서 미리 지정된 단면 영상을 추출하여(S120), 추출된 단면 영상에 나타나는 해부학적 개체들을 세그멘테이션 하고(S130), 제 2의료 영상에서 프로브(111)의 기준 위치에 대응되는 위치를 추출하는 과정은 도 4에서 상술하였는 바, 중복되는 설명은 생략한다.

제어부(190)로부터 제 2의료 영상에서 프로브(111)의 기준 위치에 대응되는 위치가 추출되지 않았다고 판단되는 경우에(S145), 대응 위치 데이터 제공부(250)는 프로브(111)의 기준 위치에 대응하는 대응 위치에 관한 데이터를 제공할 수 있다(S146). 프로브(111)의 기준 위치에 대응되는 위치가 추출되지 않는 경우는 추출 과정 상에서 오류가 발생하거나, 세그멘테이션 된 해부학적 개체들의 위치 정보가 불명확한 경우에 추출되지 않을 수 있다. 대응 위치 데이터 제공부(250)는 저장부(180)에 미리 저장되어 있는 대응 위치 데이터를 제공할 수 있는데, 미리 저장되어 있는 데이터는, 기존에 촬영되어 있던 다른 환자에 관한 의료 영상 및 다른 단면 영상에 대한 정보로부터 얻어진 위치 정보일 수 있다. 예를 들어, 제 2의료 영상이 촬영된 대상체와 신체 정보 또는 해부학적 정보가 유사한 다른 대상체의 단면 영상으로부터 수행된 세그멘테이션 데이터로부터, 프로브(111)가 위치하는 명치(12)부분의 대응 위치 정보를 제공하여 대응 위치를 설정할 수 있다. 이때, 제 2의료 영상에서 추출된 단면으로부터 직접 추출된 대응 위치가 아니므로 영상을 정합할 때 오차가 발생할 수 있고, 이러한 오차는 후술할 내용과 같이, 제 2의료 영상에서 프로브(111)의 기준 위치에 대응되는 위치를 추가 추출하여 오차율을 감소 시킬 수 있다.

대응 위치 데이터 제공부(250)로부터 제공된 대응 위치가 정해지면 도 4에서 설명한 바와 같이, 대응 위치를 이용하여 피부 표면에서 교차되는 위치를 추출하고(S151), 추출된 교차 위치를 이용하여 제 1의료 영상과 제 2의료 영상을 정합하여(S161), 정합 영상을 표시(S171)할 수 있다. 이 때, S151 내지 S171 과정은 도 4의 S150 내지 S170의 과정과 다른 실시예에 의한 단계 이므로 부호를 달리 하였으나, 동일한 방법으로 수행될 수 있다.

도 12는 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 추가적으로 자동 추출 하고, 자동 추출이 실패하는 경우 수동 추출 하는 영상 처리 방법을 도시한 순서도이다.

도 12의 실시예에 앞서, 도 4의 S100 내지 S170의 단계를 수행한 후 도 12의 단계가 시작될 수 있다.

도 12에서 시작 단계 이전에 제 1의료 영상 및 제 2의료 영상을 정합하여 정합된 영상을 표시하기 위한 S100 내지 S170의 일련의 과정은 도 4에서 설명한 바와 같고, 도 12과정의 수행 결과, 영상을 정합하여(S230), 정합 영상을 표시(S240)하는 것에 대한 과정도 도 4의 S160 및 S170의 단계와 동일한 방법으로 수행될 수 있으나, 다른 실시예에 의한 것이므로 부호를 달리 한다.

먼저, 정합 영상을 표시한 후에(S170) 제어부(190)의 통제하에 해부학적 대응 위치 추출부(270)는 제 2의료 영상에서 추출된 단면 영상에 포함된 위치로서, 제 1의료 영상과 제 2의료 영상에서 서로 대응되는 해부학적 위치를 제 1의료 영상 및 제 2의료 영상으로부터 추가적으로 자동 추출할 수 있다(S181, S182). 이 때, 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치는, 정합된 제 1의료 영상 및 제 2의료 영상에서 대응되는 위치를 말하며, 해부학적 위치는 제 2의료 영상의 단면에 포함되어 있는 위치를 의미한다. 서로 대응되는 해부학적 위치를 추가적으로 추출하는 이유는 제 1의료 영상과 제 2의료 영상을 정합할 때, 오차율을 감소시키고 보다 정확한 정합을 수행하기 위함이다.

실시예로 들어 설명한 해부학적 중심면을 기준으로 하는 경우에는, 제 2의료 영상에서 추출된 단면인 해부학적 중심면에 포함되고, 제 1의료 영상과 제 2의료 영상에서 서로 대응되는 해부학적 위치는 도 8에서 상술한 Inferior-tip에 해당할 수 있다. 즉, 제 1의료 영상 및 제 2의료 영상에서 Inferior-tip에 해당하는 위치를 각각 추출하여 영상 정합에 사용할 수 있다. 상술한 Inferior-tip은 해부학적 기준면 상에 존재하는 위치 이므로, 이에 국한되지 않으며, 제 2의료 영상에서 추출된 단면이 해부학적 기준면이 아닌 다른 단면인 경우에는, 제 2의료 영상의 단면에 포함되고 제 1의료 영상과 서로 대응되는 다른 해부학적 위치를 추출할 수 있다. 해부학적 대응 위치 추출부(270)는 앞서 S150 단계에서 추출되어 영상 정합에 사용된 교차 위치로부터의 위치정보를 이용한 영상 처리를 통하여, 제 1의료 영상 및 제 2의료 영상에서 상기 대응되는 해부학적 위치를 제 1의료 영상 및 제 2의료 영상으로부터 각각 자동 추출할 수 있다(S181, S182).

제어부(190)는 상기 서로 대응되는 해부학적 위치가 제 1의료 영상 및 제 2의료 영상으로부터 자동으로 추출 되었는지 여부를 판단할 수 있다(S191, S192). 자동으로 추출되지 않는 경우는, 영상 처리에 오류가 있어서 추출이 실패한 경우 또는 세그멘테이션 된 개체인 간의 형태의 이상으로 Inferior-tip과 같은 해부학적 위치를 추출함에 어려움이 있는 경우일 수 있다.

제 1의료 영상 및 제 2의료 영상으로부터 각각 자동으로 추출된 경우에는 추출된 대응 위치를 이용하여 영상 정합부(260)가 영상 정합을 할 수 있다(S230).

제 1의료 영상 및 제 2의료 영상으로부터 대응되는 해부학적 위치가 자동으로 추출되지 않은 경우에는 제어부(190)는 대응되는 위치를 수동으로 추출 할 수 있다(S211, S212). 수동으로 추출하는 경우에는, 입력부(170)를 통해서 사용자가 제 1의료 영상 및 제 2의료 영상에서의 위치를 입력하여 설정할 수 있다.

상술한 과정에 의하여, 추출한 제 1의료 영상 및 제 2의료 영상으로부터의 해부학적 대응 위치를 이용하여 영상 정합을 할 수 있고(S230), 정합된 영상을 표시할 수 있다(S240). 정합의 정확성에 따라 상술한 과정은 반복될 수 있다.

도 13은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 추가적으로 자동 추출 하고, 자동 추출이 실패하는 경우 해부학적 위치 데이터를 제공 하는 영상 처리 방법을 도시한 순서도이다.

도 13의 실시예에 앞서, 도 4의 S100 내지 S170의 단계를 수행한 후 도 13의 단계가 시작될 수 있다.

도 13에서 시작 단계 이전에 제 1의료 영상 및 제 2의료 영상을 정합하여 정합된 영상을 표시하기 위한 S100 내지 S170의 일련의 과정은 도 4에서 설명한 바와 같고, 도 13과정의 수행 결과, 영상을 정합하여(S231), 정합 영상을 표시(S241)하는 것에 대한 과정도 도 4의 S160 및 S170의 단계와 동일한 방법으로 수행될 수 있으나, 다른 실시예에 의한 것이므로 부호를 달리 한다.

제어부(190)가 상기 서로 대응되는 해부학적 위치가 제 1의료 영상 및 제 2의료 영상으로부터 자동으로 추출 되었는지 여부를 판단하는 단계(S191, S192) 이전의 과정은 도 12에서와 동일하므로 중복되는 설명은 생략한다.

제 1의료 영상 및 제 2의료 영상으로부터 대응되는 해부학적 위치가 자동으로 추출되지 않은 경우에는, 해부학적 위치 데이터 제공부(280)가 제 1의료 영상 및 제 2의료 영상에서 대응되는 해부학적 위치 데이터를 제공할 수 있다(S221, S222). 해부학적 위치 데이터 제공부(280)는 저장부(180)에 저장되어 있는 해부학적 위치 데이터를 기초로 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치를 제공하여 영상 정합에 이용하게 할 수 있다. 예를 들면, 자동으로 추출할 수 없는 경우 해부학적 중심면 상에 위치하는 Inferior-tip의 해부학적 위치 데이터를 제공할 수 있다.

상술한 과정에 의하여, 추출하거나 제공된 제 1의료 영상 및 제 2의료 영상으로부터의 해부학적 대응 위치를 이용하여 영상 정합을 할 수 있고(S231), 정합된 영상을 표시할 수 있다(S241). 정합의 정확성에 따라 상술한 과정은 반복될 수 있다.

도 14는 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 수동 추출 및 제 2의료 영상에서 자동 추출하고, 제 2의료 영상에서 자동 추출이 실패하는 경우 수동 추출 하는 영상 처리 방법을 도시한 순서도이다.

도 14의 실시예에 앞서, 도 4의 S100 내지 S170의 단계를 수행한 후 도 14의 단계가 시작될 수 있다.

도 14에서 시작 단계 이전에 제 1의료 영상 및 제 2의료 영상을 정합하여 정합된 영상을 표시하기 위한 S100 내지 S170의 일련의 과정은 도 4에서 설명한 바와 같고, 도 14과정의 수행 결과, 영상을 정합하여(S232), 정합 영상을 표시(S242)하는 것에 대한 과정도 도 4의 S160 및 S170의 단계와 동일한 방법으로 수행될 수 있으나, 다른 실시예에 의한 것이므로 부호를 달리 한다.

먼저, 정합 영상을 표시한 후에(S170) 제어부(190)의 통제하에 해부학적 대응 위치 추출부(270)는 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 2의료 영상으로부터 추가적으로 자동 추출할 수 있다(S182).

또한, 대응되는 해부학적 위치를 제 1의료 영상으로부터 수동으로 추출할 수 있는데(S183), 이는 입력부(170)를 통해서 사용자가 제 1의료 영상에서의 위치를 입력하여 설정할 수 있다.

제 1의료 영상으로부터 수동으로 추출되고 제 2의료 영상으로부터 자동으로 추출된 경우에는 추출된 대응 위치를 이용하여 영상 정합부(260)가 영상 정합을 할 수 있다(S232).

제어부(190)는 상기 서로 대응되는 해부학적 위치가 제 2의료 영상으로부터 자동으로 추출 되었는지 여부를 판단할 수 있고(S192), 제 2의료 영상으로부터 대응되는 해부학적 위치가 자동으로 추출되지 않은 경우에는 제어부(190)는 대응되는 위치를 수동으로 추출할 수 있다(S212). 수동으로 추출하는 경우에는, 입력부(170)를 통해서 사용자가 제 2의료 영상에서의 위치를 입력하여 설정할 수 있다.

상술한 과정에 의하여, 추출한 제 1의료 영상 및 제 2의료 영상으로부터의 해부학적 대응 위치를 이용하여 영상 정합을 할 수 있고(S232), 정합된 영상을 표시할 수 있다(S242). 정합의 정확성에 따라 상술한 과정은 반복될 수 있다.

도 15는 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 수동 추출 및 제 2의료 영상에서 자동 추출하고, 제 2의료 영상에서 자동 추출이 실패하는 경우 해부학적 위치 데이터를 제공 하는 영상 처리 방법을 도시한 순서도이다.

도 15의 실시예에 앞서, 도 4의 S100 내지 S170의 단계를 수행한 후 도 15의 단계가 시작될 수 있다.

도 15에서 시작 단계 이전에 제 1의료 영상 및 제 2의료 영상을 정합하여 정합된 영상을 표시하기 위한 S100 내지 S170의 일련의 과정은 도 4에서 설명한 바와 같고, 도 15과정의 수행 결과, 영상을 정합하여(S233), 정합 영상을 표시(S243)하는 것에 대한 과정도 도 4의 S160 및 S170의 단계와 동일한 방법으로 수행될 수 있으나, 다른 실시예에 의한 것이므로 부호를 달리 한다.

제 1의료 영상으로부터 수동으로 추출되고 제 2의료 영상으로부터 자동으로 추출된 경우에는 추출된 대응 위치를 이용하여 영상 정합부(260)가 영상 정합을 할 수 있다(S233).

제어부(190)는 상기 서로 대응되는 해부학적 위치가 제 2의료 영상으로부터 자동으로 추출 되었는지 여부를 판단할 수 있고(S192), 제 2의료 영상으로부터 대응되는 해부학적 위치가 자동으로 추출되지 않은 경우에는, 해부학적 위치 데이터 제공부(280)가 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치 데이터를 제공할 수 있다(S222).

상술한 과정에 의하여, 추출하거나 제공된 제 1의료 영상 및 제 2의료 영상으로부터의 해부학적 대응 위치를 이용하여 영상 정합을 할 수 있고(S233), 정합된 영상을 표시할 수 있다(S243). 정합의 정확성에 따라 상술한 과정은 반복될 수 있다.

도 16은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 자동 추출 및 제 2의료 영상에서 수동 추출하고, 제 1의료 영상에서 자동 추출이 실패하는 경우 수동 추출 하는 영상 처리 방법을 도시한 순서도이다.

도 16의 실시예에 앞서, 도 4의 S100 내지 S170의 단계를 수행한 후 도 14의 단계가 시작될 수 있다.

도 16에서 시작 단계 이전에 제 1의료 영상 및 제 2의료 영상을 정합하여 정합된 영상을 표시하기 위한 S100 내지 S170의 일련의 과정은 도 4에서 설명한 바와 같고, 도 16과정의 수행 결과, 영상을 정합하여(S234), 정합 영상을 표시(S244)하는 것에 대한 과정도 도 4의 S160 및 S170의 단계와 동일한 방법으로 수행될 수 있으나, 다른 실시예에 의한 것이므로 부호를 달리 한다.

먼저, 정합 영상을 표시한 후에(S170) 제어부(190)의 통제하에 해부학적 대응 위치 추출부(270)는 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상으로부터 추가적으로 자동 추출할 수 있다(S181).

또한, 대응되는 해부학적 위치를 제 2의료 영상으로부터 수동으로 추출할 수 있는데(S184), 이는 입력부(170)를 통해서 사용자가 제 1의료 영상에서의 위치를 입력하여 설정할 수 있다.

제 1의료 영상으로부터 자동으로 추출되고 제 2의료 영상으로부터 수동으로 추출된 경우에는 추출된 대응 위치를 이용하여 영상 정합부(260)가 영상 정합을 할 수 있다(S234).

제어부(190)는 상기 서로 대응되는 해부학적 위치가 제 1의료 영상으로부터 자동으로 추출 되었는지 여부를 판단할 수 있고(S191), 제 1의료 영상으로부터 대응되는 해부학적 위치가 자동으로 추출되지 않은 경우에는 제어부(190)는 대응되는 위치를 수동으로 추출할 수 있다(S211). 수동으로 추출하는 경우에는, 입력부(170)를 통해서 사용자가 제 1의료 영상에서의 위치를 입력하여 설정할 수 있다.

상술한 과정에 의하여, 추출한 제 1의료 영상 및 제 2의료 영상으로부터의 해부학적 대응 위치를 이용하여 영상 정합을 할 수 있고(S234), 정합된 영상을 표시할 수 있다(S244). 정합의 정확성에 따라 상술한 과정은 반복될 수 있다.

도 17은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 제 1의료 영상에서 자동 추출 및 제 2의료 영상에서 수동 추출하고, 제 1의료 영상에서 자동 추출이 실패하는 경우 해부학적 위치 데이터를 제공 하는 영상 처리 방법을 도시한 순서도이다.

도 17의 실시예에 앞서, 도 4의 S100 내지 S170의 단계를 수행한 후 도 17의 단계가 시작될 수 있다.

도 17에서 시작 단계 이전에 제 1의료 영상 및 제 2의료 영상을 정합하여 정합된 영상을 표시하기 위한 S100 내지 S170의 일련의 과정은 도 4에서 설명한 바와 같고, 도 17과정의 수행 결과, 영상을 정합하여(S235), 정합 영상을 표시(S245)하는 것에 대한 과정도 도 4의 S160 및 S170의 단계와 동일한 방법으로 수행될 수 있으나, 다른 실시예에 의한 것이므로 부호를 달리 한다.

제 1의료 영상으로부터 자동으로 추출되고 제 2의료 영상으로부터 수동으로 추출된 경우에는 추출된 대응 위치를 이용하여 영상 정합부(260)가 영상 정합을 할 수 있다(S235).

제어부(190)는 상기 서로 대응되는 해부학적 위치가 제 1의료 영상으로부터 자동으로 추출 되었는지 여부를 판단할 수 있고(S191), 제 1의료 영상으로부터 대응되는 해부학적 위치가 자동으로 추출되지 않은 경우에는, 해부학적 위치 데이터 제공부(280)가 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치 데이터를 제공할 수 있다(S221).

상술한 과정에 의하여, 추출하거나 제공된 제 1의료 영상 및 제 2의료 영상으로부터의 해부학적 대응 위치를 이용하여 영상 정합을 할 수 있고(S235), 정합된 영상을 표시할 수 있다(S245). 정합의 정확성에 따라 상술한 과정은 반복될 수 있다.

도 18은 일 실시예에 따라서 제 1의료 영상과 제 2의료 영상에 있어서 서로 대응되는 해부학적 위치를 추가적으로 수동 추출하는 영상 처리 방법을 도시한 순서도이다.

도 18의 실시예에 앞서, 도 4의 S100 내지 S170의 단계를 수행한 후 도 18의 단계가 시작될 수 있다.

도 18에서 시작 단계 이전에 제 1의료 영상 및 제 2의료 영상을 정합하여 정합된 영상을 표시하기 위한 S100 내지 S170의 일련의 과정은 도 4에서 설명한 바와 같고, 도 18과정의 수행 결과, 영상을 정합하여(S236), 정합 영상을 표시(S246)하는 것에 대한 과정도 도 4의 S160 및 S170의 단계와 동일한 방법으로 수행될 수 있으나, 다른 실시예에 의한 것이므로 부호를 달리 한다.

사용자는 대응되는 해부학적 위치를 제 1의료 영상 및 제 2의료 영상으로부터 수동으로 추출할 수 있는데(S183, S184), 이는 입력부(170)를 통해서 사용자가 제 1의료 영상 및 제 2의료 영상에서의 위치를 입력하여 설정할 수 있다.

제 1의료 영상 및 제 2의료 영상으로부터 수동으로 추출된 경우에는 추출된 대응 위치를 이용하여 영상 정합부(260)가 영상 정합을 할 수 있고(S236), 정합된 영상을 표시할 수 있다(S246).

다른 실시예에 따라 상기 도 12 내지 도 18의 과정이 수행된 후에 제어부(190)의 통제하에 제 1의료 영상과 제 2의료 영상에서 서로 대응 되는 다른 해부학적 위치를 제 1의료 영상 및 제 2의료 영상으로부터 추출할 수 있다. 상기 서로 대응 되는 해부학적 위치는 도 12 내지 도 18에서 설명한 제 2의료 영상의 단면에 포함되는 위치일 필요는 없으며, 임의의 단면 또는 임의의 위치에서의 지점이어도 무방하다. 상기 임의의 해부학적 위치를 추가 추출하는 이유는 보다 정확한 영상 정합을 수행하기 위함이며, 추출 방법은 자동 추출 또는 수동 추출로 가능하다. 수동 추출을 하는 경우는 입력부(170)를 통해서 사용자가 제 1의료 영상 및 제 2의료 영상에서 대응되는 임의의 해부학적 위치를 입력하여 제 1의료 영상 및 제 2의료 영상으로부터 추출할 수 있다.

도 19 는 일 실시예에 따른 영상 처리부가 마련된 의료 영상 장치를 도시한 사시도이다.

도 19에 개시된 바와 같이, (a)는 도 1의 의료 영상 처리 시스템(100)에서 제 1의료 장치(110)가 영상 처리부(200)를 마련한 초음파 영상 장치(110)에 해당하여, 영상 처리 장치(140)의 역할을 하는 경우의 의료 영상 처리 시스템을 나타낸 것이고, (b)는 제 1의료 장치에 해당하는 초음파 영상 장치(110)를 나타낸 것이다.

(a)에 도시된 바와 같이, 제 1의료 장치(110)는 대상체로부터 제 1의료 영상을 획득하고, 제 2의료 장치(120)으로부터 획득한 제 2의료 영상을 수신하여 본 발명의 일 실시예에 따라 영상 정합을 수행할 수 있다. 검출 장치(130)에 대한 설명은 도 1에서 상술 하였는바, 중복되는 설명은 생략한다.

(b)에 도시된 바와 같이, 초음파 프로브(111)는 대상체의 체표에 접촉하는 부분으로, 초음파를 대상체로 송수신할 수 있다. 구체적으로, 초음파 프로브(111)는 입력되는 펄스에 따라 초음파를 생성하여 대상체의 내부로 송신하고, 대상체 내부의 특정 부위로부터 반사된 에코 초음파를 수신한다.

조작 패널(300)은 초음파 영상 장치(110)의 동작과 관련된 명령을 입력 받을 수 있는 부분이다. 사용자는 조작 패널(300)을 통해 진단 시작, 진단 부위 선택, 진단 종류 선택, 최종적으로 출력되는 초음파 영상에 대한 모드 선택 등을 수행하기 위한 명령을 입력할 수 있다. 또한, 조작 패널(300)은 도 3의 입력부(170)와 마찬가지로 사용자로부터 영상 처리 장치(140)를 조작하기 위한 입력을 할 수 있고, 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치를 제 1의료 영상 및 제 2의료 영상으로부터 수동 추출하기 위한 입력을 할 수 있다. 즉, 본 발명의 일 실시예를 위한 입력을 할 수 있다. 초음파 영상에 대한 모드로는 A-모드(Amplitude mode), B-모드(Brightness mode), D-모드(Doppler mode), E-모드(Elastography mode), 및 M-모드(Motion mode) 등을 예로 들 수 있다. 일 실시예로, 조작 패널(300)은, 본체의 상부에 위치할 수 있고 스위치, 키, 휠, 조이스틱, 트랙볼 및 놉(knop) 중 적어도 하나를 포함할 수 있다.

디스플레이부(150)는 초음파 진단 과정에서 얻어진 초음파 영상들을 표시할 수 있다. 디스플레이부(150)는, 도 19 에서와 같이 본체와 결합되어 장착될 수 있으나, 본체와 분리 가능하도록 구현될 수도 있다.

또한, 디스플레이부(150)는 복수 개의 디스플레이 장치(151, 152)를 포함하여 서로 다른 영상을 동시에 표시할 수 있다. 예를 들어, 제1 디스플레이 장치(151)는 대상체를 촬영하여 획득한 초음파 영상을 표시하고, 제2 디스플레이 장치(152)는 정합 영상을 표시할 수 있다. 제1 디스플레이 장치(151)는 대상체를 촬영하여 획득한 2D 영상을 표시하고, 제2 디스플레이 장치(152)는 3D 영상을 표시할 수도 있다.

또한, 각 디스플레이 장치(151, 152)는 디스플레이 패널(Plasma Display Panel, PDP), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널, 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널, 능동형 유기 발광 다이오드(Active-matrix Organic Light-Emitting Diode, AMOLED) 패널 등과 같은 디스플레이 수단을 채용할 수 있다.

이상의 초음파 영상 장치(110)를 이용하여, 대상체의 초음파 영상을 획득할 수 있다.

도 20은 의료 영상 장치의 일 실시예에 따른 제어 블록도이다.

상술한 영상 처리 장치(140)는 도 3에 도시된 바와 같이, 소프트웨어를 구비한 별도의 장치로 구현될 수도 있으며, 도 20 에 도시된 바와 같이 초음파 영상 장치(110) 내에서 영상 처리부(200)로 구현될 수도 있다.

도 20을 참조하면, 일 실시예에 따른 초음파 영상 장치(110)는 통신부(160), 저장부(180), 제어부(190), 영상 처리부(200)를 포함할 수 있다.

일 실시예에 따라, 제1 의료 장치(110)가 초음파 영상 장치인 경우, 초음파 영상 장치(110)는 초음파 프로브(probe)(111)를 이용하여 초음파를 대상체에 조사하고, 반사되는 초음파를 검출함으로써 초음파 영상을 생성한다.

통신부(160)는 제 1의료 장치(110) 및 제 2의료 장치(120)로부터 각각 제 1의료 영상과 제 2의료 영상을 수신하고, 검출 장치(130)로부터 프로브(111)의 위치 및 방향 정보 중 적어도 어느 하나를 수신할 수 있다. 특히 통신부(160)는 네트워크(400)에 연결된 다른 장치와 연결되어 MR 또는 CT영상으로 촬영된 대상체의 영상 데이터를 수신할 수 있다.

도 20에 도시된 각 구성들의 역할과 동작은, 상술한 영상 처리 장치(140)의 동작과 동일하고, 도 3의 제어 블록도에서 설명한 내용과 동일하며 다만 제 1의료 장치(110)가 초음파 영상 장치(110)인 경우에 초음파 영상 장치(110)가 영상 처리부(200)를 구비하고 본 발명의 일 실시예를 구현하는 것이므로 중복되는 설명은 생략한다.

이상과 같이 예시된 도면을 참조로 하여, 바람직한 실시예들을 중심으로 영상 처리 장치 및 그 제어 방법에 대해 설명 하였다. 영상 처리 장치 및 그 제어 방법의 예는 이에 한정되는 것이 아니며 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이다. 그러므로 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 영상 처리 시스템 110 : 제 1의료 장치
120 : 제 2의료 장치 130 : 검출 장치
140 : 영상 처리 장치 150 : 디스플레이부
160 : 통신부 170 : 입력부
180 : 저장부 190 : 제어부
200 : 영상 처리부 210 : 단면 영상 추출부
220 : 영상 분리부 230 : 대응 위치 추출부
240 : 교차 위치 추출부 250 : 대응 위치 데이터 제공부
260 : 영상 정합부 270 : 해부학적 대응 위치 추출부
280 : 해부학적 위치 데이터 제공부 300 :조작 패널

Claims

제 1의료 장치 및 제 2의료 장치로부터 각각 대상체의 제 1의료 영상 및 상기 제 1의료 영상과 모달리티가 다른 제 2의료 영상을 수신하는 통신부; 및
상기 제 2의료 영상으로부터 미리 지정된 단면 영상을 추출하고, 상기 추출된 단면 영상에서 상기 대상체의 기준 위치에 대응되는 위치를 추출하여 상기 추출된 단면 영상에 대응되는 제 1의료 영상과 상기 제 2의료 영상을 정합하는 영상 처리부;를 포함하는 영상 처리 장치.
제 1항에 있어서,
상기 제 1의료 영상은,
초음파 영상, OCT 영상, CT 영상, MR 영상, 엑스선(X-ray) 영상, SPECT 영상, PET 영상, C-arm 영상 중 어느 하나이고,
상기 제 2의료 영상은,
OCT 영상, CT 영상, MR 영상, SPECT 영상, PET 영상, C-arm 영상 중 상기 제 1의료 영상과 상이한 어느 하나의 영상인 영상 처리 장치.
제 1항에 있어서,
상기 기준 위치는 상기 대상체에 위치한 네비게이터의 기준 위치인 영상 처리 장치.
제 3항에 있어서,
상기 네비게이터는,
초음파 프로브, 광학 추정기(optical tracker) 또는 위치 설정이 가능한 센서가 장착된 시술도구 중 어느 하나를 포함하는 영상 처리 장치.
제 3항에 있어서,
상기 영상 처리부는,
상기 추출된 단면 영상에서 나타나는 해부학적 개체들을 영상 처리 하여 상기 네비게이터의 기준 위치에 대응되는 위치를 추출하는 영상 처리 장치.
제 5항에 있어서,
상기 영상 처리부는,
상기 대응되는 위치를 이용하여 피부 표면에서 교차되는 위치를 추출하는 영상 처리 장치.
제 6항에 있어서,
상기 교차되는 위치는,
상기 대응되는 위치로부터 상기 네비게이터가 위치하는 축 방향의 교차 지점인 영상 처리 장치.
제 1항에 있어서,
상기 영상 처리부는,
상기 추출된 단면 영상에서 상기 네이게이터의 기준 위치에 대응되는 위치 데이터를 제공하는 영상 처리 장치.
제 1항에 있어서,
상기 영상 처리부는,
상기 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치를, 제 1의료 영상 및 제 2의료 영상으로부터 추가적으로 추출하는 영상 처리 장치.
제 9항에 있어서,
상기 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치는,
상기 제 2의료 영상으로부터 추출된 단면 영상에 포함된 위치인 영상 처리 장치.
제 9항에 있어서,
상기 영상 처리부는,
상기 서로 대응되는 해부학적 위치가 추출되지 않은 경우에는, 서로 대응되는 해부학적 위치 데이터를 제공하는 영상 처리 장치.
제 1항에 있어서,
상기 대상체의 기준 위치와 상기 피부 표면에서 교차되는 위치를 이용하여 정합된 영상을 표시하는 디스플레이부;를 더 포함하는 영상 처리 장치.
제 1의료 장치 및 제 2의료 장치로부터 각각 대상체의 제 1의료 영상 및 상기 제 1의료 영상과 모달리티가 다른 제 2의료 영상을 수신하는 단계;
상기 제 2의료 영상으로부터 미리 지정된 단면 영상을 추출하고, 상기 추출된 단면 영상에서 상기 대상체의 기준 위치에 대응되는 위치를 추출하는 단계; 및
상기 추출된 단면 영상에 대응되는 제 1의료 영상과 상기 제 2의료 영상을 정합하는 단계;를 포함하는 영상 처리 장치 제어 방법.
제 13항에 있어서,
상기 기준 위치는 상기 대상체에 위치한 네비게이터의 기준 위치인 영상 처리 장치 제어 방법.
제 13항에 있어서,
상기 대응되는 위치를 추출하는 단계는,
상기 추출된 단면 영상에서 나타나는 해부학적 개체들을 영상 처리 하여 상기 네비게이터의 기준 위치에 대응되는 위치를 추출하는 영상 처리 장치 제어 방법.
제 15항에 있어서,
상기 대응되는 위치를 이용하여 피부 표면에서 교차되는 위치를 추출하는 단계;를 포함하는 영상 처리 장치 제어 방법.
제 16항에 있어서,
상기 교차되는 위치는,
상기 대응되는 위치로부터 상기 네비게이터가 위치하는 축 방향의 교차 지점인 영상 처리 장치 제어 방법.
제 13항에 있어서,
상기 추출된 단면 영상에서 상기 네비게이터의 기준 위치에 대응되는 위치 데이터를 제공하는 단계;를 포함하는 영상 처리 장치 제어 방법.
제 13항에 있어서,
상기 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치를, 제 1의료 영상 및 제 2의료 영상으로부터 추가적으로 추출하는 영상 처리 장치 제어 방법.
제 19항에 있어서,
상기 제 1의료 영상 및 제 2의료 영상에서 서로 대응되는 해부학적 위치는,
상기 제 2의료 영상으로부터 추출된 단면 영상에 포함된 위치인 영상 처리 장치 제어 방법.
제 19항에 있어서,
상기 서로 대응되는 해부학적 위치가 추출되지 않은 경우에는, 서로 대응되는 해부학적 위치 데이터를 제공하는 영상 처리 장치 제어 방법.
대상체의 제 1의료 영상을 획득하는 프로브;
상기 대상체에 위치한 프로브의 기준 위치를 검출하는 센서; 및
상기 제 1의료 영상과 모달리티가 다른 제 2의료 영상으로부터 미리 지정된 단면 영상을 추출하고, 상기 추출된 단면 영상에서 상기 대상체의 기준 위치에 대응되는 위치를 추출하여 상기 추출된 단면 영상에 대응되는 제 1의료 영상과 상기 제 2의료 영상을 정합하는 영상 처리부;를 포함하는 의료 영상 장치.
제 22항에 있어서,
상기 센서는,
상기 대상체의 특정 위치 및 방향에 위치한 프로브의 좌표 정보를 검출하는 의료 영상 장치.
제 23항에 있어서,
상기 특정 위치 및 방향은,
상기 프로브의 축이 상기 대상체의 축과 평행하고 상기 프로브가 상기 대상체의
기준점 위에 위치할 때의 상기 프로브의 위치 및 방향인 의료 영상 장치.