KR100426396B1

KR100426396B1 - 3차원 영상처리방법을 이용한 가상 내시경 방법

Info

Publication number: KR100426396B1
Application number: KR10-2000-0071234A
Authority: KR
Inventors: 송철규; 이철호; 김종찬
Original assignee: 김종찬; 송철규; 이철호
Priority date: 2000-11-28
Filing date: 2000-11-28
Publication date: 2004-04-08
Also published as: KR20020041577A

Abstract

본 발명은 3차원 영상처리 기법인 영상 재구성 방법과 가상현실 기법을 응용하여 인체 장기의 내부를 항해하며 진단하는 가상 내시경 진단 방법 및 시스템에 관한 것이다.

본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법은 3차원 영상처리와 가상현실 기술을 이용하여 인체의 내부를 관찰하는 내시경 진단 방법에 있어서, (a)MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상을 읽어들이는 단계; (b)상기 단면영상을 보간하고 분할하는 전처리 단계; (c)상기 전처리 단계에서 출력된 영상을 입력받아 3차원 볼륨데이터를 생성하는 단계; (d)상기 볼륨데이터를 웹인터페이스를 통한 관찰과 영상항해를 위해 VRML 포맷으로 변환이 가능하도록 3차원 볼륨 포맷으로 변환하며, 상기 3차원 볼륨데이터를 계층적으로 나눈 후, 공간적으로 상관성이 있는 것끼리 계층적인 트리구조를 만들어 공간을 분할하는 단계; 및 (e)상기 분할된 공간에서 현재의 뷰 포인트에 나타난 부분만을 렌더링하는 단계를 포함함을 특징으로 한다.

본 발명에 의하면, 종래의 가상 내시경에서의 표면렌더링에 의한 화질의 훼손문제를 보완 할 수 있으며, 인체 장기의 내부를 항해속도를 향상시켰다.

Description

3차원 영상처리방법을 이용한 가상 내시경 방법{Virtual reality endoscopy method using 3D image processing method}

본 발명은 의료장비에 관한 것으로, 특히 환자의 기관지부위 CT, MRI영상의 3차원 재구성과 영상항해에 필요한 영상가시화 기법을 통해 혈관, 기관지, 소화기관 등을 관찰하는 가상 내시경 장치에 관한 것이다.

종래의 기계적 내시경 사용시 삽입에 따른 고통, 고가의 비용, 직경이 작은부위의 관찰의 어려움 등의 문제점이 있었다.

따라서, 종래의 기계적 내시경 대체 또는 보완할 수 있도록 실제 영상의 3차원 재구성을 통한 내부항해가 가능하며, VR장치와 상호작용을 통한 연동이 이루어지는 가상 내시경 장치가 등장하였다.

하지만 종래의 가상 내시경 장치는 항해시 속도에 문제점이 있었으며, 또한 표면 렌더링에 의한 화질이 훼손되는 문제점이 있었다.

본 발명이 이루고자하는 기술적 과제는 항해속도의 개선을 위한 공간분할방법과 입체적 진단기술, 볼륨 렌더링과 표면 렌더링을 복합화하는 가상 내시경 방법 및 장치를 제공하는 것이다.

도 1은 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법의 일실시예를 도시한 것이다.

도 2는 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법의 다른 일실시예를 도시한 것이다.

도 3은 공간 분할의 예를 도시한 것이다.

도 4는 가상 내시경 항해의 실시예를 도시한 것으로, 인체 기관지 적용의 예이다.

도 5는 본 발명에서 적용한 충돌검출 방법의 실시예를 나타내고 있다.

상기 기술적 과제를 해결하기 위한 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법은 3차원 영상처리와 가상현실 기술을 이용하여 인체의 내부를 관찰하는 내시경 진단 방법에 있어서, (a)MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상을 읽어들이는 단계; (b)상기 영상을 입력받아 3차원 볼륨데이터를 생성하는 단계; (c)상기 3차원 볼륨데이터를 계층적으로 나눈 후, 공간적으로 상관성이 있는 것끼리 계층적인 트리구조를 만들어 공간을 분할하는 단계; 및 (d)상기 분할된 공간에서 현재의 뷰 포인트에 나타난 부분만을 렌더링하는 단계를 포함함을 특징으로 한다.

또한, 상기 (b)단계는 (b1)영상의 해상도를 높이기 위해 연속되는 영상사이에 현재 시퀀스 영상의 이전과 이후의 차를 구해서 그 차분 영상을 보간하는 단계; 및 (b2)관심부위 영상의 강도에 해당되는 문턱치를 설정하고 문턱치 이상이 되는 값만을 필터링하는 단계로 이루어짐을 특징으로 한다.

또한, 상기 (b)단계에서 3차원 볼륨 데이터는 웹 인터페이스를 통한 관찰과 영상항해를 위해 VRML 포멧으로 변환이 가능하도록 3D 볼륨 포맷변환이 가능함을 특징으로 한다.

또한, 상기 (c)단계는 복수개의 삼각형 메쉬로 구성된 3차원 볼륨데이터에서 상기 복수개의 삼각형 메쉬의 각 꼭지점들의 공간적인 좌표를 이용하여 계층적인 서브 트리로 그룹핑함을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법은 3차원 영상처리와 가상현실 기술을 이용하여 인체의 내부를 관찰하는 내시경 진단 방법에 있어서, (a)MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상을 읽어들이는 단계; (b)상기 단면영상을 보간하고 필터링하는 전처리 단계; (c)상기 (b)단계로부터 출력된 영상을 표면렌더링을 통해 3차원 볼륨데이터를 생성하는 단계; (d)상기 상기 (b)단계로부터 출력된 영상을 볼륨렌더링을 통해 3차원 볼륨데이터를 생성하는 단계; (e)상기 표면렌더링에 의한 3차원 볼륨데이터와 상기 볼륨렌더링에 의한 3차원 볼륨데이터를 이용하여 영상항해 경로를 생성하는 단계: 및 (f)상기 영상항해 경로의 중심을 따라 2차원 또는 3차원 항해하는 단계를 포함함을 특징으로 한다.

또한, 상기 (e)단계에서 영상항해 경로 생성은 표면렌더링으로부터 얻어진폴리곤 볼륨데이터로부터 항해할 관의 모든 중심직경을 계산하여 생성함을 특징으로 한다.

또한, 상기 (f)단계는 가상 내시경 영상항해시 관찰시점이 인체기관 내부를 빠져나기 못하도록 하는 충돌검출방법을 이용하여 항해함을 특징으로 한다.

또한, 상기 충돌검출방법은 가상 내시경의 가상카메라에서 반복적으로 광선을 발사시켜 기관의 내부표면 경계를 탐지하여 탐지가 되면 벽으로 인지하여 탐지된 벽면 방향으로는 관찰시점이 통과될 수 없도록 처리함을 특징으로 한다.

이하 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상들을 취득(acqisition)한다(S110).

상기 취득된 단면영상을 보간(interpolation)과정과 분할(segmentation)과정을 통해 3D 볼륨 데이터를 만들기 전에 필요한 영상의 보간 등의 전처리과정을 거친다(S120).

여기서, 보간(interpolation)이란 영상의 해상도를 높이기 위해 연속되는 영상사이에 현재 시퀀스 영상의 이전과 이후의 차를 구하는 과정으로, 그 차분 영상을 보간한다.

분할(segmentation)은 3차원 볼륨을 생성하기 위해 관심부위 영상의 강도(intensity)에 해당되는 문턱치를 설정하고 문턱치 이상이 되는 값만을 필터링하는 과정이다.

본 발명에서는 얻어진 3D 볼륨 데이터(S130)로부터 웹 인터페이스(Web interface:10)를 통한 관찰과 영상항해를 위해 VRML 포멧(20)으로 변환이 가능하도록 3D 볼륨 포맷변환이 가능하다.

그리고, 상기 3D 볼륨 데이터를 공간 분할한다(S140). 이러한 과정을 BPS(binary space partitioning)이라 한다.

이 과정이 필요한 이유는 3D 볼륨데이터를 실시간 상호작용 하기에는 너무 크기 때문이며(trachea의 경우 20만 폴리곤 이상의 폴리곤이 존재함), BPS과정은 3차원 polygonal mesh 데이터를 계층적으로 작게 나눈 후, 공간적으로 상관성이 있는 것끼리 계층적인 트리구조를 만드는 과정이다.

BPS(binary space partitioning)과정은 다음과 같이 상세히 설명된다.

기본적인 trachea의 3차원 볼륨은 20여만개의 삼각형 매쉬로 구성되는데 각 꼭지점들을 3차원 공간상에서 vertex라 한다. 이러한 vertex들의 공간적인 좌표를 알 수 있으므로 계층적인 sub-tree로 그룹핑할 수 있다. 이때에 트리형태로 구조화가 잘되어 있어야 interaction부여시 각 부분들이 상호 연동되어 하나의 통일된 동작으로 연출하도록 한다.

공간분할 후 2차원 또는 3차원으로 그 내부의 항해가 가능하며(S150) 이때 실시간 항해를 위해 현재의 view point에 나타난 부분만을 렌더링이 된다(S160).

출력장치모듈(output device module:40)은 HMD 또는 모니터이고, 사용자가 영상항해를 위해 사용하는 입력장치(30)는 2D 마우스 또는 가상현실에서 사용하는스페이스 볼 또는 3차원 마우스 등이 있다.

MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상들을 취득(acqisition)한다(S210).

상기 취득된 단면영상을 보간(interpolation)과정과 분할(segmentation)과정을 통해 3D 볼륨 데이터를 만들기 전에 필요한 영상의 보간 등의 전처리과정을 거친다(S220).

본 발명에서는 얻어진 3D 볼륨 데이터로부터 웹 인터페이스(Web interface:10)를 통한 관찰과 영상항해를 위해 VRML 포멧(20)으로 변환이 가능하도록 3D 볼륨 포맷변환이 가능하다.

상기 전처리 과정을 통해 출력된 영상을 볼륨렌더링을 통해 3차원 볼륨데이터를 생성한다(S230).

3차원 볼륨렌더링(3D volume rendering)은 MIP(maximum intensityprojection) 또는 일반적 레이캐스팅 방법으로 3차원 볼륨 데이터를 만드는 방법을 의미한다.

그런데 상기 3차원 볼륨렌더링에 의한 볼륨데이터를 영상항해하려면 상호작용을 위한 공간좌표 데이터가 필요하므로 3차원 표면렌더링(3D surface rendering)을 하게 된다(S240).

상기 3차원 표면렌더링에 의한 3차원 볼륨데이터를 이용하여 항해할 경로를 생성하게 된다(S250).

영상항해 경로 발생(navigation path generation projection)를 위해 3차원표면렌더링으로부터 얻어진 폴리곤 볼륨데이터로부터 항해할 관(tube)의 모든 중심 직경을 수학적으로 계산할 수 있다. 수학적으로 계산된 항해 좌표를 3차원 볼륨 데이터에 적용하여 항해 경로의 중심을 따라서 항해하는 방법을 본 발명에서 적용하였다.

2차원 또는 3차원으로 그 내부의 항해가 가능하며(S260) 이때 실시간 항해를 위해 현재의 view point에 나타난 부분만을 렌더링이 된다(S270).

출력장치모듈(output device module:40)은 HMD 또는 모니터이고, 사용자가 영상항해를 위해 사용하는 입력장치(30)는 2D 마우스 또는 가상현실에서 사용하는 스페이스 볼 또는 3차원 마우스 등이 있다.

도 3은 공간 분할의 예를 도시한 것이다.

2D/3D 항해(navigation)시에 충돌검출 방법을 적용하였는데 이 방법은 가상내시경 영상항해를 할 때 관찰시점(viewing point)이 인체기관(organ) 내부를 빠져나가지 못하도록 하기 위한 방법이다.

가상 기관지 내시경의 가상카메라에서 반복적으로 광선을 발사(ray casting)시켜 기관의 내부표면 경계를 탐지하는 기법이다. 만약 탐지가 되면 벽으로 인지하여 탐지된 벽면 방향으로는 관찰시점이 통과될 수 없도록 처리한다. 이와 같은 충돌검출 방법에 의해 인체의 빈 장기(hollow organ)의 영상항해시에 기관의 외부로 이탈하지 않으면서 실제의 내시경처럼 진단이 가능하게 된다.

도면과 명세서는 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

3차원 영상처리와 가상현실 기술을 이용하여 인체의 내부를 관찰하는 내시경 진단 방법에 있어서,

(a)MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상을 읽어들이는 단계;

(b)상기 단면영상을 보간하고 분할하는 전처리 단계;

(c)상기 전처리 단계에서 출력된 영상을 입력받아 3차원 볼륨데이터를 생성하는 단계;

(d)상기 볼륨데이터를 웹인터페이스를 통한 관찰과 영상항해를 위해 VRML 포맷으로 변환이 가능하도록 3차원 볼륨 포맷으로 변환하며, 상기 3차원 볼륨데이터를 계층적으로 나눈 후, 공간적으로 상관성이 있는 것끼리 계층적인 트리구조를 만들어 공간을 분할하는 단계; 및

(e)상기 분할된 공간에서 현재의 뷰 포인트에 나타난 부분만을 렌더링하는 단계를 포함함을 특징으로 하는 가상 내시경 진단방법.
제1항에 있어서, 상기 (b)단계는

(b1)영상의 해상도를 높이기 위해 연속되는 영상사이에 현재 시퀀스 영상의 이전과 이후의 차를 구해서 그 차분 영상을 보간하는 단계; 및

(b2)관심부위 영상의 강도에 해당되는 문턱치를 설정하고 문턱치 이상이 되는 값만을 필터링하는 단계를 포함함을 특징으로 하는 가상내시경 진단방법.
삭제
제1항에 있어서, 상기 (c)단계는

복수개의 삼각형 메쉬로 구성된 3차원 볼륨데이터에서 상기 복수개의 삼각형 메쉬의 각 꼭지점들의 공간적인 좌표를 이용하여 계층적인 서브 트리로 그룹핑함을 특징으로 하는 가상내시경 진단방법.
3차원 영상처리와 가상현실 기술을 이용하여 인체의 내부를 관찰하는 내시경 진단 방법에 있어서,

(a)MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상을 읽어들이는 단계;

(b)상기 단면영상을 보간하고 필터링하는 전처리 단계;

(c)상기 전처리 단계로부터 출력된 영상을 표면렌더링을 통해 3차원 볼륨데이터를 생성하는 단계;

(d)상기 볼륨데이터를 웹인터페이스를 통한 관찰과 영상항해를 위해 VRML 포맷으로 변환이 가능하도록 3차원 볼륨 포맷으로 변환하는 단계;

(e)상기 전처리 단계로부터 출력된 영상을 볼륨렌더링을 통해 3차원 볼륨데이터를 생성하는 단계;

(f)상기 표면렌더링에 의한 3차원 볼륨데이터와 상기 볼륨렌더링에 의한 3차원 볼륨데이터를 이용하여 영상항해 경로를 생성하는 단계: 및

(g)가상현실장치를 이용하여 상기 영상항해 경로의 중심을 따라 2차원 또는 3차원 항해하는 단계를 포함함을 특징으로 하는 가상 내시경 진단 방법.
제5항에 있어서, 상기 (f)단계에서 영상항해 경로 생성은

표면렌더링으로부터 얻어진 폴리곤 볼륨데이터로부터 항해할 인체 혈관 및 장기의 모든 중심직경을 계산하여 생성함을 특징으로 하는 가상 내시경 진단 방법.
제5항에 있어서, 상기 (g)단계는

가상 내시경 영상항해시 관찰시점이 인체기관 내부를 빠져나기 못하도록 하는 충돌검출방법을 이용하여 항해함을 특징으로 하는 가상 내시경 진단 방법.
제7항에 있어서, 상기 충돌검출방법은

가상 내시경의 가상카메라에서 반복적으로 광선을 발사시켜 기관의 내부표면 경계를 탐지하여 탐지가 되면 벽으로 인지하여 탐지된 벽면 방향으로는 관찰시점이 통과될 수 없도록 처리함을 특징으로 하는 가상 내시경 진단 방법.