KR20020031273A - 가상 내시경 시스템 및 방법과 이를 저장한 컴퓨터가 판독가능한 기록 매체 - Google Patents

Abstract

가상 내시경 시스템 및 방법과 이를 저장한 컴퓨터가 판독 가능한 기록 매체가 개시된다. 본 발명에 따르면, 3차원 볼륨 데이터로부터 관찰하고자하는 부위에 해당하는 볼륨 렌더링 영상을 생성하여, 하나의 화면을 분할한 다수의 뷰어상에 생성된 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 각각 디스플레이한다. 2차원 영상 또는 3차원 볼륨 렌더링 영상 중 어느 하나의 영상에서 사용자에 의해 경로가 설정됨에 따라 디스플레이되는 경로 재구성 영상을 갱신하고, 사용자의 조작에 따라 카메라 위치 변경 요청이 있는 경우에는 카메라의 위치 변경에 따라 조정된 가상 내시경 영상 데이터를 생성하고, 생성된 가상 내시경 영상 데이터를 근거로 가상 내시경 영상과 2차원 영상을 갱신한다.

그 결과, 3차원 볼륨 데이터에 대한 전처리 과정없이 볼륨 렌더링으로 생성한 영상을 참조 영상으로 사용하며, 상기 참조 영상으로 이용하여 사용자가 쉽게 경로를 설정 및 수정할 수 있고, 카메라의 방향을 2차원상에서 3차원적으로 조절할 수 있다.

Description

가상 내시경 시스템 및 방법과 이를 저장한 컴퓨터가 판독 가능한 기록 매체{System and method for displaying a virtual endoscopy and computer readable medium storing thereof}

본 발명은 가상 내시경 시스템 및 방법과 이를 저장한 컴퓨터가 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는 가상 내시경에서의 단면 영상 및 볼륨렌더링 영상을 이용하여 경로 설정이 가능한 가상 내시경 시스템 및 방법과 이를 저장한 컴퓨터가 판독 가능한 기록 매체에 관한 것이다.

일반적으로 가상 내시경 시스템을 포함하는 영상 재구성 시스템은 많은 응용 분야가 있지만 3차원적 형상을 가지는 인체 구조물의 의료 영상 분야에 사용될 수 있다.

특히 3차원 의료 영상 기법이란, 컴퓨터 단층 촬영기(Computed Tomography: 이하 CT) 또는 자기 공명 장치(Magnetic Resonance Imaging: 이하 MRI)로부터 얻어지는 일련의 2차원 의료 영상으로부터 3차원 영상을 생성하는 것을 말하는데, 일련의 2차원 영상만을 통한 진단은 전체적인 입체감을 얻기가 힘들고 임의의 단면 등을 관찰하기 불가능한 단점이 있다. 그러나, 3차원 의료 영상기법을 사용하면 환부에 대한 정확한 위치 판단이 가능하고, 수술 방법을 보다 현실감 있게 예측할 수 있다.

이러한 종래의 가상 내시경 시스템은 카메라(또는 가상 카메라)의 움직임을 조절하기 위해 2차원 영상을 이용했다. 그러나 이러한 2차원 영상을 이용하는 방법에서는 관찰하고 있는 인체 구조물에서 해당 카메라의 위치 파악이 어렵다는 문제점이 있다.

또한 카메라나 내시경이 움직이면서 계속적으로 변화하는 영상을 보여주는 동작, 즉 자동 네비게이션을 하기 어렵다는 문제점이 있다.

이러한 점에 착안하여 인체 구조물에 대한 윤곽을 보여주기 위해, 특정 구조물의 데이터를 다른 부분으로부터 분리해내는 세그멘테이션(segmentation) 작업을한 후에 표면 추출 렌더링 기법으로 전체 윤곽을 디스플레이하고, 카메라의 정확한 위치를 나타내는 보다 진보된 방법이 개발되었으며, 이러한 환경하에서 네비게이션을 위해 자동적으로 경로를 찾아주는 알고리즘이 개발되기도 하였다.

그러나 이러한 진보된 방식을 이용하더라도 완전 자동 세그멘테이션이 어렵고, 구조물이 복잡할수록 세그멘테이션을 완전 자동으로 할 수 없기 때문에 수작업을 수행해야하는 번거로움이 있다.

또한 내시경의 경로를 자동적으로 찾아 주는 알고리즘 역시 사용자가 원하는 일정 수준까지 경로를 찾지는 못하며, 항상 세그멘테이션을 통해 구조물 벽에 대한 정보를 알고 있어야 하는 문제점이 있다.

이에 본 발명의 기술과 과제는 이러한 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 전처리 과정없이도 3차원 볼륨 렌더링 영상에서 직접 경로 설정을 수행하여 진단의 시간을 줄이고, 경로를 포함하는 다면 재구성 영상을 디스플레이하므로써, 2차원 상에 3차원 영상적인 효과를 나타내고, 진단의 효율성을 향상시키기 위한 가상 내시경 시스템을 제공하는 것이다.

또한 본 발명의 다른 목적은 상기한 가상 내시경 시스템을 이용한 가상 내시경 방법을 제공하는 것이다.

또한 본 발명의 또 다른 목적은 상기한 가상 내시경 방법을 포함하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체를 제공하는 것이다.

도 1은 본 발명의 실시예에 따른 가상 내시경 시스템을 설명하기 위한 도면이다.

도 2는 본 발명에 따른 가상 내시경 시스템의 화면 일례를 도시한다.

도 3은 본 발명에 따른 가상 내시경 방법을 설명하기 위한 흐름도이다.

도 4는 상기한 도 3의 단계 S400을 보다 상세히 설명하기 위한 흐름도이다.

도 5는 상기한 도 4의 단계 S420을 보다 상세히 설명하기 위한 흐름도이다.

도 6은 본 발명에 의한 가상 내시경 시스템에서 참조 영상위에 입력된 한 포인트로부터 실제 내부 기관의 3차원상의 위치를 찾는 과정을 설명하기 위한 도면이다.

도 7은 본 발명에 따른 경로를 포함한 단면 재구성 영상의 생성을 설명하기 위한 도면이다.

도 8은 본 발명에 따른 경로와 평행 또는 수직인 단면 재구성 영상의 생성을 설명하기 위한 도면이다.

도 9는 본 발명에 따른 2차원에서 3차원적 카메라 조정을 설명하기 위한 도면이다.

도 10은 본 발명에 의한 가상 내시경 시스템의 참조 영상으로 사용되는 3차원 볼륨 렌더링 영상을 도시한다.

도 11은 상기한 도 10의 3차원 볼륨 렌더링 영상을 기초로 본 발명에 의한 바람직한 가상 내시경 시스템이 제공하는 화면을 불러낸 예이다.

도 12는 본 발명에 의한 바람직한 가상 내시경 시스템에서 상기한 도 11에서 사용자가 한번 지정했던 경로를 임의로 수정할 수 있게 하는 기능을 제공하는 화면을 도시한다.

<도면의 주요부분에 대한 부호의 설명>

10 : 입력/저장부20 : 내시경 영상 처리부

22 : 참조 영상 처리부24 : 경로 변환부

26 : 다면 재구성 영상 합성부30 : 표시부

40 : 입력부100 : 3차원 볼륨 렌더링 영상

200 : 2차원 영상300 : 가상 내시경 영상

400 : 경로 재구성 영상

상기한 본 발명의 목적을 실현하기 위한 하나의 특징에 따른 가상 내시경 시스템은,

3 차원적 위치의 함수로서 표현되는 소정의 특성을 가지는 입체적 구조의 각 부분의 위치에 따른 상기 특성을 볼륨 데이터의 형태로 입력받아 이후의 처리를 위하여 저장하기 위한 입력/저장부;

상기 입력 저장부에 저장된 데이터를 기초로 하여 상기 특성의 공간적 분포를 3차원 영상으로 표시하고 이를 참조 영상으로 표시할 수 있도록 처리하며, 상기 참조 영상위에 직접 표시된 소정의 경로를 따라 내시경 영상을 생성하며, 이를 표시할 수 있도록 처리하는 내시경 영상 처리부;

상기 참조 영상을 표시하고, 상기 경로에 따른 내시경 영상을 표시하는 표시부; 및

상기 참조 영상으로부터 사용자가 상기 경로를 지정할 수 있도록 하기 위한 입력부를 포함하여 이루어진다.

여기서, 상기 내시경 영상 처리부는, 상기 입력 저장부에 저장된 볼륨 데이터로부터 상기 3차원 참조 영상을 표시할 수 있도록 처리하고, 상기 입력수단을 통하여 내시경 영상을 보고자하는 내부 구조물을 지나는 소정의 경로를 상기 참조 영상 위의 소정의 곡선 데이터의 형태로 입력받아 처리하는 참조 영상 처리부; 상기 참조 영상 처리부에 입력된 상기 경로로부터 내시경 영상을 보고자하는 내부 구조물의 벽에 해당되는 복셀의 상기 볼륨 데이터 내의 위치를 판단하며, 상기 복셀의 위치에 의해 상기 경로가 실제로 내부 구조물을 통과하는 경로가 될 수 있도록 경로를 정정하는 경로 변환부; 및 상기 경로 변환부에서 얻어진 상기 정정된 경로에 따라 상기 경로를 포함하는 다면 재구성 영상을 생성하는 다면 재구성 영상 합성부를 포함한다.

또한, 상기한 본 발명의 다른 목적을 실현하기 위한 하나의 특징에 따른 가상 내시경 방법은, 원시 영상 데이터를 저장하고, 저장된 원시 영상 데이터의 밀도값을 분류하여 가상 내시경을 디스플레이하는 가상 내시경 방법에 있어서,

(a) 상기 3차원 볼륨 데이터로부터 관찰하고자하는 부위에 해당하는 볼륨 렌더링 영상을 생성하는 단계;

(b) 하나의 화면을 분할한 다수의 뷰어상에 상기 생성된 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 각각 디스플레이하는 단계;

(c) 사용자의 조작에 따라 상기 2차원 영상 또는 3차원 볼륨 렌더링 영상 중 어느 하나의 영상에서 경로가 설정됨에 따라 상기 경로 재구성 영상의 디스플레이를 갱신하는 단계;

(d) 사용자의 조작에 따라 카메라의 위치 변경 요청 여부를 체크하는 단계; 및

(e) 상기 카메라 위치 변경 요청이 있는 경우에는 상기 카메라의 위치 변경에 따라 조정된 가상 내시경 영상 데이터를 생성하고, 상기 생성된 가상 내시경 영상 데이터를 근거로 상기 가상 내시경 영상과 상기 2차원 영상을 갱신하는 단계를 포함하여 이루어진다.

여기서, 상기한 카메라는 소정의 시각 벡터를 이용하여 상기 볼륨 렌더링영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 디스플레이하고, 상기 시각 벡터를 조정한 변경 시각 벡터를 이용하여 상기 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 갱신하여 2차원 영상 상에서 3차원적인 영상 효과를 얻는 것이 바람직하다.

또한, 상기한 본 발명의 또 다른 목적을 실현하기 위한 하나의 특징에 따른 가상 내시경 방법을 포함하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체는, 원시 영상 데이터를 저장하고, 저장된 원시 영상 데이터의 밀도값을 분류하여 가상 내시경을 디스플레이하는 방법을 포함하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체에 있어서,

(a) 상기 3차원 볼륨 데이터로부터 관찰하고자하는 부위에 해당하는 볼륨 렌더링 영상을 생성하는 단계;

(b) 하나의 화면을 분할한 다수의 뷰어상에 상기 생성된 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 각각 디스플레이하는 단계;

(c) 사용자의 조작에 따라 상기 2차원 영상 또는 3차원 볼륨 렌더링 영상 중 어느 하나의 영상에서 경로가 설정됨에 따라 상기 경로 재구성 영상의 디스플레이를 갱신하는 단계;

(d) 사용자의 조작에 따라 카메라의 위치 변경 요청 여부를 체크하는 단계; 및

(e) 상기 카메라 위치 변경 요청이 있는 경우에는 상기 카메라의 위치 변경에 따라 조정된 가상 내시경 영상 데이터를 생성하고, 상기 생성된 가상 내시경 영상 데이터를 근거로 상기 가상 내시경 영상과 상기 2차원 영상을 갱신하는 단계를 포함하여 이루어진다.

이러한 가상 내시경 시스템 및 방법과 이를 저장한 컴퓨터가 판독 가능한 기록 매체에 의하면, 3차원 볼륨 데이터에 대한 전처리 과정없이 볼륨 렌더링으로 생성한 영상을 참조 영상으로 사용하며, 상기 참조 영상으로 이용하여 사용자가 쉽게 경로를 설정 및 수정할 수 있고, 카메라의 방향을 2차원상에서 3차원적으로 조절할 수 있다.

그러면, 통상의 지식을 지닌 자가 본 발명을 용이하게 실시할 수 있도록 실시예에 관해 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 가상 내시경 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명에 의한 가상 내시경 시스템은 입력/저장부(10), 내시경 영상 처리부(20), 표시부(30) 및 입력부(40)를 포함하여 이루어진다.

입력/저장부(10)는 3 차원적 위치 함수로서 표현되는 소정의 특성을 가지는 입체적 구조의 각 부분의 위치에 따른 상기 특성을 볼륨 데이터의 형태로 입력받아 이후의 처리를 위하여 저장한다. 예를 들어, CT나 MRI 단면 스캐닝 결과의 집합으로서의 볼륨 데이터를 입력받아 저장하는 경우에는 각각의 측정 장치로부터의 데이터 전송을 받기 위한 접속 하드웨어와 이를 저장하기 위한 하드 디스크나 메모리 소자로 구성될 수 있으며, 이미 측정된 결과를 다른 저장 매체에 저장하여 읽어들이거나 자체의 하드디스크 등의 저장매체에 저장하고 있는 경우에는 그와 같은 시스템 내/외부 저장 장치로부터 데이터를 읽어들여 이를 저장하기 위한 접속 하드웨어와 이를 저장하기 위한 하드 디스크나 메모리 소자로 구성될 수 있음은 자명하다.

내시경 영상 처리부(20)는 참조 영상 처리부(22), 경로 변환부(24) 및 다면 재구성 영상 합성부(26)를 포함하여, 입력/저장부(10)에 저장된 데이터를 기초로 하여 상기한 특성의 공간적 분포를 3차원 영상으로 표시하고 이를 참조 영상으로 표시할 수 있도록 처리하며, 상기 참조 영상 위에 직접 표시된 소정의 경로를 따라 내시경 영상을 생성하며, 이를 표시할 수 있도록 처리한다.

보다 상세히는, 참조 영상 처리부(22)는 입력/저장부(10)에 저장된 볼륨 데이터로부터 3차원 참조 영상을 표시할 수 있도록 처리하고, 입력부(40)를 통하여 내시경 영상을 보고자하는 내부 구조물을 지나는 소정의 경로를 참조 영상 위의 소정의 곡선 데이터의 형태로 입력받아 처리한다.

경로 변환부(24)는 참조 영상 처리부(22)에 입력된 경로로부터 내시경 영상을 보고자하는 내부 구조물의 벽에 해당되는 복셀의 상기 볼륨 데이터 내의 위치를 판단하며, 복셀의 위치에 의해 경로가 실제로 내부 구조물을 통과하는 경로가 될 수 있도록 경로를 정정한다.

다면 재구성 영상 합성부(26)는 경로 변환부(24)에서 얻어진 정정된 경로에 따라 상기한 경로를 포함하는 다면 재구성 영상을 생성한다.

상기한 내시경 영상 처리부(20)는 볼륨 데이터를 계산, 처리하기 위한 수단이며, 일련의 계산 과정을 수행할 수 있는 컴퓨터나 상호 데이터 교환이 가능한 컴퓨터 집합이나 ASIC 등을 통한 구현도 가능함은 자명하다.

표시부(30)는 상기한 참조 영상을 표시하고, 상기한 경로에 따른 내시경 영상을 디스플레이하고, 입력부(40)는 상기한 참조 영상으로부터 사용자가 상기한 경로를 지정할 수 있도록 한다.

도 2는 본 발명에 따른 가상 내시경 시스템의 화면 일례를 도시한다.

도 2를 참조하면, 본 발명에 따른 가상 내시경 시스템의 화면은 3차원 볼륨 렌더링 영상(3D Volume Rendering Image)(100), 2차원 영상(Axial Image)(200), 가상 내시경 영상(Endoscopy Image)(300) 및 경로 재구성 영상(MPR path Image)(400)의 4개의 뷰어(viewer)로 이루어진다. 여기서 볼륨 렌더링(Volume Rendering)이란 3차원 공간의 볼륨 데이터로부터 다양한 응용에 필요한 시각적인 영상 정보를 추출하는 작업을 일컫는다.

디스플레이되는 화면의 3차원 볼륨 렌더링 영상(100)에서 사용자의 조작에 의해 카메라를 설정하면 이에 따라 2차원 영상(200) 및 가상 내시경 영상(300)이 생성되어 이미 디스플레이되는 영상을 갱신한다. 또한, 사용자의 조작에 의해 경로를 설정함에 따라 이에 연동하여 경로 재구성 영상(400)이 생성되어 이미 디스플레이되는 영상을 갱신한다.

또한 디스플레이되는 2차원 영상(200)에서도 사용자의 조작에 의해 카메라를 설정함에 따라 경로 재구성 영상(400)을 생성하여 이미 디스플레이되는 영상을 갱신할 수도 있고, 사용자의 조작에 의해 경로를 설정함에 따라 가상 내시경 영상(300)을 생성하여 이미 디스플레이되는 영상을 갱신할 수도 있다.

그러면, 상기한 각종 영상을 디스플레이하기 위한 동작을 보다 상세히 설명한다.

도 3은 본 발명에 따른 가상 내시경 방법을 설명하기 위한 흐름도이다.

도 2와 도 3을 참조하면, 먼저 CT나 MRI 등의 장치를 통해 얻은 인체 구조물의 스캔 데이터, 즉 원시 영상 데이터를 저장한다(단계 S100).

이어 사용자 조작에 따라 관찰하고자 하는 구조물을 볼 수 있도록 실시간으로 밀도값 분류 등의 분류화 작업(classification)을 실시하고, 불필요한 부분을 삭제하는 방식을 통해 관찰 부위가 명확히 나타나도록 3차원 볼륨 렌더링 영상(100)을 생성한다(단계 S200).

이어 상기한 도 2에서 도시한 4개의 뷰어상에 3차원 볼륨 렌더링 영상(100), 2차원 영상(200), 가상 내시경 영상(300) 및 경로 재구성 영상(400)을 각각 디스플레이한다(단계 S300).

이어 2차원 영상이나 3차원 볼륨 렌더링 영상 상에서 사용자의 조작에 따라 경로 설정 요청이 입력됨에 따라 해당 경로의 설정 동작을 수행한다(단계 S400). 이러한 경로 설정이나 경로 변경은 2차원 영상 상에서 수행될 수도 있으나, 사용자의 편의면에서 3차원 볼륨 렌더링 영상 상에서 사용자가 직접 임의의 직선 또는 곡선의 형태로 설정하는 것이 바람직하다.

또한 3차원 볼륨 렌더링 영상(100)에서 지정한 2차원 포인트가 보고자하는 내부 구조물의 중앙의 포인트로, 즉 3차원 포인트로 매핑(mapping)시켜 설정된 경로에 따른 영상을 생성하여 디스플레이한다(단계 S500). 바람직하게는 도 2에 도시한 경로 재구성 영상(400)을 갱신할 것이다.

이어 사용자의 조작에 따른 카메라 조정이 있는지의 여부를 체크하여(단계 S600), 카메라 조정이 없는 경우에는 단계 S500으로 피드백하여 영상 디스플레이를 계속하고, 카메라 조정이 있는 경우에는 카메라로 조정된 가상 내시경 영상(300)을 생성한다(단계 S700). 이때 조정되는 카메라는 내시경 영상 상에서 움직이는 일종의 가상 카메라, 즉 사용자가 보는 눈의 관점이며, 카메라의 보는 각도를 자유자재로 조절할 수 있다. 이러한 카메라의 자유자재로운 각도에 연동하여 원시 영상 데이터로부터 볼륨 렌더링 영상을 재구성하여 디스플레이한다.

이어 2차원 영상(200)과 가상 내시경 영상(300)을 갱신하여 디스플레이한다(단계 S800).

이어 3차원 볼륨 렌더링 영상(100)을 재조작하는 지의 여부를 체크하여(단계 S900), 3차원 볼륨 렌더링 영상을 재조작한다고 체크되는 경우에는 단계 S200으로 피드백한다.

그러면, 본 발명의 하나의 특징이라 할 수 있는 경로 설정 방법에 대해서 첨부하는 도면을 이용하여 보다 상세히 설명한다.

도 4는 상기한 도 3의 단계 S400을 보다 상세히 설명하기 위한 흐름도이다.

도 4를 참조하면, 2차원 영상 또는 3차원 볼륨 렌더링 영상에서 사용자의 조작에 의해 경로 재구성을 위해 포인트들이 지정됨에 따라(단계 S410), 곡선식의 컨트롤 포인트들을 추가한다(단계 S420).

이어 3차원 곡선의 식을 이용하여 경로를 생성하고(단계 S430), 해당 곡선을따라 가면서 일정 간격, 예를 들어 하나의 복셀 간격씩 진행해가면서 해당 포인트들을 소정의 경로 자료 구조에 저장한다(단계 S440). 상기한 경로 자료 구조에 저장된 각종 포인트들은 재설정되는 경로에 대응하는 데이터들로 이용될 것이며, 이에 응답하여 경로 재구성 영상들이 단계 S500에서 갱신되어 디스플레이될 것이다.

이상에서 설명한 단계 S410에서, 만일 사용자가 가상 내시경 영상이나 경로 재구성 영상을 얻기 위해 참조 영상으로 도 2에 도시한 2차원 영상(200)을 사용하는 경우에는 디스플레이되는 참조 영상, 즉 2차원 영상의 (x,y) 데이터와 함께 어느 복셀에 존재하는 2차원 영상인지를 인식할 수 있기 때문에 z 좌표값까지 인식할 수 있어 전체 볼륨 데이터상의 위치인 3차원 좌표(x,y,z)까지 알 수 있다.

그러나, 만일 사용자가 가상 내시경 영상이나 경로 재구성 영상을 얻기 위해 참조 영상으로 3차원 영상을 사용하는 경우에는 효율적으로 z값을 인식해야 한다.

그러면 본 발명의 다른 하나의 특징이라 할 수 있는 3차원 영상을 참조 영상으로 사용할 때 z값을 인식하는 방법을 보다 상세히 설명한다.

도 5는 상기한 도 4의 단계 S420을 보다 상세히 설명하기 위한 흐름도로서, 특히 3차원 볼륨 렌더링 영상에서 지정한 2차원 포인트가 구조물의 중앙 포인트로 매핑되는 과정을 설명하고, 도 6은 본 발명에 의한 가상 내시경 시스템에서 참조 영상 상에 입력된 한 포인트로부터 실제 내부 기관의 3차원상의 위치를 찾는 과정을 설명하기 위한 도면이다.

도 5와 도 6을 참조하면, 먼저 3차원 볼륨 렌더링으로 디스플레이되는 2차원 영상 상에 사용자의 조작에 따라 마우스가 입력됨에 따라(단계 S4210), 검사할 깊이의 최소값과 최대값을 설정한다(단계 S4220).

이어 시간 역행렬을 곱하여 평면 좌표계의 포인트를 공간 좌표계에서의 포인트로 변환한다(단계 S4230).

이어 상기 설정된 최소 깊이로부터 소정의 광선을 발사한다(단계 S4240). 물론 여기서 발사되는 광선은 물리적인 광선이라기 보다는 가상의 3차원 공간상에서 발사되는 가상의 직선 광선일 것이다.

이어 구조물의 벽에 해당하는 복셀에 만났는지를 체크하여(단계 S4250), 물체의 벽에 해당하는 복셀에 만났다고 체크되는 경우에는 인볼륨포인트(inVolumePoint)에 만난 위치를 기록한다(단계 S4260). 즉, 화면에 입력된 2차원 영상에서 주어진 시각 방향(viewing vector), 또는 카메라 방향을 따라가면서 직선상에 놓여있는 복셀, 즉, 볼륨 데이터를 구성하는 각 단위 부분과 주변의 값들을 체크하여 구조물의 벽에 해당하는 밀도값에 해당하는지를 체크한다.

이어 물체의 벽에 해당하는 복셀에 만났는지를 체크하여(단계 S4270), 물체의 벽에 해당하는 복셀에 만났다고 체크되는 경우에는 아웃볼륨포인트(outVolumePoint)에 만난 위치를 기록한다(단계 S4280).

이어 인볼륨포인트와 아웃볼륨포인트의 중간 포인트 결과를 출력하고, 이를 근거로 볼륨 렌더링 영상에서 입력된 점을 구조물 중앙으로 변환시킬 수 있다(단계 S4290).

상기한 바와 같이, 도 5에서 블랙 복셀은 인체 구조물의 밀도값을 갖는 복셀이고, 화살표 진행 방향의 첫 번째 포인트는 구조물 내부에 진입하기 이전을 나타내고, 두 번째 포인트는 구조물 내부를 나타내고, 세 번째 포인트는 구조물 내부를 바로 통과한 것을 의미한다.

한편, 가상 내시경 시스템으로 내시경 진단을 할 때 주변 구조물에 대한 정보가 있다면 진단에 매우 유용하다. 특히 의료진에서는 구조물의 중앙선을 통과하는 경로를 포함한 재구성 이미지를 원한다.

이러한 의료진의 요구에 응답하여 본 발명의 가상 내시경 시스템에 따르면 경로를 포함한 재구성 이미지를 참조 영상으로 보여준다. 또한 이 영상은 360도로 돌면서 영상을 만들어 주기 때문에 주변 구조물에 대한 정확한 정보를 얻게 해 준다.

도 7은 본 발명에 따른 경로를 포함한 단면 재구성 영상의 생성을 설명하기 위한 도면이고, 도 8은 본 발명에 따른 경로와 평행 또는 수직인 단면 재구성 영상의 생성을 설명하기 위한 도면이다.

도 7 내지 도 8을 참조하면, 직선이나 곡선의 경로를 포함한 다면 재구성 이미지는 사용자의 마우스 조작에 따른 경로 상의 각 포인트에서 사용자가 설정한 일정한 방향으로 한 줄씩의 스캔 라인을 생성하여 영상을 형성할 수 있다. 즉, 3차원 이미지 상에서 단면 영상을 디스플레이할 때 직선에 의해 절단된 영상뿐만 아니라 다양한 형태의 3차원 상의 곡선을 통해 절단된 다면 재구성 이미지를 생성하여 디스플레이할 수 있다. 이때 형성되는 경로 재구성 영상은 구조물의 중앙선을 통과하는 경로를 중심으로 주변 구조물에 대한 정보까지 디스플레이하므로 내시경 진단을 할 때 의료진에게는 매우 요긴하게 이용될 수 있다.

본 발명에 따르면, 가상 내시경 경로를 이용한 다면 재구성 영상을 합성하는데 있어서, 3차원 영상을 관찰하는 방향으로 곡면 재구성(curved planar reformation)을 시행하므로써, 보고자 하는 해부학적 구조물의 전장을 펼쳐 보일 수 있다. 또한, 3차원 영상의 회전에 따라 곡면 재구성 영상이 바뀌도록 하므로써 실질적으로 가상 내시경 경로를 축으로한 곡면 재구성 영상을 회전시킬 수 있다.

또한, 도 8에 도시한 바와 같이, 가상 내시경 관점에서 가상 내시경 경로에 평행한 직선 인터페이스 방식의 단면 재구성의 경우도 가상 내시경 경로의 방향을 축으로 자유롭게 회전시킬 수도 있으며, 가상 내시경 관점에서 가상 내시경 경로에 수직인 직선 인터페이스 방식의 단면 재구성은 가상 내시경 관점의 이동에 따라 이동하면서 관찰하고자 하는 구조물의 수직 단면을 연속적으로 보여줄 수 있게 구현할 수도 있다.

즉, 가상 내시경 관점에서 관찰하고자 하는 구조물의 특성에 따라 적절한 다면 재구성 방법을 선택해서 사용할 수 있도록 함으로써, 가상 내시경 영상 소견을 다면 재구성 영상을 통해 쉽게 이해할 수 있다.

우선 3차원 영상을 관찰하는 방향으로 곡면 재구성(curved planar reformation)을 시행하여 보고자 하는 해부학적 구조물의 전장을 펼쳐 보이는 방법은 다음과 같이 구현된다.

즉, 구조물의 중심을 따라가는 곡선 경로에 대한 정보는 예를 들어, 길이가 1만큼 씩 떨어진 포인트들로서 3차원 좌표값(x,y,z)으로 저장되어 있다. 따라서, 경로 상의 한 포인트와 시각 벡터(viewing vector)를 알고 있으므로 경로 상의 한포인트를 지나는 직선을 따라가면서 곡면 재구성 이미지를 얻는다.

각각의 포인트에서 출발하여 볼륨 데이터의 경계를 벗어날 때까지 방향 벡터를 이용해 전진하면서 픽셀에 해당하는 값을 얻어온다. 한 포인트에 대해 수행하면 재구성 영상의 한 줄을 구한 것이다.

따라서, 모든 3차원 포인트들에 대해서 수행하면 하나의 완전한 재구성 영상이 이루어진다. 도 7은 그 과정을 도시한다.

한편, 도 8과 같이, 경로와 평행 또는 수직인 단면을 재구성하기 위해서는 경로 상의 한 포인트에서의 법선 벡터를 이용한다. 경로를 이루고 있는 각 포인트는 곡선의 식을 미분한 값을 법선 벡터 값으로 가지고 있다. 따라서, 경로상의 한 포인트와 평행인 면을 재구성하기 위해서는 경로 상의 한 포인트와 법선 벡터 상의 한 포인트를 포함한 평면으로 평면 재구성 이미지를 만든다. 이때 평면은 여러 개가 나올 수 있으므로 사용자의 조작으로 평면을 선택하는 것이 바람직할 것이다.

또한, 경로의 한 포인트와 수직인 단면은 한 포인트와 법선 벡터와 수직인 평면이므로 하나의 평면이 결정된다. 따라서 경로 상의 한 포인트를 선택하면 그 포인트에서의 법선 벡터가 평면의 법선 벡터가 되는 평면으로 평면 재구성 이미지를 만들 수 있다.

그러면 본 발명의 또 다른 하나의 특징이라 할 수 있는 2차원 영상 상에서 3차원 영상 효과를 얻을 수 있는 방법을 보다 상세히 설명한다.

도 9는 본 발명에 따른 2차원 영상에서 3차원적 카메라 조정을 설명하기 위한 도면으로, 특히 평면상에서의 방향 조작과 깊이 상에서의 방향 조작을 각각 설명하기 위한 도면이다.

도 9를 참조하면, 2차원 영상이나 볼륨 렌더링 영상으로 만들어진 3차원 영상에 관찰할 위치를 마우스 클릭으로 지정하고, 2차원 영상 및 3차원 영상 각각에서 가상 내시경 시각 방향을 x, y 좌표의 평면 방향과 z 좌표의 깊이 방향까지 조절할 수 있다.

즉, 본 발명에 따르면 관점과 시각 방향이 바뀔 때마다 가상 내시경 영상을 새로 렌더링하여 사용자가 가상 내시경의 위치 선정과 위치 파악을 용이하게 할 수 있어 2차원 영상에서 3차원적인 영상 효과를 얻을 수 있다.

그 조작 방법을 가상 내시경을 이용하는 사용자 관점에서 설명하면 아래와 같다.

현재 카메라의 위치와 방향이 볼륨 렌더링 뷰어와 2차원 단면 영상에서 빨간색으로 표시된다. 이때 카메라의 위치를 바꾸기 위해서는 예를 들어, 왼쪽 마우스를 클릭하고, 방향을 돌리기 위해서는 예를 들어, 오른쪽 마우스를 움직여 결정한다. 그러나 일반적인 2차원 영상을 가상 내시경의 참조 영상으로 이용하는 경우, 2차원 상에서 깊이 방향까지 표시하기는 어렵다.

그러나, 본 발명에 따른 가상 내시경 시스템에서는 도 8에 도시한 바와 같이, z 좌표의 방향 모드까지 바꿀 수 있다. 즉, 화살표를 오른쪽 마우스로 클릭할 때마다 토글식으로 방향 전환 모드가 바뀐다. 즉, 빨간색을 평면 방향으로 파란색은 깊이 방향으로 조절이 가능하다. 빨간색인 경우, 마우스의 움직임에 따라 카메라가 보는 방향과 수직인 평면상에서 방향이 바뀌고, 파란색인 경우에는 카메라가보는 방향 벡터를 포함하는 평면상에서 방향이 바뀌므로 2차원 영상에서 3차원적으로 조작이 가능하다.

도 10은 본 발명에 의한 가상 내시경 시스템의 참조 영상으로 사용되는 3차원 볼륨 렌더링 영상을 도시하며, 특히, 기관지를 내시경하기 위해 3차원 볼륨 렌더링으로 기관지를 가시화한 영상을 도시한 예이다.

도 10을 참조하면, 가상 내시경으로 기관지를 보기 위해 3차원 볼륨 렌더링에서 우선적으로 기관지에 해당하는 밀도값으로 분류화 작업을 하고 기관지를 보이도록 불필요한 부분을 삭제하고 카메라 또는 사용자가 보는 방향을 조절한다.

도 11은 상기한 도 10의 3차원 볼륨 렌더링 영상을 기초로 본 발명에 의한 바람직한 가상 내시경 시스템이 제공하는 화면을 불러낸 예이다.

도 11을 참조하면, 가상 내시경 시스템으로 들어가면 상기 도 2와 같은 4개의 뷰어가 보이고, 각 뷰어에서 카메라의 위치가 빨간 색 포인트로 표시되며, 본 발명의 특징의 하나인 3차원 참조 영상에서 직접 경로를 설정한 예를 보여주고 있다.

사용자의 조작에 의해 경로가 설정되면, MPR path 뷰어에서 경로를 포함한 다면 재구성 영상이 생성된다. 상기 경로를 포함한 다면 재구성 영상에서도 카메라의 위치를 표시한다. 상기 경로를 포함한 다면 재구성 영상의 방향을 바꾸기 위해서는 상기 볼륨 렌더링 영상 뷰어에서 마우스를 이용한다. 이때 재구성 이미지의 방향이 상기 4개의 뷰어 중, 3차원 볼륨 렌더링 뷰어에 파란색 줄로 표시되게 구성한 예이다.

도 12는 본 발명에 의한 바람직한 가상 내시경 시스템에서 상기 도 11에서 사용자가 한번 지정했던 경로를 임의로 수정할 수 있게 하는 기능을 제공하는 화면을 도시한다.

도 12를 참조하면, 경로를 3차원 참조 영상에서 직접 수정하는 과정을 나타내고 있다. 경로 수정은 경로 위에 보여지는 포인트를 마우스를 이용하여 움직이면 된다.

또한, 본 발명에 따른 시스템은 이와 같이 만들어진 경로 위에서 길이를 측정하는 도구를 포함하도록 하여 사용자의 편의를 도모하도록 할 수 있다.

본 발명에 의한 가상 내시경 시스템과 이를 이용한 가상 내시경 방법과 이를 저장한 컴퓨터가 판독 가능한 기록 매체는 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 변형, 응용 가능하며 상기 바람직한 실시예에 한정되지 않는다.

예를 들면, 상기 입력부는 마우스뿐만 아니라 라이트 펜이나 키보드 또는 다종 다양한 입력장치를 사용할 수 있으며, 의료 영상 처리를 위한 시스템뿐만 아니라 자동차, 선박, 건축물 등의 입체적 구조를 가지는 건조물의 설계 및 시공 분야에도 광범위한 응용을 할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 가상 내시경 시스템은 3차원 볼륨 데이터에 대한 전처리 과정이 없이 볼륨 렌더링으로 생성한 영상을 참조 영상으로 사용하며, 상기한 참조 영상으로 이용하여 사용자가 쉽게 경로를 설정하고 수정할 수 있고, 설정된 경로에 따라 MPR 영상을 생성하므로써 구조물 주변에 대한 이해를 보다 쉽게 할 수 있다.

또한, 이상에서 설명한 가상 내시경은 여러 종류의 의료 영상의 통합 환경으로서 고도의 기술력을 종합한 것이며, 본 발명으로 인해 가상 내시경은 더욱 다양한 영상 및 다양한 기술을 포함한 통합 시스템으로 발전할 수 있을 것이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

이상 설명한 바와 같이, 본 발명에 따른 가상 내시경은 환자에게는 비침습적인 것으로써, 고통 없이 장기의 내부를 볼 수 있게 해 준다.

또한 실제 내시경에서는 카메라가 들어가는 방향, 즉 카메라의 전진 방향으로만 장기 내부를 관찰할 수 있으나, 본 발명에 따른 가상 내시경은 카메라가 들어가는 반대 방향, 즉 카메라의 후진 방향으로도 관찰이 가능하므로 진단에 매우 유용하다.

또한, 현재까지는 인터페이스의 비효율성으로서 가상 내시경 시스템의 조작이 어려워서 널리 이용되지 못하고 있었으나, 본 발명에 따르면 사용자가 쉽게 카메라를 조작할 수 있고, 여러 가지 참조 영상을 함께 보여 줌으로서 가상 내시경의 유용성을 더욱 높일 수 있다.

Claims (9)

1. 3 차원적 위치의 함수로서 표현되는 소정의 특성을 가지는 입체적 구조의 각 부분의 위치에 따른 상기 특성을 볼륨 데이터의 형태로 입력받아 이후의 처리를 위하여 저장하기 위한 입력/저장부;

   상기 입력 저장부에 저장된 데이터를 기초로 하여 상기 특성의 공간적 분포를 3차원 영상으로 표시하고 이를 참조 영상으로 표시할 수 있도록 처리하며, 상기 참조 영상위에 직접 표시된 소정의 경로를 따라 내시경 영상을 생성하며, 이를 표시할 수 있도록 처리하는 내시경 영상 처리부;

   상기 참조 영상을 표시하고, 상기 경로에 따른 내시경 영상을 표시하는 표시부; 및

   상기 참조 영상으로부터 사용자가 상기 경로를 지정할 수 있도록 하기 위한 입력부

   를 포함하는 가상 내시경 시스템.
2. 제1항에 있어서,

   상기 내시경 영상 처리부는,

   상기 입력 저장부에 저장된 볼륨 데이터로부터 상기 3차원 참조 영상을 표시할 수 있도록 처리하고, 상기 입력수단을 통하여 내시경 영상을 보고자하는 내부 구조물을 지나는 소정의 경로를 상기 참조 영상 위의 소정의 곡선 데이터의 형태로입력받아 처리하는 참조 영상 처리부;

   상기 참조 영상 처리부에 입력된 상기 경로로부터 내시경 영상을 보고자하는 내부 구조물의 벽에 해당되는 복셀의 상기 볼륨 데이터 내의 위치를 판단하며, 상기 복셀의 위치에 의해 상기 경로가 실제로 내부 구조물을 통과하는 경로가 될 수 있도록 경로를 정정하는 경로 변환부; 및

   상기 경로 변환부에서 얻어진 상기 정정된 경로에 따라 상기 경로를 포함하는 다면 재구성 영상을 생성하는 다면 재구성 영상 합성부를 포함하는 것을 특징으로 하는 가상 내시경 시스템.
3. 원시 영상 데이터를 저장하고, 저장된 원시 영상 데이터의 밀도값을 분류하여 가상 내시경을 디스플레이하는 가상 내시경 방법에 있어서,

   (a) 상기 3차원 볼륨 데이터로부터 관찰하고자하는 부위에 해당하는 볼륨 렌더링 영상을 생성하는 단계;

   (b) 하나의 화면을 분할한 다수의 뷰어상에 상기 생성된 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 각각 디스플레이하는 단계;

   (c) 사용자의 조작에 따라 상기 2차원 영상 또는 3차원 볼륨 렌더링 영상 중 어느 하나의 영상에서 경로가 설정됨에 따라 상기 경로 재구성 영상의 디스플레이를 갱신하는 단계;

   (d) 사용자의 조작에 따라 카메라의 위치 변경 요청 여부를 체크하는 단계; 및

   (e) 상기 카메라 위치 변경 요청이 있는 경우에는 상기 카메라의 위치 변경에 따라 조정된 가상 내시경 영상 데이터를 생성하고, 상기 생성된 가상 내시경 영상 데이터를 근거로 상기 가상 내시경 영상과 상기 2차원 영상을 갱신하는 단계

   을 포함하는 가상 내시경 방법.
4. 제3항에 있어서,

   (f) 사용자의 조작에 따른 볼륨 렌더링 영상의 재조작 요청 여부를 체크하여, 재조작 요청이 있는 경우에는 상기 단계(a)로 피드백하는 단계를 더 포함하는 것을 특징으로 하는 가상 내시경 방법.
5. 제3항에 있어서, 상기 단계(c)는,

   (c-1) 사용자의 조작에 따라 2차원 영상 또는 3차원 볼륨 렌더링 영상에서 포인트가 지정됨에 따라 곡선식의 컨트롤 포인트를 추가하여 3차원 곡선의 식을 생성하는 단계;

   (c-2) 상기 3차원 곡선의 식을 이용하여 곡선 경로를 생성하는 단계; 및

   (c-3) 상기 생성된 곡선 경로를 따라 가면서 일정 간격마다 해당 포인트들을 저장하는 단계를 포함하는 것을 특징으로 하는 가상 내시경 방법.
6. 제5항에 있어서, 상기 단계(c-2)는,

   상기 3차원 볼륨 렌더링 영상을 참조영상으로 이용하는 경우에는 구조물의중앙으로 변환시키는 단계를 더 포함하는 것을 특징으로 하는 가상 내시경 방법.
7. 제6항에 있어서, 상기 구조물의 중앙으로 변환시키는 단계는,

   볼륨 렌더링으로 그려진 2차원 영상에 마우스 입력에 따라 검사할 깊이의 최소값과 최대값을 설정하는 단계;

   시간 역행렬을 곱하여 화면 좌표계의 포인트를 공간 좌표계에서의 포인트로 변환하는 단계;

   상기 설정된 최소 깊이에서 소정의 광선을 발사하는 단계;

   상기 발사된 광선이 물체의 벽에 해당하는 복셀과 1차 만나는 경우에는 해당 위치를 제1 저장하는 단계;

   상기 발사된 광선이 물체의 벽에 해당하는 복셀과 2차 만나는 경우에는 해당 위치를 제2 저장하는 단계; 및

   상기 제1 저장된 위치와 제2 저장된 위치를 근거로 중간 포인트 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 가상 내시경 방법.
8. 제3항에 있어서, 상기 카메라는,

   소정의 시각 벡터를 이용하여 상기 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 디스플레이하고, 상기 시각 벡터를 조정한 변경 시각 벡터를 이용하여 상기 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 갱신하여 2차원 영상 상에서 3차원적인 영상 효과를 얻는 것을특징으로 하는 가상 내시경 방법.
9. 원시 영상 데이터를 저장하고, 저장된 원시 영상 데이터의 밀도값을 분류하여 가상 내시경을 디스플레이하는 방법을 포함하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체에 있어서,

   (a) 상기 3차원 볼륨 데이터로부터 관찰하고자하는 부위에 해당하는 볼륨 렌더링 영상을 생성하는 단계;

   (b) 하나의 화면을 분할한 다수의 뷰어상에 상기 생성된 볼륨 렌더링 영상, 2차원 영상, 가상 내시경 영상 및 경로 재구성 영상을 각각 디스플레이하는 단계;

   (c) 사용자의 조작에 따라 상기 2차원 영상 또는 3차원 볼륨 렌더링 영상 중 어느 하나의 영상에서 경로가 설정됨에 따라 상기 경로 재구성 영상의 디스플레이를 갱신하는 단계;

   (d) 사용자의 조작에 따라 카메라의 위치 변경 요청 여부를 체크하는 단계; 및

   (e) 상기 카메라 위치 변경 요청이 있는 경우에는 상기 카메라의 위치 변경에 따라 조정된 가상 내시경 영상 데이터를 생성하고, 상기 생성된 가상 내시경 영상 데이터를 근거로 상기 가상 내시경 영상과 상기 2차원 영상을 갱신하는 단계

   을 포함하는 프로그램이 저장된 컴퓨터가 판독 가능한 기록 매체.