KR20130112129A

KR20130112129A - 가상 엔도스코프를 이용한 정합 정확도 향상 방법

Info

Publication number: KR20130112129A
Application number: KR1020120034284A
Authority: KR
Inventors: 김철영; 양우석
Original assignee: 주식회사 사이버메드
Priority date: 2012-04-03
Filing date: 2012-04-03
Publication date: 2013-10-14

Abstract

본 개시는 가상 엔도스코프를 이용한 정합 정확도 향상 방법에 있어서, 등록을 행한 후, 엔도스코프 영상을 캡쳐하고, 그레이 스케일 영상 에지 디텍트를 행하고, 에지 포인트를 추출하는 단계; CT 영상 리컨스트럭션하고, 그레이 스케일 영상 2D 프로젝션을 행하고, 그레이 스케일 영상 에지 디특트를 행하고, 에지 포인트를 추출하는 단계; 그리고, 위 두 단계를 통해, ICP Algorithm에 의한 포인트 매칭하는 단계;를 포함하는 것을 특징으로 하는 가상 엔도스코프를 이용한 정합 정확도 향상 방법에 관한 것이다.

Description

가상 엔도스코프를 이용한 정합 정확도 향상 방법{REGISTRATION ACCURACY IMPROVEMENT METHOD USING VIRTUAL ENDOSCOPE}

본 개시(Disclosure)는 전체적으로 가상 엔도스코프를 이용한 정합 정확도 향상 방법에 관한 것이다.

여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).

종래의 기계적 내시경 사용시 삽입에 따른 고통, 고가의 비용, 직경이 작은 부위의 관찰의 어려움 등의 문제점이 있었다. 따라서, 종래의 기계적 내시경 대체 또는 보완할 수 있도록 실제 영상의 3차원 재구성을 통한 내부항해가 가능하며, VR장치와 상호작용을 통한 연동이 이루어지는 가상 내시경 장치가 등장하였다. 하지만 종래의 가상 내시경 장치는 항해시 속도에 문제점이 있었으며, 또한 표면 렌더링에 의한 화질이 훼손되는 문제점이 있었다.

이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.

여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).

본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 가상 엔도스코프를 이용한 정합 정확도 향상 방법에 있어서, 등록을 행한 후, 엔도스코프 영상을 캡쳐하고, 그레이 스케일 영상 에지 디텍트를 행하고, 에지 포인트를 추출하는 단계; CT 영상 리컨스트럭션하고, 그레이 스케일 영상 2D 프로젝션을 행하고, 그레이 스케일 영상 에지 디특트를 행하고, 에지 포인트를 추출하는 단계; 그리고, 위 두 단계를 통해, ICP Algorithm에 의한 포인트 매칭하는 단계;를 포함하는 것을 특징으로 하는 가상 엔도스코프를 이용한 정합 정확도 향상 방법이 제공된다.

도 1은 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법의 일실시예를 나타내는 도면,
도 2는 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법의 다른 일실시예를 나타내는 도면,
도 3은 공간 분할의 예를 나타내는 도면,
도 4는 가상 내시경 항해의 실시예를 나타내는 도면,
도 5는 본 발명에서 적용한 충돌검출 방법의 실시예를 나타내는 도면,
도 6은 본 개시에 따른 가상 엔도스코프를 이용하여 3D 모델을 생성하는 방법의 일 예를 나타내는 도면,
도 7 및 도 8은 본 개시에 따른 가상 엔도스코프를 이용한 정합 정확도 향상 방법의 일 예를 나타내는 도면,
도 9는 본 개시에 따른 스테레오 엔도스코프를 이용한 정합 정확도 향상 방법의 일 예를 나타내는 도면.

이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).

도 1은 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법의 일실시예를 도시한 것이다. MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상들을 취득(acqisition)한다(S110). 상기 취득된 단면영상을 보간(interpolation)과정과 분할(segmentation)과정을 통해 3D 볼륨 데이터를 만들기 전에 필요한 영상의 보간 등의 전처리과정을 거친다(S120). 여기서, 보간(interpolation)이란 영상의 해상도를 높이기 위해 연속되는 영상사이에 현재 시퀀스 영상의 이전과 이후의 차를 구하는 과정으로, 그 차분 영상을 보간한다. 분할(segmentation)은 3차원 볼륨을 생성하기 위해 관심부위 영상의 강도(intensity)에 해당되는 문턱치를 설정하고 문턱치 이상이 되는 값만을 필터링 하는 과정이다. 본 발명에서는 얻어진 3D 볼륨 데이터(S130)로부터 웹 인터페이스(Web interface:10)를 통한 관찰과 영상항해를 위해 VRML 포멧(20)으로 변환이 가능하도록 3D 볼륨 포맷변환이 가능하다. 그리고, 상기 3D 볼륨 데이터를 공간 분할한다(S140). 이러한 과정을 BPS(binary space partitioning)이라 한다. 이 과정이 필요한 이유는 3D 볼륨데이터를 실시간 상호작용 하기에는 너무 크기 때문이며(trachea의 경우 20만 폴리곤 이상의 폴리곤이 존재함), BPS과정은 3차원 polygonal mesh 데이터를 계층적으로 작게 나눈 후, 공간적으로 상관성이 있는 것끼리 계층적인 트리구조를 만드는 과정이다. BPS(binary space partitioning)과정은 다음과 같이 상세히 설명된다. 기본적인 trachea의 3차원 볼륨은 20여만개의 삼각형 매쉬로 구성되는데 각 꼭지점들을 3차원 공간상에서 vertex라 한다. 이러한 vertex들의 공간적인 좌표를 알 수 있으므로 계층적인 sub-tree로 그룹핑할 수 있다. 이때에 트리형태로 구조화가 잘되어 있어야 interaction부여시 각 부분들이 상호 연동되어 하나의 통일된 동작으로 연출하도록 한다. 공간분할 후 2차원 또는 3차원으로 그 내부의 항해가 가능하며(S150) 이때 실시간 항해를 위해 현재의 view point에 나타난 부분만을 렌더링이 된다(S160). 출력장치모듈(output device module:40)은 HMD 또는 모니터이고, 사용자가 영상항해를 위해 사용하는 입력장치(30)는 2D 마우스 또는 가상현실에서 사용하는 스페이스 볼 또는 3차원 마우스 등이 있다.

도 2는 본 발명에 의한 3차원 영상처리방법을 이용한 가상 내시경 진단 방법의 다른 일실시예를 도시한 것이다. MRI, CT, 초음파 등과 같이 단면 영상을 출력하는 장비로부터 출력되는 단면영상들을 취득(acqisition)한다(S210). 상기 취득된 단면영상을 보간(interpolation)과정과 분할(segmentation)과정을 통해 3D 볼륨 데이터를 만들기 전에 필요한 영상의 보간 등의 전처리과정을 거친다(S220). 여기서, 보간(interpolation)이란 영상의 해상도를 높이기 위해 연속되는 영상사이에 현재 시퀀스 영상의 이전과 이후의 차를 구하는 과정으로, 그 차분 영상을 보간한다. 분할(segmentation)은 3차원 볼륨을 생성하기 위해 관심부위 영상의 강도(intensity)에 해당되는 문턱치를 설정하고 문턱치 이상이 되는 값만을 필터링하는 과정이다. 본 발명에서는 얻어진 3D 볼륨 데이터로부터 웹 인터페이스(Web interface:10)를 통한 관찰과 영상항해를 위해 VRML 포멧(20)으로 변환이 가능하도록 3D 볼륨 포맷변환이 가능하다. 상기 전처리 과정을 통해 출력된 영상을 볼륨렌더링을 통해 3차원 볼륨데이터를 생성한다(S230). 3차원 볼륨렌더링(3D volume rendering)은 MIP(maximum intensity projection) 또는 일반적 레이캐스팅 방법으로 3차원 볼륨 데이터를 만드는 방법을 의미한다. 그런데 상기 3차원 볼륨렌더링에 의한 볼륨데이터를 영상항해하려면 상호작용을 위한 공간좌표 데이터가 필요하므로 3차원 표면렌더링(3D surface rendering)을 하게 된다(S240). 상기 3차원 표면렌더링에 의한 3차원 볼륨데이터를 이용하여 항해할 경로를 생성하게 된다(S250). 영상항해 경로 발생(navigation path generation projection)를 위해 3차원표면렌더링으로부터 얻어진 폴리곤 볼륨데이터로부터 항해할 관(tube)의 모든 중심 직경을 수학적으로 계산할 수 있다. 수학적으로 계산된 항해 좌표를 3차원 볼륨 데이터에 적용하여 항해 경로의 중심을 따라서 항해하는 방법을 본 발명에서 적용하였다. 2차원 또는 3차원으로 그 내부의 항해가 가능하며(S260) 이때 실시간 항해를 위해 현재의 view point에 나타난 부분만을 렌더링이 된다(S270). 출력장치모듈(output device module:40)은 HMD 또는 모니터이고, 사용자가 영상항해를 위해 사용하는 입력장치(30)는 2D 마우스 또는 가상현실에서 사용하는 스페이스 볼 또는 3차원 마우스 등이 있다.

도 3은 공간 분할의 예를 도시한 것이다.

도 4는 가상 내시경 항해의 실시예를 도시한 것으로, 인체 기관지 적용의 예이다. 2D/3D 항해(navigation)시에 충돌검출 방법을 적용하였는데 이 방법은 가상내시경 영상항해를 할 때 관찰시점(viewing point)이 인체기관(organ) 내부를 빠져나가지 못하도록 하기 위한 방법이다.

도 5는 본 발명에서 적용한 충돌검출 방법의 실시예를 나타내고 있다. 가상 기관지 내시경의 가상카메라에서 반복적으로 광선을 발사(ray casting)시켜 기관의 내부표면 경계를 탐지하는 기법이다. 만약 탐지가 되면 벽으로 인지하여 탐지된 벽면 방향으로는 관찰시점이 통과될 수 없도록 처리한다. 이와 같은 충돌검출 방법에 의해 인체의 빈 장기(hollow organ)의 영상항해시에 기관의 외부로 이탈하지 않으면서 실제의 내시경처럼 진단이 가능하게 된다.

도 6은 본 개시에 따른 가상 엔도스코프를 이용하여 3D 모델을 생성하는 방법의 일 예를 나타내는 도면으로서, Pituiary Gland, Sella Turcica, Sphenoid Sinus가 도시되어 있고, 3차원 영상 상에서, 이동을 통해, 가상 엔도스코핑을 행하고, 이들로부터 3D 모델을 형성하는 방법이 제시되어 있다.

도 7 및 도 8은 본 개시에 따른 가상 엔도스코프를 이용한 정합 정확도 향상 방법의 일 예를 나타내는 도면으로서, 등록을 행한 후, 엔도스코프 영상을 캡쳐하고, 그레이 스케일 영상 에지 디텍트를 행하고, 에지 포인트를 추출하는 과정과, CT 영상 리컨스트럭션하고, 그레이 스케일 영상 2D 프로젝션을 행하고, 그레이 스케일 영상 에지 디특트를 행하고, 에지 포인트를 추출하는 과정을 통해, ICP Algorithm에 의한 포인트 매칭을 한다.

도 9는 본 개시에 따른 스테레오 엔도스코프를 이용한 정합 정확도 향상 방법의 일 예를 나타내는 도면으로서, 스테레오-엔도스코프 영상과 스테레오-엔도스코프 영상을 광학 정보를 결합하고, Depth-Map을 거쳐, 리컨스트럭티드 3D 영상을 만든다. 한편에서, CT 이미지(MPR), 가상 엔도스코프, Depth-Map를 거쳐, 정합 정확도를 향상시킨다.

S270: 렌더링

Claims

가상 엔도스코프를 이용한 정합 정확도 향상 방법에 있어서,
등록을 행한 후, 엔도스코프 영상을 캡쳐하고, 그레이 스케일 영상 에지 디텍트를 행하고, 에지 포인트를 추출하는 단계;
CT 영상 리컨스트럭션하고, 그레이 스케일 영상 2D 프로젝션을 행하고, 그레이 스케일 영상 에지 디특트를 행하고, 에지 포인트를 추출하는 단계; 그리고,
위 두 단계를 통해, ICP Algorithm에 의한 포인트 매칭하는 단계;를 포함하는 것을 특징으로 하는 가상 엔도스코프를 이용한 정합 정확도 향상 방법.