KR100802137B1

KR100802137B1 - 대장모델 생성 방법, 충돌 검사 방법 및 이를 이용한내시경 시뮬레이션 방법

Info

Publication number: KR100802137B1
Application number: KR1020060068619A
Authority: KR
Inventors: 이두용; 안우진; 우현수; 주재경; 이선영
Original assignee: 한국과학기술원
Priority date: 2006-07-21
Filing date: 2006-07-21
Publication date: 2008-02-12
Also published as: KR20080008838A

Abstract

이 발명은 대장을 촬영한 CT 데이터로부터 중심선 기반 매개변수화 대장모델을 생성하고, 대장내시경 시뮬레이션시 시점위치와 가상 대장모델 내벽과의 충돌을 검사하고, 충돌시 반력을 계산하여 햅틱장치에게 전달하는 방법에 관한 것이다.

이 발명에 따른 내시경 시뮬레이션 방법은, 복수의 CT 데이터를 분석하여, 대장 중심선과 대장 중심선 절점과 각 중심선 절점에 따른 단면곡선 및 대장 표면점을 매개변수화한 중심선 기반 매개변수화 대장모델을 생성하는 대장모델 생성단계와; 햅틱장치의 조작에 따른 가상내시경의 시점위치와 상기 대장모델 내벽과의 충돌을 검사하는 충돌검사단계와; 상기 충돌검사단계에서 충돌이 감지되면, 상기 시점위치를 대장모델 내부로 수정하는 시점위치조정단계와; 상기 충돌검사단계에서 충돌이 감지되면, 상기 충돌에 따른 반력을 계산하는 반력계산단계와; 상기 시점위치조정단계에서 수정된 시점위치에 따른 대장모델 형상을 표시하고 상기 반력계산단계에서 계산된 반력을 상기 햅틱장치에게 제공하는 출력단계를 포함한다.

대장모델, 매개변수, 시뮬레이션, 충돌검사, 햅틱

Description

대장모델 생성 방법, 충돌 검사 방법 및 이를 이용한 내시경 시뮬레이션 방법 {colonoscopy simulator}

도 1은 이 발명에 따른 대장내시경 시뮬레이터를 도시한 기능 블록도,

도 2는 이 발명에 따른 중심선 기반 매개변수화 대장모델 생성 방법을 도시한 동작 흐름도,

도 3은 도 2와 같이 중심선 기반 매개변수화 대장모델 생성 방법의 각 단계별 처리과정을 도시한 도면,

도 4는 도 2의 중심선을 기반으로 표면을 복원하는 과정을 도시한 동작 흐름도,

도 5는 매개변수화된 대장모델을 도시한 도면,

도 6은 여러 개의 단면곡선들이 교차된 상태를 도시한 도면,

도 7은 단면곡선의 교차 문제를 해결하는 방법을 도시한 도면,

도 8은 단면곡선 교차 문제가 해결된 상태를 도시한 도면,

도 9는 펼치진 삼각형 메쉬 구조를 도시한 도면,

도 10은 충돌 검사 과정을 도시한 도면,

도 11은 햅틱 렌더링 과정을 도시한 도면,

도 12는 중심선 기반 매개변수화 대장모델의 와이어프레임(wireframe) 구조의 전체 모양(a)과 내부 모양(b)을 렌더링한 영상을 캡쳐한 사진이다.

< 도면의 주요 부분에 대한 부호의 간단한 설명 >

11 : 햅틱장치 12 : 햅틱 제어부

13 : 그래픽 제어부 14 : 대장모델 생성기

15 : 표시부

이 발명은 대장모델 생성 방법, 충돌 검사 방법 및 이를 이용한 내시경 시뮬레이션 방법에 관한 것으로서, 보다 상세하게는 대장을 촬영한 CT 데이터로부터 중심선 기반 매개변수화 대장모델을 생성하고, 대장내시경 시뮬레이션시 시점위치와 가상 대장모델 내벽과의 충돌을 검사하고, 충돌시 반력을 계산하여 햅틱장치에게 전달하는 방법에 관한 것이다.

최근 의료 시뮬레이션에 대한 연구는 미숙련의사들이 다양하고 복잡한 의료기를 안전하고 효과적으로 익힐 수 있도록 함으로써, 기존의 의료교육을 보완하여 의료과실로 인한 사고를 줄이는 대안 중 하나로 기대되고 있다.

한편, 내외과적 의료시술 중 하나인 대장내시경술은 복부의 절개없이 대장 내 질병을 검사 및 치료하는 시술로서, 환자들의 위험부담을 줄일 수 있지만 의사 는 시야와 움직임이 제한되므로 대장내시경 조작술을 장기간 익혀야만 한다. 이를 위해, 의사가 직접 환자에 대장내시경술을 시술하기 전 대장내시경 조작술을 미리 학습할 수 있도록 하는 대장내시경 시뮬레이션이 필요하게 되었다.

이 대장내시경 시뮬레이션이 의료교육과정에 적용되어 성공적인 역할을 하기 위해서는 가상현실기술을 포함한 다양한 분야의 기술들이 서로 융합되어야 한다. 대장내시경 시뮬레이터에 필요한 기술로는, 환자의 CT(Computerized Tomography) 데이터로부터 대장의 형상을 복원하는 기술, 시술 중 느껴지는 햅틱(haptic) 감각을 재연하는 햅틱장치의 설계 및 제작기술, 그래픽 장치 및 햅틱장치를 통합하여 전체 시스템을 실시간으로 제어할 수 있는 기술, 시뮬레이터의 효용성과 교육적 가치를 검증하는 기술, 대장모델과 대장내시경 사이의 접촉을 실시간으로 정확하게 검사하는 충돌검사 알고리즘 및 접촉이 발생했을 때의 반력을 계산하는 햅틱 렌더링(haptic rendering) 알고리즘 등이 포함된다.

대장내시경 시뮬레이션을 이용하여 대장내시경 조작술을 익히고자 하는 사용자는 환자에게 내시경을 삽입하듯이 햅틱장치를 사용하여 시뮬레이터에 내시경을 삽입한다. 사용자가 햅틱장치를 조작하면, 컴퓨터 프로그램으로 구현된 가상의 대장모델을 모니터에 렌더링함으로써, 실제 대장내시경술과 유사한 환경을 제공한다. 실제 대장내시경술에서 내시경의 카메라 위치 및 방향은 가상환경에서 가상의 대장모델 내부를 보여주는 영상의 시점 및 방향에 대응된다.

햅틱장치로부터 전달되는 신호에 따라 영상의 시점 및 방향이 변하는데, 이때, 가상환경에서 영상의 시점이 대장모델과 충돌하여 대장 바깥으로 벗어날 수 있 다. 대장내시경 시뮬레이터는 영상의 시점이 대장 밖으로 벗어났는가를 정확히 검사하고 이러한 현상을 막기 위해 충돌검사 알고리즘이 요구되고, 충돌이 발생했을 때 햅틱장치를 통해 전달될 반력을 계산하기 위해 햅틱렌더링 알고리즘이 요구된다.

충돌검사 알고리즘은 가상환경에서 두 물체가 충돌할 때, 충돌 여부를 정확하고 빠르게 검사하는 알고리즘으로서, 컴퓨터 과학 및 전산학 분야에서 광범위하게 연구되고 있고, 컴퓨터 애니메이션, 영화, 컴퓨터 게임, 의료 시뮬레이션 등 많은 분야에서 적용되고 있다.

대장내시경 시뮬레이터에서 CT 데이터로부터 복원되는 대장모델은 수만 개의 삼각형으로 이루어지고, 내시경의 조작에 의해 늘어나거나 휘는 변형이 발생한다. 따라서, 대장내시경 시뮬레이션에서 큰 크기를 갖고 심한 변형을 일으키는 대장모델과 햅틱장치를 통해 자유롭게 움직이는 내시경 사이의 충돌검사를 실시간으로 하기 위해서는 메모리 활용면이나 실시간 계산측면에서 효율적인 충돌검사 알고리즘이 필요하다.

종래의 충돌검사 알고리즘은 온라인 계산 속도를 향상시키기 위하여, 시뮬레이션 이전에 가상의 물체에 대한 계층적 경계상자 구조를 구축한다. 경계상자의 종류에는 OBB(Oriented Bounding Box)와 AABB(Axis Aligned Bounding Box)가 있다. OBB는 가상의 물체를 구성하고 있는 각각의 삼각형에 경계상자를 정의하고 이를 계층적인 트리(tree) 구조로 조직화한다. 이 OBB 경계상자의 방향성은 둘러싸고 있는 삼각형 모양에 따라 다르며 삼각형에 최대한 밀접하게 위치한다. AABB 경계상 자는 OBB보다 단순화된 방법으로서, 모든 삼각형을 같은 방향성을 지니는 경계상자에 의해 둘러싸이게 정의한다. 두 경계상자 사이의 충돌검사는 축분리 이론을 통하여 빠르고 효과적으로 계산된다.

한편, 가상의 물체가 크고 복잡한 경우를 다루는 충돌검사 알고리즘으로서, H-COLLIDE 알고리즘이 있다. 이 H-COLLIDE 알고리즘은 가상의 공간을 작고 일정한 영역으로 분할하고 각각의 영역 내부에 있는 삼각형들에 대해 OBB를 사용한 계층적 트리구조를 구축하여 충돌검사를 한다.

종래의 H-COLLIDE 충돌검사 알고리즘은 모델의 기하학적 정보 이외에 계층적 트리구조를 필요로 하기 때문에, 가상의 물체의 크기가 클 때는 많은 양의 메모리 공간이 필요하다. 또한, 가상의 물체가 심하게 변형되면, 시뮬레이션 도중에 계층적 트리구조를 다시 구축해야만 하기 때문에, 실시간 계산을 하기 곤란하다. 따라서, 종래의 충돌검사 알고리즘은 대장내시경 시뮬레이터에 적용하기 곤란하다.

한편, 햅틱렌더링 알고리즘은 충돌 또는 지속적인 접촉이 발생했을 때 사용자에게 전달되는 반력을 계산하는 알고리즘으로서, 가상의 물체 표면 위에서 구속되어 움직이는 GOP(God Object Point) 또는 IHIP(Ideal Haptic Interface Point)를 정의하여 반력의 크기 및 방향을 계산한다. 이 반력을 계산하기 위한 계산량은 두 물체가 처음 충돌하느냐 지속적인 접촉을 유지하느냐에 따라 많은 차이가 난다. 첫 충돌은 물체의 계층적 경계상자 트리구조를 사용하여 검사하기 때문에 비교적 많은 시간이 소요되고, 지속적인 접촉에 대해서는 이전 단계에서 접촉하였던 삼각형의 주변 삼각형으로 검사영역을 제한하기 때문에 계산속도를 높일 수 있다. 대 장내시경 시뮬레이션에서는 시야를 확보하며 대장 내부를 면밀히 검사하기 위해서 지속적인 접촉을 피해야 하고, 지속적인 접촉보다는 충돌이 자주 발생하므로 이를 해결하기 위한 효율적인 햅틱렌더링 알고리즘을 개발할 필요가 있다.

상기한 종래기술의 필요성을 충족시키기 위하여 안출된 이 발명의 목적은, 대장을 촬영한 CT 데이터로부터 중심선 기반 매개변수화 대장모델을 생성하는 방법을 제공하는 데 있다.

또한, 이 발명의 다른 목적은, 대장내시경 시뮬레이터에서 사용자가 내시경에 부착되어 있는 햅틱장치를 이용하여 가상의 대장모델과 인터렉션을 할 때 발생하는 내시경과 대장의 충돌을 효과적으로 검사할 수 있는 충돌 검사 방법을 제공하는 데 있다.

또한, 이 발명의 다른 목적은 햅틱장치를 통해 사용자에게 전달되는 충돌에 의한 반력을 계산하는 햅틱 렌더링 방법을 제공하는 데 있다.

또한, 이 발명의 다른 목적은 새로운 대장모델 생성 방법과 충돌검사 계산방법 및 햅틱 렌더링 방법을 이용하여 실제와 비슷한 대장내시경술 환경을 구현하는 대장내시경 시뮬레이터를 제공하는 데 있다.

상기한 목적을 달성하기 위한 이 발명의 대장모델 생성 방법은, 복수의 CT 데이터를 분석하여 대장영역을 추출하는 제1단계와,

상기 추출된 대장영역을 3차원화하여 3차원 대장모델을 생성하고 상기 3차원 대장모델의 중심선을 추출하는 제2단계와,

상기 중심선을 기반으로 상기 중심선으로부터 외부로 수직 방사되는 선과 상기 3차원 대장모델과의 교차점을 구하여 상기 3차원 대장모델의 표면을 복원하는 제3단계를 포함한 것을 특징으로 한다.

또한, 이 발명의 충돌 검사 방법은, 대장 중심선과 대장 중심선 절점과 각 중심선 절점에 따른 단면곡선 및 대장 표면점을 매개변수화한 대장모델을 이용하여, 가상내시경의 시점위치와 대장모델 내벽과의 충돌을 검사하는 방법에 있어서,

상기 가상내시경의 현재 시점위치와 가장 가까운 대장 중심선의 점을 구하고, 그 점을 근접점으로 정의하는 제1단계와,

상기 근접점을 포함하고 상기 근접점에 이웃하는 중심선 절점까지를 연결한 선분을 유효선분으로 설정하는 제2단계와,

상기 설정된 유효선분을 이루는 중심선 절점 중 근접점에 가까운 점을 유효 절점으로 설정하는 제3단계와,

상기 유효 절점에 따른 단면곡선을 이루는 점들 중 근접점에 가장 가까운 표면점을 구하고, 그 표면점을 유효 표면점으로 정의하는 제4단계와,

상기 유효 표면점을 중심으로 일정 범위 내에 있는 삼각형 그룹을 정의하고, 상기 시점위치와 근접점으로 이루어지는 선분과 상기 삼각형 그룹에 속하는 삼각형들과 교차가 발생하는 지 검사하여 충돌여부를 판단하는 제5단계를 포함한 것을 특징으로 한다.

또한, 이 발명의 대장내시경 시뮬레이션 방법은, 복수의 CT 데이터를 분석하여, 대장 중심선과 대장 중심선 절점과 각 중심선 절점에 따른 단면곡선 및 대장 표면점을 매개변수화한 중심선 기반 매개변수화 대장모델을 생성하는 대장모델 생성단계와;

햅틱장치의 조작에 따른 가상내시경의 시점위치와 상기 대장모델 내벽과의 충돌을 검사하는 충돌검사단계와;

상기 충돌검사단계에서 충돌이 감지되면, 상기 시점위치를 대장모델 내부로 수정하는 시점위치조정단계와;

상기 충돌검사단계에서 충돌이 감지되면, 상기 충돌에 따른 반력을 계산하는 반력계산단계와;

상기 시점위치조정단계에서 수정된 시점위치에 따른 대장모델 형상을 표시하고 상기 반력계산단계에서 계산된 반력을 상기 햅틱장치에게 제공하는 출력단계를 포함한 것을 특징으로 한다.

이하, 첨부된 도면을 참조하며 이 발명의 한 실시예에 따른 대장모델 생성 방법, 충돌 검사 방법, 햅틱 렌더링 방법 및 이를 이용한 내시경 시뮬레이션 방법을 보다 상세하게 설명하면 다음과 같다.

대장내시경술은 선단부에 카메라가 부착된 가늘고 긴 내시경을 환자의 항문으로 삽입하여 대장 내의 질병을 검사하고 용종 등을 제거하는 의료 시술 방법이다. 내시경의 튜브는 내시경이 환자의 항문부터 맹장까지 도달할 수 있도록 길고 휘어짐이 가능하며, 카메라에 의해 촬영된 대장 내부는 모니터를 통해 확대되어 표 시된다. 의사는 대장내시경술을 진행하는 동안 모니터를 바라보면서 내시경을 밀고 당기거나 회전시키며 대장 내부를 검사한다. 또한, 내시경 손잡이에 부착된 두 개의 다이얼노브(dial knob)는 내시경 선단부를 요우(yaw) 및 피치(pitch) 방향으로 구부러뜨릴 수 있어 카메라의 위치 및 방향을 조절할 수 있다.

대장내시경 시뮬레이터는 대장내시경술을 가상으로 체험할 수 있도록 하는 의료교육장비로서, 햅틱장치으로 가상 내시경을 조절하고, 가상 내시경의 시점위치 및 방향에 따라 가상의 대장모델 내부를 영상으로 표시하며, 가상 내시경과 가상 대장모델과의 접촉시 그 반력을 계산하여 햅틱장치에게 전달한다.

이를 보다 상세하게 설명한다.

도 1은 이 발명에 따른 대장내시경 시뮬레이터를 도시한 기능 블록도이다.

대장내시경 시뮬레이터는 햅틱장치(11)와, 햅틱제어부(12)와, 그래픽제어부(13)와, 대장모델 생성기(14)와, 표시부(15)를 포함한다.

햅틱장치(11)는 사용자에게 실제 대장내시경술에서처럼 내시경을 조작할 수 있게 하고 대장모델과의 접촉에 의해 반력을 느끼도록 한다. 햅틱장치(11)는 2 자유도의 장치를 사용하며, 가상 내시경의 삽입 또는 당김에 대한 직선방향의 자유도와 가상 내시경의 시계방향 또는 반시계방향의 회전에 대한 자유도를 관장한다. 두 개의 자유도는 기계적으로 분리되어 있어 각각 독립적으로 제어가 가능하도록 설계된다. 각각의 자유도에 해당하는 기구부에는 변위를 측정하기 위한 엔코더(encoder)와 사용자에게 반력을 전달하기 위한 액츄에이터(actuator)가 장착된다.

햅틱제어부(12)는 햅틱장치(11)에 부착되어 있는 각종 센서에서 측정되는 전 기적 신호의 처리, 햅틱장치(11)의 액츄에이터에서 발생하는 힘과 토크의 제어, 햅틱장치(11)의 기계적인 마찰을 보상한다. 햅틱장치(11)에는 엔코더, 힘/토크 센서, 벤딩(bending) 센서, 공기주입센서, 지글링센서 등이 포함되는데, 햅틱제어부(12)는 이러한 각종 센서에서 측정되는 전기적 신호를 처리한다.

햅틱제어부(12)는 햅틱장치(11)의 엔코더 신호를 감지하여 가상 내시경의 직선방향 및 회전방향으로의 위치를 변화시키는데, 이때 직선방향 변위는 밀리미터 단위로 환산하고 회전방향 변위는 라디안 단위로 환산한다.

햅틱제어부(12)는 햅틱장치(11)의 힘/토크 센서로부터 감지신호를 입력받아, 사용자가 가상 내시경을 삽입하거나 회전시켰을 때의 힘과 토크의 세기를 측정하고, 햅틱장치(11)의 기계적인 마찰을 보상한다.

햅틱장치(11)에는 다이얼노브의 조작에 의한 내시경의 선단부의 구부러짐을 측정하기 위해 벤드(bend) 센서가 부착되는데, 이 벤드(bend) 센서는 선단부의 요우방향과 피치방향의 구부러짐을 측정한다. 햅틱제어부(12)는 이 벤드 센서로부터 이 구부러짐 측정값을 입력받아, 가상 내시경에 의해 촬영되는 대장모델 내부의 위치 및 방향을 결정하는데 사용된다.

햅틱제어부(12)는 햅틱장치(11)에 부착된 공기주입센서의 신호로부터 대장모델 내부에 공기를 넣거나 빼는 조작이 이루어지는 지를 감지하여, 시뮬레이션에 반영한다.

햅틱장치(11)의 지글링(Jiggling) 센서는 대장내시경술에 사용되는 중요한 술기 중 하나인 지글링 모션을 측정하는 센서로서, 사용자가 가상 내시경을 흔들면 그 흔들림을 감지한다. 햅틱제어부(12)는 지글링 센서에서 감지된 흔들림을 주파수 신호로 변환하여 지글링에 의한 효과를 시뮬레이션에 반영한다.

이와 같이 햅틱제어부(12)는 햅틱장치(11)의 각종 센서로부터 측정된 값들을 그래픽 제어부(13)에게 제공하며, 그래픽 제어부(13)는 사용자가 햅틱장치(11)를 조작하는 것에 따라 가상내시경모델과 대장모델의 상태를 갱신한다.

그래픽 제어부(13)는 실제 대장내시경술에서 내시경의 카메라에 찍힌 대장 내부의 영상을 모니터에 출력하는 것과 같은 역할을 한다. 대장모델 생성기(14)는 시뮬레이션이 시작되기 전에 환자의 CT 데이터로부터 가상의 삼차원 대장모델을 생성한다.

그래픽 제어부(13)는 실제 대장내시경에서의 화면과 유사한 대장 내부의 영상을 얻기 위하여 조명효과, 텍스처 맵핑 등의 그래픽 기술을 이용하여 대장모델을 렌더링한다. 그래픽 제어부(13)는 충돌 검사 알고리즘과 햅틱 렌더링 알고리즘을 수행하는데, 충돌 검사 알고리즘은 가상내시경의 시점위치와 대장모델이 충돌했는지를 검사하고, 햅틱 렌더링 알고리즘은 충돌이 일어났을 때의 반력을 계산한다.

햅틱제어부(12)는 실제감이 높고 안정성을 보장하는 햅틱 감각을 제시하기 위해 300Hz 이상의 고주파 타이머를 사용하며, 그래픽 제어부(13)는 25Hz의 저주파 타이머를 사용한다. 각각 다른 두 개의 다른 갱신률을 갖는 그래픽 제어부(13)와 햅틱제어부(12)는 윈도우 기반의 비주얼 C++ 프로그램밍 언어가 제공하는 공유메모리맵을 통하여 데이터 교환이 실시간으로 동기화되어 이루어지도록 한다. 즉, 햅틱제어부(12)의 각종 센서에서 측정된 값들이 공유메모리맵에 쓰여지고 그래픽 제 어부(13)에서는 이 값을 읽어들여 대장모델 렌더링, 충돌검사, 반력계산에 이용한다. 또한, 그래픽 제어부(13)에서 계산된 반력은 공유메모리맵에 쓰여지고 햅틱제어부(12)는 이 값을 읽어들여 햅틱장치(11)의 액츄에이터를 제어하여 사용자에게 반력을 전달한다.

이 발명은 위와 같은 구조의 대장내시경 시뮬레이터에서의 대장모델 생성기(14)의 대장모델 생성 방법과, 그래픽제어부(13)에서 수행되는 충돌 검사 방법 및 햅틱 렌더링 방법을 제안한다.

먼저, 대장모델 생성기(14)의 대장모델 생성 방법에 대해 설명한다.

대장모델 생성기(14)에서 생성되는 대장모델은 중심선 기반 매개변수화 대장모델로서, 이 발명에서 제시하는 충돌검사 및 햅틱렌더링 알고리즘을 위하여 대장의 기하학적 정보인 표면점들을 대장의 중심선과, 중심선에 수직한 단면들의 원주 방향으로 정렬시키고 이를 매개변수화하여 표현한다. 이로써, 충돌 검사 및 햅틱 렌더링에 사용되는 대장의 표면을 이루는 삼각형은 별도의 계층적 트리 구조없이 시점위치 주변의 매개변수 값들에 의해 제한되어 검사될 수 있다.

도 2는 이 발명에 따른 중심선 기반 매개변수화 대장모델 생성 방법을 도시한 동작 흐름도이다.

먼저, 대장모델 생성기는 환자의 복부를 스캔한 CT 데이터를 입력받아(S21), 분석하여 대장만을 추출한다(S22). 다음, 추출된 대장을 3차원화한(S23) 후 중심선 추출 알고리즘을 이용하여 3차원 대장모델의 중심선을 추출한다(S24). 다음, 추출된 중심선은 B-스플라인을 이용하여 부드럽게 재조정한다(S25). 마지막으로, 이 중심선을 기반으로 하여 대장의 표면을 복원하여(S26) 중심선기반 매개변수화 대장모델을 생성한다.

도 3은 도 2와 같이 중심선 기반 매개변수화 대장모델 생성 방법의 각 단계별 처리과정을 도시한 도면이다.

도 4는 도 2의 중심선을 기반으로 표면을 복원하는 과정을 도시한 동작 흐름도이다.

먼저, 대장의 중심선 위에 일정한 간격으로 분포하는 중심선 절점을 정의한다(S41). 다음, 각각의 중심선 절점에서 중심선에 수직한 단면을 구한다(S42). 다음, 이 수직단면 내에서 중심선 절점에 시작점을 두고, 0도부터 360도까지 일정한 각도 간격으로 외부로 방사되는 직선들을 구한다(S43). 이 방사되는 직선들은 대장의 경계와 만나게 되는데, 이 교차점이 바로 대장의 표면점으로서 이 표면점들이 단면곡선 S(i)를 형성하게 된다(S44).

이 단면곡선 S(i)은 모든 중심선 절점 C(i)에 대해 구해지고 단면곡선 내의 점들은 v(i,j)로 정의된다. 즉, 표면점에 대해서 중심선 방향 매개변수 i와 원주방향 매개변수 j로 매개변수화한다(S45).

표면점을 매개변수화하는 과정을 식으로 표현하면 아래의 수학식 1과 같다.

여기서, n_c는 대장중심선 절점의 개수이고, n_θ는 단면곡선을 이루는 점의 개 수이다. 도 5는 매개변수화된 대장모델을 도식화한 것이다.

다음, 단면곡선의 교차문제를 해결한다(S46).

대장의 중심선에 수직한 단면을 이용하여 단면곡선을 생성하면, 대장의 곡률이 작은 경우에는 단면곡선들이 서로 교차하지 않으나, 대장의 곡률이 큰 경우, 즉 대장이 부분적으로 심하게 꼬여있는 경우에는 도 6에 도시된 바와 같이 여러 개의 단면곡선들이 교차되는 문제점이 발생한다.

이 발명은 이러한 문제점을 해결하기 위하여, 단면곡선의 교차문제를 해결하는 방법을 제안한다. 이 단면곡선의 교차 문제 해결 방법을 도 7을 참조하며 설명한다.

먼저, 모든 중심선 절점 C(i)에 대해서, C(i)와 가까운 대장 표면점들을 구한다. 즉, 다른 중심점 절점과의 거리보다 C(i)와의 거리가 가까운 대장 표면점들을 모두 구하고 이 점들의 집합을 R(i)로 정의한다. 도 7의 경우, C(i) 주변의 음영화된 영역에 포함된 대장 표면점들의 집합이 R(i) 이다.

다음, 모든 C(i)에 대해서, 중심선에 수직한 단면곡선 S(i)를 구한다.

다음, S(i)에 의해 정의된 대장 표면점 v(i,j)가 R(i)에 포함되면 교차가 발생하지 않은 것으로 가정하고, S(i)에 의해 정의된 대장 표면점 v(i,j)가 R(i)에 포함되지 않으면 교차가 발생한 것으로 가정한다.

교차가 발생한 경우, 원주방향 매개변수 j를 갖고 상호 교차된 표면점들의 중심선 방향 매개변수를 구한다. 도 7에서는 원주방향 매개변수 j를 갖는 표면점들이 중심선 방향 매개변수 s부터 e까지 교차한 경우를 예로 든 것이다. 이렇게 교차된 영역을 구한 후, v(i,j)를 v(s,j)와 v(e,j)를 i-s와 e-i의 비로 내분하는 점 v'(i,j)로 수정한다.

단면곡선 교차 문제 해결 방법이 적용된 결과의 대장모델이 도 8에 도시된다.

다음, 이 단면곡선 교차 문제를 해결한 후 최종적으로 구해진 대장 표면점을 연결하여 삼각형 메쉬(mesh)로 표현한다(S47). 각각의 삼각형은 매개변수 i와 j에 의해서 표현되며 메쉬는 도 9 및 수학식 2와 같이 상삼각형(T^U) 집합과 하삼각형(T^L) 집합으로 구성된다. 펼쳐진 상태에서 원주방향 매개변수 n_θ+1과 1은 대장모델에서는 같은 값으로서 메쉬는 대장과 같은 실린더형태를 이루게 된다.

이로써, CT데이터로부터 중심선 기반 매개변수화 대장모델이 얻어진다.

사용자가 햅틱장치를 이용하여 가상내시경을 조작하면, 그래픽 제어부는 가상내시경의 시점위치와 가상의 대장모델의 충돌 여부를 검사한다.

도 10은 중심선 기반 매개변수화 대장모델을 이용한 대장 충돌 검사 방법을 도시한 도면이다.

도 10을 참조하며, 중심선 기반 매개변수화 대장모델을 이용하여 가상내시경의 시점위치와 대장모델 내벽과의 충돌을 검사하는 방법을 설명한다.

먼저, 도 10의 (a)에 도시된 바와 같이 현재의 시점위치와 가장 가까운 대장 중심선의 점을 구하고, 그 점을 근접점으로 정의하며, 그 근접점을 포함하고 그 근접점에 이웃하는 중심선 절점까지를 연결한 선분을 유효선분으로 설정한다.

다음, 도 10의 (b)에 도시된 바와 같이 유효선분을 이루는 중심선 절점 중 근접점에 가까운 점을 유효 절점으로 설정한다.

다음, 도 10의 (c)에 도시된 바와 같이 유효 절점에 해당하는 단면곡선을 이루는 점들 중 근접점에 가장 가까운 표면점을 구하고, 그 표면점을 유효 표면점으로 정의한다.

다음, 도 10의 (d)에 도시된 바와 같이 유효 표면점에 해당하는 원주 방향 및 중심선 방향 매개변수를 중심으로 일정 범위 내에 있는 매개변수 값들로 이루어진 삼각형 그룹을 정의한다. 시점위치와 근접점으로 이루어지는 선분과 삼각형 그룹에 속하는 삼각형들과 교차가 발생하는 지 검사하여 충돌여부를 판단한다. 즉, 교차가 발생한 경우 충돌이 일어난 것이고 그렇지 않은 경우에는 충돌이 발생하지 않은 것이다.

일단, 도 10의 절차를 통해 초기 충돌 검사를 실시한 후 다음 시간에서의 충돌 검사를 할 경우에는, 이전 시간에 구해진 유효 절점과 유효 표면점을 기준으로 현재 시간에서의 유효 절점과 유효 표면점을 구한다. 즉, 현재 시간에서 유효 표면점을 구하기 위해 전체 표면점을 모두 검사하는 것이 아니라 이전 시간의 유효 표면점 주변의 일정 영역 안에 있는 표면점들에 한정하여 검사함으로써, 계산의 효율성을 높인다.

시점위치와 대장과의 충돌이 발생하면, 시점위치를 대장 외부에서 내부로 조정한다. 즉, 시점위치와 근접점으로 이루어지는 선분과 유효 삼각형 그룹에 속하는 삼각형들과 교차점을 새로운 시점위치로 설정한다. 그리고, 그래픽 제어부는 충돌에 따른 반력을 계산한다.

도 11은 충돌에 의한 반력을 계산하여 햅틱장치에게 전달하기 위한 햅틱 렌더링 방법을 설명하기 위한 도면이다.

도 11에서 P₁, P₂, P₃, P₄는 각각 시점위치의 실제 이동경로이고, C₁, C₂, C₃, C₄는 충돌 검사 방법을 적용하여 구해진 근접점들이다. 도 11에서는 시점위치가 P₂, P₃일 때, 충돌이 발생하게 된다. 그러나, 이 시점위치 P₂, P₃는 대장 외부에 위치하므로 대장 내부로 그 시점위치를 수정하는 절차를 거친다. 도면에서, P₂', P₃'는 대장 밖으로 벗어난 P₂, P₃의 수정된 시점위치를 나타낸다. 이 점은 그래픽 제어부에서 대장 내부를 랜더링하기 위한 시점위치로 사용된다. 충돌에 의한 반력은 충돌깊이에 상수를 곱한 값으로 계산되며, 시점이 P₂일 때의 반력은 P₂P₂'의 길이에 비례한다. 따라서, 원래 시점위치와 수정된 시점위치간 거리를 구하고 그 거리에 비례하는 반력을 계산하여 햅틱장치에게 제공한다.

도 12는 중심선 기반 매개변수화 대장모델의 와이어프레임(wireframe) 구조 의 전체 모양(a)과 내부 모양(b)을 렌더링한 영상을 캡쳐한 사진이다. 이 대장모델은 가로세로 256픽셀로 이루어진 358장의 CT 데이터를 대장모델 생성기로부터 복원한 결과이다. 중심선 절점의 개수는 1052개이고, 단면곡선을 이루는 점의 개수는 36개이며, 전체 삼각형의 개수는 75,744개이다. 도 12의 대장모델은 대장의 부위별 특징적 윤상의 모습을 잘 반영하여 대장내시경을 시뮬레이션하는데 충분하다는 전문의의 확인이 있었다.

충돌검사를 위한 종래의 계층적 경계상자 알고리즘은 임의의 형상을 갖는 물체에 적용할 수 있는 방법이다. CT 데이터에 충실하여 인체 장기를 자세하게 3차원으로 복원하는 방법 중에 대표적으로 마칭큐브(Marching cubes) 알고리즘이 있는데, 도 12의 대장모델에서 사용된 CT 데이터와 같은 조건의 대장을 복원할 경우 373,364개의 삼각형이 생성된다. 이와 같이 많은 삼각형으로 이루어지고 큰 공간을 차지하는 물체의 경우에는 경계상자를 효과적인 계층적 구조로 조직화하는 것이 어렵고, 시간이 많이 소요될 뿐만 아니라 많은 메모리를 차지하게 된다. 중심선 기반 매개변수화 대장모델을 이용한 충돌검사 알고리즘은 종래의 방법과는 달리 각각의 표면점에 두 개의 정수형 매개변수만을 할당할 뿐 그 외의 데이터 구조를 요구하지 않는다.

계층적 경계상자 알고리즘을 이용한 충돌검사는 대상이 되는 물체가 시뮬레이션되는 동안 큰 변형을 일으키면 데이터 구조를 다시 계산해야 한다. 물체가 작은 경우에는 실시간으로 데이터 구조를 갱신할 수 있지만, 데이터 양이 많은 대장모델의 경우에는 이러한 시뮬레이션이 불가능하다. 계층적 경계상자 알고리즘은 표면점이 크게 이동하더라도 매개변수는 처음 구한 값에서 변함이 없으므로 중심선 기반의 충돌검사 알고리즘을 대장의 변형과 상관없이 동일하게 적용할 수 있다.

아래 표 1은 중심선 기반 매개변수화 대장모델과 계층적 경계상자 알고리즘의 계산 복잡도를 비교한 표이다. 첫 충돌과 지속적인 접촉에 대해서 두 방법의 차이를 비교하였다. m은 전체 삼각형의 개수이고, n은 이전 단계에서 충돌이 발생하였던 삼각형 주변의 소수의 삼각형 개수이다. 중심선 기반 충돌검사 알고리즘은 두 종류의 충돌상태와 상관없이 일정한 계산 복잡도를 가지며, 여기서 n은 유효 삼각형 그룹의 삼각형 개수와 일치한다.

	이 발명의 중심선 기반 매개변수화 대장 모델	계층적 경계상자 알고리즘
첫 충돌	O(n)	O(log m)
지속적인 접촉	O(n)	O(n)

위에서는 이 발명의 주요한 기술적 사상을 인체장기 중 하나인 대장에 한정하여 설명하고 있으나, 이 발명은 이에 한정되지 아니한 바, 실린더 형태의 다른 실체장기(식도, 혈관, 요도 등)에도 적용할 수 있다. 예컨대, 식도내시경, 혈관내시경, 요도내시경 시뮬레이션에서 대상이 되는 인체 장기는 대장과 같은 실린더 형태이므로 이 발명의 중심선 기반 매개변수화 모델 생성방법과 충돌 검사 방법 및 햅틱 렌더링 방법을 적용할 수 있다.

이상에서 이 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 이 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 이 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 이 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

이상과 같은 이 발명에 따르면, 가상내시경과 대장모델간 충돌을 실시간으로 효과적으로 검사하고 그에 따른 반력을 피드백하여 완벽한 내시경 시뮬레이션을 제공함으로써, 미숙련의사들이 다양한 복잡한 의료 술기를 안전하고 효과적으로 익힐 수 있는 환경을 제공할 수 있다.

Claims

복수의 CT 데이터를 분석하여 대장영역을 추출하는 제1단계와,

상기 추출된 대장영역을 3차원화하여 3차원 대장모델을 생성하고 상기 3차원 대장모델의 중심선을 추출하는 제2단계와,

상기 중심선을 기반으로 상기 중심선으로부터 외부로 수직 방사되는 선과 상기 3차원 대장모델과의 교차점을 구하여 상기 3차원 대장모델의 표면을 복원하는 제3단계를 포함한 것을 특징으로 하는 대장모델 생성 방법.
제 1 항에 있어서, 상기 제2단계에서 추출된 3차원 대장모델의 중심선에 B-스플라인을 적용하여 부드럽게 재조정한 후 상기 제3단계를 수행하는 것을 특징으로 하는 대장모델 생성 방법.
제 1 항에 있어서, 상기 제 3 단계는,

상기 3차원 대장모델의 중심선 위에 일정한 간격으로 분포하는 다수의 중심선 절점을 정의하는 제1소단계와,

상기 다수의 중심선 절점에 대해 상기 중심선에 수직한 단면을 구하여 수직단면으로 정의하는 제2소단계와,

상기 각 수직단면 내에서 중심선 절점에 시작점을 두고, 0도부터 360도까지 일정한 각도 간격으로 외부로 방사되는 직선들을 구하는 제3소단계와,

상기 방사되는 직선들과 상기 3차원 대장모델의 경계와 만나는 교차점을 대장 표면점으로 정의하고 상기 대장 표면점들로 이루어진 단면곡선을 정의하는 제4소단계와,

상기 단면곡선을 이루는 대장 표면점들에 대해서 중심선 방향 매개변수 i와 원주방향 매개변수 j로 매개변수화하는 제5소단계와,

상기 단면곡선들 중 교차되는 단면곡선들이 교차되지 않도록 처리하는 제6소단계와,

상기 제6소단계를 통해 얻어진 대장 표면점을 연결하여 삼각형 메쉬(mesh)로 표현하는 제7소단계를 포함한 것을 특징으로 하는 대장모델 생성 방법.
제 3 항에 있어서, 상기 제5소단계는,

아래의 수식을 이용하여 대장 표면점을 매개변수화하는 것을 특징으로 하는 대장모델 생성 방법.

[수식]

여기서, v(i,j)는 임의의 단면곡선 내의 표면점들이고, i는 중심선 방향 매개변수이고, j는 원주방향 매개변수이고, n_c는 대장 중심선 절점의 개수이고, n_θ는 단면곡선을 이루는 점의 개수이다.
제 3 항에 있어서, 상기 제6소단계는,

모든 중심선 절점 C(i)에 대해서, 다른 중심점 절점과의 거리보다 C(i)와의 거리가 가까운 대장 표면점들을 모두 구하고 이 점들의 집합을 R(i)로 정의하고,

모든 C(i)에 대해서, 대장 중심선에 수직한 단면곡선 S(i)를 구하고,

상기 S(i)에 의해 정의된 대장 표면점 v(i,j)가 상기 R(i)에 포함되는지 여부를 판단하여 교차 발생 여부를 판단하고,

교차가 발생한 경우 상기 v(i,j)의 원주방향 매개변수 j에 대해 교차된 대장 표면점들의 중심선 방향 매개변수(s부터 e)를 구하고,

상기 v(i,j)를 v(s,j)와 v(e,j)를 'i-s'와 'e-i'의 비로 선형 내분하는 점 v'(i,j)로 수정하는 것을 특징으로 하는 대장모델 생성 방법.
제 3 항에 있어서, 상기 제7소단계는,

상기 삼각형은 매개변수 i와 j에 의해 표현되고, 상기 메쉬는 아래의 수식과 같이 상삼각형(T^U) 집합과 하삼각형(T^L) 집합으로 이루어지며, 실린더 형태를 이루어는 것을 특징으로 하는 대장모델 생성 방법.

[수식]

여기서, 여기서, v(i,j)는 임의의 단면곡선 내의 표면점들이고, i는 중심선 방향 매개변수이고, j는 원주방향 매개변수이고, n_c는 대장 중심선 절점의 개수이고, n_θ는 단면곡선을 이루는 점의 개수이고, n_θ+1의 위치와 1의 위치는 같다.
대장 중심선과 대장 중심선 절점과 각 중심선 절점에 따른 단면곡선 및 대장 표면점을 매개변수화한 대장모델을 이용하여, 가상내시경의 시점위치와 대장모델 내벽과의 충돌을 검사하는 방법에 있어서,

상기 가상내시경의 현재 시점위치와 가장 가까운 대장 중심선의 점을 구하고, 그 점을 근접점으로 정의하는 제1단계와,

상기 근접점을 포함하고 상기 근접점에 이웃하는 중심선 절점까지를 연결한 선분을 유효선분으로 설정하는 제2단계와,

상기 설정된 유효선분을 이루는 중심선 절점 중 근접점에 가까운 점을 유효 절점으로 설정하는 제3단계와,

상기 유효 절점에 따른 단면곡선을 이루는 점들 중 근접점에 가장 가까운 표 면점을 구하고, 그 표면점을 유효 표면점으로 정의하는 제4단계와,

상기 유효 표면점을 중심으로 일정 범위 내에 있는 삼각형 그룹을 정의하고, 상기 시점위치와 근접점으로 이루어지는 선분과 상기 삼각형 그룹에 속하는 삼각형들과 교차가 발생하는 지 검사하여 충돌여부를 판단하는 제5단계를 포함한 것을 특징으로 하는 충돌 검사 방법.
제 7 항에 있어서,

상기 유효 절점과 유효 표면점은 이전 시간에 구해진 유효 절점과 유효 표면점 주변의 일정 영역 안에 있는 유효 절점과 표면점들에 한정하여 구하는 것을 특징으로 하는 충돌 검사 방법.
복수의 CT 데이터를 분석하여, 대장 중심선과 대장 중심선 절점과 각 중심선 절점에 따른 단면곡선 및 대장 표면점을 매개변수화한 중심선 기반 매개변수화 대장모델을 생성하는 대장모델 생성단계와;

햅틱장치의 조작에 따른 가상내시경의 시점위치와 상기 대장모델 내벽과의 충돌을 검사하는 충돌검사단계와;

상기 충돌검사단계에서 충돌이 감지되면, 상기 시점위치를 대장모델 내부로 수정하는 시점위치조정단계와;

상기 충돌검사단계에서 충돌이 감지되면, 상기 충돌에 따른 반력을 계산하는 반력계산단계와;

상기 시점위치조정단계에서 수정된 시점위치에 따른 대장모델 형상을 표시하고 상기 반력계산단계에서 계산된 반력을 상기 햅틱장치에게 제공하는 출력단계를 포함한 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 9 항에 있어서, 상기 대장모델 생성단계는,

복수의 CT 데이터를 분석하여 대장영역을 추출하는 제1단계와,

상기 추출된 대장영역을 3차원화하여 3차원 대장모델을 생성하고 상기 3차원 대장모델의 중심선을 추출하는 제2단계와,

상기 중심선을 기반으로 상기 중심선으로부터 외부로 수직 방사되는 선과 상기 3차원 대장모델과의 교차점을 구하여 상기 3차원 대장모델의 표면을 복원하는 제3단계를 포함한 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 10 항에 있어서, 상기 제2단계에서 추출된 3차원 대장모델의 중심선에 B-스플라인을 적용하여 부드럽게 재조정한 후 상기 제3단계를 수행하는 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 10 항에 있어서, 상기 제 3 단계는,

상기 3차원 대장모델의 중심선 위에 일정한 간격으로 분포하는 다수의 중심선 절점을 정의하는 제1소단계와,

상기 다수의 중심선 절점에 대해 상기 중심선에 수직한 단면을 구하여 수직단면으로 정의하는 제2소단계와,

상기 각 수직단면 내에서 중심선 절점에 시작점을 두고, 0도부터 360도까지 일정한 각도 간격으로 외부로 방사되는 직선들을 구하는 제3소단계와,

상기 방사되는 직선들과 상기 3차원 대장모델의 경계와 만나는 교차점을 대장 표면점으로 정의하고 상기 대장 표면점들로 이루어진 단면곡선을 정의하는 제4소단계와,

상기 단면곡선을 이루는 대장 표면점들에 대해서 중심선 방향 매개변수 i와 원주방향 매개변수 j로 매개변수화하는 제5소단계와,

상기 단면곡선들 중 교차되는 단면곡선들이 교차되지 않도록 처리하는 제6소단계와,

상기 제6소단계를 통해 얻어진 대장 표면점을 연결하여 삼각형 메쉬(mesh)로 표현하는 제7소단계를 포함한 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 12 항에 있어서, 상기 제5소단계는,

아래의 수식을 이용하여 대장 표면점을 매개변수화하는 것을 특징으로 하는 내시경 시뮬레이션 방법.

[수식]

여기서, v(i,j)는 임의의 단면곡선 내의 표면점들이고, i는 중심선 방향 매개변수이고, j는 원주방향 매개변수이고, n_c는 대장 중심선 절점의 개수이고, n_θ는 단면곡선을 이루는 점의 개수이다.
제 12 항에 있어서, 상기 제6소단계는,

모든 중심선 절점 C(i)에 대해서, 다른 중심점 절점과의 거리보다 C(i)와의 거리가 가까운 대장 표면점들을 모두 구하고 이 점들의 집합을 R(i)로 정의하고,

모든 C(i)에 대해서, 대장 중심선에 수직한 단면곡선 S(i)를 구하고,

상기 S(i)에 의해 정의된 대장 표면점 v(i,j)가 상기 R(i)에 포함되는지 여부를 판단하여 교차 발생 여부를 판단하고,

교차가 발생한 경우 상기 v(i,j)의 원주방향 매개변수 j에 대해 교차된 대장 표면점들의 중심선 방향 매개변수(s부터 e)를 구하고,

상기 v(i,j)를 v(s,j)와 v(e,j)를 'i-s'와 'e-i'의 비로 선형 내분하는 점 v'(i,j)로 수정하는 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 12 항에 있어서, 상기 제7소단계는,

상기 삼각형은 매개변수 i와 j에 의해 표현되고, 상기 메쉬는 아래의 수식과 같이 상삼각형(T^U) 집합과 하삼각형(T^L) 집합으로 이루어지며, 실린더 형태를 이루어는 것을 특징으로 하는 내시경 시뮬레이션 방법.

[수식]

여기서, 여기서, v(i,j)는 임의의 단면곡선 내의 표면점들이고, i는 중심선 방향 매개변수이고, j는 원주방향 매개변수이고, n_c는 대장 중심선 절점의 개수이고, n_θ는 단면곡선을 이루는 점의 개수이고, n_θ+1의 위치와 1의 위치는 같다.
제 9 항에 있어서, 상기 충돌검사단계는,

상기 가상내시경의 현재 시점위치와 가장 가까운 대장 중심선의 점을 구하고, 그 점을 근접점으로 정의하는 제1단계와,

상기 근접점을 포함하고 상기 근접점에 이웃하는 중심선 절점까지를 연결한 선분을 유효선분으로 설정하는 제2단계와,

상기 설정된 유효선분을 이루는 중심선 절점 중 근접점에 가까운 점을 유효 절점으로 설정하는 제3단계와,

상기 유효 절점에 따른 단면곡선을 이루는 점들 중 근접점에 가장 가까운 표면점을 구하고, 그 표면점을 유효 표면점으로 정의하는 제4단계와,

상기 유효 표면점을 중심으로 일정 범위 내에 있는 삼각형 그룹을 정의하고, 상기 시점위치와 근접점으로 이루어지는 선분과 상기 삼각형 그룹에 속하는 삼각형들과 교차가 발생하는 지 검사하여 충돌여부를 판단하는 제5단계를 포함한 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 16 항에 있어서,

상기 유효 절점과 유효 표면점은 이전 시간에 구해진 유효 절점과 유효 표면점 주변의 일정 영역 안에 있는 유효 절점과 표면점들에 한정하여 구하는 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 16 항에 있어서, 상기 시점위치조정단계는,

상기 제5단계의 상기 시점위치와 근접점으로 이루어지는 선분과 상기 삼각형 그룹에 속하는 삼각형들과 교차하면, 상기 시점위치를 상기 교차하는 점으로 수정하는 것을 특징으로 하는 내시경 시뮬레이션 방법.
제 18 항에 있어서, 상기 반력은 상기 시점위치와 상기 수정된 시점위치간 거리에 비례하는 것을 특징으로 하는 내시경 시뮬레이션 방법.