KR100551201B1 - 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템 - Google Patents

Abstract

본 발명은 치과 훈련생에게 실제와 거의 동일한 물리적 치과 치료 경험을 제공하고 치과 훈련의 성과에 대한 분석 및 평가를 할 수 있는 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템에 관한 것이다. 이를 위해, 본 발명은 치과 훈련생이 치아 치료를 위해 조작하는 햅틱 장치 및 가상 치아 모델을 영상으로 보여주는 그래픽 시뮬레이터로 구성된 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템에 있어서, 상기 햅틱 장치는 치과 훈련생의 조작에 의해 움직이면서 그 움직임을 전기적 신호로 변환하여 상기 그래픽 시뮬레이터에 전달하고, 상기 그래픽 시뮬레이터로부터 반력 정보를 수신하여 그 반력 정보에 따른 힘과 촉감을 치과 훈련생에게 전달하고, 상기 그래픽 시뮬레이터는 상기 햅틱 장치로부터 움직임 신호를 받아 가상 치아 모델과 가상 치과 치료기와의 충돌을 검사하고 충돌 시 볼륨 간접 표면에서 일정한 오프셋(offset)값을 가진 표면을 기준으로 반력 정보를 계산하는 햅틱 렌더링을 수행하고, 화면을 갱신하는 비쥬얼 렌더링을 수행하고, 시뮬레이션 프로세스를 통해 가상 치아 모델의 변형을 실행하여 영상으로 출력하는 것을 특징으로 한다.

Description

볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템{VIRTUAL DENTAL TRAINING AND EVALUATION SYSTEM USING HAPTIC INTERFACE BASED VOLUMETRIC MODEL}

도 1은 본 발명에 의한 치과 치료 훈련 및 평가 시스템의 개략도.

도 2는 햅틱 렌더링을 위한 데이터 모델의 예시도.

도 3은 오프셋 표면을 이용한 충돌 검사 및 반력 계산의 예시도.

도 4는 반력의 크기 및 방향을 계산하는 방법을 설명하기 위한 예시도.

도 5는 스프링 기반의 반력 생성을 나타낸 예시도.

도 6은 오프셋 표면 기반의 연속적인 반력 생성을 나타낸 예시도.

도 7a 내지 도 7f는 본 발명에 의한 치과 치료 훈련 및 평가 시스템을 통해 치과 훈련을 하는 장면을 나타낸 예시도.

** 도면의 주요 부분에 대한 부호 설명 **

100 : 햅틱장치 200 : 그래픽 시뮬레이터

본 발명은 치과 훈련생에게 실제와 거의 동일한 물리적 치과 치료 경험을 제 공하고 치과 훈련의 성과에 대한 분석 및 평가를 할 수 있는 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템에 관한 것이다.

치과 치료 훈련을 받는 치과대 학생들은 능숙하게 치과 치료기를 다루는 방법을 배우고 환자의 치아와 치과 치료기가 접촉할 때의 느낌을 명확히 습득해야지만, 전문적인 치과의사로서 환자들에게 정확한 치과 치료를 할 수 있게 된다. 현재 대부분의 치대생들은 플라스틱 인공치아를 사용하여 치과 치료 훈련을 받는다.

그러나 이러한 치과 치료 훈련은 다음과 같은 많은 단점들을 가지고 있다.

1) 인조 치아 모형(artificial typodont model, fake teeth)은 실제 치아와 치료 과정에서 요구되는 재질을 시뮬레이션 할 수 없다. 물론 여러 재질로 구성된 인공 치아가 있기는 하지만 연습용으로 사용하기에는 너무 비싸다.

2) 인공 치아는 내부 및 외부의 썩은 부위를 적절하게 보여줄 수 없다.

3) 실제 환자들이 가지고 있는 치아의 다양한 구조 및 모양을 플라스틱 인공 치아가 제공할 수 없다.

4) 인조 치아 모형은 학생들의 훈련 성과를 정확하고 객관적으로 정량화할 수 없다.

5) 실체 치료 과정에서 생기는 경험 및 환자로부터의 여러 반응을 시뮬레이션할 수 없다(예를 들어, 치수(dental pulp)를 건드렸을 때의 환자 반응).

6) 충분한 연습을 위해서는 많은 인조 치아를 소비해야 하므로 훈련비용이 많이 들게 된다.

플라스틱 치아를 통한 훈련 외에 다른 방법으로 컴퓨터를 이용한 2차원 이미 지 기반의 치과 시뮬레이션이 있지만, 실제 치료 과정에서 중요한 물리적 경험을 제공할 수 없다는 단점이 있다.

한 편, 최근 컴퓨터가 모터와 기계를 구동하여 사용자로 하여금 힘과 촉감을 느끼게 하는 햅틱스(haptics) 기술이 개발되고 있다. 햅틱스란 '만진다'는 뜻으로 인공촉감 기술을 의미한다. 사람은 시각이나 청각보다 촉감에 훨씬 빠르게 반응하므로, 인공촉감을 출력하는 햅틱 장치가 컴퓨터 및 각종 시뮬레이션 장치에 빠르게 적용될 전망이다.

사람이 햅틱 장치를 통해 가상환경에 개입하면 그에 따라 가상환경 속의 물체가 변형되거나 움직인다. 이때 햅틱 렌더링 기술을 이용해 물체의 성질과 상태, 그리고 사용자의 개입정도에 따라 일어나는 역학적 변화를 계산한다. 그 결과 생성된 힘은 햅틱 장치를 통해 다시 사람에게 전달된다. 이처럼 햅틱 장치는 사람과 컴퓨터가 실시간으로 감각 정보를 주고 받을 수 있게 해준다.

현재 햅틱 시스템은 의학 분야에 가장 유용하게 활용될 것으로 보인다. 사람의 생명을 다루는 의사들은 실제 수술에 들어가기 전에 충분히 훈련을 받아야 한다. 그러나 현재 대부분의 의대에서는 다양한 수술에 대한 시술 훈련이 효율적으로 이루어지지 않고 있다. 게다가 동물수술이나 시체해부만으로는 실제상황을 재현하기 어려운 수술도 많다. 따라서 이러한 현실을 손쉽게 해결할 수 있는 3차원 컴퓨터 영상 기술과 햅틱 기술을 갖는 모의 수술용 훈련시스템이 필요하다. 이런 시스템이 도입되면 컴퓨터 스크린 상에서 3차원의 해부학적 구조를 볼 수 있고, 가상의 환자를 대상으로 환부를 직접 시술할 수 있는 3차원 영상이 실시간으로 컴퓨터 화 면에 나타난다. 여기에 햅틱 장치와 햅틱 렌더링을 통해 힘과 촉감이 전달되면 실제 상황과 큰 차이가 없는 환경을 구현하는 것이 가능해진다.

그러나 이러한 햅틱 기술을 이용한 수술용 훈련시스템은 초보 단계에 있으며, 더욱이 치과 치료 훈련을 위한 햅틱 시스템의 개발은 아직까지 전혀 이루어지고 있지 않다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 치과 훈련생에게 실제와 거의 동일한 물리적 치과 치료 경험을 제공할 수 있는 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템을 제공하는 것을 목적으로 한다.

이를 위해, 본 발명에 의한 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템은, 치과 훈련생이 치아 치료를 위해 조작하는 햅틱 장치 및 가상 치아 모델을 영상으로 보여주는 그래픽 시뮬레이터로 구성된 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템에 있어서,

상기 햅틱 장치는 치과 훈련생의 조작에 의해 움직이면서 그 움직임을 전기적 신호로 변환하여 상기 그래픽 시뮬레이터에 전달하고, 상기 그래픽 시뮬레이터로부터 반력 정보를 수신하여 그 반력 정보에 따른 힘과 촉감을 치과 훈련생에게 전달하고, 상기 그래픽 시뮬레이터는 상기 햅틱 장치로부터 움직임 신호를 받아 가상 치아 모델과 가상 치과 치료기와의 충돌을 검사하고 충돌 시 볼륨 간접 표면에서 일정한 오프셋(offset)값을 가진 표면을 기준으로 반력 정보를 계산하는 햅틱 렌더링을 수행하고, 화면을 갱신하는 비쥬얼 렌더링을 수행하고, 시뮬레이션 프로세스를 통해 가상 치아 모델의 변형을 실행하여 영상으로 출력하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.

도 1은 본 발명의 실시예에 의한 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템의 개략도를 나타낸다.

도 1에 도시된 바와 같이, 치과 치료 훈련 및 평가 시스템은 치과 훈련생이 치아 치료를 위해 조작하는 햅틱 장치(100) 및 가상 치아 모델을 영상으로 보여주는 그래픽 시뮬레이터(200)로 구성되어 있다.

햅틱 장치(100)는 치과 훈련생의 조작에 의해 움직이면서 그 움직임을 전기적 신호로 변환하여 그래픽 시뮬레이터(200)에 전달하고, 그래픽 시뮬레이터(200)로부터 반력 정보를 수신하여 그 반력 정보에 따른 힘과 촉감이 치과 훈련생에게 전달될 수 있도록 한다.

그래픽 시뮬레이터(200)는 햅틱 장치(100)로부터 움직임 신호를 받아 가상 치아 모델과 가상 치과 치료기와의 충돌을 검사하고 충돌 시의 반력을 계산하는 햅틱 렌더링 및 화면을 갱신하는 비쥬얼 렌더링을 수행하고, 시뮬레이션 프로세스를 통해 물리 기반의 가상 치아 모델의 변형(physics-based deformation)을 수행한다. 또한, 가상 치아가 가상 치과 치료기에 의해 깍여질 때의 소리를 실감나게 전달하 기 위해 오디오 렌더링을 수행한다. 여기서 햅틱 렌더링 프로세스는 1KHz 이상의 속도로 충돌 검사 및 반력 계산을 수행하고, 비쥬얼 렌더링 프로세스는 30Hz의 속도로 화면을 갱신한다.

본 발명의 실시예에서는 햅틱 장치(100)로서 SensAble 사의 Phantom을 사용하였고, 이 Phantom을 이용한 볼륨 모델 기반의 데이터 구조를 가진 볼륨 간접 표면(volume implicit surface) 기반의 햅틱 렌더링 알고리즘을 개발하였다.

여기서, 볼륨 모델 기반의 데이터 구조는 일정한 간격으로 나누어진 3차원 그리드(격자) 상의 각 포인트(x, y, z축의 격자가 만나는 점)에 저장되어 있는 샘플링 정보를 말한다. 그리고 볼륨 간접 표면은 볼륨 데이터 구조 안에 저장된 정보 중에서 3차원 물체의 표면을 간접적으로 나타낸 것을 말한다.

도 2는 햅틱 렌더링을 위한 데이터 모델을 나타낸다.

도 2에 도시된 바와 같이, 햅틱 렌더링에 관여하는 포인트들은 볼륨 간접 표면 주변의 일정한 범위 안에 있는 포텐셜값(potential value)들이다. 각 그리드 포인트에는 이 점으로부터 간접 표면까지의 상대적인 거리를 가지고 있는데, 이를 스칼라값으로 나타낸 것이 포텐셜값이다. 즉, 포텐셜값은 각 그리드 포인트에서 3차원 물체로의 표면으로부터 가장 가까운 점까지의 근접도(proximity)를 나타낸다. 예를 들면, 표면 가까이 있는 그리드 포인트는 멀리 떨어져 있는 그리드 포인트보다 상대적으로 큰 값을 갖는다. 또한, 표면을 0으로 하여, 표면 내부에 위치하는 그리드 포인트는 음(-)의 포텐셜값을 갖고, 외부에 위치하는 그리드 포인트는 양(+)의 포텐셜값을 갖는다.

이러한 포인트들을 대상으로 충돌 검사 및 반력 계산을 수행하게 되는데, 종래 햅틱 렌더링 알고리즘에서는 하나의 포인트를 이용하여 충돌 검사 및 반력 계산을 수행하였다. 그러나 치과 치료 훈련 및 평가 시스템에서, 만약 하나의 포인트만을 이용하게 되면 실제 가상 치과 치료기와 가상 치아의 접촉에 따른 반력을 적절하게 생성하지 못하고, 경우에 따라서는 가상 치아의 작은 구멍으로 그 보다 큰 가상 치과 치료기가 저항 없이 들어가 버리기는 경우도 발생하게 된다.

본 발명의 실시예에서는 이러한 문제를 완화하기 위해 적절한 충돌 검사를 수행할 수 있는 방법을 제시한다. 즉, 도 3에 도시된 바와 같이, 원래의 볼륨 간접 표면에서 일정한 오프셋(offset)값을 가진 표면을 정의하여 이 오프셋 표면에서 충돌을 검사하고 반력을 계산함으로써 가상 치아의 원하는 부분에 대하여 정확한 치료를 할 수 있도록 한다.

반력의 방향은 가상 치아 모델의 표면 내부로 침투한 가상 치과 치료기의 위치로부터 계산된 포텐셜값들의 기울기(gradient)에 의해 결정된다.

도 4(a)는 반력의 방향을 계산하는 방법을 나타낸 것이다. 도 4(a)에서, 흑점은 가상 치과 치료기의 위치를 나타낸다. 이 점에서 가장 가까운 표면으로의 방향(가는 실선 화살표)을 계산하고, 이 때 가상 치과 치료기의 위치가 볼륨 셀(육면체) 안에 위치하므로 볼륨 셀 주변의 8개의 그리드 포인트에서 구한 방향(점선 화살표)들을 보간(interpolation)하여 최종적인 반력의 방향(굵은 실선 화살표)을 구한다.

반력의 크기는 가상 치과 치료기의 위치와 이 치과 치료기의 위치에서 계산 된 방향을 따라 이동하여 표면과 만나는 지점(Virtual Contact Point : VCP) 간의 거리에 의해 결정된다. 가상 치과 치료기가 가상 치아 모델의 표면 내부로 침투하면 반력을 통해 보상될 위치는 표면에 있게 되는데, 그 표면 위의 가상점을 VCP(Virtual Contact Point)라고 한다. 본 발명의 실시예에서는 VCP를 구하는데 광선추적법(ray casting)을 이용한다. 즉, 가상 치과 치료기의 물리적 위치(표면 내부)에서 가장 가까운 표면으로 가상의 광선(실제로는 방향을 가진 직선)을 쏘아서 이 광선을 따라 가상 물체의 표면과 만나는 점(VCP)을 구한다. 반력의 크기는 이 VCP와 햅틱 장치의 위치 사이의 거리에 비례한다.

반력의 방향 및 크기가 결정되면, 햅틱 시스템의 안정화를 위해 도 4(b)와 같은 스프링-댐퍼(spring-damper) 모델을 사용하여 최종적인 반력을 계산한다.

최종적인 반력(F_h)은 다음의 수학식(1)과 같다.

여기서, F_h은 힘 벡터(반력), P_c는 VCP의 좌표, P_t은 가상 치과 치료기(햅틱 툴)의 위치 좌표, k는 스프링 경도(spring stiffness), V는 가상 치과 치료기의 움직임 속도, b는 점성계수(viscosity)이다. 스프링 경도는 표면의 딱딱한 정도에 비례하고, 점성계수는 햅틱 시스템의 진동을 방지한다.

수학식(1)에서 알 수 있는 바와 같이, 댐퍼의 영향(V*b)이 고려되어 최종적인 반력정보가 계산된다. 이와 같이 최종적인 반력 정보가 계산되면 이를 햅틱장치(100)에 보내어 햅틱장치(100)를 잡고 있는 치과 훈련생의 손에 힘과 촉감이 전달되도록 한다.

본 발명의 실시예에서는 반력을 계산할 때 가상 치아 모델에 대한 가상 치과 치료기의 침투 위치나 속도 외에, 가상 치아의 내부 속성을 참조한다.

즉, 치아의 경도, 색깔, 충치 부위, 볼륨 형태 등과 같은 각종 내부 속성들을 볼륨 데이터에 미리 저장하여 놓고, 이러한 가상 치아 내부 속성에 대한 정보를 통해, 예를 들어 가상 치과 훈련 시 치과 치료기에 의해 깍여지는 부위의 경도를 계산하여 그 경도에 따라 저항의 세기를 결정하거나, 충치 부위를 모델링하여 치과 훈련생이 얼마나 정확하게 치료를 수행하였는지에 대한 정량적인 분석 및 평가를 할 수 있게 된다. 또한, 치아 내부 구조에 대한 정보를 통해 가상 치과 치료기가 신경이 있는 치수(pulp)를 건드릴 때 환자의 반응을 사운드를 통해 제공함으로써 실감 있는 치료를 할 수 있도록 한다.

일반적으로 비쥬얼 렌더링 속도는 햅틱 렌더링 속도에 비하여 빠르지 않기 때문에 햅틱 시스템에서 도 5와 같이 스프링 기반의 힘을 이용하여 반력을 생성하고 있으나, 치과 치료와 같이 연속적으로 발생하는 힘과 변형되는 표면을 느껴야 하는 시스템에서는 스프링 기반의 방식은 적합하지 않다.

본 발명의 실시예에서는 비쥬얼 렌더링 프로세스와 햅틱 렌더링 프로세스 간의 차이를 적절하게 보간함으로써, 치과 훈련생이 직접 변형되는 표면을 따라 부드러운 반력을 느낄 수 있도록 한다. 도 6에 도시된 바와 같이, 실제 표면이 아닌 오프셋 표면을 기준으로 가상 치과 치료기의 위치에서 상술한 충돌 검사 및 반력 계 산을 통해 치아 치료 시 깍여지는 치아 표면을 부드럽게 햅틱 렌더링할 수 있다.

가상 치과 치료기와 접촉 시 변형되는 가상 치아의 표면을 시뮬레이션하기 위하여 컴퓨터 그래픽 알고리즘이 필요하다. 본 발명에 따른 그래픽 알고리즘에서는 CSG(Constructive Solid Geometry) 방식을 이용하여 치과 치료기에 의해 깍여지는 표면이 계산된다. 이에 따라 변형된 볼륨 데이터는 매번 비쥬얼 프레임에서 메쉬 형태로 바뀌어 사용자에게 표시된다. 이 때 생성되는 메쉬는 모델의 복잡도를 반영하는데, 본 발명의 실시예에서는 복잡한 모델을 적은 폴리곤으로 표현하기 위해 Velho의 비균일 메쉬 생성법(adaptive polygonization method)을 사용하였다. 이를 통해 치과 치료기에 의해 변형되는 치아 표면의 날카로운 모양을 효과적으로 나타낼 수 있다.

도 7a 내지 도 7f는 본 발명에 따른 치과 치료 훈련 및 평가 시스템을 통해 치과 훈련을 하는 장면을 나타낸 것이다.

도 7a는 가상 치아 모델의 볼륨 데이터를 나타내고, 도 7b는 볼륨 데이터로부터 생성된 폴리곤 모델을 나타낸다. 도 7c는 가상 치아 모델과 이에 접촉되어 있는 치과 치료기를 나타내고, 도 7d는 치과 치료기(치과용 드릴 도구)를 이용하여 치아를 깍아낸 것을 나타낸다. 도 7e는 가상 치아 모델에 충치 부위가 있는 것을 나타내고, 도 7f는 충치 부위가 제거된 것을 나타낸다.

상기와 같이, 치과 훈련생이 인공 치아를 통해 치과 치료 훈련을 하지 않아도, 본 발명에 의한 햅틱 시스템을 이용하여 실제 치과 치료기를 잡고 치료하는 것 과 같이 실제와 거의 같은 물리적 치료 경험을 할 수 있는 효과가 있다.

또한, 치과 훈련생의 치료 작업 성과를 분석하여 학생과 지도교수에게 정량적인 데이터를 제공함으로써 치료 작업의 성취도를 빠르고 정확하게 파악할 수 있는 효과가 있다.

Claims (4)

1. 치과 훈련생이 치아 치료를 위해 조작하는 햅틱 장치 및 가상 치아 모델을 영상으로 보여주는 그래픽 시뮬레이터로 구성된 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템에 있어서,

   상기 햅틱 장치는 치과 훈련생의 조작에 의해 움직이면서 그 움직임을 전기적 신호로 변환하여 상기 그래픽 시뮬레이터에 전달하고, 상기 그래픽 시뮬레이터로부터 반력 정보를 수신하여 그 반력 정보에 따른 힘과 촉감을 치과 훈련생에게 전달하고,

   상기 그래픽 시뮬레이터는 상기 햅틱 장치로부터 움직임 신호를 받아 가상 치아 모델과 가상 치과 치료기와의 충돌을 검사하고 충돌 시 볼륨 간접 표면에서 일정한 오프셋(offset)값을 가진 표면을 기준으로 반력 정보를 계산하는 햅틱 렌더링을 수행하고, 화면을 갱신하는 비쥬얼 렌더링을 수행하고, 시뮬레이션 프로세스를 통해 가상 치아 모델의 변형을 실행하여 영상으로 출력하는 것을 특징으로 하는 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템.
2. 제 1항에 있어서,

   상기 그래픽 시뮬레이터는 상기 가상 치아 모델이 상기 가상 치과 치료기에 의해 깍여질 때의 소리를 실감나게 전달하기 위해 오디오 렌더링을 수행하는 것을 특징으로 하는 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평 가 시스템.
3. 제 1항에 있어서,

   상기 그패픽 시뮬레이터는 치아의 경도, 색깔, 충치 부위, 볼륨 형태 등과 같은 각종 내부 속성들을 볼륨 데이터에 미리 저장해 놓고,

   상기 가상 치과 치료기의 위치에서 가장 가까운 오프셋 표면으로의 방향을 구하고, 이 방향과 상기 가상 치과 치료기가 위치하는 그리드 볼륨의 셀 주변의 그리드 포인트에서 구한 방향들을 보간하여 반력의 방향을 계산하고,

   상기 가상 치과 치료기의 위치에서 가장 가까운 오프셋 표면으로 선을 그을 때 그 오프셋 표면과 만나는 점을 구하고, 이 점과 상기 가상 치과 치료기 간의 거리에 비례하는 값으로 반력의 크기를 계산하여,

   상기 저장되어 있는 내부 속성과 상기 계산된 반력의 방향 및 크기를 이용하여 정확한 반력 정보를 계산하는 것을 특징으로 하는 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템.
4. 제 1항에 있어서,

   상기 그래픽 시뮬레이터는 CSG(Constructive Solid Geometry) 방식에 의해 상기 가상 치과 치료기에 의해 깍여지는 표면을 계산하여 볼륨 데이터를 변형하고, 이 변형된 볼륨 데이터를 매번 비쥬얼 프레임에서 메쉬 형태로 바꾸어 영상으로 출력하는 것을 특징으로 하는 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료 훈련 및 평가 시스템.

Images