KR102362149B1 - 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법 - Google Patents

Abstract

본 발명은 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법에 관한 것으로, 척추 수술과 같이 임플란트 수술 시, 실제 카메라 영상에 임플란트가 식립될 위치에 대한 임플란트 가이드 모델과 상기 임플란트를 식립할 드라이버를 가상화하여 표시하고, 상기 임플란트 가이드 모델과 상기 표시한 드라이버 간의 관계정보를 포함하는 수술정보를 가시화하여 상기 카메라 영상에 실시간으로 표시함으로써, 임플란트 수술의 편의성과 정확성을 제공하는 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법에 관한 것이다.

Description

임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법{AUGMENTED REALITY TOOL FOR PERFORMING IMPLANT OPERATION AND METHOD FOR VISUALIZING INFORMATION THEREOF}

본 발명은 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법에 관한 것으로, 더욱 상세하게는 척추 수술과 같이 임플란트 수술 시, 실제 카메라 영상에 임플란트가 식립될 위치에 대한 임플란트 가이드 모델과 상기 임플란트를 식립할 드라이버를 가상화하여 표시하고, 상기 임플란트 가이드 모델과 상기 표시한 드라이버 간의 관계정보를 포함하는 수술정보를 가시화하여 상기 카메라 영상에 실시간으로 표시함으로써, 임플란트 수술의 편의성과 정확성을 제공하는 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법에 관한 것이다.

최근 산업기술과 영상처리 기술의 급격한 발달로 인해 실제 영상에 가상의 영상을 정합하여 디스플레이하는 증강현실(augmented reality)에 대한 대중의 관심이 집중되고 있다.

증강현실은, 카메라로 촬영된 실제 영상에 가상의 사물이나 정보 등을 정합하여, 상기 가상의 사물이나 정보가 마치 실제 영상에 존재하는 것처럼 보이도록 하는 영상처리 기술을 의미한다.

이러한 증강현실은 실제 환경을 유지한 상태에서, 실제 환경에 가상의 환경을 정합하여 증강된 실제 환경을 제공함으로서, 보다 향상된 몰입감과 현실감을 제공할 수 있는 장점이 있다.

한편, 척추 수술과 같이 임플란트를 특정 부위에 식립(삽입)하는 임플란트 수술은 매우 높은 정확도를 요구하는 외과 수술 중의 한 분야이다. 이러한 임플란트 수술은 상기 임플란트를 정확한 위치에서 정확한 방향으로 식립하는 것이 매우 중요한다.

최근의 임플란트 수술은, 엑스레이 촬영 장치를 지속적으로 가동하여 드라이버를 통해 임플란트를 식립하는 과정을 일일이 확인하면서 진행되는 것이 일반적이다. 그러나 엑스레이 촬영 장치를 이용하는 경우에는 방사선에 지속적으로 노출되는 문제점이 있다.

이러한 문제점을 해결하기 위해, 최근에는 환자의 의료영상(예: CT 영상)을 토대로 임플란트가 식립될 위치에 대한 환부의 3차원 영상을 생성하고, 실제 환자의 수술 영상에 상기 생성한 3차원 영상을 정합함으로써, 증강현실을 기반으로 임플란트 수술을 지원할 수 있도록 하는 증강현실 기반 임플란트 수술 시스템이 개발되어 상용화되고 있다.

그러나 종래의 증강현실 기반 임플란트 수술 시스템은, 상기 생성한 3차원 영상을 실제 수술 영상에 투영하여, 해당 환자의 환부를 증강하는 것에 그칠 뿐이며, 임플란트가 식립될 위치에 대한 정보만을 증강현실로 제공하고 있기 때문에, 실질적으로 임플란트 수술을 집도하는 의사가 임플란트에 대한 식립 방향과 위치를 실시간으로 직접 인지해야하는 문제점이 있다.

이와 같은 문제점을 해결하기 위해, 본 발명에서는 실제 수술 영상인 카메라 영상에 임플란트가 식립될 위치에 대한 임플란트 가이드 모델과, 상기 임플란트를 식립할 드라이버를 가상화하여 표시하고, 상기 임플란트 가이드 모델과 상기 드라이버 간의 각도, 거리, 임플란트 식립 방향의 일치여부 등을 포함하여, 상기 임플란트 가이드 모델과 상기 임플란트 수술이 진행됨에 따라 이동하는 드라이버 간의 관계정보를 포함하는 수술정보를 가시화함으로서, 임플란트 수술을 위한 증강현실을 실시간으로 제공하여 임플란트 수술에 대한 편의성과 정확성을 제공할 수 있도록 하는 방안을 제안하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허 제2019-0058190호(2019.05.29.)는 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법에 관한 것으로, 환자의 수술 대상 뼈의 2차원 의료 영상 정보로부터 생성되는 3차원 의료 영상을 사전에 설정한 임계값을 기준으로 필터링하여 AR 영상을 생성하고, 상기 생성한 AR 영상에 임플란트의 스크류가 고정될 위치정보를 표시하여, 해당 AR 영상을 수술대상 뼈 상에 투영되도록 하는 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법에 관한 것이다.

즉 상기 선행기술은, 단순히 수술 대상 뼈에 해당하는 AR 영상을 수술 대상 뼈에 정합하고, 스크류가 고정될 위치정보를 표시하는 것으로, 종래의 증강현실 기반 임플란트 수술 시스템의 문제점을 여전히 극복하지 못하고 있다.

반면에 본 발명은, 임플란트가 식립될 위치와 식립 방향을 가이드하기 위한 임플란트 가이드 모델과, 상기 임플란트를 식립할 드라이버를 가상화하여 실제 카메라 영상에 가시화하고, 임플란트 수술이 진행됨에 따라 이동되는 상기 가시화한 드라이버를 실시간으로 추적하여, 상기 가시화한 드라이버의 이동에 따라 변화되는 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 관계정보를 상기 카메라 영상에 실시간으로 가시화함으로써, 임플란트 수술에 대한 편의성과 정확성을 제공할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.

또한 한국등록특허 제1647467호(2016.08.04.)는 증강현실을 이용한 외과 수술용 3D 안경 시스템에 관한 것으로, 인체에 삽입되는 수술 대상물과, 상기 수술 대상물을 삽입하기 위한 수술 기구에 센서를 부착하여, 상기 수술 대상물과 수술 기구에 대한 위치정보를 수신하여, 기존에 생성한 인체 내부의 3D 모델에 상기 수술 대상물 및 수술 기구에 대한 3D 모델을 상기 수신한 각 위치정보에 따라 표시하고, 상기 인체 내부의 3D 모델을 인체의 실제 영상에 중첩하여 표시함으로써, 증강현실 기반의 외과 수술을 수행할 수 있도록 하는 증강현실을 이용한 외과 수술용 3D 안경 시스템에 관한 것이다.

상기 선행기술은, 센서로부터 수신되는 위치정보에 따라 인체 내부에서 이동되는 수술 대상물과, 수술 기구를 증강현실로 표시하는 것일 뿐, 본 발명과 같이 임플란트가 식립될 위치에 대한 임플란트 가이드 모델을 가시화하고, 상기 임플란트를 식립할 드라이버를 가상화하여 가시화한 후, 상기 가시화한 드라이버의 이동에 따라 변화되는 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 관계정보를 증강현실로 실시간으로 제공하는 것이 아니므로, 상기 선행기술과 본 발명은 현저한 차이점이 있음이 분명하다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 척추 수술과 같은 임플란트 수술을 증강현실 기반으로 수행할 수 있도록 지원하는 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은, 상기 임플란트 수술을 증강현실 기반으로 수행할 때, 임플란트의 식립을 포함하는 수술정보를 가시화하여 임플란트 수술의 편의성과 정확성을 제공하는 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은, 상기 임플란트 수술시, 카메라 영상에 상기 임플란트가 식립도리 위치에 방향을 가이드하기 위한 임플란트 가이드 모델과, 임플란트를 식립할 드라이버를 가상화하여 실제 카메라 영상에 표시하고, 상기 임플란트 가이드 모델과 상기 드라이버 간의 관계정보를 가시화하여 상기 카메라 영상에 실시간으로 표시함으로써, 상기 임플란트 수술을 용이하게 수행할 수 있도록 하는 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법을 제공하는 것을 그 목적으로 한다.

이때, 상기 관계정보는, 임플란트 수술에 대한 수술정보를 의미하는 것으로, 상기 가시화한 드라이버의 이동에 따라 상기 가시화한 드라이버와, 상기 가시화한 임플란트 가이드 모델 사이에서 시시각각으로 변화되는 각도, 거리, 식립 방향 일치 여부에 대한 정보 등을 포함한다.

또한 본 발명은, 상기 카메라 영상에 상기 임플란트가 식립될 환자의 환부를 3차원 가상 객체로 보여주면서 증강현실을 통한 임플란트 수술이 가능하도록 하는 임플란트 수술을 위한 증강현실 도구의 사용자 경험(UX, user experience)을 제공하는 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 일 실시예에 따른 임플란트 수술정보 가시화 방법은, 임플란트 수술시 사용하는 실물 드라이버를 가상화하는 드라이버 가상화 단계, 상기 가상화한 드라이버를 상기 실물 드라이버와 결합하여 가시화하는 드라이버 가시화 단계, 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하는 임플란트 가이드 모델 가시화 단계 및 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 각도를 표시하는 각도 상태 가시화 단계를 포함하는 것을 특징으로 한다.

또한 상기 드라이버 가시화 단계는, 상기 실물 드라이버에 구비되는 적어도 하나 이상의 증강현실 마크를 인식하여 상기 실물 드라이버의 이동을 추적하고, 상기 추적한 결과에 따라 상기 가상화한 드라이버를 상기 실물 드라이버에 실시간으로 결합함으로써, 상기 가상화한 드라이버를 가시화하며, 상기 실물 드라이버를 가상화하는 것은, 상기 실물 드라이버에 대한 몸체 부분을 얇고 긴 실린더로 모델링하고, 상기 실물 드라이버의 스크류 부분을 짧고 두꺼운 실린더로 모델링함으로써, 수행되는 것을 특징으로 한다.

또한 상기 각도 상태 가시화 단계는, 상기 가시화한 임플란트 가이드 모델의 상부에 상기 가시화한 드라이버의 방향과 상기 임플란트의 식립 방향을 서로 다른 색깔의 선분으로 표시하여, 상기 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 각도 상태를 가시화하여, 상기 각도를 표시하며, 상기 표시한 각도가 사전에 설정한 임계 각도를 초과하는지에 대한 여부에 따라 상기 가시화한 드라이버의 방향에 대한 선분의 색깔을 상이하게 표시하여, 상기 각도 상태를 가시화함으로써, 상기 가시화한 드라이버의 방향과 상기 임플란트의 식립 방향에 대한 일치 여부를 표시하는 것을 특징으로 한다.

또한 상기 임플란트 수술정보 가시화 방법은, 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 거리를 표시하는 거리 가시화 단계를 더 포함하며, 상기 거리 가시화 단계는, 상기 가시화한 드라이버에 대한 끝점과 상기 가시화한 임플란트 가이드 모델의 상부 중앙점을 선분으로 연결하여, 상기 표시한 거리가 사전에 설정한 거리 임계값을 초과하는지에 대한 여부에 따라 상기 연결한 선분의 색깔을 상이하게 표시하여, 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 근접한 정도를 가시화하며, 상기 임플란트 가이드 모델은, 상기 임플란트 수술의 대상이 되는 객체에 투영된 3차원 가상 객체에서, 상기 임플란트가 식립될 위치에 가시화되는 것을 특징으로 한다.

또한 상기 임플란트 수술정보 가시화 방법은, 상기 임플란트가 식립될 때, 상기 임플란트가 식립되는 환부에 대한 MPR(Multi Planar Reconstruction) 뷰에, 상기 가시화한 드라이버에 대한 선분과, 상기 가시화한 드라이버에 대한 끝점을 표시하고, 상기 표시한 각도가 변화됨에 따라 상기 표시한 드라이버에 대한 선분의 색깔을 상이하게 표시하여 카메라 영상의 일측에 출력함으로서, MPR 뷰 기반으로 상기 환부의 내부에 대한 구조와 상기 환부의 내부에서 상기 임플란트가 식립되는 상태를 확인할 수 있도록 하는 식립 상태 출력 단계, 상기 실물 드라이버에 구비되는 카메라를 통해 획득되는 드라이버 뷰에, 상기 표시한 각도, 상기 가시화한 드라이버로부터 상기 가시화한 임플란트 가이드 모델로의 방향, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델간의 거리, 상기 임플란트의 식립 방향 또는 이들의 조합을 이들의 조합을 상기 가시화한 드라이버를 시점으로, 가시화하여 상기 카메라 영상의 일측에 출력하는 드라이버 뷰 출력 단계를 더 포함하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구는, 임플란트 수술시 사용하는 실물 드라이버를 가상화하는 드라이버 가상화부, 상기 가상화한 드라이버를 상기 실물 드라이버와 결합하여 가시화하는 드라이버 가시화부, 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하는 임플란트 가이드 모델 가시화부 및 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 각도를 표시하는 각도 상태 가시화부를 포함하는 것을 특징으로 한다.

또한 상기 드라이버 가시화부는, 상기 실물 드라이버에 구비되는 적어도 하나 이상의 증강현실 마크를 인식하여 상기 실물 드라이버의 이동을 추적하고, 상기 추적한 결과에 따라 상기 가상화한 드라이버를 상기 실물 드라이버에 실시간으로 결합함으로써, 상기 가상화한 드라이버를 가시화하며, 상기 실물 드라이버를 가상화하는 것은, 상기 실물 드라이버에 대한 몸체 부분을 얇고 긴 실린더로 모델링하고, 상기 실물 드라이버의 스크류 부분을 짧고 두꺼운 실린더로 모델링함으로써, 수행되는 것을 특징으로 한다.

또한 상기 각도 상태 가시화부는, 상기 가시화한 임플란트 가이드 모델의 상부에 상기 가시화한 드라이버의 방향과 상기 임플란트의 식립 방향을 서로 다른 색깔의 선분으로 표시하여, 상기 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 각도 상태를 가시화하여, 상기 각도를 표시하며, 상기 표시한 각도가 사전에 설정한 임계 각도를 초과하는지에 대한 여부에 따라 상기 가시화한 드라이버의 방향에 대한 선분의 색깔을 상이하게 표시하여, 상기 각도 상태를 가시화함으로써, 상기 가시화한 드라이버의 방향과 상기 임플란트의 식립 방향에 대한 일치 여부를 표시하는 것을 특징으로 한다.

또한 상기 임플란트 수술을 위한 증강현실 도구는, 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 거리를 표시하는 거리 가시화부를 더 포함하며, 상기 거리 가시화부는, 상기 가시화한 드라이버에 대한 끝점과 상기 가시화한 임플란트 가이드 모델의 상부 중앙점을 선분으로 연결하여, 상기 표시한 거리가 사전에 설정한 거리 임계값을 초과하는지에 대한 여부에 따라 상기 연결한 선분의 색깔을 상이하게 표시하여, 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 근접한 정도를 가시화하며, 상기 임플란트 가이드 모델은, 상기 임플란트 수술의 대상이 되는 객체에 투영된 3차원 가상 객체에서, 상기 임플란트가 식립될 위치에 가시화되는 것을 특징으로 한다.

또한 상기 임플란트 수술을 위한 증강현실 도구는, 상기 임플란트가 식립될 때, 상기 임플란트가 식립되는 환부에 대한 MPR(Multi Planar Reconstruction) 뷰에, 상기 가시화한 드라이버에 대한 선분과, 상기 가시화한 드라이버에 대한 끝점을 표시하고, 상기 표시한 각도가 변화됨에 따라 상기 표시한 드라이버에 대한 선분의 색깔을 상이하게 표시하여 카메라 영상의 일측에 출력함으로서, MPR 뷰 기반으로 상기 환부의 내부에 대한 구조와 상기 환부의 내부에서 상기 임플란트가 식립되는 상태를 확인할 수 있도록 하는 식립 상태 출력부, 상기 실물 드라이버에 구비되는 카메라를 통해 획득되는 드라이버 뷰에, 상기 표시한 각도, 상기 가시화한 드라이버에서 상기 가시화한 임플란트 가이드 모델로의 방향, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리, 상기 임플란트의 식립 방향 또는 이들의 조합을 이들의 조합을 상기 가시화한 드라이버를 시점으로 가시화하여 상기 카메라 영상의 일측에 출력하는 드라이버 뷰 출력 단계를 더 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법은, 임플란트 식립을 위해 임플란트 수술시 사용하는 실물 드라이버를 가상화하고, 상기 임플란트를 식립할 위치와 식립 방향을 가이드 하기 위한 임플란트 가이드 모델을 카메라의 실제 영상에 표시하여, 증강현실을 기반으로 임플란트 수술을 용이하게 수행할 수 있도록 하는 효과가 있다.

또한 본 발명은, 임플란트 수술을 집도하는 집도의의 수술 진행에 따라 이동하는 드라이버를 실시간으로 추적하여, 상기 표시한 임플란트 가이드 모델과, 상기 가상화하여 표시한 드라이버 간의 각도정보, 거리정보, 식립 방향 일치 여부에 대한 정보 등을 포함하는 관계정보에 대한 수술정보를 증강현실로 실시간으로 표시하여 임플란트 수술의 편의성과 정확성을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실을 상세하게 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 각도 상태를 가시화하는 과정을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 가시화한 드라이버와 가시화한 임플란트 가이드 모델 간의 각도에 따른 각도 상태를 가시화한 도면이다.
도 5는 본 발명의 일 실시예에 따른 MPR 뷰를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 드라이버 뷰를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구의 구성을 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구를 통해 임플란트 수술정보를 가시화하는 과정을 나타낸 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법을 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구(100)는, 척추 수술이나 치아 수술과 같이 임플란트를 식립하기 위한 임플란트 수술을 진행할 때, 상기 임플란트를 식립할 환자의 실제 환부를 실시간으로 촬영하여 획득되는 카메라 영상(즉, 수술 영상)에, 상기 환부에 대하여 생성한 3차원 가상 객체를 투영하고, 상기 임플란트를 식립할 위치와 방향을 가이드 하기 위한 임플란트 가이드 모델과 상기 임플란트를 식립할 도구인 드라이버를 가시화하고, 상기 가시화한 임플란트 가이드 모델과 상기 가사화한 드라이버 간의 관계정보를 포함하는 수술정보를 실시간으로 가시화함으로써, 상기 임플란트 수술을 증강현실로 수행할 수 있도록 하는 사용자 경험(user experience, UX)을 제공하는 기능을 수행한다.

한편, 상기 3차원 가상 객체는, 의사(즉, 임플란트 수술 집도의)가 상기 환자에 대한 임플란트 수술을 사전에 계획할 때, 상기 환자의 CT (computed tomography) 데이터를 토대로 상기 환자의 실제 환부(예: 척추 등)와 같은 크기의 모양을 가지도록 생성한 가상의 3차원 객체를 의미한다. 즉, 상기 3차원 가상 객체는, 상기 CT 데이터를 토대로 환자의 환부에 대해 3차원으로 모델링한 3차원 모델을 의미하는 것이다.

또한 상기 임플란트 수술 계획은, 임플란트 수술을 진행하기 전에 수행되는 것으로, 본 발명의 임플란트 수술을 위한 증강현실 도구(100)에서 제공하는 임플란트 수술 계획용 소프트웨어를 통해 수행되거나, 별도의 소프트웨어를 통해 수행될 수 있다. 이를 통해 상기 의사는, 임플란트를 삽입할 환부(예: 특정 척추)와 임플란트를 삽입할 위치 및 방향, 임플란트 수술 시간 등과 같이 임플란트 수술을 진행하기 위한 전반적인 계획을 수립하게 된다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 실제 수술영상에 대한 카메라 영상을 실시간으로 획득하기 위한 카메라를 구비하여, 상기 의사의 머리에 착용되는 HMD(head mounted display)와 같은 장착식 형태로 구성되는 것이 바람직 하지만, 별도의 임플란트 수술을 위한 증강현실 제공 장치와 같이 비장착식 장치로도 구성되어 별도의 디스플레이에 상기 증강현실을 제공하도록 구성될 수 있다.

또한 상기 카메라 영상은, 임플란트 수술시, 카메라를 통해 획득되는 실제 수술영상을 의미한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 임플란트 수술이 진행될 때, 상기 수술정보를 증강현실로 제공하기 위해 우선적으로 상기 생성한 3차원 가상 객체와 실제 카메라 영상에 촬영된 환자의 환부와 매칭하고, 매칭한 결과에 따라 상기 3차원 가상 객체를 상기 환자의 환부에 투영하여, 상기 환자의 환부를 증강시켜 해당 환부에 대한 시인성을 향상시킬 수 있도록 한다.

한편, 상기 매칭은, 상기 환부에 대해 부착되는 적어도 하나 이상의 환부용 증강현실 마크를 이용하여 수행될 수 있으며, 본 발명은 상기 환부와 상기 3차원 가상 객체를 매칭하여 투영하는 방법에 대해서는 그 제한을 두지 아니한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 3차원 가상 객체가 투영된 경우, 상기 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 상기 카메라 영상에 가시화한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 임플란트 수술시 사용되는 실물 드라이버를 가상화하고, 상기 수술이 진행됨에 따라 이동하는 상기 실물 드라이버를 추적하고, 추적한 결과에 따라 상기 가상화한 드라이버(즉, 가상 드라이버 모델)를 상기 실물 드라이버에 결합하여, 상기 카메라 영상에 가시화함으로써, 상기 실물 드라이버를 증강시켜 상기 실물 드라이버에 대한 시인성을 향상시킨다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버의 이동에 따라 변화되는 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 각도를 포함하여, 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 각도 상태를 실시간으로 가시화한다. 이를 통해 상기 의사는, 상기 가시화한 드라이버의 방향과 상기 임플란트가 식립될 위치에서의 식립 방향을 실시간으로 인식할 수 있다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버의 이동에 따라 변화되는 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 거리를 실시간으로 가시화하여, 상기 의사가 상기 실물 드라이버와 상기 임플란트가 식립될 위치 사이의 거리를 실시간으로 인식할 수 있도록 한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 임플란트가 식립될 때, 상기 임플란트가 식립되는 상태를 실시간으로 확인할 수 있도록 MPR(Multi Planar Reconstruction) 뷰를 상기 카메라 영상의 일측에 팝업하여, 출력하며, 상기 실물 드라이버에 구비되는 또 다른 카메라를 통해 실물 드라이버의 시점으로 촬영된 드라이버 영상에, 상기 각도 상태와 상기 거리를 포함하여 상기 가시화한 드라이버에 대한 드라이버 관계정보를 가시화한 드라이버 뷰를 상기 카메라 영상의 일측에 별도의 윈도우로 팝업하여 출력함으로써, 상기 가시화한 드라이버를 시점으로 상기 드라이버 관계정보를 상기 의사가 인식할 수 있도록 한다. 한편 상기 MPR 뷰와 상기 드라이버 뷰는, 도 5 및 도 6을 각각 참조하여 상세히 설명하도록 한다.

이상에서 설명한 것과 같이, 본 발명의 일 실시예에 다른 임플란트 수술을 위한 증강현실 도구(100)는, 임플란트 수술시 촬영되는 실제 카메라 영상에 임플란트 수술을 위한 수술정보를 가시화하여 증강현실로 제공함으로써, 임플란트 수술의 편의성과 정확성을 제공할 수 있도록 하며, 상기 증강현실을 통해 임플란트 수술을 진행하는 의사의 집중도를 향상시켜 안정적인 임플란트 수술을 수행할 수 있도록 한다.

도 2는 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실을 상세하게 설명하기 위해 나타낸 도면이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실은, 임플란트 수술시 촬영되는 실제 카메라 영상에 환자의 환부에 대한 3차원 가상 객체를 해당 환부에 투영하고, 실물 드라이버를 가상화한 드라이버(즉, 가상 드라이버 모델)를 상기 실물 드라이버와 결합하여 가시화하고, 상기 투영한 3차원 가상 객체를 투영한 환자의 환부에서 상기 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하여, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 관계정보를 포함하는 수술정보를 가시화함으로서, 제공된다.

또한 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버에 구비되는 적어도 하나 이상의 증강현실 마크를 인식하여, 임플란트 수술시 이동되는 상기 실물 드라이버의 이동을 추적하고, 상기 추적한 결과에 따라 상기 가상화한 드라이버를 상기 실물 드라이버에 실시간으로 결합함으로써, 상기 가상화한 드라이버를 상기 카메라 영상에 가시화한다.

이때, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버에 대한 몸체부분은 얇고 긴 실린더 형태로 구성하고, 상기 실물 드라이버의 스크류 부분(즉, 실물 드라이버의 끝 부분)분은 짧고 두꺼운 실린더 형태로 구성하여, 모델링(3차원 모델링)함으로써, 상기 가시화한 드라이버의 방향을 즉각적으로 인식할 수 있도록 한다.

또한 상기 실물 드라이버가 타입별로 적어도 하나 이상으로 구비되는 경우에는, 상기 각 실물 드라이버에 대한 가상 드라이버 모델을 각각 생성하며, 이때, 상기 증강현실 마크는 상기 각 실물 드라이버의 타입별로 각각 구비되어, 상기 실물 드라이버에 해당 실물 드라이버의 타입에 따라 생성한 상기 가상 드라이버 모델을 각각 결합하여 가시화화게 된다.

또한 상기 임플란트 가이드 모델은, 둥근 원통의 실린더 형태로 모델링되어 생성되는 것이 바람직 하지만, 다양한 모양으로 모델링될 수 있음은 당연하다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 가시화한 임플란트 가이드 모델의 상부에 상기 임플란트에 대한 식립 방향을 선분(도 2의 ②로 표시된 부분)으로 표시하고, 상기 가시화한 드라이버의 방향을 상기 가시화한 임플란트 가이드 모델의 상부에 선분으로 표시(도 2의 ①로 표시된 부분)함으로써, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 각도 상태를 가시화하며, 상기 가시화한 각 선분으로 이루어진 각도를 표시한다. 이를 통해 상기 의사가 상기 실물 드라이버의 이동에 따라 상기 가시화한 드라이버의 방향과 상기 식립 방향에 대한 일치여부를 즉각적으로 인식할 수 있도록 한다. 한편, 상기 각도 상태를 가시화하는 방법에 대해서는 도 3 내지 도 4를 참조하여 상세히 설명하도록 한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버의 이동에 따라 변화되는 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리를 실시간으로 표시한다.

즉, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 가시화한 드라이버의 끝점과 상기 가시화한 임플란트 가이드 모델의 상부 중앙점 사이를 선분으로 연결하여, 상기 선분의 길이를 표시함으로써, 상기 거리를 표시하며, 상기 선분을 통해 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 상대거리를 가시화함으로서, 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 대한 근접 정도를 가시화한다.

이때, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 표시한 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부에 따라 상기 연결한 선분의 색깔을 상이하게 표시하여, 상기 가시화한 근접정도에 대한 시인성을 향상시킨다.

예를 들어, 상기 표시한 거리가 사전에 설정한 임계값을 초과(즉, 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 사이의 거리가 먼 경우)에는, 상기 선분을 빨간색으로 표시하며, 임계값 미만인 경우(즉, 상기 거리가 짧은 경우)에는 녹색으로 표시할 수 있다. 또한 상기 임계값은 상기 거리에 따라 복수개로 설정될 수 있으며, 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 근접한 정도에 따라 복수의 색깔로 상기 선분을 표시하여, 상기 시인성을 극대화할 수 있다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 가시화한 드라이버와 상기 가시화한 드라이번 간의 각도를 표시하여, 상기 실물 드라이버의 이동에 따라 변화되는 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 각도 상태를 실시간으로 가시화한다.

이를 위해 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 가시화한 드라이버에 대한 방향에 대한 선분과, 상기 임플란트의 식립 방향에 대한 선분을 상기 가상화한 임플란트 가이드 모델의 상부에 표시함으로써, 상기 가상화한 드라이버와 상기 임플란트 가이드 모델에 대한 각도 상태를 가시화하며, 상기 의사로 하여금 상기 가시화한 드라이버의 방향과 상기 임플란트의 식립 방향에 대한 일치 여부를 즉각적으로 인식할 수 있도록 한다. 한편 상기 각도 상태를 가시화하는 방법은 도 3 내지 도 4를 참조하여 상세히 설명하도록 한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 임플란트가 식립될 때, 상기 환자의 CT 데이터를 토대로 해당 임플란트가 식립될 환부의 내부 구조에 대한 단면을 3차원으로 재구성한 MPR 뷰를 상기 카메라 영상의 일측에 팝업하여 출력함으로써, 상기 임플란트가 식립되는 상태를 확인할 수 있도록 하며, 상기 가시화한 드라이버를 시점으로 해당 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 관계정보를 상기 가시화한 드라이버를 시점으로 가시화한 드라이버 뷰를 상기 카메라 영상의 일측에 팝업하여 상기 드라이버 정보를 확인할 수 있도록 한다. 한편 상기 MPR 뷰와 상기 드라이버 뷰는, 도 5 및 도 6을 각각 참조하여 상세히 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 각도 상태를 가시화하는 과정을 나타낸 도면이며, 도 4는 본 발명의 일 실시예에 따른 가시화한 드라이버와 가시화한 임플란트 가이드 모델 간의 각도에 따른 각도 상태를 가시화한 도면이다.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 각도 상태는, 실제 카메라 영상에서의 실물 드라이버와 결합하여 가시화한 드라이버(즉, 가상 드라이버 모델)의 방향에 대한 선분과, 임플란트가 식립될 식립 방향에 대한 선분을 토대로 가시화된다.

이때, 상기 가시화한 드라이버의 방향에 대한 선분과 상기 임플란트가 식립될 식립 방향에 대한 선분을 서로 상이한 색깔로 표시되어 상기 각 선분의 대상이 무엇인지를 즉각적으로 인식할 수 있도록 한다.

또한 상기 각 선분은 상기 임플란트 가이드 모델의 상부에 표시되며, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 각 선분으로 이루어진 각도를 상기 가시화한 드라이버의 끝부분이나, 상기 가시화한 드라이버와 인접한 부분에 표시한다.

또한 도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버의 이동에 따라 상기 각도가 사전에 설정한 임계 각도를 초과하였는지에 대한 여부를 판단하고, 상기 판단한 결과 상기 임계 각도에 대한 초과 여부에 따라 상기 가시화한 드라이버의 방향에 대한 선분의 색깔을 상이하게 표시하여 상기 가시화한 드라이버의 방향과 상기 임플란트의 식립 방향에 대한 일치 여부를 즉각적으로 인식할 수 있도록 한다.

예를 들어, 상기 표시한 각도가 사전에 설정한 임계 각도를 초과함으로서, 상기 표시한 각도가 큰 경우에는, 상기 가시화한 드라이버의 방향을 빨간색으로 표시하고, 상기 표시한 각도가 상기 임계 각도의 범위 내여서 상기 표시한 각도가 작은 경우에는, 상기 가시화한 드라이버의 방향을 노란색으로 표시할 수 있으며, 상기 표시한 각도가 0(즉, 상기 가시화한 드라이버의 방향과 상기 임플란트 식립 방향이 일치하는 경우)인 경우에는, 상기 가시화한 드라이버의 방향을 녹색으로 표시할 수 있다.

이를 통해, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 실물 드라이버의 이동에 따라 상기 가시화한 드라이버와 상기 임플란트 가이드 모델 간의 각도와 각도 상태를 실시간으로 표시하여, 상기 실물 드라이버를 통해 상기 임플란트를 식립할 때, 정확한 방향으로 식립할 수 있도록 한다.

도 5는 본 발명의 일 실시예에 따른 MPR 뷰를 나타낸 도면이다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 MPR 뷰는, 상기 환자의 환부에 대한 단층을 촬영한 복수의 이미지 슬라이스로 구성되는 상기 환자의 CT 데이터를 토대로 상기 임플란트 삽입될 환부에 대한 단층면을 3차원으로 재구성한 영상을 의미한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 의사에 의해 상기 임플란트가 식립될 위치에서, 상기 임플란트가 식립되는 경우, 상기 MPR 뷰를 기반으로, 상기 가시화한 드라이버에 대한 드라이버 정보를 같이 표기하여, 상기 임플란트가 삽입될 대상 객체의 내부 구조에 대한 정보를 제공함과 동시에 상기 임플란트가 식립되는 상태를 확인할 수 있도록 한다.

이때, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 임플란트가 식립될 때, 상기 가시화한 드라이버에 대한 선분과, 상기 가시화한 드라이버에 대한 끝점을 상기 MPR 뷰에 표시하고, 상기 표시한 드라이버에 대한 선분을 통해 상기 가시화한 드라이버와 상기 임플란트 식립 방향에 대한 각도 상태를 상이한 색깔로 표시함으로써, 상기 드라이버 정보를 상기 MPR 뷰를 통해 제공하게 된다.

또한 상기 각도 상태를 표시하는 것은, 상기 도 3 내지 도 4를 참조하여 설명한 것과 같이, 상기 임플란트 식립 방향과 상기 가시화한 드라이버에 대한 방향에 따라 변화되는 상기 가시화한 드라이버의 방향에 대한 선분과 동일한 색깔로 상기 가시화한 드라이버에 대한 선분을 표시함으로써, 수행된다.

또한 상기 드라이버 정보를 표시한 MPR 뷰는, 상기 카메라 영상의 일측에 실시간으로 팝업되어 출력되는 것이 바람직 하지만, 상기 의사의 요청에 따라 선택적으로 출력될 수 있다.

도 6은 본 발명의 일 실시예에 따른 드라이버 뷰를 나타낸 도면이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 드라이버 뷰는, 상기 실물 드라이버에서 촬영한 드라이버 뷰를 토대로 구성된다.

이때, 상기 드라이버 뷰는, 상기 실물 드라이버에서 촬영되는 것이기 때문에 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버에 대한 가상 드라이버 모델은 사전에 설정한 모양(예: 원이나 구)과 같은 형태로 가상화하여, 상기 실물 드라이버와 결합하여 가시화한다.

또한 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 가시화한 드라이버의 시점을 기준으로, 상기 드라이버 뷰에 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 각도와 거리를 표기하고, 상기 가시화한 드라이버와 상기 임플란트 가이드 모델 간의 상대 거리, 상기 임플란트의 식립 방향을 각각 가시화함으로써, 상기 가시화한 드라이버의 시점을 기준으로 상기 임플란트 수술에 대한 수술정보를 인식할 수 있도록 한다.

이때, 상기 상대 거리는, 상기 가시화한 드라이버와 상기 임플란트 가이드 모델 간의 근접 정도를 나타내며, 상기 임플란트 식립 방향과 상기 상대 거리를 선분으로 가시화됨은 상술한 바와 같다.

또한 상기 드라이버 뷰는, 상기 카메라 영상의 일측에 실시간으로 팝업되어 출력되는 것이 바람직 하지만, 상기 의사의 요청에 따라 선택적으로 출력될 수 있음은 당연하다.

도 7은 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구의 구성을 나타낸 블록도이다.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구(100)는, 임플란트 수술시, 환자의 환부에 대한 임플란트 수술과정을 카메라로 촬영하여 임플란트 수술에 대한 실제 카메라 영상을 획득하는 카메라 영상 획득부(110), 상기 환자의 환부에 대해 생성한 3차원 가상 객체를 상기 카메라 영상에 투영하는 가상 객체 투영부(120), 임플란트 수술시, 사용되는 드라이버를 가상화하는 드라이버 가상화부(130), 상기 가상화한 드라이버를 상기 실물 드라이버와 결합하여 가시화하는 드라이버 가시화부(140), 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하는 임플란트 가이드 모델 가시화부(150), 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 각도를 표시하는 각도 상태 가시화부(160), 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 드라이버 간의 거리를 표시하는 거리 가시화부(170), 임플란트 식립시 환자의 환부에 대한 MPR 뷰를 기반으로 상기 임플란트가 식립되는 상태를 확인할 수 있도록 하는 식립 상태 출력부(180) 및 상기 가시화한 드라이버를 시점으로 드라이버 뷰를 출력하는 드라이버 뷰 출력부(190)를 포함하여 구성된다.

상기 카메라 영상 획득부(110)는, 상기 임플란트 수술을 위한 증강현실 도구(100)에 구비되는 카메라를 통해 실지 임플란트가 수술이 진행되는 동안, 실제 수술과정을 촬영하여 상기 수술과정에 대한 카메라 영상을 실시간으로 획득하는 기능을 수행한다.

또한 상기 가상 객체 투영부(120)는, 상기 임플란트가 식립될 환자의 환부에 대해 생성한 3차원 가상 객체를 해당 환자의 환부에 투영하는 기능을 수행한다.

이때, 상기 가상 객체 투영부(120)는, 상기 환자의 환부에 부착되는 적어도 하나 이상의 증강현실 마크를 토대로 상기 3차원 가상 객체와 상기 환자의 실제 환부를 매칭하여 결합함으로써, 상기 3차원 가상 객체를 상기 환자의 환부에 정확하게 투영하게 된다. 한편, 상기 환자의 실제 환부와 상기 3차원 가상 객체를 매칭하여 투영하는 방법에 대해서는 그 제한을 두지 않음은 상술한 바와 같다.

또한 상기 드라이버 가상화부(130)는, 실제 임플란트 수술시 사용하는 실물 드라이버를 가상화하는 기능을 수행한다.

상기 가상화는, 실물 드라이버에 대한 몸체와 상기 실물 드라이버의 끝 부분인 스크류 부분을 상이한 두께와 길이의 실린더로 각각 모델링함으로써, 수행된다.

예를 들어, 상기 드라이버 가상화부(130)는, 상기 실물 드라이버의 몸체 부분은 길고 얇은 실린더로, 상기 실물 드라이버의 스크류 부분은 짧고 두꺼운 실린더로 모델링하여 가상 드라이버 모델을 생성함으로써, 상기 실물 드라이버를 가상화하여, 상기 임플란트 수술을 집도하는 의사가 상기 실물 드라이버의 방향을 쉽게 파악할 수 있도록 한다.

또한 상기 실물 드라이버는, 타입별로 적어도 하나 이상으로 구성될 수 있으며, 이때, 상기 드라이버 가상화부(130)는, 상기 실물 드라이버를 타입별로 각각 가상화한다.

또한 상기 드라이버 가시화부(140)는, 상기 의사가 상기 임플란트 수술을 진행함에 따라 이동되는 실물 드라이버를 실시간으로 추적하고, 상기 추적한 결과에 따라 상기 가상화한 드라이버(즉, 가상 드라이버 모델)를 상기 실물 드라이버에 결합하여 상기 가상화한 드라이버를 상기 카메라 영상에 가시화함으로써, 상기 실물 드라이버를 증강시키는 기능을 수행한다.

여기서, 상기 추적은 상기 카메라 영상에서 상기 실물 드라이버에 구비되는 적어도 하나 이사의 실물 드라이버용 증강현실 마크를 인식함으로써 수행된다.

또한 상기 실물 드라이버용 증강현실 마크는, 상기 실물 드라이버의 타입에 따라 상이하게 구비될 수 있으며, 상기 실물 드라이버용 증강현실 마크에 따라 상기 타입별로 가상화한 드라이버를 해당 실물 드라이버에 결합하여 상기 타입별로 가상화한 드라이버를 가시화하게 된다.

또한 임플란트 가이드 모델 가시화부(150)는, 상기 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하는 기능을 수행한다. 즉, 상기 임플란트 가이드 모델 가시화부(150)는, 상기 임플란트 가이드 모델을 가시화하여, 상기 임플란트가 식립될 위치와 방향을 증강시켜, 상기 임플란트를 정확한 위치에서 정확한 방향으로 식립하도록 한다.

또한 상기 임플란트 가이드 모델은, 사전에 설정한 3차원 모양(예: 원통형)으로 모델링되어 가시화됨은 상술한 바와 같다.

또한 상기 각도 상태 가시화부(160)는, 상기 가시화한 드라이버의 방향에 대한 선분과, 상기 가시화한 임플란트 가이드 모델에서 상기 임플란트가 식립될 식립 방향에 대한 선분을 상기 가시화한 임플란트 가이드 모델의 상부에 표시하여, 상기 가시화한 드라이버와 상기 식립 방향에 대한 각도 상태를 가시화하고, 상기 각 선분으로 이루어진 각도를 표시하는 기능을 수행한다.

즉, 상기 각도 상태 가시화부(160)는 상기 가시화한 드라이버의 이동에 따라 변화되는 상기 각도 상태를 상기 가시화한 드라이버의 방향에 대한 선분과 상기 식립 방향에 대한 선분으로 가시화하여 상기 가시화한 드라이버의 방향과 상기 식립 방향에 대한 일치여부를 상기 의사가 실시간으로 인식할 수 있도록 하는 것이다.

이때, 상기 드라이버 방향에 대한 선분은 사전에 설정한 적어도 하나 이상의 임계 각도를 기준으로 상기 드라이버 방향이 상기 식립 방향에 근접하는 정도에 따라 상이한 색깔로 표시됨은 상술한 바와 같다.

또한 거리 가시화부(170)는, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리를 선분으로 가시화하고, 상기 가시화한 선분의 길이를 산출함으로써, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리를 표시하는 기능을 수행한다.

이때, 상기 거리 가시화부(170)는, 상기 가시화한 드라이버의 끝점과 상기 가시화한 임플란트 가이드 모델 상부 중앙점을 선분 연결하고, 적어도 하나 이상의 임계값을 기준으로 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 근접한 정도에 따라 상기 연결한 선분을 상이한 색깔로 표시하여 상기 거리를 가시화함으로써, 상기 의사가 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 상대적인 거리인 근접정도를 실시간으로 인식할 수 있도록 한다.

한편, 상기 선분은, 상기 가시화한 드라이버의 끝점과 상기 가시화한 임플란트 가이드 모델의 상부 중앙점과 직선으로 연결되는 것이기 때문에, 상기 거리를 실시간으로 인식할 수 있도록 하는 것뿐만 아니라, 상기 가시화한 드라이버를 상기 임플란트 가이드 모델의 상부로 이동시키도록 안내하는 이동 가이드로써의 역할로써의 기능도 가능하게 된다.

또한 상기 식립 상태 출력부(180)는, 상기 임플란트가 식립될 때, MPR 뷰 기반으로 상기 가시화한 드라이버에 대한 드라이버 정보를 가시화하여, 상기 카메라 영상의 일측에 출력함으로서, 임플란트 식립 상태를 실시간으로 확인할 수 있도록 하는 기능을 수행한다.

이때, 상기 식립 상태 출력부(180)는, 상기 환자의 환부에 대한 MPR 뷰에, 상기 가시화한 드라이버를 드라이버 선분으로 표시하고, 상기 가시화한 드라이버의 끝부분(즉, 끝점)을 다양한 모양(예: 원형)으로 표시하며, 상기 표시한 드라이버 선분을 상기 가시화한 각도 상태에 따라 상이한 색깔로 표시하여, 상기 가시화한 드라이버에 대한 드라이버 정보를 가시화함으로써, 임플란트가 식립된 환부의 내부 구조화 함께 식립되는 임플란트의 식립 방향을 인식할 수 있도록 하여 상기 임플란트 식립 상태를 실시간으로 확인할 수 있도록 하는 기능을 수행한다. 한편 상기 MPR 뷰에 대해서는 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

또한 상기 드라이버 뷰 출력부(190)는, 상기 실물 드라이버에 구비되는 카메라를 통해 획득되는 드라이버 뷰에, 상기 표시한 각도, 거리 및 상기 가시화한 거리, 각도 상태 등을 상기 가시화한 드라이버를 시점으로 가시화하여 상기 카메라 영상의 일측에 출력하여, 상기 가시화한 드라이버를 시점으로 하여 상기 각도, 거리, 가시화한 거리 및 각도 상태 등을 확인할 수 있도록 하는 기능을 수행한다.

즉, 상기 드라이버 뷰 출력부(190)는, 상기 드라이버 뷰에 상기 가시화한 드라이버를 구와 같은 3차원 도형으로 표시하고, 상기 가시화한 드라이버를 시점으로 하여, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리, 각도를 표시하며, 상기 가시화한 드라이버를 시점으로 상기 가시화한 드라이버에서 상기 가시화한 임플란트 가이드 모델로의 방향, 상기 임플란트의 식립 방향을 표시함으로써, 상기 가시화한 드라이어와 상기 임플란트 가이드 모델 간의 관계정보인 수술정보를 상기 가시화한 드라이버를 시점으로 확인할 수 있도록 하는 것이다.

이하에서는 본 발명의 임플란트 수술을 위한 증강현실 도구(100)를 통해 임플란트 수술정보를 가시화하는 방법을 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 임플란트 수술을 위한 증강현실 도구를 통해 임플란트 수술정보를 가시화하는 과정을 나타낸 흐름도이다.

도 8에 도시한 바와 같이, 본 발명의 일 실시예에 다른 임플란트 수술을 위한 증강현실 도구를 통해 임플란트 수술정보를 가시화하는 과정은 우선, 환자에 대한 임플란트 수술이 시작되는 경우(S110), 상기 임플란트 수술을 위한 증강현실 도구(100)는, 임플란트 수술시 이용되는 실물 드라이버를 가상화하는 드라이버 가상화 단계를 수행한다(S120).

이때, 상기 실물 드라이버는 타입별로 적어도 하나 이상으로 구성될 수 있으며, 상기 드라이버 가상화 단계는, 상기 실물 드라이버를 타입별로 각각 가상화할 수 있음은 당연하다.

또한 상기 가상화한 드라이버는, 상기 실물 드라이버에 대한 가상 드라이버 모델을 모델링되며, 상기 모델링은 도 2 및 도 7을 참조하여 설명하였으므로 더 이 상의 상세한 설명은 생략하도록 한다.

다음으로, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 실물 드라이버의 이동을 추적하여, 상기 가상화한 드라이버를 상기 실물 드라이버와 결합함으로써, 상기 가상화한 드라이버를 가시화하는 드라이버 가시화 단계를 수행한다(S130).

상기 드라이버 가시화 단계는, 상기 실물 드라이버에 구비되는 적어도 하나 이상의 실물 드라이어용 증간현실 마크를 상기 획득한 실제 카메라 영상에서 인식함으로써, 상기 실물 드라이버의 이동을 추적하여 상기 가상화한 드라이버를 상기 실물 드라이버와 결합하여 가시화함으로써, 상기 실물 드라이버를 증강시킨다.

다음으로, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하는 임플란트 가이드 모델 가시화 단계를 수행한다(S140).

상기 임플란트 가이드 모델은, 상기 임플란트를 정확한 위치에서 정확한 방향으로 가이드 하기 위한 것으로, 상기 임플란트 가이드 모델을 모델링하는 방법은 도 2 및 도 7을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

다음으로, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 각도 상태를 가시화하는 각도 상태 가시화 단계를 수행한다(S150).

상기 각도 상태 가시화 단계는, 상기 가시화한 드라이버에 대한 방향 선분과, 상기 임플란트가 식립될 식립 방향에 대한 선분을 상기 가시화한 임플란트 가이드 모델의 상부에 표시함으로써, 상기 각도 상태를 가시화하고 상기 각 선분으로 이루어진 각도를 표시한다.

이때, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 사전에 설정한 적어도 하나 이상의 임계 각도를 기준으로, 상기 가시화한 드라이버에 대한 방향 선분이 상기 식립 방향에 대한 선분과 일치되는 정도에 따라 상기 가시화한 드라이버에 대한 방향 선분을 상이한 색깔로 변화시켜 표시하여, 상기 가시화한 드라이버의 방향과 상기 식립 방향에 대한 일치 여부를 실시간으로 인식할 수 있도록 한다.

다음으로, 상기 임플란트 수술을 위한 증강현실 도구(100)는, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리를 표시하여 가시화하는 거리 가시화 단계를 수행한다(S160).

상기 거리 가시화 단계는, 상기 가시화한 드라이버의 끝점과 상기 가시화한 임플란트 가이드 모델의 상부 중앙점을 선분으로 연결하고, 사전에 설정한 적어도 하나 이상의 임계값에 따라 상기 연결한 선분의 색깔을 상이하게 표시하여, 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 근접한 근접 정도(즉, 상대 거리)를 가시화함으로써, 상기 거리를 가시화하며, 상기 선분에 대한 길이를 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리로 표시한다.

이후, 상기 임플란트 수술이 종료 된 경우, 상기 임플란트 수술은 위한 증강현실 도구(100)의 동작도 종료된다(S170).

한편, 도 8에는 도시되어 있지 않지만, 상기 임플란트 수술을 위한 증강현실 도구(100)를 통해 임플란트 수술정보를 가시화하는 방법은, 상기 임플란트가 식립될 때, 상기 환자에 대한 MPR 뷰에 상기 가시화한 드라이버의 드라이버 정보를 표시하여 상기 카메라 영상의 일측에 출력함으로써, 임플란트 식립 상태를 확인할 수 있도록 하는 임플란트 식립 상태 출력 단계 및 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 관계정보를 포함하는 수술정보를 상기 가시화한 드라이버를 시점으로 상기 드라이버 뷰에 표시하여 상기 카메라 영상의 일측에 출력하는 드라이버 뷰 출력 단계를 더 포함한다.

이때, 상기 MPR 뷰를 기반으로 출력되는 임플란트 식립 상태와 상기 드라이버 뷰는, 도 7을 참조하여 상세히 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

이처럼, 본 발명은, 실제 카메라 영상에 임플란트 수술시 사용되는 실물 드라이버를 가상화하여 가시화하고, 상기 임플란트가 식립될 위치에 대한 임플란트 가이드 모델을 생성하여 가시화하며, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 거리, 각도, 각도 상태, 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 근접 정도, 상기 가시화한 드라이버의 방향과 상기 임플란트에 대한 식립 방향 또는 이들의 조합을 포함하는 상기 가시화한 드라이버와 상기 가시화한 임플란트 가이드 모델 간의 관계정보를 포함하는 수술정보를 가시화하여 증강현실로 제공함으로서, 임플란트 수술의 편의성과 정확성을 제공하는 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법에 관한 것이다.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 임플란트 수술을 위한 증강현실 도구 110: 카메라 영상 획득부
120: 가상 객체 투영부 130: 드라이버 가상화부
140 : 드라이버 가시화부 150: 임플란트 가이드 모델 가시화부
160: 각도 상태 가시화부 170: 거리 가시화부
180: 식립 상태 출력부 190: 드라이버 뷰 출력부

Claims (10)

1. 임플란트 수술을 위한 증강현실 도구에서, 임플란트 수술시 사용하는 실물 드라이버를 가상화하는 드라이버 가상화 단계;
   상기 증강현실 도구에서, 상기 가상화한 실물 드라이버를 상기 실물 드라이버와 결합하여 가시화하는 드라이버 가시화 단계; 및
   상기 증강현실 도구에서, 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하는 임플란트 가이드 모델 가시화 단계;를 포함하며,
   상기 드라이버 가상화 단계는, 상기 실물 드라이버의 스크류 부분을 3차원의 실린더 형태로 모델링하여 가상 드라이버 모델을 생성함으로써 상기 실물 드라이버를 가상화하며,
   상기 드라이버 가시화 단계는, 상기 실물 드라이버에 구비되는 적어도 하나 이상의 증강현실 마크를 인식하여 상기 실물 드라이버의 이동을 추적하고, 상기 추적한 결과에 따라 상기 가상 드라이버 모델을 상기 실물 드라이버에 실시간으로 결합하여 상기 가상화한 실물 드라이버를 가시화하며,
   상기 증강현실 도구에서, 상기 실물 드라이버의 스크류 부분을 3차원의 실린더 형태로 증강시킨 상기 가상화한 실물 드라이버를 사용하여, 상기 실물 드라이버의 이동에 따라 상기 가상화한 실물 드라이버의 방향과 상기 식립하는 방향에 대한 일치여부를 실시간으로 가시화하여 인식하도록 함으로써, 상기 실물 드라이버를 증강시켜 시인성을 향상시키며,
   상기 증강현실 도구에서, 상기 가시화한 임플란트 가이드 모델과 상기 가상화한 실물 드라이버 간의 각도, 거리 또는 이들의 조합을 포함하는 정보를 실시간으로 가시화하여 표시하는 것을 포함하는 것을 특징으로 하는 임플란트 수술정보 가시화 방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 임플란트 수술정보 가시화 방법은,
   상기 증강현실 도구에서, 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 상기 가상화한 실물 드라이버 간의 각도를 표시하는 각도 상태 가시화 단계;를 더 포함하며,
   상기 각도 상태 가시화 단계는, 상기 가시화한 임플란트 가이드 모델의 상부에 상기 가시화한 상기 가상화한 실물 드라이버의 방향과 상기 임플란트의 식립 방향을 서로 다른 색깔의 선분으로 표시하여 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 상기 가상화한 실물 드라이버 간의 각도 상태를 가시화하여 상기 각도를 표시하며,
   상기 표시한 각도가 사전에 설정한 임계 각도를 초과하는지에 대한 여부에 따라 상기 가시화한 상기 가상화한 실물 드라이버에 대한 선분의 색깔을 상이하게 표시하여 상기 각도 상태를 가시화함으로써 상기 가시화한 상기 가상화한 실물 드라이버의 방향과 상기 임플란트의 식립 방향에 대한 일치 여부를 표시하는 것을 특징으로 하는 임플란트 수술정보 가시화 방법.
4. 청구항 1에 있어서,
   상기 임플란트 수술정보 가시화 방법은,
   상기 증강현실 도구에서, 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 상기 가상화한 실물 드라이버 간의 거리를 표시하는 거리 가시화 단계;를 더 포함하며,
   상기 거리 가시화 단계는, 상기 가시화한 상기 가상화한 실물 드라이버에 대한 끝점과 상기 가시화한 임플란트 가이드 모델의 상부 중앙점을 선분으로 연결하고 상기 선분의 길이를 산출하여 상기 거리를 표시하며, 상기 표시한 거리가 사전에 설정한 거리 임계값을 초과하는지에 따라 상기 연결한 선분의 색깔을 상이하게 표시하여 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 근접한 정도를 가시화하는 것을 특징으로 하는 임플란트 수술정보 가시화 방법.
5. 청구항 1에 있어서,
   상기 임플란트 수술정보 가시화 방법은,
   상기 증강현실 도구에서, 상기 임플란트가 식립될 때, 상기 임플란트가 식립될 환부에 대한 MPR(Multi Planar Reconstruction) 뷰에, 상기 가시화한 상기 가상화한 실물 드라이버에 대한 선분과 끝점을 표시하고, 상기 표시한 각도가 변화됨에 따라 상기 표시한 선분의 색깔을 상이하게 표시하여 실제 카메라 영상의 일측에 출력함으로써 MPR 뷰 기반으로 상기 환부의 내부에 대한 구조와 상기 환부의 내부에서 상기 임플란트가 식립되는 상태를 확인할 수 있도록 하는 식립 상태 출력 단계; 및
   상기 증강현실 도구에서, 상기 실물 드라이버에 구비되는 카메라를 통해 획득되는 드라이버 뷰에, 상기 표시한 각도, 상기 가시화한 상기 가상화한 실물 드라이버로부터 상기 가시화한 임플란트 가이드 모델로의 방향, 상기 가시화한 상기 가상화한 실물 드라이버와 상기 가시화한 임플란트 가이드 모델간의 거리, 상기 임플란트의 식립 방향 또는 이들의 조합을 이들의 조합을 상기 가시화한 상기 가상화한 실물 드라이버를 시점으로, 가시화하여 상기 실제 카메라 영상의 일측에 출력하는 드라이버 뷰 출력 단계;를 더 포함하는 것을 특징으로 하는 임플란트 수술정보 가시화 방법.
6. 임플란트 수술시 사용하는 실물 드라이버를 가상화하는 드라이버 가상화부;
   상기 증강현실 도구에서, 상기 가상화한 실물 드라이버를 상기 실물 드라이버와 결합하여 가시화하는 드라이버 가시화부; 및
   상기 증강현실 도구에서, 임플란트가 식립될 위치에 임플란트 가이드 모델을 생성하여 가시화하는 임플란트 가이드 모델 가시화부;를 포함하며,
   상기 드라이버 가상화부는, 상기 실물 드라이버의 스크류 부분을 3차원의 실린더 형태로 모델링하여 가상 드라이버 모델을 생성함으로써 상기 실물 드라이버를 가상화하며,
   상기 드라이버 가시화부는, 상기 실물 드라이버에 구비되는 적어도 하나 이상의 증강현실 마크를 인식하여 상기 실물 드라이버의 이동을 추적하고, 상기 추적한 결과에 따라 상기 가상 드라이버 모델을 상기 실물 드라이버에 실시간으로 결합하여 상기 가상화한 실물 드라이버를 가시화하며,
   상기 증강현실 도구에서, 상기 실물 드라이버의 스크류 부분을 3차원의 실린더 형태로 증강시킨 상기 가상화한 실물 드라이버를 사용하여, 상기 실물 드라이버의 이동에 따라 상기 가상화한 실물 드라이버의 방향과 상기 식립하는 방향에 대한 일치여부를 실시간으로 가시화하여 인식하도록 시인성을 향상시키며,
   상기 증강현실 도구에서, 상기 가시화한 임플란트 가이드 모델과 상기 가상화한 실물 드라이버 간의 각도, 거리 또는 이들의 조합을 포함하는 정보를 실시간으로 가시화하여 표시하는 것을 포함하는 것을 특징으로 하는 임플란트 수술을 위한 증강현실 도구.
7. 삭제
8. 청구항 6에 있어서,
   상기 임플란트 수술을 위한 증강현실 도구는,
   상기 가시화한 임플란트 가이드 모델과 상기 가시화한 상기 가상화한 실물 드라이버 간의 각도를 표시하는 각도 상태 가시화부;를 더 포함하며,
   상기 각도 상태 가시화부는, 상기 가시화한 임플란트 가이드 모델의 상부에 상기 가시화한 상기 가상화한 실물 드라이버의 방향과 상기 임플란트의 식립 방향을 서로 다른 색깔의 선분으로 표시하여 상기 가시화한 임플란트 가이드 모델과 상기 가시화한 상기 가상화한 실물 드라이버 간의 각도 상태를 가시화하여 상기 각도를 표시하며,
   상기 표시한 각도가 사전에 설정한 임계 각도를 초과하는지에 대한 여부에 따라 상기 가시화한 상기 가상화한 실물 드라이버에 대한 선분의 색깔을 상이하게 표시하여 상기 각도 상태를 가시화함으로써, 상기 가시화한 상기 가상화한 실물 드라이버의 방향과 상기 임플란트의 식립 방향에 대한 일치 여부를 표시하는 것을 특징으로 하는 임플란트 수술을 위한 증강현실 도구.
9. 청구항 6에 있어서,
   상기 임플란트 수술을 위한 증강현실 도구는,
   상기 가시화한 임플란트 가이드 모델과 상기 가시화한 상기 가상화한 실물 드라이버 간의 거리를 표시하는 거리 가시화부;를 더 포함하며,
   상기 거리 가시화부는, 상기 가시화한 상기 가상화한 실물 드라이버에 대한 끝점과 상기 가시화한 임플란트 가이드 모델의 상부 중앙점을 선분으로 연결하고 상기 선분의 길이를 산출하여 상기 거리를 표시하며, 상기 표시한 거리가 사전에 설정한 거리 임계값을 초과하는지에 따라 상기 연결한 선분의 색깔을 상이하게 표시하여 상기 가시화한 드라이버가 상기 가시화한 임플란트 가이드 모델에 근접한 정도를 가시화하는 것을 특징으로 하는 임플란트 수술을 위한 증강현실 도구.
10. 청구항 6에 있어서,
    상기 임플란트 수술을 위한 증강현실 도구는,
    상기 임플란트가 식립될 때, 상기 임플란트가 식립될 때, 상기 임플란트가 식립될 환부에 대한 MPR(Multi Planar Reconstruction) 뷰에, 상기 가시화한 상기 가상화한 실물 드라이버에 대한 선분과 끝점을 표시하고, 상기 표시한 각도가 변화됨에 따라 상기 표시한 선분의 색깔을 상이하게 표시하여 실제 카메라 영상의 일측에 출력함으로써 MPR 뷰 기반으로 상기 환부의 내부에 대한 구조와 상기 환부의 내부에서 상기 임플란트가 식립되는 상태를 확인할 수 있도록 하는 식립 상태 출력부; 및
    상기 실물 드라이버에 구비되는 카메라를 통해 획득되는 드라이버 뷰에, 상기 표시한 각도, 상기 가시화한 상기 가상화한 실물 드라이버로부터 상기 가시화한 임플란트 가이드 모델로의 방향, 상기 가시화한 상기 가상화한 실물 드라이버와 상기 가시화한 임플란트 가이드 모델간의 거리, 상기 임플란트의 식립 방향 또는 이들의 조합을 이들의 조합을 상기 가시화한 상기 가상화한 실물 드라이버를 시점으로, 가시화하여 상기 실제 카메라 영상의 일측에 출력하는 드라이버 뷰 출력부;를 더 포함하는 것을 특징으로 하는 임플란트 수술을 위한 증강현실 도구.

Images