KR101678910B1

KR101678910B1 - 드릴링 가이드 장치

Info

Publication number: KR101678910B1
Application number: KR1020150162401A
Authority: KR
Inventors: 김건태; 허다솜
Original assignee: (주) 시원
Priority date: 2015-06-09
Filing date: 2015-11-19
Publication date: 2016-12-06
Also published as: KR20160144891A; KR20180008532A; KR102067089B1

Abstract

영상 장비를 이용하여 증강 현실 방식으로 드릴링 가이드를 수행하는 장치 및 방법이 제시된다. 수술 플래닝에 따라 오브젝트에 대한 드릴링을 하도록 설정된 기준 위치 및 기준 방향이 있는 경우, 이를 현재 촬영되는 오브젝트에 대해 오브젝트 좌표계로 변환하여 영상에 합성한다. 증강 현실 방식으로 드릴링 위치와 방향이 제시되어 의료인의 판단을 돕는다.

Description

드릴링 가이드 장치{APPARATUS FOR GUIDING DRILLING}

드릴 가이드 장치에 연관되며, 보다 상세하게는 수술을 위한 드릴링, 이를테면 치과 임플란트 드릴링 과정에서 의료인에게 시각적 가이드와 피드백을 제공하는 장치에 연관된다.

치과용 임플란트(dental implant; also known as an endosseous implant or fixture)는 턱뼈나 두개골과 인터페이스하여 크라운(crown), 브릿지(bridge), 덴처(denture), 안면 보철물(facial prosthesis) 등을 지지하거나, 교정 앵커(orthodontic anchor)로 기능하는 수술용 구조이다.

임플란트를 치조골에 식립하는 과정은 인접치나 대항치 관계, 치조골의 상태 등을 고러하고 악궁모형과 단층촬영(CT) 영상을 기반으로 하여 플래닝(planning) 된 임플란트 위치와 방향에 따라 정확한 깊이와 크기(diameter)로 드릴링을 하는 과정, 그리고 임플란트를 그 위치에 식립하는 과정을 포함한다. 이러한 드릴링이 정확히 되지 않는 경우 인접치아와 너무 가깝거나 멀게 식립될 수 있고, 인접치근 또는 신경을 손상시킬 수 있으며, 치조골 밖으로 임플란트가 위치될 위험성이 높아진다. 그러므로, 임플란트의 안정성 및/또는 기능성 향상을 위해서는 드릴링 과정이 정확하게 수행되어야 한다. 또한 경우에 따라서는 컴퓨터 단층촬영(CT: computerized tomography)이나 X-선 촬영 영상을 통해 임플란트 수술 전에 플래닝 했던 드릴링 계획이 수술 중에 확인되는 환자의 상태에 맞게 수정되어야 하는 경우도 있다.

최근 임상에서 사용되고 있는 기술로는 아래의 특허문헌 1의 가이드 제작 방법이 있다. 이러한 방법은 수술 전 플래닝에 따른 드릴링을 물리적이고 구조적으로 가이드 하는 도구를 활용하는 것인데, 별도의 틀을 제작해야 하는 절차적 번거로움과 불편이 있다. 더욱이 의료인의 판단에 따라 드릴링 위치, 방향 등이 수정되어야 하는 경우도 있는데, 한 번 제작된 틀은 짧은 시간 내에 수정되기 어렵다.

한편 아래 특허문헌 2와 같이 드릴링 방향을 가속도 센서, 자이로 센서 등을 활용하여 전자적으로 가이드하고자 하는 기술도 개념상으로 제시된 바 있으나, 자이로 센서와 가속도 센서를 통해 핸드피스 하우징의 각도나 환자 머리 방향을 측정하는 것은 정확도가 떨어진다. 임플란트를 하는 과정에서 요구되는 드릴링 각도 추적의 정확성과 신속성은 다른 산업의 그것들보다 높은 수준임을 고려하면 자이로 센서나 가속도 센서에만 의존하는 방법은 신뢰도가 높지 않을 수 있다.

대한민국 등록특허 KR10-1250493호 (등록공고일: 2013년04월03일) 대한민국 등록특허 KR10-1505785호 (등록공고일: 2015년03월25일)

일측에 따르면, 컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치가 제공된다. 장치는: 드릴링 비트를 촬영하여 제공되는 입력 영상으로부터, 상기 드릴링 비트가 오브젝트에 현재 정렬된 상태에 대응하는 제1 위치 및 제1 방향을 결정하는 프로세서; 및 수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준에 대응하는 제2 위치와 상기 제1 위치의 차이 및 상기 기준에 대응하는 제2 방향과 상기 제1 방향의 차이 중 적어도 하나를 계산한 결과를 출력하는 제어부를 포함한다. 일실시예에 따르면 상기 프로세서는 상기 입력 영상에서 상기 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 제1 위치 및 상기 제1 방향을 결정한다.

일실시예에 따르면 상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 상기 복수 개의 포인트들은 예시적으로, 그러나 한정되지 않게 3개의 포인트들일 수 있다. 그리고, 3 개의 포인트는 서로 크게 이격될수록, 다시 말해 3 개의 포인트가 이루는 삼각형 면적이 클수록 정확도가 높을 수 있다. 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 래이디오패이크 물질(radiopaque material)에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 가타포처(gutta percha) 헤드에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 미리 착색되는 타투 포인트에 대응한다. 또 다른 일실시예에 따르면 잇몸 또는 뼈 속에 삽입하는 스크류나 핀일 수 있다. 이러한 실시예들은 한정적인 것이 아니라 예시적인 것이며, 다른 형태로 포인트들이 식별될 수 있다.

한편 일실시예에 따르면 상기 프로세서는 상기 제1 위치 및 상기 제1 방향을 상기 제2 위치 및 상기 제2 방향과 동일한 좌표계로 변환하여 제공한다. 이 경우, 상기 프로세서는 상기 복수 개의 포인트들의 위치 및 상기 복수 개의 포인트들이 이루는 평면의 노말 방향을 이용하여, 상기 수술 플래닝에 연관되는 기준 좌표계와 상기 입력 영상을 촬영하는 카메라 시점에 연관되는 오브젝트 좌표계 사이의 변환 함수를 계산함으로써 상기 변환을 수행할 수 있다. 일실시예에 따르면 상기 프로세서는 상기 제2 위치 및 상기 제2 방향을 상기 오브젝트 좌표계로 변환하여 가이드 라인 형태로 디스플레이부에 출력함으로써 증강현실 영상을 렌더할 수 있다. 이러한 렌더링에 의해 증강현실 영상의 형태로 드릴링 가이드가 제시될 수 있다.

일실시예에 따르면 상기 제어부는 상기 제2 위치와 상기 제1 위치의 상기 차이가 위치 임계 값 이하이고 및 상기 제2 방향과 상기 제1 방향의 상기 차이가 방향 임계 값 이하인 경우 락을 해제하여 상기 드릴링 비트의 회전 구동이 가능하도록 드릴 구동부를 제어한다. 이 경우 상기 제어부는 상기 드릴링 비트의 회전 구동 중에 상기 제2 위치와 상기 제1 위치의 상기 차이가 상기 위치 임계 값을 초과하거나 또는 상기 제2 방향과 상기 제1 방향의 상기 차이가 상기 방향 임계 값을 초과하는 경우, 경계음을 주거나 상기 락을 설정하여 상기 드릴링 구동이 불가능하도록 상기 드릴 구동부를 제어할 수 있다. 일실시예에 따르면 상기 제어부는 상기 드릴링 비트의 회전 구동 중에 상기 제2 위치와 상기 제1 위치의 상기 차이가 상기 위치 임계 값을 초과하거나 또는 상기 제2 방향과 상기 제1 방향의 상기 차이가 상기 방향 임계 값을 초과하는 경우, 상기 드릴링 구동이 역방향으로 진행하도록 상기 드릴 구동부를 제어할 수도 있다.

일실시예에 따르면 프로세서는 치조골로 들어가고 남은 상기 드릴링 비트의 잔여 길이를 영상으로 식별할 수 있다. 그리고 이 잔여 길이가, 미리 지정된 깊이에 도달하는 지를 영상 인식으로 판단할 수 있다. 판단 결과에 따라 미리 지정된 깊이만큼 드릴링 비트가 잇몸으로 들어갔다고 인식되는 경우, 상기 제어부는 경계음을 주는 것과 같은 피드백을 하면서, 드릴을 스토핑 하거나 역방향 토크를 가해 드릴을 뺄 수 있다. 일실시예에 따르면 상기 드릴을 빼는 과정에서 제어부는 상기 깊이가 상기 임계치에 가까이 가고 있는 중에, 드릴의 회전수를 점차적으로 줄여 나아가다가 역방향 토크로 전환할 수 있다.

일실시예에 따르면 상기 제어부는 상기 제2 위치와 상기 제1 위치의 상기 차이가 위치 임계 값 이하인지의 여부 및 상기 제2 방향과 상기 제1 방향의 상기 차이가 방향 임계 값 이하인지의 여부 중 적어도 하나의 정보를 사용자에게 피드백으로 출력할 수 있다. 피드백의 종류는 여러 가지일 수 있는데, 예시적으로 그러나 한정되지 않게, 상기 피드백은 칼라 값을 차등화한 시각적 피드백, 경고 음 알람을 통한 청각적 피드백 및 진동 모터를 이용한 촉각적 햅틱 피드백 중 적어도 하나를 포함할 수 있다.

다른 일측에 따르면, 컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치가 제공된다. 장치는: 입력 영상으로부터 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 오브젝트에 연관되는 오브젝트 좌표계 및 수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준을 제시하는 기준 좌표계 사이의 변환 함수를 계산하는 프로세서; 및 상기 변환 함수를 이용하여 상기 기준 좌표계 상에서 설정된 드릴링 가이드를 상기 오브젝트 좌표계로 변환하여 디스플레이부를 통해 출력하는 제어부를 포함한다. 일실시예에 따르면 상기 프로세서는 상기 복수 개의 포인트들의 위치 및 상기 복수 개의 포인트들이 이루는 평면의 노말 방향을 이용하여, 상기 변환 함수를 계산할 수 있다.

일실시예에 따르면 상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 래이디오패이크 물질 (바륨 첨가물 등)이나 가타포처에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 양형의 돌출부 또는 음형의 함몰부에 대응한다. 또 다른 일실시예에 따르면 상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 미리 착색되는 타투 포인트에 대응한다. 또 다른 실시예에서는 연조직이나 경조직에 삽입되는 스크률나 핀 포인트에 대응할 수도 있다. 상기한 바와 같이 이러한 실시예들은 한정적인 것이 아니라 예시적인 것이다.

또 다른 일측에 따르면, 컴퓨팅 단말이 드릴링 가이드를 수행하는 방법이 제공된다. 방법은: 수술 플래닝에 따라 오브젝트에 대한 드릴링을 하도록 설정된 기준 위치 및 기준 방향을 식별하는 단계 - 상기 기준 위치 및 상기 기준 방향은 기준 좌표계로 표현되어 있음 -; 상기 오브젝트를 실시간으로 촬영하여 제공되는 입력 영상으로부터 오브젝트 좌표계와 상기 기준 좌표계 사이의 변환 함수를 구하여 상기 기준 위치 및 상기 기준 방향을 상기 오브젝트 좌표계 상의 값으로 변환하는 단계; 및 상기 기준 위치 및 상기 기준 방향 중 적어도 하나를 상기 입력 영상 위에 시각적으로 합성하여 출력하는 단계를 포함한다. 일실시예에 따르면 방법은, 상기 입력 영상에 포함되는 드릴링 비트의 정렬 위치 및 방향을 식별하여, 상기 오브젝트 좌표계 상의 값으로 변환된 상기 기준 위치 및 상기 기준 방향과의 차이를 비교하여 드릴 정렬 상태를 확인하는 단계; 및 상기 드릴 정렬 상태가 임계치 이하로 정렬된 것인 경우 상기 드릴의 구동을 승인하는 제어를 하는 단계를 더 포함한다. 일실시예에 따르면 방법은, 상기 드릴 구동이 진행되는 동안, 상기 드릴 정렬 상태가 상기 임계치를 초과하는 경우 드릴링을 저지하도록 상기 드릴 구동을 제어하는 단계를 더 포함할 수도 있다.

도 1은 일실시예에 따른 가이드 장치를 도시한다.
도 2는 일실시예에 따른 가이드 장치의 동작을 설명하기 위한 도면이다.
도 3a는 일실시예에 따른 가이드 장치에 의해 디스플레이 장치에 가이드가 증강현실로 구현되는 모습을 도시한다.
도 3b는 일실시예에 따른 가이드 장치에 의해 임플란트 주변의 구조물, 이를테면 신경관, 치근, 또는 상악동 경계 등을 단면도의 형태로 표시하는 실시예를 설명한다.
도 4는 일실시예에 따라 드릴링 비트의 방향과 가이드 방향의 차이가 계산되고 피드백되는 과정을 도시한다.
도 5a는 일실시예에 따라 유치악(부분 무치악) 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다.
도 5b는 다른 일실시예에 따른 완전 무치악 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다.
도 6a 및 도 6b는 실시예들에 따라 마커로 이용될 수 있는 레진 블럭 및 핀을 도시한다.
도 7은 일실시예에 따른 오브젝트 좌표계의 식별 과정을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 가이드 장치 동작 방법을 도시하는 흐름도이다.
도 9는 일실시예에 따른 가이드 장치에서 드릴 정렬 상태에 따라 드릴을 직접 제어하는 실시예를 도시하는 흐름도이다.
도 10은 일실시예에 따라 드릴 동작 중 드릴 정렬 상태가 좋지 않은 경우 드릴 제어를 수행하는 과정을 도시하는 흐름도이다.

이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.

또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.

도 1은 일실시예에 따른 가이드 장치(100)를 도시한다. 장치(100)는 프로세서(110) 및 제어부(120)를 포함할 수 있다. 장치(100)는 컴퓨팅 단말에 의해 적어도 일시적으로 구현될 수 있다. 컴퓨팅 단말은 퍼스널 컴퓨터, 의료용 기기, 스마트폰, 태블릿 컴퓨터, 웨어러블 디바이스 등 임의의 형태의 전자 기기를 포함한다. 프로세서(110) 및 제어부(120)는 각각 이러한 전자 기기에 포함되는 물리적 및/또는 논리적 엘리먼트일 수 있다. 이를테면 전용 하드웨어(dedicated hardware) 또는 소프트웨어나 오퍼레이팅 시스템에 의해 제어되는 범용 연산 자원에 의해 프로세서(110) 및 제어부(120)가 구현될 수 있다. 또한 프로세서(110)와 제어부(120)가 하나의 칩에서 함께 구현되는, 따라서 물리적으로 구분되지 않는 것일 수도 있으며, 이러한 하드웨어 자원의 구현은 기술의 발달이나 설계 변경에 의해 얼마든지 변경될 수 있다. 따라서 프로세서(110)와 제어부(120)의 기능과 동작 및 구조가 서로 구분되는 것으로 이해되지만 실시예에 따라 이러한 구분이 다르게 해석되는 경우도 있을 수 있다.

일실시예에 따르면 장치에 영상이 입력된다. 입력되는 영상은 예시적으로, 그러나 한정되지 않게, 드릴링을 기다리고 있는 임플란트 환자의 구강을 촬영한 영상이다. 입력 영상은 장치(100)가 동작하고 있는 순간 실시간으로 환자의 구강을 촬영하고 있는 영상일 수 있다.

이 환자에 대해 임플란트 위치와 방향은 미리 플래닝되어 있을 수 있다. 이러한 플래닝은 환자의 구강 상태를 촬영한 의료 영상 데이터를 이용하여 소프트웨어에 의해 자동으로 생성된 것일 수도 있고, 및/또는 의료인이 이러한 데이터를 참고하여 매뉴얼하게 생성해 놓은 수술 계획을 포함하기도 한다.

수술 전까지의 과정에서, 의료인이 구강 인상을 채득하고 모델을 제작한 다음 스캔 데이터를 확보한다. 이 때 필요 시 래이디오패이크 포인트를 부착하여 진행한다. 그리고 CT 촬영을 하고, 스캔 데이터와 CT 촬영 결과를 정합하여 임플란트 위치 방향을 플래닝 하는 것이다. 플래닝에는 여러 가지가 있지만 본 명세서 전반적으로는 플래닝이, 어느 위치에 어떤 방향으로 얼마나 깊이 드릴을 할 것인지에 대한 계획을 포함하는 것으로 이해된다. 또한 임플란트를 할 위치가 하나가 아닐 때는 위치 별로 (또는 치아 번호 별로) 각각의 플래닝이 이루어져 있을 것이다.

한편 이렇게 플래닝이 되고 나면 수술 직전 수술 부위에 매칭 마커가 부착될 수 있다. 인상 채득 후 스캔 하거나 구강 스캔하여 데이터를 확보하고 이 데이터를 앞서 말한 스캔 데이터와 CT 촬영 결과의 매칭과 일치시킨다. 나중에 실제 수술 시에는 촬영된 영상이 이 데이터와 정합되어 영상으로 나타난다.

장치(100)는 현재 촬영되어 입력되고 있는 구강 영상을 이용하여 카메라 시점 (오브젝트 시점이라고 한다)의 좌표계와 상기 플래닝에서의 3D 좌표의 기준이 되는 기준 좌표계 사이의 차이를 인식한다. 이러한 과정은 상기 기준 좌표계와 상기 오브젝트 좌표계 사이의 좌표 변환 함수 (또는 변환 벡터)를 계산하는 것으로 이해될 수 있다. 증강 현실이 정밀하게 제공되기 위해 실제 오브젝트 또는 오브젝트의 영상 위에 가상 정보를 합성하여 제공하기 위해 이러한 좌표 변환을 하는 것이다. 좌표 변환에 대해서는 도 5 내지 도 7을 참조하여 상세히 후술할 것이다. 먼저, 장치(100)의 동작을 설명하기 위해 도 2 를 참조한다.

도 2는 일실시예에 따른 가이드 장치의 동작을 설명하기 위한 도면이다. 환자가 진료 의자에 누워 입을 벌리면 의료인 시점에서 이 환자의 구강 부분이 촬영된다. 이러한 촬영은 따로 배치된(stand alone) 카메라에 의해서 수행될 수도 있으나, 일실시예에 따르면 의료인이 착용하는 증강현실용 안경에 부착된 카메라에서 수행될 수도 있다. 본 발명이 웨어러블 기기, 이를테면 안경 형태의 웨어러블 기기에서 영상을 촬영하고 증강현실을 이 기기에서 제공하는 것에 한정되는 것은 아니다. 그러나 하나의 구현 가능한 실시예로서 안경 형태의 웨어러블 기기를 이하에서 설명하기로 한다. 다시 강조하건대 이러한 웨어러블 기기는 하나의 예시적 응용에 불과하다.

한편, 다른 응용에서는 투명한 디스플레이(transparent display) 형태의 기기도 가능하다. 수술을 집도하는 의료인과 환자 사이에 위치하는 투명한 디스플레이 형태가 되면 의료인은 더욱 자유롭고 편하게 수술할 수 있다.

도 3a는 이러한 예시적인 응용에 따라 안경형 웨어러블 기기에서 증강 현실 기법으로 드릴링 가이드가 이루어지는 모습이 도시된다. 웨어러블 기기에 연동되는 카메라가 환자의 구강 영상을 촬영하여 보내오면, 장치(100)는 영상에 포함된 복수 개의 특징점들을 이용하여 카메라 시점의 오브젝트 좌표계를 인식한다. 이러한 인식을 위한 특징점들은 마커 기반의 인식 또는 마커리스 기반의 인식 어느 쪽도 가능하다.

먼저 마커리스 기반의 인식을 설명한다. 일실시예에 따르면 상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 참고로 잇몸은 통상적으로 치조골을 싸고 있는 연조직을 의미하나, 연조직(soft tissue)과 치조골(hard tissue) 둘 다를 의미할 수도 있다. 상기와 같은 특징점은 치아의 모서리, 치아와 치아 사이의 치간 포인트, 입천장의 루게(palatal rugae), 파필라(palatal incisal paplla) 일 수 있다. 임플란트를 할 부분이 국부적이라서, 다른 치아가 있는 환자 (유치악 환자)의 경우 별다른 마커를 하지 않아도 현재 존재하는 치아들에서 다차원의 특징점들이 꽤 정교한 정도로 추출되기 때문에 이러한 마커리스 기반의 실시예가 가능하다. 특히 치아는 외부로 돌출되어 있고 그 자체로 X-레이나 CT 등 의료 영상을 3D로 구현한 데이터 내에도 공통적으로 존재하므로, 입력 영상에서 치아 특징점들을 추출해서 3D 데이터와 매칭하는 것이 매우 쉽다.

한편, 이러한 마커리스 기반의 인식을 대신하여 또는 이와 함께, 마커 기반의 인식도 가능하다. 환자의 구강을 X-레이나 CT로 촬영해도 이러한 마커가 촬영 되어야 특징점의 매칭 및 좌표 변환이 용이하기 때문에, 사용되는 물질은 방사선 불투과성 또는 방사선 컨트라스트 특성을 갖는 물질일 수 있다. 이를테면 이러한 포인트는 의료인이 환자의 잇몸이나 입천장 등에 미리 배치시켜 놓은 래이디오패이크 물질(radiopaque material)로 된 포인트들일 수 있다. 예를 들면 가타포처나 불투과성 레진 블록(resin block) 등이다.

또 다른 실시예에서는 의료인이 잇몸 또는 치아에 미리 타투(tattoo)를 착색시켜 놓은 포인트들이 이용될 수도 있다. 이처럼 다양한 실시예들이 존재하므로 열거된 것들은 한정적인 것이 아니라 예시적인 것이다.

이러한 마커들에 있어서, CT 영상과 구강 이미지 스캔 영상은 정합되어 있으므로, 수술 전에 이렇게 마커를 추가 배치하고 스캔을 다시 함으로써 수술 중 실시간 촬영되는 영상과 CT 영상 데이터 사이의 정합이 정교하게 이루어질 수 있다.

한편 일실시예에 따르면 상기 프로세서는 플래닝에 따라 특정 위치에 임플란트의 위치와 방향을 도 3의 이미지(310)과 같이 가이드로 제공할 수 있다. 상기와 같이 특징점들을 이용하여 기준 좌표계 상에 플래닝 된 임플란트의 위치와 방향이 카메라 시점에서 오브젝트를 바라본 오브젝트 좌표계로 변환되면 3D 데이터 내의 의료인의 드릴링 계획이 실제 오브젝트 (잇몸) 위에 이미지(310)로 표시되는 것이다. 또한 CT 단면도와 X-ray 상에 임플란트 위치와 방향이 도시되고 그 위에 드릴의 각도와 위치가 실시간으로 나타날 수 있다. 좌표 변환에 대해서는 더 상세히 후술하고, 여기서는 가이드라인에 대해 더 설명한다.

이러한 가이드 이미지(310)는 실제 임플란트 모양, 또는 화살표 모양일 수도 있고, 대시 라인, 실선 등 다양한 형태일 수 있다. 드릴이 되어야 할 깊이 (길이) 만큼만 표시가 따로 될 수도 있다. 또한, 이미지(310) 외에도 다양한 정보들이 함께 텍스트나 이미지로 표시될 수도 있다. 예를 들어, 환자의 이름, 성별, 나이, 질병 분류, 현재 드릴링이 되는 부분이 몇 번 치아 번호인지, 이전에 의료인이 남겨 둔 특이사항의 코멘트 등이 선택적으로 제시될 수도 있다.

또한, 치아의 위치 (상악의 치아 부분인지 하악의 치아 부분인지)나 치아의 종류(앞니인지 어금니인지 등)에 따라 이미지(310)의 색상이 다르게 표시되어 의료인이 위치를 혼동하지 않도록 시스템이 보조할 수도 있다. 또한 이미지(310)는 정지되지 않고 가이드 되어 드릴이 들어가는 방향으로 움직이는 애니매이션 등일 수도 있다. 이러한 다양한 시각적 처리는 의료인의 치료를 보조하고 혹시 있을 지 모를 의료적인 실수를 방지하기 위해 여러 가지로 준비될 수 있다. 나아가 시각적 가이드 라인과 함께 또는 선택적으로 음성으로 가이드라인 정보가 제시될 수도 있다. 의료인이 드릴을 잇몸에 가까이 가져가는 경우의 실시예들을 계속 설명한다.

도 3b는 일실시예에 따르면, 임플란트, 드릴 비트뿐만 아니라, 임플란트 주변의 구조물, 이를테면 신경관, 치근, 또는 상악동 경계 등을 단면도의 형태를 일측에 표시할 수 있다.

도 4는 일실시예에 따라 드릴링 비트의 방향과 가이드 방향의 차이가 계산되고 피드백되는 과정을 도시한다. 의료인이 드릴(400)을 가이드로 제공되는 이미지(310)에 맞게 가져가는 과정에서 드릴링 비트(401)가 촬영되어 인식된다. 주성분 분석(PCA: Principal Component Analysis) 등의 영상 처리 기법들을 이용하여 드릴링 비트의 중심 축 방향(410)과 위치, 그리고 길이 등이 인식될 수 있다.

현재 드릴링을 수행하려고 하는 위치가 어디인지, 몇 번 치아 위치인지는 의료인이 판단하고 의도하여 조작할 수 있다. 이를테면 의료인이 12번 치아 위치를 선택하면 12번 치아 위치에 대해 플래닝 된 이미지(310)가 표시되고 의료인이 드릴을 12번 치아 위치에 가까이 가져감으로써 이러한 인식과 비교가 수행되는 것이다. 그런데 다른 예에서, 임플란트를 위한 드릴링 위치가 복수 개인 환자의 경우, 드릴링 위치가 서로 혼동되어서는 안 된다. 따라서 프로세서(110)가 현재 드릴이 정렬된 위치와 축 방향(410)을 인식하여 지금 드릴이 들어갈 부분이 어떤 치아 부분인지를 자동으로 식별하여 그에 맞는 이미지(310)를 로드해서 제공하는 것이다. 구체적으로 말하면, 드릴이 12번 치아 드릴 포인트 위치 근처에 정렬되면 12번 치아에 대해 플래닝 된 가이드가 (또한 선택적으로는, 축 이미지, 위치, CT 단면도, 표준 X-ray, 파노라마 속에 위치된 임플란트 식립 가상 모양 등이 함께) 표시되고, 드릴을 옮겨서 14번 치아 드릴 포인트 위치 근처에 정렬되면 14번 치아에 대해 플래닝 된 가이드가 표시되는 것이다. 이러한 경우 의료인이 착각하여 12번에 대한 가이드가 제공되었을 때 우연히 방향이 비슷한 다른 치아의 드릴로 착각하여 조작 오류를 하는 실수가 방지된다. 다시 특정 치아에 대해 선택이 된 것을 전제하여 드릴링 가이드가 제시되고 정렬 정도가 피드백 되는 과정을 설명한다.

프로세서(110)에 의해 드릴 비트의 정렬 방향이 인식되면 제어부(120)는 가이드 이미지(310)의 방향과 현재 드릴링 비트가 정렬된 중심 축 방향(410)의 위치 및 방향을 비교한다. 이러한 비교 결과 양쪽의 차이가 임계치 이하가 되면 둘 사이는 일치하는 것으로 판단될 수 있다. 제어부(120)는 이러한 비교 결과를 시각적으로 제시할 수 있다. 이를테면 이미지(310)와 임플란트의 위치 및 축 방향(410)을 함께 디스플레이 함으로써 의료인이 둘 간의 불일치/일치 정도를 바로 관찰할 수 있도록 하는 것이 가능하다. 또한 색상을 이용하여 둘 사이의 차이가 임계치 이하이면 녹색으로, 차이가 임계치를 초과하면 빨간색으로 표시하는 것도 가능하다.

이러한 피드백은 시각적인 것 외에 이를 대신하거나 병행하여 청각적 피드백, 촉각적 피드백 등이 주어질 수도 있다. 청각적 피드백은 비프음이나 음성을 통해 상기 일치 여부를 알려주는 것일 수 있고, 촉각적 피드백은 진동 모터를 이용하여 햅틱 피드백을 주는 것일 수 있다. 드릴링 비트 정렬 방향이 플래닝에 따른 기준 방향과 일치하는지를 의료인이 직관적으로 인식하게 할 수 있는 것이라면, 시각, 촉각, 청각 등 다양한 피드백이 선택적으로 또는 함께 이용될 수 있다.

한편, 제어부(120)는 이렇게 의료인에게 드릴링 정렬 상태를 피드백하는 것에서 더 나아가 드릴 구동을 직접 제어할 수도 있다. 일실시예에 따르면 제어부(120)는 드릴 비트의 중심 축 방향(410)과 가이드 이미지(310)의 차이가 임계치 이하일 때 드릴(400)이 구동 가능하도록 언락(unlock)을 할 수 있다. 드릴은 평소에 락(lock)된 상태로 되어 드릴 구동이 트리거되지 못하고 있다가 (따라서 의료인이 드릴 구동 패달을 밟아도 드릴 정렬 상태가 좋지 않으면 드릴이 돌아가지 않음), 제어부(120)가 정렬 상태가 좋은 것으로 판단하는 경우에 구동 가능한 상태로 될 수 있다. 제어부(120)는 유선 또는 무선으로 드릴(400)의 구동부에 연결되어 제어 명령을 보내서 이러한 제어를 할 수 있다.

이상에서는 드릴링이 시작되기 전까지의 동작을 설명하였다. 일실시예에 따르면 이러한 가이드 제시 및 피드백은 드릴링이 수행되는 중에도 지속적으로 수행될 수 있다. 이를테면, 드릴링 비트가 회전하여 구동되는 중에, 현재 드릴링 비트의 중심 축 방향(410)이 가이드 이미지(310)의 방향과 상기 임계치 이상 차이가 나거나 하면 제어부(120)는 드릴을 직접 제어하여 정방향 드릴링을 즉시 멈출 수 있다. 단순히 스토핑(stopping)을 할 수도 있지만 역방향 토크를 가하여 드릴을 빼 낼 수 있다. 사람의 치조골과 같은 생체 부분에서는 드릴이 멈출 경우, 드릴이 치조골에 박혀서 빼기 어려워질 수 있기 때문에 즉시 경고음과 함께 역방향 토크를 가해서 드릴을 빼는 것이 도움이 될 수 있다. 이러한 직접 제어와 함께 또는 이를 대신하여 드릴링 상황에 대한 피드백은 시각적 요소, 청각적 또는 촉각적 요소를 이용하여 다양하게 수행될 수 있다.

또한, 영상 인식을 수행하는 프로세서(110)가 잇몸으로 들어가고 남은 드릴링 비트의 길이를 영상으로 식별하여, 미리 지정된 깊이만큼 드릴이 들어 갔는지를 판단하는 것도 가능하다. 치조정부에 드릴링이 시작되는 지점부터 드릴링 되는 깊이를 실시간으로 음성으로 또는 문자로 알려줄 수 있고, 미리 지정된 깊이만큼 드릴링 되었다고 인식되는 경우, 다시 말해 드릴링 비트의 잔여 길이가 미리 지정된 잔여 길이에 도달하는 경우, 제어부(120)는 드릴을 스토핑 하거나 역방향 토크를 가해 드릴을 뺄 수 있다. 프로세서(110)와 제어부(120)는 이 과정에서 풀 알피엠(full rpm)에서 바로 역방향으로 움직이는 것이 아니라, 깊이가 임계치에 가까이 가고 있는 중에, 알피엠을 줄여 나가면서 서서히 회전수를 감소 시키다가 경고음과 함께 역방향 토크로 전환하는 것도 가능하다. 물론 의료인 스스로 원래 계획된 깊이보다 더 드릴링 하고자 할 때는 수술 중에도 더 드릴링하고자 하는 깊이를 추가 입력 할 수도 있고, 수술 전에 이 플래닝을 수정하여 입력하면 그것이 반영된다. 실시예들에 따르면 술자는 시각적으로 주변 구조물, 이를테면 신경관, 치근, 또는 상악동 경계 등을 X-ray 영상 위에 합성되어 표시되는 드릴링의 움직을 볼 수 있으므로, 수술 중에라도 언제든지 술전 계획을 수정하거나 변경 가능한 것이다. 또한 최상의 임플란트 위치를 결정할 수 있다. 생체에 드릴링을 하는 것이고 구동 충격이나 조작 실수를 최대한 방지하는 것이 필요한 의료 행위에 사용되는 것이므로, 이러한 기술적 배려는 장치(100)의 상용화에 기여할 수 있다. 이하에서는 특징점들을 이용하여 좌표 변환을 수행하는 내용을 서술한다.

도 5a는 일실시예에 따라 유치악 (부분 무치악) 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다. 유치악 환자의 구강이 도시되었다. 일실시예에 따르면 영상 인식에 이용되는 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점이다. 이러한 특징점은 치아의 모서리, 치아와 치아 사이의 치간 포인트, 입천장의 루게(palatal rugae), 파필리아(palatal incisal papllia) 일 수 있다. 임플란트를 할 부분이 국부적이라서, 다른 치아가 있는 환자 (유치악 환자)의 경우 별다른 마커를 하지 않아도 현재 존재하는 치아들에서 다차원의 특징점들이 꽤 정교한 정도로 추출되기 때문에 이러한 마커리스 기반의 실시예가 가능하다. 특히 치아는 그 자체로 X-레이나 CT 등 의료 영상을 3D로 구현한 데이터 내에도 공통적으로 존재하므로, 입력 영상에서 치아 특징점들을 추출해서 3D 데이터와 매칭하는 것이 매우 쉽다. 다만 주의할 점은 발치(이를 뺌)를 하는 경우 발치하지 않은 주변 치아의 배치는 약간 틀어질 수 있으므로 유치악 환자의 경우에도 보조적으로 마커 방식의 특징점 표시가 필요할 수 있다. 또는 더욱 정밀한 매칭을 위해 술부에 가까운 치아에 돌출 마커를 부착하는 방법이 유용할 수 있다.

도 5b는 다른 일실시예에 따른 (완전) 무치악 구강에서의 특징 포인트 추출을 설명하기 위한 도면이다. 도시된 무치악 환자의 구강의 경우, 또는 유치악인 경우에도 정확도 향상을 위해 마커를 표시하는 경우에 이러한 형태를 이용할 수 있다. 마커 형태나 개수는 다양할 수 있으며 도시된 실시예는 예시적인 것에 불과하다. 이를테면 수술 중에도 구강 카메라로 촬영이 되는 부위에 치아나 연조직에 부착되는 형태의 마커도 가능하며, 모양이 특수하다면 복수 개가 아니라 한 개인 실시예도 가능할 것이다. 동일한 선상에 있지 않은 곳에 세 개 이상의 포인트를 배치하는 경우, 이들이 3D 데이터에 반영되고 실시간 촬영 영상에도 반영 됨으로써, 양자의 매칭에 의한 방향 인식이 가능하다. 일실시예에 따르면 연산양을 줄이고 계산이 정확하게 되기 위해 정삼각형 형태로 각 꼭지점에 마커를 표시할 수 있다. 그리고 이러한 정삼각형 형태의 마커 부분을 두 곳 이상 두어서 영상 인식의 정확도를 높일 수 있다. 상술한 바와 같이 환자의 구강을 X-레이나 CT로 촬영해도 이러한 마커가 촬영 되어야 특징점의 매칭 및 좌표 변환이 용이하기 때문에, 마커로 사용되는 물질은 방사선 불투과성 또는 방사선 컨트라스트 특성을 갖는 물질일 수 있다. 이를테면 이러한 포인트는 의료인이 환자의 잇몸이나 입천장 등에 미리 배치시켜 놓은 래이디오패이크 물질(radiopaque material)로 된 포인트들일 수 있다.

프로세서(110)가 영상 인식을 할 때 특징점들의 복잡도가 높아질수록 인식 정확도가 높아진다. 도 6a 및 도 6b는 실시예들에 따라 마커로 이용될 수 있는 가타포처 및 핀을 도시한다. 도 6a에 도시된 가타포처는 종래 치과 용품으로 사용되는 것인데 실시예들에 따른 마커로 이용될 수 있다. 또한 도 6b에 도시된 형태와 같이 헤드 부분에 래이디오패이크 물질이 배치된 핀이 활용될 수도 있다. 도 6a와 6b에서 도시된 물리적 형태를 환자 잇몸에 박아 넣는 것이 어려운 경우에는 의료인이 잇몸 또는 치아에 미리 타투(tattoo)를 착색시켜 놓은 포인트들이 이용될 수도 있다. 이처럼 다양한 실시예들이 존재하므로 열거된 것들은 한정적인 것이 아니라 예시적인 것이다.

도 7은 일실시예에 따른 오브젝트 좌표계의 식별 과정을 설명하기 위한 도면이다. 입력 영상에서 프로세서(110)에 의해 특징점들이 인식되면 이들의 노말 방향이 계산될 수 있다. 증강현실을 위해 입력 영상을 제공하는 카메라의 위치 벡터 s라고 하고, 벡터 s로부터 제1 마커의 위치(710)로의 방향 벡터를 u ₁ , 제2 마커의 위치(720) 로의 방향 벡터를 u ₂ , 제3 마커의 위치(730)로의 방향 벡터를 u ₃ 으로 표현하면, 각 마커들의 위치 벡터 p ₁ , p ₂ , 및 p ₃ 는 아래 수학식과 같이 표현된다. 스칼라 값 r, s 및 t는 카메라 위치와 마커들 사이의 거리이다. 물론 마커가 하나인 예에서 이 벡터들은 마커 내의 복수 개의 포인트들에 대응할 수도 있다.

그러면, 스칼라 r, s 및 t는 아래 수학식 2의 방정식을 풀어서 구할 수 있다.

이렇게 마커의 위치 벡터들 p ₁ , p ₂ , 및 p ₃ 가 구해지면, 포인팅 위치의 위치 벡터 p가 구해질 수 있다. 그러면, 마커들 위치의 중심점으로부터, 노말(normal) 방향으로 h 만큼 떨어져 있다. 벡터 v는 마커들 위치가 이루는 평면의 노말 벡터이다. 그리고 아래 수학식을 참조하면 마커의 위치 벡터들 p ₁ , p ₂ , 및 p ₃ 로부터 주방향 벡터 p를 구할 수 있다.

상기와 같이 주방향 벡터 p를 하나 이상에 대해 구하고, 원래 3D 데이터가 구축된 기준 좌표계에서의 벡터와 비교하면 벡터 연산을 이용하여 좌표계 간의 변환 벡터 F를 구할 수 있다. 이 F를 이용하여 오브젝트 좌표계를 기준 좌표계로 변환할 수 있고, 반대로 F의 역인 F ^-1 을 이용하여 기준 좌표계 상의 플래닝 가이드를 현실의 오브젝트 좌표계 쪽으로 변환할 수도 있다.

도 8은 일실시예에 따른 가이드 장치 동작 방법을 도시하는 흐름도이다. 일실시예에 따르면 단계(810)에서, 수술 플래닝에 따라 오브젝트에 대한 드릴링을 하도록 설정된 기준 위치 및 기준 방향을 식별한다. 이러한 기준 위치 및 기준 방향은 기준 좌표계로 표현되어 있는 것일 수 있다. 그리고 단계(820)에서 오브젝트를 실시간으로 촬영하여 제공되는 입력 영상으로부터 오브젝트 좌표계와 상기 기준 좌표계 사이의 변환 함수를 구한다. 좌표 변환을 계산하는 과정은 도 7을 참조하여 상술하였다. 그리고 기준 위치 및 기준 방향이 오브젝트 좌표계 상의 값으로 변환이 되면, 입력 영상 및/또는 실사 위에 가이드를 시각적으로 합성하여 출력한다(830). 이러한 과정은 도 3 내지 도 4를 참조하여 상술하였다.

도 9는 일실시예에 따른 가이드 장치에서 드릴 정렬 상태에 따라 드릴을 직접 제어하는 실시예를 도시하는 흐름도이다. 단계(910)에서 가이드가 제시되면 제어부(120)는 드릴 비트의 중심 축 방향(410)과 가이드 이미지(310)의 차이가 임계치 이하인지, 다시 말해 드릴 정렬 상태가 좋은지 판단한다(920). 이 판단에 따라 드릴 정렬 상태가 좋다고 판단되면, 제어부(120)는 드릴(400)이 구동 가능하도록 구동 승인을 할 수 있다(940). 그렇지 않고 드릴 정렬 상태가 좋지 않으면 구동 불승인이 되고 드릴은 계속 락(lock)된 상태로 되어 드릴 구동이 트리거되지 못하고 있다(930). 그러면 의료인이 드릴 구동을 시키려 해도 드릴이 돌아가지 않아 의료적 실수를 방지할 수 있다.

도 10은 일실시예에 따라 드릴 동작 중 드릴 정렬 상태가 좋지 않은 경우 드릴 제어를 수행하는 과정을 도시하는 흐름도이다. 드릴이 구동되고 있는 중에도 가이드 제시 및 피드백은 지속적으로 수행될 수 있다. 단계(1010)에서 드릴링 비트가 회전하여 구동되는 중에, 현재 드릴링 비트의 중심 축 방향이 가이드 이미지의 방향과 임계치 이상 차이가 나는지, 다시 말해 드릴 정렬 상태가 좋은지를 모니터 한다. 그리고 만약 임계치 이상 차이가 나서 드릴 정렬 상태가 좋지 않으면, 및/또는 드릴 깊이가 지정된 깊이에 도달하면 제어부(120)는 드릴을 직접 제어한다(1020). 이러한 직접 제어는 정방향 드릴링을 즉시 멈추는 스토핑(stopping)일 수 있다. 나아가, 단순히 멈추지 않고 역방향 토크를 가하여 드릴을 빼 낼 수도 있다. 상세한 드릴 제어에 대해서는 도 4를 참조하여 상술하였다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치에 있어서,
드릴링 비트를 촬영하여 제공되는 입력 영상으로부터, 상기 드릴링 비트가 오브젝트에 현재 정렬된 상태에 대응하는 제1 위치 및 제1 방향을 결정하는 프로세서; 및
수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준에 대응하는 제2 위치와 상기 제1 위치의 차이 및 상기 기준에 대응하는 제2 방향과 상기 제1 방향의 차이 중 적어도 하나를 계산한 결과를 출력하는 제어부
를 포함하는 가이드 장치.
제1항에 있어서,
상기 프로세서는 상기 입력 영상에서 상기 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 제1 위치 및 상기 제1 방향을 결정하는 가이드 장치.
제2항에 있어서,
상기 복수 개의 포인트들은 잇몸 및 치아 중 적어도 하나에 포함되는 특징점인 가이드 장치.
제2항에 있어서,
상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 래이디오패이크 물질(radiopaque material)에 대응하는 가이드 장치.
제2항에 있어서,
상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 배치되는 양형 돌출부 블록 또는 음형의 함몰부에 대응하는 가이드 장치.
제2항에 있어서,
상기 복수 개의 포인트들 중 적어도 하나는 잇몸 또는 치아에 미리 착색되는 타투 포인트 및 부착되는 칼라 테이프 중 적어도 하나에 대응하는 가이드 장치.
제2항에 있어서,
상기 프로세서는 상기 제1 위치 및 상기 제1 방향을 상기 제2 위치 및 상기 제2 방향과 동일한 좌표계로 변환하여 제공하는 가이드 장치.
제7항에 있어서,
상기 프로세서는 상기 복수 개의 포인트들의 위치 및 상기 복수 개의 포인트들이 이루는 평면의 노말 방향을 이용하여, 상기 수술 플래닝에 연관되는 기준 좌표계와 상기 입력 영상을 촬영하는 카메라 시점에 연관되는 오브젝트 좌표계 사이의 변환 함수를 계산함으로써 상기 변환을 수행하는 가이드 장치.
제8항에 있어서,
상기 프로세서는 상기 제2 위치 및 상기 제2 방향을 상기 오브젝트 좌표계로 변환하여 가이드 라인 형태로 디스플레이부에 출력함으로써 증강현실 영상을 렌더하는 가이드 장치.
컴퓨팅 단말에 의해 적어도 일시적으로 구현되는 가이드 장치에 있어서,
제공되는 입력 영상으로부터 오브젝트에 연관되는 복수 개의 포인트들 식별하고, 상기 복수 개의 포인트들을 이용하여 상기 오브젝트에 연관되는 오브젝트 좌표계 및 수술 플래닝에 따라 상기 오브젝트에 대한 드릴링을 하도록 설정된 기준을 제시하는 기준 좌표계 사이의 변환 함수를 계산하는 프로세서; 및
상기 변환 함수를 이용하여 상기 기준 좌표계 상에서 설정된 드릴링 가이드를 상기 오브젝트 좌표계로 변환하여 디스플레이부를 통해 출력하는 제어부
를 포함하는 가이드 장치.