KR20210150633A

KR20210150633A - 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법

Info

Publication number: KR20210150633A
Application number: KR1020200066911A
Authority: KR
Inventors: 신영길; 김윤정; 김민창
Original assignee: 서울대학교산학협력단
Priority date: 2020-06-03
Filing date: 2020-06-03
Publication date: 2021-12-13

Abstract

본 발명은 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법에 관한 것으로, 임플란트 수술 도구에 복수의 카메라를 구비하여, 임플란트 수술부위와 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지를 획득하고, 상기 획득한 상기 제1 이미지를 상기 임플란트 신체부위를 3차원으로 모델링한 3D모델 데이터, 상기 3D모델 데이터에 대한 뎁스 이미지, 또는 이들의 조합을 포함하는 제2 이미지와 정합한 후, 상기 정합한 결과로부터 상기 3차원으로 모델링한 3D모델 데이터 상에서의 상기 수술부위에 대한 상기 임플란트 수술 도구의 진입각도와 임플란트 깊이를 측정하여 제공함으로써, 임플란트 수술 도구의 진입각도 및 깊이를 가이드하는 시스템 및 그 방법에 관한 것이다.

Description

임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법{SYSTEM AND METHOD FOR MEASURING ANGLE AND DEPTH OF IMPLANT SURGICAL INSTRUMENT}

본 발명은 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 임플란트 수술 도구에 복수의 카메라를 구비하여, 임플란트 수술부위와 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지를 획득하고, 상기 획득한 상기 제1 이미지를 상기 임플란트 신체부위를 3차원으로 모델링한 3D모델 데이터, 상기 3D모델 데이터에 대한 뎁스 이미지, 또는 이들의 조합을 포함하는 제2 이미지와 정합한 후, 상기 정합한 결과로부터 상기 3차원으로 모델링한 3D모델 데이터 상에서의 상기 수술부위에 대한 상기 임플란트 수술 도구의 진입각도와 임플란트 깊이를 측정하여 제공함으로써, 임플란트 수술 도구의 진입각도 및 깊이를 가이드하는 시스템 및 그 방법에 관한 것이다.

최근 산업기술과 의료기술의 급속한 발전으로 인해, 신체의 특정 부위에 특수 금속(티타늄)으로 만들어진 임플란트를 삽입하여, 상기 삽입한 임플란트가 상기 신체에서 독립된 하나의 기능(예: 치아로써의 기능)을 수행할 수 있도록 하는 임플란트 수술에 대한 대중의 관심이 증가하고 있다.

상기 임플란트는, 치아가 상실된 치조골이나, 척추의 특정 부분 등과 같이 환자의 특정 신체부위에 삽입되어, 상기 특정 신체부위에 대한 기능을 대체하기 위한 것으로, 이러한 임플란트는, 정확한 위치에 삽입되지 않는 경우에는 심각한 통증과 출혈 등의 다양한 부작용이 발생될 수 있는 문제점이 있다.

따라서 상기 임플란트 수술을 진행 할 때, 상기 임플란트를 정확한 방향으로 정확한 깊이로 삽입하는 것이 매우 중요하다.

그러나 대부분의 임플란트 수술은, 임플란트 수술을 집도하는 의사의 전문성, 경험 또는 숙련도에 의존하기 때문에 상기 의사의 임플란트 수술에 대한 전문성, 경험 또는 숙련도가 떨어지는 경우에는, 임플란트 수술에 대한 정확성을 기대하는데 그 한계가 있다.

이러한 문제점을 해결하기 위해, 최근에는 CT 영상과 같은 환자의 의료영상에 상기 임플란트가 삽입될 위치와 삽입 방향에 대한 가이드를 증강현실로 표시하여, 임플란트 수술을 지원하는 증강현실 기반의 임플란트 수술시스템이 개발되어 상용화되고 있다.

그러나 종래의 증강현실 기반 임플란트 수술시스템은, 상기 임플란트가 삽입될 위치와 삽입 방향에 대한 가이드만을 증강현실로 제공하고 있기 때문에, 결국 상기 임플란트 수술을 집도하는 의사가 임플란트에 대한 각도 및 깊이 등을 실시간으로 인지해야 되는 문제점이 있다. 이는 결국 의사의 임플란트 수술에 대한 전문성, 경험 또는 숙련도에 의존할 수밖에 없다.

따라서 임플란트 수술시, 임플란트 수술 도구가 정확한 각도로 임플란트 수술부위에 진입하고 있는지 여부, 임플란트 깊이에 대한 정보를 제공할 수 있다면 정확한 임플란트 수술을 진행하도록 하는 것이 가능할 것이다.

이에 따라 본 발명에서는, 임플란트 수술 도구에 구비된 복수의 카메라를 통해 임플란트 수술부위와 수술부위 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 뎁스 이미지 또는 이들의 조합을 포함하는 제1 이미지를 획득하고, 상기 획득한 제1 이미지와 사전에 상기 임플란트 신체부위를 3차원으로 모델링한 3D모델 데이터, 상기 3D모델 데이터에 대한 뎁스 이미지 또는 이들의 조합을 포함하는 제2 이미지와 정합(matching)하여, 상기 3D모델 데이터 상에서의 상기 복수의 카메라에 대한 위치를 계산하여, 상기 계산한 결과에 따라 상기 임플란트 수술 도구의 상기 수술부위에 대한 진입각도와 임플란트 깊이를 측정하여 상기 3D모델 데이터에 표시함으로써, 상기 임플란트 수술에 대한 가이드를 제공함과 동시에, 상기 측정한 진입각도가 사전에 의도한 각도와 상이하거나, 상기 측정한 임플란트 깊이가 사전에 의도한 임플란트 깊이에 도달하거나 이를 초과하면 이에 대한 경보를 제공하여 임플란트 수술을 정확하게 진행할 수 있도록 하는 방안을 제안하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허 제2016-0086629호(2016.07.20.)는 영상유도 수술에서 수술부위와 수술 도구 위치정합 방법 및 장치에 관한 것으로, 복강경/내시경의 영상으로부터 계산된 거리 영상, CT/MRI 등의 사전진단 영상을 토대로, 가스 주입에 따른 체형/장기의 위치변화 예측, 3D 스캐너를 통한 환자 자세와 복부 위치의 인식 및 수술 도구 센서를 통한 수술 도구의 위치/각도를 인식하여 수술 대상 부위에 대한 수술 도구의 위치를 계산하는 영상유도 수술에서 수술부위와 수술 도구 위치정합 방법 및 장치에 관한 것이다.

그러나 상기 선행기술은, 센서로부터 수신되는 위치정보에 따라 인체 내부에서 이동되는 수술 도구를 증강현실로 표시하는 것일 뿐, 본 발명과 같이, 임플란트 수술 도구에 구비된 복수의 카메라를 통해 환자의 임플란트 신체부위에 대해 획득한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 뎁스 이미지 또는 이들의 조합과, 상기 임플란트 신체부위에 대해 사전에 3차원으로 모델링하여 생성한 3D모델 데이터, 상기 3D모델 데이터에 대한 뎁스 이미지 또는 이들의 조합을 정합하여, 상기 3D모델 데이터 상에서 상기 임플란트 수술 도구에 구비되는 드릴의 위치, 각도 및 임플란트 깊이를 측정하고, 사전에 수립한 임플란트 수술 계획에 따라 상기 드릴의 위치, 각도 및 임플란트 깊이가 정확한지에 대한 여부를 경보로 제공하는 것이 아니므로, 상기 선행기술과 본 발명은 현저한 차이점이 있음이 분명하다.

또한 한국등록특허 제2013866호(2019.08.19.)는 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치에 관한 것으로, 수술 대상자의 신체내부로 진입하는 카메라에 의해 촬영되는 실제수술영상으로부터 기준 객체를 획득하여, 카메라에 대한 기준 위치를 설정하고, 상기 카메라가 이동함에 따라 상기 설정한 기준 위치에서의 위치 변화량을 산출하여, 상기 카메라의 현재 위치를 산출하는 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치에 관한 것이다.

즉, 상기 선행기술은 실제수술영상에서 신체내부의 특정 객체를 기준으로 설정하여, 카메라가 이동시 상기 기준으로 설정한 특정 객체에 대한 위치 변화량을 산출함으로써, 카메라의 현재 위치를 산출하는 것이다.

반면에 본 발명은, 임플란트 수술시, 사전에 생성한 임플란트 수술부위를 포함하는 임플란트 신체부위를 모델링한 3D모델 데이터 상에서 임플란트 수술 도구에 구비된 복수의 카메라에 대한 위치를 계산하여, 상기 계산한 위치에 따라 임플란트 도구에 구비된 드릴의 위치와 각도 및 임플란트 깊이를 측정하여 제공하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사 혹은 암시도 없다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 임플란트 수술시, 임플란트 수술부위를 포함하는 사용자의 임플란트 신체부위에 대한 3D모델 데이터 상에서, 임플란트 수술 도구에 구비된 드릴의 위치, 상기 신체부위에 대한 진입각도, 및 임플란트 깊이를 측정하여, 상기 측정한 결과와 상기 임플란트 수술 도구를 가시화하여 상기 3D모델 데이터에 표시함으로써, 상기 임플란트 수술 도구의 위치, 진입각도, 및 임플란트 깊이를 가이드하는 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은, 상기 3D모델 데이터를 생성할 때, 상기 임플란트 수술 도구에 구비된 복수의 카메라를 통해 다양한 위치에서 촬영한 상기 임플란트 신체부위에 대한 3차원 컬러 이미지와 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지 또는 이들의 조합을 포함하는 제1 이미지를 획득하고, 상기 제1 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점으로 구성되는 제1 포인트 클라우드를 미리 생성하여, 상기 3D모델 데이터, 상기 3D 모델 데이터에 대한 제2 뎁스 이미지 또는 이들의 조합을 포함하는 제2 이미지에 미리 생성한 제2 포인트 클라우드 간의 매칭관계를 학습한 학습모델을 이용하여, 상기 임플란트 수술시, 상기 임플란트 수술 도구에 구비되는 복수의 카메라를 통해 획득된 상기 제1 이미지에 대해 생성한 제1 포인트 클라우드와 상기 제2 이미지에 대해 생성한 제2 포인트 클라우드 간의 매칭관계를 출력하여, 상기 정합(matching)을 수행함으로써, 상기 3D모델 데이터 상에서 상기 복수의 카메라에 대한 위치를 각각 계산하는 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.

이때, 상기 복수의 카메라, 상기 복수의 카메라에 대한 상기 드릴의 상대적인 위치 및 각도를 포함하는 상기 임플란트 수술 도구에 대한 지오메트리(geometry)는, 사전에 계산되어 상기 시스템에 저장되어 있다.

또한 본 발명은, 상기 계산한 복수의 카메라에 대한 위치와 상기 저장한 지오메트리를 참조하여, 임플란트 수술시 상기 드릴의 위치, 진입각도, 및 임플란트 깊이를 각각 측정하고, 상기 측정한 결과와 상기 임플란트 수술을 위해 사전에 수립한 임플란트 수술 계획과 비교하여 상기 드릴이 상기 수술부위에 잘못된 각도로 진입하거나, 상기 사전에 설정한 임플란트 깊이에 도달하거나 초과하는 경우, 이에 대한 경보를 출력하여 제공하는 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.

본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템은, 임플란트 수술 도구에 구비된 복수의 카메라로부터 임플란트 수술부위 및 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지를 획득하는 이미지 획득부, 사전에 미리 생성한 상기 임플란트 신체부위에 대한 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지, 또는 이들의 조합을 포함하는 제2 이미지와 상기 획득한 제1 이미지를 정합(matching)하는 정합부 및 상기 정합을 통해서, 상기 3D모델 데이터 상에서의 상기 복수의 카메라에 대한 위치에 따라 상기 임플란트 수술 도구에 구비된 드릴의 상기 임플란트 수술부위에 대한 진입각도 및 임플란트 깊이를 측정하는 측정부를 포함하는 것을 특징으로 한다.

또한 상기 측정 시스템은, 상기 제1 이미지 및 제2 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성된 제1 포인트 클라우드 및 제2 포인트 클라우드를 생성하는 포인트 클라우드 생성부를 더 포함하며, 상기 정합부는, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드와 매칭하는 것을 포함하며, 상기 제1 포인트 클라우드와 제2 포인트 클라우드의 매칭관계를 통해서, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩하여 매칭함으로써 상기 정합을 수행하는 것을 더 포함하며, 상기 측정부는, 상기 제1 포인트 클라우드에 상대적인 상기 복수의 카메라에 대한 위치정보를 이용하여, 상기 제2 포인트 클라우드 좌표상에 상기 복수의 카메라에 대한 위치를 계산하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 측정 시스템은, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드를 미리 생성하여 입력한 다음, 상기 제1 포인트 클라우드 및 제2 포인트 클라우드로 이루어진 데이터세트 간의 매칭관계를 학습하여 학습모델을 생성하는 학습모델 생성부를 더 포함하며, 상기 정합부는, 상기 제1 포인트 클라우드와 제2 포인트 클라우드를 상기 학습모델에 적용하여, 제1 포인트 클라우드와 제2 포인트 클라우드와의 상기 매칭관계를 추출하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 학습모델은, 인공지능 학습네트워크의 입력 레이어로는, 제1 포인트 클라우드 데이터 세트가 입력되어 인공지능 학습네트워크를 통해서 학습되고, 상기 제2 포인트 클라우드는 상기 인공지능 학습네트워크의 출력 레이어에 입력되며, 상기 출력 레이어에서 상기 학습한 결과와 상기 제2 포인트 클라우드와 비교하여, 각 포인트에서 미스 매칭되는 차이를 백프로퍼게이션하여 상기 차이가 최소가 될 때까지 반복 학습하여 학습모델을 생성하며, 상기 임플란트 수술시, 상기 획득한 제1 이미지에 대해 생성한 제1 포인트 클라우드와 상기 제2 포인트 클라우드가 상기 생성한 학습모델에 입력되면 상기 제1 포인트 클라우드의 각 포인트에 매칭되는 제2 포인트 클라우드의 포인트의 매칭관계가 출력되도록 모델링되는 것을 특징으로 한다.

또한 상기 측정부는, 상기 계산한 복수의 카메라에 대한 위치와 상기 임플란트 수술 도구에 대한 지오메트리를 참조하여, 상기 제2 이미지 상에서의 상기 드릴의 위치, 상기 수술부위에 대한 진입각도, 및 상기 임플란트 깊이를 측정하며, 상기 진입각도는, 상기 측정한 상기 드릴의 위치에 따라 상기 제2 이미지에 상기 드릴을 나타내는 드릴선분을 생성하고, 상기 생성한 드릴선분과 상기 제2 이미지에서의 상기 임플란트 신체부위의 표면에 생성한 기준선분 간의 각도를 계산하여, 측정되며, 상기 임플란트 깊이는, 상기 생성한 기준선분을 기준으로 상기 제2 이미지 상에서 상기 수술부위의 내부로 진입한 상기 드릴선분의 길이를 계산하여, 측정되는 것을 특징으로 한다.

또한 상기 측정 시스템은, 상기 임플란트 수술 도구를 사전에 가상화하여 생성한 가상의 임플란트 수술 도구를 상기 계산한 복수의 카메라에 대한 위치에 따라 상기 3D모델 데이터에 가시화하여 표시하는 임플란트 수술 도구 가시화부 및 상기 측정한 드릴에 대한 위치가 사전에 설정한 3D모델 데이터 상에서 위치해야 할 범위를 벗어나거나, 상기 측정한 드릴에 대한 진입각도가 사전에 설정한 임계범위 이외의 값을 가지거나, 또는 상기 측정한 드릴에 대한 임플란트 깊이가 사전에 설정한 임계값에 도달하거나 초과하는 경우에 경보를 출력하는 알림부를 더 포함하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 방법은, 임플란트 수술 도구에 구비된 복수의 카메라로부터 임플란트 수술부위 및 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지를 획득하는 이미지 획득 단계, 사전에 미리 생성한 상기 임플란트 신체부위에 대한 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지, 또는 이들의 조합을 포함하는 제2 이미지를 상기 획득한 제2 이미지와 정합(matching)하는 정합 단계 및 상기 정합을 통해서, 상기 3D 모델데이터 상에서의 상기 복수의 카메라에 대한 위치에 따라 상기 임플란트 수술 도구에 구비된 드릴의 상기 임플란트 수술부위에 대한 진입각도 및 임플란트 깊이를 측정하는 측정 단계를 포함하는 것을 특징으로 한다.

또한 상기 측정 방법은, 상기 사전에 미리 생성한 제2 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성된 제2 포인트 클라우드를 생성하는 제2 포인트 클라우드 생성 단계 및 상기 획득한 제1 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성된 제1 포인트 클라우드를 생성하는 제1 포인트 클라우드 생성 단계를 더 포함하며, 상기 정합 단계는, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드와 매칭하는 것을 포함하며, 상기 제1 포인트 클라우드와 제2 포인트 클라우드의 매칭관계를 통해서, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩하여 매칭함으로써 상기 정합을 수행하는 것을 더 포함하며, 상기 측정 단계는, 상기 제1 포인트 클라우드에 상대적인 상기 복수의 카메라에 대한 위치정보를 이용하여, 상기 제2 포인트 클라우드 좌표상에 상기 복수의 카메라에 대한 위치를 계산하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 측정 방법은, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드를 미리 생성하여 입력한 다음, 상기 제1 포인트 클라우드 및 제2 포인트 클라우드로 이루어진 데이터세트 간의 매칭관계를 학습하여 학습모델을 생성하는 학습모델 생성 단계를 더 포함하며, 상기 정합 단계는, 상기 제1 포인트 클라우드와 제2 포인트 클라우드를 상기 학습모델에 적용하여, 제1 포인트 클라우드와 제2 포인트 클라우드와의 상기 매칭관계를 추출하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 측정 단계는, 상기 계산한 복수의 카메라에 대한 위치와 상기 임플란트 수술 도구에 대한 지오메트리를 참조하여, 상기 제2 이미지 상에서의 상기 드릴의 위치, 상기 수술부위에 대한 진입각도, 및 상기 임플란트 깊이를 측정하는 것을 특징으로 한다.

또한 상기 측정 방법은, 상기 임플란트 수술 도구를 사전에 가상화하여 생성한 가상의 임플란트 수술 도구를 상기 계산한 복수의 카메라에 대한 위치에 따라 상기 3D모델 데이터에 가시화하여 표시하는 임플란트 수술 도구 가시화 단계 및 상기 측정한 드릴에 대한 위치가 사전에 설정한 3D모델 데이터 상에서 위치해야 할 범위를 벗어나거나, 상기 측정한 드릴에 대한 진입각도가 사전에 설정한 임계범위 이외의 값을 가지거나, 또는 상기 측정한 드릴에 대한 임플란트 깊이가 사전에 설정한 임계값에 도달하거나 초과하는 경우에 경보를 출력하는 알림 단계를 더 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법은, 임플란트 수술을 진행할 때, 사전에 생성한 환자의 3D모델 데이터 상에서, 임플란트 수술 도구에 구비되는 드릴의 위치와, 진입각도 및 임플란트 깊이를 측정하여 표시함으로써, 상기 위치, 진입각도 및 임플란트 깊이를 실시간으로 가이드하여 상기 임플란트 수술에 대한 편의성과 정확성을 제공하는 효과가 있다.

또한 본 발명은, 사전에 수립한 임플란트 수술 계획과 상기 계산한 드릴의 위치와 각도 및 임플란트 깊이를 대비하여, 상기 임플란트를 삽입할 위치에 상기 드릴이 정확한 각도로 진입하는지 여부, 상기 사전에 설정한 임플란트 깊이에 도달하는지 여부를 판단하여, 이에 대한 경보를 제공함으로써, 상기 임플란트 수술 계획에 따라 임플란트 수술을 정확하게 진행할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 임플란트 수술 도구의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 임플란트 수술시, 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템의 동작을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3D모델 데이터 상에서 임플란트 수술 도구의 드릴에 대한 위치, 진입각도 및 임플란트 깊이를 측정하는 과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 학습모델을 생성하기 위한 학습네트워크의 구조와 학습과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이를 측정하는 절차를 나타낸 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템(100)(이하, 진입각도/깊이 측정 시스템이라 칭함)은, 특정 환자에 대한 임플란트 수술을 진행할 때, 상기 임플란트 수술에 이용되는 임플란트 수술 도구(200)에 구비되는 복수의 카메라로부터 상기 임플란트 수술부위와 상기 수술부위의 주변을 포함하는 임플란트 신체부위를 촬영한 임플란트 신체부위 이미지를 각각 수신하여, 상기 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지 또는 이들의 조합을 포함하는 제1 이미지를 획득하고, 상기 획득한 제1 이미지를 이용하여 상기 임플란트 신체부위를 사전에 3차원으로 모델링한 3D모델 데이터 상에서, 상기 임플란트 수술 도구(200)에 구비되는 드릴(230)의 위치, 상기 임플란트 수술부위에 대한 진입각도, 및 임플란트 깊이(즉, 임플란트를 수술부위에 일정 깊이로 삽입하기 위한 상기 수술부위에 대한 드릴의 깊이)를 측정하고, 이를 상기 3D모델 데이터에 표시하여 상기 임플란트 수술 도구의 위치, 진입각도, 및 임플란트 깊이를 실시간으로 가이드한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 측정한 위치, 진입각도, 및 임플란트 깊이가 사전에 수립한 임플란트 수술 계획과 상이한 경우에는, 이에 대한 경보를 출력하여 상기 수립한 임플란트 수술 계획에 따라 상기 임플란트 수술을 정확하게 진행할 수 있도록 한다. 한편, 상기 측정한 드릴(230)의 위치는, 상기 3D모델 데이터 상에서의 상기 드릴(230)의 끝점에 대한 위치를 의미한다.

또한 본 발명은, 상기 복수의 카메라에 대한 상기 드릴(230)의 상대적인 위치 및 각도와, 상기 드릴(200)의 길이를 포함하는 상기 임플란트 수술 도구(200)에 대한 지오메트리(geometry)는, 사전에 측정되어 데이터베이스(300)에 저장되며, 상기 진입각도/깊이 측정 장치(100)에서, 상기 저장한 지오메트리를 이용하여 상기 3D모델 데이터 상에서의 상기 드릴(230)에 대한 위치, 진입각도, 및 임플란트 깊이를 정확하게 계산할 수 있도록 한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 복수의 카메라로부터 수신한 신체부위 이미지를 상기 복수의 카메라 간의 시차(disparity)와, 중첩된 신체부위의 특정 부분을 상호 정합하는 이미지 정합 과정을 통해 상기 제1 이미지를 획득한다. 상기 제1 이미지를 획득하는 것은, 일반적으로 스테레오 카메라에서 특정 피사체에 대한 3차원 컬러 이미지와 뎁스 이미지를 획득하는 과정과 동일한 과정을 통해 수행되는 것으로 이에 대한 설명은 생략하도록 한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 획득한 제1 이미지를 상기 임플란트 신체부위를 사전에 3차원으로 모델링하여 생성한 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지 또는 이들의 조합을 포함하는 제2 이미지와 정합(Matching)하여, 상기 정합을 통해 상기 3D모델 데이터 상에서의 상기 복수의 카메라에 대한 위치를 계산한다.

한편, 초점거리 등을 포함하는 파라미터(parameter)를 알고 있는 복수의 카메라를 사용하여 피사체(즉, 임플란트 신체부위)를 촬영할 경우, 상기 피사체에 대해 생성한 특징점이 각 카메라의 이미지마다 다른 픽셀에 나타나게 되는데, 이 차이를 이용하여 상기 복수의 카메라를 통해 촬영한 이미지를 통해 획득한 상기 피사체에 대한 3차원 이미지에서 상대적인 카메라 위치정보(즉, 3차원 위치좌표)를 계산하는 것이 가능하다. 즉, 복수의 카메라를 통해 상기 피사체를 촬영하여 획득한 3차원 이미지에서 상기 복수의 카메라에 대한 상대적인 위치를 이미 알 수 있으므로, 상기 3차원 이미지와 상기 피사체에 대해 생성한 3D모델 데이터간의 매칭관계를 알 수 있으면, 상기 3D모델 데이터 상에서 상기 복수의 카메라에 대한 위치를 계산할 수 있다.

한편, 두개 이상의 카메라가 있어야만 상기 피사체에 대한 복수의 카메라에 대한 위치좌표를 계산하는 것이 가능하며, 상기 피사체에 대한 카메라의 사각지대가 발생하지 않도록 복수의 카메라를 통해 전 방위적으로 촬영해야 하며, 이는 상기 카메라가 많을수록 상기 각 카메라에 대한 정확한 위치좌표를 계산할 수 있다.

따라서 본 발명에서, 상기 3D모델 데이터를 생성할 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라를 통해 사전에 획득한 상기 제1 이미지에 대해 미리 생성한 제1 포인트 클라우드가 상기 제2 이미지에 대해 미리 생성한 제2 포인트 클라우드에 위치하는 매칭관계(즉, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드간의 매칭관계)를 사전에 저장하고 있으면서, 상기 임플란트 수술을 진행할 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라를 통해 획득한 상기 임플란트 신체부위에 대한 제1 이미지에 대해 생성한 제1 포인트 클라우드와 상기 제2 이미지에 대한 매칭관계를 출력하고, 상기 출력한 매칭관계에 따라 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩하여 매칭함으로써, 상기 정합을 수행하여, 상기 제1 이미지와 상기 제1 이미지에 대해 생성한 제1 포인트 클라우드를 통해 이미 알고 있는 상기 복수의 카메라에 대한 상대위치를 토대로 복수의 카메라에 대한 위치를 계산한다.

이때, 상기 매칭관계를 출력하는 것은, 상기 3D모델 데이터를 생성할 때, 상기 사전에 획득한 제1 이미지에 대해 미리 생성한 제1 포인트 클라우드와, 상기 제2 이미지에 대해 미리 생성한 제2 포인트 클라우드간의 매칭관계를 학습한 학습모델을 통해 수행되며, 상기 학습모델은 도 5를 참조하여 상세히 설명하도록 한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 계산한 복수의 카메라에 대한 위치와 사전에 저장한 상기 임플란트 수술 도구(200)에 대한 지오메트리를 참조하여, 상기 3D모델 데이터 상에서의 상기 드릴(230)의 위치, 진입각도, 및 임플란트 깊이를 측정하고, 이를 상기 3D모델 데이터에 표시함으로써, 상기 임플란트 수술에 대한 가이드를 제공한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 측정한 드릴(230)의 위치, 진입각도, 및 임플란트 깊이와 사전에 수립한 임플란트 수술 계획과 대비하여, 상기 측정한 드릴(200)의 위치가 상기 3D모델 데이터 상에서 사전에 설정한 범위를 벗어나거나, 상기 측정한 진입각도가 사전에 설정한 수술부위에 대한 임계범위(즉, 각도범위) 이외의 값을 가지거나, 또는 상기 특정한 임플란트 깊이가 사전에 설정한 임계값에 도달하거나 초과하는 경우에 경보를 출력하여, 상기 임플란트 수술을 집도하는 의사가 실시간으로 상기 드릴(230)에 대한 위치, 진입각도, 및 임플란트 깊이를 조정할 수 있도록 한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 임플란트 수술을 진행하기 전에, 상기 3D모델 데이터 상에서 상기 드릴(230)이 위치해야할 범위, 수술부위에 대한 드릴(230)의 진입각도에 임계범위, 상기 임플란트 깊이에 대한 임계값, 임플란트 수술시간 등을 포함하여 전반적인 임플란트 수술 계획을 사전에 수립할 수 있도록 하는 기능을 지원한다.

도 2는 본 발명의 일 실시예에 따른 임플란트 수술 도구의 구성을 나타낸 도면이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술 도구(200)는, 상기 임플란트 수술 도구(200)의 헤드, 몸체 또는 이들의 조합에 각각 구비되는 제1 카메라(210)와 제2 카메라(220) 및 상기 헤드에 구비되어 상기 수술부위에 임플란트를 삽입하는 드릴(230)을 포함하여 구성된다.

또한 상기 제1 카메라(210) 및 제2 카메라(220)는, 상기 임플란트 신체부위의 특정 부분을 상호 중복하여 촬영할 수 있도록 상기 헤드, 몸체 또는 이들의 조합에 구비된다. 이를 통해 상기 임플란트 수술 도구(200)는, 상기 제1 이미지를 획득하기 위한 스테레오 카메라 환경이 구축되는 것이다.

또한 상기 제1 카메라(210)와 제2 카메라(220)는, 상기 임플란트 수술이 진행되면, 상기 임플란트 신체부위를 각각 촬영한 임플란트 신체부위 이미지를 상기 진입각도/깊이 측정 시스템(100)으로 제공하는 기능을 수행한다. 이때, 상기 각 카메라에서 상기 진입각도/깊이 측정 시스템(100)으로 제공하는 것이 바람직하지만, 상기 각 카메라에서 촬영한 신체부위 이미지를 임플란트 수술 도구(200)에서 진입각도/깊이 측정 시스템(100)으로 제공하는 것도 가능하다.

한편, 상기 도 2에는 상기 임플란트 수술 도구(200)에 두개의 카메라를 구비한 것으로 나타나 있으나, 상기 임플란트 수술 도구(200)의 헤드나 드릴(230)의 구조에 의해, 상기 각 카메라로 촬영되지 않는 사각지대가 발생할 수 있다. 따라서 상기 사각지대의 발생을 방지하기 위해 상기 헤드의 외주면, 상기 몸체 또는 이들의 조합에 3개 이상의 카메라가 구비될 수 있으며, 상기 3개 이상의 각 카메라에서 상기 임플란트 신체부위를 촬영한 임플란트 신체부위 이미지를 진입각도/깊이 측정 장치(100)로 제공하여, 상기 3D모델 데이터 상에서 상기 복수의 카메라에 대한 위치를 정확하게 계산하도록 함으로써, 상기 3D모델 데이터 상에서 상기 드릴(220)에 대한 정확한 위치, 진입각도 및 임플란트 깊이를 측정할 수 있도록 한다. 즉, 상기 임플란트 수술 도구(200)에는 최소 2개 이상의 복수의 카메라가 구비되어, 스테레오 카메라 환경을 구축하는 것이다.

이하에서는, 도 3 및 도 4를 참조하여, 상기 드릴(230)의 위치, 진입각도 및 임플란트 깊이를 측정하기 위한 상기 진입각도/깊이 측정 시스템(100)의 동작을 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 임플란트 수술시, 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템의 동작을 설명하기 위해 나타낸 도면이다.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 진입각도/깊이 측정 시스템(100)은, 특정 환자에 대한 임플란트 수술을 진행하는 경우, 상기 임플란트 수술부위 및 수술부위의 주변을 포함하는 상기 환자의 신체부위에 3D모델 데이터가 사전에 생성되어 3D모델 데이터 데이터베이스(310)에 저장된다.

상기 3D모델 데이터는, 사전에 상기 임플란트 신체부위에 대해 촬영한 복수의 3차원 컬러 이미지를 이용하여, 상기 임플란트 신체부위를 3차원으로 모델링하여 생성한 것으로, 진입각도/깊이 측정 시스템(100)에서 생성되는 것이 바람직하지만 별도의 모델링 장치를 통해 생성될 수 있다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 3D모델 데이터를 생성할 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라를 통해 사전에 획득한 상기 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제2 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지와, 상기 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지, 또는 이들의 조합을 포함하는 제2 이미지간의 매칭관계를 학습하여, 학습모델을 우선적으로 생성한다(①).

이때, 상기 3D모델 데이터를 생성할 때, 상기 진입각도/깊이 측정 시스템(100)은, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라 또는 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라와 동일한 규격으로 구성된 복수의 카메라를 포함하는 촬영수단(즉, 상기 임플란트 수술 도구에 구비된 복수의 카메라 간의 상대적인 위치와 시차가 동일한 복수의 카메라로 구성된 촬영수단)을 이용하여 획득한 제1 이미지와, 상기 제2 이미지에 대한 매칭관계를 생성하여 저장한다.

상기 학습은, 이미지 처리에 최적화된 학습네트워크인 CNN(Convolutional Neural Network)를 이용하는 것이 바람직하다.

이때, 상기 매칭관계는, 상기 제1 이미지에서, 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성되는 제1 포인트 클라우드와, 상기 제2 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성되는 제2 포인트 클라우드간의 매칭관계를 의미한다.

또한 상기 복수의 특징점은, 상기 신체부위에서의 코너점, 굴곡점, 교차점 등과 같이 상기 사전에 획득한 제1 이미지와 제2 이미지에서 변화가 있는 부분을 선택함으로써, 미리 생성된다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 임플란트 수술이 진행되는 경우, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라로부터 상기 신체부위를 촬영한 이미지를 각각 수신하여, 상기 신체부위에 대한 3차원 컬러 이미지, 제1 뎁스 이미지 또는 이들의 조합을 포함하는 제1 이미지를 획득한다(②).

또한 진입각도/깊이 측정 시스템(100)은, 상기 임플란트 수술시, 상기 획득한 제1 이미지에 제1 포인트 클라우드를 생성하여, 상기 생성한 제1 포인트 클라우드와 상기 제2 포인트 클라우드를 상기 생성한 학습모델에 입력하여, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드의 매칭관계를 추출하고, 상기 추출한 매칭관계에 따라 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩하여 매칭함으로써, 상기 정합을 수행하여, 제2 포인트 클라우드 좌표상에 상기 복수의 카메라에 대한 위치를 계산한다(③).

이때, 상기 복수의 카메라에 대한 위치를 계산하는 것은, 상기 제1 포인트 클라우드에서 상기 복수의 카메라에 대한 상대적인 위치정보가 이미 계산되어 알고 있으므로, 상기 제1 포인트 클라우드를 중첩하여 매칭한 상기 제2 포인트 클라우드의 좌표상에 상기 복수의 카메라에 대한 위치가 계산됨은 상술한 바와 같다.

또한 상기 제1 이미지에 생성한 상기 제1 포인트 클라우드는, 상기 제2 이미지에서 포인트 클라우드를 생성하는 과정과 동일한 메커니즘으로 생성된다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 계산한 복수의 카메라에 대한 위치에 따라 상기 임플란트 수술 도구(200)에 구비된 드릴(230)의 위치, 상기 수술부위에 대한 진입각도, 및 임플란트 깊이를 측정하여, 상기 3D모델 데이터에 표시한다(④).

이때, 상기 진입각도/깊이 측정 시스템(100)은, 상기 계산한 복수의 카메라에 대한 위치와 사전에 저장한 상기 임플란트 수술 도구(200)에 대한 지오메트리를 참조하여, 상기 드릴(230)의 위치, 진입각도, 및 임플란트 깊이를 측정한다.

즉, 상기 지오메트리는, 상기 복수의 카메라와 드릴(230)에 대한 상대적인 위치와 각도를 사전에 측정하여 생성한 것이기 때문에, 상기 복수의 카메라에 대한 위치가 계산되면, 상기 3D모델 데이터 상에서 상기 드릴(230)의 위치, 진입각도, 및 임플란트 깊이가 간편하게 측정될 수 있다. 한편 상기 드릴(230)의 위치와 진입각도, 및 임플란트 깊이를 측정하는 것은 도 4를 참조하여 상세히 설명하도록 한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 계산한 카메라의 위치에 따라 사전에 렌더링하여 생성한 상기 임플란트 수술 도구(200)에 대한 가상의 임플란트 수술 도구(200)를 상기 3D모델 데이터 상에 가시화하여 표시하고, 상기 정합을 통해 복수의 카메라에 대한 위치가 계산되는 경우, 상기 임플란트 수술시, 임플란트 신체부위에 대해 획득한 상기 제1 이미지를 상기 임플란트 신체부위에 대응하는 상기 3D모델 데이터 상에 표시하여, 상기 임플란트 수술에 대한 가이드를 제공한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 측정한 드릴(230)의 위치, 진입각도, 및 임플란트 깊이에 따라 상기 3D모델 데이터 상에서 상기 드릴(230)이 사전에 설정한 범위 내에 위치하지 않거나, 상기 수술부위에 대해 잘못된 진입각도를 가지거나, 상기 사전에 설정한 임플란트 깊이에 도달하거나 초과하는 경우에 경보를 출력한다(⑤).

이때, 상기 진입각도/깊이 측정 시스템(100)은, 상기 측정한 드릴(230)의 위치, 진입각도, 및 임플란트 깊이와, 상기 임플란트 수술 계획에 따라 사전에 설정한 3D모델 데이터 상에서의 상기 드릴(230)이 위치해야할 범위, 상기 수술부위에 대한 상기 드릴(230)의 진입각도에 대한 임계범위 및 임플란트 깊이에 대한 임계값을 각각 비교하여, 상기 측정한 드릴(230)의 위치가 상기 범위에 속하지 않거나, 상기 측정한 진입각도가 상기 임계범위 외의 값을 가지거나, 상기 측정한 임플란트 깊이가 상기 임계값에 도달하거나 초과하는 경우에, 상기 경보를 출력하게 된다.

이를 통해 상기 의사는, 상기 드릴(230)의 위치, 진입각도와 임플란트 깊이를 실시간으로 조정할 수 있어, 임플란트 수술을 사전에 수립한 임플란트 계획에 따라 정확하게 수행하는 것이 가능해진다.

도 4는 본 발명의 일 실시예에 따른 3D모델 데이터 상에서 임플란트 수술 도구의 드릴에 대한 위치, 진입각도 및 임플란트 깊이를 측정하는 과정을 설명하기 위해 나타낸 도면이다.

이하에서는, 상실된 치아를 대체하기 위한 치아 임플란트 수술을 일예로 하여 상기 임플란트 수술 도구의 드릴(230)의 위치, 진입각도, 및 임플란트 깊이를 측정하는 과정을 설명하도록 한다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템(100)은, 임플란트 수술(치아 임플란트 수술)을 진행할 때, 상기 도 3을 참조하여 설명한 것과 같이 상기 계산한 복수의 카메라에 대한 위치를 토대로 상기 3D모델 데이터 상에 가상의 임플란트 수술 도구를 가시화하여 표시한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 계산한 복수의 카메라에 대한 위치와 상기 사전에 저장한 지오메트리를 참조하여 상기 제2 이미지에서 상기 측정한 드릴(230)의 위치를 측정하여, 상기 드릴(230)의 위치를 측정하고, 상기 측정한 드릴(230)의 위치에 따라 상기 드릴(230)에 대한 드릴선분을 생성한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 제2 이미지에 상기 수술부위의 표면(치아가 상실된 잇몸의 표면)에 대해 상기 수술부위의 중앙을 포함하여 상기 수술부위에 근접한 수술부위의 주변(치아가 상실되지 않은 주변의 잇몸)을 연결하여 상기 수술부위에 대한 기준선분을 생성한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 제2 이미지에 생성한 드릴선분과 상기 제2 이미지에 수술부위에 대해 생성한 기준선분 간의 각도를 계산함으로써, 상기 드릴(230)의 상기 신체부위에 대한 진입각도를 측정한다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 측정한 드릴(230)의 위치에 따라 상기 생성한 기준선분을 기준으로 상기 수술부위의 내부로 진입한 상기 드릴선분의 길이를 계산함으로써, 상기 임플란트 깊이를 측정한다.

즉, 상기 진입각도/깊이 측정 시스템(100)은, 상기 계산한 복수의 카메라에 대한 위치와 상기 임플란트 수술 도구(200)에 대한 지오메트리를 참조하여, 상기 제2 이미지 상에서 상기 드릴(230)에 대한 위치와, 상기 진입각도, 및 임플란트 깊이를 측정하여 상기 3D모델 데이터에 표시함으로써, 상기 3D모델 데이터 상에서 상기 드릴(230)에 대한 위치, 진입각도, 및 임플란트 깊이를 측정하는 것이다.

또한 상기 진입각도/깊이 측정 시스템(100)은, 상기 측정한 드릴(200)의 위치, 진입각도, 및 임플란트 깊이가 상기 임플란트 계획과 상이한 경우에는 이에 대한 경보를 출력함은 상술한 바와 같다.

도 5는 본 발명의 일 실시예에 따른 학습모델을 생성하기 위한 학습네트워크의 구조와 학습과정을 설명하기 위해 나타낸 도면이다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 학습모델을 생성하기 위한 인공지능 학습네트워크는, 이미지 처리에 적합한 CNN을 통해 수행된다.

또한 상기 인공지능 학습네트워크의 구조는, 임플란트 신체부위에 대한 3D모델 데이터를 생성할 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라를 통해 사전에 획득한 복수의 제1 이미지에 대하여 각각의 제1 포인트 클라우드로 구성되는 제1 포인트 클라우드 데이터 세트와, 상기 제2 이미지에 대해 생성한 제2 포인트 클라우드를 입력으로 하여, 상기 제1 포인트 클라우드 세트 및 제2 포인트 클라우드 간의 매칭관계를 학습하여, 학습모델을 생성한다. 이때, 상기 CNN은 이미지 처리에 적합한 인공지능 학습네트워크이므로, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드는, 이진 이미지로 이미지화되어 상기 인공지능 학습네트워크에 입력된다.

상기 인공지능 학습네트워크의 구조는, 상기 제1 포인트 클라우드 세트를 구성하는 제1 포인트 클라우드를 각각 입력받는 입력 레이어, 상기 입력된 제1 포인트 클라우드에 대한 특징 맵을 생성하여 출력하는 컨볼루션 레이어, 상기 출력한 특징 맵에 대한 풀링을 수행하는 풀링 레이어, 완전연관 레이어 및 출력 레이어를 포함하여 구성된다.

여기서, 상기 제1 포인트 클라우드는, 상기 임플란트 수술을 진행하기 전 상기 3D모델 데이터를 생성할 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라를 통해 상기 임플란트 신체부위를 복수의 위치에서 사전에 촬영하여, 상기 임플란트 신체부위에 대해 획득한 3차원 컬러 이미지, 제1 뎁스 이미지 또는 이들의 조합을 포함하는 각 제1 이미지에 대해 미리 생성한 것이며, 상기 제2 포인트 클라우드 또한 상기 제2 이미지에 대해 미리 생성한 것이다.

또한 상기 입력된 제1 포인트 클라우드 및 제2 포인트 클라우드는, 상기 임플란트 신체부위에 대하여 생성한 복수의 특징점인 복수의 포인트로 구성된다.

또한 상기 컨볼루션 레이어는, 상기 입력 레이어를 통해 입력된 상기 제1 포인트 클라우드 상에서 특정 가중치를 가지는 커널을 사전에 설정한 스트라이드(커널의 이동단위)에 따라 이동해 가면서 상기 입력된 상기 제1 이미지의 특정부분과 상기 커널의 가중치를 컨볼루션하여, 상기 특정 부분에 대한 특징 맵을 생성하여 출력한다.

또한 상기 풀링 레이어는, 상기 컨볼루션한 특정 부분을 맥스 풀링(Max Pooling) 또는 평균값 풀링(Average Pooling) 기법을 통해 풀링하여 상기 특징 맵을 풀링함으로써, 상기 특징 맵을 적어도 하나 이상의 서브 이미지로 서브 샘플링한다.

이때, 상기 컨볼루션 레이어와 상기 풀링 레이어는 적어도 하나 이상으로 구성되며, 상기 컨볼루션과 상기 서브 샘플링을 반복적으로 수행하여, 제1 포인트 클라우드에 대하여, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드 간의 매칭관계에 대한 특징 맵을 생성할 수 있도록 한다.

또한 상기 완전연관 레이어는, 상기 특징 맵을 연결하여, 상기 제1 포인트 클라우드와 매칭되는 상기 제2 포인트 클라우드를 출력할 수 있도록 한다.

즉, 상기 인공지능 학습네트워크를 통해 상기 미리 생성한 제1 포인트 클라우드 세트와 상기 제2 포인트 클라우드 간의 매칭관계를 학습하여, 상기 각 제1 포인트 클라우드와 제2 포인트 클라우드의 매칭관계를 출력하는 것이다.

이때, 상기 출력 레이어에서는, 상기 제1 포인트 클라우드와 매칭되는 제2 포인트 클라우드를 입력 받아 상기 학습한 결과와 상기 제2 포인트 클라우드와 비교하여, 상기 각 포인트에서 미스 매칭되는 차이를 백프로퍼게이션 방법을 통해, 상기 인공지능 학습네트워크의 각 레이어에 대한 가중치를 조정하여, 상기 차이가 최소가 될 때까지 반복하여 학습하도록 한다. 이를 통해 상기 제1 포인트 클라우드의 각 포인트에 매칭되는 제2 포인트 클라우드의 포인트에 대한 매칭관계가 출력되도록 상기 학습을 통해 상기 학습모델이 모델링되어 생성되도록 한다.

이러한 과정을 통해, 상기 진입각도/깊이 측정 장치(100)는, 상기 제1 이미지의 제1 포인트 클라우드와 상기 제2 포인트 클라우드 간의 매칭관계를 학습하게 된다.

따라서 상기 생성한 학습모델의 입력은, 상기 임플란트 수술을 진행할 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라를 통해 획득한 상기 제1 이미지에 대해 생성한 제1 포인트 클라우드와 미리 생성한 제2 포인트 클라우드가 되며, 상기 생성한 학습모델의 출력은, 실시간으로 생성되어 입력되는 상기 제1 포인트 클라우드가 미리 생성된 제2 포인트 클라우드에 매칭되는 매칭관계가 된다.

도 6은 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템의 구성을 나타낸 블록도이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 진입각도/깊이 측정 시스템(100)은, 임플란트 수술이 필요한 특정 환자의 수술부위와 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3D모델 데이터와, 상기 3D모델 데이터에 대한 제2 뎁스 이미지 또는 이들의 조합을 포함하는 제2 이미지를 사전에 생성하는 3D모델 데이터 생성부(110), 상기 임플란트 수술에 대한 계획을 사전에 수립하는 임플란트 수술 계획부(120), 학습모델 생성부(130), 임플란트 수술시, 임플란트 수술 도구(200)에 구비된 복수의 카메라로부터 상기 임플란트 신체부위를 촬영한 임플란트 신체부위 이미지를 수신하여, 상기 신체부위에 대한 3차원 컬러 이미지와 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지를 포함하는 제1 이미지를 획득하는 이미지 획득부(140), 상기 획득한 제1 이미지에 상기 임플란트 신체부위에 대한 복수의 특징점으로 구성된 포인트 클라우드를 생성하는 포인트 클라우드 생성부(150), 상기 획득한 제1 이미지와 상기 사전에 생성한 제2 이미지를 정합하는 정합부(160), 상기 정합한 결과에 따라 사전에 가상화한 상기 임플란트 수술 도구를 가시화하여 표시하는 임플란트 수술 도구 가시화부(170), 상기 정합한 결과에 따라 상기 3D모델 데이터 상에서 상기 임플란트 수술 도구(200)에 구비된 드릴(230)의 위치, 상기 수술부위에 대한 진입각도, 임플란트 깊이를 측정하여 상기 3D모델 데이터에 표시하는 측정부(180) 및 상기 측정한 드릴(200)의 위치, 진입각도, 임플란트 깊이에 따라 경보를 출력하는 알림부(190)를 포함하여 구성된다.

또한 상기 3D모델 데이터 생성부(110)는, 상기 임플란트 수술을 진행하고자 하는 환자의 임플란트 수술부위 및 상기 수술부위의 주변을 포함하는 상기 환자의 임플란트 신체부위를 3차원으로 모델링하여, 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지 또는 이들의 조합을 포함하는 제2 이미지를 생성한다.

또한 상기 임플란트 수술 계획부(120)는, 상기 임플란트 수술에 대한 전반적인 임플란트 수술 계획을 사전에 수립할 수 있도록 하는 기능을 지원한다.

상기 임플란트 수술 계획은, 상기 3D모델 데이터 상에서 상기 임플란트 수술 도구(200)의 드릴(230)이 위치해야 되는 범위, 상기 수술부위에 대한 상기 드릴(230)의 진입각도에 대한 임계범위, 상기 임플란트 깊이에 대한 임계값을 사전에 설정하는 것을 포함한다.

또한 학습모델 생성부(130)는, 상기 3D모델 데이터를 생성할 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라를 이용하여 복수의 위치에서 상기 임플란트 신체부위를 촬영하여 획득한 상기 임플란트 신체부위에 대한 제1 이미지에 대해 미리 생성한 제1 포인트 클라우드와, 상기 제2 이미지에 대해 미리 생성한 제2 포인트 클라우드 간의 매칭관계를 학습하여, 학습모델을 생성하는 기능을 수행한다.

또한 상기 이미지 획득부(140)는, 상기 임플란트 수술이 진행될 때, 상기 임플란트 수술 도구(200)에 구비된 복수의 카메라로부터 상기 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지를 획득하는 기능을 수행한다.

즉, 상기 이미지 획득부(150)는, 상기 임플란트 수술 도구(200)의 복수의 카메라로부터 상기 임플란트 신체부위를 각각 촬영한 임플란트 신체부위 이미지를 수신하여, 상기 복수의 카메라에 대한 시차와 중복 촬영된 특정 부분을 이용하여 상기 수신한 신체부위 이미지에 대한 이미지 정합을 통해 상기 3차원 컬러 이미지와 상기 제1 뎁스 이미지를 획득함은 상술한 바와 같다.

또한 포인트 클라우드 생성부(150)는, 상기 임플란트 수술시 상기 복수의 카메라로부터 획득한 제1 이미지에 대해 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트를 생성하여 상기 제1 포인트 클라우드를 생성한다.

또한 상기 포인트 클라우드 생성부(150)는, 상기 3D모델 데이터를 생성할 때, 상기 복수의 카메라로부터 미리 획득한 제1 이미지에 대해 상기 제1 포인트 클라우드와 상기 제2 이미지에 대해 제2 포인트 클라우드를 미리 생성하는 기능을 수행한다.

이때, 상기 제1 이미지에 상기 제1 포인트 클라우드와 제2 포인트 클라우드를 생성하는 것은, 동일한 메커니즘으로 수행됨은 상술한 바와 같다.

또한 상기 정합부(160)는, 상기 임플란트 수술시 획득한 제1 이미지에 대해 생성한 상기 제1 포인트 클라우드를 상기 제2 이미지에 미리 생성된 제2 포인트 클라우드와 매칭하여, 상기 제1 포인트 클라우드와 제2 포인트 클라우드의 매칭관계를 통해 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩하여 매칭함으로써, 상기 정합을 수행한다.

한편, 상기 정합부(160)는, 상기 제1 뎁스 이미지와 제2 뎁스 이미지 간의 정합(즉, 뎁스 이미지에 대해 생성한 포인트 클라우드 간의 매칭)을 먼저 수행하여 매칭되면, 상기 제1 이미지의 3차원 컬러 이미지와 상기 3D모델 데이터 간의 정합(즉, 3차원 이미지에 대해 생성한 포인트 클라우드 간의 매칭)하는 것도 가능하다. 이는, 그레이 스케일로 구성된 상기 뎁스 이미지 간의 정합을 우선적으로 수행하고, 상기 제2 뎁스 이미지에 대한 3D모델 데이터의 표본을 줄인 후, 상기 제1 이미지의 3차원 컬러 이미지와 상기 제2 뎁스 이미지에 대한 3D모델 데이터 간의 매칭을 통해 신속하고 정확하게 상기 복수의 카메라에 대한 위치를 계산할 수 있다.

또한 상기 정합부(160)는, 상기 포인트 클라우드 생성부(150)를 통해 임플란트 수술시에 획득한 제1 이미지에 대해 생성한 제1 포인트 클라우드와 미리 생성한 제2 포인트 클라우드를 상기 생성한 학습모델에 입력하여, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드 간의 매칭관계를 추출하여, 상기 추출한 매칭관계에 따라 상기 정합을 수행한다. 한편, 상기 학습모델을 통해 상기 매칭관계를 추출하는 것은, 도 3 및 도 5를 참조하여 설명하였으므로, 더 이상의 상세한 설명은 생략하도록 한다.

또한 상기 측정부(180)는, 상기 정합한 결과에 따라 상기 제1 포인트 클라우드에 대한 상기 복수의 카메라에 대한 상대적인 위치정보를 이용하여, 상기 제2 포인트 클라우드 좌표상에서 상기 복수의 카메라에 대한 위치를 계산한다.

이때, 상기 제1 포인트 클라우드에 대한 상대적인 복수의 카메라의 위치정보는, 미리 계산하여 이미 알고 있으므로, 상기 정합을 하였을 때, 상기 상대적인 복수의 카메라의 위치정보에 따라 미리 생성해 둔 상기 제2 포인트 클라우드 좌표상에서 상기 복수의 카메라에 대한 위치를 계산할 수 있음은 상술한 바와 같다.

또한 상기 측정부(180)는, 상기 계산한 복수의 카메라에 대한 위치와 사전에 저장한 상기 임플란트 수술 도구(200)에 대한 지오메트리를 참조하여, 상기 3D모델 데이터 상에서 상기 드릴(230)의 위치, 상기 수술부위에 대한 상기 드릴(230)의 진입각도, 상기 수술부위의 내부로 진입한 상기 드릴(230)의 임플란트 깊이를 측정하여 상기 3D모델 데이터에 표시한다.

즉, 상기 측정부(180)는, 상기 정합을 통해 계산한 복수의 카메라에 대한 위치를 토대로 상기 제2 이미지 상에서의 상기 드릴(230)에 대한 위치, 상기 진입각도, 상기 임플란트 깊이를 측정함으로써, 상기 3D모델 데이터 상에서 상기 드릴(230)의 위치, 진입각도 임플란트 깊이를 측정하게 된다.

한편, 상기 드릴(230)에 대한 위치, 진입각도, 및 임플란트 깊이를 측정하는 것은, 도 3 및 도 4를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

또한 상기 임플란트 수술 도구 가시화부(170)는, 상기 계산한 복수의 카메라에 대한 위치에 따라 실제 임플란트 수술 도구(200)를 모델링하여 가상화한 임플란트 수술 도구를 상기 3D모델 데이터에 가시화하여 표시하는 기능을 수행한다.

또한 상기 알림부(190)는, 상기 측정한 드릴(230)에 대한 위치, 진입각도, 및 임플란트 깊이와 상기 사전에 수립한 임플란트 수술 계획과 대비하여, 상기 임플란트 수술 계획과 상기 측정한 드릴(230)에 대한 위치, 진입각도, 및 임플란트 깊이가 상이한 경우, 이에 대한 경보를 출력하는 기능을 수행한다.

이때, 상기 알림부(190)는, 상기 대비한 결과, 상기 측정한 드릴(230)에 대한 위치가 사전에 설정한 상기 3D모델 데이터 상에서의 상기 드릴(230)이 위치해야하는 범위를 벗어나거나, 상기 측정한 진입각도가 사전에 설정한 임계범위 이외의 값을 가지거나, 상기 측정한 임플란트 깊이가 사전에 설정한 임계값에 도달하거나 초과하는 경우에 상기 경보를 출력하게 된다.

도 7은 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이를 측정하는 절차를 나타낸 흐름도이다.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 임플란트 수술 도구의 진입각도 및 깊이를 측정하는 절차는 우선, 상기 진입각도/깊이 측정 시스템(100)은, 임플란트 수술이 시작되는 경우(S110), 임플란트 수술 도구(200)에 구비된 복수의 카메라로부터 임플란트 수술부위, 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지 또는 이들의 조합을 포함하는 제1 이미지를 획득하는 이미지 획득 단계를 수행한다(S120).

다음으로 상기 진입각도/깊이 측정 시스템(100)은, 상기 획득한 제1 이미지에 제1 포인트 클라우드를 생성하는 포인트 클라우드 생성 단계를 수행한다(S130).

상기 제1 포인트 클라우드는, 상기 임플란트 신체부위에 대한 생성한 복수의 특징점인 복수의 포인트로 구성된다.

다음으로, 상기 진입각도/깊이 측정 시스템(100)은, 상기 생성한 제1 포인트 클라우드를 상기 임플란트 신체부위에 대해 사전에 3차원으로 모델링하여 생성한 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지 또는 이들의 조합을 포함하는 제2 이미지에 대해 미리 생성한 제2 포인트 클라우드와 정합하는 정합 단계를 수행한다(S140).

상기 정합은, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드와 매칭하여, 상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드 간의 매칭관계를 추출하고, 상기 추출한 매칭관계에 따라 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩함으로써, 수행됨은 상술한 바와 같다.

또한 상기 매칭관계를 추출하는 것은, 사전에 생성한 학습모델을 통해 수행되며, 상기 학습모델을 생성하는 것은, 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

또한 상기 도 7에는 도시되어 있지 않으나, 진입각도/깊이 측정 시스템(100)은, 상기 매칭관계를 추출하기 우해 상기 학습모델 생성 단계를 수행하여, 상기 학습모델을 사전에 생성하여 학습모델 데이터베이스(320)에 저장하여 관리한다.

다음으로 상기 진입각도/깊이 측정 시스템(100)은, 상기 정합한 결과로 상기 제2 이미지 상에서 상기 복수의 카메라에 대한 위치를 계산하고, 상기 계산한 복수의 카메라에 대한 위치에 따라 상기 제2 이미지 상에서 상기 임플란트 수술 도구(200)에 구비된 드릴(230)에 대한 위치, 상기 수술부위에 대한 진입각도 및 임플란트 깊이를 측정하는 것을 통해 상기 3D모델 데이터 상에서 상기 드릴(230)에 대한 위치, 진입각도, 및 임플란트를 측정하여, 상기 3D모델 데이터에 표시하는 측정 단계를 수행한다(S150).

이때, 상기 측정 단계는, 상기 정합한 결과에 따라 상기 제1 포인트 클라우드에 대해 사전에 계산하여 이미 알고 있는 상기 복수의 카메라에 대한 상대적인 위치정보를 이용하여, 상기 제2 포인트 클라우드 좌표상에서 상기 복수의 카메라에 대한 위치를 계산한다.

또한 상기 드릴(230)에 대한 상기 제2 이미지 상에서의 위치(더욱 상세하게는 드릴의 끝점)는, 상기 계산한 복수의 카메라에 대한 위치와 상기 임플란트 수술 도구(200)에 대해 사전에 저장된 지오메트리를 참조하여, 상기 지오메트리의 상기 복수의 카메라에 대한 상대적인 위치와 각도 및 드릴(230)의 길이에 따라 측정된다.

또한 상기 수술부위에 대한 진입각도는, 상기 제2 이미지 상에서 상기 측정한 드릴(230)의 위치에 따라, 상기 제2 이미지에 위치하는 상기 드릴(230)을 나타내는 드릴선분을 생성하고, 상기 제2이미지에 상기 수술부위의 표면에 생성한 기준선분 간의 각도를 계산하여, 측정된다.

또한 상기 임플란트 깊이는, 상기 생성한 기준선분을 기준으로, 상기 수술부위의 내부로 진입한 상기 생성한 드릴선분의 길이를 계산하여, 측정된다.

다음으로 상기 진입각도/깊이 측정 시스템(100)은, 상기 측정한 드릴(230)의 3D모델 데이터 상에서의 위치, 진입각도, 및 임플란트 깊이에 따라 경보를 출력하는 알림 단계를 수행한다(S160).

상기 경보는, 상기 측정한 드릴(230)의 위치가 사전에 설정한 3D모델 데이터 상에서의 위치범위를 벗어나거나, 상기 측정한 진입각도가 사전에 설정한 임계범위(즉, 각도범위) 외의 값을 가지거나, 또는 상기 측정한 임플란트 깊이가 사전에 설정한 임계값에 도달하거나 초과하는 경우에 출력된다.

이상에서 설명한 바와 같이 본 발명의 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템 및 그 방법은, 임플란트 수술시, 임플란트 수술부위 및 상기 수술부위의 주변을 포함하는 신체부위에 대한 3D모델 데이터에, 상기 임플란트 수술시에 이용되는 임플란트 수술 도구에 대한 상기 3D모델 데이터 상에서의 현재 위치, 상기 수술부위에 대한 진입각도 및 임플란트 깊이를 실시간으로 측정하여 상기 3D모델 데이터에 표시함으로써, 상기 임플란트 수술에 대한 가이드를 제공할 수 있으며, 상기 측정한 위치, 진입각도, 및 임플란트 깊이가 사전에 수립한 임플란트 수술 계획과 상이한 경우에는 경보를 출력하여 제공함으로써, 실시간으로 상기 위치, 진입각도, 및 임플란트 깊이를 조정할 수 있도록 하여, 정확한 임플란트 수술을 진행할 수 있도록 지원하는 효과가 있다.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템
110: 3D모델 데이터 생성부 120: 임플란트 수술 계획부
130: 학습모델 생성부 140: 이미지 획득부
150: 포인트 클라우드 생성부 160: 정합부
170: 임플란트 수술 도구 가시화부 180: 측정부
190: 알림부 200: 임플란트 수술 도구
210: 제1 카메라 220: 제2 카메라
230: 드릴 300: 데이터베이스
310: 3D모델 데이터 데이터베이스 320: 학습모델 데이터베이스

Claims

임플란트 수술 도구에 구비된 복수의 카메라로부터 임플란트 수술부위 및 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지를 획득하는 이미지 획득부;
사전에 미리 생성한 상기 임플란트 신체부위에 대한 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지, 또는 이들의 조합을 포함하는 제2 이미지와 상기 획득한 제1 이미지를 정합(matching)하는 정합부; 및
상기 정합을 통해서, 상기 3D모델 데이터 상에서의 상기 복수의 카메라에 대한 위치에 따라 상기 임플란트 수술 도구에 구비된 드릴의 상기 임플란트 수술부위에 대한 진입각도 및 임플란트 깊이를 측정하는 측정부;를 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템.
청구항 1에 있어서,
상기 측정 시스템은,
상기 제1 이미지 및 제2 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성된 제1 포인트 클라우드 및 제2 포인트 클라우드를 생성하는 포인트 클라우드 생성부;를 더 포함하며,
상기 정합부는, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드와 매칭하는 것을 포함하며, 상기 제1 포인트 클라우드와 제2 포인트 클라우드의 매칭관계를 통해서, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩하여 매칭함으로써 상기 정합을 수행하는 것을 더 포함하며,
상기 측정부는, 상기 제1 포인트 클라우드에 상대적인 상기 복수의 카메라에 대한 위치정보를 이용하여, 상기 제2 포인트 클라우드 좌표상에 상기 복수의 카메라에 대한 위치를 계산하는 것을 더 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템.
청구항 2에 있어서,
상기 측정 시스템은,
상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드를 미리 생성하여 입력한 다음, 상기 제1 포인트 클라우드 및 제2 포인트 클라우드로 이루어진 데이터세트 간의 매칭관계를 학습하여 학습모델을 생성하는 학습모델 생성부;를 더 포함하며,
상기 정합부는, 상기 제1 포인트 클라우드를 상기 학습모델에 적용하여, 제1 포인트 클라우드와 제2 포인트 클라우드와의 상기 매칭관계를 추출하는 것을 더 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템.
청구항 3에 있어서,
상기 학습모델은,
인공지능 학습네트워크의 입력 레이어로는, 제1 포인트 클라우드 데이터 세트가 입력되어 인공지능 학습네트워크를 통해서 학습되고, 상기 제2 포인트 클라우드는 상기 인공지능 학습네트워크의 출력 레이어에 입력되며, 상기 출력 레이어에서 상기 학습한 결과와 상기 제2 포인트 클라우드와 비교하여, 각 포인트에서 미스 매칭되는 차이를 백프로퍼게이션하여 상기 차이가 최소가 될 때까지 반복 학습하여 학습모델을 생성하며, 상기 임플란트 수술시, 상기 획득한 제1 이미지에 대해 생성한 제1 포인트 클라우드가 상기 생성한 학습모델에 입력되면 각 포인트에 매칭되는 제2 포인트 클라우드의 포인트가 매칭되어 출력되도록 모델링되는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템.
청구항 2에 있어서,
상기 측정부는,
상기 계산한 복수의 카메라에 대한 위치와 상기 임플란트 수술 도구에 대한 지오메트리를 참조하여, 상기 제2 이미지 상에서의 상기 드릴의 위치, 상기 수술부위에 대한 진입각도, 및 상기 임플란트 깊이를 측정하며,
상기 진입각도는,
상기 측정한 상기 드릴의 위치에 따라 상기 제2 이미지에 상기 드릴을 나타내는 드릴선분을 생성하고, 상기 생성한 드릴선분과 상기 제2 이미지에서의 상기 임플란트 신체부위의 표면에 생성한 기준선분 간의 각도를 계산하여, 측정되며,
상기 임플란트 깊이는,
상기 생성한 기준선분을 기준으로 상기 제2 이미지 상에서 상기 수술부위의 내부로 진입한 상기 드릴선분의 길이를 계산하여, 측정되는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템.
청구항 2에 있어서,
상기 측정 시스템은,
상기 임플란트 수술 도구를 사전에 가상화하여 생성한 가상의 임플란트 수술 도구를 상기 계산한 복수의 카메라에 대한 위치에 따라 상기 3D모델 데이터에 가시화하여 표시하는 임플란트 수술 도구 가시화부; 및
상기 측정한 드릴에 대한 위치가 사전에 설정한 3D모델 데이터 상에서 위치해야 할 범위를 벗어나거나, 상기 측정한 드릴에 대한 진입각도가 사전에 설정한 임계범위 이외의 값을 가지거나, 또는 상기 측정한 드릴에 대한 임플란트 깊이가 사전에 설정한 임계값에 도달하거나 초과하는 경우에 경보를 출력하는 알림부;를 더 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 시스템.
임플란트 수술 도구에 구비된 복수의 카메라로부터 임플란트 수술부위 및 상기 수술부위의 주변을 포함하는 임플란트 신체부위에 대한 3차원 컬러 이미지, 상기 3차원 컬러 이미지에 대한 제1 뎁스 이미지, 또는 이들의 조합을 포함하는 제1 이미지를 획득하는 이미지 획득 단계;
사전에 미리 생성한 상기 임플란트 신체부위에 대한 3D모델 데이터, 상기 3D모델 데이터에 대한 제2 뎁스 이미지, 또는 이들의 조합을 포함하는 제2 이미지를 상기 획득한 제2 이미지와 정합(matching)하는 정합 단계; 및
상기 정합을 통해서, 상기 3D모델 데이터 상에서의 상기 복수의 카메라에 대한 위치에 따라 상기 임플란트 수술 도구에 구비된 드릴의 상기 임플란트 수술부위에 대한 진입각도 및 임플란트 깊이를 측정하는 측정 단계;를 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 방법.
청구항 7에 있어서,
상기 측정 방법은,
상기 사전에 미리 생성한 제2 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성된 제2 포인트 클라우드를 생성하는 제2 포인트 클라우드 생성 단계; 및
상기 획득한 제1 이미지에서 상기 임플란트 신체부위에 대한 복수의 특징점인 복수의 포인트로 구성된 제1 포인트 클라우드를 생성하는 제1 포인트 클라우드 생성 단계;를 더 포함하며,
상기 정합 단계는, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드와 매칭하는 것을 포함하며, 상기 제1 포인트 클라우드와 제2 포인트 클라우드의 매칭관계를 통해서, 상기 제1 포인트 클라우드를 상기 제2 포인트 클라우드의 좌표상에 중첩하여 매칭함으로써 상기 정합을 수행하는 것을 더 포함하며,
상기 측정 단계는, 상기 제1 포인트 클라우드에 상대적인 상기 복수의 카메라에 대한 위치정보를 이용하여, 상기 제2 포인트 클라우드 좌표상에 상기 복수의 카메라에 대한 위치를 계산하는 것을 더 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 방법.
청구항 8에 있어서,
상기 측정 방법은,
상기 제1 포인트 클라우드와 상기 제2 포인트 클라우드를 미리 생성하여 입력한 다음, 상기 제1 포인트 클라우드 및 제2 포인트 클라우드로 이루어진 데이터세트 간의 매칭관계를 학습하여 학습모델을 생성하는 학습모델 생성 단계;를 더 포함하며,
상기 정합 단계는, 상기 제1 포인트 클라우드와 제2 포인트 클라우드를 상기 학습모델에 적용하여, 제1 포인트 클라우드와 제2 포인트 클라우드와의 상기 매칭관계를 추출하는 것을 더 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 방법.
청구항 9에 있어서,
상기 학습모델은,
인공지능 학습네트워크의 입력 레이어로는, 제1 포인트 클라우드 데이터 세트가 입력되어 인공지능 학습네트워크를 통해서 학습되고, 상기 입력된 제2 포인트 클라우드는 상기 인공지능 학습네트워크의 출력 레이어에 입력되며, 상기 출력 레이어에서 상기 학습한 결과와 상기 제2 포인트 클라우드와 비교하여, 각 포인트에서 미스 매칭되는 차이를 백프로퍼게이션하여 상기 차이가 최소가 될 때까지 반복 학습하여 학습모델을 생성하며, 상기 임플란트 수술시, 상기 획득한 제1 이미지에 대해 생성한 제1 포인트 클라우드가 상기 생성한 학습모델에 입력되면 각 포인트에 매칭되는 미리 생성한 제2 포인트 클라우드의 포인트가 매칭되도록 모델링되는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 방법.
청구항 8에 있어서,
상기 측정 단계는,
상기 계산한 복수의 카메라에 대한 위치와 상기 임플란트 수술 도구에 대한 지오메트리를 참조하여, 상기 제2 이미지 상에서의 상기 드릴의 위치, 상기 수술부위에 대한 진입각도, 및 상기 임플란트 깊이를 측정하며,
상기 진입각도는,
상기 측정한 상기 드릴의 위치에 따라 상기 제2 이미지에 상기 드릴을 나타내는 드릴선분을 생성하고, 상기 생성한 드릴선분과 상기 제2 이미지에서의 상기 임플란트 신체부위의 표면에 생성한 기준선분 간의 각도를 계산하여 측정되며,
상기 임플란트 깊이는,
상기 생성한 기준선분을 기준으로 상기 제2 이미지 상에서 상기 수술부위의 내부로 진입한 상기 드릴선분의 길이를 계산하여 측정되는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 방법.
청구항 8에 있어서,
상기 측정 방법은,
상기 임플란트 수술 도구를 사전에 가상화하여 생성한 가상의 임플란트 수술 도구를 상기 계산한 복수의 카메라에 대한 위치에 따라 상기 3D모델 데이터에 가시화하여 표시하는 임플란트 수술 도구 가시화 단계; 및
상기 측정한 드릴에 대한 위치가 사전에 설정한 3D모델 데이터 상에서 위치해야 할 범위를 벗어나거나, 상기 측정한 드릴에 대한 진입각도가 사전에 설정한 임계범위 이외의 값을 가지거나, 또는 상기 측정한 드릴에 대한 임플란트 깊이가 사전에 설정한 임계값에 도달하거나 초과하는 경우에 경보를 출력하는 알림 단계;를 더 포함하는 것을 특징으로 하는 임플란트 수술 도구의 진입각도 및 깊이 측정 방법.