KR102490579B1 - 치과 로봇 - Google Patents

Abstract

본 발명은 탈부착 가능한 마커를 활용한 치과 치료 시스템 및 방법에 관한 것으로, 더욱 상세하게는 치과 영상의료기기(CBCT)와 IR 카메라를 통하여 인식되는 치아에 쉽게 탈부착이 가능한 재질을 이용하는 것으로, 예를 들면 라미네이트 타입의 마커를 치아 또는 잇몸에 부착하고, CBCT 촬영을 한 이후에, 치과 로봇이 사용자 단말(예. 치과의사의 단말)로부터 CBCT 촬영 이미지 및 치아 시술에 대한 정보(치아, 잇몸의 위치, 각도 등)를 포함하는 시술 데이터를 수신하면, 치과 로봇 내에 마련된 카메라를 통하여 사용자 얼굴을 인식하여, 로봇암이 환자 구강에 인접한 위치에 도달하도록 하고, AI 기술을 활용한 물체(입술, 입, 혀, 치아) 인식을 통해서 환자의 구강 개폐 여부를 인식하고, 치과 로봇 또는 치과 로봇의 로봇암에 장착된 IR 카메라로 환자 치아 또는 잇몸에 부착된 마커를 인식하여, 마커가 부착된 대상을 향하여 로봇암이 안전하고 정밀하게 시술을 할 수 있도록 유도하는 시스템 및 방법에 관한 것이다.

Description

치과 로봇{DENTAL ROBOT}

본 발명은 탈부착 가능한 마커를 활용한 치과 치료 시스템 및 방법에 관한 것으로, 더욱 상세하게는 치과 영상의료기기(CBCT)와 IR(Infra-Red) 카메라를 통하여 인식되는 치아에 쉽게 탈부착이 가능한 재질을 이용하는 것으로, 예를 들면 라미네이트 타입의 마커를 치아 또는 잇몸에 부착하고, CBCT 촬영을 한 이후에, 치과 로봇이 사용자 단말(예. 치과의사의 단말)로부터 CBCT 촬영 이미지 및 치아 시술에 대한 정보(치아, 잇몸의 위치, 각도 등)를 포함하는 시술 데이터를 수신하면, 치과 로봇 내에 마련된 카메라를 통하여 사용자 얼굴을 인식하여, 로봇암이 환자 구강에 인접한 위치에 도달하도록 하고, AI 기술을 활용한 물체(입술, 입, 혀, 치아) 인식을 통해서 환자의 구강 개폐 여부를 인식하고, 치과 로봇 또는 치과 로봇의 로봇암에 장착된 IR 카메라로 환자 치아 또는 잇몸에 부착된 마커를 인식하여, 마커가 부착된 대상을 향하여 로봇암이 안전하고 정밀하게 시술을 할 수 있도록 유도하는 시스템 및 방법에 관한 것이다.

최근 치아 임플란트 시술, 보철치료 등과 같은 치과 치료의 경우, 컴퓨터 단층촬영(computerized tomography, CT) 및 기타 화상 스캔 방법들이 상용화되면서 치과 의사는 턱뼈 구조를 침습성 절개 없이도 화상을 통해 관측할 수 있고, 촬영된 CT 및 기타 화상 스캔 이미지 등은 3차원으로 재구성되어 치과 의사에게 제공됨으로써 효과적인 수술 전 계획 및 수술 과정 중 유도(guidance)가 가능해졌다.

그러나, 치과 의사가 실제로 시술할 때에는 CT 및 기타 화상 스캔 이미지를 활용할 수 없기 때문에 시술 각도와 깊이 등의 시술 계획을 완료한 후, CT 이미지를 화면으로 보면서 시술자의 경험에 따라 임플란트의 식립을 수행하게 되는데, 이 경우 정확한 CT 및 스캔 이미지를 활용할 수 없이 시술자의 경험 및 시술능력에 크게 의존하게 되므로 최적의 시술이 어려운 문제점이 있다.

한편, 위와 같은 문제점을 일부 해소해 보고자 마커를 활용하는 시술 방식이 제안되기도 하였는데, 환자의 입 안은 상대적으로 움직임이 많고 환자가 지속적으로 입을 활짝 벌리기도 쉽지 않아 때문에 위치 인식을 위한 마커를 입 안에 표시하더라도 이 마커가 잘 보이지 않는 문제가 존재하였다. 임플란트 시술을 위해 프리가이드를 제작하고 제작된 프리가이드를 환자의 치아면을 따라 고정시킨 후 시술을 진행하는 방법도 현재 많이 사용되고 있으나, 프리가이드를 제작하는 데에 번거로움이 있고, 프리가이드 제작에는 높은 수준의 정밀성이 요구되어 아직까지는 편의성 및 시술 정확성 측면에서 사용자들의 니즈를 충족하고 있지는 못하고 있다.

상술한 단점들을 해결할 수 있는, 치과 의사가 시술할 때 CT 및 기타 화상 스캔 이미지의 정보를 활용하여 수술 전 계획한 그대로 치과 의사가 정확하게 치료할 수 있도록 도와주는 치과 치료 시스템 및 방법에 대한 개발이 요구된다.

본 발명은 이와 같은 문제점에 착안하여 도출된 것으로, 이상에서 살핀 기술적 문제점을 해소시킬 수 있음은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 고안할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.

본 발명의 목적은 상기와 같은 문제점을 감안하여 안출한 것으로, 치과 영상의료기기(CBCT)와 IR 카메라를 통하여 인식이 가능한 치아에 쉽게 탈부착이 가능한 재질을 이용하는 것으로, 예를 들면 라미네이트 타입의 마커를 치아 또는 잇몸에 부착하게 함으로써 로봇암을 이용한 임플란트 시술 시 정확도를 비약적으로 향상시키는 것을 목적으로 한다.

본 발명의 또 다른 목적은 치아에 쉽게 탈부착이 가능한 재질을 이용하는 것으로, 예를 들면 종래의 라미네이트에 CBCT와 IR에서 인식 가능한 반사체를 부분적으로 부착하거나, 종래의 라미네이트에 CBCT와 IR 반사체를 얇은 막을 결합시키는 손쉬운 방법만으로 마커를 제작함으로써 각종 치과 시술에 활용 가능하게 하는 것을 목적으로 한다.

본 발명의 또 다른 목적은 치과의사가 필요에 따라 환자의 치아에 쉽게 탈부착이 가능한 재질을 이용하는 것으로, 예를 들면 기존 라미네이트 방식처럼 마커를 부착할 수 있도록 하고, 시술이 완료되면 바로 마커를 간단히 제거할 수 있게 함으로써 시술 준비 시간을 획기적으로 절감하게 하는 것을 목적으로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

위와 같은 문제점을 해결하기 위하여, 본 발명에 따른 로봇암을 포함하는 치과 로봇이 치과 치료 서비스를 제공방법은, 사용자 단말로부터 시술 데이터를 수신하는 단계; 환자 안면의 위치를 인식하여, 상기 로봇암이 환자 안면에 인접한 위치에 도달하도록 하는 단계; 환자의 구강 개폐 여부를 인식 하는 단계; 환자의 구강이 개방되었다고 확인된 경우, 마커의 위치를 인식하는 단계; 및 상기 로봇암이 상기 시술 데이터를 기초로 시술 하는 단계;를 포함할 수 있다.

또한, 상기 치과 치료 서비스 제공방법에 있어서 상기 마커는, 상기 환자 치아에 탈부착 되며, 적외선 카메라를 통하여 인식 및 추적이 가능한 것을 특징으로 할 수 있다.

또한, 상기 치과 치료 서비스 제공방법에 있어서 상기 시술 데이터는, 특정 치아 - 상기 특정 치아는, 마커가 부착된 치아임 - 의 위치, 각도, 형상에 대한 데이터, 상기 특정 치아와 인접한 치아나 잇몸의 위치, 각도, 깊이에 대한 데이터 또는 상기 로봇암이 상기 특정 치아와 잇몸에 대하여 시술하기 위하여 구동되는 구동 데이터를 포함할 수 있다.

또한, 상기 치과 치료 서비스 제공방법에 있어서 상기 환자의 구강 개폐 여부를 확인 하는 단계는, 환자의 혀를 인식하고, 상기 인식된 혀의 면적이 구강 개방으로 인식되는 최소의 혀의 면적 범위 이상인지 판단하는 단계를 포함하는 것을 특징으로 할 수 있다.

한편, 본 발명의 또 다른 실시예에 따른 치과 로봇에 있어서, 상기 치과 로봇은 환자의 치아면에 부착된 라미네이트형 마커를 기준으로 정의된 공간 좌표계를 참고하여 구동되는 로봇암; 특정 사용자 단말로부터 시술 데이터를 수신하는 통신부; 카메라 및 적외선 카메라를 포함하는 센서부; 상기 카메라를 촬영되는 환자의 안면 또는 환자의 구강 구조로부터 상기 환자의 구강 개폐 여부를 판단하는 AI 인식부; 텍스트 데이터를 음성 데이터로 변환하여 출력하는 음성발화부; 및 상기 로봇암의 구동을 제어하는 제어부;를 포함할 수 있다.

상기와 같은 본 발명에 따르면, 환자들로 하여금 거부감이 덜한 단순 라미네이트 부착만으로 로봇암 시술의 정확도를 크게 향상시킬 수 있는 효과가 있다.

또한, 라미네이트 부착 및 탈착에 소요되는 과정이나 시간이 매우 짧아 치과 시술을 준비하거나 시술 후 마무리를 하는 시간이 크게 줄어드는 효과가 있다.

또한, 종래의 상용화 된 라미네이트에 CBCT와 IR에서 인식 가능한 반사체를 부착하거나 결합시키는 등의 쉬운 방법으로 마커를 제작할 수 있게 됨으로써, 장비 사용에 부담감이 있는 견습 의사 또는 레지던트 의사도 손쉽게 마커를 이용한 치과 치료를 할 수 있도록 유도하는 효과가 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

도 1은 본 발명의 전제가 되는 치과 치료 시스템의 구성을 모식도로 나타낸 도면이다.
도2는 환자의 치아에 본 발명의 마커가 부착된 모습과 마커의 개략적인 외관을 나타낸 도면이다.
도3은 본 발명의 시술 데이터가 생성되는 과정을 모식도로 나타낸 도면이다.
도4는 본 발명의 치과 로봇의 전체적인 구성을 모식도로 나타낸 도면이다.
도5는 본 발명의 치과 로봇과 로봇암의 전체적인 외관을 나타낸 도면이다.
도6은 본 발명의 치과 로봇이 시술을 진행할 때에 센서부 및 제2 센서부가 마커를 인식하는 모습을 나타낸 도면이다.
도7은 본 발명의 AI인식부가 환자의 구강 개폐 여부를 인식하는 모습을 나타낸 도면이다.
도8은 본 발명의 음성 발화부가 특정 상황에 따라 실행되는 모습을 나타낸 도면이다.
도9는 본 발명의 일 실시 예에 따른 탈부착 가능한 마커를 활용한 치과 치료 서비스 제공 방법을 구체적으로 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 명세서에서 사용되는 "포함한다 (Comprises)" 및/또는 "포함하는 (Comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

본 발명의 탈부착 가능한 마커를 활용한 치과 치료 시스템(이하 시스템(10)이라 약칭함)은 CBCT(300, 치과 영상의료기기)와 IR 카메라를 통하여 인식되는 마커(20)를 치아 또는 잇몸에 부착하고, CBCT(300) 촬영을 한 이후에, 치과 로봇(100)이 사용자 단말(200)로부터 CBCT 촬영 이미지 및/또는 치아 시술에 대한 정보(치료할 치아와 잇몸의 위치와 각도, 마커의 위치 등)를 포함하는 시술 데이터를 수신하면, 치과 로봇(100) 내에 마련된 카메라를 통하여 사용자 얼굴을 인식하는 것을 특징으로 한다. 또한, 로봇암(110)이 환자 구강에 인접한 위치에 도달하도록 하고, 환자의 구강 개폐 여부를 인식하고, 치과 로봇(100) 또는 치과 로봇(100)의 로봇암(110)에 장착된 IR 카메라로 환자 치아 또는 잇몸에 부착된 마커(20)를 인식하게 하여, 마커(20)가 부착된 대상 또는 상대적 위치를 계산하여 마커 근처의 치아나 잇몸을 향하여 로봇암(110)이 안전하고 정밀하게 시술을 할 수 있도록 유도하는 시스템이다.

도1은 본 발명의 전제가 되는 치과 치료 시스템, 즉 탈부착 가능한 마커(20)를 활용하여 치과 치료를 할 수 있는 전체 시스템의 구성을 모식도로 나타낸 도면이다.

도1을 참고하면, 시스템(10)은 치과 로봇(100) 및 사용자 단말(200)을 포함한다.

이러한 시스템(10)의 구성들을 자세히 살펴보기 이전에 본 발명에서 자주 사용되는 용어들을 먼저 간략히 살펴보도록 한다.

도2는 환자의 치아에 본 발명의 마커(20)가 부착된 모습과 마커(20)의 개략적인 외관을 나타낸 도면이다.

[마커(20)]

도2의 (A)를 참고하면, 본 발명에 따른 마커(20)는 바람직하게는 라미네이트 형상을 가지는 것으로서 환자의 치아 또는 잇몸에 탈부착이 가능하다. 라미네이트란, 치아 표면에 붙일 수 있는 아주 얇은 세라믹을 일컫는 것으로, 이 라미네이트는 환자의 치아 표면에 레진 접착제로 부착이 가능하여 미관상의 목적으로 치과 시술에 많이 활용되고 있다. 본 발명에서 언급되는 마커(20)는 이처럼 라미네이트 형상 및 기능을 그대로 가지면서도 후술하게 될 바와 같이 CBCT 또는/및 IR카메라에 의해 감지가 가능하게 구현됨으로써 임플란트 등의 시술을 할 시 손쉽게 환자 치아 표면에 부착하여 로봇암 구동에 필요한 임의의 공간 좌표계를 정의하는 데 활용될 수 있다.

한편, 라미네이트 타입의 마커(20)는 개별 치아면에 부착이 가능하도록 설계될 수 있는데, 이를 위해 단일의 치아 크기에 대응되는 크기를 가질 수 있다. 이러한 마커(20)는 치아의 크기가 환자마다 상이하고, 환자 치아 각각의 크기가 상이하므로, 사용자(예. 의사)의 자체적인 제작에 의하여 크기가 조절되거나, 다양한 크기의 마커(20)가 복수 개로 마련되어 사용자가 복수 개의 마커(20)를 시술 대상의 치아 크기에 맞게 선택할 수 있다. 다른 한편, 이 외에도 마커(20)의 형상은 환자의 치아에 부착되기 적합하고, 치아 하나에 대응되는 크기를 가지는 형상이라면 제한이 없다 할 것이다

마커(20)는 마커(20) 내부에 포함되거나 마커 외면에 부착된 반사체(21)에 의하여 치과 영상의료기기(CBCT)와 IR 카메라을 통하여 인식된다. 이 때 반사체가 마커(20)의 내부에 포함된다는 것의 의미는, 반사성을 가진 물질(반사체)이 포함된 재료로 라미네이트형 마커(20) 자체가 제작되어 반사성 물질(반사체)이 마커(20)에 포함된다는 것으로도 이해될 수 있으며, 또한 라미네이트형 마커(20)의 표면에 임의의 반사체(21)가 삽입되어 고정된 상태로도 이해될 수 있다.

반사체(21)는 특수한 파장의 빛이 조사되었을 때 특정 장치에 의해 인식 가능한 빛을 반사하는 성질을 가지고 있어, 마커(20)가 CBCT(300) 또는 IR 카메라에 의하여 촬영될 때에 조사되는 빛을 반사하여 마커(20)의 위치가 인식되도록 한다.

반사체(21)는 마커(20) 내부에 포함되는 구성으로 마련될 수 있지만, 사용자에 의하여 표면에 탈부착 가능하도록 구현될 수도 있다. 이 때, 사용자는 임의로 마커(20) 표면에서의 반사체(21)의 위치를 탈부착하여 조정할 수 있다.

도2의 (B)를 참고하면, 반사체(21)는 인식하는 대상(CBCT, IR카메라) 각각에 구분되어 인식될 수 있도록, 상이한 재질을 가지는 반사체들(21a, 21b)로 구성될 수 있다. 예를 들어, 제1 반사체(21a)는 CBCT(300)에 의하여 인식되는 반사 재질을 가질 수 있으며, 제2 반사체(21b)는 IR 카메라에 의하여 인식되는 반사 재질을 가질 수 있다. 이렇게, 반사체(21)가 제1 반사체(21a) 및 제2 반사체(21b)로 구분되어 구성되는 이유는, CBCT(300)는 사용자가 환자를 시술하기 이전에 사용자가 진단을 내리기 위하여 사용되고, IR 카메라는 시술 시 로봇암(110) 또는 치과 로봇(100)이 반사체를 인식하여 마커(20)가 부착된 치아의 위치를 기준으로 정확한 좌표계 정의를 하기 위해 사용되는데 이렇게 시술 시 상이한 단계에서 상이한 장치를 이용하게 되더라도 한 번의 마커(20) 부착, 또는 반사체(21) 부착 만으로 편리하게 치아의 위치를 파악하기 위함이다. 다시 도2의 (B)를 참고하면 반사체(21)는 점, 선, 면 등과 같은 다양한 형상으로 마커(20) 표면에 부착될 수 있다. 또한, (B)의 상단에서와 같이 반사체로 하여금 하나의 라미네이트형 마커(20)의 표면 상에서 직삼각형 형태의 대각 방향으로 제1 반사체들, 또는 제2 반사체들이 배치되게 함으로써 인식률 향상, 좌표계의 정확도 향상을 꾀할 수 있다. 또한 (B)의 하단에서와 같이 제1 반사체와 제2 반사체가 대각선을 경계로 서로 구분되게 배치시킴으로써 라미네이트형 마커(20) 표면 영역을 효율적으로 활용하게 할 수도 있다.

한편, 반사체(21)는 스티커(Sticker)와 같이 마커(20)의 전체 면 일부에 적어도 하나 이상의 반사체(21)가 탈부착 가능되도록 마련될 수 있으며, 마커(20) 전체 면을 감싸는 막 형태로 마련될 수도 있다.

[환자 진단 데이터]

환자 진단 데이터는 사용자(예. 치과의사)가 환자의 치아를 진단하기 위하여 필요한 데이터이다.

환자 진단 데이터는 사용자가 환자의 구강구조를 시각적으로 판단할 수 있도록 촬영된 3차원 또는 2차원의 이미지데이터이다.

환자 진단 데이터는 앞서 한번 언급한 CBCT(300, 치과 영상의료기기), 또는 3D 영상 스캐너, X-Ray, 파노라마 방사선 검사기 등으로 촬영된 데이터이다.

환자 진단 데이터는 환자 치아의 위치, 각도, 형상뿐만 아니라 환자 잇몸의 위치, 각도, 깊이 등과 같은 환자 구강의 미세한 경조직들에 대한 데이터를 포함할 수 있다. 나아가 환자 진단 데이터는 환자의 상하악골 또는 안면구조물의 형상에 대한 데이터도 포함할 수 있다.

또한, 환자 진단 데이터에는 시술 대상이 되는 치아인 특정 치아가 표시되거나, 특정 치아에 의심되는 질병 원인이 표시될 수 있다. 예를 들어, 특정 치아가 치아 우식증에 대한 증상을 가지는 치아라면, 환자 진단 데이터는 색상, 기호, 문자 중 적어도 하나 이상의 텍스트로 특정 치아를 표시하고, 치아 우식증에 원인이 되는 플라크(Plaque)가 감지될 경우 이 플라크가 발생되는 범위 또는 위치가 환자 진단 데이터 내에 표시된다.

[시술 데이터]

시술 데이터는 사용자가 환자의 치아를 시술하기 이전에 시술에 대한 계획이 포함된 데이터 또는 시술에 필요한 정보들을 분석한 데이터가 포함된 데이터이다.

도 3은 본 발명의 시술 데이터가 생성되는 과정을 모식도로 나타낸 도면이다.

도3을 참고하면, 시술 데이터는 환자 진단 데이터를 토대로 생성된다. 구체적으로, 사용자가 CBCT(300)를 통하여 환자의 구강구조를 촬영하면, 환자 진단 데이터가 생성되고(①), 사용자 단말(200)이 환자 진단 데이터를 수신하고, 사용자가 사용자 단말(200)을 통하여 특정 치아를 선택하고, 특정 치아에 필요한 시술법(예. 임플란트, 보철물 삽입, 지대치 형성)을 선택 입력하고, 시술 중 주의 사항 등에 대한 시술 계획을 입력하여 제1 시술 데이터를 생성한다(②).

이후에, 사용자가 보다 환자 시술에 대한 정밀한 분석을 위하여 제1 시술 데이터 및 환자 진단 데이터를 AI 분석 서버(400)에 전송하면, AI 분석 서버(400)는 특정 치아의 위치, 각도, 형상에 데이터, 특정 치아의 인접한 잇몸의 위치, 각도, 깊이에 대한 데이터 및 특정 치아를 시술하기 위한 로봇암(110)의 구동 데이터를 포함하는 제2 시술 데이터를 생성한다(③). 구체적인 예로, 만일 사용자가 특정 치아 'A1'를 지대치로서 형성하고자 하고, "A1 지대치 이후에 보철물 삽입" 등과 같은 시술 계획을 제1 시술 데이터로서 생성하였다면, AI 분석 서버(400)는 'A1'의 위치, 각도, 형상을 정밀히 분석해줄 뿐만 아니라, 사용자가'A1'을 지대치로 형성하기 위해 필요한 시술 각도, 시술 범위, 치아 삭제량 등을 표시해주고, "A1 지대치 이후에 보철물 삽입하기 위해서는 A2도 지대치로 형성해야 함"등과 같이 사용자의 시술 계획에 대한 분석 의견을 제2 시술 데이터로서 생성한다. 또한, AI 분석 서버 결과가 치과의사의 경험으로 수정이 필요할 경우에 치아의 위치, 각도 등의 3차원 좌표를 쉽게 변경할 수 있다.

한편, 치과 로봇(100)의 연산부(130)는 수신 받은 환자 진단 데이터, 제1 시술 데이터 및 제2 시술 데이터를 토대로 제3 시술 데이터를 생성할 수 있다. 제 3 시술 데이터는 '마커(20)의 3차원 위치 좌표'가 포함되어 있는 데이터이며, 치과 로봇(100)의 로봇핸드(111: 도5)가 마커(20)가 부착된 치아에 안전하고 정밀하게 도달할 수 있도록 유도해주는 데이터이다.

[사용자 단말(200)]

사용자 단말(200)은 사용자가 환자를 진단할 때에 필요한 환자 진단 데이터를 수신하고, 사용자가 획득된 정보를 토대로 시술 데이터를 생성하는 데에 활용되는 장치이다. 구체적으로, 사용자는 사용자 단말(200)을 통하여 환자 진단 데이터에 표시되어 있는 특정 치아를 선택하고, 특정 치아에 필요한 시술법을 선택 입력하는 등 환자 진단 데이터를 수정하거나 가공하여 제1 시술 데이터를 생성할 수 있다.

이러한 사용자 단말(200)은 데스크탑, 노트북, 스마트폰, 태블릿PC, 스마트 워치 등과 같이 네트워크 기능을 보유한 단말이라면 어떠한 단말이라도 본 발명의 사용자 단말(200)이 될 수 있으며, 치과 시술실에 설치된 데스크탑이라고 생각하면 이해하기 쉬울 것이다.

참고로, 사용자 단말(200)은 치과 로봇(100)과 결합되어 활용될 수 있다. 구체적으로, 사용자 단말(200)이 시술실에 설치되는 것이 아니라 치과 로봇(100)과 결합되어, 사용자가 치과 로봇(100)이 시술 진행 과정 또는 관련 데이터들을 치과 로봇(100)에 결합된 사용자 단말(200)를 통하여 획득할 수 있다.

이상 본 발명에서 자주 사용되는 용어들을 먼저 간략히 살펴보았다. 이하 본 발명의 치과 로봇(100)의 전체 구성을 자세히 살펴보도록 한다.

[치과 로봇(100)]

치과 로봇(100)은 환자를 대상으로 자체적인 치과 시술이 가능한 로봇이다.

치과 로봇(100)은 로봇 내에 마련된 센서부(130)를 통하여 환자의 구강 개폐 여부를 확인하여, 환자의 구강이 열려있다고 인식되면, 치과 로봇(100)의 로봇암(110)이 환자의 특정 치아에 기 부착되어 있는 라미네이트형 마커를 기준으로 정의된 공간 좌표계를 참고하여 정밀하고 정확하게 특정 치아에 진입하게 된다.

도 4는 이러한 본 발명의 치과 로봇(100)의 전체적인 구성을 모식도로 나타낸 도면이다.

도4를 참고하면, 치과 로봇(100)은 로봇암(110), 통신부(120), 센서부(130), 연산부(140), AI 인식부(150), 음성발화부(160) 및 제어부(170)를 포함한다.

[로봇암(110)]

도 5는 본 발명의 치과 로봇(100)의 로봇암(110)의 전체적인 외관을 나타낸 도면이다.

도5를 참고하면, 로봇암(110)에는 사람 팔과 비슷한 역할을 수행하여, 사물을 그립(Grip)하거나, 사람이 하기 힘든 정밀한 시술, 대상(예. 치아, 잇몸)을 향한 타켓팅 등을 할 수 있는 로봇핸드(111)나 다양한 치과 치료를 할 수 있도록 핸드피스와 같은 치과 치료 도구를 손쉽게 교체가 가능한 모듈이 마련되어 있다. 로봇핸드(111)는 정밀한 시술을 진행하기 위하여, 팔 자체가 의료기구(20) 형상을 나타내고 있을 수 있으며, 도 5에 도시된 바와 같이 로봇 팔(111)이 의료기구(30)를 그립한 채로 시술을 진행하게 할 수도 있고, 핸드피스를 결합하여 진행할 수도 있다. 참고로, 여기서 말하는 의료기구(20)는 치과적인 시술을 하기 위하여 활용되는 기구이며, 예를 들어, 핸드피스, 버(bur), 스케일러 등이 본 발명의 의료기구가 될 수 있다.

로봇암(110)에는 복수 개의 관절(112)이 마련되어 있으며, 이 복수 개의 관절(111)이 서로 다른 구동(상/하/좌/우 구동, 회전 구동)이 가능하여 6자유도 운동(Six degrees of freedom, 6DOF)에 대한 구동이 가능하다. 이러한 구동에 의하여, 로봇암(110)은 타켓팅된 위치(예. 치아)에 정교하고 정확하게 도달할 수 있다.

[통신부(120)]

통신부(120)는 치과 로봇(100)이 사용자 단말(200)과의 데이터 교환이 가능하도록 마련된 구성요소이다. 구체적으로, 통신부(120)는 사용자 단말(200)로부터 환자 진단 데이터 및 시술 데이터를 수신하며, 시술 전후 진행 상황과 같은 시술 정보들을 사용자 단말(200)에 전송하는 역할을 수행할 수 있다.

이러한 통신부(120)는 무선 통신 모듈을 포함할 수 있다. 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, WiFi 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.

[센서부(130)]

센서부(130)는 환자 안면 위치 확인하고, AI 인식부(150)가 환자의 구강 개폐 여부를 인식하고, 치아에 부착된 마커(20)를 인식하기 위하여 필요한 센싱 데이터를 생성하는 역할을 수행한다.

센서부(130)는 센싱 데이터를 생성하기 위하여 카메라 및 IR 카메라를 포함한다.

센서부(130)의 카메라는 시술이 시작되기 이전에 환자 안면의 위치를 파악하고, 시술이 시작되면 환자 안면 근처로 로봇암이 충분히 가까워질 수 있도록 위치를 파악하며, 로봇암이 입안으로 진입할 경우AI 인식부(150)가 환자의 구강 개폐여부를 인식하도록 환자의 안면을 실시간으로 촬영한다.

센서부(130)의 IR 카메라는 환자의 구강이 개방되면, 환자 특정 치아에 부착되어 있는 마커(20)의 반사체(21)를 인식하여, 로봇핸드(111)와 결합된 핸드피스 등의 치과 치료도구가 안전하고 정밀하게 특정 치아의 위치에 도달할 수 있도록 유도한다.

참고로, 센서부(130)의 카메라 및 IR 카메라는 인식 정밀도를 높이기 위해서 치과 로봇(100), 로봇암(110) 또는 로봇핸드(110)에 배치될 수 있으며, 센서부(130)를 통하여 치과 로봇(100) 또는 로봇핸드(111)의 구동 및 움직임을 관리 감독하기 위하여, 센서부(130)는 치과 로봇(100)을 가시적으로 센싱할 수 있는 위치에 별도로 배치될 수 있다. 다시 말해, 센서부(130)는 치과 로봇(100)에 인접한 거리에 배치되는 외부 센서부(130a)로 마련될 수 있다.

[외부 센서부(130a)]

도6은 본 발명의 치과 로봇(100)이 시술을 진행할 때에 센서부(130) 및 제2 센서부(130a)가 마커(20)를 인식하는 모습을 나타낸 도면이다.

도 6을 참고하면, 사용자는 로봇핸드(111)가 특정 치아에 안전하고 정밀하게 도달할 있도록 마커(20)를 특정 치아에 부착한다. 여기서 특정 치아에 부착된 마커(20)는 로봇핸드(110)에 마련된 센서부(130)에 의하여 인식된다.

한편, 사용자는 로봇핸드(111)가 특정 치아에 안전하고 정밀하게 도달하고 있는지 관리 감독하기 위하여 마커(20)를 로봇핸드(111), 의료기구(30)에도 부착할 수 있으며, 치과 로봇(100)과 인접한 거리에 외부 센서부(130a)를 배치하여, 로봇핸드(110)가 특정 치아에 정확히 이동하고 있는지 의료기구(30)가 특정 치아에 안전하게 도달하였는지 관리ㆍ감독하고, 로봇핸드(110)의 정확도를 보정할 수 있다.

[연산부(140)]

연산부(140)는 환자 진단 데이터 및 시술 데이터를 토대로 특정 치아의 위치 좌표 또는 특정 치아에 부착된 마커(20)의 위치 좌표를 3차원으로 연산하는 구성요소이다. 구체적으로 연산부(140)는 치과 로봇(100)이 센서부(130)의 카메라 및 IR 카메라를 통하여 특정 로봇핸드(111)가 특정 치아에 인접하게 도달하였을 때, 이후에 로봇핸드(111)가 정확한 시술을 진행할 수 있도록 특정 치아의 3차원 위치 좌표, 마커(20)의 3차원 위치 좌표를 연산한다.

또한, 연산부(140)는 로봇암(110)이 시술 데이터에 포함된 사용자의 시술 계획에 따라 구동되도록 로봇암(110)의 구동 데이터를 연산하여, 제어부(170)가 로봇암(110)을 연산된 로봇암(110) 구동 데이터에 따라 구동을 제어할 수 있도록 한다. 여기서 로봇암(110) 구동 데이터란, 로봇암(110) 각 관절(112)의 구동 또는 로봇핸드(111)를 제어하는 데이터이며, 로봇암 구동 데이터에는 로봇암(110) 각 관절(112) 또는 로봇핸드(111)에 대한 상/하/좌/우 구동, 회전에 대한 구동을 적어도 1회 이상 제어하는 데이터가 포함되어 있다.

[AI 인식부(150)]

도7은 본 발명의 AI 인식부(150)가 환자의 구강 개폐 여부를 인식하는 모습을 나타낸 도면이다.

AI 인식부(150)는 사람의 구강 구조(입, 입술, 치아, 잇몸 또는 혀)에 대한 이미지 데이터가 기 학습되어 있어, 센서부(130)의 카메라에 의하여 촬영된 환자 안면 내의 구강 구조 각각을 구분하고 인식하여 환자의 구강개폐 여부를 판단할 수 있다.

AI 인식부(150)는 환자의 구강이 개방되어야만 노출되는 혀를 인식하는 방식으로 환자 구강 개폐 여부를 판단한다. 다만, 환자의 혀가 인식되었다 할지라도, 환자의 구강이 시술하기 적합하지 못할 정도로 개방되는 경우가 존재하므로, 환자가 구강을 개방하였다고 인식될 수 있는 최소한의 혀의 면적을 설정하여, AI 인식부(150)가 1차적으로 혀를 인식하고, 2차적으로 혀의 면적이 구강 개방으로 인식되는 최소한의 혀의 면적에 해당하는 지 판단하여 환자 구강 개폐 여부를 판단하도록 구현할 수 있다.

한편, AI 인식부(150)는 윗입술의 최고점과 아랫입술을 최저점 사이의 길이를 연산하여 환자 구강개폐 여부를 판단할 수도 있다. 구체적으로, 환자가 입을 닫고 혀만을 내밀고 있다면, AI 인식부(150)가 혀를 인식되고, 혀의 면적이 구강 개방이라고 인식될 정도의 최소한의 면적이라고 판단하여 결과적으로 구강이 개방되었다고 잘못된 판단할 수 있으므로, 혀와 혀의 면적을 인식할 뿐만 아니라 윗입술의 최고점과 아랫입술을 최저점 사이의 길이 즉, 입이 벌어진 길이를 연산하여 보다 정확하게 환자 구강개폐 여부를 판단하게 할 수 있다.

또 다른 한편, AI 인식부(150)가 인식한 환자 구강 개폐 여부를 사용자가 시각적으로 용이하게 파악할 수 있도록 환자 구강 개폐 여부가 사용자 단말(200)에 디스플레이 되도록 하고, 이 때, 환자 구강 개폐 여부에 따라 상이한 색상, 기호, 문자 등 적어도 하나 이상의 표시 수단이 사용자 단말(200) 화면 상에 디스플레이될 수 있다. 예를 들어 AI 인식부(150)가 환자의 구강이 개방되었다고 판단한 경우, 환자 입 위치에 표시되는 사각 형상 영역이 제1 색으로 표시될 수 있으며, 반대로 AI 인식부(150)가 환자의 구강이 폐쇄되었다고 판단한 경우, 환자 입 위치에 표시되는 사각 형상 영역이 제2 색으로 표시될 수 있다.

[음성 발화부(160)]

도8은 본 발명의 음성 발화부(160)가 특정 상황에 따라 실행되는 모습을 나타낸 도면이다.

음성 발화부(160)는 특정 상황에 따라 특정한 음성 데이터를 출력하는 역할을 수행한다. 여기서 특정 상황은 시술이 매끄럽게 진행되기 위하여 환자 또는 사용자가 무언가의 제스쳐 또는 모션이 필요한 상황이 될 수 있다. 예를 들어, 특정 상황은 ⅰ) 로봇암(110)이 환자의 안면에 도달한 경우, ⅱ) 센서부(130)의 IR 카메라가 마커(20)를 인식하지 못한 경우, 또는 ⅲ) AI 인식부(150) 환자의 구강이 충분히 개방되지 않다고 판단한 경우가 될 수 있다. 치과 시술이 이루어지려면 당연히 환자는 구강을 개방해야 하며, 환자가 구강을 개방하였다고 하여도 구강이 개방된 정도가 치과 시술이 가능한 정도가 아닐 수 있으므로, 이러한 특정 상황에 있어서 환자 취해야 하는 모션을 음성데이터를 통하여 환자에게 알리고자, 음성발화부(150)는 환자에게 "입을 조금 더 벌려주세요"라는 특정 음성 데이터를 출력할 수 있다.

한편, 음성 발화부(160)는 사용자가 입력한 텍스트 데이터를 음성 데이터 변환하여 출력하는 역할을 수행할 수 있다. 구체적으로, 사용자가 시술 시 환자가 주의해야 할 상황 또는 참고 상황을 시술이 시작되기 이전에 텍스트 형식으로 기 입력해두면, 음성 발화부(160)가 상기 텍스트 형식으로 입력된 데이터를 음성 데이터로 변환하여 출력한다. 구체적인 예로, 사용자가 사용자 본인에 대한 소개, 시술 진행 프로세스에 대한 설명, 아픔의 정도, 또는 예상 종료 시간 등과 같은 참고 사항을 환자에게 시술 시작 전에 알려주고자, 사용자가 치과 로봇(100) 내에 마련된 입력 장치(미도시)를 통하여 참고 사항을 텍스트 형식으로 입력하고, 해당 텍스트에 대한 음성이 음성 발화부(160)로 하여금 출력되도록 한다.

[제어부(170)]

제어부(170)는 로봇암(110), 로봇핸드(111), 통신부(120), 센서부(130), 연산부(140), 사용자 인식부(150) 및 AI 인식부(160) 각각에 동작 가능하게 결합되어, 이들의 동작을 제어할 수 있다. 제어부(180)는, 하드웨어적으로, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함할 수 있다.

제어부(170)는 통신부(120)가 사용자 단말(200)로부터 시술 데이터를 수신하고, AI 인식부(150)가 환자의 안면을 인식하면, 로봇암(110) 또는 로봇핸드(111)가 환자 안면에 인접한 위치에 도달하도록 로봇암(110)의 구동을 제어한다.

또한, 제어부(170)는 AI 인식부(150)가 환자의 구강 개폐 여부를 인식 하고, 센서부(130)가 마커(20)의 위치를 인식하면, 로봇암(110)이 마커(20)의 위치 및 시술 데이터를 토대로 시술 하도록 로봇암(110)의 구동을 제어한다.

이상, 본 발명의 치과 로봇(100)의 전체적인 구성에 대하여 살펴보았다.

다음으로, 본 발명의 일 실시 예에 따른 탈부착 가능한 마커를 활용한 치과 치료 서비스 제공 방법에 대하여 자세히 살펴보도록 한다.

도9는 본 발명의 일 실시 예에 따른 탈부착 가능한 마커를 활용한 치과 치료 서비스 제공 방법을 구체적으로 나타낸 도면이다.

도9를 참고하면, 본 발명의 시스템(10)이 사용자에게 탈부착 가능한 마커를 활용한 치과 치료 서비스를 제공하기 위해서는 먼저, 치과 로봇(100)이 사용자 단말(200)로부터 시술 데이터를 수신하는 단계(S101)에서 시작한다. 여기서, 시술 데이터는 사용자가 환자의 치아나 잇몸을 시술하기 이전에 시술에 대한 계획이 포함된 데이터 또는 시술에 필요한 정보들을 분석한 데이터가 포함된 데이터이다. 시술 데이터는 사용자 단말(200)로부터 생성되는 제1 시술 데이터 및 AI 분석 서버(300)로부터 생성되는 제2 시술 데이터를 포함한다. 제1 시술 데이터는 사용자가 사용자 단말(200)을 통하여 환자 진단 데이터를 확인한 이후에 특정 치아나 잇몸을 선택하고, 필요한 시술법에 대한 정보를 선택 입력하여 생성한 데이터이다. 제2 시술 데이터는 AI 분석 서버(300)가 제1시술 데이터 및 환자 진단 데이터를 토대로 특정 치아의 위치, 각도, 형상에 데이터, 특정 치아의 인접한 잇몸의 위치, 각도, 깊이에 대한 데이터 및 특정 치아를 시술하기 위한 로봇암(110)의 구동 데이터를 분석하여 생성한 데이터이다.

이후에, 환자가 시술 베드에 누워 시술 준비가 완료되면, 치과 로봇(100)의 센서부(130)가 환자 안면을 실시간으로 촬영하고, AI 인식부(150)가 환자 안면을 인식하여 치과 치료기기가 결합된 로봇암(110) 또는 로봇핸드(111)가 환자 안면과 인접한 위치에 도달하도록 한다(S102).

다음으로, 치과 로봇(100)의 AI 인식부(150)는 센서부(130)가 환자의 안면을 촬영함으로써 생성한 센싱 데이터를 토대로 구강 개폐 여부를 인식한다(S103). S103 단계에서의 AI인식부(150)는 환자의 구강 구조(입, 입술, 혀, 치아, 잇몸) 각각을 구분하여 인식할 수 있으며, 환자의 구강이 개방되어야만 노출되는 혀를 인식하는 방식으로 환자 구강 개폐 여부를 판단한다.

이후에, 치과 로봇(100)는 특정 치아에 부착된 마커(20)를 센서부(130)의 IR 카메라를 통하여 인식하여 마커(20)의 위치를 인식한다(S104). 여기서, 마커(20)는 마커(20) 내에 포함된 반사체(21)를 통하여 치과 영상의료기기(CBCT)와 IR 카메라를 통하여 인식되는 구성요소이다. 본 발명은 로봇핸드(111) 또는 의료기구(30)가 환자의 특정 치아나 잇몸에 안전하고 정밀하게 도달하도록 유도하는 것을 주된 목적으로 하며, 본 발명은 이러한 목적을 달성하기 위하여 특정 치아에 마커(20)를 부착하고, 센서부(130)의 IR 카메라가 특정 치아에 부착된 마커(20)를 인식하게 하여 로봇핸드(111)로 하여금 상기 마커(20) 인식에 따라 정의되는 공간 좌표계 상에서 마커 위치 기반의 상대적인 좌표 계산을 통해 마커 근처의 환자의 특정 치아나 잇몸에 안전하고 정밀하게 도달하도록 한다. 한편, 마커(20)는 특정 치아뿐만 아니라 로봇암(110), 로봇암(111), 또는 의료기구(30)에 부착되어, 치과 로봇(100)과 인접한 위치에 배치된 외부 센서부(130a)로 하여금 마커(20)를 인식하여 로봇핸드(111) 또는 의료기구(30)가 환자의 특정 치아에 안전하고 정밀하게 도달하고 있는지 관리ㆍ감독하거나, 로봇핸드(110)의 정확도를 보정할 수 있다. 참고로 위 마커(20)는 공간 좌표계를 정의하기 위한 기준점들이 되어야 하므로 마커(20) 내에 복수개의 CBCT 또는 IR 반사체가 존재하거나 다양한 형태의 넓은 면으로 구성되며, 인식률을 높이기 위해 마커(20)가 구강 내 복수 개로 존재할 수도 있다.

다음으로, 치과 로봇(100)은 마커(20)의 위치 또는 시술 데이터를 토대로 시술을 진행하면서(S105), 본 발명의 일 실시 예에 따른 탈부착 가능한 마커를 활용한 치과 치료 서비스 제공방법이 마무리된다.

이상 탈부착 가능한 마커를 활용한 치과 치료 서비스 제공 방법 및 이를 위한 시스템 대한 실시 예를 모두 살펴보았다.

본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.

10: 시스템
20: 마커 21: 반사체 21a: 제1 반사체 21b: 제2 반사체
30: 의료기구
100: 치과 로봇
110: 로봇암 111: 로봇핸드 112: 마디
120: 통신부
130: 센서부 130a: 외부 센서부
140: 연산부
150: AI 인식부
160: 음성 발화부
170: 제어부
200: 사용자 단말
300: CBCT
400: AI 분석부

Claims (5)

1. 치과 로봇에 있어서,
   사용자 단말로부터 시술 데이터를 수신하는 통신부;
   환자 안면의 위치를 인식하여, 환자 안면에 인접한 위치에 도달하도록 구동되는 로봇암;
   카메라를 포함하는 센서부;
   상기 카메라에 의해 촬영되는 환자의 혀를 인식하고, 상기 인식된 혀의 면적이 구강 개방으로 인식되는 최소의 혀의 면적 범위 이상인지 판단함으로써 상기 환자의 구강 개폐 여부를 판단하는 AI 인식부; 및
   상기 로봇암의 구동을 제어하는 제어부;
   를 포함하는,
   치과 로봇.
   
2. 제 1항에 있어서,
   상기 센서부는 적외선 카메라를 더 포함하고,
   상기 적외선 카메라는, 상기 환자의 치아에 부착된 마커를 인식 및 추적하는 것을 특징으로 하는,
   치과 로봇.
   
3. 제 1항에 있어서,
   상기 시술 데이터는,
   특정 치아 - 상기 특정 치아는, 마커가 부착된 치아임 - 의 위치, 각도, 형상에 대한 데이터, 상기 특정 치아와 인접한 치아나 잇몸의 위치, 각도, 깊이에 대한 데이터 또는 상기 로봇암이 상기 특정 치아와 잇몸에 대하여 시술하기 위하여 구동되는 구동 데이터를 포함하는 것을 특징으로 하는,
   치과 로봇.
   
4. 삭제
5. 치과 로봇에 있어서,
   환자의 치아면에 부착된 라미네이트형 마커를 기준으로 정의된 공간 좌표계를 참고하여 구동되는 로봇암;
   특정 사용자 단말로부터 시술 데이터를 수신하는 통신부;
   카메라 및 적외선 카메라를 포함하는 센서부;
   상기 카메라에 의해 촬영되는 환자의 혀를 인식하고, 상기 인식된 혀의 면적이 구강 개방으로 인식되는 최소의 혀의 면적 범위 이상인지 판단함으로써 상기 환자의 구강 개폐 여부를 판단하는 AI 인식부;
   텍스트 데이터를 음성 데이터로 변환하여 출력하는 음성발화부; 및
   상기 로봇암의 구동을 제어하는 제어부;
   를 포함하는,
   치과 로봇.
   
   

Images