KR102395582B1 - 인공지능 기반 치아 수복을 위한 보철물 제작 방법 및 애플리케이션 - Google Patents

Abstract

본 발명은, 인공지능 기반 치아 수복을 위한 보철물 제작 방법에 있어서, 3D 스캐너로부터 스캐닝 된 환자의 치열 이미지를 입력받는 (a)단계; 상기 치열 이미지에서 잇몸과 치아의 영역을 분획하여 잇몸의 영역을 제거한 전처리 치열 이미지를 생성하는 (b)단계; 상기 전처리 치열 이미지와, 상기 전처리 치열 이미지에서 손실된 치아의 영역에 크라운 이미지를 디자인한 디자인 치열 이미지를 학습 데이터 셋으로 구축하는 (c)단계; 상기 학습 데이터 셋을 딥러닝 기반 학습 알고리즘을 이용하여 상기 전처리 치열 이미지에 매칭되는 크라운의 디자인을 학습하는 (d)단계; 및 상기 학습된 크라운의 디자인 데이터를 기반으로 상기 전처리 치열 이미지에서 가상의 크라운 이미지를 생성하여 상기 전처리 치열 이미지에 정합하는 (e)단계를 포함하는 것을 일 특징으로 한다.

Description

인공지능 기반 치아 수복을 위한 보철물 제작 방법 및 애플리케이션{PROSTHESIS MANUFACTURING METHOD AND APPLICATION FOR AI-BASED TOOTH RESTORATION}

본 발명은 자동으로 보철물을 디자인하는 제작 방법 및 애플리케이션에 관한 것으로서, 특히 인공지능 알고리즘 기반으로 환자의 치열에 적합한 크라운을 자동으로 디자인하는 보철물 제작 방법 및 애플리케이션에 관한 것이다.

치과 보철제작 과정에서 인상채들은 구강 내 치아 및 조직의 상태를 인상재에 인기하여 환자의 진단 및 향후 치료계획을 수립하거나, 환자 맞춤 보철물을 제작하는데 기반이 되는 임상과정이다. 일반적인 인상채득 방법은 술자의 숙련된 임상 기술을 필요로 한다.

이에 수작업으로 진행되는 치과 보철물의 설계나 가공을 위한 컴퓨터의 활용과 설계 및 생산을 자동화하기 위한 연구가 진행되고 있다. 종래에는 구강 스캐너를 이용하여 디지털로 구강을 스캔하고, 스캔된 3D의 치열 이미지를 모델링하여 표시한 후, 모델링된 치열 이미지를 기초로 치과 보철물을 컴퓨터로 설계하고 있다. 여기서, 최근의 보철물 설계 시스템은, 발전된 이미지 분석 툴을 통해 구강 이미지를 분석하여 보철물 설계에 도움이 되는 구강 정보를 그래픽 유저 인터페이스(GUI)의 툴을 통해 제공한다. 이와 관련, 한국 등록특허 제10-1994396호가 있다.

그러나, 보철물 설계 시스템은 아직까지 수작업인 드로잉(drawing)을 통해 보철물을 설계하여, 보철물의 설계 퀄리티가 작업자의 능력에 의존되며 작업시간이 과다하게 걸리므로 전문 디자이너가 별도로 고용되고 있는 실정이다.

이러한 배경으로, 현재 보급중인 보철물 제작 CAD 프로그램에는 치아 디자인의 자동화에 대한 니즈가 존재한다. 현재까지 보철물 설계시 수작업인 드로잉이 요구되는 이유로는, 유실된 크라운 영역을 환자 치열에 적합한 모양으로 디자인해야 하기 때문이다. 이 경우, 환자의 치아 조건, 인접 치아의 크기, 홈 등을 고려하여 작업자가 적절히 주변 치아와 어울리도록 수작업으로 드로잉하게 되며, 최근 이를 보조하기 위한 다양한 GUI가 제공되고 있는 추세이나 여전히 전문 작업자의 수작업이 요구된다.

한편, 본 출원인은 인공지능 알고리즘의 오픈소스가 대중적으로 보급되어 인공지능 기술의 적용이 다양한 분야로 접목되고 있는 현재, AI 알고리즘을 통한 기계학습으로 환자에 따라 맞춤형 치아를 디자인하여 크라운을 자동으로 생성시킴에 따라 크라운 수작업이 요구되지 않는 인공지능 기반 치아 수복을 위한 보철물 제작 방법 및 애플리케이션을 고안하게 되었다.

한국 등록특허 제10-1994396호

본 발명은 보철물 설계에 필요한 크라운 이미지를 딥러닝 알고리즘의 학습 정보를 기반으로 환자의 치아에 적합한 이미지로 자동 제작하는 인공지능 기반 치아 수복을 위한 보철물 제작 방법 및 애플리케이션을 제공하고자 한다.

또한, 본 발명은 적은 학습 데이터 셋으로도 정확도가 높은 크라운 이미지의 생성이 가능한 인공지능 기반 치아 수복을 위한 보철물 제작 방법 및 애플리케이션을 제공하고자 한다.

상기 목적을 달성하기 위하여 본 발명은, 인공지능 기반 치아 수복을 위한 보철물 제작 방법에 있어서, 3D 스캐너로부터 스캐닝 된 환자의 치열 이미지를 입력받는 (a)단계; 상기 치열 이미지에서 잇몸과 치아의 영역을 분획하여 잇몸의 영역을 제거한 전처리 치열 이미지를 생성하는 (b)단계; 상기 전처리 치열 이미지와, 상기 전처리 치열 이미지에서 손실된 치아의 영역에 크라운 이미지를 디자인한 디자인 치열 이미지를 학습 데이터 셋으로 구축하는 (c)단계; 상기 학습 데이터 셋을 딥러닝 기반 학습 알고리즘을 이용하여 상기 전처리 치열 이미지에 매칭되는 크라운의 디자인을 학습하는 (d)단계; 및 상기 학습된 크라운의 디자인 데이터를 기반으로 상기 전처리 치열 이미지에서 가상의 크라운 이미지를 생성하여 상기 전처리 치열 이미지에 정합하는 (e)단계를 포함하는 것을 일 특징으로 한다.

바람직하게, 상기 (a)단계는, 환자 치아를 본 뜬 치아의 모형물을 스캐닝하여 조명이 확보된 구강외 스캐닝으로 생성된 환자의 치열 이미지를 입력받을 수 있다.

바람직하게, 상기 (a)단계는, 크라운이 위치한 타겟 영역을 수직선상에서 촬영한 평면도 또는 저면도로 스캐닝한 환자의 치열 이미지를 입력을 수 있다.

바람직하게, 상기 (b)단계는, 손실된 치아 영역이 치열 중 마지막에 위치되지 않도록, 손실된 치아의 주변부에 1개 이상의 치아가 위치한 치열 이미지로 상기 전처리 치열 이미지를 생성할 수 있다.

바람직하게, 상기 (d)단계는, 상기 딥러닝 기반 학습 알고리즘으로 GAN 기반 Pix-2-Pix 모델이 적용되고, G 모델은 상기 디자인 치열 이미지를 모방하여 상기 전처리 치열 이미지에 모방된 크라운 이미지를 생성하고, D 모델은 상기 G 모델이 생성한 크라운 이미지와 상기 디자인 치열 이미지를 비교하여 진위 여부를 판별하는 학습을 수행할 수 있다.

바람직하게, 상기 (d)단계는, 상기 G 모델의 손실함수가 치아의 형상 정보, 인전 치아의 정보, 감마값 정보, 치아의 접합면 정보를 파라미터로 정의될 수 있다.

또한, 본 발명은 데이터를 입력하는 입력 수단, 입력된 데이터를 처리하는 처리 수단 및 출력 수단을 갖는 스마트폰, 태블릿, 노트북, 또는 컴퓨터에, 3D 스캐너로부터 스캐닝 된 환자의 치열 이미지를 입력받는 (a)기능; 상기 치열 이미지에서 잇몸과 치아의 영역을 분획하여 잇몸의 영역을 제거한 전처리 치열 이미지를 생성하는 (b)기능; 상기 전처리 치열 이미지와, 상기 전처리 치열 이미지에서 손실된 치아의 영역에 크라운 이미지를 디자인한 디자인 치열 이미지를 학습 데이터 셋으로 구축하는 (c)기능; 상기 학습 데이터 셋을 딥러닝 기반 학습 알고리즘을 이용하여 상기 전처리 치열 이미지에 매칭되는 크라운의 디자인을 학습하는 (d)기능; 및 상기 학습된 크라운의 디자인 데이터를 기반으로 상기 전처리 치열 이미지에서 가상의 크라운 이미지를 생성하여 상기 전처리 치열 이미지에 정합하는 (e)기능을 실행시키기 위하여 매체에 저장된 인공지능 기반 치아 수복을 위한 보철물 제작 애플리케이션을 제공하는 것을 다른 특징으로 한다.

본 발명에 따르면, 보철물 설계에 필요한 크라운 이미지를 딥러닝 알고리즘의 학습 정보를 기반으로 환자의 치아에 적합한 이미지로 자동 제작하여, 수작업에 소요되는 시간과 인건비를 절감할 수 있다. 또한, 본 발명은 다량의 학습 데이터 없이도 오차율이 적고 치아 정합도가 높은 크라운 이미지를 생성할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 치아 수복을 위한 보철물 제작 방법의 구성에 대한 블록도를 나타낸다.
도 2는 3D 스캐너로 스캐닝 한 환자의 치열 이미지와 디자인된 치열 이미지를 나타낸다.
도 3은 도 2의 학습 데이터 셋을 딥러닝 기반 학습 알고리즘으로 학습한 결과를 나타낸다.
도 4는 도 2의 실시예에 따른 학습 데이터셋을 799개 확보하여 딥러닝 알고리즘을 수행한 모습을 나타낸다.
도 5는 도 4의 학습 결과를 나타낸다.
도 6은 본 실시예에 따른 (b)단계를 수행하여 생성한 전처리 치열 이미지를 나타낸다.
도 7은 도 6의 실시예에 따른 학습 데이터셋을 180개 확보하여 딥러닝 알고리즘을 수행한 모습을 나타낸다.
도 8은 도 7의 학습 결과를 나타낸다.
도 9는 다른 크라운의 위치를 갖는 치열 이미지를 대상으로 도 7의 학습을 수행한 결과를 나타낸다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 치아 수복을 위한 보철물 제작 방법의 구성에 대한 블록도를 나타낸다. 도 1을 참조하면, 인공지능 기반 치아 수복을 위한 보철물 제작 방법은 치열 이미지를 입력 받는 (a)단계(S10), 전처리 치열 이미지를 생성하는 (b)단계(S30), 학습 데이터 셋을 구축하는 (c)단계(S30), 딥러닝 알고리즘으로 학습하는 (d)단계(S50) 및 크라운 이미지를 생성하여 정합하는 (e)단계(S70)를 포함할 수 있다.

이하에서 설명할 (a)단계(S10) 내지 (e)단계(S70)는 데이터를 입력하는 입력 수단, 입력된 데이터를 처리하는 처리 수단 및 출력 수단을 갖는 스마트폰, 태블릿, 노트북, 또는 컴퓨터에 실행시키기 위한 매체에 저장된 애플리케이션의 기능으로 구현되어도 무방하다. 인공지능 기반 치아 수복을 위한 보철물 제작 방법은 3D 스캐너 장비(10) 및 서버(30)를 구비한 시스템 상에서 수행될 수 있다.

(a)단계(S10)는 3D 스캐너로부터 스캐닝 된 환자의 치열 이미지를 입력받는 단계이다. 도 2는 3D 스캐너(10)로 스캐닝 한 환자의 치열 이미지(101)와 디자인된 치열 이미지(103)를 나타낸다.

도 2를 참조하면, (a)단계(S10)는 환자 치아를 본 뜬 치아의 모형물을 스캐닝하여 조명이 확보된 구강외 스캐닝으로 생성된 환자의 치열 이미지를 입력받을 수 있다. 일 실시예로, (a)단계(S10)에서의 환자의 치열 이미지(101)는 구강 내 스캐닝으로 확보될 수 있다. (a)단계(S10)는 크라운이 위치한 타겟 영역을 수직선상에서 촬영한 평면도 또는 저면도로 스캐닝 한 환자의 치열 이미지를 입력받을 수 있다. 다만, 보다 바람직하게 (a)단계(S10)에서 확보된 환자의 치열 이미지(101)는 구강 외 스캐닝으로 확보된 스캐닝 이미지일 수 있다.

일반적으로, 종래의 보철물 제작시 설계의 기반이 되는 환자의 구강 정보는 구강 스캐닝으로 확보된다. 다만, 이 경우 구강 내에서 환자의 치열을 스캐닝시 어두운 구강 환경과, 치아의 빛 반사로 인해 아무리 고가의 장비로 스캐닝을 수행하여도 치열 이미지의 해상도가 떨어지며, 상당한 노이즈를 피하기 어렵다.

따라서, 본 실시예에 따른 (a)단계(S10)는 학습의 정확도 및 효율을 확보하기 위해 학습 데이터 셋 구축을 위한 입력 데이터를 환자의 구강 내 촬영이 아닌 구강 외 촬영을 통해 확보하였다. 도 2의 좌측 그림은, 구강 외 환경 스캐닝을 위해 환자의 치열에 해당하는 모형물(5)을 별도로 제작한 이후, 제작된 모형물(5)을 조명 조건 하에 스캐너(10)를 이용하여 스캐닝 한 모습을 나타낸다.

이 때 스캐닝 된 이미지는 환자의 치열 이미지(101)에 해당한다. 여기서, 도 2의 우측 상단 그림은 환자의 치열 이미지(101)와 환자의 치열 이미지(101)에 크라운(3)을 디자인한 디자인 치열 이미지(103)를 나타낸다. 스캐닝으로 환자의 치열 이미지(101)가 입력되면, 보철물 제작을 위해 환자의 치열에 적합한 치아 모양으로 크라운(3)을 작업자가 수동으로 드로잉 한다. 도 2의 디자인 치열 이미지(3)는 딥러닝 알고리즘의 학습의 결과를 테스트하기 위해 후술하게 될 전처리 과정 없이 실시예로서 수행되었다.

(b)단계(S20)는 (a)단계(S10)에서 확보한 치열 이미지(101)에서 잇몸과 치아의 영역을 분획하여 잇몸의 영역을 제거한 전처리 치열 이미지(1011)를 생성한다. (b)단계(S20)는 손실된 치아 영역이 치열 중 마지막에 위치되지 않도록, 손실된 치아의 주변부에 1개 이상의 치아가 위치한 치열 이미지로 전처리 치열 이미지(1011)를 생성할 수 있다. (b)단계(S20)의 전처리 과정은 GAN의 딥러닝 알고리즘의 학습 결과에 주목할 영향을 가져온다. 이와 관련 도 4 내지 8의 비교 실험례를 통해 후술한다. 또한, 손실된 치아의 영역인 타겟의 위치도 학습 결과에 주목할 영향을 미쳤으며, 이와 관련 도 9를 통해 설명한다.

(c)단계(S30)는 전처리 치열 이미지(1011)와, 전처리 치열 이미지(1011)에서 손실된 치아의 영역에 크라운 이미지를 디자인한 디자인 치열 이미지(1013)를 학습 데이터 셋으로 구축하는 단계이다.

(d)단계(S50)는 학습 데이터 셋(110)을 딥러닝 기반 학습 알고리즘을 이용하여 전처리 치열 이미지(1011)에 매칭되는 크라운(3)의 디자인을 학습하는 단계이다.

(d)단계(S50)는 딥러닝 기반 학습 알고리즘으로 GAN 기반 Pix-2-Pix 모델이 적용되고, G 모델은 상기 디자인 치열 이미지를 모방하여 전처리 치열 이미지(1011)에 모방된 크라운 이미지를 생성하고, D 모델은 G 모델이 생성한 크라운 이미지와 디자인 치열 이미지(1013)를 비교하여 진위 여부를 판별하는 학습을 수행할 수 있다.

(d)단계(S50)는 상기 G 모델의 손실함수가 치아의 형상 정보, 인전 치아의 정보, 감마값 정보, 치아의 접합면 정보를 파라미터로 정의될 수 있다. GAN은 모조품과의 경쟁을 통해서 학습하는 비지도 학습 알고리즘이다. GAN의 G 모델은 학습 데이터의 확률 분포를 근사하고, D 모델은 D 모델이 근사한 학습 데이터의 원본을 판별한다. 보다 상세하게, G 모델은 만드는 자(generator)로 이해할 수 있다. D 모델(33)은 구별하는 자로 이해할 수 있다. D 모델은 실제 학습 데이터와 G 모델을 거쳐 만들어진 가짜 데이터를 이용하여 학습을 하며, 실제 샘플이 진짜인지 혹은 가짜인지 구별하는 역할을 한다. G 모델은 D 모델을 속일 수 있을 정도로 진짜와 구별이 불가능할 수준의 가짜 데이터를 만들어내는 것이 목표이다. 본 실시예에 따른 D 모델은 판별을 잘 하는 방향으로, G 모델은 D 모델을 잘 속이는 방향으로 계속 학습을 수행한다. (d)단계(S50)는 최종적으로 G 모델이 진짜인지 가짜인지 거의 구별이 불가능한 수준의 데이터를 만들어내고, D 모델 역시 분별능력이 점차 개선이 되게 하는 것이 목표이다.

(d)단계(S50)는 D 모델(33)의 정의된 손실 함수가 최소화되도록 학습할 수 있다. (d)단계(S50) 학습은 두단계로 이루어진다. 첫번?? 단계는 G 모델이 고정되고, D 모델만이 학습을 진행한다. D 모델은 어느 것이 진짜이고 어느 것이 가짜인지 이미 알고 있기 때문에 가짜 샘플과 진짜를 구별하는 방향으로 손실함수가 정의된다. 두번째 단계로는 D 모델은 고정시키고 G 모델을 학습시킨다. G 모델의 목적은 D 모델을 속이는 것이므로 D 모델이 착각할 수 있는 방향으로 학습을 수행한다. (d)단계(S50) 학습은 위 과정을 반복적으로 수행하여, D모델과 G모델이 발전을 거듭하여 평형상태에 도달하도록 한다.

헤아려보면, 기존의 모델들은 손실함수를 최소화하는 방향으로 학습이 이루어지지만, d)단계(S50) 학습은 D 모델과 G 모델이 서로 상호보완적으로 학습이 이루어지는 형태이므로 결과적으로 손실함수가 0.5에 도달하는 방향으로 최적화가 진행되는 것이 특징이다.

(e)단계(S70)는 학습된 크라운(3)의 디자인 데이터를 기반으로 전처리 치열 이미지(1011)에서 가상의 크라운(3) 이미지를 생성하여 전처리 치열 이미지(1011)에 정합하는 단계이다.

도 2의 우측 하단 그림은 환자의 치열 이미지(101)와 디자인 치열 이미지(103)를 한 세트로 학습 데이터 셋(110)을 구축한 모습을 나타낸다. 도 2는 전술한 (b)단계(S20) 및 (c)단계(S30)의 수행 없이 도 2의 학습 데이터 셋(110)을 바로 딥러닝 알고리즘을 이용해 학습한 실시예의 결과를 설명한다.

도 3은 도 2의 학습 데이터 셋(110)을 딥러닝 기반 학습 알고리즘으로 학습한 결과를 나타낸다. 본 실시예에 따른 전처리 과정 없이 학습 데이터 셋(110)을 학습한 이후, 환자의 치열 이미지(101)를 재차 입력했을 때, 환자의 치열 이미지(101)에 적합한 크라운(3)을 생성한 정합 이미지(130)를 도 3을 통해 확인할 수 있다.

도 3에서 정합 이미지(130)에 정합된 크라운(3)은 블러링(blurring)이 심하게 생겨 학습을 의도한 디자인 치열 이미지(103)와 상당한 괴리가 발생됨을 확인하였다. 이에, 초기 본 출원인은 학습 데이터량이 부족하여 학습 결과가 좋지 못한 것으로 판단, 학습 데이터 셋을 충분히 확보하여 799개의 학습 데이터 셋으로 딥러닝 학습을 수행하여 크라운 이미지를 출력하였다.

도 4는 도 2의 실시예에 따른 학습 데이터셋(110)을 799개 확보하여 딥러닝 알고리즘을 수행한 모습을 나타낸다. 도 4를 참조하면, Input의 학습 데이터 셋(110)이 799개임을 코딩의 카운트 함수를 통해 확인할 수 있다. 학습 데이터 셋(110)은 2종류로 진행하였으며, 크라운의 영역에 미소하게 임플란트 보철물이 노출된 환자의 치열 이미지(101(a))와, 이에 대응되도록 크라운 이미지를 디자인한 디자인 치열 이미지(103(a))의 case1과, 크라운의 영역에 다소 편평하게 치아가 잔존된 환자의 치열 이미지(101(b))와, 이에 대응되도록 크라운 이미지를 디자인한 디자인 치열 이미지(103(b))의 case2으로 구축하였다.

도 5는 도 4의 학습 결과를 나타낸다.

도 5를 참조하면, 학습 결과(Test result) 정합 이미지(130)의 생성된 크라운(3) 디자인에는 여전히 블러링이 형성되었다. 입력 치열 이미지(101)에서 크라운의 종류별로도 학습을 수행해보았으나, 여전히 테스트 결과에 블러링이 발생되었으며, 타겟 이미지인 디자인 이미지(103)의 Ground truth 크라운에 전혀 근접되지 못한 결과가 출력되었다.

도 3 내지 도 5의 실시예로부터, 정합 이미지(130)에서 학습 결과가 좋지 못한 이유의 고찰로, 학습 데이터의 양보다 학습 데이터의 전처리의 중요성을 인지할 수 있었다. 보다 상세하게, 본 출원인은 치아의 이미지는 흑백 이미지로서, 치아의 교홈의 깊이 인접 치아와의 경계, 잇몸과의 경계가 모두 감마값에 의존됨에 따라 학습이 효율적으로 이루어지기 어려운 것으로 판단하여, 본 실시예에 따른(b)단계(S20)와 (c)단계(S30)의 전처리 과정을 수행하게 되었다.

도 6은 본 실시예에 따른 (b)단계(S20)를 수행하여 생성한 전처리 치열 이미지(1011)를 나타낸다. 도 6을 참조하면, (b)단계(S20)는 (a)단계(S10)에서 확보한 치열 이미지(101)에서 잇몸과 치아의 영역을 분획하여 잇몸의 영역을 제거한 전처리 치열 이미지(1011)를 생성한다. 잇몸의 영역을 제거하여 감마값으로 치아의 형상이 표현되고, 치아와 치아의 구분의 경계가 명확해짐에 따라 학습 결과가 향상됨을 기대하였다.

도 7은 도 6의 실시예에 따른 학습 데이터셋(110)을 180개 확보하여 딥러닝 알고리즘을 수행한 모습을 나타낸다. 도 7의 디자인 치열 이미지(1013)는 입력 치열 이미지에 크라운(3)을 모델링한 것으로 기능은 전술한 바와 같으나, 전처리 유무에 차이가 있는바 도 2 내지 도 5의 디자인 이미지(103)와 다른 도면 부호인 1013으로 표현하였다.

도 7을 참조하면, 학습 데이터 셋(110)의 개수가 180개임을 카운트 함수를 통해 확인할 수 있으며, 이는 도 4의 실시예에서 수행한 799개의 Input보다 1/5 적은 학습량임에 주목한다. 도 7에의 실시예에서, 전처리 치열 이미지(1011)는 치열의 다양한 모양을 고려해 2종 이상으로 학습을 진행하여 딥러닝 알고리즘의 학습 결과를 고찰하고자 하였다.

도 8은 도 7의 학습 결과를 나타낸다. 도 8을 참조하면, 딥러닝 알고리즘 학습으로, 전처리 치열 이미지(1011)에 어울리는 크라운(3)을 인공지능이 직접 설계하여 정합한 정합 이미지(130)를 Test result로 확인할 수 있다. 도 8에서, 정합 이미지(130)는 도 4의 실시예보다 월등히 적은 학습량으로도, 블러링 없이 선명한 크라운(3)의 이미지가 정합된 것을 확인할 수 있다. 주목할 점으로, 도 8에서 크라운(3)의 주변 치아가 치열 축이 맞는 케이스(상단) 뿐만 아니라, 주변 치아의 치열 축이 어긋난 케이스(하단)에도 주변 치아의 접합면에 어울리도록 인공지능이 크라운(3)을 디자인 한 점이다. 디자인된 크라운(3)은 치열의 축 뿐만 아니라 형상도 환자의 치아에 어울리도록 생성되어 뛰어난 학습 결과를 나타내었다.

도 9는 다른 크라운의 위치를 갖는 치열 이미지를 대상으로 도 7의 학습을 수행한 결과를 나타낸다. 도 9의 (a)는 크라운이 가장 아래쪽에 위치하고, 크라운의 위쪽으로는 2개의 치아가 인접된 전처리 치열 이미지(1011(a))를 대상으로 도 7의 학습을 동일하게 수행한 결과를 나타낸다. 도 9의 (a)를 참조하면, 도 7과 같은 조건으로 학습을 수행하였음에도, 정합 이미지(130(a))는 크라운의 적합한 모델링에 실패하여, 블러링 수준이 아닌 치아의 형상 자체를 세팅하지 못한 크라운(3‘의 모델이 정합되었다.

도 9의 (b)는 크라운이 가장 아래쪽에 위치하고, 크라운의 위쪽으로는 3개의 치아가 인접된 전처리 치열 이미지(1011(b))를 대상으로 도 7의 학습을 동일하게 수행한 결과를 나타낸다. 도 9의 (b)를 참조하면, 도 7과 같은 조건으로 학습을 수행하였음에도, 정합 이미지(103(b))는 적합한 크라운의 위치가 아닌 멀쩡한 치아의 위치에 모델링된 크라운(3‘이 형성되어 정합되었다.

도 9의 결과를 참조하면, 학습 데이터 셋(110) 구축시 크라운(3)의 위치가 학습 결과에 크게 영향을 미침을 확인할 수 있다. 바람직한 실시예로, 전처리 치열 이미지(1011)는 유실된 치아의 영역이 인접 치아의 사이에 배치되도록 촬영됨이 바람직하다. 이는, 크라운(3)의 주변으로 인접된 치아가 1개 이상 존재하도록 학습 데이터 셋(110)을 구축해야 인공지능상 적합한 디자인과 정합이 가능한 것으로 이해할 수 있다. 도 9의 (a)의 실시예는 인접 치아의 개수가 충분치 못하고, 크라운의 위치가 가장자리일 때 적합한 모델링(3‘에 실패한 모습이다. 도 9의 (b)실시예에서는 인접 치아의 개수가 어느정도 충분하여도, 크라운의 위치가 가장자리일 때, 이상이 없는 치아 중 다소 불명확한 치아를 크라운으로 디자인 및 대체하여 가장자리의 크라운 위치에 모델링(3’이 실패한 모습이다.

이에 따라, (b)단계(S20)는 손실된 치아 영역인 크라운의 위치가 치열 중 마지막에 위치되지 않도록, 손실된 치아의 주변부에 1개 이상의 치아가 위치한 치열 이미지로 전처리 치열 이미지(1011)를 생성함이 바람직하다.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

3: 크라운
5: 모형물
10: 스캐너
30: 서버
101: 입력 치열 이미지
1011: 전처리 치열 이미지
103: 디자인 치열 이미지
1013: 전처리된 디자인 치열 이미지
110: 학습 데이터 셋
130: 정합 이미지

Claims (7)

1. (a) 3D 스캐너로부터 스캐닝 된 환자의 치열 이미지를 입력받는 단계;
   (b) 상기 치열 이미지에서 잇몸과 치아의 영역을 분획하여 잇몸의 영역을 제거한 전처리 치열 이미지를 생성하는 단계;
   (c) 상기 전처리 치열 이미지와, 상기 전처리 치열 이미지에서 손실된 치아의 영역에 크라운 이미지를 디자인한 디자인 치열 이미지를 학습 데이터 셋으로 구축하는 단계;
   (d) 상기 학습 데이터 셋을 딥러닝 기반 학습 알고리즘을 이용하여 상기 전처리 치열 이미지에 매칭되는 크라운의 디자인을 학습하는 단계; 및
   (e) 상기 학습된 크라운의 디자인 데이터를 기반으로 상기 전처리 치열 이미지에서 가상의 크라운 이미지를 생성하여 상기 전처리 치열 이미지에 정합하는 단계를 포함하고,
   상기 (d)단계는,
   상기 딥러닝 기반 학습 알고리즘으로 GAN(Generative Adversarial Network) 기반 Pix-2-Pix 모델이 적용되고, G 모델은 상기 디자인 치열 이미지를 모방하여 상기 전처리 치열 이미지에 모방된 크라운 이미지를 생성하고, D 모델은 상기 G 모델이 생성한 크라운 이미지와 상기 디자인 치열 이미지를 비교하여 진위 여부를 판별하는 학습을 수행하는 것을 특징으로 하는 인공지능 기반 치아 수복을 위한 보철물 제작 방법.
   
2. 제 1 항에 있어서,
   상기 (a)단계는,
   환자 치아를 본 뜬 치아의 모형물을 스캐닝하여 조명이 확보된 구강외 스캐닝으로 생성된 환자의 치열 이미지를 입력받는 것을 특징으로 하는 인공지능 기반 치아 수복을 위한 보철물 제작 방법.
   
3. 제 1 항에 있어서,
   상기 (a)단계는,
   크라운이 위치한 타겟 영역을 수직선상에서 촬영한 평면도 또는 저면도로 스캐닝한 환자의 치열 이미지를 입력받는 것을 특징으로 하는 인공지능 기반 치아 수복을 위한 보철물 제작 방법.
   
4. 제 1 항에 있어서,
   상기 (b)단계는,
   손실된 치아 영역이 치열 중 마지막에 위치되지 않도록,
   손실된 치아의 주변부에 1개 이상의 치아가 위치한 치열 이미지로 상기 전처리 치열 이미지를 생성하는 것을 특징으로 하는 인공지능 기반 치아 수복을 위한 보철물 제작 방법.
   
5. 삭제
6. 제 1 항에 있어서,
   상기 (d)단계는,
   상기 G 모델의 손실함수가 치아의 형상 정보, 인전 치아의 정보, 감마값 정보, 치아의 접합면 정보를 파라미터로 정의된 것을 특징으로 하는 인공지능 기반 치아 수복을 위한 보철물 제작 방법.
   
7. 데이터를 입력하는 입력 수단, 입력된 데이터를 처리하는 처리 수단 및 출력 수단을 갖는 스마트폰, 태블릿, 노트북, 또는 컴퓨터에,
   (a) 3D 스캐너로부터 스캐닝 된 환자의 치열 이미지를 입력받는 기능;
   (b) 상기 치열 이미지에서 잇몸과 치아의 영역을 분획하여 잇몸의 영역을 제거한 전처리 치열 이미지를 생성하는 기능;
   (c) 상기 전처리 치열 이미지와, 상기 전처리 치열 이미지에서 손실된 치아의 영역에 크라운 이미지를 디자인한 디자인 치열 이미지를 학습 데이터 셋으로 구축하는 기능;
   (d) 상기 학습 데이터 셋을 딥러닝 기반 학습 알고리즘을 이용하여 상기 전처리 치열 이미지에 매칭되는 크라운의 디자인을 학습하는 기능; 및
   (e) 상기 학습된 크라운의 디자인 데이터를 기반으로 상기 전처리 치열 이미지에서 가상의 크라운 이미지를 생성하여 상기 전처리 치열 이미지에 정합하는 기능을 실행시키기 위하여 매체에 저장되고,
   상기 (d)기능은,
   상기 딥러닝 기반 학습 알고리즘으로 GAN(Generative Adversarial Network) 기반 Pix-2-Pix 모델이 적용되고, G 모델은 상기 디자인 치열 이미지를 모방하여 상기 전처리 치열 이미지에 모방된 크라운 이미지를 생성하고, D 모델은 상기 G 모델이 생성한 크라운 이미지와 상기 디자인 치열 이미지를 비교하여 진위 여부를 판별하는 학습을 수행하는 것을 특징으로 하는 인공지능 기반 치아 수복을 위한 보철물 제작 애플리케이션.
   

Images