KR102523856B1

KR102523856B1 - 딥러닝을 이용한 크라운 3d 메쉬 생성 방법 및 이를 이용하는 장치

Info

Publication number: KR102523856B1
Application number: KR1020210115610A
Authority: KR
Inventors: 김준휘; 이상혁; 구현진
Original assignee: 주식회사 스타인펠드
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2023-04-20
Also published as: KR20230032595A; WO2023033385A1

Abstract

본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법은 (a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계, (b) 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하는 단계, (c) 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 이용하여, 크라운 영역에 대응되는 크라운의 복수의 출력 2D 깊이 이미지를 생성하는 단계, (d) 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계, (e) 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계, (f) 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계, 및 (g) 복수의 버텍스를 이용하여 크라운의 3D 메쉬를 생성하는 단계를 포함할 수 있다. 이에, 크라운 3D 메쉬 생성 장치의 프로세싱 필요 용량을 효과적으로 저감시킬 수 있다.

Description

딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치 {METHOD FOR CREATING CROWN 3D MESH USING DEEP LEARNING AND DEVICE USING THE SAME}

본 발명은 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치에 관한 것으로서, 크라운이 형성되어야 할 크라운 영역을 포함하는 구강 3D 스캔 데이터를 이용하여 크라운 영역의 2D 깊이 이미지를 생성하고, 크라운 영역의 2D 깊이 이미지를 이용하여 크라운의 2D 깊이 이미지를 생성하고, 이를 이용하여 크라운의 3D 포인트 클라우드, 나아가 크라운의 3D 메쉬를 생성함에 따라, 3D to 3D 변환을 수행하지 않고 크라운 3D 메쉬를 획득할 수 있고, 이에, 딥러닝 방식을 이용한 크라운 3D 메쉬 생성 장치의 메모리 한계 문제를 효과적으로 개선할 수 있는 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치에 관한 것이다.

크라운, 인레이, 브릿지 등으로 대표되는 구강 보철 치료는 전체 치과 시술의 대부분을 차지하고 있는 보편적인 시술이다. 이들 중 크라운 시술은 치아의 손상된 부분을 제거한 프렙 영역인 크라운 영역에 고객의 치아 형태에 맞추어진 인공 치아인 크라운을 부착하는 시술이다. 기존의 크라운 시술은 고객의 구강 3D 스캔 데이터를 획득하고, 구강 3D 스캔 데이터를 기초로 3D 변환 프로그램 등을 이용하여 고객의 구강 구조에 맞추어진 크라운 3D 메쉬를 제작하는 등, 3D 이미지를 입력 데이터와 출력 데이터로 활용하는 3D to 3D 변환에 의하여 수행되고 있었다.

그러나, 크라운 3D 메쉬의 생성이 딥러닝 등과 같은 학습 방법에 의하여 구현되는 과정에서 GPU 등의 처리 장치의 메모리 용량의 부족이 문제되고 있다. 크라운 3D 메쉬는 평균적으로 10만개의 점과 25만개의 면으로 구성되는 데이터로서 높은 해상도를 요구할 수 있고, 큰 용량의 데이터를 딥러닝 방식으로 처리하는 프로그램은 처리 장치의 용량 한계로 구현하기 어려울 수 있다.

따라서, 딥러닝 방식을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치에 있어, 처리 장치의 필요 용량을 효과적으로 저감할 수 있는 새로운 방식의 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치의 필요성이 대두되고 있다.

본 발명이 해결하고자 하는 과제는, 구강 3D 스캔 데이터를 이용하여 크라운 영역의 2D 깊이 이미지를 생성하고, 크라운 영역의 2D 깊이 이미지를 이용하여 크라운 영역에 부착될 크라운의 2D 깊이 이미지를 생성하여, 이를 이용하여 크라운의 3D 포인트 클라우드 데이터, 및 크라운 3D 메쉬를 생성함에 따라, 크라운 3D 메쉬 생성 장치의 프로세싱 필요 용량을 효과적으로 저감하는데 그 목적이 있다.

본 발명이 해결하고자 하는 다른 과제는, 크라운 영역의 프렙 영역과 접합될 크라운의 내면의 형상을 생성하기 위하여 프렙 영역의 경계 포인트를 추출하고, 경계 포인트가 세로 축으로 연장된 경계 기둥을 형성하여 경계 기둥과 구강 3D 스캔 데이터의 중첩 영역을 분리하여 크라운의 내면의 형상을 생성함으로써, 프렙 영역과 크라운 내면의 3D 형상 사이의 일치도를 증가시키는데 그 목적이 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법은 (a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계, (b) 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하는 단계, (c) 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 이용하여, 크라운 영역에 대응되는 크라운의 복수의 출력 2D 깊이 이미지를 생성하는 단계, (d) 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계, (e) 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계, (f) 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계, 및 (g) 복수의 버텍스를 이용하여 크라운의 3D 메쉬를 생성하는 단계를 포함할 수 있다. 이에, 크라운 3D 메쉬 생성 장치의 프로세싱 필요 용량을 효과적으로 저감시킬 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

본 발명은 크라운 3D 메쉬를 생성하는 과정에서 필요로 하는 처리 장치의 필요 메모리 용량를 효과적으로 저감시켜 딥러닝 방식의 크라운 3D 메쉬 생성이 효율적으로 수행될 수 있도록 할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.

소자 또는 층이 다른 소자 또는 층 "위 (on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법의 흐름도이다. 도 2 내지 도 7은 본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치를 설명하기 위한 도면이다.

도 1 내지 도 7을 참조하면, 크라운 3D 메쉬 생성 장치는 고객의 구강 3D 스캔 데이터를 이용하여 구강 3D 스캔 데이터가 포함하는 크라운 영역(101)에 대응되는 크라운(Crown)(102)의 3D(3 Dimensional) 이미지를 생성하는 장치이다. 크라운 영역(101)은 구강 3D 스캔 데이터 중 치아가 존재하지 않는 빈 영역에 대응되는 영역일 수 있고, 크라운 영역(101)에는 크라운(102)이 씌여질 프렙(prep) 영역이 존재할 수 있다. 이때, 크라운(102)은 크라운 영역(101)에 대응되어 고객의 치아 역할을 수행할 인공 치아로서, 크라운 영역(101)의 프렙 영역에 대응되도록 형성되어 프렙 영역에 접촉하여 부착되는 구성일 수 있다. 크라운 3D 메쉬 생성 장치는 고객의 구강을 스캔한 구강 3D 스캔 데이터를 이용하여 크라운 3D 메쉬를 생성할 수 있고, 크라운 3D 메쉬 생성 장치를 이용하는 사용자는 크라운 3D 메쉬를 이용하여 크라운(102)을 제작하고, 제작된 크라운(102)을 고객의 구강의 프렙 영역에 부착할 수 있다.

이어서, 크라운 3D 메쉬 생성 장치가 구강 3D 스캔 데이터를 이용하여 크라운 3D 메쉬를 생성하는 구체적인 과정에 대하여 상세히 설명한다.

먼저, 도 1 및 도 2를 참조하면, 크라운 3D 메쉬 생성 장치는 크라운 영역(101)을 포함하는 구강 3D 스캔 데이터를 생성한다(S110).

구체적으로, 구강 3D 스캔 데이터는 도 2(a)에 도시된 것과 같이 크라운(102)이 형성되어야 할 크라운 영역(101)이 포함되도록 고객의 치아를 3D 스캔 장치로 촬영하여 획득된 3D 메쉬 이미지일 수 있다. 본 발명의 일 실시예에 따른 크라운 3D 메쉬 생성 장치는 도 2(a)와 같은 구강 3D 스캔 데이터의 크라운 영역(101)에 대응되는 도 2(b)에 도시된 것과 같은 크라운(102)의 3D 메쉬를 생성하는 것을 목적으로 한다. 구강 3D 스캔 데이터는 크라운 3D 메쉬 생성 장치에 의하여 직접 촬영되어 생성될 수 있으나, 이에 제한되지 않으며 크라운 3D 메쉬 생성 장치는 외부 장치로부터 구강 3D 스캔 데이터를 전달받을 수도 있다.

이어서, 도 1 및 도 3을 참조하면, 크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 크라운 영역(101)에 대한 복수의 입력 2D 깊이 이미지를 생성한다(S120).

구체적으로, 크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 크라운 영역(101)에 대한 서로 다른 방향의 2D(2 Dimensional)인 2D 깊이 이미지(Depth Image)들을 생성할 수 있다. 2D 깊이 이미지는 3차원이 아닌 2차원 이미지로서 픽셀 각각의 밝기를 이용하여 각 픽셀에 대응되는 지점과 기준점(시점)까지의 이격 거리를 표현할 수 있는 이미지일 수 있다. 2D 깊이 이미지는 도 3과 같이 기준점까지의 거리가 가까울수록 밝게 표시되고 멀수록 어둡게 표시될 수 있다. 그러나, 이에 제한되지 않고, 2D 깊이 이미지는 도 3과 달리 기준점까지의 거리가 멀수록 밝게 표시되고 가까울수록 어룹게 표시될 수도 있다.

이때, 크라운 3D 메쉬 생성 장치가 구강 3D 스캔 데이터를 이용하여 생성한 복수의 입력 2D 깊이 이미지는 크라운 영역(101)을 기준으로 혀측(lingual), 볼측(buccal) 및 교합면측(occlusal) 각각에 대응되는 이미지를 포함할 수 있다.

도 3(a)를 참조하면, 혀측 입력 2D 깊이 이미지는 구강 3D 스캔 데이터의 크라운 영역(101)을 구강 내의 혀가 위치하는 기준점에서 바라본 방향에서 생성된 2D 깊이 이미지일 수 있다.

도 3(b)를 참조하면, 볼측 입력 2D 깊이 이미지는 구강 3D 스캔 데이터의 크라운 영역(101)을 크라운 영역(101)과 인접하는 볼이 위치하는 기준점에서 바라본 방향, 즉, 혀가 위치하는 기준점에서 바라본 방향과 반대 방향에서 생성된 2D 깊이 이미지일 수 있다.

도 3(c)를 참조하면, 교합면측 입력 2D 깊이 이미지는 구강 3D 스캔 데이터의 크라운 영역(101)에 대응되도록 추후에 생성될 크라운(102)의 교합면(즉, 저작 운동 중 크라운(102)과 접촉할 반대측 치아와 크라운(102)이 접촉하여 교합될 크라운(102)의 교합면)과 수직으로 크라운(102)을 향하는 방향에서 생성된 2D 깊이 이미지일 수 있다. 교합면과 수직으로 크라운(102)을 향하는 방향인 교합면측 방향은 혀측 방향과 수직일 수 있고, 볼측 방향과도 수직일 수 있다.

이처럼 크라운 3D 메쉬 생성 장치는 3D 이미지인 구강 3D 스캔 데이터를 이용하여 3가지 상이한 방향의 2D 이미지인 복수의 입력 2D 깊이 이미지를 생성할 수 있다.

일 실시예에 따르면, 크라운 3D 메쉬 생성 장치는 3가지 상이한 방향의 복수의 입력 2D 깊이 이미지를 생성함에 있어, 입력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 입력 3D 좌표 데이터를 함께 생성할 수 있다. 입력 3D 좌표 데이터는 입력 2D 깊이 이미지가 포함하는 복수의 픽셀(예를 들면, 크라운 영역(101)이 포함하는 복수의 픽셀일 수도 있음) 각각의 구강 3D 스캔 데이터 상에서의 3차원 위치, 즉, 3차원 좌표 정보를 포함할 수 있다. 크라운 3D 메쉬 생성 장치는 이러한 복수의 입력 2D 깊이 이미지 각각에 대한 입력 3D 좌표 데이터를 생성함으로써, 입력 2D 깊이 이미지가 포함하는 복수의 픽셀의 3차원 위치 정보를 생성할 수 있다.

이어서, 도 1 및 도 4를 참조하면, 크라운 3D 메쉬 생성 장치는 크라운 영역(101)에 대한 복수의 입력 2D 깊이 이미지를 이용하여, 크라운 영역(101)에 대응되는 크라운(102)의 복수의 출력 2D 깊이 이미지를 생성한다(S130).

구체적으로, 출력 2D 깊이 이미지는 크라운 영역(101)에 대응되도록 생성될 크라운(102)의 2D 깊이 이미지로서, 후술할 크라운 3D 메쉬를 생성하기 위해 필요로 하는 2D 2D 깊이 이미지일 수 있다. 복수의 입력 2D 깊이 이미지는 크라운 영역(101)을 기준으로 혀측(lingual), 볼측(buccal) 및 교합면측(occlusal) 각각에 대응되는 이미지를 포함할 수 있다.

도 4(a)를 참조하면, 크라운 3D 메쉬 생성 장치는 혀측 입력 2D 깊이 이미지를 이용하여 혀측 방향에서 바라본 크라운(102)의 출력 2D 깊이 이미지를 생성할 수 있다. 또한, 도 4(b)를 참조하면, 크라운 3D 메쉬 생성 장치는 볼측 입력 2D 깊이 이미지를 이용하여 볼측 방향에서 바라본 크라운(102)의 출력 2D 깊이 이미지를 생성할 수 있다. 도 4(c)를 참조하면, 크라운 3D 메쉬 생성 장치는 교합면측 입력 2D 깊이 이미지를 이용하여 교합면측에서 바라본 크라운(102)의 출력 2D 깊이 이미지를 생성할 수 있다.

이처럼 크라운 3D 메쉬 생성 장치는 크라운 영역(101)에 대한 2D 이미지인 복수의 입력 2D 깊이 이미지 각각을 이용하여 복수의 입력 2D 깊이 이미지 각각에 대응되는 크라운(102)에 대한 2D 이미지인 복수의 출력 2D 깊이 이미지를 생성할 수 있다.

크라운 3D 메쉬 생성 장치의 입력 2D 깊이 이미지를 이용한 출력 2D 깊이 이미지를 생성하는 과정, 즉, 크라운(102)이 존재하지 않는 크라운 영역(101)의 2D 깊이 이미지를 이용하여 가상의 크라운(102)의 2D 깊이 이미지를 생성하는 과정은, 크라운 3D 메쉬 생성 장치의 저장부에 축적된 복수의 2D 깊이 이미지(크라운 영역(101) 및 대응되는 크라운(102)에 대한 2D 깊이 이미지)를 이용하여 딥러닝 방식으로 학습된 이미지 변환 모델에 의하여 수행될 수 있다. 그러나, 크라운 3D 메쉬 생성 장치의 출력 2D 깊이 이미지의 생성 과정은 이에 제한되지는 않으며, 필요에 따라 다양한 방법으로 구현될 수 있다.

일 실시예에 따르면, 크라운 3D 메쉬 생성 장치는 크라운(102)의 복수의 출력 2D 깊이 이미지를 생성함에 있어, 복수의 입력 2D 깊이 이미지와 입력 3D 좌표 데이터 모두를 이용하여 복수의 출력 2D 깊이 이미지를 생성할 수도 있다. 구체적으로, 크라운 3D 메쉬 생성 장치는 혀측 입력 2D 깊이 이미지 및 혀측 입력 3D 좌표 데이터를 이용하여 혀측 출력 2D 깊이 이미지를 생성할 수 있다. 또한, 크라운 3D 메쉬 생성 장치는 볼측 입력 2D 깊이 이미지 및 볼측 입력 3D 좌표 데이터를 이용하여 볼측 출력 2D 깊이 이미지를 생성할 수 있다. 그리고, 크라운 3D 메쉬 생성 장치는 교합면측 입력 2D 깊이 이미지 및 교합면측 입력 3D 좌표 데이터를 이용하여 교합면측 출력 2D 깊이 이미지를 생성할 수 있다.

이처럼 입력 2D 깊이 이미지, 및 입력 2D 깊이 이미지의 각 픽셀의 3차원 위치 정보를 포함하는 입력 3D 좌표 데이터를 모두 이용하여 출력 2D 깊이 이미지가 생성됨으로써, 보다 정확한 위치의 크라운(102)의 출력 2D 깊이 이미지가 생성될 수 있다.

일 실시예에 따르면, 크라운 3D 메쉬 생성 장치는 3가지 상이한 방향의 복수의 출력 2D 깊이 이미지를 생성함에 있어, 출력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 출력 3D 좌표 데이터를 함께 생성할 수 있다. 출력 3D 좌표 데이터는 출력 2D 깊이 이미지가 포함하는 복수의 픽셀(예를 들면, 크라운(102)이 포함하는 복수의 픽셀일 수도 있음) 각각의 출력 2D 깊이 이미지 상에서의 3차원 위치, 즉, 3차원 좌표 정보를 포함할 수 있다. 크라운 3D 메쉬 생성 장치는 이러한 복수의 출력 2D 깊이 이미지 각각에 대한 출력 3D 좌표 데이터를 생성함으로써, 출력 2D 깊이 이미지가 포함하는 복수의 픽셀의 3차원 위치 정보를 생성할 수 있다.

이어서, 도 1 및 도 5를 참조하면, 크라운 3D 메쉬 생성 장치는 복수의 출력 2D 깊이 이미지를 이용하여, 크라운(102)의 외면의 3D 포인트 클라우드 데이터를 생성한다(S140).

구체적으로, 포인트 클라우드(Point Cloud)는 3차원(3D) 공간 상에 퍼져있는 복수의 점(point)을 의미할 수 있고, 크라운(102)의 외면 3D 포인트 클라우드 데이터는 크라운(102)의 외면에 대응되는 포인트 클라우드의 집합을 의미할 수 있다. 크라운 3D 메쉬 생성 장치는 전 단계들을 이용하여 생성된 크라운(102)의 출력 2D 깊이 이미지를 이용하여 3D 데이터인 외면 3D 포인트 클라우드 데이터를 생성할 수 있다.

보다 구체적으로, 도 5(a)를 참조하면, 크라운 3D 메쉬 생성 장치는 복수의 출력 2D 깊이 이미지를 이용하여 혀측, 볼측 및 교합면측 각각에 대응되는 크라운(102)의 외면의 제1 3D 포인트 클라우드 데이터를 생성할 수 있다. 앞서 설명한 것과 같이 복수의 출력 2D 깊이 이미지는 서로 다른 방향의 혀측, 볼측 및 교합면측 각각의 출력 2D 깊이 이미지로 구성될 수 있다. 크라운 3D 메쉬 생성 장치는 2D 이미지인 복수의 출력 2D 깊이 이미지 각각을 통하여 혀측, 볼측 및 교합면측 각각에 대한 3D 포인트 클라우드 데이터를 생성하고 이러한 데이터를 결합하여 크라운(102) 외면의 제1 3D 포인트 클라우드 데이터를 생성할 수 있다. 제1 3D 포인트 클라우드 데이터는 혀측, 볼측 및 교합면측에 대한 데이터만을 포함할 수 있다. 즉, 제1 3D 포인트 클라우드 데이터는 크라운 영역(101)과 인접한 치아에서 크라운 영역(101)을 바라본 방향에 대한 3D 포인트 클라우드 데이터를 포함하지 못할 수 있다.

그리고, 도 5(b)를 참조하면, 크라운 3D 메쉬 생성 장치는 제1 3D 포인트 클라우드 데이터를 이용하여 크라운 영역(101)과 인접한 치아 방향에 대응되는 크라운(102)의 외면의 제2 3D 포인트 클라우드 데이터를 생성할 수 있다. 크라운 영역(101)과 인접한 치아 방향은 크라운 영역(101)에 대응되는 크라운(102)이 두 개의 치아 사이에 배치될 경우, 두 개의 치아 각각에서 크라운 영역(101)을 향하는 두 개의 방향 (mesial, distal)을 의미할 수 있다. 만약 크라운 영역(101)에 대응되는 크라운(102)이 하나의 치아와만 인접하여 배치되는 경우, 크라운 영역(101)과 인접한 치아 방향은 혀측 방향, 볼측 방향 및 교합면측 방향 모두와 수직인 두 개의 방향을 의미할 수 있다. 제2 3D 포인트 클라우드 데이터는 혀측 방향, 볼측 방향 및 교합면측 방향 모두와 수직인 두 개의 방향(이러한 두 개의 방향은 서로 반대 방향임)에서의 크라운(102)의 외면의 포인트 클라우드 집합일 수 있다.

크라운 3D 메쉬 생성 장치의 제1 3D 포인트 클라우드 데이터를 이용하여 제2 3D 포인트 클라우드 데이터를 생성하는 과정은 크라운 3D 메쉬 생성 장치의 저장부에 축적된 복수의 치아 또는 크라운(102)에 대한 실측 자료(ground truth)를 이용하여 딥러닝 방식으로 학습된 포인트 클라우드 추출 모델에 의하여 수행될 수 있다. 포인트 클라우드 추출 모델은 복수의 치아 또는 크라운(102)의 혀측, 볼측 및 교합면측 포인트 클라우드를 입력 데이터로 이용할 경우 복수의 치아 또는 크라운(102)의 인접한 치아측 (mesial, distal) 포인트 클라우드를 출력 데이터로 추출할 수 있도록 딥러닝 방식에 의하여 학습될 수 있다. 그러나, 크라운 3D 메쉬 생성 장치의 제2 3D 포인트 클라우드 데이터의 생성 과정은 이에 제한되지는 않으며, 필요에 따라 다양한 방법으로 구현될 수 있다.

그리고, 크라운 3D 메쉬 생성 장치는 제1 3D 포인트 클라우드 데이터 및 제2 3D 포인트 클라우드 데이터를 결합하여 크라운(102)의 외면의 3D 포인트 클라우드 데이터를 생성할 수 있다. 크라운 3D 메쉬 생성 장치는 혀측, 볼측 및 교합면측 포인트 클라우드의 집합인 제1 3D 포인트 클라우드 데이터, 및 인접한 두 개의 치아측 포인트 클라우드의 집합인 제2 3D 포인트 클라우드 데이터를 결합하여 크라운(102)의 외면 3D 포인트 클라우드 데이터를 생성할 수 있다. 이에, 크라운(102)의 외면 3D 포인트 클라우드 데이터는 3차원 공간에서의 위, 아래, 오른쪽, 왼쪽, 앞, 뒤의 총 6개의 시야(즉, 혀측, 볼측, 교합면측, 인접한 두 개의 치아측, 치아의 뿌리측) 중 치아의 뿌리측에서 크라운(102)을 바라본 경우를 제외한 혀측, 볼측, 교합면측, 인접한 두 개의 치아측의 5개의 시야에서의 3D 포인트 클라우드 데이터를 포함할 수 있다. 그러나, 크라운(102)의 외면 3D 포인트 클라우드 데이터는 크라운(102)과 프렙 영역이 접촉하는 영역인 크라운(102)의 내면의 포인트 클라우드 집합은 포함하지 못할 수 있다.

일 실시예에 따르면, 크라운 3D 메쉬 생성 장치는 크라운(102)의 외면 3D 포인트 클라우드 데이터를 생성함에 있어, 출력 2D 깊이 이미지와 출력 3D 좌표 데이터 모두를 이용하여 크라운(102)의 외면 3D 포인트 클라우드 데이터를 생성할 수도 있다.

이처럼 출력 2D 깊이 이미지, 및 출력 2D 깊이 이미지의 각 픽셀의 3차원 위치 정보를 포함하는 출력 3D 좌표 데이터를 모두 이용하여 크라운(102) 외면 포인트 클라우드가 생성됨으로써, 보다 정확한 위치의 크라운(102) 외면 포인트 클라우드가 생성될 수 있다.

이하에서는 크라운(102)의 내면 3D 포인트 클라우드 데이터를 생성하는 과정에 대하여 상세히 설명한다.

이어서, 도 1 및 도 6을 참조하면, 크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터의 크라운 영역(101)에서 크라운(102)의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운(102)의 내면의 3D 메쉬 데이터를 생성한다(S150).

앞서 설명한 것과 같이, 프렙 영역은 크라운 영역(101) 중 크라운(102)이 접촉하여 부착될 표면 영역을 의미할 수 있다. 즉, 본 발명의 일 실시예에 따른 크라운 3D 메쉬 생성 방법에 의하여 생성된 크라운(102)은 프렙 영역과 접촉하여 프렙 영역에 부착될 수 있다. 따라서, 프렙 영역과 접촉할 크라운(102)의 내면은 프렙 영역의 형상과 대응되도록 생성되어야 할 수 있다.

구체적으로, 도 6(a)를 참조하면, 크라운 3D 메쉬 생성 장치는, 구강 3D 스캔 데이터를 이용하여 프렙 영역과 프렙 영역을 둘러싸는 영역 사이의 경계선에 대응되는 경계 포인트(103)(points)를 추출할 수 있다. 프렙 영역은 크라운(102)이 씌여질 영역이고 프렙 영역을 둘러싸고 치아와 인접하는 잇몸 영역이 존재할 수 있다. 크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 프렙 영역을 둘러싸는 이러한 잇몸 영역과 프렙 영역의 경계선을 따라 배치되는 점들의 집합인 복수의 경계 포인트(103)를 생성할 수 있다.

크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 이용하여 복수의 경계 포인트(103)를 생성할 수 있으나, 이에 제한되지 않고, 외부 장치로서 구강 3D 스캔 데이터에 복수의 경계 포인트(103)가 표현된 데이터를 입력받을 수도 있다.

그리고, 크라운 3D 메쉬 생성 장치는, 크라운(102)의 교합면과 수직인 방향으로 경계 포인트(103)를 연장하여 경계 기둥(104)을 생성할 수 있다. 크라운 3D 메쉬 생성 장치는 크라운(102)의 교합면과 수직인 방향으로서 프렙 영역과 멀어지는 방향인 제1 방향(D)으로 경계 포인트들(103)을 연장시킬 수 있다. 이에, 경계 포인트들(103)은 제1 방향(D)으로 연장된 기둥인 경계 기둥(104)을 형성할 수 있다. 경계 기둥(104)의 축은 크라운(102)의 교합면과 수직일 수 있다.

그리고, 크라운 3D 메쉬 생성 장치는, 경계 기둥(104)의 공간과 구강 3D 스캔 데이터의 교차되는 표면을 프렙 영역으로서 추출하여, 크라운(102)의 내면의 메쉬(mesh) 데이터를 생성할 수 있다.

크라운 3D 메쉬 생성 장치는 경계 포인트(103)를 제1 방향(D)으로 연장하여 경계 기둥(104)을 생성할 수 있고, 경계 기둥(104)의 내부 공간과 구강 3D 스캔 데이터의 교차되는 표면을 구강 3D 스캔 데이터에서 분리하여 추출할 수 있다. 이처럼 경계 기둥(104) 내부 공간과 구강 3D 스캔 데이터의 교차되는 부분은 프렙 영역을 의미할 수 있고, 크라운 3D 메쉬 생성 장치는 이러한 과정을 통하여 구강 3D 스캔 데이터에서 프렙 영역만을 분리하여 추출할 수 있다.

그리고, 크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터에서 분리된 프렙 영역 데이터를 이용하여 크라운(102) 내면의 3D 메쉬 데이터를 생성할 수 있다. 3D 메쉬 데이터는 프렙 영역 표면에 분포된 복수의 점(points)과 복수의 점을 연결하는 복수의 선(lines)을 포함하는 집합으로서 그물과 같은 형태를 구성하여 3D 표면을 상세히 표현할 수 있는 데이터일 수 있다.

이어서, 도 1 및 도 7(a)를 참조하면, 크라운 3D 메쉬 생성 장치는 크라운(102)의 외면의 3D 포인트 클라우드 데이터 및 크라운(102)의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(Vertex)를 추출한다(S160).

구체적으로, 크라운 3D 메쉬 생성 장치는 단계(S140)에서 생성된 크라운(102)의 외면 3D 포인트 클라우드 데이터에서 3D 이미지를 구성하기 위한 복수의 점(꼭짓점)인 복수의 버텍스를 추출할 수 있다. 그리고, 크라운 3D 메쉬 생성 장치는 단계(S150)에서 생성된 크라운(102)의 내면 3D 메쉬 데이터가 포함하는 복수의 점들 중 3D 이미지를 구성하기 위한 복수의 버텍스를 추출할 수 있다.

크라운 3D 메쉬 생성 장치는 크라운(102)의 외면의 3D 포인트 클라우드 데이터와 내면의 3D 메쉬 데이터 각각에서 추출된 복수의 버텍스를 결합하여 크라운 3D 메쉬를 구성할 복수의 버텍스를 생성할 수 있다.

이어서, 도 1 및 도 7(b)를 참조하면, 크라운 3D 메쉬 생성 장치는 복수의 버텍스를 이용하여 크라운 3D 메쉬를 생성한다(S170).

크라운 3D 메쉬 생성 장치는 크라운(102)의 외면 및 내면을 구성할 복수의 버텍스를 이용하여 도 7(b)와 같이 크라운 3D 메쉬를 생성할 수 있다.

본 발명의 일 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치에 따르면, 고객의 구강을 스캔하여 생성된 구강 3D 스캔 데이터와 같은 3차원 데이터를 이용하여 2차원 데이터인 복수의 입력 깊이 데이터를 생성하고, 복수의 입력 깊이 데이터를 이용하여 2차원 데이터인 크라운(102)의 복수의 출력 깊이 데이터를 생성할 수 있으며, 복수의 출력 깊이 데이터를 이용하여 크라운(102) 외면의 3D 포인트 클라우드 데이터를 생성할 수 있다. 이러한 크라운(102)의 외면의 3D 포인트 클라우드 데이터는 크라운 3D 메쉬의 외면을 구성할 수 있다.

이처럼, 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치는 3차원 데이터인 구강 3D 스캔 데이터를 이용하여 곧바로 3차원 데이터인 크라운 3D 메쉬를 생성하는 것이 아닌, 3차원 데이터인 구강 3D 스캔 데이터를 2차원 데이터인 깊이 데이터로 변환하여 이러한 2차원 데이터를 이용하여 크라운 3D 메쉬를 생성할 수 있다.

크라운 3D 메쉬는 평균적으로 10만개의 점과 25만개의 면으로 구성되는 데이터로서 높은 해상도의 크라운 3D 메쉬를 구강 3D 스캔 데이터를 이용하여 곧바로 생성하는 방법은 GPU 등의 처리 장치의 용량 한계로 쉽게 구현할 수 없는 문제가 존재할 수 있다.

그러나, 본 발명의 일 실시예에 따른 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치는 앞서 설명한 것과 같이 구강 3D 스캔 데이터를 깊이 데이터로 변환시키고 깊이 데이터를 이용하여 크라운 3D 메쉬를 생성하는 바, 처리 장치의 용량 문제를 효과적으로 개선하여 작은 용량으로도 높은 해상도의 크라운 3D 메쉬를 생성할 수 있다.

또한, 본 발명의 일 실시예에 따른 크라운 3D 메쉬 생성 방법 및 이를 이용하는 장치는 크라운(102)의 내면 3D 메쉬 데이터를 생성하는 과정에서 프렙 영역을 구강 3D 스캔 데이터로부터 분리하기 위하여 경계 포인트(103)를 추출하고, 경계 포인트(103)를 연장하여 경계 기둥(104)을 생성할 수 있다. 크라운 3D 메쉬 생성 장치는 이러한 경계 기둥(104)과 구강 3D 스캔 데이터의 중첩되는 표면을 프렙 영역으로 추출할 수 있다.

일 실시예에 따르면, 크라운 3D 메쉬 생성 장치는 단계(S130)에서, 복수의 출력 2D 깊이 이미지 중 교합면측 출력 2D 깊이 이미지는, 크라운 영역(101)을 제외한 다른 치아의 형상 데이터를 이용하여 생성될 수 있다.

구체적으로, 크라운의 출력 2D 깊이 이미지 중 교합면측 출력 2D 깊이 이미지는 다른 방향의 출력 2D 깊이 이미지와 비교하여 크라운(102)의 교합면의 형상을 결정하기에 더 중요할 수 있다. 특히, 크라운(102)의 교합면의 형상은 인접한 다른 치아의 형상, 크라운(102)과 저작 운동의 과정에서 접촉하는 반대측 치아의 교합면의 형상 등에 영향을 받을 수 있다.

따라서, 크라운(102)의 교합면의 움푹 들어간 정도(즉, 크라운(102)의 교합면의 최대 높이와 최저 높이의 차이), 움푹 들어간 비율(즉, 크라운(102)의 교합면의 최대 높이에 대한 최대 높이와 최저 높이의 차이의 비율), 움푹 들어간 각도(즉, 크라운(102)의 교합면의 최대 높이를 가진 지점과 최저 높이를 가진 지점을 연결한 직선이 크라운(102)의 저면과 이루는 각도), 크라운(102)의 최대 높이, 크라운(102)의 최저 높이, 크라운(102)의 폭(즉, 혀측과 볼측을 연결한 축을 기준으로 한 크라운(102)의 폭) 등은 다른 치아의 형상 데이터를 이용하여 결정될 수 있다.

크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터를 획득한 고객의 다른 치아, 즉, 크라운(102)이 형성되어야 할 크라운 영역(101)을 제외한 다른 치아, 예를 들면, 크라운 영역(101)에 대응되는 치아와 대칭으로 배치된 다른 치아의 형상 데이터를 저장하고 있을 수 있다. 형상 데이터는 대칭으로 배치된 다른 치아의 움푹 들어간 정도, 움푹 들어간 비율, 움푹 들어간 각도, 최대 높이, 최저 높이, 폭 등을 포함할 수 있다. 크라운 3D 메쉬 생성 장치는 이러한 대칭으로 배치된 다른 치아의 형상 데이터를 이용하여 교합면측 출력 2D 깊이 이미지를 보정할 수 있다.

일 실시예에 따르면, 크라운 3D 메쉬 생성 장치는 단계(S130)에서, 복수의 출력 2D 깊이 이미지, 특히, 이들 중 교합면측 출력 2D 깊이 이미지는, 크라운 영역(101)의 부피, 가로 길이 및 세로 길이 중 적어도 하나에 대한 데이터를 이용하여 생성될 수 있다.

구체적으로, 크라운 3D 메쉬 생성 장치는 구강 3D 스캔 데이터의 크라운 영역(101)에 대한 다양한 정보를 입력 데이터로 이용하여 크라운(102)의 출력 2D 깊이 이미지를 생성하는데 이용할 수 있다. 크라운 영역(101)은 크라운(102)이 적용될 영역으로서, 구강 3D 스캔 데이터의 프렙 영역이 존재하는 영역을 의미할 수 있다. 크라운 3D 메쉬 생성 장치는 외부 장치로부터의 수신에 의하여 또는 구강 3D 스캔 데이터로부터의 추출에 의하여 크라운 영역(101)의 부피, 크라운 영역(101)의 가로 길이(즉, 크라운 영역(101)과 인접한 두 개의 다른 치아를 연결하는 직선과 평행한 축을 기준으로 한 크라운 영역(101)의 최소 길이, 또는 크라운 영역(101)과 인접한 두 개의 다른 치아 사이의 최소 이격 거리), 크라운 영역(101)의 세로 길이(즉, 크라운(102)의 교합면에 수직인 축을 기준으로 한 크라운 영역(101)의 최대 길이 또는 높이) 중 적어도 하나에 대한 데이터를 생성할 수 있다. 크라운(102)의 형상은 크라운 영역(101)의 부피, 가로 길이 및 세로 길이에 의하여 결정될 수 있는 바, 크라운 3D 메쉬 생성 장치는 크라운 영역(101)에 관한 위와 같은 정보에 기초하여 크라운(102)의 출력 2D 깊이 이미지를 생성할 수 있다.

일 실시예에 따르면, 크라운 3D 메쉬 생성 장치는 단계(S130)에서, 복수의 출력 2D 깊이 이미지, 특히 이들 중 교합면측 출력 2D 깊이 이미지는, 고객의 과거 크라운(102) 생성 데이터를 이용하여 생성될 수 있다.

구체적으로, 크라운 3D 메쉬 생성 장치는 고객의 기 생성된 크라운(102)과 관련된 데이터를 저장할 수 있다. 크라운 3D 메쉬 생성 장치는 해당 고객의 크라운(102)을 재차 생성할 경우, 저장된 기 생성된 크라운(102)과 관련된 데이터를 이용할 수 있다.

기 생성된 크라운(102)과 동일한 치아 번호의 크라운(102)을 생성해야 할 경우, 크라운 3D 메쉬 생성 장치는 복수의 출력 2D 깊이 이미지를 생성함에 있어, 기 생성된 과거의 복수의 출력 2D 깊이 이미지와 새롭게 생성된 복수의 출력 2D 깊이 이미지와의 비교 데이터를 생성할 수 있다. 그리고, 크라운 3D 메쉬 생성 장치는 비교 데이터가 포함하는 과거의 출력 2D 깊이 이미지와 새롭게 생성된 출력 2D 깊이 이미지와의 차이가 기 설정된 차이를 초과할 경우, 차이가 기설정된 차이를 초과하는 부분에 대하여 새롭게 생성된 출력 2D 깊이 이미지를 보정할 수 있다. 이에, 고객의 기 생성된 크라운(102)과 관련된 데이터를 이용하여 보다 정확한 형상의 크라운(102)을 생성할 수 있다.

본 발명의 다양한 실시예는 하나 이상이 서로 결합되어 새로운 실시예를 구성할 수 있음은 물론이다.

본 발명의 다양한 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 방법은 (a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계, (b) 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하는 단계, (c) 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 이용하여, 크라운 영역에 대응되는 크라운의 복수의 출력 2D 깊이 이미지를 생성하는 단계, (d) 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계, (e) 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계, (f) 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계, 및 (g) 복수의 버텍스를 이용하여 크라운의 3D 메쉬를 생성하는 단계를 포함할 수 있다.

본 발명의 다른 특징에 따르면, 복수의 입력 2D 깊이 이미지 및 복수의 출력 2D 깊이 이미지 각각은, 크라운 영역을 기준으로 혀측, 볼측 및 교합면측 각각에 대응되는 이미지를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, (d) 단계는, 복수의 출력 2D 깊이 이미지를 이용하여, 혀측, 볼측 및 교합면측 각각에 대응되는 크라운의 외면의 제1 3D 포인트 클라우드 데이터를 생성하는 단계, 제1 3D 포인트 클라우드 데이터를 이용하여 크라운 영역과 인접한 치아 방향에 대응되는 크라운의 외면의 제2 3D 포인트 클라우드 데이터를 생성하는 단계, 및 제1 3D 포인트 클라우드 데이터 및 제2 3D 포인트 클라우드 데이터를 결합하여 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, (b) 단계는, 복수의 입력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 입력 3D 좌표 데이터를 생성하는 단계를 더 포함하고, (c) 단계는, 복수의 입력 2D 깊이 이미지 및 입력 3D 좌표 데이터를 이용하여, 복수의 출력 깊이 이미지, 및 복수의 출력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 3D 좌표 데이터를 생성하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, (e) 단계는, 구강 3D 스캔 데이터를 이용하여, 프렙 영역과 프렙 영역을 둘러싸는 영역 사이의 경계선에 대응되는 경계 포인트를 추출하는 단계, 크라운의 교합면과 수직인 방향으로 경계 포인트를 연장하여 경계 기둥을 생성하는 단계, 및 경계 기둥의 공간과 구강 3D 스캔 데이터이 교차되는 표면을 추출하여 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면, (c) 단계에서, 복수의 출력 2D 깊이 이미지는, 크라운 영역을 제외한 다른 치아의 형상 데이터, 크라운 영역의 부피, 가로 길이 및 세로 길이 중 적어도 하나에 대한 데이터, 및 고객의 과거 크라운 생성 데이터 중 적어도 하나를 이용하여 생성할 수 있다.

본 발명의 다양한 실시예에 따른 딥러닝을 이용한 크라운 3D 메쉬 생성 장치는 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하고, 구강 3D 스캔 데이터를 이용하여, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 생성하고, 크라운 영역에 대한 복수의 입력 2D 깊이 이미지를 이용하여, 크라운 영역에 대응되는 크라운의 복수의 출력 2D 깊이 이미지를 생성하고, 복수의 출력 2D 깊이 이미지를 이용하여, 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하고, 구강 3D 스캔 데이터의 크라운 영역에서 크라운의 내면에 대응되는 프렙 영역을 추출하고, 프렙 영역을 이용하여 크라운의 내면의 3D 메쉬 데이터를 생성하고, 크라운의 외면의 3D 포인트 클라우드 데이터 및 크라운의 내면의 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하며, 복수의 버텍스를 이용하여 크라운의 3D 메쉬를 생성하도록 구성될 수 있다.

이상에서, 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

101: 크라운 영역
102: 크라운
103: 경계 포인트
104: 경계 기둥
D: 제1 방향

Claims

(a) 크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하는 단계;
(b) 상기 구강 3D 스캔 데이터를 이용하여, 상기 크라운 영역에 대한 혀측 입력 2D 깊이 이미지, 볼측 입력 2D 깊이 이미지, 및 교합면측 입력 2D 깊이 이미지를 포함하는 복수의 입력 2D 깊이 이미지를 생성하는 단계;
(c) 상기 크라운 영역에 대한 상기 혀측 입력 2D 깊이 이미지, 상기 볼측 입력 2D 깊이 이미지, 및 상기 교합면측 입력 2D 깊이 이미지를 이용하여, 상기 크라운 영역에 대응되는 크라운의 혀측 출력 2D 깊이 이미지, 볼측 출력 2D 깊이 이미지, 및 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 생성하는 단계;
(d-1) 상기 혀측 출력 2D 깊이 이미지, 상기 볼측 출력 2D 깊이 이미지, 및 상기 교합면측 출력 2D 깊이 이미지를 이용하여, 혀측, 볼측 및 교합면측에 대응되는 상기 크라운의 외면의 제1 3D 포인트 클라우드 데이터를 생성하는 단계;
(d-2) 상기 혀측, 상기 볼측 및 상기 교합면측에 대응되는 상기 크라운의 외면의 상기 제1 3D 포인트 클라우드 데이터를 이용하여 상기 크라운 영역과 인접한 치아 방향에 대응되는 상기 크라운의 외면의 제2 3D 포인트 클라우드 데이터를 생성하는 단계;
(d-3) 상기 제1 3D 포인트 클라우드 데이터 및 상기 제2 3D 포인트 클라우드 데이터를 결합하여 상기 혀측, 상기 볼측, 상기 교합면측 및 상기 인접한 치아 방향 모두에 대응되는 상기 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하는 단계;
(e) 상기 구강 3D 스캔 데이터의 상기 크라운 영역에서 상기 크라운의 내면에 대응되는 프렙 영역을 추출하고, 상기 프렙 영역을 이용하여 상기 크라운의 내면의 3D 메쉬 데이터를 생성하는 단계;
(f) 상기 크라운의 외면의 상기 3D 포인트 클라우드 데이터 및 상기 크라운의 내면의 상기 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하는 단계; 및
(g) 상기 복수의 버텍스를 이용하여 상기 크라운의 3D 메쉬를 생성하는 단계를 포함하는, 딥러닝을 이용한 크라운 3D 메쉬 생성 방법.
삭제
삭제
제1항에 있어서,
상기 (b) 단계는,
상기 복수의 입력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 입력 3D 좌표 데이터를 생성하는 단계를 더 포함하고,
상기 (c) 단계는,
상기 복수의 입력 2D 깊이 이미지 및 상기 입력 3D 좌표 데이터를 이용하여, 상기 복수의 출력 깊이 이미지, 및 상기 복수의 출력 2D 깊이 이미지가 포함하는 복수의 픽셀 각각에 대한 3D 좌표 데이터를 생성하는 단계를 더 포함하는, 딥러닝을 이용한 크라운 3D 메쉬 생성 방법.
제1항에 있어서,
상기 (e) 단계는,
상기 구강 3D 스캔 데이터를 이용하여, 상기 프렙 영역과 상기 프렙 영역을 둘러싸는 영역 사이의 경계선에 대응되는 경계 포인트를 추출하는 단계;
상기 크라운의 교합면과 수직인 방향으로 상기 경계 포인트를 연장하여 경계 기둥을 생성하는 단계; 및
상기 경계 기둥의 공간과 상기 구강 3D 스캔 데이터이 교차되는 표면을 추출하여 상기 크라운의 내면의 상기 3D 메쉬 데이터를 생성하는 단계를 더 포함하는, 딥러닝을 이용한 크라운 3D 메쉬 생성 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 복수의 출력 2D 깊이 이미지는, 상기 크라운 영역을 제외한 다른 치아의 형상 데이터, 상기 크라운 영역의 부피, 가로 길이 및 세로 길이 중 적어도 하나에 대한 데이터, 및 고객의 과거 크라운 생성 데이터 중 적어도 하나를 이용하여 생성하는, 딥러닝을 이용한 크라운 3D 메쉬 생성 방법.
크라운 영역을 포함하는 구강 3D 스캔 데이터를 생성하고,
상기 구강 3D 스캔 데이터를 이용하여, 상기 크라운 영역에 대한 혀측 입력 2D 깊이 이미지, 볼측 입력 2D 깊이 이미지, 및 교합면측 입력 2D 깊이 이미지를 포함하는 복수의 입력 2D 깊이 이미지를 생성하고,
상기 크라운 영역에 대한 상기 혀측 입력 2D 깊이 이미지, 상기 볼측 입력 2D 깊이 이미지, 및 상기 교합면측 입력 2D 깊이 이미지를 이용하여, 상기 크라운 영역에 대응되는 크라운의 혀측 출력 2D 깊이 이미지, 볼측 출력 2D 깊이 이미지, 및 교합면측 출력 2D 깊이 이미지를 포함하는 복수의 출력 2D 깊이 이미지를 생성하고,
상기 혀측 출력 2D 깊이 이미지, 상기 볼측 출력 2D 깊이 이미지, 및 상기 교합면측 출력 2D 깊이 이미지를 이용하여, 혀측, 볼측 및 교합면측에 대응되는 상기 크라운의 외면의 제1 3D 포인트 클라우드 데이터를 생성하고,
상기 혀측, 상기 볼측 및 상기 교합면측에 대응되는 상기 크라운의 외면의 상기 제1 3D 포인트 클라우드 데이터를 이용하여 상기 크라운 영역과 인접한 치아 방향에 대응되는 상기 크라운의 외면의 제2 3D 포인트 클라우드 데이터를 생성하고,
상기 제1 3D 포인트 클라우드 데이터 및 상기 제2 3D 포인트 클라우드 데이터를 결합하여 상기 혀측, 상기 볼측, 상기 교합면측 및 상기 인접한 치아 방향 모두에 대응되는 상기 크라운의 외면의 3D 포인트 클라우드 데이터를 생성하고,
상기 구강 3D 스캔 데이터의 상기 크라운 영역에서 상기 크라운의 내면에 대응되는 프렙 영역을 추출하고, 상기 프렙 영역을 이용하여 상기 크라운의 내면의 3D 메쉬 데이터를 생성하고,
상기 크라운의 외면의 상기 3D 포인트 클라우드 데이터 및 상기 크라운의 내면의 상기 3D 메쉬 데이터 각각에서 복수의 버텍스(vertex)를 추출하며,
상기 복수의 버텍스를 이용하여 상기 크라운의 3D 메쉬를 생성하도록 구성되는, 딥러닝을 이용한 크라운 3D 메쉬 생성 장치.