KR102461283B1

KR102461283B1 - 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Info

Publication number: KR102461283B1
Application number: KR1020210077680A
Authority: KR
Inventors: 심응준; 황정민; 김영준
Original assignee: 이마고웍스 주식회사
Priority date: 2021-06-15
Filing date: 2021-06-15
Publication date: 2022-11-01
Also published as: WO2022265149A1; KR20220168183A

Abstract

딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 입력 스캔 데이터에서 치아의 U-shape의 형태를 판단하여 U-shape 정규화를 수행하여 제1 스캔 데이터를 생성하는 단계, 상기 제1 스캔 데이터를 입력 받아 치아 상에 형성되는 랜드마크를 기초로 치아와 잇몸의 관심 영역을 설정하는 치아 및 잇몸 정규화를 수행하여 제2 스캔 데이터를 생성하는 단계, 상기 제2 스캔 데이터를 컨볼루셔널 뉴럴 네트워크에 입력시켜 각 치아와 잇몸에 레이블링을 수행하는 단계 및 상기 각 치아와 상기 잇몸의 레이블링 정보를 기초로 상기 각 치아와 상기 잇몸의 바운더리를 추출하는 단계를 포함한다.

Description

딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 {AUTOMATED METHOD FOR TOOTH SEGMENTATION OF THREE DIMENSIONAL SCAN DATA AND COMPUTER READABLE MEDIUM HAVING PROGRAM FOR PERFORMING THE METHOD}

본 발명은 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 딥러닝을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.

치과에서 진단, 분석, 보철물 제작 등을 위해 환자의 3차원 스캔 데이터에서 치아를 분리하는 기술이 필요하다. 특히, 치과계에서 구강 스캐너를 이용한 디지털 교정이 늘어가고 있다. 교정에서는 치아의 배열, 교합 등을 예측하고 이에 적합한 계획 수립이 중요한데 이를 위해서는 치아 분리가 필수적이다.

치아 분리를 위해 널리 사용되는 방법은 다음과 같다. 먼저, 구강 스캐너로 치아 스캔 데이터를 얻는다. 그 후 작업자가 치아의 경계를 수작업으로 지정해주고, 축 정보와 치아의 경계를 이용하여 치아 분리에 사용할 평면을 지정하며, 마지막으로 치아와 치아 사이의 분리된 면을 확인하고 필요한 부분을 수정하여 마무리한다. 그리고 이와 같은 과정을 모든 치아에 대하여 반복적으로 수행하여 분리된 치아 데이터를 획득할 수 있다.

이와 같이 작업자가 수작업을 하는 경우, 3차원 데이터에 대해 2차원 화면을 통해 육안으로 경계를 지정하여야 하므로 그 정확도가 떨어지며, 작업자의 높은 숙련도와 많은 시간을 요구하는 문제가 있다.

본 발명이 이루고자 하는 목적은 딥러닝을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은 상기 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 입력 스캔 데이터에서 치아의 U-shape의 형태를 판단하여 U-shape 정규화를 수행하여 제1 스캔 데이터를 생성하는 단계, 상기 제1 스캔 데이터를 입력 받아 치아 상에 형성되는 랜드마크를 기초로 치아와 잇몸의 관심 영역을 설정하는 치아 및 잇몸 정규화를 수행하여 제2 스캔 데이터를 생성하는 단계, 상기 제2 스캔 데이터를 컨볼루셔널 뉴럴 네트워크에 입력시켜 각 치아와 잇몸에 레이블링을 수행하는 단계 및 상기 각 치아와 상기 잇몸의 레이블링 정보를 기초로 상기 각 치아와 상기 잇몸의 바운더리를 추출하는 단계를 포함한다.

본 발명의 일 실시예에 있어서, 상기 제1 스캔 데이터를 생성하는 단계는, 상기 입력 스캔 데이터의 무게중심을 공간의 원점으로 이동시키는 위치 정규화 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 위치 정규화 단계에서, 상기 입력 스캔 데이터의 포인트 클라우드가 X, 상기 포인트 클라우드 내의 포인트의 개수가 n, 상기 포인트 클라우드 내의 각 포인트가 p1, p2 내지 pn, 상기 포인트 클라우드 내의 제k 포인트의 좌표가 xk, yk, zk, 상기 입력 스캔 데이터의 무게중심이 G(X)일 때,

를 만족할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 스캔 데이터를 생성하는 단계는 상기 입력 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단하는 주축 정규화 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 주축 정규화 단계에서 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 상기 U-shape의 좌우 방향으로 판단할 수 있다.

본 발명의 일 실시예에 있어서, 상기 주축 정규화 단계에서 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 짧은 축은 상기 U-shape의 상하 방향으로 판단할 수 있다.

본 발명의 일 실시예에 있어서, 상기 주축 정규화 단계에서 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 두 번째로 긴 축은 상기 U-shape의 전후 방향으로 판단할 수 있다.

본 발명의 일 실시예에 있어서, 상기 주축 정규화 단계에서, 상기 입력 스캔 데이터의 포인트 클라우드가 X, 상기 포인트 클라우드 내의 포인트의 개수가 n, 상기 포인트 클라우드 내의 각 포인트가 p1, p2 내지 pn, 상기 포인트 클라우드 내의 제k 포인트의 좌표가 xk, yk, zk, 상기 포인트 클라우드의 공분산행렬이 Σ, 열벡터가 상기 공분산행렬 Σ의 고유벡터인 행렬이 A, 상기 공분산행렬 Σ의 상기 고유벡터가 P, Q, R, 대각성분이　Σ의 고유값이고 상기 대각성분을 제외한 요소값이 0인 행렬이　Λ, 상기 Σ의 고유값이 λ₁, λ₂및 λ₃이며, Lateral이 상기 U-shape의 좌우 방향, Cranial이 상기 U-shape의 상하 방향일 때,

,

,및

를 만족할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 스캔 데이터를 생성하는 단계는 상기 입력 스캔 데이터를 이루고 있는 삼각형들의 노멀 벡터를 이용하여 상기 치아가 위쪽 방향과 아래쪽 방향 중 미리 정해진 방향을 향하도록 상기 입력 스캔 데이터를 정렬하는 상하 정규화 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 상하 정규화 단계에서, 상기 삼각형들의 상기 노멀 벡터의 평균과 상기 공간의 Y축이 이루는 각도가 90도 이상이면, 상기 입력 스캔 데이터를 상기 공간의 X축 및 상기 공간의 Z축이 이루는 평면을 기준으로 180도 회전시킬 수 있다.

본 발명의 일 실시예에 있어서, 상기 상하 정규화 단계에서, 상기 입력 스캔 데이터의 삼각형들의 개수가 n, 상기 삼각형 각각의 노멀 벡터가 N이며, 상기 삼각형 각각의 노멀 벡터의 집합이 Normals이고, 상기 노멀 벡터의 평균이 MeanNormal(Normals)일때,

를 만족할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 스캔 데이터를 생성하는 단계는 상기 입력 스캔 데이터 내에서 상기 U-shape의 좌우 방향을 X축, 상기 U-shape의 상하 방향을 Y축, 상기 U-shape의 전후 방향을 Z축이라고 할 때, 상기 X축의 제1 측 영역의 포인트 밀집도 및 상기 X축의 제2 측 영역의 포인트 밀집도를 기초로 상기 U-shape의 전방 방향을 결정하는 전후 정규화 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제2 스캔 데이터를 생성하는 단계는 2개의 중절치 사이에 배치되는 제1 랜드마크, 상기 치아의 좌우 방향 최외곽점에 배치되는 제2 랜드마크 및 제3 랜드마크를 이용하여 상기 치아 및 잇몸 정규화를 수행할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제2 스캔 데이터를 생성하는 단계는 상기 제1 스캔 데이터 내에서 상기 치아가 상부를 향하고 있을 때, 상기 잇몸 아래에 배치되는 베이스 영역을 제거할 수 있다.

본 발명의 일 실시예에 있어서, 상기 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.

본 발명에 따른 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법에 따르면, 딥러닝을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있다.

U-shape 정규화 기법 및 치아 및 잇몸 영역 컷팅 정규화 기법을 이용하여 치아 자동 분리의 정확도를 향상시킬 수 있다. 상기 U-shape 정규화 기법은 위치 정규화, 주축 정규화, Y축 정규화 및 Z축 정규화를 수행하여 치아 자동 분리의 정확도를 향상시킬 수 있다.

도 1은 본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다.
도 2는 도 1의 그래프 기반 CNN을 이용한 포인트 클라우드 자동분할을 나타내는 개념도이다.
도 3은 도 1의 U-shape 정규화를 나타내는 순서도이다.
도 4는 도 1의 U-shape 정규화를 나타내는 개념도이다.
도 5는 도 3의 위치 정규화를 나타내는 개념도이다.
도 6은 도 3의 위치 정규화의 결과를 나타내는 개념도이다.
도 7은 도 3의 주축 정규화를 나타내는 개념도이다.
도 8은 도 3의 주축 정규화의 결과를 나타내는 개념도이다.
도 9는 도 3의 상하 정규화를 나타내는 개념도이다.
도 10은 도 3의 전후 정규화를 나타내는 개념도이다.
도 11 및 도 12는 도 1의 치아 및 잇몸 영역 컷팅 정규화를 나타내는 개념도이다.
도 13 및 도 14는 도 1의 바운더리 추출을 나타내는 개념도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법을 나타내는 순서도이다. 도 2는 도 1의 그래프 기반 CNN을 이용한 포인트 클라우드 자동분할을 나타내는 개념도이다.

도 1 및 도 2를 참조하면, 본 발명에서는 컨볼루셔널 뉴럴 네트워크(Convolutional neural network, CNN)를 이용하여 치아의 3차원 스캔 데이터로부터 자동으로 치아와 잇몸의 각 포인트를 레이블링할 수 있다. 예를 들어, 상기 컨볼루셔널 뉴럴 네트워크(CNN)는 그래프 기반의 컨볼루셔널 뉴럴 네트워크(CNN)일 수 있다.

일반적으로 딥러닝 네트워크 구조는 크기가 일정한 입력값을 입력 받는다. 상기 3차원 스캔 데이터는 폴리곤메쉬 데이터일 수 있다. 상기 폴리곤메쉬 데이터는 포인트들 및 엣지들로 구성되고, 상기 엣지들은 삼각형을 이룰 수 있다. 상기 폴리곤메쉬 데이터의 형태를 갖는 상기 3차원 스캔 데이터는 각 데이터마다 포인트, 엣지 및 삼각형의 개수가 다를 수 있다. 따라서, 상기 3차원 스캔 데이터를 상기 컨볼루셔널 뉴럴 네트워크(CNN)에 입력할 때에는 미리 정해진 크기로 추출하여 입력할 수 있다. 예를 들어, 상기 3차원 스캔 데이터를 상기 컨볼루셔널 뉴럴 네트워크(CNN)에 입력할 때에는 미리 정해진 크기로 랜덤 비복원 추출할 수 있다.

딥러닝 학습을 위해서는 대량의 데이터의 수집이 필요하고, 모든 데이터에 정답이 입력되어 있어야 한다. 또한, 학습용 데이터와 학습된 딥러닝 모델을 사용할 때의 데이터가 최대한 정규화 되어 있을 때, 좀 더 정확하고 정밀한 결과를 기대할 수 있다. 본 발명에서는 U-shape 정규화 기법(단계 S100)과 치아 및 잇몸 정규화 기법(단계 S200)을 이용할 수 있다.

본 실시예의 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.

본 실시예의 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법에서, 입력 스캔 데이터에서 치아의 U-shape의 형태를 판단하여 U-shape 정규화를 수행하여 제1 스캔 데이터를 생성할 수 있다 (단계 S100). 상기 치아의 U-shape은 치아의 full arch의 U자 모양을 의미한다. 상기 치아의 스캔 데이터는 그 위치 좌표가 정확히 설정되어 있는 것이 아니고, 데이터의 방향 축이 정확히 설정되어 있지도 않다. 즉, 상기 입력 스캔 데이터 내의 어딘가에 상기 치아의 U-shape이 포함되어 있을 뿐, 그 위치나 방향은 고정되어 있지 않다. 따라서, 상기 치아의 U-shape에 대한 정규화를 수행하지 않는 경우, 딥러닝 학습에 있어서의 이점이 줄어들고, 정확한 치아 세그멘테이션의 결과를 얻기 힘들 수 있다.

상기 입력 스캔 데이터가 입력되면, 상기 U-shape 정규화 단계에서 상기 치아의 U-shape의 위치를 타겟 지점으로 이동시키고, 주축 분석을 하여 미리 정해진 공간의 축에 일치시키고, U-shape이 상하나 전후 등으로 뒤집어 진 경우에는 미리 정해진 기준 방향에 일치하도록 회전시킬 수 있다.

상기 U-shape 정규화 단계에 대해서는 도 3 내지 도 10을 참조하여 상세히 후술한다.

상기 제1 스캔 데이터를 입력 받아 치아 상에 형성되는 랜드마크를 기초로 치아와 잇몸의 관심 영역(region of interest, ROI)를 설정하는 치아 및 잇몸 정규화를 수행하여 제2 스캔 데이터를 생성할 수 있다. (단계 S200). 상기 입력 스캔 데이터에서 치아 및 잇몸과 무관한 부분도 포함될 수 있는데, 상기 치아 및 잇몸과 무관한 부분도 상기 컨볼루셔널 뉴럴 네트워크(CNN)에 입력시키면 상기 치아 세그멘테이션 결과의 정확도가 감소할 수 있다.

이와 같이, 상기 입력 스캔 데이터에 대해 U-shape 정규화 단계(단계 S100)와 치아 및 잇몸 정규화 단계(단계 S200)를 거친 후에는 도 2에서 보듯이, 상기 정규화된 스캔 데이터를 상기 컨볼루셔널 뉴럴 네트워크에 입력할 수 있다.

상기 컨볼루셔널 뉴럴 네트워크는 상기 치아의 3차원 스캔 데이터로부터 자동으로 치아 및 잇몸의 각 포인트를 레이블링할 수 있다 (단계 S300). 도 2에서는 설명의 편의 상 서로 다른 값으로 레이블링된 각 치아를 서로 다른 색으로 나타내었다.

상기 각 치아와 상기 잇몸에 레이블링이 수행된 후에는 상기 각 치아와 상기 잇몸의 레이블링 정보를 기초로 상기 각 치아와 상기 잇몸의 바운더리를 추출할 수 있다 (단계 S400). 예를 들어서, 제1 치아의 영역이 1로 레이블링되고, 제2 치아의 영역이 2로 레이블링된 경우, 레이블 1을 갖는 포인트들과 레이블 2를 갖는 포인트들의 경계부가 제1 치아와 제2 치아 사이에 형성되는 바운더리일 수 있다. 이와 같은 방식으로 모든 치아들의 바운더리가 생성되고, 상기 치아들과 잇몸 간의 바운더리도 판단이 가능하다.

도 3은 도 1의 U-shape 정규화를 나타내는 순서도이다. 도 4는 도 1의 U-shape 정규화를 나타내는 개념도이다.

도 1 내지 도 4를 참조하면, 상기 U-shape 정규화는 위치 정규화(S120), 주축 정규화(S140), 상하 정규화(S160) 및 전후 정규화(S180) 순으로 정규화를 수행할 수 있다. 다만, 본 발명은 상기 정규화 단계들(S120, S140, S160, S180)의 수행 순서에 제한되지 않을 수 있다. 예를 들어, 상기 도 3과 달리 상기 정규화 단계들(S120, S140, S160, S180)의 일부 순서는 스위치될 수도 있다.

도 4의 왼쪽 그림은 정규화되지 않은 상기 입력 스캔 데이터들을 나타내고, 도 4의 오른쪽 그림은 상기 U-shape 정규화가 완료된 스캔 데이터들을 나타낸다. 이와 같이 상기 U-shape 정규화가 완료되면, 상기 스캔 데이터들의 무게중심이 서로 일치하게 되고, 공간을 정의하는 3개의 축의 방향이 일치하게 되며, 치아가 위쪽 방향으로 돌출되는지 아래쪽 방향으로 돌출되는지가 서로 일치하게 되고, 상기 치아의 U-shape이 전방으로 볼록한지 후방으로 볼록한지가 서로 일치하게 된다.

도 5는 도 3의 위치 정규화를 나타내는 개념도이다. 도 6은 도 3의 위치 정규화의 결과를 나타내는 개념도이다.

도 1 내지 도 6을 참조하면, 상기 위치 정규화(단계 S120)는 상기 스캔 데이터의 무게중심을 미리 정의된 공간의 원점으로 이동시켜 주는 것이다. 상기 무게중심은 메쉬를 이루고 있는 포인트 클라우드의 각 포인트 좌표를 이용하여 계산할 수 있다.

상기 위치 정규화 단계(단계 S120)에서, 상기 입력 스캔 데이터의 포인트 클라우드가 X, 상기 포인트 클라우드 내의 포인트의 개수가 n, 상기 포인트 클라우드 내의 각 포인트가 p1, p2 내지 pn, 상기 포인트 클라우드 내의 제k 포인트의 좌표가 xk, yk, zk, 상기 입력 스캔 데이터의 무게중심이 G(X)일 때, 아래 수식 1을 만족할 수 있다.

[수식 1]

도 5에서 보듯이, 상기 계산된 무게중심과 상기 미리 정의된 3차원 공간 상의 원점(World origin)(0, 0, 0)의 차이를 계산하여, 타겟이 되는 스캔 데이터를 상기 원점(0, 0, 0)으로 이동시킨다.

도 6의 왼쪽 그림은 위치 정규화(S120) 이전의 스캔 데이터들을 나타내고, 도 6의 오른쪽 그림은 상기 위치 정규화(S120) 이후의 스캔 데이터들을 나타낸다. 도 6의 왼쪽 그림에서는 빨간색으로 표시한 상기 스캔 데이터들의 무게중심이 서로 일치하지 않으나, 오른쪽 그림에서는 상기 위치 정규화(S120)를 통해 빨간색으로 표시한 상기 스캔 데이터들의 무게중심이 서로 일치하게 된다.

도 7은 도 3의 주축 정규화를 나타내는 개념도이다. 도 8은 도 3의 주축 정규화의 결과를 나타내는 개념도이다.

도 1 내지 도 8을 참조하면, 상기 주축 정규화(단계 S140)는 주축 분석을 통해 공간상 오리엔테이션을 설정해주는 것이다. 상기 주축 정규화 단계(단계 S140)에서는 상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단한다.

상기 주축 분석으로 추출된 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 상기 U-shape의 좌우 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 짧은 축은 상기 U-shape의 상하 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 두 번째로 긴 축은 상기 U-shape의 전후 방향으로 판단할 수 있다.

도 7에서, 각 스캔 데이터의 주축 분석으로 추출된 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 빨간색으로 도시하고, 두 번째로 긴 축은 연두색으로 도시하며, 가장 짧은 축은 파란색으로 도시하였다. 도 7에서 보듯이, 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 상기 U-shape의 좌우 방향(예컨대, X축)에 해당하고, 두 번째로 긴 축은 상기 U-shape의 전후 방향(예컨대, Z축)에 해당하며, 가장 짧은 축은 U-shape의 상하 방향(예컨대, Y축)에 해당할 수 있다.

상기 주축 정규화 단계(단계 S140)에서 상기 입력 스캔 데이터의 포인트 클라우드가 X, 상기 포인트 클라우드 내의 포인트의 개수가 n, 상기 포인트 클라우드 내의 각 포인트가 p1, p2 내지 pn, 상기 포인트 클라우드 내의 제k 포인트의 좌표가 xk, yk, zk, 상기 포인트 클라우드의 공분산행렬이 Σ, 열벡터가 상기 공분산행렬 Σ의 고유벡터인 행렬이 A, 상기 공분산행렬 Σ의 상기 고유벡터가 P, Q, R, 대각성분이　Σ의 고유값이고 상기 대각성분을 제외한 요소값이 0인 행렬이　Λ, 상기 Σ의 고유값이 λ₁, λ₂및 λ₃이며, Lateral이 상기 U-shape의 좌우 방향, Cranial이 상기 U-shape의 상하 방향일 때, 아래 수식 2 내지 5를 만족할 수 있다.

[수식 2]

[수식 3]

[수식 4]

[수식 5]

도 8에서는 상기 주축 정규화(단계 S140)가 상기 위치 정규화(단계 S120)에 앞서 수행된 경우를 예시하였다. 도 8의 왼쪽 그림은 정규화가 전혀 이루어지지 않은 입력 스캔 데이터들일 수 있다. 도 8의 가운데 그림은 상기 입력 스캔 데이터들에 주축 정규화(단계 S140)가 수행된 경우를 예시한다. 상기 입력 스캔 데이터들을 정해진 축 방향에 맞도록 회전된 것을 확인할 수 있다. 도 8의 오른쪽 그림은 상기 입력 스캔 데이터들에 대해 상기 주축 정규화(단계 S140) 및 상기 위치 정규화(단계 S120)를 모두 수행한 결과를 나타낸다. 상기 입력 스캔 데이터들은 동일한 원점을 갖고 동일한 축을 기준으로 도시될 수 있다.

도 9는 도 3의 상하 정규화를 나타내는 개념도이다.

도 1 내지 도 9는 상하 정규화(단계 S160)는 상기 입력 스캔 데이터를 이루고 있는 삼각형들의 노멀 벡터를 이용하여 상기 치아가 위쪽 방향과 아래쪽 방향 중 미리 정해진 방향을 향하도록 상기 입력 스캔 데이터를 정렬하는 것을 의미한다. 상기 상하 정규화는 Y축 정규화라고 부를 수도 있다.

상기 입력 스캔 데이터를 상하 정규화(단계 S160)를 수행하기 위해서는 상기 입력 스캔 데이터 내에서 상기 치아들이 위쪽 방향을 향하고 있는지 아래쪽 방향을 향하고 있는지 판단할 수 있어야 한다.

만약 상기 미리 정해진 방향이 상기 위쪽 방향이고 상기 입력 스캔 데이터 내에서 상기 치아들이 위쪽 방향을 향하고 있으면, 상기 입력 스캔 데이터 내의 상기 치아들의 U-shape을 회전시킬 필요가 없다.

반대로, 만약 상기 미리 정해진 방향이 상기 위쪽 방향이고 상기 입력 스캔 데이터 내에서 상기 치아들이 아래쪽 방향을 향하고 있으면, 상기 입력 스캔 데이터 내의 상기 치아들의 U-shape을 상기 공간의 X축 및 상기 공간의 Z축이 이루는 평면을 기준으로 180도 회전시킬 수 있다.

또한, 만약 상기 미리 정해진 방향이 상기 아래쪽 방향이고 상기 입력 스캔 데이터 내에서 상기 치아들이 아래쪽 방향을 향하고 있으면, 상기 입력 스캔 데이터 내의 상기 치아들의 U-shape을 회전시킬 필요가 없다.

반대로, 만약 상기 미리 정해진 방향이 상기 아래쪽 방향이고 상기 입력 스캔 데이터 내에서 상기 치아들이 위쪽 방향을 향하고 있으면, 상기 입력 스캔 데이터 내의 상기 치아들의 U-shape을 상기 공간의 X축 및 상기 공간의 Z축이 이루는 평면을 기준으로 180도 회전시킬 수 있다.

상기 상하 정규화 단계(단계 S160)에서, 상기 입력 스캔 데이터의 삼각형들의 개수가 n, 상기 삼각형 각각의 노멀 벡터가 N이며, 상기 삼각형 각각의 노멀 벡터의 집합이 Normals이고, 상기 노멀 벡터의 평균이 MeanNormal(Normals)일 때, 아래 수식 6을 만족할 수 있다.

[수식 6]

도 9에서는 상기 미리 정해진 방향이 상기 위쪽 방향인 경우를 예시하였다. 도 9의 왼쪽 그림은 상기 상하 정규화 단계(단계 S160) 이전의 2개의 스캔 데이터를 나타내고, 도 9의 오른쪽 그림은 상기 상하 정규화 단계(단계 S160) 이후의 2개의 스캔 데이터를 나타낸다.

도 9의 왼쪽 그림에서 연두색 스캔 데이터의 경우 상기 삼각형들의 노멀 벡터는 NA 방향(상기 치아들이 아래쪽 방향을 향함)으로 결정될 수 있다. 따라서, 이 경우에는 상기 연두색 스캔 데이터 내의 상기 치아들의 U-shape을 180도 회전시킬 수 있다.

도 9의 왼쪽 그림에서 빨간색 스캔 데이터의 경우 상기 삼각형들의 노멀 벡터를 구하면 NB 방향(상기 치아들이 위쪽 방향을 향함)으로 결정될 수 있다. 따라서, 이 경우에는 상기 빨간색 스캔 데이터 내의 상기 치아들의 U-shape을 회전시키지 않을 수 있다.

도 9의 오른쪽 그림은 상기 상하 정규화 단계(단계 S160) 이후의 스캔 데이터를 나타내며, 연두색 스캔 데이터 및 빨간색 스캔 데이터는 동일한 Y축 방향을 가질 수 있다.

도 10은 도 3의 전후 정규화를 나타내는 개념도이다.

도 1 내지 도 10을 참조하면, 상기 전후 정규화(단계 S180)는 상기 치아의 U-shape이 전방으로 볼록한 방향 또는 후방으로 볼록한 방향 중 미리 정해진 방향을 향하도록 상기 입력 스캔 데이터를 정렬하는 것을 의미한다. 상기 전후 정규화는 Z축 정규화라고 부를 수도 있다.

상기 전후 정규화는 포인트 클라우드의 밀집도를 이용하여 결정할 수 있다. 치아 스캔 데이터의 경우 일반적으로 전치부 주변에 포인트의 밀집도가 높다. 이러한 포인트 분포를 분석하여 상기 전후 정규화를 수행할 수 있다.

예를 들어, 포인트 분포 분석을 위해 팔진트리(Octree)를 활용할 수 있다. 포인트 클라우드 데이터 X를 leaf 2의 팔진트리 자료구조로 만들어낸 뒤 분할된 16개의 노드를 활용하여 전치부로 가정한 제1 영역(AREA1)과 후방부로 가정한 제2 영역(AREA2)의 포인트 밀집도를 계산할 수 있다.

여기서, 상기 제1 영역(AREA1)은 상기 X축의 제1 측의 중심 영역일 수 있다. 상기 제2 영역(AREA2)은 상기 X축의 제2 측의 중심 영역일 수 있다. 상기 제1 영역(AREA1)과 상기 제2 영역(AREA2)은 동일한 폭, 동일한 높이를 가질 수 있다. 상기 제1 영역(AREA1) 내에 전치들이 배치된다면 상기 제1 영역(AREA1)의 포인트 밀집도가 매우 높게 나올 것이고, 이 때 상기 제2 영역(AREA2)은 치아가 거의 배치되지 않는 영역일 것이므로 포인트 밀집도가 낮게 나올 것이다.

만약 전치부로 가정한 상기 제1 영역(AREA1)의 밀집도가 후방부로 가정한 상기 제2 영역(AREA2)의 밀집도보다 높게 나오면 상기 스캔 데이터를 회전시키지 않을 수 있다. 반대로, 후방부로 가정한 상기 제2 영역(AREA2)의 밀집도가 전치부로 가정한 상기 제1 영역(AREA1)의 밀집도보다 높게 나오면 상기 전치부와 상기 후방부가 뒤집히도록 스캔 데이터를 회전시킬 수 있다.

상기 전후 정규화(단계 S180)에서, 상기 입력 스캔 데이터 내에서 상기 U-shape의 좌우 방향을 X축, 상기 U-shape의 상하 방향을 Y축, 상기 U-shape의 전후 방향을 Z축이라고 할 때, 상기 X축의 제1 측 영역(AREA1)의 포인트 밀집도 및 상기 X축의 제2 측 영역(AREA2)의 포인트 밀집도를 기초로 상기 U-shape의 전방 방향을 결정할 수 있다.

도 10의 왼쪽 그림에서는 상기 전치부로 가정한 상기 제1 영역(AREA1)의 밀집도가 후방부로 가정한 상기 제2 영역(AREA2)의 밀집도보다 높을 것이므로 상기 스캔 데이터를 회전시키지 않을 수 있다

도 10의 오른쪽 그림에서는 상기 후방부로 가정한 상기 제2 영역(AREA2)의 밀집도가 전치부로 가정한 상기 제1 영역(AREA1)의 밀집도보다 높을 것이므로 상기 스캔 데이터를 회전시키지 않을 수 있다.

도 11 및 도 12는 도 1의 치아 및 잇몸 영역 컷팅 정규화를 나타내는 개념도이다.

도 1 내지 도 12를 참조하면, 상기 치아 및 잇몸 정규화 단계(단계 S200)에서는 상기 스캔 데이터를 입력 받아 치아 상에 형성되는 랜드마크를 기초로 치아와 잇몸의 관심 영역(ROI)를 설정할 수 있다.

상기 치아 및 잇몸 정규화 단계(단계 S200)는 여러 스캔 데이터들의 치아 및 잇몸 영역에 해당하는 ROI 영역을 유사하게 추출하여 딥러닝 추론을 고도화시키는 기법이다.

예를 들어, 2개의 중절치 사이에 배치되는 제1 랜드마크, 상기 치아의 좌우 방향 최외곽점에 배치되는 제2 랜드마크 및 제3 랜드마크를 이용하여 상기 치아 및 잇몸 정규화(단계 S200)를 수행할 수 있다.

예를 들어, 상기 제1 랜드마크의 전방과 후방으로 특정 거리만큼을 ROI로 설정하고, 상기 제2 랜드마크의 좌우 특정 거리만큼을 ROI로 설정하며, 상기 제3 랜드마크의 좌우 특정 거리만큼을 ROI로 설정할 수 있다. 상기 제1 내지 제3 랜드마크를 기준으로 상방과 하방으로 특정 거리만큼을 ROI로 설정할 수 있다. 본 실시예에서는 3개의 랜드마크를 이용하여 상기 ROI를 설정하는 것을 예시하였으나, 본 발명은 이에 한정되지 않는다. 상기 ROI를 설정하기 위해 이용되는 랜드마크의 개수는 3개보다 많을 수 있다.

치아가 위쪽 방향을 향하고 있을 때, 잇몸 영역 아래쪽의 베이스 영역은 치아 및 잇몸 세그멘테이션 추론에는 불필요한 부분이며, 상기 베이스 영역은 오히려 상기 치아 및 잇몸 세그멘테이션 추론에 좋지 않은 영향을 끼칠 수 있다. 따라서, 상기 치아 및 잇몸 정규화 단계(단계 S200)에서, 상기 스캔 데이터 내에서 상기 치아가 상부를 향하고 있을 때, 상기 잇몸 아래에 배치되는 상기 베이스 영역을 제거할 수 있다.

도 11의 상기 스캔 데이터에는 치아, 잇몸 및 상대적으로 넓은 베이스 영역이 포함될 수 있다. 상기 치아 및 잇몸 정규화 단계(단계 S200)에서는 상기 잇몸 아래에 배치되는 베이스 영역이 제거될 수 있다.

도 12의 상기 스캔 데이터에는 치아, 잇몸 및 상대적으로 좁은 베이스 영역이 포함될 수 있다. 상기 치아 및 잇몸 정규화 단계(단계 S200)에서는 상기 잇몸 아래에 배치되는 베이스 영역이 제거될 수 있다.

도 13 및 도 14는 도 1의 바운더리 추출을 나타내는 개념도이다.

도 1 내지 도 14를 참조하면, 상기 U-shape 정규화 단계(단계 S100) 및 상기 치아 및 잇몸 정규화 단계(단계 S200)를 거친 후에, 상기 스캔 데이터를 컨볼루셔널 뉴럴 네트워크에 입력시켜 각 치아와 잇몸에 레이블링을 수행할 수 있다 (단계 S300).

그 이후, 상기 각 치아와 상기 잇몸의 레이블링 정보를 기초로 상기 각 치아와 상기 잇몸의 바운더리를 추출할 수 있다 (단계 S400). 도 13에서 보듯이, 상기 바운더리 추출 단계(단계 S400)에서는 추출된 포인트 클라우드와 폴리곤메쉬 정보를 이용하여 치아와 잇몸의 경계 영역의 바운더리 커브를 생성할 수 있다. 도 14에서는 상기 생성된 바운더리 커브만을 따로 도시하였다. 상기 딥러닝 단계(단계 S300)를 통해 상기 폴리곤메쉬를 이루고 있는 포인트 각각에 대한 레이블링이 수행되어 있기 때문에 상기 레이블링 결과를 기초로 바운더리를 쉽게 찾을 수 있다.

본 실시예에 따르면, 딥러닝을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있다.

본 발명의 일 실시예에 의하면, 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.

또한, 전술한 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

본 발명은 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

입력 스캔 데이터에서 치아의 U-shape의 형태를 판단하여 U-shape 정규화를 수행하여 제1 스캔 데이터를 생성하는 단계;
상기 제1 스캔 데이터를 입력 받아 치아 상에 형성되는 랜드마크를 기초로 치아와 잇몸의 관심 영역(ROI)를 설정하는 치아 및 잇몸 정규화를 수행하여 제2 스캔 데이터를 생성하는 단계;
상기 제2 스캔 데이터를 컨볼루셔널 뉴럴 네트워크에 입력시켜 각 치아와 잇몸에 레이블링을 수행하는 단계; 및
상기 각 치아와 상기 잇몸의 레이블링 정보를 기초로 상기 각 치아와 상기 잇몸의 바운더리를 추출하는 단계를 포함하고,
상기 제1 스캔 데이터를 생성하는 단계는 상기 치아의 U-shape이 전방으로 볼록한 형상을 갖는지 또는 후방으로 볼록한 형상을 갖는지를 판단하여, 상기 치아의 U-shape의 전후 방향이 미리 정해진 전후 방향과 일치하는 경우 상기 치아의 U-shape을 회전시키지 않고, 상기 치아의 U-shape의 전후 방향이 상기 미리 정해진 전후 방향과 반대인 경우 상기 치아의 U-shape을 전후로 회전시키는 전후 정규화 단계를 포함하고,
상기 전후 정규화 단계에서,
상기 입력 스캔 데이터 내에서 상기 U-shape의 좌우 방향을 X축, 상기 U-shape의 상하 방향을 Y축, 상기 U-shape의 전후 방향을 Z축이라고 할 때,
상기 X축의 제1 측에 배치되는 제1 영역의 포인트 밀집도 및 상기 X축의 제2 측에 배치되는 제2 영역의 포인트 밀집도를 비교하여 상기 U-shape의 전후 방향을 결정하며,
상기 제1 영역과 상기 제2 영역은 평면도 상에서 동일한 폭 및 동일한 높이를 갖고,
상기 제1 영역 및 상기 제2 영역의 상기 X축의 폭은 상기 치아의 U-shape의 상기 X축의 폭보다 작으며,
상기 제1 영역 및 상기 제2 영역은 각각 상기 치아의 U-shape의 상기 좌우 방향의 중심부에 배치되는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제1항에 있어서, 상기 제1 스캔 데이터를 생성하는 단계는,
상기 입력 스캔 데이터의 무게중심을 공간의 원점으로 이동시키는 위치 정규화 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제2항에 있어서, 상기 위치 정규화 단계에서,
상기 입력 스캔 데이터의 포인트 클라우드가 X, 상기 포인트 클라우드 내의 포인트의 개수가 n, 상기 포인트 클라우드 내의 각 포인트가 p1, p2 내지 pn, 상기 포인트 클라우드 내의 제k 포인트의 좌표가 xk, yk, zk, 상기 입력 스캔 데이터의 무게중심이 G(X)일 때,

를 만족하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제2항에 있어서, 상기 제1 스캔 데이터를 생성하는 단계는
상기 입력 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단하는 주축 정규화 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제4항에 있어서, 상기 주축 정규화 단계에서
상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 상기 U-shape의 좌우 방향으로 판단하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제5항에 있어서, 상기 주축 정규화 단계에서
상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 짧은 축은 상기 U-shape의 상하 방향으로 판단하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제6항에 있어서, 상기 주축 정규화 단계에서
상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 두 번째로 긴 축은 상기 U-shape의 전후 방향으로 판단하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제4항에 있어서, 상기 주축 정규화 단계에서,
상기 입력 스캔 데이터의 포인트 클라우드가 X, 상기 포인트 클라우드 내의 포인트의 개수가 n, 상기 포인트 클라우드 내의 각 포인트가 p1, p2 내지 pn, 상기 포인트 클라우드 내의 제k 포인트의 좌표가 xk, yk, zk, 상기 포인트 클라우드의 공분산행렬이 Σ, 열벡터가 상기 공분산행렬 Σ의 고유벡터인 행렬이 A, 상기 공분산행렬 Σ의 상기 고유벡터가 P, Q, R, 대각성분이　Σ의 고유값이고 상기 대각성분을 제외한 요소값이 0인 행렬이　Λ, 상기 Σ의 고유값이 λ₁, λ₂및 λ₃이며, Lateral이 상기 U-shape의 좌우 방향, Cranial이 상기 U-shape의 상하 방향일 때,
,
,
, 및
를 만족하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제4항에 있어서, 상기 제1 스캔 데이터를 생성하는 단계는
상기 입력 스캔 데이터를 이루고 있는 삼각형들의 노멀 벡터를 이용하여 상기 치아가 위쪽 방향과 아래쪽 방향 중 미리 정해진 방향을 향하도록 상기 입력 스캔 데이터를 정렬하는 상하 정규화 단계를 포함하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제9항에 있어서, 상기 상하 정규화 단계에서,
상기 삼각형들의 상기 노멀 벡터의 평균과 상기 공간의 Y축이 이루는 각도가 90도 이상이면, 상기 입력 스캔 데이터를 상기 공간의 X축 및 상기 공간의 Z축이 이루는 평면을 기준으로 180도 회전시키는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제10항에 있어서, 상기 상하 정규화 단계에서,
상기 입력 스캔 데이터의 삼각형들의 개수가 n, 상기 삼각형 각각의 노멀 벡터가 N이며, 상기 삼각형 각각의 노멀 벡터의 집합이 Normals이고, 상기 노멀 벡터의 평균이 MeanNormal(Normals)일 때,

를 만족하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
삭제
제1항에 있어서, 상기 제2 스캔 데이터를 생성하는 단계는
2개의 중절치 사이에 배치되는 제1 랜드마크, 상기 치아의 좌우 방향 최외곽점에 배치되는 제2 랜드마크 및 제3 랜드마크를 이용하여 상기 치아 및 잇몸 정규화를 수행하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제13항에 있어서, 상기 제2 스캔 데이터를 생성하는 단계는
상기 제1 스캔 데이터 내에서 상기 치아가 상부를 향하고 있을 때, 상기 잇몸 아래에 배치되는 베이스 영역을 제거하는 것을 특징으로 하는 딥러닝을 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제1항 내지 제11항, 제13항 및 제14항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.