KR102496449B1

KR102496449B1 - 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Info

Publication number: KR102496449B1
Application number: KR1020210191835A
Authority: KR
Inventors: 탁성준; 심응준; 김영준
Original assignee: 이마고웍스 주식회사
Priority date: 2021-12-29
Filing date: 2021-12-29
Publication date: 2023-02-07
Also published as: WO2023128050A1; KR20230101762A

Abstract

치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 제1 인공지능 신경망을 이용하여 스캔 데이터의 치아를 검출하는 단계, 상기 치아의 검출 결과를 기초로 상기 스캔 데이터로부터 치아 스캔 데이터를 추출하는 단계, 상기 치아 스캔 데이터를 기초로 미리 정해진 공간에 대응하는 치아 맵핑 데이터를 생성하는 단계, 상기 치아 맵핑 데이터를 제2 인공지능 신경망에 입력하여 치아 바운더리 커브를 생성하는 단계 및 상기 치아 바운더리 커브를 상기 스캔 데이터에 맵핑하는 단계를 포함한다.

Description

치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 {AUTOMATED METHOD FOR TOOTH SEGMENTATION OF THREE DIMENSIONAL SCAN DATA USING TOOTH BOUNDARY CURVE AND COMPUTER READABLE MEDIUM HAVING PROGRAM FOR PERFORMING THE METHOD}

본 발명은 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 상세하게는 딥러닝(deep learning)을 통해 스캔 데이터로부터 치아를 검출하고, 개별 치아에 대한 메쉬 파라미터라이제이션(mesh parameterization)을 수행하며, 딥러닝(deep learning)을 통해 개별 치아의 맵핑 데이터 내에서 치아 바운더리 커브를 생성하는 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.

치과에서 진단, 분석, 보철물 제작 등을 위해 환자의 3차원 스캔 데이터에서 치아를 분리하는 기술이 필요하다. 특히, 치과계에서 구강 스캐너를 이용한 디지털 교정이 늘어가고 있다. 교정에서는 치아의 배열, 교합 등을 예측하고 이에 적합한 계획 수립이 중요한데 이를 위해서는 치아 분리가 필수적이다.

치아 분리를 위해 널리 사용되는 방법은 다음과 같다. 먼저, 구강 스캐너로 치아 스캔 데이터를 얻는다. 그 후 작업자가 치아의 경계를 수작업으로 지정해주고, 축 정보와 치아의 경계를 이용하여 치아 분리에 사용할 평면을 지정하며, 마지막으로 치아와 치아 사이의 분리된 면을 확인하고 필요한 부분을 수정하여 마무리한다. 그리고 이와 같은 과정을 모든 치아에 대하여 반복적으로 수행하여 분리된 치아 데이터를 획득할 수 있다.

이와 같이 작업자가 수작업을 하는 경우, 3차원 데이터에 대해 2차원 화면을 통해 육안으로 경계를 지정하여야 하므로 그 정확도가 떨어지며, 작업자의 높은 숙련도와 많은 시간을 요구하는 문제가 있다.

종래의 치아 분리 기술들은 치아에 해당하는 평면을 마스킹하는 방식을 주로 사용하게 된다. 이러한 방식에서는 치아의 일부 영역이 마스킹 되지 않는 문제(도 1, 도 2 및 도 3), 마스크가 하나의 치아 내에 형성되지 않고 이웃한 치아나 잇몸 부분을 침범하는 문제(도 4 및 도 5), 마스크가 복수의 치아를 하나의 치아로 판단하는 문제(도 6) 등이 발생할 수 있다.

예를 들어, 도 1의 화살표 부분을 보면, 치아의 상부 영역에 마스킹이 되지 않은 것을 확인할 수 있고, 도 2의 화살표 부분을 보면, 치아의 상부 일부 영역에 마스킹이 되지 않아 홀이 형성된 것을 확인할 수 있으며, 도 3의 화살표 부분을 보면, 치아들의 경계 영역에 마스킹이 잘 되지 않은 것을 확인할 수 있다. 도 4의 점선 타원 부분을 보면, 마스크가 이웃한 다른 치아를 침범한 것을 확인할 수 있고, 도 5의 점선 타원 부분을 보면, 마스크가 치아를 벗어나 잇몸 부분을 침범한 것을 확인할 수 있다. 도 6의 화살표 부분을 보면, 마스크가 2개의 치아를 하나의 치아로 판단한 것을 확인할 수 있고, 마스크가 치아를 벗어나 잇몸 부분을 침범한 것도 확인할 수 있다.

또한, 종래의 치아 분리 기술들은 알고리즘의 한계로 인해 전체 치아를 분리하는 기술로 한정된다. 실제 임상에서는 전체 치아가 아닌 부분 치아에 대한 스캔 데이터가 사용되는 경우가 많으며, 종래의 치아 분리 기술들로는 부분 치아에 대한 스캔 데이터로부터 치아를 분리하기 어려운 문제가 있다. 또한, 딥러닝을 이용하여 부분 치아에 대한 스캔 데이터로부터 치아를 분리하기 위해서는 부분 치아 데이터에 맞게 학습된 모델이 추가적으로 더 필요할 수 있고, 그에 따라 과도한 메모리 사용, 과도한 속도 저하 등이 발생할 우려가 있다.

대한민국 등록특허 제10-2176490호 대한민국 등록특허 제10-2236359호

본 발명이 이루고자 하는 목적은 치아 검출용 인공지능 신경망, 메쉬 파라미터라이제이션(mesh parameterization) 및 치아 바운더리 생성용 인공지능 신경망을 통해 자동으로 수행되는 3차원 스캔 데이터의 치아 자동 분리 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은 상기 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 제1 인공지능 신경망을 이용하여 스캔 데이터의 치아를 검출하는 단계, 상기 치아의 검출 결과를 기초로 상기 스캔 데이터로부터 치아 스캔 데이터를 추출하는 단계, 상기 치아 스캔 데이터를 기초로 미리 정해진 공간에 대응하는 치아 맵핑 데이터를 생성하는 단계, 상기 치아 맵핑 데이터를 제2 인공지능 신경망에 입력하여 치아 바운더리 커브를 생성하는 단계 및 상기 치아 바운더리 커브를 상기 스캔 데이터에 맵핑하는 단계를 포함한다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 상기 스캔 데이터를 2차원 영상으로 변환하는 단계를 더 포함할 수 있다. 상기 2차원 영상은 상기 제1 인공지능 신경망에 입력될 수 있다.

본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 상기 치아를 검출하는 단계는 상기 제1 인공지능 신경망이 상기 2차원 영상을 수신하여 2차원 치아 검출 정보를 포함하는 출력 2차원 영상을 출력하는 단계 및 상기 2차원 치아 검출 정보를 3차원 치아 검출 정보로 변환하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 상기 치아를 검출하는 단계는 하나의 치아를 둘러싸는 치아 바운딩 박스를 생성할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 스캔 데이터를 추출하는 단계는 상기 치아 바운딩 박스에 대응하는 치아 커팅 박스를 이용하여 하나의 치아에 대응하는 상기 치아 스캔 데이터를 추출할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 커팅 박스는 상기 치아 바운딩 박스를 포함하며 상기 치아 바운딩 박스보다 클 수 있다.

본 발명의 일 실시예에 있어서, 상기 스캔 데이터의 상기 치아를 검출하는 단계는 상기 치아 바운딩 박스의 중심점을 치아 표면 상에 맵핑하여 치아 특징점을 생성할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 스캔 데이터를 추출하는 단계는 상기 치아 특징점을 기초로 형성되는 치아 커팅 영역을 이용하여 하나의 치아에 대응하는 상기 치아 스캔 데이터를 추출할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 상기 치아 스캔 데이터를 상기 치아 스캔 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터로 변환하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타낼 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현되고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현되도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 맵핑 데이터를 생성하는 단계는 상기 치아 스캔 데이터의 상기 곡률 데이터를 상기 미리 정해진 공간에 맵핑하여 상기 치아 맵핑 데이터를 생성할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제2 인공지능 신경망의 입력은 상기 맵핑 데이터 및 상기 치아 바운딩 박스이고, 상기 제2 인공지능 신경망의 출력은 상기 치아 바운더리 커브일 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는 상기 치아 바운딩 박스를 회전하여 다이아몬드 컨투어를 생성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는 상기 다이아몬드 컨투어의 꼭지점의 위치를 상기 곡률값에 따라 상기 맵핑 데이터 내에서 이동시켜 익스트림 포인트를 생성하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는 상기 익스트림 포인트를 기초로 상기 익스트림 포인트를 지나는 팔각형 컨투어를 생성하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는 상기 팔각형 컨투어를 상기 곡률값에 따라 상기 맵핑 데이터 내에서 이동시켜 상기 바운더리 커브를 생성하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 인공지능 신경망은 3차원의 상기 스캔 데이터를 수신하여 3차원 치아 검출 정보를 출력할 수 있다.

본 발명의 일 실시예에 있어서, 상기 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다.

본 발명에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법에 따르면, 치아 검출용 인공지능 신경망, 메쉬 파라미터라이제이션(mesh parameterization) 및 치아 바운더리 생성용 인공지능 신경망을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.

상기 치아 검출용 인공지능 신경망, 상기 메쉬 파라미터라이제이션(mesh parameterization) 및 상기 치아 바운더리 생성용 인공지능 신경망을 이용하여 치아의 면이 아닌 치아 바운더리 커브를 정확하게 생성하므로, 치아의 일부 영역이 마스킹되지 않거나, 치아가 아닌 잘못된 영역을 치아로 판단하거나, 마스크가 하나의 치아 내에 형성되지 않고 이웃한 치아나 잇몸 부분을 침범하거나, 복수의 치아를 하나의 치아로 판단하는 등의 문제를 방지할 수 있다. 따라서, 상기 치아 분리의 정확도를 향상시킬 수 있다.

또한, 상기 치아 바운더리 생성용 인공지능 신경망은 초기 입력된 컨투어 데이터를 변형하여 치아와 잇몸을 구분 짓는 상기 치아 바운더리 커브를 한번에 생성해낼 수 있으므로, 상기 치아 분리의 정확도를 향상시킬 수 있다.

또한, 전체 치아가 아닌 부분 치아에 대한 스캔 데이터가 입력되더라도, 상기 치아 검출용 인공지능 신경망을 이용하여 각 치아의 영역을 정확하게 판단하고, 상기 치아의 영역에 대응하는 치아별 스캔 데이터 각각의 바운더리 커브를 생성하므로, 상기 스캔 데이터가 전체 치아를 나타내거나 부분 치아를 나타내거나 동일한 모델을 이용하여 치아 분리를 수행할 수 있다.

도 1은 종래의 3차원 스캔 데이터의 치아 자동 분리에서 발생하는 치아 분리 오류의 일례를 나타내는 도면이다.
도 2는 종래의 3차원 스캔 데이터의 치아 자동 분리에서 발생하는 치아 분리 오류의 일례를 나타내는 도면이다.
도 3은 종래의 3차원 스캔 데이터의 치아 자동 분리에서 발생하는 치아 분리 오류의 일례를 나타내는 도면이다.
도 4는 종래의 3차원 스캔 데이터의 치아 자동 분리에서 발생하는 치아 분리 오류의 일례를 나타내는 도면이다.
도 5는 종래의 3차원 스캔 데이터의 치아 자동 분리에서 발생하는 치아 분리 오류의 일례를 나타내는 도면이다.
도 6은 종래의 3차원 스캔 데이터의 치아 자동 분리에서 발생하는 치아 분리 오류의 일례를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 간략히 나타내는 순서도이다.
도 8은 도 7의 치아 자동 분리 방법을 상세히 나타내는 순서도이다.
도 9는 도 7의 치아 검출 과정을 나타내는 개념도이다.
도 10은 도 9의 메쉬 이미지화의 입력의 일례를 나타내는 도면이다.
도 11은 도 9의 메쉬 이미지화의 출력의 일례를 나타내는 도면이다.
도 12는 도 9의 제1 인공지능 신경망의 출력의 일례를 나타내는 도면이다.
도 13은 도 9의 제1 인공지능 신경망의 출력의 일례를 나타내는 도면이다.
도 14는 도 7의 파라미터라이제이션 과정을 나타내는 개념도이다.
도 15는 도 7의 파라미터라이제이션 과정에서 사용되는 곡률 데이터를 나타내는 도면이다.
도 16은 도 14의 메쉬 일부분 추출에 의해 생성되는 치아 스캔 데이터를 나타내는 도면이다.
도 17은 상기 치아 스캔 데이터의 곡률 데이터가 도 14의 파라미터라이제이션되어 생성되는 치아 맵핑 데이터를 나타내는 도면이다.
도 18은 도 7의 바운더리 커브 생성 과정을 나타내는 개념도이다.
도 19는 도 18의 제2 인공지능 신경망의 동작을 구체적으로 나타내는 개념도이다.
도 20은 도 18의 바운더리 3차원 맵핑에 의해 생성되는 최종 치아 세그멘테이션 결과를 나타내는 도면이다.
도 21은 본 발명의 일 실시예에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 상세히 나타내는 순서도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 7은 본 발명의 일 실시예에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 간략히 나타내는 순서도이다. 도 8은 도 7의 치아 자동 분리 방법을 상세히 나타내는 순서도이다.

도 7 및 도 8을 참조하면, 본 발명에서는 메쉬 파라미터라이제이션(mesh parameterization) 및 딥러닝을 이용하여 3차원 스캔 데이터로부터 개별 치아를 완전 자동으로 분할할 수 있다. 예를 들어, 상기 스캔 데이터는 폴리곤메쉬(polygon mesh)로 이루어질 수 있으므로, 상기 스캔 데이터를 메쉬로 명명할 수도 있다.

본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 치아 검출용 제1 인공지능 신경망(AI1), 메쉬 파라미터라이제이션(mesh parameterization) 및 치아 바운더리 생성용 제2 인공지능 신경망(AI2)을 이용하여 상기 스캔 데이터로부터 개별 치아를 완전 자동으로 분할할 수 있다.

본 실시예에 따른 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원 구강 스캔 데이터의 영상으로부터 치아들을 검출하는 치아 검출 과정, 상기 치아 검출 과정에서 찾은 치아를 기준으로 일정 영역의 메쉬를 파라미터라이제이션하는 과정 및 상기 파라미터라이제이션된 영상에서 바운더리를 생성하여 스캔 데이터의 바운더리 커브를 생성하는 과정을 포함할 수 있다.

일반적으로 딥러닝 네트워크는 일정한 크기의 데이터(정형 데이터)만을 입력 받을 수 있다. 상기 스캔 데이터는 3차원 폴리곤메쉬로 표현되며, 메쉬의 점이나 엣지, 셀의 개수가 데이터마다 다르다는 문제가 있다. 따라서, 상기 스캔 데이터를 입력으로 받는 딥러닝 네트워크의 정확도를 향상시키기 위해서는 상기 스캔 데이터를 정형 데이터로 만들어주는 과정이 필요할 수 있다. 본 발명에서는 상기 스캔 데이터를 정형 데이터로 만들어주기 위해 메쉬 파라미터라이제이션을 이용할 수 있다.

상기 메쉬 파라미터라이제이션은 3차원 메쉬를 구성하는 점들을 미리 정해진 다른 공간으로 일대일 맵핑시켜주는 것을 의미할 수 있다. 메쉬가 존재하는 공간에서 상기 미리 정해진 다른 공간(파라미터 공간)으로 맵핑을 하기 위해서는 먼저 상기 메쉬가 존재하는 공간의 바운더리를 상기 파라미터 공간의 바운더리로 맵핑할 수 있다. 상기 메쉬가 존재하는 공간의 바운더리를 제외한 내부 점들은 상기 파라미터 공간의 바운더리의 내부로 맵핑시킬 수 있으며, 이 때 에너지 함수를 사용하여 메쉬의 토폴로지(topology)를 최대한 유지하는 방법을 사용할 수 있다.

상기 메쉬 파라미터라이제이션을 이용하면, 상기 스캔 데이터를 2차원 공간으로 맵핑시킬 수 있기 때문에 상기 딥러닝에 이용하는 상기 정형 데이터를 적절하게 형성할 수 있다.

상기 메쉬 파라미터라이제이션을 통해, 치아 바운더리 커브를 생성하는 상기 제2 인공지능 신경망(AI2)의 딥러닝 네트워크의 정확도를 향상시킬 수 있다.

도 8에서 보듯이, 본 실시예에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 제1 인공지능 신경망(S200)을 이용하여 상기 스캔 데이터의 치아를 검출하는 단계, 상기 치아의 검출 결과를 기초로 상기 스캔 데이터로부터 치아 스캔 데이터를 추출하는 단계(S300), 상기 치아 스캔 데이터를 기초로 미리 정해진 공간에 대응하는 치아 맵핑 데이터를 생성하는 단계(S400), 상기 치아 맵핑 데이터를 제2 인공지능 신경망에 입력하여 치아 바운더리 커브를 생성하는 단계(S500) 및 상기 치아 바운더리 커브를 상기 스캔 데이터에 맵핑하는 단계(S600)를 포함할 수 있다.

예를 들어, 상기 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 3차원의 상기 스캔 데이터를 2차원 영상으로 변환하는 단계(S100)를 더 포함할 수 있다.

본 실시예의 3차원 스캔 데이터의 치아 자동 분리 방법은 컴퓨팅 장치에 의해 수행될 수 있다.

도 9는 도 7의 치아 검출 과정을 나타내는 개념도이다. 도 10은 도 9의 메쉬 이미지화의 입력의 일례를 나타내는 도면이다. 도 11은 도 9의 메쉬 이미지화(S200)의 출력의 일례를 나타내는 도면이다. 도 12는 도 9의 제1 인공지능 신경망(AI1)의 출력의 일례를 나타내는 도면이다. 도 13은 도 9의 제1 인공지능 신경망(AI1)의 출력의 일례를 나타내는 도면이다.

도 7 내지 도 13을 참조하면, 상기 치아 검출 과정은 치아 상기 스캔 데이터를 2차원 영상으로 변환하는 단계(S100)를 포함할 수 있다. 이러한 과정은 메쉬 이미지화라고 표현할 수도 있다.

본 실시예에서, 상기 제1 인공지능 신경망(AI1)의 입력은 2차원 영상이므로 상기 3차원의 스캔 데이터를 상기 2차원 영상으로 변환하는 단계를 포함할 수 있다.

예를 들어, 상기 2차원 영상은 레드 계조, 그린 계조 및 블루 계조를 포함하는 RGB 계조 데이터일 수 있다. 예를 들어, 상기 2차원 영상은 흑백 계조 데이터일 수 있다. 예를 들어, 상기 2차원 영상은 뎁스 정보를 포함하는 뎁스 맵(depth map)일 수 있다. 상기 뎁스 맵은 상기 3차원 스캔 데이터의 2차원 좌표 내에서의 최대값, 최소값, 표준편차, 평균 중 어느 하나를 기초로 생성될 수 있다.

상기 스캔 데이터를 상기 2차원 영상으로 변환하는 단계는 주축 정규화 단계를 포함할 수 있다. 상기 주축 정규화는 주축 분석을 통해 공간상 오리엔테이션을 설정해주는 것이다. 상기 주축 정규화 단계에서는 상기 스캔 데이터 내에서 포인트들이 형성하는 주축을 분석하여, 서로 수직인 제1 주축, 제2 주축 및 제3 주축을 판단할 수 있다.

상기 주축 분석으로 추출된 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 긴 축은 치아의 U-shape의 좌우 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 가장 짧은 축은 상기 U-shape의 상하 방향으로 판단할 수 있다. 상기 제1 주축, 상기 제2 주축 및 상기 제3 주축 중 두 번째로 긴 축은 상기 U-shape의 전후 방향으로 판단할 수 있다.

상기 주축 정규화 단계를 통해 치아의 교합면이 최대한 잘 보이도록 상기 스캔 데이터를 정렬할 수 있다.

상기 스캔 데이터의 상기 치아를 검출하는 단계는 상기 제1 인공지능 신경망(AI1)이 상기 2차원 영상을 수신하여 2차원 치아 검출 정보를 포함하는 출력 2차원 영상을 출력하는 단계(S220) 및 상기 2차원 치아 검출 정보를 3차원 치아 검출 정보로 변환하는 단계(S240)를 포함할 수 있다.

여기서, 상기 치아 검출 정보는 각각의 치아를 둘러싸는 치아 바운딩 박스일 수 있다. 여기서, 상기 치아 검출 정보는 각각의 치아의 표면 중심점을 나타내는 치아 특징점일 수 있다.

즉, 상기 제1 인공지능 신경망(AI1)은 도 11의 2차원 영상을 수신하여 2차원의 바운딩 박스(2D Point)를 생성(S220)할 수 있고, 상기 2차원의 바운딩 박스(2D Point)를 3차원으로 변환(S240)하여 도 12에 도시된 3차원의 바운딩 박스(3D Point)를 생성할 수 있다.

이와는 달리, 상기 제1 인공지능 신경망(AI1)은 도 11의 2차원 영상을 수신하여 2차원의 치아 특징점(2D Point)을 생성(S220)할 수 있고, 상기 2차원의 치아 특징점(2D Point)을 3차원으로 변환(S240)하여 도 13에 도시된 3차원의 치아 특징점(3D Point)을 생성할 수 있다.

상기한 바와 같이, 상기 치아 특징점은 상기 제1 인공지능 신경망(AI1)을 통해 자동 생성될 수도 있고, 상기 제1 인공지능 신경망(AI1)을 통해 자동 생성된 상기 바운딩 박스를 이용하여 생성될 수도 있다. 예를 들어, 상기 치아 바운딩 박스의 중심점을 치아 표면 상에 맵핑하여 상기 치아 특징점을 생성할 수 있다.

만약 상기 스캔 데이터에 14개의 치아가 포함되는 경우, 상기 제1 인공지능 신경망(AI1)에 의해 14개의 바운딩 박스가 생성될 수 있다. 상기 바운딩 박스의 크기는 치아에 따라 상이할 수 있다. 마찬가지로, 만약 상기 스캔 데이터에 14개의 치아가 포함되는 경우, 상기 제1 인공지능 신경망(AI1)에 의해 14개의 특징점이 생성될 수 있다.

상기 제1 인공지능 신경망(AI1)은 one-stage object detector를 기반으로 치아를 감싸는 바운딩 박스를 학습하여 개별 치아들을 검출할 수 있다. 여기서, 상기 제1 인공지능 신경망(AI1)에 학습 데이터로 넣어주는 바운딩 박스의 ROI(region of interest)는 치아에 딱 맞는 크기로 설정할 수 있다. 상기 ROI의 크기가 너무 작거나 너무 큰 경우, 상기 치아 검출의 성능이 낮아질 수 있다.

도 14는 도 7의 파라미터라이제이션 과정을 나타내는 개념도이다. 도 15는 도 7의 파라미터라이제이션 과정에서 사용되는 곡률 데이터를 나타내는 도면이다. 도 16은 도 14의 메쉬 일부분 추출에 의해 생성되는 치아 스캔 데이터를 나타내는 도면이다. 도 17은 상기 치아 스캔 데이터의 곡률 데이터가 도 14의 파라미터라이제이션되어 생성되는 치아 맵핑 데이터를 나타내는 도면이다.

도 7 내지 도 14를 참조하면, 상기 파라미터라이제이션 과정은 상기 치아의 검출 결과를 기초로 상기 스캔 데이터로부터 치아 스캔 데이터를 추출하는 단계(S300) 및 상기 치아 스캔 데이터를 기초로 미리 정해진 공간에 대응하는 치아 맵핑 데이터를 생성하는 단계(S400)를 포함할 수 있다.

예를 들어, 상기 스캔 데이터의 상기 치아를 검출하는 단계에서 하나의 치아를 둘러싸는 치아 바운딩 박스를 생성하는 경우, 상기 치아 스캔 데이터를 추출하는 단계는 상기 치아 바운딩 박스에 대응하는 치아 커팅 박스를 이용하여 하나의 치아에 대응하는 상기 치아 스캔 데이터를 추출할 수 있다. 여기서, 상기 치아 커팅 박스는 상기 치아 바운딩 박스를 포함하며 상기 치아 바운딩 박스보다 클 수 있다. 도 16을 보면, 상기 바운딩 박스에 비해 상기 치아 커팅 박스가 더 큰 것을 볼 수 있다. 상기 치아 바운딩 박스는 상기 치아를 검출하기 위해 상기 치아의 경계부에 타이트하게 대응하는 영역이며, 상기 치아 커팅 박스는 상기 스캔 데이터를 치아 단위로 커팅한 후 상기 바운더리 커브를 생성하기 위한 영역이므로, 상기 치아 커팅 박스가 상기 치아 바운딩 박스와 반드시 일치할 필요는 없으며, 상기 치아 커팅 박스가 상기 바운딩 박스를 포함하면서 상기 치아 바운딩 박스보다 약간 크게 설정하는 것이 바람직할 수 있다.

예를 들어, 상기 스캔 데이터의 상기 치아를 검출하는 단계에서 하나의 치아의 표면 중심점을 나타내는 치아 특징점을 생성하는 경우, 상기 치아 스캔 데이터를 추출하는 단계는 상기 치아 특징점을 기초로 형성되는 치아 커팅 영역을 이용하여 하나의 치아에 대응하는 상기 치아 스캔 데이터를 추출할 수 있다. 예를 들어, 상기 치아 커팅 영역은 상기 치아 특징점을 중심으로 갖는 구형의 영역일 수 있다.

상기 파라미터라이제이션 과정은 상기 치아 스캔 데이터를 상기 치아 스캔 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터로 변환하는 단계를 포함할 수 있다.

도 15는 상기 스캔 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터를 도시한다. 예를 들어, 상기 곡률 데이터는 최대 곡률값, 최소 곡률값, 가우시안 곡률값 및 평균 곡률값을 나타낼 수 있다. 도 15에서는 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타낸다.

상기 치아의 상면의 경우 곡률값이 비교적 일정한 값을 가질 수 있다. 반면, 치아와 치아의 경계부에서는 상기 곡률값이 크게 변화할 수 있다. 따라서, 상기 곡률값은 치아와 잇몸이 닿는 부분을 잘 나타내는 값이며, 상기 곡률값을 이용하여 치아 바운더리 커브를 생성하는 경우 그 정확도가 높을 수 있다.

종래의 곡률 데이터는 상기 곡률값이 클수록 검은색을 갖고, 작을수록 흰색을 가질 수 있다.

본 실시예에서는 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현하고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현하도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 수행할 수 있다. 도 15는 상기 곡률 데이터의 그레이가 반전된 도면이며, 따라서, 상기 최소 곡률값이 큰 부분이 흰색으로 표현되었고, 상기 최소 곡률값이 작은 부분이 검은색으로 표현되었다. 예를 들어, 상기 곡률 데이터의 그레이를 반전하지 않는 경우, 도 15와 반대로, 상기 최소 곡률값이 큰 경우 검은색을 나타내고, 상기 최소 곡률값이 작은 경우 흰색을 나타내게 된다.

즉, 상기 곡률 데이터가 상기 최소 곡률값을 반전하지 않은 값을 갖는 경우, 치아와 잇몸이 닿는 부분과 같이 유의미한 부분(최소 곡률값이 큰 부분)이 검은색을 나타내게 된다. 그러나, 본 실시예에서는 상기 그레이 반전으로 인해, 치아와 잇몸이 닿는 부분과 같이 유의미한 부분(최소 곡률값이 큰 부분)이 흰색을 나타내게 된다.

예를 들어, 스캔 데이터에 홀이 있어서 해당 부분에 포인트 자체가 존재하지 않아 곡률값이 존재하지 않는 경우, 종래의 곡률 데이터는 곡률값이 존재하지 않는 부분을 검은색으로 표시하게 된다. 만약, 상기 곡률 데이터의 그레이 반전을 하지 않는 경우, 유의미한 부분(예컨대, 치아와 잇몸이 닿는 부분)이 검은색으로 나타나게 되는데, 이 경우에 곡률값이 존재하지 않는 부분도 마찬가지로 검은색으로 표시되어, 곡률값이 존재하지 않는 부분이 유의미한 부분으로 오인되는 문제가 있다. 반대로, 상기 곡률 데이터의 그레이 반전이 수행되는 경우, 유의미한 부분(예컨대, 치아와 잇몸이 닿는 부분)이 흰색으로 나타나게 되며, 이 경우에는 곡률값이 존재하지 않는 홀 부분이 유의미한 부분으로 인식하지 않으므로 곡률값이 존재하지 않는 부분으로 인한 오판단을 제거할 수 있다.

상기 치아 맵핑 데이터를 생성하는 단계(S400)는 각각의 치아에 대응하는 상기 치아 스캔 데이터의 상기 곡률 데이터를 상기 미리 정해진 공간에 맵핑하여 상기 치아 맵핑 데이터를 생성할 수 있다. 도 17은 상기 치아 맵핑 데이터의 예시를 나타낸다. 상기 치아 맵핑 데이터는 하나의 치아에 대응하는 치아 스캔 데이터의 곡률 데이터를 미리 정해진 공간에 맵핑하여 2차원 데이터로 변환한 것으로 이해할 수 있다.

예를 들어, 상기 미리 정해진 공간은 정사각형 형상일 수 있다. 상기 치아 바운딩 박스 및 상기 치아 커팅 박스는 치아에 따라 형상과 크기가 상이하므로, 상기 치아 스캔 데이터는 치아에 따라 그 형상과 크기가 상이할 수 있다. 반면, 상기 미리 정해진 공간의 형상과 크기는 치아와 관계없이 일정하게 설정할 수 있다. 이 경우, 상기 치아 맵핑 데이터의 형상과 크기는 치아와 관계없이 일정할 수 있다.

상기 치아 맵핑 데이터는 상기 제2 인공지능 신경망(AI2)의 입력이므로, 동일한 크기로 설정하는 것이 바람직할 수 있다.

도 18은 도 7의 바운더리 커브 생성 과정을 나타내는 개념도이다. 도 19는 도 18의 제2 인공지능 신경망의 동작을 구체적으로 나타내는 개념도이다. 도 20은 도 18의 바운더리 3차원 맵핑에 의해 생성되는 최종 치아 세그멘테이션 결과를 나타내는 도면이다.

도 7 내지 도 20을 참조하면, 상기 제2 인공지능 신경망(AI2)의 입력은 상기 맵핑 데이터 및 상기 치아 바운딩 박스이고, 상기 제2 인공지능 신경망(AI2)의 출력은 상기 치아 바운더리 커브일 수 있다.

여기서, 상기 치아 바운딩 박스는 상기 제2 인공지능 신경망(AI2) 내에서 초기 컨투어 정보(도 19의 Initial box definition)로 사용될 수 있다.

예를 들어, 상기 치아 바운더리 커브를 생성하는 단계(S500)는 상기 치아 바운딩 박스를 회전하여 다이아몬드 컨투어(Diamond contour)를 생성하는 단계를 포함할 수 있다. 예를 들어, 상기 치아 바운딩 박스를 45도 회전시켜 상기 다이아몬드 컨투어(Diamond contour)를 생성할 수 있다.

예를 들어, 상기 치아 바운더리 커브를 생성하는 단계(S500)는 상기 다이아몬드 컨투어의 꼭지점의 위치(Diamond contour)를 상기 맵핑 데이터 내에서 이동시켜(Deformation) 익스트림 포인트(Extreme point)를 생성하는 단계를 더 포함할 수 있다. 상기 익스트림 포인트(Extreme point)는 상기 맵핑 데이터 내에서 상기 곡률값의 값이 작거나 큰 위치를 따라 이동할 수 있다.

예를 들어, 상기 치아 바운더리 커브를 생성하는 단계(S500)는 상기 익스트림 포인트(Extreme point)를 기초로 상기 익스트림 포인트를 지나는 팔각형 컨투어(Octagon contour)를 생성하는 단계를 더 포함할 수 있다.

예를 들어, 상기 치아 바운더리 커브를 생성하는 단계(S500)는 상기 팔각형 컨투어(Octagon contour)를 상기 곡률값에 따라 상기 맵핑 데이터 내에서 이동시켜 상기 바운더리 커브(Object shape)를 생성하는 단계를 더 포함할 수 있다.

상기 제2 인공지능 신경망(AI2)의 출력인 상기 치아 바운더리 커브를 상기 스캔 데이터에 3차원 맵핑시켜(S600) 치아 세그멘테이션을 완료할 수 있다. 도 20은 최종 치아 세그멘테이션 결과를 예시한다.

본 실시예에 따르면, 치아 검출용 인공지능 신경망(AI1), 메쉬 파라미터라이제이션(mesh parameterization) 및 치아 바운더리 생성용 인공지능 신경망(AI2)을 통해 자동으로 수행되어 스캔 데이터에서 치아를 분리하기 위한 시간과 노력을 감소시킬 수 있다.

상기 치아 검출용 인공지능 신경망(AI1), 상기 메쉬 파라미터라이제이션(mesh parameterization) 및 상기 치아 바운더리 생성용 인공지능 신경망(AI2)을 이용하여 치아의 면이 아닌 치아 바운더리 커브를 정확하게 생성하므로, 치아의 일부 영역이 마스킹되지 않거나, 치아가 아닌 잘못된 영역을 치아로 판단하거나, 마스크가 하나의 치아 내에 형성되지 않고 이웃한 치아나 잇몸 부분을 침범하거나, 복수의 치아를 하나의 치아로 판단하는 등의 문제를 방지할 수 있다. 따라서, 상기 치아 분리의 정확도를 향상시킬 수 있다.

또한, 상기 치아 바운더리 생성용 인공지능 신경망(AI2)은 초기 입력된 컨투어 데이터를 변형하여 치아와 잇몸을 구분 짓는 상기 치아 바운더리 커브를 한번에 생성해낼 수 있으므로, 상기 치아 분리의 정확도를 향상시킬 수 있다.

또한, 전체 치아가 아닌 부분 치아에 대한 스캔 데이터가 입력되더라도, 상기 치아 검출용 인공지능 신경망(AI1)을 이용하여 각 치아의 영역을 정확하게 판단하고, 상기 치아의 영역에 대응하는 치아별 스캔 데이터 각각의 바운더리 커브를 생성하므로, 상기 스캔 데이터가 전체 치아를 나타내거나 부분 치아를 나타내거나 동일한 모델(AI1, AI2)을 이용하여 치아 분리를 수행할 수 있다.

도 21은 본 발명의 일 실시예에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 상세히 나타내는 순서도이다.

본 실시예에 따른 치아 자동 분리 방법은 제1 인공지능 신경망의 입력을 제외하면, 도 1 내지 도 20의 치아 자동 분리 방법과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.

도 21을 참조하면, 본 실시예에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 제1 인공지능 신경망(S250)을 이용하여 상기 스캔 데이터의 치아를 검출하는 단계, 상기 치아의 검출 결과를 기초로 상기 스캔 데이터로부터 치아 스캔 데이터를 추출하는 단계(S300), 상기 치아 스캔 데이터를 기초로 미리 정해진 공간에 대응하는 치아 맵핑 데이터를 생성하는 단계(S400), 상기 치아 맵핑 데이터를 제2 인공지능 신경망에 입력하여 치아 바운더리 커브를 생성하는 단계(S500) 및 상기 치아 바운더리 커브를 상기 스캔 데이터에 맵핑하는 단계(S600)를 포함할 수 있다.

도 1 내지 도 20의 치아 자동 분리 방법에서는 상기 제1 인공지능 신경망(AI1)의 입력이 2차원 영상인 경우를 예시하였으나, 본 실시예에서 상기 제1 인공지능 신경망(AI1)은 입력이 3차원 스캔 데이터인 경우를 예시한다.

본 실시예에서, 상기 제1 인공지능 신경망(AI1)은 상기 3차원 스캔 데이터를 입력 받아 3차원 치아 검출 정보를 출력할 수 있다. 여기서, 상기 치아 검출 정보는 치아 바운딩 박스 또는 치아 특징점일 수 있다.

본 발명의 일 실시예에 의하면, 상기 실시예들에 따른 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다. 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 전술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.

또한, 전술한 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

본 발명은 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 대한 것으로, 치아를 분리하기 위한 시간과 노력을 감소시키고 정확도를 향상시킬 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

제1 인공지능 신경망을 이용하여 스캔 데이터의 치아를 검출하는 단계;
상기 치아의 검출 결과를 기초로 상기 스캔 데이터로부터 치아 스캔 데이터를 추출하는 단계;
상기 치아 스캔 데이터를 기초로 미리 정해진 공간에 대응하는 치아 맵핑 데이터를 생성하는 단계;
상기 치아 맵핑 데이터를 제2 인공지능 신경망에 입력하여 치아 바운더리 커브를 생성하는 단계; 및
상기 치아 바운더리 커브를 상기 스캔 데이터에 맵핑하는 단계를 포함하고,
상기 각 단계들은 컴퓨팅 장치에서 실행되며,
상기 치아 맵핑 데이터를 생성하는 단계는 상기 치아 스캔 데이터의 3차원 메쉬를 구성하는 점들을 상기 미리 정해진 공간으로 일대일 맵핑시키며,
상기 치아 스캔 데이터의 바운더리는 상기 미리 정해진 공간의 바운더리로 맵핑되고, 상기 치아 스캔 데이터의 상기 바운더리의 내부 점들은 상기 미리 정해진 공간의 상기 바운더리의 내부로 맵핑되는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제1항에 있어서, 3차원의 상기 스캔 데이터를 2차원 영상으로 변환하는 단계를 더 포함하고,
상기 2차원 영상은 상기 제1 인공지능 신경망에 입력되는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제2항에 있어서, 상기 스캔 데이터의 상기 치아를 검출하는 단계는
상기 제1 인공지능 신경망이 상기 2차원 영상을 수신하여 2차원 치아 검출 정보를 포함하는 출력 2차원 영상을 출력하는 단계; 및
상기 2차원 치아 검출 정보를 3차원 치아 검출 정보로 변환하는 단계를 포함하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제1항에 있어서, 상기 스캔 데이터의 상기 치아를 검출하는 단계는
하나의 치아를 둘러싸는 치아 바운딩 박스를 생성하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제4항에 있어서, 상기 치아 스캔 데이터를 추출하는 단계는
상기 치아 바운딩 박스에 대응하는 치아 커팅 박스를 이용하여 하나의 치아에 대응하는 상기 치아 스캔 데이터를 추출하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제5항에 있어서, 상기 치아 커팅 박스는 상기 치아 바운딩 박스를 포함하며 상기 치아 바운딩 박스보다 큰 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제4항에 있어서, 상기 스캔 데이터의 상기 치아를 검출하는 단계는
상기 치아 바운딩 박스의 중심점을 치아 표면 상에 맵핑하여 치아 특징점을 생성하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제7항에 있어서, 상기 치아 스캔 데이터를 추출하는 단계는
상기 치아 특징점을 기초로 형성되는 치아 커팅 영역을 이용하여 하나의 치아에 대응하는 상기 치아 스캔 데이터를 추출하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제4항에 있어서, 상기 치아 스캔 데이터를 상기 치아 스캔 데이터 내의 각 점의 곡률값을 나타내는 곡률 데이터로 변환하는 단계를 더 포함하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제9항에 있어서, 상기 곡률 데이터는 상기 각 점의 최소 곡률값을 나타내는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제10항에 있어서, 상기 각 점의 상기 최소 곡률값이 크면 흰색으로 표현되고, 상기 각 점의 상기 최소 곡률값이 작으면 검은색으로 표현되도록 상기 곡률 데이터의 그레이를 반전하는 단계를 더 포함하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제9항에 있어서, 상기 치아 맵핑 데이터를 생성하는 단계는
상기 치아 스캔 데이터의 상기 곡률 데이터를 상기 미리 정해진 공간에 맵핑하여 상기 치아 맵핑 데이터를 생성하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제12항에 있어서, 상기 제2 인공지능 신경망의 입력은 상기 맵핑 데이터 및 상기 치아 바운딩 박스이고, 상기 제2 인공지능 신경망의 출력은 상기 치아 바운더리 커브인 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제13항에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는
상기 치아 바운딩 박스를 회전하여 다이아몬드 컨투어를 생성하는 단계를 포함하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제14항에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는
상기 다이아몬드 컨투어의 꼭지점의 위치를 상기 곡률값에 따라 상기 맵핑 데이터 내에서 이동시켜 익스트림 포인트를 생성하는 단계를 더 포함하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제15항에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는
상기 익스트림 포인트를 기초로 상기 익스트림 포인트를 지나는 팔각형 컨투어를 생성하는 단계를 더 포함하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제16항에 있어서, 상기 치아 바운더리 커브를 생성하는 단계는
상기 팔각형 컨투어를 상기 곡률값에 따라 상기 맵핑 데이터 내에서 이동시켜 상기 바운더리 커브를 생성하는 단계를 더 포함하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제1항에 있어서, 상기 제1 인공지능 신경망은 3차원의 상기 스캔 데이터를 수신하여 3차원 치아 검출 정보를 출력하는 것을 특징으로 하는 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법.
제1항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.