KR102440954B1 - 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치 - Google Patents

딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치 Download PDF

Info

Publication number
KR102440954B1
KR102440954B1 KR1020210071028A KR20210071028A KR102440954B1 KR 102440954 B1 KR102440954 B1 KR 102440954B1 KR 1020210071028 A KR1020210071028 A KR 1020210071028A KR 20210071028 A KR20210071028 A KR 20210071028A KR 102440954 B1 KR102440954 B1 KR 102440954B1
Authority
KR
South Korea
Prior art keywords
orthodontic treatment
face
dimensional
learning
target patient
Prior art date
Application number
KR1020210071028A
Other languages
English (en)
Inventor
정주령
박영선
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Application granted granted Critical
Publication of KR102440954B1 publication Critical patent/KR102440954B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치는, 교정 치료에 따른 대상 환자의 3차원 얼굴 변화를 딥러닝 기반으로 예측함으로써, 교정 치료에 따른 3차원 얼굴 변화 양상을 정밀하게 파악할 수 있고, 교정 치료 전 안모를 그대로 인식하여 교정 치료 후의 안모를 예측할 수 있으며, 안면 스캔이나 스캔 앱을 이용한 얼굴 마스크(facial mask) 이미지만으로도 교정 치료 후 안모를 예측할 수 있고, 나이나 성별과 같은 개체 요소와 교정 치료에 따른 치아 이동량과 같은 치료 요소를 전부 고려하여 교정 치료 후 안모를 예측할 수 있다.

Description

딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치{Method and apparatus to predict 3 dimensional face following orthodontic treatment based on deep learning}
본 발명은 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치에 관한 것으로서, 더욱 상세하게는 교정 치료에 따른 3차원 얼굴 변화를 예측하는, 방법 및 장치에 관한 것이다.
치료 전후의 얼굴을 3차원으로 정밀하게 예측하기 위해서는 우선적으로 다양한 치료 옵션에 의한 실질적인 치료 전후의 얼굴의 변화 양상을 정확히 평가/인지하는 것이 수반되어야 한다. 종래의 스캐너(안면 스캐너 등) 기반 얼굴 평가법은 체중 변화나, 자세, 촬영 조건 등의 조건에 의해 영향을 받을 수 있는 연조직(soft tissue)만을 인지하고 있어 촬영 재현성이 떨어지고, 변하지 않는 안정적인 두개 또는 두개저의 해부학적 구조물 등을 이용한 치료 전후 중첩을 시행할 수 없어 치료에 따른 3차원적 변화 양상을 파악하기 어렵다. 따라서 측모두부 방사선 사진과 같은 2차원 영상의 중첩을 통해 얻어진 랜드마크(landmark)의 변화 정보를 추가하여 예측하는 시스템이 개발되었으나, 이 경우는 얼굴의 정중시상(midsagittal) 또는 측모(옆 모습)에서의 변화만을 대변하는 상황이다. 단순 교정 치료는 아니지만, 악 교정 수술을 동반하는 경우, CBCT 등 3차원 영상을 이용한 예측이 시행되기도 하나, 이 경우는 다수의 랜드마크를 설정해야 하는 불편함이 있을 뿐 아니라, 치아 이동에 따른 얼굴의 변화보다는 하부 골조직의 큰 움직임에 대한 2차원적인 변화 양상을 토대로 예측을 시행하고, 나이 등의 개체 요소에 대한 고려가 없는 것이 현실이다.
본 발명이 이루고자 하는 목적은, 교정 치료에 따른 대상 환자의 3차원 얼굴 변화를 딥러닝 기반으로 예측하는, 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치를 제공하는 데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법은, 대상 환자에 대한 교정 치료 정보를 획득하는 단계; 및 미리 학습되어 구축된 얼굴 예측 모델을 이용하여, 상기 대상 환자의 상기 교정 치료 정보를 기반으로 상기 대상 환자의 교정 치료 후 안모를 획득하는 단계;를 포함한다.
여기서, 상기 교정 치료 정보는, 상기 대상 환자의 교정 치료 전 안모, 상기 대상 환자의 성별, 상기 대상 환자의 나이, 상기 대상 환자의 입술 기능 부전 여부, 및 상기 대상 환자의 교정 치료에 따른 치아 이동량을 포함할 수 있다.
여기서, 상기 얼굴 예측 모델은, CGAN(conditional generative adversarial network)을 포함하며, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 및 교정 치료에 따른 치아 이동량을 입력으로 하고, 교정 치료 후 안모를 출력으로 할 수 있다.
여기서, 교정 치료 전 3차원 CBCT(cone-beam computed tomography) 이미지, 성별, 나이, 및 교정 치료 후 3차원 CBCT 이미지를 포함하는 제1 학습 데이터를 기반으로, 상기 얼굴 예측 모델을 학습하는 단계;를 더 포함할 수 있다.
여기서, 상기 얼굴 예측 모델 학습 단계는, 상기 제1 학습 데이터를 기반으로 교정 치료 전 안모, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 획득하고, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 포함하는 제2 학습 데이터를 획득하며, 상기 제2 학습 데이터를 이용하여 상기 얼굴 예측 모델을 학습하는 것으로 이루어질 수 있다.
여기서, 상기 얼굴 예측 모델 학습 단계는, 상기 제1 학습 데이터의 교정 치료 전 3차원 CBCT 이미지와 상기 제1 학습 데이터의 교정 치료 후 3차원 CBCT 이미지의 두개저(anterior cranial base)를 복셀(voxel) 단위로 정합(registration)하고, 정합한 교정 치료 전 3차원 CBCT 이미지로부터 교정 치료 전 안모를 획득하며, 정합한 교정 치료 후 3차원 CBCT 이미지로부터 교정 치료 후 안모를 획득하고, 정합한 교정 치료 전 3차원 CBCT 이미지와 정합한 교정 치료 후 3차원 CBCT 이미지를 기반으로 교정 치료에 따른 치아 이동량을 획득하는 것으로 이루어질 수 있다.
여기서, 상기 얼굴 예측 모델은, 상기 제2 학습 데이터의 교정 치료 전 안모, 상기 제2 학습 데이터의 성별, 상기 제2 학습 데이터의 나이, 상기 제2 학습 데이터의 입술 기능 부전 여부, 및 상기 제2 학습 데이터의 교정 치료에 따른 치아 이동량을 기반으로 예측 안모 이미지를 생성하고, 생성한 상기 예측 안모 이미지를 출력하는 생성기(generator); 및 상기 생성기를 통해 출력되는 상기 예측 안모 이미지와 상기 제2 학습 데이터의 교정 치료 후 안모를 비교하고, 비교 결과를 출력하는 판별기(discriminator);를 포함하며, 상기 예측 안모 이미지가 상기 제2 학습 데이터의 교정 치료 후 안모인 것으로 판별되도록 상기 제2 학습 데이터를 이용하여 학습되고, 상기 판별기는, 상기 얼굴 예측 모델의 학습이 완료된 이후 상기 얼굴 예측 모델에서 제거될 수 있다.
여기서, 상기 얼굴 예측 모델 학습 단계는, 시상축(sagittal axis), 관상축(coronal axis), 및 수직축(vertical axis) 중 적어도 하나의 축을 기준으로 미리 설정된 크기만큼 회전시키는 과정과, 좌우를 반전시키는 과정을 통해 상기 제1 학습 데이터를 증강하는 것으로 이루어질 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장되어 상기한 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 중 어느 하나를 컴퓨터에서 실행시킨다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 장치는, 딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하는 얼굴 변화 예측 장치로서, 딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하기 위한 동작을 수행하는 하나 이상의 프로세서;를 포함하고, 상기 프로세서는, 대상 환자에 대한 교정 치료 정보를 획득하고, 미리 학습되어 구축된 얼굴 예측 모델을 이용하여, 상기 대상 환자의 상기 교정 치료 정보를 기반으로 상기 대상 환자의 교정 치료 후 안모를 획득한다.
여기서, 상기 교정 치료 정보는, 상기 대상 환자의 교정 치료 전 안모, 상기 대상 환자의 성별, 상기 대상 환자의 나이, 상기 대상 환자의 입술 기능 부전 여부, 및 상기 대상 환자의 교정 치료에 따른 치아 이동량을 포함할 수 있다.
여기서, 상기 얼굴 예측 모델은, CGAN(conditional generative adversarial network)을 포함하며, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 및 교정 치료에 따른 치아 이동량을 입력으로 하고, 교정 치료 후 안모를 출력으로 할 수 있다.
여기서, 상기 프로세서는, 교정 치료 전 3차원 CBCT(cone-beam computed tomography) 이미지, 성별, 나이, 입술 기능 부전 여부, 및 교정 치료 후 3차원 CBCT 이미지를 포함하는 제1 학습 데이터를 기반으로, 상기 얼굴 예측 모델을 학습할 수 있다.
본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치에 의하면, 교정 치료에 따른 대상 환자의 3차원 얼굴 변화를 딥러닝 기반으로 예측함으로써, 교정 치료에 따른 3차원 얼굴 변화 양상을 정밀하게 파악할 수 있다.
또한, 랜드마크(landmark)의 설정 과정과, 기준 평면으로의 재오리엔테이션(reorientation) 과정없이 입력된 교정 치료 전 안모를 그대로 인식하여 교정 치료 후의 안모를 예측할 수 있다.
또한, 교정 치료 전 안모를 이용하여 교정 치료 후의 안모를 예측함으로써, CBCT(cone-beam computed tomography) 이미지와 같은 고도의 정밀한 자료가 필요하지 않으며, 안면 스캔이나 스캔 앱을 이용한 얼굴 마스크(facial mask) 이미지만으로도 교정 치료 후 안모를 예측할 수 있다.
또한, 나이나 성별과 같은 개체 요소와 교정 치료에 따른 치아 이동량과 같은 치료 요소를 전부 고려하여 교정 치료 후 안모를 예측할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법을 설명하기 흐름도이다.
도 3은 도 2에 도시한 얼굴 예측 모델 학습 단계를 설명하기 위한 도면이다.
도 4는 도 3에 도시한 전처리 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 얼굴 예측 모델의 구조를 설명하기 위한 도면이다.
도 6은 도 5에 도시한 생성기의 내부 구조 일례를 설명하기 위한 도면이다.
도 7은 도 5에 도시한 판별기의 내부 구조 일례를 설명하기 위한 도면이다.
도 8은 도 2에 도시한 대상 환자의 교정 치료 후 안모 획득 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능을 설명하기 위한 도면으로, 성별이 여성인 경우의 결과를 나타낸다.
도 10은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능을 설명하기 위한 도면으로, 성별이 남성인 경우의 결과를 나타낸다.
도 11은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능을 설명하기 위한 도면으로, 예측 에러를 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성 요소를 다른 구성 요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예컨대, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예컨대, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다" 등의 표현은 해당 특징(예컨대, 수치, 기능, 동작, 또는 부품 등의 구성 요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치의 바람직한 실시예에 대해 상세하게 설명한다.
먼저, 도 1을 참조하여 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 장치에 대하여 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 장치(이하 '얼굴 변화 예측 장치'라 한다)(100)는 교정 치료에 따른 대상 환자의 3차원 얼굴 변화를 딥러닝 기반으로 예측한다.
이를 위해, 얼굴 변화 예측 장치(100)는 하나 이상의 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130) 및 통신 버스(150)를 포함할 수 있다.
프로세서(110)는 얼굴 변화 예측 장치(100)가 동작하도록 제어할 수 있다. 예컨대, 프로세서(110)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램(131)을 실행할 수 있다. 하나 이상의 프로그램(131)은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(110)에 의해 실행되는 경우 얼굴 변화 예측 장치(100)로 하여금 딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하기 위한 동작을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하기 위한 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(131)은 프로세서(110)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능한 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 얼굴 변화 예측 장치(100)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(150)는 프로세서(110), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 얼굴 변화 예측 장치(100)의 다른 다양한 컴포넌트들을 상호 연결한다.
얼굴 변화 예측 장치(100)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(170) 및 하나 이상의 통신 인터페이스(190)를 포함할 수 있다. 입출력 인터페이스(170) 및 통신 인터페이스(190)는 통신 버스(150)에 연결된다. 입출력 장치(도시하지 않음)는 입출력 인터페이스(170)를 통해 얼굴 변화 예측 장치(100)의 다른 컴포넌트들에 연결될 수 있다.
그러면, 도 2 내지 도 8을 참조하여 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법에 대하여 설명한다.
도 2는 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법을 설명하기 흐름도이고, 도 3은 도 2에 도시한 얼굴 예측 모델 학습 단계를 설명하기 위한 도면이며, 도 4는 도 3에 도시한 전처리 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 바람직한 실시예에 따른 얼굴 예측 모델의 구조를 설명하기 위한 도면이며, 도 6은 도 5에 도시한 생성기의 내부 구조 일례를 설명하기 위한 도면이고, 도 7은 도 5에 도시한 판별기의 내부 구조 일례를 설명하기 위한 도면이며, 도 8은 도 2에 도시한 대상 환자의 교정 치료 후 안모 획득 단계를 설명하기 위한 도면이다.
도 2를 참조하면, 얼굴 변화 예측 장치(100)의 프로세서(110)는 얼굴 예측 모델을 학습할 수 있다(S110).
여기서, 얼굴 예측 모델은 CGAN(conditional generative adversarial network)을 포함하며, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 및 교정 치료에 따른 치아 이동량을 입력으로 하고, 교정 치료 후 안모를 출력으로 할 수 있다. 성별은 남성 또는 여성을 나타낸다. 나이는 미리 정해진 기준(30세 등) 이상(30세 이상 등)이나, 미리 정해진 기준(30세 등) 미만(30세 미만 등)을 나타낸다. 입술 기능 부전 여부는 입술 기능의 상실 여부를 나타낸다. 교정 치료에 따른 치아 이동량은 상악 전치의 이동량과 하악 전치의 이동량을 포함할 수 있다.
즉, 프로세서(110)는 제1 학습 데이터를 기반으로, 얼굴 예측 모델을 학습할 수 있다.
여기서, 제1 학습 데이터는 환자의 교정 치료 전 3차원 CBCT(cone-beam computed tomography) 이미지, 환자의 성별, 환자의 나이, 및 환자의 교정 치료 후 3차원 CBCT 이미지를 포함할 수 있다.
보다 자세히 설명하면, 도 3에 도시된 바와 같이, 프로세서(110)는 복수개의 제1 학습 데이터를 포함하는 제1 학습 데이터 세트를 전처리하여, 복수개의 제2 학습 데이터를 포함하는 제2 학습 데이터 세트를 획득할 수 있다.
즉, 프로세서(110)는 제1 학습 데이터를 기반으로 교정 치료 전 안모, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 획득하고, 제2 학습 데이터를 획득할 수 있다.
여기서, 제2 학습 데이터는 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 포함할 수 있다.
도 4에 도시된 바와 같이, 프로세서(110)는 제1 학습 데이터의 교정 치료 전 3차원 CBCT 이미지와 제1 학습 데이터의 교정 치료 후 3차원 CBCT 이미지의 두개저(anterior cranial base)를 복셀(voxel) 단위로 정합(registration)할 수 있다. 두개저는 성장이나 주변 환경에 따라 변하지 않는 안정 구조물로, 이러한 안정 구조물을 중심으로 중첩을 시행하여 교정 치료 전후의 얼굴 변화 양상을 같은 오리엔테이션(orientation)에서 파악할 수 있다. 예컨대, 프로세서(110)는 itk-snap 소프트웨어 등과 같은 종래 기술을 이용하여 교정 치료 전후의 3차원 CBCT 이미지를 두개골 기반으로 중첩할 수 있다.
그리고, 프로세서(110)는 정합한 교정 치료 전 3차원 CBCT 이미지로부터 교정 치료 전 안모를 획득할 수 있다. 예컨대, 프로세서(110)는 3D slicer 소프트웨어 등과 같은 종래 기술을 이용하여 정합한 교정 치료 전 3차원 CBCT 이미지로부터 얼굴 연 조직 마스크(facial soft tissue mask)를 추출하여 세그먼트 이미지를 획득할 수 있다. 프로세서(110)는 세그먼트 이미지를 코와 입 주위 영역을 포함하는 394×394×234 복셀로 크롭(crop)하고, 3차원 얼굴 데이터를 394×394 크기의 2차원 이미지로 변환하기 위해, 관상면(coronal plane)에서 얼굴까지의 거리를 획득할 수 있다. 프로세서(110)는 2차원 이미지의 크기를 128×128로 조정하여, 정합한 교정 치료 전 3차원 CBCT 이미지로부터 교정 치료 전 안모를 획득할 수 있다.
그리고, 프로세서(110)는 정합한 교정 치료 후 3차원 CBCT 이미지로부터 교정 치료 후 안모를 획득할 수 있다. 예컨대, 프로세서(110)는 3D slicer 소프트웨어 등과 같은 종래 기술을 이용하여 정합한 교정 치료 후 3차원 CBCT 이미지로부터 얼굴 연 조직 마스크(facial soft tissue mask)를 추출하여 세그먼트 이미지를 획득할 수 있다. 프로세서(110)는 세그먼트 이미지를 코와 입 주위 영역을 포함하는 394×394×234 복셀로 크롭(crop)하고, 3차원 얼굴 데이터를 394×394 크기의 2차원 이미지로 변환하기 위해, 관상면(coronal plane)에서 얼굴까지의 거리를 획득할 수 있다. 프로세서(110)는 2차원 이미지의 크기를 128×128로 조정하여, 정합한 교정 치료 후 3차원 CBCT 이미지로부터 교정 치료 후 안모를 획득할 수 있다.
그리고, 프로세서(110)는 정합한 교정 치료 전 3차원 CBCT 이미지와 정합한 교정 치료 후 3차원 CBCT 이미지를 기반으로 교정 치료에 따른 치아 이동량을 획득할 수 있다. 예컨대, 프로세서(110)는 정합한 교정 치료 전 3차원 CBCT 이미지에서 정합한 교정 치료 후 3차원 CBCT 이미지까지, 치아 끝 부분(incisal tip)의 시상(sagittal) 방향과 수평(axial) 방향의 변화를 측정하는 것을 통해 치아 이동량을 획득할 수 있다.
이때, 프로세서(110)는 제1 학습 데이터 세트를 전처리하기 전에, 시상축(sagittal axis), 관상축(coronal axis), 및 수직축(vertical axis) 중 적어도 하나의 축을 기준으로 미리 설정된 크기(예컨대, 0도, 2도, -2도 등)만큼 회전시키는 과정과, 좌우를 반전시키는 과정을 통해 제1 학습 데이터를 증강할 수 있다. 예컨대, 프로세서(110)는 정합한 교정 치료 전 3차원 CBCT 이미지 및 정합한 교정 치료 후 3차원 CBCT 이미지 각각으로부터 3D slicer 소프트웨어 등과 같은 종래 기술을 이용하여 얼굴 연 조직 마스크(facial soft tissue mask)를 추출하여 세그먼트 이미지를 획득할 수 있다. 프로세서(110)는 교정 치료 전에 대응되는 세그먼트 이미지 및 교정 치료 후에 대응되는 세그먼트 이미지 각각을 코와 입 주위 영역을 포함하는 394×394×234 복셀로 크롭(crop)하여, 3차원 얼굴 이미지를 획득할 수 있다. 프로세서(110)는 교정 치료 전에 대응되는 3차원 얼굴 이미지 및 교정 치료 후에 대응되는 3차원 얼굴 이미지 각각을 모든 3개의 축(시상축, 관상축, 수직축) 상에서 0도, 2도, -2도만큼 회전시키고, 좌우를 반전시켜, 원본 데이터의 54배까지 양을 증가시킬 수 있다. 이때, 치아 이동량은 각각의 회전된 축 상에서 측정될 수 있다. 3차원 얼굴 이미지를 2차원 이미지로 변환 후, 프로세서(110)는 이미지를 부드럽고 선명하게 하는 과정을 통해 양을 3배로 증가시킬 수 있다. 이에 따라, 프로세서(110)는 원본 데이터의 양을 162배로 증가시킬 수 있다.
그런 다음, 프로세서(110)는 제2 학습 데이터 세트를 이용하여 얼굴 예측 모델을 학습할 수 있다.
여기서, 얼굴 예측 모델은 도 5에 도시된 바와 같이, 생성기(generator) 및 판별기(discriminator)를 포함할 수 있다.
생성기는 제2 학습 데이터의 교정 치료 전 안모, 제2 학습 데이터의 성별, 제2 학습 데이터의 나이, 제2 학습 데이터의 입술 기능 부전 여부, 및 제2 학습 데이터의 교정 치료에 따른 치아 이동량을 기반으로 예측 안모 이미지를 생성하고, 생성한 예측 안모 이미지를 출력할 수 있다. 예컨대, 생성기는 도 6에 도시된 바와 같은 구조로 이루어지는 U-Net 구조를 이용할 수 있다.
판별기는 생성기를 통해 출력되는 예측 안모 이미지와 제2 학습 데이터의 교정 치료 후 안모를 비교하고, 비교 결과를 출력할 수 있다. 예컨대, 판별기는 도 7에 도시된 바와 같은 구조로 이루어지는 94×94 patch gan 구조를 이용할 수 있다. 이때, 판별기는 얼굴 예측 모델의 학습이 완료된 이후 얼굴 예측 모델에서 제거될 수 있다.
그리고, 얼굴 예측 모델은 예측 안모 이미지가 제2 학습 데이터의 교정 치료 후 안모인 것으로 판별되도록 제2 학습 데이터를 이용하여 학습될 수 있다.
이후, 프로세서(110)는 대상 환자에 대한 교정 치료 정보를 획득할 수 있다(S130).
여기서, 교정 치료 정보는 대상 환자의 교정 치료 전 안모, 대상 환자의 성별, 대상 환자의 나이, 대상 환자의 입술 기능 부전 여부, 및 대상 환자의 교정 치료에 따른 치아 이동량을 포함할 수 있다.
그러면, 프로세서(110)는 미리 학습되어 구축된 얼굴 예측 모델을 이용하여, 대상 환자의 교정 치료 정보를 기반으로 대상 환자의 교정 치료 후 안모를 획득할 수 있다(S150).
보다 자세히 설명하면, 도 8에 도시된 바와 같이, 프로세서(110)는 대상 환자의 교정 치료 정보를 얼굴 예측 모델에 입력하고, 얼굴 예측 모델의 출력값을 기반으로 교정 치료에 따른 대상 환자의 교정 치료 후 안모를 획득할 수 있다.
그러면, 도 9 내지 도 11을 참조하여 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능에 대하여 설명한다.
도 9는 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능을 설명하기 위한 도면으로, 성별이 여성인 경우의 결과를 나타내고, 도 10은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능을 설명하기 위한 도면으로, 성별이 남성인 경우의 결과를 나타내며, 도 11은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능을 설명하기 위한 도면으로, 예측 에러를 나타낸다.
본 발명에 따른 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 동작의 성능을 평가하기 위해, 환자의 교정 치료 전 안모를 기반으로 본 발명을 통해 예측한 교정 치료 후 예측 안모와 해당 환자의 교정 치료 후 실제 안모를 비교하였다.
즉, 본 발명에 따른 얼굴 예측 모델의 학습은 교정 치료를 받은 279명의 환자(나이 범위 18세 ~ 64세, 남성 86명, 여성 193명)에 대한 교정 치료 전 CBCT 이미지(T1)와 교정 치료 후 CBCT 이미지(T2)를 기반으로 진행되었다. CBCT 스캔은 Pax Zenith 3D를 사용하여 진행되었다. 105 kV 및 5.4 mA의 노출 파라미터로, 24초 동안, 복셀 크기는 0.3 mm이고 시야각(field of view)은 24×19 cm이며, 얼굴, 턱 및 전체 두개골 베이스(cranial base)를 포함하는, 632개의 슬라이스(slice)가 CBCT 스캔을 통해 캡쳐되었다.
교정 치료 전 CBCT 이미지(T1)와 교정 치료 후 CBCT 이미지(T2)는 itk-snap 소프트웨어를 통해 두개골 기반으로 정합하였고, 얼굴 연 조직 마스크(facial soft tissue mask)를 3D slicer 소프트웨어를 통해 추출하여 세그먼트 이미지를 획득하였다. 세그먼트 이미지는 코와 입 주위 영역을 포함하는 394×394×234 복셀로 크롭(crop)되고, 3차원 얼굴 데이터를 394×394 크기의 2차원 이미지로 변환하기 위해, 관상면(coronal plane)에서 얼굴까지의 거리를 획득하였다. 그리고, 2차원 이미지의 크기를 128×128로 조정하여, 교정 치료 전 CBCT 이미지(T1)와 교정 치료 후 CBCT 이미지(T2) 각각으로부터 안모를 획득하였다. 얼굴 예측 모델에 입력되는 입력 데이터는 나이(30세 미만 또는 30세 이상), 성별(남성 또는 여성), 교정 치료 전 3차원 CBCT 이미지(T1)에서 교정 치료 후 3차원 CBCT 이미지(T2)까지 치아 끝 부분(incisal tip)의 시상(sagittal) 방향과 수평(axial) 방향의 변화를 측정하는 것을 통해 획득한 치아 이동량을 더 포함하였다.
그리고, 학습 데이터 증강을 위해, 3차원 얼굴 이미지를 모든 3개의 축(시상축, 관상축, 수직축) 상에서 0도, 2도, -2도만큼 회전시키고, 좌우를 반전시켜, 원본 데이터의 54배까지 양을 증가시켰다. 3차원 얼굴 이미지를 2차원 이미지로 변환 후, 이미지를 부드럽고 선명하게 하는 것을 통해 양을 3배로 추가 증가시켜, 최종적으로 원본 데이터의 양을 162배로 증가시켰다.
279개의 쌍을 이루는 학습 데이터 세트에서, 278개의 학습 데이터 세트가 훈련 데이터 세트로 사용되었고, 나머지 1개의 학습 데이터 세트는 추가적인 9개의 테스트 데이터와 함께 테스트 데이터 세트로 사용하였다. 환자의 T1 얼굴 연 조직 마스크(교정 치료 전 안모), 성별, 나이, 치아 이동량(상악 전치 및 하악 전치의 시상(sagittal) 방향과 수평(axial) 방향의 이동량)을 입력으로 사용하였다. 그리고, 환자의 T2 얼굴 연 조직 마스크(교정 치료 후 안모)가 출력으로 사용되었다. 또한, T1 얼굴 연 조직 마스크(교정 치료 전 안모)는 0mm 치아 이동을 위한 출력으로 설정되었다. 전체 학습 데이터는 랜덤하게 9개의 서브 그룹으로 구분하였고, 각 서브 그룹은 10 에포크(epoch) 순서대로 훈련되었다. 단일 NVIDIA RTX2070 GPU에서 훈련하는 데 약 10 시간이 소요되었다.
성별이 여성(도 9의 F)이고, 나이가 30세 미만(도 9의 <30)이거나 30세 이상(도 9의 ≥30)이며, 다양한 치아 이동량(△U1)을 가지는 경우, 교정 치료 전 안모인 T1 얼굴(도 9의 T1 actual face), 교정 치료 후 실제 안모인 T2 얼굴(도 9의 T2 actual face), 교정 치료 후 예측 안모인 예측 T2 얼굴(도 9의 predicted face)은 도 9에 도시된 바와 같다. 성별이 남성(도 10의 M)이고, 나이가 30세 미만(도 10의 <30)이거나 30세 이상(도 10의 ≥30)이며, 다양한 치아 이동량(△U1)을 가지는 경우, 교정 치료 전 안모인 T1 얼굴(도 10의 T1 actual face), 교정 치료 후 실제 안모인 T2 얼굴(도 10의 T2 actual face), 교정 치료 후 예측 안모인 예측 T2 얼굴(도 10의 predicted face)은 도 10에 도시된 바와 같다. 도 9 및 도 10에 도시된 바와 같이, 전반적으로 예측 T2 얼굴(교정 치료 후 예측 안모)(도 9와 도 10의 predicted face)은 볼(cheek)과 턱끝근(mentalis) 영역에서 약간의 불일치(discrepancy)를 가지는 T2 얼굴(교정 치료 후 실제 안모)(도 9와 도 10의 T2 actual face)과 유사한 것을 확인할 수 있다. 이러한 변화는 성별과 나이에 관계없이 비슷함을 확인할 수 있다.
그리고, 본 발명에 따른 예측 시스템의 정확성을 평가하기 위해, 예측 T2 얼굴(교정 치료 후 예측 안모)이 T2 얼굴(교정 치료 후 실제 안모)에 중첩되었다. 가장 가까운 지점 거리는 3D slicer 소프트웨어 내의 Pick'n Paint tool과 Mesh Stats tool을 사용하여 해부학적 랜드마크(anatomical landmark)인 윗 입술 지점(upper lip point, ULP), 아랫 입술 지점(lower lip point, LLP), 왼쪽과 오른쪽 입꼬리(cheilion)와 볼(cheek)을 둘러싸는 40개 지점 반경 내 T2 얼굴(교정 치료 후 실제 안모)와 예측 T2 얼굴(교정 치료 후 예측 안모) 사이의 차이를 측정하도록 설정되었다. 40개 지점 반경 내에서 T2 얼굴(교정 치료 후 실제 안모)과 예측 T2 얼굴(교정 치료 후 예측 안모) 사이의 평균 차이는 x축, y축, z축에서 측정되었으며, 이는 시상면(sagittal plane), 관상면(coronal plane), 수평면(axial plane)에 수직인 축에 해당한다. 예측 T2 얼굴(교정 치료 후 예측 안모)(도 9와 도 10의 predicted face)과 T2 얼굴(교정 치료 후 실제 안모)(도 9와 도 10의 T2 actual face) 사이의 에러는 도 11에 도시된 바와 같고, 예측 T2 얼굴(교정 치료 후 예측 안모)(도 9와 도 10의 predicted face)과 T2 얼굴(교정 치료 후 실제 안모)(도 9와 도 10의 T2 actual face) 사이의 동등 테스트(equivalent test)는 아래의 [표 1]과 같다.
mean SD 95% CI

ULP
x축 0.024 0.148 -0.0406, 0.0891
y축 0.22 0.643 -0.0588, 0.505
z축 -0.45 0.701 -0.761, -0.143

LLP
x축 0.0063 0.0939 -0.0349, 0.0474
y축 0.32 1.0 -0.126, 0.761
z축 0.12 0.651 -0.167, 0.403

cheek
x축 -0.062 0.498 -0.281, 0.156
y축 0.027 0.837 -0.340, 0.394
z축 0.093 0.313 -0.0436, 0.230

cheilion
x축 -0.052 0.315 -0.191, 0.0856
y축 0.078 1.05 -0.383, 0.539
z축 0.0097 0.201 -0.0783, 0.0977
여기서, mean은 평균을 나타내고, SD는 표준 편차(standard deviation)를 나타내며, 95% CI는 평균 차이의 95% 신뢰 구간(confidence interval)을 나타낸다.
도 11 및 [표 1]을 참조하면, 전반적으로 예측 T2 얼굴(교정 치료 후 예측 안모)(도 9와 도 10의 predicted face)은 T2 얼굴(교정 치료 후 실제 안모)(도 9와 도 10의 T2 actual face)과 유사한 것을 확인할 수 있다.
정리하면, 도 9 내지 도 11에 도시된 바와 같이, 본 발명을 통해 예측한 교정 치료 후 예측 안모와 교정 치료 후 실제 안모는 서로 높은 유사성을 보이는 것을 확인하였다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 저장 매체에 기록될 수 있다. 컴퓨터 판독 가능한 저장 매체는 실행을 위해 프로세서에 명령어를 제공하는데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예컨대, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 얼굴 변화 예측 장치,
110 : 프로세서,
130 : 컴퓨터 판독 가능한 저장 매체,
131 : 프로그램,
150 : 통신 버스,
170 : 입출력 인터페이스,
190 : 통신 인터페이스

Claims (13)

  1. 대상 환자에 대한 교정 치료 정보를 획득하는 단계; 및
    미리 학습되어 구축된 얼굴 예측 모델을 이용하여, 상기 대상 환자의 상기 교정 치료 정보를 기반으로 상기 대상 환자의 교정 치료 후 안모를 획득하는 단계;
    를 포함하며,
    상기 교정 치료 정보는, 상기 대상 환자의 교정 치료 전 안모, 상기 대상 환자의 성별, 상기 대상 환자의 나이, 상기 대상 환자의 입술 기능 부전 여부, 및 상기 대상 환자의 교정 치료에 따른 치아 이동량을 포함하고,
    상기 얼굴 예측 모델은, CGAN(conditional generative adversarial network)을 포함하며, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 및 교정 치료에 따른 치아 이동량을 입력으로 하고, 교정 치료 후 안모를 출력으로 하며,
    교정 치료 전 3차원 CBCT(cone-beam computed tomography) 이미지, 성별, 나이, 및 교정 치료 후 3차원 CBCT 이미지를 포함하는 제1 학습 데이터를 기반으로, 상기 얼굴 예측 모델을 학습하는 단계;를 더 포함하고,
    상기 얼굴 예측 모델 학습 단계는, 상기 제1 학습 데이터를 기반으로 교정 치료 전 안모, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 획득하고, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 포함하는 제2 학습 데이터를 획득하며, 상기 제2 학습 데이터를 이용하여 상기 얼굴 예측 모델을 학습하는 것으로 이루어지는,
    딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에서,
    상기 얼굴 예측 모델 학습 단계는,
    상기 제1 학습 데이터의 교정 치료 전 3차원 CBCT 이미지와 상기 제1 학습 데이터의 교정 치료 후 3차원 CBCT 이미지의 두개저(anterior cranial base)를 복셀(voxel) 단위로 정합(registration)하고, 정합한 교정 치료 전 3차원 CBCT 이미지로부터 교정 치료 전 안모를 획득하며, 정합한 교정 치료 후 3차원 CBCT 이미지로부터 교정 치료 후 안모를 획득하고, 정합한 교정 치료 전 3차원 CBCT 이미지와 정합한 교정 치료 후 3차원 CBCT 이미지를 기반으로 교정 치료에 따른 치아 이동량을 획득하는 것으로 이루어지는,
    딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법.
  7. 제1항에서,
    상기 얼굴 예측 모델은,
    상기 제2 학습 데이터의 교정 치료 전 안모, 상기 제2 학습 데이터의 성별, 상기 제2 학습 데이터의 나이, 상기 제2 학습 데이터의 입술 기능 부전 여부, 및 상기 제2 학습 데이터의 교정 치료에 따른 치아 이동량을 기반으로 예측 안모 이미지를 생성하고, 생성한 상기 예측 안모 이미지를 출력하는 생성기(generator); 및
    상기 생성기를 통해 출력되는 상기 예측 안모 이미지와 상기 제2 학습 데이터의 교정 치료 후 안모를 비교하고, 비교 결과를 출력하는 판별기(discriminator);
    를 포함하며,
    상기 예측 안모 이미지가 상기 제2 학습 데이터의 교정 치료 후 안모인 것으로 판별되도록 상기 제2 학습 데이터를 이용하여 학습되고,
    상기 판별기는,
    상기 얼굴 예측 모델의 학습이 완료된 이후 상기 얼굴 예측 모델에서 제거되는,
    딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법.
  8. 제1항에서,
    상기 얼굴 예측 모델 학습 단계는,
    시상축(sagittal axis), 관상축(coronal axis), 및 수직축(vertical axis) 중 적어도 하나의 축을 기준으로 미리 설정된 크기만큼 회전시키는 과정과, 좌우를 반전시키는 과정을 통해 상기 제1 학습 데이터를 증강하는 것으로 이루어지는,
    딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법.
  9. 제1항, 제6항 내지 제8항 중 어느 한 항에 기재된 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
  10. 딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하는 얼굴 변화 예측 장치로서,
    딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 딥러닝을 기반으로 교정 치료 후의 3차원 얼굴 변화를 예측하기 위한 동작을 수행하는 하나 이상의 프로세서;
    를 포함하고,
    상기 프로세서는,
    대상 환자에 대한 교정 치료 정보를 획득하고,
    미리 학습되어 구축된 얼굴 예측 모델을 이용하여, 상기 대상 환자의 상기 교정 치료 정보를 기반으로 상기 대상 환자의 교정 치료 후 안모를 획득하며,
    상기 교정 치료 정보는, 상기 대상 환자의 교정 치료 전 안모, 상기 대상 환자의 성별, 상기 대상 환자의 나이, 상기 대상 환자의 입술 기능 부전 여부, 및 상기 대상 환자의 교정 치료에 따른 치아 이동량을 포함하고,
    상기 얼굴 예측 모델은, CGAN(conditional generative adversarial network)을 포함하며, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 및 교정 치료에 따른 치아 이동량을 입력으로 하고, 교정 치료 후 안모를 출력으로 하며,
    상기 프로세서는, 교정 치료 전 3차원 CBCT(cone-beam computed tomography) 이미지, 성별, 나이, 입술 기능 부전 여부, 및 교정 치료 후 3차원 CBCT 이미지를 포함하는 제1 학습 데이터를 기반으로, 상기 얼굴 예측 모델을 학습하고,
    상기 프로세서는, 상기 제1 학습 데이터를 기반으로 교정 치료 전 안모, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 획득하고, 교정 치료 전 안모, 성별, 나이, 입술 기능 부전 여부, 교정 치료에 따른 치아 이동량, 및 교정 치료 후 안모를 포함하는 제2 학습 데이터를 획득하며, 상기 제2 학습 데이터를 이용하여 상기 얼굴 예측 모델을 학습하는,
    딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 장치.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020210071028A 2021-04-15 2021-06-01 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치 KR102440954B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210049167 2021-04-15
KR1020210049167 2021-04-15

Publications (1)

Publication Number Publication Date
KR102440954B1 true KR102440954B1 (ko) 2022-09-06

Family

ID=83281337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071028A KR102440954B1 (ko) 2021-04-15 2021-06-01 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102440954B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170142572A (ko) * 2016-06-20 2017-12-28 주식회사 디오코 치아 교정 및 얼굴 성형 시뮬레이션 장치에서의 시뮬레이션 방법 및 이를 저장하는 컴퓨터로 판독 가능한 기록 매체
KR102056480B1 (ko) * 2018-12-10 2020-01-22 이치중 디지털 치과 진료 데이터 관리 방법 및 시스템
KR20200046843A (ko) * 2018-10-25 2020-05-07 울산대학교 산학협력단 치아 교정 임상 빅데이터를 이용한 투명 교정 모델 설정 장치, 그 방법 및 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170142572A (ko) * 2016-06-20 2017-12-28 주식회사 디오코 치아 교정 및 얼굴 성형 시뮬레이션 장치에서의 시뮬레이션 방법 및 이를 저장하는 컴퓨터로 판독 가능한 기록 매체
KR20200046843A (ko) * 2018-10-25 2020-05-07 울산대학교 산학협력단 치아 교정 임상 빅데이터를 이용한 투명 교정 모델 설정 장치, 그 방법 및 프로그램
KR102056480B1 (ko) * 2018-12-10 2020-01-22 이치중 디지털 치과 진료 데이터 관리 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11735306B2 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
US11559221B2 (en) Multi-task progressive networks for patient modeling for medical scans
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
KR101744080B1 (ko) 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
KR102041059B1 (ko) 치료 지원 시스템 및 이의 작동 방법, 및 치료 지원 프로그램을 기억하는 기억 매체
JP6240226B2 (ja) スキャン範囲決定装置
US11443423B2 (en) System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex
EP3100236A1 (en) Method and system for constructing personalized avatars using a parameterized deformable mesh
US7242798B2 (en) Automatic selection of cranial remodeling device configuration
CN111599432B (zh) 一种三维颅面影像特征点标记分析系统及方法
EP4074259A1 (en) Method and apparatus for automatically detecting feature points of three-dimensional medical image data by using deep learning
CA3200325A1 (en) Method for automatically detecting landmark in three-dimensional dental scan data, and computer-readable recording medium with program for executing same in computer recorded thereon
CN112154483A (zh) 一种利用光学体表运动信号合成实时图像的方法及系统
JP2014212820A (ja) 放射線治療システム
KR102440954B1 (ko) 딥러닝 기반 교정 치료 후의 3차원 얼굴 변화 예측 방법 및 장치
CN113574565A (zh) 一种利用光学体表运动信号合成实时图像的系统
Pei et al. Personalized tooth shape estimation from radiograph and cast
CN115006737A (zh) 基于深度相机的放射治疗体位监测系统
KR20230030682A (ko) Ct를 이용한 3d 두부 계측 랜드마크 자동 검출 장치 및 방법
KR102533659B1 (ko) 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
US11995820B2 (en) Method and apparatus for automated detection of landmarks from 3D medical image data based on deep learning
EP4235572A1 (en) Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method
EP4328861A2 (en) Jaw movements data generation apparatus, data generation method, and data generation program
US20240161317A1 (en) Enhancing dental video to ct model registration and augmented reality aided dental treatment
US20220122261A1 (en) Probabilistic Segmentation of Volumetric Images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant