KR102448169B1 - 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치 - Google Patents

딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치 Download PDF

Info

Publication number
KR102448169B1
KR102448169B1 KR1020210131653A KR20210131653A KR102448169B1 KR 102448169 B1 KR102448169 B1 KR 102448169B1 KR 1020210131653 A KR1020210131653 A KR 1020210131653A KR 20210131653 A KR20210131653 A KR 20210131653A KR 102448169 B1 KR102448169 B1 KR 102448169B1
Authority
KR
South Korea
Prior art keywords
orthodontic treatment
extraction
deep learning
dental
learning model
Prior art date
Application number
KR1020210131653A
Other languages
English (en)
Inventor
홍성욱
백경화
장인산
Original Assignee
세종대학교산학협력단
강릉원주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단, 강릉원주대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020210131653A priority Critical patent/KR102448169B1/ko
Application granted granted Critical
Publication of KR102448169B1 publication Critical patent/KR102448169B1/ko
Priority to PCT/KR2022/014715 priority patent/WO2023058994A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A61C2007/004—Automatic construction of a set of axes for a tooth or a plurality of teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

본 발명은 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서; 및 상기 프로세서 연결되는 메모리를 포함하되, 상기 메모리는, 미리 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상을 데이터 전처리하여 표준화하고, 상기 표준화된 발치 교정치료 이전 및 이후 치과 영상의 쌍을 제1 데이터 셋으로 구성하고, 상기 표준화된 비발치 교정치료 이전 및 이후 치과 영상 쌍을 제2 데이터 셋으로 구성하고, 상기 제1 데이터 셋을 이용하여 발치 교정치료 결과 예측을 위한 제1 딥러닝 모델을 학습하고, 상기 제2 데이터 셋을 이용하여 비발치 교정치료 결과 예측을 위한 제2 딥러닝 모델을 학습하고, 학습이 완료된 상기 제1 딥러닝 모델 또는 제2 딥러닝 모델을 이용하여 소정 환자의 발치 또는 비발치 교정치료 이후 예측 치과 영상을 생성하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 치아 교정치료 결과 예측 장치가 제공된다.

Description

딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치{Method and apparatus for predicting orthodontic treatment result based on deep learning}
본 발명은 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치에 관한 것이다.
부정교합이란 어떤 원인에 의해 치아의 배열이 가지런하지 않거나 위아래 맞물림의 상태가 정상 범주의 위치를 벗어난 상태를 의미한다.
부정교합은 심미적, 기능적 문제를 야기하거나 충치 및 각종 질환 발생률을 증가시킬 수 있다. 교정치료는 부정교합으로 인한 생리적, 심리적 장애를 제거하여 건강한 구강조직을 만들거나 유지하는 것을 도우며, 조화를 이룬 얼굴을 만들 수 있다.
성공적인 교정치료 효과를 얻기 위해 치료전 진단 및 치료계획 수립 단계에서 다양한 치료 방법들에 대한 각각의 치료결과가 예측 가능하다면, 환자의 Needs에 부합하는 치료계획을 수립하는데 많은 도움이 될 수 있다.
교정치료는 상담부터 진단, 초기 치료계획의 수립, 매 내원시 마다 수많은 변수에 따른 치료 내용의 크고 작은 변경 등 일련의 과정들은 수많은 의료적 ‘판단’의 연속이다. 특히 치료 계획 수립 시 의료진이 어떠한 판단을 내리는지에 따라 교정치료의 결과는 크게 달라질 수 있다.
치료계획 수립 시 치아 교정치료의 결과에 큰 영향을 줄 수 있는 변수 중 하나로 고려할 수 있는 것은 발치 여부와 발치 치아의 결정이라고 할 수 있다.
치아, 잇몸뼈, 총생의 정도, 상하악 골격 상태 및 성장에 있어 개인차가 크게 존재하므로, 정밀검진과 정확한 분석 및 예측을 통해 개인에 맞는 교정치료 계획을 수립하는 것이 필요하다. 많은 요인들을 고려하여 발치를 동반한 교정치료 계획을 수립하지만, 환자들의 증례에 따라서는 객관적인 통일된 기준보다 담당 주치의의 주관적인 판단에도 크게 영향을 받게 된다.
효율적이고 정확한 교정치료 계획 수립을 위해 치과 교정의의 판단에 보다 객관적인 근거를 제공할 수 있는 예측 방법이 필요한 실정이다.
인공지능 (AI, Artificial Intelligence) Neural Network technology 분야 중 하나인 딥러닝 (Deep Learning) 기법은 입력 데이터 모집단과 유사한 확률 분포를 나타내는 deeply layered/hierarchical 모델을 통해 데이터를 클러스터링 하거나 분류하는데 사용된다.
최근 의학, 치의학의 다양한 분야에 인공지능과 딥러닝 알고리즘의 적용이 시도되고 있다.
특히 치의학에서 딥러닝 알고리즘은 tooth localization/numbering, detection of dental caries/periodontal disease/periapical disease/oral cancerous lesion, localization of cephalometric landmarks, image quality enhancement, prediction and compensation of deformation error in additive manufacturing of prosthesis 등의 분야에 그 적용이 시도되고 있다.
JP 공개특허공보 2021-15278
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 효과적인 교정치료 계획의 수립에 도움을 줄 수 있는 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 딥러닝 기반 치아 교정치료 결과 예측 장치로서, 프로세서; 및 상기 프로세서 연결되는 메모리를 포함하되, 상기 메모리는, 미리 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상을 데이터 전처리하여 표준화하고, 상기 표준화된 발치 교정치료 이전 및 이후 치과 영상의 쌍을 제1 데이터 셋으로 구성하고, 상기 표준화된 비발치 교정치료 이전 및 이후 치과 영상 쌍을 제2 데이터 셋으로 구성하고, 상기 제1 데이터 셋을 이용하여 발치 교정치료 결과 예측을 위한 제1 딥러닝 모델을 학습하고, 상기 제2 데이터 셋을 이용하여 비발치 교정치료 결과 예측을 위한 제2 딥러닝 모델을 학습하고, 학습이 완료된 상기 제1 딥러닝 모델 또는 제2 딥러닝 모델을 이용하여 소정 환자의 발치 또는 비발치 교정치료 이후 예측 치과 영상을 생성하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 치아 교정치료 결과 예측 장치가 제공된다.
상기 프로그램 명령어들은, 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상의 흑화도를 조정하고, 미리 설정된 기준점을 중심으로 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과, 상기 수집된 비발치 교정치료 이전 및 이후 치과 영상을 각각 중첩하고, 상기 중첩 이후, 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상 각각의 관심 영역을 추출할 수 있다.
상기 미리 설정된 기준점은 안정골 중첩법에 의한 전두개처일 수 있다.
상기 관심 영역은 상하순 연조직 및 전치부 치아를 포함할 수 있다.
상기 프로그램 명령어들은, 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상의 명암을 표준화된 명도로 나타내기 위해 흑백 영상으로 변환할 수 있다.
상기 제1 데이터 셋 및 제2 데이터 셋을 구성할 때, 악교정 수술 또는 안면 연조직 수술 시행, 방사선 사진상 Artifact 존재, 교정치료 중 보철치료 또는 금속물을 이용한 보존적 치료를 시행한 경우, 매복치, 만기잔존 유치, 미맹출 영구치 존재 및 방사선 사진 해상도 불량인 치과 영상을 제외할 수 있다.
상기 제1 딥러닝 모델 및 제2 딥러닝 모델은 대립 신경망(Generative Adversarial Network, GAN)과 콘볼루션 신경망(Convolution Neural Network, CNN)을 포함하는 CGAN 모델로 구성될 수 있다.
상기 제1 딥러닝 모델 및 제2 딥러닝 모델은, 상기 대립 신경망이 생성한 교정치료 이전 치과 영상을 입력으로 하여 생성한 가상 치과 영상과 상기 교정치료 이전 치과 영상으로부터 소정 시간 경과한 교정치료 이후 실제 치과 영상과의 상관계수가 미리 설정된 임계값 이상이 될 때까지 반복적으로 학습될 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치의 딥러닝 기반 치아 교정치료 결과 예측 방법으로서, 미리 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상을 데이터 전처리하여 표준화하는 단계; 상기 표준화된 발치 교정치료 이전 및 이후 치과 영상의 쌍을 제1 데이터 셋으로 구성하는 단계; 상기 표준화된 비발치 교정치료 이전 및 이후 치과 영상 쌍을 제2 데이터 셋으로 구성하는 단계; 상기 제1 데이터 셋을 이용하여 발치 교정치료 결과 예측을 위한 제1 딥러닝 모델을 학습하는 단계; 상기 제2 데이터 셋을 이용하여 비발치 교정치료 결과 예측을 위한 제2 딥러닝 모델을 학습하는 단계; 및 학습이 완료된 상기 제1 딥러닝 모델 또는 제2 딥러닝 모델을 이용하여 소정 환자의 발치 또는 비발치 교정치료 이후 예측 치과 영상을 생성하는 단계를 포함하는 치아 교정치료 결과 예측 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명에 따르면, 치과 교정치료 전 치아 영상을 기반으로 교정치료 후 영상(X-ray)을 예측 가능하게 하며, 이를 통해 치과 교정의의 치과 교정치료 계획 수립 시 객관적 근거를 제공할 수 있고, 또한 환자 상담 시 각각의 치료 계획에 대한 시각적 자료를 제공하여 환자와의 커뮤니케이션을 원활하게 하는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 딥러닝 기반 치아 교정치료 결과 예측 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 치아 교정치료 결과 예측 과정의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 전처리 과정을 도시한 도면이다.
도 4는 본 실시예에 따른 흑화도가 조정된 전후 치과 영상을 나타낸 것이다.
도 5는 본 실시예에 따른 교정치료 이전 및 이후 치과 영상의 중첩 과정을 설명하기 위한 도면이다.
도 6은 교정치료 이전 및 이후 치과 영상을 중첩한 상태에서 동일한 위치의 관심 영역을 추출한 결과를 나타낸 도면이다.
도 7 내지 도 8은 발치 교정치료 이전 및 이후 치과 영상과, 비발치 교정치료 이전 및 이후 치과 영상을 통해 데이터 셋을 구성하고, 딥러닝 모델을 학습하는 과정을 나타낸 도면이다.
도 9는 본 실시예에 따른 발치 교정치료 결과 예측을 위한 제1 딥러닝 모델의 검증 결과를 나타낸 것이다.
도 10은 본 실시예에 따른 비발치 교정치료 결과 예측을 위한 제2 딥러닝 모델의 검증 결과를 나타낸 것이다.
도 11 내지 도 12는 실제 환자의 교정치료 이전 치과 영상을 학습이 완료된 발치/비발치 치과 영상 딥러닝 모델에 적용하여 발치 교정치료 이후의 결과 및 비발치 교정치료 후의 결과를 통계 검증한 것을 나타낸 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 인공지능 기법 중 딥러닝 기법을 이용하여 발치 및 비발치 시 각각의 치아 교정치료 이후의 결과 예측 방법을 제안한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 딥러닝 기반 치아 교정치료 결과 예측 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.
프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그 밖에 가상 머신 등을 포함할 수 있다.
메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 콤팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 발명의 일 실시예에 따르면, 메모리(102)에는 치아 교정치료 결과를 예측하는 프로그램 명령어들이 저장된다.
도 2는 본 발명의 일 실시예에 따른 치아 교정치료 결과 예측 과정의 순서도이다.
도 2의 과정은 본 실시예에 따른 장치에 설치된 프로그램 명령어들에 의해 수행되는 과정으로 정의된다.
도 2를 참조하면, 본 실시예에 따른 장치는 발치 환자들의 교정치료 전과 후의 치과 영상(이하, '발치 교정치료 이전 치과 영상 및 발치 교정치료 이후 치과 영상'이라 함)과 비발치 환자들의 교정 전과 후의 치과 영상(이하, '비발치 교정치료 이전 치과 영상 및 비발치 교정치료 이후 치과 영상'이라 함)을 수집한다(단계 200).
단계 200에서 수집되는 치과 영상은 발치 및 비발치 교정치료를 실제로 수행한 개별 환자들에 대해서 교정치료 전후의 시간 차를 두고 규격화된 기기에서 촬영된 영상이다.
예를 들어, 수집된 치과 영상은 상하악 전체 치열에 고정식 교정장치를 부착하고 포괄적 교정치료를 받은 환자의 교정치료 이전 치과 X-ray 영상과 교정치료 이후 치과 X-ray 영상이다.
이후, 수집한 발치 교정치료 이전 및 이후 치과 영상과 발치 교정치료 이전 및 이후 치과 영상을 딥러닝 모델 학습에 적합하도록 표준화하는 데이터 전처리를 수행한다(단계 202).
도 3은 본 발명의 일 실시예에 따른 데이터 전처리 과정을 도시한 도면이다.
도 3을 참조하면, 본 실시예에 따른 장치는 수집된 치과 영상의 흑화도를 조정한다(단계 300).
단계 300에서 흑화도를 균일하게 조정하여 관심 영역(예를 들어, 상하순 연조직 및 상하악 전치부 치아)이 잘 보이도록 한다.
도 4는 본 실시예에 따른 흑화도가 조정된 전후 치과 영상을 나타낸 것이다.
다음으로, 데이터 전처리를 위해 본 실시예에 따른 장치는 교정치료 이전 및 이후 치과 영상에 대해 교정치료 기간 동안 성장변화 및 골변화가 비교적 적은 전두개처를 중심으로 안정골 중첩법(Structural method)을 이용하여 중첩을 수행한다(단계 302).
도 5는 본 실시예에 따른 교정치료 이전 및 이후 치과 영상의 중첩 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 중첩 과정을 통해 시간차를 두고 촬영된 두 개의 교정치료 이전 및 이후 치과 영상에서 두부 위치 변화에 의한 차이를 보완하고, 교정치료로 변화된 이미지를 쉽게 인식하도록 한다.
도 5에서 빨간색 원은 안정골 중첩법의 중첩 기준이 되는 전두개처를 나타낸다.
영상 중첩 이후, 도 6에 도시된 바와 같이, 교정치료 이전 및 이후 치과 영상을 중첩한 상태에서 동일한 위치의 관심 영역을 추출한다(단계 304).
본 실시예에 따른 관심 영역은 분석에서 얻고자 하는 상하순 연조직 및 전치부 치아를 포함하며, 도 6에서 빨간색 사각형은 추출된 관심 영역을 나타낸다.
상기한 바와 같이 상하순 연조직 및 전치부 치아가 관심 영역으로 선택된 이후, 관심 영역에 맞게 얼굴의 각도와 크기 등을 조정하여 치과 영상에 나타난 불규칙한 얼굴 윤곽선과 치아 부분을 교정치료 전후 일치시키는 과정이 수행된다(단계 306).
본 실시예에 따른 장치는 서로 다를 수 있는 치과 영상의 명암을 표준화된 명도로 나타내기 위한 흑백 영상 변환을 수행할 수 있다.
예를 들어, 본 실시예에 따른 장치는 하기의 수학식을 이용하여 치과 영상을 표준화된 명암을 갖는 영상으로 변환한다.
Figure 112021113911081-pat00001
여기서,
Figure 112021113911081-pat00002
은 n번째 관측된 환자의 치과 영상이고, DN은 치과 영상의 명암을 0 ~ 255 사이로 표현하는 디지털 넘버를 나타낸다.
i와 j는 256×256 크기의 치과 영상 내에서의 픽셀의 위치를 좌우와 상하를 나타내는 인덱스를 의미하고, Max()는 최대값을 구하는 함수이며, Min()은 최소값을 구하는 함수이며, n은 데이터 쌍의 개수를 나타낸다.
본 실시예에 따른 데이터 전처리는 비발치 교정치료 이전 및 이후 치과 영상과, 발치 교정치료 이전 및 이후 치과 영상에 대해 개별적으로 수행된다.
다시 도 2를 참조하면, 상기와 같은 데이터 전처리가 수행된 이후, 표준화된 발치 교정치료 이전 치과 영상과 발치 교정치료 이후 치과 영상의 쌍으로 제1 데이터 셋을 구성하고, 표준화된 비발치 교정치료 이전 치과 영상과 비발치 교정치료 이후 치과 영상의 쌍으로 제2 데이터 셋을 구성한다(단계 204).
단계 204에서, 교정치료를 받은 하나의 환자에 대해 치과 교정치료 전 제1 시간(t)의 표준화된 치과 영상(An)과 일정 시간 이후 예측을 원하는 제2 시점(
Figure 112021113911081-pat00003
)의 치과 영상(Bn)을 데이터 쌍으로 하여 데이터 셋을 구성한다.
본 실시예에 따른 데이터 셋은 다음의 수학식으로 표현할 수 있다.
Figure 112021113911081-pat00004
본 실시예에 따르면, 표준화된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상은 X-ray로 촬영된 영상으로서, a×b 해상도를 갖는 흑백 영상이며, 딥러닝 모델 학습을 위해 가로와 세로의 픽셀수가 2의 배수가 되도록 변환되어 새로운 데이터 셋을 구성한다.
예를 들어, 원본 치과 영상은 360×360 크기를 가지며, 데이터 전처리 후에 딥러닝 학습 자료용으로 변환된 치과 영상은 2의 배수인 256×256 크기를 가지도록 변환된다. 또한, 2의 배수인 자연수의 크기로 가로 세로 크기가 같도록 변환된다.
이와 같은 데이터 셋을 구성할 때, 다음과 같은 조건의 치과 영상들은 제외한다.
(1) 악교정 수술 또는 안면 연조직 수술 시행
(2) 방사선 사진상 Artifact (금속 교정장치, implant, miniplate, miniscrew, 금속침 등) 존재
(3) 교정치료 중 보철치료 또는 금속물을 이용한 보존적 치료를 시행한 경우 (crown 또는 inlay 수복, 아말감, 근관충전재 등)
(4) 매복치, 만기잔존 유치, 미맹출 영구치 존재
(5) 방사선 사진 해상도 불량
도 7 내지 도 8은 발치 교정치료 이전 및 이후 치과 영상과, 비발치 교정치료 이전 및 이후 치과 영상을 통해 데이터 셋을 구성하고, 딥러닝 모델을 학습하는 과정을 나타낸 도면이다.
도 7에서 딥러닝 모델의 입력이 상기한 제1 데이터 셋이며, 도 8에서는 제2 데이터 셋이다.
다시 도 2를 참조하면, 본 실시예에 따른 장치는 제1 데이터 셋과 제2 데이터 셋을 이용하여 딥러닝 모델을 학습한다(단계 206).
도 7 내지 도 8에 도시된 바와 같이, 본 실시예에 따른 딥러닝 모델은 대립 신경망(Generative Adversarial Network, GAN)과 콘볼루션 신경망(Convolution Neural Network, CNN)으로 구성되는 CGAN 모델로 구성되며, 각 신경망의 손실 함수가 최소가 되도록 학습된다.
이하에서는 딥러닝 모델의 학습 과정을 상세하게 설명한다.
본 실시예에 따른 딥러닝 모델은 도 7 내지 도 8에 도시된 바와 같이, 발치 교정치료에 대한 딥러닝 모델(제1 딥러닝 모델)과 비발치 교정치료에 대한 딥러닝 모델(제2 딥러닝 모델)이 독립적으로 구성될 수 있다.
각 딥러닝 모델의 GAN은 생성기(Generator)와 판별기(Discriminator)를 포함하며, 생성기는 교정치료 이전 특정 시간(t)에 해당하는 표준화된 치과 영상을 입력으로 하여, 교정치료 후 소정 시간(△t)이 경과한 후의 가상 치과 영상를 생성한다.
판별기는 교정치료 후의 실제 치과 영상과 가상 치과 영상을 비교하여 GAN의 손실 함수(LGAN)이 최소가 될 때까지 가상 치과 영상의 생성 및 실제 치과 영상과의 비교를 반복 수행한다.
GAN의 손실 함수는 아래의 수학식을 이용하여 결정될 수 있다.
Figure 112021113911081-pat00005
E는 기대값을 나타내고, G는 GAN의 생성기를 나타내며, D는 GAN의 판별기를 나타낸다. A1은 교정치료 이전 특정 시간(t)에 해당하는 치과 영상을 나타내고,
Figure 112021113911081-pat00006
는 교정치료 이후(
Figure 112021113911081-pat00007
)에 촬영된 실제 치과 영상을 나타내며, G(X)는 교정치료 이후(
Figure 112021113911081-pat00008
)에 예측된 가상 치과 영상을 나타낸다.
또한, 가상 치과 영상과 실제 치과 영상 간의 유사성은 CNN 모델을 함께 이용하여 판별될 수 있다.
본 실시예에 따른 장치는 수학식 4를 이용하여 CNN 모델의 손실 함수를 계산한다.
Figure 112021113911081-pat00009
여기서,
Figure 112021113911081-pat00010
는 기대값을 나타내고,
Figure 112021113911081-pat00011
는 교정치료 이후(
Figure 112021113911081-pat00012
)에 촬영된 실제 치과 영상을 나타내고, G(X)는 가상 치과 영상을 나타낸다. 또한,
Figure 112021113911081-pat00013
는 교정후 실제 치과 영상과 예측된 가상 치과 영상의 픽셀별 거리를 계산하는 함수를 나타낸다.
본 실시예에 따른 딥러닝 모델은 GAN 모델과 CNN 모델의 손실 함수가 최소가 되도록 학습이 수행될 수 있다.
판별기의 판별 결과에 따라 생성기는 실제 교정치료 이후 실제 치과 영상과의 차이가 최소가 되도록 가상 치과 영상을 생성한다.
이를 수학식으로 나타내면, 수학식 5와 같다.
Figure 112021113911081-pat00014
본 실시예에 따른 장치는 상기한 딥러닝 모델을 통해 교정치료 전후 시간차(△t)를 두고 예측된 가상 치과 영상(G(X))을 획득할 수 있다.
예측된 가상 치과 영상과 실제 치과 영상을 통계적으로 비교하여 유사도를 계산한 후 미리 설정된 임계값에 도달하면 딥러닝 모델의 학습을 완료한다.
여기서, 임계값은 실제 치과 영상과 가상 치과 영상의 상관계수(Correlation Coefficient, CC)을 이용하여 상관계수가 최대일 때로 결정된다.
본 실시예에 따른 상관계수는 다음과 같다.
Figure 112021113911081-pat00015
여기서, CC는 실제 치과 영상과 가상 치과 영상 사이의 관계를 정량적으로 나타낸 것으로 1에 가까울수록 예측 정확도가 높이며, 0에 가까울수록 예측 정확도가 낮은 것이다.
그리고,
Figure 112021113911081-pat00016
는 교정치료 후의 시간, o는 실제 치과 영상(예를 들어, 발치 교정치료 또는 비발치 교정치료 후 상당한 시간이 경과한 후의 치과 영상)을 나타내고, f는 학습된 딥러닝 모델을 이용하여 예측된 가상 치과 영상을 나타낸다.
i는 치과 영상의 개별 화소,
Figure 112021113911081-pat00017
는 실제 치과 영상의 평균값,
Figure 112021113911081-pat00018
는 가상 치과 영상의 평균값을 나타내며, n은 치과 영상의 전체 화소수를 나타낸다.
상기한 바와 같이 딥러닝 모델의 학습이 완료된 이후, 본 실시예에 따른 장치는 검증 과정을 수행한다(단계 208).
도 9는 본 실시예에 따른 발치 교정치료 결과 예측을 위한 제1 딥러닝 모델의 검증 결과를 나타낸 것이다.
도 9a는 발치 교정치료 이전 실제 치과 영상이고, 도 9b는 발치 교정치료 이후 실제 치과 영상이다. 도 9a 내지 9b를 참조하면, 발치 교정치료 이후 환자의 상하학 전치가 후방으로 들어가면서 치열 변화가 이루어졌고, 상하악 전치부 치아의 순측 경사가 감소하였다.
도 9c는 제1 딥러닝 모델이 소정 시간 경과 후 예측한 치과 영상이다. 이를 도 9b와 비교하였을 때 매우 높은 정확도로 발치 교정치료 이후 치과 영상을 예측함을 확인할 수 있다.
도 10은 본 실시예에 따른 비발치 교정치료 결과 예측을 위한 제2 딥러닝 모델의 검증 결과를 나타낸 것이다.
도 10a는 비발치 교정치료 이전 실제 치과 영상이고, 도 10b는 비발치 교정치료 이후 실제 치과 영상이고, 도 10c는 제2 딥러닝 모델이 예측한 치과 영상을 나타낸 것으로, 딥러닝 모델이 도 10a를 입력으로 하여 소정 시간 경과한 이후의 예측한 치과 영상이다.
도 10b 및 도 10c를 비교하였을 때 매우 높은 정확도로 비발치 교정치료 이후 결과를 예측함을 확인할 수 있다.
본 실시예에 따른 장치는 학습 및 검증이 완료된 딥러닝 모델을 통해 발치 교정치료 또는 비발치 교정치료를 진행하였을 때 나타날 수 있는 결과를 예측한다(단계 210).
도 11 내지 도 12는 실제 환자의 교정치료 이전 치과 영상을 학습이 완료된 발치/비발치 치과 영상 딥러닝 모델에 적용하여 발치 교정치료 이후의 결과 및 비발치 교정치료 후의 결과를 통계 검증한 것을 나타낸 것이다.
도 11과 12는 교정치료 이전 상태에서 각각 발치 교정치료 및 비발치 교정치료를 시행하였을 때 예상되는 치료 결과를 해당 딥러닝 모델을 통해 예측한 것을 나타낸 것이다.
또한, 도 11과 도 12는 교정치료 이후 실제 치과 영상과 상기한 딥러닝 모델을 통해 예측한 치과 영상간의 CC 값을 나타낸다.
도면에 도시된 바와 같이, 본 실시예에 따른 딥러닝 모델의 예측 치과 영상과 실제 치과 영상간에 매우 높은 상관성을 나타내며 발치 및 비발치 교정치료 모두에서 정확한 예측이 가능한 것을 알 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 딥러닝 기반 치아 교정치료 결과 예측 장치로서,
    프로세서; 및
    상기 프로세서 연결되는 메모리를 포함하되,
    상기 메모리는,
    미리 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상을 데이터 전처리하여 표준화하고,
    상기 표준화된 발치 교정치료 이전 및 이후 치과 영상의 쌍을 제1 데이터 셋으로 구성하고,
    상기 표준화된 비발치 교정치료 이전 및 이후 치과 영상 쌍을 제2 데이터 셋으로 구성하고,
    상기 제1 데이터 셋을 이용하여 발치 교정치료 결과 예측을 위한 제1 딥러닝 모델을 학습하고,
    상기 제2 데이터 셋을 이용하여 비발치 교정치료 결과 예측을 위한 제2 딥러닝 모델을 학습하고,
    학습이 완료된 상기 제1 딥러닝 모델 또는 제2 딥러닝 모델을 이용하여 소정 환자의 발치 또는 비발치 교정치료 이후 예측 치과 영상을 생성하도록,
    상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하되,
    상기 프로그램 명령어들은,
    상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상의 흑화도를 조정하고,
    미리 설정된 기준점을 중심으로 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과, 상기 수집된 비발치 교정치료 이전 및 이후 치과 영상을 각각 중첩하고,
    상기 중첩 이후, 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상 각각의 관심 영역을 추출하는 치아 교정치료 결과 예측 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 미리 설정된 기준점은 안정골 중첩법에 의한 전두개처인 치아 교정치료 결과 예측 장치.
  4. 제1항에 있어서,
    상기 관심 영역은 상하순 연조직 및 전치부 치아를 포함하는 치아 교정치료 결과 예측 장치.
  5. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상의 명암을 표준화된 명도로 나타내기 위해 흑백 영상으로 변환하는 치아 교정치료 결과 예측 장치.
  6. 제1항에 있어서,
    상기 제1 데이터 셋 및 제2 데이터 셋을 구성할 때, 악교정 수술 또는 안면 연조직 수술 시행, 방사선 사진상 Artifact 존재, 교정치료 중 보철치료 또는 금속물을 이용한 보존적 치료를 시행한 경우, 매복치, 만기잔존 유치, 미맹출 영구치 존재 및 방사선 사진 해상도 불량인 치과 영상을 제외하는 치아 교정치료 결과 예측 장치.
  7. 제1항에 있어서,
    상기 제1 딥러닝 모델 및 제2 딥러닝 모델은 대립 신경망(Generative Adversarial Network, GAN)과 콘볼루션 신경망(Convolution Neural Network, CNN)을 포함하는 CGAN 모델로 구성되는 치아 교정치료 결과 예측 장치.
  8. 제7항에 있어서,
    상기 제1 딥러닝 모델 및 제2 딥러닝 모델은, 상기 대립 신경망이 생성한 교정치료 이전 치과 영상을 입력으로 하여 생성한 가상 치과 영상과 상기 교정치료 이전 치과 영상으로부터 소정 시간 경과한 교정치료 이후 실제 치과 영상과의 상관계수가 미리 설정된 임계값 이상이 될 때까지 반복적으로 학습되는 치아 교정치료 결과 예측 장치.
  9. 프로세서 및 메모리를 포함하는 장치의 딥러닝 기반 치아 교정치료 결과 예측 방법으로서,
    미리 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상을 데이터 전처리하여 표준화하는 단계;
    상기 표준화된 발치 교정치료 이전 및 이후 치과 영상의 쌍을 제1 데이터 셋으로 구성하는 단계;
    상기 표준화된 비발치 교정치료 이전 및 이후 치과 영상 쌍을 제2 데이터 셋으로 구성하는 단계;
    상기 제1 데이터 셋을 이용하여 발치 교정치료 결과 예측을 위한 제1 딥러닝 모델을 학습하는 단계;
    상기 제2 데이터 셋을 이용하여 비발치 교정치료 결과 예측을 위한 제2 딥러닝 모델을 학습하는 단계; 및
    학습이 완료된 상기 제1 딥러닝 모델 또는 제2 딥러닝 모델을 이용하여 소정 환자의 발치 또는 비발치 교정치료 이후 예측 치과 영상을 생성하는 단계를 포함하되,
    상기 표준화하는 단계는,
    상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상의 흑화도를 조정하는 단계;
    미리 설정된 기준점을 중심으로 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과, 상기 수집된 비발치 교정치료 이전 및 이후 치과 영상을 각각 중첩하는 단계; 및
    상기 중첩 이후, 상기 수집된 발치 교정치료 이전 및 이후 치과 영상과 비발치 교정치료 이전 및 이후 치과 영상 각각의 관심 영역을 추출하는 단계를 포함하는 치아 교정치료 결과 예측 방법.
  10. 제9항에 따른 치아 교정치료 결과 예측을 위한 단계를 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020210131653A 2021-10-05 2021-10-05 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치 KR102448169B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210131653A KR102448169B1 (ko) 2021-10-05 2021-10-05 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치
PCT/KR2022/014715 WO2023058994A1 (ko) 2021-10-05 2022-09-30 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210131653A KR102448169B1 (ko) 2021-10-05 2021-10-05 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102448169B1 true KR102448169B1 (ko) 2022-09-28

Family

ID=83461178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210131653A KR102448169B1 (ko) 2021-10-05 2021-10-05 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102448169B1 (ko)
WO (1) WO2023058994A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058994A1 (ko) * 2021-10-05 2023-04-13 세종대학교산학협력단 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170125263A (ko) * 2016-05-04 2017-11-14 주식회사 디오코 치아 교정 시뮬레이션 장치에서의 치아 교정 방법
KR20200007213A (ko) * 2018-07-12 2020-01-22 주식회사 진이어스 시술 예측 솔루션
JP2021015278A (ja) 2019-07-10 2021-02-12 株式会社東京技研 歯科技能評価装置、及び歯科技能評価プログラム
KR20210091040A (ko) * 2020-01-13 2021-07-21 가톨릭대학교 산학협력단 치과 의무 기록 장치 및 그 치과 의무 기록 방법
KR20210098683A (ko) * 2020-02-03 2021-08-11 (주)어셈블써클 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
KR20210110214A (ko) * 2020-02-28 2021-09-07 고려대학교 산학협력단 치과 치료 예측 시스템 및 방법
JP2021524768A (ja) * 2018-05-10 2021-09-16 スリーエム イノベイティブ プロパティズ カンパニー リアルタイムでの拡張可視化によりシミュレートされる歯科矯正治療

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102448169B1 (ko) * 2021-10-05 2022-09-28 세종대학교산학협력단 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170125263A (ko) * 2016-05-04 2017-11-14 주식회사 디오코 치아 교정 시뮬레이션 장치에서의 치아 교정 방법
JP2021524768A (ja) * 2018-05-10 2021-09-16 スリーエム イノベイティブ プロパティズ カンパニー リアルタイムでの拡張可視化によりシミュレートされる歯科矯正治療
KR20200007213A (ko) * 2018-07-12 2020-01-22 주식회사 진이어스 시술 예측 솔루션
JP2021015278A (ja) 2019-07-10 2021-02-12 株式会社東京技研 歯科技能評価装置、及び歯科技能評価プログラム
KR20210091040A (ko) * 2020-01-13 2021-07-21 가톨릭대학교 산학협력단 치과 의무 기록 장치 및 그 치과 의무 기록 방법
KR20210098683A (ko) * 2020-02-03 2021-08-11 (주)어셈블써클 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
KR20210110214A (ko) * 2020-02-28 2021-09-07 고려대학교 산학협력단 치과 치료 예측 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058994A1 (ko) * 2021-10-05 2023-04-13 세종대학교산학협력단 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치

Also Published As

Publication number Publication date
WO2023058994A1 (ko) 2023-04-13

Similar Documents

Publication Publication Date Title
Jader et al. Deep instance segmentation of teeth in panoramic X-ray images
US11398013B2 (en) Generative adversarial network for dental image super-resolution, image sharpening, and denoising
Agrawal et al. Artificial intelligence in dentistry: past, present, and future
US20200350059A1 (en) Method and system of teeth alignment based on simulating of crown and root movement
US11367188B2 (en) Dental image synthesis using generative adversarial networks with semantic activation blocks
US20210118132A1 (en) Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
JP7152455B2 (ja) セグメンテーション装置および学習モデルの生成方法
JP2024133655A (ja) 口腔内スキャンの為の異物識別及び画像増強及び／又はフィルタリング
CN109528323B (zh) 一种基于人工智能的正畸方法及装置
KR102267197B1 (ko) 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치
WO2021046147A1 (en) Method, system and devices for instant automated design of a customized dental object
US20210357688A1 (en) Artificial Intelligence System For Automated Extraction And Processing Of Dental Claim Forms
CN109712703B (zh) 一种基于机器学习的正畸预测方法及装置
US20200411201A1 (en) Systems And Method For Artificial-Intelligence-Based Dental Image To Text Generation
US11311247B2 (en) System and methods for restorative dentistry treatment planning using adversarial learning
JP6777917B1 (ja) 推定装置、推定システム、推定方法、および推定用プログラム
US20210217170A1 (en) System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements.
KR102448169B1 (ko) 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치
JP7269587B2 (ja) セグメンテーション装置
Borohovitz et al. The diagnostic advantage of a CBCT-derived segmented STL rendition of the teeth and jaws using an AI algorithm
Jain et al. Dental image analysis for disease diagnosis
TWI766446B (zh) 基於人工智慧之口腔電腦斷層掃描影像的自動色彩轉換裝置及其驅動方法
Widiasri et al. Alveolar Bone and Mandibular Canal Segmentation on Cone Beam Computed Tomography Images Using U-Net
Sornam Artificial Intelligence in Orthodontics-An exposition
Orlowska et al. Virtual tooth extraction from cone beam computed tomography scans

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant