KR20230165454A - 앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션 - Google Patents

앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션 Download PDF

Info

Publication number
KR20230165454A
KR20230165454A KR1020220065182A KR20220065182A KR20230165454A KR 20230165454 A KR20230165454 A KR 20230165454A KR 1020220065182 A KR1020220065182 A KR 1020220065182A KR 20220065182 A KR20220065182 A KR 20220065182A KR 20230165454 A KR20230165454 A KR 20230165454A
Authority
KR
South Korea
Prior art keywords
learning
label
neural network
artificial neural
output
Prior art date
Application number
KR1020220065182A
Other languages
English (en)
Inventor
김행근
손영돈
강창기
김종훈
홍용기
심기봉
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020220065182A priority Critical patent/KR20230165454A/ko
Publication of KR20230165454A publication Critical patent/KR20230165454A/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A61B6/14—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공신경망으로 상기 2D 교합 이미지의 앵글 클래스 분류를 학습하는 제1 학습 단계; 상기 3D 이미지 데이터의 정렬된 교합 이미지 생성을 위하여, 포인트 클라우드 넷 모델로 자동 방향을 조절하는 오토 좌표를 부여하고 교합을 위한 특징 벡터를 추출하는 포인트 학습을 수행하는 제2 학습 단계; 환자의 얼굴형이 촬영된 이미지 데이터를 진단 보조 수단으로 학습하는 제3 학습 단계; 및 상기 제1 내지 3 학습 단계의 학습 결과를 블랜더 네트워크를 통해 통합 학습하여 환자의 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출되는 앙상블 단계를 포함하는 것을 일 특징으로 한다.

Description

앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션{Artificial neural network-based malocclusion classification method and application using ensemble technique}
본 발명은 블랜더 모델, 스태킹과 같은 앙상블 기술을 이용한 인공신경망 학습으로 높은 재현성과 정확도를 갖고, 정량적으로 부정교합 정도를 분류할 수 있는 부정교합 분류 방법 및 애플리케이션에 관한 것이다.
부정교합(malocclusion)은 위/아래턱의 치아가 가지런하지 못하거나 정상적으로 맞물리지 않은 상태로, 기능적으로 문제가 되는 교합 관계를 나타낸다. 부정교합의 판별은 개개인의 형태학적 구강 구조의 편차를 정형화하여 전반적인 교정 체제의 기준을 제시하기에 중요하다. 하지만, 부정교합의 판별을 위해 치아를 전반적으로 확인하는 데 많은 시간이 소요되며 그 판별법 역시 전문의 개인마다 편차가 존재한다.
에드워드 하틀리 앵글(Edward Hartley Angle)은 치과교정학의 창시자이다. 그는 교정학을 연구하는 과정에서 부정교합의 분류에 대한 이론을 정의하였다. 지금까지도 널리 이용되고 있는 앵글 클래스(Angle’s classification)는 상악 첫 번째 어금니(제1 대구치)를 기준으로 위/아래 치아의 맞물림을 나누는 분류법으로, 다음의 세 가지 클래스로 구분된다.
앵글 클래스 1(1급 부정교합)은 위/아래 어금니의 맞물림은 정상적이나 앞쪽 치아의 회전, 돌출, 변위 등으로 가지런하지 못한 상태를 말한다. 앵글 클래스 2(2급 부정교합)는 위/아래 어금니의 맞물림에서 위 어금니들이 아래 어금니보다 앞쪽으로 돌출된 상태를 말한다. 돌출 입이 대표적인 예이다. 앵글 클래스 3(3급 부정교합)은 위/아래 어금니의 맞물림에서 아래 어금니가 위 어금니보다 뒤쪽으로 맞물리는 상태를 말한다. 주걱턱이 대표적인 예이다.
기존의 인공신경망 모델을 이용하여 앵글 클래스의 부정교합 분류를 학습할 경우, 앵글 클래스에 해당하는 원-핫 인코딩(one-hot encoding)을 통해 라벨 데이터를 사용하며 범주형 분류 학습으로 진행된다. 기존 앵글 클래스의 3가지 클래스에 대한 원-핫 인코딩으로 학습한 인공신경망 모델의 경우, 학습에 필요한 데이터의 양이 매우 크다는 문제점이 있다. 이를 극복하기 위해서는 전이 학습 또는 데이터 증강(data augmentation) 등의 다양한 기법이 고려될 수 있다. 그러나 학습 데이터를 변형하여 학습 데이터를 확장하는 종래의 기법들이 적용되어도 일반적인 대학병원에서 수집할 수 있는 수준의 데이터 집합으로는 만족할 만한 성능을 보이는 것이 쉽지 않은 실정이다.
또한 부정교합의 판정에 사용하는 데이터가 주로 3D 모델 스캔의 결과물인 3D 이미지여서 기존의 전이 학습에 주로 이용되는 2D 이미지 기반 인공신경망 기술의 적용이 어렵다는 문제점도 있다. 이에, 3D 이미지 데이터를 취급하는 3D 합성곱(convolution) 신경망 모델을 적용하는 방안이 있다. 하지만 3D 합성곱 신경망 모델은 전이 학습의 적용이 쉽지 않다는 한계를 보인다.
부정교합을 판단하는 관련 특허 문헌으로, 한국등록특허 제10-2070255호는 복수의 치아의 분류 코드 유사도에 기초하여 부정교합을 결정하는 시스템 및 방법을 개시한다. 상기 선행특허는 치아의 위치와 회전 정도를 나타내는 치아의 분류 코드와 치아의 위치 코드를 이용하여 부정교합을 특정 및 분류하는 방법을 개시하고 있다. 그러나 상기 선행특허는 부정교합의 특정 및 분류에 인공지능을 접목한 실시예는 개시하지 않고 있다.
인공지능을 이용하여 부정교합을 분류할 경우, 학습 데이터가 부족한 상황에서도 분류 성능의 정확도가 보장되는 새로운 학습 모델이 제시되어야 한다. 이에 본 출원인은, 인공지능 학습의 전처리, 전처리 데이터의 라벨링 방법 및 학습 네트워크를 고안하여 적은 데이터 집합으로도 높은 정확도의 학습이 가능한 본 발명을 고안하게 되었다.
한국등록특허 제10-2070255호
본 발명은 앙상블 기술을 이용한 인공신경망 기반 부정교합을 분류하는 방법 및 애플리케이션에 관한 것으로, 2D 이미지 기반 제1 학습과 3D 이미지 기반 제2 학습 및 환자의 얼굴 익명화 이미지 기반의 제3 학습을 블랜딩하여 부정교합 분류의 정확도와 재현성을 향상시키는 기계학습 모델을 제공하고자 한다.
상기 목적을 달성하기 위하여 본 발명은 연산장치에 의해 수행되는 인공신경망 기반 부정교합 분류 방법에 있어서, 상악과 하악의 치아가 스캔된 3D 이미지 데이터를 2D 교합 이미지 데이터로 전처리한다. 이후 전처리한 이미지 데이터에 앵글 클래스(Angle’s classification)에 기반한 제1 라벨, 상기 제1 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 부여한 제2 라벨, 그리고 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정한다.
본 발명은 인공신경망으로 상기 2D 교합 이미지의 앵글 클래스 분류를 학습하는 제1 학습 단계; 상기 3D 이미지 데이터의 정렬된 교합 이미지 생성을 위하여, 포인트 클라우드 넷 모델로 자동 방향을 조절하는 오토 좌표를 부여하고 교합을 위한 특징 벡터를 추출하는 포인트 학습을 수행하는 제2 학습 단계; 환자의 얼굴형이 촬영된 이미지 데이터를 진단 보조 수단으로 학습하는 제3 학습 단계; 및 상기 제1 내지 3 학습 단계의 학습 결과를 블랜더 네트워크를 통해 통합 학습하여 환자의 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출되는 앙상블 단계를 포함하는 것을 일 특징으로 한다.
바람직하게, 상기 제1 학습 단계는, 상기 3D 모델 데이터로부터, 특정 각도(N개)에서 바라본 단면의 2D 이미지를 그레이 스케일로 변환하여 상기 2D 교합 이미지를 생성할 수 있다.
바람직하게, 상기 제1 학습 단계는, 상기 제3 라벨이 상기 3D 모델 데이터로부터, 상악 대구지와 하악 대구치의 특정 포인트의 거리를 픽셀 기반으로 수치화한 데이터일 수 있다.
바람직하게, 상기 제1 학습 단계는, 상기 제2 라벨이 상기 제1 라벨의 분류에서 상악과 하악의 상대적 위치를 연속변수로 지정한 데이터 값으로 표현한 회귀(regression) 라벨로 사용할 수 있다.
바람직하게, 상기 제3 라벨은, 상기 3D 모델 데이터에서, 상악 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈을 거리 산출의 기준점인 특정 포인트로 지정될 수 있다.
바람직하게, 상기 제1 학습 단계는, 합성곱 신경망(CNN) 모델을 특징 추출(Feature extraction)을 위한 백본 네트워크로 하고, 상기 제1 라벨에 대응하는 제1 출력과, 상기 제2 라벨에 대응하는 제2 출력과, 상기 제3 라벨에 대응하는 제3 출력의 다중 출력을 갖도록 하고, 상기 제1 내지 3 출력이 직렬 또는 병렬로 조합된 다중 출력의 인공신경망이 구성되며, 상기 인공신경망의 상기 최종 손실함수를 최소화하기 위한 모델 파라메터 업데이트를 수행할 수 있다.
바람직하게, 상기 제1 학습 단계는 상기 인공신경망이 상기 제2 출력 또는 상기 제3 출력과 상기 제1 출력이 직렬로 연결될 수 있다.
바람직하게, 상기 제1 학습 단계는 상기 인공신경망이 상기 제1 출력과 상기 제2 출력이 직렬로 연결된 경우, 상기 제3 출력은 상기 제1 출력 및 상기 제2 출력과 병렬로 연결될 수 있다.
바람직하게, 상기 제1 학습 단계는 상기 인공신경망이 상기 제1 출력과 상기 제3 출력이 직렬로 연결된 경우, 상기 제2 출력은 상기 제1 출력 및 상기 제3 출력과 병렬로 연결될 수 있다.
바람직하게, 제2 학습 단계는, 리-오리엔테이션으로 정렬된 2D 이미지를 생성하기 위해 상악과 하악에 각각 좌우의 대구치와 앞니 중앙부의 좌표를 설정하여 학습하고, 특징 벡터로 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈의 좌표를 학습하고, 학습된 리-오리엔테이션의 정보를 상기 제1 학습 단계로 전송하여 상기 제1 학습 단계에서 상기 리-오리엔테이션의 정보를 이용하여 상기 2D 교합 이미지의 전처리를 수행할 수 있다.
바람직하게, 제2 학습 단계는, 상기 제1 학습 단계에서 부여되는 제1 내지 3 라벨을 상기 3D 이미지 데이터에 부여하여, 상기 3D 이미지 데이터로 포인트 클라우드 넷 모델을 이용하여 앵글 클래스 분류를 학습하고, 상기 3D 이미지 데이터로 학습된 결과를 상기 블랜더 네트워크로 전송할 수 있다.
바람직하게, 상기 제3 학습 단계는, 환자의 얼굴형이 촬영된 복수 개의 이미지 데이터를 CNN으로 학습하여 환자의 얼굴형 및 하악 구조의 특징 벡터를 학습하고, 상기 앙상블 단계는, 블랜딩 모델을 통해 상기 제3 학습 단계로 예측된 얼굴형 및 하악 구조의 특징 벡터를 통합 반영하여 부정교합 분류의 최종 학습 스코어를 산출할 수 있다.
또한 본 발명은 연산장치에 의해 수행되는 인공신경망 기반 부정교합 분류 애플리케이션에 있어서, 상악과 하악의 치아가 스캔된 3D 이미지 데이터를 2D 교합 이미지 데이터로 전처리하여 앵글 클래스(Angle’s classification)에 기반한 제1 라벨과, 상기 제1 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 부여한 제2 라벨과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정하여 인공신경망으로 상기 2D 교합 이미지의 앵글 클래스 분류를 학습하는 제1 학습 기능; 상기 3D 이미지 데이터의 정렬된 교합 이미지 생성을 위하여, 포인트 클라우드 넷 모델로 자동 방향을 조절하는 오토 좌표를 부여하고 교합을 위한 특징 벡터를 추출하는 포인트 학습을 수행하는 제2 학습 기능; 환자의 얼굴형이 촬영된 이미지 데이터를 진단 보조 수단으로 학습하는 제3 학습 기능; 및 상기 제1 내지 3 학습 단계의 학습 결과를 블랜더 네트워크를 통해 통합 학습하여 환자의 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출되는 앙상블 기능을 실행시키기 위하여 매체에 저장된 것을 다른 특징으로 한다.
바람직하게, 상기 제1 학습 기능은, 상기 제1 라벨에는 다중 분류에서 사용되는 제1 손실함수가 설정되고, 상기 제2 라벨과 상기 제3 라벨은 회귀(regression)의 제2 손실함수가 설정되어, 이종(異種)의 손실함수가 다항식으로 표현된 최종 손실함수를 갖고, 상기 최종 손실함수 기반의 학습 네트워크로 상기 교합 이미지의 앵글 클래스 분류를 학습할 수 있다.
본 발명에 따르면, 교정 치료에서 쉽게 구할 수 있는 스캔된 3D 모델 데이터를 사용하면서 전이학습 및 데이터 증강(Data Augmentation) 등이 가능하며, 제한된 양의 데이터 집합으로도 높은 재현성과 정확도를 보이는 부정교합 분류 인공신경망을 구현 가능하고, 이의 학습이 빠른 시간에 가능하다는 이점이 있다. 또한, 진단 보조 수단이 되는 얼굴형과 리-오리엔테이션 학습을 앙상블 기술로 함께 학습하여 학습 정확도를 보다 향상시키는 이점이 있다.
도 1은 본 발명의 실시예에 따른 제1 학습 단계를 나타낸다.
도 2는 도 1의 학습 단계를 개략화한 모식도이다.
도 3은 제1 출력과 제3 출력이 조합된 네트워크의 다른 실시예를 나타낸다.
도 4는 제1 출력과 제2 출력이 조합된 인공신경망의 다른 실시예를 나타낸다.
도 5는 제1 출력과 제3 출력이 직렬로 연결되고, 제2 출력이 병렬로 연결된 인공신경망의 다른 실시예를 나타낸다.
도 6은 본 발명의 다른 실시예에 따른 블랜딩 모델을 적용한 인공신경망 기반 부정교합 분류 방법의 개요도를 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에 따른 인공신경망 기반 부정교합 분류 방법은 제1 학습 단계, 제2 학습 단계 및 제3 학습 단계를 포함하여 구성될 수 있다. 즉, 부정교합 분류를 위해 부정교합 분류를 위한 여러 요소를 각각 복수개의 인공신경망 학습으로 학습하고 이를 통합하는 과정으로 구성된다.
제1 학습 단계는 상악과 하악의 치아가 스캔된 3D 이미지 데이터를 2D 교합 이미지 데이터로 전처리하여 앵글 클래스(Angle’s classification)에 기반한 제1 라벨과, 상기 제1 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 부여한 제2 라벨과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정하여 인공신경망으로 상기 2D 교합 이미지의 앵글 클래스 분류를 학습하는 단계일 수 있다.
보다 상세한 실시예로, 제1 학습 단계는 (a)리-오리엔테이션 단계, (b)라벨링 단계 및 (c)학습 단계를 포함할 수 있다. 도 1은 본 발명의 실시예에 따른 제1 학습 단계를 나타낸다. 도 2는 도 1의 학습 단계를 개략화한 모식도이다.
도 1 및 도 2를 참조하면, 인공신경망 기반 부정교합 분류 방법은 리-오리엔테이션을 수행하는 (a)단계(S10), 라벨링을 설정하는 (b)단계(S30) 및 인공지능 학습을 수행하는 (c)단계(S50)를 포함할 수 있다.
(a)단계(S10)는 전처리 과정의 단계로서 상악과 하악의 치아가 스캔된 3D 모델 데이터를 전처리하여 정해진 시점의 2D 이미지 데이터를 얻기 위해 상기 3D 모델 데이터를 정렬할 수 있다. 본 실시예로, 부정교합 환자로부터 3D 스캔 등을 통해 얻어진 3D 스캔 데이터는 STL 포맷 데이터가 될 수 있다. (a)단계(S10)는 상악과 하악의 치아를 3D 스캔으로 획득한 3D 모델 데이터를 정렬한 후, 기 설정된 특정 시점의 2D 이미지 조합을 추출할 수 있다.
본 실시예로, 리-오리엔테이션 단계(S10)는 정해진 시점의 2D 이미지 데이터를 얻기 위해 스캔된 3D 모델 데이터를 특정 방향으로 정렬하는 단계이다. 리-오리엔테이션 과정은 좌측 교합 2D 이미지와 우측 교합 2D 이미지를 항상 정해진 시점으로 얻을 수 있도록 3D 모델 데이터에 3개의 점을 지정하여 방향을 조정한다. 일 예시로, 3개의 점은 좌우측 대구치와 앞니에 지정될 수 있으며, 3개의 점을 지정한 후, 아핀 변환(affine transformation) 등을 이용하여 3D 모델 데이터를 정렬시킬 수 있다.
리-오리엔테이션 단계(S10)는 제1 학습 단계에서 수행될 시 하기의 제2 학습 단계의 결괏값을 피드백 받아 교합 2D 이미지를 항상 정해진 시점으로 얻을 수 있도록 오토 좌표가 자동으로 부여될 수 있다. 제2 학습 단계는 3D 이미지 데이터를 기반으로 인공신경망 학습을 수행하는 단계이며, 이 과정에서 3D 이미지의 교합과 정렬을 위한 좌표들과 추후 라벨링 설정을 위한 특정 치아의 위치를 자동으로 추출할 수 있도록 학습하는 단계가 될 수 있다. 이러한 정렬 정보와 라벨링을 위한 좌표 정보는 제1 학습 단계의 전처리 과정에서 인용되기에 유용하다. 그러나 제1 학습 단계는 제2 학습 단계의 정보가 반드시 피드백 됨을 요하지 않으며, 전문의가 설정한 지점을 기반으로 정렬 및 라벨링이 되어도 무방하다.
리-오리엔테이션 단계(S10)는 3D 모델의 스캔 데이터에서 양측 대구치와 앞니를 기준으로 동일한 위치로 상악과 하악을 교합시킨 후, 지정된 방향으로 정렬시켜 항상 정해진 시점으로 2D 이미지를 얻을 수 있도록 하는 작업이다.
리-오리엔테이션 단계(S10)의 수행 이후 정렬된 3D 모델 데이터로부터 정해진 시점의 2D 이미지들을 추출하여 2D 이미지의 조합으로 학습을 위한 2D 교합 이미지를 생성하는 단계가 수행될 수 있다. 이 과정에서, 후술하게 될 라벨링 단계(S30)가 함께 수행될 수 있다.
기존의 전이 학습이 가능한 CNN 기반의 인공신경망을 사용하기 위해서는 3D 모델의 스캔 데이터로부터 전문의가 부정교합의 정확한 판정을 내릴 수 있는 시점의 치아의 교합 2D 이미지들이 요구된다. 본 실시예에 따른 리-오리엔테이션 단계(S10) 및 이후의 2D 교합 이미지를 생성하는 단계의 수행으로, 상악과 하악이 맞물린 3D 모델의 스캔 데이터에서 대구치로부터 앞니에 이르는 치아의 측 단면이 표현된 시점의 2D 이미지가 추출된다. 2D 이미지를 추출하는 특정 시점은 치아의 교합 면을 시상면(sagittal plane)을 기준으로 양 측면에서 바라본 단면도가 될 수 있다. 이에 따라, 2D 교합 이미지를 생성하는 단계에서 좌측 단면과 우측 단면인 최소 2장의 2D 이미지 데이터를 생성한다.
다른 실시예로, 2D 교합 이미지를 생성하는 단계는 정렬된 3D 모델 데이터로부터, 특정 각도(N개)에서 바라본 단면의 2D 이미지를 그레이 스케일로 변환하여 2D 교합 이미지를 생성할 수 있다. 여기서 특정 각도는 3개 내지 4개의 각도가 될 수 있으며, 2D 이미지는 해당 각도에서 바라본 3장 내지 4장의 2D 교합 이미지가 될 수 있다. 본 실시예로, 3D 모델 데이터를 20°, 50°, 70°에서 바라본 각 단면을 그레이 스케일의 2D 이미지로 추출하여 학습 대상인 교합 이미지 조합으로 할 수 있다. 또한, 이는 좌우에 대해 수행하여 (20, 50, 70)의 시점의 그레이 스케일 이미지를 RGB정보 대신 채널 데이터로 갖는 2D 이미지 데이터와 (-20, -50, -70)의 시점의 그레이 스케일 이미지 각각을 채널 데이터로 갖는 다채널의 2D 이미지 데이터를 추출할 수 있다. 전이학습이 가능한 CNN 기반 인공신경망의 경우, 최대 4개의 채널이 지원되므로 적용하고자 하는 CNN 기반 인공신경망에 맞춰 사용할 시점의 각도가 정해질 수 있다.
(b)단계(S30)는 라벨링 단계로서 교합 이미지에서 부정교합 분류를 위한 라벨을 설정하는 단계로, 원-핫 인코딩(one-hot encoding)으로 앵글 클래스(Angle’s classification)에 기반한 제1 라벨(S31)을 설정하고, 제1 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 부여한 숫자 값을 가지는 제2 라벨(S33)과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨(S35)을 설정할 수 있다.
(b)단계(S30)는 제2 라벨(S33)은 전문가의 개입 혹은 영상처리 기술 등의 개입이 필요한 제3 라벨(S35)과 달리 제1 라벨(S31)의 분류에서 상악과 하악의 상대적 위치를 3가지로 분류한 데이터 값만으로 설정할 수 있다. (b)단계(S30)는 제3 라벨(S35)이 교합 이미지에서 상악 대구지와 하악 대구치의 특정 포인트의 거리를 픽셀 기반으로 수치화한 데이터로 설정할 수 있다. 본 실시예로, 제3 라벨(S35)은 교합 이미지에서, 상악 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈을 거리 산출의 기준점인 특정 포인트로 할 수 있다.
(b)단계(S30)는 학습 대상이 되는 교합 3D 스캔 데이터에 다중 라벨을 부여하는 단계이다. 본 실시예로, (b)단계(S30)는 3가지의 라벨을 제안한다. 제1 라벨(S31)은 앵글 클래스 값이 될 수 있다. 제1 라벨(S31)은 상악 제1 대구치의 근심협측 교두가 하악 제1 대구치의 근심협측에 접촉하는 경우 클래스 1으로 분류할 수 있다. 제1 라벨(S31)은 상악 제1 대구치보다 하악 제1 대구치가 뒤쪽으로 위치하여 골격적으로 상악이 상대적으로 하악보다 전방에 위치한 경우 클래스 2로 분류할 수 있다. 제1 라벨(S31)은 상악 제1 대구치보다 하악 제1 대구치가 앞쪽에 위치하고 있으며, 골격적으로 하악이 상대적으로 상악보다 전방에 위치하는 경우 클래스 3으로 분류할 수 있다. 각각의 클래스 1 내지 3은 원-핫 인코딩으로 값이 부여되어 라벨 데이터를 형성할 수 있다.
제2 라벨(S33)은 앵글 클래스 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 가지는 숫자 값이 부여된 라벨로 이해될 수 있다. 본 실시예로, 제2 라벨(S33)은 Pseudo distance label이라 부른다. 제2 라벨(S33)은 일종의 가상의 거리 관계로 데이터를 부여하는 라벨이며 상악과 하악의 상대적 위치에 따른 순서를 가지는 숫자 값으로 표현하여 라벨 데이터를 생성할 수 있다. 제 1라벨에서는 클래스를 분류할 뿐 원-핫 인코딩을 사용하여 클래스 간의 어떠한 순서 정보가 없는 것과 달리 제2 라벨(S33)은 상악과 하악의 상대적 위치에 따른 순서에 대한 정보가 라벨에 포함된다. 구체적으로, 제2 라벨(S33)은 상악과 하악의 상대적 위치를 -1, 0, +1의 순서를 가지는 데이터 값으로 표현할 수 있다. 제1 라벨(S31)에서 클래스 1로 분류된 경우, 제2 라벨(S33)은 0으로 설정될 수 있다. 제1 라벨(S31)에서 클래스 2로 분류된 경우, 제2 라벨(S33)은 +1로 설정될 수 있다. 제1 라벨(S31)에서 클래스 3으로 분류된 경우, 제2 라벨(S33)은-1로 설정될 수 있다. 이 경우, 상악이 하악보다 앞에 위치할 양수의 값을 뒤로 위치할 경우 음수의 값을 가지도록 하여 regression 문제에 대한 학습 기법을 사용할 수 있게 한다.
제2 라벨(S33)은 앵글 클래스로부터 직접 산출된 일종의 Pseudo 거리이며, 데이터가 적은 교합 이미지의 학습 성능을 향상시키기 위한 다중 라벨 중 하나이며, 제1 라벨(S31)과 제2 라벨(S33)은 각각 다중 출력으로 사용되거나 직렬로 연결하여 학습된다. 제2 라벨(S33)은 후술하게 될 제3 라벨(S35)의 작업이 용이하지 않은 경우, 앵글 클래스의 상악과 하악의 상대적 위치 정보로 실측 거리를 대체하여 사용이 가능하며 상악과 하악의 상대적 위치 정보를 사전 정보로 제공함으로서 적은 데이터에서 빠른 학습 및 보다 높은 성능을 가능케 한다. 제2 라벨(S33)은 제3 라벨(S35)의 대체제로서 기능할 수도 있으며, 동시에도 사용 가능하다. 제1 라벨(S31)에 제2 라벨(S33)과 제3 라벨(S35)을 함께 사용할 경우, 각각의 라벨을 부정교합 클래스의 원-핫 인코딩의 제1 라벨(S31)과 사용한 경우보다 보다 높은 정확도의 분류가 가능하다. 참고로 이와 같은 경향은 학습 데이터의 크기가 작을수록 두드러진다.
제3 라벨(S35)은 상악과 하악의 특정 치아의 실측된 거리에 관한 라벨 데이터를 의미한다. 본 실시예로, 제3 라벨(S35)은 Measured distance label이 될 수 있다. 제3 라벨(S35)은 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈의 거리(the mesiobuccal cusp of the maxillary first molar and the buccal groove of the mandibular first molar) 데이터일 수 있다.
도 2를 참조하면, 제3 라벨(S35)의 거리 측정을 위한 특정 포인트의 타겟을 빨간색 박스로 표현하였다. 제3 라벨(S35)은 전문의가 3D 모델 데이터 또는 2D의 교합 이미지 상에서 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈을 직접 포인트로 설정할 수도 있으나, 기존의 다른 영상처리 기술들로 제1 대구치의 학습된 정보로 각 포인트가 자동으로 설정될 수도 있다. 이 과정에서 하기의 제2 학습 단계의 결과가 인용될 수 있다.
제1 대구치의 양측 포인트가 설정되면 제3 라벨은 이미지 상에서의 픽셀 값을 기반으로 거리를 실측할 수 있다. (b)단계(S30)는 이상의 라벨링 단계를 수행하여 3D 모델 데이터에 해당 라벨 셋을 부여한다.
(c)단계(S50)는 학습 단계로서, 제1 라벨(S31)에는 다중 분류에서 사용되는 제1 손실함수가 설정되고, 제2 라벨(S33)과 제3 라벨(S35)은 회귀(regression)의 제2 손실함수가 설정되어, 이종(異種)의 손실함수들에 가중치를 부여하여 다항식으로 조합한 최종 손실함수를 갖고, 상기 최종 손실함수 기반으로 인공신경망 모델에 대해 정렬된 3D 모델 데이터로부터 추출된 2D 교합 이미지의 앵글 클래스 분류를 학습할 수 있다.
(c)단계(S50)의 학습으로, 추후 사용자가 사용하게 되는 추론 단계에서는 기존의 STL 포맷인 3D 모델 데이터의 입력시 앵글 클래스가 자동으로 분류될 수 있으며, 분류된 클래스의 정확도 관련 정량적 데이터도 산출되어 정확도 관련 지표가 함께 표현될 수 있다.
제1 손실함수로 분류 문제에 주로 사용되는 크로스-엔트로피(cross-entropy)를 사용할 수 있다. 본 실시예로, 제1 라벨(S31)에 대한 손실함수는 하기의 [수학식 1]로 표현될 수 있다.
[수학식 1]
여기서, α는 해당 손실함수의 가중치이고, N은 데이터 개수이며, C는 클래스 개수이고, Lij는 샘플 i가 클래스 j인지를 나타내는 라벨(0 또는 1)이고, Pij는 샘플 i가 클래스 j에 해당할 확률 값(0~1)을 의미한다.
제2 손실함수는 회귀(regression)에서 사용되는 MSE(mean square error)가 될 수 있다. 제2 손실함수는 제2 라벨(S33) 및 제3 라벨(S35)의 손실함수로 설정될 수 있다. 본 실시예로, 제2 라벨(S33)에 대한 제2 손실함수는 하기의 [수학식 2]로 표현될 수 있다.
[수학식 2]
여기서, β는 손실함수의 가중치 값이고, N은 데이터 샘플 개수이며, yi는 Pseudo distance i번째 샘플의 예측값이고, ti는 Pseudo distance i번째 샘플의 라벨값을 의미한다.
본 실시예로, 제3 라벨(S35)에 대한 제2 손실함수는 하기의 [수학식 3]로 표현될 수 있다.
[수학식 3]
여기서, γ는 손실함수의 가중치 값이고, N은 데이터 샘플 개수이며, Zi는 Measured distance i번째 샘플의 예측값이고, li는 Measured distance i번째 샘플의 라벨값을 의미한다.
본 실시예에 따른 인공신경망의 손실함수는 제1 손실함수 및 제2 손실함수를 항으로 가지는 다항식으로 표현될 수 있다. 본 실시예에 따른 인공신경망의 손실함수는 하기의 [수학식 4]로 표현될 수 있다.
[수학식 4]
전체 손실함수 L은 전술한 수학식 1 내지 3의 손실함수가 조합된 다항식으로 표현될 수 있다. 본 실시예로, 가중치 α, β, γ는 α, β > γ 의 관계가 성립될 수 있다. 바람직하게 α, β 는 1로 γ는 1보다 작게 설정될 수 있다. 그 이유로, 제3 라벨(S35)은 실측 데이터로서 데이터 수치의 스케일이 제1 라벨(S31) 및 제2 라벨(S33)보다 크게 형성되므로, 스케일을 맞추기 위해 가중치가 1 이하의 값으로 설정될 수 있다.
(c)단계(S50)는 전이 학습을 사용한 백본 네트워크 학습 단계(S51)와 다중 출력 네트워크 학습 단계(S53)를 포함할 수 있다.
백본 네트워크 학습 단계(S51)는 기존의 충분한 학습 데이터로 사전 훈련된 합성곱 신경망(CNN) 기반의 모델을 사용한다. CNN 기반 모델은 하나 또는 여러 개의 콘볼루션 계층들로 구성된 심층 신경망(DNN)의 한 종류이다. CNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 전이 학습이 가능한 여러 버전이 제공되고 있어서 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되고 있다. 본 실시예에 따른 인공신경망 기반 부정교합 분류 학습 모델은 전술한 전처리를 통해 학습 대상 이미지가 2D로 전환되었으므로, 기존의 CNN 모델 및 특징 벡터를 사용하기에 유리하다.
다만, 본 실시예에 따른 부정교합 분류 학습 모델은 다중 라벨이 설정되기 때문에 다중 출력 구조를 형성함이 바람직하다. 이에 백본 네트워크 모델의 수행 이후, 드롭아웃 레이어가 병렬로 분할되고 손실함수의 조합에 따라 다중 출력의 네트워크를 구성하여 학습한다.
다중 출력 네트워크 학습 단계(S53)는 제1 라벨(S31)에 대응하는 제1 출력과, 제2 라벨(S33)에 대응하는 제2 출력과, 제3 라벨(S35)에 대응하는 제3 출력의 다중 학습 결과를 갖도록 이종(異種)의 손실함수가 직렬 또는 병렬로 조합된 다중 출력의 인경신경망이 구성된다.
본 실시예로, 학습 단계(S50)에서 수행되는 CNN 기반의 다중 출력 인공신경망의 학습은 제2 라벨(S33) 또는 제3 라벨(S35)의 출력단과 제1 라벨(S31)의 출력단이 직렬로 연결될 수 있다. 학습 단계(S50)는 학습되는 인공신경망이 제1 라벨(S31)의 출력단과 제2 라벨(S33)의 출력단이 직렬로 연결된 경우, 제3 라벨(S35) 의 출력단은 제1 라벨(S31) 및 제2 라벨(S33)의 출력단과 병렬로 연결되어 구성될 수 있다.
학습 단계(S50)는 학습되는 인공신경망이 제1 라벨(S31)의 출력단과 제3 라벨(S35)의 출력단이 직렬로 연결된 경우, 제2 라벨(S33)은 제1 라벨(S31) 및 제3 라벨(S35)의 출력단과 병렬로 연결되어 구성될 수 있다.
본 실시예로, 다중 출력 네트워크의 상기 출력단 직/병렬 조합은 다음과 같이 요약될 수 있다. 다중 라벨의 효과를 극대화하는 네트워크 구조로서, 제3 라벨(S35)은 measured distance이며, 대응하는 회귀 출력이 병렬로 놓이는 것보다 직렬로 제1 라벨(S31) 출력과 연결되는 것이 효과적이다. 제2 라벨(S33) 또한 일종의 distance로 다룰 수 있는 Pseudo distance 값으로 제3 라벨(S35)과 마찬가지로 대응하는 회귀 출력이 병렬로 처리하는 것보다 제1 라벨(S31) 출력과 직렬 연결하는 것이 효과적이다. 이러한 회귀 구조의 한 실시예로, 도 2에서는 제1 라벨(S31)인 앵글 클래스 분류와 제2 라벨(S33)인 Pseudo distance의 출력이 직렬로 연결되었다. 또한, 제3 라벨(S35)은 별도의 레이어의 출력으로 제1 라벨(S31) 및 제2 라벨(S33)과 병렬 관계를 갖고 최종 손실함수에서 제3 라벨(S35)의 손실함수 값을 통해 제1 라벨(S31) 출력에 영향을 미친다.
도 2에서는 다중 출력 네트워크의 상기 출력단 직/병렬 조합의 바람직한 실시예를 도시하였으나, 다른 실시예로 다음과 같이 다른 종류의 네트워크 구조 타입이 형성될 수 있다.
도 3은 제1 출력과 제3 출력이 조합된 인공신경망의 다른 실시예를 나타낸다. 도 3의 실시예는, 전술한 백본 네트워크(S51)의 수행 이후, 제1 출력과 제3 출력이 병렬로 연결된 네트워크를 개시한다. 본 실시예는 제1 출력과 다른 다중 라벨이 병렬로 연결된 것으로 제2 출력이 병렬로 연결된 네트워크 구조를 포함할 수 있다.
도 4는 제1 출력과 제2 출력이 조합된 인공신경망의 다른 실시예를 나타낸다. 도 4의 실시예는 전술한 백본 네트워크(S51)의 수행 이후, 제1 출력과 제2 출력이 직렬로 연결된 인공신경망을 개시한다. 여기서, 네트워크의 직렬 구조는 제2 출력의 수행 이후 제1 출력의 학습이 이루어지도록 한다. 본 실시예는 제1 출력과 다른 다중 출력이 직렬로 연결된 것으로, 제3 출력이 제1 출력과 직렬로 연결된 네트워크 구조를 포함할 수 있다.
도 5는 제1 출력과 제3 출력이 직렬로 연결되고, 제2 출력이 병렬로 연결된 인공신경망의 다른 실시예를 나타낸다. 도 5의 실시예는 전술한 백본 네트워크(S51)의 수행 이후, 제3 출력과 제2 출력이 병렬로 분기되고, 제3 출력의 학습 결과가 제1 출력과 직렬로 연결된 네트워크 구조를 개시한다.
도 6은 본 발명의 다른 실시예에 따른 블랜딩 모델을 적용한 인공신경망 기반 부정교합 분류 방법의 개요도를 나타낸다.
제2 학습 단계는 3D 이미지 데이터의 정렬된 교합 이미지 생성을 위하여, 포인트 클라우드 넷 모델로 자동 방향을 조절하는 오토 좌표를 부여하고 교합을 위한 특징 벡터를 추출하는 포인트 학습을 수행할 수 있다.
제2 학습 단계는 상악과 하악의 치아를 3D 스캔으로 획득한 3D 이미지 데이터로부터 부정교합 분류를 학습하는 네트워크를 포함한다. 제2 학습은 3D 이미지 데이터를 포인트 클라우트 넷 모델로 특징 벡터를 학습할 수 있다. 바람직하게, 제2 학습은 3D 이미지 데이터에서 오토 좌표를 부여하여 자동 방향을 조절하는 리-오리엔테이션 학습과, 교합된 상악과 하악의 치아 거리 산출을 위한 기준점 좌표를 부여하는 포인트 학습을 수행하는 단계를 포함할 수 있다. 제2 학습의 리-오리엔테이션 학습과 치아 거리 산출을 위한 기준점 좌표 부여의 포인트 학습의 결과는 제1 학습의 2D 이미지 데이터에 결괏값을 연동하여, 2D의 치아 교합 이미지 상에 학습 결과 좌표를 적용할 수 있다.
제3 학습 단계는 환자의 얼굴형이 촬영된 이미지 데이터를 진단 보조 수단으로 학습할 수 있다. 제3 학습은 facial image 학습으로, 진단 보조 수단인 환자의 상악과 하악의 얼굴형을 학습한다. 제3 학습은 진단 보조수단으로 다른 분류 AI 네트워크인 제1 학습과 제2 학습에 연동됨에 따라 부정교합 분류의 학습 성능을 향상시킬 수 있다. 제3 학습은 익명화 처리가 완료된 환자의 좌측 사진, 정면 사진, 웃는 사진을 통해 CNN 모델로 기계 학습을 수행하여 특징 벡터를 얻어낼 수 있다.
앙상블 단계는 상기 제1 내지 3 학습 단계의 학습 결과를 블랜더 네트워크를 통해 통합 학습하여 환자의 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출될 수 있다. 앙상블 모델로는 블랜더 또는 스태킹 기법이 적용될 수 있다. 본 실시예로, 블랜더 네트워크는 3D인 STL 포맷의 파일에서 6개의 DOF(degree of freedom)를 추출하여 리-오리엔테이션을 진행하고, 2D view generation을 수행하여 CNN 모델을 통해 최종 특징 벡터를 생성한다. 이때, STL 파일에서 바로 포인트 클라우드 데이터로 3D 포인트 클라우드 넷을 통해 특징 벡터를 생성할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
S10: 리-오리엔테이션 단계
S30: 라벨링 단계
S31: 제1 라벨링 단계
S33: 제2 라벨링 단계
S35: 제3 라벨링 단계
S50: 학습 단계
S51: 백본 네트워크 학습 단계
S53: 다중 출력 인공신경망 모델 학습 단계

Claims (14)

  1. 연산장치에 의해 수행되는 인공신경망 기반 부정교합 분류 방법에 있어서,
    상악과 하악의 치아가 스캔된 3D 이미지 데이터를 2D 교합 이미지 데이터로 전처리하여 앵글 클래스(Angle’s classification)에 기반한 제1 라벨과, 상기 제1 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 부여한 제2 라벨과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정하여 인공신경망으로 상기 2D 교합 이미지의 앵글 클래스 분류를 학습하는 제1 학습 단계;
    상기 3D 이미지 데이터의 정렬된 교합 이미지 생성을 위하여, 포인트 클라우드 넷 모델로 자동 방향을 조절하는 오토 좌표를 부여하고 교합을 위한 특징 벡터를 추출하는 포인트 학습을 수행하는 제2 학습 단계;
    환자의 얼굴형이 촬영된 이미지 데이터를 진단 보조 수단으로 학습하는 제3 학습 단계; 및
    상기 제1 내지 3 학습 단계의 학습 결과를 블랜더 네트워크를 통해 통합 학습하여 환자의 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출되는 앙상블 단계를 포함하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  2. 제 1 항에 있어서,
    상기 제1 학습 단계는,
    상기 3D 모델 데이터로부터, 특정 각도(N개)에서 바라본 단면의 2D 이미지를 그레이 스케일로 변환하여 상기 2D 교합 이미지를 생성하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  3. 제 1 항에 있어서,
    상기 제1 학습 단계는,
    상기 제2 라벨이 상기 제1 라벨의 분류에서 상악과 하악의 상대적 위치를 연속변수로 지정한 데이터 값으로 표현하여 회귀(regression) 라벨로 생성하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  4. 제 1 항에 있어서,
    상기 제1 학습 단계는,
    상기 제3 라벨이 상기 3D 모델 데이터로부터, 상악 대구지와 하악 대구치의 특정 포인트의 거리를 픽셀 기반으로 수치화한 데이터인 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  5. 제 4 항에 있어서,
    상기 제3 라벨은,
    상기 3D 모델 데이터에서, 상악 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈을 거리 산출의 기준점인 특정 포인트로 하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  6. 제 1 항에 있어서,
    상기 제1 학습 단계는,
    합성곱 신경망(CNN) 모델을 특징 추출(Feature extraction)을 위한 백본 네트워크로 하고,
    상기 제1 라벨에 대응하는 제1 출력과, 상기 제2 라벨에 대응하는 제2 출력과, 상기 제3 라벨에 대응하는 제3 출력의 다중 출력을 갖도록 하고, 상기 제1 내지 3 출력이 직렬 또는 병렬로 조합된 다중 출력의 인공신경망이 구성되며,
    상기 인공신경망의 상기 최종 손실함수를 최소화하기 위한 모델 파라메터 업데이트를 수행하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  7. 제 6 항에 있어서,
    상기 제1 학습 단계는,
    상기 인공신경망이,
    상기 제2 출력 또는 상기 제3 출력과 상기 제1 출력이 직렬로 연결된 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  8. 제 6 항에 있어서,
    상기 제1 학습 단계는,
    상기 인공신경망이,
    상기 제1 출력과 상기 제2 출력이 직렬로 연결된 경우, 상기 제3 출력은 상기 제1 출력 및 상기 제2 출력과 병렬로 연결된 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  9. 제 6 항에 있어서,
    상기 제1 학습 단계는,
    상기 인공신경망이,
    상기 제1 출력과 상기 제3 출력이 직렬로 연결된 경우, 상기 제2 출력은 상기 제1 출력 및 상기 제3 출력과 병렬로 연결된 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  10. 제 1 항에 있어서,
    제2 학습 단계는,
    리-오리엔테이션으로 정렬된 2D 이미지를 생성하기 위해 상악과 하악에 각각 좌우의 대구치와 앞니 중앙부의 좌표를 설정하여 학습하고, 특징 벡터로 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈의 좌표를 학습하고,
    학습된 리-오리엔테이션의 정보를 상기 제1 학습 단계로 전송하여 상기 제1 학습 단계에서 상기 리-오리엔테이션의 정보를 이용하여 상기 2D 교합 이미지의 전처리를 수행하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  11. 제 10 항에 있어서,
    제2 학습 단계는,
    상기 제1 학습 단계에서 부여되는 제1 내지 3 라벨을 상기 3D 이미지 데이터에 부여하여, 상기 3D 이미지 데이터로 포인트 클라우드 넷 모델을 이용하여 앵글 클래스 분류를 학습하고,
    상기 3D 이미지 데이터로 학습된 결과를 상기 블랜더 네트워크로 전송하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  12. 제 1 항에 있어서,
    상기 제3 학습 단계는,
    환자의 얼굴형이 촬영된 복수 개의 이미지 데이터를 CNN으로 학습하여 환자의 얼굴형 및 하악 구조의 특징 벡터를 학습하고,
    상기 앙상블 단계는,
    블랜딩 모델을 통해 상기 제3 학습 단계로 예측된 얼굴형 및 하악 구조의 특징 벡터를 통합 반영하여 부정교합 분류의 최종 학습 스코어를 산출하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 방법.
  13. 연산장치에 의해 수행되는 인공신경망 기반 부정교합 분류 애플리케이션에 있어서,
    상악과 하악의 치아가 스캔된 3D 이미지 데이터를 2D 교합 이미지 데이터로 전처리하여 앵글 클래스(Angle’s classification)에 기반한 제1 라벨과, 상기 제1 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 부여한 제2 라벨과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정하여 인공신경망으로 상기 2D 교합 이미지의 앵글 클래스 분류를 학습하는 제1 학습 기능;
    상기 3D 이미지 데이터의 정렬된 교합 이미지 생성을 위하여, 포인트 클라우드 넷 모델로 자동 방향을 조절하는 오토 좌표를 부여하고 교합을 위한 특징 벡터를 추출하는 포인트 학습을 수행하는 제2 학습 기능;
    환자의 얼굴형이 촬영된 이미지 데이터를 진단 보조 수단으로 학습하는 제3 학습 기능; 및
    상기 제1 내지 3 학습 단계의 학습 결과를 블랜더 네트워크를 통해 통합 학습하여 환자의 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출되는 앙상블 기능을 실행시키기 위하여 매체에 저장된 것을 특징으로 하는 인공신경망 기반 부정교합 분류 애플리케이션.
  14. 제 13 항에 있어서,
    상기 제1 학습 기능은,
    상기 제1 라벨에는 다중 분류에서 사용되는 제1 손실함수가 설정되고, 상기 제2 라벨과 상기 제3 라벨은 회귀(regression)의 제2 손실함수가 설정되어, 이종(異種)의 손실함수가 다항식으로 표현된 최종 손실함수를 갖고, 상기 최종 손실함수 기반의 학습 네트워크로 상기 교합 이미지의 앵글 클래스 분류를 학습하는 것을 특징으로 하는 인공신경망 기반 부정교합 분류 애플리케이션.
KR1020220065182A 2022-05-27 2022-05-27 앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션 KR20230165454A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220065182A KR20230165454A (ko) 2022-05-27 2022-05-27 앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220065182A KR20230165454A (ko) 2022-05-27 2022-05-27 앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션

Publications (1)

Publication Number Publication Date
KR20230165454A true KR20230165454A (ko) 2023-12-05

Family

ID=89157301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220065182A KR20230165454A (ko) 2022-05-27 2022-05-27 앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션

Country Status (1)

Country Link
KR (1) KR20230165454A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070255B1 (ko) 2019-06-07 2020-01-28 주식회사 티비헬스케어 복수의 치아의 분류 코드 유사도에 기초하여 부정교합을 결정하는 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070255B1 (ko) 2019-06-07 2020-01-28 주식회사 티비헬스케어 복수의 치아의 분류 코드 유사도에 기초하여 부정교합을 결정하는 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11790643B2 (en) Deep learning for tooth detection and evaluation
US20220218449A1 (en) Dental cad automation using deep learning
US11810271B2 (en) Domain specific image quality assessment
US11972572B2 (en) Intraoral scanning system with excess material removal based on machine learning
US20240000545A1 (en) Smile prediction
US11928832B2 (en) Intraoral scanning system that removes excessive materials from intraoral scans
US11087871B2 (en) Method for predicting anatomical landmarks and device for predicting anatomical landmarks using the same
JP2019162426A (ja) ディープラーニングを用いた歯科用ｃａｄの自動化
KR102462185B1 (ko) 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
US11250580B2 (en) Method, system and computer readable storage media for registering intraoral measurements
CN111685899A (zh) 基于口内图像和三维模型的牙齿正畸治疗监测方法
US20230206451A1 (en) Method for automatic segmentation of a dental arch
KR20230165454A (ko) 앙상블 기술을 이용한 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션
KR20230116500A (ko) 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션
EP4307229A1 (en) Method and system for tooth pose estimation
Zdravković et al. Tooth detection with small panoramic radiograph images datasets and Faster RCNN model
Lins et al. Use Of Support Vector Machine For Teeth Recognition From Occlusal Intraoral Digital Photographic Images
Dhar et al. A Deep Learning Approach to Teeth Segmentation and Orientation from Panoramic X-rays
WO2024097673A1 (en) Dental treatment video
KR20240025109A (ko) 인공지능 기반 크라운 디자인 자동화 방법 및 시스템
Huang et al. Exploring Tooth Segmentation Techniques Based on the BiSeNet Model
CN116975779A (zh) 基于神经网络的口腔全景片特征识别方法、系统及终端
CN117999615A (zh) 牙科修复工作流程中的自动牙齿管理
WO2023274622A1 (en) Dental procedures
WO2023156447A1 (en) Method of generating a training data set for determining periodontal structures of a patient

Legal Events

Date Code Title Description
E902 Notification of reason for refusal