WO2021157966A1 - 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 - Google Patents

딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 Download PDF

Info

Publication number
WO2021157966A1
WO2021157966A1 PCT/KR2021/001239 KR2021001239W WO2021157966A1 WO 2021157966 A1 WO2021157966 A1 WO 2021157966A1 KR 2021001239 W KR2021001239 W KR 2021001239W WO 2021157966 A1 WO2021157966 A1 WO 2021157966A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
surgical treatment
tooth
treatment
orthodontic
Prior art date
Application number
PCT/KR2021/001239
Other languages
English (en)
French (fr)
Inventor
김예현
Original Assignee
(주)어셈블써클
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)어셈블써클 filed Critical (주)어셈블써클
Publication of WO2021157966A1 publication Critical patent/WO2021157966A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones

Definitions

  • malocclusion a state in which the dentition is not aligned and the upper and lower teeth occlusion is abnormal is called malocclusion.
  • Such malocclusion may cause functional problems such as mastication and pronunciation problems and aesthetic problems on the face, as well as health problems such as tooth decay and gum disease.
  • an important part may be to determine a treatment plan.
  • the determination of whether to extract, furthermore, the treatment plan establishment step of determining the tooth to be extracted may be very important.
  • a poor treatment plan may cause failure of anchorage control, abnormal inclination of anterior teeth, improper occlusion, inadequate horizontal overjet and overbite of teeth, and difficulty in occlusion of the extraction space. It can cause problems.
  • the inventors of the present invention paid attention to artificial intelligence technology that is being used in various fields such as classification, face recognition, and character recognition as a way to solve the above problems.
  • the inventors of the present invention derive measurement values by taking specific landmarks from the standard radiographic image of the lateral head, and derive the measurement values by performing model analysis from the oral model. could be expected to do.
  • predicting the lateral facial region may include predicting the coordinates of the lateral facial region in the lateral head medical image by using the lateral facial region prediction model.
  • predicting the parafacial area or the tooth area may include predicting the tooth area using a tooth area prediction model configured to predict the tooth area in the intraoral image.
  • the step of classifying the surgical treatment or the non-surgical treatment may include classifying the necessary treatment for the subject as a surgical treatment or a non-surgical treatment based on the tooth area.
  • the step of classifying the surgical treatment or the non-surgical treatment includes an orthodontic classification model configured to classify the necessary treatment as a surgical treatment or a non-surgical treatment based on the parafacial region or the tooth region. It may include the step of classifying the necessary treatment for the subject by using the.
  • the orthodontic classification model may be further configured to classify a necessary treatment into a surgical treatment or a non-surgical treatment based on the parafacial region and the tooth region.
  • the orthodontic classification model includes two independent feature extraction layers, configured to extract features, and a fusion layer that integrates two features extracted from the two feature extraction layers. fusion layer).
  • the method may further include, after the step of predicting the lateral facial region or the tooth region, generating a box including the lateral facial region or the tooth region.
  • the non-surgical treatment includes non-extraction correction, upper and lower first premolar extraction correction, upper and lower second premolar extraction correction, maxilla first premolar extraction correction, and maxilla first premolar mandibular second premolar extraction correction. may be at least one of
  • the method may further include receiving a selection input for a sample tooth region within the image, and generating a paratrophic medical image for training based on the coordinates of the sample parafacial region or the coordinates of the sample tooth region and the sample paracephalometric medical image.
  • the method may further include determining a treatment plan for the subject.
  • the device includes a receiving unit configured to receive a paracephalometric medical image or an intraoral image of a subject, and a processor connected to the receiving unit.
  • the processor predicts a parafacial region or a dental region including a paratrophic region in the paratrophic medical image or intraoral image, and based on the paratrophic facial region or tooth region, a surgical treatment or non-surgical treatment required for the subject It is structured to classify treatments.
  • the processor predicts the lateral facial region using a lateral facial region prediction model configured to predict the lateral facial region within the lateral head medical image, and a necessary treatment for the subject based on the lateral facial region may be further configured to classify as surgical treatment or non-surgical treatment.
  • the processor predicts a tooth area using a tooth area prediction model configured to predict a tooth area in an intraoral image, and provides a surgical treatment or a necessary treatment for the subject based on the tooth area. It can be configured to classify as a non-surgical treatment.
  • the present invention provides an information providing system for orthodontics using a predictive model configured to predict a parafacial region and a dental region for each of the paracephalic medical images and/or intraoral images, and furthermore, a classification model configured to classify necessary treatments. There is an effect that can provide information for the orthodontic analysis of the subject.
  • the present invention provides information on orthodontic treatment by using a predictive model to classify and evaluate necessary treatments only with medical images, without the process of extracting measurement values from clinical data, which is an essential step in the conventional orthodontic analysis program. can do.
  • the present invention is to overcome the limitations of the conventional orthodontic system, which derives measurement values by taking specific landmarks from the standard radiographic image of the lateral head, and derives the measurement values by performing model analysis from the oral model, and performs diagnosis based on this.
  • the present invention can implement a system that provides information on orthodontics only with a lateral head medical image and/or an intraoral image, compared to the prior art using both a radiographic image, an intraoral image, an extraoral image, and an oral model.
  • the present invention has an effect of overcoming the limitations of the conventional orthodontic information providing system that is dependent on the knowledge and experience of the medical staff based on clinical data.
  • 1B exemplarily shows the configuration of a device for providing information on orthodontics according to an embodiment of the present invention.
  • Figure 2 shows a procedure of a method for providing information about orthodontics according to an embodiment of the present invention.
  • 3B exemplarily illustrates a procedure of a tooth area based on a tooth area prediction model in a method for providing information on orthodontics according to an embodiment of the present invention.
  • FIG. 5 exemplarily illustrates a pre-processing procedure of a lateral facial region and a tooth region in a method for providing orthodontic information according to an embodiment of the present invention.
  • the term “lateral head medical image” may refer to all images including a side view of a subject received from a medical imaging apparatus.
  • the lateral head medical image disclosed herein may be a lateral head standard radiographic image, but is not limited thereto.
  • the lateral head medical image may be a two-dimensional image, a three-dimensional image, a still image of one cut, or a moving image composed of a plurality of cuts.
  • the sidebar head medical image is a moving picture composed of a plurality of cuts
  • the sideface facial region for each of the plurality of sidehead head medical images may be predicted according to the orthodontic information providing method according to an embodiment of the present invention.
  • the lateral head medical image may include a lateral facial region including a lateral facial region.
  • the intraoral image may include a tooth area for the incisors, canines, premolars, and molars of the upper jaw and/or a tooth area for at least one of the incisors, canines, premolars, and molars of the lower teeth.
  • the tooth region may be a tooth region for the incisors, canines, premolars, and molars of the upper teeth and/or regions for the plurality of teeth of the incisors, canines, premolars, and molars of the lower teeth.
  • the arrangement of the tooth region may reflect the characteristics of the examinee's dentition.
  • the term "paralateral facial region prediction model” may be a model configured to predict a paratrophic facial region including a lateral facial region, which is a target region to be measured for orthodontic treatment with respect to a lateral head medical image.
  • the lateral facial region prediction model may be a faster R-CNN trained to predict the lateral facial region within the lateral head medical image.
  • the lateral facial region prediction model receives a lateral head medical image for training in which the coordinates of the lateral facial region are predetermined, and sets the lateral facial region as a region of interest in the lateral head medical image for training based on the coordinates of the lateral facial region. It can be a model trained to predict.
  • the lateral facial region prediction model is not limited thereto and may be based on more various image segmentation algorithms.
  • the lateral facial region may have different pixel values and textures from other regions, for example, the background region. Accordingly, the lateral facial region prediction model may predict the lateral facial region based on a pixel value or a texture.
  • the term "tooth region prediction model” may be a model configured to predict a plurality of tooth regions of a subject corresponding to upper and lower teeth, which is a target region to be measured for orthodontic treatment with respect to a paracephalometric medical image.
  • the tooth area prediction model may be a faster R-CNN trained to predict a tooth area within an intraoral image. More specifically, the tooth area prediction model receives an intraoral image for learning in which the coordinates of these areas are predetermined for each of the incisors, canines, premolars, and molars of the upper and lower teeth, and the coordinates of the predetermined tooth area are received. It may be a model trained to predict a tooth region as a region of interest in an intraoral image for learning based on it.
  • the tooth region prediction model is not limited thereto and may be based on more various image segmentation algorithms.
  • the tooth region may have different pixel values and textures from other regions, for example, background regions such as lips and tongue. Accordingly, the tooth region prediction model may predict the tooth region based on a pixel value or texture.
  • the term “surgical treatment” refers to surgical orthodontic treatment, and may refer to orthognathic surgery. In this case, the surgical treatment may be determined based on the arrangement of the lateral facial region and/or the tooth region of the subject.
  • the surgical treatment may be at least one of orthodontic class 2 extraction surgery, orthodontic class 2 non-extraction surgery, orthodontic class 3 extraction surgery, and orthodontic class 3 non-extraction surgery.
  • non-surgical treatment may refer to non-surgical orthodontic correction, for example, correction using a bracket.
  • the non-surgical treatment may be determined based on the arrangement of the lateral facial region and/or the tooth region of the subject.
  • the non-surgical treatment includes at least one of non-extraction correction, upper and lower first premolar extraction correction, upper and lower second premolar extraction correction, maxilla first premolar extraction correction, and maxilla first premolar mandibular second premolar extraction correction.
  • non-extraction correction upper and lower first premolar extraction correction, upper and lower second premolar extraction correction, maxilla first premolar extraction correction, and maxilla first premolar mandibular second premolar extraction correction.
  • the term “orthodontic classification model” may be a model configured to classify surgical or non-surgical treatment required for a subject based on a parafacial region and/or a tooth region.
  • the orthodontic classification model may include at least one of orthodontic class 2 extraction surgery, orthodontic class 2 non-extraction surgery, orthodontic class 3 extraction surgery, and orthodontic class 3 non-extraction surgery required for the subject, from the images of the lateral facial region and the tooth region. It may be a model trained to probabilistically provide a diagnostic result of a surgical procedure.
  • the orthodontic classification model is, from the images of the lateral facial region and the tooth region, non-extraction correction, upper and lower first premolar extraction correction, upper and lower second premolar extraction correction, upper and lower first premolar extraction correction, and maxilla first premolar mandible. It may be a model trained to probabilistically provide a diagnostic result of at least one non-surgical treatment of 2 premolar extraction correction.
  • the orthodontic classification model is a fusion that integrates two features extracted from two feature extraction layers and two feature extraction layers configured to extract features for each of the input lateral facial region and tooth region. It may be formed of a fusion layer.
  • the orthodontic classification model may be a Two-Stream Convolutional Neural Network (CNN), but is not limited thereto.
  • the orthodontic classification model may include a first orthodontic classification model configured to classify a surgical or non-surgical treatment based on a parafacial region and a first orthodontic classification model configured to classify a surgical or non-surgical treatment based on a tooth region. It may be an ensemble model in which two independent models of the second orthodontic classification model are combined.
  • the orthodontic classification model has an initial learning rate of 0.01, a momentum of 0.9, a weight decay of 0.0005, and a dropout ( dropout), a learning factor value of 0.5 may be set.
  • learning factor values of parameters input for learning are not limited thereto.
  • 1A illustrates an orthodontic analysis system using a device for providing information on orthodontics according to an embodiment of the present invention.
  • 1B exemplarily shows the configuration of a device for providing information on orthodontics according to an embodiment of the present invention.
  • a lateral head medical image 210 may be acquired from a lateral head measurement radiography apparatus, and an intraoral image 220 of a subject may be acquired from the intraoral imaging apparatus.
  • the acquired medical image 200 of the paratrophic medical image 210 and/or the intraoral image 220 is received by the device 100 for providing orthodontic information according to an embodiment of the present invention.
  • the device 100 for providing information on orthodontics predicts a parafacial region and/or a tooth region in the received paratrophic medical image 210 and/or intraoral image 220 , and based on the predicted region The necessary surgical or non-surgical treatment is determined and provided for the subject.
  • the device 100 for providing information on orthodontics includes a receiving unit 110 , an input unit 120 , an output unit 130 , a storage unit 140 , and a processor 150 . do.
  • the receiver 110 may be configured to receive a lateral head medical image of the subject from the paracephalometric radiography apparatus or to receive an intraoral image of the subject from the intraoral imaging apparatus.
  • the lateral head medical image 210 obtained by the receiver 110 may be a lateral head standard radiographic image
  • the intraoral image 220 may be an RGB color image, but is not limited thereto.
  • the receiving unit 110 may be further configured to transmit the acquired paracephalometric medical image 210 and/or intraoral image 220 to the processor 150 to be described later.
  • the lateral head medical image 210 obtained through the receiver 110 may include a lateral facial region
  • the intraoral image 220 may include a plurality of tooth regions.
  • the input unit 120 may set the device 100 for providing information on orthodontics. Furthermore, the user may directly select a parafacial region and a tooth region with respect to each of the lateral head medical image 210 and the intraoral image 220 .
  • the input unit 120 may be a keyboard, a mouse, or a touch screen panel, but is not limited thereto.
  • the output unit 130 may visually display the lateral head medical image 210 and/or the intraoral image 220 obtained from the receiving unit 110 . Furthermore, the output unit 130 may be configured to display a parafacial region determined by the processor 150 in the paratrophic medical image 210 , and/or a plurality of tooth regions determined in the intraoral image 210 . . Furthermore, the output unit 130 may be configured to display information about a diagnosis necessary for the subject determined by the processor 150 . However, the present invention is not limited thereto, and the output unit 130 may be configured to display more various information determined by the processor 150 for orthodontic treatment of the examinee.
  • the storage unit 140 stores the medical image 200 of the subject acquired through the receiving unit 110, and stores the instruction of the device 100 for providing orthodontic information set through the input unit 120. can be Furthermore, the storage unit 140 is configured to store results predicted by the processor 150, which will be described later. However, it is not limited to the above, and the storage unit 140 may store more various pieces of information determined by the processor 150 for orthodontic treatment of the examinee.
  • the processor 150 may be a component for providing an accurate prediction result to the device 100 for providing orthodontic information.
  • the processor 150 predicts the parafacial region with respect to the paratrophic medical image 210 or predicts a plurality of tooth regions within the intraoral image 220, and predicts the predicted facial region and/or the plurality of tooth regions. It may be configured to classify and provide diagnostic results according to the dental condition of the examinee based on the classification.
  • the processor 150 obtains from the receiving unit 110 a prediction model trained to predict a parafacial region in the paratrophic medical image 210 of the subject, and a tooth region in the intraoral image 220 . It may be configured to use a predictive model that has been trained to predict. Furthermore, the processor 150 may be configured to use a classification model that classifies and provides a diagnosis result according to a dental condition of a subject based on a parafacial region and/or a tooth region predicted by the predictive model. In this case, the model trained to predict each of the parafacial region and the tooth region may be based on a faster R-CNN, and the classification model of orthodontic diagnosis may be based on a Two-Stream CNN, but is not limited thereto.
  • the prediction models and classification models used in various embodiments of the present invention are a Deep Neural Network (DNN), a Deep Convolution Neural Network (DCNN), a Recurrent Neural Network (RNN), Predict the region of interest based on RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) model, SVM (Support Vector Machine) or U-net, or provide appropriate medical treatment for the subject can be configured to classify.
  • DNN Deep Neural Network
  • DCNN Deep Convolution Neural Network
  • RNN Recurrent Neural Network
  • Predict the region of interest based on RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) model, SVM (Support Vector Machine) or U-net, or provide appropriate medical treatment for the subject can be configured to classify.
  • the device for providing information on orthodontics converts the medical image to a black-and-white image when the lateral head medical image and/or the intraoral image received by the receiving unit 110 is an RGB color image. It may further include a data pre-processing unit configured to convert to and vectorize a black-and-white image.
  • Figure 2 shows a procedure of a method for providing information about orthodontics according to an embodiment of the present invention.
  • 3A exemplarily illustrates a procedure of a lateral facial region based on a lateral facial region prediction model in a method for providing information on orthodontics according to an embodiment of the present invention.
  • 3B exemplarily illustrates a procedure of a tooth area based on a tooth area prediction model in a method for providing information on orthodontics according to an embodiment of the present invention.
  • 4 exemplarily illustrates a procedure of medical treatment classification based on an orthodontic classification model in a method for providing information on orthodontics according to an embodiment of the present invention.
  • 5 exemplarily illustrates a pre-processing procedure of a lateral facial region and a tooth region in a method for providing orthodontic information according to an embodiment of the present invention.
  • a medical treatment decision procedure is as follows. First, a lateral head medical image or an intraoral image of the subject is received (S210). Thereafter, the lateral facial region is predicted with respect to the lateral head medical image, or the tooth region is predicted within the intraoral image ( S220 ). Next, a surgical treatment or a non-surgical treatment necessary for the subject is determined based on the parafacial area and/or the tooth area ( S230 ). Finally, a predicted result is provided (S240).
  • a lateral head medical image of the subject is received from the lateral head measurement radiography apparatus, or an intraoral image of the subject is received from the intracranial imaging apparatus.
  • the lateral head medical image and the intraoral image may be received together.
  • the lateral head medical image may be a lateral head standard radiographic image
  • the intraoral image may be an RGB color image, but is not limited thereto.
  • the medical image of the temporal head is pre-processed to have constant pixels so that the medical image and the intraoral image can be quickly analyzed. Images and intraoral images may be received.
  • step S220 of predicting the parafacial region or predicting the tooth region in the intraoral image with respect to the paracephalic medical image the region of interest for each medical image may be predicted.
  • the paratrophic facial region prediction model 310 in the step of predicting the paratrophic facial region with respect to the paratrophic medical image or predicting the tooth region within the intraoral image (S220), the paratrophic facial region prediction model 310, the above-mentioned
  • the lateral head medical image 210 obtained in the step S210 of receiving the unilateral head medical image or the intraoral image is input.
  • the paratrophic region 312 which is a region of interest corresponding to the lateral facial region in the lateral head medical image 210 , is determined by the lateral facial region prediction model 310 .
  • the lateral facial region prediction model 310 may be further configured to form a box surrounding the lateral facial region 312 .
  • the lateral facial region prediction model 310 may be configured to predict the lateral facial region 312 based on the coordinates for the lateral facial region 312 (or box) in the lateral head medical image 210 , but It is not limited.
  • the lateral facial region 312 predicted by the result of predicting the lateral facial region with respect to the lateral head medical image or predicting the tooth region within the intraoral image ( S220 ) may be cropped to include only the corresponding region. there is.
  • the dental region prediction model 320 is applied to the above-described paratrophic medical image.
  • the intraoral image 220 obtained in step S210 of receiving the intraoral image is input.
  • a plurality of tooth regions 322 that are regions of interest corresponding to each tooth in the intraoral image 220 are determined by the tooth region prediction model 320 .
  • the tooth region prediction model 320 may be configured to predict the region for all teeth appearing in the oral image 220 rather than predicting the region of a single tooth specified in the oral image 220 .
  • the arrangement of the plurality of tooth regions 322 may represent the characteristics of the examinee's teeth.
  • the tooth region prediction model 320 may be further configured to form a box surrounding the tooth region 322 .
  • the tooth region prediction model 320 calculates a plurality of tooth regions 322 based on the coordinates for the regions (or boxes) of the upper and lower incisors, canines, premolars, and molars in the intraoral image 220 . It may be configured to predict, but is not limited thereto.
  • a plurality of tooth regions 322 predicted by the result of predicting the parafacial region with respect to the paratrophic medical image or predicting the dental region within the intraoral image ( S220 ) are to be cropped to include only the corresponding region.
  • a surgical treatment or a non-surgical treatment based on the parafacial region and/or the plurality of tooth regions, surgical treatment or non-surgical treatment according to the dental status of the subject A diagnostic outcome of the treatment may be determined.
  • the surgical treatment diagnosis probability or the non-surgical treatment diagnosis probability may be determined.
  • the residual probability of orthodontic class 2 extraction surgery, the diagnosis probability of the orthodontic class 2 non-extraction surgery, and the diagnosis probability of the orthodontic class 3 extraction surgery , or the diagnosis probability of orthognathic grade 3 non-extraction surgery may be determined.
  • the non-extraction orthodontic diagnosis probability, the upper and lower first premolar extraction correction diagnosis probability, the upper and lower second premolar extraction correction diagnosis probability, the maxilla first premolar extraction correction diagnosis probability A probability, or a diagnosis probability of maxillary first premolar and mandibular second premolar extraction correction may be determined.
  • the higher the diagnosis probability of the medical treatment the higher the success rate of orthodontic treatment when applied to the subject.
  • the treatment required for the subject may be determined by the orthodontic classification model.
  • the paratrophic facial region 312 predicted by the result of the step S220 of predicting the lateral facial region with respect to the above-described lateral head medical image or predicting the tooth region within the intraoral image. ) and a plurality of tooth regions 322 may be input to the orthodontic classification model 330 .
  • the orthodontic classification model 330 integrates two independent feature extraction layers 332 and their features configured to extract features for each of the parafacial region 312 and the plurality of tooth regions 322, and finally may consist of a fusion layer 334 configured to determine the necessary medical treatment.
  • the feature extraction layer 332 may correspond to a Two-Stream CNN
  • the fusion layer 334 may correspond to a fusion and a fully connected (FC) layer, but is not limited thereto.
  • the orthodontic classification model 330 is based on the plurality of tooth regions 322 and a first orthodontic classification model configured to classify surgical or non-surgical procedures based on the parafacial region 312 . It may be an ensemble model in which two independent models of the second orthodontic classification model configured to classify surgical treatment or non-surgical treatment are combined.
  • Each of the input lateral facial region 312 and the plurality of dental regions 322 is subjected to a feature extraction layer 332, features are extracted, and features are integrated via a fusion layer 334, and finally an appropriate surgical treatment; or a diagnostic result 342 of the non-surgical treatment is determined.
  • the diagnosis result 342 is, for the subject, the residual probability of orthodontic class 2 extraction surgery, the diagnosis probability of orthodontic class 2 non-extraction surgery, the diagnosis probability of orthodontic class 3 extraction surgery, and the diagnosis probability of orthodontic class 3 non-extraction surgery. It may include at least one.
  • diagnosis result 342 is the non-extraction orthodontic diagnosis probability, the maxillary and mandibular first premolar extraction correction diagnosis probability, the upper and lower second premolar extraction correction diagnosis probability, the maxilla first premolar extraction correction diagnosis probability, and the maxilla first premolar mandible second It may include at least one of premolar extraction orthodontic diagnosis probability.
  • the diagnosis probability for the second grade extraction surgery orthodontics appears as 95%. This may mean that the success rate of orthodontic treatment may be higher than that of other surgical treatments when grade 2 orthodontic extraction is performed on the base of the test.
  • the medical treatment according to the dental condition of the examinee can be determined probabilistically.
  • each medical image including the lateral facial region and/or the tooth region is an RGB color image
  • a step of preprocessing these medical images may be further performed.
  • the RGB color lateral facial region 312 and the tooth region 322 are converted to black and white, and the black and white converted lateral facial region or black and white converted tooth region is vectorized can be
  • each of the lateral facial region 312 and the tooth region 322 converted into a black-and-white image may be vectorized in the direction of the pixel having the largest brightness difference value with respect to a plurality of pixels.
  • the processing speed can be improved.
  • step (S240) of providing the predicted result information on the surgical treatment or the non-surgical treatment determined as a result of the step (S230) of determining the surgical treatment or non-surgical treatment may be provided.
  • the 'second-class extraction surgery' determined according to the tooth condition based on the subject's lateral facial region 312 and the tooth region 322
  • the surgical treatment of 'correction (95% diagnosis probability)' can be printed out and provided to the medical staff.
  • the medical staff can be provided with information about the subject's orthodontics, so that they can make a decision and establish a treatment plan with a high probability of success.
  • FIGS. 6A to 6D are diagrams illustrating a process of generating image data for training of predictive models used in a method for providing orthodontic information and a device for providing orthodontic information using the same according to an embodiment of the present invention.
  • a plurality of sample lateral head standard radiographic images are prepared. Then, in the plurality of lateral head standard radiographic images, the lateral facial region is indicated as a rectangular area, and then its coordinates are designated. Then, a json file including location information on the sample lateral facial region (box) formed for each of the plurality of lateral head standard radiographic images is prepared. More specifically, the json file is a name for each of the plurality of sample lateral head standard radiographic image files, and the position values (top, left, width and height) of the box formed for the sample lateral head area within the plurality of lateral head standard radiographic images. may include. As a result, a lateral head medical image for learning about the lateral facial region prediction model containing location information on the sample lateral facial region may be generated. On the other hand, medical imaging of the lateral head for learning
  • the lateral facial region prediction model may be a faster R-CNN-based AI model capable of detecting a region of interest in a lateral head medical image for training.
  • R-CNN-based AI model capable of detecting a region of interest in a lateral head medical image for training.
  • it is not limited thereto.
  • a plurality of sample intraoral images are prepared for learning the tooth region prediction model. Then, in the plurality of sample intraoral images, a box surrounding each area of the plurality of teeth (incisors, canines, premolars, molars) is formed, and thereafter, coordinates for each box are designated. Then, a json file including location information for a plurality of sample tooth regions (boxes) formed for each of a plurality of intraoral images is prepared.
  • the json file may include a name for each of a plurality of intraoral image files, and position values (top, left, width and height) of a box formed for each of a plurality of sampled tooth regions within a plurality of intraoral images.
  • Predictive models used in a method for providing orthodontic information providing method and a device for providing orthodontic information using the same by adopting the above learning algorithm, a parafacial region or tooth in a medical image
  • the region of interest of the region can be predicted with high accuracy.
  • the lateral facial region prediction model and the tooth region prediction model are not limited to the above-described ones and may be learned in more various ways.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Computation (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하는 단계, 및 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.

Description

딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
본 발명은 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에 관한 것으로, 보다 구체적으로 치아 교정 분석에 이용되는 의료 영상에 기초한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에 관한 것이다.
일반적으로, 치열이 바르지 않고 상하의 치아 교합이 비정상적인 상태를 부정교합이라고 한다. 이와 같은 부정교합은 저작, 발음상의 문제와 같은 기능적인 문제점과 얼굴에 대한 미적인 문제점을 발생시킬 뿐만 아니라 충치와 잇몸질환과 같은 건강상의 문제점도 발생시킬 수 있다.
이러한 부정교합을 정상교합으로 만들기 위한 방법으로 치열 교정 치료가 수행될 수 있다.
한편, 치열 교정 치료에 있어서, 중요한 부분은 치료 계획을 결정하는 것일 수 있다. 특히, 교정 치료의 예후와 관련하여, 발치 여부의 결정, 나아가 발치를 진행할 치아의 결정하는 치료 계획 수립 단계는 매우 중요할 수 있다. 예를 들어, 잘못된 치료 계획은, 앵커리지 제어 (anchorage control) 실패, 전치의 비정상적인 경사 (inclination), 부적절한 폐색, 부적절한 치아의 수평피개 (overjet) 및 수직피개 (overbite), 발치 공간 폐쇄의 어려움 등의 문제를 야기할 수 있다.
대부분의 치과 교정 전문의는 경험과 지식을 바탕으로 임상 평가, 치아 사진, 구강 모델 (dental model) 및 방사선 사진의 데이터를 사용하여 치료 계획을 결정한다. 이때, 상기와 같은 의사 결정은, 종종 치료 계획 과정에서 오류를 발생시킬 수 있다. 나아가, 경험이 많은 의료진과 경험이 적은 의료진 사이에서 치료 계획의 차이가 발생할 수 있다.
따라서, 의료 서비스 질의 향상 등을 위하여 교정 치료 전 치료 계획 수립에 대한 정확성이 더욱 요구되고 있음에 따라, 정확하게 교정에 필요한 처치를 결정하여 치아 교정에 대한 정보를 제공하는 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 전술한 문제점을 해결하기 위해, 프로그램적으로 교정 치료 전 분석을 수행하도록 구성된 치열 교정용 분석 프로그램들이 등장하였다. 그러나 이러한 치열 교정용 분석 프로그램은, 해부학적 랜드마크들을 일일이 입력해야 함에 따라 의료진으로 하여금 번거로움이 수반될 수 있다. 나아가, 이러한 종래의 기술은, 의료진이 측모 두부 의료 영상을 기초로 해부학적 랜드마크를 직접 찾아야 한다는 점에서, 의료진의 숙련도에 따라 분석의 정확도가 달라질 수 있다는 한계가 여전히 존재할 수 있다.
본 발명의 발명자들은, 상기와 같은 문제점을 해결하기 위한 방안으로, 분류, 안면인식, 및 글자인식 등 다양한 분야에서 활용되고 있는 인공 지능 기술에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은, 인공 지능 기술이 치과 교정학의 진단분야에 적용될 경우, 임상적 자료들을 바탕으로 진단에 대한 적절한 결정을 내려, 치열 교정에 대한 정보를 제공할 수 있음을 인지할 수 있었다.
본 발명의 발명자들은, 상기의 치열 교정에 대한 정보 제공 시스템에 의해 교정 전문의는 숙련도에 관계없이 예측 모델에 의해 결정된 진단 확률을 참고하여 정확한 진단 및 치료 계획 수립을 할 수 있음을 기대할 수 있었다.
그 결과, 본 발명의 발명자들은, 임상 자료, 특히 치아 영상, 방사선 영상과 같은 의료 영상에 기초하여 비수술적 교정, 악교정 수술 등의 필요한 처치를 결정하는 예측 모델에 기초한 치열 교정에 대한 정보 제공 시스템을 개발하기에 이르렀다.
이때, 본 발명의 발명자들은, 지도학습 방식을 통하여 다수의 의료 영상을 기반으로 치열 교정에 대한 정보를 확률적으로 제공하는 인공지능의 예측 모델을 구축하였다. 나아가, 본 발명의 발명자들은 이를 이용하여 새로운 의료 영상이 입력되었을 때 적절한 진단의 확률을 결정하도록 치열 교정에 대한 정보 제공 시스템을 구성하였다.
또한, 본 발명의 발명자들은, 종래의 치열 교정용 분석 프로그램에서 필수 단계인 임상 데이터로부터 계측값을 추출하는 과정 없이, 예측 모델이 의료 영상만으로 필요한 처치를 분류하고 평가하도록 치열 교정에 대한 정보 제공 시스템을 구성하였다.
이에, 본 발명의 발명자들은 측모 두부 규격 방사선 영상으로부터 특정한 랜드마크를 찍어 계측값을 도출하고 구강 모델로부터 모델 분석을 시행해 계측값을 도출하여 이를 토대로 진단을 시행했던 종래의 치열 교정 시스템의 한계를 극복할 수 있음을 기대할 수 있었다.
더욱이, 본 발명의 발명자들은, 방사선 영상, 구내 영상, 구외 영상 및 구강 모델을 모두 사용하는 종래의 기술에 비해, 측모 두부 의료 영상 및/또는 구내 영상만으로 치열 교정에 대한 정보 제공 시스템의 구현이 가능하도록 구성할 수 있었다.
본 발명의 발명자들은, 특히, CNN (convolutional neural network) 기반의 딥러닝 기술 (예를 들어, Two-stream CNN) 을 적용하였고, 비수술적 처치뿐만 아니라 수술적 처치를 포괄하는 진단을 수행하도록 치열 교정에 대한 정보 제공 시스템을 구성하여 진단의 성능을 높일 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 측모 두부 의료 영상 및/또는 구내 영상 각각에 측모 안면 영역 또는 치아 영역을 예측하고, 이를 기초로 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하여 제공하는 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법이 제공된다. 본 방법은, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하는 단계, 및 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하는 단계를 포함한다.
본 발명의 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역을 예측하는 단계를 포함할 수 있다. 또한, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 측모 안면 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 측모 안면 영역을 예측하는 단계는, 측모 안면 영역 예측 모델을 이용하여, 측모 두부 의료 영상 내에서 측모 안면 영역에 대한 좌표를 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계는, 구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 치아 영역을 예측하는 단계를 포함할 수 있다. 또한, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 치아 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 치아 영역을 예측하는 단계는, 치아 영역 예측 모델을 이용하여, 구내 영상 내에서 치아 영역에 대한 좌표를 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 피검자에 대하여 필요한 처치를 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 특징을 추출하도록 구성된, 독립된 두 개의 특징 추출 레이어 (feature extraction layer), 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, Two-Stream CNN (Convolutional Neural Network) 일 수 있다.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 측모 안면 영역 또는 치아 영역을 포함하는 박스를 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수술적 처치는, 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 비수술적 처치는, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 수술적 처치 또는 비수술적 처치를 확률적으로 예측하는 단계를 포함할 수 있다. 나아가, 분류하는 단계 이후에, 수술적 처치 진단 확률 또는 비수술적 처치 진단 확률을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 측모 안면 영역 또는 치아 영역을 흑백으로 전환하는 단계, 및 흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역을 벡터화하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수신하는 단계 이전에, 표본 피검자에 대한 표본 측모 두부 의료 영상 또는 표본 구내 영상을 수신하는 단계, 표본 측모 두부 의료 영상 내에서 표본 측모 안면 영역에 대한 선택 또는 표본 구내 영상 내에서 표본 치아 영역에 대한 선택을 입력 받는 단계, 표본 측모 안면 영역 또는 표본 치아 영역의 좌표 에 대한 좌표 및 표본 측모 두부 의료 영상을 기초로, 학습용 측모 두부 의료 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 학습용 측모 두부 의료 영상을 생성하는 단계는, 표본 측모 두부 의료 영상에 대한 정보 및 표본 측모 안면 영역에 대한 좌표를 포함하는 json 파일 또는 xml 파일을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 분류하는 단계 이후에, 분류 결과를 기초로, 피검자에 대한 치료 계획을 결정하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스가 제공된다. 본 디바이스는, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하도록 구성된 수신부, 및 수신부와 연결된 프로세서를 포함한다. 이때, 프로세서는, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하고, 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역을 예측하고, 측모 안면 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 치아 영역을 예측하고, 치아 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 피검자에 대하여 필요한 처치를 분류하도록 더 구성될 수 있다.
본 발명은, 측모 두부 의료 영상 및/또는 구내 영상 각각에 대하여 측모 안면 영역 및 치아 영역을 예측하도록 구성된 예측 모델, 나아가 필요한 처치를 분류하도록 구성된 분류 모델을 이용한 치열 교정에 대한 정보 제공 시스템을 제공함으로써 피검자의 치열 교정 분석을 위한 정보를 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은, 종래의 치열 교정용 분석 프로그램에서 필수 단계인 임상 데이터로부터 계측값을 추출하는 과정 없이, 예측 모델이 의료 영상만으로 필요한 처치를 분류하고 평가하여 치열 교정에 대한 정보를 제공할 수 있다.
이에, 본 발명은, 측모 두부 규격 방사선 영상으로부터 특정한 랜드마크를 찍어 계측값을 도출하고 구강 모델로부터 모델 분석을 시행해 계측값을 도출하여 이를 토대로 진단을 시행했던 종래의 치열 교정 시스템의 한계를 극복할 수 있다.
또한, 본 발명은, 방사선 영상, 구내 영상, 구외 영상 및 구강 모델을 모두 사용하는 종래의 기술에 비해, 측모 두부 의료 영상 및/또는 구내 영상만으로 치열 교정에 대한 정보를 제공하는 시스템의 구현이 가능할 수 있다.
나아가, 본 발명은, 임상적 자료들을 바탕으로 의료진의 지식과 경험에 의존적인 종래의 치열 교정에 대한 정보 제공 시스템이 갖는 한계를 극복할 수 있는 효과가 있다.
보다 구체적으로 본 발명은, 다양한 예측 모델에 기초한 치열 교정에 대한 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 따른 진단의 오차, 이에 따른 진달 결과의 낮은 신뢰도를 극복할 수 있고, 피검자에 대한 정확한 교정 치료 전 치료 계획 수립이 가능할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템을 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 예측 모델에 기초한 측모 안면 영역의 절차를 예시적으로 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치아 영역 예측 모델에 기초한 치아 영역의 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치열 교정 분류 모델에 기초한 의료적 처리 분류의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 및 치아 영역의 전처리 절차를 예시적으로 도시한 것이다.
도 6a 내지 6d는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들의 학습용 영상 데이터의 생성 절차를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "측모 두부 의료 영상"은 의료 영상 진단 장치로부터 수신한 피검자의 옆모습을 포함하는 모든 영상을 의미할 수 있다. 바람직하게, 본 원에 개시된 측모 두부 의료 영상은, 측모 두부 규격 방사선 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 측모 두부 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 측모 두부 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에 따라 복수개의 측모 두부 의료 영상 각각에 대한 측모 안면 영역이 예측될 수 있다.
한편, 측모 두부 의료 영상은, 측모 안면 부위를 포함하는 측모 안면 영역을 포함할 수 있다.
본 명세서에서 사용되는 용어, "구내 영상"은 피검자의 치아 구조를 나타내는 영상으로, 바람직하게 피검자의 상하의 치열을 모두 포함하는 영상일 수 있다.
이때, 구내 영상은, 위턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니에 대한 치아 영역 및/또는 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니 중 적어도 하나에 대한 치아 영역을 포함할 수 있다.
바람직하게, 치아 영역은, 위턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니에 대한 치아 영역 및/또는 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니의 복수의 치아에 대한 영역일 수 있다. 따라서, 치아 영역의 배열은, 피검자의 치열의 특징을 반영할 수 있다.
본 명세서에서 사용되는 용어, "측모 안면 영역 예측 모델"은 측모 두부 의료 영상에 대하여 치열 교정을 위해 계측하고자 하는 대상 영역인, 측모 안면 부위를 포함하는 측모 안면 영역을 예측하도록 구성된 모델일 수 있다. 예를 들어, 측모 안면 영역 예측 모델은 측모 두부 의료 영상 내에서 상기 측모 안면 영역 예측하도록 학습된 faster R-CNN일 수 있다. 보다 구체적으로, 측모 안면 영역 예측 모델은, 측모 안면 영역의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하고, 측모 안면 영역의 좌표를 기초로 학습용 측모 두부 의료 영상 내에서 측모 안면 영역을 관심 영역으로 예측하도록 학습된 모델일 수 있다. 그러나, 측모 안면 영역 예측 모델은 이에 제한되지 않고 보다 다양한 영상 분할 알고리즘에 기초할 수 있다.
이때, 측모 안면 영역은 다른 영역, 예를 들어 배경 영역과 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다. 이에, 측모 안면 영역 예측 모델은, 픽셀 값 또는 질감을 기초로 측모 안면 영역을 예측할 수도 있다.
본 명세서에서 사용되는 용어, "치아 영역 예측 모델"은 측모 두부 의료 영상에 대하여 치열 교정을 위해 계측하고자 하는 대상 영역인, 상하의 치열에 대응하는 피검자의 복수의 치아 영역을 예측하도록 구성된 모델일 수 있다. 예를 들어, 치아 영역 예측 모델은 구내 영상 내에서 치아 영역을 예측하도록 학습된 faster R-CNN일 수 있다. 보다 구체적으로, 치아 영역 예측 모델은, 위턱 치아 및 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니 각각에 대하여 이들 영역의 좌표가 미리 결정된 학습용 구내 영상을 수신하고, 미리 결정된 치아 영역의 좌표를 기초로 학습용 구내 영상 내에서 치아 영역을 관심 영역으로 예측하도록 학습된 모델일 수 있다. 그러나, 치아 영역 예측 모델은 이에 제한되지 않고 보다 다양한 영상 분할 알고리즘에 기초할 수 있다.
이때, 치아 영역은 다른 영역, 예를 들어, 입술, 혀 등과 같은 배경 영역과 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다. 이에, 치아 영역 예측 모델은, 픽셀 값 또는 질감을 기초로 치아 영역을 예측할 수도 있다.
본 명세서에서 사용되는 용어, "수술적 처치"는, 수술적 치열 교정으로, 악교정 수술을 의미할 수 있다. 이때, 수술적 처치는, 피검자의 측모 안면 영역 및/또는 치아 영역의 배열에 기초하여 결정될 수 있다.
본 발명의 특징에 따르면, 수술적 처치는, 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나일 수 있다.
본 명세서에서 사용되는 용어, "비수술적 처치"는, 비수술적 치열 교정, 예를 들어 브라켓 (bracket) 을 이용한 교정을 의미할 수 있다. 이때, 비수술적 처치는, 피검자의 측모 안면 영역 및/또는 치아 영역의 배열에 기초하여 결정될 수 있다.
본 발명의 특징에 따르면, 비수술적 처치는, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나일 수 있다.
본 명세서에서 사용되는 용어, "치열 교정 분류 모델"은 측모 안면 영역 및/또는 치아 영역에 기초하여, 피검자에게 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 모델일 수 있다. 예를 들어, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역의 영상으로부터, 피검자에게 필요한 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나의 수술적 처치의 진단 결과를 확률적으로 제공하도록 학습된 모델일 수 있다. 또한, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역의 영상으로부터, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나의 비수술적 처치의 진단 결과를 확률적으로 제공하도록 학습된 모델일 수 있다.
이때, 치열 교정 분류 모델은, 입력된 측모 안면 영역 및 치아 영역 각각에 대하여 특징을 추출하도록 구성된 두 개의 특징 추출 레이어 (feature extraction layer)와 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 로 이루어질 수 있다. 바람직하게, 치열 교정 분류 모델은, Two-Stream CNN (Convolutional Neural Network) 일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 치열 교정 분류 모델은, 측모 안면 영역을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제1 치열 교정 분류 모델과 치아 영역을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제2 치열 교정 분류 모델의 두 개의 독립된 모델이 합쳐진 앙상블 모델일 수도 있다.
한편, 본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 개시 학습 비율 (initial learning rate) 가 0.01로, 모멘텀 (momentum) 이 0.9로, 가중치 감쇠 (weight decay) 가 0.0005로, 드롭 아웃 (dropout) 이 0.5로 학습 인자 값이 설정될 수 있다. 그러나 학습을 위해 입력되는 파라미터들의 학습 인자 값은 이에 제한되는 것은 아니다.
이하에서는 도 1a 및 1b를 참조하여, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템 및 치열 교정에 대한 정보 제공용 디바이스를 설명한다.
도 1a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템을 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a를 참조하면, 측모 두부 계측 방사선 촬영 장치로부터 측모 두부 의료 영상 (210) 이 획득될 수 있고, 구내 촬영 장치로부터 피검자에 대한 구내 영상 (220) 이 획득될 수 있다. 이때, 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 의 의료 영상 (200) 은, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스 (100) 에 수신된다.
치열 교정에 대한 정보 제공용 디바이스 (100) 는, 수신된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 내에서 측모 안면 영역 및/또는 치아 영역을 예측하고, 예측된 영역에 기초하여 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 결정하여 제공한다.
보다 구체적으로, 도 1b를 참조하면, 치열 교정에 대한 정보 제공용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.
구체적으로 수신부 (110) 는 측모 두부 계측 방사선 촬영 장치로부터 피검자에 대한 측모 두부 의료 영상을 수신하거나 또는, 구내 촬영 장치로부터 피검자에 대한 구내 영상을 수신하도록 구성될 수 있다. 이때, 수신부 (110) 에 의해 획득된 측모 두부 의료 영상 (210) 은 측모 두부 규격 방사선 영상일 수 있고, 구내 영상 (220) 은 RGB 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 수신부 (110) 는 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 을 후술할 프로세서 (150) 에 송신하도록 더 구성될 수 있다. 한편, 수신부 (110) 를 통해 획득된 측모 두부 의료 영상 (210) 은 측모 안면 영역을 포함하고, 구내 영상 (220) 은 복수의 치아 영역을 포함할 수 있다.
입력부 (120) 는 치열 교정에 대한 정보 제공용 디바이스 (100) 를 설정할 수 있다. 나아가, 사용자는, 측모 두부 의료 영상 (210) 및 구내 영상 (220) 각각에 대하여 측모 안면 영역 및 치아 영역을 직접 선택할 수 있다. 이때, 입력부 (120) 는 키보드, 마우스, 터치 스크린 패널일 수 있으나, 이이 제한되는 것은 아니다.
한편, 출력부 (130) 는 수신부 (110) 로부터 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 측모 두부 의료 영상 (210) 내에서 결정된 측모 안면 영역, 및/또는 구내 영상 (210) 내에서 결정된 복수의 치아 영역을 표시하도록 구성될 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 결정된 피검자에 대하여 필요한 진단에 대한 정보를 표시하도록 구성될 수 있다. 그러나, 이에 제한되지 않고 출력부 (130) 는 피검자의 치열 교정을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 표시하도록 구성될 수 있다.
저장부 (140) 는 수신부 (110) 를 통해 획득한 피검자에 대한 의료 영상 (200) 을 저장하고, 입력부 (120) 를 통해 설정된 치열 교정에 대한 정보 제공용 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 예측된 결과들을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는, 피검자의 치열 교정을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 저장할 수 있다.
한편, 프로세서 (150) 는 치열 교정에 대한 정보 제공용 디바이스 (100) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서 (150) 는 측모 두부 의료 영상 (210) 에 대하여 측모 안면 영역을 예측하거나, 구내 영상 (220) 내에서 복수의 치아 영역을 예측하고, 예측된 안면 영역 및/또는 복수의 치아 영역에 기초하여 피검자의 치아 상태에 따른 진단 결과를 분류하여 제공하도록 구성될 수 있다.
예를 들어, 프로세서 (150) 는 수신부 (110) 로부터 획득한 피검자에 대한 측모 두부 의료 영상 (210) 내에서 측모 안면 영역을 예측하도록 학습된 예측 모델, 그리고 구내 영상 (220) 내에서 치아 영역을 예측하도록 학습된 예측 모델을 이용하도록 구성될 수 있다. 나아가, 프로세서 (150) 는, 예측 모델에 의해 예측된 측모 안면 영역 및/또는 치아 영역에 기초하여 피검자의 치아 상태에 따른 진단 결과를 분류하여 제공하는 분류 모델을 이용하도록 구성될 수 있다. 이때, 측모 안면 영역 및 치아 영역 각각을 예측하도록 학습된 모델은 faster R-CNN에 기초할 수 있고, 치열 교정 진단의 분류 모델은 Two-Stream CNN에 기초할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 다양한 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들 및 분류 모델은 DNN (Deep Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델, SVM (Support Vector Machine) 또는 U-net을 기반으로 하여 관심 영역을 예측하거나, 피검자에 대하여 적합한 의료적 처치를 분류하도록 구성될 수 있다.
한편, 본 발명의 다양한 실시예에 따르면, 치열 교정에 대한 정보 제공용 디바이스는, 수신부 (110) 에 의해 수신한 측모 두부 의료 영상 및/또는 구내 영상이 RGB 컬러 영상일 경우, 의료 영상을 흑백 영상으로 전환하고, 흑백 영상을 벡터화하도록 구성된, 데이터 전처리부를 더 포함할 수 있다.
이하에서는, 도 2, 3a, 3b, 도 4 및 도 5를 참조하여, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 3a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 예측 모델에 기초한 측모 안면 영역의 절차를 예시적으로 도시한 것이다. 도 3b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치아 영역 예측 모델에 기초한 치아 영역의 절차를 예시적으로 도시한 것이다. 도 4는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치열 교정 분류 모델에 기초한 의료적 처리 분류의 절차를 예시적으로 도시한 것이다. 도 5는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 및 치아 영역의 전처리 절차를 예시적으로 도시한 것이다.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 의료적 처치 결정 절차는 다음과 같다. 먼저, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신한다 (S210). 그 다음, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측한다 (S220). 그 다음, 측모 안면 영역 및/또는 치아 영역에 기초하여 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 결정한다 (S230). 마지막으로, 예측된 결과를 제공한다 (S240).
보다 구체적으로, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 계측 방사선 촬영 장치로부터 피검자에 대한 측모 두부 의료 영상을 수신하거나 또는, 구내 촬영 장치로부터 피검자에 대한 구내 영상이 수신될 수 있다.
바람직하게, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 의료 영상 및 구내 영상이 함께 수신될 수 있다. 이때, 측모 두부 의료 영상은 측모 두부 규격 방사선 영상이고, 구내 영상은 RGB 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따르면, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 의료 영상 및 구내 영상에 대한 빠른 분석이 가능하도록 일정한 픽셀을 갖도록 전처리가 수행된 측모 두부 의료 영상 및 구내 영상이 수신될 수도 있다.
다음으로, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 의료 영상 각각에 대한 관심 영역이 예측될 수 있다.
본 발명의 특징에 따르면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 측모 안면 영역 예측 모델 및/또는 치아 영역 예측 모델에 의해 측모 안면 영역 예측 모델 및/또는 치아 영역이 결정될 수 있다.
예를 들어, 도 3a를 함께 참조하면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 측모 안면 영역 예측 모델 (310) 에, 전술한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서 획득된 측모 두부 의료 영상 (210) 이 입력된다. 그 다음, 측모 안면 영역 예측 모델 (310) 에 의해 측모 두부 의료 영상 (210) 내에 측모 안면 부위에 해당하는 관심 영역인, 측모 안면 영역 (312) 이 결정된다. 이때, 측모 안면 영역 예측 모델 (310) 은 측모 안면 영역 (312) 을 두르는 박스를 형성하도록 더욱 구성될 수 있다. 한편, 측모 안면 영역 예측 모델 (310) 은 측모 두부 의료 영상 (210) 내의 측모 안면 영역 (312) (또는 박스) 에 대한 좌표에 기초하여 측모 안면 영역 (312) 을 예측하도록 구성될 수 있으나, 이에 제한되는 것은 아니다.
한편, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 측모 안면 영역 (312) 은 해당 영역만 포함하도록 크로핑될 수도 있다.
도 3b를 더욱 참조하면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 치아 영역 예측 모델 (320) 에, 전술한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서 획득된 구내 영상 (220) 이 입력된다. 그 다음, 치아 영역 예측 모델 (320) 에 의해 구내 영상 (220) 내에 치아 각각에 해당하는 관심 영역인 복수의 치아 영역 (322) 이 결정된다. 바람직하게, 치아 영역 예측 모델 (320) 은 구내 영상 (220) 내에서 특정된 단일의 치아의 영역을 예측하기보다 구내 영상 (220) 에 나타나는 모든 치아에 대한 영역을 예측하도록 구성될 수 있다. 이에, 복수의 치아 영역 (322) 의 배열은, 피검자의 치열의 특징을 나타낼 수 있다. 한편, 치아 영역 예측 모델 (320) 은 치아 영역 (322) 을 두르는 박스를 형성하도록 더욱 구성될 수 있다. 이때, 치아 영역 예측 모델 (320) 은 구내 영상 (220) 내의 상 하측 앞니, 송곳니, 작은 어금니, 및 큰 어금니 각각의 영역 (또는, 박스) 에 대한 좌표에 기초하여 복수의 치아 영역 (322) 을 예측하도록 구성될 수 있으나, 이에 제한되는 것은 아니다.
한편, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 복수의 치아 영역 (322) 은 해당 영역만 포함하도록 크로핑될 수도 있다.
다시, 도 2를 참조하면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 측모 안면 영역 및/또는 복수의 치아 영역에 기초하여, 피검자의 치열 상태에 따른 수술적 처치 또는 비수술적 처치의 진단 결과가 결정될 수 있다.
본 발명의 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 수술적 처치 진단 확률 또는 비수술적 처치 진단 확률이 결정될 수 있다.
예를 들어, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 피검자에 대하여, 악교정 2급 발치 수술의 잔단 확률, 악교정 2급 비발치 수술의 진단 확률, 악교정 3급 발치 수술의 진단 확률, 또는 악교정 3급 비발치 수술의 진단 확률이 결정될 수 있다. 또한, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 비발치 교정 진단 확률, 상하악 제1 소구치 발치 교정 진단 확률, 상하악 제2 소구치 발치 교정 진단 확률, 상악 제1 소구치 발치 교정 진단 확률, 또는 상악 제1 소구치 하악 제2 소구치 발치 교정 진단 확률이 결정될 수 있다. 이때, 의료적 처치의 진단 확률이 높을 수록, 피검자에 적용될 경우 치아 교정의 성공률이 높을 수 있다.
본 발명의 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 치열 교정 분류 모델에 의해 피검자에 필요한 처치가 결정될 수 있다.
예를 들어, 도 4를 함께 참조하면, 전술한 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 이 치열 교정 분류 모델 (330) 에 입력될 수 있다.
이때, 치열 교정 분류 모델 (330) 은 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 각각에 대한 특징을 추출하도록 구성된 두 개의 독립된 특징 추출 레이어 (332) 및 이들의 특징을 통합하고, 최종적으로 필요한 의료적 처치를 결정하도록 구성된 퓨젼 레이어 (334) 로 이루어질 수 있다. 보다 구체적으로, 특징 추출 레이어 (332) 는 Two-Stream CNN에 대응할 수 있고, 퓨젼 레이어 (334) 는 퓨젼 및 FC (Fully connected) 레이어에 대응할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 치열 교정 분류 모델 (330) 은, 측모 안면 영역 (312) 을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제1 치열 교정 분류 모델과 복수의 치아 영역 (322) 을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제2 치열 교정 분류 모델의 두 개의 독립된 모델이 합쳐진 앙상블 모델일 수도 있다.
입력된 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 각각은 특징 추출 레이어 (332) 를 거쳐 특징이 추출되고, 퓨젼 레이어 (334) 를 거쳐 특징이 통합되고, 최종적으로 적절한 수술적 처치, 또는 비수술적 처치의 진단 결과 (342) 가 결정된다. 이때, 진단 결과 (342) 는, 피검자에 대하여, 악교정 2급 발치 수술의 잔단 확률, 악교정 2급 비발치 수술의 진단 확률, 악교정 3급 발치 수술의 진단 확률, 및 악교정 3급 비발치 수술의 진단 확률 중 적어도 하나를 포함할 수 있다. 또한, 진단 결과 (342) 는 비발치 교정 진단 확률, 상하악 제1 소구치 발치 교정 진단 확률, 상하악 제2 소구치 발치 교정 진단 확률, 상악 제1 소구치 발치 교정 진단 확률, 및 상악 제1 소구치 하악 제2 소구치 발치 교정 진단 확률 중 적어도 하나를 포함할 수 있다.
이때, 진단 결과 (342) 에 따르면, 2급 발치 수술 교정술에 대한 진단 확률이 95 %로 나타난다. 이는, 피검저에 대하여 2급 발치 수술 교정술이 수행될 경우, 교정 치료의 성공률이 다른 수술적 처치보다 높을 수 있음을 의미할 수 잇다.
즉, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 의 결과로, 피검자의 치아 상태에 따른 의료적 처치가 확률적으로 결정될 수 있다.
한편, 본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 이전에, 측모 안면 영역 및/또는 치아 영역을 포함하는 각각의 의료 영상이 RGB 컬러 영상일 경우, 이들 의료 영상을 전처리하는 단계가 더욱 수행될 수 있다.
보다 구체적으로, 도 5를 함께 참조하면, 전처리 단계에서, RGB 컬러의 측모 안면 영역 (312) 및 치아 영역 (322) 이 흑백으로 전환되고, 흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역이 벡터화될 수 있다. 이때, 흑백 영상으로 전환된 측모 안면 영역 (312) 및 치아 영역 (322) 각각은, 복수의 픽셀에 대하여 명도 차이 값이 가장 큰 픽셀의 방향으로 벡터화될 수도 있다.
전처리 단계의 결과로, 측모 안면 영역 (312) 및 치아 영역 (322) 이 치아 교정 분류 모델에 입력될 경우, 처리 속도가 향상될 수 있다.
마지막으로, 예측된 결과를 제공하는 단계 (S240) 에서, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 의 결과로 결정된 수술적 처치 또는 비수술적 처치에 대한 정보가 제공될 수 있음.
예를 들어, 도 4를 다시 참조하면, 예측된 결과를 제공하는 단계 (S240) 에서, 피검자의 측모 안면 영역 (312), 치아 영역 (322) 에 기초하여 치아 상태에 따라 결정된 '2급 발치 수술 교정 (95 %의 진단 확률)'의 수술적 처치가 출력되어 의료진에게 제공될 수 있다.
이에, 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 피검자의 치열 교정에 대한 정보를 제공받을 수 있어, 성공 확률 높은 의사 결정 및 치료 계획을 수립할 수 있다.
이하에서는, 도 6a 내지 도 6d를 참조하여, 본 발명의 다양한 실시예에서 이용되는 측모 안면 영역 예측 모델 및 치아 영역 예측 모델의 학습 방법을 설명한다. 도 6a 내지 6d는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들의 학습용 영상 데이터의 생성 절차를 도시한 것이다.
먼저, 도 6a 및 6b를 참조하면, 먼저, 측모 안면 영역 예측 모델의 학습을 위해, 복수개의 표본 측모 두부 규격 방사선 영상이 준비된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 내에서, 측모 안면 부위는 사각형의 영역으로 표시된 후, 이의 좌표가 지정된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 각각에 대하여 형성된 표본 측모 안면 영역 (박스) 에 대한 위치 정보를 포함하는 json 파일이 준비된다. 보다 구체적으로, json 파일은 복수개의 표본 측모 두부 규격 방사선 영상 파일 각각에 대한 이름, 복수개의 측모 두부 규격 방사선 영상 내에서 표본 측모 안면 영역에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함할 수 있다. 그 결과, 표본 측모 안면 영역에 대한 위치 정보가 담긴, 측모 안면 영역 예측 모델에 대한 학습용 측모 두부 의료 영상이 생성될 수 있다. 한편, 학습용 측모 두부 의료 영상
측모 안면 영역 예측 모델은, 학습용 측모 두부 의료 영상 내에서 위치 정보가 미리 결정된 측모 안면 영역, 즉 표본 측모 안면 영역을 예측하도록 학습될 수 있다.
한편, 측모 안면 영역 예측 모델은, 학습용 측모 두부 의료 영상 내에서 관심 영역을 탐지할 수 있는 faster R-CNN 기반의 인공지능 모델일 수 있다. 그러나, 이에 제한되는 것은 아니다.
다음으로, 도 6c 및 6d를 참조하면, 먼저, 치아 영역 예측 모델의 학습을 위해, 복수개의 표본 구내 영상이 준비된다. 그 다음, 복수개의 표본 구내 영상 내에서, 복수의 치아 (앞니, 송곳니, 작은 어금니, 큰 어금니) 각각의 영역을 두르는 박스가 형성되고, 이후 각각의 박스에 대한 좌표가 지정된다. 그 다음, 복수개의 구내 영상 각각에 대하여 형성된 복수의 표본 치아 영역 (박스) 에 대한 위치 정보를 포함하는 json 파일이 준비된다. 보다 구체적으로, json 파일은 복수개의 표본 구내 영상 파일 각각에 대한 이름, 복수개의 표본 구내 영상 내에서 복수의 표본 치아 영역 각각에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함할 수 있다. 그 결과, 표본 치아 영역에 대한 위치 정보가 담긴, 치아 영역 예측 모델에 대한 학습용 구내 영상이 생성될 수 있다.
치아 영역 예측 모델은, 학습용 구내 영상 내에서 위치 정보가 미리 결정된 복수의 치아 영역, 즉 표본 치아 영역 각각을 예측하도록 학습될 수 있다.
한편, 치아 영역 예측 모델은, 학습용 구내 영상 내에서 관심 영역을 탐지할 수 있는 faster R-CNN 기반의 인공지능 모델일 수 있다. 그러나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들은, 이상의 학습 알고리즘을 채택함에 따라 의료 영상 내에서 측모 안면 영역 또는 치아 영역의 관심 영역을 높은 정확도로 예측할 수 있다. 그러나, 측모 안면 영역 예측 모델 및 치아 영역 예측 모델은, 전술한 것에 제한되지 않고 보다 다양한 방법으로 학습될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
100: 치열 교정에 대한 정보 제공용 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
200: 의료 영상
210: 측모 두부 의료 영상
220: 구내 영상
310: 측모 안면 영역 예측 모델
312: 측모 안면 영역
320: 치아 영역 예측 모델
322: 치아 영역
330: 치열 교정 분류 모델
332: 특징 추출 레이어
334: 퓨젼 레이어
342: 진단 결과

Claims (21)

  1. 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계;
    상기 측모 두부 의료 영상 또는 상기 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하는 단계, 및
    상기 측모 안면 영역 또는 상기 치아 영역을 기초로, 상기 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.
  2. 제1항에 있어서,
    측모 안면 영역 또는 치아 영역을 예측하는 단계는,
    측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 안면 영역을 예측하는 단계를 포함하고,
    수술적 처치 또는 비수술적 처치로 분류하는 단계는,
    상기 측모 안면 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.
  3. 제2항에 있어서,
    상기 측모 안면 영역을 예측하는 단계는,
    상기 측모 안면 영역 예측 모델을 이용하여, 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역에 대한 좌표를 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.
  4. 제1항에 있어서,
    측모 안면 영역 또는 치아 영역을 예측하는 단계는,
    구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 상기 치아 영역을 예측하는 단계를 포함하고,
    수술적 처치 또는 비수술적 처치로 분류하는 단계는,
    상기 치아 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.
  5. 제4항에 있어서,
    상기 치아 영역을 예측하는 단계는,
    상기 치아 영역 예측 모델을 이용하여, 상기 구내 영상 내에서 상기 치아 영역에 대한 좌표를 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.
  6. 제1항에 있어서,
    상기 수술적 처치 또는 비수술적 처치로 분류하는 단계는,
    측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 상기 피검자에 대하여 필요한 처치를 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.
  7. 제6항에 있어서,
    상기 치열 교정 분류 모델은,
    측모 안면 영역 및 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성된, 치열 교정에 대한 정보 제공 방법.
  8. 제6항에 있어서,
    상기 치열 교정 분류 모델은,
    특징을 추출하도록 구성된, 독립된 두 개의 특징 추출 레이어 (feature extraction layer), 상기 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 를 포함하는, 치열 교정에 대한 정보 제공 방법.
  9. 제6항에 있어서,
    상기 치열 교정 분류 모델은,
    상기 Two-Stream CNN (Convolutional Neural Network) 인, 치열 교정에 대한 정보 제공 방법.
  10. 제1항에 있어서,
    상기 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 상기 측모 안면 영역 또는 상기 치아 영역을 포함하는 박스를 생성하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.
  11. 제1항에 있어서,
    상기 수술적 처치는,
    악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나인, 치열 교정에 대한 정보 제공 방법.
  12. 제1항에 있어서,
    상기 비수술적 처치는,
    비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나인, 치열 교정에 대한 정보 제공 방법.
  13. 제1항에 있어서,
    상기 수술적 처치 또는 비수술적 처치로 분류하는 단계는,
    상기 수술적 처치 또는 비수술적 처치를 확률적으로 예측하는 단계를 포함하고,
    상기 분류하는 단계 이후에,
    수술적 처치 진단 확률 또는 비수술적 처치 진단 확률을 제공하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.
  14. 제1항에 있어서,
    상기 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에,
    상기 측모 안면 영역 또는 상기 치아 영역을 흑백으로 전환하는 단계, 및
    흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역을 벡터화하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.
  15. 제1항에 있어서,
    상기 수신하는 단계 이전에,
    표본 피검자에 대한 표본 측모 두부 의료 영상 또는 표본 구내 영상을 수신하는 단계;
    상기 표본 측모 두부 의료 영상 내에서 표본 측모 안면 영역에 대한 선택 또는 상기 표본 구내 영상 내에서 표본 치아 영역에 대한 선택을 입력 받는 단계;
    상기 표본 측모 안면 영역 또는 상기 표본 치아 영역의 좌표 에 대한 좌표 및 상기 표본 측모 두부 의료 영상을 기초로, 학습용 측모 두부 의료 영상을 생성하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.
  16. 제15항에 있어서,
    상기 학습용 측모 두부 의료 영상을 생성하는 단계는,
    상기 표본 측모 두부 의료 영상에 대한 정보 및 상기 표본 측모 안면 영역에 대한 좌표를 포함하는 json 파일 또는 xml 파일을 생성하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법.
  17. 제1항에 있어서,
    상기 분류하는 단계 이후에,
    분류 결과를 기초로, 상기 피검자에 대한 치료 계획을 결정하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법.
  18. 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하도록 구성된 수신부, 및
    상기 수신부와 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 측모 두부 의료 영상 또는 상기 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하고, 상기 측모 안면 영역 또는 상기 치아 영역을 기초로, 상기 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된, 치열 교정에 대한 정보 제공용 디바이스.
  19. 제18항에 있어서,
    상기 프로세서는,
    측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 안면 영역을 예측하고, 상기 측모 안면 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성된, 치열 교정에 대한 정보 제공용 디바이스.
  20. 제18항에 있어서,
    상기 프로세서는,
    구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 상기 치아 영역을 예측하고, 상기 치아 영역을 기초로 상기 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된, 치열 교정에 대한 정보 제공용 디바이스.
  21. 제18항에 있어서,
    상기 프로세서는,
    측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 상기 피검자에 대하여 필요한 처치를 분류하도록 더 구성된, 치열 교정에 대한 정보 제공용 디바이스.
PCT/KR2021/001239 2020-02-03 2021-01-29 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 WO2021157966A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0012517 2020-02-03
KR1020200012517A KR20210098683A (ko) 2020-02-03 2020-02-03 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스

Publications (1)

Publication Number Publication Date
WO2021157966A1 true WO2021157966A1 (ko) 2021-08-12

Family

ID=77199286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001239 WO2021157966A1 (ko) 2020-02-03 2021-01-29 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스

Country Status (2)

Country Link
KR (2) KR20210098683A (ko)
WO (1) WO2021157966A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115694776A (zh) 2021-07-27 2023-02-03 三星电子株式会社 存储设备、存储系统操作方法和计算系统
CN117897119A (zh) * 2021-08-12 2024-04-16 3M创新有限公司 用于生成正畸矫治器中间阶段的深度学习
KR102448169B1 (ko) * 2021-10-05 2022-09-28 세종대학교산학협력단 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치
KR20230090824A (ko) * 2021-12-15 2023-06-22 연세대학교 산학협력단 근관 치료에 대한 정보 제공 방법 및 이를 이용한 근관 치료에 대한 정보 제공용 디바이스
KR102464472B1 (ko) * 2022-04-28 2022-11-07 김신엽 인공지능을 이용한 치열 교정법 추천 시스템 및 그 방법
KR102470875B1 (ko) * 2022-05-13 2022-11-25 주식회사 쓰리디오엔에스 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램
KR102469288B1 (ko) * 2022-05-13 2022-11-22 주식회사 쓰리디오엔에스 자동 치열 교정 계획 방법, 장치 및 프로그램
KR102710043B1 (ko) 2022-06-30 2024-09-25 김두희 예측교정 이미지 제공 방법
KR20240096420A (ko) 2022-12-19 2024-06-26 사회복지법인 삼성생명공익재단 방사선 두부 영상을 이용하여 제3 대구치의 발치 난이도를 예측하는 방법 및 분석 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037687A (ja) * 2005-08-02 2007-02-15 Hidefumi Ito 歯科診療支援方法及びシステム
JP2013063140A (ja) * 2011-09-16 2013-04-11 Hiroki Hirabayashi 歯列矯正治療における顎骨手術要否判断指標の計算方法、歯列矯正治療における顎骨手術要否判断方法、歯科治療における上下顎骨不調和判断指標の計算方法、歯科治療における上下顎骨不調和判断方法、プログラムおよびコンピュータ
KR20160004864A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
KR101769334B1 (ko) * 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20170142572A (ko) * 2016-06-20 2017-12-28 주식회사 디오코 치아 교정 및 얼굴 성형 시뮬레이션 장치에서의 시뮬레이션 방법 및 이를 저장하는 컴퓨터로 판독 가능한 기록 매체
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10568716B2 (en) * 2010-03-17 2020-02-25 ClearCorrect Holdings, Inc. Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007037687A (ja) * 2005-08-02 2007-02-15 Hidefumi Ito 歯科診療支援方法及びシステム
JP2013063140A (ja) * 2011-09-16 2013-04-11 Hiroki Hirabayashi 歯列矯正治療における顎骨手術要否判断指標の計算方法、歯列矯正治療における顎骨手術要否判断方法、歯科治療における上下顎骨不調和判断指標の計算方法、歯科治療における上下顎骨不調和判断方法、プログラムおよびコンピュータ
KR20160004864A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
KR101769334B1 (ko) * 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20170142572A (ko) * 2016-06-20 2017-12-28 주식회사 디오코 치아 교정 및 얼굴 성형 시뮬레이션 장치에서의 시뮬레이션 방법 및 이를 저장하는 컴퓨터로 판독 가능한 기록 매체
KR101952887B1 (ko) * 2018-07-27 2019-06-11 김예현 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스

Also Published As

Publication number Publication date
KR20210098683A (ko) 2021-08-11
KR20220039677A (ko) 2022-03-29
KR102462185B1 (ko) 2022-11-03

Similar Documents

Publication Publication Date Title
WO2021157966A1 (ko) 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
US12070375B2 (en) Area of interest overlay on dental site using augmented reality
WO2021145544A1 (ko) 교정적 치아배열 형상 생성 방법 및 장치
WO2021215582A1 (ko) 치주염 자동 진단 방법 및 이를 구현하는 프로그램
US10405754B2 (en) Standardized oral health assessment and scoring using digital imaging
WO2021025296A1 (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
US11963840B2 (en) Method of analysis of a representation of a dental arch
WO2021210723A1 (ko) 딥러닝을 이용한 3차원 의료 영상 데이터의 특징점 자동 검출 방법 및 장치
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
WO2021006471A1 (ko) 임플란트 구조물 자동 식립을 통한 임플란트 수술 계획 수립 방법, 이를 위한 사용자 인터페이스 제공 방법 및 그 치아영상 처리장치
WO2021141416A1 (ko) 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
WO2020013642A1 (ko) 구강 관리 장치 및 이를 포함하는 구강 관리 서비스 시스템
WO2016200167A1 (ko) 치아교정 가이드 장치 방법
KR20220019860A (ko) 딥러닝 알고리즘을 이용한 치아 검진 방법
JP2005349176A (ja) 顎運動解析方法及び顎運動解析システム
WO2021145607A1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2023058994A1 (ko) 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치
KR20220068583A (ko) 딥러닝을 이용한 임플란트 주위염 진단 시스템 및 그 방법
WO2022086052A1 (ko) 치아교합시뮬레이션 방법 및 시스템
Carneiro Enhanced tooth segmentation algorithm for panoramic radiographs
WO2020209495A1 (ko) 영상 데이터의 전처리 장치
WO2024196140A1 (ko) 치과용 정합 데이터의 생성 방법
WO2022260442A1 (ko) 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21750210

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21750210

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 19/12/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 21750210

Country of ref document: EP

Kind code of ref document: A1