KR20230116500A

KR20230116500A - Artificial neural network-based malocclusion classification method and malocclusion classification application

Info

Publication number: KR20230116500A
Application number: KR1020220013513A
Authority: KR
Inventors: 김행근; 손영돈; 강창기; 김종훈; 홍용기; 우한봄; 심기봉; 진용규
Original assignee: 가천대학교 산학협력단
Priority date: 2022-01-28
Filing date: 2022-01-28
Publication date: 2023-08-04

Abstract

본 발명은, 연산장치에 의해 수행되는 인공신경망 기반 부정교합 분류 방법에 있어서, 상악과 하악의 치아가 스캔된 3D 모델 데이터(STL 포맷)를 전처리하여 정해진 시점의 2D 이미지 데이터를 얻기 위해 상기 3D 모델 데이터를 정렬하는 리-오리엔테이션(Re-orientation) 단계; 정렬된 상기 3D 모델 데이터에서 부정교합 분류를 위한 라벨을 설정하는 단계로, 원-핫 인코딩(one-hot encoding)으로 앵글 클래스(Angle’s classification)에 기반한 제1 라벨을 설정하고, 상기 제1 라벨에 상악과 하악의 상대적 위치에 기반한 순서가 부여된 제2 라벨과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정하는 라벨링 단계; 및 상기 제1 라벨에는 다중 분류에서 사용되는 제1 손실함수가 설정되고, 상기 제2 라벨과 상기 제3 라벨은 회귀(regression)의 제2 손실함수가 설정되어, 이종(異種)의 손실함수들에 가중치를 부여하여 다항식으로 조합한 최종 손실함수를 갖고, 상기 최종 손실함수 기반으로 인공신경망 모델에 대해 정렬된 상기 3D 모델 데이터로부터 추출된 2D 교합 이미지의 앵글 클래스 분류를 학습하는 학습 단계;를 포함하여 학습을 수행하며, 상기의 학습으로 추론 단계에서 상기 3D 모델 데이터의 입력시 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출 가능한 것을 특징으로 한다.The present invention, in an artificial neural network based malocclusion classification method performed by an arithmetic device, preprocesses 3D model data (STL format) of upper and lower teeth scanned to obtain 2D image data at a fixed point in time by using the 3D model A re-orientation step of sorting data; Setting a label for malocclusion classification in the aligned 3D model data, setting a first label based on angle's classification by one-hot encoding, and a labeling step of setting a second label to which an order is assigned based on the relative positions of the upper and lower jaws and a third label based on the tooth distance between the occluded upper and lower jaws; and a first loss function used in multi-classification is set to the first label, and a second loss function of regression is set to the second label and the third label, so that heterogeneous loss functions A learning step of learning angle class classification of the 2D occlusal image extracted from the 3D model data sorted for the artificial neural network model based on the final loss function, having a final loss function combined with a polynomial by weighting It is characterized in that the angle class is classified when the 3D model data is input in the inference step through the above learning, and quantitative data related to the accuracy of the classified class can be calculated.

Description

Artificial neural network based malocclusion classification method and malocclusion classification application

본 발명은 인공신경망 기반 부정교합 분류 방법 및 부정교합 분류 애플리케이션에 관한 것으로서, 높은 재현성과 정확도를 갖고, 정량적으로 부정교합 정도를 분류할 수 있는 방법 및 부정교합 분류 애플리케이션에 관한 것이다.The present invention relates to an artificial neural network-based malocclusion classification method and malocclusion classification application, and relates to a method and malocclusion classification application capable of quantitatively classifying the degree of malocclusion with high reproducibility and accuracy.

부정교합(malocclusion)은 아래위 턱의 치아가 가지런하지 못하거나 정상적으로 맞물리지 않은 상태로, 기능적으로 문제가 되는 교합관계를 말한다. 부정교합의 판별은 개개인의 형태학적 구강 구조의 편차를 정형화하여 전반적인 교정 체제의 기준을 제시하기에 중요하다. 하지만, 부정교합의 판별을 위해 치아를 전반적으로 확인하는데 많은 시간이 소요되며, 그 판별법 역시 전문의 개개인마다 편차가 존재한다. Malocclusion refers to a functionally problematic occlusion relationship in which the teeth of the lower and upper jaws are not aligned or are not normally meshed. Discrimination of malocclusion is important in presenting standards for the overall orthodontic system by standardizing deviations in individual morphological oral structures. However, it takes a lot of time to check teeth overall for discrimination of malocclusion, and the discrimination method also differs among specialists.

에드워드 하틀리 앵글(Edward Hartley Angle)은 정상 교합을 만들어주는 과정에서 교정학을 연구하여 치과교정학의 창시자로 인지되고 있으며, 부정교합의 분류를 정의하였고, 앵글의 부정교합 분류(Angle’s classification)는 아직도 널리 이용되고 있다. 현재까지 이용되고 있는 앵글 클래스는 상악 첫 번째 어금니(제1 대구치)를 기준으로 위/아래 치아의 맞물림을 나누는 분류법으로, 다음의 세가지 클래스를 제시한다.Edward Hartley Angle studied orthodontics in the process of creating normal occlusion and is recognized as the founder of orthodontics. He defined the classification of malocclusion, and Angle's classification is still widely used. It is becoming. The angle class, which has been used so far, is a classification method that divides the meshing of upper and lower teeth based on the maxillary first molar (first molar), and presents the following three classes.

앵글 클래스 1(1급 부정교합)은 위/아래 어금니의 맞물림은 정상적이나 앞쪽 치아의 회전, 돌출, 변위 등으로 가지런하지 못한 상태를 말한다. 앵글 클래스 2(2급 부정교합)는 위/아래 어금니의 맞물림에서 위에 어금니들이 아래 어금니보다 앞쪽으로 돌출된 상태를 말하며, 대표적으로 돌출입이 본 분류에 해당한다. 앵글 클래스 3(3급 부정교합)은 위/아래 어금니의 맞물림에서 아래 어금니가 위의 어금니보다 뒤쪽으로 맞물리는 상태를 말하며, 대표적으로 주걱턱이 본 분류에 해당한다. Angle class 1 (class 1 malocclusion) refers to a condition in which the upper and lower molars mesh normally, but are not aligned due to rotation, protrusion, or displacement of the front teeth. Angle class 2 (class 2 malocclusion) refers to a condition in which the upper molar protrudes anteriorly than the lower molar in the engagement of the upper and lower molars, and the protruding mouth typically falls under this classification. Angle class 3 (class 3 malocclusion) refers to a condition in which the lower molars are engaged backward than the upper molars in the engagement of the upper and lower molars, and the protruding jaw is representative of this classification.

종래의 경우, 기존의 인공신경망 모델을 이용하여 앵글 클래스의 부정교합 분류를 학습시, 원-핫 인코딩(one-hot encoding)으로 형성된 라벨 데이터를 사용하며, 범주형 분류 학습으로 진행된다. 기존의 앵글 클래스의 3가지 클래스에 대하여 원-핫 인코딩을 이용하여 학습하게 되는 인공신경망 모델의 경우, 학습에 필요한 데이터의 양이 모든 의료 데이터를 이용하는 인공신경망 학습의 경우와 마찬가지로 매우 많아야 한다는 문제점이 있다. 이를 극복하기 위해서는 전이 학습(Transfer Learning) 또는 데이터 증강(data augmentation) 등의 다양한 기법이 고려될 수 있다. 그러나, 전이 학습 및 데이터 증강 등의 학습 데이터의 부족을 극복하기 위해 제안된 종래의 기법들이 적용되어도, 일반적인 대학병원 등에서 수집 가능한 수준의 데이터 집합으로는 만족할 수 있는 성능을 보이도록 인공신경망을 학습시키기에 여전히 부족한 실정이다.In the conventional case, when learning malocclusion classification of an angle class using an existing artificial neural network model, label data formed by one-hot encoding is used and categorical classification learning is performed. In the case of an artificial neural network model that is trained using one-hot encoding for three classes of existing angle classes, the problem is that the amount of data required for learning must be very large, as in the case of artificial neural network learning using all medical data. there is. To overcome this, various techniques such as transfer learning or data augmentation may be considered. However, even if the conventional techniques proposed to overcome the lack of learning data, such as transfer learning and data augmentation, are applied, it is difficult to train an artificial neural network to show satisfactory performance with a data set that can be collected at a general university hospital. is still insufficient.

또한, 종래의 경우 부정교합의 판정에 사용 가능한 데이터가 주로 환자의 구강을 본 뜬 3D 스캔 데이터(STL 파일포맷)여서 기존의 전이 학습이 가능한 2D 이미지 기반 인공신경망 기술을 특징 추출(Feature Extraction)로 적용하기에 어려운 문제점이 있다. 이에, 3D 데이터에 직접적으로 적용 가능한 3D 합성곱(convolution)을 기반으로 하는 신경망 모델이 있으나, 이 경우 기존의 충분한 데이터로 학습된 모델이 거의 없어서 전이 학습의 적용이 쉽지 않다. In addition, in the conventional case, data usable for determining malocclusion is mainly 3D scan data (STL file format) that imitates the patient's mouth, so 2D image-based artificial neural network technology capable of conventional transfer learning is used as feature extraction. There are problems with application. Accordingly, there is a neural network model based on 3D convolution that can be directly applied to 3D data, but in this case, it is not easy to apply transfer learning because there are few models learned with sufficient existing data.

부정교합을 판단하는 관련 특허문헌으로, 한국등록특허 제10-2070255호는 복수의 치아의 분류 코드 유사도에 기초하여 부정교합을 결정하는 시스템 및 방법을 개시한다. 상기 선행특허는 치아의 위치와 회전 정도를 나타내는 치아의 분류 코드와 치아의 위치 코드를 이용하여 부정교합을 특정 및 분류하는 방법을 개시하고 있다. 그러나, 상기 선행특허는 부정교합의 특정 및 분류에 인공지능을 접목한 실시예는 개시하지 않고 있다.As a related patent document for determining malocclusion, Korean Patent Registration No. 10-2070255 discloses a system and method for determining malocclusion based on similarities of classification codes of a plurality of teeth. The prior patent discloses a method for specifying and classifying malocclusion using a classification code of a tooth and a position code of the tooth indicating the position and degree of rotation of the tooth. However, the prior patent does not disclose an embodiment in which artificial intelligence is applied to the specification and classification of malocclusion.

인공지능을 이용한 부정교합 분류는 학습 데이터 부족의 문제점을 극복하고 진단에 요구되는 최소한의 분류 성능의 정확도가 보장될 수 있기 위한 새로운 학습 방법과 그 방법에 적합한 인공신경망 모델이 제시되어야 한다. 이에 본 출원인은, 인공지능 학습의 전처리 단계와 전처리 데이터의 라벨링 및 이에 적합한 인공신경망 모델 및 학습 방법을 고안하여 적은 데이터 집합으로도 높은 정확도의 학습이 가능한 본 발명을 고안하게 되었다.For malocclusion classification using artificial intelligence, a new learning method and an artificial neural network model suitable for the method must be presented to overcome the problem of lack of learning data and ensure the accuracy of the minimum classification performance required for diagnosis. Accordingly, the present applicant devised the present invention capable of high-accuracy learning with a small data set by devising a pre-processing step of artificial intelligence learning, labeling of pre-processed data, and an artificial neural network model and learning method suitable for this.

한국등록특허 제10-2070255호Korean Patent Registration No. 10-2070255

본 발명은 인공신경망 기반 부정교합을 분류하는 방법 및 애플리케이션에 관한 것으로, 적은 데이터 집합으로도 높은 정확도의 학습 및 분류의 정확도를 정량적으로 평가할 수 있는 기계학습 방법 및 이에 적합한 인공신경망 모델을 제공하고자 한다. The present invention relates to a method and application for classifying malocclusion based on an artificial neural network, and to provide a machine learning method that can quantitatively evaluate the accuracy of high-accuracy learning and classification even with a small data set, and an artificial neural network model suitable therefor. .

상기 목적을 달성하기 위하여 본 발명은, 연산장치에 의해 수행되는 인공신경망 기반 부정교합 분류 방법에 있어서, 상악과 하악의 치아가 스캔된 3D 모델 데이터(STL 포맷)를 전처리하여 정해진 시점의 2D 이미지 데이터를 얻기 위해 상기 3D 모델 데이터를 정렬하는 리-오리엔테이션(Re-orientation) 단계; 정렬된 상기 3D 모델 데이터에서 부정교합 분류를 위한 라벨을 설정하는 단계로, 원-핫 인코딩(one-hot encoding)으로 앵글 클래스(Angle’s classification)에 기반한 제1 라벨을 설정하고, 상기 제1 라벨에 상악과 하악의 상대적 위치에 기반한 순서가 부여된 제2 라벨과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정하는 라벨링 단계; 및 상기 제1 라벨에는 다중 분류에서 사용되는 제1 손실함수가 설정되고, 상기 제2 라벨과 상기 제3 라벨은 회귀(regression)의 제2 손실함수가 설정되어, 이종(異種)의 손실함수들에 가중치를 부여하여 다항식으로 조합한 최종 손실함수를 갖고, 상기 최종 손실함수 기반으로 인공신경망 모델에 대해 정렬된 상기 3D 모델 데이터로부터 추출된 2D 교합 이미지의 앵글 클래스 분류를 학습하는 학습 단계;를 포함하여 학습을 수행하며, 상기의 학습으로 추론 단계에서 상기 3D 모델 데이터의 입력시 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출 가능한 것을 일 특징으로 한다.In order to achieve the above object, the present invention, in an artificial neural network-based malocclusion classification method performed by an arithmetic device, pre-processes 3D model data (STL format) in which upper and lower teeth are scanned to obtain 2D image data at a given time point A re-orientation step of aligning the 3D model data to obtain Setting a label for malocclusion classification in the aligned 3D model data, setting a first label based on angle's classification by one-hot encoding, and a labeling step of setting a second label to which an order is assigned based on the relative positions of the upper and lower jaws and a third label based on the tooth distance between the occluded upper and lower jaws; and a first loss function used in multi-classification is set to the first label, and a second loss function of regression is set to the second label and the third label, so that heterogeneous loss functions A learning step of learning angle class classification of the 2D occlusal image extracted from the 3D model data sorted for the artificial neural network model based on the final loss function, having a final loss function combined with a polynomial by weighting It is characterized in that the angle class is classified when the 3D model data is input in the inference step through the above learning, and quantitative data related to the accuracy of the classified class can be calculated.

바람직하게, 리-오리엔테이션 단계는 정렬된 상기 3D 모델 데이터로부터 정해진 시점의 2D 이미지들을 추출하여 2D 이미지의 조합으로 학습을 위한 상기 2D 교합 이미지를 생성할 수 있다.Preferably, the re-orientation step may extract 2D images of a predetermined viewpoint from the aligned 3D model data and generate the 2D occlusion image for learning as a combination of the 2D images.

바람직하게, 리-오리엔테이션 단계는 정렬된 상기 3D 모델 데이터로부터, 특정 각도(N개)에서 바라본 단면의 2D 이미지를 그레이 스케일로 변환하여 상기 2D 교합 이미지를 생성할 수 있다.Preferably, the re-orientation step may generate the 2D occlusal image by converting a 2D image of a cross section viewed from a specific angle (N number) into a gray scale from the aligned 3D model data.

바람직하게, 라벨링 단계는 상기 제2 라벨이 상기 제1 라벨의 분류에서 상악과 하악의 상대적 위치를 연속변수(0, 1, -1)로 지정한 데이터 값으로 표현하여 회귀(regression)라벨로 생성할 수 있다. Preferably, in the labeling step, the second label is generated as a regression label by expressing the relative position of the upper and lower jaws as a data value designated as a continuous variable (0, 1, -1) in the classification of the first label. can

바람직하게, 라벨링 단계는 상기 제3 라벨이 상기 3D 모델 데이터로부터, 상악 대구지와 하악 대구치의 특정 포인트의 거리를 픽셀 기반으로 수치화한 데이터일 수 있다. Preferably, in the labeling step, the third label may be pixel-based digitized data of a distance of a specific point between the upper molar and the lower molar from the 3D model data.

바람직하게, 상기 제3 라벨은, 상기 3D 모델 데이터에서, 상악 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈을 거리 산출의 기준점인 특정 포인트로 할 수 있다.Preferably, the third label may set the proximal buccal cusp of the maxillary first molar and the buccal groove of the mandibular first molar in the 3D model data as a specific point that is a reference point for distance calculation.

바람직하게, 학습 단계는 합성곱 신경망(CNN) 모델을 특징 추출(Feature extraction)을 위한 백본 네트워크로 하고, 상기 제1 라벨에 대응하는 제1 출력과, 상기 제2 라벨에 대응하는 제2 출력과, 상기 제3 라벨에 대응하는 제3 출력의 다중 출력을 갖도록 하고, 상기 제1 내지 3 출력이 직렬 또는 병렬로 조합된 다중 출력의 인공신경망이 구성되며, 상기 인공신경망의 상기 최종 손실함수를 최소화하기 위한 모델 파라메터 업데이트를 수행할 수 있다.Preferably, the learning step uses a convolutional neural network (CNN) model as a backbone network for feature extraction, and includes a first output corresponding to the first label and a second output corresponding to the second label. , To have multiple outputs of the third output corresponding to the third label, and a multi-output artificial neural network in which the first to third outputs are combined in series or parallel is configured, and the final loss function of the artificial neural network is minimized. You can perform model parameter update to do this.

바람직하게, 학습 단계는 상기 인공신경망이 상기 제2 출력 또는 상기 제3 출력과 상기 제1 출력이 직렬로 연결될 수 있다.Preferably, in the learning step, the second output or the third output of the artificial neural network and the first output may be connected in series.

바람직하게, 학습 단계는 상기 인공신경망이 상기 제1 출력과 상기 제2 출력이 직렬로 연결된 경우, 상기 제3 출력은 상기 제1 출력 및 상기 제2 출력과 병렬로 연결될 수 있다. Preferably, in the learning step, when the first output and the second output of the artificial neural network are connected in series, the third output may be connected in parallel to the first output and the second output.

바람직하게, 학습 단계는 상기 인공신경망이 상기 제1 출력과 상기 제3 출력이 직렬로 연결된 경우, 상기 제2 출력은 상기 제1 출력 및 상기 제3 출력과 병렬로 연결될 수 있다. Preferably, in the learning step, when the first output and the third output of the artificial neural network are connected in series, the second output may be connected in parallel to the first output and the third output.

또한, 본 발명은 연산장치에 의해 수행되는 인공신경망 기반 부정교합 분류 애플리케이션에 있어서, 상악과 하악의 치아가 스캔된 3D 모델 데이터를 전처리하여 정해진 시점의 2D 이미지 데이터를 얻기 위해 상기 3D 모델 데이터를 정렬하는 리-오리엔테이션(Re-orientation) 기능; 정렬된 상기 3D 모델 데이터에서 부정교합 분류를 위한 라벨을 설정하는 단계로, 원-핫 인코딩(one-hot encoding)으로 앵글 클래스(Angle’s classification)에 기반한 제1 라벨을 설정하고, 상기 제1 라벨에 상악과 하악의 상대적 위치에 기반한 순서가 부여된 제2 라벨과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨을 설정하는 라벨링 기능; 및 상기 제1 라벨에는 다중 분류에서 사용되는 제1 손실함수가 설정되고, 상기 제2 라벨과 상기 제3 라벨은 회귀(regression)의 제2 손실함수가 설정되어, 이종(異種)의 손실함수들에 가중치를 부여하여 다항식으로 조합한 최종 손실함수를 갖고, 상기 최종 손실함수 기반으로 인공신경망 모델에 대해 정렬된 상기 3D 모델 데이터로부터 추출된 2D 교합 이미지의 앵글 클래스 분류를 학습하는 학습 기능;를 실행시키기 위하여 매체에 저장되어, 상기의 학습으로 추론 단계에서 상기 3D 모델 데이터의 입력시 앵글 클래스가 분류되고, 분류된 클래스의 정확도 관련 정량적 데이터가 산출 가능한 것을 다른 특징으로 한다.In addition, in the present invention, in an artificial neural network-based malocclusion classification application performed by an arithmetic device, the 3D model data obtained by pre-processing the 3D model data in which the teeth of the upper and lower jaws are scanned is aligned to obtain 2D image data at a fixed point in time Re-orientation function to do; Setting a label for malocclusion classification in the aligned 3D model data, setting a first label based on angle's classification by one-hot encoding, and a labeling function for setting a second label in an order based on the relative positions of the upper and lower jaws and a third label based on the distance between the teeth of the upper and lower jaws occluded; and a first loss function used in multi-classification is set to the first label, and a second loss function of regression is set to the second label and the third label, so that heterogeneous loss functions A learning function for learning the angle class classification of the 2D occlusal image extracted from the 3D model data aligned with the artificial neural network model based on the final loss function, having a final loss function combined with a polynomial by weighting It is stored in a medium in order to do so, and the angle class is classified when the 3D model data is input in the inference step through the above learning, and quantitative data related to the accuracy of the classified class can be calculated.

본 발명에 따르면, 교정 치료에서 쉽게 구할 수 있는 스캔된 3D 모델 데이터를 사용하면서 전이학습 및 데이터 증강(Data Augmentation) 등이 가능하며, 제한된 적은 량의 데이터 집합으로도, 높은 재현성과 정확도를 보이는 부정교합 분류 인공신경망을 구현 가능하고, 이의 학습이 빠른 시간에 가능하다는 이점이 있다.According to the present invention, transfer learning and data augmentation are possible while using scanned 3D model data that can be easily obtained from orthodontic treatment, and even with a limited small amount of data set, negative It has the advantage that it is possible to implement the occlusion classification artificial neural network, and its learning is possible in a short time.

도 1은 본 발명의 실시예에 따른 인공신경망 기반 부정교합 분류 방법의 학습 단계를 나타낸다.
도 2는 도 1의 학습 단계를 개략화한 모식도이다.
도 3은 제1 출력과 제3 출력이 조합된 네트워크의 다른 실시예를 나타낸다
도 4는 제1 출력과 제2 출력이 조합된 인공신경망의 다른 실시예를 나타낸다.
도 5는 제1 출력과 제3 출력이 직렬로 연결되고, 제2 출력이 병렬로 연결된 인공신경망의 다른 실시예를 나타낸다.1 shows a learning step of an artificial neural network-based malocclusion classification method according to an embodiment of the present invention.
2 is a schematic diagram schematically illustrating the learning step of FIG. 1 .
3 shows another embodiment of a network in which a first output and a third output are combined;
4 shows another embodiment of an artificial neural network in which a first output and a second output are combined.
5 shows another embodiment of an artificial neural network in which a first output and a third output are connected in series and a second output is connected in parallel.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.Hereinafter, the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by exemplary embodiments. The same reference numerals in each figure indicate members performing substantially the same function.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.The objects and effects of the present invention can be naturally understood or more clearly understood by the following description, and the objects and effects of the present invention are not limited only by the following description. In addition, in describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.

도 1은 본 발명의 실시예에 따른 인공신경망 기반 부정교합 분류 방법의 학습 단계를 나타낸다. 도 2는 도 1의 학습 단계를 개략화한 모식도이다.1 shows a learning step of an artificial neural network-based malocclusion classification method according to an embodiment of the present invention. 2 is a schematic diagram schematically illustrating the learning step of FIG. 1 .

도 1 및 도 2를 참조하면, 인공신경망 기반 부정교합 분류 방법은 리-오리엔테이션을 수행하는 (a)단계(S10), 라벨링을 설정하는 (b)단계(S30) 및 인공지능 학습을 수행하는 (c)단계(S50)를 포함할 수 있다.1 and 2, the artificial neural network-based malocclusion classification method performs (a) step (S10) of performing re-orientation, (b) step (S30) of setting labeling and artificial intelligence learning ( c) may include step S50.

(a)단계(S10)는 전처리 과정의 단계로서 상악과 하악의 치아가 스캔된 3D 모델 데이터를 전처리하여 정해진 시점의 2D 이미지 데이터를 얻기 위해 상기 3D 모델 데이터를 정렬할 수 있다. 본 실시예로, 부정교합 환자로부터 3D 스캔 등을 통해 얻어진 3D 스캔 데이터는 STL 포맷 데이터가 될 수 있다. (a)단계(S10)는 상악과 하악의 치아를 3D 스캔으로 획득한 3D 모델 데이터를 정렬한 후, 기 설정된 특정 시점의 2D 이미지 조합을 추출할 수 있다. Step (a) (S10) is a pre-processing step, and the 3D model data may be aligned to obtain 2D image data at a predetermined point in time by pre-processing 3D model data obtained by scanning upper and lower teeth. In this embodiment, 3D scan data obtained through a 3D scan or the like from a malocclusion patient may be STL format data. In step (S10) of step (a), after aligning the 3D model data obtained by 3D scanning of upper and lower teeth, a 2D image combination at a predetermined specific viewpoint may be extracted.

본 실시예로, 리-오리엔테이션 단계(S10)는 정해진 시점의 2D 이미지 데이터를 얻기 위해 스캔된 3D 모델 데이터를 특정 방향으로 정렬하는 단계이다. 리-오리엔테이션 과정은 좌측 교합 2D 이미지와 우측 교합 2D 이미지를 항상 정해진 시점으로 얻을 수 있도록 3D 모델 데이터에 3개의 점을 지정하여 방향을 조정한다. 일 예시로, 3개의 점은 좌우측 대구치와 앞니에 지정될 수 있으며, 3개의 점을 지정한 후, 아핀 변환 등을 이용하여 3D 모델 데이터를 정렬시킬 수 있다.In this embodiment, the re-orientation step (S10) is a step of aligning the scanned 3D model data in a specific direction to obtain 2D image data of a predetermined viewpoint. In the re-orientation process, the direction is adjusted by specifying three points in the 3D model data so that the left occlusion 2D image and the right occlusion 2D image can always be obtained at a fixed point in time. As an example, three points may be assigned to left and right molars and anterior teeth, and after designating the three points, 3D model data may be aligned using an affine transformation or the like.

리-오리엔테이션 단계(S10)는 3D 모델의 스캔 데이터에서 양측 대구치와 앞니를 기준으로 동일한 위치로 상악과 하악을 교합시킨 후, 지정된 방향으로 정렬시켜 항상 정해진 시점으로 2D 이미지를 얻을 수 있게 한다. In the re-orientation step (S10), after occluding the upper and lower jaws in the same position based on both molars and anterior teeth in the scan data of the 3D model, aligning them in a designated direction so that a 2D image can always be obtained at a predetermined viewpoint.

리-오리엔테이션 단계(S10)의 수행 이후 정렬된 3D 모델 데이터로부터 정해진 시점의 2D 이미지들을 추출하여 2D 이미지의 조합으로 학습을 위한 2D 교합 이미지를 생성하는 단계가 수행될 수 있다. 이 과정에서, 후술하게 될 라벨링 단계(S30)가 함께 수행될 수 있다. After performing the re-orientation step (S10), a step of extracting 2D images of a predetermined viewpoint from the aligned 3D model data and generating a 2D occlusion image for learning with a combination of the 2D images may be performed. In this process, a labeling step (S30) to be described later may be performed together.

기존의 전이 학습이 가능한 CNN기반의 인공신경망을 사용하기 위해서는 3D 모델의 스캔 데이터로부터 전문의가 부정교합의 정확한 판정을 내릴 수 있는 시점의 치아의 교합 2D 이미지들이 요구된다. 본 실시예에 따른 리-오리엔테이션 단계(S10) 및 이후의 2D 교합 이미지를 생성하는 단계의 수행으로, 상악과 하악이 맞물린 3D 모델의 스캔 데이터에서 대구치로부터 앞니에 이르는 치아의 측단면이 표현된 시점의 2D 이미지가 추출된다. 2D 이미지를 추출하는 특정 시점은 치아의 교합면을 시상면(sagittal plane)을 기준으로 양측면에서 바라본 단면도가 될 수 있다. 이에 따라, 2D 교합 이미지를 생성하는 단계에서 최소한 좌측 단면과 우측 단면인 2장의 2D 이미지 데이터를 생성한다.In order to use a CNN-based artificial neural network capable of conventional transfer learning, 2D images of dental occlusion at the time when a specialist can make an accurate judgment of malocclusion are required from scan data of a 3D model. By performing the re-orientation step (S10) and the subsequent step of generating a 2D occlusion image according to the present embodiment, the lateral section of the teeth from the molars to the front teeth is expressed in the scan data of the 3D model in which the upper and lower jaws are engaged. A 2D image of is extracted. A specific viewpoint of extracting the 2D image may be a cross-sectional view of the occlusal surface of the tooth viewed from both sides with respect to a sagittal plane. Accordingly, in the step of generating the 2D occlusal image, at least two pieces of 2D image data, a left end face and a right end face, are created.

다른 실시예로, 2D 교합 이미지를 생성하는 단계는 정렬된 3D 모델 데이터로부터, 특정 각도(N개)에서 바라본 단면의 2D 이미지를 그레이 스케일로 변환하여 2D 교합 이미지를 생성할 수 있다. 여기서 특정 각도는 3개 내지 4개의 각도가 될 수 있으며, 2D 이미지는 해당 각도에서 바라본 3장 내지 4장의 2D 교합 이미지가 될 수 있다. 본 실시예로, 3D 모델 데이터를 20°, 50°, 70°에서 바라본 각 단면을 그레이 스케일의 2D 이미지로 추출하여 학습 대상인 교합 이미지 조합으로 할 수 있다. 또한, 이는 좌우에 대해 수행하여 (20, 50, 70)의 시점의 그레이 스케일 이미지를 RGB정보 대신 채널 데이터로 갖는 2D 이미지 데이터와 (-20, -50, -70)의 시점의 그레이 스케일 이미지 각각을 채널 데이터로 갖는 다채널의 2D 이미지 데이터를 추출할 수 있다. 전이학습이 가능한 CNN기반 인공신경망의 경우, 최대 4개의 채널이 지원되므로 적용하고자 하는 CNN기반 인공신경망에 맞춰 사용할 시점의 각도가 정해질 수 있다.In another embodiment, the generating of the 2D occlusion image may generate the 2D occlusion image by converting a 2D image of a cross section viewed from a specific angle (N number) into a gray scale from aligned 3D model data. Here, the specific angle may be three or four angles, and the 2D image may be three or four 2D occlusal images viewed from the corresponding angle. In this embodiment, cross-sections viewed at 20°, 50°, and 70° of 3D model data can be extracted as gray scale 2D images to form an occlusal image combination as a learning target. In addition, this is performed on the left and right, so that 2D image data having gray scale images at (20, 50, 70) as channel data instead of RGB information and gray scale images at (-20, -50, -70) It is possible to extract multi-channel 2D image data having as channel data. In the case of a CNN-based artificial neural network capable of transfer learning, up to four channels are supported, so the angle of use can be determined according to the CNN-based artificial neural network to be applied.

(b)단계(S30)는 라벨링 단계로서 교합 이미지에서 부정교합 분류를 위한 라벨을 설정하는 단계로, 원-핫 인코딩(one-hot encoding)으로 앵글 클래스(Angle’s classification)에 기반한 제1 라벨(S31)을 설정하고, 제1 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 부여한 숫자 값을 가지는 제2 라벨(S33)과, 교합된 상악과 하악의 치아 거리에 기반한 제3 라벨(S35)을 설정할 수 있다.(b) step (S30) is a step of setting a label for malocclusion classification in the occlusion image as a labeling step, a first label (S31) based on angle's classification with one-hot encoding ) is set, and a second label (S33) having a numeric value in which the first label is given an order in consideration of the relative positions of the upper and lower jaws and a third label (S35) based on the tooth distance between the upper and lower jaws occluded can be set

(b)단계(S30)는 제2 라벨(S33)은 전문가의 개입 혹은 영상처리 기술 등의 개입이 필요한 제3 라벨(S35)과 달리 제1 라벨(S31)의 분류에서 상악과 하악의 상대적 위치를 3가지로 분류한 데이터 값만으로 설정할 수 있다. (b)단계(S30)는 제3 라벨(S35)이 교합 이미지에서 상악 대구지와 하악 대구치의 특정 포인트의 거리를 픽셀 기반으로 수치화한 데이터로 설정할 수 있다. 본 실시예로, 제3 라벨(S35)은 교합 이미지에서, 상악 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈을 거리 산출의 기준점인 특정 포인트로 할 수 있다. (b) In step (S30), the second label (S33) is the relative position of the upper and lower jaws in the classification of the first label (S31), unlike the third label (S35), which requires an intervention by an expert or an intervention such as image processing technology. can be set only with data values classified into three types. In step (S30) of step (b), the third label (S35) may be set as pixel-based digitized data of the distance of a specific point between the upper molar and the lower molar in the occlusion image. In this embodiment, the third label S35 may set the proximal buccal cusp of the maxillary first molar and the buccal groove of the mandibular first molar in the occlusion image as a specific point that is a reference point for distance calculation.

(b)단계(S30)는 학습 대상이 되는 교합 3D 스캔 데이터에 다중 라벨을 부여하는 단계이다. 본 실시예로, (b)단계(S30)는 3가지의 라벨을 제안한다. 제1 라벨(S31)은 앵글 클래스 값이 될 수 있다. 제1 라벨(S31)은 상악 제1 대구치의 근심협측 교두가 하악 제1 대구치의 근심협측에 접촉하는 경우 클래스 1으로 분류할 수 있다. 제1 라벨(S31)은 상악 제1 대구치보다 하악 제1 대구치가 뒤쪽으로 위치하여 골격적으로 상악이 상대적으로 하악보다 전방에 위치한 경우 클래스 2로 분류할 수 있다. 제1 라벨(S31)은 상악 제1 대구치보다 하악 제1 대구치가 앞쪽에 위치하고 있으며, 골격적으로 하악이 상대적으로 상악보다 전방에 위치하는 경우 클래스 3으로 분류할 수 있다. 각각의 클래스 1 내지 3은 원-핫 인코딩으로 값이 부여되어 라벨 데이터를 형성할 수 있다. Step (b) (S30) is a step of assigning multiple labels to the occlusion 3D scan data to be learned. In this embodiment, step (b) (S30) proposes three labels. The first label S31 may be an angle class value. The first label S31 may be classified as Class 1 when the mesiobuccal cusp of the maxillary first molar contacts the mesiobuccal side of the mandibular first molar. The first label (S31) can be classified as class 2 when the lower first molar is located behind the upper first molar and the upper jaw is located relatively forward than the lower jaw in terms of skeleton. The first label S31 may be classified as class 3 when the lower first molar is located in front of the upper first molar, and the lower jaw is skeletally located in anterior to the upper jaw. Each of Classes 1 to 3 may be assigned a value by one-hot encoding to form label data.

제2 라벨(S33)은 앵글 클래스 라벨에 상악과 하악의 상대적 위치를 고려하여 순서를 가지는 숫자 값이 부여된 라벨로 이해될 수 있다. 본 실시예로, 제2 라벨(S33)은 Pseudo distance label이라 부른다. 제2 라벨(S33)은 일종의 가상의 거리 관계로 데이터를 부여하는 라벨이며 상악과 하악의 상대적 위치에 따른 순서를 가지는 숫자 값으로 표현하여 라벨 데이터를 생성할 수 있다. 제 1라벨에서는 클래스를 분류할 뿐 원-핫 인코딩을 사용하여 클래스 간의 어떠한 순서 정보가 없는 것과 달리 제2 라벨(S33)은 상악과 하악의 상대적 위치에 따른 순서에 대한 정보가 라벨에 포함된다. 구체적으로, 제2 라벨(S33)은 상악과 하악의 상대적 위치를 -1, 0, +1의 순서를 가지는 데이터 값으로 표현할 수 있다. 제1 라벨(S31)에서 클래스 1로 분류된 경우, 제2 라벨(S33)은 0으로 설정될 수 있다. 제1 라벨(S31)에서 클래스 2로 분류된 경우, 제2 라벨(S33)은 +1로 설정될 수 있다. 제1 라벨(S31)에서 클래스 3으로 분류된 경우, 제2 라벨(S33)은-1로 설정될 수 있다. 이 경우, 상악이 하악보다 앞에 위치할 양수의 값을 뒤로 위치할 경우 음수의 값을 가지도록 하여 regression 문제에 대한 학습 기법을 사용할 수 있게 한다. The second label S33 may be understood as a label to which a numerical value having an order in consideration of the relative positions of the upper and lower jaws is assigned to the angle class label. In this embodiment, the second label S33 is called a pseudo distance label. The second label S33 is a label that assigns data in a kind of virtual distance relationship, and may generate label data by expressing numerical values in an order according to the relative positions of the upper and lower jaws. Unlike the first label, which only classifies classes and does not have any order information between classes by using one-hot encoding, the second label S33 includes information about the order according to the relative positions of the upper and lower jaws. Specifically, the second label S33 may express the relative positions of the upper and lower jaws as data values in the order of -1, 0, and +1. When classified as class 1 in the first label S31, the second label S33 may be set to 0. When classified as Class 2 in the first label S31, the second label S33 may be set to +1. When classified as class 3 in the first label S31, the second label S33 may be set to -1. In this case, it is possible to use the learning technique for the regression problem by setting the upper jaw to have a positive value to be located in front of the lower jaw and a negative value to be located behind the lower jaw.

제2 라벨(S33)은 앵글 클래스로부터 직접 산출된 일종의 Pseudo 거리이며, 데이터가 적은 교합 이미지의 학습 성능을 향상시키기 위한 다중 라벨 중 하나이며, 제1 라벨(S31)과 제2 라벨(S33)은 각각 다중 출력으로 사용되거나 직렬로 연결하여 학습된다. 제2 라벨(S33)은 후술하게 될 제3 라벨(S35)의 작업이 용이하지 않은 경우, 앵글 클래스의 상악과 하악의 상대적 위치 정보로 실측 거리를 대체하여 사용이 가능하며 상악과 하악의 상대적 위치 정보를 사전 정보로 제공함으로서 적은 데이터에서 빠른 학습 및 보다 높은 성능을 가능케 한다. 제2 라벨(S33)은 제3 라벨(S35)의 대체제로서 기능할 수도 있으며, 동시에도 사용 가능하다. 제1 라벨(S31)에 제2 라벨(S33)과 제3 라벨(S35)을 함께 사용할 경우, 각각의 라벨을 부정교합 클래스의 원-핫 인코딩의 제1 라벨(S31)과 사용한 경우보다 보다 높은 정확도의 분류가 가능하다. 참고로 이같은 경향은 학습 데이터의 크기가 작을수록 두드러진다.The second label (S33) is a kind of pseudo distance directly calculated from the angle class, and is one of multiple labels for improving the learning performance of an occlusion image with little data. The first label (S31) and the second label (S33) are Each is used as multiple outputs or learned by connecting them in series. The second label (S33) can be used by replacing the actually measured distance with the relative position information of the upper and lower jaws of the angle class when the operation of the third label (S35) to be described later is not easy, and the relative position of the upper and lower jaws By providing information as prior information, it enables fast learning and higher performance with less data. The second label S33 may function as a substitute for the third label S35, and may be used simultaneously. When the second label (S33) and the third label (S35) are used together with the first label (S31), higher than the case where each label is used with the first label (S31) of one-hot encoding of the malocclusion class. Classification of accuracy is possible. For reference, this tendency becomes more pronounced when the size of the training data is small.

제3 라벨(S35)은 상악과 하악의 특정 치아의 실측된 거리에 관한 라벨 데이터를 의미한다. 본 실시예로, 제3 라벨(S35)은 Measured distance label이 될 수 있다. 제3 라벨(S35)은 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈의 거리(the mesiobuccal cusp of the maxillary first molar and the buccal groove of the mandibular first molar) 데이터일 수 있다. The third label S35 means label data related to the actually measured distance between specific teeth in the upper and lower jaws. In this embodiment, the third label S35 may be a Measured distance label. The third label S35 may be data on the distance between the proximal buccal cusp of the first molar and the buccal groove of the mandibular first molar.

도 2를 참조하면, 제3 라벨(S35)의 거리 측정을 위한 특정 포인트의 타겟 박스를 D로 표현하였다. 제3 라벨(S35)은 전문의가 3D 모델 데이터 또는 2D의 교합 이미지 상에서 제1 대구치의 근협측 교두와 하악 제1 대구치의 협측 홈을 직접 포인트로 설정할 수도 있으나, 기존의 다른 영상처리 기술들로 제1 대구치의 학습된 정보로 각 포인트가 자동으로 설정될 수도 있다.Referring to FIG. 2 , a target box of a specific point for distance measurement of the third label S35 is expressed as D. As for the third label S35, a specialist may directly set the proximal buccal cusp of the first molar and the buccal groove of the mandibular first molar as points on the 3D model data or 2D occlusion image, but it is limited by other existing image processing technologies. Each point may be automatically set with the learned information of one molar.

제1 대구치의 양측 포인트가 설정되면 제3 라벨은 이미지 상에서의 픽셀 값을 기반으로 거리를 실측할 수 있다. (b)단계(S30)는 이상의 라벨링 단계를 수행하여 3D 모델 데이터에 해당 라벨 셋을 부여한다.When points on both sides of the first molar are set, the distance of the third label can be actually measured based on a pixel value on the image. (b) Step (S30) performs the above labeling steps to assign a corresponding label set to the 3D model data.

(c)단계(S50)는 학습 단계로서, 제1 라벨(S31)에는 다중 분류에서 사용되는 제1 손실함수가 설정되고, 제2 라벨(S33)과 제3 라벨(S35)은 회귀(regression)의 제2 손실함수가 설정되어, 이종(異種)의 손실함수들에 가중치를 부여하여 다항식으로 조합한 최종 손실함수를 갖고, 상기 최종 손실함수 기반으로 인공신경망 모델에 대해 정렬된 3D 모델 데이터로부터 추출된 2D 교합 이미지의 앵글 클래스 분류를 학습할 수 있다. (c) step (S50) is a learning step, the first loss function used in multi-classification is set to the first label (S31), and the second label (S33) and the third label (S35) are regression (regression) A second loss function of is set, has a final loss function that is combined with a polynomial by weighting heterogeneous loss functions, and extracts from 3D model data aligned for the artificial neural network model based on the final loss function Angle class classification of the 2D occlusal image can be learned.

(c)단계(S50)의 학습으로, 추후 사용자가 사용하게 되는 추론 단계에서는 기존의 STL 포맷인 3D 모델 데이터의 입력시 앵글 클래스가 자동으로 분류될 수 있으며, 분류된 클래스의 정확도 관련 정량적 데이터도 산출되어 정확도 관련 지표가 함께 표현될 수 있다.(c) With the learning of step (S50), in the inference step to be used by the user later, the angle class can be automatically classified when inputting 3D model data in the existing STL format, and quantitative data related to the accuracy of the classified class can also be It can be calculated and expressed together with the accuracy-related index.

제1 손실함수로 분류 문제에 주로 사용되는 크로스-엔트로피(cross-entropy)를 사용할 수 있다. 본 실시예로, 제1 라벨(S31)에 대한 손실함수는 하기의 [수학식 1]로 표현될 수 있다. As the first loss function, cross-entropy, which is mainly used in classification problems, can be used. In this embodiment, the loss function for the first label S31 can be expressed as [Equation 1] below.

[수학식 1][Equation 1]

여기서, β는 해당 손실함수의 가중치이고, N은 데이터 개수이며, C는 클래스 개수이고, L_ij는 샘플 i가 클래스 j인지를 나타내는 라벨(0 또는 1)이고, P_ij는 샘플 i가 클래스 j에 해당할 확률 값(0~1)을 의미한다. Here, β is the weight of the corresponding loss function, N is the number of data, C is the number of classes, L _ij is a label (0 or 1) indicating whether sample i is class j, and P _ij is sample i of class j It means a probability value (0 to 1) corresponding to .

제2 손실함수는 회귀(regression)에서 사용되는 MSE(mean square error)가 될 수 있다. 제2 손실함수는 제2 라벨(S33) 및 제3 라벨(S35)의 손실함수로 설정될 수 있다. 본 실시예로, 제2 라벨(S33)에 대한 제2 손실함수는 하기의 [수학식 2]로 표현될 수 있다.The second loss function may be mean square error (MSE) used in regression. The second loss function may be set as the loss function of the second label S33 and the third label S35. In this embodiment, the second loss function for the second label S33 can be expressed by [Equation 2] below.

[수학식 2][Equation 2]

여기서, β는 손실함수의 가중치 값이고, N은 데이터 샘플 개수이며, y_i는 Pseudo distance i번째 샘플의 예측값이고, t_i는 Pseudo distance i번째 샘플의 라벨값을 의미한다. Here, β is the weight value of the loss function, N is the number of data samples, y _i is the predicted value of the pseudo distance ith sample, and t _i means the label value of the pseudo distance ith sample.

본 실시예로, 제3 라벨(S35)에 대한 제2 손실함수는 하기의 [수학식 3]로 표현될 수 있다.In this embodiment, the second loss function for the third label S35 can be expressed as [Equation 3] below.

[수학식 3][Equation 3]

여기서, γ는 손실함수의 가중치 값이고, N은 데이터 샘플 개수이며, Z_i는 Measured distance i번째 샘플의 예측값이고, l_i는 Measured distance i번째 샘플의 라벨값을 의미한다. Here, γ is the weight value of the loss function, N is the number of data samples, Z _i is the predicted value of the measured distance ith sample, and l _i means the label value of the measured distance ith sample.

본 실시예에 따른 인공신경망의 손실함수는 제1 손실함수 및 제2 손실함수를 항으로 가지는 다항식으로 표현될 수 있다. 본 실시예에 따른 인공신경망의 손실함수는 하기의 [수학식 4]로 표현될 수 있다.The loss function of the artificial neural network according to this embodiment may be expressed as a polynomial having a first loss function and a second loss function as terms. The loss function of the artificial neural network according to this embodiment can be expressed as the following [Equation 4].

[수학식 4][Equation 4]

전체 손실함수 L은 전술한 수학식 1 내지 3의 손실함수가 조합된 다항식으로 표현될 수 있다. 본 실시예로, 가중치 α, β, γ는 α, β > γ 의 관계가 성립될 수 있다. 바람직하게 α, β 는 1로 γ는 1보다 작게 설정될 수 있다. 그 이유로, 제3 라벨(S35)은 실측 데이터로서 데이터 수치의 스케일이 제1 라벨(S31) 및 제2 라벨(S33)보다 크게 형성되므로, 스케일을 맞추기 위해 가중치가 1 이하의 값으로 설정될 수 있다.The total loss function L may be expressed as a polynomial in which the loss functions of Equations 1 to 3 are combined. In this embodiment, the weights α, β, and γ may have a relation of α, β > γ. Preferably, α and β may be set to 1 and γ may be set to less than 1. For that reason, since the third label S35 is actually measured data and the scale of the data value is larger than that of the first label S31 and the second label S33, the weight may be set to a value of 1 or less to match the scale. there is.

(c)단계(S50)는 전이 학습을 사용한 백본 네트워크 학습 단계(S51)와 다중 출력 네트워크 학습 단계(S53)를 포함할 수 있다. Step (c) (S50) may include a backbone network learning step (S51) using transfer learning and a multi-output network learning step (S53).

백본 네트워크 학습 단계(S51)는 기존의 충분한 학습데이터로 사전 훈련된 합성곱 신경망(CNN)기반의 모델을 사용한다. CNN 기반 모델은 하나 또는 여러 개의 콘볼루션 계층들로 구성된 심층 신경망(DNN)의 한 종류이다. CNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 전이 학습이 가능한 여러 버전이 제공되고 있어서 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되고 있다. 본 실시예에 따른 인공신경망 기반 부정교합 분류 학습 모델은 전술한 전처리 과정으로, 학습 대상 이미지가 2D로 전환되었으므로, 기존의 CNN 모델 및 특징 벡터를 전용하여 사용하기에 유리하다. In the backbone network learning step (S51), a convolutional neural network (CNN)-based model pre-trained with sufficient existing training data is used. A CNN-based model is a type of deep neural network (DNN) consisting of one or several convolutional layers. CNN has a structure suitable for learning two-dimensional data, and since several versions capable of transfer learning are provided, it is widely used in various application fields such as object classification and object detection in images. In the artificial neural network-based malocclusion classification learning model according to the present embodiment, since the training target image is converted to 2D through the above-described preprocessing process, it is advantageous to exclusively use the existing CNN model and feature vector.

다만, 본 실시예에 따른 부정교합 분류 학습 모델은 다중 라벨이 설정되기 때문에 다중 출력 구조를 형성함이 바람직하다. 이에 백본 네트워크 모델의 수행 이후, 드롭아웃 레이어가 병렬로 분할되고, 손실함수의 조합에 따라 다중 출력의 네트워크를 구성하여 학습한다.However, since the malocclusion classification learning model according to the present embodiment sets multiple labels, it is preferable to form a multiple output structure. Therefore, after performing the backbone network model, the dropout layer is divided in parallel, and a multi-output network is configured and learned according to a combination of loss functions.

다중 출력 네트워크 학습 단계(S53)는 제1 라벨(S31)에 대응하는 제1 출력과, 제2 라벨(S33)에 대응하는 제2 출력과, 제3 라벨(S35)에 대응하는 제3 출력의 다중 학습 결과를 갖도록, 이종의 손실함수가 직렬 또는 병렬로 조합된 다중 출력의 인경신경망이 구성된다.The multi-output network learning step (S53) includes a first output corresponding to the first label S31, a second output corresponding to the second label S33, and a third output corresponding to the third label S35. A multi-output human neural network in which heterogeneous loss functions are combined in series or parallel is constructed to have multiple learning results.

본 실시예로, 학습 단계(S50)에서 수행되는 CNN기반의 다중 출력 인공신경망의 학습은 제2 라벨(S33) 또는 제3 라벨(S35)의 출력단과 제1 라벨(S31)의 출력단이 직렬로 연결될 수 있다. 학습 단계(S50)는 학습되는 인공신경망이 제1 라벨(S31)의 출력단과 제2 라벨(S33)의 출력단이 직렬로 연결된 경우, 제3 라벨(S35) 의 출력단은 제1 라벨(S31) 및 제2 라벨(S33)의 출력단과 병렬로 연결되어 구성될 수 있다. In this embodiment, in the training of the CNN-based multi-output artificial neural network performed in the learning step (S50), the output terminal of the second label (S33) or the third label (S35) and the output terminal of the first label (S31) are connected in series. can be connected In the learning step (S50), when the output terminal of the first label (S31) and the output terminal of the second label (S33) are connected in series in the artificial neural network to be learned, the output terminal of the third label (S35) is the first label (S31) and It may be configured by being connected in parallel with the output end of the second label S33.

학습 단계(S50)는 학습되는 인공신경망이 제1 라벨(S31)의 출력단과 제3 라벨(S35)의 출력단이 직렬로 연결된 경우, 제2 라벨(S33)은 제1 라벨(S31) 및 제3 라벨(S35)의 출력단과 병렬로 연결되어 구성될 수 있다.In the learning step (S50), when the output terminal of the first label (S31) and the output terminal of the third label (S35) are connected in series in the artificial neural network to be learned, the second label (S33) is the first label (S31) and the third label (S33). It may be configured by being connected in parallel with the output terminal of the label S35.

본 실시예로, 다중 출력 네트워크의 상기 출력단 직/병렬 조합은 다음과 같이 요약될 수 있다. 다중 라벨의 효과를 극대화하는 네트워크 구조로서, 제3 라벨(S35)은 measured distance이며, 대응하는 회귀 출력이 병렬로 놓이는 것보다 직렬로 제1 라벨(S31) 출력과 연결되는 것이 효과적이다. 제2 라벨(S33) 또한 일종의 distance로 다룰 수 있는 Pseudo distance 값으로 제3 라벨(S35)과 마찬가지로 대응하는 회귀 출력이 병렬로 처리하는 것보다 제1 라벨(S31) 출력과 직렬 연결하는 것이 효과적이다. 이러한 회귀 구조의 한 실시예로, 도 2에서는 제1 라벨(S31)인 앵글 클래스 분류와 제2 라벨(S33)인 Pseudo distance의 출력이 직렬로 연결되었다. 또한, 제3 라벨(S35)은 별도의 레이어의 출력으로 제1 라벨(S31) 및 제2 라벨(S33)과 병렬 관계를 갖고 최종 손실함수에서 제3 라벨(S35)의 손실함수 값을 통해 제1 라벨(S31) 출력에 영향을 미친다. In this embodiment, the output terminal series/parallel combination of the multi-output network can be summarized as follows. As a network structure that maximizes the effect of multiple labels, the third label (S35) is a measured distance, and it is more effective to connect the output of the first label (S31) in series rather than placing the corresponding regression output in parallel. The second label S33 is also a pseudo distance value that can be treated as a kind of distance. Like the third label S35, it is more effective to serially connect the output of the first label S31 than to process the corresponding regression output in parallel. . As an example of such a regression structure, in FIG. 2 , the angle class classification as the first label S31 and the output of the pseudo distance as the second label S33 are connected in series. In addition, the third label (S35) is an output of a separate layer and has a parallel relationship with the first label (S31) and the second label (S33), and in the final loss function, through the value of the loss function of the third label (S35) 1 Label (S31) Affects the output.

도 2에서는 다중 출력 네트워크의 상기 출력단 직/병렬 조합의 바람직한 실시예를 도시하였으나, 다른 실시예로 다음과 같이 다른 종류의 네트워크 구조 타입이 형성될 수 있다. Although FIG. 2 shows a preferred embodiment of the serial/parallel combination of the output terminals of the multi-output network, other types of network structures may be formed as follows in other embodiments.

도 3은 제1 출력과 제3 출력이 조합된 인공신경망의 다른 실시예를 나타낸다. 도 3의 실시예는, 전술한 백본 네트워크(S51)의 수행 이후, 제1 출력과 제3 출력이 병렬로 연결된 네트워크를 개시한다. 본 실시예는 제1 출력과 다른 다중 라벨이 병렬로 연결된 것으로 제2 출력이 병렬로 연결된 네트워크 구조를 포함할 수 있다. 3 shows another embodiment of an artificial neural network in which a first output and a third output are combined. The embodiment of FIG. 3 discloses a network in which a first output and a third output are connected in parallel after performing the aforementioned backbone network (S51). This embodiment may include a network structure in which a first output and other multiple labels are connected in parallel, and a second output is connected in parallel.

도 4는 제1 출력과 제2 출력이 조합된 인공신경망의 다른 실시예를 나타낸다. 도 4의 실시예는 전술한 백본 네트워크(S51)의 수행 이후, 제1 출력과 제2 출력이 직렬로 연결된 인공신경망을 개시한다. 여기서, 네트워크의 직렬 구조는 제2 출력의 수행 이후 제1 출력의 학습이 이루어지도록 한다. 본 실시예는 제1 출력과 다른 다중 출력이 직렬로 연결된 것으로, 제3 출력이 제1 출력과 직렬로 연결된 네트워크 구조를 포함할 수 있다.4 shows another embodiment of an artificial neural network in which a first output and a second output are combined. The embodiment of FIG. 4 discloses an artificial neural network in which a first output and a second output are serially connected after performing the aforementioned backbone network (S51). Here, the serial structure of the network enables learning of the first output after the execution of the second output. This embodiment may include a network structure in which a first output and other multiple outputs are connected in series, and a third output is connected in series with the first output.

도 5는 제1 출력과 제3 출력이 직렬로 연결되고, 제2 출력이 병렬로 연결된 인공신경망의 다른 실시예를 나타낸다. 도 5의 실시예는 전술한 백본 네트워크(S51)의 수행 이후, 제3 출력과 제2 출력이 병렬로 분기되고, 제3 출력의 학습 결과가 제1 출력과 직렬로 연결된 네트워크 구조를 개시한다. 5 shows another embodiment of an artificial neural network in which a first output and a third output are connected in series and a second output is connected in parallel. The embodiment of FIG. 5 discloses a network structure in which a third output and a second output are branched in parallel and a learning result of the third output is connected in series with the first output after the above-described backbone network (S51) is performed.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다. Although the present invention has been described in detail through representative embodiments, those skilled in the art will understand that various modifications are possible to the above-described embodiments without departing from the scope of the present invention. will be. Therefore, the scope of the present invention should not be limited to the described embodiments and should not be defined, and should be defined by all changes or modifications derived from the claims and equivalent concepts as well as the claims to be described later.

S10: 리-오리엔테이션 단계
S30: 라벨링 단계
S31: 제1 라벨링 단계
S33: 제2 라벨링 단계
S35: 제3 라벨링 단계
S50: 학습 단계
S51: 백본 네트워크 학습 단계
S53: 다중 출력 인공신경망 모델 학습 단계S10: Re-orientation step
S30: labeling step
S31: first labeling step
S33: Second labeling step
S35: Third labeling step
S50: learning step
S51: Backbone Network Learning Step
S53: Multi-output artificial neural network model learning step

Claims

In the artificial neural network-based malocclusion classification method performed by an arithmetic device,
(a) a re-orientation step of aligning the 3D model data to obtain 2D image data at a predetermined time by pre-processing 3D model data obtained by scanning upper and lower teeth;
(b) setting a label for malocclusion classification in the aligned 3D model data, setting a first label based on angle's classification by one-hot encoding, and A labeling step of setting a second label in which an order is assigned to one label based on the relative positions of the upper and lower jaws and a third label based on the distance between the teeth of the upper and lower jaws occluded; and
(c) a first loss function used in multi-classification is set to the first label, and a second loss function of regression is set to the second label and the third label, resulting in heterogeneous loss Learning an angle class classification of a 2D occlusal image extracted from the 3D model data sorted with respect to an artificial neural network model based on the final loss function having a final loss function obtained by combining the functions in a polynomial by giving weights; Perform learning, including
An artificial neural network-based malocclusion classification method, characterized in that the angle class is classified when the 3D model data is input in the inference step by the above learning, and quantitative data related to the accuracy of the classified class can be calculated.

According to claim 1,
After performing step (a),
Artificial neural network based malocclusion classification method, characterized in that it further comprises the step of extracting 2D images of a given viewpoint from the aligned 3D model data and generating the 2D occlusion image for learning with a combination of 2D images.

According to claim 1,
In step (a),
Artificial neural network-based malocclusion classification method, characterized in that for generating the 2D occlusion image by converting a 2D image of a cross section viewed from a specific angle (N number) from the aligned 3D model data into a gray scale.

According to claim 1,
In step (b),
The artificial neural network-based malocclusion classification method, characterized in that the second label is generated as a regression label by expressing the relative position of the upper and lower jaws as a data value designated as a continuous variable in the classification of the first label.

According to claim 1,
In step (b),
The artificial neural network-based malocclusion classification method, characterized in that the third label is pixel-based digitized data of the distance of a specific point of the upper molar and the lower molar from the 3D model data.

According to claim 5,
The third label,
In the 3D model data, the artificial neural network-based malocclusion classification method, characterized in that the proximal buccal cusp of the upper first molar and the buccal groove of the lower first molar as a specific point that is a reference point for distance calculation.

According to claim 1,
In step (c),
A convolutional neural network (CNN) model is used as a backbone network for feature extraction,
To have multiple outputs of a first output corresponding to the first label, a second output corresponding to the second label, and a third output corresponding to the third label, wherein the first to third outputs are serial or An artificial neural network of multiple outputs combined in parallel is configured,
Artificial neural network-based malocclusion classification method, characterized in that for performing a model parameter update to minimize the final loss function of the artificial neural network.

According to claim 7,
In step (c),
The artificial neural network,
The artificial neural network-based malocclusion classification method, characterized in that the second output or the third output and the first output are connected in series.

According to claim 7,
In step (c),
The artificial neural network,
Artificial neural network-based malocclusion classification method, characterized in that when the first output and the second output are connected in series, the third output is connected in parallel with the first output and the second output.

According to claim 7,
In step (c),
The artificial neural network,
Artificial neural network-based malocclusion classification method, characterized in that when the first output and the third output are connected in series, the second output is connected in parallel with the first output and the third output.

In the artificial neural network-based malocclusion classification application performed by the computing device,
(a) a re-orientation function for aligning the 3D model data to obtain 2D image data at a predetermined point in time by pre-processing 3D model data obtained by scanning upper and lower teeth;
(b) setting a label for malocclusion classification in the aligned 3D model data, setting a first label based on angle's classification by one-hot encoding, and a labeling function for setting a second label in which an order is assigned to 1 label based on the relative positions of the upper and lower jaws and a third label based on the distance between the teeth of the upper and lower jaws occluded; and
(c) a first loss function used in multi-classification is set to the first label, and a second loss function of regression is set to the second label and the third label, resulting in heterogeneous loss A learning function for learning an angle class classification of a 2D occlusal image extracted from the 3D model data aligned to an artificial neural network model based on the final loss function, having a final loss function obtained by combining the functions in a polynomial by weighting the functions; It is stored in the medium to execute,
An artificial neural network-based malocclusion classification application, characterized in that the angle class is classified when the 3D model data is input in the inference step by the above learning, and quantitative data related to the accuracy of the classified class can be calculated.