KR102380166B1 - Periodontitis automatic diagnosis method, and program implementing the same method - Google Patents

Periodontitis automatic diagnosis method, and program implementing the same method Download PDF

Info

Publication number
KR102380166B1
KR102380166B1 KR1020200048258A KR20200048258A KR102380166B1 KR 102380166 B1 KR102380166 B1 KR 102380166B1 KR 1020200048258 A KR1020200048258 A KR 1020200048258A KR 20200048258 A KR20200048258 A KR 20200048258A KR 102380166 B1 KR102380166 B1 KR 102380166B1
Authority
KR
South Korea
Prior art keywords
region
intersection
root
image
tooth
Prior art date
Application number
KR1020200048258A
Other languages
Korean (ko)
Other versions
KR102380166B9 (en
KR20210130326A (en
Inventor
이원진
이상정
장혁준
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020200048258A priority Critical patent/KR102380166B1/en
Priority to PCT/KR2020/008388 priority patent/WO2021215582A1/en
Publication of KR20210130326A publication Critical patent/KR20210130326A/en
Application granted granted Critical
Publication of KR102380166B1 publication Critical patent/KR102380166B1/en
Publication of KR102380166B9 publication Critical patent/KR102380166B9/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4552Evaluating soft tissue within the mouth, e.g. gums or tongue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/14Applications or adaptations for dentistry
    • A61B6/51
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Abstract

적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 치주염을 자동 판단하는 방법으로서, 수신한 치과 방사선 영상에서 해부학적 형태에 기초하여 치관 영역과 치근 영역을 포함하는 개별 치아 영역, 치근 영역을 지탱하는 치조골 영역, 그리고 치관 영역을 검출하는 단계, 검출된 개별 치아 영역에 기초하여 치아마다 중심을 지나는 장축을 설정하는 단계, 장축과 치근 영역에서의 개별 치아 영역의 경계선과의 교점을 치근점으로 설정하고, 장축과 치조골 영역의 경계선과의 교점을 제1 교점으로 추출하고, 그리고 장축과 치관 영역에서 치근 영역과 맞닿아 있는 경계선과의 교점을 제2 교점으로 추출하는 단계, 그리고 치근점과 제2 교점간의 길이 대비 치근점과 제1 교점간의 길이의 비율을 통해 개별 치아마다 치조골의 침하율을 산출하는 단계를 포함한다. A method for automatically determining periodontitis by a computing device operated by at least one processor, based on an anatomical shape in a received dental radiographic image, an individual tooth region including a crown region and a root region, and an alveolar region supporting the root region , and detecting the crown region, setting a long axis passing through the center for each tooth based on the detected individual tooth region, setting the intersection of the long axis and the boundary line of the individual tooth regions in the root region as the apical point, and the long axis Extracting the intersection of the boundary line of the alveolar bone region with the first intersection point, and extracting the intersection of the long axis and the boundary line in contact with the root region in the crown region as the second intersection point, and the length between the root point and the second intersection point Comprising the step of calculating the subsidence rate of the alveolar bone for each individual tooth through the ratio of the length between the contrast root point and the first intersection point.

Figure R1020200048258
Figure R1020200048258

Description

치주염 자동 판단 방법 및 이를 구현하는 프로그램{PERIODONTITIS AUTOMATIC DIAGNOSIS METHOD, AND PROGRAM IMPLEMENTING THE SAME METHOD}Periodontitis automatic determination method and program implementing the same

치주염 자동 진단 기술에 관한 것이다. It relates to automatic diagnosis technology for periodontitis.

치주 질환은 치아를 둘러싸고 있는 치은과 치주인대 및 치조골 등 치아 주위 조직에서 나타나는 질환으로 진행 정도에 따라 치은염과 치주염으로 구분된다. 상세하게는 비교적 가볍고 회복이 빠른 형태로 잇몸 즉, 연조직에만 국한된 형태를 치은염이라고 하고, 이러한 염증이 잇몸과 잇몸뼈 주변까지 진행된 경우를 치주염이라고 한다.Periodontal disease is a disease that occurs in the tissues surrounding the teeth, such as the gingiva, periodontal ligaments, and alveolar bone surrounding the teeth. In detail, a form limited to the gums, that is, soft tissue, in a relatively light and fast recovery form is called gingivitis, and a case in which the inflammation progresses to the gums and around the gums is called periodontitis.

이러한 치주 질환은 가장 흔한 질병이지만 치조골 손실, 치아 손실, 치질(치아 법랑질, 상아질)의 손상, 저작 장애, 영양 섭취 저하 등을 줄 수 있기 때문에 빠르고 정확한 진단과 그에 따른 치료가 진행되어야 한다. Although periodontal disease is the most common disease, it can cause alveolar bone loss, tooth loss, damage to hemorrhoids (tooth enamel, dentin), mastication disorders, and decreased nutritional intake.

일반적으로 치주 질환 진단 방법으로는 직접 치주 탐침(periodontal probe)과 같은 수기구를 이용하여 환자의 잇몸에 들어간 탐침의 길이와 출혈 유발 여부를 확인하거나 환자의 잇몸에 대한 치과 방사선 영상을 판독하여 진단하는 방법이 있다. In general, the diagnosis method for periodontal disease is to use a manual instrument such as a periodontal probe to check the length of the probe that has entered the patient's gums and whether it causes bleeding, or to diagnose by reading a dental radiographic image of the patient's gums. There is a way.

다만, 치주 탐침을 이용하는 경우, 치주염으로 인해 쉽게 출혈이 발생하여 치주낭 깊이가 더 깊게 측정될 수 있고, 시간 소요가 많으며 환자의 불편함이 크다. 또한, 방사선 영상을 이용하는 경우, 방사선 영상을 판독하는 판독의의 주관적인 경험, 경력에 영향을 많이 받기 때문에, 부정확한 진단을 초래할 가능성이 있다. However, when a periodontal probe is used, bleeding occurs easily due to periodontitis, so that the depth of the periodontal pocket can be measured more deeply, it takes a lot of time, and the patient is uncomfortable. In addition, when a radiographic image is used, since it is greatly influenced by the subjective experience and career of a doctor who reads the radiographic image, there is a possibility that an inaccurate diagnosis may occur.

또한 치근단 방사선 촬영술 중에 대표적인 구강 내 방사선 촬영을 수행하면 한 개 또는 여러 개의 치아와 치아 주위 조직(치조골)을 선명하게 확인할 수 있지만, 전체 치아의 상태를 확인하기 어렵고, 국수적인 부분에 대한 정보만을 확인할 수 있다. 반면에 위턱 뼈, 아래턱 뼈 그리고 안면 구조를 연속된 한 장의 방사선 사진으로 보여주는 단층 촬영술의 일종인 파노라마 방사선 촬영은 상대적으로 간편하고 짧은 시간에 적은 x선 노출을 통해 전체 치아와 치조골에서의 필요한 정보를 다수 얻을 수 있지만, 치근단 방사선 영상에 비해 해상도가 떨어지고 상의 확대와 왜곡이 발생한다. In addition, if a typical intraoral radiograph is performed during apical radiography, one or several teeth and the tissues around the teeth (alveolar bone) can be clearly checked, but it is difficult to check the condition of the entire tooth, and information about only the minor parts can be confirmed. can On the other hand, panoramic radiography, which is a type of tomography that shows the upper jaw bone, lower jaw bone, and facial structures as a single series of radiographs, is relatively simple and provides necessary information on the entire tooth and alveolar bone through small x-ray exposure in a short time. Although many can be obtained, the resolution is lower than that of the apical radiographic image, and image enlargement and distortion occur.

이에 정확한 진단을 위해서는 파노라마 방사선 영상을 통해 특정 치아 부분을 한정하고 이를 다시 구강 내 방사선 촬영으로 확인하게 되어 다수의 방사선 촬영과 시간 및 비용이 소요된다. Therefore, for an accurate diagnosis, a specific tooth part is limited through a panoramic radiographic image and confirmed by intraoral radiograph again, which requires a lot of radiographs, time and money.

그러므로 판독의의 경험에 의존하지 않으면서 파노라마 방사선 영상에서 진단에 필요한 해부학적 구조물 및 영역을 자동으로 검출하고, 자동으로 치주염 진행 단계를 객관적으로 진단한 정보를 제공하는 기술이 요구된다.Therefore, there is a need for a technology that automatically detects anatomical structures and areas necessary for diagnosis in a panoramic radiographic image without relying on the experience of a surgeon and automatically provides information on objectively diagnosing the stage of periodontitis.

본 발명의 하나의 실시예는 방사선 영상에서 진단에 필요한 해부학적 구조물 및 영역을 자동적으로 검출하고, 해부학적 구조물 및 영역에서 치조골의 침하 정도를 정량적으로 계산하여 치주염 진행 정도를 제공하는 치주염 자동 진단 기술을 제공하기 위한 것이다. One embodiment of the present invention is a periodontitis automatic diagnosis technology that automatically detects an anatomical structure and region required for diagnosis in a radiographic image, and quantitatively calculates the degree of subsidence of alveolar bone in the anatomical structure and region to provide the periodontitis progression. is to provide

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.In addition to the above tasks, it may be used to achieve other tasks not specifically mentioned.

본 발명의 하나의 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 치주염을 자동 진단하는 방법으로서, 수신한 치과 방사선 영상에서 해부학적 형태에 기초하여 치관 영역과 치근 영역을 포함하는 개별 치아 영역, 치근 영역을 지탱하는 치조골 영역, 그리고 치관 영역을 검출하는 단계, 검출된 개별 치아 영역에 기초하여 치아마다 중심을 지나는 장축을 설정하고, 장축과 치근 영역에서의 개별 치아 영역의 경계선과의 교점을 치근점으로 설정하는 단계, 장축과 치조골 영역의 경계선과의 교점을 제1 교점으로 추출하고, 그리고 장축과 치관 영역에서 치근 영역과 맞닿아 있는 경계선과의 교점을 제2 교점으로 추출하는 단계, 그리고 치근점과 제2 교점간의 길이 대비 치근점과 제1 교점간의 길이의 비율을 통해 개별 치아마다 치조골의 침하율을 산출하는 단계를 포함한다. In a method for automatically diagnosing periodontitis by a computing device operated by at least one processor according to an embodiment of the present invention, an individual tooth including a crown region and a root region based on an anatomical shape in a received dental radiographic image Detecting the region, the alveolar region supporting the root region, and the crown region, setting a long axis passing through the center for each tooth based on the detected individual tooth region, and the intersection of the long axis and the boundary line of the individual tooth regions in the root region Step of setting as the root point, extracting the intersection of the long axis and the boundary line of the alveolar region as the first intersection, and extracting the intersection of the long axis and the boundary line in contact with the root region in the crown region as the second intersection, And calculating the subsidence rate of the alveolar bone for each individual tooth through the ratio of the length between the root point and the first intersection to the length between the root point and the second intersection point.

복수의 치과 방사선 영상과 대응되는 해당 치과 방사선 영상의 개별 치아 영역, 치조골 영역 그리고 치관 영역을 포함하는 학습 데이터를 수집하여 치과 방사선 영상으로부터 각각의 개별 치아 영역, 치조골 영역 그리고 치관 영역이 출력되도록 하는 하나 이상의 검출 모델을 학습시키는 단계를 더 포함한다. One that collects learning data including individual tooth regions, alveolar bone regions, and crown regions of a corresponding dental radiographic image corresponding to a plurality of dental radiographic images to output each individual tooth region, alveolar bone region, and crown region from the dental radiographic image The method further includes training the above detection model.

검출 모델은, 치과 방사선 영상으로부터 개별 치아 영역, 치조골 영역 그리고 치관 영역에 대해 치과 방사선 영상과 동일한 해상도를 가지는 개별 영상으로 검출하는 컨볼루션 뉴럴 네트워크(Convolution Neural Network)로 구현될 수 있다. The detection model may be implemented as a convolutional neural network that detects an individual tooth region, an alveolar bone region, and a crown region from a dental radiographic image as an individual image having the same resolution as a dental radiographic image.

검출하는 단계는, 수집된 치과 방사선 영상을 검출 모델의 입력에 맞게 전처리한 후, 전처리한 입력 영상을 학습된 검출 모델에 입력하고, 학습된 검출 모델로부터 검출된 영역에 대한 개별 영상을 획득할 수 있다. In the detecting step, after pre-processing the collected dental radiographic image to match the input of the detection model, input the pre-processed input image to the learned detection model, and obtain individual images for the detected area from the learned detection model. there is.

장축을 설정하는 단계는, 개별 치아 영역마다 주성분 분석 알고리즘을 적용하여 치아의 중심점을 지나는 장축을 설정하면, 설정된 장축에 해당하는 영상 좌표들을 자동으로 추출할 수 있다. In the step of setting the long axis, if the long axis passing through the center point of the tooth is set by applying the principal component analysis algorithm to each individual tooth region, image coordinates corresponding to the set long axis may be automatically extracted.

추출하는 단계는, 개별 치아 영역, 치조골 영역 그리고 치관 영역에 대해 각각 이진화 영상으로 변환한 후, 변환된 영상에서 무어 이웃 추적 알고리즘을 적용하여 각 영역의 경계선에 대한 영상 좌표 집합을 획득할 수 있다. In the extracting step, after converting each individual tooth region, alveolar bone region, and crown region into a binarized image, the Moore neighbor tracking algorithm is applied to the transformed image to obtain a set of image coordinates for the boundary line of each region.

추출하는 단계는, 장축에 해당하는 영상 좌표들과, 각 영역의 경계선마다의 영상 좌표 집합 간의 교집합을 검출하여, 치아별로 치근점에 대한 영상 좌표와 제1 교점의 영상 좌표와 제2 교점의 영상 좌표를 추출할 수 있다. The extracting step detects the intersection between the image coordinates corresponding to the major axis and the image coordinate sets for each boundary line of each region, and the image coordinates for the apical point for each tooth, the image coordinates for the first intersection, and the image of the second intersection point Coordinates can be extracted.

치조골의 침하율을 산출하는 단계는, 치근점의 영상 좌표와 제2 교점의 영상 좌표간의 길이를 치근점의 영상 좌표와 제1 교점의 영상 좌표간의 길이로 나눈 값을 백분율로 변환하여 치조골의 침하율을 산출하고, 치조골의 침하율에 대응되는 치주염의 진단 단계를 제공할 수 있다. In the step of calculating the subsidence rate of the alveolar bone, a value obtained by dividing the length between the image coordinates of the apical point and the image coordinates of the second intersection point by the length between the image coordinates of the root point and the image coordinates of the first intersection point is converted into a percentage, It is possible to calculate the rate and provide a diagnosis step of periodontitis corresponding to the subsidence rate of the alveolar bone.

치조골의 침하율을 산출하는 단계는, 치과 방사선 영상에 치조골 영역의 경계선 그리고 치관 영역에서 치근 영역과 맞닿아 있는 경계선을 중첩하여 표시하고, 치아마다 장축에 기초하여 치근점, 제1 교점, 제2 교점 그리고 치아마다의 치조골 침하율을 표시하여 연동되는 단말에 제공할 수 있다. The step of calculating the subsidence rate of the alveolar bone is displayed by superimposing the boundary line of the alveolar bone region and the boundary line in contact with the root region in the crown region on the dental radiographic image, and based on the major axis for each tooth, the root point, the first intersection, and the second The alveolar bone subsidence rate for each intersection and tooth may be displayed and provided to the interlocking terminal.

본 발명의 하나의 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에 저장되고, 프로세서에 의해 실행되는 프로그램으로서, 수신한 치과 방사선 영상에서 해부학적 형태에 기초하여 치관 영역과 치근 영역을 포함하는 개별 치아 영역, 치근 영역을 지탱하는 치조골 영역, 그리고 치관 영역을 검출하는 동작, 검출된 개별 치아 영역에 기초하여 치아마다 중심을 지나는 장축을 설정하는 동작, 장축과 치근 영역에서의 개별 치아 영역의 경계선과의 교점을 치근점으로 설정하는 동작, 장축과 치조골 영역의 경계선과의 교점을 제1 교점으로 추출하고, 그리고 장축과 치관 영역에서 치근 영역과 맞닿아 있는 경계선과의 교점을 제2 교점으로 추출하는 동작, 그리고 치근점과 제2 교점간의 길이 대비 치근점과 제1 교점간의 길이의 비율을 통해 개별 치아마다 치조골의 침하율을 산출하는 동작을 실행하는 명령어들를 포함한다. An individual tooth region including a crown region and a root region based on an anatomical shape in the received dental radiographic image as a program stored in a computer-readable storage medium according to an embodiment of the present invention and executed by a processor , the operation of detecting the alveolar bone region supporting the root region, and the crown region, the operation of setting the long axis passing through the center for each tooth based on the detected individual tooth region, the intersection of the long axis and the boundary line of the individual tooth regions in the root region The operation of setting as the root point, extracting the intersection of the long axis and the boundary line of the alveolar region as the first intersection, and extracting the intersection of the long axis and the boundary line in contact with the root region in the crown region as the second intersection, And it includes instructions for executing an operation of calculating the settlement rate of the alveolar bone for each individual tooth through the ratio of the length between the root point and the first intersection point to the length between the root point and the second intersection point.

본 발명의 하나의 실시예는 치과 방사선 영상에서 객관적으로 정량화된 치주염 진행 정도를 진단하여 제공함으로써, 판독의의 경험에 의존하지 않으면서도 정확한 치주염 진단 정보를 제공할 수 있다. One embodiment of the present invention can provide accurate periodontitis diagnosis information without relying on the experience of a doctor by diagnosing and providing an objectively quantified periodontitis progression level in a dental radiographic image.

본 발명의 하나의 실시예는 다수의 방사선 영상의 촬영 없이도, 상대적으로 적은 x선 노출로 얻은 파노라마 방사선 영상을 통해 개별 치아마다의 치주염 진단을 제공할 수 있다. One embodiment of the present invention can provide a diagnosis of periodontitis for each individual tooth through a panoramic radiographic image obtained with a relatively low x-ray exposure without taking multiple radiographic images.

본 발명의 하나의 실시예는 파노라마 치과 방사선 영상에서 자동으로 개별 치아 영역, 치조골 영역 그리고 치관 영역을 획득하여 치주염을 진단함으로써, 진단에 소요되는 시간을 단축시키고 사용자 및 판독의에게 편리함을 제공할 수 있다One embodiment of the present invention diagnoses periodontitis by automatically acquiring individual tooth regions, alveolar bone regions, and crown regions from a panoramic dental radiographic image, thereby reducing the time required for diagnosis and providing convenience to users and doctors. there is

도 1은 치주질환에서의 하악 치아를 모식적으로 나타낸 단면 개념도이다.
도 2는 본 발명의 하나의 실시예에 따른 치주염 자동 진단 장치의 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 학습된 검출 모델을 이용한 치주염 진단 방법을 나타낸 순서도이다.
도 4는 본 발명의 하나의 실시예에 따른 검출 모델을 나타낸 예시도이다.
도 5는 본 발명의 하나의 실시예에 따른 치아별 경계선, 치조골 영역 경계선, 치근과 치관의 경계선을 나타낸 예시도이다.
도 6은 본 발명의 하나의 실시예에 따른 경계선들의 교점들을 표시한 하악 치아를 모식적으로 나타낸 단면 개념도이다.
도 7은 본 발명의 하나의 실시예에 따른 치아별 치근과 치관의 경계선 대비 치조골의 침하율을 표시한 예시도이다.
도 8은 본 발명의 하나의 실시예에 따른 치아별 진단한 치주염 단계를 표시한 예시도이다.
도 9는 본 발명의 하나의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.
1 is a cross-sectional conceptual view schematically showing a mandibular tooth in periodontal disease.
2 is a block diagram of an automatic periodontitis diagnosis apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method for diagnosing periodontitis using a learned detection model according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a detection model according to an embodiment of the present invention.
5 is an exemplary view showing a boundary line for each tooth, an alveolar bone area boundary, and a boundary line between a root and a crown according to an embodiment of the present invention.
6 is a cross-sectional conceptual view schematically illustrating a mandibular tooth with intersection points of boundary lines according to an embodiment of the present invention.
7 is an exemplary view showing the subsidence rate of the alveolar bone compared to the boundary line between the root and the crown for each tooth according to an embodiment of the present invention.
8 is an exemplary view showing the stage of periodontitis diagnosed for each tooth according to an embodiment of the present invention.
9 is a hardware configuration diagram of a computing device according to an embodiment of the present invention.

첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다. With reference to the accompanying drawings, the embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and the same reference numerals are used for the same or similar components throughout the specification. In addition, in the case of a well-known known technology, a detailed description thereof will be omitted.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

명세서 상에서 학습 영상, 입력 영상은 치과 방사선 영상을 의미하며, 구체적으로 파노라마 방사선 영상을 의미한다. In the specification, the learning image and the input image refer to a dental radiographic image, and specifically refer to a panoramic radiographic image.

도 1은 치주질환에서의 하악 치아를 모식적으로 나타낸 단면 개념도이다. 1 is a cross-sectional conceptual view schematically showing a mandibular tooth in periodontal disease.

도 1의 (a)는 하악 치아의 구조를 나타내고, (b)는 치주질환의 단계에 따라 변화되는 치아 구조를 나타낸다. Figure 1 (a) shows the structure of the mandible, (b) shows the tooth structure changed according to the stage of periodontal disease.

도 1의 (a)에 도시한 바와 같이, 치아는 치아의 위쪽에 위치하는 치관과 치아의 뿌리를 의미하는 치근으로 형성된다. 상세하게는 치아는 치수와 치근관을 둘러싼 상아질과 상아질을 둘러싼 법랑질로 이루어진 치관과 백악질로 이뤄진 치근으로 구성된다. 그리고 백악법랑 경계선 또는 치경선은 치관과 치근의 경계를 의미하는 것으로 실제 법랑질과 백악질의 경계선에 해당된다. As shown in (a) of FIG. 1, a tooth is formed of a crown positioned above the tooth and a tooth root, which means the root of the tooth. In detail, a tooth is composed of a crown composed of pulp and dentin surrounding the root canal, and enamel surrounding the dentin, and a tooth root composed of cementum. And the chalk enamel boundary line or alveolar line means the boundary between the crown and the root, and corresponds to the actual boundary line between enamel and cementum.

또한, 치조골은 상악골(위턱뼈)과 하악골(아래턱뼈)에서 각 돌출된 부분들로 치근을 지지하는 역할을 하는 돌기 형태의 골조직을 의미한다. In addition, the alveolar bone refers to the protrusion-shaped bone tissue that serves to support the tooth root with each protruding portion from the maxilla (upper jawbone) and the mandible (mandibular bone).

치주 질환은 치주 조직에 발생하는 병변의 총칭으로 염증이 치은(잇몸)에서 치조골로 전파하여 치조골이 염증이 생겨 녹거나 소실된다.Periodontal disease is a generic term for lesions occurring in periodontal tissue, and inflammation spreads from the gingiva (gum) to the alveolar bone, causing the alveolar bone to become inflamed and melt or disappear.

도 1의 (b)는 치아의 외부와 내부를 나타낸 것으로, 건강한 상태의 치아 상태에서부터 치주 질환의 발생 정도에 따라 변화된 치아 상태를 나열한 예시도이다. Figure 1 (b) shows the outside and the inside of the tooth, and is an exemplary view listing the dental state changed according to the occurrence degree of periodontal disease from the healthy state of the tooth.

도 1의 (b)의 좌측의 치아 상태와 우측의 치아 상태를 비교해보면, 치주 질환의 진행 정도에 따라 가장 큰 특징으로 치조골이 소실되어 치근이 외부로 노출되는 것을 알 수 있다. Comparing the tooth condition on the left side with the tooth condition on the right side of FIG. 1( b ), it can be seen that the biggest characteristic of the periodontal disease is that the alveolar bone is lost and the root is exposed.

그러므로 치근-백악법랑경계 교점 길이 대비 치근-치조골 교점 길이의 비율을 계산하여 치조골의 소실 정도(치조골의 침하율)를 정량적으로 판단할 수 있다. Therefore, it is possible to quantitatively determine the degree of alveolar bone loss (settlement rate of alveolar bone) by calculating the ratio of the length of the root-alveolar bone intersection to the length of the tooth root-meat enamel boundary intersection.

도 2는 본 발명의 하나의 실시예에 따른 치주염 자동 진단 장치의 구성도이다.2 is a block diagram of an automatic periodontitis diagnosis apparatus according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 치주염 자동 진단 장치(100)는 학습 영상을 검출 모델의 입력 정보의 형식에 맞게 전처리하는 전처리부(110), 전처리된 학습 영상을 이용하여 하나 이상의 검출 모델을 각각 학습시키는 학습부(120), 전처리된 입력 영상에서 검출 모델을 이용하여 치아, 치조골 그리고 치관의 영역을 각 추출하는 검출부(130) 그리고 기준이 되는 치근점을 설정하고, 추출된 영역간에 교점들을 추출하는 제어부(140), 치근점과 교점간 길이를 산출하고, 산출된 교점간의 길이의 비율에 따라 치조골의 침하율을 결정하여 치주염 진단 정보를 출력하는 진단부(150)를 포함한다. As shown in FIG. 2 , the automatic periodontitis diagnosis apparatus 100 learns one or more detection models using the pre-processing unit 110 that pre-processes the learning image according to the format of input information of the detection model, and the pre-processed learning image, respectively. The learning unit 120, which extracts the areas of teeth, alveolar bone, and crown by using the detection model from the preprocessed input image, and the detection unit 130 to set the root point as a reference, and to extract the intersection points between the extracted areas The control unit 140 includes a diagnosis unit 150 that calculates the length between the apical points and the intersection points, determines the subsidence rate of the alveolar bone according to the ratio of the calculated lengths between the intersection points, and outputs periodontitis diagnosis information.

설명을 위해, 전처리부(110), 학습부(120), 검출부(130) 그리고 진단부(150)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 전처리부(110), 학습부(120), 검출부(130), 제어부(140) 그리고 진단부(150)는 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 전처리부(110), 학습부(120), 검출부(130), 제어부(140) 그리고 진단부(150)는 통신 인터페이스를 통해 서로 통신할 수 있다. 컴퓨팅 장치는 본 발명을 수행하도록 작성된 소프트웨어 프로그램을 실행할 수 있는 장치이면 충분하고, 예를 들면, 서버, 랩탑 컴퓨터 등일 수 있다. For the sake of explanation, the preprocessor 110 , the learning unit 120 , the detection unit 130 , and the diagnosis unit 150 are named and called, but these are computing devices operated by at least one processor. Here, the preprocessing unit 110 , the learning unit 120 , the detecting unit 130 , the control unit 140 , and the diagnosis unit 150 may be implemented in one computing device or distributed in separate computing devices. When distributed in a separate computing device, the preprocessing unit 110 , the learning unit 120 , the detection unit 130 , the control unit 140 , and the diagnosis unit 150 may communicate with each other through a communication interface. The computing device may be any device capable of executing a software program written to carry out the present invention, and may be, for example, a server, a laptop computer, or the like.

여기서, 학습부(120)는 치주염 자동 진단 장치(100)와 별도로 구현되거나 검출 모델의 학습이 완료됨에 따라 사용되지 않을 수 있다. Here, the learning unit 120 may be implemented separately from the automatic periodontitis diagnosis apparatus 100 or may not be used as the learning of the detection model is completed.

전처리부(110)는 딥러닝 모델 학습을 위한 치과 방사선 영상(이하에서는 학습 영상)을 수집하고 분류하여 검출 모델의 학습 데이터로 변환한다. 전처리부(110)는 하나 이상의 검출 모델에 대해 각 검출 모델의 입력 형식에 기초하여 학습 영상을 학습 데이터로 변환할 수 있다. The preprocessor 110 collects and classifies dental radiographic images (hereinafter, a learning image) for deep learning model learning, and converts them into learning data of the detection model. The preprocessor 110 may convert the training image into training data based on the input format of each detection model with respect to one or more detection models.

이때, 전처리부(110)는 하나 이상의 학습 영상을 입력받으면, 학습 영상의 잡음이 잠음 임계치 이상이거나 선명도가 선명도 임계치 이하인 영상인 경우를 해당 학습 영상을 제외할 수 있다. 그리고 전처리부(110)는 혼합 치열(유치와 영구치가 섞여 있는 상태)이 포함된 학습 영상을 제외할 수 있다. In this case, when one or more training images are received, the preprocessor 110 may exclude a case in which the noise of the training image is greater than or equal to the sleep sound threshold or the image has sharpness less than or equal to the sharpness threshold. In addition, the preprocessor 110 may exclude the learning image including the mixed dentition (a state in which primary and permanent teeth are mixed).

그리고 전처리부(110)는 검출 모델의 학습을 위해 학습 영상에 대해 좌우 반전하거나 영상 회전하고, 직선 이동 및 대조도 변경, 가우시안 블러링(gaussian-blurring) 등의 영상 증강을 통해 학습 데이터의 양을 약 64배로 증폭할 수 있다.And the preprocessor 110 is the amount of learning data through image enhancement such as left and right inversion or image rotation of the learning image for learning the detection model, linear movement and contrast change, Gaussian-blurring, etc. It can be amplified by about 64 times.

한편, 전처리부(110)는 학습 영상과 함께 해당 치과 방사선 영상에 대한 치아 또는 임플란트 영역 데이터, 치조골 영역 데이터, 백악법랑경계 영역 데이터를 함께 수집할 수 있다. Meanwhile, the preprocessor 110 may collect tooth or implant area data, alveolar bone area data, and chalk enamel boundary area data for the corresponding dental radiographic image together with the learning image.

한편, 전처리부(110)는 학습이 완료되어 실제 영상을 수집하면, 학습된 검출 모델에 대한 입력 형식에 기초하여 실제 영상을 변환할 수 있다. Meanwhile, when the learning is completed and the real image is collected, the preprocessor 110 may convert the real image based on the input format for the learned detection model.

학습부(120)는 변환된 학습데이터를 입력값으로 하여, 수집된 치아 또는 임플란트 영역 데이터, 치조골 영역 데이터, 치관 영역 데이터가 획득되도록 검출 모델을 학습한다.The learning unit 120 learns the detection model so that the collected tooth or implant area data, alveolar bone area data, and crown area data are obtained by using the converted learning data as an input value.

여기서, 검출 모델은 종래의 Faster R-CNN을 개선하여 영상에서 픽셀수준의 객체를 검출하고 분할하기 위해 제안된 Mask R-CNN로 구현될 수 있다.Here, the detection model can be implemented as Mask R-CNN proposed to detect and segment pixel-level objects in an image by improving the conventional Faster R-CNN.

Mask R-CNN는 바운딩 박스 인식을 위해 기존 브랜치와 병렬로 객체 마스크를 예측하는 브랜치를 추가한 형태로 이루어져 있으며, 마스크를 예측하는 부분은 클래스와 분리된 채 K개의 클래스 중에서 각 픽셀의 해당 여부를 이진 예측(binary predict)한다. Mask R-CNN consists of a branch that predicts an object mask in parallel with the existing branch to recognize the bounding box. Binary prediction.

이처럼, 검출 모델은 하나의 딥러닝 또는 머신러닝으로 구현된 인공지능 모델로, 하나의 인공지능 모델을 통해 치아 또는 임플란트 영역, 치조골 영역 그리고 치관 영역을 획득할 수 있고, 각 영역마다 독립적인 인공지능 모델을 구현할 수 있다. 이에 따라 상술한 구성들에 대응하는 하나 또는 복수의 인공지능 모델은 하나 또는 복수의 컴퓨팅 장치에 의해 구현될 수 있다.As such, the detection model is an artificial intelligence model implemented by one deep learning or machine learning, and it is possible to acquire the tooth or implant area, the alveolar bone area, and the crown area through one artificial intelligence model, and each area has independent artificial intelligence model can be implemented. Accordingly, one or a plurality of artificial intelligence models corresponding to the above-described configurations may be implemented by one or a plurality of computing devices.

학습부(120)는 GPU 서버를 이용하여 검출 모델을 학습을 수행하며, 1회 학습 후 손실 함수(loss function)를 이용하여 손실값을 계산한다. 그리고 학습부(120)는 계산된 손실 값이 최소가 되는 가중치(weight) 값을 연산하고, 연산된 가중치를 적용한 검출 모델을 재학습한다. The learning unit 120 learns the detection model using the GPU server, and after learning once, calculates a loss value using a loss function. Then, the learning unit 120 calculates a weight value at which the calculated loss value is the minimum, and re-learns the detection model to which the calculated weight is applied.

학습부(120)는 미리 설정된 횟수만큼 반복 학습을 수행하거나 계산된 함수 값이 기 설정된 임계치에 도달하면 학습을 종료할 수 있다. The learning unit 120 may repeat learning for a preset number of times or end learning when the calculated function value reaches a preset threshold.

다시 말해, 학습부(120)는 치과 방사선 영상에 대한 데이터를 입력받으면, 해당 치과 방사선 영상에서의 치아 또는 임플란트 영역, 치조골 영역, 치관 영역 중에서 하나 이상의 영역이 출력되도록 하나 이상의 검출 모델을 학습시킨다. In other words, when receiving data for a dental radiographic image, the learning unit 120 learns one or more detection models so that one or more regions among a tooth or implant region, an alveolar bone region, and a crown region in the dental radiographic image are output.

검출부(130)는 전처리부(110)를 통해 변환된 입력 영상을 학습된 하나 이상의 검출 모델에 적용하여 해당 입력 영상에 대한 치아 또는 임플란트 영역, 치조골 영역, 그리고 치관 영역을 각각 획득한다. The detector 130 applies the input image converted by the preprocessor 110 to one or more learned detection models to obtain a tooth or implant region, an alveolar bone region, and a crown region for the corresponding input image, respectively.

그리고 검출부(130)는 획득한 치아 또는 임플란트 영역, 치조골 영역, 그리고 백악법랑경계 영역을 이진화 영상으로 변환하여 이진화된 영상에서 윤곽선을 추출할 수 있다. In addition, the detection unit 130 may convert the acquired tooth or implant area, alveolar bone area, and chalk enamel boundary area into a binarized image to extract outlines from the binarized image.

예를 들어, 검출부(130)는 무어 이웃(Moore-neighbor) 추적 알고리즘 등과 같은 윤곽선 추적 알고리즘을 이진화된 영상에 적용할 수 있다, For example, the detector 130 may apply a contour tracking algorithm such as a Moore-neighbor tracking algorithm to the binarized image.

이처럼 검출부(130)는 개별 치아 또는 임플란트별 경계선, 치조골 영역 경계선, 그리고 백악법랑경계 라인을 추출한다. 이때, 검출부(130)는 해당 경계 라인들에 대해 입력 영상에서의 좌표 집합의 형태로 추출할 수 있다. As such, the detection unit 130 extracts a boundary line for each individual tooth or implant, an alveolar bone boundary line, and a chalk enamel boundary line. In this case, the detector 130 may extract the corresponding boundary lines in the form of a coordinate set in the input image.

제어부(140)는 각각의 치아 또는 임플란트의 영역에 대해서 개별 치아 또는 임플란트의 장축을 결정한다. The controller 140 determines the major axis of each tooth or implant for each tooth or implant area.

여기서, 장축은 개별 치아 또는 임플란트의 중심 축을 의미하며, 제어부(140)는 각각의 치아 또는 임플란트의 영역에 주성분 분석 알고리즘을 적용하여 도출할 수 있다. Here, the long axis refers to the central axis of individual teeth or implants, and the controller 140 may derive it by applying a principal component analysis algorithm to the area of each tooth or implant.

그리고 제어부(140)는 추출된 개별 치아 또는 임플란트별의 장축, 개별 치아 또는 임플란트별 경계선, 치조골 영역 경계선, 그리고 치관 영역에서 치근 영역과 맞닿아 있는 경계선(이하에서는 백악법랑경계선으로 명칭함)간의 교차점을 결정한다. And the controller 140 is the long axis of each extracted individual tooth or implant, the boundary line for each individual tooth or implant, the boundary line for the alveolar bone area, and the boundary line in contact with the root area in the crown area (hereinafter referred to as the chalk enamel boundary line). to decide

제어부(140)는 개별 장축과 해당 치아 또는 임플란트 경계선간의 서로 교차되는 지점을 치근점으로 결정한다. The control unit 140 determines a point where the individual long axis and the corresponding tooth or implant boundary cross each other as the root point.

이때, 제어부(140)는 하악인 경우에는 장축과 교차되는 가장 하단의 지점이 치근점으로 결정하고, 상악인 경우에는 장축과 교차되는 가장 상단의 지점이 치근점으로 결정한다. At this time, in the case of the mandible, the control unit 140 determines that the lowermost point intersecting the long axis is the apical point, and in the case of the upper jaw, the uppermost point intersecting the long axis is the apical point.

그리고 제어부(140)는 개별 치아 또는 임플란트의 치근점은 영상 좌표로 추출한다. And the control unit 140 extracts the apical point of the individual tooth or implant as image coordinates.

이때, 제어부(140)는 개별 치아 또는 임플란트의 장축과 치근점, 치조골 영역 경계선, 백악법랑경계선을 입력 영상에 중첩하여 제공할 수 있다. In this case, the controller 140 may provide the long axis of the individual tooth or implant, the root point, the alveolar bone region boundary line, and the chalk enamel boundary line by superimposing it on the input image.

또한, 제어부(140)는 개별 장축과 치조골 영역 경계선 간에 서로 교차되는 지점을 제1 교점으로 검출하고, 개별 장축과 백악법랑경계선에 서로 교차되는 지점을 제2 교점으로 검출한다. In addition, the control unit 140 detects a point that intersects each other between the individual long axis and the alveolar bone region boundary as the first intersection point, and detects a point that crosses the individual long axis and the chalk enamel boundary line as the second intersection point.

이때, 치조골 영역 경계선은 상악 및 하악의 연결 구조로 하나의 라인이 생성되어 개별 장축과 교차하는 지점이 한 지점으로 검출되지만, 백악법랑경계선은 상악과 하악별로 각각 경계선이 생성되기 때문에 개별 장축과 교차하는 지점이 서로 상이한 2 지점으로 검출된다. At this time, the boundary line of the alveolar bone region is a connection structure of the maxilla and the mandible, and one line is created and the point that intersects the individual long axes is detected as one point. The two points are detected as two different points.

그러므로 진단부(150)는 검출된 2 지점 중에서 개별 치근점과의 거리가 더 가까운 지점을 제2 교점으로 검출할 수 있다. Therefore, the diagnosis unit 150 may detect a point having a closer distance to an individual root point among the two detected points as the second intersection point.

이처럼 진단부(150)는 개별 장축에 기초하여 개별 치아 및 임플란트마다 치근점, 제1 교점 그리고 제2 교점을 검출하며, 이러한 지점은 영상의 좌표로 검출될 수 있다. As such, the diagnosis unit 150 detects the apical point, the first intersection, and the second intersection for each individual tooth and implant based on the individual long axes, and these points may be detected as coordinates of the image.

진단부(150)는 치근점과 제2 교점 간의 길이 대비 치근점과 제1 교점간의 길이를 비율로 연산하여 개별 치아 및 임플란트마다 치조골의 침하 정도를 정량화할 수 있다. The diagnosis unit 150 may quantify the degree of subsidence of the alveolar bone for each individual tooth and implant by calculating the length between the root point and the first intersection point as a ratio to the length between the root point and the second intersection point.

상세하게는 진단부(150)는 치조골의 침하 정도에 따라 N 단계로 구분된 치주 질환(치주염)의 진행 단계를 결정하여 진단 정보를 제공할 수 있다. In detail, the diagnosis unit 150 may provide diagnostic information by determining the progression stage of periodontal disease (periodontitis) divided into N stages according to the degree of subsidence of the alveolar bone.

예를 들어, 치주염의 진행 단계는 치주 및 임플란트 질환 및 상태 분류에 관한 2017 세계 워크숍(2017 World Workshop on the Classification of Periodontal and Peri-implant Diseases and Conditions)에서 결정된 기준에 따라 백악법랑경계 라인 대비 치조골 영역 경계선의 침하율이 15% 이하일 경우 1단계, 15% 이상 33% 이하일 경우 2단계, 33% 초과일 경우 3단계로 결정할 수 있다. For example, the progressive stage of periodontitis is the area of alveolar bone compared to the cementum enamel boundary line according to the criteria determined at the 2017 World Workshop on the Classification of Periodontal and Peri-implant Diseases and Conditions. When the subsidence rate of the boundary line is 15% or less, it can be determined in Stage 1, when it is 15% or more and 33% or less, in Stage 2, and when it exceeds 33%, it can be determined in Stage 3.

이러한 치주염의 진행 단계는 치료단계의 세분화 및 치주염 진단의 세분화 등의 기준 변화에 따라 용이하게 변경 및 설계 가능하다. The stage of progressing periodontitis can be easily changed and designed according to standard changes such as subdivision of treatment stage and subdivision of diagnosis of periodontitis.

도 3은 본 발명의 하나의 실시예에 따른 학습된 검출 모델을 이용한 치주염 진단 방법을 나타낸 순서도이다. 3 is a flowchart illustrating a method for diagnosing periodontitis using a learned detection model according to an embodiment of the present invention.

먼저, 치주염 자동 진단 장치(100)는 학습 데이터를 수집하여 치과 방사선 영상으로부터 각각의 개별 치아 영역, 치조골 영역 그리고 치관 영역이 출력되도록 하는 하나 이상의 검출 모델을 학습한다(S110)First, the automatic periodontitis diagnosis apparatus 100 collects learning data and learns one or more detection models to output each individual tooth region, alveolar bone region, and crown region from a dental radiographic image (S110)

치주염 자동 진단 장치(100)는 해부학적 구조에 기초하여 치아 또는 임플라트, 구강 구조에 따른 영역 등을 검출하기 위해 검출 모델을 설계하고 구축할 수 있다. The automatic periodontitis diagnosis apparatus 100 may design and build a detection model to detect a tooth, an implant, an area according to an oral structure, etc. based on an anatomical structure.

이에 치주염 자동 진단 장치(100)는 검출 모델을 구축하기 위해 학습데이터를 수집한다. Accordingly, the automatic periodontitis diagnosis apparatus 100 collects learning data to build a detection model.

치주염 자동 진단 장치(100)는 학습 데이터로 치과 방사선 영상을 수집함에 있어서, 잡음, 선명도 등의 정도를 판단하거나 형상 왜곡, 혼합 치열, 유치 등의 포함 여부를 판단하여 학습 영상으로써의 치과 방사선 영상을 선별할 수 있다. In collecting dental radiographic images as learning data, the automatic periodontitis diagnosis apparatus 100 determines the degree of noise, sharpness, etc. or determines whether shape distortion, mixed dentition, indwelling, etc. are included to obtain a dental radiographic image as a learning image. can be selected

그리고 치주염 자동 진단 장치(100)는 치과 방사선 영상을 입력값으로 하였을 때, 결과값으로 획득할 수 있는 개별 치아 영역, 치조골 영역 그리고 치관 영역의 데이터를 함께 수집할 수 있다. In addition, when a dental radiographic image is taken as an input value, the automatic periodontitis diagnosis apparatus 100 may collect data of an individual tooth region, an alveolar bone region, and a crown region that can be obtained as a result value together.

치주염 자동 진단 장치(100)는 검출 모델에 대해 1회 학습이 완료되면 결과 값에 대한 손실 함수(loss function)을 계산하여 손실 값이 최소가 되는 가중치(weight)을 계산한다. 그리고 치주염 자동 진단 장치(100)는 계산된 가중치 값을 적용한 검출 모델을 통해 학습을 반복한다. The automatic periodontitis diagnosis apparatus 100 calculates a weight at which a loss value is minimized by calculating a loss function for a result value when learning of the detection model is completed once. And the automatic periodontitis diagnosis apparatus 100 repeats learning through the detection model to which the calculated weight value is applied.

이와 같이, 치주염 자동 진단 장치(100)는 N회 반복 학습을 통해 결정된 가중치가 적용된 검출 모델을 구축함으로써, 학습을 완료할 수 있다. As such, the automatic periodontitis diagnosis apparatus 100 may complete the learning by building a detection model to which a weight determined through N repetition learning is applied.

이러한 검출 모델은, 치과 방사선 영상으로부터 개별 치아 영역, 치조골 영역 그리고 치관 영역에 대해 치과 방사선 영상과 동일한 해상도를 가지는 개별 영상으로 검출하는 컨볼루션 뉴럴 네트워크(Convolution Neural Network)로 구현될 수 있다. 상세하게는 검출 모델은 Mask R-CNN과 같은 인공지능 모델로 구현될 수 있다. Such a detection model may be implemented as a convolutional neural network that detects individual tooth regions, alveolar bone regions, and crown regions from a dental radiographic image as individual images having the same resolution as a dental radiographic image. In detail, the detection model can be implemented as an artificial intelligence model such as Mask R-CNN.

그리고 검출 모델은 하나 이상으로 구현 가능하며, 각 개별 치아 영역을 출력하는 제1 검출 모델, 치조골 영역을 출력하는 제2 검출 모델 그리고 치관 영역을 출력하는 제3 검출 모델과 같이 각각 독립적인 검출 모델이 구현될 수 있다. 이때, 개별 치아 영역을 출력하는 경우, 치아와 임플란트는 각각 독립적인 검출 결과로 출력될 수 있다. In addition, more than one detection model can be implemented, and there are independent detection models such as a first detection model outputting each individual tooth region, a second detection model outputting an alveolar bone region, and a third detection model outputting a crown region. can be implemented. In this case, when outputting individual tooth regions, the teeth and implants may be output as independent detection results.

이처럼 S110 단계는 검출 모델을 학습하는 단계로, 검출 모델의 학습이 완료된 이후에는 S120 단계부터 시작할 수 있다. As such, step S110 is a step of learning the detection model, and after learning of the detection model is completed, it may start from step S120.

다음으로 치주염 자동 진단 장치(100)는 수신한 치과 방사선 영상에서 해부학적 형태에 기초하여 개별 치아 영역, 치조골 영역 그리고 치관 영역을 검출한다(S120). Next, the automatic periodontitis diagnosis apparatus 100 detects an individual tooth area, an alveolar bone area, and a crown area based on the anatomical shape from the received dental radiographic image (S120).

치주염 자동 진단 장치(100)는 수신한 치과 방사선 영상을 검출 모델에 적용하기 위해 검출 모델의 입력에 맞게 전처리한 후, 전처리한 입력 영상을 학습된 검출 모델에 입력할 수 있다.The automatic periodontitis diagnosis apparatus 100 may pre-process the received dental radiographic image according to the input of the detection model to apply the received dental radiographic image to the detection model, and then may input the pre-processed input image to the learned detection model.

치주염 자동 진단 장치(100)는 하나 이상의 학습된 검출 모델을 이용하여 전체 치아를 촬영한 영상에서 개별 치아 영역, 치조골 영역 그리고 치관 영역을 각각 검출할 수 있다. The automatic periodontitis diagnosis apparatus 100 may detect an individual tooth area, an alveolar bone area, and a crown area from an image obtained by photographing all teeth by using one or more learned detection models.

이때, 검출된 각각의 영역은 치과 방사선 영역과 동일한 해상도로 동일한 영상 좌표를 가질 수 있다. In this case, each detected area may have the same image coordinates with the same resolution as that of the dental radiation area.

한편, 치주염 자동 진단 장치(100)는 검출된 개별 치아 영역, 치조골 영역 그리고 치관 영역에 대해 각각 이진화 영상으로 변환한 후, 각 영역의 경계선을 검출할 수 있다. Meanwhile, the automatic periodontitis diagnosis apparatus 100 may convert each detected individual tooth region, alveolar bone region, and crown region into a binarized image, and then detect a boundary line of each region.

도 4는 본 발명의 하나의 실시예에 따른 검출 모델을 나타낸 예시도이다.4 is an exemplary diagram illustrating a detection model according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 치주염 자동 진단 장치(100)는 사용자의 치과 방사선 영상(10)을 수집하면, 학습된 검출 모델(200)에 입력하여, 해당 치과 방사선 영상(10)에 따른 치아 또는 임플란트 영역, 치조골 영역, 그리고 치관 영역을 획득한다. As shown in FIG. 4 , when the automatic periodontitis diagnosis apparatus 100 collects the user's dental radiographic image 10 , it inputs to the learned detection model 200 , The implant area, the alveolar bone area, and the crown area are acquired.

이때, 치주염 자동 진단 장치(100)는 입력된 치과 방사선 영상(10)과 획득한 영상들은 동일한 해상도를 가진다. In this case, the automatic periodontitis diagnosis apparatus 100 has the same resolution as the inputted dental radiographic image 10 and the acquired images.

상세하게는 치주염 자동 진단 장치(100)는 CNN 1(210)을 통해 치아 또는 임플란트의 영역을 개별적으로 검출하는 과정에서 치아와 임플란트는 각각 독립적인 검출 결과(마스크)로 출력되며, 출력된 검출 결과 영상은 중첩될 수 있다. In detail, the automatic periodontitis diagnosis apparatus 100 outputs an independent detection result (mask) of the tooth and the implant in the process of individually detecting the area of the tooth or implant through the CNN 1 (210), and the output detection result Images can be superimposed.

그리고 치주염 자동 진단 장치(100)는 CNN 2(220)을 통해 하악과 상악에 연결된 하나의 영역으로 하나의 영역으로 치조골 영역을 검출된다. And the periodontitis automatic diagnosis apparatus 100 detects the alveolar bone region as one region connected to the mandible and the maxilla through CNN 2 220 .

치주염 자동 진단 장치(100)는 CNN 3(230)을 통해 치아의 치관에 해당하는 치관 영역을 검출하는 과정에서, 상악 치아와 하악 치아 각각의 영역으로 검출된다. In the process of detecting the crown region corresponding to the crown of the tooth through the CNN 3 230 , the automatic periodontitis diagnosis apparatus 100 detects each region of the maxillary and mandibular teeth.

이처럼 치주염 자동 진단 장치(100)는 개별적으로 학습이 완료된 검출 모델(210,220,230)을 통해 각각 치아 또는 임플란트 영역, 치조골 영역, 그리고 치관 영역을 획득할 수 있다. As such, the automatic periodontitis diagnosis apparatus 100 may acquire a tooth or implant area, an alveolar bone area, and a crown area through the individually learned detection models 210 , 220 , and 230 , respectively.

그리고 치주염 자동 진단 장치(100)는 각 검출 모델을 통해 획득한 영역을 치아 또는 임플란트 영역(11), 치조골 영역(12), 그리고 치관 영역(13)과 같이 이진화 영상으로 변환한다. In addition, the automatic periodontitis diagnosis apparatus 100 converts a region acquired through each detection model into a binary image such as a tooth or implant region 11 , an alveolar bone region 12 , and a crown region 13 .

각 영역을 이진화 영상으로 변환하면, 각 영역에 대해 더 뚜렷하게 그 형상을 확인할 수 있다. If each region is converted into a binarized image, the shape of each region can be confirmed more clearly.

다음으로 치주염 자동 진단 장치(100)는 변환된 이진화 영상에서 무어 이웃 추적 알고리즘(Moore-Neighbor)을 적용하여 각 영역의 경계선을 검출할 수 있다. 그리고 치주염 자동 진단 장치(100)는 검출한 각 영역의 경계선에 대한 영상 좌표 집합을 획득할 수 있다. Next, the automatic periodontitis diagnosis apparatus 100 may detect a boundary line of each area by applying a Moore-Neighbor algorithm in the converted binarized image. In addition, the automatic periodontitis diagnosis apparatus 100 may acquire a set of image coordinates for the boundary lines of each detected area.

도 5는 본 발명의 하나의 실시예에 따른 치아별 경계선, 치조골 영역 경계선, 치근과 치관의 경계선을 나타낸 예시도이다. 5 is an exemplary view showing a boundary line for each tooth, an alveolar bone region boundary, and a boundary line between a root and a crown according to an embodiment of the present invention.

도 5의 (a), (b), (c)는 각각 상이한 치과 방사선 영상에 대해 이진화 변환한 후, 경계선을 도출한 영상을 나타낸다. 5 (a), (b), and (c) show images from which boundary lines are derived after binarization of different dental radiographic images, respectively.

도 5에서와 같이, 치아 또는 임플란트별 경계선(14)은 각 치아 또는 임플란트마다 경계선이 도출되며, 치조골 영역 경계선(15)은 상악과 하악에 연결된 치조골의 라인에 기초하여 하나의 경계선이 도출되고, 치근과 치관의 경계선(16)은 상악 라인과 하악 라인으로 나뉘어 도출된다. 5, the boundary line 14 for each tooth or implant is derived for each tooth or implant, and the boundary line for the alveolar bone region 15 is based on the line of alveolar bone connected to the maxilla and mandible. One boundary line is derived, The boundary line 16 between the root and the crown is derived by dividing the maxillary line and the mandibular line.

도 5의 (a), (b), (c)와 같이, 각 검출된 영상은 동일한 해상도로 동일한 영상 좌표를 가지기 때문에 별도의 추가 영상처리 과정 없이 해당 영상들을 중첩하여 표시할 수 있다. As shown in (a), (b), and (c) of FIG. 5 , since each detected image has the same image coordinates with the same resolution, the images can be overlapped and displayed without a separate additional image processing process.

상세하게는 치주염 자동 진단 장치(100)는 개별 치아 또는 임플란트 경계선 중에서 치근 영역에 해당하는 경계선을 검출하고, 치관 영역에 대한 경계선으로 치근 영역과 맞닿아 있는 백악법랑경계선을 검출할 수 있다. In detail, the automatic periodontitis diagnosis apparatus 100 may detect a boundary line corresponding to the root region from among individual teeth or implant boundary lines, and detect the chalk enamel boundary line in contact with the root region as a boundary line for the crown region.

다음으로 치주염 자동 진단 장치(100)는 개별 치아 영역에 기초하여 치아의 중심을 지나는 장축을 설정한다(S130).Next, the automatic periodontitis diagnosis apparatus 100 sets a long axis passing through the center of the tooth based on the individual tooth area ( S130 ).

치주염 자동 진단 장치(100)는 개별 치아 영역마다 주성분 분석 알고리즘(Principal axes of inertia)을 적용하여 치아의 중심점을 지나는 장축을 설정하면, 설정된 장축에 해당하는 영상 좌표들을 자동으로 추출할 수 있다. The automatic periodontitis diagnosis apparatus 100 may automatically extract image coordinates corresponding to the set major axis when a major axis passing through the center point of the tooth is set by applying a principal axes of inertia to each tooth area.

여기서, 장축은 각 치아 또는 임플란트마다 일대일로 설정되며, 중심축과 같은 의미를 나타낸다. Here, the long axis is set on a one-to-one basis for each tooth or implant, and has the same meaning as the central axis.

다음으로 치주염 자동 진단 장치(100)는 설정된 장축과 개별 치아 영역의 경계선과의 교점을 치근점으로 설정한다(S140).Next, the automatic periodontitis diagnosis apparatus 100 sets the intersection of the set long axis and the boundary line of the individual tooth region as the root point (S140).

치주염 자동 진단 장치(100)는 개별 치아 영역의 경계선 중에서 치근 영역에서 설정된 장축과의 교점을 치근점으로 설정할 수 있다. The automatic periodontitis diagnosis apparatus 100 may set an intersection point with a long axis set in the root region among the boundaries of individual tooth regions as the root point.

이때, 치근점은 장축과 마찬가지로 각 치아 또는 임플란트마다 일대일로 설정되며, 치주염의 진단에 있어서 기준점이 된다. In this case, the root point is set on a one-to-one basis for each tooth or implant, like the long axis, and serves as a reference point in the diagnosis of periodontitis.

다음으로 치주염 자동 진단 장치(100)는 장축과 치조골 영역의 경계선과의 교점을 제1 교점으로 검출하고 장축과 치관 영역의 경계선과의 교점을 제2 교점으로 검출한다(S150). Next, the automatic periodontitis diagnosis apparatus 100 detects the intersection of the long axis and the boundary line of the alveolar region as the first intersection and detects the intersection of the long axis and the boundary of the crown region as the second intersection (S150).

여기서, 치조골 영역의 경계선은 하나의 치조골 영역 경계선으로 각 치아 또는 임플라트의 장축마다 교점이 하나씩 검출된다. Here, the boundary line of the alveolar bone region is one alveolar bone region boundary, and one intersection is detected for each major axis of each tooth or implant.

그리고 치주염 자동 진단 장치(100)는 치관 영역의 경계선 중에서 치근 영역과 맞닿아 있는 경계선인 백악법랑경계선을 기준으로 장축과의 교점을 검출한다. In addition, the automatic periodontitis diagnosis apparatus 100 detects an intersection point with the long axis based on the chalk enamel boundary line, which is a boundary line that is in contact with the root area, among the boundary lines of the crown area.

다시 말해 치주염 자동 진단 장치(100)는 장축에 해당하는 영상 좌표들과, 검출된 각 영역의 경계선마다의 영상 좌표 집합 간의 교집합을 검출하여, 치아별로 치근점에 대한 영상 좌표와 제1 교점의 영상 좌표와 제2 교점의 영상 좌표를 추출할 수 있다. In other words, the automatic periodontitis diagnosis apparatus 100 detects the intersection between the image coordinates corresponding to the long axis and the image coordinate sets for each detected boundary line of each region, and the image coordinates for the root point for each tooth and the image of the first intersection point The image coordinates of the coordinates and the second intersection point may be extracted.

다음으로 치주염 자동 진단 장치(100)는 치근점과 제2 교점간의 길이 대비 치근점과 제1 교점간의 길이의 비율을 통해 개별 치아에 대한 치조골의 침하율을 산출한다(S160). Next, the automatic periodontitis diagnosis apparatus 100 calculates the subsidence rate of the alveolar bone for individual teeth through the ratio of the length between the root point and the first intersection to the length between the root point and the second intersection (S160).

치주염 자동 진단 장치(100)는 치근점의 영상 좌표와 제2 교점의 영상 좌표간의 길이를 치근점의 영상 좌표와 제1 교점의 영상 좌표간의 길이로 나눈 값을 백분율로 변환하여 치조골의 침하율을 산출할 수 있다. The periodontitis automatic diagnosis apparatus 100 converts a value obtained by dividing the length between the image coordinates of the root point and the image coordinates of the second intersection point by the length between the image coordinates of the root point and the first intersection point into a percentage to determine the subsidence rate of the alveolar bone. can be calculated.

도 6은 본 발명의 하나의 실시예에 따른 경계선들의 교점들을 표시한 하악 치아를 모식적으로 나타낸 단면 개념도이다.6 is a cross-sectional conceptual view schematically illustrating a mandibular tooth with intersection points of boundary lines according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 개별 치아마다 중심을 지나는 장축을 생성하고, 치관과 치근을 포함하는 치아별 경계선, 치조골 영역 경계선 그리고 치관과 치근의 경계선(백악법랑경계선)마다 교점을 산출한다. As shown in FIG. 6, a long axis passing through the center is generated for each individual tooth, and an intersection is calculated for each tooth boundary line including the crown and root, the alveolar bone area boundary line, and the boundary line between the crown and the tooth root (the cementum enamel boundary line).

이때, 어금니와 같이 치근이 복수로 형성된 경우, 각 치근마다 중심에 대해 장축을 설정하지 않고, 도 6과 같이, 복수의 치근이 연결된 라인에서 하나의 장축과 연결된 지점을 치근점(치근 좌표)으로 산출할 수 있다. At this time, when a plurality of tooth roots are formed like a molar, the long axis is not set for the center for each tooth root, and as shown in FIG. can be calculated.

그리고 치주염 자동 진단 장치(100)는 치근점과 치관과 치근의 경계선과의 제2 교점 대비 치근점과 치조골 영역 경계선의 제1 교점의 비율을 산출한다. In addition, the automatic periodontitis diagnosis apparatus 100 calculates the ratio of the first intersection point of the root point and the boundary line of the alveolar bone region to the second intersection point of the root point and the boundary line between the crown and the tooth root.

다시 말해 치주염 자동 진단 장치(100)는 치근점의 영상 좌표와 제2 교점의 영상 좌표간의 길이(A)를 치근점의 영상 좌표와 제1 교점의 영상 좌표간의 길이(B)로 나눈 값을 백분율로 변환하여 해당 치아 또는 임플란트의 치조골 침하율을 산출할 수 있다. In other words, the automatic periodontitis diagnosis apparatus 100 divides the length (A) between the image coordinates of the root point and the image coordinates of the second intersection by the length (B) between the image coordinates of the root point and the image coordinates of the first intersection. , to calculate the alveolar bone settlement rate of the corresponding tooth or implant.

이와 같이, 치주염 자동 진단 장치(100)는 각 치아마다의 치조골 침하율을 산출하고, 산출한 치조골의 침하율에 기초하여 치주염의 진단 단계를 분류할 수 있다. In this way, the automatic periodontitis diagnosis apparatus 100 may calculate the alveolar bone settlement rate for each tooth, and classify the diagnosis stage of periodontitis based on the calculated alveolar bone settlement ratio.

예를 들어, 치주염 자동 진단 장치(100)는 백악법랑경계선 대비 치조골의 침하율이 15% 이하일 경우 1단계, 15% 이상 33% 이하일 경우 2단계, 33% 초과일 경우 3단계로 진단할 수 있다. For example, the automatic periodontitis diagnosis apparatus 100 can diagnose in stage 1 when the subsidence rate of alveolar bone compared to the chalk enamel boundary is 15% or less, in stage 2 when it is 15% or more and 33% or less, and in stage 3 when it exceeds 33%. .

여기서, 치주염의 진단 단계는 치료 과정이나 연구 진행 과정에 따라 용이하게 변경 및 설정 가능하다. Here, the diagnosis stage of periodontitis can be easily changed and set according to the treatment process or research progress.

한편, 치주염 자동 진단 장치(100)는 수신한 치과 방사선 영상에 치조골 영역의 경계선 그리고 치관 영역에서 치근 영역과 맞닿아 있는 경계선을 중첩하여 표시하고, 치아마다 장축에 기초하여 치근점, 제1 교점 그리고 제2 교점을 표시하여 연동되는 단말에 제공할 수 있다. On the other hand, the automatic periodontitis diagnosis apparatus 100 superimposes and displays the boundary line of the alveolar bone area and the boundary line in contact with the root area in the crown area on the received dental radiographic image, and based on the major axis for each tooth, the root point, the first intersection point, and The second intersection may be displayed and provided to the interworking terminal.

여기서 단말은 판독의의 단말, 디스플레이 등을 포함할 수 있으며, 치주염 자동 진단 장치(100)는 이러한 단말외에도 연동되는 서버 또는 데이터베이스에 치주염 진단 정보를 저장할 수 있다. Here, the terminal may include a doctor's terminal, a display, and the like, and the automatic periodontitis diagnosis apparatus 100 may store periodontitis diagnosis information in a server or database interworking in addition to these terminals.

도 7 또는 도 8과 같이, 교점 또는 경계선을 치과 방사선 영상에 중첩하여 표시하고, 치아 또는 임플란트 마다의 치주염 진단 정보를 함께 표시하여 진단 영상을 생성할 수 있다. As shown in FIG. 7 or FIG. 8 , a diagnosis image may be generated by overlapping and displaying an intersection point or boundary line on a dental radiographic image, and also displaying periodontitis diagnosis information for each tooth or implant.

도 7은 본 발명의 하나의 실시예에 따른 치아별 백악법랑경계 대비 치조골의 침하율을 표시한 예시도이고, 도 8은 본 발명의 하나의 실시예에 따른 치아별 진단한 치주염 단계를 표시한 예시도이다.7 is an exemplary view showing the subsidence rate of alveolar bone compared to the chalk enamel boundary for each tooth according to an embodiment of the present invention, and FIG. 8 is a periodontitis stage diagnosed by tooth according to an embodiment of the present invention. It is an example diagram.

도 7에 도시한 바와 같이, 치과 방사선 영상에 치조골 영역의 경계선 그리고 백악법랑경계선을 표시하고, 장축 및 치근점, 제1 교점 그리고 제2 교점을 표시한 영상에 치아 또는 임플란트별 장축마다 침하율을 표시하여 제공할 수 있다. As shown in Fig. 7, the boundary line of the alveolar bone region and the chalk enamel boundary line are displayed on the dental radiographic image, and the settlement rate for each major axis of each tooth or implant is shown on the image showing the long axis, the root point, the first intersection point, and the second intersection point. can be displayed and provided.

이때 침하율은 앞서 설명한 바와 같이, 백분율로 환산하여 정량화한 것으로, 숫자가 크면 클수록 침하율이 큰 상황을 의미한다. At this time, as described above, the settlement rate is converted into a percentage and quantified, and a larger number means a larger settlement rate.

한편, 도 8에 도시한 바와 같이, 각 장축마다 치조골의 침하율이 아닌 치주염의 진행 단계에 따른 단계를 표시할 수 있다. On the other hand, as shown in FIG. 8 , the stage according to the progression stage of periodontitis may be displayed, not the subsidence rate of the alveolar bone for each major axis.

이처럼 치주염 자동 진단 장치(100)는 진단 결과로 치주염 진행 단계 또는 치조골의 침하율을 장축의 치근 부분에 가시화하여 제공하는 것으로 예시하였지만, 반드시 해당 위치에 한정하는 것은 아니고, 판독의나 사용자에 의해 용이하게 변경 및 설정가능하다. As such, the automatic periodontitis diagnosis apparatus 100 has been exemplified as providing the periodontitis progress stage or the subsidence rate of the alveolar bone as a diagnosis result in a visual way at the root part of the long axis, but it is not necessarily limited to the corresponding position, and it is easy by the reader or the user can be changed and set.

도 9는 한 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.9 is a hardware configuration diagram of a computing device according to an embodiment.

도 9를 참고하면, 전처리부(110), 학습부(120), 검출부(130), 제어부(140) 그리고 진단부(150)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(300)에서, 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다. Referring to FIG. 9 , the pre-processing unit 110 , the learning unit 120 , the detecting unit 130 , the control unit 140 , and the diagnosis unit 150 are shown in the computing device 300 operated by at least one processor. Executes a program including instructions described to carry out the operations of the invention.

컴퓨팅 장치(300)의 하드웨어는 적어도 하나의 프로세서(310), 메모리(320), 스토리지(330), 통신 인터페이스(340)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(300)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.The hardware of the computing device 300 may include at least one processor 310 , a memory 320 , a storage 330 , and a communication interface 340 , and may be connected through a bus. In addition, hardware such as an input device and an output device may be included. The computing device 300 may be loaded with various software including an operating system capable of driving a program.

프로세서(310)는 컴퓨팅 장치(300)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(310)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(320)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(310)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(320)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(330)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(340)는 유/무선 통신 모듈일 수 있다.The processor 310 is a device for controlling the operation of the computing device 300 , and may be a processor 310 of various types that processes instructions included in a program, for example, a central processing unit (CPU), an MPU ( It may be a micro processor unit), a micro controller unit (MCU), a graphic processing unit (GPU), or the like. The memory 320 loads the corresponding program so that the instructions described to execute the operation of the present invention are processed by the processor 310 . The memory 320 may be, for example, read only memory (ROM), random access memory (RAM), or the like. The storage 330 stores various data and programs required for executing the operation of the present invention. The communication interface 340 may be a wired/wireless communication module.

이와 같이, 치주염 자동 진단 장치(100)는 치과 방사선 영상에서 객관적으로 정량화된 치주염 진행 정도를 진단하여 제공함으로써, 판독의의 경험에 의존하지 않으면서도 정확한 치주염 진단 정보를 빠르고 편리하게 제공할 수 있다. As such, the automatic periodontitis diagnosis apparatus 100 diagnoses and provides an objectively quantified periodontitis progression level from a dental radiographic image, thereby quickly and conveniently providing accurate periodontitis diagnosis information without relying on the experience of a reader.

또한, 치주 질환뿐 아니라 임플란트 시술과 같은 치과 치료 영역에서 치료 계획을 수립하고 치료 전과 후의 비교 분석에 효과적으로 활용될 수 있다. In addition, it can be effectively used for establishing a treatment plan in the dental treatment area, such as periodontal disease as well as implant surgery, and for comparative analysis before and after treatment.

본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.A program for executing the method according to an embodiment of the present invention may be recorded in a computer-readable recording medium.

컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The media may be specially designed and configured, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and ROMs, RAMs, flash memories, and the like. Hardware devices specially configured to store and execute the same program instructions are included. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although one preferred embodiment of the present invention has been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also It belongs to the scope of the present invention.

Claims (14)

적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 치주염을 자동 판단하는 방법으로서,
수신한 치과 방사선 영상에서 해부학적 형태에 기초하여 치관 영역과 치근 영역을 포함하는 개별 치아 영역, 상기 치근 영역을 지탱하는 치조골 영역, 그리고 상기 치관 영역을 검출하는 단계,
검출된 개별 치아 영역에 기초하여 치아마다 중심을 지나는 장축을 설정하고, 상기 장축과 치근 영역에서의 상기 개별 치아 영역의 경계선과의 교점을 치근점으로 설정하는 단계,
상기 장축과 상기 치조골 영역의 경계선과의 교점을 제1 교점으로 추출하고, 그리고 상기 장축과 상기 치관 영역에서 상기 치근 영역과 맞닿아 있는 경계선과의 교점을 제2 교점으로 추출하는 단계, 그리고
상기 치근점과 제2 교점간의 길이 대비 상기 치근점과 제1 교점간의 길이의 비율을 통해 개별 치아마다 치조골의 침하율을 산출하는 단계,
를 포함하는 치주염 자동 판단 방법.
A method for automatically determining periodontitis by a computing device operated by at least one processor, the method comprising:
Detecting an individual tooth region including a crown region and a root region, an alveolar region supporting the root region, and the crown region from the received dental radiographic image, based on an anatomical shape;
setting a long axis passing through the center for each tooth based on the detected individual tooth area, and setting the intersection point of the long axis and the boundary line of the individual tooth area in the root area as the root point;
Extracting the intersection of the long axis and the boundary line of the alveolar region as a first intersection, and extracting the intersection of the long axis and the boundary line in contact with the root region in the crown region as a second intersection, and
Calculating the subsidence rate of alveolar bone for each individual tooth through the ratio of the length between the root point and the first intersection point to the length between the root point and the second intersection point;
Periodontitis automatic determination method comprising a.
제1항에서,
복수의 치과 방사선 영상과 대응되는 해당 치과 방사선 영상의 개별 치아 영역, 치조골 영역 그리고 치관 영역을 포함하는 학습 데이터를 수집하여 상기 치과 방사선 영상으로부터 각각의 개별 치아 영역, 치조골 영역 그리고 치관 영역이 출력되도록 하는 하나 이상의 검출 모델을 학습시키는 단계
를 더 포함하는 치주염 자동 판단 방법.
In claim 1,
Collecting learning data including individual tooth regions, alveolar bone regions, and crown regions of a corresponding dental radiographic image corresponding to a plurality of dental radiographic images to output each individual tooth region, alveolar bone region, and crown region from the dental radiographic image training one or more detection models;
Periodontitis automatic determination method further comprising.
제2항에서,
상기 검출 모델은,
상기 치과 방사선 영상으로부터 상기 개별 치아 영역, 상기 치조골 영역 그리고 상기 치관 영역에 대해 상기 치과 방사선 영상과 동일한 해상도를 가지는 개별 영상으로 검출하는 컨볼루션 뉴럴 네트워크(Convolution Neural Network)로 구현되는 치주염 자동 판단 방법.
In claim 2,
The detection model is
Periodontitis automatic determination method implemented with a convolutional neural network for detecting the individual tooth region, the alveolar bone region, and the crown region from the dental radiographic image as individual images having the same resolution as the dental radiographic image.
제2항에서,
상기 검출하는 단계는,
수집된 치과 방사선 영상을 상기 검출 모델의 입력에 맞게 전처리한 후, 전처리한 입력 영상을 학습된 상기 검출 모델에 입력하고, 학습된 상기 검출 모델로부터 검출된 영역에 대한 개별 영상을 획득하는 치주염 자동 판단 방법.
In claim 2,
The detecting step is
After pre-processing the collected dental radiographic image according to the input of the detection model, the pre-processed input image is input to the learned detection model, and periodontitis automatic determination of obtaining individual images for the detected area from the learned detection model method.
제1항에서,
상기 장축을 설정하는 단계는,
상기 개별 치아 영역마다 주성분 분석 알고리즘을 적용하여 치아의 중심점을 지나는 장축을 설정하면, 설정된 장축에 해당하는 영상 좌표들을 자동으로 추출하는 치주염 자동 판단 방법.
In claim 1,
The step of setting the long axis is,
An automatic periodontitis determination method for automatically extracting image coordinates corresponding to the set long axis when a long axis passing through the center point of a tooth is set by applying a principal component analysis algorithm to each individual tooth area.
제5항에서,
상기 추출하는 단계는,
상기 개별 치아 영역, 상기 치조골 영역 그리고 상기 치관 영역에 대해 각각 이진화 영상으로 변환한 후, 변환된 영상에서 무어 이웃 추적 알고리즘을 적용하여 각 영역의 경계선에 대한 영상 좌표 집합을 획득하는 치주염 자동 판단 방법.
In claim 5,
The extracting step is
After converting each of the individual tooth regions, the alveolar bone region, and the crown region into a binarized image, a Moore neighbor tracking algorithm is applied to the transformed image to obtain a set of image coordinates for the boundaries of each region. A method for automatically determining periodontitis.
제6항에서,
상기 추출하는 단계는,
상기 장축에 해당하는 영상 좌표들과, 각 영역의 경계선마다의 영상 좌표 집합 간의 교집합을 검출하여, 치아별로 치근점에 대한 영상 좌표와 상기 제1 교점의 영상 좌표와 상기 제2 교점의 영상 좌표를 추출하는 치주염 자동 판단 방법.
In claim 6,
The extracting step is
By detecting the intersection between the image coordinates corresponding to the long axis and the image coordinate sets for each boundary line of each area, the image coordinates for the apical point, the image coordinates of the first intersection, and the image coordinates of the second intersection for each tooth are obtained. Extracted periodontitis automatic determination method.
제7항에서,
상기 치조골의 침하율을 산출하는 단계는,
상기 치근점의 영상 좌표와 제2 교점의 영상 좌표간의 길이를 상기 치근점의 영상 좌표와 제1 교점의 영상 좌표간의 길이로 나눈 값을 백분율로 변환하여 상기 치조골의 침하율을 산출하고, 상기 치조골의 침하율에 대응되는 치주염의 판단 단계를 제공하는 치주염 자동 판단 방법.
In claim 7,
The step of calculating the settlement rate of the alveolar bone,
Calculate the settlement rate of the alveolar bone by converting a value obtained by dividing the length between the image coordinates of the root point and the image coordinates of the second intersection by the length between the image coordinates of the root point and the image coordinates of the first intersection into a percentage, and the alveolar bone Periodontitis automatic determination method that provides a determination step of periodontitis corresponding to the settlement rate of.
제7항에서,
상기 치조골의 침하율을 산출하는 단계는,
상기 치과 방사선 영상에 상기 치조골 영역의 경계선 그리고 상기 치관 영역에서 상기 치근 영역과 맞닿아 있는 경계선을 중첩하여 표시하고, 치아마다 장축에 기초하여 치근점, 제1 교점, 제2 교점 그리고 치아마다의 치조골 침하율을 표시하여 연동되는 단말에 제공하는 치주염 자동 판단 방법.
In claim 7,
The step of calculating the settlement rate of the alveolar bone,
The boundary line of the alveolar bone region and the boundary line in contact with the root region in the crown region are overlapped and displayed on the dental radiographic image, and based on the major axis for each tooth, the root point, the first intersection, the second intersection, and the alveolar bone for each tooth A method for automatically determining periodontitis that displays the settling rate and provides it to the interlocking terminal.
컴퓨터로 판독 가능한 저장 매체에 저장되고, 프로세서에 의해 실행되는 프로그램으로서,
수신한 치과 방사선 영상에서 해부학적 형태에 기초하여 치관 영역과 치근 영역을 포함하는 개별 치아 영역, 상기 치근 영역을 지탱하는 치조골 영역, 그리고 상기 치관 영역을 검출하는 동작,
검출된 개별 치아 영역에 기초하여 치아마다 중심을 지나는 장축을 설정하는 동작,
상기 장축과 치근 영역에서의 상기 개별 치아 영역의 경계선과의 교점을 치근점으로 설정하는 동작,
상기 장축과 상기 치조골 영역의 경계선과의 교점을 제1 교점으로 추출하고, 그리고 상기 장축과 상기 치관 영역에서 상기 치근 영역과 맞닿아 있는 경계선과의 교점을 제2 교점으로 추출하는 동작, 그리고
상기 치근점과 제2 교점간의 길이 대비 상기 치근점과 제1 교점간의 길이의 비율을 통해 개별 치아마다 치조골의 침하율을 산출하는 동작,
을 실행하는 명령어들를 포함하는 프로그램.
A program stored in a computer-readable storage medium and executed by a processor, comprising:
Detecting an individual tooth region including a crown region and a root region, an alveolar region supporting the root region, and the crown region from the received dental radiographic image based on an anatomical shape;
An operation of setting a long axis passing through the center for each tooth based on the detected individual tooth area;
The operation of setting the intersection of the long axis and the boundary line of the individual tooth area in the root area as the root point;
Extracting the intersection of the long axis and the boundary line of the alveolar region as a first intersection, and extracting the intersection of the long axis and the boundary line in contact with the root region in the crown region as a second intersection, and
The operation of calculating the subsidence rate of the alveolar bone for each individual tooth through the ratio of the length between the root point and the first intersection point to the length between the root point and the second intersection point;
A program containing instructions to execute
제10항에서,
복수의 치과 방사선 영상과 대응되는 해당 치과 방사선 영상의 개별 치아 영역, 치조골 영역 그리고 치관 영역을 포함하는 학습 데이터를 수집하여 상기 치과 방사선 영상으로부터 각각의 개별 치아 영역, 치조골 영역 그리고 치관 영역이 출력되도록 하는 하나 이상의 검출 모델을 학습시키는 동작을 더 포함하는 프로그램.
In claim 10,
Collecting learning data including individual tooth regions, alveolar bone regions, and crown regions of a corresponding dental radiographic image corresponding to a plurality of dental radiographic images to output each individual tooth region, alveolar bone region, and crown region from the dental radiographic image The program further comprising the operation of training one or more detection models.
제11항에서
상기 검출하는 동작은,
수집된 치과 방사선 영상을 상기 검출 모델의 입력에 맞게 전처리한 후, 전처리한 입력 영상을 학습된 상기 검출 모델에 입력하고, 학습된 상기 검출 모델로부터 검출된 영역에 대한 상기 치과 방사선 영상과 동일한 해상도를 가지는 개별 영상을 획득하는 프로그램.
in paragraph 11
The detecting operation is
After preprocessing the collected dental radiographic image according to the input of the detection model, the preprocessed input image is input to the learned detection model, and the same resolution as the dental radiographic image for the area detected from the learned detection model is obtained. A program that acquires individual images.
제12항에서
상기 추출하는 동작은,
상기 장축에 해당하는 영상 좌표들과, 각 영역의 경계선마다의 영상 좌표 집합 간의 교집합을 검출하여, 치아별로 치근점에 대한 영상 좌표와 상기 제1 교점의 영상 좌표와 상기 제2 교점의 영상 좌표를 추출하는 프로그램.
in paragraph 12
The extraction operation is
By detecting the intersection between the image coordinates corresponding to the long axis and the image coordinate sets for each boundary line of each area, the image coordinates for the apical point, the image coordinates of the first intersection, and the image coordinates of the second intersection for each tooth are obtained. extracting program.
제13항에서,
상기 치조골의 침하율을 산출하는 동작은,
상기 치근점의 영상 좌표와 제2 교점의 영상 좌표간의 길이를 상기 치근점의 영상 좌표와 제1 교점의 영상 좌표간의 길이로 나눈 값을 백분율로 변환하여 상기 치조골의 침하율을 산출하고, 상기 치조골의 침하율에 기초하여 치주염의 판단 단계를 분류하는 프로그램.
In claim 13,
The operation of calculating the subsidence rate of the alveolar bone is,
Calculate the settlement rate of the alveolar bone by converting a value obtained by dividing the length between the image coordinates of the root point and the image coordinates of the second intersection by the length between the image coordinates of the root point and the image coordinates of the first intersection into a percentage, and the alveolar bone A program that classifies the judgment stages of periodontitis based on the settlement rate of
KR1020200048258A 2020-04-21 2020-04-21 Periodontitis automatic diagnosis method, and program implementing the same method KR102380166B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200048258A KR102380166B1 (en) 2020-04-21 2020-04-21 Periodontitis automatic diagnosis method, and program implementing the same method
PCT/KR2020/008388 WO2021215582A1 (en) 2020-04-21 2020-06-26 Periodontitis automatic diagnosis method and program for implementing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200048258A KR102380166B1 (en) 2020-04-21 2020-04-21 Periodontitis automatic diagnosis method, and program implementing the same method

Publications (3)

Publication Number Publication Date
KR20210130326A KR20210130326A (en) 2021-11-01
KR102380166B1 true KR102380166B1 (en) 2022-03-29
KR102380166B9 KR102380166B9 (en) 2023-03-23

Family

ID=78269479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200048258A KR102380166B1 (en) 2020-04-21 2020-04-21 Periodontitis automatic diagnosis method, and program implementing the same method

Country Status (2)

Country Link
KR (1) KR102380166B1 (en)
WO (1) WO2021215582A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240043443A (en) 2022-09-27 2024-04-03 오스템임플란트 주식회사 Method and system for segmentation of a 3d oral model

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309522B (en) * 2023-04-06 2024-01-26 浙江大学 Panorama piece periodontitis intelligent grading system based on two-stage deep learning model
CN116994070B (en) * 2023-09-25 2023-12-01 四川大学 Tooth image processing method and device based on measurable subspace dynamic classifier

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140234796A1 (en) 2011-07-29 2014-08-21 Media Co., Ltd. Method for periodontal disease measurement
US20180303441A1 (en) 2014-12-24 2018-10-25 Media Co., Ltd. Periodontal disease diagnosis supporting device, periodontal disease diagnosis supporting system, periodontal disease diagnosis supporting program, and periodontal disease diagnosis supporting method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140234796A1 (en) 2011-07-29 2014-08-21 Media Co., Ltd. Method for periodontal disease measurement
US20180303441A1 (en) 2014-12-24 2018-10-25 Media Co., Ltd. Periodontal disease diagnosis supporting device, periodontal disease diagnosis supporting system, periodontal disease diagnosis supporting program, and periodontal disease diagnosis supporting method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIN, P.L. 등, "Automatic methods for alveolar bone loss degree measurement in periodontitis periapical radiographs", Computer Methods and Programs in Biomedicine, 2017, 148권, 페이지 1-11
NAGAO, JIRO 등, "Quantification and visualization of alveolar bone resorption from 3D dental CT images", International Journal of Computer Assisted Radiology and Surgery, 2007, 2권, 페이지 43-53

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240043443A (en) 2022-09-27 2024-04-03 오스템임플란트 주식회사 Method and system for segmentation of a 3d oral model

Also Published As

Publication number Publication date
KR102380166B9 (en) 2023-03-23
KR20210130326A (en) 2021-11-01
WO2021215582A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
KR102380166B1 (en) Periodontitis automatic diagnosis method, and program implementing the same method
DK3050534T3 (en) TRACKING AND PREDICTING DENTAL CHANGES
US11734825B2 (en) Segmentation device and method of generating learning model
KR102267197B1 (en) Method and apparatus for recording and displaying dental care data on a digital dental image
KR102462185B1 (en) Method for providing information about orthodontics and device for providing information about orthodontics using deep learning ai algorithm
US20210217170A1 (en) System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements.
Liu et al. A pilot study of a deep learning approach to detect marginal bone loss around implants
KR102320857B1 (en) Method for orthodontic treatment and apparatus thereof
KR20220118074A (en) Method for establishing orthodontic treatment plan and apparatus thereof
JP6544786B2 (en) Periodontal disease diagnosis support apparatus, method and program therefor
US10285635B2 (en) Periodontal index creation method, periodontal index creation apparatus, periodontal index creation program, and recording medium having records of periodontal index creation program, and periodontitis diagnosis method, periodontitis diagnosis apparatus, periodontitis diagnosis program, and recording medium having records of periodontitis diagnosis program
JP7269587B2 (en) segmentation device
Bodhe et al. Design and Development of Deep Learning Approach for Dental Implant Planning
KR102200060B1 (en) Mhthod and apparatus for easy moving to precision diagnostic module for teeth
KR20220068583A (en) System for diagnosising of peri-implantitis using deep learning and method thereof
KR20180070365A (en) Method and Apparatus for Detecting a Plurality of Lesions in a Dental X-ray Image
Putra et al. Automated permanent tooth detection and numbering on panoramic radiograph using a deep learning approach
KR102583796B1 (en) Method and apparatus for determining of bone graft volume, computer-readable storage medium and computer program
KR102615323B1 (en) System for automatic segmentation for maxillary sinus and lesion, method for operation thereof and method for artificial intelligent training of automatic segmentation model
JP7267974B2 (en) IDENTIFICATION DEVICE, SCANNER SYSTEM, IDENTIFICATION METHOD, AND IDENTIFICATION PROGRAM
Erkan et al. Objective characterization of dental occlusal and fissure morphologies: Method development and exploratory analysis
CN113164234B (en) Method for creating a graphical representation of a dental condition
KR20230118735A (en) Method and apparatus for providing information for diagnosing dental disease
Stancioi et al. System for Detecting the Position of a Tooth in Relation to a Fixed Reference
KR20230135404A (en) Medical image processing method for diagnosing supernumerary tooth in radiographic images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]