KR102462185B1 - 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 - Google Patents
딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 Download PDFInfo
- Publication number
- KR102462185B1 KR102462185B1 KR1020220031302A KR20220031302A KR102462185B1 KR 102462185 B1 KR102462185 B1 KR 102462185B1 KR 1020220031302 A KR1020220031302 A KR 1020220031302A KR 20220031302 A KR20220031302 A KR 20220031302A KR 102462185 B1 KR102462185 B1 KR 102462185B1
- Authority
- KR
- South Korea
- Prior art keywords
- region
- lateral
- tooth
- orthodontic
- orthodontics
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013135 deep learning Methods 0.000 title description 2
- 238000001356 surgical procedure Methods 0.000 claims abstract description 78
- 238000012148 non-surgical treatment Methods 0.000 claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims description 111
- 238000000605 extraction Methods 0.000 claims description 80
- 238000003745 diagnosis Methods 0.000 claims description 42
- 238000011282 treatment Methods 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 38
- 238000013145 classification model Methods 0.000 claims description 34
- 238000011328 necessary treatment Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 210000002050 maxilla Anatomy 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 8
- 241000282465 Canis Species 0.000 description 7
- 210000004763 bicuspid Anatomy 0.000 description 7
- 210000004283 incisor Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 206010061274 Malocclusion Diseases 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000004373 mandible Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 208000006650 Overbite Diseases 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000024693 gingival disease Diseases 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 230000018984 mastication Effects 0.000 description 1
- 238000010077 mastication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4547—Evaluating teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A61B6/14—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Robotics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Fuzzy Systems (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Physical Education & Sports Medicine (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하는 단계, 및 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.
Description
본 발명은 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에 관한 것으로, 보다 구체적으로 치아 교정 분석에 이용되는 의료 영상에 기초한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에 관한 것이다.
일반적으로, 치열이 바르지 않고 상하의 치아 교합이 비정상적인 상태를 부정교합이라고 한다. 이와 같은 부정교합은 저작, 발음상의 문제와 같은 기능적인 문제점과 얼굴에 대한 미적인 문제점을 발생시킬 뿐만 아니라 충치와 잇몸질환과 같은 건강상의 문제점도 발생시킬 수 있다.
이러한 부정교합을 정상교합으로 만들기 위한 방법으로 치열 교정 치료가 수행될 수 있다.
한편, 치열 교정 치료에 있어서, 중요한 부분은 치료 계획을 결정하는 것일 수 있다. 특히, 교정 치료의 예후와 관련하여, 발치 여부의 결정, 나아가 발치를 진행할 치아의 결정하는 치료 계획 수립 단계는 매우 중요할 수 있다. 예를 들어, 잘못된 치료 계획은, 앵커리지 제어 (anchorage control) 실패, 전치의 비정상적인 경사 (inclination), 부적절한 폐색, 부적절한 치아의 수평피개 (overjet) 및 수직피개 (overbite), 발치 공간 폐쇄의 어려움 등의 문제를 야기할 수 있다.
대부분의 치과 교정 전문의는 경험과 지식을 바탕으로 임상 평가, 치아 사진, 구강 모델 (dental model) 및 방사선 사진의 데이터를 사용하여 치료 계획을 결정한다. 이때, 상기와 같은 의사 결정은, 종종 치료 계획 과정에서 오류를 발생시킬 수 있다. 나아가, 경험이 많은 의료진과 경험이 적은 의료진 사이에서 치료 계획의 차이가 발생할 수 있다.
따라서, 의료 서비스 질의 향상 등을 위하여 교정 치료 전 치료 계획 수립에 대한 정확성이 더욱 요구되고 있음에 따라, 정확하게 교정에 필요한 처치를 결정하여 치아 교정에 대한 정보를 제공하는 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
선행문헌: 미국 특허출원공개공보 US2019/0223983호(2019.07.25.)
한편, 전술한 문제점을 해결하기 위해, 프로그램적으로 교정 치료 전 분석을 수행하도록 구성된 치열 교정용 분석 프로그램들이 등장하였다. 그러나 이러한 치열 교정용 분석 프로그램은, 해부학적 랜드마크들을 일일이 입력해야 함에 따라 의료진으로 하여금 번거로움이 수반될 수 있다. 나아가, 이러한 종래의 기술은, 의료진이 측모 두부 의료 영상을 기초로 해부학적 랜드마크를 직접 찾아야 한다는 점에서, 의료진의 숙련도에 따라 분석의 정확도가 달라질 수 있다는 한계가 여전히 존재할 수 있다.
본 발명의 발명자들은, 상기와 같은 문제점을 해결하기 위한 방안으로, 분류, 안면인식, 및 글자인식 등 다양한 분야에서 활용되고 있는 인공 지능 기술에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은, 인공 지능 기술이 치과 교정학의 진단분야에 적용될 경우, 임상적 자료들을 바탕으로 진단에 대한 적절한 결정을 내려, 치열 교정에 대한 정보를 제공할 수 있음을 인지할 수 있었다.
본 발명의 발명자들은, 상기의 치열 교정에 대한 정보 제공 시스템에 의해 교정 전문의는 숙련도에 관계없이 예측 모델에 의해 결정된 진단 확률을 참고하여 정확한 진단 및 치료 계획 수립을 할 수 있음을 기대할 수 있었다.
그 결과, 본 발명의 발명자들은, 임상 자료, 특히 치아 영상, 방사선 영상과 같은 의료 영상에 기초하여 비수술적 교정, 악교정 수술 등의 필요한 처치를 결정하는 예측 모델에 기초한 치열 교정에 대한 정보 제공 시스템을 개발하기에 이르렀다.
이때, 본 발명의 발명자들은, 지도학습 방식을 통하여 다수의 의료 영상을 기반으로 치열 교정에 대한 정보를 확률적으로 제공하는 인공지능의 예측 모델을 구축하였다. 나아가, 본 발명의 발명자들은 이를 이용하여 새로운 의료 영상이 입력되었을 때 적절한 진단의 확률을 결정하도록 치열 교정에 대한 정보 제공 시스템을 구성하였다.
또한, 본 발명의 발명자들은, 종래의 치열 교정용 분석 프로그램에서 필수 단계인 임상 데이터로부터 계측값을 추출하는 과정 없이, 예측 모델이 의료 영상만으로 필요한 처치를 분류하고 평가하도록 치열 교정에 대한 정보 제공 시스템을 구성하였다.
이에, 본 발명의 발명자들은 측모 두부 규격 방사선 영상으로부터 특정한 랜드마크를 찍어 계측값을 도출하고 구강 모델로부터 모델 분석을 시행해 계측값을 도출하여 이를 토대로 진단을 시행했던 종래의 치열 교정 시스템의 한계를 극복할 수 있음을 기대할 수 있었다.
더욱이, 본 발명의 발명자들은, 방사선 영상, 구내 영상, 구외 영상 및 구강 모델을 모두 사용하는 종래의 기술에 비해, 측모 두부 의료 영상 및/또는 구내 영상만으로 치열 교정에 대한 정보 제공 시스템의 구현이 가능하도록 구성할 수 있었다.
본 발명의 발명자들은, 특히, CNN (convolutional neural network) 기반의 딥러닝 기술 (예를 들어, Two-stream CNN) 을 적용하였고, 비수술적 처치뿐만 아니라 수술적 처치를 포괄하는 진단을 수행하도록 치열 교정에 대한 정보 제공 시스템을 구성하여 진단의 성능을 높일 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 측모 두부 의료 영상 및/또는 구내 영상 각각에 측모 안면 영역 또는 치아 영역을 예측하고, 이를 기초로 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하여 제공하는 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법이 제공된다. 본 방법은, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하는 단계, 및 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하는 단계를 포함한다.
본 발명의 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역을 예측하는 단계를 포함할 수 있다. 또한, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 측모 안면 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 측모 안면 영역을 예측하는 단계는, 측모 안면 영역 예측 모델을 이용하여, 측모 두부 의료 영상 내에서 측모 안면 영역에 대한 좌표를 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계는, 구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 치아 영역을 예측하는 단계를 포함할 수 있다. 또한, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 치아 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 치아 영역을 예측하는 단계는, 치아 영역 예측 모델을 이용하여, 구내 영상 내에서 치아 영역에 대한 좌표를 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 피검자에 대하여 필요한 처치를 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 특징을 추출하도록 구성된, 독립된 두 개의 특징 추출 레이어 (feature extraction layer), 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, Two-Stream CNN (Convolutional Neural Network) 일 수 있다.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 측모 안면 영역 또는 치아 영역을 포함하는 박스를 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수술적 처치는, 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 비수술적 처치는, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치로 분류하는 단계는, 수술적 처치 또는 비수술적 처치를 확률적으로 예측하는 단계를 포함할 수 있다. 나아가, 분류하는 단계 이후에, 수술적 처치 진단 확률 또는 비수술적 처치 진단 확률을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 측모 안면 영역 또는 치아 영역을 예측하는 단계 이후에, 측모 안면 영역 또는 치아 영역을 흑백으로 전환하는 단계, 및 흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역을 벡터화하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 수신하는 단계 이전에, 표본 피검자에 대한 표본 측모 두부 의료 영상 또는 표본 구내 영상을 수신하는 단계, 표본 측모 두부 의료 영상 내에서 표본 측모 안면 영역에 대한 선택 또는 표본 구내 영상 내에서 표본 치아 영역에 대한 선택을 입력 받는 단계, 표본 측모 안면 영역 또는 표본 치아 영역의 좌표 에 대한 좌표 및 표본 측모 두부 의료 영상을 기초로, 학습용 측모 두부 의료 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 학습용 측모 두부 의료 영상을 생성하는 단계는, 표본 측모 두부 의료 영상에 대한 정보 및 표본 측모 안면 영역에 대한 좌표를 포함하는 json 파일 또는 xml 파일을 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 분류하는 단계 이후에, 분류 결과를 기초로, 피검자에 대한 치료 계획을 결정하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스가 제공된다. 본 디바이스는, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신하도록 구성된 수신부, 및 수신부와 연결된 프로세서를 포함한다. 이때, 프로세서는, 측모 두부 의료 영상 또는 구내 영상 내에서 측모 안면 부위를 포함하는 측모 안면 영역 또는 치아 영역을 예측하고, 측모 안면 영역 또는 치아 영역을 기초로, 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된다.
본 발명의 특징에 따르면, 프로세서는, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 측모 안면 영역을 예측하고, 측모 안면 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는, 구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 치아 영역을 예측하고, 치아 영역을 기초로 피검자에 대하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 측모 안면 영역 또는 치아 영역을 기초로, 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 피검자에 대하여 필요한 처치를 분류하도록 더 구성될 수 있다.
본 발명은, 측모 두부 의료 영상 및/또는 구내 영상 각각에 대하여 측모 안면 영역 및 치아 영역을 예측하도록 구성된 예측 모델, 나아가 필요한 처치를 분류하도록 구성된 분류 모델을 이용한 치열 교정에 대한 정보 제공 시스템을 제공함으로써 피검자의 치열 교정 분석을 위한 정보를 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은, 종래의 치열 교정용 분석 프로그램에서 필수 단계인 임상 데이터로부터 계측값을 추출하는 과정 없이, 예측 모델이 의료 영상만으로 필요한 처치를 분류하고 평가하여 치열 교정에 대한 정보를 제공할 수 있다.
이에, 본 발명은, 측모 두부 규격 방사선 영상으로부터 특정한 랜드마크를 찍어 계측값을 도출하고 구강 모델로부터 모델 분석을 시행해 계측값을 도출하여 이를 토대로 진단을 시행했던 종래의 치열 교정 시스템의 한계를 극복할 수 있다.
또한, 본 발명은, 방사선 영상, 구내 영상, 구외 영상 및 구강 모델을 모두 사용하는 종래의 기술에 비해, 측모 두부 의료 영상 및/또는 구내 영상만으로 치열 교정에 대한 정보를 제공하는 시스템의 구현이 가능할 수 있다.
나아가, 본 발명은, 임상적 자료들을 바탕으로 의료진의 지식과 경험에 의존적인 종래의 치열 교정에 대한 정보 제공 시스템이 갖는 한계를 극복할 수 있는 효과가 있다.
보다 구체적으로 본 발명은, 다양한 예측 모델에 기초한 치열 교정에 대한 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 따른 진단의 오차, 이에 따른 진달 결과의 낮은 신뢰도를 극복할 수 있고, 피검자에 대한 정확한 교정 치료 전 치료 계획 수립이 가능할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템을 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 예측 모델에 기초한 측모 안면 영역의 절차를 예시적으로 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치아 영역 예측 모델에 기초한 치아 영역의 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치열 교정 분류 모델에 기초한 의료적 처리 분류의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 및 치아 영역의 전처리 절차를 예시적으로 도시한 것이다.
도 6a 내지 6d는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들의 학습용 영상 데이터의 생성 절차를 도시한 것이다.
도 1b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 예측 모델에 기초한 측모 안면 영역의 절차를 예시적으로 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치아 영역 예측 모델에 기초한 치아 영역의 절차를 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치열 교정 분류 모델에 기초한 의료적 처리 분류의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 및 치아 영역의 전처리 절차를 예시적으로 도시한 것이다.
도 6a 내지 6d는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들의 학습용 영상 데이터의 생성 절차를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "측모 두부 의료 영상"은 의료 영상 진단 장치로부터 수신한 피검자의 옆모습을 포함하는 모든 영상을 의미할 수 있다. 바람직하게, 본 원에 개시된 측모 두부 의료 영상은, 측모 두부 규격 방사선 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 측모 두부 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 측모 두부 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에 따라 복수개의 측모 두부 의료 영상 각각에 대한 측모 안면 영역이 예측될 수 있다.
한편, 측모 두부 의료 영상은, 측모 안면 부위를 포함하는 측모 안면 영역을 포함할 수 있다.
본 명세서에서 사용되는 용어, "구내 영상"은 피검자의 치아 구조를 나타내는 영상으로, 바람직하게 피검자의 상하의 치열을 모두 포함하는 영상일 수 있다.
이때, 구내 영상은, 위턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니에 대한 치아 영역 및/또는 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니 중 적어도 하나에 대한 치아 영역을 포함할 수 있다.
바람직하게, 치아 영역은, 위턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니에 대한 치아 영역 및/또는 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니의 복수의 치아에 대한 영역일 수 있다. 따라서, 치아 영역의 배열은, 피검자의 치열의 특징을 반영할 수 있다.
본 명세서에서 사용되는 용어, "측모 안면 영역 예측 모델"은 측모 두부 의료 영상에 대하여 치열 교정을 위해 계측하고자 하는 대상 영역인, 측모 안면 부위를 포함하는 측모 안면 영역을 예측하도록 구성된 모델일 수 있다. 예를 들어, 측모 안면 영역 예측 모델은 측모 두부 의료 영상 내에서 상기 측모 안면 영역 예측하도록 학습된 faster R-CNN일 수 있다. 보다 구체적으로, 측모 안면 영역 예측 모델은, 측모 안면 영역의 좌표가 미리 결정된 학습용 측모 두부 의료 영상을 수신하고, 측모 안면 영역의 좌표를 기초로 학습용 측모 두부 의료 영상 내에서 측모 안면 영역을 관심 영역으로 예측하도록 학습된 모델일 수 있다. 그러나, 측모 안면 영역 예측 모델은 이에 제한되지 않고 보다 다양한 영상 분할 알고리즘에 기초할 수 있다.
이때, 측모 안면 영역은 다른 영역, 예를 들어 배경 영역과 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다. 이에, 측모 안면 영역 예측 모델은, 픽셀 값 또는 질감을 기초로 측모 안면 영역을 예측할 수도 있다.
본 명세서에서 사용되는 용어, "치아 영역 예측 모델"은 측모 두부 의료 영상에 대하여 치열 교정을 위해 계측하고자 하는 대상 영역인, 상하의 치열에 대응하는 피검자의 복수의 치아 영역을 예측하도록 구성된 모델일 수 있다. 예를 들어, 치아 영역 예측 모델은 구내 영상 내에서 치아 영역을 예측하도록 학습된 faster R-CNN일 수 있다. 보다 구체적으로, 치아 영역 예측 모델은, 위턱 치아 및 아래턱 치아의 앞니, 송곳니, 작은 어금니, 및 큰 어금니 각각에 대하여 이들 영역의 좌표가 미리 결정된 학습용 구내 영상을 수신하고, 미리 결정된 치아 영역의 좌표를 기초로 학습용 구내 영상 내에서 치아 영역을 관심 영역으로 예측하도록 학습된 모델일 수 있다. 그러나, 치아 영역 예측 모델은 이에 제한되지 않고 보다 다양한 영상 분할 알고리즘에 기초할 수 있다.
이때, 치아 영역은 다른 영역, 예를 들어, 입술, 혀 등과 같은 배경 영역과 상이한 픽셀 값, 질감 (texture) 을 가질 수 있다. 이에, 치아 영역 예측 모델은, 픽셀 값 또는 질감을 기초로 치아 영역을 예측할 수도 있다.
본 명세서에서 사용되는 용어, "수술적 처치"는, 수술적 치열 교정으로, 악교정 수술을 의미할 수 있다. 이때, 수술적 처치는, 피검자의 측모 안면 영역 및/또는 치아 영역의 배열에 기초하여 결정될 수 있다.
본 발명의 특징에 따르면, 수술적 처치는, 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나일 수 있다.
본 명세서에서 사용되는 용어, "비수술적 처치"는, 비수술적 치열 교정, 예를 들어 브라켓 (bracket) 을 이용한 교정을 의미할 수 있다. 이때, 비수술적 처치는, 피검자의 측모 안면 영역 및/또는 치아 영역의 배열에 기초하여 결정될 수 있다.
본 발명의 특징에 따르면, 비수술적 처치는, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나일 수 있다.
본 명세서에서 사용되는 용어, "치열 교정 분류 모델"은 측모 안면 영역 및/또는 치아 영역에 기초하여, 피검자에게 필요한 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 모델일 수 있다. 예를 들어, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역의 영상으로부터, 피검자에게 필요한 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술 및 악교정 3급 비발치 수술 중 적어도 하나의 수술적 처치의 진단 결과를 확률적으로 제공하도록 학습된 모델일 수 있다. 또한, 치열 교정 분류 모델은, 측모 안면 영역 및 치아 영역의 영상으로부터, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정 중 적어도 하나의 비수술적 처치의 진단 결과를 확률적으로 제공하도록 학습된 모델일 수 있다.
이때, 치열 교정 분류 모델은, 입력된 측모 안면 영역 및 치아 영역 각각에 대하여 특징을 추출하도록 구성된 두 개의 특징 추출 레이어 (feature extraction layer)와 두 개의 특징 추출 레이어로부터 추출된 두 개의 특징을 통합하는 퓨젼 레이어 (fusion layer) 로 이루어질 수 있다. 바람직하게, 치열 교정 분류 모델은, Two-Stream CNN (Convolutional Neural Network) 일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 치열 교정 분류 모델은, 측모 안면 영역을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제1 치열 교정 분류 모델과 치아 영역을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제2 치열 교정 분류 모델의 두 개의 독립된 모델이 합쳐진 앙상블 모델일 수도 있다.
한편, 본 발명의 또 다른 특징에 따르면, 치열 교정 분류 모델은, 개시 학습 비율 (initial learning rate) 가 0.01로, 모멘텀 (momentum) 이 0.9로, 가중치 감쇠 (weight decay) 가 0.0005로, 드롭 아웃 (dropout) 이 0.5로 학습 인자 값이 설정될 수 있다. 그러나 학습을 위해 입력되는 파라미터들의 학습 인자 값은 이에 제한되는 것은 아니다.
이하에서는 도 1a 및 1b를 참조하여, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템 및 치열 교정에 대한 정보 제공용 디바이스를 설명한다.
도 1a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스를 이용한 치열 교정 분석 시스템을 도시한 것이다. 도 1b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1a를 참조하면, 측모 두부 계측 방사선 촬영 장치로부터 측모 두부 의료 영상 (210) 이 획득될 수 있고, 구내 촬영 장치로부터 피검자에 대한 구내 영상 (220) 이 획득될 수 있다. 이때, 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 의 의료 영상 (200) 은, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공용 디바이스 (100) 에 수신된다.
치열 교정에 대한 정보 제공용 디바이스 (100) 는, 수신된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 내에서 측모 안면 영역 및/또는 치아 영역을 예측하고, 예측된 영역에 기초하여 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 결정하여 제공한다.
보다 구체적으로, 도 1b를 참조하면, 치열 교정에 대한 정보 제공용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.
구체적으로 수신부 (110) 는 측모 두부 계측 방사선 촬영 장치로부터 피검자에 대한 측모 두부 의료 영상을 수신하거나 또는, 구내 촬영 장치로부터 피검자에 대한 구내 영상을 수신하도록 구성될 수 있다. 이때, 수신부 (110) 에 의해 획득된 측모 두부 의료 영상 (210) 은 측모 두부 규격 방사선 영상일 수 있고, 구내 영상 (220) 은 RGB 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 수신부 (110) 는 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 을 후술할 프로세서 (150) 에 송신하도록 더 구성될 수 있다. 한편, 수신부 (110) 를 통해 획득된 측모 두부 의료 영상 (210) 은 측모 안면 영역을 포함하고, 구내 영상 (220) 은 복수의 치아 영역을 포함할 수 있다.
입력부 (120) 는 치열 교정에 대한 정보 제공용 디바이스 (100) 를 설정할 수 있다. 나아가, 사용자는, 측모 두부 의료 영상 (210) 및 구내 영상 (220) 각각에 대하여 측모 안면 영역 및 치아 영역을 직접 선택할 수 있다. 이때, 입력부 (120) 는 키보드, 마우스, 터치 스크린 패널일 수 있으나, 이이 제한되는 것은 아니다.
한편, 출력부 (130) 는 수신부 (110) 로부터 획득된 측모 두부 의료 영상 (210) 및/또는 구내 영상 (220) 을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 측모 두부 의료 영상 (210) 내에서 결정된 측모 안면 영역, 및/또는 구내 영상 (210) 내에서 결정된 복수의 치아 영역을 표시하도록 구성될 수 있다. 나아가, 출력부 (130) 는 프로세서 (150) 에 의해 결정된 피검자에 대하여 필요한 진단에 대한 정보를 표시하도록 구성될 수 있다. 그러나, 이에 제한되지 않고 출력부 (130) 는 피검자의 치열 교정을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 표시하도록 구성될 수 있다.
저장부 (140) 는 수신부 (110) 를 통해 획득한 피검자에 대한 의료 영상 (200) 을 저장하고, 입력부 (120) 를 통해 설정된 치열 교정에 대한 정보 제공용 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 예측된 결과들을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는, 피검자의 치열 교정을 위해 프로세서 (150) 에 의해 결정된 보다 다양한 정보들을 저장할 수 있다.
한편, 프로세서 (150) 는 치열 교정에 대한 정보 제공용 디바이스 (100) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서 (150) 는 측모 두부 의료 영상 (210) 에 대하여 측모 안면 영역을 예측하거나, 구내 영상 (220) 내에서 복수의 치아 영역을 예측하고, 예측된 안면 영역 및/또는 복수의 치아 영역에 기초하여 피검자의 치아 상태에 따른 진단 결과를 분류하여 제공하도록 구성될 수 있다.
예를 들어, 프로세서 (150) 는 수신부 (110) 로부터 획득한 피검자에 대한 측모 두부 의료 영상 (210) 내에서 측모 안면 영역을 예측하도록 학습된 예측 모델, 그리고 구내 영상 (220) 내에서 치아 영역을 예측하도록 학습된 예측 모델을 이용하도록 구성될 수 있다. 나아가, 프로세서 (150) 는, 예측 모델에 의해 예측된 측모 안면 영역 및/또는 치아 영역에 기초하여 피검자의 치아 상태에 따른 진단 결과를 분류하여 제공하는 분류 모델을 이용하도록 구성될 수 있다. 이때, 측모 안면 영역 및 치아 영역 각각을 예측하도록 학습된 모델은 faster R-CNN에 기초할 수 있고, 치열 교정 진단의 분류 모델은 Two-Stream CNN에 기초할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 다양한 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들 및 분류 모델은 DNN (Deep Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델, SVM (Support Vector Machine) 또는 U-net을 기반으로 하여 관심 영역을 예측하거나, 피검자에 대하여 적합한 의료적 처치를 분류하도록 구성될 수 있다.
한편, 본 발명의 다양한 실시예에 따르면, 치열 교정에 대한 정보 제공용 디바이스는, 수신부 (110) 에 의해 수신한 측모 두부 의료 영상 및/또는 구내 영상이 RGB 컬러 영상일 경우, 의료 영상을 흑백 영상으로 전환하고, 흑백 영상을 벡터화하도록 구성된, 데이터 전처리부를 더 포함할 수 있다.
이하에서는, 도 2, 3a, 3b, 도 4 및 도 5를 참조하여, 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 3a는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 예측 모델에 기초한 측모 안면 영역의 절차를 예시적으로 도시한 것이다. 도 3b는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치아 영역 예측 모델에 기초한 치아 영역의 절차를 예시적으로 도시한 것이다. 도 4는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 치열 교정 분류 모델에 기초한 의료적 처리 분류의 절차를 예시적으로 도시한 것이다. 도 5는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법에서, 측모 안면 영역 및 치아 영역의 전처리 절차를 예시적으로 도시한 것이다.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 의료적 처치 결정 절차는 다음과 같다. 먼저, 피검자에 대한 측모 두부 의료 영상 또는 구내 영상을 수신한다 (S210). 그 다음, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측한다 (S220). 그 다음, 측모 안면 영역 및/또는 치아 영역에 기초하여 피검자에 대하여 필요한 수술적 처치 또는 비수술적 처치를 결정한다 (S230). 마지막으로, 예측된 결과를 제공한다 (S240).
보다 구체적으로, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 계측 방사선 촬영 장치로부터 피검자에 대한 측모 두부 의료 영상을 수신하거나 또는, 구내 촬영 장치로부터 피검자에 대한 구내 영상이 수신될 수 있다.
바람직하게, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 의료 영상 및 구내 영상이 함께 수신될 수 있다. 이때, 측모 두부 의료 영상은 측모 두부 규격 방사선 영상이고, 구내 영상은 RGB 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따르면, 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서, 측모 두부 의료 영상 및 구내 영상에 대한 빠른 분석이 가능하도록 일정한 픽셀을 갖도록 전처리가 수행된 측모 두부 의료 영상 및 구내 영상이 수신될 수도 있다.
다음으로, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 의료 영상 각각에 대한 관심 영역이 예측될 수 있다.
본 발명의 특징에 따르면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 측모 안면 영역 예측 모델 및/또는 치아 영역 예측 모델에 의해 측모 안면 영역 예측 모델 및/또는 치아 영역이 결정될 수 있다.
예를 들어, 도 3a를 함께 참조하면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 측모 안면 영역 예측 모델 (310) 에, 전술한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서 획득된 측모 두부 의료 영상 (210) 이 입력된다. 그 다음, 측모 안면 영역 예측 모델 (310) 에 의해 측모 두부 의료 영상 (210) 내에 측모 안면 부위에 해당하는 관심 영역인, 측모 안면 영역 (312) 이 결정된다. 이때, 측모 안면 영역 예측 모델 (310) 은 측모 안면 영역 (312) 을 두르는 박스를 형성하도록 더욱 구성될 수 있다. 한편, 측모 안면 영역 예측 모델 (310) 은 측모 두부 의료 영상 (210) 내의 측모 안면 영역 (312) (또는 박스) 에 대한 좌표에 기초하여 측모 안면 영역 (312) 을 예측하도록 구성될 수 있으나, 이에 제한되는 것은 아니다.
한편, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 측모 안면 영역 (312) 은 해당 영역만 포함하도록 크로핑될 수도 있다.
도 3b를 더욱 참조하면, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 에서, 치아 영역 예측 모델 (320) 에, 전술한 측모 두부 의료 영상 또는 구내 영상을 수신하는 단계 (S210) 에서 획득된 구내 영상 (220) 이 입력된다. 그 다음, 치아 영역 예측 모델 (320) 에 의해 구내 영상 (220) 내에 치아 각각에 해당하는 관심 영역인 복수의 치아 영역 (322) 이 결정된다. 바람직하게, 치아 영역 예측 모델 (320) 은 구내 영상 (220) 내에서 특정된 단일의 치아의 영역을 예측하기보다 구내 영상 (220) 에 나타나는 모든 치아에 대한 영역을 예측하도록 구성될 수 있다. 이에, 복수의 치아 영역 (322) 의 배열은, 피검자의 치열의 특징을 나타낼 수 있다. 한편, 치아 영역 예측 모델 (320) 은 치아 영역 (322) 을 두르는 박스를 형성하도록 더욱 구성될 수 있다. 이때, 치아 영역 예측 모델 (320) 은 구내 영상 (220) 내의 상 하측 앞니, 송곳니, 작은 어금니, 및 큰 어금니 각각의 영역 (또는, 박스) 에 대한 좌표에 기초하여 복수의 치아 영역 (322) 을 예측하도록 구성될 수 있으나, 이에 제한되는 것은 아니다.
한편, 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 복수의 치아 영역 (322) 은 해당 영역만 포함하도록 크로핑될 수도 있다.
다시, 도 2를 참조하면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 측모 안면 영역 및/또는 복수의 치아 영역에 기초하여, 피검자의 치열 상태에 따른 수술적 처치 또는 비수술적 처치의 진단 결과가 결정될 수 있다.
본 발명의 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 수술적 처치 진단 확률 또는 비수술적 처치 진단 확률이 결정될 수 있다.
예를 들어, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 피검자에 대하여, 악교정 2급 발치 수술의 잔단 확률, 악교정 2급 비발치 수술의 진단 확률, 악교정 3급 발치 수술의 진단 확률, 또는 악교정 3급 비발치 수술의 진단 확률이 결정될 수 있다. 또한, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 비발치 교정 진단 확률, 상하악 제1 소구치 발치 교정 진단 확률, 상하악 제2 소구치 발치 교정 진단 확률, 상악 제1 소구치 발치 교정 진단 확률, 또는 상악 제1 소구치 하악 제2 소구치 발치 교정 진단 확률이 결정될 수 있다. 이때, 의료적 처치의 진단 확률이 높을 수록, 피검자에 적용될 경우 치아 교정의 성공률이 높을 수 있다.
본 발명의 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 에서, 치열 교정 분류 모델에 의해 피검자에 필요한 처치가 결정될 수 있다.
예를 들어, 도 4를 함께 참조하면, 전술한 측모 두부 의료 영상에 대하여 측모 안면 영역을 예측하거나, 구내 영상 내에서 치아 영역을 예측하는 단계 (S220) 의 결과에 의해 예측된 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 이 치열 교정 분류 모델 (330) 에 입력될 수 있다.
이때, 치열 교정 분류 모델 (330) 은 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 각각에 대한 특징을 추출하도록 구성된 두 개의 독립된 특징 추출 레이어 (332) 및 이들의 특징을 통합하고, 최종적으로 필요한 의료적 처치를 결정하도록 구성된 퓨젼 레이어 (334) 로 이루어질 수 있다. 보다 구체적으로, 특징 추출 레이어 (332) 는 Two-Stream CNN에 대응할 수 있고, 퓨젼 레이어 (334) 는 퓨젼 및 FC (Fully connected) 레이어에 대응할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 치열 교정 분류 모델 (330) 은, 측모 안면 영역 (312) 을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제1 치열 교정 분류 모델과 복수의 치아 영역 (322) 을 기초로 수술적 처치 또는 비수술적 처치를 분류하도록 구성된 제2 치열 교정 분류 모델의 두 개의 독립된 모델이 합쳐진 앙상블 모델일 수도 있다.
입력된 측모 안면 영역 (312) 및 복수의 치아 영역 (322) 각각은 특징 추출 레이어 (332) 를 거쳐 특징이 추출되고, 퓨젼 레이어 (334) 를 거쳐 특징이 통합되고, 최종적으로 적절한 수술적 처치, 또는 비수술적 처치의 진단 결과 (342) 가 결정된다. 이때, 진단 결과 (342) 는, 피검자에 대하여, 악교정 2급 발치 수술의 잔단 확률, 악교정 2급 비발치 수술의 진단 확률, 악교정 3급 발치 수술의 진단 확률, 및 악교정 3급 비발치 수술의 진단 확률 중 적어도 하나를 포함할 수 있다. 또한, 진단 결과 (342) 는 비발치 교정 진단 확률, 상하악 제1 소구치 발치 교정 진단 확률, 상하악 제2 소구치 발치 교정 진단 확률, 상악 제1 소구치 발치 교정 진단 확률, 및 상악 제1 소구치 하악 제2 소구치 발치 교정 진단 확률 중 적어도 하나를 포함할 수 있다.
이때, 진단 결과 (342) 에 따르면, 2급 발치 수술 교정술에 대한 진단 확률이 95 %로 나타난다. 이는, 피검저에 대하여 2급 발치 수술 교정술이 수행될 경우, 교정 치료의 성공률이 다른 수술적 처치보다 높을 수 있음을 의미할 수 잇다.
즉, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 의 결과로, 피검자의 치아 상태에 따른 의료적 처치가 확률적으로 결정될 수 있다.
한편, 본 발명의 또 다른 특징에 따르면, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 이전에, 측모 안면 영역 및/또는 치아 영역을 포함하는 각각의 의료 영상이 RGB 컬러 영상일 경우, 이들 의료 영상을 전처리하는 단계가 더욱 수행될 수 있다.
보다 구체적으로, 도 5를 함께 참조하면, 전처리 단계에서, RGB 컬러의 측모 안면 영역 (312) 및 치아 영역 (322) 이 흑백으로 전환되고, 흑백 전환된 측모 안면 영역 또는 흑백 전환된 치아 영역이 벡터화될 수 있다. 이때, 흑백 영상으로 전환된 측모 안면 영역 (312) 및 치아 영역 (322) 각각은, 복수의 픽셀에 대하여 명도 차이 값이 가장 큰 픽셀의 방향으로 벡터화될 수도 있다.
전처리 단계의 결과로, 측모 안면 영역 (312) 및 치아 영역 (322) 이 치아 교정 분류 모델에 입력될 경우, 처리 속도가 향상될 수 있다.
마지막으로, 예측된 결과를 제공하는 단계 (S240) 에서, 수술적 처치 또는 비수술적 처치를 결정하는 단계 (S230) 의 결과로 결정된 수술적 처치 또는 비수술적 처치에 대한 정보가 제공될 수 있음.
예를 들어, 도 4를 다시 참조하면, 예측된 결과를 제공하는 단계 (S240) 에서, 피검자의 측모 안면 영역 (312), 치아 영역 (322) 에 기초하여 치아 상태에 따라 결정된 '2급 발치 수술 교정 (95 %의 진단 확률)'의 수술적 처치가 출력되어 의료진에게 제공될 수 있다.
이에, 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 피검자의 치열 교정에 대한 정보를 제공받을 수 있어, 성공 확률 높은 의사 결정 및 치료 계획을 수립할 수 있다.
이하에서는, 도 6a 내지 도 6d를 참조하여, 본 발명의 다양한 실시예에서 이용되는 측모 안면 영역 예측 모델 및 치아 영역 예측 모델의 학습 방법을 설명한다. 도 6a 내지 6d는 본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들의 학습용 영상 데이터의 생성 절차를 도시한 것이다.
먼저, 도 6a 및 6b를 참조하면, 먼저, 측모 안면 영역 예측 모델의 학습을 위해, 복수개의 표본 측모 두부 규격 방사선 영상이 준비된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 내에서, 측모 안면 부위는 사각형의 영역으로 표시된 후, 이의 좌표가 지정된다. 그 다음, 복수개의 측모 두부 규격 방사선 영상 각각에 대하여 형성된 표본 측모 안면 영역 (박스) 에 대한 위치 정보를 포함하는 json 파일이 준비된다. 보다 구체적으로, json 파일은 복수개의 표본 측모 두부 규격 방사선 영상 파일 각각에 대한 이름, 복수개의 측모 두부 규격 방사선 영상 내에서 표본 측모 안면 영역에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함할 수 있다. 그 결과, 표본 측모 안면 영역에 대한 위치 정보가 담긴, 측모 안면 영역 예측 모델에 대한 학습용 측모 두부 의료 영상이 생성될 수 있다. 한편, 학습용 측모 두부 의료 영상
측모 안면 영역 예측 모델은, 학습용 측모 두부 의료 영상 내에서 위치 정보가 미리 결정된 측모 안면 영역, 즉 표본 측모 안면 영역을 예측하도록 학습될 수 있다.
한편, 측모 안면 영역 예측 모델은, 학습용 측모 두부 의료 영상 내에서 관심 영역을 탐지할 수 있는 faster R-CNN 기반의 인공지능 모델일 수 있다. 그러나, 이에 제한되는 것은 아니다.
다음으로, 도 6c 및 6d를 참조하면, 먼저, 치아 영역 예측 모델의 학습을 위해, 복수개의 표본 구내 영상이 준비된다. 그 다음, 복수개의 표본 구내 영상 내에서, 복수의 치아 (앞니, 송곳니, 작은 어금니, 큰 어금니) 각각의 영역을 두르는 박스가 형성되고, 이후 각각의 박스에 대한 좌표가 지정된다. 그 다음, 복수개의 구내 영상 각각에 대하여 형성된 복수의 표본 치아 영역 (박스) 에 대한 위치 정보를 포함하는 json 파일이 준비된다. 보다 구체적으로, json 파일은 복수개의 표본 구내 영상 파일 각각에 대한 이름, 복수개의 표본 구내 영상 내에서 복수의 표본 치아 영역 각각에 대하여 형성된 박스의 위치값 (top, left, width 및 height) 을 포함할 수 있다. 그 결과, 표본 치아 영역에 대한 위치 정보가 담긴, 치아 영역 예측 모델에 대한 학습용 구내 영상이 생성될 수 있다.
치아 영역 예측 모델은, 학습용 구내 영상 내에서 위치 정보가 미리 결정된 복수의 치아 영역, 즉 표본 치아 영역 각각을 예측하도록 학습될 수 있다.
한편, 치아 영역 예측 모델은, 학습용 구내 영상 내에서 관심 영역을 탐지할 수 있는 faster R-CNN 기반의 인공지능 모델일 수 있다. 그러나, 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따른 치열 교정에 대한 정보 제공 방법 및 이를 이용한 치열 교정에 대한 정보 제공용 디바이스에서 이용되는, 예측 모델들은, 이상의 학습 알고리즘을 채택함에 따라 의료 영상 내에서 측모 안면 영역 또는 치아 영역의 관심 영역을 높은 정확도로 예측할 수 있다. 그러나, 측모 안면 영역 예측 모델 및 치아 영역 예측 모델은, 전술한 것에 제한되지 않고 보다 다양한 방법으로 학습될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 치열 교정에 대한 정보 제공용 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
200: 의료 영상
210: 측모 두부 의료 영상
220: 구내 영상
310: 측모 안면 영역 예측 모델
312: 측모 안면 영역
320: 치아 영역 예측 모델
322: 치아 영역
330: 치열 교정 분류 모델
332: 특징 추출 레이어
334: 퓨젼 레이어
342: 진단 결과
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
200: 의료 영상
210: 측모 두부 의료 영상
220: 구내 영상
310: 측모 안면 영역 예측 모델
312: 측모 안면 영역
320: 치아 영역 예측 모델
322: 치아 영역
330: 치열 교정 분류 모델
332: 특징 추출 레이어
334: 퓨젼 레이어
342: 진단 결과
Claims (18)
- 프로세서 및 수신부에 의해 구현되는 치열 교정에 대한 정보 제공 방법으로서,
상기 수신부를 통해, 피검자에 대한 측모 두부 의료 영상 및 구내 영상을 수신하는 단계;
상기 프로세서를 통해, 상기 측모 두부 의료 영상 및 상기 구내 영상 각각에 대하여 측모 안면 부위를 포함하는 측모 안면 영역 및 치아 영역 각각을 예측하는 단계, 및
상기 프로세서를 통해, 상기 측모 안면 영역 및 상기 치아 영역을 입력으로 하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 상기 피검자에 대하여 필요한 처치를 확률적으로 분류하는 단계를 포함하고,
상기 치열 교정 분류 모델은, 상기 측모 안면 영역으로부터 특징을 추출하고, 상기 치아 영역으로부터 특징을 추출하는 독립된 두 개의 특징 추출 레이어 (feature extraction layer), 및
상기 두 개의 특징 추출 레이어로부터 추출된, 상기 측모 안면 영역에 대한 특징 및 상기 치아 영역에 대한 특징을 통합하고, 통합된 특징을 기초로 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술, 악교정 3급 비발치 수술, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정을 포함하는 상기 필요한 처치를 확률적으로 출력하도록 구성된 퓨젼 레이어 (fusion layer) 를 포함하는, 치열 교정에 대한 정보 제공 방법. - 제1항에 있어서,
상기 측모 안면 영역 및 치아 영역 각각을 예측하는 단계는,
상기 프로세서를 통해, 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 안면 영역을 예측하는 단계, 및
상기 프로세서를 통해, 상기 구내 영상 내에서 치아 영역을 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법. - 제2항에 있어서,
상기 측모 안면 영역을 예측하는 단계는,
상기 프로세서를 통해, 상기 측모 안면 영역 예측 모델을 이용하여, 상기 측모 두부 의료 영상 내에서 상기 측모 안면 영역에 대한 좌표를 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법. - 제1항에 있어서,
상기 측모 안면 영역 및 치아 영역 각각을 예측하는 단계는,
상기 프로세서를 통해, 구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 상기 치아 영역을 예측하는 단계, 및
상기 프로세서를 통해, 상기 측모 두부 의료 영상 내에서 측모 안면 영역을 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법. - 제4항에 있어서,
상기 치아 영역을 예측하는 단계는,
상기 프로세서를 통해, 상기 치아 영역 예측 모델을 이용하여, 상기 구내 영상 내에서 상기 치아 영역에 대한 좌표를 예측하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법. - 삭제
- 제1항에 있어서,
상기 치열 교정 분류 모델은,
Two-Stream CNN (Convolutional Neural Network) 인, 치열 교정에 대한 정보 제공 방법. - 제1항에 있어서,
상기 측모 안면 영역 및 치아 영역 각각을 예측하는 단계 이후에, 상기 프로세서를 통해, 상기 측모 안면 영역 및 상기 치아 영역을 포함하는 박스를 생성하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 분류하는 단계 이후에,
상기 프로세서를 통해, 수술적 처치 진단 확률 또는 비수술적 처치 진단 확률을 제공하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법. - 제1항에 있어서,
상기 측모 안면 영역 및 치아 영역 각각을 예측하는 단계 이후에,
상기 프로세서를 통해, 상기 측모 안면 영역 및 상기 치아 영역을 흑백으로 전환하는 단계, 및
흑백 전환된 측모 안면 영역 및 흑백 전환된 치아 영역을 벡터화하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법. - 제1항에 있어서,
상기 수신하는 단계 이전에,
상기 수신부를 통해, 표본 피검자에 대한 표본 측모 두부 의료 영상 또는 표본 구내 영상을 수신하는 단계;
상기 표본 측모 두부 의료 영상 내에서 표본 측모 안면 영역에 대한 선택 또는 상기 표본 구내 영상 내에서 표본 치아 영역에 대한 선택을 입력 받는 단계;
상기 프로세서를 통해, 상기 표본 측모 안면 영역 또는 상기 표본 치아 영역의 좌표 에 대한 좌표 및 상기 표본 측모 두부 의료 영상을 기초로, 학습용 측모 두부 의료 영상을 생성하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법. - 제13항에 있어서,
상기 학습용 측모 두부 의료 영상을 생성하는 단계는,
상기 프로세서를 통해, 상기 표본 측모 두부 의료 영상에 대한 정보 및 상기 표본 측모 안면 영역에 대한 좌표를 포함하는 json 파일 또는 xml 파일을 생성하는 단계를 포함하는, 치열 교정에 대한 정보 제공 방법. - 제1항에 있어서,
상기 분류하는 단계 이후에,
상기 프로세서를 통해, 분류 결과를 기초로, 상기 피검자에 대한 치료 계획을 결정하는 단계를 더 포함하는, 치열 교정에 대한 정보 제공 방법. - 피검자에 대한 측모 두부 의료 영상 및구내 영상을 수신하도록 구성된 수신부, 및
상기 수신부와 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 측모 두부 의료 영상 및 상기 구내 영상 각각에 대하여 측모 안면 부위를 포함하는 측모 안면 영역 및 치아 영역 각각을 예측하고, 상기 측모 안면 영역 및 상기 치아 영역을 입력으로 하여 필요한 처치를 수술적 처치 또는 비수술적 처치로 분류하도록 구성된 치열 교정 분류 모델을 이용하여, 상기 피검자에 대하여 필요한 처치를 확률적으로 분류하도록 구성되고,
상기 치열 교정 분류 모델은, 상기 측모 안면 영역으로부터 특징을 추출하고, 상기 치아 영역으로부터 특징을 추출하는 독립된 두 개의 특징 추출 레이어 (feature extraction layer), 및
상기 두 개의 특징 추출 레이어로부터 추출된, 상기 측모 안면 영역에 대한 특징 및 상기 치아 영역에 대한 특징을 통합하고, 통합된 특징을 기초로 악교정 2급 발치 수술, 악교정 2급 비발치 수술, 악교정 3급 발치 수술, 악교정 3급 비발치 수술, 비발치 교정, 상하악 제1 소구치 발치 교정, 상하악 제2 소구치 발치 교정, 상악 제1 소구치 발치 교정 및 상악 제1 소구치 하악 제2 소구치 발치 교정을 포함하는 상기 필요한 처치를 확률적으로 출력하도록 구성된, 퓨젼 레이어 (fusion layer) 를 포함하는, 치열 교정에 대한 정보 제공용 디바이스. - 제16항에 있어서,
상기 프로세서는,
측모 두부 의료 영상 내에서 측모 안면 영역을 예측하도록 구성된 측모 안면 영역 예측 모델을 이용하여, 상기 측모 안면 영역을 예측하도록 더 구성된, 치열 교정에 대한 정보 제공용 디바이스. - 제16항에 있어서,
상기 프로세서는,
구내 영상 내에서 치아 영역을 예측하도록 구성된 치아 영역 예측 모델을 이용하여, 상기 치아 영역을 예측하도록 더 구성된, 치열 교정에 대한 정보 제공용 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220031302A KR102462185B1 (ko) | 2020-02-03 | 2022-03-14 | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200012517A KR20210098683A (ko) | 2020-02-03 | 2020-02-03 | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| KR1020220031302A KR102462185B1 (ko) | 2020-02-03 | 2022-03-14 | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200012517A Division KR20210098683A (ko) | 2020-02-03 | 2020-02-03 | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220039677A KR20220039677A (ko) | 2022-03-29 |
| KR102462185B1 true KR102462185B1 (ko) | 2022-11-03 |
Family
ID=77199286
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200012517A KR20210098683A (ko) | 2020-02-03 | 2020-02-03 | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| KR1020220031302A KR102462185B1 (ko) | 2020-02-03 | 2022-03-14 | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200012517A KR20210098683A (ko) | 2020-02-03 | 2020-02-03 | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
Country Status (2)
| Country | Link |
|---|---|
| KR (2) | KR20210098683A (ko) |
| WO (1) | WO2021157966A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102714028B1 (ko) | 2023-08-14 | 2024-10-04 | 서울대학교산학협력단 | 교정치료 정보 제공 시스템 및 이의 동작 방법 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115694776A (zh) | 2021-07-27 | 2023-02-03 | 三星电子株式会社 | 存储设备、存储系统操作方法和计算系统 |
| US20240277449A1 (en) * | 2021-08-12 | 2024-08-22 | 3M Innovative Properties Company | Deep learning for generating intermediate orthodontic aligner stages |
| KR102448169B1 (ko) * | 2021-10-05 | 2022-09-28 | 세종대학교산학협력단 | 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치 |
| KR102753633B1 (ko) * | 2021-12-15 | 2025-01-10 | 연세대학교 산학협력단 | 근관 치료에 대한 정보 제공 방법 및 이를 이용한 근관 치료에 대한 정보 제공용 디바이스 |
| KR102464472B1 (ko) * | 2022-04-28 | 2022-11-07 | 김신엽 | 인공지능을 이용한 치열 교정법 추천 시스템 및 그 방법 |
| KR102470875B1 (ko) * | 2022-05-13 | 2022-11-25 | 주식회사 쓰리디오엔에스 | 3d 의료 영상 기반의 목표 영상 생성방법, 장치 및 컴퓨터프로그램 |
| KR102469288B1 (ko) * | 2022-05-13 | 2022-11-22 | 주식회사 쓰리디오엔에스 | 자동 치열 교정 계획 방법, 장치 및 프로그램 |
| KR102715704B1 (ko) | 2022-06-30 | 2024-10-11 | 김두희 | 치아교정 시뮬레이션 기반의 예측교정 이미지 제공 방법 |
| KR102710043B1 (ko) | 2022-06-30 | 2024-09-25 | 김두희 | 예측교정 이미지 제공 방법 |
| KR20240096420A (ko) | 2022-12-19 | 2024-06-26 | 사회복지법인 삼성생명공익재단 | 방사선 두부 영상을 이용하여 제3 대구치의 발치 난이도를 예측하는 방법 및 분석 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101952887B1 (ko) * | 2018-07-27 | 2019-06-11 | 김예현 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
| US20190223983A1 (en) * | 2010-03-17 | 2019-07-25 | ClearCorrect Holdings, Inc. | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis & treatment planning |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4468871B2 (ja) * | 2005-08-02 | 2010-05-26 | 秀文 伊藤 | 歯科診療支援方法及びシステム |
| JP4926292B1 (ja) * | 2011-09-16 | 2012-05-09 | 大樹 平林 | 歯列矯正治療における顎骨手術要否判断指標の計算方法、歯列矯正治療における顎骨手術要否判断方法、歯科治療における上下顎骨不調和判断指標の計算方法、歯科治療における上下顎骨不調和判断方法、プログラムおよびコンピュータ |
| KR101744080B1 (ko) * | 2014-07-04 | 2017-06-09 | 주식회사 인스바이오 | 치과 시술 시뮬레이션을 위한 치아모델 생성 방법 |
| KR101769334B1 (ko) * | 2016-03-14 | 2017-08-21 | 오스템임플란트 주식회사 | 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체 |
| KR101887198B1 (ko) * | 2016-06-20 | 2018-09-06 | 주식회사 디오코 | 치아 교정 및 얼굴 성형 시뮬레이션 장치에서의 시뮬레이션 방법 및 이를 저장하는 컴퓨터로 판독 가능한 기록 매체 |
-
2020
- 2020-02-03 KR KR1020200012517A patent/KR20210098683A/ko not_active IP Right Cessation
-
2021
- 2021-01-29 WO PCT/KR2021/001239 patent/WO2021157966A1/ko active Application Filing
-
2022
- 2022-03-14 KR KR1020220031302A patent/KR102462185B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190223983A1 (en) * | 2010-03-17 | 2019-07-25 | ClearCorrect Holdings, Inc. | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis & treatment planning |
| KR101952887B1 (ko) * | 2018-07-27 | 2019-06-11 | 김예현 | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 |
Non-Patent Citations (1)
| Title |
|---|
| Javad Abbasi Aghamaleki 외 1인, Multi-stream CNN for facial expression recognition in limited training data(2019.04.25.) 1부.* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102714028B1 (ko) | 2023-08-14 | 2024-10-04 | 서울대학교산학협력단 | 교정치료 정보 제공 시스템 및 이의 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220039677A (ko) | 2022-03-29 |
| KR20210098683A (ko) | 2021-08-11 |
| WO2021157966A1 (ko) | 2021-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102462185B1 (ko) | 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스 | |
| US11464467B2 (en) | Automated tooth localization, enumeration, and diagnostic system and method | |
| KR101952887B1 (ko) | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 | |
| JP7543380B2 (ja) | 頭部計測解析のための方法 | |
| JP6531115B2 (ja) | ３ｄ頭部計測分析の方法 | |
| US10049457B2 (en) | Automated cephalometric analysis using machine learning | |
| US10521935B2 (en) | Method for creating an image from a 3D volume | |
| EP3595574B1 (en) | Automatic dental arch mapping system and method | |
| US20220084267A1 (en) | Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports | |
| US11443423B2 (en) | System and method for constructing elements of interest (EoI)-focused panoramas of an oral complex | |
| US20210118132A1 (en) | Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment | |
| US12097064B2 (en) | Method and system for 3D cephalometric analysis | |
| US20230252748A1 (en) | System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR) | |
| US12062170B2 (en) | System and method for classifying a tooth condition based on landmarked anthropomorphic measurements | |
| Liu et al. | Artificial intelligence-aided detection of ectopic eruption of maxillary first molars based on panoramic radiographs | |
| KR20210018661A (ko) | 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치 | |
| KR20210130326A (ko) | 치주염 자동 진단 방법 및 이를 구현하는 프로그램 | |
| EP3998037A1 (en) | Implant surgery planning method using automatic placement of implant structure, user interface providing method therefor, and teeth image processing device therefor | |
| TW202409874A (zh) | 牙齒復原自動化技術 | |
| KR20220118074A (ko) | 치과 교정치료 계획 수립방법 및 그 장치 | |
| US11488305B2 (en) | Segmentation device | |
| KR20200012707A (ko) | 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스 | |
| CN119110961A (zh) | 利用人工神经网络的牙齿位置确定和2d重新切片图像生成 | |
| Carneiro | Enhanced tooth segmentation algorithm for panoramic radiographs | |
| KR20230065021A (ko) | 교정 진단을 위해 서로 다른 시점에 획득된 복수개의 이미지를 중첩하여 디스플레이하는 방법, 디바이스 및 그 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20220314 Patent event code: PA01071R01D Filing date: 20200203 Application number text: 1020200012517 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220413 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20221025 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20221028 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20221031 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |