KR102652759B1 - 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법 - Google Patents
치과 진단 장치 및 치과 진단을 위한 정보 제공 방법 Download PDFInfo
- Publication number
- KR102652759B1 KR102652759B1 KR1020210116154A KR20210116154A KR102652759B1 KR 102652759 B1 KR102652759 B1 KR 102652759B1 KR 1020210116154 A KR1020210116154 A KR 1020210116154A KR 20210116154 A KR20210116154 A KR 20210116154A KR 102652759 B1 KR102652759 B1 KR 102652759B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image data
- learning model
- diagnostic
- impaction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003745 diagnosis Methods 0.000 title claims description 72
- 208000003941 Impacted Tooth Diseases 0.000 claims abstract description 124
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims description 42
- 210000000276 neural tube Anatomy 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 238000001356 surgical procedure Methods 0.000 claims description 6
- 238000002591 computed tomography Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010044042 Tooth impacted Diseases 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002050 maxilla Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000014151 Stomatognathic disease Diseases 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000002455 dental arch Anatomy 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 210000004262 dental pulp cavity Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 208000028169 periodontal disease Diseases 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 210000001738 temporomandibular joint Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Urology & Nephrology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 개시는 치과 진단 장치 및 방법에 관한 것으로서, 특히 치과 파노라마 영상 데이터로부터 매복치를 검출하고, 매복 정도에 따라 검출된 매복치를 분류하는 치과 진단 장치 및 방법을 제공할 수 있다. 또한, 매복치에 진단 정보가 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습 데이터로 활용하여 학습 모델을 생성함으로써, 최소한의 전처리 과정으로 파노라마 영상 데이터의 매복치에 대한 진단 정보를 예측하는 치과 진단 장치 및 방법을 제공할 수 있다.
Description
본 실시예들은 치과 진단 장치 및 방법을 제공한다.
파노라마 영상 기법은 악궁(dental arch)과 같이 곡면에 있는 물체의 관심 영역을 평면의 영상으로 펼쳐 보이는 것으로, 치과용 파노라마 영상 장치는 파노라마 영상 기법을 도입하여 인체의 구강 내부를 촬영하는 장치이다. 이러한 치과용 파노라마 영상 장치를 통해 촬영한 치과 파노라마 영상은 환자가 초진 내원시 촬영하는 가장 기본적인 방사선 영상으로서, 환자의 치아, 악골, 상악동, 턱관절 등의 다양한 턱뼈의 정보를 한 장의 영상에서 보여주는 것으로 치과의 질환을 파악하기 위해 활용된다. 다만, 치과 파노라마 영상은 치아우식증, 치주질환, 치아파절, 매복치 등 수십 가지 이상의 다중질환이 하나의 영상에 복잡하게 동시에 표현되고, 보철물 등에 의한 영상의 왜곡, 시각적 오류 등의 판독 제약요인이 많아 치과 파노라마 영상의 정확한 진단을 위해서는 치과의사의 고도의 전문적인 지식과 판독 능력이 요구되는 문제점이 있다.
최근 4차산업혁명과 인공지능의 발달에 따라 치과 및 구강 악안면 영역에서도 인공지능(AI)은 문자, 음성뿐만 아니라 방사선 영상, 병리 조직 등의 진단에서도 활발히 연구되고 있다. 또한, 다양한 기관에서 파노라마 영상을 활용한 치아번호, 상실 치아, 임플란트, 근관치료 등에 대한 객체 인식에 대한 학습을 진행하고 있다. 다만, 일반적인 인공지능(AI) 학습인 지도 학습은 개체인식률 등 학습결과물의 정확도는 높으나 학습 전 처리 과정에서 모든 데이터를 연구자들이 직접 라벨링 해야 하므로 방대한 시간과 인력이 필요하다는 문제점이 있다. 또한 부족한 학습으로 인한 정확성의 오류뿐만 아니라 무분별한 방대한 데이터 처리로 인한 학습 효과 저하에 대한 문제점도 있다. 따라서, 최소한의 데이터와 라벨링 등의 전처리 과정의 간편화를 기반으로 하는 매복치 진단 기술을 필요로 한다.
이러한 배경에서, 본 실시예들의 목적은 치과 파노라마 영상 데이터로부터 매복치를 검출하고, 매복 정도에 따라 검출된 매복치를 분류하는 치과 진단 장치 및 방법 제공하는데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시예는 치과 진단 장치에 있어서, 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리부, 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성부 및 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측부를 포함하는 것을 특징으로 하는 치과 진단 장치를 제공할 수 있다.
다른 측면에서, 본 실시예는 치과 진단 방법에 있어서, 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리 단계, 전처리 단계에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성 단계 및 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측 단계를 포함하는 것을 특징으로 하는 치과 진단 방법을 제공할 수 있다.
본 실시예들에 의하면, 치과 파노라마 영상 데이터로부터 매복치를 검출하고, 매복 정도에 따라 검출된 매복치를 분류하는 치과 진단 장치 및 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 치과 진단 장치가 적용될 수 있는 시스템을 예시적으로 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 치과 진단 장치의 구성을 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 치과 진단 장치의 매복치에 대한 진단 정보를 예측하는 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치에 진단 정보를 라벨링하는 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 치과 진단 장치에서 매복치의 매복도 정보를 라벨링하는 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 매복 기울기 정보를 라벨링하는 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 신경관 근접도 정보를 라벨링하는 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 치과 진단 장치에서 라벨링된 영상 데이터의 예시를 도시한 도면이다.
도 9는 본 개시의 일 실시예에 따른 치과 진단 장치의 학습 모델을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 치과 진단 방법의 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 치과 진단 장치의 구성을 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 치과 진단 장치의 매복치에 대한 진단 정보를 예측하는 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치에 진단 정보를 라벨링하는 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 치과 진단 장치에서 매복치의 매복도 정보를 라벨링하는 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 매복 기울기 정보를 라벨링하는 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 신경관 근접도 정보를 라벨링하는 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 치과 진단 장치에서 라벨링된 영상 데이터의 예시를 도시한 도면이다.
도 9는 본 개시의 일 실시예에 따른 치과 진단 장치의 학습 모델을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 치과 진단 방법의 흐름도이다.
본 개시는 치과 진단 장치 및 방법에 관한 것이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.
구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 치과 진단 장치가 적용될 수 있는 시스템을 예시적으로 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치(100)가 적용될 수 있는 시스템은 서버(110) 및 네트워크(120)를 포함하여 구현될 수 있다.
치과 진단 장치(100)는, 본 개시의 실시예에 따른 치과 진단 방법을 수행할 수 있는 장치로서, 프로그램을 실행할 수 있는 전자 기기와 같은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
일 예에 따라, 치과 진단 장치(100)가 하드웨어로 구현되는 경우, 일반적인 데스크 탑이나 노트북 등의 일반 PC를 포함하고, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기 등을 포함할 수 있다. 다만, 이는 일 예로서, 서버(110)와 통신 가능하며 데이터를 입력할 수 있는 전자 기기라면 그 명칭이나 종류에 한정되지 않고, 폭넓게 해석될 수 있다. 또한, 일 예에 따라, 치과 진단 장치(100)는 사용자의 조작에 따라 정보의 입력이 가능하며, 본 개시의 실시예에 따른 치과 진단 방법을 수행할 수 있는 애플리케이션으로 구현될 수 있다. 일 예로, 치과 진단 애플리케이션이나 프로그램 등일 수 있으며, 다만, 그 명칭이나 종류에 한정되지 않고 폭넓게 해석될 수 있다.
서버(110)는 네트워크(120)를 통하여 불특정 다수 클라이언트 (장치(100)를 포함) 및/또는 다른 서버와 연결될 수 있다. 이에 따라, 서버(110)는 클라이언트 또는 다른 서버의 작업수행 요청을 접수하고 그에 대한 작업 결과를 도출하여 제공하는 컴퓨터 시스템를 의미하거나 이러한 컴퓨터 시스템을 위하여 설치되어 있는 컴퓨터 소프트웨어(서버 프로그램)를 의미할 수 있다.
일 예에 따라, 서버(110)는 매복치를 진단받은 환자의 파노라마 영상 데이터를 수집하여 저장시키고 관리할 수 있다. 그리고, 서버(110)는 치과 진단 장치(100)의 요청에 따라 해당 데이터를 전송할 수 있다. 예를 들어, 서버(110)는 치과 진단 서비스에 대응하는 애플리케이션의 통해 환경 데이터를 치과 진단 장치(100)에 제공할 수 있다.
또한, 서버(110)는 전술한 서버 프로그램 이외에도, 서버(110) 상에서 동작하는 일련의 응용 프로그램(Application Program)과, 경우에 따라서는 내부 또는 외부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 여기서, 서버(110)는, 서버 또는 다른 장치 등에 의해 사용될 목적으로 정보나 자료 등의 데이터가 구조화되어 관리되는 데이터의 집합체를 의미할 수 있으며, 이러한 데이터의 집합체를 저장하는 저장매체를 의미할 수도 있다.
또한, 이러한 서버(110)는 데이터의 구조화 방식, 관리 방식, 종류 등에 따라 분류된 복수의 데이터베이스를 포함하는 것일 수도 있다. 경우에 따라서, 서버(110)는 정보나 자료 등을 추가, 수정, 삭제 등을 할 수 있도록 해주는 소프트웨어인 데이터베이스 관리시스템(Database Management System, DBMS)을 포함할 수도 있다.
한편, 네트워크(120)는 치과 진단 장치(100)와 서버(110)를 연결해주는 망(Network)으로서, LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크일 수도 있으나, 인터넷(Internet)과 같은 개방형 네트워크일 수도 있다. 여기서, 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미한다.
간략하게 전술한 본 개시의 일 실시예에 따른 치과 진단 장치 및 방법에 대하여, 이하에서 더욱 상세하게 설명한다.
도 2는 본 개시의 일 실시예에 따른 치과 진단 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치(100)는, 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리부(210), 전처리부(210)에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성부(220) 및 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측부(230)를 포함하는 치과 진단 장치(100)를 제공한다.
일 실시예에 따라 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 일 예로, 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에서 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다. 예를 들어, 전처리부(210)는 입력된 치아 상태를 촬영한 파노라마 영상 데이터로부터 매복치를 검출하고, 검출된 매복치가 있는 영역의 위치를 인식할 수 있다. 그리고 전처리부(210)는 인식된 매복치가 있는 영역의 위치를 기준으로 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다.
다른 일 예로, 전처리부(210)는 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 전처리부(210)는 각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 라벨링할 수 있다. 구체적으로, 전처리부(210)는 매복치의 매복 정도에 따라 단계 별로 매복도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 전처리부(210)는 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 매복 기울기 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 전처리부(210)는 매복치의 신경관 근접 유무로 신경관 근접도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 다만, 이는 진단 정보에 포함되는 정보의 일 예로, 이에 한정되지는 않는다.
일 실시예에 따라 모델 생성부(220)는 최소한의 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습데이터로 활용하여 최종 학습 모델을 생성할 수 있다. 일 예로, 모델 생성부(220)는 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련할 수 있다. 그리고 모델 생성부(220)는 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다. 여기서, 라벨링된 영상 데이터가 입력되는 머신 러닝 기반의 학습 모델은 최종 학습 모델보다 더 적은 데이터로 학습이 수행되는 초기 학습 모델을 의미할 수 있다. 예를 들어, 모델 생성부(220)는 라벨링된 영상 데이터를 이용하여 훈련된 학습 모델에 라벨링 되지 않은 영상 데이터를 입력하여 라벨링을 수행한 추가 영상 데이터를 획득할 수 있다. 그리고 모델 생성부(220)는 라벨링된 영상 데이터 및 추가 영상 데이터를 학습 데이터로 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다. 또한, 모델 생성부(220)는 K 평균 알고리즘 (K-means Algorithm)을 이용하여, 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다.
일 실시예에 따라 진단 예측부(230)는 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측할 수 있다. 일 예로, 진단 예측부(230)는 입력된 신규 파노라마 영상 데이터에서 매복치를 검출할 수 있다. 그리고 진단 예측부(230)는 검출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 예측할 수 있다. 예를 들어, 진단 예측부(230)는 예측된 진단 정보에 기초하여 검출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류할 수 있다. 그리고, 진단 예측부(230)는 검출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공할 수 있다. 또한, 진단 예측부(230)는 예측된 진단 정보에 기초하여 검출된 매복치의 CT 촬영 여부를 결정하여 제공할 수 있다.
도 3은 본 개시의 일 실시예에 따른 치과 진단 장치의 매복치에 대한 진단 정보를 예측하는 동작을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치의 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에 라벨링을 수행할 수 있다(S310). 일 예로, 전처리부(210)는 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 전처리부(210)는 매복치를 진단받은 환자의 파노라마 영상 데이터에 기초하여 파노라마 영상 데이터에서 라벨링을 위한 관심 영역을 추출할 수 있다. 그리고, 전처리부(210)는 추출된 관심 영역에 포함된 매복치에 대해 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 판단하여 라벨링할 수 있다.
일 실시예에 따라 모델 생성부(220)는 학습 데이터를 생성하고, 생성된 학습데이터로 학습 모델을 훈련할 수 있다(S320). 일 예로, 모델 생성부(220)는 전처리부(210)에 의해 라벨링된 영상 데이터를 학습 데이터로 이용하여 머신 러닝 기반의 학습 모델을 훈련할 수 있다. 이 때, 머신 러닝 기반의 학습 모델은 초기 학습 모델을 의미할 수 있다. 또한, 모델 생성부(220)는 전처리부(210)에 의해 라벨링된 영상 데이터를 학습 데이터로 이용하여 훈련된 학습 모델을 재훈련할 수도 있다. 이 때, 훈련된 학습 모델은 라벨링된 영상 데이터로 적어도 1회 이상 훈련이 완료된 학습 모델을 의미할 수 있다. 다만, 훈련된 학습 모델은 라벨링된 영상 데이터 전체를 이용하여 훈련되는 반면에, 초기 학습 모델은 라벨링된 영상 데이터의 일부를 이용하여 훈련될 수 있다.
다른 일 예로, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터를 훈련된 학습 모델에 입력하여 라벨링을 수행한 추가 영상 데이터를 획득할 수 있다. 여기서, 라벨링 되지 않은 영상 데이터는 라벨링된 영상 데이터보다 많은 양의 데이터일 수 있다. 또한, 모델 생성부(220)는 추가 영상 데이터를 학습 데이터로 이용하여 훈련된 학습 모델을 재훈련할 수 있다. 예를 들어, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터에서 일부 영상 데이터를 선별하여 훈련된 학습 모델로 라벨링을 수행할 수 있다. 일부 영상 데이터는 라벨링되는 진단 정보가 정확할 것으로 예상되는 데이터를 의미할 수 있다. 또한, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터에서 일부 영상 데이터를 제외한 나머지 영상 데이터에서 재선별하여 라벨링을 수행하여 학습 데이터로 활용하는 것을 반복할 수 있다. 이에 따라 모델 생성부(220)는 최종 학습 모델에 대한 성능을 향상시킬 수 있다.
또 다른 일 예로, 모델 생성부(220)는 K 평균 알고리즘(K-means Algorithm)을 이용하여 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 훈련된 학습 모델을 재훈련할 수 있다. 예를 들어, 모델 생성부(220)는 K 평균 알고리즘을 이용하여 라벨링 되지 않은 영상 데이터에 대한 클러스터링을 수행하여 복수의 클러스터로 구분할 수 있다. 이 때, 각각의 클러스터는 유사한 진단 정보를 가지는 영상 데이터로 그룹핑되어 구분될 수 있다. 또한, 모델 생성부(220)는 동일한 클러스터에 포함된 각각의 영상 데이터에는 동일한 진단 정보로 라벨링을 수행할 수 있다. 이러한 방식으로 라벨링된 영상 데이터는 학습 데이터로 이용되어 훈련된 학습 모델을 재훈련시킬 수 있다. 구체적으로, K 평균 알고리즘은 클러스터 중심(centroid)과 클러스터 내 데이터 간의 거리의 분산이 최소화되도록 반복적으로 클러스터링을 수행하는 알고리즘일 수 있다. 다만, 이용되는 알고리즘은 공지된 클러스터링 알고리즘에 해당되면 이에 한정되지는 않는다.
일 실시예에 따라 모델 생성부(220)는 파노라마 영상 데이터에 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다(S330). 일 예로, 모델 생성부(220)는 파노라마 영상 데이터에 포함된 매복치에 대한 진단 정보를 예측하여 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다. 그리고 모델 생성부(220)는 전술한 바와 같이, 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습 데이터로 활용하여 학습 모델을 훈련시켜 최종 학습 모델을 생성할 수 있다. 즉, 최종 학습 모델은 머신 러닝 기반의 학습 모델을 초기 학습 모델로 하여 준지도 학습을 수행하여 생성된 모델일 수 있다.
일 실시예에 따라 진단 예측부(230)는 생성된 최종 학습 모델을 이용하여 매복치에 대한 진단 정보를 예측할 수 있다(S340). 여기서, 최종 학습 모델은 신규 파노라마 영상 데이터를 입력 받아, 매복치에 대한 진단 정보를 결과로 출력하는 모델일 수 있다. 일 예로, 진단 예측부(230)는 신규 파노라마 영상 데이터에서 매복치를 검출하고, 검출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 예측할 수 있다. 예를 들어, 진단 예측부(230)는 입력된 신규 파노라마 영상 데이터로부터 예측된 각각의 매복치의 진단 정보를 텍스트 형식으로 파노라마 영상 데이터에 표기할 수 있다. 다른 일 예로, 진단 예측부(230)는 예측된 진단 정보에 기초하여 검출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류할 수 있다. 예를 들어, 진단 예측부(230)는 환자의 파노라마 영상 데이터로부터 검출된 매복치의 개수를 산출하고, 각각의 매복치의 분류를 예측된 진단 정보로 제공할 수 있다. 이에 따라 진단 예측부(230)는 예측된 진단 정보에 기초하여 수술의 난이도를 판정하여 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공할 수 있다. 또는, 진단 예측부(230)는 예측된 진단 정보에 포함된 신경관 근접도 정보를 이용하여 환자의 CT 촬영 여부를 결정하여 제공할 수도 있다.
도 4는 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치에 진단 정보를 라벨링하는 예시를 도시한 도면이다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 전처리부(210)가 파노라마 영상 데이터에서 관심 영역(410)을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보(420)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 파노라마 영상 데이터에서 매복치가 포함된 영역을 관심 영역(410)으로 추출할 수 있다. 예를 들어, 전처리부(210)는 사용자에 의해 특정 매복치가 선택됨에 따라 자동적으로 관심 영역(410)을 설정하는 방식으로 추출할 수 있다. 여기서, 관심 영역(410)은 적어도 하나의 매복치가 온전히 포함되는 사이즈의 사각형 형태의 영역일 수 있다.
다른 일 예로, 전처리부(210)는 사용자로부터 직접 입력 받은 각각의 매복치에 대한 진단 정보(420)를 해당 매복치에 라벨링할 수 있다. 예를 들어, 진단 정보(420)는 화면에 출력된 옵션 메뉴 중에서 사용자에 의해 선택된 정보로 입력 받을 수 있다. 여기서, 진단 정보(420)는 각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함할 수 있다. 다만, 도 4를 참조하여 전술한 라벨링 방법은 일 예로 이에 한정되는 것은 아니다.
도 5는 본 개시의 일 실시 예에 따른 치과 진단 장치에서 매복치의 매복도 정보를 라벨링하는 예시를 도시한 도면이다.
도 5를 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 진단 정보(420)에 포함된 매복도 정보(510)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 관심 영역(410)에 포함된 매복치에 대한 매복도 정보(510)를 라벨링할 수 있다. 예를 들어, 매복도 정보(510)는 매복치의 매복 정도에 따라 단계 별로 결정될 수 있다. 구체적으로, 매복도 정보(510)는 매복된 정도에 따라 매복치 없음, 뼈 밖, 치아의 1/3 이하 매복, 치아의 1/3~2/3 매복, 치아의 2/3 이상 매복 중에서 하나로 선택될 수 있다. 다만, 이는 매복 정도를 구분한 일 예로, 이에 한정되지는 않는다.
도 6은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 매복 기울기 정보를 라벨링하는 예시를 도시한 도면이다.
도 6을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 진단 정보(420)에 포함된 매복 기울기 정보(610)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 관심 영역(410)에 포함된 매복치에 대한 매복 기울기 정보(610)를 라벨링할 수 있다. 예를 들어, 매복 기울기 정보(610)는 매복치의 기울어진 각도에 따라 결정될 수 있다. 구체적으로, 매복 기울기 정보(610)는 각각의 매복치를 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 선택될 수 있다. 다만, 이는 매복 기울기를 구분한 일 예로, 이에 한정되지는 않는다.
도 7은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 신경관 근접도 정보를 라벨링하는 예시를 도시한 도면이다.
도 7을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 진단 정보(420)에 포함된 신경관 근접도 정보(710)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 관심 영역(410)에 포함된 매복치에 대한 신경관 근접도 정보(710)를 라벨링할 수 있다. 예를 들어, 신경관 근접도 정보(710)는 매복치의 신경관 근접 유무에 따라 결정될 수 있다. 구체적으로, 신경관 근접도 정보(710)는 각각의 매복치를 기준으로 근처에 신경관이 없음(상악), 매복치가 신경관에 접촉됨, 매복치가 신경관에 접촉되지 않음 중 하나로 선택될 수 있다. 다만, 이는 신경관 근접도를 구분한 일 예로, 이에 한정되지는 않는다.
도 8은 본 개시의 일 실시예에 따른 치과 진단 장치에서 라벨링된 영상 데이터의 예시를 도시한 도면이다.
도 8을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 전처리부(210)에 의해 라벨링된 영상 데이터의 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역(410)에 포함된 각각의 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 전처리부(210)는 파노라마 영상 데이터에서 각각의 매복치에 진단 정보를 텍스트 형식으로 표기하여 라벨링된 영상 데이터를 생성할 수 있다. 생성된 라벨링된 영상 데이터는 학습 모델을 훈련하기 위한 학습 데이터로 사용될 수 있다.
도 9는 본 개시의 일 실시예에 따른 치과 진단 장치의 학습 모델을 설명하기 위한 도면이다.
도 9를 참조하면, 본 개시의 일 실시 예에 따른 치과 진단 장치의 모델 생성부(220)는 최소한의 영상 데이터로 라벨링을 수행하여 매복치에 대한 진단 정보를 예측하는 학습 모델을 생성할 수 있다. 다만, 영상 데이터는 매복치를 진단 받은 환자의 파노라마 영상 데이터 중에서 화질이 좋지 않거나 악골이나 심한 치아의 기형을 동반한 환자의 영상 데이터를 제외한 것일 수 있다.
일 예로, 모델 생성부(220)는 라벨링된 영상 데이터(910)와 라벨링 되지 않은 영상 데이터(920)를 학습 데이터로 활용하여 학습 모델(930)을 훈련시켜 최종 학습 모델을 생성할 수 있다. 여기서, 최종 학습 모델은 준지도 학습을 수행하여 생성된 학습 모델(930)일 수 있다. 예를 들어, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터(920)로 학습 모델(930)을 훈련시키기 위해 수도 라벨링(pseudo-labeling) 방법을 사용할 수 있다. 구체적으로, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터(920)에 대해 수도 라벨링을 수행한 후 라벨링된 영상 데이터(910)와 함께 학습 데이터로 학습 모델(930)을 재훈련할 수 있다. 따라서, 준지도 학습으로 생성된 학습 모델(930)은 최소한의 영상 데이터로 라벨링을 수행하는 전처리 과정을 통해 최적의 결과를 예측할 수 있다. 이러한 학습 모델(930)은 부족한 학습으로 인한 정확성의 오류뿐만 아니라 무분별한 방대한 데이터 처리로 인한 학습 효과 저하 문제를 해결할 수 있다.
다른 일 예로, 모델 생성부(220)는 학습 데이터를 이용하여 반복적으로 훈련시킴으로써 머신 러닝 알고리즘의 파라미터(parameter)가 결정된 학습 모델을 생성할 수 있다. 여기서 학습 모델(930)에서 사용되는 머신 러닝 알고리즘은 컴퓨터에게 사람이 직접 로직(logic)을 입력하거나 지시하지 않아도 컴퓨터가 학습을 통해 스스로 문제를 해결하도록 하는 것을 의미할 수 있다.
예를 들어, 머신 러닝 알고리즘의 한 종류인 딥러닝(deep learning) 알고리즘은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 입력 값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 알고리즘일 수 있다. 즉, 딥러닝 알고리즘은 인공지능을 구성하기 위한 인공신경망(Artificial Neural Networks, ANN)에 기반해 컴퓨터가 스스로 사람처럼 학습할 수 있는 인공지능 기술을 말한다. 이러한 인공신경망(ANN)은 소프트웨어 형태로 구현되거나 하드웨어 형태로 구현될 수 있다. 구체적인 예를 들면, 학습 모델(930)은 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등의 알고리즘으로 구성될 수 있으나, 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 알고리즘으로 구성될 수 있다.
다른 예를 들어, 학습 모델(930)은 학습 데이터를 이용하여 훈련될 수 있다. 여기서, 훈련은 학습 데이터를 이용하여 인공 신경망의 파라미터를 결정하는 과정을 의미할 수 있다. 또한, 학습 모델(930)의 훈련 방식은 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 준지도 학습(Semi-Supervised Learning)으로 구분될 수 있다.
지도 학습은 학습 데이터로부터 하나의 함수를 유추하기 위한 방법일 수 있다. 지도 학습의 구체적인 방법은 유추되는 함수 중 연속적인 값을 출력하는 것은 회귀분석(Regression)이고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것은 분류(Classification)가 있을 수 있다. 이러한, 지도 학습은 학습 데이터에 대한 라벨링(labeling)이 주어진 상태에서 학습 모델을 훈련시킬 수 있다. 여기서 라벨링은 학습 데이터가 학습 모델에 입력되는 경우 학습 모델이 출력하는 결과값을 의미할 수 있다.
또한, 비지도 학습은 학습 데이터 및 학습 데이터에 대응하는 라벨링의 연관 관계보다는 학습 데이터 자체에서 패턴을 찾아 분류하는 방법일 수 있다. 비지도 학습의 구체적인 방법은 군집화(clustering) 또는 독립 성분 분석(Independent Component Analysis)이 있을 수 있다. 이러한, 비지도 학습은 학습 데이터에 대한 라벨링이 주어지지 않은 상태에서 학습 모델을 훈련시킬 수 있다.
또한, 준 지도 학습은 라벨링이 주어진 학습 데이터와 라벨링이 주어지지 않은 학습 데이터를 모두 사용하는 방법일 수 있다. 준 지도 학습의 구체적인 방법은 라벨링이 주어지지 않은 학습 데이터의 라벨링을 추론한 후 추론된 라벨링을 이용하여 훈련을 수행하는 기법이 있을 수 있다. 따라서, 본 명세서에서의 학습 모델(930)은 준 지도 학습을 수행하여 생성된 학습 모델일 수 있다.
이하에서는 도 1 내지 도9를 참조하여 설명한 치과 진단 장치가 수행할 수 있는 치과 진단 방법에 대해서 설명한다. 단, 아래에서는 도 1 내지 도 9에서 설명한 일부 실시예 또는 일부 동작에 대한 상세한 설명을 생략할 수 있으나, 이는 설명의 중복을 방지하기 위한 것일 뿐이므로 치과 진단 방법은 전술한 치과 진단 장치를 동일하게 제공할 수 있다.
도 10은 본 개시의 일 실시예에 따른 치과 진단 방법의 흐름도이다.
도 10을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 방법은 치아 상태를 촬영한 파노라마 영상 데이터에 포함된 매복치에 진단 정보를 라벨링하는 전처리 단계를 포함할 수 있다(S1010). 일 실시예에 따라 치과 진단 장치는 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 일 예로, 치과 진단 장치는 치아 상태를 촬영한 파노라마 영상 데이터에서 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다. 예를 들어, 치과 진단 장치는 입력된 치아 상태를 촬영한 파노라마 영상 데이터로부터 매복치를 검출하고, 검출된 매복치가 있는 영역의 위치를 인식할 수 있다. 그리고, 치과 진단 장치는 인식된 매복치가 있는 영역의 위치를 기준으로 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다.
다른 일 예로, 치과 진단 장치는 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 치과 진단 장치는 각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 단 정보를 라벨링할 수 있다. 구체적으로, 치과 진단 장치는 매복치의 매복 정도에 따라 단계 별로 매복도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 치과 진단 장치는 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 매복 기울기 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 치과 진단 장치는 매복치의 신경관 근접 유무로 신경관 근접도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 다만, 진단 정보에 포함되는 정보의 일 예로, 이에 한정되지는 않는다.
본 개시의 일 실시예에 따른 치과 진단 방법은 최소한의 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습데이터로 활용하여 최종 학습 모델을 생성하는 모델 생성 단계를 포함할 수 있다(S1020). 일 예로, 치과 진단 장치는 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련할 수 있다. 그리고 치과 진단 장치는 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다. 여기서, 라벨링된 영상 데이터가 입력되는 머신 러닝 기반의 학습 모델은 최종 학습 모델보다 더 적은 데이터로 학습이 수행되는 모델일 수 있다. 예를 들어, 치과 진단 장치는 라벨링된 영상 데이터를 이용하여 훈련된 학습 모델에 라벨링 되지 않은 영상 데이터를 입력하여 라벨링을 수행한 추가 영상 데이터를 획득할 수 있다. 그리고, 치과 진단 장치는 라벨링된 영상 데이터 및 추가 영상 데이터를 학습 데이터로 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다. 또한, 치과 진당 장치는 K 평균 알고리즘 (K-means Algorithm)을 이용하여, 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다.
본 개시의 일 실시예에 따른 치과 진단 방법은 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측 단계를 포함할 수 있다(S1030). 일 예로, 치과 진단 장치는 입력된 신규 파노라마 영상 데이터에서 매복치를 검출할 수 있다. 그리고 치과 진단 장치는 검출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 예측할 수 있다. 예를 들어, 치과 진단 장치는 예측된 진단 정보에 기초하여 검출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류할 수 있다. 그리고, 치과 진단 장치는 검출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공할 수 있다. 또한, 치과 진단 장치는 예측된 진단 정보에 기초하여 검출된 매복치의 CT 촬영 여부를 결정하여 제공할 수 있다.
이상에서 설명한 바와 같이 본 개시에 의하면, 치과 파노라마 영상 데이터로부터 매복치를 검출하고, 매복 정도에 따라 검출된 매복치를 분류하는 치과 진단 장치 및 방법을 제공할 수 있다. 특히 매복치에 진단 정보가 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습 데이터로 활용하여 학습 모델을 생성함으로써, 최소한의 전처리 과정으로 파노라마 영상 데이터의 매복치에 대한 진단 정보를 예측하는 치과 진단 장치 및 방법을 제공할 수 있다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (18)
- 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리부;
상기 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 상기 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성부; 및
신규 파노라마 영상 데이터를 상기 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측부를 포함하고,
상기 훈련된 학습 모델은 비지도 학습에 의해 재훈련되고,
상기 진단 예측부는, 상기 신규 파노라마 영상 데이터에서 매복치를 추출하고, 상기 추출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류하는 것을 특징으로 하는 치과 진단 장치. - 제 1 항에 있어서,
상기 전처리부는,
각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 라벨링하는 것을 특징으로 하는 치과 진단 장치. - 제 2 항에 있어서,
상기 전처리부는,
상기 매복치의 매복 정도에 따라 단계 별로 상기 매복도 정보를 결정하고, 상기 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 상기 매복 기울기 정보를 결정하고, 상기 매복치의 신경관 근접 유무로 상기 신경관 근접도 정보를 결정하여 상기 진단 정보로 라벨링하는 것을 특징으로 하는 치과 진단 장치. - 제 1 항에 있어서,
상기 모델 생성부는,
상기 라벨링 되지 않은 영상 데이터를 상기 훈련된 학습 모델에 입력하여 라벨링을 수행한 추가 영상 데이터를 획득하고, 상기 라벨링된 영상 데이터 및 상기 추가 영상 데이터를 상기 학습 데이터로 상기 훈련된 학습 모델을 재훈련하여 상기 최종 학습 모델을 생성하는 것을 특징으로 하는 치과 진단 장치. - 제 1 항에 있어서,
상기 모델 생성부는,
K 평균 알고리즘(K-means algorithm)을 이용하여 상기 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 상기 훈련된 학습 모델을 재훈련하는 것을 특징으로 하는 치과 진단 장치. - 제 1 항에 있어서,
상기 진단 예측부는,
상기 추출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 예측하는 것을 특징으로 하는 치과 진단 장치. - 제 1 항에 있어서,
상기 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하는 것은,
상기 전처리부에 의해 라벨링된 영상 데이터 중의 일부를 이용하여 초기 학습 모델을 훈련하고, 상기 전처리부에 의해 라벨링된 영상 데이터 전체를 이용하여 중간 학습 모델을 다시 훈련하는 것을 포함하는 것을 특징으로 하는 치과 진단 장치. - 제 1 항에 있어서,
상기 진단 예측부는,
상기 추출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공하는 것을 특징으로 하는 치과 진단 장치. - 전처리부가, 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리 단계;
모델 생성부가, 상기 전처리 단계에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 상기 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성 단계; 및
진단 예측부가, 신규 파노라마 영상 데이터를 상기 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측 단계를 포함하고,
상기 훈련된 학습 모델은 비지도 학습에 의해 재훈련되고,
상기 진단 예측부는, 상기 신규 파노라마 영상 데이터에서 매복치를 추출하고, 상기 추출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 9 항에 있어서,
상기 전처리부는,
각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 라벨링하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 10 항에 있어서,
상기 전처리부는,
상기 매복치의 매복 정도에 따라 단계 별로 상기 매복도 정보를 결정하고, 상기 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 상기 매복 기울기 정보를 결정하고, 상기 매복치의 신경관 근접 유무로 상기 신경관 근접도 정보를 결정하여 상기 진단 정보로 라벨링하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 9 항에 있어서,
상기 모델 생성부는,
상기 라벨링 되지 않은 영상 데이터를 상기 훈련된 학습 모델에 입력하여 라벨링을 수행한 추가 영상 데이터를 획득하고, 상기 라벨링된 영상 데이터 및 상기 추가 영상 데이터를 상기 학습 데이터로 상기 훈련된 학습 모델을 재훈련하여 상기 최종 학습 모델을 생성하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 9 항에 있어서,
상기 모델 생성부는,
K 평균 알고리즘(K-means Algorithm)을 이용하여 상기 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 상기 훈련된 학습 모델을 재훈련하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 9 항에 있어서,
상기 진단 예측부는,
상기 추출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 예측하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 9 항에 있어서,
상기 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하는 것은,
상기 전처리부에 의해 라벨링된 영상 데이터 중의 일부를 이용하여 초기 학습 모델을 훈련하고, 상기 전처리부에 의해 라벨링된 영상 데이터 전체를 이용하여 중간 학습 모델을 다시 훈련하는 것을 포함하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 9 항에 있어서,
상기 진단 예측부는,
상기 추출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법. - 제 1 항에 있어서,
상기 진단 예측부는,
진단 보조를 위해, 상기 예측된 진단 정보에 기초하여 환자의 CT 촬영 여부를 결정하여 제공하는 것을 특징으로 하는 치과 진단 장치. - 제 9 항에 있어서,
상기 진단 예측부는,
진단 보조를 위해, 상기 예측된 진단 정보에 기초하여 환자의 CT 촬영 여부를 결정하여 제공하는 것을 특징으로 하는 치과 진단을 위한 정보 제공 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210116154A KR102652759B1 (ko) | 2021-09-01 | 2021-09-01 | 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법 |
| PCT/KR2022/011199 WO2023033375A1 (ko) | 2021-09-01 | 2022-07-29 | 치과 진단 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210116154A KR102652759B1 (ko) | 2021-09-01 | 2021-09-01 | 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230033326A KR20230033326A (ko) | 2023-03-08 |
| KR102652759B1 true KR102652759B1 (ko) | 2024-04-01 |
Family
ID=85412783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210116154A KR102652759B1 (ko) | 2021-09-01 | 2021-09-01 | 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102652759B1 (ko) |
| WO (1) | WO2023033375A1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978841A (zh) * | 2019-03-12 | 2019-07-05 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的全景片阻生牙识别的方法和装置 |
| JP2019527073A (ja) * | 2016-07-29 | 2019-09-26 | ノバダック テクノロジーズ ユーエルシー | 機械学習を用いた、対象の組織を特徴付けるための方法およびシステム |
| KR102261187B1 (ko) * | 2020-02-04 | 2021-06-07 | 광주과학기술원 | 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9675305B2 (en) * | 2014-06-03 | 2017-06-13 | Ortho-Tain | System and method for determining an orthodontic diagnostic analysis of a patient |
| KR101856867B1 (ko) * | 2016-10-26 | 2018-05-10 | 고려대학교 산학협력단 | 구강 병변의 진단 시스템 및 방법 |
| KR102193942B1 (ko) * | 2019-05-09 | 2020-12-22 | 주식회사 디오 | 영상데이터에서 치조골을 검출하는 방법 및 장치 |
| US11348237B2 (en) * | 2019-05-16 | 2022-05-31 | Retrace Labs | Artificial intelligence architecture for identification of periodontal features |
| KR20220108028A (ko) * | 2019-09-05 | 2022-08-02 | 펄 인크 | 자동화된 의료 이미지 주석 및 분석 |
-
2021
- 2021-09-01 KR KR1020210116154A patent/KR102652759B1/ko active IP Right Grant
-
2022
- 2022-07-29 WO PCT/KR2022/011199 patent/WO2023033375A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019527073A (ja) * | 2016-07-29 | 2019-09-26 | ノバダック テクノロジーズ ユーエルシー | 機械学習を用いた、対象の組織を特徴付けるための方法およびシステム |
| CN109978841A (zh) * | 2019-03-12 | 2019-07-05 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的全景片阻生牙识别的方法和装置 |
| KR102261187B1 (ko) * | 2020-02-04 | 2021-06-07 | 광주과학기술원 | 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230033326A (ko) | 2023-03-08 |
| WO2023033375A1 (ko) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220192590A1 (en) | Dental Image Feature Detection | |
| Jader et al. | Deep instance segmentation of teeth in panoramic X-ray images | |
| US11850021B2 (en) | Dynamic self-learning medical image method and system | |
| US20210074425A1 (en) | Systems and methods for automated medical image analysis | |
| Chandrashekar et al. | Collaborative deep learning model for tooth segmentation and identification using panoramic radiographs | |
| WO2021046241A1 (en) | Automated medical image annotation and analysis | |
| US20160038092A1 (en) | Applying non-real time and non-user attended algorithms to stored non-imaging data and existing imaging data for obtaining a dental diagnosis | |
| Murata et al. | Towards a fully automated diagnostic system for orthodontic treatment in dentistry | |
| US20240029901A1 (en) | Systems and Methods to generate a personalized medical summary (PMS) from a practitioner-patient conversation. | |
| Lin et al. | Teeth detection algorithm and teeth condition classification based on convolutional neural networks for dental panoramic radiographs | |
| Thulaseedharan et al. | Detection of typical Pathologies and Differential Treatments in Dental Panoramic X-Rays based on Deep Convolutional Neural Network | |
| US20230039451A1 (en) | Dental medical record device and dental medical record method thereof | |
| KR102392312B1 (ko) | 치과 의무 기록 장치 및 그 치과 의무 기록 방법 | |
| Brahmi et al. | Automatic tooth instance segmentation and identification from panoramic X-Ray images using deep CNN | |
| Tsung et al. | Recognizing edge-based diseases of vocal cords by using convolutional neural networks | |
| CN112288718B (zh) | 图像处理方法及装置，电子设备及计算机可读存储介质 | |
| KR102652759B1 (ko) | 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법 | |
| Kahurke | Artificial Intelligence Algorithms and Techniques for Dentistry | |
| Brahmi et al. | Exploring the role of Convolutional Neural Networks (CNN) in dental radiography segmentation: A comprehensive Systematic Literature Review | |
| Carneiro | Enhanced tooth segmentation algorithm for panoramic radiographs | |
| Widiasri et al. | Alveolar Bone and Mandibular Canal Segmentation on Cone Beam Computed Tomography Images Using U-Net | |
| AbuSalim et al. | Analysis of Deep Learning Techniques for Dental Informatics: A Systematic Literature Review. Healthcare 2022, 10, 1892 | |
| Singh et al. | To Use a Quick R-CNN Algorithm—An Automated Strategy for Tooth Diagnostics | |
| EP4369284A1 (en) | Image enhancement using generative machine learning | |
| US20240293183A1 (en) | Systems, methods, and devices for augmented dental implant surgery using kinematic data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |