KR102176490B1 - 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 - Google Patents
구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 Download PDFInfo
- Publication number
- KR102176490B1 KR102176490B1 KR1020190102993A KR20190102993A KR102176490B1 KR 102176490 B1 KR102176490 B1 KR 102176490B1 KR 1020190102993 A KR1020190102993 A KR 1020190102993A KR 20190102993 A KR20190102993 A KR 20190102993A KR 102176490 B1 KR102176490 B1 KR 102176490B1
- Authority
- KR
- South Korea
- Prior art keywords
- tooth
- image
- oral
- teeth
- parabola
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 title claims description 5
- 238000003745 diagnosis Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 30
- 239000003550 marker Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 210000000214 mouth Anatomy 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 208000002925 dental caries Diseases 0.000 abstract description 24
- 238000002845 discoloration Methods 0.000 abstract description 2
- 210000003296 saliva Anatomy 0.000 abstract description 2
- 210000004283 incisor Anatomy 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 12
- 238000011282 treatment Methods 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 210000003298 dental enamel Anatomy 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 208000015181 infectious disease Diseases 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000008312 Tooth Loss Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 208000025157 Oral disease Diseases 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000004268 dentin Anatomy 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 208000030194 mouth disease Diseases 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 관한 것으로, 상, 하악 치아 사진에서 교합면 및 절치면의 상태를 판별하되, 상, 하악이 전부 찍힌 사진에만 국한되지 않으며, 부분적 치아 또는 협측 표면을 촬영한 사진에도 적용 가능하고, 여러 종류의 구강 카메라 영상 시스템(엑스선 및 CT)을 통하여 촬영한 사진에도 적용 할 수 있고, 구강 내부를 촬영한 사진에서 치아의 영역을 표시하고, 개별 치아의 위치를 판단한 이후 확보된 개별 치아 영역을 확대, 치아의 상태를 분석하여 그 상태를 수치적으로 표현하고, 구강 내 사진은 조명의 상태, 치아의 유형, 치아의 상태(충치, 필링, 변색)에 따라 적용되고, 그 외 타액, 빛 반사, 음식물, 교정 및 치과 장비 등으로 인한 노이즈가 치아 영역을 정확히 판단하는 것을 방해하기 때문에 이러한 노이즈를 제거하는 작업을 수행한다.
Description
본 발명은 구강 이상(예컨대, 충치) 검출 기술에 관한 것이며, 더욱 상세히는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 관한 것이다.
충치는 모든 연령군의 사람들에게 발현되는 일반적인 구강 질환이며, 검출, 치료 및 예방 기술의 개선에도 불구하고 적기에 치료가 수행되지 않으면 영구적인 치아 손상을 유발할 수 있고, 심한 경우 치아의 손실을 초래할 수 있다.
충치 검출을 위한 전통적인 방법은 시각적 시험 및 뾰족한 치과용 탐침 소자에 의한 촉각적 프로빙을 포함하며, 종종 방사선 투과(x-선) 영상화에 의해 보조된다.
상기한 시각적 시험, 촉각적 프로빙, 방사선 투과 영상화 등의 방법을 사용하는 검출은 다소 주관적일 수 있고, 실행자의 전문지식, 감염 부위의 위치, 감염 정도, 관찰 조건, x-선 장비 및 처리의 정확성 등을 포함하는 다수의 인자 때문에 정확성이 다를 수 있다.
또한 약해진 치아를 손상시킬 위험 및 촉각적 방법에 의한 감염의 퍼짐뿐만 아니라 방사선 노출 등을 포함하는 통상적인 검출 기술과 관련된 위험이 있다.
충치가 시각적 및 촉각적 시험하에서 명백하게 될 때까지, 충치에 기인하는 질병은 진행되기 때문에 적기에 충치 치료가 수행되지 않으면 충전치료가 필요하며, 심한 경우 치아 손상 또는 치아 손실을 유발할 수 있다.
한편, x-선을 사용하지 않는 개선된 영상화 기술 중 상업화된 한 가지 방법은 형광을 사용하는데, 이는 치아가 고강도 청색광에 의해 조사될 때 야기된다. 정량적 광-유발 형광(quantitative light-induced fluorescence: QLF)으로 칭해지는 이 기술은 손상되지 않고, 건강한 치아 에나멜이 충치 감염에 의해 손상된 탈염 에나멜보다 일부 파장으로부터 여기 하에서 더 높은 형광강도를 수득한다는 원칙에서 작용한다. 그 다음에 무기물 손실과 청색광 여기에 대한 형광의 손실 사이의 강한 상관관계는 치아의 부식된 영역을 식별하고 평가하기 위해 사용된다. 특히, 적색광 여기에 대해 상이한 상관관계가 발견되었는데, 부식된 영역에서 박테리아 및 박테리아 부산물에 대한 스펙트럼 영역은 건강한 영역에서보다 더 확연하게 흡수되며, 형광을 낸다.
형광 기술에 의해, 얻어지는 영상 콘트라스트는 질환 중증도에 대응되는 것으로 인식된다. 이들 기술을 사용하는 정확한 충치의 식별은 종종 막 시작된 충치 또는 초기 충치를 지나서 질환이 더 진행된 단계에 있을 것을 요구하는데, 부식된 치아와 손상되지 않은 치아 구조 사이의 형광의 차이가 초기 단계의 충치에서 매우 작기 때문이다. 이러한 경우에, 형광 기술을 사용하는 검출 정확성은 통상적인 방법을 거쳐서 현저한 개선을 나타내지 않을 수 있다. 이 때문에, 형광 효과의 사용은 막 시작된 충치의 정확한 진단을 막는 일부 실행적 한계로 나타난다. 그 결과, 충치 질환은 그것이, 예를 들어 충전치료가 필요할 수 있는 더 중증으로 될 때까지 검출되지 않을 수 있다.
예방 치과 의학을 위해 매우 초기 단계에 충치의 검출은 특별한 관심이 있다. 앞서 주목한 바와 같이, 종래의 기술은 일반적으로 질환이 반전될 수 있는 단계에서 충치를 검출하지 못한다. 일반적인 경험칙에 따르면, 막 시작된 충치는 치아 에나멜 내로 실질적으로 침투되지 않은 병변이다. 이러한 충치 병변이 그것이 치아의 상아질 부분을 위협하기 전에 식별될 경우, 종종 재미네랄화(remineralization)가 수행될 수 있는데, 이는 초기 손상을 반전시키며, 충전치료에 대한 필요를 방지한다. 그러나, 더 진행된 충치는 점점 더 치료하기가 어렵게 되며, 더 자주 일부 유형의 충전치료 또는 다른 유형의 개입을 필요로 한다.
충치를 미연에 방지하기 위한 비-침습성 치과 기술에 대한 기회를 이용하기 위해서, 충치는 초기에 검출되는 것이 바람직하다. 다수의 경우에, 이 검출 수준은 QLF와 같은 기존의 형광 영상화를 사용하여 달성하기 어렵다는 것이 발견되었다. 그 결과, 양성의 검출이 획득될 때까지 초기 충치는 계속 검출되지 않고, 저비용의 예방적 조치를 사용하는 반전 기회는 상실될 수 있다.
따라서, 충치 검출 기술뿐만 아니라 다른 처리를 적용하기 위한 시도 전에 치면을 분류하는 것은 도움이 된다는 것을 알 수 있다. 영상 분석에서 이 추가된 단계는 충치 검출의 정확성을 개선시키고, 긍정 오류(falsepositive)의 수를 감소시킬 수 있다.
참고로, 치면의 특성에 따라 적절한 영상 처리 방법이 사용될 수 있도록 더 정확하게 치면을 분류할 필요를 처리하고 조작자의 개입 없이 치면이 매끄러운지 또는 교합되는지 여부를 자동적으로 결정함으로써, 충치 검출 알고리즘이 후속적으로 적용될 때 긍정 오류의 수를 감소시킬 수 있는 기술이 특허문헌1에 공개되어 있고, 특허문헌1과 같이 충치 검출을 위한 영상 처리 기술의 필요성이 증대하고 있다.
본 발명의 목적은 상, 하악 치아 사진에서 교합면 및 절치면의 상태를 판별하되, 상, 하악이 전부 찍힌 사진에만 국한되지 않으며, 부분적 치아 또는 협측 표면을 촬영한 사진에도 적용 가능하고, 여러 종류의 구강 카메라 영상 시스템(엑스선 및 CT)을 통하여 촬영한 사진에도 적용 할 수 있고, 구강 내부를 촬영한 사진에서 치아의 영역을 표시하고, 개별 치아의 위치를 판단한 이후 확보된 개별 치아 영역을 확대, 치아의 상태를 분석하여 그 상태를 수치적으로 표현하고, 구강 내 사진은 조명의 상태, 치아의 유형, 치아의 상태(충치, 필링, 변색)에 따라 적용되고, 그 외 타액, 빛 반사, 음식물, 교정 및 치과 장비 등으로 인한 노이즈가 치아 영역을 정확히 판단하는 것을 방해하기 때문에 이러한 노이즈를 제거하는 작업을 수행하는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법을 제공하는 것이다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은, 치아영상이 입력되면 해당 치아영상에서 치아 영역을 강조하기 위해 이미지 처리, 색깔값 변환, 치아 영역 색깔 추출 및 치아 영역과 포물선 결합을 통해 치아 영역을 설정하고, 설정된 치아 영역으로부터 개별 치아 위치를 판별하여 개별 치아 영역을 구하고, 각 치아 영역을 기준으로 치아와 잇몸을 분리하고 각 치아의 정보(예컨대, 치아의 유형, 모양, 위치, 색깔 등)를 추출하여 치아 교정 상태를 파악한 후 기존 기록의 치아와 매칭하고, 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상(예컨대, 충치)의 위치를 판별한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은, 구강 카메라 영상 시스템을 통해 치아 영상을 입력받고 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리를 위한 프로그램이 탑재된 컴퓨터에 의해 수행되며, 입력되는 치아 영상에 대한 치아 영역을 설정하는 제1과정과; 상기의 치아 영역을 설정한 다음으로 치아 포물선을 설정하는 제2과정; 상기의 치아 포물선을 설정한 다음으로 개별 치아 위치를 판별하는 제3과정; 상기의 개별 치아 위치를 판별한 다음으로 개별 치아를 분할하는 제4과정; 상기의 개별 치아를 분할한 다음으로 구강 정보를 추출하는 제5과정; 및 상기의 구강 정보를 추출한 다음, 마지막으로 구강 상태를 판별하는 제6과정;으로 이루어지는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제1과정은 입력 치아 영상에 대하여 고르지 않은 조명을 부드럽게 하고 치아 영역을 강조하기 위해 이미지를 평활화하고 대조를 높여주는 이미지 처리 과정, 치아를 분간하기 위해 색깔의 표현 방법을 변환하고 한계값(threshold)를 설정하여 치아의 색을 더 정확히 분리될 수 있도록 하는 색깔값 변환 과정, 치아 및 치아보조물을 분간하기 위한 색깔값 변환을 하고 분리한 부분을 통합하는 치아 영역 색깔 추출 과정, 치아 포물선 설정을 위해 치아의 포물선을 이용해 치아의 기본 위치를 참조하고 치아 부분이 끈김없이 연결되게 포물선들로 이어주고, 포물선들과 연결된 치아는 하나의 연결성분(connected component)이 되고 이미지 안에서의 여러 개의 분리된 성분 중 최대 사이즈가 되며, 최대 사이즈인 치아와 포물선들의 성분을 제외한 성분들은 제거하고, 포물선들을 제거하여 치아 부분만 남기고 이미지를 회색 음영 또는 흑백으로 변환하여 치아 영역을 마스크 처리하는 치아 영역과 포물선 결합 과정, 상기의 마스크 내에 채워지지 않은 공간을 칠해주고 모양을 정돈하는 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction) 과정의 순서로 수행되는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 색깔값 변환 과정은 치아를 분간하기 위해 RGB색깔값을 색상(H), 채도(S), 명도(V) 중 어느 하나 혹은 둘 이상이 다른 색깔값으로 변환하는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제2과정은 강인추정기법으로 최적의 치아 포물선을 근사시키고 확률적 분포를 이용해 상한과 하한 포물선을 그리는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제3과정은 상기 마스크에 대한 거리 변환 행렬을 구하고, 각 픽셀의 값은 가장 가까운 배경 픽셀까지의 거리로 대체되는 거리 변환(Distance transform) 과정, 거리 변환된 이미지의 국부 최고점들(Local maxima)을 찾아 유역(watershed)의 근원(seed)으로 사용할 마커들을 만드는 위치별 치아 마커 과정, 포물선 기준으로 치아의 크기를 예측하여, 이미지의 상하좌우에 따른 치아 위치 기준을 설정하고, 이 기준에 맞춰 마커들의 상하와 좌우 거리를 측정하고 기준 거리 이하일 경우 마커들을 하나로 합쳐주는 마커 병합(Merge markers by location and distance) 과정 및 상기한 유역을 이용해 각 마커에 해당되는 영역을 추출하고, 각 대상(objects)의 윤곽(contours)을 그려 크기, 모양, 위치 중 어느 하나 혹은 둘 이상의 특징을 추출하고 포물선과의 관계를 이용해 치아의 특징에 부합하는지 계산하고, 추출된 특징이 치아의 특징에 부합하지 않을 경우 마커를 제거하여 최종 치아 마커를 선택하는 마커 선택(Select markers based on dental characteristics) 과정의 순서로 수행되는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제4과정은 정의된 마커들을 시작으로 마커-제어 유역 알고리즘(marker-controlled watershed algorithm)을 적용하여 개별 치아 영역을 구한 후, 각 치아 영역의 중간점을 찾아 치아의 중심으로 표시하는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제5과정은 각 치아 영역을 기준으로 주위에 박스를 쳐서 치아 사진을 분할하고, 각 이미지에 치아와 잇못을 분리해 정보를 기록한 후, 각 치아의 유형, 모양, 위치, 색깔 중 어느 하나 혹은 둘 이상의 유효한 정보를 추출한 다음, 치아의 포물선을 이용해 각 치아의 교정 상태를 파악하고, 기존 기록의 치아와 매칭하는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제6과정은 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상의 위치를 판별하는 것을 특징으로 한다.
본 발명에 따르면 입력된 치아영상으로부터 용이하게 구강 이상(예컨대, 충치)의 위치를 판별할 수 있다.
도 1은 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법을 설명하는 실시예.
도 2는 도 1의 이미치 처리를 설명하는 사진.
도 3은 도 1의 색깔값 변환을 설명하는 사진.
도 4는 도 1의 치아 영역 색깔 추출을 설명하는 사진.
도 5는 도 1의 치아 영역과 포물선 결합을 설명하는 사진
도 6은 도 1의 치아 영역과 포물선 결합을 설명하는 다른 사진.
도 7은 도 1의 치아 포물선 설정을 설명하는 사진.
도 8은 도 1의 개별 치아 위치 판별을 위한 거리 변환(Distance transform)을 설명하는 사진.
도 9는 도 1의 개별 치아 위치 판별을 위한 마커 병합(Merge markers by location and distance)을 설명하는 사진.
도 10은 도 1의 개별 치아 위치 판별을 위한 마커 병합(Merge markers by location and distance)을 설명하는 다른 사진.
도 11은 도 1의 개별 치아 위치 판별을 위한 마커 선택(Select markers based on dental characteristics)을 설명하는 사진.
도 12는 도 1의 개별 치아 분할을 설명하는 사진.
도 13은 도 1의 구강 상태 판별을 설명하는 사진.
도 14는 도 1의 구강 상태 판별을 설명하는 다른 사진.
도 15는 도 1의 구강 상태 판별을 설명하는 또 다른 사진.
도 2는 도 1의 이미치 처리를 설명하는 사진.
도 3은 도 1의 색깔값 변환을 설명하는 사진.
도 4는 도 1의 치아 영역 색깔 추출을 설명하는 사진.
도 5는 도 1의 치아 영역과 포물선 결합을 설명하는 사진
도 6은 도 1의 치아 영역과 포물선 결합을 설명하는 다른 사진.
도 7은 도 1의 치아 포물선 설정을 설명하는 사진.
도 8은 도 1의 개별 치아 위치 판별을 위한 거리 변환(Distance transform)을 설명하는 사진.
도 9는 도 1의 개별 치아 위치 판별을 위한 마커 병합(Merge markers by location and distance)을 설명하는 사진.
도 10은 도 1의 개별 치아 위치 판별을 위한 마커 병합(Merge markers by location and distance)을 설명하는 다른 사진.
도 11은 도 1의 개별 치아 위치 판별을 위한 마커 선택(Select markers based on dental characteristics)을 설명하는 사진.
도 12는 도 1의 개별 치아 분할을 설명하는 사진.
도 13은 도 1의 구강 상태 판별을 설명하는 사진.
도 14는 도 1의 구강 상태 판별을 설명하는 다른 사진.
도 15는 도 1의 구강 상태 판별을 설명하는 또 다른 사진.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
이하에서 설명하는 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은 하기의 실시예에 한정되지 않고, 청구범위에서 청구하는 기술의 요지를 벗어남이 없이 해당 기술분야에 대하여 통상의 지식을 가진 자라면 누구든지 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은 구강 카메라 영상 시스템(엑스선 및 CT)을 통해 치아 영상을 입력받고 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법을 실행시키기 위한 프로그램이 탑재된 컴퓨터(예컨대, 데스크톱, 노트북, 태블릿 PC 등)에 의해 수행된다.
상기 컴퓨터는 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법의 실행 중에 도 2 내지 도 15에 나타낸 바와 같은 사진 혹은 이미지나 영상을 표시하는 디스플레이를 포함하는 것이 바람직하다.
도 1을 참조하면, 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은 다음과 같이 수행된다.
가장 먼저, 입력되는 치아 영상에 대한 치아 영역 설정이 수행된다.
상기 치아 영역 설정은 이미지 처리, 색깔값 변환, 치아 영역 색깔 추출, 치아 영역과 포물선 결합, 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction)의 순서로 수행된다.
상기 이미지 처리는 입력 치아 영상에 대하여 고르지 않은 조명을 부드럽게 하고 치아 영역을 강조하기 위해 이미지를 평활화하고 대조를 높여준다(도 2 참조).
상기 색깔값 변환은 치아를 분간하기 위해 색깔의 표현 방법을 변환한다. 예컨대, RGB색깔값을 색상(H), 채도(S), 명도(V) 등과 같은 다른 색깔값으로 변환하고, 한계값(threshold)를 설정하여 치아의 색을 더 정확히 분리될 수 있도록 한다(도 3 참조).
상기 치아 영역 색깔 추출은 치아 및 치아보조물을 분간하기 위한 색깔값 변환을 하고 분리한 부분을 통합한다(도 4 참조).
상기 치아 영역과 포물선 결합은 도 1에 나타낸 치아 포물선 설정에서 치아의 포물선을 이용해 치아의 기본 위치를 참조하고 치아 부분이 끈김없이 연결되게 포물선들로 이어준다. 포물선들과 연결된 치아는 하나의 연결성분(connected component)이 되고 이미지 안에서의 여러 개의 분리된 성분 중 최대 사이즈가 된다. 최대 사이즈인 성분(치아와 포물선들)을 제외한 성분들은 제거한다(도 5 참조). 포물선들을 제거하여 치아 부분만 남기고 이미지를 회색 음영 또는 흑백으로 변환하여 치아 영역을 마스크 처리한다(도 6 참조).
상기 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction)은 상기의 마스크 내에 채워지지 않은 공간을 칠해주고 모양을 정돈한다.
상기와 같이 치아 영역 설정이 수행되고 나면, 다음으로 치아 포물선 설정이 수행된다.
상기 치아 포물선 설정은 강인추정기법으로 최적의 치아 포물선을 근사시키고 확률적 분포를 이용해 상한과 하한 포물선을 그린다(도 7 참조).
상기와 같이 치아 포물선 설정이 수행되고 나면, 다음으로 개별 치아 위치 판별이 수행된다.
상기 개별 치아 위치 판별은 거리 변환(Distance transform), 위치별 치아 마커, 마커 병합(Merge markers by location and distance) 및 마커 선택(Select markers based on dental characteristics)의 순서로 수행된다.
상기 거리 변환은 상기 마스크에 대한 거리 변환 행렬을 구하고, 각 픽셀의 값은 가장 가까운 배경 픽셀까지의 거리로 대체된다(도 8 참조).
상기 위치별 치아 마커는 거리 변환된 이미지의 국부 최고점들(Local maxima)을 찾아 유역(watershed)의 근원(seed)으로 사용할 마커들을 만든다.
상기 마커 병합은 포물선 기준으로 치아의 크기를 예측하여, 이미지의 상하좌우에 따른 치아 위치 기준을 설정하고(도 9 참조), 이 기준에 맞춰 마커들의 상하와 좌우 거리를 측정하고 기준 거리 이하일 경우 마커들을 하나로 합쳐준다(도 10 참조).
상기 마커 선택은 상기한 유역을 이용해 각 마커에 해당되는 영역을 추출하고, 각 대상(objects)의 윤곽(contours)을 그려 특징(예컨대, 크기, 모양, 위치 등)을 추출하고 포물선과의 관계를 이용해 치아의 특징에 부합하는지 계산한다. 만약, 추출된 특징이 치아의 특징에 부합하지 않을 경우 마커를 제거하여 최종 치아 마커를 선택한다(도 11 참조).
상기와 같이 개별 치아 위치 판별이 수행되고 나면, 다음으로 개별 치아 분할이 수행된다.
상기 개별 치아 분할은 정의된 마커들을 시작으로 마커-제어 유역 알고리즘(marker-controlled watershed algorithm)을 적용하여 개별 치아 영역(도 12 참조)을 구한 후, 각 치아 영역의 중간점을 찾아 치아의 중심으로 표시한다.
상기와 같이 개별 치아 분할이 수행되고 나면, 다음으로 구강 정보 추출이 수행된다.
상기 구강 정보 추출은 각 치아 영역을 기준으로 주위에 박스를 쳐서 치아 사진을 분할하고, 각 이미지에 치아와 잇못을 분리해 정보를 기록한 후, 각 치아의 유형, 모양, 위치, 색깔 등의 유효한 정보를 추출한 다음, 치아의 포물선을 이용해 각 치아의 교정 상태를 파악하고, 기존 기록의 치아와 매칭한다.
상기와 같이 구강 정보 추출이 수행되고 나면, 마지막으로 구강 상태 판별이 수행된다.
상기 구강 상태 판별은 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상(예컨대, 충치)의 위치를 판별한다(도 13 내지 도 15 참조).
Claims (3)
- 구강 카메라 영상 시스템을 통해 치아 영상을 입력받고 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리를 위한 프로그램이 탑재된 컴퓨터에 의해 수행되며,
입력되는 치아 영상에 대한 치아 영역을 설정하는 제1과정과;
상기의 치아 영역을 설정한 다음으로 치아 포물선을 설정하되, 강인추정기법으로 최적의 치아 포물선을 근사시키고 확률적 분포를 이용해 상한과 하한 포물선을 그리는 제2과정;
상기의 치아 포물선을 설정한 다음으로 개별 치아 위치를 판별하는 제3과정;
상기의 개별 치아 위치를 판별한 다음으로 개별 치아를 분할하되, 정의된 마커들을 시작으로 마커-제어 유역 알고리즘(marker-controlled watershed algorithm)을 적용하여 개별 치아 영역을 구한 후, 각 치아 영역의 중간점을 찾아 치아의 중심으로 표시하는 제4과정;
상기의 개별 치아를 분할한 다음으로 구강 정보를 추출하되, 각 치아 영역을 기준으로 주위에 박스를 쳐서 치아 사진을 분할하고, 각 이미지에 치아와 잇못을 분리해 정보를 기록한 후, 각 치아의 유형, 모양, 위치, 색깔 중 어느 하나 혹은 둘 이상의 유효한 정보를 추출한 다음, 치아의 포물선을 이용해 각 치아의 교정 상태를 파악하고, 기존 기록의 치아와 매칭하는 제5과정; 및
상기의 구강 정보를 추출한 다음, 마지막으로 구강 상태를 판별하되, 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상의 위치를 판별하는 제6과정;
으로 이루어지고,
상기 제1과정은
입력 치아 영상에 대하여 고르지 않은 조명을 부드럽게 하고 치아 영역을 강조하기 위해 이미지를 평활화하고 대조를 높여주는 이미지 처리 과정,
치아를 분간하기 위해 색깔의 표현 방법을 변환하고 한계값(threshold)를 설정하여 치아의 색을 더 정확히 분리될 수 있도록 하는 색깔값 변환 과정,
치아 및 치아보조물을 분간하기 위한 색깔값 변환을 하고 분리한 부분을 통합하는 치아 영역 색깔 추출, 치아 포물선 설정을 위해 치아의 포물선을 이용해 치아의 기본 위치를 참조하고 치아 부분이 끈김없이 연결되게 포물선들로 이어주고, 포물선들과 연결된 치아는 하나의 연결성분(connected component)이 되고 이미지 안에서의 여러 개의 분리된 성분 중 최대 사이즈가 되며, 최대 사이즈인 치아와 포물선들의 성분을 제외한 성분들은 제거하고, 포물선들을 제거하여 치아 부분만 남기고 이미지를 회색 음영 또는 흑백으로 변환하여 치아 영역을 마스크 처리하는 치아 영역과 포물선 결합 과정,
상기의 마스크 내에 채워지지 않은 공간을 칠해주고 모양을 정돈하는 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction) 과정의 순서로 수행되는 것을 특징으로 하는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법. - 제 1 항에 있어서, 상기 제3과정은
상기 마스크에 대한 거리 변환 행렬을 구하고, 각 픽셀의 값은 가장 가까운 배경 픽셀까지의 거리로 대체되는 거리 변환(Distance transform) 과정,
거리 변환된 이미지의 국부 최고점들(Local maxima)을 찾아 유역(watershed)의 근원(seed)으로 사용할 마커들을 만드는 위치별 치아 마커 과정,
포물선 기준으로 치아의 크기를 예측하여, 이미지의 상하좌우에 따른 치아 위치 기준을 설정하고, 이 기준에 맞춰 마커들의 상하와 좌우 거리를 측정하고 기준 거리 이하일 경우 마커들을 하나로 합쳐주는 마커 병합(Merge markers by location and distance) 과정 및
상기한 유역을 이용해 각 마커에 해당되는 영역을 추출하고, 각 대상(objects)의 윤곽(contours)을 그려 크기, 모양, 위치 중 어느 하나 혹은 둘 이상의 특징을 추출하고 포물선과의 관계를 이용해 치아의 특징에 부합하는지 계산하고, 추출된 특징이 치아의 특징에 부합하지 않을 경우 마커를 제거하여 최종 치아 마커를 선택하는 마커 선택(Select markers based on dental characteristics) 과정의 순서로 수행되는 것을 특징으로 하는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법. - 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180099026 | 2018-08-24 | ||
| KR20180099026 | 2018-08-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200023225A KR20200023225A (ko) | 2020-03-04 |
| KR102176490B1 true KR102176490B1 (ko) | 2020-11-10 |
Family
ID=69783682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190102993A KR102176490B1 (ko) | 2018-08-24 | 2019-08-22 | 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102176490B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022164175A1 (ko) * | 2021-01-26 | 2022-08-04 | 주식회사 메디트 | 삼차원 구강 모델을 처리하는 방법 및 장치 |
| WO2022191490A1 (ko) * | 2021-03-10 | 2022-09-15 | 주식회사 메디트 | 구강 교정 정보 표시 시스템 |
| WO2022191665A1 (ko) * | 2021-03-11 | 2022-09-15 | 주식회사 메디트 | 구강 이미지 내의 선택 영역을 식별하는 방법 및 이를 위한 장치 |
| KR102496449B1 (ko) | 2021-12-29 | 2023-02-07 | 이마고웍스 주식회사 | 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
| KR20230030197A (ko) | 2021-08-25 | 2023-03-06 | 연세대학교 산학협력단 | 치과용 cbct에서 개별 치아 자동 식별 분할 장치 및 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986217B (zh) * | 2020-09-03 | 2024-01-16 | 北京大学口腔医学院 | 一种图像处理方法、装置及设备 |
| WO2022245160A1 (ko) * | 2021-05-20 | 2022-11-24 | 주식회사 아이오바이오 | 임상 진단 및 처방을 위한 진료서비스 제공 방법 및 이를 위한 시스템 |
| KR102662008B1 (ko) * | 2022-08-18 | 2024-04-30 | 오스템임플란트 주식회사 | 치아 병변 정보 시각화 방법 및 시스템 |
| CN116912426B (zh) * | 2023-09-11 | 2023-11-21 | 山东迈尔医疗科技有限公司 | 一种基于图像处理的义齿模型生成系统 |
| CN118948473A (zh) * | 2024-10-17 | 2024-11-15 | 江西瑞圣特科技有限责任公司 | 水压调节方法、冲牙器、存储介质及计算机程序产品 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6038112B2 (ja) | 2011-03-21 | 2016-12-07 | ケアストリーム ヘルス インク | 歯の表面の分類のための方法 |
| KR101862378B1 (ko) * | 2016-05-13 | 2018-05-29 | 연세대학교 산학협력단 | Ct 치아 영상의 자동 세그먼테이션 시스템 및 방법 |
-
2019
- 2019-08-22 KR KR1020190102993A patent/KR102176490B1/ko active IP Right Grant
Non-Patent Citations (2)
| Title |
|---|
| Wei Wang외 1인, "Structure segmentation of dental tissue based on semantic characteristics", 2017 2th International Conference of AIEA, (2017.10.01.) 1부.* |
| 김도건외 3인, "딥러닝을 이용한 치아진단 시스템", 한국정보처리학회 학술대회논문집, (2017.11.30.) 1부.* |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022164175A1 (ko) * | 2021-01-26 | 2022-08-04 | 주식회사 메디트 | 삼차원 구강 모델을 처리하는 방법 및 장치 |
| WO2022191490A1 (ko) * | 2021-03-10 | 2022-09-15 | 주식회사 메디트 | 구강 교정 정보 표시 시스템 |
| WO2022191665A1 (ko) * | 2021-03-11 | 2022-09-15 | 주식회사 메디트 | 구강 이미지 내의 선택 영역을 식별하는 방법 및 이를 위한 장치 |
| KR20230030197A (ko) | 2021-08-25 | 2023-03-06 | 연세대학교 산학협력단 | 치과용 cbct에서 개별 치아 자동 식별 분할 장치 및 방법 |
| KR102496449B1 (ko) | 2021-12-29 | 2023-02-07 | 이마고웍스 주식회사 | 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
| KR20230101762A (ko) | 2021-12-29 | 2023-07-06 | 이마고웍스 주식회사 | 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200023225A (ko) | 2020-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102176490B1 (ko) | 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 | |
| KR101911567B1 (ko) | 치면 분류 방법 | |
| US9020228B2 (en) | Method for identifying a tooth region | |
| US9773306B2 (en) | Method for quantifying caries | |
| US9870613B2 (en) | Detection of tooth condition using reflectance images with red and green fluorescence | |
| JP5657865B2 (ja) | う蝕状態のリアルタイムの視覚化のための方法 | |
| US9235901B2 (en) | Method for locating an interproximal tooth region | |
| CN113811916B (zh) | 用于生成数字三维牙齿模型的系统和方法 | |
| US8908936B2 (en) | Method for extracting a carious lesion area | |
| Datta et al. | Detection of dental caries lesion at early stage based on image analysis technique | |
| US9547903B2 (en) | Method for quantifying caries | |
| Koutsouri et al. | Detection of occlusal caries based on digital image processing | |
| Kumar et al. | Automated recognition of dental caries using K-Means and PCA based algorithm | |
| Navarro et al. | Detecting smooth surface dental caries in frontal teeth using image processing | |
| CN114445388A (zh) | 一种基于多光谱的图像识别方法、装置及存储介质 | |
| Jain et al. | Dental image analysis for disease diagnosis | |
| Shivpuje et al. | A review on digital dental radiographic images for disease identification and classification | |
| Alazab et al. | Towards automatic image segmentation using optimised region growing technique | |
| da Silva Júnior et al. | Quantification of Pigmented Regions in Detracted Images | |
| TW202322745A (zh) | 口腔檢測系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20190822 |
|
| PA0201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20190909 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200828 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20201029 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20201103 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20201104 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20231031 Start annual number: 4 End annual number: 4 |