KR102176490B1 - 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 - Google Patents

구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 Download PDF

Info

Publication number
KR102176490B1
KR102176490B1 KR1020190102993A KR20190102993A KR102176490B1 KR 102176490 B1 KR102176490 B1 KR 102176490B1 KR 1020190102993 A KR1020190102993 A KR 1020190102993A KR 20190102993 A KR20190102993 A KR 20190102993A KR 102176490 B1 KR102176490 B1 KR 102176490B1
Authority
KR
South Korea
Prior art keywords
tooth
image
oral
teeth
parabola
Prior art date
Application number
KR1020190102993A
Other languages
English (en)
Other versions
KR20200023225A (ko
Inventor
이재우
최재호
김도건
Original Assignee
이재우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이재우 filed Critical 이재우
Publication of KR20200023225A publication Critical patent/KR20200023225A/ko
Application granted granted Critical
Publication of KR102176490B1 publication Critical patent/KR102176490B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 관한 것으로, 상, 하악 치아 사진에서 교합면 및 절치면의 상태를 판별하되, 상, 하악이 전부 찍힌 사진에만 국한되지 않으며, 부분적 치아 또는 협측 표면을 촬영한 사진에도 적용 가능하고, 여러 종류의 구강 카메라 영상 시스템(엑스선 및 CT)을 통하여 촬영한 사진에도 적용 할 수 있고, 구강 내부를 촬영한 사진에서 치아의 영역을 표시하고, 개별 치아의 위치를 판단한 이후 확보된 개별 치아 영역을 확대, 치아의 상태를 분석하여 그 상태를 수치적으로 표현하고, 구강 내 사진은 조명의 상태, 치아의 유형, 치아의 상태(충치, 필링, 변색)에 따라 적용되고, 그 외 타액, 빛 반사, 음식물, 교정 및 치과 장비 등으로 인한 노이즈가 치아 영역을 정확히 판단하는 것을 방해하기 때문에 이러한 노이즈를 제거하는 작업을 수행한다.

Description

구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법{Methods for Segmentation and Processing of Dental Images for Diagnosing, Predicting, or Managing Oral Conditions}
본 발명은 구강 이상(예컨대, 충치) 검출 기술에 관한 것이며, 더욱 상세히는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 관한 것이다.
충치는 모든 연령군의 사람들에게 발현되는 일반적인 구강 질환이며, 검출, 치료 및 예방 기술의 개선에도 불구하고 적기에 치료가 수행되지 않으면 영구적인 치아 손상을 유발할 수 있고, 심한 경우 치아의 손실을 초래할 수 있다.
충치 검출을 위한 전통적인 방법은 시각적 시험 및 뾰족한 치과용 탐침 소자에 의한 촉각적 프로빙을 포함하며, 종종 방사선 투과(x-선) 영상화에 의해 보조된다.
상기한 시각적 시험, 촉각적 프로빙, 방사선 투과 영상화 등의 방법을 사용하는 검출은 다소 주관적일 수 있고, 실행자의 전문지식, 감염 부위의 위치, 감염 정도, 관찰 조건, x-선 장비 및 처리의 정확성 등을 포함하는 다수의 인자 때문에 정확성이 다를 수 있다.
또한 약해진 치아를 손상시킬 위험 및 촉각적 방법에 의한 감염의 퍼짐뿐만 아니라 방사선 노출 등을 포함하는 통상적인 검출 기술과 관련된 위험이 있다.
충치가 시각적 및 촉각적 시험하에서 명백하게 될 때까지, 충치에 기인하는 질병은 진행되기 때문에 적기에 충치 치료가 수행되지 않으면 충전치료가 필요하며, 심한 경우 치아 손상 또는 치아 손실을 유발할 수 있다.
한편, x-선을 사용하지 않는 개선된 영상화 기술 중 상업화된 한 가지 방법은 형광을 사용하는데, 이는 치아가 고강도 청색광에 의해 조사될 때 야기된다. 정량적 광-유발 형광(quantitative light-induced fluorescence: QLF)으로 칭해지는 이 기술은 손상되지 않고, 건강한 치아 에나멜이 충치 감염에 의해 손상된 탈염 에나멜보다 일부 파장으로부터 여기 하에서 더 높은 형광강도를 수득한다는 원칙에서 작용한다. 그 다음에 무기물 손실과 청색광 여기에 대한 형광의 손실 사이의 강한 상관관계는 치아의 부식된 영역을 식별하고 평가하기 위해 사용된다. 특히, 적색광 여기에 대해 상이한 상관관계가 발견되었는데, 부식된 영역에서 박테리아 및 박테리아 부산물에 대한 스펙트럼 영역은 건강한 영역에서보다 더 확연하게 흡수되며, 형광을 낸다.
형광 기술에 의해, 얻어지는 영상 콘트라스트는 질환 중증도에 대응되는 것으로 인식된다. 이들 기술을 사용하는 정확한 충치의 식별은 종종 막 시작된 충치 또는 초기 충치를 지나서 질환이 더 진행된 단계에 있을 것을 요구하는데, 부식된 치아와 손상되지 않은 치아 구조 사이의 형광의 차이가 초기 단계의 충치에서 매우 작기 때문이다. 이러한 경우에, 형광 기술을 사용하는 검출 정확성은 통상적인 방법을 거쳐서 현저한 개선을 나타내지 않을 수 있다. 이 때문에, 형광 효과의 사용은 막 시작된 충치의 정확한 진단을 막는 일부 실행적 한계로 나타난다. 그 결과, 충치 질환은 그것이, 예를 들어 충전치료가 필요할 수 있는 더 중증으로 될 때까지 검출되지 않을 수 있다.
예방 치과 의학을 위해 매우 초기 단계에 충치의 검출은 특별한 관심이 있다. 앞서 주목한 바와 같이, 종래의 기술은 일반적으로 질환이 반전될 수 있는 단계에서 충치를 검출하지 못한다. 일반적인 경험칙에 따르면, 막 시작된 충치는 치아 에나멜 내로 실질적으로 침투되지 않은 병변이다. 이러한 충치 병변이 그것이 치아의 상아질 부분을 위협하기 전에 식별될 경우, 종종 재미네랄화(remineralization)가 수행될 수 있는데, 이는 초기 손상을 반전시키며, 충전치료에 대한 필요를 방지한다. 그러나, 더 진행된 충치는 점점 더 치료하기가 어렵게 되며, 더 자주 일부 유형의 충전치료 또는 다른 유형의 개입을 필요로 한다.
충치를 미연에 방지하기 위한 비-침습성 치과 기술에 대한 기회를 이용하기 위해서, 충치는 초기에 검출되는 것이 바람직하다. 다수의 경우에, 이 검출 수준은 QLF와 같은 기존의 형광 영상화를 사용하여 달성하기 어렵다는 것이 발견되었다. 그 결과, 양성의 검출이 획득될 때까지 초기 충치는 계속 검출되지 않고, 저비용의 예방적 조치를 사용하는 반전 기회는 상실될 수 있다.
따라서, 충치 검출 기술뿐만 아니라 다른 처리를 적용하기 위한 시도 전에 치면을 분류하는 것은 도움이 된다는 것을 알 수 있다. 영상 분석에서 이 추가된 단계는 충치 검출의 정확성을 개선시키고, 긍정 오류(falsepositive)의 수를 감소시킬 수 있다.
참고로, 치면의 특성에 따라 적절한 영상 처리 방법이 사용될 수 있도록 더 정확하게 치면을 분류할 필요를 처리하고 조작자의 개입 없이 치면이 매끄러운지 또는 교합되는지 여부를 자동적으로 결정함으로써, 충치 검출 알고리즘이 후속적으로 적용될 때 긍정 오류의 수를 감소시킬 수 있는 기술이 특허문헌1에 공개되어 있고, 특허문헌1과 같이 충치 검출을 위한 영상 처리 기술의 필요성이 증대하고 있다.
KR 10-2014-0012669 A
본 발명의 목적은 상, 하악 치아 사진에서 교합면 및 절치면의 상태를 판별하되, 상, 하악이 전부 찍힌 사진에만 국한되지 않으며, 부분적 치아 또는 협측 표면을 촬영한 사진에도 적용 가능하고, 여러 종류의 구강 카메라 영상 시스템(엑스선 및 CT)을 통하여 촬영한 사진에도 적용 할 수 있고, 구강 내부를 촬영한 사진에서 치아의 영역을 표시하고, 개별 치아의 위치를 판단한 이후 확보된 개별 치아 영역을 확대, 치아의 상태를 분석하여 그 상태를 수치적으로 표현하고, 구강 내 사진은 조명의 상태, 치아의 유형, 치아의 상태(충치, 필링, 변색)에 따라 적용되고, 그 외 타액, 빛 반사, 음식물, 교정 및 치과 장비 등으로 인한 노이즈가 치아 영역을 정확히 판단하는 것을 방해하기 때문에 이러한 노이즈를 제거하는 작업을 수행하는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법을 제공하는 것이다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은, 치아영상이 입력되면 해당 치아영상에서 치아 영역을 강조하기 위해 이미지 처리, 색깔값 변환, 치아 영역 색깔 추출 및 치아 영역과 포물선 결합을 통해 치아 영역을 설정하고, 설정된 치아 영역으로부터 개별 치아 위치를 판별하여 개별 치아 영역을 구하고, 각 치아 영역을 기준으로 치아와 잇몸을 분리하고 각 치아의 정보(예컨대, 치아의 유형, 모양, 위치, 색깔 등)를 추출하여 치아 교정 상태를 파악한 후 기존 기록의 치아와 매칭하고, 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상(예컨대, 충치)의 위치를 판별한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은, 구강 카메라 영상 시스템을 통해 치아 영상을 입력받고 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리를 위한 프로그램이 탑재된 컴퓨터에 의해 수행되며, 입력되는 치아 영상에 대한 치아 영역을 설정하는 제1과정과; 상기의 치아 영역을 설정한 다음으로 치아 포물선을 설정하는 제2과정; 상기의 치아 포물선을 설정한 다음으로 개별 치아 위치를 판별하는 제3과정; 상기의 개별 치아 위치를 판별한 다음으로 개별 치아를 분할하는 제4과정; 상기의 개별 치아를 분할한 다음으로 구강 정보를 추출하는 제5과정; 및 상기의 구강 정보를 추출한 다음, 마지막으로 구강 상태를 판별하는 제6과정;으로 이루어지는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제1과정은 입력 치아 영상에 대하여 고르지 않은 조명을 부드럽게 하고 치아 영역을 강조하기 위해 이미지를 평활화하고 대조를 높여주는 이미지 처리 과정, 치아를 분간하기 위해 색깔의 표현 방법을 변환하고 한계값(threshold)를 설정하여 치아의 색을 더 정확히 분리될 수 있도록 하는 색깔값 변환 과정, 치아 및 치아보조물을 분간하기 위한 색깔값 변환을 하고 분리한 부분을 통합하는 치아 영역 색깔 추출 과정, 치아 포물선 설정을 위해 치아의 포물선을 이용해 치아의 기본 위치를 참조하고 치아 부분이 끈김없이 연결되게 포물선들로 이어주고, 포물선들과 연결된 치아는 하나의 연결성분(connected component)이 되고 이미지 안에서의 여러 개의 분리된 성분 중 최대 사이즈가 되며, 최대 사이즈인 치아와 포물선들의 성분을 제외한 성분들은 제거하고, 포물선들을 제거하여 치아 부분만 남기고 이미지를 회색 음영 또는 흑백으로 변환하여 치아 영역을 마스크 처리하는 치아 영역과 포물선 결합 과정, 상기의 마스크 내에 채워지지 않은 공간을 칠해주고 모양을 정돈하는 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction) 과정의 순서로 수행되는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 색깔값 변환 과정은 치아를 분간하기 위해 RGB색깔값을 색상(H), 채도(S), 명도(V) 중 어느 하나 혹은 둘 이상이 다른 색깔값으로 변환하는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제2과정은 강인추정기법으로 최적의 치아 포물선을 근사시키고 확률적 분포를 이용해 상한과 하한 포물선을 그리는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제3과정은 상기 마스크에 대한 거리 변환 행렬을 구하고, 각 픽셀의 값은 가장 가까운 배경 픽셀까지의 거리로 대체되는 거리 변환(Distance transform) 과정, 거리 변환된 이미지의 국부 최고점들(Local maxima)을 찾아 유역(watershed)의 근원(seed)으로 사용할 마커들을 만드는 위치별 치아 마커 과정, 포물선 기준으로 치아의 크기를 예측하여, 이미지의 상하좌우에 따른 치아 위치 기준을 설정하고, 이 기준에 맞춰 마커들의 상하와 좌우 거리를 측정하고 기준 거리 이하일 경우 마커들을 하나로 합쳐주는 마커 병합(Merge markers by location and distance) 과정 및 상기한 유역을 이용해 각 마커에 해당되는 영역을 추출하고, 각 대상(objects)의 윤곽(contours)을 그려 크기, 모양, 위치 중 어느 하나 혹은 둘 이상의 특징을 추출하고 포물선과의 관계를 이용해 치아의 특징에 부합하는지 계산하고, 추출된 특징이 치아의 특징에 부합하지 않을 경우 마커를 제거하여 최종 치아 마커를 선택하는 마커 선택(Select markers based on dental characteristics) 과정의 순서로 수행되는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제4과정은 정의된 마커들을 시작으로 마커-제어 유역 알고리즘(marker-controlled watershed algorithm)을 적용하여 개별 치아 영역을 구한 후, 각 치아 영역의 중간점을 찾아 치아의 중심으로 표시하는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제5과정은 각 치아 영역을 기준으로 주위에 박스를 쳐서 치아 사진을 분할하고, 각 이미지에 치아와 잇못을 분리해 정보를 기록한 후, 각 치아의 유형, 모양, 위치, 색깔 중 어느 하나 혹은 둘 이상의 유효한 정보를 추출한 다음, 치아의 포물선을 이용해 각 치아의 교정 상태를 파악하고, 기존 기록의 치아와 매칭하는 것을 특징으로 한다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법에 있어서, 상기 제6과정은 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상의 위치를 판별하는 것을 특징으로 한다.
본 발명에 따르면 입력된 치아영상으로부터 용이하게 구강 이상(예컨대, 충치)의 위치를 판별할 수 있다.
도 1은 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법을 설명하는 실시예.
도 2는 도 1의 이미치 처리를 설명하는 사진.
도 3은 도 1의 색깔값 변환을 설명하는 사진.
도 4는 도 1의 치아 영역 색깔 추출을 설명하는 사진.
도 5는 도 1의 치아 영역과 포물선 결합을 설명하는 사진
도 6은 도 1의 치아 영역과 포물선 결합을 설명하는 다른 사진.
도 7은 도 1의 치아 포물선 설정을 설명하는 사진.
도 8은 도 1의 개별 치아 위치 판별을 위한 거리 변환(Distance transform)을 설명하는 사진.
도 9는 도 1의 개별 치아 위치 판별을 위한 마커 병합(Merge markers by location and distance)을 설명하는 사진.
도 10은 도 1의 개별 치아 위치 판별을 위한 마커 병합(Merge markers by location and distance)을 설명하는 다른 사진.
도 11은 도 1의 개별 치아 위치 판별을 위한 마커 선택(Select markers based on dental characteristics)을 설명하는 사진.
도 12는 도 1의 개별 치아 분할을 설명하는 사진.
도 13은 도 1의 구강 상태 판별을 설명하는 사진.
도 14는 도 1의 구강 상태 판별을 설명하는 다른 사진.
도 15는 도 1의 구강 상태 판별을 설명하는 또 다른 사진.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
이하에서 설명하는 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은 하기의 실시예에 한정되지 않고, 청구범위에서 청구하는 기술의 요지를 벗어남이 없이 해당 기술분야에 대하여 통상의 지식을 가진 자라면 누구든지 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은 구강 카메라 영상 시스템(엑스선 및 CT)을 통해 치아 영상을 입력받고 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법을 실행시키기 위한 프로그램이 탑재된 컴퓨터(예컨대, 데스크톱, 노트북, 태블릿 PC 등)에 의해 수행된다.
상기 컴퓨터는 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법의 실행 중에 도 2 내지 도 15에 나타낸 바와 같은 사진 혹은 이미지나 영상을 표시하는 디스플레이를 포함하는 것이 바람직하다.
도 1을 참조하면, 본 발명에 따른 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법은 다음과 같이 수행된다.
가장 먼저, 입력되는 치아 영상에 대한 치아 영역 설정이 수행된다.
상기 치아 영역 설정은 이미지 처리, 색깔값 변환, 치아 영역 색깔 추출, 치아 영역과 포물선 결합, 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction)의 순서로 수행된다.
상기 이미지 처리는 입력 치아 영상에 대하여 고르지 않은 조명을 부드럽게 하고 치아 영역을 강조하기 위해 이미지를 평활화하고 대조를 높여준다(도 2 참조).
상기 색깔값 변환은 치아를 분간하기 위해 색깔의 표현 방법을 변환한다. 예컨대, RGB색깔값을 색상(H), 채도(S), 명도(V) 등과 같은 다른 색깔값으로 변환하고, 한계값(threshold)를 설정하여 치아의 색을 더 정확히 분리될 수 있도록 한다(도 3 참조).
상기 치아 영역 색깔 추출은 치아 및 치아보조물을 분간하기 위한 색깔값 변환을 하고 분리한 부분을 통합한다(도 4 참조).
상기 치아 영역과 포물선 결합은 도 1에 나타낸 치아 포물선 설정에서 치아의 포물선을 이용해 치아의 기본 위치를 참조하고 치아 부분이 끈김없이 연결되게 포물선들로 이어준다. 포물선들과 연결된 치아는 하나의 연결성분(connected component)이 되고 이미지 안에서의 여러 개의 분리된 성분 중 최대 사이즈가 된다. 최대 사이즈인 성분(치아와 포물선들)을 제외한 성분들은 제거한다(도 5 참조). 포물선들을 제거하여 치아 부분만 남기고 이미지를 회색 음영 또는 흑백으로 변환하여 치아 영역을 마스크 처리한다(도 6 참조).
상기 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction)은 상기의 마스크 내에 채워지지 않은 공간을 칠해주고 모양을 정돈한다.
상기와 같이 치아 영역 설정이 수행되고 나면, 다음으로 치아 포물선 설정이 수행된다.
상기 치아 포물선 설정은 강인추정기법으로 최적의 치아 포물선을 근사시키고 확률적 분포를 이용해 상한과 하한 포물선을 그린다(도 7 참조).
상기와 같이 치아 포물선 설정이 수행되고 나면, 다음으로 개별 치아 위치 판별이 수행된다.
상기 개별 치아 위치 판별은 거리 변환(Distance transform), 위치별 치아 마커, 마커 병합(Merge markers by location and distance) 및 마커 선택(Select markers based on dental characteristics)의 순서로 수행된다.
상기 거리 변환은 상기 마스크에 대한 거리 변환 행렬을 구하고, 각 픽셀의 값은 가장 가까운 배경 픽셀까지의 거리로 대체된다(도 8 참조).
상기 위치별 치아 마커는 거리 변환된 이미지의 국부 최고점들(Local maxima)을 찾아 유역(watershed)의 근원(seed)으로 사용할 마커들을 만든다.
상기 마커 병합은 포물선 기준으로 치아의 크기를 예측하여, 이미지의 상하좌우에 따른 치아 위치 기준을 설정하고(도 9 참조), 이 기준에 맞춰 마커들의 상하와 좌우 거리를 측정하고 기준 거리 이하일 경우 마커들을 하나로 합쳐준다(도 10 참조).
상기 마커 선택은 상기한 유역을 이용해 각 마커에 해당되는 영역을 추출하고, 각 대상(objects)의 윤곽(contours)을 그려 특징(예컨대, 크기, 모양, 위치 등)을 추출하고 포물선과의 관계를 이용해 치아의 특징에 부합하는지 계산한다. 만약, 추출된 특징이 치아의 특징에 부합하지 않을 경우 마커를 제거하여 최종 치아 마커를 선택한다(도 11 참조).
상기와 같이 개별 치아 위치 판별이 수행되고 나면, 다음으로 개별 치아 분할이 수행된다.
상기 개별 치아 분할은 정의된 마커들을 시작으로 마커-제어 유역 알고리즘(marker-controlled watershed algorithm)을 적용하여 개별 치아 영역(도 12 참조)을 구한 후, 각 치아 영역의 중간점을 찾아 치아의 중심으로 표시한다.
상기와 같이 개별 치아 분할이 수행되고 나면, 다음으로 구강 정보 추출이 수행된다.
상기 구강 정보 추출은 각 치아 영역을 기준으로 주위에 박스를 쳐서 치아 사진을 분할하고, 각 이미지에 치아와 잇못을 분리해 정보를 기록한 후, 각 치아의 유형, 모양, 위치, 색깔 등의 유효한 정보를 추출한 다음, 치아의 포물선을 이용해 각 치아의 교정 상태를 파악하고, 기존 기록의 치아와 매칭한다.
상기와 같이 구강 정보 추출이 수행되고 나면, 마지막으로 구강 상태 판별이 수행된다.
상기 구강 상태 판별은 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상(예컨대, 충치)의 위치를 판별한다(도 13 내지 도 15 참조).

Claims (3)

  1. 구강 카메라 영상 시스템을 통해 치아 영상을 입력받고 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리를 위한 프로그램이 탑재된 컴퓨터에 의해 수행되며,
    입력되는 치아 영상에 대한 치아 영역을 설정하는 제1과정과;
    상기의 치아 영역을 설정한 다음으로 치아 포물선을 설정하되, 강인추정기법으로 최적의 치아 포물선을 근사시키고 확률적 분포를 이용해 상한과 하한 포물선을 그리는 제2과정;
    상기의 치아 포물선을 설정한 다음으로 개별 치아 위치를 판별하는 제3과정;
    상기의 개별 치아 위치를 판별한 다음으로 개별 치아를 분할하되, 정의된 마커들을 시작으로 마커-제어 유역 알고리즘(marker-controlled watershed algorithm)을 적용하여 개별 치아 영역을 구한 후, 각 치아 영역의 중간점을 찾아 치아의 중심으로 표시하는 제4과정;
    상기의 개별 치아를 분할한 다음으로 구강 정보를 추출하되, 각 치아 영역을 기준으로 주위에 박스를 쳐서 치아 사진을 분할하고, 각 이미지에 치아와 잇못을 분리해 정보를 기록한 후, 각 치아의 유형, 모양, 위치, 색깔 중 어느 하나 혹은 둘 이상의 유효한 정보를 추출한 다음, 치아의 포물선을 이용해 각 치아의 교정 상태를 파악하고, 기존 기록의 치아와 매칭하는 제5과정; 및
    상기의 구강 정보를 추출한 다음, 마지막으로 구강 상태를 판별하되, 개별 치아에 딥러닝 기반으로 학습된 구강 상태 판별 모델을 적용하여 구강 이상의 위치를 판별하는 제6과정;
    으로 이루어지고,
    상기 제1과정은
    입력 치아 영상에 대하여 고르지 않은 조명을 부드럽게 하고 치아 영역을 강조하기 위해 이미지를 평활화하고 대조를 높여주는 이미지 처리 과정,
    치아를 분간하기 위해 색깔의 표현 방법을 변환하고 한계값(threshold)를 설정하여 치아의 색을 더 정확히 분리될 수 있도록 하는 색깔값 변환 과정,
    치아 및 치아보조물을 분간하기 위한 색깔값 변환을 하고 분리한 부분을 통합하는 치아 영역 색깔 추출, 치아 포물선 설정을 위해 치아의 포물선을 이용해 치아의 기본 위치를 참조하고 치아 부분이 끈김없이 연결되게 포물선들로 이어주고, 포물선들과 연결된 치아는 하나의 연결성분(connected component)이 되고 이미지 안에서의 여러 개의 분리된 성분 중 최대 사이즈가 되며, 최대 사이즈인 치아와 포물선들의 성분을 제외한 성분들은 제거하고, 포물선들을 제거하여 치아 부분만 남기고 이미지를 회색 음영 또는 흑백으로 변환하여 치아 영역을 마스크 처리하는 치아 영역과 포물선 결합 과정,
    상기의 마스크 내에 채워지지 않은 공간을 칠해주고 모양을 정돈하는 이미지 필링(Image filling) 및 형태론적 재구성(morphological reconstruction) 과정의 순서로 수행되는 것을 특징으로 하는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법.
  2. 제 1 항에 있어서, 상기 제3과정은
    상기 마스크에 대한 거리 변환 행렬을 구하고, 각 픽셀의 값은 가장 가까운 배경 픽셀까지의 거리로 대체되는 거리 변환(Distance transform) 과정,
    거리 변환된 이미지의 국부 최고점들(Local maxima)을 찾아 유역(watershed)의 근원(seed)으로 사용할 마커들을 만드는 위치별 치아 마커 과정,
    포물선 기준으로 치아의 크기를 예측하여, 이미지의 상하좌우에 따른 치아 위치 기준을 설정하고, 이 기준에 맞춰 마커들의 상하와 좌우 거리를 측정하고 기준 거리 이하일 경우 마커들을 하나로 합쳐주는 마커 병합(Merge markers by location and distance) 과정 및
    상기한 유역을 이용해 각 마커에 해당되는 영역을 추출하고, 각 대상(objects)의 윤곽(contours)을 그려 크기, 모양, 위치 중 어느 하나 혹은 둘 이상의 특징을 추출하고 포물선과의 관계를 이용해 치아의 특징에 부합하는지 계산하고, 추출된 특징이 치아의 특징에 부합하지 않을 경우 마커를 제거하여 최종 치아 마커를 선택하는 마커 선택(Select markers based on dental characteristics) 과정의 순서로 수행되는 것을 특징으로 하는 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법.
  3. 삭제
KR1020190102993A 2018-08-24 2019-08-22 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법 KR102176490B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180099026 2018-08-24
KR1020180099026 2018-08-24

Publications (2)

Publication Number Publication Date
KR20200023225A KR20200023225A (ko) 2020-03-04
KR102176490B1 true KR102176490B1 (ko) 2020-11-10

Family

ID=69783682

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190102993A KR102176490B1 (ko) 2018-08-24 2019-08-22 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법

Country Status (1)

Country Link
KR (1) KR102176490B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022164175A1 (ko) * 2021-01-26 2022-08-04 주식회사 메디트 삼차원 구강 모델을 처리하는 방법 및 장치
WO2022191490A1 (ko) * 2021-03-10 2022-09-15 주식회사 메디트 구강 교정 정보 표시 시스템
WO2022191665A1 (ko) * 2021-03-11 2022-09-15 주식회사 메디트 구강 이미지 내의 선택 영역을 식별하는 방법 및 이를 위한 장치
KR102496449B1 (ko) 2021-12-29 2023-02-07 이마고웍스 주식회사 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20230030197A (ko) 2021-08-25 2023-03-06 연세대학교 산학협력단 치과용 cbct에서 개별 치아 자동 식별 분할 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986217B (zh) * 2020-09-03 2024-01-16 北京大学口腔医学院 一种图像处理方法、装置及设备
WO2022245160A1 (ko) * 2021-05-20 2022-11-24 주식회사 아이오바이오 임상 진단 및 처방을 위한 진료서비스 제공 방법 및 이를 위한 시스템
KR102662008B1 (ko) * 2022-08-18 2024-04-30 오스템임플란트 주식회사 치아 병변 정보 시각화 방법 및 시스템
CN116912426B (zh) * 2023-09-11 2023-11-21 山东迈尔医疗科技有限公司 一种基于图像处理的义齿模型生成系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2688479B1 (en) 2011-03-21 2018-08-29 Carestream Dental Technology Topco Limited A method for tooth surface classification
KR101862378B1 (ko) * 2016-05-13 2018-05-29 연세대학교 산학협력단 Ct 치아 영상의 자동 세그먼테이션 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wei Wang외 1인, "Structure segmentation of dental tissue based on semantic characteristics", 2017 2th International Conference of AIEA, (2017.10.01.) 1부.*
김도건외 3인, "딥러닝을 이용한 치아진단 시스템", 한국정보처리학회 학술대회논문집, (2017.11.30.) 1부.*

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022164175A1 (ko) * 2021-01-26 2022-08-04 주식회사 메디트 삼차원 구강 모델을 처리하는 방법 및 장치
WO2022191490A1 (ko) * 2021-03-10 2022-09-15 주식회사 메디트 구강 교정 정보 표시 시스템
WO2022191665A1 (ko) * 2021-03-11 2022-09-15 주식회사 메디트 구강 이미지 내의 선택 영역을 식별하는 방법 및 이를 위한 장치
KR20230030197A (ko) 2021-08-25 2023-03-06 연세대학교 산학협력단 치과용 cbct에서 개별 치아 자동 식별 분할 장치 및 방법
KR102496449B1 (ko) 2021-12-29 2023-02-07 이마고웍스 주식회사 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20230101762A (ko) 2021-12-29 2023-07-06 이마고웍스 주식회사 치아 바운더리 커브를 이용한 3차원 스캔 데이터의 치아 자동 분리 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체

Also Published As

Publication number Publication date
KR20200023225A (ko) 2020-03-04

Similar Documents

Publication Publication Date Title
KR102176490B1 (ko) 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법
KR101911567B1 (ko) 치면 분류 방법
US9020228B2 (en) Method for identifying a tooth region
US9773306B2 (en) Method for quantifying caries
US9870613B2 (en) Detection of tooth condition using reflectance images with red and green fluorescence
JP5657865B2 (ja) う蝕状態のリアルタイムの視覚化のための方法
US9235901B2 (en) Method for locating an interproximal tooth region
US8908936B2 (en) Method for extracting a carious lesion area
Kumar et al. Descriptive analysis of dental X-ray images using various practical methods: A review
WO2020182880A1 (en) System and method for generating digital three-dimensional dental models
Datta et al. Detection of dental caries lesion at early stage based on image analysis technique
US9547903B2 (en) Method for quantifying caries
Koutsouri et al. Detection of occlusal caries based on digital image processing
Kumar et al. Automated recognition of dental caries using K-Means and PCA based algorithm
Navarro et al. Detecting smooth surface dental caries in frontal teeth using image processing
Jain et al. Dental image analysis for disease diagnosis
Shivpuje et al. A review on digital dental radiographic images for disease identification and classification
CN114445388A (zh) 一种基于多光谱的图像识别方法、装置及存储介质
Alazab et al. Towards automatic image segmentation using optimised region growing technique
TW202322745A (zh) 口腔檢測系統

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant