KR20220081253A - 치과 임상사진을 이용한 치은염 진단 장치 - Google Patents

치과 임상사진을 이용한 치은염 진단 장치 Download PDF

Info

Publication number
KR20220081253A
KR20220081253A KR1020210107115A KR20210107115A KR20220081253A KR 20220081253 A KR20220081253 A KR 20220081253A KR 1020210107115 A KR1020210107115 A KR 1020210107115A KR 20210107115 A KR20210107115 A KR 20210107115A KR 20220081253 A KR20220081253 A KR 20220081253A
Authority
KR
South Korea
Prior art keywords
gingivitis
learning
processor
layer
diagnosis
Prior art date
Application number
KR1020210107115A
Other languages
English (en)
Other versions
KR102571472B1 (ko
Inventor
조현재
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Publication of KR20220081253A publication Critical patent/KR20220081253A/ko
Application granted granted Critical
Publication of KR102571472B1 publication Critical patent/KR102571472B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

본 발명의 실시예에 따른 치과 임상사진을 이용한 치은염 진단 장치는 치과 임상사진을 수집하는 임상데이터 수집부와 상기 수집된 데이터를 이용하여 학습을 수행하는 학습부 및 입력된 데이터에 대한 치은염 진단을 수행하는 진단부를 포함한다.

Description

치과 임상사진을 이용한 치은염 진단 장치{Device for gingivitis diagnosis using dental clinical photograph}
본 발명은 치과 임상사진을 이용한 치은염 진단 장치에 관한 것으로서, 보다 상세하게는 인공지능을 활용한 치은염 진단 장치에 관한 것이다.
일반적으로 치과의사와 같은 의학적 전문가는 질병 검출(예를 들어, 작은 충치나 확대된 치주인대 간격 등의 세부적인 치아 상태 검출)을 위해 엑스선 촬영 장치를 이용한 엑스선 촬영을 통해 진단 결정을 하고 있다.
종래의 엑스선 촬영 방법을 사용하여 치아의 엑스선 영상을 촬영하기 위해서는 센서 또는 필름을 구강내 삽입하고, 구강 내 엑스선 촬영용 유닛을 환자의 외부에 위치시킨 후 엑스선을 조사한 후 다시 센서의 위치를 바꾸는 방법을 사용하여 계속 재촬영하는 방법을 이용한다.
두번째 방법으로는 파노라마 또는 전산화 단층 촬영용 기기를 활용하여 외부에 엑스선 발생기와 엑스선 검출기를 두고 사이에 환자의 두부가 위치하도록 한 다음, 엑스선 발생기와 엑스선 검출기가 회전하면서 일정한 프레임으로 엑스선 촬영을 하는 방법이 있다.
이러한 방법은 엑스선을 환자에게 조사, 투과 및 검출하는 방식으로 연속촬영을 하여 컴퓨터의 화상 처리를 거치면 치아 및 상악 또는 하악의 연속된 배열을 하나의 영상으로 확인할 수 있다.
그러나 이러한 종래의 장치는 콜리메이터에 의해 조절되어 환자의 치아에 방사되는 X-선 조사영역을 확인하기 어려운 단점이 있다. 즉, 촬영하고자 하는 부위와 X-선의 조사영역을 일치시키기 어려워 정밀하게 촬영이 이루어지지 않는 문제점이 있다.
특히, 치아 및 잇몸은 형태적 특성과 음식물 조각 및 순간적인 압력에 의해 손상이 가해지는 경우가 있고, 환자는 이러한 손상을 즉각적으로 인지하지 못할 뿐만 아니라, 치과의사의 육안 진단이나 종래의 X-선 영상 촬영장치 또는 파노라마 X-선 장치로도 초기 손상을 검출하기 어려운 문제가 있다.
치아 및 잇몸에 발생하는 초기의 손상이나 변형 등을 검출하지 못하면, 환자는 초기 치료시기를 놓치게 되고, 손상이나 변형이 점차 커짐에 따라 진행되는 우식증과 같은 증세로 인하여 질병이 확대될 우려가 있다. 그에 더하여 방사선 피폭의 위험성이 항상 내재되어 있다.
이에 치아, 잇몸 사진을 촬영하여 치아 및 잇몸의 상태를 진단하는 장치가 개발되었다. 그러나 사진에 의한 검사는 간편하게 용이하게 또한 단시간에 잇몸 상태를 관찰할 수 있다는 이점을 가지지만, 검사자의 주관적 판단이 크게 반영되는 것이기 때문에, 결과의 신뢰성, 재현성 및 타당성은 높지 않다.
또한, 치주질환의 원인이 되는 미생물을 검출하는 방법은 검사 비용이 비싸고, 검사 결과의 분석도 간편하지 않다. 또한, 이 방법으로는, 치주질환이 어느 정도 진행한 상태라고 판정하는 것이 곤란하다. 이 때문에 간단하고 쉬운 방법에 의해, 객관적 또는 정량적으로 초기의 치은염의 진단을 실시하는 것이 가능한 기술이 요망되어 있었다.
대한민국 공개특허 제10-2018-0030285호(2018.03.22) 일본 등록특허 4652800(2010.12.24)
본 발명의 목적은 딥러닝을 활용해 정확하게 치주질환을 판단하고 진단하는 장치를 제공하는 것이다.
본 발명의 실시예에 따른 치과 임상사진을 이용한 치은염 진단 장치는 치과 임상사진을 수집하는 임상데이터 수집부와 상기 수집된 데이터를 이용하여 학습을 수행하는 학습부 및 입력된 데이터에 대한 치은염 진단을 수행하는 진단부를 포함한다.
본 발명의 실시예에 따른 치과 임상사진을 이용한 치은염 진단 장치는 적어도 하나의 치아 잇몸 사진을 수신하도록 구성된 인터페이스; 및 상기 인터페이스와 동작 가능하게 결합되고, 상기 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단하도록 구성된 프로세서를 포함하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 프로세서는 복수의 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델을 트레이닝하기 위한 데이터인 트레이닝 세트를 구성하고, 상기 모델의 학습과 검증이 완료된 경우 상기 모델의 성능을 평가하기 위한 테스트 세트를 구성할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 트레이닝 세트 및 상기 수신된 치아 잇몸 사진과 연관된 입력 데이터를 이용하여, 분류 레이어(classification layer)에 기초한 학습을 수행하고, 상기 분류 레이어에 기초한 학습에 기초하여, 상기 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 트레이닝 세트 및 상기 테스트 세트에 대한 학습 성능을 특이도(Specificity) 및 민감도(Sensitivity)에 기반하여 평가할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 트레이닝 세트 및 상기 테스트 세트에 대한 학습 성능을 특이도(Specificity) 및 민감도(Sensitivity)에 따른 AUROC (area under receiver operating characteristic)에 기반하여 평가할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 입력 데이터를 이용하여 구성되는 특징 추출 레이어(feature extraction layer)의 각각의 레이어에서 특징 추출 프로세싱 없이 분류 레이어(classification layer)에 기초한 학습을 수행할 수 있다. 따라서, 상기 특징 추출 레이어에서 전이 학습(transfer learning)을 생략함에 따라, 상기 전이 학습에 따른 오버피팅(over-fitting)이 발생하여 정확도가 감소하는 것을 방지할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 입력 데이터를 이용하여 복수의 컨벌루션 레이어의 각각에 맥스 풀링 레이어를 적층(stack)하여 상기 특징 추출 레이어를 구성하고, 상기 특징 추출 레이어에 완전 연결 층(fully connected layer)을 구성하고 마지막 출력층에 Softmax를 적용하여 상기 분류 레이어를 구성할 수 있다.
일 실시 예에 따르면, 상기 치은염 진단 장치는 상기 프로세서와 동작 가능하게 결합되어 화면에 치과 임상사진을 표시하도록 구성된 디스플레이를 더 포함할 수 있다. 상기 프로세서는 상기 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단할 수 있다. 한편, 상기 프로세서는 서버와 연동하여 BOP (Bleeding on Probing) 정보가 정확하게 측정되었는지 여부를 판단하여, 상기 치은염 부위와 치은염 지수에 대한 정보를 상기 디스플레이에 표시하고, BOP 부위와 BOP 정보 측정의 정확도에 대한 정보를 상기 디스플레이에 표시하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 치은염 부위가 상기 치아 잇몸 사진으로 드러나게 조도와 각도가 맞게 촬영되었는지 대한 평가를 수행하여, 상기 진단 장치와 결합되는 카메라 및 X 레이 장치로 상기 조도와 각도를 조절하기 위한 제어 메시지를 전달할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 치아 잇몸 사진에서 BOP가 있는 치아 부위와 BOP가 없는 치아 부위가 비율을 판단하고, 상기 카메라 및 X 레이 장치가 구동 시 촬영 부위 및 촬영 배율을 조정하도록 제어 메시지를 전달할 수 있다.
본 발명의 실시예에 따른 치은염 진단장치에 의하면, 객관적인 치은염 진단을 수행할 수 있다.
또한, 정확도 높은 치은염 진단결과를 도출할 수 있다.
도 1은 치아사진을 도시한 도면이다.
도 2는 치은부위만을 구분하여 생성된 영상데이터이다.
도 3은 데이터 학습과 진단테스트 과정을 나타낸 개념도이다.
도 4는 치은염 판독결과의 정확도 측정 결과이다.
도 5는 본 발명에 따른 치과 임상사진을 이용한 치은염 진단 장치의 상세 구성을 나타낸다.
도 6은 본 발명에 따른 치은염 진단 장치에서 수행될 수 있는 학습 과정에서 오버 피팅(over-fitting) 이슈를 해결하기 위하여, 전이 학습(transfer learning)이 생략될 수 있음을 나타낸 개념도이다.
도 7은 본 발명에 따른 데이터 세트 구축 과정과 이에 따라 학습을 위한 최종 데이터 세트 구축 과정을 나타낸다.
도 8은 본 발명에 따른 치은염 진단 방법의 흐름도를 나타낸다.
도 9는 본 발명의 추가적인 실시 예에 따른 치은염 진단 방법의 흐름도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 그러나 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예에 따른 치과 임상사진을 이용한 치은염 진단 장치는 카메라 등 촬상장치를 활용하여 치아의 사진을 획득하고, 치아사진에서 치은부위가 촬영된 부분만을 잘라서 분류하며, 이때, 치은염 정보를 진단장치에 입력하여 학습을 수행한다.
도 1은 본 발명의 치은염 진단 장치를 통해 촬영되거나 또는 치은염 진단 장치와 인터페이스 가능한 장치를 이용하여 촬영된 치아사진을 도시한 도면이다. 이와와 관련하여, 치아를 촬영하기 위한 다양한 도구가 있으나, 치아의 전면 및 후면을 모두 촬영가능한 장치로 치아를 촬영하여 데이터를 생성하고, 촬영된 데이터를 저장한다. 일 예로, 치은염 진단 장치와 인터페이스 가능한 장치는 카메라 및/또는 X 레이 장치일 수 있으나 이에 한정되는 것은 아니다.
도 2는 치은부위만을 구분하여 생성된 영상데이터이다.
도 2에 도시된 바와 같이 치아를 촬영한 데이터에서 치은 부위만을 자르고, 치은염 정보를 진단장치에 입력한다. 이때 촬영한 데이터에서 잘려진 치은 부위 각각에 대해서 치은염 정보를 매핑시켜 저장할 수도 있다.
도 3은 데이터 학습과 진단테스트 과정을 나타낸 개념도이다. 도 3을 참조하면, 학습 과정과 관련하여 트레이닝 세트(training set)가 구성될 수 있다. 또한, 학습 검증 과정과 관련하여 테스트 세트(test set)가 구성될 수 있다.
트레이닝 세트는 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델을 트레이닝하기 위한 데이터로 구성될 수 있다. 건강한 치아 잇몸 사진과 연관된 데이터와 치은염이 있는 잇몸 사진과 연관된 데이터를 포함하여 트레이닝 세트가 구성될 수 있다. 테스트 세트는 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델의 학습과 검증이 완료된 경우 해당 모델의 성능을 평가하기 위한 데이터로 구성될 수 있다. 건강한 치아 잇몸 사진과 연관된 데이터와 치은염이 있는 잇몸 사진과 연관된 데이터를 포함하여 테스트 세트가 구성될 수 있다.
도 3에 도시된 바와 같이 본 발명의 실시 예에 따른 치은염 진단장치는 앞서 설명한 영상 데이터를 이용하여 학습을 수행하고, 입력된 테스트 데이터에 대한 치은염 진단결과를 도출한다.
도 4는 치은염 판독결과의 정확도 측정 결과이다. AUROC (area under receiver operating characteristic) 측정 결과에서 정확도의 기준이 되는 수치영역이 존재한다. 이와 관련하여, AUROC를 설명하면, 0.9~1은 매우 우수, 0.8~0.9는 우수, 0.7~0.8은 보통, 0.6~0.7은 나쁨, 0.5~0.6은 매우 나쁨을 나타낸다.
도 4에 도시된 바와 같이 본 발명의 실시예에 따른 치은염 진단장치는 AUROC의 면적인 매우 우수와 우수의 경계에 있어 측정자 1인의 기준에 근접하여 우수하게 치은염을 판독할 수 있다.
본 발명은 도 1 및 도 2와 같은 영상데이터를 이용하여 도 3과 같은 트레이닝 세트 및 테스트 세트를 구성하여, 치은염 판독 및 진단을 수행할 수 있다. 한편, 본 발명은 도 4와 같은 치은염 판독결과의 정확도 측정 분석을 통해 AI 기반 치은염 판독 및 진단의 정확도를 평가한다. 또한, 이러한 평가 결과를 반영하여 AI 기반 치은염 판독 및 진단 방법 정확도가 향상되도록 파라미터 튜닝 등이 가능하다.
본 발명에 따른 치과 임상사진을 이용한 치은염 진단 장치에 대해 도면을 참조하여 설명한다. 이와 관련하여, 도 5는 본 발명에 따른 치과 임상사진을 이용한 치은염 진단 장치의 상세 구성을 나타낸다. 도 5를 참조하면, 치은염 진단 장치(1000)는 인터페이스(100) 및 프로세서(200)를 포함할 수 있다. 이와 관련하여, 인터페이스(100)는 치과 임상사진과 같은 데이터를 수신하도록 구성된 입력 인터페이스(110)를 포함할 수 있다. 또한, 인터페이스(100)는 AI 기반 치은염 판독 및 진단을 수행하는 서버(2000)와 연동 가능한 통신부(120)를 더 포함할 수 있다. 통신부(120)는 유선 통신 및/또는 무선 통신을 통해 서버(2000)와 정보를 송신 또는 수신할 수 있다. 한편, 치은염 진단 장치(1000)는 디스플레이(300) 및 메모리(400)를 더 포함할 수 있다.
한편, 본 발명의 실시예에 따른 치과 임상사진을 이용한 치은염 진단 장치는 치과 임상사진을 수집하는 임상데이터 수집부와 상기 수집된 데이터를 이용하여 학습을 수행하는 학습부 및 입력된 데이터에 대한 치은염 진단을 수행하는 진단부를 포함하도로 구성될 수 있다. 이와 관련하여, 임상데이터 수집부는 인터페이스(100)에 해당하고, 진단부는 프로세서(200)에 해당할 수 있다.
도 1 내지 도 5를 참조하면, 인터페이스(100)는 적어도 하나의 치아 잇몸 사진을 수신하도록 구성될 수 있다. 프로세서(200)는 인터페이스(100)와 동작 가능하게 결합될 수 있다. 프로세서(200)는 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단하도록 구성될 수 있다.
이러한 치은염 부위와 치은염 지수를 판단하기 위한 프로세서(200)의 상세 동작에 대해 이하에서 설명한다. 프로세서(200)는 복수의 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델을 트레이닝하기 위한 데이터인 트레이닝 세트를 구성할 수 있다. 또한, 프로세서(200)는 치은염 부위와 치은염 지수를 판단하기 위한 모델의 학습과 검증이 완료된 경우 상기 모델의 성능을 평가하기 위한 테스트 세트를 구성할 수 있다.
이와 관련하여, 지도 학습(Supervised Learning)은 특징(features)이 이미 정해진 데이터를 사용하여 학습하는 방법이다. 이때, 각 데이터에 정해진 특징은 레이블(label)이라고도 표현할 수 있으며, 레이블이 있는 데이터들의 집합은 트레이닝 세트(Training Set)이라고 지칭할 수 있다. 지도 학습에서는 이와 같은 트레이닝 세트를 통해 각 레이블에 대한 특징을 학습하게 된다. 이렇게 주어진 트레이닝 세트를 학습하게 되면 이 데이터들을 기반으로 한 모델이 생성되고, 이 모델을 사용하면 어떠한 특징을 갖는 데이터가 어떤 레이블에 속할지 추측할 수 있다. 따라서 치은염 부위가 포함된 치과 임상사진으로부터 지도 학습을 위한 트레이닝 세트를 구성하고 학습을 수행할 수 있다. 이에 따라, 구성된 트레이닝 세트에 기초하여 지도 학습을 수행하여 치과 임상사진으로부터 치은염 부위와 치은염 지수를 판단할 수 있다.
비지도 학습(Unsupervised Learning)은 지도 학습과 달리 학습에 사용하는 데이터에 특징(레이블)이 부여되어 있지 않다. 지도 학습이 기존에 있는 데이터를 기반으로 새로운 데이터에 대한 특징을 추론하는 것을 목표로 한다면, 비지도 학습은 주어진 데이터들이 어떻게 구성되어있는지를 분석하는 것을 목표로 한다. 이와 관련하여, 본 발명은 치과 임상사진으로부터 지도 학습을 위한 트레이닝 세트를 구성하지만, 특징 추출 레이어(feature extraction layer)의 각각의 레이어에서 특징 추출 프로세싱을 수행하지 않을 수 있다. 이와 관련하여. 본 발명은 트레이닝 세트를 구성하여 학습을 수행하는 점에서 지도 학습과 유사한 점이 있다. 하지만, 본 발명은 특징 추출 레이어에서 특징 추출 프로세싱을 통한 학습을 수행하지 않는 점에서 비지도 학습과도 유사한 특징이 있다.
이와 관련하여, 도 6은 본 발명에 따른 치은염 진단 장치에서 수행될 수 있는 학습 과정에서 오버 피팅(over-fitting) 이슈를 해결하기 위하여, 전이 학습(transfer learning)이 생략될 수 있음을 나타낸 개념도이다. 도 5를 참조하면, 전이학습은 때로는 오버 피팅으로 테스트 세트에서 정확성이 떨어질 수 있다.
CNN (Convolutional Neural Network)에서, 입력 데이터에서 특징 추출 레이어(feature extraction layer, L1) 및 분류 레이어(classification layer, L2)를 구성할 수 있다. 이와 관련하여, 복수의 특징 추출 레이어(L1)의 각각의 레이어에서 특징 추출 프로세싱을 포함하여 학습이 수행될 수 있다. 이에 기반하여, 분류 레이어(L2)에서 복수의 특징 추출 레이어(L1)에서의 학습 결과를 반영하여 분류 레이어에서 학습을 수행할 수 있다.
전술한 바와 같이, 오버 피팅 이슈를 해결하기 위해, 본 발명에서는 특징 추출 레이어(feature extraction layer)의 각각의 레이어에서 특징 추출 프로세싱 없이 분류 레이어(classification layer)에 기초한 학습을 수행할 수 있다.
이와 관련하여, 도 5 및 도 6을 참조하면, 프로세서(200)는 트레이닝 세트 및 테스트 세트를 구성할 수 있다. 한편, 프로세서(200)는 트레이닝 세트 및 상기 수신된 치아 잇몸 사진과 연관된 입력 데이터를 이용하여, 분류 레이어(classification layer, L2)에 기초한 학습을 수행할 수 있다. 따라서 프로세서(200)는 분류 레이어(L2)에 기초한 학습에 기초하여, 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단할 수 있다.
이와 관련하여, 프로세서(200)는 입력 데이터를 이용하여 구성되는 특징 추출 레이어(feature extraction layer, L1)의 각각의 레이어에서 특징 추출 프로세싱 없이 분류 레이어(classification layer, L2)에 기초한 학습을 수행할 수 있다. 따라서 프로세서(200)는 특징 추출 레이어(L1)에서 전이 학습(transfer learning)을 생략함에 따라, 전이 학습에 따른 오버피팅(over-fitting)이 발생하여 정확도가 감소하는 것을 방지할 수 있다.
한편, 본 발명에서 특징 추출 레이어(L1)의 각각의 레이어에서 특징 추출 프로세싱과 같은 학습이 수행되지 않더라도 CNN 기반 학습을 수행하기 위해 특징 추출 레이어(L1) 자체의 구축은 이루어질 수 있다. 이와 관련하여, 도 7은 본 발명에 따른 데이터 세트 구축 과정과 이에 따라 학습을 위한 최종 데이터 세트 구축 과정을 나타낸다. 도 3 및 도 7을 참조하면, 특정 분류에 따른 복수의 컨볼루션 레이어에 풀링 레이어가 배치되어 사전에 학습된 Visual Geometry Group (VGG)-16을 이용할 수 있다.
이와 관련하여, 본 발명은 치은염 부위와 치은염 지수를 판단하기 위한 모델을 트레이닝하기 위한 트레이닝 세트와 해당 모델의 검증을 위한 테스트 세트를 이용하여, 최적의 학습, 분류 및 성능 평가를 수행하고자 한다. 이를 위해, 도 7에 도시된 바와 같이 VGG-16 모델을 이용하면서 최적의 학습, 분류 및 성능 평가를 위해 다음과 같이 학습 네트워크 구축 및 이러한 학습 네트워크 중 분류 레이어에 기초한 학습 및 분류가 수행될 수 있다 한편, 분류 레이어에 기초한 학습을 수행하는 경우에도 특징 추출 레이어(L1)의 구성이 필요하다.
이를 위해, 프로세서(200)는 도 7에 도시된 바와 같이 입력 데이터를 이용하여 복수의 컨벌루션 레이어의 각각에 맥스 풀링 레이어를 적층(stack)하여 특징 추출 레이어를 구성할 수 있다. 또한, 프로세서(200)는 특징 추출 레이어에 완전 연결 층(fully connected layer)을 구성하고 마지막 출력층에 Softmax를 적용하여 분류 레이어를 구성할 수 있다.
도 5 내지 도 7을 참조하면, 치은염 진단 장치(1000)는 전술한 바와 같이 디스플레이(300) 및 메모리(400)를 더 구비할 수 있다. 디스플레이(300)는 프로세서(200)와 동작 가능하게 결합되어 화면에 치과 임상사진을 표시하도록 구성될 수 있다. 메모리(400)는 치과 임상사진 및 이와 연관된 정보를 저장하도록 구성될 수 있다. 메모리(400)는 트레이닝 세트 및 테스트 세트와 이와 연관된 정보를 저장하도록 구성될 수 있다. 또한, 메모리(400)는 학습에 기초하여, 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수에 관한 정보를 저장하도록 구서될 수 있다.
본 발명에 따른 치은염 진단 장치는 서버(2000)와 연동하여 보다 정확한 AI 기반 치은염 진단이 가능하다. 이와 관련하여, 치은염 진단 장치(100)는 다른 치과 병원의 치은염 진단 장치에서 수행된 결과를 반영하여 학습, 평가 및 분류를 수행할 수도 있다. 이와 관련하여, 프로세서(200)는 서버(2000)에서 수신된 다른 치아 잇몸 사진들을 포함하여 입력 데이터를 구성하거나 또는 서버(200)로부터 여러 형태의 트레이닝 세트 및/또는 테스트 세트를 수신하여 학습을 수행할 수도 있다.
이와 관련하여, 프로세서(200)는 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단할 수 있다. 한편, 프로세서(200)는 서버(2000)와 연동하여 BOP (Bleeding on Probing) 정보가 정확하게 측정되었는지 여부를 판단할 수 있다. 프로세서(200)는 치은염 부위와 치은염 지수에 대한 정보를 디스플레이(300)에 표시하도록 제어할 수 있다. 또한, 프로세서(200)는 BOP 부위와 BOP 정보 측정의 정확도에 대한 정보를 디스플레이(300)에 표시하도록 제어할 수 있다.
한편, 치은염 진단 장치(1000)는 치과 임상사진을 촬영할 수 있는 외부 기기와 연동될 수 있다. 이와 관련하여, 치은염 진단 장치(1000)는 카메라(3100) 및 X 레이 장치(3200)를 포함하는 외부 기기(3000)와 연동될 수 있다.
이와 관련하여, 프로세서(200)는 치은염 부위가 치아 잇몸 사진으로 드러나게 조도와 각도가 맞게 촬영되었는지 대한 평가를 수행할 수 있다. 프로세서(200)는 평가 결과를 고려하여 진단 장치와 결합되는 카메라(3100) 및 X 레이 장치(3200)로 조도와 각도를 조절하기 위한 제어 메시지를 생성하고 전달할 수 있다.
또한, 프로세서(200)는 치아 잇몸 사진에서 BOP가 있는 치아 부위와 BOP가 없는 치아 부위가 비율을 판단할 수 있다. 이에 따라, 프로세서(200)는 카메라(3100) 및 X 레이 장치(3200)가 구동 시 촬영 부위 및 촬영 배율을 조정하도록 제어 메시지를 전달할 수 있다.
이에 따라, 카메라(3100) 및 X 레이 장치(3200)를 통해 치아 잇몸 사진 촬영 시에 조도와 각도를 자동 조정하거나 촬영 부위 별로 촬영 배율이 자동으로 최적화될 수 있다. 이에 따라, 치은염이 있는 것으로 판단되는 부위에 대해 촬영 배율을 확대하면서도 해상도가 유지되도록 카메라(3100) 및 X 레이 장치(3200)의 해상도를 조절할 수 있다. 또한, 치은염이 있는 것으로 판단되는 부위에 대해 촬영 배율을 확대하면서 해당 부위와 위치를 고려하여 최적의 조도와 촬영 각도를 조절할 수 있다.
한편, 본 발명에 따른 치은염 진단 장치는 도 4와 같이 트레이닝 세트 및 테스트 세트에 대한 학습 성능을 평가할 수 있다. 이와 관련하여, 도 4 및 도 5를 참조하면, 프로세서(200)는 자체적으로 또는 서버(200)와 연동하여 트레이닝 세트 및 테스트 세트에 대한 학습 성능을 특이도(Specificity) 및 민감도(Sensitivity)에 기반하여 평가할 수 있다. 또한, 프로세서(200)는 자체적으로 또는 서버(200)와 연동하여 트레이닝 세트 및 테스트 세트에 대한 학습 성능을 특이도(Specificity) 및 민감도(Sensitivity)에 따른 AUROC (area under receiver operating characteristic)에 기반하여 평가할 수 있다.
이와 관련하여, ROC 곡선(수신자 조작 특성 곡선)은 모든 분류 임계값에서 분류 모델의 성능을 보여주는 그래프이다. 이 곡선은 참 양성 비율(true postive ratio, TPR)와 거짓 양성 비율(false postive ratio, FPR)의 두 매개변수를 표시한다. ROC 곡선은 다양한 분류 임계값의 TPR 및 FPR을 나타냅니다. 분류 임계값을 낮추면 더 많은 항목이 양성으로 분류되므로 거짓 양성과 참 양성이 모두 증가한다.
AUC는 'ROC 곡선 아래 영역'을 의미하며, AUC는 도 4의 (0,0)에서 (1,1)까지 전체 ROC 곡선 아래에 있는 전체 2차원 영역을 의미한다. AUC는 가능한 모든 분류 임계값에서 성능의 집계 측정값을 제공할 수 있다. AUC 값의 범위는 0에서 1 사이의 범위일 수 있다. 예측이 100% 잘못된 모델의 AUC는 0.0이고 예측이 100% 정확한 모델의 AUC는 1.0으로 측정될 수 있다.
한편, 전술한 바와 같이 학습 과정과 관련하여 트레이닝 세트(training set)가 구성될 수 있다. 또한, 학습 검증 과정과 관련하여 테스트 세트(test set)가 구성될 수 있다. 트레이닝 세트는 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델을 트레이닝하기 위한 데이터로 구성될 수 있다. 건강한 치아 잇몸 사진과 연관된 데이터와 치은염이 있는 잇몸 사진과 연관된 데이터를 포함하여 트레이닝 세트가 구성될 수 있다. 테스트 세트는 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델의 학습과 검증이 완료된 경우 해당 모델의 성능을 평가하기 위한 데이터로 구성될 수 있다. 건강한 치아 잇몸 사진과 연관된 데이터와 치은염이 있는 잇몸 사진과 연관된 데이터를 포함하여 테스트 세트가 구성될 수 있다.
도 3에 도시된 바와 같이 본 발명의 실시 예에 따른 치은염 진단장치는 앞서 설명한 영상 데이터를 이용하여 학습을 수행하고, 입력된 테스트 데이터에 대한 치은염 진단결과를 도출한다. 한편, 도 4는 치은염 판독결과의 정확도 측정 결과이다. AUROC (area under receiver operating characteristic) 측정 결과에서 정확도의 기준이 되는 수치영역이 존재한다. 이와 관련하여, AUROC를 설명하면, 0.9~1은 매우 우수, 0.8~0.9는 우수, 0.7~0.8은 보통, 0.6~0.7은 나쁨, 0.5~0.6은 매우 나쁨을 나타낸다. 도 4에 도시된 바와 같이 본 발명의 실시 예에 따른 치은염 진단장치는 AUROC의 면적이 매우 우수와 우수의 경계에 있어 측정자 1인의 기준에 근접하여 우수하게 치은염을 판독할 수 있다.
전술한 바와 같이, 본 발명에 따른 치은염 진단 장치는 트레이닝 세트 및 테스트 세트를 구성하여 치은염 부위 및 치은염 지수에 대한 진단을 수행할 수 있다. 이를 위해, 촬영되어 수신된 치아 잇몸 사진으로부터 입력 데이터를 생성하고, 학습을 위한 학습 네트워크를 구성한다. 전이 학습에 따른 오버 피팅 이슈를 해소하기 위해 분류 레이어에 기초한 학습 및 분류를 수행하면서도 정확한 분류 및 진단을 위해 특징 추출 레이어에 기반하여 분류 레이어를 구축할 수 있다. 다시 말해, 복수의 특징 추출 레이어와 분류 레이어를 구축하면서도 분류 레이어에 기초한 학습 및 분류를 통해 치은염 부위 및 치은염 지수에 대한 빠르고 정확한 진단이 가능하다.
한편, 본 발명에 따른 딥 러닝 기반의 치은염 진단 장치 및 방법과 관련하여, 치은염 진단 장치는 다음과 같은 기술적 특징을 갖도록 구성될 수 있다.
1) 트레이닝 세트, 테스트 세트를 구축하여, 딥 러닝 기반 치은염 부위 검출 및 치은염 지수에 대한 개괄적인 정보를 제공할 수 있다.
2) 진단 장치의 프로세서에 Anaconda와 Tensorflow를 설치하고 MNIST와 같은 간단한 소스코드가 다운로드되어 메모리에 저장되고, 진단 장치 구동 시 해당 소스코드가 포함된 프로그램이 실행될 수 있다.
3) GPU구동이 가능하도록 구성된 운영 체제 프로그램, 예컨대 리눅스 우분투에 딥러닝 도구를 설치될 수 있다. 이에 따라, 프로세서가 공유된 소스코드를 이용하여 수신된 치아 잇몸 사진에서 치은염 부위 검출 및 치은염 지수 진단이 이루어지도록 소스코드를 실행할 수도 있다.
4) 공유된 소스코드에서 치은염 부위 검출 및 치은염 지수 진단을 위해 최적화된 학습 및 분류 방법이 반영되도록 소스코드가 수정되어, 프로세서가 수정된 소스코드를 실행할 수 있다.
5) 딥러닝과 관련된 기술적 특징들 중 치은염 부위 검출 및 치은염 지수 진단을 위해 최적화된 학습 및 분류 방법을 제시하고, 이를 위해 이미지 촬영 시 촬영 각도 및 조도를 최적으로 제어할 수 있다.
6) 기존에 없던 새로운 학습 네트워크 구조를 만들어서 이를 바탕으로 더 나은 딥 러닝의 네트워크 모형을 제시할 수 있다.
이상에서는 본 발명의 일 양상에 따른 치은염 진단 장치에 대해 설명하였다. 이하에서는 본 발명의 다른 양상에 따른 치은염 진단 방법에 대해 설명한다. 이와 관련하여, 도 1 내지 도 7의 치은염 진단 장치에 대한 설명이 이하의 치은염 진단 방법에 적용될 수 있다.
도 8은 본 발명에 따른 치은염 진단 방법의 흐름도를 나타낸다. 이와 관련하여, 도 8의 각 단계들은 나열된 순서에 한정되는 것은 아니고 응용에 따라 다양하게 변경 가능하다.
도 8을 참조하면, 치은염 진단 방법은 트레이닝 세트 구성 단계(S110), 테스트 세트 구성 단계(S120), 분류 레이어 기반 학습 단계(S200) 및 치은염 부위/지수 판단 단계(S300)을 포함하도록 구성될 수 있다.
트레이닝 세트 구성 단계(S110)에서, 복수의 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델을 트레이닝하기 위한 데이터인 트레이닝 세트를 구성할 수 있다. 테스트 세트 구성 단계(S120)에서, 모델의 학습과 검증이 완료된 경우 상기 모델의 성능을 평가하기 위한 테스트 세트를 구성할 수 있다.
분류 레이어 기반 학습 단계(S200)에서, 트레이닝 세트 및 상기 수신된 치아 잇몸 사진과 연관된 입력 데이터를 이용하여, 분류 레이어(classification layer)에 기초한 학습을 수행할 수 있다. 한편, 치은염 부위/지수 판단 단계(S300)에서 분류 레이어에 기초한 학습에 기초하여, 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단할 수 있다.
한편, 치은염 진단 방법은 특징 추출 레이어 구성 단계(S130) 및 분류 레이어 구성 단계(S140)를 더 포함할 수 있다. 특징 추출 레이어 구성 단계(S130)에서, 입력 데이터를 이용하여 복수의 컨벌루션 레이어의 각각에 맥스 풀링 레이어를 적층(stack)하여 상기 특징 추출 레이어를 구성할 수 있다. 한편, 분류 레이어 구성 단계(S140)에서, 특징 추출 레이어에 완전 연결 층(fully connected layer)을 구성하고 마지막 출력층에 Softmax를 적용하여 상기 분류 레이어를 구성할 수 있다. 이에 따라, 분류 레이어 기반 학습 단계(S200)에서 입력 데이터를 이용하여 구성되는 특징 추출 레이어(feature extraction layer)의 각각의 레이어에서 특징 추출 프로세싱 없이 분류 레이어(classification layer)에 기초한 학습을 수행할 수 있다. 이에 따라, 특징 추출 레이어에서 전이 학습(transfer learning)을 생략함에 따라, 전이 학습에 따른 오버피팅(over-fitting)이 발생하여 정확도가 감소하는 것을 방지할 수 있다.
한편, 본 발명에 따른 치은염 진단 방법은 환자 진료 중에 실시간으로 수행될 수도 있다. 이와 관련하여, 도 9는 본 발명의 추가적인 실시 예에 따른 치은염 진단 방법의 흐름도를 나타낸다.
도 9를 참조하면, 치은염 진단 방법은 조도/각도 기반 촬영 평가 단계(S400)를 더 수행할 수 있다. 조도/각도 기반 촬영 평가 단계(S400)에서, 치은염 부위가 상기 치아 잇몸 사진으로 드러나게 조도와 각도가 맞게 촬영되었는지 대한 평가를 수행할 수 있다. 조도/각도 기반 촬영 평가 단계(S400)에서 조도와 각도를 수정할 필요가 있다고 판단되면 진단 장치와 결합되는 카메라 및 X 레이 장치로 상기 조도와 각도를 조절하기 위한 제어 메시지를 전달하는 제어 메시지 전달 단계(S500)을 더 수행할 수 있다. 한편, 조도/각도 기반 촬영 평가 단계(S400)에서 조도와 각도를 수정할 필요가 없다고 판단되면, 더 이상의 학습 및 분류 과정을 수행하지 않고 치은염 진단을 종료할 수도 있다.
치은염 진단 방법은 제어 메시지 전달 단계(S500)를 수행한 이후 최적의 조도와 촬영 각도가 설정되면 해당 조도와 촬영 각도로 치아 잇몸 사진을 촬영하는 치아 잇몸 사진 촬영 단계(S600)를 더 수행할 수 있다. 도 8 및 도 9를 참조하면, 치아 잇몸 사진 촬영 단계(S600)를 수행한 이후 도 8의 트레이닝 세트 구성 단계(S110) 이하의 단계가 더 수행될 수 있다. 이와 관련하여, 추가로 촬영된 치아 잇몸 사진을 통한 치은염 판단 시 추가적인 트레이닝 세트 구성이 불필요하다고 판단되면 트레이닝 세트 구성 단계(S110)를 생략할 수도 있다. 따라서, 응용에 따라 도 8의 단계 중 일부를 생략할 수도 있다.
이상에서는 본 발명에 따른 치은염 진단 장치 및 방법에 대해 설명하였다. 이러한 본 발명에 따른 치은염 진단 장치 및 방법의 기술적 효과는 다음과 같다.
본 발명의 실시예에 따른 치은염 진단장치에 의하면, 객관적인 치은염 진단을 수행할 수 있다.
또한, 정확도 높은 치은염 진단결과를 도출할 수 있다.
이에 따라, 본 발명에 따른 치은염 진단 장치를 통해 임상사진을 이용한 인공지능의 치은염 진단이 충분히 신뢰도가 있는 도구가 될 수 있는 가능성을 제시한다.
본 발명에 따른 테스트 세트에서 더 넓은 ROC 면적을 보였기에 오버 피티(over-fitting) 없이 잘 학습된 것으로 판단된다.
한편, 데이터 분류를 할 때 단일 검사자 (또는 단일 장치의 프로세서)가 시행하여, 기준의 일관성은 있으나 편향이 있을 가능성은 있다. 하지만, 더 많은 검사자 (또는 더 많은 진단 장치의 프로세서들과 서버)가 분류에 참여하여 정확도와 타당성을 향상시킬 수 있다.
한편, 본 발명에서는 일 예시로 1,332장의 많은 이미지를 사용하였으나, 27명의 임상사진에서 잘라낸 영상이기에 더 많은 수의 사진을 사용하여 분석할 필요가 있다.
한편, 본 발명의 기술적 특징에 대한 연구가 더욱 진행된다면 딥 러닝 기술은 치은염의 객관적 진단에 기여할 것으로 판단된다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (8)

  1. 치과 임상사진을 이용한 치은염 진단 장치에 있어서,
    적어도 하나의 치아 잇몸 사진을 수신하도록 구성된 인터페이스; 및
    상기 인터페이스와 동작 가능하게 결합되고, 상기 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    복수의 치아 잇몸 사진으로부터 치은염 부위와 치은염 지수를 판단하기 위한 모델을 트레이닝하기 위한 데이터인 트레이닝 세트를 구성하고,
    상기 모델의 학습과 검증이 완료된 경우 상기 모델의 성능을 평가하기 위한 테스트 세트를 구성하고,
    상기 트레이닝 세트 및 상기 수신된 치아 잇몸 사진과 연관된 입력 데이터를 이용하여, 분류 레이어(classification layer)에 기초한 학습을 수행하고,
    상기 분류 레이어에 기초한 학습에 기초하여, 상기 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단하는, 치은염 진단 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 트레이닝 세트 및 상기 테스트 세트에 대한 학습 성능을 특이도(Specificity) 및 민감도(Sensitivity)에 기반하여 평가하는, 치은염 진단 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 트레이닝 세트 및 상기 테스트 세트에 대한 학습성능을 특이도(Specificity) 및 민감도(Sensitivity)에 따른 AUROC (area under receiver operating characteristic)에 기반하여 평가하는, 치은염 진단 장치.
  4. 제1 항에 있어서,
    상기 프로세서는,
    상기 입력 데이터를 이용하여 구성되는 특징 추출 레이어(feature extraction layer)의 각각의 레이어에서 특징 추출 프로세싱 없이 분류 레이어(classification layer)에 기초한 학습을 수행하고,
    상기 특징 추출 레이어에서 전이 학습(transfer learning)을 생략함에 따라, 상기 전이 학습에 따른 오버피팅(over-fitting)이 발생하여 정확도가 감소하는 것을 방지하는, 치은염 진단 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 입력 데이터를 이용하여 복수의 컨벌루션 레이어의 각각에 맥스 풀링 레이어를 적층(stack)하여 상기 특징 추출 레이어를 구성하고,
    상기 특징 추출 레이어에 완전 연결 층(fully connected layer)을 구성하고 마지막 출력층에 Softmax를 적용하여 상기 분류 레이어를 구성하는, 치은염 진단 장치.
  6. 제1 항에 있어서,
    상기 프로세서와 동작 가능하게 결합되어 화면에 치과 임상사진을 표시하도록 구성된 디스플레이를 더 포함하고,
    상기 프로세서는,
    상기 수신된 치아 잇몸 사진으로부터 치은염이 발생한 치은염 부위와 치은염 지수를 판단하고,
    서버와 연동하여 BOP (Bleeding on Probing) 정보가 정확하게 측정되었는지 여부를 판단하여, 상기 치은염 부위와 치은염 지수에 대한 정보를 상기 디스플레이에 표시하고, BOP 부위와 BOP 정보 측정의 정확도에 대한 정보를 상기 디스플레이에 표시하도록 제어하는, 치은염 진단 장치.
  7. 제6 항에 있어서,
    상기 프로세서는,
    치은염 부위가 상기 치아 잇몸 사진으로 드러나게 조도와 각도가 맞게 촬영되었는지 대한 평가를 수행하여, 상기 진단 장치와 결합되는 카메라 및 X 레이 장치로 상기 조도와 각도를 조절하기 위한 제어 메시지를 전달하는, 치은염 진단 장치.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 치아 잇몸 사진에서 BOP가 있는 치아 부위와 BOP가 없는 치아 부위가 비율을 판단하고,
    상기 카메라 및 X 레이 장치가 구동 시 촬영 부위 및 촬영 배율을 조정하도록 제어 메시지를 전달하는, 치은염 진단 장치.
KR1020210107115A 2020-12-08 2021-08-13 치과 임상사진을 이용한 치은염 진단 장치 KR102571472B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200170123 2020-12-08
KR20200170123 2020-12-08

Publications (2)

Publication Number Publication Date
KR20220081253A true KR20220081253A (ko) 2022-06-15
KR102571472B1 KR102571472B1 (ko) 2023-08-28

Family

ID=81987365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210107115A KR102571472B1 (ko) 2020-12-08 2021-08-13 치과 임상사진을 이용한 치은염 진단 장치

Country Status (1)

Country Link
KR (1) KR102571472B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4652800B2 (ja) 2004-12-21 2011-03-16 正樹 神原 歯科用検査装置
KR20180030285A (ko) 2016-09-12 2018-03-22 한국광기술원 광 투과형 구강 진단 장치
KR20190008852A (ko) * 2016-04-05 2019-01-25 라이온 가부시키가이샤 치주병 스테이지의 판정 방법
KR20200046162A (ko) * 2018-10-16 2020-05-07 주식회사 큐티티 딥러닝과 빅데이터를 이용한 치주질환관리시스템
KR20200114228A (ko) * 2019-03-28 2020-10-07 한국과학기술원 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템
KR20200116278A (ko) * 2019-04-01 2020-10-12 주식회사 뷰노 치과 영상으로부터 피검체의 성별 및 연령을 판정하는 방법 및 이를 이용한 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4652800B2 (ja) 2004-12-21 2011-03-16 正樹 神原 歯科用検査装置
KR20190008852A (ko) * 2016-04-05 2019-01-25 라이온 가부시키가이샤 치주병 스테이지의 판정 방법
KR20180030285A (ko) 2016-09-12 2018-03-22 한국광기술원 광 투과형 구강 진단 장치
KR20200046162A (ko) * 2018-10-16 2020-05-07 주식회사 큐티티 딥러닝과 빅데이터를 이용한 치주질환관리시스템
KR20200114228A (ko) * 2019-03-28 2020-10-07 한국과학기술원 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템
KR20200116278A (ko) * 2019-04-01 2020-10-12 주식회사 뷰노 치과 영상으로부터 피검체의 성별 및 연령을 판정하는 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR102571472B1 (ko) 2023-08-28

Similar Documents

Publication Publication Date Title
US11676701B2 (en) Systems and methods for automated medical image analysis
US10984529B2 (en) Systems and methods for automated medical image annotation
US11348237B2 (en) Artificial intelligence architecture for identification of periodontal features
US10685259B2 (en) Method for analyzing an image of a dental arch
US11314983B2 (en) Method for analyzing an image of a dental arch
US20200372301A1 (en) Adversarial Defense Platform For Automated Dental Image Classification
US11367188B2 (en) Dental image synthesis using generative adversarial networks with semantic activation blocks
US20210358124A1 (en) Method for analyzing an image of a dental arch
CA3149760A1 (en) Automated medical image annotation and analysis
US20210118132A1 (en) Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
US20200411167A1 (en) Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning
US11276151B2 (en) Inpainting dental images with missing anatomy
US10755409B2 (en) Method for analyzing an image of a dental arch
US20200387829A1 (en) Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information
US20200411201A1 (en) Systems And Method For Artificial-Intelligence-Based Dental Image To Text Generation
US11311247B2 (en) System and methods for restorative dentistry treatment planning using adversarial learning
US20190026893A1 (en) Method for analyzing an image of a dental arch
Liu et al. A pilot study of a deep learning approach to detect marginal bone loss around implants
JP2019208831A (ja) 歯科分析システムおよび歯科分析ｘ線システム
da Mata Santos et al. Automated Identification of Dental Implants Using Artificial Intelligence.
Karatas et al. A deep learning approach to dental restoration classification from bitewing and periapical radiographs
US20210338379A1 (en) Method for analyzing an image of a dental arch
KR102571472B1 (ko) 치과 임상사진을 이용한 치은염 진단 장치
US20220215547A1 (en) Method for analyzing an image of a dental arch
US20230190182A1 (en) Tooth decay diagnostics using artificial intelligence

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant