KR102377629B1 - 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법 - Google Patents

환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102377629B1
KR102377629B1 KR1020200075589A KR20200075589A KR102377629B1 KR 102377629 B1 KR102377629 B1 KR 102377629B1 KR 1020200075589 A KR1020200075589 A KR 1020200075589A KR 20200075589 A KR20200075589 A KR 20200075589A KR 102377629 B1 KR102377629 B1 KR 102377629B1
Authority
KR
South Korea
Prior art keywords
angle
neural network
calibration
orthodontic
line
Prior art date
Application number
KR1020200075589A
Other languages
English (en)
Other versions
KR20210157933A (ko
Inventor
송언의
홍찬희
Original Assignee
송언의
홍찬희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송언의, 홍찬희 filed Critical 송언의
Priority to KR1020200075589A priority Critical patent/KR102377629B1/ko
Publication of KR20210157933A publication Critical patent/KR20210157933A/ko
Application granted granted Critical
Publication of KR102377629B1 publication Critical patent/KR102377629B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • General Engineering & Computer Science (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

일 양상에 따르면, 뉴럴 네트워크를 이용한 교정 진단 장치로서, 메모리; 및
프로그램을 실행함으로써 뉴럴 네트워크를 처리하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 환자 안면의 측부에 관한 입력 이미지를 수신하고, 학습된 뉴럴 네트워크를 이용하여 입력 이미지 상에 복수의 기준점들 및 복수의 기준점들 중 적어도 일부를 연결하는 복수의 기준선들을 획득하는 기준 정보 획득 모델 및 복수의 기준선들에 기초하여, 교정 진단 보고서를 생성하는 교정 진단 모델을 포함하는 교정 진단 장치가 제공될 수 있다.

Description

환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법{Artificial Intelligence Deep learning-based orthodontic diagnostic device for analyzing patient image and generating orthodontic diagnostic report and operation method thereof}
본 출원에 의해 개시되는 발명은 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법에 관한 것이다
부정교합이란 어떤 원인에 의해 치아의 배열이 가지런하지 않거나 상하악의 맞물림 상태가 정상의 위치를 벗어나서 기능적, 심미적으로 문제가 되는 부정확한 교합관계를 의미한다.
부정교합을 치료하기 위해 종래에 다양한 방식의 교정 치료가 수행되고 있다. 예를 들면, 교정의가 환자의 두부 방사선 영상을 보면서 교정의가 직접 수작업으로 기준점을 마크하고, 기준점에 기초하여 환자의 얼굴형 및 교정 진단을 판단하고 있다. 종래의 방법에 관한 또 다른 예를 들면, 교정의가 페이스 보우(face-bow)를 이용하여, 상악 및 하악 등의 위치관계를 생체 상에서 기록하고 교합기로 재현하는 방법이 사용되고 있다.
그러나, 이러한 종래 방식은 방사선 영상 자료를 필수적으로 요구하므로, 방사선 영상을 확보하는 데 소요되는 시간, 비용, 전문인력 소모 및 방사선 노출로 인한 부작용 등의 문제점을 내포하고 있다.
또, 이러한 종래 방식은 교정의 마다 진료 방식이 상이함에 따라 기준점의 표준화 및 공유가 어렵고, 수작업 특성 상 방대한 시간 소요 및 교정의의 숙련도에 따른 편차 등의 문제점을 가지고 있다.
따라서, 종래의 문제점들을 해결하기 위한 교정 진단 장치 및 방법에 대한 연구 및 수요가 증가하고 있다.
관련 선행 문헌으로는, 치아가 없는 환자의 디지털 의치 처방 데이터를 수집하고 디지털 의치 처방 데이터에 기초하여 맞춤형 의치를 제조하는 것에 관한 대한민국 공개 특허 제 10-2010-0138950호 및 환자의 치아 등에 대한 디지털 데이터를 통해 수복치료가 필요한 치아모델에 대한 형상 및 그 치아모델의 교합상태를 판단하는 디지털 교합기에 관한 대한민국 등록 특허 제 10-0954552호가 공개된 바 있다.
본 발명의 일 과제는, 일반적인 촬영 기구를 통해 획득된 환자의 안면에 관한 이미지를 입력받고, 학습된 딥러닝 기반 뉴럴 네트워크를 활용하여 이미지 상에 복수의 기준점들을 생성하고, 복수의 기준점들에 기초하여 환자의 안면에 관한 교정 진단 보고서를 생성하는 교정 진단 장치 및 방법을 제공하는 것이다.
본 발명의 다른 일 과제는 환자가 표지 부재를 입에 파지한 상태에서 일반적인 촬영 기구를 통해 획득된 환자의 안면에 관한 이미지를 입력받고, 학습된 딥러닝 기반 뉴럴 네트워크를 활용하여 이미지 상에 표지 부재를 나타내는 표지선 및 복수의 기준점들을 생성하고, 표지선과 복수의 기준점들에 기초하여 환자의 안면에 관한 교정 진단 보고서를 생성하는 교정 진단 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 양상에 따르면, 뉴럴 네트워크를 이용한 교정 진단 장치로서, 메모리; 및 프로그램을 실행함으로써 뉴럴 네트워크를 처리하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 환자 안면의 측부에 관한 입력 이미지를 수신하고, 학습된 뉴럴 네트워크를 이용하여 입력 이미지 상에 복수의 기준점들 및 복수의 기준점들 중 적어도 일부를 연결하는 복수의 기준선들을 획득하는 기준 정보 획득 모델 및 복수의 기준선들에 기초하여, 교정 진단 보고서를 생성하는 교정 진단 모델을 포함하는 교정 진단 장치가 제공될 수 있다.
또, 기준 정보 획득 모델은 복수의 기준점들에 기초하여, 제1 기준선 및 제2 기준선을 획득하고, 교정 진단 모델은 제1 기준선 및 제2 기준선 사이의 기준 각도가 제1 각도 이상인 경우, 비발치 교정 진단을 생성하고, 기준 각도가 제1 각도보다 큰 제2 각도 이상인 경우 발치 교정 진단을 생성하고, 기준 각도가 제2 각도보다 큰 제3 각도 이상인 경우 악교정 수술 진단을 생성할 수 있다.
또, 메모리는 기준 정보의 분포에 관한 분포 정보를 저장하고, 교정 진단 모델은 분포 정보 상에서 제1 기준선 및 제2 기준선 사이의 각도가 속하는 구간에 기초하여, 교정 진단 보고서를 생성할 수 있다.
또, 기준 정보 획득 모델은 입력 이미지 상에서 제1 속성에 기초하여 복수의 기준점들을 획득하고, 제1 속성과 상이한 제2 속성에 기초하여, 입력 이미지 상에서 환자가 입으로 파지하고 있는 표지 부재를 탐색하고, 표지 부재를 연장하여 표지선을 획득할 수 있고, 교정 진단 모델은 기준선 및 표지선에 기초하여, 교정 진단 보고서를 생성할 수 있다.
또, 기준 정보 획득 모델은 표지 부재의 형상, 길이, 위치 및 색상 중에서 선택된 적어도 하나를 포함하는 제2 속성에 기초하여 표지 부재를 탐색할 수 있다.
또, 기준 정보 획득 모델은 입력 이미지 상에서 윗입술 점(UL) 및 아랫입술 점 (LL) 을 획득하고, 윗입술 점 및 아랫입술 점 사이에 영역에서 표지 부재를 탐색할 수 있다.
또, 기준 정보 획득 모델은 표지 부재가 소정의 길이 이상일 것을 조건으로 하여, 표지 부재를 탐색할 수 있다.
또, 기준 정보 획득 모델은 입력 이미지 상에서 외이도(porion), 안와하(infraorbital), 턱모서리(gonion) 및 턱선을 포함하는 복수의 기준점들을 획득하고, 외이도 및 안와하를 연결하는 제1 기준선 및 턱모서리 및 턱선을 따라 연장하는 제2 기준선을 획득하고, 교정 진단 모델은 제1 기준선 및 제2 기준선 사이의 각도에 기초하여, 교정 진단 보고서를 생성할 수 있다.
다른 일 실시예에 따르면, 환자 안면의 측부에 관한 입력 이미지를 수신하고, 학습된 뉴럴 네트워크를 이용하여 입력 이미지 상에 복수의 기준점들을 획득하는 단계, 복수의 기준점들 중 적어도 일부를 연결하는 복수의 기준선들을 획득하는 단계 및 복수의 기준선들에 기초하여, 교정 진단 보고서를 생성하는 단계를 포함하는 뉴럴 네트워크를 이용한 교정 진단 방법이 제공될 수 있다.
본 발명에 의하면, 교정 진단에 학습된 딥러닝 기반 뉴럴 네트워크를 활용함에 따라, 일반적인 촬영 기구를 통해 획득된 환자의 안면에 관한 이미지로부터 간편하게 교정 진단 보고서를 획득할 수 있다. 이로써 향상된 정확도를 갖는 교정 진단이 생성될 수 있고, 인력, 비용 및 시간이 절감될 수 있다.
또한 본 발명에 의하면, 환자의 이미지 분석 시, 환자가 입에 파지한 표지 부재를 표지선으로 활용함으로써, 교정 진단의 정확성을 향상시키고, 소요되는 비용 및 시간을 절감할 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 교정 진단 장치에 관한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 교정 진단 장치의 동작에 관한 블록 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 교정 진단 장치의 동작 방법에 관한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 교정 진단 장치가 입력된 환자 이미지를 분석하여 기준 정보들을 획득하는 것에 관한 도면이다.
도 5는 본 발명의 일 실시예에 따른 교정 진단 장치가 환자 이미지 상에 생성한 기준 정보에 관한 도면이다.
도 6은 본 발명의 일 실시예에 따른 교정 진단 장치가 기준 정보에 기초하여 교정 진단을 생성하는 것에 관한 도면이다.
도 7은 본 발명의 일 실시예에 따른 교정 진단 장치가 기준 정보에 기초하여 교정 진단을 생성하는 것에 관한 도면이다.
도 8은 본 발명의 일 실시예에 따른 교정 진단 장치의 동작 방법에 관한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 교정 진단 장치가 입력된 환자 이미지를 분석하여 표지 정보 및 기준 정보들을 획득하는 것에 관한 도면이다.
도 10은 본 발명의 일 실시예에 따른 교정 진단 장치가 환자 이미지 상에 생성한 표지 정보 및 기준 정보에 관한 도면이다.
도 11은 본 발명의 일 실시예에 따른 교정 진단 장치가 표지 정보 및 기준 정보에 기초하여 교정 진단을 생성하는 것에 관한 도면이다.
실시예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 교정 진단 장치(100)에 관한 블록도이다.
도 1을 참조하면, 교정 진단 장치(100)는 사용자 인터페이스(110), 프로세서(120) 및 메모리(130)를 포함할 수 있다.
교정 진단 장치(100)는 환자의 안면을 대상으로 촬영된 이미지를 수신하고, 학습된 딥러닝 기반 뉴럴 네트워크를 이용하여 환자 이미지를 분석함으로써, 환자에 대한 교정 진단 보고서를 생성 및 출력할 수 있다.
사용자 인터페이스(110)는 사용자 입력을 수신하고, 사용자에게 정보를 출력할 수 있다. 예를 들면, 사용자 인터페이스(110)는 사용자로부터 환자 이미지를 수신하고, 교정 진단 보고서를 출력할 수 있다. 사용자 인터페이스(110)는 사용자 입력을 프로세서(120)에게 전달할 수 있고, 프로세서(120)로부터, 출력할 정보를 수신할 수 있다. 사용자 인터페이스(110)는 버튼, 터치 스크린, 키보드, 카메라, 마이크 및 각종 센서 중 적어도 하나를 포함할 수 있다.
프로세서(120)는 교정 진단 장치(100)의 전반적 동작을 제어할 수 있다. 프로세서(120)는 메모리(130)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예를 들면, 프로세서(120)는 입력 데이터로부터 뉴럴 네트워크를 학습하는 과정, 환자 이미지를 분석하는 과정 및 교정 진단을 생성하는 과정 등을 수행할 수 있다.
일 실시예에 따르면, 프로세서(120)는 그 기능에 따라 환자 이미지로부터 기준 정보를 획득하는 기준 정보 획득 모델(140) 및 기준 정보에 기초하여 교정 진단을 생성하는 교정 진단 모델(150) 등을 포함할 수 있다. 기준 정보 획득 모델(140) 및 교정 진단 모델(150) 등에 대해서는 도 2를 통해 더 자세히 설명한다.
프로세서(120)는 뉴럴 네트워크를 이용하여 교정 진단 방법을 수행할 수 있다. 프로세서(120)는 수신되는 입력 데이터를 기초로 뉴럴 네트워크의 연산을 수행하고, 수행 결과를 기초로 정보 신호를 생성할 수 있다. 뉴럴 네트워크는 Convolutional Neural Networks(CNN), Recurrent Neural Networks(RNN), Deep Belief Networks, Restricted Boltzman Machines 등을 포함할 수 있으나 이에 제한되지 않는다.
프로세서(120)의 다양한 동작 예들은 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 프로세서(120)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 프로세서(120)는 CPU, GPU, AP 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 프로세서(120)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(130)에 저장되고, 프로세서(120)에 의해 실행될 수 있다.
메모리(130)는, 교정 진단 장치(100)의 동작을 위해 필요한 정보들을 기록할 수 있다. 메모리(130)는 예를 들면 OS(Operating System), 각종 프로그램들, 및 각종 데이터를 저장할 수 있다. 또, 메모리(130)는 뉴럴 네트워크 데이터, 예컨대, 파라미터들, 웨이트 맵 또는 웨이트 리스트를 저장할 수 있다.
메모리(130)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다.
미도시 하였으나, 교정 진단 장치(100)는 카메라 모듈, 통신 모듈, 디스플레이 모듈, 보안 모듈, 전력 제어 모듈 등을 더 포함할 수 있다. 교정 진단 장치(100)의 하드웨어 구성들 중 일부는 적어도 하나의 반도체 칩에 탑재될 수 있다.
교정 진단 장치(100)는 카메라 모듈을 통해 환자의 이미지를 촬영할 수 있다. 교정 진단 장치(100)는 통신 모듈을 통해 환자 이미지를 수신하거나, 교정 진단 보고서를 사용자 단말기로 송신할 수 있다. 교정 진단 장치(100)는 디스플레이 모듈을 통해 환자의 이미지를 분석 과정 중 생성되는 각종 정보 및 교정 진단 보고서를 출력할 수 있다.
교정 진단 장치(100)는 의료 디바이스, 로봇 장치, 스마트 TV, 스마트폰, 모바일 디바이스, 영상 표시 디바이스, 계측 디바이스, IoT 디바이스 및 드론(drone) 등에 적용될 수 있다. 예를 들면 교정 진단 장치(100)는, 디지털 사이니지(digital signage)나 옥외 광고 등 디스플레이를 포함하는 전자 장치에 탑재됨으로써 광고 홍보물로서 활용될 수 있다.
뉴럴 네트워크는 딥 뉴럴 네트워크(DNN, deep neural network)의 예시에 해당할 수 있다. 뉴럴 네트워크는 2개 이상의 히든 레이어들(hidden layers)을 포함할 수 있다.
뉴럴 네트워크에서 출력 레이어(output layer)를 제외한 레이어들의 인공 노드들은 출력 신호를 전송하기 위한 링크들을 통해 다음 레이어의 인공 노드들과 연결될 수 있다. 이들 링크를 통해 인공 노드에는 이전 레이어에 포함된 인공 노드들의 가중된 입력들(weighted inputs)에 관한 활성 함수(activation function)의 출력이 입력될 수 있다. 가중된 입력은 인공 노드의 입력(노드값)에 웨이트(weight)가 곱해진 것으로, 입력은 액손 값들에 해당하고, 웨이트는 시냅틱 웨이트들에 해당한다. 웨이트는 뉴럴 네트워크의 파라미터로 지칭될 수 있다. 활성 함수는 시그모이드(sigmoid), 하이퍼볼릭 탄젠트(hyperbolic tangent; tanh) 및 렐루(rectified linear unit; ReLU)를 포함할 수 있고, 활성 함수에 의해 뉴럴 네트워크에 비선형성이 형성될 수 있다.
딥러닝 알고리즘 구동을 위한 인-메모리 프로세싱(in-memory processing) 또는 인-메모리 컴퓨팅(in-memory computing) 디바이스가 이용될 수 있다. 예를 들어, 뉴럴 네트워크의 노드 간에 전달되는 가중된 입력의 산출은 MAC 연산으로 구성될 수 있다. 이러한 뉴럴 네트워크에 포함된 임의의 한 노드의 출력은 아래 수학식 1과 같이 나타낼 수 있다.
Figure 112020063798582-pat00001
수학식 1은 임의의 레이어에서 m개의 입력 값에 대한 i번째 노드의 출력 값 yi를 나타낼 수 있다. xj는 이전 레이어의 j번째 노드의 출력 값을 나타낼 수 있고, wj,i는 j번째 노드의 출력 값 및 현재 레이어의 i번째 노드에 적용되는 웨이트를 나타낼 수 있다. f()는 활성 함수를 나타낼 수 있다. 수학식 1에 나타난 바와 같이, 활성 함수에 대해, 입력값 xj 및 웨이트 wj,i의 곱셈 누적 결과가 사용될 수 있다. 다시 말해, 원하는 시점에 적절한 입력 값 xj 및 가중치 wj,i을 곱하고 더하는 연산(MAC 연산)이 반복될 수 있다. 이러한 용도 외에도, MAC 연산을 필요로 하는 다양한 응용분야가 있으며, 이를 위해 아날로그 영역에서 MAC 연산을 처리할 수 있는 뉴로모픽 장치가 사용될 수 있다.
컴퓨팅 디바이스의 복수의 메모리 셀들은, 복수의 노드들을 포함하는 하나 이상의 레이어로 구성되는 뉴럴 네트워크에서, 복수의 노드들을 연결하는 연결선의 연결 가중치에 대응하는 저항(resistance)을 가질 수 있다. 메모리 셀들이 배치된 입력 라인들(로우 라인들)을 따라 제공되는 입력 신호는, 노드 값 xj에 대응하는 값을 나타낼 수 있다. 따라서, 컴퓨팅 디바이스는, 뉴럴 네트워크의 실시에 요구되는 연산들 중 적어도 일부를 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 교정 진단 장치(100)의 동작에 관한 블록 흐름도이다. 도 2를 참조하면, 교정 진단 장치(100)는 기준 정보 획득 모델(140) 및 교정 진단 모델(150)을 포함할 수 있다.
기준 정보 획득 모델(140) 및 교정 진단 모델(150)은, 수행하는 동작에 따라 기능적으로 분류된 단위체로서, 기준 정보 획득 모델(140) 및 교정 진단 모델(150)은 물리적으로는 하나의 프로세서에서 동작하거나, 복수의 프로세서에서 별개로 동작할 수 있다. 이하에서 서술하는 기준 정보 획득 모델(140) 및 교정 진단 모델(150)의 동작들은 프로세서(120)에 의해 수행될 수 있다.
기준 정보 획득 모델(140)은 환자 안면의 측부에 관한 입력 이미지를 수신하고, 학습된 뉴럴 네트워크를 이용하여 입력 이미지로부터 기준 정보를 획득할 수 있다. 기준 정보는 환자 이미지를 분석하는 데 활용되는 판단 기준이 되는 정보들이다. 예를 들면, 기준 정보는 복수의 기준점들 및 복수의 기준점들 중 적어도 일부를 연결하는 복수의 기준선들을 포함할 수 있다. 기준 정보 획득 모델(140)은 학습된 뉴럴 네트워크에 의해 동작하거나, 또는 소정의 알고리즘에 의해 동작할 수 있다.
교정 진단 모델(150)은 복수의 기준 정보들에 기초하여, 교정 진단을 내리고, 교정 진단들을 수집하여 교정 진단 보고서를 생성할 수 있다. 교정 진단 모델(150)은 예를 들면, 기준 정보에 기초하여 비발치 교정, 발치 교정 및 악교정 수술 등의 교정 진단을 생성할 수 있다. 예를 들면, 교정 진단 모델(150)은 제1 기준선 및 제2 기준선 사이의 기준 각도가 제1 각도 이상인 경우, 비발치 교정 진단을 생성하고, 기준 각도가 제1 각도보다 큰 제2 각도 이상인 경우 발치 교정 진단을 생성하고, 기준 각도가 제2 각도보다 큰 제3 각도 이상인 경우 악교정 수술 진단을 생성할 수 있다. 교정 진단 모델(150)은 학습된 뉴럴 네트워크에 의해 동작하거나, 또는 소정의 알고리즘에 의해 동작할 수 있다.
도 3은 본 발명의 일 실시예에 따른 교정 진단 장치(100)의 동작 방법에 관한 순서도이고, 도 4는 본 발명의 일 실시예에 따른 교정 진단 장치(100)가 입력된 환자 이미지를 분석하여 기준 정보들을 획득하는 것에 관한 도면이다.
도 3을 참조하면, 교정 진단 장치(100)는, 뉴럴 네트워크를 이용하여, 환자 이미지로부터 복수의 기준점들을 획득할 수 있다(S1100). 이후 교정 진단 장치(100)는, 복수의 기준점들에 기초하여, 제1 기준선 및 제2 기준선을 획득할 수 있다(S1200).
도 4를 참조하면, 기준 정보 획득 모델(140)은 환자 이미지(S1)를 입력받고, 뉴럴 네트워크를 이용하여 기준 정보가 표시된 환자 이미지(S2)를 생성할 수 있다. 복수의 기준점 및 기준선들에 대해 도 5를 통해 더 자세히 후술한다.
이후 교정 진단 장치(100)는, 제1 기준선 및 제2 기준선 간 각도가 속하는 정규 분포 구간에 기초하여, 교정 진단 보고서를 생성할 수 있다(S1300). 이에 관해 도 6을 통해 더 자세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 교정 진단 장치(100)가 환자 이미지 상에 생성한 기준 정보에 관한 도면이다.
도 5를 참조하면, 포함하는 복수의 기준점들은 외이도(P1; Po: porion), 안와하(P2; infraorbital), 턱모서리(P3; gonion), 턱선, 미간(P6; Gl': Glabella), 나지온(N: Nasion), 비배부(Nd: Nasal dorsum), 코의 최전방점(P5; Pr: Pronasale), 콜루멜라(Cm: Columella), 비하점(Sn: Subnasale), 상순(Ls: Labiale superior), 하순(Li: Labiale inferior), 하악 전방점(P4; Pog': Pogonion), 하악점(Gn: Gnathion) 등을 포함할 수 있다.
기준 정보 획득 모델(140)이 획득하는 기준점은 서술 및 도시한 것들에 한정되지 않고, 당업계에서 안면 교정을 위해 사용되는 의학적 판단 기준점들을 제한 없이 포함할 수 있다.
기준 정보 획득 모델(140)은, 학습된 뉴럴 네트워크를 이용하여 환자의 이미지로부터 복수의 기준점들을 획득할 수 있다.
기준 정보 획득 모델(140)의 뉴럴 네트워크는, 입력된 환자 이미지와 동일한 환자의 안면에 관하여 3D 스캐닝된 데이터 또는 페이스보우를 이용하여 실측한 기준점들의 위치 정보 등을 실측자료(ground truth)로서 제공받을 수 있다. 기준 정보 획득 모델(140)의 뉴럴 네트워크는, 실측 자료의 기준점들과 환자 이미지 상 기준점들 간 오차가 최소화되는 기준점들을 환자 이미지 상에서 획득하도록 학습될 수 있다.
기준 정보 획득 모델(140)은 기준점들을 연결하여 기준선 또는 기준 평면을 생성할 수 있다. 예를 들면, 기준 정보 획득 모델(140)은 외이도(Po) 및 안와하 점을 연결하여 수평 기준이 되는 기준선((L1; frankfort plane)을 획득할 수 있다.
또, 기준 정보 획득 모델(140)은 턱모서리(Gonion) 및 턱선을 따라 연장하는 기준선인 하악 평면(L2; Mandibular plane)을 획득할 수 있다.
또, 기준 정보 획득 모델(140)은 코의 최전방점(Pr) 및 하악 전방점(Pog')을 연결하는 심미선(L3; esthetic line)을 획득할 수 있다.
또, 기준 정보 획득 모델(140)은 기준점들을 연결하여 Nose tip angle (N-Pn-Cm), Nasolabial angle (Cm-Sn-Ls), Nasomental angle (N-Pn/N-Pog), Mentolabial angle (Li-B-Pog), Nasofrontal angle (G-N-Nd), Total convexity with nose (N-Pn-Pog), Total convexity except nose (G-Sn-Pog), Soft tissue ANB angle, Upper lip projection angle (N-Pog/N-Ls), Upper lip projection angle (N-Pog/N-Li) 등을 획득할 수 있다.
기준 정보 획득 모델(140)이 획득하는 기준선 또는 기준 평면들은 서술 및 도시한 것들에 한정되지 않고, 당업계에서 안면 교정을 위해 사용되는 의학적 판단 기준선 및 기준 평면들을 제한 없이 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 교정 진단 장치(100)가 기준 정보에 기초하여 교정 진단을 생성하는 것에 관한 도면이다.
도 6을 참조하면, 교정 진단 모델(150)은 기준선들 사이의 각도에 기초하여, 교정 진단 보고서를 생성할 수 있다. 메모리(130)는 기준 정보의 분포에 관한 분포 정보를 저장할 수 있다. 교정 진단 모델(150)은 정규 분포 정보 상에서 기준선들 사이의 각도가 속하는 구간에 기초하여, 교정 진단 보고서를 생성할 수 있다.
예를 들면, 교정 진단 모델(150)은 프랑크푸르트 기준선(L1; Frankfrot Plane) 및 하악평면 기준선(L2; Mandibular Plane) 간의 각도(A1)가 속하는 정규 분포 상의 구간에 기초하여 교정 진단을 내릴 수 있다.
교정 진단 모델(150)은 각도(A1)가 평균과 표준 편차 내의 범위인 제1 구간에 속하는 경우, 비발치 교정 진단을 생성할 수 있다. 교정 진단 모델(150)은 각도(A1)가 평균과 표준 편차의 두 배 내의 범위인 제2 구간에 속하는 경우, 발치 교정 진단을 생성할 수 있다. 교정 진단 모델(150)은 각도(A1)가 평균과 표준 편차의 세 배 내의 범위인 제3 구간에 속하는 경우, 비발치 교정 진단을 생성할 수 있다.
교정 진단 모델(150)에 입력되는 각도, 표준 편차, 각 구간의 범위 등은 상술한 값에 한정되지 않고, 설정에 의해 변경될 수 있다. 예를 들면, 각도(A1)의 평균은 24.57도이고, 표준 편차는 3.24이며, 제1 구간의 범위는 68.3%이고, 제2 구간의 범위는 80.0%로 설정될 수 있다.
도 7은 본 발명의 일 실시예에 따른 교정 진단 장치(100)가 기준 정보에 기초하여 교정 진단을 생성하는 것에 관한 도면이다.
도 7을 참조하면, 기준 정보 획득 모델(140)은 기준점들에 기초하여, 기준점(Sn)과 기준점(Gr)을 연결하는 기준선(L5) 및 기준점(Sn)과 기준점(Pog')을 기준선(L6)을 획득할 수 있다. 교정 진단 모델(150)은 기준선(L5) 및 기준선(L6) 사이의 각도(A3)에 기초하여 교정 진단을 생성할 수 있다. 예를 들어, 교정 진단 모델(150)은 각도(A3)가 소정의 제1 각도 이상 제2 각도 미만이거나 정규 분포 상 평균과 표준 편차 내의 범위인 제1 구간 내에 속하는 경우, 비발치 교정 진단을 생성할 수 있다.
교정 진단 모델(150)은 각도(A3)가 소정의 제2 각도 이상 제2 각도보다 큰 제3 각도 미만이거나 정규 분포 상 평균과 표준 편차의 두 배 내의 범위인 제2 구간 내에 속하는 경우, 발치 교정 진단을 생성할 수 있다.
교정 진단 모델(150)은 각도(A3)가 소정의 제3 각도 이상이거나 정규 분포 상 평균과 표준 편차의 세 배 내의 범위인 제3 구간 내에 속하는 경우, 악교정 수술 진단을 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 교정 진단 장치(100)의 동작 방법에 관한 순서도이다.
도 8을 참조하면, 교정 진단 장치(100)는, 뉴럴 네트워크를 이용하여, 환자의 이미지로부터 기준선을 획득할 수 있다(S2100). 단계 2100에는 도 3 내지 도 5를 통해 서술한 사항들이 적용될 수 있다.
교정 진단 장치(100)는, 뉴럴 네트워크를 이용하여 학습한, 표지 부재(200)의 속성에 기초하여, 환자의 이미지로부터 표지선 획득할 수 있다(S2200). X-ray 등을 이용하는 방사선 영상과는 달리, 가시광선을 이용하는 카메라에 의해 획득된 이미지는 환자의 피부 및 연조직을 투과하지 못하고, 이에 따라 환자의 치아 및 악관절 등의 경조직을 표시하지 못한다. 즉, 일반 카메라를 통해 획득한 이미지로부터 교합 평면을 획득하기에는 기술적 한계가 존재한다.
이러한 기술적 문제를 해결하기 위하여, 교정 진단 장치(100)는 환자가 표지 부재(200)를 입에 파지한 상태에서 일반 카메라를 통해 환자의 이미지를 획득한다.
교정 진단 장치(100)는, 기준선 및 표지선에 기초하여, 교정 진단 보고서를 생성할 수 있다(S2300). 단계 S2300에는 도 6에서 상술한 사항들이 적용될 수 있다.
도 9는 본 발명의 일 실시예에 따라 표지 부재(200)를 파지하는 환자 이미지에 관한 도면이다. 도 9를 참조하면, 환자는 치아 교합 평면을 따라서 표지 부재(200)를 파지할 수 있다. 따라서, 표지 부재(200)의 연장선은 교합 평면의 연장선과 일치할 수 있다.
교정 진단 장치(100)는 환자 이미지로부터 표지 부재(200)를 탐색하고, 표지 부재(200)를 일 방향으로 더 연장(200)함으로서 교합 평면(L4; Occulsal plane)을 획득할 수 있다. 교정 진단 장치(100)는 디스플레이부를 통해 표지 부재(200)의 연장선(200)을 표시할 수 있다.
교정 진단 장치(100)는 표지 부재(200)의 형상, 길이, 위치 및 색상 중에서 선택된 적어도 하나를 포함하는 표지 부재(200)의 조건에 기초하여 표지 부재(200)를 탐색할 수 있다. 교정 진단 장치(100)는 상술한 조건들 중 일부를 조합하여, 복수의 조건들을 모두 만족시키는 오브젝트를 표지 부재(200)로 파악할 수 있다.
표지 부재(200)는 환자의 피부 및 연조직과 구별되는 속성으로 제작될 수 있다. 따라서 교정 진단 장치(100)는 제1 속성에 따라 기준점들을 획득하도록 학습되고, 제1 속성과 상이한 제2 속성에 따라 표지 부재(200)를 획득하도록 학습될 수 있다.
교정 진단 장치는 학습된 뉴럴 네트워크에 따라 환자 이미지로부터 표지 부재(200)인 것으로 선별된 오브젝트가 표지 부재(200)에 관한 조건을 만족하는 경우, 오브젝트를 표지 부재(200)인 것으로 특정할 수 있다. 교정 진단 장치는 표지 부재(200)인 것으로 선별된 오브젝트가 표지 부재(200)에 관한 조건을 만족하지 않는 경우, 오브젝트를 표지 부재(200)가 아닌 것으로 결정하고, 표지 부재(200)를 다시 탐색할 수 있다.
예를 들면, 표지 부재(200)는 일 방향으로 길게 연장되므로, 교정 진단 장치(100)는 얼굴 윤곽에서부터 일 방향으로 돌출되는 형상에 기초하여 표지 부재(200)를 파악하도록 학습될 수 있다.
또는, 교정 진단 장치(100)는 표지 부재(200)가 소정의 길이 이상일 것을 조건으로 하여, 표지 부재(200)를 탐색할 수 있다.
또는, 표지 부재(200)의 색상은 피부와 상이한 색상인 적색 또는 청색 등으로 제작될 수 있고, 교정 진단 장치(100)는 표지 부재(200)의 색상에 기초하여 표지 부재(200)를 파악하도록 학습될 수 있다.
또는, 교정 진단 장치(100)는 다른 기준점들과의 위치 관계를 고려하여 표지 부재(200)의 위치를 특정할 수 있다. 예를 들면, 교정 진단 장치(100)는 환자 이미지 상에서 윗입술 점(UL) 및 아랫입술 점(LL)을 획득하고, 표지 부재(200)가 윗입술 점 및 아랫입술 점 사이에 있는 것을 조건으로 하여, 표지 부재(200)를 탐색할 수 있다. 예를 들면, 교정 진단 장치(100)는 환자 이미지 중 윗입술 점 및 상기 아랫입술 점 사이의 영역에 한정하여, 표지 부재를 탐색할 수 있다.
상술한 방법에 따라, 교정 진단 장치가 표지 부재를 탐색하는 데 소요되는 연산 처리량이 감소하고 및 처리 속도가 증가할 수 있다.
도 10은 본 발명의 일 실시예에 따른 교정 진단 장치(100)가 환자 이미지 상에 생성한 표지 정보 및 기준 정보에 관한 도면이다.
도 10을 참조하면, 교정 진단 장치(100)의 기준 정보 획득 모델(140)은 환자 이미지로부터 기준점 및 기준선들을 획득할 수 있다.
또, 기준 정보 획득 모델(140)은 환자 이미지 상에서 환자가 입으로 파지하고 있는 표지 부재(200)를 탐색하고, 표지 부재(200)를 연장하여 표지선(210) 및 교합 평면을 나타내는 기준선(L4)를 획득할 수 있다. 기준 정보 획득 모델(140)은 프랑크푸르트 기준선(L1)과, 교합 평면을 나타내는 기준선(L4) 사이의 각도를 획득할 수 있다.
교정 진단 모델(150)은 기준선 및 표지선에 기초하여, 교정 진단 보고서를 생성할 수 있다.
도 11은 본 발명의 일 실시예에 따른 교정 진단 장치(100)가 표지 정보 및 기준 정보에 기초하여 교정 진단을 생성하는 것에 관한 도면이다.
도 11을 참조하면, 교정 진단 모델(150)은 환자 이미지를 분석하여 복수의 기준점, 기준선 및 표지 정보에 기초하여 교정 진단을 생성할 수 있다. 도 6 및 도 7에 관해 상술한 사항들이 교정 진단 모델(150)에 적용될 수 있다.
교정 진단 모델(150)은 프랑크푸르트 기준선(L1)과, 교합 평면을 나타내는 기준선(L4) 사이의 각도에 기초하여, 교정 진단을 생성할 수 있다.
예를 들어, 교정 진단 모델(150)은 각도(A3)가 소정의 제1 각도 이상 제2 각도 미만이거나 정규 분포 상 평균과 표준 편차 내의 범위인 제1 구간 내에 속하는 경우, 비발치 교정 진단을 생성할 수 있다.
교정 진단 모델(150)은 각도(A2)가 소정의 제2 각도 이상 제2 각도보다 큰 제3 각도 미만이거나 정규 분포 상 평균과 표준 편차의 두 배 내의 범위인 제2 구간 내에 속하는 경우, 발치 교정 진단을 생성할 수 있다.
교정 진단 모델(150)은 각도(A2)가 소정의 제3 각도 이상이거나 정규 분포 상 평균과 표준 편차의 세 배 내의 범위인 제3 구간 내에 속하는 경우, 악교정 수술 진단을 생성할 수 있다.
교정 진단 모델(150)에 입력되는 각도, 표준 편차, 각 구간의 범위 등은 상술한 값에 한정되지 않고, 설정에 의해 변경될 수 있다. 예를 들면, 각도(A2)의 평균은 9.3도이고, 표준 편차는 3.83이며, 제1 구간의 범위는 68.3%이고, 제2 구간의 범위는 80.0%로 설정될 수 있다.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.

Claims (9)

  1. 뉴럴 네트워크를 이용한 교정 진단 장치로서,
    메모리; 및
    프로그램을 실행함으로써 뉴럴 네트워크를 처리하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는
    환자 안면의 측부에 관한 입력 이미지를 수신하고, 학습된 뉴럴 네트워크를 이용하여 상기 입력 이미지 상에 복수의 기준점들 및 상기 복수의 기준점들 중 적어도 일부를 연결하는 복수의 기준선들을 획득하는 기준 정보 획득 모델 및
    상기 복수의 기준선들에 기초하여, 교정 진단 보고서를 생성하는 교정 진단 모델을 포함하고,
    상기 기준 정보 획득 모델은 상기 입력 이미지 상에서 제1 속성에 기초하여 상기 복수의 기준점들을 획득하고, 상기 제1 속성과 상이한 제2 속성에 기초하여, 상기 입력 이미지 상에서 환자가 입으로 파지하고 있는 표지 부재를 탐색하고, 상기 표지 부재를 연장하여 표지선을 획득하고,
    상기 교정 진단 모델은 상기 기준선 및 상기 표지선에 기초하여, 교정 진단 보고서를 생성하는,
    뉴럴 네트워크를 이용한 교정 진단 장치.
  2. 제1 항에 있어서,
    상기 기준 정보 획득 모델은 상기 복수의 기준점들에 기초하여, 제1 기준선 및 제2 기준선을 획득하고,
    상기 교정 진단 모델은 상기 제1 기준선 및 상기 제2 기준선 사이의 기준 각도가 제1 각도 이상이고, 상기 제1 각도보다 큰 제2 각도 미만인 경우, 비발치 교정 진단을 생성하고,
    상기 기준 각도가 상기 제2 각도 이상이고, 상기 제2 각도보다 큰 제3 각도 미만인 경우 발치 교정 진단을 생성하고,
    상기 기준 각도가 상기 제3 각도 이상인 경우 악교정 수술 진단을 생성하는
    뉴럴 네트워크를 이용한 교정 진단 장치.
  3. 제2 항에 있어서,
    상기 메모리는 기준 정보의 분포에 관한 분포 정보를 저장하고,
    상기 교정 진단 모델은
    상기 분포 정보 상에서 상기 제1 기준선 및 상기 제2 기준선 사이의 각도가 속하는 구간에 기초하여, 교정 진단 보고서를 생성하는
    뉴럴 네트워크를 이용한 교정 진단 장치
  4. 삭제
  5. 제1 항에 있어서,
    상기 기준 정보 획득 모델은
    표지 부재의 형상, 길이, 위치 및 색상 중에서 선택된 적어도 하나를 포함하는 상기 제2 속성에 기초하여 상기 표지 부재를 탐색하는
    뉴럴 네트워크를 이용한 교정 진단 장치
  6. 제1 항에 있어서,
    상기 기준 정보 획득 모델은
    상기 입력 이미지 상에서 윗입술 점(UL) 및 아랫입술 점 (LL) 을 획득하고,
    상기 윗입술 점 및 상기 아랫입술 점 사이의 영역에서, 상기 표지 부재를 탐색하는
    뉴럴 네트워크를 이용한 교정 진단 장치
  7. 제1 항에 있어서,
    상기 기준 정보 획득 모델은
    상기 표지 부재가 소정의 길이 이상일 것을 조건으로 하여, 상기 표지 부재를 탐색하는
    뉴럴 네트워크를 이용한 교정 진단 장치
  8. 제1 항에 있어서,
    상기 기준 정보 획득 모델은 상기 입력 이미지 상에서 외이도(porion), 안와하(infraorbital), 턱모서리(gonion) 및 턱선을 포함하는 복수의 기준점들을 획득하고,
    상기 외이도 및 상기 안와하를 연결하는 제1 기준선 및 상기 턱모서리 및 턱선을 따라 연장하는 제2 기준선을 획득하고,
    상기 교정 진단 모델은 상기 제1 기준선 및 상기 제2 기준선 사이의 각도에 기초하여, 교정 진단 보고서를 생성하는
    뉴럴 네트워크를 이용한 교정 진단 장치
  9. 환자 안면의 측부에 관한 입력 이미지를 수신하고, 학습된 뉴럴 네트워크를 이용하여 상기 입력 이미지 상에 제1 속성에 기초하여 복수의 기준점들을 획득하는 단계;
    상기 복수의 기준점들 중 적어도 일부를 연결하는 복수의 기준선들을 획득하는 단계;
    상기 제1 속성과 상이한 제2 속성에 기초하여, 상기 입력 이미지 상에서 환자가 입으로 파지하고 있는 표지 부재를 탐색하는 단계;
    상기 표지 부재를 연장하여 표지선을 획득하는 단계; 및
    상기 기준선 및 상기 표지선에 기초하여, 교정 진단 보고서를 생성하는 단계를 포함하는
    뉴럴 네트워크를 이용한 교정 진단 방법.
KR1020200075589A 2020-06-22 2020-06-22 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법 KR102377629B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200075589A KR102377629B1 (ko) 2020-06-22 2020-06-22 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200075589A KR102377629B1 (ko) 2020-06-22 2020-06-22 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20210157933A KR20210157933A (ko) 2021-12-30
KR102377629B1 true KR102377629B1 (ko) 2022-03-24

Family

ID=79178631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200075589A KR102377629B1 (ko) 2020-06-22 2020-06-22 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102377629B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769334B1 (ko) 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR102099390B1 (ko) * 2018-08-21 2020-04-09 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252278B1 (ko) * 2010-06-10 2013-04-29 주식회사 오라픽스 치과 치료용 웨이퍼 제작 서비스 방법과 그를 위한 서버 및 사용자 단말기
KR20150039028A (ko) * 2013-10-01 2015-04-09 주식회사 이우소프트 치아교정 시뮬레이션 방법 및 이를 수행하는 시스템
KR101887198B1 (ko) * 2016-06-20 2018-09-06 주식회사 디오코 치아 교정 및 얼굴 성형 시뮬레이션 장치에서의 시뮬레이션 방법 및 이를 저장하는 컴퓨터로 판독 가능한 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769334B1 (ko) 2016-03-14 2017-08-21 오스템임플란트 주식회사 치아 교정치료 지원을 위한 이미지 처리 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR102099390B1 (ko) * 2018-08-21 2020-04-09 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR20210157933A (ko) 2021-12-30

Similar Documents

Publication Publication Date Title
US11452577B2 (en) Generation of synthetic post treatment images of teeth
US10685259B2 (en) Method for analyzing an image of a dental arch
US11314983B2 (en) Method for analyzing an image of a dental arch
US20210358124A1 (en) Method for analyzing an image of a dental arch
US20210118132A1 (en) Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
KR102267197B1 (ko) 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치
WO2019141106A1 (zh) 基于c/s架构的牙齿美化ar智能辅助方法及装置
CN110782974A (zh) 预测解剖标志的方法和使用该方法预测解剖标志的设备
US11450426B2 (en) Tooth virtual editing method and system, computer device, and storage medium
US11049248B2 (en) Method for analyzing an image of a dental arch
US10755409B2 (en) Method for analyzing an image of a dental arch
Liu et al. A pilot study of a deep learning approach to detect marginal bone loss around implants
US20240008962A1 (en) Method for analyzing an image of a dental arch
Singi et al. Extended arm of precision in prosthodontics: Artificial intelligence
Tanikawa et al. Objective classification of nose–lip–chin profiles and their relation to dentoskeletal traits
US20240029901A1 (en) Systems and Methods to generate a personalized medical summary (PMS) from a practitioner-patient conversation.
KR102377629B1 (ko) 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법
US20220215547A1 (en) Method for analyzing an image of a dental arch
KR20200012707A (ko) 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
Sikri et al. Artificial Intelligence in Prosthodontics and Oral Implantology–A Narrative Review
Destrez et al. Automatic registration of 3D dental mesh based on photographs of patient’s mouth
Sornam Artificial Intelligence in Orthodontics-An exposition
US20240122463A1 (en) Image quality assessment and multi mode dynamic camera for dental images
CN115620053B (zh) 气道类型确定系统及电子设备
KR20230173559A (ko) 인공지능에 의한 치과 임상사진 분석진단 시스템 및 이에 의한 치과 임상사진 분석진단 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right