KR102536834B1 - Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence - Google Patents

Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence Download PDF

Info

Publication number
KR102536834B1
KR102536834B1 KR1020220102765A KR20220102765A KR102536834B1 KR 102536834 B1 KR102536834 B1 KR 102536834B1 KR 1020220102765 A KR1020220102765 A KR 1020220102765A KR 20220102765 A KR20220102765 A KR 20220102765A KR 102536834 B1 KR102536834 B1 KR 102536834B1
Authority
KR
South Korea
Prior art keywords
tooth
teeth
vertical
processing device
information processing
Prior art date
Application number
KR1020220102765A
Other languages
Korean (ko)
Inventor
이상연
정호걸
김동현
최선
박재형
Original Assignee
주식회사 인비전랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인비전랩 filed Critical 주식회사 인비전랩
Priority to KR1020220102765A priority Critical patent/KR102536834B1/en
Application granted granted Critical
Publication of KR102536834B1 publication Critical patent/KR102536834B1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Disclosed is a method for identifying tooth number by using artificial intelligence, which may automatically identify the tooth number from a panorama tooth image. To this end, the method for identifying tooth number by using artificial intelligence may comprise: a step in which an information processing device receives a panorama tooth image; a step in which the information processing device uses a first object detection module which has learned to divide individual teeth to divide individual teeth in the panorama tooth image to calculate location information with respect to each tooth; a step in which the information processing device uses a second object detection module, which has learned to calculate a cervical line, to calculate the cervical line in the panorama tooth image before calculating location information of the cervical line; a step in which the information processing device compares the location information of the tooth to the location information of the cervical line to identify whether the tooth is an upper jaw tooth or a lower jaw tooth; and a step in which the information processing device uses a first image dividing model, which has learned to divide the dental formula of the individual teeth, to calculate the probability in which the each tooth, sorted as the upper jaw tooth or the lower jaw tooth, may be matched with the dental formula before the tooth number is applied.

Description

인공지능을 이용한 치아번호 식별 방법 및 치아 상태 판독문 생성 방법{Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence}Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence}

본 발명은 인공지능을 이용한 치아번호 식별 방법 및 치아 상태 판독문 생성 방법에 관한 것으로, 특히 수기로 작성할 필요없이 자동으로 치아번호를 식별하며 식별된 치아번호별로 치아정보 또는 임플란트 정보를 생성하여 치아 상태 판독문을 자동으로 생성할 수 있는 인공지능을 이용한 치아번호 식별 방법 및 치아 상태 판독문 생성 방법에 관한 것이다.The present invention relates to a method for identifying tooth numbers and a method for generating a tooth condition interpretation statement using artificial intelligence. In particular, tooth numbers are automatically identified without the need to write by hand, and tooth information or implant information is generated for each identified tooth number to generate a tooth condition interpretation statement. It relates to a tooth number identification method using artificial intelligence capable of automatically generating and a method of generating a tooth condition reading statement.

치과에서는 진단, 치료 및 치료경과를 확인하기 위해 X-Ray 이미지, CT 이미지, 구강영상, 얼굴사진 등 다양한 사진이 필요하다. 특히, 치아교정, 턱관절치료 및 임플란트 시술 등의 경우에는 치료 대상인 치아뿐만 아니라 주위의 치아 및 턱관절 등과의 조화를 파악하기 위해 치아 전체의 X-Ray 이미지 등의 파노라마 치아영상, 두부방사선사진 등이 필요하다.In dentistry, various pictures such as X-Ray images, CT images, oral images, and facial photographs are required to confirm diagnosis, treatment, and treatment progress. In particular, in the case of orthodontic treatment, temporomandibular joint treatment, and implant treatment, panoramic dental images such as X-ray images of the entire tooth, head radiographs, etc. need this

종래에는 이런 다양한 사진들을 아날로그 방식으로 촬영하여 다수개의 사진을 환자 차트에 부착하고 파노라마 치아영상에 치아번호를 부여하는 것은 의사가 수작업을 통해 직접 하여야 하는 불편함이 있다. 즉, 의사는 촬영된 파노라마 사진을 보고 상악치와 하악치를 구분하고 치아번호를 부여하는데, 이에 대한 불편함이 있을 뿐 아니라 중간에 치아가 빠진 경우 치아번호를 잘못 부여할 가능성도 있다. 또한, 종래 치과에서의 환자의 차트에 이와 같은 파노라마 사진을 부착하거 진료기록, 치료기록, 임플란트 정보 등을 별도로 기재하여 관리함에 따라 관리의 불편함이 있을 뿐 아니라 의사와 환자가 직관적으로 현재의 상태 및 과거의 치료 기록 등을 직관적으로 파악하기 어려운 문제점이 있다.Conventionally, it is inconvenient for a doctor to manually take these various pictures, attach a plurality of pictures to a patient chart, and assign a tooth number to a panoramic tooth image. That is, the doctor classifies the upper and lower teeth by looking at the photographed panoramic picture and assigns a tooth number, which is inconvenient and may incorrectly assign a tooth number when a tooth is missing in the middle. In addition, by attaching such a panoramic picture to a patient's chart in a conventional dentistry or separately writing and managing medical records, treatment records, implant information, etc., not only is there inconvenience in management, but also doctors and patients can intuitively And there is a problem that it is difficult to intuitively grasp the past treatment records.

본 발명이 해결하고자 하는 과제는 수기로 작성할 필요없이 자동으로 치아번호를 식별할 수 있는 인공지능을 이용한 치아번호 식별 방법을 제공하는데 있다.The problem to be solved by the present invention is to provide a tooth number identification method using artificial intelligence that can automatically identify a tooth number without the need to write by hand.

본 발명이 해결하고자 하는 다른 과제는 수기로 작성할 필요없이 자동으로 치아번호를 식별하여 식별된 치아번호별로 치아정보 또는 임플란트 정보를 생성하여 치아 상태 판독문을 자동으로 생성할 수 있는 인공지능을 이용한 치아 상태 판독문 생성 방법을 제공하는데 있다.Another problem to be solved by the present invention is a tooth condition using artificial intelligence that can automatically generate a tooth condition statement by automatically identifying tooth numbers and generating tooth information or implant information for each identified tooth number without the need to write by hand. It is to provide a method for generating read statements.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 파노라마 치아영상으로부터 치아번호를 자동으로 식별하는 인공지능을 이용한 치아번호 식별 방법은, 정보처리장치에서, 파노라마 치아영상을 수신하는 단계, 상기 정보처리장치에서, 개별 치아를 구분하도록 학습된 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하여 각각의 치아에 대한 위치정보를 산출하는 단계, 상기 정보처리장치에서, 치경선을 산출하도록 학습된 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 치경선을 산출하고 상기 치경선의 위치정보를 산출하는 단계, 상기 정보처리장치에서, 상기 치아의 위치정보와 상기 치경선의 위치정보를 비교하여 상기 치아가 상악치인지 하악치인지 구분하는 단계 및 상기 정보처리장치에서, 개별 치아의 치식을 구분하도록 학습된 제 1 영상분류모델을 이용하여 상기 상악치 또는 상기 하악치로 구분된 상기 각각의 치아가 치식에 매칭될 확률을 산출하여 치아번호를 부여하는 단계를 포함할 수 있다.A tooth number identification method using artificial intelligence for automatically identifying a tooth number from a panoramic tooth image according to an embodiment of the present invention for achieving the above object includes the steps of receiving a panoramic tooth image in an information processing device, the information In a processing device, by using a first object detection module learned to distinguish individual teeth, discriminating individual teeth from the panoramic tooth image and calculating positional information for each tooth, in the information processing device, determining the alveolar line Calculating an alveolar line from the panoramic tooth image using a second object detection module learned to calculate and calculating the position information of the alveolar line, in the information processing device, the position information of the tooth and the position of the alveolar line Comparing information to distinguish whether the tooth is an upper or lower tooth, and in the information processing device, using a first image classification model learned to distinguish the tooth formula of an individual tooth, the upper or lower teeth are classified into A step of assigning a tooth number by calculating a probability that each tooth matches the tooth formula may be included.

상기 치아에 대한 위치정보를 산출하는 단계는, 상기 정보처리장치에서, 상기 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하는 단계 및 상기 정보처리장치에서, 상기 구분된 치아 각각에 대하여 제 1 수직최대값 및 제 1 수직최소값을 좌표로 산출하는 단계를 포함하고, 상기 치경선의 위치정보를 산출하는 단계는, 상기 정보처리장치에서, 상기 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 상기 치아들의 치경선을 산출하는 단계 및 상기 정보처리장치에서, 상기 산출된 치경선들 중 상부의 치경선들을 이용하여 제 2 수직최대값을 좌표로 산출하고 상기 산출된 치경선들 중 하부의 치경선들을 이용하여 제 2 수직최소값을 좌표로 산출하는 단계를 포함할 수 있다.The calculating of the location information of the tooth may include: in the information processing device, using the first object detection module to identify individual teeth in the panoramic tooth image; and in the information processing device, each of the classified teeth. and calculating a first vertical maximum value and a first vertical minimum value as coordinates, and calculating the location information of the alveolar line, in the information processing device, using the second object detection module. Calculating the alveolar lines of the teeth in the panoramic tooth image, and in the information processing device, calculating the second vertical maximum value as coordinates using upper alveolar lines among the calculated alveolar lines, and calculating the calculated alveolar lines A step of calculating the second vertical minimum value as coordinates using alveolar lines of the middle lower portion may be included.

상기 치아가 상악치인지 하악치인지 구분하는 단계는, 상기 정보처리장치에서, 상기 제 1 수직최대값이 상기 제 2 수직최대값 이상이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 이상인 경우 상기 치아를 상악치로 판단하는 단계 및 상기 정보처리장치에서, 상기 제 1 수직최소값이 상기 제 2 수직최소값 이하이면서 상기 제 1 수직최대값이 상기 제 2 수직최대값 이하인 경우 상기 치아를 하악치로 판단하는 단계를 포함할 수 있다.The step of distinguishing whether the tooth is an upper or lower tooth may include, in the information processing device, when the first vertical maximum value is greater than or equal to the second vertical maximum value and the first vertical minimum value is greater than or equal to the second vertical minimum value, the tooth determining as an upper jaw tooth and determining, in the information processing device, as a lower jaw tooth when the first vertical minimum value is less than or equal to the second vertical minimum value and the first vertical maximum value is less than or equal to the second vertical maximum value can include

상기 치아가 상악치인지 하악치인지 구분하는 단계는, 상기 정보처리장치에서, 상기 제 2 수직최대값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최소값이 상기 제 2 수직최대값 이상인 경우 상기 치아를 상악치로 판단하는 단계 및 상기 정보처리장치에서, 상기 제 2 수직최소값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최대값이 상기 제 2 수직최소값 이하인 경우 상기 치아를 하악치로 판단하는 단계를 포함할 수 있다.The step of discriminating whether the tooth is an upper or lower tooth may include, in the information processing device, the second vertical maximum value being between the first vertical maximum value and the first vertical minimum value or the first vertical minimum value being the first vertical minimum value. 2 If the vertical maximum value is greater than or equal to, determining the tooth as an upper jaw tooth, and in the information processing device, the second vertical minimum value is between the first vertical maximum value and the first vertical minimum value, or the first vertical maximum value is the first vertical minimum value. The method may include determining that the tooth is a mandibular tooth when it is equal to or less than the second vertical minimum value.

상기 치아가 상악치인지 하악치인지 구분하는 단계는, 상기 정보처리장치에서, 상기 제 1 수직최대값이 상기 제 2 수직최대값 이상이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 이하인 경우와 상기 제 1 수직최대값이 상기 제 2 수직최대값 미만이이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 초과인 경우, 상기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 작은 경우 상악치로 판단하고, 상기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 큰 경우 하악치로 판단하는 단계를 더 포함할 수 있다.The step of discriminating whether the tooth is an upper or lower tooth may include, in the information processing device, a case where the first vertical maximum value is greater than or equal to the second vertical maximum value and the first vertical minimum value is less than or equal to the second vertical minimum value; When the first vertical maximum value is less than the second vertical maximum value and the first vertical minimum value is greater than the second vertical minimum value, the distance between the first vertical minimum value and the second vertical maximum value is the first vertical minimum value. If it is smaller than the distance between the maximum value and the second vertical minimum value, it is determined as an upper jaw, and the distance between the first vertical minimum value and the second vertical maximum value is the distance between the first vertical maximum value and the second vertical minimum value. If it is larger than the lower jaw, a step of determining the lower jaw may be further included.

상기 치아번호를 부여하는 단계는, 상기 정보처리장치에서, 상기 상악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 상악치 치아그룹을 생성하는 단계, 상기 정보처리장치에서, 상기 상악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하는 단계, 상기 정보처리장치에서, 상기 상악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 상악치 치아그룹의 치아번호로 상악치에 해당하는 치아들의 치아번호를 부여하는 단계, 상기 정보처리장치에서, 상기 하악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 하악치 치아그룹을 생성하는 단계, 상기 정보처리장치에서, 상기 하악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하는 단계 및 상기 정보처리장치에서, 상기 하악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 하악치 치아그룹의 치아번호로 하악치에 해당하는 치아들의 치아번호를 부여하는 단계를 포함할 수 있다.The step of assigning the tooth number may include generating, in the information processing device, maxillary tooth groups in all cases to which the tooth number can be applied according to the number of teeth determined as the upper jaw, in the information processing device, the upper jaw Calculating a probability that each tooth matches a tooth formula by using the first image classification model for each tooth group, a score calculated using the calculated probability for each tooth group of the upper teeth in the information processing device Giving tooth numbers of teeth corresponding to the upper teeth to the tooth numbers of the upper jaw tooth group selected using Generating a lower jaw tooth group, calculating a probability that each tooth matches a tooth formula using the first image classification model for each lower jaw tooth group in the information processing device, and in the information processing device and assigning tooth numbers of teeth corresponding to the lower teeth to the tooth numbers of the lower jaw tooth groups selected using the score calculated using the calculated probability for each lower jaw tooth group.

상기 다른 과제를 달성하기 위한 본 발명의 일 실시예에 따른 파노라마 치아영상으로부터 치아번호를 자동으로 식별하고 치아 상태를 자동으로 판별하여 치아 상태 판독문을 자동으로 생성하는 인공지능을 이용한 치아 상태 판독문 생성 방법은, 정보처리장치에서, 파노라마 치아영상을 수신하는 단계, 상기 정보처리장치에서, 개별 치아를 구분하도록 학습된 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하여 각각의 치아에 대한 위치정보를 산출하는 단계, 상기 정보처리장치에서, 치경선을 산출하도록 학습된 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 치경선을 산출하고 상기 치경선의 위치정보를 산출하는 단계, 상기 정보처리장치에서, 상기 치아의 위치정보와 상기 치경선의 위치정보를 비교하여 상기 치아가 상악치인지 하악치인지 구분하는 단계, 상기 정보처리장치에서, 개별 치아의 치식을 구분하도록 학습된 제 1 영상분류모델을 이용하여 상기 상악치 또는 상기 하악치로 구분된 상기 각각의 치아가 치식에 매칭될 확률을 산출하여 치아번호를 부여하는 단계, 상기 정보처리장치에서, 치아와 임플란트를 구분하고 치아의 상태 및 임플란트 정보를 생성할 수 있도록 학습된 제 2 영상분류모델을 이용하여 상기 치아번호별로 치아인지 임플란트인지를 판단하고, 치아로 판단한 경우 상기 치아의 치료정보를 생성하며, 임플란트로 판단된 경우 상기 임플란트와 관련된 임플란트 정보를 생성하는 단계 및 상기 정보처리장치에서, 상기 치아번호별로 치아인지 임플란트인지에 대한 정보, 상기 치료정보, 상기 임플란트 정보를 결합하여 치아상태 판독문을 생성하는 단계를 포함할 수 있다.To achieve the above object, a method for generating a tooth condition reading statement using artificial intelligence for automatically generating a tooth condition reading statement by automatically identifying a tooth number and automatically determining a tooth state from a panoramic tooth image according to an embodiment of the present invention for achieving the other object. In the information processing device, receiving a panoramic tooth image, in the information processing device, by using the first object detection module learned to distinguish individual teeth, individual teeth are distinguished from the panoramic tooth image and assigned to each tooth Calculating location information about the alveolar line in the information processing device, calculating an alveolar line from the panoramic tooth image using a second object detection module learned to calculate an alveolar line and calculating location information of the alveolar line; In the information processing device, comparing the location information of the tooth and the location information of the alveolar line to distinguish whether the tooth is a maxillary tooth or a mandibular tooth; 1 Calculating the probability that each tooth divided into the upper jaw or the lower jaw matches the tooth formula using an image classification model and assigning a tooth number; Using the second image classification model learned to generate state and implant information, it is determined whether it is a tooth or an implant for each tooth number, and when it is determined as a tooth, treatment information for the tooth is generated. Generating implant information related to the implant, and generating a tooth condition reading statement by combining information on whether the tooth is a tooth or an implant for each tooth number, the treatment information, and the implant information in the information processing device. .

본 발명의 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 치아번호 식별 방법 및 치아 상태 판독문 생성 방법은 의사가 파노라마 치아영상을 보고 치아 번호를 수작업으로 부여할 필요없이 인공지능을 이용하여 자동으로 상악치와 하악치를 구분하고 치아번호까지 자동으로 부여함으로써 의사의 작업 부담을 최소화할 수 있을 뿐 아니라 치아번호를 정확하게 부여할 수 있는 장점이 있다. 또한, 본 발명의 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 치아번호 식별 방법 및 치아 상태 판독문 생성 방법은 자동으로 치아번호를 부여할 뿐 아니라 각각의 치아의 이미지를 이용하여 해당하는 치아가 치료를 받은 적이 있는지, 치료를 받았다면 어떤 치료를 받았는지, 임플란트를 하였는지, 임플란트를 하였다면 제조사와 모델번호는 무엇인지까지 자동으로 감지하여 이와 같은 정보를 기록한 치아 상태 판독문을 자동으로 생성함으로서 의사의 작업부담을 최소화할 수 있을 뿐 아니라 의사와 환자 모두 직관적으로 현재의 상태 및 과거이력을 판단할 수 있는 장점이 있다.A tooth number identification method and a tooth condition interpretation method using artificial intelligence according to an embodiment according to the technical idea of the present invention automatically use artificial intelligence without the need for a doctor to manually assign a tooth number after viewing a panoramic tooth image. By distinguishing the upper and lower teeth and automatically assigning tooth numbers, the surgeon's work burden can be minimized and the tooth numbers can be assigned accurately. In addition, the tooth number identification method and tooth condition statement generation method using artificial intelligence according to an embodiment according to the technical idea of the present invention not only automatically assign tooth numbers, but also use the image of each tooth to determine the corresponding tooth. It automatically detects whether or not you have been treated, what kind of treatment you have received, whether you have had implants, and if you have had implants, what manufacturer and model number you have received, and automatically creates a dental condition report that records such information. Not only can the workload be minimized, but both the doctor and the patient can intuitively judge the current status and past history.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 치아번호 식별 방법의 흐름도이다.
도 2는 도 1 중 치아의 위치정보를 산출하는 일 실시예를 설명하기 위한 도면이다.
도 3은 도 1 중 치경선의 위치정보를 산출하는 일 실시예를 설명하기 위한 도면이다.
도 4 및 도 5는 도 1 중 치아번호를 부여하는 일 실시예를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 치아 상태 판독문 생성 방법의 흐름도이다.
In order to more fully understand the drawings cited in the detailed description of the present invention, a brief description of each drawing is provided.
1 is a flowchart of a tooth number identification method using artificial intelligence according to an embodiment according to the technical idea of the present invention.
FIG. 2 is a view for explaining an embodiment of calculating position information of teeth in FIG. 1 .
FIG. 3 is a diagram for explaining an embodiment of calculating location information of an alveolar line in FIG. 1 .
4 and 5 are views for explaining an embodiment in which tooth numbers are assigned in FIG. 1 .
6 is a flowchart of a method for generating a dental condition reading statement using artificial intelligence according to an embodiment according to another technical concept of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. In order to fully understand the present invention and its operational advantages and objectives achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the description in the drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. Like reference numerals in each figure indicate like members.

도 1은 본 발명의 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 치아번호 식별 방법의 흐름도이고, 도 2는 도 1 중 치아의 위치정보를 산출하는 일 실시예를 설명하기 위한 도면이다. 도 3은 도 1 중 치경선의 위치정보를 산출하는 일 실시예를 설명하기 위한 도면이고, 도 4 및 도 5는 도 1 중 치아번호를 부여하는 일 실시예를 설명하기 위한 도면이다. 이하에서 모든 동작은 정보처리장치에서 수행될 수 있으며, 정보처리장치는 컴퓨터, 서버 등 다양한 장치가 될 수 있다. 1 is a flowchart of a method for identifying tooth numbers using artificial intelligence according to an embodiment according to the technical concept of the present invention, and FIG. 2 is a diagram for explaining an embodiment of calculating tooth position information in FIG. 1 . FIG. 3 is a diagram for explaining an embodiment of calculating position information of the alveolar line in FIG. 1 , and FIGS. 4 and 5 are diagrams for explaining an embodiment of assigning tooth numbers in FIG. 1 . All operations below may be performed in an information processing device, and the information processing device may be various devices such as a computer and a server.

도 1 내지 도 5를 참조하면, 상기 정보처리장치는 파노라마 치아영상을 수신할 수 있다(S110). 상기 파노라마 치아영상은 구강 내의 모든 치아들이 하나의 이미지 상에 표시되어 있는 영상 또는 이미지를 의미한다. 상기 파노라마 치아영상은 파노라마 X선 영상일 수 있으나, 본 발명이 이 경우에 한정되는 것은 아니며 구강 내의 치아 전체를 하나의 영상으로 표현할 수 있다면 다른 종류의 영상도 모두 상기 파노라마 치아영상에 포함될 수 있다.1 to 5, the information processing device may receive a panoramic tooth image (S110). The panoramic tooth image refers to an image or image in which all teeth in the oral cavity are displayed on one image. The panoramic tooth image may be a panoramic X-ray image, but the present invention is not limited to this case, and all other types of images may be included in the panoramic tooth image as long as the entire tooth in the oral cavity can be expressed as one image.

상기 정보처리장치는, 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하여 각각의 치아에 대한 위치정보를 산출할 수 있다(S120). 상기 제 1 객체탐지모듈은 딥러닝 또는 머신러닝 기반의 객체탐지(object detection) 모듈을 의미하며, 상기 제 1 객체탐지모듈은 상기 파노라마 영상에서 개별 치아(치아 하나)를 구분하도록 학습된 모듈이다. 즉, 상기 제 1 객체탐지모듈은 상기 파노마라 치아영상에서 각각의 개별 치아를 구분하여 하나의 치아씩 개별적으로 이미지를 인식할 수 있는데, 예를 들어, 도 2와 같이 각각의 치아 영역(210 또는 220)을 박스 형상으로 인식할 수 있다. 상기 위치정보는 상기 구분된 하나씩의 치아의 좌표값을 포함할 수 있다. 상기 좌표값은 수평방향에서 상기 치아의 좌표값에 해당하는 수평좌표값(x축 방향의 좌표값)과 수직방향에서 상기 치아의 좌표값에 해당하는 수직좌표값(y축 방향의 좌표값)을 포함할 수 있다. 하나의 치아에 있어서 상기 수직좌표값 중 수직방향으로 가장 위쪽에 위치하는 좌표값이 제 1 수직최대값이고 상기 수직좌표값 중 수직방향으로 가장 아래에 위치하는 좌표값이 제 1 수직최소값으로 정의된다. 즉, 상기 제 1 객체탐지모듈에 의하여 각각의 치아별로 상기 제 1 수직최대값과 상기 제 1 수직최소값이 설정될 수 있다. 그러나 이와 같이 각각의 치아의 좌표값이 설정되어도 각각의 치아가 상악치인지 하악치인지 구분할 수 없으므로, 이하의 과정을 거쳐 각각의 치아가 상악치인지 하악치인지 구분하게 된다.The information processing device may classify individual teeth in the panoramic tooth image using the first object detection module and calculate location information for each tooth (S120). The first object detection module means an object detection module based on deep learning or machine learning, and the first object detection module is a module learned to distinguish an individual tooth (one tooth) from the panoramic image. That is, the first object detection module can distinguish each individual tooth from the panoramic tooth image and recognize the image individually one by one. For example, as shown in FIG. 2, each tooth area 210 or 220) can be recognized as a box shape. The location information may include coordinate values of each of the separated teeth. The coordinate value is a horizontal coordinate value corresponding to the coordinate value of the tooth in the horizontal direction (coordinate value in the x-axis direction) and a vertical coordinate value corresponding to the coordinate value of the tooth in the vertical direction (coordinate value in the y-axis direction) can include In one tooth, the coordinate value located at the top of the vertical coordinate value in the vertical direction is the first vertical maximum value, and the coordinate value located at the bottom in the vertical direction among the vertical coordinate values is defined as the first vertical minimum value. . That is, the first vertical maximum value and the first vertical minimum value may be set for each tooth by the first object detection module. However, even if the coordinate values of each tooth are set in this way, it is impossible to distinguish whether each tooth is a maxillary tooth or a mandibular tooth.

상기 정보처리모듈은 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 치경선(cervical line)을 산출하고 상기 치경선의 위치정보를 산출할 수 있다(S130). 상기 치경선은 치관을 이은 선으로 치아의 머리와 뿌리 사이의 경계를 표시한 선을 의미한다. 상기 제 2 객체탐지모듈은 딥러닝 또는 머신러닝 기반의 객체탐지(object detection) 모듈을 의미하며, 상기 제 2 객체탐지모듈은 상기 파노라마 영상에서 치경선을 산출하도록 학습된 모듈이다. 즉, 상기 제 2 객체탐지모듈은 상기 파노마라 치아영상에서 각각의 치경선을 산출할 수 있는데, 상기 산출된 치경선의 값들을 이용하여 도 3과 같이 치경선 영역(310)(중앙의 좌우로 길게 형성된 사각형 박스)을 설정할 수 있다. 예를 들어, 도 3과 같이 치경선 영역(310)이 형성되는 경우 치경선 영역(310)의 상부 경계는 상기 산출된 치경선들 중 상부의 치경선들을 이용하여 결정될 수 있고, 치경선 영역(310) 중 하부 경계는 상기 산출된 치경선들 중 하부의 치경선들을 이용하여 결정될 수 있다. 즉, 상기 정보처리모듈은 상기 산출된 치경선들 중 상부의 치경선들을 이용하여 치경선 영역(310)의 상부 경계인 제 2 수직최대값을 좌표로 산출하고 상기 산출된 치경선들 중 하부의 치경선들을 이용하여 치경선 영역(310)의 하부 경계인 제 2 수직최소값을 좌표로 산출할 수 있다. 예를 들어, 상기 제 2 수직최대값은 상기 산출된 치경선들 중 상부의 치경선들의 평균값이고, 상기 제 2 수직최소값은 상기 산출된 치경선들 중 하부의 치경선들의 평균값일 수 있다. 다만, 상기 제 2 수직최대값과 상기 제 2 수직최소값이 상기 치경선들의 평균값을 이용하여야 하는 것은 아니며 다른 다양한 방식으로 산출될 수 있다.The information processing module may calculate a cervical line from the panoramic tooth image using the second object detection module and calculate location information of the cervical line (S130). The alveolar line is a line connecting the crown of the tooth and means a line marking the boundary between the head and root of the tooth. The second object detection module refers to an object detection module based on deep learning or machine learning, and the second object detection module is a module learned to calculate an alveolar line from the panoramic image. That is, the second object detection module may calculate each alveolar line from the panoramic tooth image. Using the values of the calculated alveolar line, as shown in FIG. 3, the alveolar line area 310 (to the left and right of the center) long rectangular box) can be set. For example, when the alveolar line area 310 is formed as shown in FIG. 3, the upper boundary of the alveolar line area 310 may be determined using upper alveolar lines among the calculated alveolar lines, and the alveolar line area ( 310), the lower boundary may be determined using lower alveolar lines among the calculated alveolar lines. That is, the information processing module calculates the second vertical maximum, which is the upper boundary of the alveolar line area 310, as coordinates using the upper alveolar lines among the calculated alveolar lines, and the lower one of the calculated alveolar lines. A second vertical minimum value, which is the lower boundary of the alveolar line region 310, may be calculated using the meridians as coordinates. For example, the second vertical maximum value may be an average value of upper alveolar lines among the calculated alveolar lines, and the second vertical minimum value may be an average value of lower alveolar lines among the calculated alveolar lines. However, it is not necessary to use the average value of the alveolar lines for the second vertical maximum value and the second vertical minimum value, and may be calculated in various other ways.

다음으로, 상기 정보처리모듈은 상기 치아의 위치정보와 상기 치경선의 위치정보를 비교하여 상기 치아가 상악치인지 하악치인지 구분할 수 있다(S140). 예를 들어, 상기 정보처리모듈은 상기 제 1 수직최대값이 상기 제 2 수직최대값 이상이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 이상인 경우 상기 치아를 상악치로 판단할 수 있다. 또한, 상기 정보처리모듈은 상기 제 1 수직최소값이 상기 제 2 수직최소값 이하이면서 상기 제 1 수직최대값이 상기 제 2 수직최대값 이하인 경우 상기 치아를 하악치로 판단할 수 있다. 다른 예로, 상기 정보처리모듈은 상기 제 2 수직최대값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최소값이 상기 제 2 수직최대값 이상인 경우 상기 치아를 상악치로 판단할 수 있다. 또한, 상기 정보처리모듈은 상기 제 2 수직최소값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최대값이 상기 제 2 수직최소값 이하인 경우 상기 치아를 하악치로 판단할 수 있다.Next, the information processing module may compare the location information of the tooth and the location information of the alveolar line to determine whether the tooth is a maxillary tooth or a mandibular tooth (S140). For example, the information processing module may determine the tooth as an upper jaw when the first vertical maximum value is equal to or greater than the second vertical maximum value and the first vertical minimum value is equal to or greater than the second vertical minimum value. In addition, the information processing module may determine the tooth as a mandibular tooth when the first vertical minimum value is equal to or less than the second vertical minimum value and the first vertical maximum value is equal to or less than the second vertical maximum value. As another example, the information processing module determines that the tooth is an upper jaw when the second vertical maximum value is between the first vertical maximum value and the first vertical minimum value or when the first vertical minimum value is greater than or equal to the second vertical maximum value. can do. In addition, the information processing module may determine that the tooth is a mandibular tooth when the second vertical minimum value is between the first vertical maximum value and the first vertical minimum value or when the first vertical maximum value is less than or equal to the second vertical minimum value. there is.

다만, 상기 제 1 수직최대값이 상기 제 2 수직최대값 이상이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 이하인 경우와 상기 제 1 수직최대값이 상기 제 2 수직최대값 미만이이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 초과인 경우에는 다른 방식으로 상기 치아가 상악치인지 하악치인지를 구분한다. 이 경우 상기 정보처리모듈은 기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 작은 경우 상악치로 판단하고, 상기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 큰 경우 하악치로 판단할 수 있다.However, when the first vertical maximum value is greater than or equal to the second vertical maximum value and the first vertical minimum value is less than or equal to the second vertical minimum value, and when the first vertical maximum value is less than the second vertical maximum value, the first vertical minimum value is less than the second vertical maximum value. When the vertical minimum value exceeds the second vertical minimum value, it is determined whether the tooth is an upper jaw tooth or a lower jaw tooth. In this case, the information processing module determines that it is an upper jaw when the distance between the first vertical minimum value and the second vertical maximum value is smaller than the distance between the first vertical maximum value and the second vertical minimum value, and the first vertical maximum value If the distance between the minimum value and the second vertical maximum value is greater than the distance between the first vertical maximum value and the second vertical minimum value, it may be determined as a lower jaw tooth.

이상에서와 같은 단계를 반복적으로 수행하면서 검출된 치아들 전체에 대하여 상악치인지 하악치인지 판단이 완료된 경우, 상기 정보처리모듈은 제 1 영상분류모델을 이용하여 상기 상악치 또는 상기 하악치로 구분된 상기 각각의 치아가 치식에 매칭될 확률을 산출하여 치아번호를 부여할 수 있다(S150). 치식이란 치아의 종류와 수를 알기 쉽게 표현하기 위하여 식으로 나타낸 것으로, 사람의 경우 상악치 좌/우, 하악치 좌/우에 각각 8개의 치식을 가지고 있다. 즉, 치식 1과 치식 2는 문치(앞니), 치식 3은 견치(송곳니), 치식 4와 치식 5는 소구치(앞어금니), 치식 6과 치식 7과 치식 8은 대구치(뒷어금니)로 구분된다. 예를 들어, 파노라마 치아영상을 기준으로 상악치 좌측의 치아는 중간의 앞니부터 좌측방향으로 치식 1에서 치식 8까지로 정의되며, 치식 1이 치아번호 11, 치식 2가 치아번호 12, 치식 3이 치아번호 13, 치식 4 치아번호 14, 치식 5가 치아번호 15, 치식 6이 치아번호 16, 치식 7이 치아번호 17, 치식 8이 치아번호 18이 된다. 마찬가지로 파노라마 치아영상을 기준으로 상악치 우측의 치아는 중간의 앞니부터 우측방향으로 치식 1에서 치식 8까지로 정의되며, 치식 1이 치아번호 21, 치식 2가 치아번호 22, 치식 3이 치아번호 23, 치식 4 치아번호 24, 치식 5가 치아번호 25, 치식 6이 치아번호 26, 치식 7이 치아번호 27, 치식 8이 치아번호 28이 된다. 파노라마 치아영상을 기준으로 하악치 좌측의 치아는 중간의 앞니부터 좌측방향으로 치식 1에서 치식 8까지로 정의되며, 치식 1이 치아번호 31, 치식 2가 치아번호 32, 치식 3이 치아번호 33, 치식 4 치아번호 34, 치식 5가 치아번호 35, 치식 6이 치아번호 36, 치식 7이 치아번호 37, 치식 8이 치아번호 38이 된다. 마찬가지로 파노라마 치아영상을 기준으로 하악치 우측의 치아는 중간의 앞니부터 우측방향으로 치식 1에서 치식 8까지로 정의되며, 치식 1이 치아번호 41, 치식 2가 치아번호 42, 치식 3이 치아번호 43, 치식 4 치아번호 44, 치식 5가 치아번호 45, 치식 6이 치아번호 46, 치식 7이 치아번호 47, 치식 8이 치아번호 48이 된다.When the determination of whether the upper or lower teeth is completed with respect to all of the detected teeth while repeatedly performing the same steps as above, the information processing module determines whether the upper or lower teeth are classified using the first image classification model. A tooth number may be assigned by calculating a probability that each tooth matches the tooth formula (S150). The tooth formula is expressed as a formula to express the type and number of teeth in an easy-to-understand manner. In the case of humans, there are 8 tooth formulas on the left/right side of the upper and lower teeth, respectively. That is, formulas 1 and 2 are divided into door teeth (incisors), formula 3 is divided into canines (canines), formulas 4 and 5 are divided into premolars (premolars), and formulas 6, 7, and 8 are molars (back molars). . For example, based on the panoramic tooth image, the teeth on the left side of the maxillary teeth are defined from the middle incisor to the left from tooth formula 1 to tooth formula 8, and tooth formula 1 is tooth number 11, tooth formula 2 is tooth number 12, and tooth formula 3 is Tooth number 13, formula 4 tooth number 14, formula 5 becomes tooth number 15, formula 6 becomes tooth number 16, formula 7 becomes tooth number 17, formula 8 becomes tooth number 18. Similarly, based on the panoramic tooth image, the teeth on the right side of the maxillary teeth are defined from the middle incisors to the right from tooth formula 1 to tooth formula 8. Tooth formula 1 is tooth number 21, tooth formula 2 is tooth number 22, and tooth formula 3 is tooth number 23. , formula 4 tooth number 24, formula 5 tooth number 25, formula 6 tooth number 26, formula 7 tooth number 27, and formula 8 tooth number 28. Based on the panoramic tooth image, the teeth on the left side of the mandibular teeth are defined from the middle incisors to the left from tooth formula 1 to tooth formula 8, with formula 1 being tooth number 31, formula 2 being tooth number 32, formula 3 being tooth number 33, Tooth formula 4 becomes tooth number 34, formula 5 becomes tooth number 35, formula 6 becomes tooth number 36, formula 7 becomes tooth number 37, and formula 8 becomes tooth number 38. Likewise, based on the panoramic tooth image, the teeth on the right side of the mandible are defined from the middle incisor to the right from tooth formula 1 to tooth formula 8. Tooth formula 1 is tooth number 41, tooth formula 2 is tooth number 42, and tooth formula 3 is tooth number 43. , tooth formula 4 tooth number 44, tooth formula 5 tooth number 45, tooth formula 6 tooth number 46, tooth formula 7 tooth number 47, and tooth formula 8 tooth number 48.

상기 제 1 영상분류모델은 딥러닝 또는 머신러닝 기반의 영상분류(image classification) 모듈을 의미하며, 상기 제 1 영상분류모듈은 개별 치아(치아 하나)의 치식을 구분하도록 학습된 모듈이다. 즉, 상기 제 1 영상분류모듈은 상기 개별 치아 이미지를 기초로 상기 치아가 치식 1 내지 치식 8일 확률을 산출한 후 치아번호를 부여할 수 있다. The first image classification model refers to an image classification module based on deep learning or machine learning, and the first image classification module is a module learned to classify a tooth type of an individual tooth (one tooth). That is, the first image classification module may assign a tooth number after calculating a probability that the tooth is tooth formula 1 to tooth formula 8 based on the individual tooth image.

앞서 상악치에 해당하는 치아들과 하악치에 해당하는 치아들의 분류는 완료되었으며, 상기 분류된 치아들의 수평좌표값을 이용하여 정렬함으로써 상기 치아들의 순서까지는 확인할 수 있다. 즉, 상악치에 해당하는 치아들의 수평좌표값을 좌측에서 우측방향으로 정렬하여 치아를 배열하면 상악치에 해당하는 치아들의 순서를 알 수 있다. 마찬가지로 하악치에 해당하는 치아들의 수평좌표값을 좌측에서 우측방향으로 정렬하여 치아를 배열하면 하악치에 해당하는 치아들의 순서를 알 수 있다. 그러나 이와같이 배열된 치아들의 치아번호까지는 정확하게 알 수가 없다. 예를 들어, 상악치로 판단된 치아가 16개인 경우에는 수평좌표값의 순서대로 치아번호가 부여될 가능성이 높지만, 상악치로 판단된 치아가 15개인 경우 빠진 치아가 어떤 치아인지 알 수 없기 때문에 치아번호를 정확하게 부여할 수 없다.The classification of the teeth corresponding to the upper jaw teeth and the teeth corresponding to the lower jaw teeth have been previously completed, and the order of the teeth can be confirmed by aligning them using the horizontal coordinate values of the classified teeth. That is, if the teeth are arranged by arranging the horizontal coordinate values of the teeth corresponding to the upper jaw in a direction from left to right, the order of the teeth corresponding to the upper jaw can be known. Similarly, if the teeth are arranged by arranging the horizontal coordinate values of the teeth corresponding to the lower jaw in a direction from left to right, the order of the teeth corresponding to the lower jaw can be known. However, it is not possible to accurately know the tooth numbers of the teeth arranged in this way. For example, if there are 16 teeth judged as upper teeth, there is a high possibility that the tooth numbers will be assigned in the order of horizontal coordinate values. cannot be accurately assigned.

이를 위하여 상기 정보처리장치는 상기 상악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 상악치 치아그룹을 생성할 수 있다. 그리고 상기 정보처리모듈은 상기 상악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하고, 상기 상악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 상악치 치아그룹의 치아번호로 상악치에 해당하는 치아들의 치아번호를 부여할 수 있다. 마찬가지로 하악치의 경우에도, 상기 정보처리장치는 상기 하악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 하악치 치아그룹을 생성할 수 있다. 그리고 상기 정보처리모듈은 상기 하악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하고, 상기 하악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 하악치 치아그룹의 치아번호로 하악치에 해당하는 치아들의 치아번호를 부여할 수 있다.To this end, the information processing device may generate maxillary tooth groups in all cases to which tooth numbers can be applied according to the number of teeth determined as the maxillary teeth. And the information processing module calculates a probability that each tooth matches the tooth formula for each upper jaw tooth group by using the first image classification model, and calculates a probability that each tooth matches the tooth formula for each upper jaw tooth group. The tooth numbers of the teeth corresponding to the upper teeth may be given as the tooth numbers of the upper teeth group selected using the score. Likewise, in the case of the lower jaw, the information processing device may generate lower jaw tooth groups in all cases to which tooth numbers can be applied according to the number of teeth determined as the lower jaw. And the information processing module calculates a probability that each tooth matches the tooth formula for each lower jaw tooth group using the first image classification model, and calculates a probability that each tooth matches the tooth formula for each lower jaw tooth group. The tooth numbers of the teeth corresponding to the lower teeth may be assigned as the tooth numbers of the tooth group of the lower jaw teeth selected using the score.

예를 들어, 상악치로 판단된 치아가 15인 경우, 상악치 치아그룹이 될 수 있는 경우는 도 4에 도시된 것과 같이 16개이다. 즉, 치아번호 11~17, 21~28이 있는 치아그룹 1, 치아번호 11~16, 18, 21~28이 있는 치아그룹 2, 치아번호 11~15, 17, 18, 21~28이 있는 치아그룹 3과 같이 상악치 치아그룹의 경우를 나누어보면 총 16가지 경우가 있음을 알 수 있다. 그리고, 각각의 상악치 치아그룹에 대하여 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하게 된다. 예를 들어, 도 5에 도시된 것과 같이, 상악치로 판단된 15개의 치아(치아 1 ~ 치아 15)는 각각 치식 1 내지 치식 7에 해당할 확률이 상기 제 1 영상분류모델의 의하여 결정되게 된다. 예를 들어, 치아 1은 치식 1일 확률 80%, 치식 2일 확률 16%, 치식 3일 확률 7% 등과 같이 치아별로 치식에 매칭될 확률이 결정되게 된다. 그리고 각각의 치아그룹에 대하여 치아 순서대로 상기 치아가 치식에 매칭될 확률을 적용하게 된다. 예를 들어, 도 5에서 치아그룹 1에 있어서 치아번호 17은 치아 1의 치식 7에 대응하므로 치아번호 17에는 치아 1의 치식 7에 대응하는 확률이 적용되고, 치아번호 16은 치아 2의 치식 6에 대응하므로 치아번호 16에는 치아 2의 치식 6에 대응하는 확률이 적용된다. 이와 같은 동작은 치아그룹 1에서 치아그룹 16까지 모두 수행하게 되면, 이후에 각각의 상악치 치아그룹별로 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 상악치 치아그룹의 치아번호로 상악치에 해당하는 치아들의 치아번호를 부여하게 된다.For example, when the number of teeth determined to be the upper jaw is 15, the number of teeth that can be the upper jaw tooth group is 16 as shown in FIG. 4 . That is, tooth group 1 with tooth numbers 11 to 17 and 21 to 28, tooth group 2 with tooth numbers 11 to 16, 18, and 21 to 28, and teeth with tooth numbers 11 to 15, 17, 18, and 21 to 28. It can be seen that there are a total of 16 cases when the cases of the maxillary tooth group are divided like Group 3. In addition, the probability that each tooth matches the tooth formula is calculated using the first image classification model for each upper jaw tooth group. For example, as shown in FIG. 5 , the probability that 15 teeth (teeth 1 to 15) that are determined to be upper teeth correspond to tooth formulas 1 to 7, respectively, is determined by the first image classification model. For example, the probability of matching tooth formula for each tooth is determined, such as 80% probability of tooth formula 1, 16% probability of tooth formula 2, and 7% probability of tooth formula 3. In addition, the probability that the teeth match the tooth formula is applied to each tooth group in the order of the teeth. For example, in FIG. 5 , in tooth group 1, tooth number 17 corresponds to tooth formula 7 of tooth 1, so a probability corresponding to tooth formula 7 of tooth 1 is applied to tooth number 17, and tooth number 16 corresponds to tooth formula 6 of tooth 2. Since it corresponds to tooth number 16, the probability corresponding to tooth formula 6 of tooth 2 is applied. When this operation is performed from tooth group 1 to tooth group 16, then, using the score calculated using the probability calculated for each maxillary tooth group, the tooth number of the selected maxillary tooth group is assigned to the maxillary tooth. The tooth number of the corresponding teeth is given.

예를 들어, 상기 상악치 또는 상기 하악치에 해당하는 치아들의 치아그룹별 점수는 아래의 수학식 1과 같이 정의될 수 있다.For example, the scores for each tooth group of the teeth corresponding to the upper teeth or the lower teeth may be defined as in Equation 1 below.

Figure 112022085951567-pat00001
Figure 112022085951567-pat00001

N은 상기 상악치 치아그룹 또는 상기 하악치 치아그룹의 치아 개수,

Figure 112022085951567-pat00002
는 i번째 치아(ti)가 i번째 치식(si)일 확률N is the number of teeth of the upper jaw tooth group or the lower jaw tooth group,
Figure 112022085951567-pat00002
is the probability that the ith tooth (ti) is the ith tooth formula (si)

다만, 치아그룹 별 점수가 수학식 1에 의하여 결정되어야만 하는 것은 아니며 다른 방식에 의하여 치아그룹의 점수를 결정할 수도 있다.However, the score for each tooth group does not have to be determined by Equation 1, and the score for each tooth group may be determined by another method.

이와 같이 결정된 점수 중 가장 높은 점수를 가지는 치아그룹의 치아번호가 결국 치아들의 치아번호로 확정되게 된다. 예를 들어, 도 4 및 도 5의 예에서 치아그룹 3의 첨수가 가장 높았다면, 상악치는 치아번호 16이 빠진 치아번호 18, 17, 15 ... , 26, 27, 28로 결정되게 된다. 마찬가지로 하악치에 대하여도 동일한 방법을 통하여 하악치로 결정된 치아들의 치아번호를 부여할 수 있다.The tooth number of the tooth group having the highest score among the scores determined in this way is eventually determined as the tooth number of the teeth. For example, in the examples of FIGS. 4 and 5 , if tooth group 3 has the highest index number, tooth numbers 18, 17, 15 ... , 26, 27, and 28 are determined for the maxillary teeth without tooth number 16. Likewise, for the lower teeth, tooth numbers of the teeth determined as the lower teeth may be assigned through the same method.

도 6은 본 발명의 다른 기술적 사상에 의한 일 실시예에 따른 인공지능을 이용한 치아 상태 판독문 생성 방법의 흐름도이다. 이하에서 모든 동작은 정보처리장치에서 수행될 수 있으며, 정보처리장치는 컴퓨터, 서버 등 다양한 장치가 될 수 있다. 6 is a flowchart of a method for generating a dental condition reading statement using artificial intelligence according to an embodiment according to another technical concept of the present invention. All operations below may be performed in an information processing device, and the information processing device may be various devices such as a computer and a server.

도 1 내지 도 6을 참조하면, 인공지능을 이용한 치아 상태 판독문 생성 방법이 수행되기 위하여는 먼저 도 1 내지 도 5와 관련하여 설명한 인공지능을 이용한 치아번호 식별 방법이 먼저 실행되어야 한다. 즉, 도 6에서 S610 내지 S650 단계는 도 1의 S110 내지 S150 단계와 동일하므로, 이하 중복되는 설명은 도 1의 S110 내지 S150 단계의 설명으로 대체한다. S610 내지 S650 단계가 수행되어 치아번호가 식별된 이후, 상기 정보처리장치는 치아와 임플란트를 구분하고 치아의 상태 및 임플란트 정보를 생성할 수 있도록 학습된 제 2 영상분류모델을 이용하여 상기 치아번호별로 치아인지 임플란트인지를 판단할 수 있다. 상기 제 2 영상분류모델은 상기 개별치아의 이미지를 이용하여 상기 치아가 자연적인 치아인지 또는 임플란트인지를 식별할 수 있는 영상분류모듈을 의미한다. 상기 정보처리장치는 상기 치아를 자연적인 치아로 판단한 경우 상기 치아의 치료정보를 생성하고, 상기 치아가 임플란트로 판단된 경우 상기 임플란트와 관련된 임플란트 정보를 생성할 수 있다. 그리고 상기 치아번호별로 치아인지 임플란트인지에 대한 정보, 상기 치료정보, 상기 임플란트 정보를 결합하여 치아상태 판독문을 생성할 수 있다(S660). 여기서 상기 치료정보는 상기 치아의 치료여부에 대한 정보 및 신경치료 여부에 대한 정보 중 적어도 하나를 포함하고, 상기 임플란트 정보는 상기 임플란트의 제조사 정보 및 상기 임플란트의 모델정보 중 적어도 하나를 포함할 수 있다. Referring to FIGS. 1 to 6 , in order to perform the method of generating a tooth state reading statement using artificial intelligence, the tooth number identification method using artificial intelligence described with reference to FIGS. 1 to 5 must first be executed. That is, since steps S610 to S650 in FIG. 6 are the same as steps S110 to S150 in FIG. 1 , overlapping descriptions below are replaced with descriptions of steps S110 to S150 in FIG. 1 . After steps S610 to S650 are performed and the tooth number is identified, the information processing device distinguishes between teeth and implants and uses the second image classification model learned to generate information on the state of teeth and implants for each tooth number. It can determine whether it is a tooth or an implant. The second image classification model refers to an image classification module capable of discriminating whether the tooth is a natural tooth or an implant using the image of the individual tooth. The information processing device may generate treatment information of the tooth when the tooth is determined to be a natural tooth, and may generate implant information related to the implant when the tooth is determined to be an implant. In addition, a tooth condition interpretation statement may be generated by combining the information on whether the teeth are teeth or implants, the treatment information, and the implant information for each tooth number (S660). Here, the treatment information may include at least one of information on whether the tooth is treated or not and information on whether or not nerve treatment is performed, and the implant information may include at least one of manufacturer information of the implant and model information of the implant. .

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, the optimum embodiment has been disclosed in the drawings and specifications. Although specific terms have been used herein, they are only used for the purpose of describing the present invention and are not used to limit the scope of the present invention described in the claims or defining the meaning. Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

Claims (15)

파노라마 치아영상으로부터 치아번호를 자동으로 식별하는 인공지능을 이용한 치아번호 식별 방법에 있어서,
정보처리장치에서, 파노라마 치아영상을 수신하는 단계;
상기 정보처리장치에서, 개별 치아를 구분하도록 학습된 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하여 각각의 치아에 대한 위치정보를 산출하는 단계;
상기 정보처리장치에서, 치경선을 산출하도록 학습된 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 치경선을 산출하고 상기 치경선의 위치정보를 산출하는 단계;
상기 정보처리장치에서, 상기 치아의 위치정보와 상기 치경선의 위치정보를 비교하여 상기 치아가 상악치인지 하악치인지 구분하는 단계; 및
상기 정보처리장치에서, 개별 치아의 치식을 구분하도록 학습된 제 1 영상분류모델을 이용하여 상기 상악치 또는 상기 하악치로 구분된 상기 각각의 치아가 치식에 매칭될 확률을 산출하여 치아번호를 부여하는 단계를 포함하고,
상기 치아에 대한 위치정보를 산출하는 단계는,
상기 정보처리장치에서, 상기 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하는 단계; 및
상기 정보처리장치에서, 상기 구분된 치아 각각에 대하여 제 1 수직최대값 및 제 1 수직최소값을 좌표로 산출하는 단계를 포함하고,
상기 치경선의 위치정보를 산출하는 단계는,
상기 정보처리장치에서, 상기 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 상기 치아들의 치경선을 산출하는 단계; 및
상기 정보처리장치에서, 상기 산출된 치경선들 중 상부의 치경선들을 이용하여 제 2 수직최대값을 좌표로 산출하고 상기 산출된 치경선들 중 하부의 치경선들을 이용하여 제 2 수직최소값을 좌표로 산출하는 단계를 포함하며,
상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 1 수직최대값, 상기 제 1 수직최소값, 상기 제 2 수직최대값 및 상기 제 2 수직최소값을 비교하여 상기 치아가 상악치인지 하악치인지 구분하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아번호 식별 방법.
A tooth number identification method using artificial intelligence for automatically identifying a tooth number from a panoramic tooth image,
In an information processing device, receiving a panoramic tooth image;
In the information processing device, calculating location information for each tooth by identifying individual teeth in the panoramic tooth image using a first object detection module learned to distinguish individual teeth;
calculating, in the information processing device, an alveolar line from the panoramic tooth image using a second object detection module learned to calculate an alveolar line and calculating location information of the alveolar line;
In the information processing device, comparing the location information of the tooth and the location information of the alveolar line to distinguish whether the tooth is a maxillary tooth or a mandibular tooth; and
In the information processing device, using a first image classification model learned to classify the tooth formula of individual teeth, each tooth divided into the upper jaw or the lower jaw calculates a probability that each tooth matches the tooth formula, and assigns a tooth number contains steps,
Calculating the location information for the tooth,
In the information processing device, discriminating individual teeth from the panoramic tooth image using the first object detection module; and
In the information processing device, calculating a first vertical maximum value and a first vertical minimum value for each of the separated teeth as coordinates,
Calculating the location information of the alveolar line,
calculating, in the information processing device, alveolar lines of the teeth in the panoramic tooth image using the second object detection module; and
In the information processing device, the second vertical maximum value is calculated as coordinates using upper alveolar lines among the calculated alveolar lines, and the second vertical minimum value is calculated as coordinates using lower alveolar lines among the calculated alveolar lines. Including the step of calculating as,
The step of distinguishing whether the teeth are upper or lower teeth,
In the information processing device, comparing the first vertical maximum value, the first vertical minimum value, the second vertical maximum value, and the second vertical minimum value to distinguish whether the tooth is an upper jaw or a lower jaw. Tooth number identification method using artificial intelligence.
삭제delete 제1항에 있어서, 상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 1 수직최대값이 상기 제 2 수직최대값 이상이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 이상인 경우 상기 치아를 상악치로 판단하는 단계; 및
상기 정보처리장치에서, 상기 제 1 수직최소값이 상기 제 2 수직최소값 이하이면서 상기 제 1 수직최대값이 상기 제 2 수직최대값 이하인 경우 상기 치아를 하악치로 판단하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아번호 식별 방법.
The method of claim 1, wherein the step of distinguishing whether the teeth are upper or lower teeth,
determining, in the information processing device, that the tooth is an upper jaw when the first vertical maximum value is greater than or equal to the second vertical maximum value and the first vertical minimum value is greater than or equal to the second vertical minimum value; and
In the information processing device, if the first vertical minimum value is less than or equal to the second vertical minimum value and the first vertical maximum value is less than or equal to the second vertical maximum value, determining the tooth as a mandibular tooth. Tooth number identification method using intelligence.
제1항에 있어서, 상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 2 수직최대값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최소값이 상기 제 2 수직최대값 이상인 경우 상기 치아를 상악치로 판단하는 단계; 및
상기 정보처리장치에서, 상기 제 2 수직최소값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최대값이 상기 제 2 수직최소값 이하인 경우 상기 치아를 하악치로 판단하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아번호 식별 방법.
The method of claim 1, wherein the step of distinguishing whether the teeth are upper or lower teeth,
In the information processing device, determining that the tooth is an upper jaw when the second vertical maximum value is between the first vertical maximum value and the first vertical minimum value or when the first vertical minimum value is greater than or equal to the second vertical maximum value ; and
In the information processing device, determining that the tooth is a mandibular tooth when the second vertical minimum value is between the first vertical maximum value and the first vertical minimum value or when the first vertical maximum value is equal to or less than the second vertical minimum value Tooth number identification method using artificial intelligence, characterized in that it comprises.
제1항에 있어서, 상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 1 수직최대값이 상기 제 2 수직최대값 이상이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 이하인 경우와 상기 제 1 수직최대값이 상기 제 2 수직최대값 미만이이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 초과인 경우, 상기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 작은 경우 상악치로 판단하고, 상기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 큰 경우 하악치로 판단하는 단계를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 치아번호 식별 방법.
The method of claim 1, wherein the step of distinguishing whether the teeth are upper or lower teeth,
In the information processing device, the case where the first vertical maximum value is equal to or greater than the second vertical maximum value and the first vertical minimum value is equal to or less than the second vertical minimum value and the first vertical maximum value is less than the second vertical maximum value and when the first vertical minimum value exceeds the second vertical minimum value, when the distance between the first vertical minimum value and the second vertical maximum value is smaller than the distance between the first vertical maximum value and the second vertical minimum value The step of determining the upper jaw teeth and determining the lower jaw teeth when the distance between the first vertical minimum value and the second vertical maximum value is greater than the distance between the first vertical maximum value and the second vertical minimum value Tooth number identification method using artificial intelligence.
제1항에 있어서, 상기 치아번호를 부여하는 단계는,
상기 정보처리장치에서, 상기 상악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 상악치 치아그룹을 생성하는 단계;
상기 정보처리장치에서, 상기 상악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하는 단계;
상기 정보처리장치에서, 상기 상악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 상악치 치아그룹의 치아번호로 상악치에 해당하는 치아들의 치아번호를 부여하는 단계;
상기 정보처리장치에서, 상기 하악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 하악치 치아그룹을 생성하는 단계;
상기 정보처리장치에서, 상기 하악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하는 단계; 및
상기 정보처리장치에서, 상기 하악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 하악치 치아그룹의 치아번호로 하악치에 해당하는 치아들의 치아번호를 부여하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아번호 식별 방법.
The method of claim 1, wherein the assigning of the tooth number comprises:
generating, in the information processing device, upper jaw tooth groups in all cases to which tooth numbers can be applied according to the number of teeth determined as the upper jaw teeth;
calculating, in the information processing device, a probability that each tooth matches a tooth formula by using the first image classification model for each tooth group of the upper teeth;
assigning, in the information processing device, tooth numbers of teeth corresponding to the maxillary teeth as the tooth numbers of the maxillary tooth groups selected using the score calculated using the calculated probability for each of the maxillary tooth groups;
generating, in the information processing device, tooth groups of lower jaw teeth in all cases to which tooth numbers can be applied according to the number of teeth determined as the lower jaw teeth;
calculating, in the information processing device, a probability that each tooth matches a tooth formula by using the first image classification model for each tooth group of the lower jaw; and
In the information processing device, assigning tooth numbers of teeth corresponding to the lower jaw teeth as the tooth numbers of the lower jaw tooth groups selected using the score calculated using the calculated probability for each lower jaw tooth group. Tooth number identification method using artificial intelligence, characterized in that.
제6항에 있어서,
상기 상악치 또는 상기 하악치에 해당하는 치아들의 치아그룹별 점수는,
Figure 112022085951567-pat00003

(N은 상기 상악치 치아그룹 또는 상기 하악치 치아그룹의 치아 개수,
Figure 112022085951567-pat00004
는 i번째 치아(ti)가 i번째 치식(si)일 확률)
로 산출되는 것을 특징으로 하는 인공지능을 이용한 치아번호 식별 방법.
According to claim 6,
The scores for each tooth group of the teeth corresponding to the upper or lower teeth are,
Figure 112022085951567-pat00003

(N is the number of teeth of the upper jaw tooth group or the lower jaw tooth group,
Figure 112022085951567-pat00004
is the probability that the ith tooth (ti) is the ith tooth formula (si)
Tooth number identification method using artificial intelligence, characterized in that calculated as.
파노라마 치아영상으로부터 치아번호를 자동으로 식별하고 치아 상태를 자동으로 판별하여 치아 상태 판독문을 자동으로 생성하는 인공지능을 이용한 치아 상태 판독문 생성 방법에 있어서,
정보처리장치에서, 파노라마 치아영상을 수신하는 단계;
상기 정보처리장치에서, 개별 치아를 구분하도록 학습된 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하여 각각의 치아에 대한 위치정보를 산출하는 단계;
상기 정보처리장치에서, 치경선을 산출하도록 학습된 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 치경선을 산출하고 상기 치경선의 위치정보를 산출하는 단계;
상기 정보처리장치에서, 상기 치아의 위치정보와 상기 치경선의 위치정보를 비교하여 상기 치아가 상악치인지 하악치인지 구분하는 단계;
상기 정보처리장치에서, 개별 치아의 치식을 구분하도록 학습된 제 1 영상분류모델을 이용하여 상기 상악치 또는 상기 하악치로 구분된 상기 각각의 치아가 치식에 매칭될 확률을 산출하여 치아번호를 부여하는 단계;
상기 정보처리장치에서, 치아와 임플란트를 구분하고 치아의 상태 및 임플란트 정보를 생성할 수 있도록 학습된 제 2 영상분류모델을 이용하여 상기 치아번호별로 치아인지 임플란트인지를 판단하고, 치아로 판단한 경우 상기 치아의 치료정보를 생성하며, 임플란트로 판단된 경우 상기 임플란트와 관련된 임플란트 정보를 생성하는 단계; 및
상기 정보처리장치에서, 상기 치아번호별로 치아인지 임플란트인지에 대한 정보, 상기 치료정보, 상기 임플란트 정보를 결합하여 치아상태 판독문을 생성하는 단계를 포함하고,
상기 치아에 대한 위치정보를 산출하는 단계는,
상기 정보처리장치에서, 상기 제 1 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 개별 치아를 구분하는 단계; 및
상기 정보처리장치에서, 상기 구분된 치아 각각에 대하여 제 1 수직최대값 및 제 1 수직최소값을 좌표로 산출하는 단계를 포함하고,
상기 치경선의 위치정보를 산출하는 단계는,
상기 정보처리장치에서, 상기 제 2 객체탐지모듈을 이용하여 상기 파노라마 치아영상에서 상기 치아들의 치경선을 산출하는 단계; 및
상기 정보처리장치에서, 상기 산출된 치경선들 중 상부의 치경선들을 이용하여 제 2 수직최대값을 좌표로 산출하고 상기 산출된 치경선들 중 하부의 치경선들을 이용하여 제 2 수직최소값을 좌표로 산출하는 단계를 포함하며,
상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 1 수직최대값, 상기 제 1 수직최소값, 상기 제 2 수직최대값 및 상기 제 2 수직최소값을 비교하여 상기 치아가 상악치인지 하악치인지 구분하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아 상태 판독문 생성 방법.
A method for generating a tooth condition statement using artificial intelligence that automatically identifies a tooth number from a panoramic tooth image, automatically determines a tooth state, and automatically generates a tooth state statement,
In an information processing device, receiving a panoramic tooth image;
In the information processing device, calculating location information for each tooth by identifying individual teeth in the panoramic tooth image using a first object detection module learned to distinguish individual teeth;
calculating, in the information processing device, an alveolar line from the panoramic tooth image using a second object detection module learned to calculate an alveolar line and calculating location information of the alveolar line;
In the information processing device, comparing the location information of the tooth and the location information of the alveolar line to distinguish whether the tooth is a maxillary tooth or a mandibular tooth;
In the information processing device, using a first image classification model learned to classify the tooth formula of individual teeth, each tooth divided into the upper jaw or the lower jaw calculates a probability that each tooth matches the tooth formula, and assigns a tooth number step;
In the information processing device, it is determined whether it is a tooth or an implant for each tooth number by using the second image classification model learned to distinguish between a tooth and an implant and generate information on a state of a tooth and an implant, and when it is determined as a tooth, the information processing device determines whether the tooth is an implant. Generating treatment information of the tooth, and generating implant information related to the implant when it is determined to be an implant; and
In the information processing device, generating a tooth state interpretation statement by combining the information on whether the tooth is a tooth or an implant for each tooth number, the treatment information, and the implant information;
Calculating the location information for the tooth,
In the information processing device, distinguishing individual teeth from the panoramic tooth image using the first object detection module; and
In the information processing device, calculating a first vertical maximum value and a first vertical minimum value for each of the separated teeth as coordinates,
Calculating the location information of the alveolar line,
calculating alveolar lines of the teeth in the panoramic tooth image using the second object detection module in the information processing device; and
In the information processing device, the second vertical maximum value is calculated as coordinates using upper alveolar lines among the calculated alveolar lines, and the second vertical minimum value is calculated as coordinates using lower alveolar lines among the calculated alveolar lines. Including the step of calculating as,
The step of distinguishing whether the teeth are upper or lower teeth,
In the information processing device, comparing the first vertical maximum value, the first vertical minimum value, the second vertical maximum value, and the second vertical minimum value to distinguish whether the tooth is an upper jaw or a lower jaw. A method for generating a dental condition reading statement using artificial intelligence.
제8항에 있어서, 상기 치료정보는,
상기 치아의 치료여부에 대한 정보 및 신경치료 여부에 대한 정보 중 적어도 하나를 포함하고,
상기 임플란트 정보는,
상기 임플란트의 제조사 정보 및 상기 임플란트의 모델정보 중 적어도 하나를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아 상태 판독문 생성 방법.
The method of claim 8, wherein the treatment information,
Including at least one of information on whether or not the tooth is treated and information on whether or not to treat the nerve,
The implant information,
A method of generating a dental condition reading statement using artificial intelligence, characterized in that it includes at least one of manufacturer information of the implant and model information of the implant.
삭제delete 제8항에 있어서, 상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 1 수직최대값이 상기 제 2 수직최대값 이상이면서 상기 제 1 수직최소값이 상기 제 2 수직최소값 이상인 경우 상기 치아를 상악치로 판단하는 단계; 및
상기 정보처리장치에서, 상기 제 1 수직최소값이 상기 제 2 수직최소값 이하이면서 상기 제 1 수직최대값이 상기 제 2 수직최대값 이하인 경우 상기 치아를 하악치로 판단하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아 상태 판독문 생성 방법.
The method of claim 8, wherein the step of distinguishing whether the teeth are upper or lower teeth,
determining, in the information processing device, that the tooth is an upper jaw when the first vertical maximum value is greater than or equal to the second vertical maximum value and the first vertical minimum value is greater than or equal to the second vertical minimum value; and
In the information processing device, if the first vertical minimum value is less than or equal to the second vertical minimum value and the first vertical maximum value is less than or equal to the second vertical maximum value, determining the tooth as a mandibular tooth. A method for generating a dental condition reading statement using intelligence.
제8항에 있어서, 상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 2 수직최대값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최소값이 상기 제 2 수직최대값 이상인 경우 상기 치아를 상악치로 판단하는 단계; 및
상기 정보처리장치에서, 상기 제 2 수직최소값이 상기 제 1 수직최대값과 상기 제 1 수직최소값 사이에 있거나 상기 제 1 수직최대값이 상기 제 2 수직최소값 이하인 경우 상기 치아를 하악치로 판단하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아 상태 판독문 생성 방법.
The method of claim 8, wherein the step of distinguishing whether the teeth are upper or lower teeth,
In the information processing device, determining that the tooth is an upper jaw when the second vertical maximum value is between the first vertical maximum value and the first vertical minimum value or when the first vertical minimum value is greater than or equal to the second vertical maximum value ; and
In the information processing device, determining that the tooth is a mandibular tooth when the second vertical minimum value is between the first vertical maximum value and the first vertical minimum value or when the first vertical maximum value is equal to or less than the second vertical minimum value A method of generating a dental condition reading statement using artificial intelligence, characterized in that it comprises.
제8항에 있어서, 상기 치아가 상악치인지 하악치인지 구분하는 단계는,
상기 정보처리장치에서, 상기 제 1 수직최대값이 상기 제 2 수직최대값 미만이고 상기 제 1 수직최소값이 상기 제 2 수직최소값 초과인 경우, 상기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 작은 경우 상악치로 판단하고, 상기 제 1 수직최소값과 상기 제 2 수직최대값 사이의 거리가 상기 제 1 수직최대값과 상기 제 2 수직최소값 사이의 거리보다 큰 경우 하악치로 판단하는 단계를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 치아 상태 판독문 생성 방법.
The method of claim 8, wherein the step of distinguishing whether the teeth are upper or lower teeth,
In the information processing device, when the first vertical maximum value is less than the second vertical maximum value and the first vertical minimum value exceeds the second vertical minimum value, a distance between the first vertical minimum value and the second vertical maximum value If the distance is smaller than the distance between the first vertical maximum value and the second vertical minimum value, it is determined as an upper jaw, and the distance between the first vertical minimum value and the second vertical maximum value is the first vertical maximum value and the second vertical minimum value. 2. A method for generating a dental condition reading statement using artificial intelligence, further comprising the step of determining that the lower teeth are greater than the distance between the vertical minimum values.
제8항에 있어서, 상기 치아번호를 부여하는 단계는,
상기 정보처리장치에서, 상기 상악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 상악치 치아그룹을 생성하는 단계;
상기 정보처리장치에서, 상기 상악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하는 단계;
상기 정보처리장치에서, 상기 상악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 상악치 치아그룹의 치아번호로 상악치에 해당하는 치아들의 치아번호를 부여하는 단계;
상기 정보처리장치에서, 상기 하악치로 판단된 치아개수에 따라 치아번호가 적용될 수 있는 모든 경우의 하악치 치아그룹을 생성하는 단계;
상기 정보처리장치에서, 상기 하악치 치아그룹별로 상기 제 1 영상분류모델을 이용하여 상기 각각의 치아가 치식에 매칭될 확률을 산출하는 단계; 및
상기 정보처리장치에서, 상기 하악치 치아그룹별로 상기 산출된 확률을 이용하여 산출된 점수를 이용하여 선택된 하악치 치아그룹의 치아번호로 하악치에 해당하는 치아들의 치아번호를 부여하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 치아 상태 판독문 생성 방법.
The method of claim 8, wherein the step of assigning the tooth number,
generating, in the information processing device, upper jaw tooth groups in all cases to which tooth numbers can be applied according to the number of teeth determined as the upper jaw teeth;
calculating, in the information processing device, a probability that each tooth matches a tooth formula by using the first image classification model for each tooth group of the upper teeth;
assigning, in the information processing device, tooth numbers of teeth corresponding to the maxillary teeth as the tooth numbers of the maxillary tooth groups selected using the score calculated using the calculated probability for each of the maxillary tooth groups;
generating, in the information processing device, tooth groups of lower jaw teeth in all cases to which tooth numbers can be applied according to the number of teeth determined as the lower jaw teeth;
calculating, in the information processing device, a probability that each tooth matches a tooth formula by using the first image classification model for each tooth group of the lower jaw; and
In the information processing device, assigning tooth numbers of teeth corresponding to the lower jaw teeth as the tooth numbers of the lower jaw tooth groups selected using the score calculated using the calculated probability for each lower jaw tooth group. Method for generating a tooth condition reading statement using artificial intelligence, characterized in that.
제14항에 있어서,
상기 상악치 또는 상기 하악치에 해당하는 치아들의 치아그룹별 점수는,
Figure 112022085951567-pat00005

(N은 상기 상악치 치아그룹 또는 상기 하악치 치아그룹의 치아 개수,
Figure 112022085951567-pat00006
는 i번째 치아(ti)가 i번째 치식(si)일 확률)
로 산출되는 것을 특징으로 하는 인공지능을 이용한 치아 상태 판독문 생성 방법.
According to claim 14,
The scores for each tooth group of the teeth corresponding to the upper or lower teeth are,
Figure 112022085951567-pat00005

(N is the number of teeth of the upper jaw tooth group or the lower jaw tooth group,
Figure 112022085951567-pat00006
is the probability that the ith tooth (ti) is the ith tooth formula (si)
Method for generating a dental condition reading statement using artificial intelligence, characterized in that calculated as.
KR1020220102765A 2022-08-17 2022-08-17 Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence KR102536834B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220102765A KR102536834B1 (en) 2022-08-17 2022-08-17 Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220102765A KR102536834B1 (en) 2022-08-17 2022-08-17 Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence

Publications (1)

Publication Number Publication Date
KR102536834B1 true KR102536834B1 (en) 2023-05-26

Family

ID=86536478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220102765A KR102536834B1 (en) 2022-08-17 2022-08-17 Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence

Country Status (1)

Country Link
KR (1) KR102536834B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109418A (en) * 2019-03-12 2020-09-23 오스템임플란트 주식회사 Method for selecting tooth number using panoramic image and medical image processing apparatus for the same
KR20200134036A (en) * 2019-05-21 2020-12-01 오스템임플란트 주식회사 Method for numbering teeth number and image processing apparatus for performing the method
KR20210033440A (en) * 2019-09-18 2021-03-26 주식회사 뷰노 Method for providing tooth leison information and apparatus using the same
KR102372962B1 (en) * 2021-08-04 2022-03-11 (주)아인사이트 Method Of Determinating Cephalometric Prameters For Orthodontic Diagnosis From Three Dimensional CBCT Images Taken In Natural Head Position Based On Machine Learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109418A (en) * 2019-03-12 2020-09-23 오스템임플란트 주식회사 Method for selecting tooth number using panoramic image and medical image processing apparatus for the same
KR20200134036A (en) * 2019-05-21 2020-12-01 오스템임플란트 주식회사 Method for numbering teeth number and image processing apparatus for performing the method
KR20210033440A (en) * 2019-09-18 2021-03-26 주식회사 뷰노 Method for providing tooth leison information and apparatus using the same
KR102372962B1 (en) * 2021-08-04 2022-03-11 (주)아인사이트 Method Of Determinating Cephalometric Prameters For Orthodontic Diagnosis From Three Dimensional CBCT Images Taken In Natural Head Position Based On Machine Learning

Similar Documents

Publication Publication Date Title
CN110769777B (en) Automatic detection of tooth type and eruption status
KR101839789B1 (en) System for generating interpretation data of dental image
US20190076194A1 (en) Augmented Reality System and Method for Implementing Augmented Reality for Dental Surgery
WO2016200177A1 (en) Drilling guide device and method
US11864936B2 (en) Systems and methods for determining orthodontic treatment
US20070003900A1 (en) Systems and methods for providing orthodontic outcome evaluation
WO2020184876A1 (en) Method for establishing implant surgery plan by using artificial intelligence and medical image processing device therefor
US20200100724A1 (en) Applying non-real time and non-user attended algorithms to stored non-imaging data and existing imaging data for obtaining a dental diagnosis
WO2019231116A1 (en) Method for designing dental surgical guide, apparatus therefor, and record medium in which same is recorded
KR101723654B1 (en) Method for generating a tooth chart, apparatus and recording medium thereof
KR102085629B1 (en) Apparatus and method for analyzing structure of teeth and jawbone of patient
Aeini et al. Classification and numbering of posterior teeth in bitewing dental images
WO2020112532A4 (en) Data mining of dental images
WO2023141533A1 (en) Photo-based dental appliance and attachment assessment
Tanikawa et al. Automated cephalometry: system performance reliability using landmark-dependent criteria
JP3553712B2 (en) Display method and display device for dental related information
KR102536834B1 (en) Method for numbering tooth number and generating interpretation of tooth state using artificial intelligence
US20230274431A1 (en) Image processing apparatus, method for controlling same, and storage medium
Yeshua et al. Automatic detection and classification of dental restorations in panoramic radiographs
LT6296B (en) Method and system of treatment plan and administration of dental prosthesis of a patient
WO2021009733A1 (en) Virtual articulation in orthodontic and dental treatment planning
KR102372962B1 (en) Method Of Determinating Cephalometric Prameters For Orthodontic Diagnosis From Three Dimensional CBCT Images Taken In Natural Head Position Based On Machine Learning
WO2023194500A1 (en) Tooth position determination and generation of 2d reslice images with an artificial neural network
US20230172691A1 (en) Systems and methods for determining an orthodontic treatment
US11399917B1 (en) Systems and methods for determining an orthodontic treatment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant