WO2023018206A1 - 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 - Google Patents

3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 Download PDF

Info

Publication number
WO2023018206A1
WO2023018206A1 PCT/KR2022/011898 KR2022011898W WO2023018206A1 WO 2023018206 A1 WO2023018206 A1 WO 2023018206A1 KR 2022011898 W KR2022011898 W KR 2022011898W WO 2023018206 A1 WO2023018206 A1 WO 2023018206A1
Authority
WO
WIPO (PCT)
Prior art keywords
tooth
data
teeth
orthodontic treatment
treatment plan
Prior art date
Application number
PCT/KR2022/011898
Other languages
English (en)
French (fr)
Inventor
주보훈
Original Assignee
이노디테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210105225A external-priority patent/KR20230023261A/ko
Priority claimed from KR1020210111658A external-priority patent/KR102620157B1/ko
Priority claimed from KR1020210135047A external-priority patent/KR20230051988A/ko
Application filed by 이노디테크 주식회사 filed Critical 이노디테크 주식회사
Priority to CN202280054000.2A priority Critical patent/CN117795616A/zh
Publication of WO2023018206A1 publication Critical patent/WO2023018206A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/34—Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a method for recommending an orthodontic treatment plan by separating a tooth object from three-dimensional oral scan data and automatically discriminating an abnormality in the position of the tooth, specifically, in the three-dimensional oral scan data of a subject to be examined.
  • separating tooth objects based on the points of contact and feature points of individual teeth, and by using the axis relationship along with the accurate relative coordinates and direction values for each tooth, the positional anomaly of each tooth necessary for the establishment of an orthodontic treatment plan is automatically determined and optimized.
  • This relates to a technique for recommending and providing an orthodontic treatment plan reflecting the characteristics of an individual tooth of a subject by selecting an enemy's tooth arrangement structure.
  • the present invention efficiently analyzes patient's tooth data in the field of orthodontics and derives the result of automatically performing diagnosis in the field of orthodontics for each tooth, thereby constructing such a model and machine learning, specifically
  • the second purpose is to provide a technology that can automatically perform diagnosis, which is the basis of treatment in orthodontics, based on three-dimensional oral scan data through model learning by deep learning.
  • the size of the spheres dispersed in the tooth has a size range of 1 to 5 units, but one unit is preferably a size corresponding to 1/10,000 mm.
  • a first contact point search unit for searching; After distributing one or more spheres into the teeth at preset intervals from the first contact point found, the vector direction of the mesh is reversed, and the spheres are copied at a preset cycle while moving the spheres toward the surroundings at a random speed from the reference coordinates.
  • Sphere placement step so that the sphere is uniformly placed inside the tooth by doing;
  • a feature data extraction step of growing the size of the spheres replicated in the sphere arrangement step to a preset size so that representative spheres corresponding to each tooth are determined, and extracting feature data of the teeth based on coordinates and contact points of the determined representative spheres;
  • An image processing step of implementing a 3D image of an arrangement of the teeth of a test subject having an individually separated state by obtaining mesh information of individual teeth using feature data extracted for each tooth and axis data for each tooth;
  • a positional abnormality classification step of automatically classifying a plurality of positional abnormalities including at least a form of malocclusion by applying the relative arrangement state of the tooth objects included in the tooth arrangement data generated in the image processing step to an automatic diagnosis algorithm;
  • each tooth image, each tooth data, identification information of each tooth, and the classification result for each tooth position abnormality are combined to generate oral condition information before treatment of the test subject. It is characterized in that it comprises
  • 9 is an example of a problem solving technique of a candidate algorithm derived from an optimal orthodontic treatment plan according to an embodiment of the present invention.
  • 10 is an example of providing an interface as an optimal orthodontic treatment plan is derived in an embodiment of the present invention according to an embodiment of the present invention.
  • FIG. 11 is a configuration diagram of an apparatus for recommending an orthodontic treatment plan by separating a tooth object from three-dimensional oral scan data and automatically determining an abnormal position of the tooth according to an embodiment of the present invention.
  • the present invention relates to a method for recommending an orthodontic treatment plan by separating a tooth object from three-dimensional oral scan data and automatically discriminating an abnormal position of the tooth.
  • the first purpose is to provide a technology for separating tooth objects based on feature points, and in the field of orthodontic dentistry, the patient's tooth data is efficiently analyzed, and the result of automatically diagnosing the orthodontic field for each tooth By enabling this to be derived, it is possible to automatically perform diagnosis, which is the basis of treatment in orthodontics, based on 3-dimensional oral scan data through the construction of such a model and learning of the model by machine learning, specifically deep learning.
  • the size of a circle is gradually increased from the center of the simple coordinates of the 3D oral scan data corresponding to the oral condition information of the test subject before treatment, and the object included in the circle and the 3D oral scan data
  • An initial contact point search step (S10) of searching for the first contact point may be performed.
  • step S10 As a more specific embodiment of the aforementioned step S10, referring to FIG. 2, in S1 of FIG. 2, an example 101 in which a circle is arranged at the center of the simple coordinates of the 3D scan data of the subject can be examined. In S2 of , an example in which the first contact point with a tooth object is searched by increasing the size of a circle disposed at the center of simple coordinates (111) can be seen.
  • step S10 the size of the circle is increased from the center of the simple coordinates of the 3D oral scan data so that the first point that contacts the tooth object of the test subject is searched, so that the position of the tooth object on the 3D oral scan data can be easily and conveniently identified. There is an effect.
  • a plurality of spheres dispersed inside the tooth can exist, so that the plurality of spheres 121 move at random speeds and are replicated at predetermined intervals
  • An example is shown, and the copying process of the spheres 121 may be repeated to have the spheres 121 evenly disposed inside the tooth.
  • step S20 the size of the sphere replicated in step S20 is grown to a preset size so that a representative sphere corresponding to each tooth is determined, and the characteristic data of the tooth is based on the coordinates and contact points of the determined representative sphere.
  • a feature data extraction step (S30) of extracting is performed.
  • axis data obtained parallel to the root of the tooth is extracted as axis data for each tooth by applying a numerical correction value derived through statistical analysis to a line passing through the center point of the volume and the center point of the width.
  • the above-described work data can be understood as a series of treatment plan data related to repositioning of the teeth, such as different arrangements of individual teeth requiring orthodontic treatment by dental professionals, and such a script file is orthodontic treatment. It can also be used as basic data for application fields for automation of treatment plans.
  • the automatic diagnosis algorithm can be learned by the above-described machine learning, and the specific comparison process is as described later, that is, the automatic diagnosis algorithm is learned in automatically discriminating abnormalities in the position of teeth according to the specific comparison process described later. It can be understood as meaning that a comparison reference value used in the corresponding comparison process is learned, or that a specific comparison process itself is learned.
  • the corresponding judgment result is No, if the contact points meet each other and the arrangement is normal, it is judged as a normal arrangement.
  • the result of the special judgment instruction can be used for learning the automatic diagnosis algorithm described above. On the other hand, if there is a space without overlapping, it proceeds to the void evaluation described later, and if not, it is also classified as a special situation.
  • the relative degree of total growth is determined based on the overlapping degree. That is, if the degree of overlapping each other is, for example, -2 mm or less, it is judged as degree 1, -2 to -4 mm, degree 2, and -4 mm or more, it is judged as degree 3.
  • this process first, it is determined whether the inclination of the mesial-distal tooth axis of each tooth coincides with a given second predetermined value.
  • This second value may also be set for each tooth by algorithm learning through the above-described sample data.
  • centrifugal degree is 1 degree when the inclination is less than -4 degrees
  • the centrifugal degree is 2 degrees when the inclination is between -4 and -8 degrees
  • the centrifugal degree is 3 degrees when it is more than -8 degrees.
  • the lingual degree is 1 degree if the slope is less than -4 degrees, the lingual degree is 2 degrees if it is -4 degrees to -8 degrees, and the lingual degree is 3 degrees if it is more than -8 degrees.
  • the judgment result is No, it is determined whether the maxillary teeth are positioned forward, and if the maxillary teeth are positioned forward, if the degree of deviation is 2 mm or less, the degree of backward position of the mandible is 1 degree, 2 mm to 4 mm , it is judged as 2 degrees of mandibular posterior position, and 3 degrees of mandibular posterior position if it is 4 mm or more.
  • a in FIG. 6 is a simulation example of a state in which coordinate values of individual teeth are not transmitted from Rhino, and B in FIG. And by defining the size, it will be understood as an example of implementing oral condition information corresponding to the current dental condition of the subject, that is, before treatment, into a 3D image.
  • a model closest to a standard model having an ideal tooth arrangement in the field of orthodontic treatment may be derived as a predictive tooth arrangement model.
  • the ideal tooth arrangement is a state in which the contact points of the teeth and the contact points of the adjacent teeth are in contact with each other without overlapping each other, the mesiodistal contact points of the adjacent teeth are in contact with each other, and the rotation angle of the teeth on the occlusal surface is a category that belongs to the normal range, all upper teeth cover the lower teeth when examining the degree of closure of the upper and lower teeth, the inclination of the teeth on the mesiodistal surface of each tooth is within the normal range, and the It will be understood to mean a tooth arrangement in which the inclination is normal and the upper/lower posterior teeth are not aligned or the 1:2 relationship is not occluded.
  • the optimal orthodontic treatment plan for the current dental condition of the test subject derived in this way may be implemented as an interface such as 500 in FIG. 10 to provide an orthodontic treatment plan customized to the examinee step by step.
  • a time-sequential tooth movement path for realizing a predicted tooth arrangement model based on the calculated optimal orthodontic treatment plan is processed into a visualization model from the oral condition information of the subject before treatment and is provided as shown in 510 of FIG. 10. It will be possible, and in the present invention, there is an effect of being able to more intuitively examine the prediction result for the orthodontic treatment of the subject by performing these functions.
  • professional personnel may be limited to those who have acquired orthodontic specialist qualifications in order to improve the quality of orthodontic treatment. It is desirable to select professional personnel who are judged to be above the set critical standard.
  • the criterion for judging clinical career is to have professional personnel upload cases to prove their careers in the human resources pool, and write their findings on the cases. After that, it would be desirable to manage the clinical career of experts by having the case be evaluated for validity by other experts or external experts designated as case reviewers.
  • the computing device when the final corrective treatment plan for the subject is determined after the above-described feedback collection step is performed, the computing device sends the treatment plan for the final corrective treatment plan in a preset file format (PDF and video file).
  • PDF and video file A form including at least one of the formats) may be fabricated and processed and transmitted to a business terminal including at least one of a dental clinic and an orthodontic device manufacturer.
  • FIG. 11 shows an apparatus for recommending an orthodontic treatment plan by separating a tooth object from three-dimensional oral scan data and automatically determining an abnormal position of the tooth according to an embodiment of the present invention.
  • a configuration diagram is shown, and in the following description, descriptions of unnecessary embodiments overlapping those of FIGS. 1 to 7 will be omitted.
  • mesh information of individual teeth is obtained using feature data extracted for each tooth and axis data for each tooth, thereby providing a three-dimensional arrangement of the teeth of the test subject having an individually separated state.
  • It includes an image processing unit 14 that functions to be implemented as an image.
  • the above-described image processing unit 14 can perform all of the functions performed in step S40 of FIG. There is an effect that it is possible to design an image processing technology that can be designed and visualized to the external terminal 20 to show the movable path.
  • each tooth image, each tooth data, identification information of each tooth, and the classification result for each tooth positional anomaly are combined It includes a correction data generating unit 16 that functions to generate oral condition information before treatment of the test subject.
  • the above-mentioned oral condition information loading unit performs a function of loading the oral condition information of the subject before treatment in the first program (eg, Unity simulation program), which is a simulation program to which a physics engine is applied.
  • the first program eg, Unity simulation program
  • an orthodontic treatment plan presentation unit (19) that presents a subdivided orthodontic treatment plan step by step after selecting an orthodontic solution for implementing a predictive tooth arrangement model as a main component of the above-described device 10. ) may be included.
  • the memory 11200 may include, for example, high-speed random access memory, magnetic disk, SRAM, DRAM, ROM, flash memory, or non-volatile memory. there is.
  • the memory 11200 may include a software module, a command set, or other various data necessary for the operation of the computing device 10000.
  • the power circuit 11500 may supply power to all or some of the terminal's components.
  • power circuit 11500 may include a power management system, one or more power sources such as a battery or alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, a power status indicator or power It may contain any other components for creation, management and distribution.
  • Methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in computer readable media.
  • the program according to the present embodiment may be configured as a PC-based program or a mobile terminal-only application.
  • An application to which the present invention is applied may be installed in a user terminal through a file provided by a file distribution system.
  • the file distribution system may include a file transmission unit (not shown) that transmits the file according to a request of a user terminal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

본 발명은 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법에 관련된 것으로서, 구체적으로는 피검사자의 치료 전 구강 상태 정보인 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 원과 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색 단계;탐색된 최초 접점에서 기 설정된 간격으로, 하나 이상의 구체를 치아 안에 분산시킨 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 구체를 복제하여 치아 내부에 구체를 배치시키는 구체 배치 단계; 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체를 결정하고, 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출 단계; 치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리 단계; 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 위치 이상을 분류하는 위치 이상 분류 단계; 및, 치아의 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하는 교정 데이터 생성 단계;를 포함하는 것을 특징으로 한다.

Description

3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
본 발명은 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법에 관련된 것으로서, 구체적으로는 구체적으로는 피검사자의 3차원 구강 스캔 데이터에서 개별 치아의 접점과 특징점을 기준으로 치아 객체를 분리하고, 각 치아별로 정확한 상대적인 좌표 및 방향값과 함께 축의 관계성을 이용하여, 교정 치료 계획 수립에 필요한 각 치아의 위치 이상을 자동으로 판별하여 최적적의 치아 배열 구조를 선정함으로써, 피검사자의 개별 치아의 특성을 반영한 교정 치료 계획이 추천 제공되도록 하는 기술과 관련된 것이다.
일반적으로 치과의 교정 치료 분야에서는, 이미지 처리 기술을 이용하여 교정에 대한 유의미한 데이터를 추출하고, 이를 교정 치료에 이용하기 위한 다양한 시도가 이루어지고 있다.
그러나 교정 치료 분야에서 이미지 처리를 이용하는 방식에 있어서는, 치과 의사가 피검사자의 3차원 구강 스캔 데이터를 이용하는 정도로 그 활용 분야가 한정되어, 결과적으로 치과 의사가 수년 간의 수련을 통해 노하우를 획득해야만 정확한 교정 치료가 가능하였고, 이러한 이유로 교정 치료는 치과 의사에 따라 같은 케이스의 환자라 하더라도 교정 결과의 편차가 크다는 문제가 존재하였다.
한편 이러한 교정 결과의 편차를 줄이기 위한 노력으로 한국 공개 특허 제2016-0004862 등의 종래 기술을 참조하여 보면, 종래 기술에서는 3차원의 치아부 스캔 데이터를 바탕으로 치아 모델링을 수행하고, 이에 대한 의사의 검사 및 진단 결과를 반영하여 교정 치료 시의 모의 시술이 가능하도록 하는 기술이 제시되어 있다.
그러나 이러한 종래 기술 역시 일 치과의사의 단독 진단 데이터 또는 단순 경험에 의존한 진단 데이터를 교정 결과를 도출하기 위한 속성 데이터로 활용하여 교정 치료의 전/후 변화를 비교하는 정도에 불과하여, 실질적으로 치과 의사 또는 치과 병원에 따른 교정 결과의 편차를 줄일 수 없다는 한계점이 존재하였고, 전술한 문제점을 해소하기 위해서는 표준화된 치료 프로토콜에 기인한 진단 및 치료 계획을 도출하는 알고리즘의 필요성이 강조되고 있는 실정에 있다.
이에 본 발명은 3차원 구강 스캔 데이터에서 개별 치아의 접점과 특징점을 기준으로 치아 객체를 분리하는 기술을 제공하는 것에 제1 목적이 있다.
또한 본 발명은 교정 치과 분야에 있어서 환자의 치아 데이터를 효율적으로 분석하여, 각 치아에 대한 교정 분야의 진단을 자동으로 수행한 결과를 도출할 수 있도록 함으로써, 이러한 모델의 구축 및 머신러닝, 구체적으로는 딥러닝에 의한 모델의 학습을 통해서 3차원의 구강 스캔 데이터를 기반으로 교정 치과에 있어서 치료의 근간이 되는 진단을 자동으로 수행할 수 있는 기술을 제공하는 것에 제2 목적이 있다.
또한 본 발명은 피검사자의 치료 전 구강 상태 정보에서 확인되는 치아 상태 및 개별 치아의 이동 가능성을 기초로 기 설정된 알고리즘에 의해 최적의 치아 배열 구조를 선정하고, 개별 치아의 특성을 반영한 교정 치료 계획의 추천 알고리즘을 제공하는 것에 제3 목적이 있다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치로 구현되는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법은, 피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 원과 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색 단계; 탐색된 최초 접점에서 기 설정된 간격으로, 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 기 설정된 주기로 구체를 복제함으로써 치아 내부에 구체가 균일하게 배치되도록 하는 구체 배치 단계; 구체 배치 단계에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체가 결정되도록 하고, 결정된 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출 단계; 치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써, 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리 단계; 이미지 처리 단계에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하는 위치 이상 분류 단계; 및, 위치 이상 분류 단계의 수행 결과에 따라서, 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하는 교정 데이터 생성 단계;를 포함하는 것을 특징으로 한다.
이때 상술한 이미지 처리 단계에서, 치아별 축 데이터는, 3차원 구강 스캔 데이터의 부피 중심점과 넓이 중심점을 기초로 추출되되, 부피 중심점과 넓이 중심점을 관통하는 선에 통계분석을 통해 도출된 수치적 보정치를 적용하여 치아의 뿌리와 평행하게 획득되는 치아별 축 데이터가 추출되는 것이 바람직하다.
또한 상술한 대표 구체의 결정은, 복제된 구체의 크기를 기 설정된 크기로 성장시켜, 치아 외부로 이탈되는 구체를 탈락되게 한 뒤, 치아 내부에 잔존하는 구체를 기 설정된 크기로 축소시켜 각 치아의 중심점에 대응하는 대표 구체가 결정되도록 하고, 피검사자의 치아 개수에 대응하는 대표 구체가 획득될 때까지 수행되는 것이 바람직하다.
또한 이미지 처리 단계는, 개별 치아의 메쉬 정보를 모션 데이터를 취급하는 제1 프로그램에서 호환되는 기 설정된 파일 포맷으로 변환하여 익스포트(Export)한 뒤, 제1 프로그램에서의 작업 데이터를 스크립트 파일로 저장하도록 하는 것이 바람직하다.
또한 상술한 특징 데이터 추출 단계는, 일 개별 치아에 대응되는 대표 구체의 특징 데이터로서, 3차원 공간 상의 위치(Position)에 대한 x, y, z 좌표값, 회전(Rotation)에 대한 x, y, z 좌표값 및, 크기(Scale)에 대한 x, y, z 좌표값이 추출되는 것이 바람직하다.
또한 상술한 구체 배치 단계의 수행 시, 치아 안에 분산되는 구체의 크기는 1 내지 5 유닛(Unit)의 크기 범위를 갖도록 하되, 일 유닛은 1/10,000 mm에 대응되는 크기인 것이 바람직하다.
또한 상술한 위치 이상 분류 단계는, 치아의 크기 및 상대적 배열 상태를 기반으로, 치아간 접촉점이 서로 만나지 못하고 교차되는 경우 총생으로, 치아간 접촉점 사이에 공간이 있는 경우 공극으로, 치아가 서로 회전된 상태인 경우 회전으로, 치아의 수직적 관계가 기설정된 제1 수치와 일치하지 않는 경우 수직관계로, 치아의 근원심 치축경사 기울기가 기설정된 제2 수치와 일치하지 않는 경우 근원심 치축경사로, 치아의 협설측 치축 경사 기술기가 기설정된 제3 수치와 일치하지 않는 경우 협설측 치축경사로, 상악 치아 교두가 하악치아 2개 사이에 위치되지 않는 경우 감합으로 각 부정교합에 대해서 판별하는 것이 바람직하다.
또한 상술한 위치 이상 분류 단계는, 각 부정교합에 판단의 근거가 되는 수치의 크기를 기준으로 세부 정도를 판단하여 부정교합 분류 정보에 함께 설정하는 것이 바람직하다.
또한 상술한 교정 데이터 생성 단계에서는, 3차원 구강 스캔 데이터로부터 도출된 치아 이미지의 메쉬 정보를 제1 프로그램에서 시뮬레이션 가능한 오브젝트 형식으로 변환한 데이터를 치료 전 구강 상태 정보와 함께 생성하는 것을 특징으로 하는 것이 바람직하다.
또한 상술한 교정 데이터 생성 단계의 수행 후, 교정 데이터 생성 단계의 수행 결과로 생성된 치료 전 구강 상태 정보를 로드하는 치료 전 구강 상태 정보 로드 단계; 치아 배열에 대한 학습 데이터가 기 학습된 알고리즘에 의해, 피검사자의 치료 전 구강 상태 정보에 포함된 개별 치아의 예측 이동 방향성 및 예측 이동량을 고려하여 목표로 하는 하나 이상의 예측 치아 배열 모델을 도출하는 예측 치아 배열 모델 도출 단계; 예측 치아 배열 모델을 구현하기 위한 교정 솔루션을 선정한 후, 단계별 교정 치료 계획을 세분화하여 제시하는 교정 치료 계획 제시 단계; 및, 치아 교정 치료 분야에 종사하는 다수의 전문 인력이 등록된 전문 인력풀에서 피검사자의 치료 전 구강 상태 정보에 매칭되는 한 명 이상의 전문 인력을 선정하여, 제시된 교정 치료 계획에 대한 피드백을 수집하는 피드백 수집 단계;를 더 포함하는 것이 바람직하다.
또한 상술한 교정 치료 계획 제시 단계는, 피검사자의 현재 치아 상태에 따른 교정 치료 기간, 교정력 및, 교정 치료의 난이도 중 적어도 어느 하나를 포함하는 요소의 예측값을 목적 함수로 하되, 파레토 최적해 연산 기법을 이용하여 목적 함수를 동시에 만족하며, 목적 함수의 값이 최소가 되도록 하는 파레토 최적해를 탐색함으로써, 복수의 교정 치료 계획이 제시되도록 하고, 파레토 최적해 연산 기법을 통해 복수의 교정 치료 계획이 도출될 시, ANN(Artificial Neural Network), RF(Random Forest), SVM(Support Vector Machine) 및 EDN(Evolving Deep Network) 중 적어도 어느 하나를 포함하는 후보 알고리즘을 이용하여 다수의 교정 치료 계획 중 피검사자의 치료 전 구강 상태 정보에 대한 최적의 교정 치료 계획이 연산되도록 하는 것이 바람직하다.
또한 상술한 치료 전 구강 상태 정보 로드 단계의 수행 시, 피검사자의 치료 전 구강 상태 정보에 대한 엑스레이 이미지, 구강 내부 이미지 및 안모 이미지 중 적어도 어느 하나를 포함하는 이미지 데이터를 참조 데이터로 더 수집하되, 참조 데이터는, 후보 알고리즘의 조건 변수로만 이용되도록 하는 것이 바람직하다.
또한 상술한 교정 치료 계획 제시 단계는, 연산된 최적의 교정 치료 계획을 기반으로, 피검사자의 치료 전 구강 상태 정보에서 예측 치아 배열 모델을 구현하기 위한 시계열적 치아 이동 경로를 시각화 모델로 가공하여 제공하는 것이 바람직하다.
또한 상술한 피드백 수집 단계의 수행 시, 전문 인력의 선정은, 피검사자의 치료 전 구강 상태 정보에 대응하는 임상 경력이 기 설정된 임계 기준 이상인 것으로 판단되는 전문 인력을 선정하도록 하고, 피드백 수집 단계에서는, 한 명 이상의 전문 인력으로부터 수집되는 피드백을 라벨링(Labeling)하여 알고리즘에 대한 지도학습(Supervised Learning)이 수행되도록 하는 것이 바람직하다.
한편, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치로 구현되는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 장치는, 피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 원과 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색부; 탐색된 최초 접점에서 기 설정된 간격으로, 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 기 설정된 주기로 구체를 복제함으로써 치아 내부에 구체가 균일하게 배치되도록 하는 구체 배치부; 구체 배치 부에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체가 결정되도록 하고, 결정된 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출부; 치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써, 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리부; 이미지 처리부에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하는 위치 이상 분류부; 및, 위치 이상 분류부의 기능 수행 결과에 따라서, 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하는 교정 데이터 생성부;를 포함하는 것을 특징으로 한다.
또 다른 한편, 컴퓨터-판독 가능 기록 매체로서, 상기 컴퓨터-판독 가능 기록 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은: 피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 원과 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색 단계; 탐색된 최초 접점에서 기 설정된 간격으로, 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 기 설정된 주기로 구체를 복제함으로써 치아 내부에 구체가 균일하게 배치되도록 하는 구체 배치 단계; 구체 배치 단계에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체가 결정되도록 하고, 결정된 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출 단계; 치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써, 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리 단계; 이미지 처리 단계에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하는 위치 이상 분류 단계; 및, 위치 이상 분류 단계의 수행 결과에 따라서, 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하는 교정 데이터 생성 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따르면, 종래 3차원 구강 스캔 데이터에서 치과전문 인력이 전용 3D 특수 프로그램을 사용하여 치아와 잇몸을 분리하는 작업을 일일이 수작업으로 수행하여야 했던 문제를 해소하고, 3차원 구강 스캔 데이터에서 개별 치아의 접점과 특징 추출로 치아의 개별 객체 분리가 가능해져 치아 이미지 데이터에 대한 가공 용이성이 증대되는 효과가 있다.
더욱이 본 발명에서는 종래 치아의 외형에 기반하여 치아 특징 데이터가 추출되던 방식과는 다르게 치아의 물리적 특성이 적용된 좌표계 데이터 검출을 기반으로 하는 치아 특징 데이터의 추출이 가능해짐으로써, 치아의 특징 데이터 추출에 대한 새로운 접근 방식을 제안하여 줄 수 있는 효과가 있다.
또한 본 발명에서는 기존의 기술들에 비하여, 3차원 구강 스캔 데이터를 기반으로 치료 시뮬레이션이 가능한 치아 데이터를 추출할 뿐 아니라, 추출된 치아 데이터를 기반으로 자동으로 숙련된 의사의 진단 결과를 통해 학습 가능한 진단 결과에 대한 분류 알고리즘을 적용하여, 치과의사의 숙련도에 관계없이 전문화된 치료 계획의 수립이 가능하도록 치료 전 구강 상태 정보를 생성할 수 있는 효과가 있다.
또한 본 발명에서는 피검사자의 치료 전 구강 상태 정보에서 확인되는 치아 상태 및 개별 치아의 이동 가능성을 기초로 기 설정된 알고리즘에 의해 예측 치아 배열 모델을 선정하고, 개별 치아의 특성을 반영한 교정 치료 계획의 추천 알고리즘을 제공함으로써, 치아 교정의 진단 및 교정 치료 계획의 표준화를 도모할 수 있다는 효과가 있다.
또한, 본 발명의 일 실시 예에 따르면, 비정형 진단 데이터를 정형화하여 치아 교정 치료 계획을 제시하기 위한 참조 데이터로서 활용할 수 있게 됨으로써, 치아 교정 치료에 대한 이론 및 노하우 기반의 알고리즘 구조화 설계를 이룰 수 있다는 효과가 있으며, 피검사자의 치료 전 구강 상태 정보에 대해 도출된 교정 치료 계획을 이행할 수 있는 전문 인력을 매칭하여 줌으로써, 추천된 교정 치료 계획과 교정 치료 결과의 재현율을 증대하여 줄 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법의 흐름도.
도 2는 본 발명의 일 실시 예에 따라 치아 데이터 생성을 위한 치아의 대표 좌표 및 접점이 추출되는 흐름을 설명하기 위한 예.
도 3은 본 발명의 일 실시 예에 따라 개별 치아마다의 특징 데이터가 추출되어 테이블로 구현된 예.
도 4는 본 발명의 일 실시 예에 따라 치아의 축에 대한 정보가 추출되는 흐름을 설명하기 위한 예.
도 5의 (a) 내지 (g)는 본 발명의 일 실시예의 구현에 따라서 치아 데이터를 기반으로 치아의 위치 이상이 분류되는 예.
도 6은 본 발명의 일 실시 예에 따른 로드된 치료 전 구강 상태 정보를 기반으로 피검사자의 치료 전 구강 상태 정보에 대응하는 치아 배열 모델이 구현되는 예.
도 7은 본 발명의 일 실시 예에 따른 피검사자의 치료 전 구강 상태 정보에 대한 예측 치아 배열 모델이 도출되는 예.
도 8은 본 발명의 일 실시 예에 따른 치아 교정 치료에 대한 솔루션을 제공하기 위해 사용되는 알고리즘의 인스턴스 구성 방안의 예.
도 9는 본 발명의 일 실시 예에 따른 최적의 교정 치료 계획이 도출하는 후보 알고리즘의 문제 해결 기법에 대한 예.
도 10은 본 발명의 일 실시 예에 따른 본 발명의 일 실시 예에서 최적의 교정 치료 계획이 도출됨에 따른 인터페이스 제공 예.
도 11은 본 발명의 일 실시 예에 따른 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 장치의 구성도.
도 12는 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예.
이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법에 관련된 것이고, 본 발명은 3차원 구강 스캔 데이터에서 개별 치아의 접점과 특징점을 기준으로 치아 객체를 분리하는 기술을 제공하는 것에 제1 목적이 있고, 교정 치과 분야에 있어서 환자의 치아 데이터를 효율적으로 분석하여, 각 치아에 대한 교정 분야의 진단을 자동으로 수행한 결과를 도출할 수 있도록 함으로써, 이러한 모델의 구축 및 머신러닝, 구체적으로는 딥러닝에 의한 모델의 학습을 통해서 3차원의 구강 스캔 데이터를 기반으로 교정 치과에 있어서 치료의 근간이 되는 진단을 자동으로 수행할 수 있는 기술을 제공하는 것에 제2 목적이 있으며, 피검사자의 치료 전 구강 상태 정보에서 확인되는 치아 상태 및 개별 치아의 이동 가능성을 기초로 기 설정된 알고리즘에 의해 최적의 치아 배열 구조를 선정하고, 개별 치아의 특성을 반영한 교정 치료 계획의 추천 알고리즘을 제공하는 것에 제3 목적이 있다.
한편 이하에서는 본 발명에 대한 더욱 세부적인 설명으로 첨부된 도면을 참조하여 설명을 개진하기로 하며, 하나 이상의 기술적 특징 또는 발명을 구성하는 구성 요소를 설명하기 위하여 다수의 도면이 동시 참조될 수 있을 것이다.
먼저 도 1을 참조하여 보면, 본 발명에서는 피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 원과 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색 단계(S10)가 수행될 수 있다.
이때 상술한 3차원 구강 스캔 데이터는 stl 오브젝트 등 일반적으로 치과 분야에서 피검사자의 두부 스캔 장치로부터 획득되는 33차원 구강 스캔 이미지 등의 형식으로 구성되는 데이터이다. Stl 파일 형식은, 고속 원형 제작 업계의 실질적인 표준 데이터 전송 형식으로 이해될 것이고, 본 발명에서는 상술한 stl 파일 형식 이외에 다양한 형태의 치과 분야에서의 3차원 스캐너를 통해 획득될 수 있는 3차원 구강 스캔 이미지의 형식이 사용될 수 있을 것이다.
한 전술한 S10 단계에 대한 더욱 구체적인 실시 예로서, 도 2를 참조하여 보면 도 2의 S1에서는 피검사자의 3차원 스캔 데이터의 단순 좌표 중심에 원이 배치된 예(101)를 살펴볼 수 있으며, 도 2의 S2에서는 단순 좌표 중심에 배치된 원의 크기를 증가(111)시켜 치아 객체와의 최초 접점이 탐색되는 예를 살펴볼 수 있다.
즉 상술한 S10 단계에서는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 증가시켜 피검사자의 치아 객체와 맞닿는 최초 지점이 탐색되게 함으로써, 3차원 구강 스캔 데이터 상에서 치아 객체의 위치를 쉽고 간편하게 파악할 수 있는 효과가 있다.
다시 도 1로 돌아와서, 상술한 S10 단계의 수행 후에는 S10 단계에서 탐색된 최초 접점에서 기 설정된 간격으로 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬 정보의 벡터 방향을 반전하고, 기준 좌표에서 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 기 설정된 주기마다 구체를 복제하여 치아 내부에 구체가 균일하게 배치되도록 하는 구체 배치 단계(S20)가 수행될 수 있다.
이때 상술한 S20 단계에서는 S10 단계에서 탐색된 최초 접점에서 일정 간격을 두고 다수의 구체를 분산되도록 하여 구체가 치아 내부에 위치하도록 하고, 분산되는 구체의 크기는 1 내지 5 유닛의 크기 범위를 갖도록 하되, 일 유닛은 1/10,000mm에 대응되는 크기로서, 3차원 치아 스캔 데이터에 적합한 구체의 크기를 찾기 위하여 경험적 튜닝을 수행한 결과에 따라 도출된 구체의 크기인 것으로 이해될 수 있을 것이다.
한편, 일반적으로 STL 파일은 입체 물체의 표면을 3차원에서 무수히 많은 삼각형 면으로 표현하는 특징이 있는데, 종래 STL 파일 형식은 3차원 스캔 데이터에서 치아 객체의 표면과 충돌하는 이벤트는 쉽게 감지할 수 있는 반면, 치아 객체의 내부에서 외부로 빠져나가는 이벤트는 감지하기 쉽지 않다는 문제가 있다.
이에 본 발명에서는 이러한 문제를 해소하고자, 삼각형으로 구성된 각 메쉬 정보들의 표면에 정의된 방향 벡터를 반전시켜 삼각형 데이터를 역방향으로 재생성하는 처리 과정이 수행되도록 하는데, 이에 대한 구체적인 실시 예를 도 2에서 살펴볼 수 있다.
상세하게 도 2의 S3에서는 메쉬 정보(T)의 방향 반전 수행 전의 치아 객체의 모습을 나타내었고, 도 3의 S4에서는 메쉬 정보(T)의 방향 반전 수행 후의 치아 객체(UT)의 모습이 나타나 있다.
또한 도 2의 S5에서는 이러한 메쉬 정보의 반전 처리가 수행됨에 따라 치아내부에 다수의 분산된 구체들이 존재할 수 있게 됨에 따라, 다수의 구체(121)들이 랜덤한 속도로 이동하면서 기 설정된 주기마다 복제되는 예를 도시하였으며, 이러한 구체(121)의 복제 과정을 반복하여 치아 내부에 구체(121)들이 고루 배치된 상태를 갖게 할 수 있다.
한편 상술한 S20 단계의 수행 후에는 S20 단계에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체가 결정되도록 하고, 결정된 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출 단계(S30)가 수행된다.
또한, 상술한 S30 단계에서는 치아 객체 내부에 다수개로 분산된 구체들의 크기를 점진적으로 성장시켜 치아 내부 공간에서 외부로 이탈되는 구체를 탈락되게 한 뒤, 치아 내부에 잔존하는 구체를 다시 기 설정된 크기로 축소시켜 각 치아의 중심점에 대응하는 대표 구체가 결정되도록 할 수 있다.
이때 상술한 구체의 크기 성장은 치아 내부에 잔존하는 구체의 개수가 피검사자의 치아 개수에 대응하는 개수가 되는 크기까지 성장시키도록 함이 바람직한데, 예를 들어 피검사자의 하악의 치아 개수가 14개일 때, 구체의 크기 성장은 하악의 치아 개수에 대응하는 14개가 잔여할 때까지 지속될 수 있는 것이다.
또한 이러한 구체의 크기 성장 및 축소에 따른 대표 구체의 결정은, 하악과 상악에 대해 각각 수행되도록 함이 바람직한데, 이는 피검사자의 발치 상태를 비롯한 구강 구조에 따라 상악과 하악의 치아 개수가 다를 수 있음을 반영하기 위한 것으로 이해될 것이다.
구체적인 예로서 도 2의 S6을 참조하여 보면 피검사자의 하악에 포함되는 치아에 대하여 각 치아마다의 대표 구체(131)가 결정된 예가 도시되어 있으며, 본 발명에서는 피검사자의 개별 치아마다 결정된 대표 구체(131)의 좌표값을 이용하여 특징 데이터의 추출이 가능해진다.
이때 상술한 대표 구체(131)의 좌표값은, 3차원 공간의 위치(Position), 회전(Rotation) 및 크기(Scale)에 대한 x, y, z 평면의 좌표 값이 추출됨이 바람직할 것이다.
한 예로서 도 3의 200에서는 각각의 치아에 결정된 대표 구체로부터 위치, 회전 및 크기에 대한 x, y, z 평면에 대한 좌표 정보를 취득함으로써, 개별 치아의 특징 데이터가 추출된 예가 도시되어 있다.
다만 도 3의 200에는 7개의 개별 치아에 대한 특징 데이터만이 도시되어 있으나, 이는 한 실시 예에 불과한 것으로, 본 발명에서 언급하는 치아의 특징 데이터는 피검사자의 치아 개수에 대응하는 개수의 특징 데이터가 추출되는 것으로 이해되어야 할 것이다.
다음으로 상술한 S30 단계의 수행 후에는, 치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써, 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리 단계(S40)가 수행된다.
이때, 앞서 언급한 치아별 축 데이터는 3차원 구강 스캔 데이터의 부피 중심점과 넓이 중심적을 기초로 추출될 수 있다.
구체적으로 상술한 치아별 축 데이터는 부피 중심점과 넓이 중심점을 관통하는 선에 통계 분석을 통해 도출된 수치적 보정치를 적용하여 치아의 뿌리와 평행하게 획득되는 축 데이터를 치아별 축 데이터로 추출하게 된다.
한 실시 예로서 도 4를 참조하여 보면, 도 4의 600에서는 일 개별 치아 객체에 대한 부피 중심점(VC)과 넓이 중심점(AC)이 표시되어 있음을 알 수 있다.
이때 본 발명에서 치아별 축 데이터는, 도 4에 표시된 부피 중심점(VC)과 넓이 중심점(AC)을 관통하는 선에 통계 분석을 통해 도출된 보정치를 적용하여 치아의 뿌리와 평행한 축을 도출함으로써 개별 치아의 축 데이터로 추출할 수 있는 것이고, 상술한 보정치는, 컴퓨팅 장치에 탑재되어 있는 학습 모듈에 의하여 개별 치아의 축 데이터에 대한 오차 학습을 지속 수행함으로써 획득된 값일 수 있을 것이며, 이러한 보정치는 동일한 값일 수도 있을 것이나, 개별 치아의 형태에 따라 서로 다른 값으로 도출되어 있을 수 있다.
한편 전술한 도 1의 S40 단계에서는 개별 치아의 메쉬 정보를, 모션 데이터를 취급하는 제1 프로그램에서 호환되는 기 설정된 파일 포맷으로 변환하여 익스포트(Export)한 뒤, 제1 프로그램에서의 작업 데이터를 스크립트 파일로 저장하도록 함이 바람직하다.
이때 상술한 제1 프로그램은 바람직하게 유니티(Unity) 시뮬레이션인 것으로 이해될 수 있을 것이며, 상술한 기 설정된 파일 포맷은 유니티에서 호환될 수 있는 obj파일 형식으로 변환되는 것으로 이해될 수 있을 것이다.
한편 이러한 obj 파일은 유니티 시뮬레이션에서 임포트(import)하게 될 시, 좌표축의 정렬 문제가 발생하여 재조정이 필요하고, 본 발명에서는 바람직하게 개별 치아의 회전을 위하여 obj 파일 포맷의 중심점을 부피 중심점으로 설정하도록 하고, 라이노(Rhino)에서 개별 치아의 좌표값을 가져와 치아의 형태로 배치하도록 하는 이미지 처리 과정이 더 수행될 수 있을 것이다.
치아의 형태로 배치하는 이미지 처리 과정이 수행된 후에는, 제1 프로그램, 즉 유니티에서의 작업 데이터를 스크립트 파일의 형태로 저장하는 과정이 수행될 수 있다.
이때 상술한 작업 데이터라 함은, 치과전문인력이 치아 교정 치료가 필요한 개별 치아의 배열을 달리하는 등 치열의 재배치와 관련한 일련의 치료 계획 데이터인 것으로 이해될 수 있을 것이고, 이러한 스크립트 파일은 치아 교정 치료 계획의 자동화를 위한 응용 분야의 기초 데이터로서도 활용될 수 있게 된다.
또한 다음으로 상술한 S40 단계의 수행 후에는, S40 단계에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하는 위치 이상 분류 단계(S50)가 수행되게 된다.
즉 상술한 S50 단계는 S10 내지 S40 단계의 수행에 의해 획득된 치아 이미지에 대한 각 치아별 메쉬 정보를 기반으로, 치아의 축을 도출함으로써 치아 이미지를 처리하여 각 치아의 치아 데이터, 즉 상술한 특징 데이터 및 도출된 치아의 축을 포함하는 데이터를 생성할 수 있게 된다.
한편 치아의 축에 대해서는 도 4의 예와 같이 그 축을 도출하는 프로세스를 거칠 수 있다.
예를 들어 전술한 이미지 처리 단계에서는 개별 치아에 대한 학습을 위해서 전체 치아에 대한 메쉬 정보(T)를 상술한 바와 같이 처리하여 치아별 3차원 데이터, 즉 메쉬 정보(ET)로부터 부피 중심점(VC) 및 넓이 중심점(AC)을 자동으로 도출한다. 부피 중심점(VC)은 각 치아 데이터의 부피의 중심점, 넓이 중심점(AC)은 예를 들어 치아의 가장 넓은 면적을 갖는 부분의 면적 중심점 또는 가장 상면에 해당하는 면의 중심점을 의미하는 것으로 이해될 수 있다.
이때 부피 중심점(VC)과 넓이 중심점(AC)을 관통하는 선을 1차적으로 해당 치아의 축으로 선정하게 된다. 한편, 상술한 치아 이미지 처리 알고리즘에 따르면, 치아 이미지 처리 결과에 대한 통계 분석을 통해서 상술한 치아 데이터, 예를 들어 상술한 치아의 축에 대한 오류 보정 함수가 도출된다. 이에 따라서 도출된 수치적인 보정치를 이용하면, 관통하는 상기의 선을 보정하게 되면, 이와 같이 보정한 선을 치아의 축(A)으로 설정하게 된다.
이를 통하면, 치아의 3차원 데이터, 즉 모델의 모양/무비적인 특징과 통계적인 분석에 대한 머신 러닝을 통해, 치아의 뿌리와 평행한 축을 자동으로 도출하여 치아 데이터로 활용하는 한편, 이를 이용한 치료 계획 수립을 위한 시뮬레이션에 활용할 수 있다.
한편 상술한 바와 같이 개별 치아의 메쉬 정보는, 예를 들어 Unity 등의 시뮬레이션에서 사용할 수 있는 obj 형식으로 변환할 수 있다. 이러한 obj 형식에는 상술한 치아 데이터가 결합될 수 있다. 이 경우, Python 등의 프로그램을 이용한 rhino 3차원 모델링 툴 자동화 프로그램을 구현 시, 해당 툴을 이용하여 작업하는 모든 과정을 스크립트로 자동화하여 자동화 서비스에 대응할 수 있다.
즉 이러한 형식 변환을 통해서, 각 치아 이미지에 치아의 좌표 및 접점과 치아의 축 데이터를 적용하여 피검사자의 치아 배열을 3차원으로 구현 가능한 데이터를 상술한 치아 데이터로 생성하여 이후의 처리에 활용할 수 있도록 하는 것이고, 이러한 이미지 형식 변환은 후술할 교정 데이터 생성 단계(S50)에 의해 수행될 수 있다.
또한 상술한 S50 단계에서는 S40 단계에서 생성된 치아 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동으로 분류하는 기능을 수행하게 된다.
치아 객체의 상대적 배열 상태라 함은, 상하좌우의 치아의 배열에 대한 상대적인 상태를 의미한다. 이는 상술한 치아 데이터, 즉 각 치아의 좌표, 접점 및 축에 대한 정보를 기반으로 서로 인접한 치아에 대한 치아 데이터를 비교함으로써 도출될 수 있다.
자동 진단 알고리즘은 상술한 머신 러닝에 의하여 학습될 수 있으며, 구체적인 비교 과정은 후술하는 바와 같이, 즉 자동 진단 알고리즘이 학습됨은, 구체적인 후술하는 비교 과정에 따라서 치아의 위치 이상을 자동으로 판별하는 데 있어서 해당 비교 과정에서 이용되는 비교 기준 수치 등이 학습됨을 의미하거나, 구체적인 비교 프로세스 자체가 학습됨을 의미하는 것으로 이해될 수 있다.
이에 대한 예가 도 5에 자세히 기재되어 있다. 먼저 도 5의 (a)는 총생(crowding)에 해당하는 이상 분류(A)를 의미한다. 총생은, 인접 치아들의 근원심 접촉점이 서로 겹쳐 있는 경우를 의미하며, 먼저 치아가 서로 겹쳐져 배열되어 있는지, 즉 치아간 접촉점이 서로 만나지 못하고 교차되어 있는지 여부를 기준으로 판단한다.
해당 판단 결과가 No 인 경우, 접촉점이 서로 만나서 배열이 정상인 경우 정상 배열로 판단하고, 그렇지 않은 경우라면 특수 상황으로 분류하고 이에 대한 데이터를 의료진에게 제공하여 특별 판단 지시를 요청한다. 해당 특별 판단 지시의 결과는 상술한 자동 진단 알고리즘의 학습에 사용될 수 있다. 한편 겹쳐지지 않고 공간이 있는 경우라면, 후술하는 공극 평가로 진행되며, 그렇지 않은 경우 역시 특수 상황으로 분류한다.
한편 해당 판단 결과가 Yes인 경우라면, 서로 겹쳐진 정도를 기준으로 상대적인 총생 정도를 판단하게 된다. 즉 서로 겹쳐진 정도가 예를 들어 -2mm 이하인 경우 정도 1도, -2 내지 -4mm인 경우 정도 2도, -4mm 이상인 경우 정도 3도의 총생으로 판단한다.
한편 도 5의 (b)는 상술한 공극(Spacing)에 해당하는 이상 분류(B)를 의미한다. 공극은, 인접치아들의 근원심 접촉점이 서로 떨어져, 치아 간의 공간이 잇는 경우를 의미한다. 먼저 치아가 서로 떨어져 배열되어 있는지, 즉 치아간 접촉점이 서로 겹쳐지지 않고 공간이 있는지 여부를 판단한다.
해당 판단 결과가 No인 경우, 접촉점이 서로 만나서 배열이 정상인 경우라면 정상 배열로, 공간이 없고 겹쳐 있다면 상술한 총생 평가를 수행한다. 한편, 접촉점이 서로 만나나 배열이 정상이 아니나 경우 또는 공간이 없고 겹쳐 있지 않은 상태이면, 역시 상술한 바와 같이 특수 상황으로 분류한다.
한편, 해당 판단 결과가 Yes인 경우, 역시 서로 떨어진 공간의 폭을 기준으로 상대적인 공극 정도를 판단한다. 공간의 폭의 정도가 예를 들어 2mm 이하인 경우 정도 1도, 2 내지 4mm인 경우 정도 2도, 4mm 이상인 경우 정도 3도의 공극으로 판단한다.
도 5의 (c)는 회전(Rotation)에 해당하는 이상 분류(C)를 의미한다. 회전은, 치아의 근원심 접촉점들이 정상 배열선에서 벗어나 치아가 회전되는 것으로 판단되는 경우를 의미한다. 이 경우 해당 배열선을 기준으로 판단하여 치아가 회전되어 있는지 여부를 판단한다.
해당 판단 결과가 No인 경우에 있어서 접촉접이 서로 만나 배열이 정상인 경우 정상 배열로 판단하고, 회전되어 있으면서 공극과 총생의 경우와 복합적인 양상을 띄는 것으로 판단되는 경우 이에 총생 및 공극 평가를 함께 수행하여 복합적 분류를 하게 된다. 만약 판단 결과가 No이나 배열이 정상적이지 않거나, 복합적인 양상을 띄지 않는 경우 역시 특수 상황으로 분류하여 특별 판단 지시를 요청한다.
해당 판단 결과가 Yes인 경우에는, 치아의 상대적인 회전의 정도에 따라서 회전 정도를 판단한다. 예를 들어 4도 이하인 경우 정도 1도, 4 내지 8도인 경우 정도 2도, 8도 이상인 경우 정도 3도의 회전으로 판단한다.
도 5의 (d)는 수직관계(openbite & deepbite)에 해당하는 이상 분류(D)를 의미한다. 수직관계는 상하 치아의 피개정도의 평가로서, 모든 상악치아는 하악치아를 덮어야 한다. 이러한 관계가 벗어난 경우 수직관계에 해당하는 이상 분류(D)로 구분하며, 각 치아의 특성에 맞도록 정상 수치로서 기설정된 제1 수치가 설정되어 있다. 해당 제1 수치 역시 상술한 샘플 데이터를 통한 학습에 의하여 설정될 수 있다.
해당 분류 프로세스에서는, 상술한 각 치아의 특성에 맞도록 정상 수치에 일치하는지, 또는 정상 수치 범위에 속하는지 여부를 판단한다. 판단 결과가 Yes인 경우, 기준치 대비 수직 피개가 정상이면 정상 상태로 판단하나 그렇지 않은 경우 상술한 바와 같이 특수 상황으로 분류하고 특별 판단 지시를 요청한다.
판단 결과가 No인 경우라면, 기준치 대피 수직 피개가 부족한지 여부를 판단하고, 부족한 경우, 부족 정도에 따라서 예를 들어 0mm 이하인 경우 부족 정도 1, 0 내지 -3mm인 경우 부족 정도 2, -3mm 이상인 경우 부족 정도 3으로 판단한다. 수직 피개가 부족하지 않고 과도한 경우, 과도 정도에 따라서 기준치보다 2mm 이하인 경우 과도 정도 1, 2mm 내지 4mm인 경우 과도 정도 2, 4mm 이상인 경우 과도 정도 3으로 판단한다.
도 5의 (e)는 근원심 치축 경사(tipping)에 해당하는 이상 분류(E)를 의미한다. 근원심 치축 경사는, 각 치아의 근원심면에서 치아의 기울기가 근심으로 과도하게 경사지거나, 원심으로 과도하게 경사진 상태의 분류를 의미한다.
해당 프로세스에서는 먼저 각 치아의 근원심 치축 경사 기울기가 주어진 기설정된 제2 수치와 일치하는지 여부를 판단하게 된다. 이러한 제2 수치 역시 상술한 샘플 데이터를 통한 알고리즘 학습에 의하여 치아별로 설정될 수 있다.
해당 판단 결과가 Yes이고, 치축경사 기울기가 2도 이내 또는 정상인 경우 정상 상태로 판단하며, 그렇지 않은 경우 특수 상황으로 분류하여 특별 판단 지시를 요청한다.
한편 해당 판단 결과가 No인 경우, 과도 경사 방향이 근심인지 여부를 판단하고, 근심이 아닌 동시에, 방향이 원심도 아닌 경우라면, 특수 상황으로 분류하여 특별 판단 지시를 요청하게 된다. 한편 근심이라면, 기울기 정도가 4도 이하인 경우 근심 정도 1도, 4도 내지 8도인 경우 근심 정도 2도, 8도 이상인 경우 근심 정도 3도로 판단한다.
원심인 경우라면, 기울기 정도에 따라서 -4도 이하인 경우 원심 정도 1도, -4도 내지 -8도인 경우 원심 정도 2도, -8도 이상인 경우 원심 정도 3도로 판단하게 된다.
도 5의 (f)는 협설축 치축 경사(torque)에 해당하는 이상 분류(F)를 의미한다. 협설축 치축 경사는, 각 치아의 협설측면에서의 치아의 기울기 정도가 협측 과도 경사인지 또는 설측 과도 경사인지 여부를 판단하는 분류를 의미한다. 먼저 해당 프로세스에서는 각 치아의 협설측 치축 경사 기울기가 주어진 기설정된 제3 수치와 일치하는지 여부를 판단한다. 이러한 제3 수치는 상술한 근원심 치축 경사와 서로 다른 수치로 설정될 수 있고, 치아별로 설정될 수 있으며, 샘플 데이터를 통한 알고리즘 학습에 의하여 설정될 수 있다.
해당 판단 결과가 Yes라면, 치축 경사 기울기가 2도 이내 또는 정상인 경우 정상 상태로 판단하고, 그렇지 않은 경우 특수 상황으로 분류하여 특별 판단 지시를 요청하게 된다.
한편 해당 판단 결과가 No인 경우, 과도 경사 방향이 협측인지 여부를 판단하고, 협측이 아닌 동시에, 방향이 설측도 아닌 경우라면, 특수 상황으로 분류하여 특별 판단 지시를 요청하게 된다. 한편 협측이라면, 기울기 정도가 4도 이하인 경우 협측 정도 1도, 4도 내지 8도인 경우 협측 정도 2도, 8도 이상인 경우 협측 정도 3도로 판단한다.
설측인 경우라면, 기울기 정도에 따라서 -4도 이하인 경우 설측 정도 1도, -4도 내지 -8도인 경우 설측 정도 2도, -8도 이상인 경우 설측 정도 3도로 판단하게 된다.
도 5의 (g)는 감합에 해당하는 이상 분류(G)를 의미한다. 감합은, 상하 치아간 교합 상태를 평가하여 판단하는 분류을 의미한다. 치아 간 1:2 관계의 교합 상태로서 마치 톱니처럼 서로 맞물려 있는 상태가 정상적인지 여부를 기준으로 판단하며, 상악 치아의 교두가 하악 치아의 교두와에 위치하는지 여부를 기준으로 평가하게 된다.
전방(근심) 위치인 경우 -로, 후방(원심) 위치인 경우 +로 표기하여 그 분류를 수행하게 된다. 먼저 해당 프로세스에서는, 구치부 상하 치아가 전후방(근원심)면으로 톱니처럼 배열되어야 하는데 상악 치아 교두가 하악치아 2개 사이에 위치되는지 여부를 판단한다.
해당 판단 결과가 Yes인 경우, 그리고 상하악 구치부의 감합이 정상인 경우 정상 상태로 판별하여, 그렇지 않은 경우 특수 상황으로 분류하여 특별 판단 지시를 요청한다.
해당 판단 결과가 No인 경우, 상악 치아가 전방으로 쏠려 위치되는지 여부를 판단하여, 상악 치아가 전방으로 쏠려 위치되는 경우, 쏠림의 정도를 기준으로 2mm 이하인 경우 하악 후방 위치 정도 1도, 2mm 내지 4mm인 경우 하악 후방 위치 정도 2도, 4mm 이상인 경우 하악 후방 위치 정도 3도로 판단한다. 한편, 상악 치아가 후방으로 쏠려 위치되는 경우, 쏠림의 정도를 기준으로 -2mm 이하인 경우 하악 전방 위치 정도 1도, -2mm 내지 -4mm인 경우 하악 전방 위치 정도 2도, -4mm 이상인 경우 하악 전방 위치 정도 3도로 판단한다.
이와 같이, 부정교합의 판단의 근거를 7개로 분류하고, 이에 대한 샘플 데이터 학습 및 실 사례 학습을 통해서, 상술한 각 기준 수치 등을 학습하게 되건, 특수 상황에서의 의료진의 특별 판단 지시를 통해서 알고리즘을 학습하게 되면, 부정교합의 판단의 근거에 따라서 매우 정확한 판단이 가능해져, 이후의 진단 시 효율적이고 명확한 치료 솔루션 수립이 가능해지는 효과가 있다.
또한 상술한 S50 단계에서는 각 부정교합의 판단 근거가 되는 수치의 크기를 기준으로 세부 정도를 판단하여, 부정교합 분류 정보에 함께 설정할 수도 있을 것이며 본 발명은 이에 제한하지 않는다.
한편 상술한 S50 단계의 수행 후에는, S50 단계의 분류 결과 및 S40 단계의 수행으로 생성된 치아 데이터를 이용하여 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하도록 하는 교정 데이터 생성 단계(S60)가 수행되게 된다.
이때 상술한 S60 단계에서는 피검사자의 치료 전 구강 상태 정보로, 예를 들어 각 치아의 독립된 메쉬 정보로서의 치아 이미지, 특징 데이터 및 축을 포함하는 치아 데이터, 치아별 식별 정보 및 치아별로 분류된 위치 이상에 대한 분류 결과를 포함한다. 또한 해당 데이터는 예를 들어 데이터베이스(20)에 저장될 수 있을 것이며, 이를 통해서 AI를 이용한 자동 치료 시뮬레이션 또는 치료 계획 수립에 사용될 수 있다.
한편 상술한 바와 같이 자동 치료 시뮬레이션 또는 치료 계획 수립에 있어서 해당 치료 전 구강 상태 정보를 사용할 수 있도록 하기 위해서는 치아별로 교정에 의한 이동 등이 가능해야 하기 때문에, 상술한 바와 같이, 예를 들어 Unity 등의 시뮬레이션에서 사용할 수 있는 obj 형식으로 변환할 수 있다. 이러한 obj 형식에는 상술한 치아 데이터가 결합될 수 있다.
즉 S60 단계의 수행에 의해 상술한 형식으로 데이터를 변환하게 되면, Python 등의 프로그램을 이용한 rhino 3차원 모델링 툴 자동화 프로그램을 구현 시, 해당 툴을 이용하여 작업하는 모든 과정을 스크립트로 자동화하여 자동화 서비스에 대응할 수 있게 되기 때문에, 이러한 형식 변환을 통해서, 각 치아 이미지에 치아의 좌표 및 접점과 치아의 축 데이터를 적용하여 피검사자의 치아 배열을 3차원으로 구현 가능한 데이터를 상술한 치아 데이터로 생성하여 이후의 처리에 활용할 수 있도록 하는 것이다.
또 다른 한편 본 발명의 다른 실시 예에서는, 전술한 도 1의 S60 단계의 수행 후, 교정 치료 계획을 추천하기 위한 프로세스로서, S60 단계의 수행 결과로 생성된 치료 전 구강 상태 정보를 로드하는 치료 전 구강 상태 정보 로드 단계(미도시), 치아 배열에 대한 학습 데이터가 기 학습된 알고리즘에 의해 피검사자의 치료 전 구강 상태 정보에 포함된 개별 치아의 예측 이동 방향성 및 예측 이동량을 고려하여 목표로 하는 하나 이상의 예측 치아 배열 모델을 도출하는 예측 치아 배열 모델 도출 단계(미도시), 예측 치아 배열 모델을 구현하기 위한 교정 솔루션을 선정한 후, 단계별 교정 치료 계획을 세분화하여 제시하는 교정 치료 계획 제시 단계(미도시) 및, 치아 교정 치료 분야에 종사하는 다수의 전문 인력이 등록된 전문 인력풀에서 피검사자의 치료 전 구강 상태 정보에 매칭되는 한 명 이상의 전문 인력을 선정하여, 제시된 교정 치료 계획에 대한 피드백을 수집하는 피드백 수집 단계(미도시)를 더 포함할 수 있다.
이때 상술한 구강 상태 정보 로드 단계에서는, 도 6에 도시된 것과 같은 치료전 구강 상태 정보가 3차원 이미지로 구현될 수 있다.
이때 도 6의 A는 라이노에서 개별 치아의 좌표값이 전달되지 않은 상태의 시뮬레이션 예로서 이해됨이 바람직하고, 도 6의 B는 이노에서 개별 치아의 좌표값이 전달되어 개별 치아의 위치, 회전 각도 및 크기가 정의됨으로써, 피검사자의 현재 치아 상태에 대응하는 즉, 치료 전 구강 상태 정보를 3차원 이미지로 구현한 예로 이해될 것이다.
즉 본 발명에서는 상술한 구강 상태 정보 로드 단계의 수행에 의하여, 피검사자의 현재 치아 상태를 보다 명확히 구현하는 3차원 이미지를 획득할 수 있게 되어 후술할 교정 치료 계획을 설계하는 것에 대한 정밀성을 증대하는 효과를 발휘할 수 있게 된다.
한편 본 발명의 더욱 바람직한 실시 예로서, 상술한 구강 상태 정보 로드 단계의 수행 시, 본 발명에서는 피검사자의 치료 전 구강 상태 정보에 대한 엑스레이 이미지, 구강 내부 이미지 및 안모 이미지 중 적어도 어느 하나를 포함하는 이미지 데이터를 참조 데이터로 더 수집하고 이를 후술할 후보 알고리즘의 조건 변수로 이용되게 할 수 있다.
더욱 상세하게 상술한 엑스레이 이미지는 교정 치료에서 가장 중요한 정보를 담고 있는 얼굴의 측면부 엑스레이 이미지에 해당하는 세팔로, 촬영기를 한쪽에서 다른 한쪽으로 또는 위에서 아래로 움직여서 넓은 범위의 장면을 촬영하도록 한 파노라마를 포함하는 이미지인 것으로 이해될 수 있을 것이고, 상술한 구강 내부 이미지는, 촬영기 등을 이용하여 구강의 내부 사진을 2D 이미지로 단순 촬영한 이미지로, 또한 상술한 안모 이미지는 피검사자의 구강 구조, 치아 상태에 따른 얼굴의 생김새를 나타내는 이미지인 것으로 이해될 수 있다.
이때 본 발명에서는 참조 데이터로 수집된 세팔로 이미지로부터 상, 하악의 수평/수직 관계를 계측하고, 상전치 돌출도와 하전치 돌출도를 계측할 수 있고, 파노라마 이미지로부터 상실치를 파악하고, 치조골의 건강 상태를 정량화된 수치로 판단하며, 과도치축경사, 사랑니/충치의 존재 여부 및 임플란트 개수를 계측할 수 있다.
또한 상술한 구강 내부 사진에서는 충치 개수, 충전물의 개수와 크라운의 개수를 계측하여 볼 수 있고, 안모 사진에서는 수평/수직/횡적 평가를 수행할 수 있다.
즉 본 발명에서는 상술한 참조 데이터의 수집 및 수집된 참조 데이터의 계측값을 통해 비정형 진단 데이터를 정형 데이터와 같은 형태로 데이터베이스화할 수 있게 되고, 이를 통해 교정 치료 계획에 대한 표준 진단 자료의 분류 및 정의의 설계를 이룰 수 있게 된다는 효과가 있다.
다음으로 상술한 도출하는 예측 치아 배열 모델 도출 단계에서 언급되는 예측 치아 배열 모델은 치아 교정 치료 분야에서 이상적 치아 배열을 갖는 표준 모델에 가장 근접한 모델이 예측 치아 배열 모델로 도출될 수 있다. 이때 이상적 치아 배열이라 함은, 치아와 접촉점과 인접 치아의 접촉점이 서로 겹쳐지지 아니하고 맞닿아 있는 상태로 존재하며, 인접 치아들의 근원심 접촉점이 서로 맞닿아 있는 상태이고, 교합면 상에서 치아의 회전 각도가 정상 범위에 속하는 범주이며, 상하 치아의 폐개 정도를 살폈을 때 모든 상악 치아가 하악 치아를 덮도록 하고, 각 치아의 근원심면 상에서 치아의 기울기가 정상 범위에 속하며, 각 치아의 협설 측면상에서 치아의 기울기가 정상이고, 상/하악 구치부의 감합이 어느 한쪽으로 쏠리거나 1:2 관계의 교합으로 이루어지지 않은 상태를 갖는 치아 배열을 의미하는 것으로 이해될 수 있을 것이다.
즉 상술한 알고리즘은 이상적 치아 배열에 대한 학습 데이터를 기계 학습하여 피검사자의 현재 치아 상태에서 가장 이상적인 치아 배열을 갖도록 하는 예측 치아 배열 모델을 도출해낼 수 있는 것이다.
한편, 치아의 예측 이동 방향성 및 예측 이동량은, 교정 치료에 대한 임상 데이터 기반으로 예측될 수 있을 것이며, weak 도구를 활용하여 메타 러닝의 구성 알고리즘 중 하나인 RF(Random Forest) 알고리즘으로 치아의 이동 방향성 및 이동량을 예측 가능한 것으로 이해될 수 있다.
이때 메타 러닝은 다수의 학습 모델들 중 가장 나은 모델을 도출하기 위한 메커니즘으로 도 9의 400을 참조하여 보면, 도 9의 400에서는 메타 러닝의 개념도가 도시되어 있으며, 도 9의 400에서 보여지는 메타 러너(Meta Learner)로는 전술한 RF를 비롯하여 ANN(Artificial Neural Network), RF(Random Forest), SVM(Support Vector Machine) 및 EDN(Evolving Deep Network) 중 적어도 어느 하나를 포함하는 알고리즘이 이용될 수 있을 것이다.
또한 도 7을 동시 참조하여 보면, 도 7의 A는 피검사자의 치료 전 구강 상태 정보에 대응되는 3차원 이미지의 예가 도시되어 있고, 도 7의 B는 피검사자의 현재 치아 상태에서 이상적 치아 배열에 가장 근접하도록 한 형태로 도출된 예측 치아 배열 모델이 도출된 예가 도시되어 있다.
이때 도 7의 B에서는 앞서 언급한 이상적 치아 배열이 학습된 알고리즘에 의해 피검사자의 치아 배열이 도 7의 A에 비하여 가지런해진 모습을 확인하여 볼 수 있다.
한편 일반적으로 교정 치료 계획의 제시를 위해서는 교정 치료의 기간, 교정력 및 교정 치료의 난이도 등 상충 관계에 있는 요소들을 동시에 만족하는 해의 탐색이 요구된다.
이에 본 발명에서는 상술한 교정 치료 계획 제시 단계의 수행 시, 파레토 최적해 연산 기법을 이용하여 피검사자의 현재 치아 상태에 따른 교정 치료 기간, 교정력 및 교정 치료의 난이도 중 적어도 어느 하나(바람직하게는 모두 포함하도록 함)를 포함하는 요소의 예측값을 목적 함수로 하고, 이들 목적 함수를 동시에 만족하며 목적 함수의 값이 최소가 되게 하는 파레토 최적(Pareto Optimal)해를 탐색하도록 하여 복수의 교정 치료 계획이 제시되도록 할 수 있다.
<그림 1> 지배 관계와 파레토 최적해
Figure PCTKR2022011898-appb-img-000001
한 실시 예로서, 상기 그림 1을 동시 참조하여 보면, 최소화 문제의 경우에서 n개의 결정 변수를 갖는 벡터
Figure PCTKR2022011898-appb-img-000002
에 대해 부등호 제한(constraint)
Figure PCTKR2022011898-appb-img-000003
과 등호 제한
Figure PCTKR2022011898-appb-img-000004
을 모두 만족하면서 k개의 목적 함수를 갖는 벡터
Figure PCTKR2022011898-appb-img-000005
을 최소화하는 문제로 정의될 수 있다.
또한 파레토 최적이란 벡터 F(x)에 의해 평가될 수 있는 모든 가능한 x의 결정 공간을 D로 정의할 때, 벡터
Figure PCTKR2022011898-appb-img-000006
를 지배하는
Figure PCTKR2022011898-appb-img-000007
인 벡터
Figure PCTKR2022011898-appb-img-000008
가 존재하지 않는 x를 의미하며, 여기서 지배의 개념은
Figure PCTKR2022011898-appb-img-000009
을 만족하는 벡터
Figure PCTKR2022011898-appb-img-000010
는 벡터
Figure PCTKR2022011898-appb-img-000011
을 지배한다고 정의될 수 있다.
위의 정의에 따라 F개체는 G개체가 속해 있는 지역을 지배한다고 할 수 있으며, 다시 F는 B와 C 개체에 의해서 지배당하게 된다.
결국 A, B, C, D 개체는 서로 비교할 수 없는 동등한 관계에 있으며 어떤 개체에 의해서도 지배를 받고 있지 않으므로 파레토 최적해가 되는 것이다.
또한 다중 목적 함수를 동시에 최적화하는 파레토 최적해를 찾기 위해서는 다중 최적 알고리즘이 사용되는데, 임의의 N개의 초기 개체군을 생성하여 비지배 관계로 차례로 파레토 순위를 부여하게 된다.
즉 전체 개체군 내에서 다른 어떤 개체에 의해서도 다중 기준 평가에서 지배되지 않는 후보 해들에게 1순위를 부여한 뒤, 1순위 후보 해를 전체 개체군에서 제외하고, 그리고 나머지 개체군 중에서 다시 2순위의 비지배 개체군을 선별하여 순위를 부여하는 것이다.
이러한 작업이 반복되면 모든 후보 해에 순위 할당이 완료되며, 다음 단계로 새로운 후보 해를 생성하기 위한 자연선택과 교차, 변이 연산으로 이루어진 유전연산이 차례로 적용되게 된다.
이때 자연 선택 단계에서는 1순위의 후보 해를 모두 포함하며 나머지 후보 해에 대해서는 임의로 2개의 후보 해를 선택하고 그 중 높은 순위의 후보 해를 포함 시킬 수 있고, 순위가 같은 후보 해의 경우 다중 목적 함수의 평가 공간에서 개체의 밀집도가 낮은 것을 우선하여 선택할 수 있으며 최종 단계의 비지배 해를 교정 치료 계획의 제시 결과로서 제공할 수 있다.
이에 교정 치료 계획 제시 단계에서는 전술한 파레토 최적해 연산 기법을 통해 복수의 교정 치료 계획이 도출되면, ANN(Artificial Neural Network), RF(Random Forest), SVM(Support Vector Machine) 및 EDN(Evolving Deep Network) 중 적어도 어느 하나를 포함하는 후보 알고리즘을 이용하여 상기 다수의 교정 치료 계획 중 상기 피검사자의 현재 치아 상태에 대한 최적의 교정 치료 계획이 연산되도록 할 수 있다.
이때 상술한 ANN은 뇌의 신경망 구조를 모사한 알고리즘으로, 딥 러닝으로 잘 알려져 있으며, 빅데이터 수준의 다수 인스턴스가 확보될 경우 레이어 수 증가, 구조 변화, 추상화, Drop Out과 같은 기법들을 적용하여 높은 성능을 유도할 수 있다는 장점이 있다.
또한 상술한 RF는 다수의 Weak Classifier를 구성하고 각 분류기들의 예측값을 머지(Merge)하여 하나의 결과값을 도출하는 형태로 집단 지성을 유도하여 단일 분류기보다 높은 성능을 보인다는 장점이 있다. 더욱이 RF는 의사 결정 트리로 구성되는 Weak Classifier의 경우 상당히 빠른 모델 생성이 가능하다.
또한 상술한 SVM은 데이터 클래스의 영역을 Support Vector들을 이용하여 설정하고 경계선을 도출하는 방식으로, 즉 SVM은 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 카테고리에 속할지를 판단하는 비확률적 이진 선형 분류 모델을 생성할 수 있다는 장점이 있다.
또한 상술한 EDN은 딥 네트워크 학습 알고리즘에 진화 연산이 적용된 기법으로, 다수의 Weak Classifier를 기반으로 빠른 학습/처리 속도 및 정확도 향상을 이룰 수 있다는 장점이 있다.
즉 본 발명에서는 전술한 후보 알고리즘들을 이용하여 다수 속성 데이터의 진화적 조합 선택을 적용함으로써 다양성을 극대화하고, 딥 네트워크를 통해 각 Weak Classifier의 성능을 향상 시켜 집단 지성의 발현을 유도할 수 있게 됨으로써, 고도화된 치아 교정 치료 계획의 수립이 가능해진다는 효과가 있다.
한편 이렇게 도출된 피검사자의 현재 치아 상태에 대한 최적의 치아 교정 치료 계획은 도 10의 500과 같은 인터페이스로 구현되어, 피검사자에 맞춤화된 치아 교정 치료 계획을 단계적으로 제공할 수 있다.
이때 상술한 인터페이스에는 연산된 최적의 교정 치료 계획을 기반으로 피검사자의 치료 전 구강 상태 정보에서 예측 치아 배열 모델을 구현하기 위한 시계열적 치아 이동 경로가 시각화 모델로 가공되어 도 10의 510과 같이 제공될 수 있을 것이며, 본 발명에서는 이러한 기능 수행에 의하여 피검사자의 치아 교정 치료에 대한 예측 결과를 보다 직관적으로 살필 수 있게 되는 효과가 있다.
또 다른 한편 본 발명의 다른 바람직한 실시 예에서는, 상술한 교정 치료 계획 제시 단계의 수행 후, 전술한 피드백 수집 단계가 수행되도록 할 수 있다.
이때 전문 인력이라 함은 치아 교정 치료의 품질을 높이기 위하여, 치아 교정과 전문의 자격을 취득한 사람에 한정될 수 있을 것이고, 전문 인력의 선정은 피검사자의 치료 전 구강 상태 정보에 대응하는 임상 경력이 기 설정된 임계 기준 이상인 것으로 판단되는 전문 인력을 선정하도록 함이 바람직한데, 임상 경력을 판단하는 기준은, 인력풀에 전문 인력이 자신의 경력을 증빙하기 위한 증례의 업로드하도록 하고, 증례에 대한 소견을 기재하도록 한 뒤, 타 전문 인력 또는 증례 심사 위원으로 지정된 외부 전문 인력으로부터 증례에 대한 타당성 평가가 이루어지도록 하여 전문 인력의 임상 경력을 관리하도록 함이 바람직할 것이다.
또한 상술한 피드백 수집 단계의 수행 시, 피검사자의 치료 전 구강 상태 정보에 매치되는 전문 인력은 한 명 이상이나, 5명 이하로 구성되도록 하여 원활한 전문 인력 간의 협진이 이루어지도록 할 수 있다.
아울러 피드백 수집 단계에서는 피검사자의 치료 전 구강 상태 정보에 매치되는 전문 인력이 결정되면, 교정 치료 계획 제시 단계에서 제시된 교정 치료 계획에 대한 피드백을 수집하게 되는데, 본 발명에서는 한 명 이상의 전문 인력으로부터 수집되는 피드백을 라벨링(Labeling)하여 알고리즘에 대한 지도학습(Supervised Learning)이 수행되도록 할 수 있다.
즉 본 발명에서는 기계학습 기반의 알고리즘으로 교정 치료 계획을 도출함에 있어서, 전문 인력에 의해 미처 발견되지 못한 문제와 그에 대한 치료 방안인 해답의 제시 결과를 학습하여 추후 이루어질 교정 치료 계획 제시의 고도화를 도모할 수 있는 것이고 이러한 기계학습 적용을 위한 인스턴스의 구성 방안을 도 8의 300에서 참조하여 볼 수 있다.
이때 도 8의 before array는 피검사자의 치료 전 구강 상태 정보 즉, 현재 치아 상태를 의미하는 데이터이고, Target array는 피검사자의 예측 치아 배열 모델에 대응되는 데이터이며, Solution Label은 전문 인력으로부터 수집된 피드백을 라벨링함에 따른 최종 교정 치료 계획에 대응하는 데이터인 것으로 이해될 수 있다.
한편 본 발명의 또 다른 실시 예에서는 전술한 피드백 수집 단계의 수행 후, 피검사자에 대한 최종 교정 치료 계획이 결정되면, 컴퓨팅 장치는 최종 교정 치료 계획에 대한 치료 계획서를 기 설정된 파일 포맷(PDF 및 동영상 파일 포맷 중 적어도 어느 하나를 포함하는 형태)으로 제작 및 가공하여 피검사자의 내방 치과 병원 및 교정 장치 제작 업체 중 적어도 어느 하나를 포함하는 사업체 단말로 송신하도록 하는 기능이 수행될 수도 있다.
즉 상술한 실시 예는, 전술한 도 10의 300 및 310과 같은 교정 치료 계획을 문서화하는 처리 과정이 이루어지는 것으로 이해될 수 있을 것이고, 이러한 치료 계획서를 피검사자의 내방 치과 병원 단말로 송신하는 것은, 피검사자의 내방 치과 병원에서 치료 계획서에 기반한 교정 치료가 이행되도록 하여 교정 치료 진단 및 교정 치료 계획에 소요되는 시간을 줄이도록 하여 진단 효율을 높이는 동시에, 치과마다 교정 치료의 결과가 상이함에 따른 품질 격차를 줄이기 위함인 것으로 이해될 수 있을 것이다.
한편 상술한 교정 치료 계획서를 교정 장치 제작 업체 단말로 송신하는 것은 바람직하게는 내방 치과의 확인 후 이루어지도록 함이 바람직하고, 더욱 바람직하게는 피검사자의 치료 계획서 상 병원의 내방 횟수 또는 치료 계획 상의 시기를 고려하여 교정 장치 제작 업체에 시기별 교정 장치의 제작을 요청하여, 교정 장치의 제작이 적시에 수행되도록 하여 효율적인 교정 치료 목적을 달성할 수 있다.
다음으로 도 11을 참조하여 보면, 도 11에는 본 발명의 일 실시 예에 따른 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 장치의 구성도가 도시되어 있으며, 이하의 설명에 있어서 도 1 내지 7에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.
도 11에 도시된 바와 같이, 본 발명에서는 상술한 장치(10)의 주요 구성으로서 피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터(1)의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 원과 3차원 구강 스캔 데이터(1)에 포함된 객체가 접하는 최초의 지점을 탐색하도록 기능하는 최초 접점 탐색부(11)를 포함한다.
이때 상술한 최초 접점 탐색부(11)는 결과적으로 도 1의 S10 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있을 것이고, 본 발명에서는 상술한 최초 접점 탐색부(11)의 기능 수행에 의하여 3차원 구강 스캔 데이터(1)에서 치아 객체의 위치를 특정할 수 있게 된다.
또한 본 발명에서는 상술한 장치(10)의 주요 구성으로서 최초 접점 탐색부(11)에서 탐색된 최초 접점에서 기 설정된 간격으로 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 구체를 주변 방향을 향해 랜덤한 속도로 이동 시키면서 기 설정된 주기로 구체를 복제하여 치아 내부에 구체가 균일하게 배치되도록 기능하는 구체 배치부(12)를 포함한다.
즉 상술한 구체 배치부(12)는 도 1의 S20 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있을 것이며, 본 발명에서는 구체 배치부(12)에서 1 내지 5 유닛의 크기 범위를 갖는 소형의 구체들이 치아 내부에 다수 분포되도록 하여 개별 치아의 특징점을 도출하게 하는 방식을 이용함으로써, 종래 치아의 외형에 기반한 치아 특징점 추출 방식과는 다른 방식으로의 치아의 물리적 특성 추출이 가능해진다는 효과가 있다.
또한 본 발명에서는 상술한 장치(10)의 주요 구성으로서 구체 배치부(12)에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체를 결정하고, 결정된 대표 구체의 좌표점 및 접점을 기준으로 치아의 특징 데이터를 추출하도록 기능하는 특징 데이터 추출부(13)를 포함한다.
즉, 상술한 특징 데이터 추출부(13)는 도 1의 S30 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있을 것이고, 본 발명에서는 이러한 특징 데이터 추출부(13)의 기능 수행에 의하여 종래 치아의 외형에 기반하여 치아 특징 데이터가 추출되던 방식과는 다르게 치아의 물리적 특성이 적용된 좌표계 데이터 검출을 기반으로 하는 치아 특징 데이터의 추출이 가능해져 치아의 특징 데이터 추출에 대한 새로운 접근 방식을 제안하여 줄 수 있는 효과가 있다.
이때 상술한 특징 데이터 추출부(13)에서 추출된 치아의 특징 데이터는 전용 데이터베이스(30)에 저장되어 관리됨이 바람직할 것이며 본 발명은 이에 제한하지 않는다.
또한 본 발명에서는 상술한 장치(10)의 주요 구성으로서 치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하도록 기능하는 이미지 처리부(14)를 포함한다.
즉 상술한 이미지 처리부(14)는 도 1의 S40 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있으며, 본 발명에서는 상술한 이미지 처리부(14)의 기능 수행에 의하여 개별 치아의 이동 가능 경로에 대한 설계를 수행하고, 이동 가능 경로를 외부 단말(20)에 시각화하여 보일 수 있도록 하는 이미지 처리 기술을 알고리즘화 할 수 있다는 효과가 있다.
또한 본 발명에서는 상술한 장치(10)의 주요 구성으로서 이미지 처리부에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하도록 기능하는 위치 이상 분류부(15)를 포함한다.
이때 상술한 위치 이상 분류부는 전술한 도 1의 S50 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있을 것이며, 본 발명에서는 이러한 위치 이상 분류부(15)의 기능 수행에 의하여 피검사자의 치아 데이터를 부정교합의 판단의 근거에 따라 위치 이상이 존재하는지 여부에 대한 매우 정확한 판단이 가능해져, 이후의 진단 시 효율적이고 명확한 치료 솔루션 수립이 가능해지는 효과가 있다
또한 본 발명에서는 상술한 장치(10)의 주요 구성으로서 위치 이상 분류부의 기능 수행 결과에 따라서, 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하도록 기능하는 교정 데이터 생성부(16)를 포함한다.
결과적으로 상술한 교정 데이터 생성부는 전술한 도 1의 S60 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있을 것이며, 본 발명에서는 이러한 교정 데이터 생성부(16)의 기능 수행에 의하여 자동 치료 시뮬레이션 또는 치료 계획 수립이 용이해지는 효과가 있다.
또한 도 11에 도시되어 있듯, 본 발명에서는 상술한 장치(10)의 주요 구성으로서 교정 데이터 생성부(16)의 기능 수행 결과로 생성된 치료 전 구강 상태 정보를 로드하는 치료 전 구강 상태 정보 로드부(17)를 더 포함할 수 있다.
이때 상술한 치료 전 구강 상태 정보 로드부는 물리 엔진이 적용된 시뮬레이션 프로그램인 제1 프로그램(예를 들어 유니티 시뮬레이션 프로그램)에서 피검사자의 치료 전 구강 상태 정보를 로드하도록 하는 기능을 수행한다.
본 발명에서는 상술한 치료 전 구강 상태 정보 로드부(17)의 기능 수행에 의하여 피검사자의 치료 전 구강 상태 정보에 대응되는 치아 배열 구조를 3차원 이미지로 구현하도록 기능하고, 특히 본 발명에서는 종래 전문 인력에 의해 3차원 구강 스캔 데이터에서 개별 치아의 분리를 일일이 수작업으로 진행하여 왔던 것과는 달리, 개별 치아의 특징점 데이터 및 개별 치아의 축 데이터를 이용하여, 피검사자의 3차원 구강 스캔 데이터에서 정확도 높게 개별 치아의 분리가 이뤄지도록 한 3차원 이미지를 구현함으로써, 치아 교정 치료 계획 수립에 대한 편의 및 효율을 증대하여 줄 수 있다는 효과가 있다.
또한 도 11에 도시되어 있듯, 본 발명에서는 상술한 장치(10)의 주요 구성으로서 치아 배열에 대한 학습 데이터가 기 학습된 알고리즘에 의해 피검사자의 치료 전 구강 상태 정보에 포함된 개별 치아의 예측 이동 방향성 및 예측 이동량을 고려하여 목표로 하는 하나 이상의 예측 치아 배열 모델이 저장된 데이터베이스(31)에서 최적의 예측 치아 배열 모델을 도출하는 예측 치아 배열 모델 도출부(18)을 포함할 수 있다.
즉 본 발명에서는 상술한 예측 치아 배열 모델 도출부(18)의 기능 수행으로 피검사자의 치료 전 구강 상태 정보를 고려하여 가장 이상적인 치아 모델에 근접한 예측 치아 배열 모델의 도출이 가능해진다는 효과가 있다.
또한 도 11에 도시되어 있듯, 본 발명에서는 상술한 장치(10)의 주요 구성으로서 예측 치아 배열 모델을 구현하기 위한 교정 솔루션을 선정한 후, 단계별 교정 치료 계획을 세분화하여 제시하는 교정 치료 계획 제시부(19)를 포함할 수 있다.
즉 본 발명에서는 상술한 교정 치료 계획 제시부(19)의 기능 수행에 의하여 교정 치료의 기간, 교정력 및 교정 치료의 난이도 등 상충 관계에 있는 요소들을 동시에 만족하는 최적해를 탐색하여 복수의 교정 치료 계획이 제시되도록 기능하고, ANN(Artificial Neural Network), RF(Random Forest), SVM(Support Vector Machine) 및 EDN(Evolving Deep Network) 중 적어도 어느 하나를 포함하는 후보 알고리즘을 이용하여 상기 다수의 교정 치료 계획 중 상기 피검사자의 치료 전 구강 상태 정보에 대한 최적의 교정 치료 계획이 연산되도록 함으로써, 고도화된 치아 교정 치료 계획의 수립이 가능해진다는 효과가 있다.
또한 도 11에 도시되어 있듯, 본 발명에서는 상술한 장치(10)의 주요 구성으로서 치아 교정 치료 분야에 종사하는 다수의 전문 인력이 등록된 전문 인력풀에서 피검사자의 치료 전 구강 상태 정보에 매칭되는 한 명 이상의 전문 인력(40)을 선정하여, 제시된 교정 치료 계획에 대한 피드백을 수집하는 피드백 수집부(20)를 더 포함할 수 있다.
즉 본 발명에서는 상술한 피드백 수집부(20)의 기능 수행에 의하여 머신러닝 및 빅데이터 기반의 객관적으로 정량적인 인공지능의 적용 진단과, 치료 계획의 수립으로 다수의 임상 경험에 기반한 고도화된 치료 계획의 제시 효과를 발휘할 수 있다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.
다음으로 도 12를 참조하여 보면, 도 12에서는 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하였으며, 이하의 설명에 있어서, 상술한 도 1 내지 11에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.
도 12에 도시한 바와 같이, 컴퓨팅 장치(10000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(10000)은 촉각 인터페이스 장치에 연결된 유저 단말이기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(10000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(10000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(10000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 12의 실시 예는, 컴퓨팅 장치(10000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 12에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 12에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(10000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시 예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치로 구현되는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법에 있어서,
    피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 상기 원과 상기 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색 단계;
    탐색된 최초 접점에서 기 설정된 간격으로, 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 상기 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 기 설정된 주기로 상기 구체를 복제함으로써 치아 내부에 상기 구체가 균일하게 배치되도록 하는 구체 배치 단계;
    상기 구체 배치 단계에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체가 결정되도록 하고, 결정된 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출 단계;
    치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써, 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리 단계;
    상기 이미지 처리 단계에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하는 위치 이상 분류 단계; 및,
    상기 위치 이상 분류 단계의 수행 결과에 따라서, 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하는 교정 데이터 생성 단계;를 포함하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  2. 제1항에 있어서,
    상기 이미지 처리 단계에서,
    상기 치아별 축 데이터는,
    상기 3차원 구강 스캔 데이터의 부피 중심점과 넓이 중심점을 기초로 추출되되,
    상기 부피 중심점과 상기 넓이 중심점을 관통하는 선에 통계분석을 통해 도출된 수치적 보정치를 적용하여 치아의 뿌리와 평행하게 획득되는 치아별 축 데이터가 추출되는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  3. 제1항에 있어서,
    상기 대표 구체의 결정은,
    상기 복제된 구체의 크기를 기 설정된 크기로 성장시켜, 치아 외부로 이탈되는 구체를 탈락되게 한 뒤, 치아 내부에 잔존하는 구체를 기 설정된 크기로 축소시켜 각 치아의 중심점에 대응하는 대표 구체가 결정되도록 하고,
    상기 피검사자의 치아 개수에 대응하는 대표 구체가 획득될 때까지 수행되는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  4. 제1항에 있어서,
    상기 이미지 처리 단계는,
    상기 개별 치아의 메쉬 정보를 모션 데이터를 취급하는 제1 프로그램에서 호환되는 기 설정된 파일 포맷으로 변환하여 익스포트(Export)한 뒤, 상기 제1 프로그램에서의 작업 데이터를 스크립트 파일로 저장하도록 하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  5. 제1항에 있어서,
    상기 특징 데이터 추출 단계는,
    일 개별 치아에 대응되는 대표 구체의 특징 데이터로서,
    3차원 공간 상의 위치(Position)에 대한 x, y, z 좌표값, 회전(Rotation)에 대한 x, y, z 좌표값 및, 크기(Scale)에 대한 x, y, z 좌표값이 추출되는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  6. 제1항에 있어서,
    상기 구체 배치 단계의 수행 시,
    상기 치아 안에 분산되는 구체의 크기는 1 내지 5 유닛(Unit)의 크기 범위를 갖도록 하되, 일 유닛은 1/10,000 mm에 대응되는 크기인 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  7. 제1항에 있어서,
    상기 위치 이상 분류 단계는,
    치아의 크기 및 상대적 배열 상태를 기반으로, 치아간 접촉점이 서로 만나지 못하고 교차되는 경우 총생으로, 치아간 접촉점 사이에 공간이 있는 경우 공극으로, 치아가 서로 회전된 상태인 경우 회전으로, 치아의 수직적 관계가 기설정된 제1 수치와 일치하지 않는 경우 수직관계로, 치아의 근원심 치축경사 기울기가 기설정된 제2 수치와 일치하지 않는 경우 근원심 치축경사로, 치아의 협설측 치축 경사 기술기가 기설정된 제3 수치와 일치하지 않는 경우 협설측 치축경사로, 상악 치아 교두가 하악치아 2개 사이에 위치되지 않는 경우 감합으로 각 부정교합에 대해서 판별하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  8. 제7항에 있어서,
    상기 위치 이상 분류 단계는,
    각 부정교합에 판단의 근거가 되는 수치의 크기를 기준으로 세부 정도를 판단하여 부정교합 분류 정보에 함께 설정하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  9. 제1항에 있어서,
    상기 교정 데이터 생성 단계에서는,
    3차원 구강 스캔 데이터로부터 도출된 치아 이미지의 메쉬 정보를 제1 프로그램에서 시뮬레이션 가능한 오브젝트 형식으로 변환한 데이터를 상기 치료 전 구강 상태 정보와 함께 생성하는 것을 특징으로 하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  10. 제1항에 있어서,
    상기 교정 데이터 생성 단계의 수행 후,
    상기 교정 데이터 생성 단계의 수행 결과로 생성된 치료 전 구강 상태 정보를 로드하는 치료 전 구강 상태 정보 로드 단계;
    치아 배열에 대한 학습 데이터가 기 학습된 알고리즘에 의해, 상기 피검사자의 치료 전 구강 상태 정보에 포함된 개별 치아의 예측 이동 방향성 및 예측 이동량을 고려하여 목표로 하는 하나 이상의 예측 치아 배열 모델을 도출하는 예측 치아 배열 모델 도출 단계;
    상기 예측 치아 배열 모델을 구현하기 위한 교정 솔루션을 선정한 후, 단계별 교정 치료 계획을 세분화하여 제시하는 교정 치료 계획 제시 단계; 및,
    치아 교정 치료 분야에 종사하는 다수의 전문 인력이 등록된 전문 인력풀에서 상기 피검사자의 치료 전 구강 상태 정보에 매칭되는 한 명 이상의 전문 인력을 선정하여, 제시된 교정 치료 계획에 대한 피드백을 수집하는 피드백 수집 단계;를 더 포함하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  11. 제10항에 있어서,
    상기 교정 치료 계획 제시 단계는,
    피검사자의 현재 치아 상태에 따른 교정 치료 기간, 교정력 및, 교정 치료의 난이도 중 적어도 어느 하나를 포함하는 요소의 예측값을 목적 함수로 하되,
    파레토 최적해 연산 기법을 이용하여 상기 목적 함수를 동시에 만족하며, 상기 목적 함수의 값이 최소가 되도록 하는 파레토 최적해를 탐색함으로써, 복수의 교정 치료 계획이 제시되도록 하고,
    상기 파레토 최적해 연산 기법을 통해 복수의 교정 치료 계획이 도출될 시, ANN(Artificial Neural Network), RF(Random Forest), SVM(Support Vector Machine) 및 EDN(Evolving Deep Network) 중 적어도 어느 하나를 포함하는 후보 알고리즘을 이용하여 상기 다수의 교정 치료 계획 중 상기 피검사자의 치료 전 구강 상태 정보에 대한 최적의 교정 치료 계획이 연산되도록 하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  12. 제11항에 있어서,
    상기 치료 전 구강 상태 정보 로드 단계의 수행 시,
    상기 피검사자의 치료 전 구강 상태 정보에 대한 엑스레이 이미지, 구강 내부 이미지 및 안모 이미지 중 적어도 어느 하나를 포함하는 이미지 데이터를 참조 데이터로 더 수집하되,
    상기 참조 데이터는,
    상기 후보 알고리즘의 조건 변수로만 이용되도록 하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  13. 제11항에 있어서,
    상기 교정 치료 계획 제시 단계는,
    연산된 최적의 교정 치료 계획을 기반으로, 상기 피검사자의 치료 전 구강 상태 정보에서 상기 예측 치아 배열 모델을 구현하기 위한 시계열적 치아 이동 경로를 시각화 모델로 가공하여 제공하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  14. 제10항에 있어서,
    상기 피드백 수집 단계의 수행 시,
    상기 전문 인력의 선정은, 상기 피검사자의 치료 전 구강 상태 정보에 대응하는 임상 경력이 기 설정된 임계 기준 이상인 것으로 판단되는 전문 인력을 선정하도록 하고,
    상기 피드백 수집 단계에서는,
    한 명 이상의 전문 인력으로부터 수집되는 피드백을 라벨링(Labeling)하여 상기 알고리즘에 대한 지도학습(Supervised Learning)이 수행되도록 하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법.
  15. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치로 구현되는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 장치에 있어서,
    피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 상기 원과 상기 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색부;
    탐색된 최초 접점에서 기 설정된 간격으로, 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 상기 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 기 설정된 주기로 상기 구체를 복제함으로써 치아 내부에 상기 구체가 균일하게 배치되도록 하는 구체 배치부;
    상기 구체 배치부에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체가 결정되도록 하고, 결정된 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출부;
    치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써, 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리부;
    상기 이미지 처리부에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하는 위치 이상 분류부; 및,
    상기 위치 이상 분류부의 기능 수행 결과에 따라서, 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하는 교정 데이터 생성부;를 포함하는 것을 특징으로 하는 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 장치.
  16. 컴퓨터-판독 가능 기록 매체로서,
    상기 컴퓨터-판독 가능 기록 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
    피검사자의 치료 전 구강 상태 정보에 대응하는 3차원 구강 스캔 데이터의 단순 좌표 중심에서 원의 크기를 점진적으로 증가시켜 상기 원과 상기 3차원 구강 스캔 데이터에 포함된 객체가 접하는 최초의 지점을 탐색하는 최초 접점 탐색 단계;
    탐색된 최초 접점에서 기 설정된 간격으로, 하나 이상의 구체를 치아 안에 분산되도록 한 뒤, 메쉬의 벡터 방향을 반전하고, 기준 좌표에서 상기 구체를 주변 방향을 향해 랜덤한 속도로 이동시키면서 기 설정된 주기로 상기 구체를 복제함으로써 치아 내부에 상기 구체가 균일하게 배치되도록 하는 구체 배치 단계;
    상기 구체 배치 단계에서 복제된 구체의 크기를 기 설정된 크기로 성장시켜 각 치아에 대응하는 대표 구체가 결정되도록 하고, 결정된 대표 구체의 좌표 및 접점을 기준으로 치아의 특징 데이터를 추출하는 특징 데이터 추출 단계;
    치아별로 추출된 특징 데이터와 치아별 축 데이터를 이용하여 개별 치아의 메쉬 정보를 획득함으로써, 개별적으로 분리된 상태를 갖는 피검사자의 치아 배열을 3차원 이미지로 구현하는 이미지 처리 단계;
    상기 이미지 처리 단계에서 생성된 치아 배열 데이터에 포함된 치아 객체의 상대적 배열 상태를 자동 진단 알고리즘에 적용하여, 적어도 부정교합의 형태를 포함하는 복수의 위치 이상을 자동 분류하는 위치 이상 분류 단계; 및,
    상기 위치 이상 분류 단계의 수행 결과에 따라서, 각 치아 이미지, 각 치아 데이터, 각 치아의 식별 정보 및 각 치아별 위치 이상에 대한 분류 결과를 결합하여 피검사자의 치료 전 구강 상태 정보로 생성하는 교정 데이터 생성 단계;를 포함하는 것을 특징으로 하는 컴퓨터-판독 가능 기록 매체.
PCT/KR2022/011898 2021-08-10 2022-08-10 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체 WO2023018206A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280054000.2A CN117795616A (zh) 2021-08-10 2022-08-10 从三维口腔扫描数据分离牙齿物件并自动判别牙齿的位置异常而推荐矫正治疗计划的方法、装置及计算机可读存储介质

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2021-0105225 2021-08-10
KR1020210105225A KR20230023261A (ko) 2021-08-10 2021-08-10 3차원의 구강 스캔 데이터에서 치아 객체를 분리하는 방법, 장치 및 컴퓨터-판독가능 기록 매체
KR1020210111658A KR102620157B1 (ko) 2021-08-24 2021-08-24 치아의 3차원 치아부 스캔 이미지를 통한 치아의 위치 이상 자동 판별 시스템
KR10-2021-0111658 2021-08-24
KR10-2021-0135047 2021-10-12
KR1020210135047A KR20230051988A (ko) 2021-10-12 2021-10-12 치아의 이동 시뮬레이션을 통한 교정 치료 계획 추천 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Publications (1)

Publication Number Publication Date
WO2023018206A1 true WO2023018206A1 (ko) 2023-02-16

Family

ID=85200070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011898 WO2023018206A1 (ko) 2021-08-10 2022-08-10 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Country Status (1)

Country Link
WO (1) WO2023018206A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115983082A (zh) * 2023-03-20 2023-04-18 佛山科学技术学院 预测口腔正畸治疗后牙齿模型生成方法
CN116492082A (zh) * 2023-06-21 2023-07-28 先临三维科技股份有限公司 基于三维模型的数据处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040736A (ko) * 2009-10-14 2011-04-20 케어스트림 헬스 인코포레이티드 인접면 사이의 치아 영역을 위치설정하는 방법
KR101218389B1 (ko) * 2012-01-31 2013-01-03 김태원 치아 교정용 치아 스트리핑 제어 장치
KR102132369B1 (ko) * 2018-08-23 2020-07-09 주식회사 쓰리디산업영상 치아 분할 시스템 및 방법
KR102234426B1 (ko) * 2019-05-21 2021-03-31 오스템임플란트 주식회사 치식번호 부여 방법 및 이를 수행하는 치아영상 처리장치
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040736A (ko) * 2009-10-14 2011-04-20 케어스트림 헬스 인코포레이티드 인접면 사이의 치아 영역을 위치설정하는 방법
KR101218389B1 (ko) * 2012-01-31 2013-01-03 김태원 치아 교정용 치아 스트리핑 제어 장치
KR102132369B1 (ko) * 2018-08-23 2020-07-09 주식회사 쓰리디산업영상 치아 분할 시스템 및 방법
KR102234426B1 (ko) * 2019-05-21 2021-03-31 오스템임플란트 주식회사 치식번호 부여 방법 및 이를 수행하는 치아영상 처리장치
KR102273438B1 (ko) * 2021-01-27 2021-07-07 주식회사 에이치디엑스윌 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115983082A (zh) * 2023-03-20 2023-04-18 佛山科学技术学院 预测口腔正畸治疗后牙齿模型生成方法
CN116492082A (zh) * 2023-06-21 2023-07-28 先临三维科技股份有限公司 基于三维模型的数据处理方法、装置、设备及介质
CN116492082B (zh) * 2023-06-21 2023-09-26 先临三维科技股份有限公司 基于三维模型的数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
WO2023018206A1 (ko) 3차원의 구강 스캔 데이터에서 치아 객체를 분리하고, 치아의 위치 이상을 자동으로 판별하여 교정 치료 계획을 추천하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
CA3149760A1 (en) Automated medical image annotation and analysis
US9517111B2 (en) Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning
KR102227460B1 (ko) 교정치료를 위한 치아 배열 방법 및 이를 수행하는 교정 캐드 시스템
US20160038092A1 (en) Applying non-real time and non-user attended algorithms to stored non-imaging data and existing imaging data for obtaining a dental diagnosis
US10568716B2 (en) Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning
CN116583243A (zh) 使用几何深度学习对牙科扫描图进行自动化处理
WO2021060899A1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
TWI728374B (zh) 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體
WO2022020638A1 (en) Systems, apparatus, and methods for dental care
WO2023211025A1 (ko) 인공지능을 이용한 치열 교정법 추천 시스템 및 그 방법
TWI777132B (zh) 用於監測壓瘡之監測系統、裝置及電腦實施方法
WO2023140585A1 (ko) 인공지능을 이용한 치열 진단 시스템 및 그 방법
WO2020218734A1 (ko) 보철물 설계 시 언더컷 영역 표시방법 및 이를 수행하는 보철 캐드 장치
KR102620157B1 (ko) 치아의 3차원 치아부 스캔 이미지를 통한 치아의 위치 이상 자동 판별 시스템
US20230210634A1 (en) Outlier detection for clear aligner treatment
WO2022147160A1 (en) Dental diagnostics hub
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
CN117795616A (zh) 从三维口腔扫描数据分离牙齿物件并自动判别牙齿的位置异常而推荐矫正治疗计划的方法、装置及计算机可读存储介质
KR20240055240A (ko) 인공지능 기반의 교정 치료 계획에 따른 부작용 및 보완 정보를 반영한 교정 치료 프로세스 제공 방법, 장치 및 컴퓨터-판독 가능 기록 매체
WO2024071571A1 (ko) 3차원 구강 모델의 세그멘테이션 방법 및 그 시스템
Sarveshwaran et al. Machine Learning based Intelligent Diagnosis of Orthodontics: a comprehensive review
Shree et al. Role of artificial intelligence in prosthodontics
WO2024005344A1 (ko) 환자 관리 시스템을 위한 썸네일 제공 방법 및 상기 방법을 수행하는 컴퓨팅 장치
WO2023018208A1 (ko) 환자의 치아부 스캔 데이터에 기반한 치아 교정 현황 및 교정 치료 평가 정보를 제공하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22856203

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280054000.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE