WO2023033375A1 - 치과 진단 장치 및 방법 - Google Patents

치과 진단 장치 및 방법 Download PDF

Info

Publication number
WO2023033375A1
WO2023033375A1 PCT/KR2022/011199 KR2022011199W WO2023033375A1 WO 2023033375 A1 WO2023033375 A1 WO 2023033375A1 KR 2022011199 W KR2022011199 W KR 2022011199W WO 2023033375 A1 WO2023033375 A1 WO 2023033375A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information
impacted
learning model
tooth
Prior art date
Application number
PCT/KR2022/011199
Other languages
English (en)
French (fr)
Inventor
이상화
김지연
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Publication of WO2023033375A1 publication Critical patent/WO2023033375A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468—Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present embodiments provide a dental diagnosis apparatus and method.
  • Panoramic imaging techniques show a region of interest of an object on a curved surface, such as a dental arch, as a flat image.
  • a dental panoramic image taken by such a dental panoramic imaging device is the most basic radiographic image taken by a patient at the time of a first visit. It is used to identify dental diseases.
  • more than dozens of multiple diseases such as dental caries, periodontal disease, tooth fracture, and impacted teeth are expressed in a single image in a complicated manner, and there are many interpretation constraints such as image distortion and visual errors caused by prosthetics, etc.
  • image distortion and visual errors caused by prosthetics etc.
  • In order to accurately diagnose the panoramic image there is a problem in that a highly specialized knowledge and reading ability of a dentist is required.
  • AI artificial intelligence
  • various institutions are conducting learning on object recognition for tooth numbers, missing teeth, implants, and endodontic treatment using panoramic images.
  • supervised learning which is general artificial intelligence (AI) learning
  • AI general artificial intelligence
  • problems of deterioration of learning effect due to indiscriminate processing of massive data as well as errors in accuracy due to insufficient learning Therefore, a technique for diagnosing an impacted tooth based on minimal data and simplified preprocessing such as labeling is required.
  • an object of the present embodiments is to provide a dental diagnosis apparatus and method for detecting an impacted tooth from dental panoramic image data and classifying the detected impacted tooth according to the degree of impaction.
  • a region of interest is extracted from panoramic image data of a tooth state, and diagnostic information is labeled on an impacted tooth included in the extracted region of interest.
  • Final learning to perform labeling by training a machine learning-based learning model using the image data labeled by the preprocessor, and retraining the trained learning model with learning data including unlabeled image data. It is possible to provide a dental diagnosis apparatus characterized in that it includes a model generator for generating a model and a diagnosis predictor for predicting diagnostic information on an impacted tooth by inputting new panoramic image data to a final learning model.
  • a preprocessing step of extracting a region of interest from panoramic image data of a tooth state and labeling an impacted tooth included in the extracted region of interest with diagnostic information A model creation step of training a machine learning-based learning model using labeled image data and generating a final learning model that performs labeling by retraining the trained learning model with learning data including unlabeled image data; and It is possible to provide a dental diagnosis method comprising a diagnosis prediction step of predicting diagnosis information on an impacted tooth by inputting new panoramic image data to a final learning model.
  • FIG. 1 is a diagram exemplarily illustrating a system to which a dental diagnosis apparatus according to an embodiment of the present disclosure may be applied.
  • FIG. 2 is a diagram showing the configuration of a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an operation of predicting diagnostic information on an impacted tooth of a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of labeling diagnostic information on an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of labeling information on the degree of impact of an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of labeling information on an impact inclination of an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of labeling neural canal proximity information of an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of image data labeled in a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining a learning model of a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart of a dental diagnosis method according to an embodiment of the present disclosure.
  • the present disclosure relates to dental diagnostic devices and methods.
  • first, second, A, B, (a), and (b) may be used in describing the components of the present disclosure. These terms are only used to distinguish the component from other components, and the nature, sequence, order, or number of the corresponding component is not limited by the term.
  • FIG. 1 is a diagram exemplarily illustrating a system to which a dental diagnosis apparatus according to an embodiment of the present disclosure may be applied.
  • a system to which a dental diagnosis apparatus 100 according to an embodiment of the present disclosure may be applied may be implemented by including a server 110 and a network 120 .
  • the dental diagnosis apparatus 100 is a device capable of performing a dental diagnosis method according to an embodiment of the present disclosure, and may be implemented as hardware such as an electronic device capable of executing programs, software executed by a processor, or a combination thereof. can
  • the dental diagnosis apparatus 100 when the dental diagnosis apparatus 100 is implemented as hardware, it includes a general PC such as a general desktop or laptop, and mobile devices such as smart phones, tablet PCs, PDAs (Personal Digital Assistants), and mobile communication terminals. A terminal may be included.
  • a general PC such as a general desktop or laptop
  • mobile devices such as smart phones, tablet PCs, PDAs (Personal Digital Assistants), and mobile communication terminals.
  • a terminal may be included.
  • the dental diagnosis apparatus 100 may be implemented as an application capable of inputting information according to a user's manipulation and performing a dental diagnosis method according to an embodiment of the present disclosure.
  • it may be a dental diagnosis application or program, but it may be widely interpreted without being limited to its name or type.
  • the server 110 may be connected to an unspecified number of clients (including the device 100) and/or other servers through the network 120. Accordingly, the server 110 may refer to a computer system that receives a request for performing a task from a client or another server, derives and provides a result of the task, or refers to computer software (server program) installed for such a computer system. there is.
  • the server 110 may collect, store, and manage panoramic image data of a patient diagnosed with an impacted tooth. Also, the server 110 may transmit corresponding data according to a request of the dental diagnosis apparatus 100 . For example, the server 110 may provide environmental data to the dental diagnosis apparatus 100 through an application corresponding to a dental diagnosis service.
  • the server 110 is understood as a broad concept including, in addition to the above-described server program, a series of application programs that operate on the server 110 and, in some cases, various databases built inside or outside. It should be.
  • the server 110 may refer to an aggregate of data in which data such as information or data is structured and managed for the purpose of being used by a server or other device, and may also refer to a storage medium for storing such an aggregate of data. there is.
  • the server 110 may include a plurality of databases classified according to a data structure method, management method, and type.
  • the server 110 may include a database management system (DBMS), which is software that allows information or data to be added, modified, deleted, and the like.
  • DBMS database management system
  • the network 120 is a network that connects the dental diagnosis device 100 and the server 110, and may be a closed network such as a local area network (LAN) or a wide area network (WAN), but the Internet It may be an open network such as (Internet).
  • the Internet refers to the TCP/IP protocol and various services existing in its upper layer, namely HTTP (HyperText Transfer Protocol), Telnet, FTP (File Transfer Protocol), DNS (Domain Name System), SMTP (Simple Mail Transfer Protocol), It refers to a worldwide open computer network structure that provides Simple Network Management Protocol (SNMP), Network File Service (NFS), and Network Information Service (NIS).
  • SNMP Simple Network Management Protocol
  • NFS Network File Service
  • NIS Network Information Service
  • FIG. 2 is a diagram showing the configuration of a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • the dental diagnosis apparatus 100 extracts a region of interest from panoramic image data of a tooth state, and labels an impacted tooth included in the extracted region of interest with diagnostic information.
  • the pre-processing unit 210 to train a machine learning-based learning model using the image data labeled by the pre-processing unit 210, and retrain the learning model trained with the learning data including unlabeled image data
  • a dental diagnosis apparatus 100 including a model generator 220 that generates a final learning model that performs labeling and a diagnosis prediction unit 230 that predicts diagnostic information about an impacted tooth by inputting new panoramic image data into the final learning model. ) is provided.
  • the pre-processing unit 210 may extract a region of interest from panoramic image data of a tooth state, and label an impacted tooth included in the extracted region of interest with diagnostic information.
  • the pre-processing unit 210 may extract, as a region of interest, a region including an impacted tooth from panoramic image data of a tooth state.
  • the pre-processing unit 210 may detect an impacted tooth from panoramic image data obtained by photographing an input tooth condition, and recognize a location of an area where the detected impacted tooth is located. Further, the pre-processing unit 210 may extract an area including an impacted tooth as a region of interest based on a position of an area with the recognized impacted tooth.
  • the pre-processing unit 210 may label an impacted tooth included in the extracted region of interest with diagnostic information.
  • the preprocessor 210 may label each impacted tooth with diagnostic information including impact degree information, impact slope information, and neural tube proximity information.
  • the pre-processing unit 210 may determine information on the degree of impact for each step according to the degree of impact of the impacted tooth and label the impacted tooth as diagnostic information.
  • the preprocessing unit 210 determines the impact inclination information as one of vertical, horizontal, distal, and mesial according to the inclination angle of the impacted tooth, and labels the impacted tooth as diagnostic information. can do.
  • the pre-processing unit 210 may determine neural tube proximity information based on whether or not the impacted tooth is close to the neural tube, and label the impacted tooth as diagnostic information.
  • this is an example of information included in the diagnosis information, and is not limited thereto.
  • the model generation unit 220 may generate a final learning model by using minimum labeled image data and unlabeled image data as training data.
  • the model generator 220 may train a machine learning-based learning model using image data labeled by the preprocessor.
  • the model generation unit 220 may generate a final learning model that performs labeling by retraining a learning model trained with learning data including unlabeled image data.
  • the machine learning-based learning model into which the labeled image data is input may refer to an initial learning model in which learning is performed with less data than the final learning model.
  • the model generation unit 220 may input unlabeled image data to a learning model trained using the labeled image data to obtain additional image data that has been labeled.
  • model generator 220 may generate a final learning model by retraining the trained learning model using the labeled image data and the additional image data as learning data.
  • model generation unit 220 may generate a final learning model by retraining a trained learning model by classifying unlabeled image data into clusters using a K-means algorithm.
  • the diagnostic prediction unit 230 may predict diagnostic information on an impacted tooth by inputting new panoramic image data to a final learning model. For example, the diagnostic prediction unit 230 may detect an impact value from input new panoramic image data. Further, the diagnosis prediction unit 230 may predict diagnostic information including information on the degree of impact, slope of impact, and proximity to the neural tube for each detected impact tooth. For example, the diagnosis prediction unit 230 may classify the detected impact value into one of normal, simple impact, partial impact, and complete impact based on the predicted diagnostic information. In addition, the diagnosis prediction unit 230 may calculate the number of impacted teeth according to the classification of the detected impacted teeth or determine and provide instrument information necessary for surgery. In addition, the diagnosis prediction unit 230 may determine and provide CT scan of the detected impacted tooth based on the predicted diagnosis information.
  • FIG. 3 is a flowchart illustrating an operation of predicting diagnostic information on an impacted tooth of a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • the pre-processing unit 210 of the dental diagnosis apparatus may perform labeling on panoramic image data obtained by photographing a tooth state (S310). For example, the preprocessor 210 may extract a region of interest from panoramic image data, and label an impacted tooth included in the extracted region of interest with diagnostic information. For example, the preprocessor 210 may extract a region of interest for labeling from panoramic image data based on panoramic image data of a patient diagnosed with an impacted tooth. In addition, the pre-processing unit 210 may determine and label ambush degree information, ambulation gradient information, and neural tube proximity information for the abutment teeth included in the extracted region of interest.
  • the model generating unit 220 may generate learning data and train a learning model with the generated learning data (S320).
  • the model generator 220 may train a machine learning-based learning model by using the image data labeled by the preprocessor 210 as training data.
  • the machine learning-based learning model may mean an initial learning model.
  • the model generator 220 may retrain the trained learning model by using the image data labeled by the preprocessor 210 as training data.
  • the trained learning model may mean a learning model that has been trained at least once or more with labeled image data.
  • the initial learning model may be trained using a part of the labeled image data.
  • the model generator 220 may input unlabeled image data into a trained learning model to obtain additional image data that has been labeled.
  • the unlabeled image data may have a larger amount of data than the labeled image data.
  • the model generator 220 may retrain the trained learning model by using additional image data as training data.
  • the model generation unit 220 may select some image data from unlabeled image data and perform labeling with a trained learning model. Some image data may refer to data for which labeled diagnostic information is expected to be accurate.
  • the model generation unit 220 may re-select the remaining image data except for some of the unlabeled image data, perform labeling, and repeatedly use the image data as training data. Accordingly, the model generating unit 220 may improve the performance of the final learning model.
  • the model generation unit 220 may retrain the trained learning model by classifying unlabeled image data into clusters using a K-means algorithm. For example, the model generation unit 220 may perform clustering on unlabeled image data using a K-means algorithm and classify them into a plurality of clusters. At this time, each cluster may be grouped into image data having similar diagnostic information and distinguished. Also, the model generating unit 220 may label each image data included in the same cluster with the same diagnosis information. Image data labeled in this way can be used as training data to retrain a trained learning model.
  • the K-means algorithm may be an algorithm that repeatedly performs clustering so that dispersion of a distance between a cluster centroid and data within a cluster is minimized.
  • the algorithm used is not limited thereto as long as it corresponds to a known clustering algorithm.
  • the model generation unit 220 may generate a final learning model for labeling panoramic image data (S330).
  • the model generating unit 220 may generate a final learning model that performs labeling by predicting diagnostic information about an impacted tooth included in panoramic image data.
  • the model generation unit 220 may generate a final learning model by training a learning model by using the labeled image data and the unlabeled image data as training data. That is, the final learning model may be a model generated by performing semi-supervised learning using a machine learning-based learning model as an initial learning model.
  • the diagnostic prediction unit 230 may predict diagnostic information on an impacted tooth using the generated final learning model (S340).
  • the final learning model may be a model that receives new panoramic image data and outputs diagnostic information about an impacted tooth as a result.
  • the diagnostic prediction unit 230 may detect an impacted tooth from new panoramic image data and predict diagnostic information including information on the degree of impact, information on the slope of impact, and information on the proximity of the neural tube for each detected impacted tooth.
  • the diagnostic prediction unit 230 may mark the diagnostic information of each impacted tooth predicted from the input new panoramic image data on the panoramic image data in a text format.
  • the diagnosis prediction unit 230 may classify the detected impact value into one of normal, simple impact, partial impact, and complete impact based on the predicted diagnosis information. For example, the diagnosis prediction unit 230 may calculate the number of impacted teeth detected from panoramic image data of the patient and provide a classification of each impacted tooth as predicted diagnostic information. Accordingly, the diagnosis prediction unit 230 may determine the degree of difficulty of surgery based on the predicted diagnosis information to calculate the number of impacted teeth or may determine and provide instrument information necessary for surgery. Alternatively, the diagnosis prediction unit 230 may determine whether or not to take a CT scan of the patient using neural tube proximity information included in the predicted diagnosis information and provide the result.
  • FIG. 4 is a diagram illustrating an example of labeling diagnostic information on an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • a pre-processing unit 210 extracts a region of interest 410 from panoramic image data, and diagnostic information 420 is provided on an impacted tooth included in the extracted region of interest.
  • the pre-processing unit 210 may extract a region including an impacted tooth from the panoramic image data as the region of interest 410 .
  • the pre-processing unit 210 may extract a region of interest 410 automatically according to a specific impact value selected by a user.
  • the region of interest 410 may be a rectangular region having a size completely including at least one impacted tooth.
  • the preprocessing unit 210 may label the corresponding impacted tooth with diagnostic information 420 for each impacted tooth directly input from the user.
  • the diagnostic information 420 may be received as information selected by a user from an option menu displayed on a screen.
  • the diagnostic information 420 may include information on the degree of impact, information on the slope of impact, and information on the proximity of the neural tube to each impacted tooth.
  • the labeling method described above with reference to FIG. 4 is not limited thereto as an example.
  • FIG. 5 is a diagram illustrating an example of labeling information on the degree of impact of an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • the pre-processor 210 may label ambush degree information 510 for an ambush included in the region of interest 410 .
  • the ambush degree information 510 may be determined for each stage according to the ambush degree of an ambush tooth. Specifically, the ambush degree information 510 is selected from among no impacted tooth, outside the bone, impacted less than 1/3 of the tooth, impacted 1/3 to 2/3 of the tooth, and impacted more than 2/3 of the tooth according to the degree of impact. It can be. However, this is an example of classifying the degree of ambush, but is not limited thereto.
  • FIG. 6 is a diagram illustrating an example of labeling information on an impact inclination of an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • the pre-processing unit 210 may label the impact gradient information 610 for the impact teeth included in the region of interest 410 .
  • the impact inclination information 610 may be determined according to an angle of inclination of an impacted tooth.
  • the ambush inclination information 610 may be selected from one of vertical, horizontal, distal, and mesial according to an inclined angle of each ambush. However, this is an example of dividing the ambush slope, but is not limited thereto.
  • FIG. 7 is a diagram illustrating an example of labeling neural canal proximity information of an impacted tooth in the dental diagnosis apparatus according to an embodiment of the present disclosure.
  • the pre-processing unit 210 may label neural canal proximity information 710 for an impacted tooth included in the ROI 410 .
  • the neural tube proximity information 710 may be determined according to the proximity of the impacted tooth to the neural tube.
  • the neural tube proximity information 710 may be selected from among: no neural tube nearby (upper jaw), impacted tooth in contact with the neural tube, and impacted tooth not in contact with the neural tube, based on each impacted tooth.
  • this is an example of dividing neural tube proximity, but is not limited thereto.
  • FIG. 8 is a diagram illustrating an example of image data labeled in a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • the pre-processing unit 210 may label each impacted tooth included in the region of interest 410 with diagnostic information in the panoramic image data of the dental condition.
  • the pre-processing unit 210 may generate labeled image data by marking diagnosis information in a text format on each impacted tooth in the panoramic image data.
  • the generated labeled image data may be used as training data for training a learning model.
  • FIG. 9 is a diagram for explaining a learning model of a dental diagnosis apparatus according to an embodiment of the present disclosure.
  • the model generating unit 220 of the dental diagnosis apparatus may generate a learning model predicting diagnostic information on an impacted tooth by performing labeling with minimal image data.
  • the image data may be obtained by excluding image data of a patient with poor image quality or a jaw bone or severe tooth deformity among panoramic image data of a patient diagnosed with an impacted tooth.
  • the model generator 220 may generate a final learning model by training the learning model 930 by using the labeled image data 910 and the unlabeled image data 920 as training data.
  • the final learning model may be a learning model 930 generated by performing semi-supervised learning.
  • the model generator 220 may use a pseudo-labeling method to train the learning model 930 with unlabeled image data 920 .
  • the model generator 220 may retrain the learning model 930 with training data together with the labeled image data 910 after performing pseudo-labeling on the unlabeled image data 920 . Therefore, the learning model 930 generated by semi-supervised learning can predict an optimal result through a pre-processing process of performing labeling with minimal image data.
  • This learning model 930 can solve the problem of deterioration of learning effect due to indiscriminate processing of massive amounts of data as well as errors in accuracy due to insufficient learning.
  • the model generation unit 220 may generate a learning model in which the parameters of the machine learning algorithm are determined by repeatedly training using the training data.
  • the machine learning algorithm used in the learning model 930 may mean allowing a computer to solve a problem by itself through learning without a human directly inputting or instructing the computer a logic.
  • a deep learning algorithm a type of machine learning algorithm, automatically learns features of input values by learning a large amount of data in a deep neural network composed of multi-layer networks. It may be an algorithm that proceeds by learning the network to minimize the error of the objective function, that is, the prediction accuracy.
  • deep learning algorithm refers to artificial intelligence technology that allows computers to learn like humans on their own based on artificial neural networks (ANNs) for constructing artificial intelligence.
  • ANN artificial neural network
  • Such an artificial neural network (ANN) may be implemented in a software form or a hardware form.
  • the learning model 930 may include a convolutional neural network (CNN), a deep hierachical network (DHN), a convolutional deep belief network (CDBN), a deconvolutional deep network (DDN), a recurrent neural network (RNN), and a generative neural network (GAN).
  • Adversarial Network etc., but is not limited thereto and may be composed of various algorithms that can be used now or in the future.
  • the learning model 930 may be trained using learning data.
  • training may refer to a process of determining parameters of an artificial neural network using learning data.
  • training methods of the learning model 930 may be classified into supervised learning, unsupervised learning, and semi-supervised learning.
  • Supervised learning may be a method for inferring a function from training data.
  • outputting a continuous value among inferred functions may be regression analysis, and predicting and outputting a class of an input vector may include classification.
  • Such supervised learning may train a learning model in a state in which labeling of learning data is given.
  • labeling may mean a result value output by the learning model when learning data is input to the learning model.
  • unsupervised learning may be a method of finding and classifying a pattern in the learning data itself rather than an association between training data and labeling corresponding to the training data.
  • a specific method of unsupervised learning may include clustering or independent component analysis. Such unsupervised learning may train a learning model in a state in which labeling of training data is not given.
  • semi-supervised learning may be a method of using both labeled training data and unlabeled training data.
  • a specific method of semi-supervised learning may be a technique of inferring the labeling of training data for which no labeling is given and then performing training using the inferred labeling. Therefore, the learning model 930 in this specification may be a learning model generated by performing quasi-supervised learning.
  • FIG. 10 is a flowchart of a dental diagnosis method according to an embodiment of the present disclosure.
  • the dental diagnosis method may include a preprocessing step of labeling diagnostic information on an impacted tooth included in panoramic image data of a dental condition (S1010).
  • the dental diagnosis apparatus may extract a region of interest from panoramic image data obtained by photographing dental conditions, and may label an impacted tooth included in the extracted region of interest with diagnostic information.
  • the dental diagnosis apparatus may extract, as a region of interest, a region including an impacted tooth from panoramic image data of a tooth state.
  • the dental diagnosis apparatus may detect an impacted tooth from panoramic image data obtained by photographing an input tooth state, and may recognize a location of an area where the detected impacted tooth is located.
  • the dental diagnosis apparatus may extract an area including an impacted tooth as a region of interest based on a location of an area with an impacted tooth.
  • the dental diagnosis apparatus may label an impacted tooth included in the extracted region of interest with diagnostic information.
  • the dental diagnosis apparatus may label each impacted tooth with end information including impact degree information, impact slope information, and neural canal proximity information.
  • the dental diagnosis apparatus may determine the degree of impaction information for each stage according to the degree of impaction of the impacted tooth and label the impacted tooth as diagnostic information.
  • the dental diagnostic device may determine impact inclination information as one of vertical, horizontal, distal, and mesial according to the inclination angle of the impacted tooth and label the impacted tooth as diagnostic information. there is.
  • the dental diagnosis apparatus may determine neural tube proximity information based on whether or not the impacted tooth is close to the neural tube, and label the impacted tooth as diagnostic information.
  • this is an example of information included in the diagnosis information, and is not limited thereto.
  • the dental diagnosis method may include a model generation step of generating a final learning model by using minimum labeled image data and unlabeled image data as learning data (S1020).
  • the dental diagnosis apparatus may train a machine learning-based learning model using image data labeled by the preprocessor.
  • the dental diagnosis apparatus may generate a final learning model that performs labeling by retraining a learning model trained with learning data including unlabeled image data.
  • the machine learning-based learning model into which the labeled image data is input may be a model in which learning is performed with less data than the final learning model.
  • the dental diagnosis apparatus may acquire additional image data that has been labeled by inputting unlabeled image data to a trained learning model using the labeled image data.
  • the dental diagnosis apparatus may generate a final learning model by retraining the trained learning model using the labeled image data and the additional image data as learning data.
  • the dental diagnosis apparatus may generate a final learning model by retraining a learning model trained by classifying unlabeled image data into clusters using a K-means algorithm.
  • the dental diagnosis method may include a diagnosis prediction step of predicting diagnosis information on an impacted tooth by inputting new panoramic image data to a final learning model (S1030).
  • the dental diagnosis apparatus may detect an impacted tooth from input new panoramic image data.
  • the dental diagnosis apparatus may predict diagnostic information including information on the degree of impact, slope of impact, and proximity to the neural tube for each detected impacted tooth.
  • the dental diagnosis apparatus may classify the detected impacted tooth into one of normal, simple impact, partial impact, and complete impact based on the predicted diagnosis information.
  • the dental diagnosis apparatus may calculate the number of impacted teeth according to the classification of the detected impacted teeth or determine and provide instrument information necessary for surgery.
  • the dental diagnosis apparatus may determine whether or not to take a CT scan of the detected impacted tooth based on the predicted diagnosis information and provide the result.
  • a dental diagnosis apparatus and method for detecting an impacted tooth from dental panoramic image data and classifying the detected impacted tooth according to the degree of impaction it is possible to provide a dental diagnosis apparatus and method for detecting an impacted tooth from dental panoramic image data and classifying the detected impacted tooth according to the degree of impaction.
  • a dental diagnosis apparatus and method for predicting diagnostic information on an impacted tooth of panoramic image data with minimal preprocessing by creating a learning model using image data labeled with diagnostic information on an impacted tooth and unlabeled image data as learning data. can provide.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Urology & Nephrology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 개시는 치과 진단 장치 및 방법에 관한 것으로서, 특히 치과 파노라마 영상 데이터로부터 매복치를 검출하고, 매복 정도에 따라 검출된 매복치를 분류하는 치과 진단 장치 및 방법을 제공할 수 있다. 또한, 매복치에 진단 정보가 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습 데이터로 활용하여 학습 모델을 생성함으로써, 최소한의 전처리 과정으로 파노라마 영상 데이터의 매복치에 대한 진단 정보를 예측하는 치과 진단 장치 및 방법을 제공할 수 있다.

Description

치과 진단 장치 및 방법
본 실시예들은 치과 진단 장치 및 방법을 제공한다.
파노라마 영상 기법은 악궁(dental arch)과 같이 곡면에 있는 물체의 관심 영역을 평면의 영상으로 펼쳐 보이는 것으로, 치과용 파노라마 영상 장치는 파노라마 영상 기법을 도입하여 인체의 구강 내부를 촬영하는 장치이다. 이러한 치과용 파노라마 영상 장치를 통해 촬영한 치과 파노라마 영상은 환자가 초진 내원시 촬영하는 가장 기본적인 방사선 영상으로서, 환자의 치아, 악골, 상악동, 턱관절 등의 다양한 턱뼈의 정보를 한 장의 영상에서 보여주는 것으로 치과의 질환을 파악하기 위해 활용된다. 다만, 치과 파노라마 영상은 치아우식증, 치주질환, 치아파절, 매복치 등 수십 가지 이상의 다중질환이 하나의 영상에 복잡하게 동시에 표현되고, 보철물 등에 의한 영상의 왜곡, 시각적 오류 등의 판독 제약요인이 많아 치과 파노라마 영상의 정확한 진단을 위해서는 치과의사의 고도의 전문적인 지식과 판독 능력이 요구되는 문제점이 있다.
최근 4차산업혁명과 인공지능의 발달에 따라 치과 및 구강 악안면 영역에서도 인공지능(AI)은 문자, 음성뿐만 아니라 방사선 영상, 병리 조직 등의 진단에서도 활발히 연구되고 있다. 또한, 다양한 기관에서 파노라마 영상을 활용한 치아번호, 상실 치아, 임플란트, 근관치료 등에 대한 객체 인식에 대한 학습을 진행하고 있다. 다만, 일반적인 인공지능(AI) 학습인 지도 학습은 개체인식률 등 학습결과물의 정확도는 높으나 학습 전 처리 과정에서 모든 데이터를 연구자들이 직접 라벨링 해야 하므로 방대한 시간과 인력이 필요하다는 문제점이 있다. 또한 부족한 학습으로 인한 정확성의 오류뿐만 아니라 무분별한 방대한 데이터 처리로 인한 학습 효과 저하에 대한 문제점도 있다. 따라서, 최소한의 데이터와 라벨링 등의 전처리 과정의 간편화를 기반으로 하는 매복치 진단 기술을 필요로 한다.
이러한 배경에서, 본 실시예들의 목적은 치과 파노라마 영상 데이터로부터 매복치를 검출하고, 매복 정도에 따라 검출된 매복치를 분류하는 치과 진단 장치 및 방법 제공하는데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시예는 치과 진단 장치에 있어서, 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리부, 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성부 및 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측부를 포함하는 것을 특징으로 하는 치과 진단 장치를 제공할 수 있다.
다른 측면에서, 본 실시예는 치과 진단 방법에 있어서, 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리 단계, 전처리 단계에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성 단계 및 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측 단계를 포함하는 것을 특징으로 하는 치과 진단 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 치과 진단 장치가 적용될 수 있는 시스템을 예시적으로 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 치과 진단 장치의 구성을 도시한 도면이다.
도 3은 본 개시의 일 실시예에 따른 치과 진단 장치의 매복치에 대한 진단 정보를 예측하는 동작을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치에 진단 정보를 라벨링하는 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 치과 진단 장치에서 매복치의 매복도 정보를 라벨링하는 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 매복 기울기 정보를 라벨링하는 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 신경관 근접도 정보를 라벨링하는 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 치과 진단 장치에서 라벨링된 영상 데이터의 예시를 도시한 도면이다.
도 9는 본 개시의 일 실시예에 따른 치과 진단 장치의 학습 모델을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 치과 진단 방법의 흐름도이다.
본 개시는 치과 진단 장치 및 방법에 관한 것이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.
구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.
구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.
한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 치과 진단 장치가 적용될 수 있는 시스템을 예시적으로 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치(100)가 적용될 수 있는 시스템은 서버(110) 및 네트워크(120)를 포함하여 구현될 수 있다.
치과 진단 장치(100)는, 본 개시의 실시예에 따른 치과 진단 방법을 수행할 수 있는 장치로서, 프로그램을 실행할 수 있는 전자 기기와 같은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
일 예에 따라, 치과 진단 장치(100)가 하드웨어로 구현되는 경우, 일반적인 데스크 탑이나 노트북 등의 일반 PC를 포함하고, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기 등을 포함할 수 있다. 다만, 이는 일 예로서, 서버(110)와 통신 가능하며 데이터를 입력할 수 있는 전자 기기라면 그 명칭이나 종류에 한정되지 않고, 폭넓게 해석될 수 있다. 또한, 일 예에 따라, 치과 진단 장치(100)는 사용자의 조작에 따라 정보의 입력이 가능하며, 본 개시의 실시예에 따른 치과 진단 방법을 수행할 수 있는 애플리케이션으로 구현될 수 있다. 일 예로, 치과 진단 애플리케이션이나 프로그램 등일 수 있으며, 다만, 그 명칭이나 종류에 한정되지 않고 폭넓게 해석될 수 있다.
서버(110)는 네트워크(120)를 통하여 불특정 다수 클라이언트 (장치(100)를 포함) 및/또는 다른 서버와 연결될 수 있다. 이에 따라, 서버(110)는 클라이언트 또는 다른 서버의 작업수행 요청을 접수하고 그에 대한 작업 결과를 도출하여 제공하는 컴퓨터 시스템를 의미하거나 이러한 컴퓨터 시스템을 위하여 설치되어 있는 컴퓨터 소프트웨어(서버 프로그램)를 의미할 수 있다.
일 예에 따라, 서버(110)는 매복치를 진단받은 환자의 파노라마 영상 데이터를 수집하여 저장시키고 관리할 수 있다. 그리고, 서버(110)는 치과 진단 장치(100)의 요청에 따라 해당 데이터를 전송할 수 있다. 예를 들어, 서버(110)는 치과 진단 서비스에 대응하는 애플리케이션의 통해 환경 데이터를 치과 진단 장치(100)에 제공할 수 있다.
또한, 서버(110)는 전술한 서버 프로그램 이외에도, 서버(110) 상에서 동작하는 일련의 응용 프로그램(Application Program)과, 경우에 따라서는 내부 또는 외부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 여기서, 서버(110)는, 서버 또는 다른 장치 등에 의해 사용될 목적으로 정보나 자료 등의 데이터가 구조화되어 관리되는 데이터의 집합체를 의미할 수 있으며, 이러한 데이터의 집합체를 저장하는 저장매체를 의미할 수도 있다.
또한, 이러한 서버(110)는 데이터의 구조화 방식, 관리 방식, 종류 등에 따라 분류된 복수의 데이터베이스를 포함하는 것일 수도 있다. 경우에 따라서, 서버(110)는 정보나 자료 등을 추가, 수정, 삭제 등을 할 수 있도록 해주는 소프트웨어인 데이터베이스 관리시스템(Database Management System, DBMS)을 포함할 수도 있다.
한편, 네트워크(120)는 치과 진단 장치(100)와 서버(110)를 연결해주는 망(Network)으로서, LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크일 수도 있으나, 인터넷(Internet)과 같은 개방형 네트워크일 수도 있다. 여기서, 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(HyperText Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service)를 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미한다.
간략하게 전술한 본 개시의 일 실시예에 따른 치과 진단 장치 및 방법에 대하여, 이하에서 더욱 상세하게 설명한다.
도 2는 본 개시의 일 실시예에 따른 치과 진단 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치(100)는, 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리부(210), 전처리부(210)에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성부(220) 및 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측부(230)를 포함하는 치과 진단 장치(100)를 제공한다.
일 실시예에 따라 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 일 예로, 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에서 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다. 예를 들어, 전처리부(210)는 입력된 치아 상태를 촬영한 파노라마 영상 데이터로부터 매복치를 검출하고, 검출된 매복치가 있는 영역의 위치를 인식할 수 있다. 그리고 전처리부(210)는 인식된 매복치가 있는 영역의 위치를 기준으로 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다.
다른 일 예로, 전처리부(210)는 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 전처리부(210)는 각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 라벨링할 수 있다. 구체적으로, 전처리부(210)는 매복치의 매복 정도에 따라 단계 별로 매복도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 전처리부(210)는 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 매복 기울기 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 전처리부(210)는 매복치의 신경관 근접 유무로 신경관 근접도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 다만, 이는 진단 정보에 포함되는 정보의 일 예로, 이에 한정되지는 않는다.
일 실시예에 따라 모델 생성부(220)는 최소한의 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습데이터로 활용하여 최종 학습 모델을 생성할 수 있다. 일 예로, 모델 생성부(220)는 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련할 수 있다. 그리고 모델 생성부(220)는 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다. 여기서, 라벨링된 영상 데이터가 입력되는 머신 러닝 기반의 학습 모델은 최종 학습 모델보다 더 적은 데이터로 학습이 수행되는 초기 학습 모델을 의미할 수 있다. 예를 들어, 모델 생성부(220)는 라벨링된 영상 데이터를 이용하여 훈련된 학습 모델에 라벨링 되지 않은 영상 데이터를 입력하여 라벨링을 수행한 추가 영상 데이터를 획득할 수 있다. 그리고 모델 생성부(220)는 라벨링된 영상 데이터 및 추가 영상 데이터를 학습 데이터로 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다. 또한, 모델 생성부(220)는 K 평균 알고리즘 (K-means Algorithm)을 이용하여, 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다.
일 실시예에 따라 진단 예측부(230)는 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측할 수 있다. 일 예로, 진단 예측부(230)는 입력된 신규 파노라마 영상 데이터에서 매복치를 검출할 수 있다. 그리고 진단 예측부(230)는 검출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 예측할 수 있다. 예를 들어, 진단 예측부(230)는 예측된 진단 정보에 기초하여 검출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류할 수 있다. 그리고, 진단 예측부(230)는 검출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공할 수 있다. 또한, 진단 예측부(230)는 예측된 진단 정보에 기초하여 검출된 매복치의 CT 촬영 여부를 결정하여 제공할 수 있다.
도 3은 본 개시의 일 실시예에 따른 치과 진단 장치의 매복치에 대한 진단 정보를 예측하는 동작을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치의 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에 라벨링을 수행할 수 있다(S310). 일 예로, 전처리부(210)는 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 전처리부(210)는 매복치를 진단받은 환자의 파노라마 영상 데이터에 기초하여 파노라마 영상 데이터에서 라벨링을 위한 관심 영역을 추출할 수 있다. 그리고, 전처리부(210)는 추출된 관심 영역에 포함된 매복치에 대해 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 판단하여 라벨링할 수 있다.
일 실시예에 따라 모델 생성부(220)는 학습 데이터를 생성하고, 생성된 학습데이터로 학습 모델을 훈련할 수 있다(S320). 일 예로, 모델 생성부(220)는 전처리부(210)에 의해 라벨링된 영상 데이터를 학습 데이터로 이용하여 머신 러닝 기반의 학습 모델을 훈련할 수 있다. 이 때, 머신 러닝 기반의 학습 모델은 초기 학습 모델을 의미할 수 있다. 또한, 모델 생성부(220)는 전처리부(210)에 의해 라벨링된 영상 데이터를 학습 데이터로 이용하여 훈련된 학습 모델을 재훈련할 수도 있다. 이 때, 훈련된 학습 모델은 라벨링된 영상 데이터로 적어도 1회 이상 훈련이 완료된 학습 모델을 의미할 수 있다. 다만, 훈련된 학습 모델은 라벨링된 영상 데이터 전체를 이용하여 훈련되는 반면에, 초기 학습 모델은 라벨링된 영상 데이터의 일부를 이용하여 훈련될 수 있다.
다른 일 예로, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터를 훈련된 학습 모델에 입력하여 라벨링을 수행한 추가 영상 데이터를 획득할 수 있다. 여기서, 라벨링 되지 않은 영상 데이터는 라벨링된 영상 데이터보다 많은 양의 데이터일 수 있다. 또한, 모델 생성부(220)는 추가 영상 데이터를 학습 데이터로 이용하여 훈련된 학습 모델을 재훈련할 수 있다. 예를 들어, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터에서 일부 영상 데이터를 선별하여 훈련된 학습 모델로 라벨링을 수행할 수 있다. 일부 영상 데이터는 라벨링되는 진단 정보가 정확할 것으로 예상되는 데이터를 의미할 수 있다. 또한, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터에서 일부 영상 데이터를 제외한 나머지 영상 데이터에서 재선별하여 라벨링을 수행하여 학습 데이터로 활용하는 것을 반복할 수 있다. 이에 따라 모델 생성부(220)는 최종 학습 모델에 대한 성능을 향상시킬 수 있다.
또 다른 일 예로, 모델 생성부(220)는 K 평균 알고리즘(K-means Algorithm)을 이용하여 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 훈련된 학습 모델을 재훈련할 수 있다. 예를 들어, 모델 생성부(220)는 K 평균 알고리즘을 이용하여 라벨링 되지 않은 영상 데이터에 대한 클러스터링을 수행하여 복수의 클러스터로 구분할 수 있다. 이 때, 각각의 클러스터는 유사한 진단 정보를 가지는 영상 데이터로 그룹핑되어 구분될 수 있다. 또한, 모델 생성부(220)는 동일한 클러스터에 포함된 각각의 영상 데이터에는 동일한 진단 정보로 라벨링을 수행할 수 있다. 이러한 방식으로 라벨링된 영상 데이터는 학습 데이터로 이용되어 훈련된 학습 모델을 재훈련시킬 수 있다. 구체적으로, K 평균 알고리즘은 클러스터 중심(centroid)과 클러스터 내 데이터 간의 거리의 분산이 최소화되도록 반복적으로 클러스터링을 수행하는 알고리즘일 수 있다. 다만, 이용되는 알고리즘은 공지된 클러스터링 알고리즘에 해당되면 이에 한정되지는 않는다.
일 실시예에 따라 모델 생성부(220)는 파노라마 영상 데이터에 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다(S330). 일 예로, 모델 생성부(220)는 파노라마 영상 데이터에 포함된 매복치에 대한 진단 정보를 예측하여 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다. 그리고 모델 생성부(220)는 전술한 바와 같이, 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습 데이터로 활용하여 학습 모델을 훈련시켜 최종 학습 모델을 생성할 수 있다. 즉, 최종 학습 모델은 머신 러닝 기반의 학습 모델을 초기 학습 모델로 하여 준지도 학습을 수행하여 생성된 모델일 수 있다.
일 실시예에 따라 진단 예측부(230)는 생성된 최종 학습 모델을 이용하여 매복치에 대한 진단 정보를 예측할 수 있다(S340). 여기서, 최종 학습 모델은 신규 파노라마 영상 데이터를 입력 받아, 매복치에 대한 진단 정보를 결과로 출력하는 모델일 수 있다. 일 예로, 진단 예측부(230)는 신규 파노라마 영상 데이터에서 매복치를 검출하고, 검출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 예측할 수 있다. 예를 들어, 진단 예측부(230)는 입력된 신규 파노라마 영상 데이터로부터 예측된 각각의 매복치의 진단 정보를 텍스트 형식으로 파노라마 영상 데이터에 표기할 수 있다. 다른 일 예로, 진단 예측부(230)는 예측된 진단 정보에 기초하여 검출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류할 수 있다. 예를 들어, 진단 예측부(230)는 환자의 파노라마 영상 데이터로부터 검출된 매복치의 개수를 산출하고, 각각의 매복치의 분류를 예측된 진단 정보로 제공할 수 있다. 이에 따라 진단 예측부(230)는 예측된 진단 정보에 기초하여 수술의 난이도를 판정하여 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공할 수 있다. 또는, 진단 예측부(230)는 예측된 진단 정보에 포함된 신경관 근접도 정보를 이용하여 환자의 CT 촬영 여부를 결정하여 제공할 수도 있다.
도 4는 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치에 진단 정보를 라벨링하는 예시를 도시한 도면이다.
도 4를 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 전처리부(210)가 파노라마 영상 데이터에서 관심 영역(410)을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보(420)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 파노라마 영상 데이터에서 매복치가 포함된 영역을 관심 영역(410)으로 추출할 수 있다. 예를 들어, 전처리부(210)는 사용자에 의해 특정 매복치가 선택됨에 따라 자동적으로 관심 영역(410)을 설정하는 방식으로 추출할 수 있다. 여기서, 관심 영역(410)은 적어도 하나의 매복치가 온전히 포함되는 사이즈의 사각형 형태의 영역일 수 있다.
다른 일 예로, 전처리부(210)는 사용자로부터 직접 입력 받은 각각의 매복치에 대한 진단 정보(420)를 해당 매복치에 라벨링할 수 있다. 예를 들어, 진단 정보(420)는 화면에 출력된 옵션 메뉴 중에서 사용자에 의해 선택된 정보로 입력 받을 수 있다. 여기서, 진단 정보(420)는 각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함할 수 있다. 다만, 도 4를 참조하여 전술한 라벨링 방법은 일 예로 이에 한정되는 것은 아니다.
도 5는 본 개시의 일 실시 예에 따른 치과 진단 장치에서 매복치의 매복도 정보를 라벨링하는 예시를 도시한 도면이다.
도 5를 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 진단 정보(420)에 포함된 매복도 정보(510)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 관심 영역(410)에 포함된 매복치에 대한 매복도 정보(510)를 라벨링할 수 있다. 예를 들어, 매복도 정보(510)는 매복치의 매복 정도에 따라 단계 별로 결정될 수 있다. 구체적으로, 매복도 정보(510)는 매복된 정도에 따라 매복치 없음, 뼈 밖, 치아의 1/3 이하 매복, 치아의 1/3~2/3 매복, 치아의 2/3 이상 매복 중에서 하나로 선택될 수 있다. 다만, 이는 매복 정도를 구분한 일 예로, 이에 한정되지는 않는다.
도 6은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 매복 기울기 정보를 라벨링하는 예시를 도시한 도면이다.
도 6을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 진단 정보(420)에 포함된 매복 기울기 정보(610)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 관심 영역(410)에 포함된 매복치에 대한 매복 기울기 정보(610)를 라벨링할 수 있다. 예를 들어, 매복 기울기 정보(610)는 매복치의 기울어진 각도에 따라 결정될 수 있다. 구체적으로, 매복 기울기 정보(610)는 각각의 매복치를 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 선택될 수 있다. 다만, 이는 매복 기울기를 구분한 일 예로, 이에 한정되지는 않는다.
도 7은 본 개시의 일 실시예에 따른 치과 진단 장치에서 매복치의 신경관 근접도 정보를 라벨링하는 예시를 도시한 도면이다.
도 7을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 진단 정보(420)에 포함된 신경관 근접도 정보(710)를 라벨링하는 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 관심 영역(410)에 포함된 매복치에 대한 신경관 근접도 정보(710)를 라벨링할 수 있다. 예를 들어, 신경관 근접도 정보(710)는 매복치의 신경관 근접 유무에 따라 결정될 수 있다. 구체적으로, 신경관 근접도 정보(710)는 각각의 매복치를 기준으로 근처에 신경관이 없음(상악), 매복치가 신경관에 접촉됨, 매복치가 신경관에 접촉되지 않음 중 하나로 선택될 수 있다. 다만, 이는 신경관 근접도를 구분한 일 예로, 이에 한정되지는 않는다.
도 8은 본 개시의 일 실시예에 따른 치과 진단 장치에서 라벨링된 영상 데이터의 예시를 도시한 도면이다.
도 8을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 장치에서 전처리부(210)에 의해 라벨링된 영상 데이터의 예시를 설명할 수 있다. 일 예로, 전처리부(210)는 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역(410)에 포함된 각각의 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 전처리부(210)는 파노라마 영상 데이터에서 각각의 매복치에 진단 정보를 텍스트 형식으로 표기하여 라벨링된 영상 데이터를 생성할 수 있다. 생성된 라벨링된 영상 데이터는 학습 모델을 훈련하기 위한 학습 데이터로 사용될 수 있다.
도 9는 본 개시의 일 실시예에 따른 치과 진단 장치의 학습 모델을 설명하기 위한 도면이다.
도 9를 참조하면, 본 개시의 일 실시 예에 따른 치과 진단 장치의 모델 생성부(220)는 최소한의 영상 데이터로 라벨링을 수행하여 매복치에 대한 진단 정보를 예측하는 학습 모델을 생성할 수 있다. 다만, 영상 데이터는 매복치를 진단 받은 환자의 파노라마 영상 데이터 중에서 화질이 좋지 않거나 악골이나 심한 치아의 기형을 동반한 환자의 영상 데이터를 제외한 것일 수 있다.
일 예로, 모델 생성부(220)는 라벨링된 영상 데이터(910)와 라벨링 되지 않은 영상 데이터(920)를 학습 데이터로 활용하여 학습 모델(930)을 훈련시켜 최종 학습 모델을 생성할 수 있다. 여기서, 최종 학습 모델은 준지도 학습을 수행하여 생성된 학습 모델(930)일 수 있다. 예를 들어, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터(920)로 학습 모델(930)을 훈련시키기 위해 수도 라벨링(pseudo-labeling) 방법을 사용할 수 있다. 구체적으로, 모델 생성부(220)는 라벨링 되지 않은 영상 데이터(920)에 대해 수도 라벨링을 수행한 후 라벨링된 영상 데이터(910)와 함께 학습 데이터로 학습 모델(930)을 재훈련할 수 있다. 따라서, 준지도 학습으로 생성된 학습 모델(930)은 최소한의 영상 데이터로 라벨링을 수행하는 전처리 과정을 통해 최적의 결과를 예측할 수 있다. 이러한 학습 모델(930)은 부족한 학습으로 인한 정확성의 오류뿐만 아니라 무분별한 방대한 데이터 처리로 인한 학습 효과 저하 문제를 해결할 수 있다.
다른 일 예로, 모델 생성부(220)는 학습 데이터를 이용하여 반복적으로 훈련시킴으로써 머신 러닝 알고리즘의 파라미터(parameter)가 결정된 학습 모델을 생성할 수 있다. 여기서 학습 모델(930)에서 사용되는 머신 러닝 알고리즘은 컴퓨터에게 사람이 직접 로직(logic)을 입력하거나 지시하지 않아도 컴퓨터가 학습을 통해 스스로 문제를 해결하도록 하는 것을 의미할 수 있다.
예를 들어, 머신 러닝 알고리즘의 한 종류인 딥러닝(deep learning) 알고리즘은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로써 입력 값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 알고리즘일 수 있다. 즉, 딥러닝 알고리즘은 인공지능을 구성하기 위한 인공신경망(Artificial Neural Networks, ANN)에 기반해 컴퓨터가 스스로 사람처럼 학습할 수 있는 인공지능 기술을 말한다. 이러한 인공신경망(ANN)은 소프트웨어 형태로 구현되거나 하드웨어 형태로 구현될 수 있다. 구체적인 예를 들면, 학습 모델(930)은 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등의 알고리즘으로 구성될 수 있으나, 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 알고리즘으로 구성될 수 있다.
다른 예를 들어, 학습 모델(930)은 학습 데이터를 이용하여 훈련될 수 있다. 여기서, 훈련은 학습 데이터를 이용하여 인공 신경망의 파라미터를 결정하는 과정을 의미할 수 있다. 또한, 학습 모델(930)의 훈련 방식은 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 준지도 학습(Semi-Supervised Learning)으로 구분될 수 있다.
지도 학습은 학습 데이터로부터 하나의 함수를 유추하기 위한 방법일 수 있다. 지도 학습의 구체적인 방법은 유추되는 함수 중 연속적인 값을 출력하는 것은 회귀분석(Regression)이고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것은 분류(Classification)가 있을 수 있다. 이러한, 지도 학습은 학습 데이터에 대한 라벨링(labeling)이 주어진 상태에서 학습 모델을 훈련시킬 수 있다. 여기서 라벨링은 학습 데이터가 학습 모델에 입력되는 경우 학습 모델이 출력하는 결과값을 의미할 수 있다.
또한, 비지도 학습은 학습 데이터 및 학습 데이터에 대응하는 라벨링의 연관 관계보다는 학습 데이터 자체에서 패턴을 찾아 분류하는 방법일 수 있다. 비지도 학습의 구체적인 방법은 군집화(clustering) 또는 독립 성분 분석(Independent Component Analysis)이 있을 수 있다. 이러한, 비지도 학습은 학습 데이터에 대한 라벨링이 주어지지 않은 상태에서 학습 모델을 훈련시킬 수 있다.
또한, 준 지도 학습은 라벨링이 주어진 학습 데이터와 라벨링이 주어지지 않은 학습 데이터를 모두 사용하는 방법일 수 있다. 준 지도 학습의 구체적인 방법은 라벨링이 주어지지 않은 학습 데이터의 라벨링을 추론한 후 추론된 라벨링을 이용하여 훈련을 수행하는 기법이 있을 수 있다. 따라서, 본 명세서에서의 학습 모델(930)은 준 지도 학습을 수행하여 생성된 학습 모델일 수 있다.
이하에서는 도 1 내지 도9를 참조하여 설명한 치과 진단 장치가 수행할 수 있는 치과 진단 방법에 대해서 설명한다. 단, 아래에서는 도 1 내지 도 9에서 설명한 일부 실시예 또는 일부 동작에 대한 상세한 설명을 생략할 수 있으나, 이는 설명의 중복을 방지하기 위한 것일 뿐이므로 치과 진단 방법은 전술한 치과 진단 장치를 동일하게 제공할 수 있다.
도 10은 본 개시의 일 실시예에 따른 치과 진단 방법의 흐름도이다.
도 10을 참조하면, 본 개시의 일 실시예에 따른 치과 진단 방법은 치아 상태를 촬영한 파노라마 영상 데이터에 포함된 매복치에 진단 정보를 라벨링하는 전처리 단계를 포함할 수 있다(S1010). 일 실시예에 따라 치과 진단 장치는 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 일 예로, 치과 진단 장치는 치아 상태를 촬영한 파노라마 영상 데이터에서 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다. 예를 들어, 치과 진단 장치는 입력된 치아 상태를 촬영한 파노라마 영상 데이터로부터 매복치를 검출하고, 검출된 매복치가 있는 영역의 위치를 인식할 수 있다. 그리고, 치과 진단 장치는 인식된 매복치가 있는 영역의 위치를 기준으로 매복치를 포함하는 영역을 관심 영역으로 추출할 수 있다.
다른 일 예로, 치과 진단 장치는 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링할 수 있다. 예를 들어, 치과 진단 장치는 각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 단 정보를 라벨링할 수 있다. 구체적으로, 치과 진단 장치는 매복치의 매복 정도에 따라 단계 별로 매복도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 치과 진단 장치는 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 매복 기울기 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 또한, 치과 진단 장치는 매복치의 신경관 근접 유무로 신경관 근접도 정보를 결정하여 매복치에 진단 정보로 라벨링할 수 있다. 다만, 진단 정보에 포함되는 정보의 일 예로, 이에 한정되지는 않는다.
본 개시의 일 실시예에 따른 치과 진단 방법은 최소한의 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습데이터로 활용하여 최종 학습 모델을 생성하는 모델 생성 단계를 포함할 수 있다(S1020). 일 예로, 치과 진단 장치는 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련할 수 있다. 그리고 치과 진단 장치는 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성할 수 있다. 여기서, 라벨링된 영상 데이터가 입력되는 머신 러닝 기반의 학습 모델은 최종 학습 모델보다 더 적은 데이터로 학습이 수행되는 모델일 수 있다. 예를 들어, 치과 진단 장치는 라벨링된 영상 데이터를 이용하여 훈련된 학습 모델에 라벨링 되지 않은 영상 데이터를 입력하여 라벨링을 수행한 추가 영상 데이터를 획득할 수 있다. 그리고, 치과 진단 장치는 라벨링된 영상 데이터 및 추가 영상 데이터를 학습 데이터로 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다. 또한, 치과 진당 장치는 K 평균 알고리즘 (K-means Algorithm)을 이용하여, 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 훈련된 학습 모델을 재훈련하여 최종 학습 모델을 생성할 수 있다.
본 개시의 일 실시예에 따른 치과 진단 방법은 신규 파노라마 영상 데이터를 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측 단계를 포함할 수 있다(S1030). 일 예로, 치과 진단 장치는 입력된 신규 파노라마 영상 데이터에서 매복치를 검출할 수 있다. 그리고 치과 진단 장치는 검출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 진단 정보를 예측할 수 있다. 예를 들어, 치과 진단 장치는 예측된 진단 정보에 기초하여 검출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류할 수 있다. 그리고, 치과 진단 장치는 검출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공할 수 있다. 또한, 치과 진단 장치는 예측된 진단 정보에 기초하여 검출된 매복치의 CT 촬영 여부를 결정하여 제공할 수 있다.
이상에서 설명한 바와 같이 본 개시에 의하면, 치과 파노라마 영상 데이터로부터 매복치를 검출하고, 매복 정도에 따라 검출된 매복치를 분류하는 치과 진단 장치 및 방법을 제공할 수 있다. 특히 매복치에 진단 정보가 라벨링된 영상 데이터와 라벨링 되지 않은 영상 데이터를 학습 데이터로 활용하여 학습 모델을 생성함으로써, 최소한의 전처리 과정으로 파노라마 영상 데이터의 매복치에 대한 진단 정보를 예측하는 치과 진단 장치 및 방법을 제공할 수 있다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2021년 09월 01일 한국에 출원한 특허출원번호 제 10-2021-0116154호에 대해 미국 특허법 119(a)조 (35 U.S.C § 119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (16)

  1. 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리부;
    상기 전처리부에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성부; 및
    신규 파노라마 영상 데이터를 상기 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측부를 포함하는 것을 특징으로 하는 치과 진단 장치.
  2. 제 1 항에 있어서,
    상기 전처리부는,
    각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 라벨링하는 것을 특징으로 하는 치과 진단 장치.
  3. 제 2 항에 있어서,
    상기 전처리부는,
    상기 매복치의 매복 정도에 따라 단계 별로 상기 매복도 정보를 결정하고, 상기 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 상기 매복 기울기 정보를 결정하고, 상기 매복치의 신경관 근접 유무로 상기 신경관 근접도 정보를 결정하여 상기 진단 정보로 라벨링하는 것을 특징으로 하는 치과 진단 장치.
  4. 제 1 항에 있어서,
    상기 모델 생성부는,
    상기 라벨링 되지 않은 영상 데이터를 상기 훈련된 학습 모델에 입력하여 라벨링을 수행한 추가 영상 데이터를 획득하고, 상기 라벨링된 영상 데이터 및 상기 추가 영상 데이터를 상기 학습 데이터로 상기 훈련된 학습 모델을 재훈련하여 상기 최종 학습 모델을 생성하는 것을 특징으로 하는 치과 진단 장치.
  5. 제 1 항에 있어서,
    상기 모델 생성부는,
    K 평균 알고리즘(K-means algorithm)을 이용하여 상기 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 상기 훈련된 학습 모델을 재훈련하는 것을 특징으로 하는 치과 진단 장치.
  6. 제 1 항에 있어서,
    상기 진단 예측부는,
    상기 신규 파노라마 영상 데이터에서 매복치를 추출하고, 상기 추출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 예측하는 것을 특징으로 하는 치과 진단 장치.
  7. 제 6 항에 있어서,
    상기 진단 예측부는,
    상기 추출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류하는 것을 특징으로 하는 치과 진단 장치.
  8. 제 7 항에 있어서,
    상기 진단 예측부는,
    상기 추출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공하는 것을 특징으로 하는 치과 진단 장치.
  9. 치아 상태를 촬영한 파노라마 영상 데이터에서 관심 영역을 추출하고, 추출된 관심 영역에 포함된 매복치에 진단 정보를 라벨링하는 전처리 단계;
    상기 전처리 단계에 의해 라벨링된 영상 데이터를 이용하여 머신 러닝 기반의 학습 모델을 훈련하고, 라벨링 되지 않은 영상 데이터를 포함하는 학습 데이터로 훈련된 학습 모델을 재훈련하여 라벨링을 수행하는 최종 학습 모델을 생성하는 모델 생성 단계; 및
    신규 파노라마 영상 데이터를 상기 최종 학습 모델에 입력하여 매복치에 대한 진단 정보를 예측하는 진단 예측 단계를 포함하는 것을 특징으로 하는 치과 진단 방법.
  10. 제 9 항에 있어서,
    상기 전처리 단계는,
    각각의 매복치에 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 라벨링하는 것을 특징으로 하는 치과 진단 방법.
  11. 제 10 항에 있어서,
    상기 전처리 단계는,
    상기 매복치의 매복 정도에 따라 단계 별로 상기 매복도 정보를 결정하고, 상기 매복치의 기울어진 각도에 따라 수직(vertical), 수평(horizontal), 원심면(distal) 및 근심면(mesial) 중 하나로 상기 매복 기울기 정보를 결정하고, 상기 매복치의 신경관 근접 유무로 상기 신경관 근접도 정보를 결정하여 상기 진단 정보로 라벨링하는 것을 특징으로 하는 치과 진단 방법.
  12. 제 9 항에 있어서,
    상기 모델 생성 단계는,
    상기 라벨링 되지 않은 영상 데이터를 상기 훈련된 학습 모델에 입력하여 라벨링을 수행한 추가 영상 데이터를 획득하고, 상기 라벨링된 영상 데이터 및 상기 추가 영상 데이터를 상기 학습 데이터로 상기 훈련된 학습 모델을 재훈련하여 상기 최종 학습 모델을 생성하는 것을 특징으로 하는 치과 진단 방법.
  13. 제 9 항에 있어서,
    상기 모델 생성 단계는,
    K 평균 알고리즘(K-means Algorithm)을 이용하여 상기 라벨링 되지 않은 영상 데이터를 클러스터로 구분하여 상기 훈련된 학습 모델을 재훈련하는 것을 특징으로 하는 치과 진단 방법.
  14. 제 9 항에 있어서,
    상기 진단 예측 단계는,
    상기 신규 파노라마 영상 데이터에서 매복치를 추출하고, 상기 추출된 매복치마다 매복도 정보, 매복 기울기 정보 및 신경관 근접도 정보를 포함하는 상기 진단 정보를 예측하는 것을 특징으로 하는 치과 진단 방법.
  15. 제 14 항에 있어서,
    상기 진단 예측 단계는,
    상기 추출된 매복치를 정상, 단순 매복, 부분 매복 및 완전 매복 중 하나로 분류하는 것을 특징으로 하는 치과 진단 방법.
  16. 제 15 항에 있어서,
    상기 진단 예측 단계는,
    상기 추출된 매복치의 분류에 따라 매복치 수가를 산출하거나 수술 시 필요한 기구 정보를 결정하여 제공하는 것을 특징으로 하는 치과 진단 방법.
PCT/KR2022/011199 2021-09-01 2022-07-29 치과 진단 장치 및 방법 WO2023033375A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210116154A KR102652759B1 (ko) 2021-09-01 2021-09-01 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법
KR10-2021-0116154 2021-09-01

Publications (1)

Publication Number Publication Date
WO2023033375A1 true WO2023033375A1 (ko) 2023-03-09

Family

ID=85412783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011199 WO2023033375A1 (ko) 2021-09-01 2022-07-29 치과 진단 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102652759B1 (ko)
WO (1) WO2023033375A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139465A (ko) * 2014-06-03 2015-12-11 오서-테인 인코포레이티드 환자의 치열교정 진단 분석을 결정하는 시스템 및 방법
KR20180045551A (ko) * 2016-10-26 2018-05-04 고려대학교 산학협력단 구강 병변의 진단 시스템 및 방법
US20200364860A1 (en) * 2019-05-16 2020-11-19 Retrace Labs Artificial Intelligence Architecture For Identification Of Periodontal Features
KR102193942B1 (ko) * 2019-05-09 2020-12-22 주식회사 디오 영상데이터에서 치조골을 검출하는 방법 및 장치
WO2021046241A1 (en) * 2019-09-05 2021-03-11 Pearl Inc. Automated medical image annotation and analysis

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11096602B2 (en) * 2016-07-29 2021-08-24 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject utilizing a machine learning
CN109978841B (zh) * 2019-03-12 2021-08-03 北京羽医甘蓝信息技术有限公司 基于深度学习的全景片阻生牙识别的方法和装置
KR102261187B1 (ko) * 2020-02-04 2021-06-07 광주과학기술원 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139465A (ko) * 2014-06-03 2015-12-11 오서-테인 인코포레이티드 환자의 치열교정 진단 분석을 결정하는 시스템 및 방법
KR20180045551A (ko) * 2016-10-26 2018-05-04 고려대학교 산학협력단 구강 병변의 진단 시스템 및 방법
KR102193942B1 (ko) * 2019-05-09 2020-12-22 주식회사 디오 영상데이터에서 치조골을 검출하는 방법 및 장치
US20200364860A1 (en) * 2019-05-16 2020-11-19 Retrace Labs Artificial Intelligence Architecture For Identification Of Periodontal Features
WO2021046241A1 (en) * 2019-09-05 2021-03-11 Pearl Inc. Automated medical image annotation and analysis

Also Published As

Publication number Publication date
KR102652759B1 (ko) 2024-04-01
KR20230033326A (ko) 2023-03-08

Similar Documents

Publication Publication Date Title
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
CA3149760A1 (en) Automated medical image annotation and analysis
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2021060700A1 (ko) 비디오투시 연하검사 판독 장치 및 방법
WO2006115826A2 (en) Method for diagnosing disease from tongue image
WO2005092176A1 (en) Real-time remote diagnosis of in vivo images
CN111179252B (zh) 基于云平台的消化道病灶辅助识别与正反馈系统
WO2021151290A1 (zh) 基于机器学习的面部信息识别监控方法及装置
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
CN111883256A (zh) 基于电子病历数据的肺结核患者预警系统及预警方法
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
KR102392312B1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
WO2023033375A1 (ko) 치과 진단 장치 및 방법
KR102036052B1 (ko) 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치
WO2023182702A1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
CN110197722B (zh) Ai-cpu系统平台
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2021145607A1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2023054768A1 (ko) 욕창질환 포착과 단계결정을 위한 딥러닝 모델 시스템, 생성방법 및 이를 이용한 욕창진단 방법
Thulaseedharan et al. Detection of typical Pathologies and Differential Treatments in Dental Panoramic X-Rays based on Deep Convolutional Neural Network
WO2023054876A1 (ko) 치과 진단 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864883

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE