WO2023080702A1 - 치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템 - Google Patents

치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템 Download PDF

Info

Publication number
WO2023080702A1
WO2023080702A1 PCT/KR2022/017206 KR2022017206W WO2023080702A1 WO 2023080702 A1 WO2023080702 A1 WO 2023080702A1 KR 2022017206 W KR2022017206 W KR 2022017206W WO 2023080702 A1 WO2023080702 A1 WO 2023080702A1
Authority
WO
WIPO (PCT)
Prior art keywords
dental
tooth
chart
dental treatment
automated
Prior art date
Application number
PCT/KR2022/017206
Other languages
English (en)
French (fr)
Inventor
이기선
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220144927A external-priority patent/KR20230065177A/ko
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Publication of WO2023080702A1 publication Critical patent/WO2023080702A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Definitions

  • the present invention relates to a method for automating dental checkup, preparation of treatment records, and verification of dental insurance review, and an automated tooth chart and dental treatment certificate generation and verification system therefor, and more specifically, automation of dental medical record generation and dental insurance It relates to a system and method for automatically inferring and mutually verifying the creation of dental examination records and/or treatment records based on dental X-ray data, intraoral photographic data, dental treatment-related text data, and digital input data for automation of examination. .
  • the present invention is a scientific and academic research foundation establishment project of the Ministry of Education (Task identification number: 1345353856, task number: 2022R1I1A1A01069188, research task title: early diagnosis and prognosis of dental diseases through the development of a deep learning-based dental medical twin system, customized prevention and It was derived from a study conducted as part of a study on deriving treatment, project management institution: National Research Foundation, project executing agency: Korea University, research period: 2022.06.01 ⁇ 2025.05.31). Meanwhile, there is no property interest of the Korean government in any aspect of the present invention.
  • EMR Electronic Medical Record
  • a chart used in dentistry may be divided into a tooth chart (1) part representing teeth and an input window (2) part for inputting medical treatment information of a patient.
  • the user must select a tooth and a tooth part from the tooth chart (1) and input medical information such as the condition of the tooth (crown treatment, implant treatment, tooth loss, tooth decay, fracture, tooth restoration, periodontitis) in the form of a picture.
  • the conventional method was to input it manually through visual inspection in the oral cavity in parallel with an X-ray image of an individual patient, so a lot of labor and time were unavoidable.
  • Patent Document 1 Patent Registration No. 10-1723652
  • the charting technology using the panoramic image has been proposed. It is a semi-automated image analysis method that recognizes and separates teeth within an X-ray image using the average value data of landmarks that can be seen on patients' dental X-rays. Since it is inevitably low, the designated tooth area needs to be re-corrected and re-mapped, which eventually requires a lot of effort and time again.
  • the patient again records the material type of dental restoration (gold, ceramic, zirconia, resin, etc.) and the shape of the restoration area viewed from the occlusal surface (chewing surface) during partial dental restoration.
  • material type of dental restoration gold, ceramic, zirconia, resin, etc.
  • shape of the restoration area viewed from the occlusal surface viewed from the occlusal surface
  • the medical certificate for exclusive use of dental insurance may be divided into a part 1 for inputting first visit details and an input window part 2 for inputting medical information.
  • the record entry person has to manually enter all the contents of the examination, including dental X-rays, medical charts, and intraoral photos in (1) and (2) of the medical certificate, so a lot of labor and time are unavoidable. did
  • the form of medical treatment confirmation for each dental insurance company is different from the standard plan, there is a high possibility of accuracy deterioration such as duplicate records or missing records.
  • a method for automating and solving the above problems related to the preparation of a medical certificate for dental insurance has not been disclosed yet, and a method for the insurance company to automate and verify the data after submitting the prepared medical certificate to the insurance company has also been disclosed. no bar
  • dental panoramic X-ray data and intraoral photo data of individual patients are used in parallel, and when creating dental charts for recognized individual teeth, the X-ray information and the naked eye are used. It aims at completely automating the creation of dental charts by performing analysis of information in parallel.
  • the present invention is not a semi-automated method of performing individual tooth recognition and tooth state inference based on average data and landmarks of biological information obtained from X-ray information based only on X-rays as in the prior art, but a learned artificial intelligence neural network. Data on visual information on individual teeth that cannot be obtained from X-ray information and can only be obtained through intraoral macroscopic photographs along with X-ray information when creating a tooth chart.
  • the purpose is to enable complete dental chart creation, constant additional correction, and complete automation of dental chart creation.
  • the present invention is an object of the present invention to provide automated support for dental insurance review using the automation of the preparation of medical records required by dental insurance companies and the re-validation of the submitted dental treatment confirmation.
  • An automated tooth chart and dental treatment confirmation generation and verification method includes uploading dental panoramic X-ray images and intraoral photographic images of individual patients by a data input unit. ; And automatically infer the coordinates of the region of the tooth mapped to the dental formula according to the dental formula by an artificial intelligence algorithm for each image of the dental panoramic X-ray image and the intraoral photographic image uploaded by the reasoning unit at the same time for each tooth identification, Simultaneously displaying each uploaded image, and analyzing heterogeneous image data including the dental panoramic X-ray image and the intraoral photographic image in parallel for automated generation of a tooth chart and dental treatment confirmation.
  • the method for generating and verifying an automated tooth chart and dental treatment confirmation simultaneously analyzes heterogeneous image data including the dental panoramic X-ray image and the intraoral photographic image, thereby identifying teeth that can be obtained only from the X-ray image. It is characterized in that the tooth chart is completely automatically generated by automatically inferring attribute information and tooth identification attribute information that can only be obtained from intraoral photographic images through artificial intelligence algorithms, and at the same time integrating them into tooth identification.
  • the artificial intelligence algorithm uses a first reasoning model for recognizing individual teeth and inferring their states from the dental panoramic X-ray image and a second reasoning model for recognizing individual teeth and inferring their states from the intraoral photographic image in parallel. It may include an artificial intelligence learning-based reasoning algorithm that infers the tooth region corresponding to the tooth formula and attribute information for each tooth identification.
  • the first inference model may include a first artificial intelligence model for inferring first tooth analysis target information for the individual tooth from the dental panoramic X-ray image.
  • the second inference model may include a second artificial intelligence model for inferring second tooth analysis target information that is different from the first tooth analysis target information for the individual tooth from the intraoral photographic image.
  • the first tooth analysis target information may include whether or not there is tooth decay, whether there is nerve treatment, whether there is apical inflammation, and whether an implant is placed.
  • the second tooth analysis target information may include a type of restoration material and a restoration range during tooth restoration.
  • Automated tooth chart and dental treatment confirmation generation and verification method is characterized in that it is possible to automatically generate dental treatment confirmation according to various dental treatment confirmation forms based on attribute information of individual teeth for each dental tooth identification. to be
  • An automated tooth chart and dental treatment confirmation generation and verification method includes the steps of modifying, by a correction unit, at least one of the tooth chart and the dental treatment confirmation by an administrator terminal; and transmitting, by the communication unit, at least one of the tooth chart and the dental treatment confirmation to a patient terminal, an expert terminal, a management server, or an insurance company server.
  • dental panoramic X-ray image data and intraoral photo image data for a patient are commonly collected and mutually verified through mutual data mapping after tooth identification mapping. characterized as possible.
  • the automated tooth chart and dental treatment confirmation generation and verification method when there is manually created tooth chart or dental treatment confirmation data for a patient, the dental panorama obtained for the patient by the verification unit Characterized in that, based on X-ray data or intraoral photograph data, attribute information of individual teeth for tooth identification is inferred again to verify a handwritten tooth chart or dental treatment confirmation document.
  • the automated tooth chart and dental treatment confirmation generation and verification method may further include the step of analyzing, by the reasoning unit, the difference between individual teeth obtained by the tooth identification for each treatment stage for the patient. there is.
  • the method for generating and verifying an automated tooth chart and dental treatment confirmation is a dental insurance review automation system, which is a document submitted by a patient when signing up for dental insurance or applying for insurance money, and the patient's X-ray image evidence or oral cavity Based on my video evidence, it automatically analyzes dental treatment-related information, including the existence of teeth for identification, treatment for teeth for identification, and the type of treatment, and based on the analyzed dental treatment-related information, the individual criteria of the dental insurance company. According to the method, a step of automating a screening process for dental insurance subscription or insurance premium claim may be further included.
  • a computer-readable non-transitory recording medium in which a program for executing the automatic tooth chart creation and dental treatment confirmation creation and verification method is recorded.
  • a data input unit for uploading dental panoramic X-ray images and intraoral photographic images of individual patients; And for each image of the uploaded dental panoramic X-ray image and intraoral photographic image, an artificial intelligence algorithm simultaneously and automatically infers the coordinates of the region of the tooth mapped to the tooth formula in accordance with the dental formula for each tooth identification, and each uploaded Including a reasoning unit that simultaneously displays on the image, wherein the reasoning unit is configured to analyze heterogeneous image data including the dental panoramic X-ray image and the intraoral photographic image in parallel for automated generation of a tooth chart and dental treatment confirmation An automated tooth chart and dental treatment confirmation generating and verifying system are provided.
  • the inference unit analyzes heterogeneous image data including the dental panoramic X-ray image and the intraoral photographic image in parallel, thereby artificially generating tooth identification attribute information obtainable only from the X-ray image and tooth identification attribute information obtainable only from the intraoral photographic image. It may be configured to automatically infer through an intelligent algorithm and at the same time integrate by tooth identification to fully automatically generate the tooth chart.
  • An automated tooth chart and dental treatment confirmation generation and verification system includes a treatment confirmation generating unit that automatically generates dental treatment confirmation according to various dental treatment confirmation forms based on attribute information of individual teeth for each dental tooth identification. can include more.
  • An automated tooth chart and dental treatment confirmation generation and verification system collects tooth information in common through mutual data mapping after tooth identification mapping for dental panoramic X-ray image data and intraoral photo image data for a patient And may further include a verification unit configured to mutually verify the tooth identification tooth information.
  • the verification unit re-infers the attribute information of individual teeth for tooth identification based on the dental panoramic X-ray data or intraoral photograph data obtained for the patient when there is manually created tooth chart or dental treatment confirmation data for the patient, and writes the information manually. A prepared tooth chart or dental treatment confirmation can be verified.
  • An automated tooth chart and dental treatment confirmation generation and verification system is based on the documents submitted by the patient when signing up for dental insurance or applying for insurance money and the patient's X-ray image evidence or intraoral image evidence Automatically analyzes dental treatment-related information, including the existence of identified teeth, whether teeth have been treated, and the type of treatment. It may further include a dental insurance review automation system that is configured to automate the review work for.
  • X-ray data and visual data in the oral cavity are automatically reflected and written on individual teeth of the dental chart, thereby enabling easy separation of individual teeth of individual patients.
  • the condition of each individual tooth is automatically reflected, and a tooth chart can be easily created, which can promote the chart writer's convenience.
  • the tooth chart mentioned above can be applied not only to humans, but also to dental treatment for animals that have teeth and require dental treatment.
  • FIG. 1 is a diagram showing an example of a conventional dental patient electronic chart.
  • FIG. 2 is a view showing an example of dental treatment confirmation of a standard draft submitted to a conventional dental insurance company.
  • Figure 3 is a block diagram schematically showing an embodiment of a dental medical record creation automation and dental insurance review automation system according to an embodiment of the present invention.
  • FIG. 4 is a block diagram schematically showing the configuration of a dental medical record creation automation and dental insurance review automation system according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of an automated dental medical record creation and automated dental insurance review system according to an embodiment of the present invention.
  • FIG. 6 is an exemplary view showing dental X-ray data and intraoral photo data labeled for each individual tooth to be used for learning the artificial intelligence neural network model for inferring individual teeth according to the present invention.
  • FIG. 7 is a conceptual diagram illustrating a learning process and an inference model generation process for creating an artificial intelligence inference model that recognizes individual teeth from dental X-ray data and intraoral photographs and infers the state of individual teeth.
  • FIG. 8a and 8b show an automatic dental chart by using an inference model for recognizing individual teeth and inferring a state on a dental X-ray according to the present invention and an inference model for recognizing individual teeth and inferring a state on an intraoral photograph in parallel. It is an example diagram showing an example of writing.
  • 9a and 9b show a treatment confirmation generating unit for automatically generating a treatment confirmation for submission to an insurance company using automatically created dental chart information according to the present invention and, if there is a previously submitted treatment confirmation, the dental X-ray information and dental oral cavity. It is an exemplary view showing an example of a verification unit that compares and verifies inversely the individual tooth information data created automatically for my photo information.
  • FIG. 10 is an exemplary flowchart illustrating a work process for automating examination work for dental insurance subscription and insurance premium claim according to individual criteria of dental insurance companies according to an embodiment of the present invention.
  • 11 is an exemplary view of an application for realizing a business process for automating dental insurance subscription and insurance premium claims according to individual criteria of dental insurance companies according to an embodiment of the present invention.
  • FIG. 12 is an exemplary view showing an example of a dental chart generated for an animal that needs dental chart preparation by being applied to an animal that has teeth and needs dental treatment according to the present invention.
  • the medical treatment system according to an embodiment of the present invention includes one or more terminals 10, a management server 20, an insurance company server 30, and a dental medical record creation automation and dental insurance review automation system 100.
  • the medical treatment system includes one or more terminals 10, a management server 20, an insurance company server 30, and a dental medical record creation automation and dental insurance review automation system 100.
  • the terminal 10, the management server 20, the insurance company server 30, and the dental medical record automation and dental insurance screening automation system 100 may be interconnected through a wired/wireless communication network 1, and dental related treatment Data and reasoning result data can be mutually transmitted and received.
  • the terminal 10 may include a user terminal 11 and an expert terminal 12 .
  • the user terminal 11 may be a computer device such as a mobile device carried by the patient.
  • the user terminal 11 may store its own dental treatment data.
  • the user terminal 11 may include, for example, a PC such as a mobile PC or a desktop PC, a smart phone, a pad, a wearable device, a laptop computer, or a PDA.
  • the user may be used interchangeably with the patient.
  • the expert terminal 12 may be a computer device such as a mobile device possessed by a dental professional such as a dentist.
  • the expert terminal 120 may include, for example, a PC such as a mobile PC or a desktop PC, a smart phone, a pad, a wearable device, a laptop computer, or a PDA.
  • the expert terminal 12 may store treatment data of a plurality of patients treated by the expert terminal 12 . Meanwhile, an application related to the medical treatment system according to an embodiment of the present invention may be stored and operated in each of the user terminal 11 and the expert terminal 12 .
  • the management server 20 may operate the entire medical treatment system and store treatment data of a plurality of patients received from the user terminal 11 and the expert terminal 12 .
  • the management server 20 stores the prediction result of a specific patient output from the dental medical record creation automation and dental insurance review automation system 100, and stores it in the user terminal 11, the expert terminal 12 and the insurance company server ( 30) can be delivered.
  • the insurance company server 30 can verify the insurance premium payment range based on the dental treatment confirmation submitted by a specific patient and the result of the X-ray and intraoral photograph after treatment of the patient, and through this, it is possible to evaluate whether or not more than the insurance money is claimed.
  • FIG. 4 is a block diagram schematically showing the configuration of a dental medical record creation automation and dental insurance review automation system according to an embodiment of the present invention.
  • 5 is a flowchart of an automated dental medical record creation and automated dental insurance review system according to an embodiment of the present invention.
  • 6 is an exemplary view showing dental X-ray data and intraoral photo data labeled for each individual tooth to be used for learning the artificial intelligence neural network model for inferring individual teeth according to the present invention.
  • 7 is a conceptual diagram illustrating a learning process and an inference model generation process for creating an artificial intelligence inference model that recognizes individual teeth from dental X-ray data and intraoral photographs and infers the state of individual teeth.
  • 8a and 8b show an automatic dental chart by using an inference model for recognizing individual teeth and inferring a state on a dental X-ray according to the present invention and an inference model for recognizing individual teeth and inferring a state on an intraoral photograph in parallel.
  • 9a and 9b show a treatment confirmation generating unit for automatically generating a dental treatment confirmation for submission to an insurance company using dental chart information created automatically according to the present invention and, if there is a previously submitted treatment confirmation, dental X-ray information and dental
  • the dental medical record creation automation and dental insurance review automation system 100 includes a data input unit 110, a reasoning unit 120, a chart generator 130, a treatment confirmation generator 140, It may include a verification unit 150, a verification result output unit 160, a correction unit 170, an artificial intelligence inference model generation unit 180, and a communication unit 190.
  • the data input unit 110 may perform a step of uploading a dental panoramic X-ray image and intraoral photographic image of an individual patient.
  • the data input unit 110 may obtain treatment data of a plurality of users from the user terminal 11, the expert terminal 12, and the management server 20 through the communication unit 190 (S10).
  • the user's treatment data may include X-ray data and intraoral photograph data.
  • the data input unit 110 converts data in the form of images that can check the condition before and after treatment, such as intraoral photos and dental X-ray data of a plurality of patients held by hospitals, clinics, insurance companies, etc., to a digital database in the form of a structure. can be built and collected.
  • the data input unit 110 may convert image data into digital data, and may additionally perform various data pre-processing processes such as normalization.
  • the reasoning unit 120 may recognize a tooth corresponding to an individual tooth on a dental chart as a tooth identification on the input unlabeled X-ray image data and intraoral photograph image (S12), and may infer a treatment state for each individual tooth (S12). S14). In addition, the reasoning unit 120 may analyze the difference between the individual teeth of the tooth identification obtained for each treatment stage of the patient.
  • the reasoning unit 120 analyzes heterogeneous image data including dental panoramic X-ray images and intraoral photographic images in parallel to obtain tooth identification attribute information that can only be obtained from X-ray images and tooth identification attribute information that can only be obtained from intraoral photographic images. Automatic inference through artificial intelligence algorithms, and at the same time, tooth charts can be created completely automatically by integrating with tooth identification.
  • the inference unit 120 identifies individual tooth areas in the dental panoramic X-ray image and intraoral photographic image of each patient based on a deep learning-based object detection algorithm using an artificial intelligence neural network, automatically recognizes the tooth number of the corresponding tooth, , the state of each individual tooth can be inferred through an artificial intelligence-based object classification algorithm again.
  • the reasoning unit 120 is an artificial intelligence learning-based reasoning algorithm that uses an inference model for recognizing individual teeth and inferring states from dental panoramic X-ray images and an inference model for recognizing individual teeth and inferring states from intraoral photographic images in parallel. Using , it is possible to infer dental treatment-related information including attribute information for each tooth region and tooth identification corresponding to an individual tooth formula.
  • the reasoning unit 120 when using an inference model, the reasoning unit 120 first recognizes individual teeth by tooth identification on dental X-rays for X-ray image data and intraoral photographic image data obtained from the same patient as inference targets ( S12), and information that can only be obtained from the X-ray data (whether there is tooth decay, whether there is nerve treatment, whether there is apical inflammation, whether an implant is placed, etc.) can be inferred from the individual tooth (S14).
  • the reasoning unit 120 first recognizes individual teeth by tooth identification in the intraoral photographic image data (S12), and information obtained only from the intraoral photographic image (restoration material (gold, ceramic, resin, etc. ) can be inferred (S14). Dental treatment-related information deduced from X-ray image data and intraoral photographic image data can be integrated and stored as information necessary for creating a complete dental chart for each individual tooth as attribute information of individual teeth for each tooth identification (S15).
  • the information inferred about individual teeth for each tooth identification through the inference unit 120 is expressed as picture or text information according to the dental chart format through the chart generator 130 and output (S19 ) can be
  • the chart generating unit 130 may automatically generate a dental chart by reflecting the inferred individual tooth condition result value.
  • the dental treatment confirmation generating unit 140 may automatically generate a dental treatment confirmation that can be submitted to an insurance company using the written dental chart data.
  • the information inferred for each individual tooth for each tooth identification through the reasoning unit 120 is a drawing or drawing according to the dental treatment confirmation form for submission to the insurance company by the treatment confirmation creation unit 140. It is expressed as text information, and accordingly, a dental treatment confirmation may be output (S21).
  • the names and forms of the dental chart and dental treatment confirmation are exemplified in FIGS. 1 and 2, respectively, but the names and forms can be changed in various forms, and the change form is the function and role of the existing form. Foreseeable ones are not limited to the form and nomenclature of this description.
  • step S12 information on the inference result generated in step S12, dental chart generated in step S19, and data related to the dental treatment confirmation certificate (S21) generated in step S21 are transmitted to the management server 20 and / or may be provided to the insurance company server 30.
  • the verification unit 150 may mutually verify the state of individual teeth generated using the input X-ray image and intraoral photographic image and the state of individual teeth on the dental treatment confirmation document.
  • Dental panoramic X-ray image data and intraoral photo image data of the patient may be mapped by tooth identification by the verification unit 150 and then commonly collected and mutually verified through mutual data mapping.
  • the verification unit 150 when there is manually created tooth chart or dental treatment confirmation data for the patient, attribute information of individual teeth for tooth identification based on dental panoramic X-ray data or intraoral photograph data obtained for the patient. Again, it is possible to verify the handwritten tooth chart or dental treatment confirmation by reasoning.
  • the verification unit 150 determines whether or not the patient has been treated for each individual tooth and information about the treatment. Through this, mutual verification is possible, and the verified result for the individual teeth can be provided to experts, users, insurance companies, etc. through the verification result output unit 160.
  • the correction unit 170 may be provided so that the system user can correct the state of individual teeth.
  • the system manager or data manager uses the electronic chart for the part with errors in the inferred result when the dental specialist sees it, such as when artificial intelligence inference is wrong or omitted through the correction unit 170. Attribute information can be manually modified.
  • the artificial intelligence inference model generation unit 180 Based on the data acquired by the data acquisition unit 110, the artificial intelligence inference model generation unit 180 displays data obtained by labeling the area and state of each individual tooth on the corresponding X-ray and intraoral photograph as shown in FIG. It is possible to create an inference model learned based on an artificial intelligence algorithm, such as
  • individual tooth regions inferred by the artificial intelligence inference model are displayed in the form of a square box, and individual tooth states are MIn (silver-colored metal inlay), CMC (silver-colored complete metal crown), GCMC (gold-colored complete metal crown), CR (composite resin filling), etc.
  • the artificial intelligence inference model generation unit 180 applies various artificial intelligence algorithm technologies to learn labeled data based on digital data, recognizes each individual tooth when any dental X-ray or intraoral photograph is input, In this case, it is possible to create an artificial intelligence model that infers attribute information such as the dental formula number and dental treatment status for the corresponding tooth.
  • Artificial intelligence-based learning algorithm models applicable to the artificial intelligence inference model generation unit 180 include machine learning-based algorithm models such as multilayer perceptron, naive-Bayesian classification, random Random forest classification, etc., Deep Learning-based algorithm models include Convolutional Neural Network, Generative Adversarial Networks, etc., and various other data augmentation techniques and enhancements. It can be expanded and applied to all predictable AI learning-based algorithms that are currently open or developed in the future, such as learning techniques.
  • a convolutional neural network and an input node extract feature map data corresponding to individual tooth features by repeatedly performing convolution and pooling on a dental panoramic X-ray image and/or intraoral photographic image.
  • hidden nodes, and output nodes are connected in a fully connected layer structure, and a fully connected layer that outputs individual tooth regions, tooth pattern numbers, and tooth states based on feature map data extracted by a convolutional neural network.
  • An artificial intelligence inference model in which fully connected layer neural networks are combined is exemplified.
  • the artificial intelligence model may be learned by a supervised learning method based on labeled training data and/or unsupervised learning based on unlabeled training data. For example, dental panoramic X-ray images and/or intraoral photographic images may be input to input nodes of learning data, and individual tooth regions, tooth pattern numbers, and individual tooth states may be output to output nodes. The output values of the output nodes are compared with the labeling values of the training data and can be used to learn the artificial intelligence model by error backpropagation.
  • a prediction model can be designed for each type of machine learning, and furthermore, a model can be designed using a deep learning analysis method corresponding to a high-dimensional analysis of machine learning.
  • an artificial intelligence inference model may be defined in the form of an artificial intelligence neural network, and individual patients using X-ray images or intraoral photograph data labeled for each individual tooth. Attribute information such as dental care for each individual tooth or dental treatment status (defect, tooth decay, periodontal disease, prosthetic treatment, restorative treatment, etc.) can be generated through learning using artificial intelligence algorithms. Variable examples of the input data in FIGS. 6 and 7 can be further diversified according to the addition of parameters to be inferred for each individual tooth.
  • data used as output data for learning may include data of a state of teeth or a state after dental treatment corresponding to the input data of a state before dental treatment of an individual patient, and the like.
  • Text data for dental treatment records such as tooth extraction, implant treatment, crown treatment, bridge treatment, restorative treatment, and denture treatment on the treatment confirmation or medical record used in the input data, and image data such as oral photos and X-ray photos after dental treatment It can be used as output data for training of intelligent neural networks. Attribute information for each tooth labeled in FIGS. 6 and 7 may be further diversified according to parameters to be inferred.
  • a first artificial intelligence model for analyzing an X-ray image and a second artificial intelligence model (second reasoning model) for analyzing intraoral photographic images are utilized in combination
  • Information that can be obtained from X-rays of individual teeth eg, first analysis target information for individual teeth, such as whether there is tooth decay, whether there is nerve treatment, whether or not there is apical inflammation, whether or not implants are placed
  • first analysis target information for individual teeth, such as whether there is tooth decay, whether there is nerve treatment, whether or not there is apical inflammation, whether or not implants are placed
  • Existing information for example, secondary analysis target information for individual teeth such as the type of restoration material (gold, ceramic, resin, etc.) and restoration range during tooth restoration
  • restoration material gold, ceramic, resin, etc.
  • the first artificial intelligence model and the second artificial intelligence model are all analysis target information (eg, whether there is tooth decay, nerve treatment, apical inflammation, implant placement, restoration during tooth restoration) Weights are learned for each material type (gold, ceramic, resin, etc.), restoration range, etc., and individual tooth information is analyzed by combining the output values of the first artificial intelligence model and the second artificial intelligence model based on the learned weights.
  • the first artificial intelligence model and the second artificial intelligence model are synthesized and combined with output nodes corresponding to each other, and the output values of the first artificial intelligence model and the second artificial intelligence model have weights learned for each analysis target information. After being reflected and synthesized, it can be output. This synthesized output value can be compared with the labeling value of training data and used to simultaneously learn the first artificial intelligence model and the second artificial intelligence model by error backpropagation.
  • first weight values for analysis target information of the first artificial intelligence model and second weight values for analysis target information of the second artificial intelligence model are learned, and the learned first weight values and The second weight values may be used to analyze analysis target information about individual teeth based on an X-ray image and an intraoral photograph using the learned first and second artificial intelligence models.
  • a dental X-ray image and an intraoral photograph are input to input nodes of an artificial intelligence model in parallel, and convolutional feature maps are extracted from the dental X-ray image and an intraoral photograph, respectively, and the extracted convolutional feature maps Based on (first convolutional feature maps extracted from dental X-ray images and second convolutional feature maps extracted from intraoral photographs), weights are learned with a neural network such as a fully connected layer to analyze target information for individual teeth. You can also output output values for .
  • the communication unit 190 performs a communication function so that data can be exchanged between the communication network 1 and the dental medical record creation automation and dental insurance review automation system 100 .
  • the communication unit 190 may transmit/receive data and status data from the patient terminal, expert terminal, management server, and insurance company server, or transmit/receive output predicted result data.
  • the communication unit 190 is Bluetooth communication, Bluetooth Low Energy (BLE) communication, Near Field Communication unit (WLAN) communication, Zigbee communication, infrared data association (IrDA) communication, Short-distance communication such as Wi-Fi Direct (WFD) communication, ultra-wideband (UWB) communication, and Ant+ communication may be provided.
  • the communication unit 160 may provide a mobile communication function such as 2G, 3G, 4G, 5G, or WiBro.
  • 10 is an exemplary flowchart illustrating a work process for automating examination work for dental insurance subscription and insurance premium claim according to individual criteria of dental insurance companies according to an embodiment of the present invention.
  • 11 is an exemplary view of an application for realizing a business process for automating dental insurance subscription and insurance premium claims according to individual criteria of dental insurance companies according to an embodiment of the present invention.
  • tooth identification teeth based on the documents submitted by a specific patient when signing up for dental insurance and applying for insurance money, and the patient's X-ray image evidence or intraoral image evidence It is possible to automatically analyze information such as whether there is a tooth, whether a tooth is identified, whether a tooth is treated, and its type, thereby automating the process of subscribing to dental insurance and claiming insurance premiums according to individual standards of dental insurers.
  • the present invention based on the documents submitted by a specific patient when signing up for dental insurance and applying for insurance money, and the patient's X-ray image evidence or intraoral image evidence, the presence or absence of teeth for tooth identification, teeth for tooth identification It is possible to automatically analyze information such as whether or not to receive treatment and its type, so that the examination of dental insurance subscription and insurance premium claims can be automated according to the individual standards of the dental insurance company.
  • FIG. 12 is an exemplary view showing an example of a dental chart generated for an animal that needs dental chart preparation by being applied to an animal that has teeth and needs dental treatment according to the present invention.
  • Functions provided by the embodiments of the present invention as described above can be applied not only to humans but also to non-human animals requiring dental treatment with teeth.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Finance (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Biomedical Technology (AREA)
  • Technology Law (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

치과검진 및 치료기록 작성 자동화 및 치과 보험심사 검증 자동화를 위한 방법 및 자동화된 치아차트 및 치과진료확인서 생성 및 검증 시스템이 개시된다. 본 발명에 따른 자동화된 치아차트 및 치과진료확인서 생성 및 검증 시스템 및 그 방법은 치과의무기록 자동화 및 치과보험 심사 자동화를 위해 치과 엑스레이 자료, 구강내 사진 자료, 텍스트 자료, 디지털 입력자료를 기반으로 치아 검진기록지 또는 치료기록지 작성을 자동으로 추론하고 상호 검증한다.

Description

치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템
본 발명은 치과검진, 치료기록 작성 및 치과 보험심사 검증의 자동화를 위한 방법 및 이를 위한 자동화된 치아차트 및 치과진료확인서 생성 및 검증 시스템에 관한 것으로, 보다 구체적으로 치과의무기록 생성의 자동화 및 치과 보험심사의 자동화를 위해 치과 엑스레이 자료, 구강내 사진 자료, 치과 치료 관련 텍스트 자료 및 디지털 입력자료를 기반으로 치아 검진기록지 및/또는 치료기록지 작성을 자동으로 추론하고 상호 검증하기 위한 시스템 및 방법에 관한 것이다.
본 발명은 교육부의 이공학학술연구기반구축사업(과제고유번호: 1345353856, 과제번호: 2022R1I1A1A01069188, 연구과제명: 딥러닝 기반 치과용 메디컬 트윈시스템 개발을 통한 치과질환 조기진단 및 예후예측, 맞춤형 예방 및 치료법 도출 연구, 과제관리기관: 한국연구재단, 과제수행기관: 고려대학교, 연구기간: 2022.06.01 ~ 2025.05.31)의 일환으로 수행한 연구로부터 도출된 것이다. 한편, 본 발명의 모든 측면에서 한국 정부의 재산 이익은 없다.
치과 의료기관은 치과 전문분야에 맞는 형식을 갖춘 의무기록(EMR, Electronic Medical Record)을 이용하여 검진 및 진료정보를 전자차트에 입력하며, 치과 보험사의 경우 보험료 심사 및 지급에 필요한 진료기록 확인서에 검진 및 진료정보를 입력 받고 있다.
도 1은 일반적으로 치과에서 사용하고 있는 전자차트의 예를 보여주고 있다. 도 1을 참조하면, 치과에서 사용하는 차트는 치아를 나타내는 치아 차트(Chart)(1)부분과, 환자의 진료정보를 입력하는 입력 창(2) 부분으로 나뉠 수 있다. 사용자는 치아 차트(1)에서 치아 및 치아 부위를 선택하고, 치아의 상태(크라운 치료, 임플란트 치료, 치아결손, 충치, 파절, 치아수복, 치주염) 등의 진료정보를 그림 형식으로 입력해야 한다. 치아 차트를 그림 형식으로 입력 시 종래의 방법은 개별 환자의 엑스레이 영상과 병행하여 구강 내 육안검사를 통하여 수기로 입력하는 것이어서 많은 노동력과 시간의 소요는 불가피 하였다.
이러한 문제를 해결하고자 치아의 파노라마 영상(Panorama Image)을 이용하여 차팅(Charting)을 하는 방법이 제안된 바 있으나(특허문헌 1; 등록특허공보 10-1723652호), 해당 파노라마 영상을 이용한 차팅 기술은 환자들의 치과 엑스레이상에서 볼 수 있는 랜드마크의 평균치 데이터를 이용하여 엑스레이 영상 내에서 치아를 인식, 분리하는 반 자동화된 영상 분석 방식으로, 해당 방식으로는 개별 환자에 대한 치아영역 인식 및 분리의 정확도가 낮을 수밖에 없어 지정된 치아 영역을 다시 재 교정 및 재 매핑(Mapping)을 진행하게 되어 결국 다시 많은 노력과 시간이 필요로 하게 된다.
또한, 그레이 스케일의 엑스레이 만으로는 치아 수복물의 재료 종류(골드, 세라믹, 지르코니아, 레진 등)와, 치아의 부분 수복 시 교합면(씹는면)에서 바라보는 수복 영역의 형태에 대한 기록 작업을 위해 다시 환자 구강 내를 육안으로 확인해야 할 수밖에 없으며, 치과 그림차트 작성을 위한 반복작업이 완전이 사라지지 않아 치과 그림차트 작성에 대한 불편함이 여전히 존재하고 있다.
도 2는 치아보험 전용 진료확인서의 표준안이다. 도 2를 참조하면, 치아보험 전용 진료확인서는 초진 내용을 입력하는 부분(1)과 진료정보를 입력하는 입력 창 부분(2)으로 나뉠 수 있다. 기록 입력자는 진료확인서의 (1)번 부분과 (2)번 부분에 치과용 엑스레이와, 진료차트 및 구강내 사진까지 병행하여 검진내용을 모두 수기로 입력해야 하기에 많은 노동력과 시간의 소요는 불가피하였다. 또한, 각 치과 보험사 별로 진료확인서의 양식이 표준안과 상이한 부분도 있어, 중복기록 또는 기록 누락 등의 정확도 저하가 발생할 가능성이 높다. 치아보험 전용 진료확인서 작성에 관한 상기의 문제를 자동화하여 해결하기 위한 방법은 아직까지 공개된 바 없으며, 또한 작성된 진료확인서를 보험회사에 제출 후 보험회사가 해당 자료를 자동화하여 검증하는 방법 또한 공개된 바 없다.
치과 전자차트 작성에 있어 전술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 개별 환자의 치과 파노라마 엑스레이 데이터와 구강내 사진 데이터를 병행 이용하여, 인식된 개별치아에 대하여 치과 차트작성 시 엑스레이 정보와 육안 정보의 해석을 병행하여 수행함으로써 치과 차트의 작성을 완전 자동화하는 것을 목적으로 한다.
또한, 본 발명은 종래와 같이 엑스레이만을 기준으로 엑스레이 정보에서 획득되는 생물학적 정보의 평균치 데이터와 랜드마크를 기반으로 개별치아 인식 및 치아상태 추론을 수행하는 반자동화 방식이 아니라, 학습된 인공지능 신경망을 이용하여 치과 엑스레이 판독과 구강내 육안 사진을 동시에 병행하여 분석하고, 치아 차트 작성시에 엑스레이 정보와 함께 엑스레이 정보에서 얻을 수 없고 구강내 육안 사진을 통해서만 채득이 가능한 개별치아에 대한 시각정보에 대한 데이터 또한 수집하여 엑스레이 정보와 병행하여 분석 및 검증함으로써, 완전한 치과 차트 작성, 상시 추가 수정 및 치과 차트의 완전한 자동화 작성을 가능하도록 하는 것을 목적으로 한다.
더 나아가, 본 발명은 치과 보험회사에서 필요로 하는 진료기록부의 작성과 제출된 치과진료확인서의 재 검증 작업의 자동화가 가능하여, 이를 이용한 치과 보험심사의 자동화 지원을 제공하는데 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 문제점을 해결하기 위한 본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 데이터 입력부에 의해, 개별환자의 치과 파노라마 엑스레이 영상과 구강내 사진 영상을 업로드하는 단계; 및 추론부에 의해 업로드된 상기 치과 파노라마 엑스레이 영상 및 상기 구강내 사진 영상의 각 영상 별로 인공지능 알고리즘에 의해 치과 치식에 맞추어 치식에 매핑되는 치아의 영역에 대한 좌표를 치식별로 동시에 자동으로 추론하고, 각각의 업로드된 영상에 동시에 표시하는 단계를 포함하며, 치아차트 및 치과치료확인서의 자동화된 생성을 위해 상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 데이터를 병행 분석하는 것을 특징으로 한다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 테이터를 병행 분석함으로써 엑스레이 영상에서만 얻을 수 있는 치식 별 속성정보와 구강내 사진 영상에서만 얻을 수 있는 치식 별 속성정보를 인공지능 알고리즘을 통하여 자동으로 추론하고, 동시에 치식별로 통합하여 상기 치아차트를 완전 자동으로 생성하는 것을 특징으로 한다.
상기 인공지능 알고리즘은 상기 치과 파노라마 엑스레이 영상에서 개별치아를 인식하고 상태를 추론하는 제1 추론모델과, 상기 구강내 사진 영상에서 개별치아를 인식하고 상태를 추론하는 제2 추론모델을 병행 이용하여 개별 치식에 해당되는 치아 영역 및 상기 치식 별 속성정보를 추론하는 인공지능 학습기반의 추론 알고리즘을 포함할 수 있다.
상기 제1 추론모델은 상기 치과 파노라마 엑스레이 영상으로부터 상기 개별치아에 대해 제1 치아 분석 대상 정보를 추론하기 위한 제1 인공지능 모델을 포함할 수 있다. 상기 제2 추론모델은 상기 구강내 사진 영상으로부터 상기 개별치아에 대해 상기 제1 치아 분석 대상 정보와 상이한 제2 치아 분석 대상 정보를 추론하기 위한 제2 인공지능 모델을 포함할 수 있다. 상기 제1 치아 분석 대상 정보는 치아 충치여부, 신경치료 여부, 치근단 염증여부 및 임플란트 식립여부를 포함할 수 있다. 상기 제2 치아 분석 대상 정보는 치아수복시 수복재료의 종류 및 수복 범위를 포함할 수 있다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 치과 치식별 개별치아의 속성정보를 기반으로, 다양한 치과치료확인서 양식에 맞춘 치과치료확인서에 대한 자동 생성이 가능한 것을 특징으로 한다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 수정부에 의해, 상기 치아차트 및 상기 치과진료확인서 중의 적어도 하나를 관리자 단말에 의해 수정하는 단계; 및 통신부에 의해, 상기 치아차트 및 상기 치과치료확인서 중의 적어도 하나를 환자 단말, 전문가 단말, 관리 서버 또는 보험사 서버에 송신하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 환자에 대한 치과 파노라마 엑스레이 영상 데이터 및 구강내 사진 영상 데이터는 치식별 매핑 후 상호 데이터 매핑을 통해 공통 수집 및 상호 검증이 가능한 것을 특징으로 한다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 환자에 대해 수동으로 작성된 치아차트 또는 치과치료확인서 데이터가 있는 경우, 검증부에 의해, 상기 환자에 대해 획득된 치과 파노라마 엑스레이 데이터 또는 구강내 사진 데이터를 기반으로 치식별 개별 치아의 속성정보를 다시 추론하여 수기 작성된 치아차트 또는 치과치료확인서를 검증하는 것을 특징으로 한다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 상기 추론부에 의해, 환자에 대한 치료 단계별로 획득한 치식별 개별 치아에 대한 차이점을 분석하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법은 치과 보험심사 자동화 시스템에 의해, 환자가 치과보험 가입 또는 보험금 신청 시 제출한 서류와 상기 환자의 엑스레이 영상 증빙자료 또는 구강내 영상 증빙자료를 기반으로 치식별 치아의 존재여부, 치식별 치아의 치료여부 및 치료 종류를 포함한 치과 치료 관련 정보를 자동으로 분석하고, 분석된 치과 치료 관련 정보를 기반으로 치과보험사의 개별 기준에 따라 치과보험 가입 또는 보험료 청구에 대한 심사 업무를 자동화하는 단계를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 자동화된 치아차트 생성 및 치과치료확인서 생성 및 검증 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체가 제공된다.
또한, 본 발명의 실시예에 따르면, 개별환자의 치과 파노라마 엑스레이 영상과 구강내 사진 영상을 업로드하는 데이터 입력부; 및 업로드된 상기 치과 파노라마 엑스레이 영상 및 상기 구강내 사진 영상의 각 영상 별로 인공지능 알고리즘에 의해 치과 치식에 맞추어 치식에 매핑되는 치아의 영역에 대한 좌표를 치식별로 동시에 자동으로 추론하고, 각각의 업로드된 영상에 동시에 표시하는 추론부를 포함하며, 상기 추론부는 치아차트 및 치과치료확인서의 자동화된 생성을 위해 상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 데이터를 병행 분석하도록 구성되는 것을 특징으로 하는 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템이 제공된다.
상기 추론부는 상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 테이터를 병행 분석함으로써 엑스레이 영상에서만 얻을 수 있는 치식 별 속성정보와 구강내 사진 영상에서만 얻을 수 있는 치식 별 속성정보를 인공지능 알고리즘을 통하여 자동으로 추론하고, 동시에 치식별로 통합하여 상기 치아차트를 완전 자동으로 생성하도록 구성될 수 있다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템은 치과 치식별 개별치아의 속성정보를 기반으로, 다양한 치과치료확인서 양식에 따라 치과치료확인서를 자동 생성하는 치료확인서 생성부를 더 포함할 수 있다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템은 환자에 대한 치과 파노라마 엑스레이 영상 데이터 및 구강내 사진 영상 데이터에 대해 치식별 매핑 후 상호 데이터 매핑을 통해 치아 정보를 공통 수집하고 치식별 치아 정보를 상호 검증하도록 구성되는 검증부를 더 포함할 수 있다.
상기 검증부는 환자에 대해 수동으로 작성된 치아차트 또는 치과치료확인서 데이터가 있는 경우, 상기 환자에 대해 획득된 치과 파노라마 엑스레이 데이터 또는 구강내 사진 데이터를 기반으로 치식별 개별 치아의 속성정보를 다시 추론하여 수기 작성된 치아차트 또는 치과치료확인서를 검증할 수 있다.
본 발명의 실시예에 따른 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템은 환자가 치과보험 가입 또는 보험금 신청 시 제출한 서류와 상기 환자의 엑스레이 영상 증빙자료 또는 구강내 영상 증빙자료를 기반으로 치식별 치아의 존재여부, 치식별 치아의 치료여부 및 치료 종류를 포함한 치과 치료 관련 정보를 자동으로 분석하고, 분석된 치과 치료 관련 정보를 기반으로 치과보험사의 개별 기준에 따라 치과보험 가입 또는 보험료 청구에 대한 심사 업무를 자동화하도록 구성되는 치과 보험심사 자동화 시스템을 더 포함할 수 있다.
상기한 바와 같이, 본 발명에 따르면, 엑스레이 자료와 구강내 시각자료를 병행하여 자동으로 치과차트의 개별치아에 매핑 및 상태정보를 반영 및 작성함에 따라, 개별 환자의 개별 치아의 손쉬운 분리가 가능하며, 개별 치아 별 상태가 자동으로 반영되어 간편하게 치아 차트를 생성할 수 있어 차트 작성자의 편의를 도모할 수 있다.
더 나아가, 본 발명에 따르면, 치과 보험 심사나 보험료 청구 시 각 개별 보험사 진료확인서 양식에 맞춘 작성서류의 생성 및 출력 자동화가 가능하여 진료확인서 작성에 편의를 도모할 수 있다.
또한, 치과 보험 심사나 보험료 청구 시 제출된 서류의 검증을 통한 심사업무의 효율성 확보 및 보험료 부당청구 방지를 통한 보험사 비용 건전성의 확보를 도모할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기에서 언급한 치아차트는 인간을 대상으로 할 뿐만 아니라, 치아를 가지고 치과치료를 필요로 하는 동물에 대한 치과적 치료에도 적용될 수 있다.
도 1은 종래의 치과의 환자 전자차트의 예를 보여주는 도면이다.
도 2는 종래의 치과보험사에 제출하는 표준안의 치과진료확인의 예를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템의 실시예를 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 5은 본 발명의 일 실시예에 따른 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템의 흐름도이다.
도 6은 본 발명에 따른 개별치아를 추론하는 인공지능 신경망 모델의 학습에 사용될 개별 치아 별 라벨링이 되어 있는 치과 엑스레이 데이터와 구강내 사진 데이터를 나타낸 예시도이다.
도 7은 치과 엑스레이 데이터와 구강내 사진에서 개별 치아를 인식하고 개별 치아의 상태를 추론하는 인공지능 추론모델을 만들기 위한 학습 과정 및 추론모델 생성과정을 나타낸 개념도이다.
도 8a 및 도 8b는 본 발명에 따른 치과 엑스레이상에서 개별치아를 인식하고 상태를 추론하는 추론모델과, 구강 내 사진상에서 개별치아를 인식하고 상태를 추론하는 추론모델을 병행 이용하여, 치과 차트를 자동으로 작성하는 일 예를 나타낸 예시도이다.
도 9a 및 도 9b는 본 발명에 따른 자동으로 작성된 치과 차트정보를 이용하여 보험회사 제출용 치료확인서를 자동으로 생성하는 치료확인서 생성부 및 기 제출된 치료확인서가 있을 경우 이를 치과 엑스레이 정보와 치과 구강내 사진정보를 대상으로 자동 작성된 개별치아 정보 데이터와 역으로 비교 검증하는 검증부의 일 예를 나타낸 예시도이다.
도 10은 본 발명의 실시예에 따라 치과보험사의 개별 기준에 따라 치과보험 가입 및 보험료 청구에 대한 심사 업무를 자동화하는 업무 프로세스의 흐름도를 나타낸 예시도이다.
도 11은 본 발명의 실시예에 따라 치과보험사의 개별 기준에 따라 치과보험 가입 및 보험료 청구에 대한 심사 업무를 자동화하는 업무 프로세스 구현을 위한 어플리케이션의 예시도이다.
도 12는 본 발명에 따라 치아를 가지고 치과치료를 필요로 하는 동물에 적용되어 치과차트 작성이 필요한 동물에 대해 생성된 치과 차트의 예를 나타낸 예시도이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명 시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 3은 본 발명의 일 실시예에 따른 진료 시스템을 개략적으로 나타낸 블록도이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 진료 시스템은 하나 이상의 단말(10), 관리 서버(20), 보험사 서버(30) 및 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템(100)을 포함할 수 있다.
단말(10), 관리 서버(20), 보험사 서버(30), 그리고 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템(100)은 유/무선 통신망(1)을 통해 상호 연결될 수 있으며, 치과 관련 치료 데이터 및 추론 결과 데이터를 상호 송수신할 수 있다.
단말(10)은 사용자 단말(11)과 전문가 단말(12)을 포함할 수 있다. 사용자 단말(11)은 환자가 소지한 모바일 장치 등의 컴퓨터 장치일 수 있다. 사용자 단말(11)은 자신의 치과 치료 데이터를 저장할 수 있다. 사용자 단말(11)은 예를 들어, 모바일 PC나 데스크탑 PC 등과 같은 PC, 스마트폰, 패드, 웨어러블 기기, 노트북 또는 PDA 등으로 구성될 수 있다. 이하에서, 사용자는 환자와 혼용되어 사용될 수 있다.
전문가 단말(12)은 치과 의사와 같은 치과 전문가가 소지한 모바일 장치 등의 컴퓨터 장치일 수 있다. 전문가 단말(120)은 예를 들어, 모바일 PC나 데스크탑 PC 등과 같은 PC, 스마트폰, 패드, 웨어러블 기기, 노트북 또는 PDA 등으로 구성될 수 있다. 전문가 단말(12)은 자신이 치료한 복수의 환자의 치료 데이터를 저장할 수 있다. 한편, 사용자 단말(11)과 전문가 단말(12) 각각에는 본 발명의 일 실시예에 따른 진료 시스템과 관련된 애플리케이션이 저장되어 구동될 수 있다.
관리 서버(20)는 진료 시스템을 전반적으로 운영할 수 있으며, 사용자 단말(11)과 전문가 단말(12)에서 전달받은 복수의 환자의 치료 데이터를 저장할 수 있다. 또한, 관리 서버(20)는 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템(100)에서 출력된 특정 환자의 예측 결과를 저장하고, 이를 사용자 단말(11), 전문가 단말(12) 및 보험사 서버(30)에 전달할 수 있다.
보험사 서버(30)는 특정 환자가 제출한 치과치료확인서와 해당 환자의 치료 후 엑스레이 및 구강내 사진의 결과를 기반으로 보험료 지급 범위를 검증할 수 있고, 이를 통해 보험금 이상 청구 여부를 평가할 수 있다.
도 4는 본 발명의 일 실시예에 따른 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템의 구성을 개략적으로 나타낸 블록도이다. 도 5은 본 발명의 일 실시예에 따른 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템의 흐름도이다. 도 6은 본 발명에 따른 개별치아를 추론하는 인공지능 신경망 모델의 학습에 사용될 개별 치아 별 라벨링이 되어 있는 치과 엑스레이 데이터와 구강내 사진 데이터를 나타낸 예시도이다. 도 7은 치과 엑스레이 데이터와 구강내 사진에서 개별 치아를 인식하고 개별 치아의 상태를 추론하는 인공지능 추론모델을 만들기 위한 학습 과정 및 추론모델 생성과정을 나타낸 개념도이다. 도 8a 및 도 8b는 본 발명에 따른 치과 엑스레이상에서 개별치아를 인식하고 상태를 추론하는 추론모델과, 구강 내 사진상에서 개별치아를 인식하고 상태를 추론하는 추론모델을 병행 이용하여, 치과 차트를 자동으로 작성하는 일 예를 나타낸 예시도이다. 도 9a 및 도 9b는 본 발명에 따라 자동으로 작성된 치과 차트정보를 이용하여 보험회사 제출용 치과치료확인서를 자동으로 생성하는 치료확인서 생성부 및 기 제출된 치료확인서가 있을 경우 이를 치과 엑스레이 정보와 치과 구강내 사진 정보를 대상으로 자동 작성된 개별치아 정보 데이터와 역으로 비교 검증하는 검증부의 일 예를 나타낸 예시도이다.
이하에서는 도 4 내지 도 9를 함께 참조하여, 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템(100)과 이를 통한 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법을 함께 설명한다.
우선, 도 4를 참조하면, 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템(100)은 데이터 입력부(110), 추론부(120), 차트 생성부(130), 치료확인서 생성부(140), 검증부(150), 검증결과 출력부(160), 수정부(170), 인공지능 추론모델 생성부(180) 및 통신부(190)를 포함할 수 있다.
데이터 입력부(110)는 개별 환자의 치과 파노라마 엑스레이 영상과 구강내 사진 영상을 업로드하는 단계를 수행할 수 있다. 데이터 입력부(110)는 통신부(190)를 통해 사용자 단말(11), 전문가 단말(12) 및 관리 서버(20)에서 복수의 사용자의 치료 데이터를 획득할 수 있다(S10). 여기서, 사용자의 치료 데이터는 엑스레이 데이터와 구강내 사진 데이터를 포함할 수 있다.
데이터 입력부(110)는 병의원 및 보험회사 등에서 보유하고 있는 복수의 환자에 대한 구강내 사진 및 치과 엑스레이 데이터와 같이, 치료 전 및 치료 후 상태를 확인할 수 있는 이미지 형태의 데이터를 구조적 형태의 디지털 데이터 베이스로 구축 및 수집할 수 있다. 또한, 데이터 입력부(110)는 영상 데이터를 디지털 데이터화 할 수 있으며, 추가로 정규화 등의 다양한 데이터 전처리 과정을 수행할 수 있다.
추론부(120)는 라벨링이 되지 않은 입력된 엑스레이 영상 데이터 및 구강내 사진 영상 상에서 치과 차트 상의 개별 치아에 대응하는 치아를 치식별로 인식하고(S12), 개개 치아 별 치료 상태를 추론할 수 있다(S14). 또한, 추론부(120)는 환자에 대한 치료 단계별로 획득한 치식별 개별 치아에 대한 차이점을 분석할 수 있다.
추론부(120)는 치과 파노라마 엑스레이 영상과 구강내 사진 영상을 포함하는 이종의 영상 테이터를 병행 분석함으로써 엑스레이 영상에서만 얻을 수 있는 치식 별 속성정보와 구강내 사진 영상에서만 얻을 수 있는 치식 별 속성정보를 인공지능 알고리즘을 통하여 자동으로 추론하고, 동시에 치식별로 통합하여 치아차트를 완전 자동으로 생성할 수 있다.
추론부(120)는 인공지능 신경망을 이용한 딥러닝 기반의 객체 검출 알고리즘을 기반으로 개별 환자의 치과 파노라마 엑스레이 영상과 구강내 사진 영상에서 개별 치아 영역을 식별하고 해당 치아의 치아번호를 자동으로 인지하며, 식별된 개개의 치아를 다시 인공지능 기반의 객체 분류 알고리즘을 통하여 개별 치아의 상태를 추론할 수 있다.
추론부(120)는 치과 파노라마 엑스레이 영상에서 개별치아를 인식하고 상태를 추론하는 추론모델과, 구강내 사진 영상에서 개별치아를 인식하고 상태를 추론하는 추론모델을 병행 이용하는 인공지능 학습기반의 추론 알고리즘을 이용하여, 개별 치식에 해당되는 치아 영역 및 치식 별 속성정보를 포함하는 치과 치료 관련 정보를 추론할 수 있다.
도 7을 참조하면, 추론부(120)는 추론 모델을 이용할 경우 추론 대상이 되는 같은 환자에서 얻은 엑스레이 영상 데이터와 구강내 사진 영상 데이터를 대상으로, 치과 엑스레이 상에서 개별치아를 치식별로 우선 인식하고(S12), 해당 개별치아에서 엑스레이 자료에서만 얻을 수 있는 정보(치아 충치여부, 신경치료 여부, 치근단 염증여부, 임플란트 식립여부 등)를 추론할 수 있다(S14).
이와 병행하여, 추론부(120)는 구강내 사진 영상 자료에서 개별치아를 치식별로 우선 인식(S12)하고, 구강내 사진 영상에서만 얻을 수 있는 정보(치아수복시 수복재료(금, 세라믹, 레진 등)의 종류 및 수복 범위 등)를 추론(S14)할 수 있다. 엑스레이 영상 데이터와 구강내 사진 영상 데이터로부터 추론된 치과 치료 관련 정보는 각 치식별 개별치아의 속성 정보로서 완전한 개별 치아별 치과차트 작성에 필요한 정보로 통합 저장될 수 있다(S15).
도 8a 및 도 8b를 참조하면, 추론부(120)를 통하여 각 치식별 개별치아에 대해 추론된 정보는 차트 생성부(130)를 통하여 치과 차트 양식에 맞추어 그림 또는 텍스트 정보로 표현되고 출력(S19)될 수 있다. 차트 생성부(130)는 추론된 개별 치아 상태 결과값을 반영하여 치과 차트를 자동으로 생성할 수 있다.
치과치료 확인서 생성부(140)는 작성된 치과 차트 데이터를 이용하여 보험사에 제출 가능한 치과치료 확인서를 자동으로 생성할 수 있다. 도 9a 및 도 9b를 참조하면, 추론부(120)를 통하여 각 치식별 개별치아에 대해 추론된 정보는 치료확인서 생성부(140)에 의해 다시 보험회사 제출을 위한 치과치료확인서 양식에 맞추어 그림 또는 텍스트 정보로 표현되며, 이에 따라 치과치료확인서가 출력(S21)될 수 있다.
상기의 치과차트 및 치과치료확인서의 명칭과 형식 등은 각각 도 1과 도 2에서 예시되어 있으나, 해당 명칭 및 양식은 다양한 형태로 변화될 수 있으며, 그 변화 양식은 기존의 양식의 기능과 역할로 예측 가능한 것들로 본 기술서의 양식과 명칭으로 제한되지 않는다.
상술한 바와 같이 단계 S12에서 생성되는 추론 결과에 대한 정보, 단계 S19에서 생성되는 치과 차트, 단계 S21에서 생성되는 치과치료확인서(S21)와 관련된 데이터는 통신부(190)를 통해 관리 서버(20) 및/또는 보험사 서버(30)에 제공될 수 있다.
검증부(150)는 입력된 엑스레이 영상과 구강내 사진 영상을 이용하여 생성된 개별 치아 상태와 치과치료 확인서 상의 개별 치아 상태를 상호 검증할 수 있다. 환자에 대한 치과 파노라마 엑스레이 영상 데이터 및 구강내 사진 영상 데이터는 검증부(150)에 의해 치식별로 매핑 후 상호 데이터 매핑을 통해 공통 수집 및 상호 검증될 수 있다.
또한, 검증부(150)는 환자에 대해 수동으로 작성된 치아차트 또는 치과치료확인서 데이터가 있는 경우, 환자에 대해 획득된 치과 파노라마 엑스레이 데이터 또는 구강내 사진 데이터를 기반으로 치식별 개별 치아의 속성정보를 다시 추론하여 수기 작성된 치아차트 또는 치과치료확인서를 검증할 수 있다.
보험사 서버(30)에서는 제출된 치과치료 확인서(S21)와 각 치식별 치아에 대응되는 치과상태 정보(S15)를 기반으로 특정 환자의 개별치아별 치료 여부 및 치료의 정보를 검증부(150)를 통하여 상호 검증할 수 있으며, 개별치아에 대해서 검증된 결과는 검증결과 출력부(160)를 통하여 전문가나, 사용자, 보험 회사 등에 제공될 수 있다.
수정부(170)는 개별치아 상태를 시스템 이용자가 수정할 수 있도록 제공될 수 있다. 시스템 관리자 또는 데이터 관리자는 수정부(170)를 통하여 인공지능 추론이 잘못되었거나 누락된 경우 등 치과 전문의가 보았을 때 추론된 결과에 오류가 있는 부분에 대해 전자차트를 이용하여 각 치식별 개별치아에 대한 속성 정보를 수작업으로 수정할 수 있다.
인공지능 추론모델 생성부(180)는 데이터 획득부(110)에서 획득한 데이터를 기반으로 도 6과 같이 해당 엑스레이 및 구강내 사진상에 각 개별치아에 대한 영역표시 및 상태를 라벨링한 데이터를 도 7과 같이 인공지능 알고리즘을 기반으로 학습한 추론 모델을 생성할 수 있다.
도 6에서는 인공지능 추론 모델에 의해 추론된 개별 치아 영역이 사각 박스 형태로 표시되고, 개별 치아 상태가 MIn(silver-colored metal inlay), CMC(silver-colored complete metal crown), GCMC(gold-colored complete metal crown), CR(composite resin filling) 등으로 표시되어 있다.
인공지능 추론모델 생성부(180)는 다양한 인공지능 알고리즘 기술을 적용하여 디지털 형태의 데이터를 기반으로 라벨링된 데이터를 학습하며, 임의의 치과 엑스레이나 구강내 사진이 입력될 경우 각 개별치아를 인식하고, 해당 치아에 대한 치식번호와 치과치료 상태와 같은 속성정보를 추론하는 인공지능 모델을 생성할 수 있다.
인공지능 추론모델 생성부(180)가 응용 가능한 인공지능 기반의 학습 알고리즘 모델로는 기계 학습(Machine Learning) 기반의 알고리즘 모델로 다층 퍼셉트론(Multilayer perceptron), 나이브 베이지안 분류(Naive-Bayesian classification), 랜덤 포레스트 분류(Random forest classification) 등과, 딥러닝(Deep Learning)기반의 알고리즘 모델로 컨벌루셔날 신경망(Convolutional Neural Network), 적대적 생성망(Generative Adversarial Networks) 등이 있으며, 이 외 다양한 데이터 증강 기법 및 강화학습 기법 등 현재 공개되어 되었거나, 향후 개발되는 예상 가능한 모든 인공지능 학습기반의 알고리즘으로 확대 적용될 수 있다.
도 7의 실시예에는 치과 파노라마 엑스레이 영상 및/또는 구강내 사진 영상에 대해 컨볼루션 처리와 풀링 처리를 반복적으로 수행하여 개별 치아특징에 해당하는 특징맵 데이터를 추출하는 컨볼루셔날 신경망과, 입력 노드들과 은닉 노드들 및 출력 노드들이 완전 연결층(fully connected layer) 구조로 연결되어 컨볼루셔날 신경망에 의해 추출된 특징맵 데이터를 기초로 개별 치아 영역과 치식번호 및 치아 상태를 출력하는 완전 연결층 신경망(fully connected layer neural networks)이 결합된 인공지능 추론 모델이 예시되어 있다.
인공지능 모델은 라벨링된 학습 데이터를 기반으로 하는 지도 학습 방식 및/또는 라벨링되지 않은 학습 데이터를 기반으로 하는 비지도 학습에 의해 학습될 수 있다. 일 예로, 학습 데이터의 입력 노드들에는 치과 파노라마 엑스레이 영상 및/또는 구강내 사진 영상이 입력되고, 출력 노드들에는 개별 치아 영역, 치식번호 및 개별 치아 상태가 출력될 수 있다. 출력 노드들의 출력 값은 학습 데이터의 라벨링 값과 비교되어 인공지능 모델을 오차 역전파에 의해 학습하는데 활용될 수 있다.
한편, 기계 학습을 수행하기 위한 소프트웨어로서는, GNU 일반 공중 사용 허가서로 허가된 자유 소프트웨어인 웨카(Weka, Waikato Environment for Knowledge Analysis), 비영리의 파이썬 소프트웨어 재단이 관리하는 개방형, 공동체 기반 개발 모델인 프로그래밍 언어 파이썬(Python), 통계 계산과 그래픽을 위한 프로그래밍 언어이자 오픈소스 소프트웨어인 R, 그리고 유료로 MathWorks 사에서 개발한 수치 해석 및 프로그래밍 환경을 제공하는 공학용 소프트웨어인 매트랩(MATLAB) 등 현재 공개되어 되었거나, 향후 개발되는 예상 가능한 모든 인공지능 프로그래밍 언어 및 플랫폼이 확대 적용될 수 있다. 본 발명에서는 기계 학습의 각 종류별로 예측 모델을 디자인할 수 있으며, 더 나아가 기계 학습의 고차원적 분석에 해당하는 딥러닝(deep learning)의 분석 방법을 이용하여 모델을 설계 할 수 있다.
한편, 도 7을 참조하면, 일 실시예에서 인공지능 추론 모델은 인공지능 신경망(Artificial neural network)의 형태로 정의될 수 있고, 개별 치아별로 라벨링 된 엑스레이 영상이나 구강내 사진 데이터를 이용하여 개별 환자의 개별 치아별 치식이나 치아 치료상태(결손, 충치, 치주질환, 보철치료유무, 수복치료 유무 등) 등의 속성정보를 인공지능 알고리즘을 이용한 학습을 통하여 생성될 수 있다. 도 6과 도 7에서의 입력데이터의 변수 예시는 개별 치아별로 추론하고자 하는 파라미터의 추가에 따라 더 다양화 될 수 있다.
도 8a 및 도 8b를 참조하면, 학습을 위하여 출력데이터로 이용되는 데이터는 상기의 개별 환자의 치과치료 전 상태의 입력 데이터에 대응되는 치아 상태나 치과치료 후 상태의 데이터 등을 포함할 수 있으며, 입력 데이터에서 사용되었던 치료확인서 또는 진료기록지 상의 발치, 임플란트 치료, 크라운치료, 브릿지 치료, 수복치료, 틀니치료 등 치과치료기록에 대한 텍스트 데이터 및 치과치료 후 구강사진, 엑스레이 사진 등의 영상 데이터가 인공지능 신경망의 훈련을 위한 출력데이터로 이용될 수 있다. 도 6과 도 7에서 라벨링되는 개개 치아별 속성 정보는 추론하고자 하는 파라미터에 따라 더 다양화 될 수 있다.
본 발명의 실시예에 의하면, 엑스레이 영상을 분석하는 제1 인공지능 모델(제1 추론모델)과, 구강내 사진 영상을 분석하는 제2 인공지능 모델(제2 추론모델)을 복합적으로 활용하여, 개별 치아에서 엑스레이에서 얻을 수 있는 정보(예를 들어, 치아 충치여부, 신경치료 여부, 치근단 염증여부, 임플란트 식립여부 등의 개별 치아에 대한 제1 분석 대상 정보)와, 구강내 사진 영상에서 얻을 수 있는 정보(예를 들어, 치아수복시 수복재료의 종류(금, 세라믹, 레진과 같은 수복 재료의 종류) 및 수복 범위 등의 개별 치아에 대한 제2 분석 대상 정보)를 통합하여 분석할 수 있다.
본 발명의 변형된 실시예에서, 제1 인공지능 모델과 제2 인공지능 모델은 모든 분석 대상 정보(예를 들어, 치아 충치여부, 신경치료 여부, 치근단 염증여부, 임플란트 식립여부, 치아수복시 수복재료의 종류(금, 세라믹, 레진 등), 수복 범위 등) 별로 가중치가 학습되어 학습된 가중치를 기초로 제1 인공지능 모델 및 제2 인공지능 모델의 출력 값을 조합하여 개별 치아 정보를 분석할 수도 있다.
이 경우, 제1 인공지능 모델과 제2 인공지능 모델은 서로 대응하는 출력 노드끼리 합성 결합되며, 제1 인공지능 모델과 제2 인공지능 모델의 출력 값들은 각각의 분석 대상 정보 별로 학습된 가중치가 반영되어 합성된 후 출력될 수 있다. 이 합성된 출력 값은 학습 데이터의 라벨링 값과 비교되어 오차 역전파에 의해 제1 인공지능 모델 및 제2 인공지능 모델을 동시에 학습하는데 활용될 수 있다.
이러한 학습 과정을 통해 제1 인공지능 모델의 분석 대상 정보들에 대한 제1 가중치 값들과, 제2 인공지능 모델의 분석 대상 정보들에 대한 제2 가중치 값들이 학습되며, 학습된 제1 가중치 값들과 제2 가중치 값들은 학습된 제1 및 제2 인공지능 모델을 이용하여 엑스레이 영상 및 구강 내 사진을 기초로 개별 치아에 대한 분석 대상 정보들을 분석하는데 이용될 수 있다.
또 다른 실시예에서, 치과 엑스레이 영상과 구강내 사진이 병렬적으로 인공지능 모델의 입력 노드들에 입력되어 치과 엑스레이 영상과 구강내 사진으로부터 각각 컨볼루션 특징 맵들이 추출되고, 추출된 컨볼루션 특징 맵들(치과 엑스레이 영상으로부터 추출된 제1 컨볼루션 특징 맵들 및 구강내 사진으로부터 추출된 제2 컨볼루션 특징 맵들)을 기반으로 완전 연결층 등의 신경망으로 가중치를 학습하여 개별 치아에 대한 분석 대상 정보들에 대한 출력 값들을 출력할 수도 있다.
통신부(190)는 통신망(1)과 치과 진료기록 작성 자동화 및 치과 보험심사 자동화 시스템(100) 간에 데이터를 교환할 수 있도록 통신 기능을 수행한다. 통신부(190)는 환자 단말, 전문가 단말, 관리 서버, 보험사 서버에서 데이터 및 상태 데이터를 송수신하거나, 출력된 예측 결과 데이터를 송수신할 수 있다. 통신부(190)는 블루투스 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선통신(Near Field Communication unit), WLAN(Wi-Fi) 통신, 지그비(Zigbee) 통신, 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신 등의 근거리 통신을 제공할 수 있다. 실시예에 따라서 통신부(160)는 2G, 3G, 4G, 5G, 와이브로 등의 이동 통신 기능을 제공할 수도 있다.
도 10은 본 발명의 실시예에 따라 치과보험사의 개별 기준에 따라 치과보험 가입 및 보험료 청구에 대한 심사 업무를 자동화하는 업무 프로세스의 흐름도를 나타낸 예시도이다. 도 11은 본 발명의 실시예에 따라 치과보험사의 개별 기준에 따라 치과보험 가입 및 보험료 청구에 대한 심사 업무를 자동화하는 업무 프로세스 구현을 위한 어플리케이션의 예시도이다.
도 10 및 도 11을 참조하면, 본 발명의 실시예에 의하면, 특정 환자가 치과보험 가입 및 보험금 신청 시 제출한 서류와 해당 환자의 엑스레이 영상 증빙자료 또는 구강내 영상 증빙자료를 기반으로 치식별 치아의 존재여부, 치식별 치아의 치료여부 및 그 종류 등의 정보를 자동으로 분석할 수 있게 되어, 치과보험사의 개별 기준에 따라 치과보험 가입 및 보험료 청구에 대한 심사 업무를 자동화할 수 있다.
또한, 본 발명의 실시예에 의하면, 특정 환자가 치과보험 가입 및 보험금 신청 시 제출한 서류와 해당 환자의 엑스레이 영상 증빙자료 또는 구강내 영상 증빙자료를 기반으로 치식별 치아의 존재여부, 치식별 치아의 치료여부 및 그 종류 등의 정보를 자동으로 분석할 수 있게 되어, 치과보험사의 개별 기준에 따라 치과보험 가입 및 보험료 청구에 대한 심사 업무를 자동화 할 수 있다.
도 12는 본 발명에 따라 치아를 가지고 치과치료를 필요로 하는 동물에 적용되어 치과차트 작성이 필요한 동물에 대해 생성된 치과 차트의 예를 나타낸 예시도이다. 상술한 바와 같은 본 발명의 실시예에 의해 제공되는 기능들은 인간 뿐 아니라, 치아를 가지고 치과 치료를 필요로 하는 인간 이외의 동물진료에도 적용이 가능하다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.

Claims (19)

  1. 데이터 입력부에 의해, 개별환자의 치과 파노라마 엑스레이 영상과 구강내 사진 영상을 업로드하는 단계; 및
    추론부에 의해, 업로드된 상기 치과 파노라마 엑스레이 영상 및 상기 구강내 사진 영상의 각 영상 별로 인공지능 알고리즘에 의해 치과 치식에 맞추어 치식에 매핑되는 치아의 영역에 대한 좌표를 치식별로 동시에 자동으로 추론하고, 각각의 업로드된 영상에 동시에 표시하는 단계를 포함하며,
    치아차트 및 치과치료확인서의 자동화된 생성을 위해 상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 데이터를 병행 분석하는 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법.
  2. 제1 항에 있어서,
    상기 추론부에 의해 상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 테이터를 병행 분석함으로써 엑스레이 영상에서만 얻을 수 있는 치식 별 속성정보와 구강내 사진 영상에서만 얻을 수 있는 치식 별 속성정보를 인공지능 알고리즘을 통하여 자동으로 추론하고, 동시에 치식별로 통합하여 상기 치아차트를 완전 자동으로 생성하는 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법.
  3. 제2 항에 있어서,
    상기 인공지능 알고리즘은 상기 치과 파노라마 엑스레이 영상에서 개별치아를 인식하고 상태를 추론하는 제1 추론모델과, 상기 구강내 사진 영상에서 개별치아를 인식하고 상태를 추론하는 제2 추론모델을 병행 이용하여 개별 치식에 해당되는 치아 영역 및 상기 치식 별 속성정보를 추론하는 인공지능 학습기반의 추론 알고리즘을 포함하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법.
  4. 제3 항에 있어서,
    상기 제1 추론모델은 상기 치과 파노라마 엑스레이 영상으로부터 상기 개별치아에 대해 제1 치아 분석 대상 정보를 추론하기 위한 제1 인공지능 모델을 포함하고,
    상기 제2 추론모델은 상기 구강내 사진 영상으로부터 상기 개별치아에 대해 상기 제1 치아 분석 대상 정보와 상이한 제2 치아 분석 대상 정보를 추론하기 위한 제2 인공지능 모델을 포함하고,
    상기 제1 치아 분석 대상 정보는 치아 충치여부, 신경치료 여부, 치근단 염증여부 및 임플란트 식립여부를 포함하고, 상기 제2 치아 분석 대상 정보는 치아수복시 수복재료의 종류 및 수복 범위를 포함하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법.
  5. 제1 항에 있어서,
    치료확인서 생성부에 의해, 치과 치식별 개별치아의 속성정보를 기반으로, 다양한 치과치료확인서 양식에 맞춘 치과치료확인서에 대한 자동 생성이 가능한 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법.
  6. 제1 항에 있어서,
    수정부에 의해, 상기 치아차트 및 상기 치과진료확인서 중의 적어도 하나를 관리자 단말에 의해 수정하는 단계; 및
    통신부에 의해, 상기 치아차트 및 상기 치과치료확인서 중의 적어도 하나를 환자 단말, 전문가 단말, 관리 서버 또는 보험사 서버에 송신하는 단계를 더 포함하는 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법.
  7. 제1 항에 있어서,
    환자에 대한 치과 파노라마 엑스레이 영상 데이터 및 구강내 사진 영상 데이터는 검증부에 의해 치식별 매핑 후 상호 데이터 매핑을 통해 공통 수집 및 상호 검증이 가능한 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 방법.
  8. 제1 항에 있어서,
    환자에 대해 수동으로 작성된 치아차트 또는 치과치료확인서 데이터가 있는 경우, 검증부에 의해 상기 환자에 대해 획득된 치과 파노라마 엑스레이 데이터 또는 구강내 사진 데이터를 기반으로 치식별 개별 치아의 속성정보를 다시 추론하여 수기 작성된 치아차트 또는 치과치료확인서를 검증하는 것을 특징으로 하는, 자동화된 치아차트 생성 및 치과치료확인서 생성 및 검증 방법.
  9. 제1 항에 있어서,
    상기 추론부에 의해, 환자에 대한 치료 단계별로 획득한 치식별 개별 치아에 대한 차이점을 분석하는 단계를 더 포함하는 것을 특징으로 하는, 자동화된 치아차트 생성 및 치과치료확인서 생성 및 검증 방법.
  10. 제1 항에 있어서,
    치과 보험심사 자동화 시스템에 의해, 환자가 치과보험 가입 또는 보험금 신청 시 제출한 서류와 상기 환자의 엑스레이 영상 증빙자료 또는 구강내 영상 증빙자료를 기반으로 치식별 치아의 존재여부, 치식별 치아의 치료여부 및 치료 종류를 포함한 치과 치료 관련 정보를 자동으로 분석하고, 분석된 치과 치료 관련 정보를 기반으로 치과보험사의 개별 기준에 따라 치과보험 가입 또는 보험료 청구에 대한 심사 업무를 자동화하는 단계를 더 포함하는 것을 특징으로 하는, 자동화된 치아차트 생성 및 치과치료확인서 생성 및 검증 방법.
  11. 제1 항에 기재된 자동화된 치아차트 생성 및 치과치료확인서 생성 및 검증 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.
  12. 개별환자의 치과 파노라마 엑스레이 영상과 구강내 사진 영상을 업로드하는 데이터 입력부; 및
    업로드된 상기 치과 파노라마 엑스레이 영상 및 상기 구강내 사진 영상의 각 영상 별로 인공지능 알고리즘에 의해 치과 치식에 맞추어 치식에 매핑되는 치아의 영역에 대한 좌표를 치식별로 동시에 자동으로 추론하고, 각각의 업로드된 영상에 동시에 표시하는 추론부를 포함하며,
    상기 추론부는 치아차트 및 치과치료확인서의 자동화된 생성을 위해 상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 데이터를 병행 분석하는 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템.
  13. 제12 항에 있어서,
    상기 추론부는:
    상기 치과 파노라마 엑스레이 영상과 상기 구강내 사진 영상을 포함하는 이종의 영상 테이터를 병행 분석함으로써 엑스레이 영상에서만 얻을 수 있는 치식 별 속성정보와 구강내 사진 영상에서만 얻을 수 있는 치식 별 속성정보를 인공지능 알고리즘을 통하여 자동으로 추론하고, 동시에 치식별로 통합하여 상기 치아차트를 완전 자동으로 생성하도록 구성되는 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템.
  14. 제13 항에 있어서,
    상기 인공지능 알고리즘은 상기 치과 파노라마 엑스레이 영상에서 개별치아를 인식하고 상태를 추론하는 제1 추론모델과, 상기 구강내 사진 영상에서 개별치아를 인식하고 상태를 추론하는 제2 추론모델을 병행 이용하여 개별 치식에 해당되는 치아 영역 및 상기 치식 별 속성정보를 추론하는 인공지능 학습기반의 추론 알고리즘을 포함하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템.
  15. 제14 항에 있어서,
    상기 제1 추론모델은 상기 치과 파노라마 엑스레이 영상으로부터 상기 개별치아에 대해 제1 치아 분석 대상 정보를 추론하기 위한 제1 인공지능 모델을 포함하고,
    상기 제2 추론모델은 상기 구강내 사진 영상으로부터 상기 개별치아에 대해 상기 제1 치아 분석 대상 정보와 상이한 제2 치아 분석 대상 정보를 추론하기 위한 제2 인공지능 모델을 포함하고,
    상기 제1 치아 분석 대상 정보는 치아 충치여부, 신경치료 여부, 치근단 염증여부 및 임플란트 식립여부를 포함하고, 상기 제2 치아 분석 대상 정보는 치아수복시 수복재료의 종류 및 수복 범위를 포함하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템.
  16. 제12 항에 있어서,
    치과 치식별 개별치아의 속성정보를 기반으로, 다양한 치과치료확인서 양식에 따라 치과치료확인서를 자동 생성하는 치료확인서 생성부를 더 포함하는 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템.
  17. 제12 항에 있어서,
    환자에 대한 치과 파노라마 엑스레이 영상 데이터 및 구강내 사진 영상 데이터에 대해 치식별 매핑 후 상호 데이터 매핑을 통해 치아 정보를 공통 수집하고 치식별 치아 정보를 상호 검증하도록 구성되는 검증부를 더 포함하는 것을 특징으로 하는, 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템.
  18. 제12 항에 있어서,
    환자에 대해 수동으로 작성된 치아차트 또는 치과치료확인서 데이터가 있는 경우, 상기 환자에 대해 획득된 치과 파노라마 엑스레이 데이터 또는 구강내 사진 데이터를 기반으로 치식별 개별 치아의 속성정보를 다시 추론하여 수기 작성된 치아차트 또는 치과치료확인서를 검증하도록 구성되는 검증부를 더 포함하는 것을 특징으로 하는, 자동화된 치아차트 생성 및 치과치료확인서 생성 및 검증 시스템.
  19. 제12 항에 있어서,
    환자가 치과보험 가입 또는 보험금 신청 시 제출한 서류와 상기 환자의 엑스레이 영상 증빙자료 또는 구강내 영상 증빙자료를 기반으로 치식별 치아의 존재여부, 치식별 치아의 치료여부 및 치료 종류를 포함한 치과 치료 관련 정보를 자동으로 분석하고, 분석된 치과 치료 관련 정보를 기반으로 치과보험사의 개별 기준에 따라 치과보험 가입 또는 보험료 청구에 대한 심사 업무를 자동화하도록 구성되는 치과 보험심사 자동화 시스템을 더 포함하는 것을 특징으로 하는, 자동화된 치아차트 생성 및 치과치료확인서 생성 및 검증 시스템.
PCT/KR2022/017206 2021-11-04 2022-11-04 치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템 WO2023080702A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0150197 2021-11-04
KR20210150197 2021-11-04
KR10-2022-0144927 2022-11-03
KR1020220144927A KR20230065177A (ko) 2021-11-04 2022-11-03 치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템

Publications (1)

Publication Number Publication Date
WO2023080702A1 true WO2023080702A1 (ko) 2023-05-11

Family

ID=86241849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/017206 WO2023080702A1 (ko) 2021-11-04 2022-11-04 치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템

Country Status (1)

Country Link
WO (1) WO2023080702A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723654B1 (ko) * 2016-04-22 2017-04-06 오스템임플란트 주식회사 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20200053336A (ko) * 2018-11-08 2020-05-18 오스템임플란트 주식회사 전자차트와 치과용 프로그램 간 연동방법 및 이를 수행하는 치과용 보험청구 시스템
KR20210056673A (ko) * 2019-11-11 2021-05-20 오스템임플란트 주식회사 전자차트 제공방법 및 그 장치
KR20210072346A (ko) * 2019-12-09 2021-06-17 오스템임플란트 주식회사 구강 영상 연동 장치, 구강 영상 연동 방법 및 기록 매체
KR20210091040A (ko) * 2020-01-13 2021-07-21 가톨릭대학교 산학협력단 치과 의무 기록 장치 및 그 치과 의무 기록 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723654B1 (ko) * 2016-04-22 2017-04-06 오스템임플란트 주식회사 치아 차트 생성 방법, 이를 위한 장치, 및 이를 기록한 기록매체
KR20200053336A (ko) * 2018-11-08 2020-05-18 오스템임플란트 주식회사 전자차트와 치과용 프로그램 간 연동방법 및 이를 수행하는 치과용 보험청구 시스템
KR20210056673A (ko) * 2019-11-11 2021-05-20 오스템임플란트 주식회사 전자차트 제공방법 및 그 장치
KR20210072346A (ko) * 2019-12-09 2021-06-17 오스템임플란트 주식회사 구강 영상 연동 장치, 구강 영상 연동 방법 및 기록 매체
KR20210091040A (ko) * 2020-01-13 2021-07-21 가톨릭대학교 산학협력단 치과 의무 기록 장치 및 그 치과 의무 기록 방법

Similar Documents

Publication Publication Date Title
US20200146646A1 (en) Systems and methods for processing of dental images
US11587184B2 (en) Computer vision-based claims processing
US9463081B2 (en) Intraoral video camera and display system
KR102557133B1 (ko) 치과 치료 예측 시스템 및 방법
US20160038092A1 (en) Applying non-real time and non-user attended algorithms to stored non-imaging data and existing imaging data for obtaining a dental diagnosis
CN107194153A (zh) 一种医疗美容互联网医院技术方案及实现方法
EP1874188A2 (en) Method for diagnosing disease from tongue image
KR102284579B1 (ko) 빅데이터 기반의 인공지능을 활용한 치아 진단 시스템
CN103221972A (zh) 医用系统
KR102392312B1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
WO2023080702A1 (ko) 치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템
Pradhan Telemedicine in Nepal
Umar Capabilities of computerized clinical decision support systems: The implications for the practicing dental professional
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
US8265729B2 (en) Third party acquisition of images at the direction of an independent imaging application
WO2021145607A1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
KR20230065177A (ko) 치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템
Zvárová et al. Electronic health record for forensic dentistry
Wood et al. Forensic odontology in DVI—A path forward
Siegel et al. Computer applications in oral diagnosis
Akkaya et al. Understanding of AI in Dental Field with Technical Aspects
CN112750537A (zh) 一种远程医疗指导系统
WO2020086047A1 (ru) Способ обработки данных для моделирования медицинской процедуры
Zancan Teeth numbering and identification of decayed teeth in panoramic radiographs through convolutional neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22890433

Country of ref document: EP

Kind code of ref document: A1