WO2021145607A1 - 치과 의무 기록 장치 및 그 치과 의무 기록 방법 - Google Patents

치과 의무 기록 장치 및 그 치과 의무 기록 방법 Download PDF

Info

Publication number
WO2021145607A1
WO2021145607A1 PCT/KR2021/000217 KR2021000217W WO2021145607A1 WO 2021145607 A1 WO2021145607 A1 WO 2021145607A1 KR 2021000217 W KR2021000217 W KR 2021000217W WO 2021145607 A1 WO2021145607 A1 WO 2021145607A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
patient
dental medical
chart
medical record
Prior art date
Application number
PCT/KR2021/000217
Other languages
English (en)
French (fr)
Inventor
이상화
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200182812A external-priority patent/KR102392312B1/ko
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to US17/792,271 priority Critical patent/US20230039451A1/en
Publication of WO2021145607A1 publication Critical patent/WO2021145607A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention provides a dental medical recording device for creating a dental medical record and a dental medical recording method therefor.
  • a doctor views a panoramic picture taken around a patient's teeth and performs an overall basic charting.
  • the data obtained during oral examination by the patient is added to the dental medical record.
  • text or symbols are used to mark the dental medical record.
  • the doctor must evaluate each of the multiple teeth. And because of possible infection issues between the time of examination and the time of recording, the physician may dictate to the assistant physician to record the dental medical record instead of looking at the patient and fill out the dental medical record, or the assistant may have the assistant record it after the dictation. Doctors are rewriting the dental medical records again. Also, if a doctor wants to see the treatment history for each of multiple teeth, the medical record and receipt history for each tooth must be searched separately.
  • Embodiments provide a dental medical record apparatus and a dental medical record method capable of reducing the time and cost required for creating a dental medical record.
  • the embodiments provide a dental medical recording device and a dental medical recording method capable of improving the accuracy of diagnosis and reducing the possibility of cross-infection of a patient.
  • the embodiments provide a dental medical record apparatus and a dental medical record method capable of easily creating, storing, and viewing dental medical records.
  • the technical task to be achieved by the present embodiment is not limited to the technical task as described above, and other technical tasks may exist.
  • This specification receives images such as panoramic photos, scan images, and camera images of the patient's oral cavity through artificial intelligence to perform charting using artificial intelligence, and clicks on the treatment area in the image to link the treatment area with the chart
  • images such as panoramic photos, scan images, and camera images of the patient's oral cavity
  • artificial intelligence to perform charting using artificial intelligence
  • the dental medical record method includes the steps of reading a video image of a patient's oral cavity and marking the patient's imaginary state in a text format or a sign, text and sign in parallel on a pre-diagnosis chart, and and displaying the video image and the pre-diagnosis chart.
  • the dental medical record device includes an input unit for receiving an image image of the patient's oral cavity, reading the image image of the patient's oral cavity to determine the patient's oral condition, and determine the patient's conception It includes a control unit for displaying the state in the form of text or symbols, text and symbols in parallel on the preliminary diagnosis chart, and an output unit for displaying the video image and the preliminary diagnosis chart.
  • the non-transitory computer-readable storage medium stores instructions in a computing device that, when executed by one or more processors, the above-described dental medical record method is performed by one or more processors.
  • the instructions when executed by the one or more processors, cause the computing device to cause the computer device to read the visual image of the patient's oral cavity to display the patient's conceptual state in textual form or a symbol, and a chart to predicate the text and the symbol in parallel. To perform the step of marking and displaying the image image and the pre-jin chart.
  • the time and cost required for creating the dental medical record can be reduced.
  • the dental medical recording apparatus and the dental medical recording method according to the embodiments it is possible to improve the accuracy of the diagnosis and reduce the possibility of cross-infection of the patient.
  • a dental medical recording device and a dental medical recording method capable of easily creating, storing, and reading dental medical records.
  • FIG. 1 is a flowchart of a dental medical record method according to an exemplary embodiment.
  • 2 is an example of an image of a patient's oral cavity.
  • 5 is an example of a photograph showing a patient's teeth and teeth.
  • FIG. 6 is an example of a photograph showing the periodontal state of the patient.
  • 7A and 7B are examples of photographs showing a patient's dental caries and restoration state.
  • 7C and 7D are training video images of a guide chip and a guide sample.
  • 8A and 8B are an example of viewing information on a treatment site in a pop-up.
  • 9 to 10 are views schematically illustrating the operation of the dental medical recording apparatus.
  • FIG. 11 is a block diagram of a deep learning model used in the dental medical record method 100 according to the embodiment of FIG. 1 .
  • FIG. 12 is a block diagram of a dental medical recording apparatus according to another embodiment.
  • a "part" includes a unit realized by hardware, a unit realized by software, and a unit realized using both.
  • one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.
  • mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as
  • FIG. 1 is a flowchart of a dental medical record method according to an exemplary embodiment.
  • a dental medical recording method 100 reads a video image of a patient's oral cavity and predicts the patient's imaginary state in a text format or a symbol, and the text and the symbol in parallel It includes a step of displaying on a chart (S110), and a step of displaying a video image and a preliminary chart (S120).
  • the video image may be one of a panoramic photo, a scan image, or a camera image acquired by one or more of radiation, a section camera, a scanning device, and occlusion check data for the patient's mouth. there is.
  • the spherical state of the patient may be at least one of teeth, dental conditions, and surrounding structures of the teeth.
  • the artificial intelligence continuously learns using the continuously collected learning image image and the accumulated chart data, so that the artificial intelligence reads the image image.
  • artificial intelligence may be learned by using a learning video image including a guide chip or a guide sample. In this way, by pre-processing the video image for training or acquiring a video image including a guide chip or a guide sample in the video image acquisition process, the learning effect can be improved, and the accuracy of judgment can be improved in the step (S110) of displaying the pre-diagnosis chart. there is.
  • Artificial intelligence automatically learns features of an input value by learning a large amount of data from a deep neural network consisting of a multi-layer network, and through this, the multi-layer network to minimize the error in prediction accuracy. can be learned to read video images.
  • 2 is an example of an image of a patient's oral cavity. 2 is a panoramic photograph of the patient's oral cavity and shows the patient's oral condition.
  • the dental medical recording method 100 in the dental medical recording method 100 according to an embodiment, in the step (S110) of marking on the pre-diagnosis chart, based on the video image such as the panoramic picture of FIG. (For example, periodontal condition (gum condition), dental caries, tooth loss, restoration, prosthesis, implant, wisdom tooth), surrounding structures of the tooth (eg, temporomandibular joint), etc. can be read.
  • the dental medical record method 100 reads an image image such as a panoramic photo, a scan image or a camera image of the oral cavity and moves the result to an Electronic Medical Record (EMR) chart. Pregnancy effect can be obtained.
  • EMR Electronic Medical Record
  • the EMR chart of FIG. 3 is an example of an EMR chart.
  • the EMR chart of FIG. 3 is a symbol chart composed of teeth-related symbols.
  • a video image such as a panoramic photo, a scan image or a camera image of the oral cavity
  • a video image may be acquired using a radiograph, a section camera, a scanning device, occlusion check data, and the like.
  • the dental medical recording apparatus may display the content read through the above-described image image in a text format or as a symbol, or display text and a symbol in parallel.
  • the text chart 140 is a preliminary chart in which the content read through the video image is written in narrative text in the step S110 of writing on the preliminary chart.
  • the text chart 140 shows that tooth #16 has secondary caries, tooth #44 has a periapical lesion, and tooth #41, 42, and 43 has glioblastoma. It may indicate information that there is an attrition and that there is Old AM in teeth #47, 46, and 37.
  • the symbol chart 142 is a chart in which the content read through the video image is displayed through various symbols.
  • the symbol chart may indicate tooth loss, periodontal disease, dental caries, restoration, and the like, based on standard symbol standards.
  • the dental medical recording method 100 may read an image image through artificial intelligence using a machine learning model, a deep learning model, and the like.
  • the artificial intelligence used in the dental medical recorder can learn diseases that occur in teeth, alveolar bones, and jaw bones.
  • the artificial intelligence may set a classification criterion while inputting image data for normal structures and lesions in the oral cavity during the learning process.
  • the alveolar bone when the alveolar bone is located up to 1 mm below the portion where the crown and the root meet, it can be recognized that the alveolar bone is normal. As another example, if there are no teeth in the alveolar bone, it may be recognized as tooth loss.
  • diagnosis of lesions using artificial intelligence may be made based on factors such as tooth color, tooth defect, and radiographic information on an image image (e.g. houndsfield scale).
  • the dental medical recording method 100 may continuously learn the artificial intelligence using the continuously collected learning image images and accumulated chart data, thereby increasing the accuracy of the artificial intelligence reading the image image.
  • the image image is read through artificial intelligence and then charted, and the image image and the patient's treatment and Storage contents can be linked.
  • the image image and the patient's treatment and Storage contents can be linked.
  • a pop-up 144 indicating the treatment date for the clicked area and information on the receipt memo window may be generated.
  • the doctor clicks the storage memo window on the pop-up 144 information on the chart associated with the memo window can be accessed.
  • 5 is an example of a photograph showing a patient's teeth and teeth.
  • dental implantation is a method for distinguishing teeth, and the left and right upper and lower sides are divided (1 to 8) based on the middle part of the patient's oral cavity, and the incisors and molars are divided based on the canine teeth.
  • the root of the tooth is located in the bone (#11 to #48), the crown is located outside the bone, and the tooth is almost perpendicular to the bone.
  • FIG. 6 is an example of a photograph showing the periodontal state of the patient.
  • the dental medical recording method 100 it is normal if the alveolar bone is located up to 1 mm in the root direction from the portion (arrow) where the crown and the root of the tooth meet, as shown in FIG. Likewise, if the alveolar bone is located below it, it can be determined that the alveolar bone is lost. There are two types of alveolar bone loss: horizontal loss and vertical loss.
  • the dental medical recording method 100 may check the state of a furcation, which is a portion where the root of a molar is split.
  • the image image shown in FIG. 6 is read through artificial intelligence and then the periodontal state of the patient called alveolar bone loss is determined. .
  • 7A and 7B are an example of a photograph showing a patient's dental caries and restoration state.
  • dental caries means that a defect (defect) occurs in enamel (enamel), dentin (dentin), pulp (pulp), etc. included in the tooth.
  • the image image shown in FIG. 7A is read through artificial intelligence and then the periodontal state of the patient called dental caries is determined. .
  • A. Crown among dental restorations is non-radiative to the entire crown.
  • B. Inlays or amalgams of dental restorations are non-radiative to a portion of the crown.
  • C. post is indicated by a dark white straight line within the root of the tooth.
  • D. The tooth that received root canal treatment is indicated by a white curve along the root line in the center of the root of the tooth.
  • the image image shown in FIG. 7B is read through artificial intelligence, and then marked with a crown at position A, and marked with a crown at position B. Mark as inlay or amalgam, mark as post at position C, and mark as root canal at position D.
  • 7C is an example of a panoramic video image including a guide chip, captured by a panoramic camera.
  • the panoramic imager acquires a plurality of image images by positioning a subject to be photographed, for example, a patient on a cylindrical body equipped with an X-ray source, and then rotating the X-ray source and the panoramic image detector around the patient.
  • the panoramic video camera naturally connects these video images to obtain a panoramic video image as shown in FIG. 7C .
  • guide chips having different gray scales eg, hounsfield unit (HU)
  • HU hounsfield unit
  • artificial intelligence may be learned by using a learning video image including a guide chip.
  • the image image is read through the artificial intelligence, and then the periodontal state of the patient, such as dental caries, is more accurately determined. do.
  • step (S110) of marking the diagnosis chart when the image image is read through the learned artificial intelligence, enamel, hemorrhoids, pulp, etc. are compared with normal tooth tissue in the panoramic image image. It is possible to more accurately read the difference between the case of reduced radioactivity and dental caries. In addition, even if the radiation density (radiodensity) is different in the panoramic image image according to the anatomical structure of each patient, the size of the patient, the posture, etc., it is possible to more accurately read the periodontal condition of the patient called dental caries.
  • step (S110) of marking on the prognosis chart in the above example it has been exemplarily described as determining dental caries after reading the video image including the guide chip shown in FIG. 7C through artificial intelligence. For the same reason, after reading the video image including the guide chip shown in FIG. 7C through artificial intelligence, it is possible to accurately diagnose periodontal conditions or diagnose other lesions such as periodontitis, apical lesions, and alveolar bone loss.
  • 7D is an example of a video image including a guide sample captured by a camera or a scanner.
  • a guide sample When photographing with a camera or a scanner, an image image including a guide sample is acquired as shown in FIG. 7D .
  • a guide sample includes a color number and a color corresponding to the color number.
  • artificial intelligence can be learned using a training video image including a guide sample.
  • the color of teeth is affected by lighting and shadow cameras. Therefore, since artificial intelligence is learned by using the image image for learning including the guide sample, in the step S110 of marking the prediction chart, the color of the patient's teeth can be more accurately determined after reading the image image through artificial intelligence.
  • the color of the specific tooth presented by the artificial intelligence learned on the video image for example, the color of the optimal tooth
  • the color number (eg N3) and/or color (eg yellow) of the guide sample it is possible to suggest the color of the restoration or prosthesis that best matches the color of the patient's teeth, providing an effective esthetic treatment method.
  • 8A and 8B are examples of viewing information on a treatment site in a pop-up.
  • the doctor clicks on a specific treatment area on the video image information on the treatment area (eg treatment title, date, storage memo window) is displayed. do.
  • the image of the treatment area and information on the treatment area may be linked in the form of a hyperlink. For example, as information on the treatment site, "January 2, 2020 #44, 45 extraction, 44 immediate implant, storage: 200,000 won" is displayed as shown in FIG. 8A.
  • a treatment summary memo e.g. treatment title, date, receipt
  • a chart for the treatment area may be output.
  • a chart linked to the receiving memo window may be output.
  • FIGS. 9 and 10 are diagrams schematically illustrating an operation of a dental medical recording method according to an exemplary embodiment.
  • the dental medical recording method 100 reads an image (eg a panoramic photograph) of the patient's mouth in the step S110 of marking it on the pre-diagnosis chart. After that, you can create a pre-diagnosis chart consisting of text or symbols.
  • the individually input information or the accumulated chart record is artificial intelligence using a machine learning model, a deep learning model, etc. Through continuous learning, you can improve the accuracy of creating predictive charts.
  • the step of displaying the image image and the chart (S120) when the doctor clicks the treatment site on the image (eg panoramic photo) of the patient's mouth, the treatment title, A treatment pop-up 144 including information such as the date and the receipt memo window is generated, and when the doctor clicks the receipt memo window, a chart associated with the receipt memo window can be output.
  • the dental medical recording method 100 can improve convenience and accuracy when recording dental medical records. And it allows the specialist to focus on studying specialized care rather than dictation. And the accuracy of determining the oral condition of the patient based on the accumulated image image reading information and charting data may be increased.
  • FIG. 11 is a block diagram of a deep learning model used in the dental medical record method 100 according to the embodiment of FIG. 1 .
  • a deep learning model 221 that can be used in the dental medical record method 100 according to an embodiment may be a model in which an artificial neural network is stacked in multiple layers. That is, the deep learning model automatically learns features of the input value by learning a large amount of data from a deep neural network consisting of a multi-layered network, and through this, the error in the objective function, that is, the prediction accuracy, is eliminated. It is a type of model that trains the network to minimize it.
  • the above-described deep learning model 221 is a Convolutional Neural Network (CNN), Deep Hierachical Network (DHN), Convolutional Deep Belief Network (CDBN), Deconvolutional Deep Network (DDN), Recurrent Neural Network (RNN), Generative Adversarial Network (GAN) ), but the present invention is not limited thereto, and various deep learning models that can be used now or in the future can be used.
  • CNN Convolutional Neural Network
  • DDN Convolutional Deep Belief Network
  • DDN Deconvolutional Deep Network
  • RNN Recurrent Neural Network
  • GAN Generative Adversarial Network
  • the above-described deep learning model 221 may be implemented through a deep learning framework.
  • the deep learning framework provides functions commonly used when developing the deep learning model 221 in the form of a library, and serves to support the use of system software or hardware platforms well.
  • the deep learning model 221 may be implemented using any deep learning framework that is currently public or will be released in the future.
  • the deep learning model 221 performs convolution and subsampling on the input image image to extract a feature for the image image. , 222), and an output part 224 that displays the patient's imaginary state in a text format or in parallel with a sign, text and sign using the extracted picture on a pre-diagnosis chart.
  • Convolution creates a feature map using a plurality of filters for each region of a medical image in a convolution layer.
  • Subsampling or polling reduces the size of a feature map in a subsampling layer to extract a feature for an image image that is invariant to a change in position or rotation.
  • the picture extraction region 222 repeats convolution and/or subsampling to extract pictures of various levels from low-level pictures such as points, lines, and planes to complex and meaningful high-level pictures in a medical image. can do.
  • a deep learning model for example, a CNN-based deep learning model, aims to optimally learn parameters present in each individual layer in the picture extraction region 222 and the output region 224 .
  • the order of the data determines the value of the initial parameter.
  • the deep learning model 221 may apply random sampling (data order random) and a regulation technique. Random sampling means that the order of the training data learned from the training data set is different.
  • Regulatory technology is a technology that reduces overfitting, in which a deep learning model over-trained on training data including noise is less accurate in testing or diagnosis.
  • the regulatory technology may be, for example, a drop-out technology or a drop connected technology.
  • the dropout technique is a method of probabilistically assigning a parameter value to 0 for a specific node and learning it.
  • Drop connected technology is a method of dropping and learning connections between nodes.
  • the dropout technique is exemplarily described below as a regulatory technique below, but it may be any technique or algorithm that reduces overfitting now or in the future.
  • the deep learning models 221 use highly flexible nonlinear algorithms. Accordingly, the result values of the deep learning models 221 may exhibit a large deviation.
  • the output results of the deep learning models 221 are ensembled based on one or two or more of the majority vote-based ensemble, the unanimity-based ensemble, and the uncertainty-based ensemble. can
  • each of the deep learning modules 221 is trained differently according to the learning method, for example, the sampling order, and the randomness of the dropout. Even if each training is performed using the same data and the same deep learning models, different results can be obtained for each deep learning model. Therefore, using a single deep learning model may carry the risk of misjudgment. Therefore, the present embodiment can generate various deep learning models and minimize the risk of judgment error through the ensemble technique.
  • FIG. 12 is a block diagram of a dental medical recording apparatus according to another embodiment.
  • the dental medical recording apparatus 200 reads the input unit 210 for receiving an image image of the patient's oral cavity, and reads the image of the patient's oral cavity for the oral condition of the patient. and a control unit 220 that determines and displays the determined imaginary state of the patient in a text format or a symbol, a text and a symbol in parallel, on a pre-diagnosis chart, and an output unit 230 that displays an image image and the chart.
  • the video image may be one of a panoramic picture, a scanned image, or a camera image obtained by one or more of radiation, a section camera, a scanning device, and occlusal check data of the patient's oral cavity.
  • the spherical state of the patient may be at least one of teeth, dental conditions, and surrounding structures of the teeth.
  • the controller 220 continuously learns the artificial intelligence using the continuously collected learning image image and the accumulated chart data so that the artificial intelligence can read the image image.
  • Artificial intelligence automatically learns features of an input value by learning a large amount of data from a deep neural network consisting of a multi-layer network, and through this, the multi-layer network to minimize the error in prediction accuracy. can be learned to read video images.
  • the display unit 230 displays information on the treatment site when a specific treatment area of the image image is selected, and when an image of the treatment area is selected, a treatment summary memo window is displayed, and when the treatment summary memo window is selected, the corresponding treatment area information is displayed. A chart for the treatment area is printed.
  • control unit 220 reads the video image shown in FIG. 6 through artificial intelligence and then determines the periodontal state of the patient called alveolar bone loss.
  • the controller 220 reads the video image shown in FIG. 7A through artificial intelligence and then determines the periodontal state of the patient called dental caries.
  • control unit 220 After reading the video image shown in FIG. 7B through artificial intelligence, the control unit 220 is marked with a crown at position A, an inlay or amalgam at position B, a post at position C, and a root canal at position D. mark
  • a treatment summary memo eg treatment title, date, receipt
  • information about the treatment site is displayed. You can print charts.
  • the controller 220 may continuously learn the individually input information or the accumulated chart record through artificial intelligence using a machine learning model, a deep learning model, and the like, thereby improving the accuracy of creating a predictive chart.
  • the deep learning model 221 that can be used in the control unit 220 may be a model in which an artificial neural network is stacked in multiple layers.
  • the deep learning model 221 includes a picture extraction region 222 and an output region 224 .
  • a deep learning model for example, a CNN-based deep learning model, aims to optimally learn parameters present in each individual layer in the picture extraction region 222 and the output region 224 .
  • the deep learning model 221 may apply random sampling (data order random) and a regulation technique.
  • the deep learning models 221 use highly flexible nonlinear algorithms.
  • the above-described dental medical recording method 100 may be implemented by a computing device including at least some of a processor, a memory, a user input device, and a presentation device.
  • a memory is a medium that stores computer-readable software, applications, program modules, routines, instructions, and/or data, etc. coded to perform specific tasks when executed by a processor.
  • the processor can read and execute computer-readable software, applications, program modules, routines, instructions, and/or data stored in the memory, and the like.
  • the user input device may be a means for allowing the user to input a command to the processor to execute a specific task or to input data required for the execution of the specific task.
  • the user input device may include a physical or virtual keyboard or keypad, key button, mouse, joystick, trackball, touch-sensitive input means, or a microphone.
  • the presentation device may include a display, a printer, a speaker, or a vibrator.
  • Computing devices may include various devices such as smartphones, tablets, laptops, desktops, servers, clients, and the like.
  • the computing device may be a single stand-alone device, or may include a plurality of computing devices operating in a distributed environment comprising a plurality of computing devices cooperating with each other through a communication network.
  • the aforementioned dental medical recording method 100 includes a processor, and when executed by the processor, computer readable software, applications, program modules, routines coded to perform an imaging method using a deep learning model. , instructions, and/or data structures may be executed by a computing device having a memory.
  • the above-described embodiments may be implemented through various means.
  • the present embodiments may be implemented by hardware, firmware, software, or a combination thereof.
  • the dental medical record method 100 using the deep learning model is one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signals). Processing Devices), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, or microprocessors.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signals
  • Processing Devices Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, or microprocessors.
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • the dental medical recording method 100 may be implemented using an artificial intelligence semiconductor device in which neurons and synapses of a deep neural network are implemented with semiconductor elements.
  • the semiconductor device may be currently used semiconductor devices, for example, SRAM, DRAM, NAND, or the like, or may be next-generation semiconductor devices, RRAM, STT MRAM, PRAM, or the like, or a combination thereof.
  • the dental medical record method 100 When the dental medical record method 100 according to the embodiments is implemented using an artificial intelligence semiconductor device, the result (weight) of learning a deep learning model with software is transferred to a synaptic mimic device arranged in an array, or an artificial intelligence semiconductor device You can also proceed with learning.
  • the dental medical recording method 100 may be implemented in the form of an apparatus, procedure, or function for performing the functions or operations described above.
  • the software code may be stored in the memory unit and driven by the processor.
  • the memory unit may be located inside or outside the processor, and may exchange data with the processor by various known means.
  • system generally refer to computer-related entities hardware, hardware and software. may mean a combination of, software, or running software.
  • the aforementioned components may be, but are not limited to, a process run by a processor, a processor, a controller, a controlling processor, an object, a thread of execution, a program, and/or a computer.
  • an application running on a controller or processor and a controller or processor can be a component.
  • One or more components may reside within a process and/or thread of execution, and components may be located on one device (eg, a system, computing device, etc.) or distributed across two or more devices.
  • another embodiment provides a computer program stored in a computer recording medium for performing the above-described dental medical recording method 100 .
  • Another embodiment also provides a computer-readable recording medium in which a program for realizing the above-described dental medical recording method is recorded.
  • the program recorded on the recording medium can be read by a computer, installed, and executed to execute the above-described steps.
  • the above-described program is C, C++ that the computer's processor (CPU) can read through the computer's device interface (Interface).
  • JAVA may include code coded in a computer language such as machine language.
  • Such code may include a function code related to a function defining the above-mentioned functions, etc., and may include an execution procedure related control code necessary for the processor of the computer to execute the above-mentioned functions according to a predetermined procedure.
  • this code may further include additional information necessary for the processor of the computer to execute the above functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. .
  • the code can be executed by the processor of the computer using the communication module of the computer. It may further include a communication-related code for how to communicate with other computers or servers, and what information or media to transmit and receive during communication.
  • the computer-readable recording medium in which the program as described above is recorded is, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical media storage device, etc., and also carrier wave (eg, , transmission over the Internet) may be implemented in the form of.
  • the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • the dental medical recording method 100 may also be implemented in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • a method of dental medical records when executed by one or more processors comprises a non-transitory computer-readable storage medium storing instructions in a computing device that are executed by one or more processors, the instructions being executed by the one or more processors.
  • the above-described dental medical recording method 100 may be executed by an application basically installed in the terminal (which may include a program included in a platform or operating system basically mounted in the terminal), and the user may use an application store server, It may be executed by an application (ie, a program) installed directly on the master terminal through an application providing server such as an application or a web server related to the corresponding service.
  • an application ie, a program
  • the above-described glaucoma surgery result diagnosis method may be implemented as an application (ie, a program) installed basically in a terminal or directly installed by a user, and may be recorded in a computer-readable recording medium such as a terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 명세서는 인공 지능을 통해 환자의 구강에 대한 파노라마 사진, 스캔 영상, 카메라 영상 등의 영상을 입력받아 인공 지능을 이용하여 차팅을 수행하고, 해당 영상에서 치료 부위를 클릭하면 차트와 연계하여 치료 부위에 대한 의무 기록을 열람할 수 있도록 하는 치과 의무 기록 장치 및 치과 의무 기록 방법을 제공한다.

Description

치과 의무 기록 장치 및 그 치과 의무 기록 방법
본 발명은 치과 의무 기록을 작성하기 위한 치과 의무 기록 장치 및 그 치과 의무 기록 방법을 제공한다.
치과 진료 시, 치과 의무 기록을 작성하기 위해 의사는 환자의 치아 주변을 촬영한 파노라마 사진을 보고 전반적인 기본 차팅(charting)을 수행한다. 그리고 환자가 구강 검진 시에 획득한 자료를 치과 의무 기록에 추가하는 데 환자의 치아를 평가한 후 텍스트 또는 기호를 이용하여 치과 의무 기록에 표기를 한다.
이때, 의사는 다수의 치아를 각각 평가해야 한다. 그리고 진찰 시점과 기록 시점 사이에 발생할 수 있는 감염 문제 때문에, 의사는 직접 환자를 보면서 치과 의무 기록을 작성하는 대신에 보조 의사에게 구술(dictation)하여 보조 의사가 기록을 하게 하거나, 보조 인력이 구술 후 의사가 다시 치과 의무 기록을 옮겨 적는 실정이다. 또한 의사가 다수의 치아 각각에 대한 치료 내역을 보려면 각 치아에 대한 의무 기록 및 수납 내역을 따로 검색해야 한다.
따라서, 현재 치과 진료 시 치과 의무 기록을 작성하는 데 오랜 시간이 소요되고, 치과 의무 기록 작성 시 보조 의사가 구술 내용을 옮겨 적는 과정에서 휴먼 에러로 인한 오류가 발생할 가능성이 높다. 또한 전공의가 없는 병원이나 개인 의원에서는 차팅 시에 구술 및 기록이 바로 수행되기 어려운 문제가 있다.
실시예들은, 치과 의무 기록을 작성하는 데 소요되는 시간 및 비용을 단축할 수 있는 치과 의무 기록 장치 및 그 치과 의무 기록 방법을 제공한다.
또한, 실시예들은, 예진의 정확성을 향상시키고 환자의 교차 감염 가능성을 감소시킬 수 있는 치과 의무 기록 장치 및 그 치과 의무 기록 방법을 제공한다.
또한, 실시예들은, 치과 의무 기록을 용이하게 작성, 보관 및 열람할 수 있는 치과 의무 기록 장치 및 그 치과 의무 기록 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 명세서는 인공 지능을 통해 환자의 구강에 대한 파노라마 사진, 스캔 영상, 카메라 영상 등의 영상을 입력받아 인공 지능을 이용하여 차팅을 수행하고, 해당 영상에서 치료 부위를 클릭하면 차트와 연계하여 치료 부위에 대한 의무 기록을 열람할 수 있도록 하는 치과 의무 기록 장치 및 치과 의무 기록 방법을 제공한다.
일 측면에서, 일 실시예에 따른 치과 의무기록 방법은, 환자의 구강에 대한 영상 이미지를 판독하여 환자의 구상 상태를 텍스트 형식으로 또는 기호, 텍스트와 기호를 병행하여 예진 차트에 표기하는 단계, 및 영상 이미지와 예진 차트를 표시하는 단계를 포함한다.
다른 측면에서, 다른 실시예에 따른 치과 의무기록 장치는, 환자의 구강에 대한 영상 이미지를 입력받는 입력부, 환자의 구강에 대한 영상 이미지를 판독하여 환자의 구강 상태에 대해 판단하고, 판단한 환자의 구상 상태를 텍스트 형식으로 또는 기호, 텍스트와 기호를 병행하여 예진 차트에 표기하는 제어부, 및 영상 이미지와 예진 차트를 표시하는 출력부를 포함한다.
또 다른 측면에서, 또 다른 실시예에 따른 비 일시적인 컴퓨터 판독 가능 저장매체는 하나 이상의 프로세서에 의해 실행될 때, 전술한 치과 의무기록 방법이 하나 이상의 프로세서에 의해 수행되는 명령을 컴퓨팅 장치에서 저장한다.
명령은 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 장치로 하여금, 컴퓨터 장치가, 환자의 구강에 대한 영상 이미지를 판독하여 환자의 구상 상태를 텍스트 형식으로 또는 기호, 상기 텍스트와 상기 기호를 병행하여 예진 차트에 표기하는 단계 및 영상 이미지와 상기 예진 차트를 표시하는 단계를 수행하도록 한다.
실시예들에 따른 치과 의무 기록 장치 및 그 치과 의무 기록 방법에 의하면 치과 의무 기록을 작성하는 데 소요되는 시간 및 비용을 단축할 수 있다.
또한, 실시예들에 따른 치과 의무 기록 장치 및 그 치과 의무 기록 방법에 의하면, 예진의 정확성을 향상시키고 환자의 교차 감염 가능성을 감소시킬 수 있다.
또한, 실시예들에 따른 치과 의무 기록 장치 및 그 치과 의무 기록 방법에 의하면, 치과 의무 기록을 용이하게 작성, 보관 및 열람할 수 있는 치과 의무 기록 장치 및 그 치과 의무 기록 방법을 제공한다.
도 1은 일 실시예에 따른 치과 의무 기록 방법의 흐름도이다.
도 2는 환자의 구강을 촬영한 영상의 일 예이다.
도 3는 EMR 차트의 일 예이다.
도 4은 텍스트 및 기호 차트를 나타낸 일 예이다.
도 5는 환자의 치아 및 치식을 나타내는 사진의 일 예이다.
도 6는 환자의 치주 상태를 나타내는 사진의 일 예이다.
[규칙 제91조에 의한 정정 04.02.2021]　
도 7a 및 도 7b는 환자의 치아 우식 및 수복 상태를 나타내는 사진의 일 예들이다. 도 7c 및 도 7d는 가이드 칩과 가이드 샘플의 학습용 영상 이미지들이다.
도 8a 및 도 8b는 치료 부위에 대한 정보를 팝업으로 열람하는 일 예이다.
도 9 내지 도 10는 치과 의무 기록 장치의 개략적인 동작을 나타낸 도면들이다.
도 11은 도 1의 일 실시예에 따른 치과 의무 기록 방법(100)에서 이용하는 딥 러닝 모델의 구성도이다.
도 12는 다른 실시예에 따른 치과 의무 기록 장치의 블럭도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는"직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 치과 의무 기록 방법의 흐름도이다.
도 1을 참조하면, 일 실시예에 따른 치과 의무 기록 방법(100)은 환자의 구강에 대한 영상 이미지를 판독하여 상기 환자의 구상 상태를 텍스트 형식으로 또는 기호, 상기 텍스트와 상기 기호를 병행하여 예진 차트에 표기하는 단계(S110), 및 영상 이미지와 예진 차트를 표시하는 단계(S120)를 포함한다.
영상 이미지는 도 2를 참조하여 후술하는 바와 같이, 환자의 구강에 대한 방사선, 구간 카메라, 스캔 장치, 교합 체크 자료 중 하나 또는 둘 이상에 의해 획득한 파노라마 사진, 스캔 영상 또는 카메라 영상 중 하나일 수 있다.
또한, 환자의 구상 상태는, 치식, 치아 상태, 치아의 주변 구조 중 적어도 하나일 수 있다.
예진 차트에 표기하는 단계(S110)에서, 도 11을 참조하여 후술하는 바와 같이 지속적으로 수집된 학습용 영상 이미지와 누적된 차트 자료를 이용하여 인공 지능을 지속적으로 학습시켜서 인공 지능이 영상 이미지를 판독한다. 전술한 도면들, 예를 들어 후술하는 바와 같이 도 7c 및 도 7d와 같이 가이드 칩(guide chip)이나 가이드 샘플(guide sample) 등을 포함하는 학습용 영상 이미지를 이용하여 인공지능을 학습시킬 수 있다. 이와 같이 학습용 영상 이미지를 전처리하거나 영상 이미지 획득 과정에서 가이드 칩이나 가이드 샘플 등을 포함하는 영상 이미지를 획득하므로 학습 효과를 향상시키고, 예진 차트를 표기하는 단계(S110)에서 판단의 정확성을 향상시킬 수 있다.
인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 영상 이미지를 판독할 수 있다.
영상 이미지와 차트를 표시하는 단계(S120)에서, 도 8 내지 도 10을 참조하여 후술하는 바와 같이, 영상 이미지의 특정한 치료 부위를 선택하면, 해당 치료 부위에 대한 정보를 표시하고, 해당 치료 부위의 이미지를 선택하면, 치료 요약 메모창이 표시되고, 치료 요약 메모창을 선택하면 해당 치료 부위에 대한 차트가 출력되는 치과 의무기록 방법.
도 2는 환자의 구강을 촬영한 영상의 일 예이다. 도 2는은 환자의 구강을 촬영한 파노라마 사진으로 환자의 구강 상태를 나타낸다.
도 1 및 도 2를 참조하면, 일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 도 2의 파노라마 사진과 같은 영상 이미지를 기초로 치식, 치아 상태(예를 들어, 치주 상태(잇몸 상태), 치아 우식, 치아 상실, 수복, 보철, 임플란트, 사랑니), 치아의 주변 구조(예를 들어, 턱관절) 등에 대한 정보를 판독할 수 있다.
일 실시예에 따른 치과 의무 기록 방법(100)은, 구강에 대한 파노라마 사진, 스캔 영상 또는 카메라 영상 등의 영상 이미지를 판독하고 그 결과를 전자 의료 기록(Electronic Medical Record(EMR)) 차트로 이동하여 예진 효과를 얻을 수 있다.
도 3는 EMR 차트의 일 예이다. 도 3의 EMR 차트는 치아와 관련된 기호들로 구성된 기호 차트이다.
도 1 및 도 3을 참조하면, 일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 구강에 대한 파노라마 사진, 스캔 영상 또는 카메라 영상 등의 영상 이미지를 판독하여, 환자의 구강 상태가 정상인지 또는 치아, 치조골, 악골 등에 질환이 있는지를 판단할 수 있다. 이러한 영상 이미지는 방사선, 구간 카메라, 스캔 장치, 교합 체크 자료 등을 이용하여 획득할 수 있다.
그리고 치과 의무 기록 장치는 전술한 영상 이미지를 통해 판독한 내용을 텍스트 형식으로 표기하거나 기호로 표기하거나 또는 텍스트와 기호를 병행하여 표기할 수 있다.
도 4은 텍스트 및 기호 차트를 나타낸 일 예이다.
도 4을 참조하면, 텍스트 차트(140)는, 예진 차트에 표기하는 단계(S110)에서, 영상 이미지를 통해 판독한 내용을 서술형 텍스트로 표기한 예진 차트이다.
예를 들어, 텍스트 차트(140)는 #16번 치아에 2차 우식(secondary caries)이 있고, #44번 치아에 치근단 병소(periapical lesion)가 있고, #41, 42, 43번 치아에 치아교모증(attrition)이 있고, #47, 46, 37번 치아에 Old AM이 있다는 정보를 나타낼 수 있다.
기호 차트(142)는 영상 이미지를 통해 판독한 내용을 여러 가지 기호를 통해 나타낸 차트이다. 예를 들어, 기호 차트는 표준 기호 기준으로 치아 상실, 치주 질환, 치아 우식, 수복 등을 표기할 수 있다.
그리고 일 실시예에 따른 치과 의무 기록 방법(100)은, 도 10을 참조하여 후술하는 바와 같이, 머신 러닝 모델, 딥 러닝 모델 등을 사용하는 인공 지능을 통해 영상 이미지를 판독할 수 있다. 치과 의무 기록 장치에서 사용하는 인공 지능은 치아, 치조골, 악골 등에 발생한 질환을 학습할 수 있다.
이때, 인공 지능은 학습 과정에서 구강 상의 정상 구조물과 병소에 대한 영상 자료를 입력하면서 구분 기준을 설정할 수 있다.
일 예로, 치조골이 치관과 치근이 만나는 부위의 1mm 하방까지 위치하면 치조골이 정상이라고 인식할 수 있다. 다른 예로 치조골에 치아가 없으면 치아 상실로 인식할 수 있다.
한편, 인공 지능을 이용한 병소에 대한 진단은 치아 색깔, 치아 결손 여부, 영상 이미지 상에서 방사선 투과 정보(e.g. houndsfield scale)등의 요소를 기초로 이루어질 수 있다.
일 실시예에 따른 치과 의무 기록 방법(100)은, 지속적으로 수집된 학습용 영상 이미지와 누적된 차트 자료를 이용하여 인공 지능을 지속적으로 학습시켜서 인공 지능이 영상 이미지를 판독하는 정확성을 늘릴 수 있다.
그리고 일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 인공 지능을 통해 영상 이미지를 판독한 후 이를 차팅(charting)하고, 영상 이미지와 환자의 치료 및 수납 내용을 연계할 수 있다. 예를 들어 의사가 영상 이미지를 클릭하면 클릭한 부위에 대한 치료 날짜 및 수납 메모창에 대한 정보를 지시하는 팝업(144)이 생성될 수 있다. 그리고 의사가 팝업(144) 상에서 수납 메모창을 클릭하면 해당 메모창과 연계된 차트의 정보를 접근할 수 있다.
도 5는 환자의 치아 및 치식을 나타내는 사진의 일 예이다.
도 5를 참조하면, 치식은 치아를 구분하기 위한 방식으로서, 환자 구강의 정중부를 기준으로 좌우상하를 구분(1 내지 8)하고, 송곳니를 기준으로 앞니 및 어금니를 구분한다.
치아의 뿌리는 뼈 안에 위치(#11 내지 #48)하고, 치관은 뼈 밖에 위치하고, 치아는 뼈와 거의 수직이다.
도 6는 환자의 치주 상태를 나타내는 사진의 일 예이다.
일 실시예에 따른 치과 의무 기록 방법(100)은, 일 예로, 치아에 있는 크라운과 치아의 뿌리가 만나는 부위(화살표)에서 뿌리 방향으로 1mm까지 치조골이 위치하면 정상이고, 도 6에 도시한 바와 같이, 그보다 아래쪽에 치조골이 위치하면 치조골 소실이라 판단할 수 있다. 치조골 소실에는 수평 소실, 수직 소실이 있다. 그리고 일 실시예에 따른 치과 의무 기록 방법(100)은, 대구치의 뿌리가 갈라지는 부위인 치근분기부(furcation)의 상태를 확인할 수 있다.
일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 인공 지능을 통해 도 6에 도시한 영상 이미지를 판독한 후 치조골 소실이라는 환자의 치주 상태를 판단한다.
도 7a 및 도 7b는 환자의 치아 우식 및 수복 상태를 나타내는 사진의 일 예이다.
도 7a에 도시한 바와 같이, 치아 우식은 치아에 포함되는 에너멜(enamel), 상아질(dentin), 치수(pulp) 등에 결함(defect)이 발생한 것을 의미한다.
일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 인공 지능을 통해 도 7a에 도시한 영상 이미지를 판독한 후 치아 우식이라는 환자의 치주 상태를 판단한다.
도 7b에 도시한 바와 같이, 치아의 수복물 중 A. 크라운(crown)은 치관 전체에 대하여 방사선을 불투과한다. 치아의 수복물 중 B. 인레이(inlay) 또는 아말감(amalgam)은 치관 일부분에 대하여 방사선을 불투과한다. 치아의 수복물 중 C. 포스트(post)는 치아의 뿌리 안에 짙은 백색 직선으로 표시된다. 그리고 D. 근관 치료를 받은 치아는 치아의 뿌리 중앙에 뿌리 선을 따르는 백색 곡선으로 표시된다.
일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 인공 지능을 통해 도 7b에 도시한 영상 이미지를 판독한 후 A 위치에 크라운으로 표기하고 B 위치에 인레이 또는 아말감으로 표기하고, C 위치에 포스트로 표기하고, D 위치에 근관이라고 표기한다.
도 7c는 파노라마 촬영기로 촬영된, 가이드 칩(guide chip)을 포함하는 파노라마 영상 이미지의 일예이다.
파노라마 영상 촬영기는 촬영 대상, 예를 들어 환자를 X선 소스가 장착된 원통형 본체에 위치시킨 후 X선 소스와 파노라마 영상 검출기를 환자를 중심으로 회전시켜 다수의 영상 이미지들을 획득한다. 파노라마 영상 촬영기는 이 영상 이미지들을 자연스럽게 연결하여 도 7c에 도시한 바와 같이 파노라마 영상 이미지를 획득하게 된다. 파노라마 영상 촬영 시 각기 다른 그레이 스케일(예: HU(hounsfield unit))을 가진 가이드 칩(guide chip)을 파노라마 검출기에 장착하여 도 7c에 도시한 바와 같이 가이드 칩이 포함된 파노라마 영상 이미지를 획득한다.
도 7c와 같이 가이드 칩을 포함하는 학습용 영상 이미지를 이용하여 인공지능을 학습시킬 수 있다.
가이드 샘플을 포함하는 학습용 영상 이미지를 이용하여 인공지능을 학습시키므로, 예진 차트에 표기하는 단계(S110)에서, 인공 지능을 통해 영상 이미지를 판독한 후 치아 우식과 같은 환자의 치주 상태를 보다 정확하게 판단한다.
예진 차트에 표기하는 단계(S110)에서, 학습된 인공 지능을 통해 영상 이미지를 판독할 때, 파노라마 영상 이미지에서 정상 치아 조직과 비교하여 에니멜(enamel), 치질(dentin), 펄프(pulp) 등 방사선 투과성이 감소한 경우와 치아 우식의 차이를 더욱 정확하게 판독할 수 있다. 또한, 각 환자에 따라 해부학적 구조, 환자의 크기, 자세 등에 따라 파노라마 영상 이미지에서 방사선 밀도(radiodensity)가 다를 경우에도 치아 우식이라는 환자의 치주 상태를 더욱 정확하게 판독할 수 있다.
전술한 예에서 예진 차트에 표기하는 단계(S110)에서, 인공 지능을 통해 도 7c에 도시한 가이드 칩이 포함된 영상 이미지를 판독한 후 치아 치아 우식을 판단하는 것으로 예시적으로 설명하였다. 동일한 이유로, 인공 지능을 통해 도 7c에 도시한 가이드 칩이 포함된 영상 이미지를 판독한 후 치주염, 치근단 병소, 치조골 소실 등의 다른 병소 진단이나 치주 상태를 정확하게 판단할 수 있다.
도 7d는 카메라나 스캐너로 촬영된, 가이드 샘플(guide sample)을 포함하는 영상 이미지의 일예이다.
카메라나 스캐너로 촬영 시 도 7d에 도시한 바와 같이 가이드 샘플(guide sample)을 포함된 영상 이미지를 획득한다. 가이드 샘플(guide sample)은 색상번호와 해당 색상번호에 해당하는 색깔을 포함하고 있다.
도 7d와 같이 가이드 샘플을 포함하는 학습용 영상 이미지를 이용하여 인공지능을 학습시킬 수 있다. 영상 이미지에서 치아 색상은 조명과 그림자 촬영 카메라 등에 영향을 받는다. 따라서, 가이드 샘플을 포함하는 학습용 영상 이미지를 이용하여 인공지능을 학습시키므로, 예진 차트에 표기하는 단계(S110)에서, 인공 지능을 통해 영상 이미지를 판독한 후 환자의 치아의 색상을 보다 정확하게 판단할 수 있다.
따라서, 영상 이미지와 예진 차트를 표시하는 단계(S120)에서, 영상 이미지에서 특정 치아를 클릭하면, 영상 이미지 상에 학습된 인공지능이 제시하는 특정 치아의 색상, 예를 들어 최적의 치아의 색상을 가이드 샘플의 색상번호(예: N3) 및/또는 색깔(예: 노란색)로 표시하므로, 환자의 치아 색상과 가장 잘 어울리는 수복물 또는 보철물의 색상을 제시할 수 있어 효과적인 심미적인 치료 방법을 제공할 수 있다.
도 8a 및 8b는 치료 부위에 대한 정보를 팝업으로 열람하는 일 예들이다.
도 8a를 참조하면, 영상 이미지와 차트를 표시하는 단계(S120)에서, 의사가 영상 이미지 상에서 특정한 치료 부위를 클릭하면, 해당 치료 부위에 대한 정보(e.g. 치료 제목, 날짜, 수납 메모창)이 표시된다. 해당 치료 부위의 이미지와 해당 치료 부위에 대한 정보는 하이퍼링크(hyperlink) 형태로 연결될 수 있다. 예를 들어, 해당 치료 부위에 대한 정보로, 도 8a에 도시한 바와 같이, "2020년 1월 2일 #44, 45 발치, 44 즉시 임플란트, 수납: 20만원"이 표시된다.
도 8b를 참조하면, 해당 치료 부위의 이미지를 클릭하면 치료 요약 메모(e.g. 치료 제목, 날짜, 수납) 창이 표시되고, 치료 요약 메모 창을 클릭하면 해당 치료 부위에 대한 차트를 출력할 수 있다.
그리고 수납 메모창을 클릭하면 수납 메모창과 연계된 차트가 출력될 수 있다.
도 9 및 도 10는 일 실시예에 따른 치과 의무 기록 방법의 개략적인 동작을 나타낸 도면들이다.
도 1 및 도 9, 도 10을 참조하면, 일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 환자의 구강에 대한 영상(e.g. 파노라마 사진)을 판독한 후 텍스트 또는 기호로 구성된 예진 차트를 작성할 수 있다.
일 실시예에 따른 치과 의무 기록 방법(100)은, 예진 차트에 표기하는 단계(S110)에서, 개별적으로 입력된 정보 또는 누적된 차트 기록을 머신 러닝 모델, 딥 러닝 모델 등을 사용하는 인공 지능을 통해 지속적으로 학습하여, 예진 차트를 작성하는 정확성을 향상시킬 수 있다.
그리고 일 실시예에 따른 치과 의무 기록 방법(100)은, 영상 이미지와 차트를 표시하는 단계(S120)에서, 의사가 환자의 구강에 대한 영상(e.g. 파노라마 사진) 상의 치료 부위를 클릭하면 치료 제목, 날짜, 수납 메모창 등의 정보를 포함하는 치료 팝업(144)을 생성하고, 의사가 수납 메모창을 클릭하면 수납 메모창과 연계된 차트를 출력할 수 있다.
일 실시예에 따른 치과 의무 기록 방법(100)을 통해 전공의가 없는 병원 또는 개인 의원도 치과 의무 기록 시에 편리성 및 정확성을 향상시킬 수 있다. 그리고 전공의가 구술(dictation)보다는 전문 진료 공부에 집중할 수 있도록 한다. 그리고 누적된 영상 이미지 판독 정보 및 차팅 자료를 기초로 환자의 구강 상태를 판단하는 정확성이 증대될 수 있다.
도 11은 도 1의 일 실시예에 따른 치과 의무 기록 방법(100)에서 이용하는 딥 러닝 모델의 구성도이다.
도 11을 참조하면, 일 실시예에 따른 치과 의무 기록 방법(100)에서 사용될 수 있는 딥 러닝 모델(deep learning model, 221)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다. 즉, 딥 러닝 모델은 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 목적 함수, 즉 예측 정확도의 에러를 최소화하도록 네트워크를 학습시켜 나아가는 형태의 모델이다.
전술한 딥 러닝 모델(221)은 CNN(Convolutional Neural Network), DHN(Deep Hierachical Network), CDBN(Convolutional Deep Belief Network), DDN(Deconvolutional Deep Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등일 수 있으나, 본 발명은 이에 제한되지 않고 현재 또는 장래에 사용될 수 있는 다양한 딥 러닝 모델을 이용할 수 있다.
전술한 딥 러닝 모델(221)은 딥 러닝 프레임워크를 통해 구현될 수 있다. 딥 러닝 프레임워크는 딥 러닝 모델(221)을 개발할 때 공통적으로 사용되는 기능들을 라이브러리 형태로 제공하고, 시스템 소프트웨어나 하드웨어 플랫폼을 잘 사용할 수 있도록 지원하는 역할을 한다. 본 실시예에서 딥 러닝 모델(221)은 현재 공개되었거나 장래 공개될 어떠한 딥 러닝 프레임워크를 이용하여 구현될 수 있다.
다시 도 11을 참조하면, 딥 러닝 모델(221)은 입력된 이미지 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 이미지 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part, 222)과, 추출된 픽쳐를 이용하여 환자의 구상 상태를 텍스트 형식으로 또는 기호, 텍스트와 기호를 병행하여 예진 차트에 표기하는 출력 영역(output part, 224)을 포함한다.
컨벌루션(convolution)은 컨볼루션 레이어(convolution lalyer)에서 의료영상의 각 영역을 복수의 필터를 이용하여 픽쳐 맵(feature map)를 만들어낸다. 서브샘플링(subsampling) 또는 폴링(pooling)은 서브샘플링 레이어(subsampling layer)에서 픽쳐 맵(feature map)의 크기를 줄여 위치나 회전의 변화에 불변하는 이미지 영상에 대한 픽쳐(feature)를 추출한다.
픽쳐 추출 영역(222)은 컨벌루션(convolution) 및/ 또는 서브샘플링(subsampling)을 반복함으로써 의료영상에서 점, 선, 면 등의 저수준의 픽쳐에서부터 복잡하고 의미 있는 고수준의 픽쳐까지 다양한 수준의 픽쳐를 추출할 수 있다.
딥 러닝 모델, 예를 들어 CNN 기반 딥 러닝 모델은 픽쳐 추출 영역(222)과 출력 영역(224)에서 각 개별 레이어에 존재하는 파라미터를 최적으로 학습시키는 것을 목표로 한다. 딥 러닝 모델에서는 데이터의 순서가 초기 파라미터의 값을 결정하게 된다.
딥 러닝 모델(221)은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 랜덤 샘플링은 학습 데이터 셋에서 학습되는 학습 데이터들의 순서가 다르다는 것을 의미한다.
규제화 기술은 노이즈까지 포함된 학습 데이터에 과도하게 학습된 딥 러닝 모델이 테스트나 진단에서 정확성이 오히려 떨어지는 오버피팅을 줄이는 기술이다. 규제화 기술은 예를 들어 드롭 아웃 기술이나 드롭 커넥티드 기술 등일 수 있다.
드롭 아웃 기술은 특정 노드에 대해 확률적으로 파라미터의 값을 0으로 지정하고 학습시키는 방법이다. 드롭 커넥티드 기술은 노드들 간의 커넥티드를 드롭하고 학습시키는 방법이다. 이하에서 규제화 기술로 이하에서, 드롭 아웃 기술을 예시적으로 설명하나, 현재 또는 장래에 오버피팅을 줄이는 어떠한 기술 또는 알고리즘일 수 있다.
딥 러닝 모델들(221)은 매우 유연한 비선형 알고리즘들(highly flexible nonlinear algorithms)을 사용한다. 따라서, 딥 러닝 모델들(221)의 결과값들은 큰 편차를 나타낼 수 있다. 딥 러닝 모델들(221)의 출력 결과들을 다수결 기반의 앙상블, 만장일치 기반의 앙상블, 불확실성 기반의 앙상블 중 하나 또는 둘 이상을 기초로 앙상블시킨 딥 러닝 모델들의 결과값, 즉 출력 결과들의 편차를 줄여줄 수 있다.
다시 말해 각 딥 러닝 모들들(221)은 학습방식, 예를 들어 샘플링 순서, 드롭 아웃의 랜덤성에 따라 내부 파라미터가 다르게 학습된다. 같은 데이터, 같은 딥 러닝 모델들을 사용하여 각각 학습하더라고 딥 러닝 모델 별로 다른 결과를 나타낼 수 있다. 따라서, 하나의 딥러닝 모델을 사용하는 것은 판단 착오의 위험이 따를 수 있습니다. 그러므로 본 실시예는 다양한 딥러닝 모델들을 생성하고 앙상블 기법을 통해 판단 착오의 위험을 최소화할 수 있다.
도 12는 다른 실시예에 따른 치과 의무 기록 장치의 블럭도이다.
도 12를 참조하면, 다른 실시예에 따른 치과 의무 기록 장치(200)는 환자의 구강에 대한 영상 이미지를 입력받는 입력부(210), 환자의 구강에 대한 영상 이미지를 판독하여 환자의 구강 상태에 대해 판단하고, 판단한 환자의 구상 상태를 텍스트 형식으로 또는 기호, 텍스트와 기호를 병행하여 예진 차트에 표기하는 제어부(220), 및 영상 이미지와 상기 차트를 표시하는 출력부(230)를 포함한다.
영상 이미지는 환자의 구강에 대한 방사선, 구간 카메라, 스캔 장치, 교합 체크 자료 중 하나 또는 둘 이상에 의해 획득한 파노라마 사진, 스캔 영상 또는 카메라 영상 중 하나일 수 있다.
환자의 구상 상태는, 치식, 치아 상태, 치아의 주변 구조 중 적어도 하나일 수 있다.
제어부(220)는 지속적으로 수집된 학습용 영상 이미지와 누적된 차트 자료를 이용하여 인공 지능을 지속적으로 학습시켜서 상기 인공 지능이 영상 이미지를 판독할 수 있다.
인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 영상 이미지를 판독할 수 있다.
표시부(230)는 영상 이미지의 특정한 치료 부위를 선택하면, 해당 치료 부위에 대한 정보를 표시하고, 해당 치료 부위의 이미지를 선택하면, 치료 요약 메모창이 표시되고, 상기 치료 요약 메모창을 선택하면 해당 치료 부위에 대한 차트가 출력된다.
예를 들어, 제어부(220)는 인공 지능을 통해 도 6에 도시한 영상 이미지를 판독한 후 치조골 소실이라는 환자의 치주 상태를 판단한다.
제어부(220)는 인공 지능을 통해 도 7a에 도시한 영상 이미지를 판독한 후 치아 우식이라는 환자의 치주 상태를 판단한다.
제어부(220)는 인공 지능을 통해 도 7b에 도시한 영상 이미지를 판독한 후 A 위치에 크라운으로 표기하고 B 위치에 인레이 또는 아말감으로 표기하고, C 위치에 포스트로 표기하고, D 위치에 근관이라고 표기한다.
표시부(230)에는, 해당 치료 부위에 대한 정보로, 도 8a에 도시한 바와 같이, "2020년 1월 2일 #44, 45 발치, 44 즉시 임플란트, 수납: 20만원"이 표시된다.
표시부(230)에는, 도 8b에 도시한 바와 같이, 해당 치료 부위의 이미지를 클릭하면 치료 요약 메모(e.g. 치료 제목, 날짜, 수납) 창이 표시되고, 치료 요약 메모 창을 클릭하면 해당 치료 부위에 대한 차트를 출력할 수 있다.
제어부(220)는, 개별적으로 입력된 정보 또는 누적된 차트 기록을 머신 러닝 모델, 딥 러닝 모델 등을 사용하는 인공 지능을 통해 지속적으로 학습하여, 예진 차트를 작성하는 정확성을 향상시킬 수 있다.
도 11을 참조하여 전술한 바와, 제어부(220)에서 사용될 수 있는 딥 러닝 모델(deep learning model, 221)은 인공 신경망을 다층 레이어로 쌓은 형태의 모델일 수 있다.
도 11을 참조하여 전술한 바와 같이, 딥 러닝 모델(221)은, 픽쳐 추출 영역(222)과, 출력 영역(224)을 포함한다. 딥 러닝 모델, 예를 들어 CNN 기반 딥 러닝 모델은 픽쳐 추출 영역(222)과 출력 영역(224)에서 각 개별 레이어에 존재하는 파라미터를 최적으로 학습시키는 것을 목표로 한다. 딥 러닝 모델(221)은 랜덤 샘플링(데이터 순서 랜덤)과 규제화 기술(regulation technique)을 적용할 수 있다. 딥 러닝 모델들(221)은 매우 유연한 비선형 알고리즘들(highly flexible nonlinear algorithms)을 사용한다.
전술한 치과 의무 기록 방법(100)는, 프로세서, 메모리, 사용자 입력장치, 프레젠테이션 장치 중 적어도 일부를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. 메모리는, 프로세서에 의해 실행되면 특정 태스크를 수행할 있도록 코딩되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션(instructions), 및/또는 데이터 등을 저장하는 매체이다. 프로세서는 메모리에 저장되어 있는 컴퓨터-판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 등을 판독하여 실행할 수 있다. 사용자 입력장치는 사용자로 하여금 프로세서에게 특정 태스크를 실행하도록 하는 명령을 입력하거나 특정 태스크의 실행에 필요한 데이터를 입력하도록 하는 수단일 수 있다. 사용자 입력장치는 물리적인 또는 가상적인 키보드나 키패드, 키버튼, 마우스, 조이스틱, 트랙볼, 터치-민감형 입력수단, 또는 마이크로폰 등을 포함할 수 있다. 프레젠테이션 장치는 디스플레이, 프린터, 스피커, 또는 진동장치 등을 포함할 수 있다.
컴퓨팅 장치는 스마트폰, 태블릿, 랩탑, 데스크탑, 서버, 클라이언트 등의 다양한 장치를 포함할 수 있다. 컴퓨팅 장치는 하나의 단일한 스탠드-얼론 장치일 수도 있고, 통신망을 통해 서로 협력하는 다수의 컴퓨팅 장치들로 이루어진 분산형 환경에서 동작하는 다수의 컴퓨팅 장치를 포함할 수 있다.
또한 전술한 치과 의무 기록 방법(100)는, 프로세서를 구비하고, 또한 프로세서에 의해 실행되면 딥 러닝 모델을 활용한 영상 진단 방법을 수행할 수 있도록 코딩된 컴퓨터 판독가능 소프트웨어, 애플리케이션, 프로그램 모듈, 루틴, 인스트럭션, 및/또는 데이터 구조 등을 저장한 메모리를 구비하는 컴퓨팅 장치에 의해 실행될 수 있다.
상술한 본 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 실시예들에 따른 딥 러닝 모델을 활용한 치과 의무 기록 방법(100)은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러 또는 마이크로 프로세서 등에 의해 구현될 수 있다.
예를 들어 실시예들에 따른 치과 의무 기록 방법(100)은 심층 신경망의 뉴런(neuron)과 시냅스(synapse)가 반도체 소자들로 구현된 인공지능 반도체 장치를 이용하여 구현될 수 있다. 이때 반도체 소자는 현재 사용하는 반도체 소자들, 예를 들어 SRAM이나 DRAM, NAND 등일 수도 있고, 차세대 반도체 소자들, RRAM이나 STT MRAM, PRAM 등일 수도 있고, 이들의 조합일 수도 있다.
실시예들에 따른 치과 의무 기록 방법(100)을 인공지능 반도체 장치를 이용하여 구현할 때, 딥 러닝 모델을 소프트웨어로 학습한 결과(가중치)를 어레이로 배치된 시냅스 모방소자에 전사하거나 인공지능 반도체 장치에서 학습을 진행할 수도 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 실시예들에 따른 치과 의무 기록 방법(100)은 이상에서 설명된 기능 또는 동작들을 수행하는 장치, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
또한, 위에서 설명한 "시스템", "프로세서", "컨트롤러", "컴포넌트", "모듈", "인터페이스", "모델", 또는 "유닛" 등의 용어는 일반적으로 컴퓨터 관련 엔티티 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어를 의미할 수 있다. 예를 들어, 전술한 구성요소는 프로세서에 의해서 구동되는 프로세스, 프로세서, 컨트롤러, 제어 프로세서, 개체, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만 이에 국한되지 않는다. 예를 들어, 컨트롤러 또는 프로세서에서 실행 중인 애플리케이션과 컨트롤러 또는 프로세서가 모두 구성 요소가 될 수 있다. 하나 이상의 구성 요소가 프로세스 및/또는 실행 스레드 내에 있을 수 있으며, 구성 요소들은 하나의 장치(예: 시스템, 컴퓨팅 디바이스 등)에 위치하거나 둘 이상의 장치에 분산되어 위치할 수 있다.
한편, 또 다른 실시예는 전술한 치과 의무 기록 방법(100)을 수행하는, 컴퓨터 기록매체에 저장되는 컴퓨터 프로그램을 제공한다. 또한 또 다른 실시예는 전술한 치과 의무 기록 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 단계들을 실행할 수 있다.
이와 같이, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
치과 의무 기록 방법(100)은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
하나 이상의 프로세서에 의해 실행될 때, 다른 실시예에 따라 치과 의무기록 방법이 하나 이상의 프로세서에 의해 수행되는 명령을 컴퓨팅 장치에서 저장하는 비 일시적인 컴퓨터 판독 가능 저장매체에 있어서, 명령은 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 상기 컴퓨터 장치가, 환자의 구강에 대한 영상 이미지를 판독하여 상기 환자의 구상 상태를 텍스트 형식으로 또는 기호, 상기 텍스트와 상기 기호를 병행하여 예진 차트에 표기하는 단계 및 상기 영상 이미지와 상기 예진 차트를 표시하는 단계를 수행하도록 한다.
전술한 치과 의무 기록 방법(100)은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있다)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 녹내장 수술 결과 진단 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2020년 01월 13일 한국에 출원한 특허출원번호 제 10-2020-0004128호 및 2020년 12월 24일 한국에 출원한 특허출원번호 제 10-2020-0182812호 에 대해 미국 특허법 119(a)조 (35 U.S.C § 119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (13)

  1. 환자의 구강에 대한 영상 이미지를 판독하여 상기 환자의 구상 상태를 텍스트 형식으로 또는 기호, 상기 텍스트와 상기 기호를 병행하여 예진 차트에 표기하는 단계; 및
    상기 영상 이미지와 상기 예진 차트를 표시하는 단계를 포함하는 치과 의무 기록 방법.
  2. 제1항에 있어서,
    상기 영상 이미지는 환자의 구강에 대한 방사선, 구간 카메라, 스캔 장치, 교합 체크 자료 중 하나 또는 둘 이상에 의해 획득한 파노라마 사진, 스캔 영상 또는 카메라 영상 중 하나이고,
    상기 환자의 구상 상태는, 치식, 치아 상태, 치아의 주변 구조 중 적어도 하나인 치과 의무기록 방법.
  3. 제1항에 있어서,
    상기 예진 차트에 표기하는 단계에서,
    지속적으로 수집된 학습용 영상 이미지와 누적된 예진 차트 자료를 이용하여 인공 지능을 지속적으로 학습시켜서 상기 인공 지능이 영상 이미지를 판독하는 치과 의무기록 방법.
  4. 제1항에 있어서,
    상기 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 영상 이미지를 판독하는 치과 의무기록 방법.
  5. 제4항에 있어서,
    상기 인공지능은 입력된 이미지 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 이미지 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part)과, 추출된 픽쳐를 이용하여 상기 환자의 구상 상태를 텍스트 형식으로 또는 기호, 텍스트와 기호를 병행하여 상기 예진 차트에 표기하는 출력 영역(output part)을 포함하는 딥 러닝 모델을 통해 상기 영상 이미지를 판독하는 치과 의무기록 방법.
  6. 제1항에 있어서,
    상기 영상 이미지와 상기 차트를 표시하는 단계에서,
    상기 영상 이미지의 특정한 치료 부위를 선택하면, 해당 치료 부위에 대한 정보를 표시하고, 해당 치료 부위의 이미지를 선택하면, 치료 요약 메모창이 표시되고, 상기 치료 요약 메모창을 선택하면 해당 치료 부위에 대한 상기 예진 차트가 출력되는 치과 의무기록 방법.
  7. 환자의 구강에 대한 영상 이미지를 입력받는 입력부;
    상기 환자의 구강에 대한 상기 영상 이미지를 판독하여 상기 환자의 구강 상태에 대해 판단하고, 판단한 상기 환자의 구상 상태를 텍스트 형식으로 또는 기호, 상기 텍스트와 상기 기호를 병행하여 예진 차트에 표기하는 제어부; 및
    상기 영상 이미지와 상기 예진 차트를 표시하는 출력부를 포함하는 치과 의무 기록 장치.
  8. 제7항에 있어서,
    상기 영상 이미지는 환자의 구강에 대한 방사선, 구간 카메라, 스캔 장치, 교합 체크 자료 중 하나 또는 둘 이상에 의해 획득한 파노라마 사진, 스캔 영상 또는 카메라 영상 중 하나이고,
    상기 환자의 구상 상태는, 치식, 치아 상태, 치아의 주변 구조 중 적어도 하나인 치과 의무기록 장치.
  9. 제7항에 있어서,
    상기 제어부는, 지속적으로 수집된 학습용 영상 이미지와 누적된 예진 차트 자료를 이용하여 인공 지능을 지속적으로 학습시켜서 상기 인공 지능이 영상 이미지를 판독하는 치과 의무기록 장치.
  10. 제7항에 있어서,
    상기 인공 지능은, 다층의 네트워크로 이루어진 심층 신경망(deep neural network)에서 다량의 데이터를 학습시킴으로서 입력값에 대한 특성(feature)을 자동으로 학습하고, 이를 통해 예측 정확도의 에러를 최소화하도록 상기 다층의 네트워크를 학습시켜, 상기 영상 이미지를 판독하는 치과 의무기록 장치..
  11. 제10항에 있어서,
    상기 인공지능은, 입력된 이미지 영상에서 컨벌루션(convolution)과 서브샘플링(subsampling)을 수행하여 이미지 영상에 대한 픽쳐(feature)를 추출하는 픽쳐 추출 영역(feature extraction part)과, 추출된 픽쳐를 이용하여 상기 환자의 구상 상태를 텍스트 형식으로 또는 기호, 텍스트와 기호를 병행하여 상기 예진 차트에 표기하는 출력 영역(output part)을 포함하는 딥 러닝 모델을 통해 상기 영상 이미지를 판독하는 치과 의무기록 장치.
  12. 제9항에 있어서,
    상기 표시부는,
    상기 영상 이미지의 특정한 치료 부위를 선택하면, 해당 치료 부위에 대한 정보를 표시하고, 해당 치료 부위의 이미지를 선택하면, 치료 요약 메모창이 표시되고, 상기 치료 요약 메모창을 선택하면 해당 치료 부위에 대한 예진 차트가 출력되는 치과 의무기록 장치.
  13. 하나 이상의 프로세서에 의해 실행될 때, 치과 의무기록 방법이 하나 이상의 프로세서에 의해 수행되는 명령을 컴퓨팅 장치에서 저장하는 비 일시적인 컴퓨터 판독 가능 저장매체에 있어서,
    상기 명령은,
    환자의 구강에 대한 영상 이미지를 판독하여 상기 환자의 구상 상태를 텍스트 형식으로 또는 기호, 상기 텍스트와 상기 기호를 병행하여 예진 차트에 표기하는 단계; 및
    상기 영상 이미지와 상기 예진 차트를 표시하는 단계를 수행하는 비 일시적 컴퓨터 판독 가능 저장매체.
PCT/KR2021/000217 2020-01-13 2021-01-07 치과 의무 기록 장치 및 그 치과 의무 기록 방법 WO2021145607A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/792,271 US20230039451A1 (en) 2020-01-13 2021-01-07 Dental medical record device and dental medical record method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200004128 2020-01-13
KR10-2020-0004128 2020-01-13
KR10-2020-0182812 2020-12-24
KR1020200182812A KR102392312B1 (ko) 2020-01-13 2020-12-24 치과 의무 기록 장치 및 그 치과 의무 기록 방법

Publications (1)

Publication Number Publication Date
WO2021145607A1 true WO2021145607A1 (ko) 2021-07-22

Family

ID=76864329

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000217 WO2021145607A1 (ko) 2020-01-13 2021-01-07 치과 의무 기록 장치 및 그 치과 의무 기록 방법

Country Status (2)

Country Link
US (1) US20230039451A1 (ko)
WO (1) WO2021145607A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510221B1 (ko) * 2020-12-24 2023-03-15 연세대학교 산학협력단 골절 위험 예측 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009226096A (ja) * 2008-03-25 2009-10-08 Hitachi Medical Computer Systems Inc 医用画像診断支援装置及び医用画像診断支援プログラム
KR20190053446A (ko) * 2017-11-10 2019-05-20 서울대학교치과병원 구강 진단 시스템
KR20190127247A (ko) * 2018-05-04 2019-11-13 재단법인 아산사회복지재단 초기 동적 영상데이터 기반 진단용 영상 생성방법 및 프로그램
KR20190129247A (ko) * 2018-05-10 2019-11-20 (주)비포덴트 치아진단 방법 및 치아진단용 전자 장치
KR20190142687A (ko) * 2018-06-18 2019-12-27 오스템임플란트 주식회사 치아 영상 표시 방법, 치아 영상 표시 장치 및 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009226096A (ja) * 2008-03-25 2009-10-08 Hitachi Medical Computer Systems Inc 医用画像診断支援装置及び医用画像診断支援プログラム
KR20190053446A (ko) * 2017-11-10 2019-05-20 서울대학교치과병원 구강 진단 시스템
KR20190127247A (ko) * 2018-05-04 2019-11-13 재단법인 아산사회복지재단 초기 동적 영상데이터 기반 진단용 영상 생성방법 및 프로그램
KR20190129247A (ko) * 2018-05-10 2019-11-20 (주)비포덴트 치아진단 방법 및 치아진단용 전자 장치
KR20190142687A (ko) * 2018-06-18 2019-12-27 오스템임플란트 주식회사 치아 영상 표시 방법, 치아 영상 표시 장치 및 기록매체

Also Published As

Publication number Publication date
US20230039451A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
Mohammad-Rahimi et al. Deep learning for caries detection: A systematic review
US10984529B2 (en) Systems and methods for automated medical image annotation
CA3149760A1 (en) Automated medical image annotation and analysis
CN111768497B (zh) 一种头部动态虚拟模型的三维重建方法、装置及系统
KR102392312B1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
WO2021215582A1 (ko) 치주염 자동 진단 방법 및 이를 구현하는 프로그램
WO2021141416A1 (ko) 데이터 정합을 통한 3차원 모델 생성 장치 및 방법
Musri et al. Deep learning convolutional neural network algorithms for the early detection and diagnosis of dental caries on periapical radiographs: A systematic review
WO2020013642A1 (ko) 구강 관리 장치 및 이를 포함하는 구강 관리 서비스 시스템
WO2021246770A1 (ko) 인공지능 기반 실시간 자동 엑스레이 영상 판독 방법 및 시스템
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021230534A1 (ko) 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
WO2021145607A1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법
Ding et al. Detection of dental caries in oral photographs taken by mobile phones based on the YOLOv3 algorithm
WO2019045390A1 (ko) 구강 관리 시스템
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2023058994A1 (ko) 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치
WO2024005344A1 (ko) 환자 관리 시스템을 위한 썸네일 제공 방법 및 상기 방법을 수행하는 컴퓨팅 장치
WO2023080702A1 (ko) 치과 진료기록 작성 자동화 및 치과 보험심사 자동화를 위한 방법 및 자동화된 치아차트 및 치과치료확인서 생성 및 검증 시스템
WO2024039029A1 (ko) 치아 병변 정보 시각화 방법 및 시스템
WO2023033375A1 (ko) 치과 진단 장치 및 방법
KR102489867B1 (ko) 타임스탬프를 이용한 구강영상 생성 시스템
WO2022158694A1 (ko) 병리 조직 영상의 처리 방법 및 그 장치
US20230196511A1 (en) Image processing apparatus, image capturing apparatus, image capturing system, and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21741526

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21741526

Country of ref document: EP

Kind code of ref document: A1