WO2023058942A1 - 구강 건강 분석 서비스를 제공하는 장치 및 방법 - Google Patents

구강 건강 분석 서비스를 제공하는 장치 및 방법 Download PDF

Info

Publication number
WO2023058942A1
WO2023058942A1 PCT/KR2022/014035 KR2022014035W WO2023058942A1 WO 2023058942 A1 WO2023058942 A1 WO 2023058942A1 KR 2022014035 W KR2022014035 W KR 2022014035W WO 2023058942 A1 WO2023058942 A1 WO 2023058942A1
Authority
WO
WIPO (PCT)
Prior art keywords
oral
disease
image data
tooth
patient
Prior art date
Application number
PCT/KR2022/014035
Other languages
English (en)
French (fr)
Inventor
김동현
정호걸
최선
류현석
Original Assignee
주식회사 인비전랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인비전랩 filed Critical 주식회사 인비전랩
Publication of WO2023058942A1 publication Critical patent/WO2023058942A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an apparatus and method for providing an oral health analysis service.
  • An object of the present invention to solve the above problems is to generate and provide oral health condition information of a patient through a deep learning model based on oral image data of the patient.
  • the oral cavity when oral image data of a patient is received from an oral imaging device, the oral cavity based on a disease detection model Generating oral disease data by recognizing at least one disease of the oral cavity of the patient from image data, determining an anatomical position of the oral cavity image data based on a position detection model, and determining the oral cavity based on a tooth segmentation model. Recognizing a tooth position of each tooth by recognizing each tooth region from image data, and generating result data based on at least one of the anatomical position and the tooth position with respect to the oral disease data. .
  • a detailed oral disease name for each oral disease is determined based on the oral disease data and the anatomical location, the detailed oral disease name indicates a corresponding anatomical location, and the oral disease data and the tooth Based on the position, it is possible to determine the position of at least one tooth corresponding to a predetermined oral disease.
  • displaying the result data through a user interface displaying a chat window on the UI when a question about the result data is requested through the UI, when a question is input to the chat window, Generating an answer to the question based on a preset method and displaying the generated answer in the chat window, wherein the UI includes a first area displaying personal information about the patient, the It may include a second area in which an indicator representing the at least one recognized oral disease is displayed on the oral image data, and a third area in which the result data is displayed.
  • UI user interface
  • determining a region related to the input question on the oral cavity image data displayed on the second region and displaying an indicator indicating the determined region on the oral image data may further include steps to do.
  • the preset method includes a first method of searching for and generating an answer related to the question based on a pre-stored disease dictionary database, and requesting and providing an answer related to the question from a group including at least one pre-registered expert. It may include any one of the second methods of receiving.
  • the method may further include generating oral health condition information including at least one of a dental health index, a gum health index, an osteoporosis predictor, and a temporomandibular joint health index for the patient based on the result data and the answer. there is.
  • the UI may further include a fourth area for displaying the oral health state information.
  • the receiving The method may further include displaying received feedback information on the fourth area, wherein the feedback information may include at least one of a reliability level and an additional finding of the oral health state information.
  • an apparatus for providing an oral health analysis service for solving the above problems includes a communication unit and a processor providing a UI (User Interface) for the oral health analysis service, the processor comprising: When oral image data of the patient is received from the oral imaging device, oral disease data recognizing at least one oral disease of the patient is generated from the oral image data based on the disease detection model, and based on the position detection model The anatomical position of the oral cavity image data is determined, each tooth region is recognized from the oral cavity image data based on a tooth segmentation model, the tooth position of each tooth is recognized, and the anatomical position and the anatomical position of the oral disease data are determined. Result data may be generated based on at least one of the tooth positions.
  • UI User Interface
  • FIG. 1 is a diagram showing a system for providing an oral health analysis service according to the present invention.
  • FIG. 2 is a diagram for explaining an apparatus for providing an oral health analysis service according to the present invention.
  • FIG. 3 is a diagram for explaining a process of generating result data for oral cavity image data according to the present invention.
  • FIG. 4 is a diagram for explaining a UI providing an oral health analysis service according to the present invention.
  • FIG. 5 is a diagram for explaining a process of displaying a chat window on a UI according to the present invention.
  • FIG. 6 is an exemplary view showing oral health condition information on a medical terminal according to the present invention.
  • FIG. 7 is an exemplary diagram showing oral health condition information on a patient terminal according to the present invention.
  • FIG. 8 is a flowchart illustrating a process of providing an oral health analysis service according to the present invention.
  • FIG. 1 is a diagram showing a system 1 for providing an oral health analysis service according to the present invention.
  • FIG. 2 is a diagram for explaining an apparatus 10 for providing an oral health analysis service according to the present invention.
  • FIG. 3 is a diagram for explaining a process of generating result data for oral cavity image data according to the present invention.
  • FIG. 4 is a diagram for explaining a UI 400 providing an oral health analysis service according to the present invention.
  • FIG. 5 is a diagram for explaining a process of displaying a chat window on the UI 400 according to the present invention.
  • FIG. 6 is an exemplary view showing oral health condition information on the doctor terminal 30 according to the present invention.
  • FIG. 7 is an exemplary view of oral health state information displayed on the patient terminal 30 according to the present invention.
  • the system 1 may include an oral health analysis service providing device 10 , an oral imaging device 20 , a doctor terminal 30 , a patient terminal 40 and a communication network 50 .
  • the system 1 may include fewer or more components than those shown in FIG. 1 .
  • the device 10 when oral image data of the patient is received from the oral imaging device 20, the device 10 generates oral disease data through a plurality of deep learning models, determines an anatomical position, and recognizes a tooth position. Result data for the oral cavity of the patient may be generated.
  • the device 10 displays the result data through a user interface (UI) 400, and when a question about the result data is requested through the UI 400, a chat window is displayed on the UI 400. can do.
  • UI user interface
  • the device 10 when a question is input to the chat window, the device 10 generates an answer to the question based on a preset method and displays it on the chat window, and provides oral health state information based on the result data and the answer. can create
  • the device 10 generates and provides oral health condition information of the patient through a deep learning model based on the patient's oral image data, so that patients can objectively check their oral health condition without a doctor's explanation. can provide
  • the device 10 may be a form including at least one of a computer, a server, a mobile terminal, and a smart phone.
  • the device 10 may be in the form of a computer. More specifically, the computer may include all of various devices capable of providing results to users by performing calculation processing.
  • a computer includes not only a desktop PC and a notebook (Note Book) but also a smart phone, a tablet PC, a cellular phone, a PCS phone (Personal Communication Service phone), synchronous/asynchronous A mobile terminal of IMT-2000 (International Mobile Telecommunication-2000), a Palm Personal Computer (Palm PC), and a Personal Digital Assistant (PDA) may also be applicable.
  • a Head Mounted Display (HMD) device includes a computing function, the HMD device may become a computer.
  • the computer may correspond to a server that receives a request from a client and performs information processing.
  • the computer may be a client device.
  • the oral cavity photographing device 20 is a device for generating oral image data of the patient by photographing the oral cavity of the patient, and may include, for example, the CBCT device 21 or the panoramic photographing device 22.
  • the CBCT device 21 may be a device that performs cone beam volumetric radiography.
  • the comb beam stereoscopic radiography may be imaging a series of 2D radiation images at different projection angles, and then processing the 2D radiation images to reconstruct a 3D stereoscopic image.
  • the panoramic imaging device 22 may be an imaging device using radiation, which fixes the patient's chin and head to an accurate position in a state in which the patient is standing still, and then photographs the patient's oral cavity.
  • the doctor terminal 30 and the patient terminal 40 include a mobile phone, a smart phone, a personal digital assistant (PDA), a portable multimedia player (PMP), and a tablet PC including display means, input means, and communication functions.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • tablet PC including display means, input means, and communication functions.
  • personal computers eg, desktop computers, notebook computers, etc.
  • workstations personal digital assistants (PDAs)
  • PDAs personal digital assistants
  • digital devices such as web pads.
  • the doctor terminal 30 and the patient terminal 40 access a website through the Internet or download an application to receive the UI 400 for the oral health analysis service through the website or the application.
  • the doctor's terminal 30 is a terminal used by a dentist, and may be a terminal that inputs a question about patient result data through the UI 400 and receives and displays an answer to the question.
  • the patient terminal 40 may be a terminal used by a patient or a terminal installed on one side so that a patient can view oral health condition information when receiving treatment at a dental office. Therefore, patients can directly check their own oral health condition information through the patient terminal 40 .
  • the communication network 50 may transmit and receive various types of information between the device 10 , the oral imaging device 20 , the doctor terminal 30 and the patient terminal 40 .
  • various types of communication networks may be used as the communication network 50, for example, WLAN (Wireless LAN), Wi-Fi, Wibro, Wimax, HSDPA (High Speed Downlink Packet Access)
  • a wired communication method such as Ethernet, xDSL (ADSL, VDSL), HFC (Hybrid Fiber Coax), FTTC (Fiber to The Curb), FTTH (Fiber To The Home) may be used. .
  • the communication network 50 is not limited to the communication methods presented above, and may include all types of communication methods that are widely known or will be developed in the future, in addition to the above-described communication methods.
  • the device 10 may include a communication unit 110 , a memory 120 and a processor 130 .
  • the device 10 may include fewer or more components than those shown in FIG. 2 .
  • the communication unit 110 may be between the device 10 and the oral imaging device 20, between the device 10 and the doctor terminal 30, between the device 10 and the patient terminal 40, or between the device 10 and the communication network ( 50) may include one or more modules enabling wireless communication between them.
  • the communication unit 110 may include one or more modules that connect the device 10 to one or more networks.
  • the memory 120 may store data supporting various functions of the device 10 .
  • the memory 120 may store a plurality of application programs (application programs or applications) running in the device 10 , data for operation of the device 10 , and commands. At least some of these applications may exist for basic functions of the device 10 . Meanwhile, the application program may be stored in the memory 120, installed on the device 10, and driven by the processor 130 to perform an operation (or function) of the device 10.
  • the memory 120 may include a disease dictionary database 122 for oral diseases.
  • the disease dictionary database 122 may include detailed descriptions and treatment methods for a plurality of oral diseases.
  • the processor 130 may control general operations of the device 10 in addition to operations related to the application program.
  • the processor 130 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the components described above or by running an application program stored in the memory 120.
  • the processor 130 may control at least some of the components discussed in conjunction with FIG. 2 in order to drive an application program stored in the memory 120 . Furthermore, the processor 130 may combine and operate at least two or more of the elements included in the device 10 to drive the application program.
  • the processor 130 performs a data pre-processing process on the patient's oral image data received from the oral imaging device 20, generates oral disease data based on the disease detection model, and creates a position detection model. It is possible to determine an anatomical position based on and recognize a tooth position based on a tooth segmentation model.
  • the processor 130 may generate result data based on at least one of the anatomical position and the tooth position with respect to the oral disease data.
  • the processor 130 determines at least one oral cavity of the patient from the oral image data based on a disease detection model. Oral disease data by recognizing the disease may be generated.
  • the oral disease data may include information on at least one of the type of oral disease, the location and existence probability of the oral disease.
  • the type of oral disease may be a type corresponding to a major classification of oral disease.
  • the type of oral disease may include tumors, tooth decay, gum disease, and the like.
  • the disease detection model is a deep learning model, and a learning data set based on oral image data for each of a plurality of existing patients and oral disease label data for the oral image data for each of the plurality of existing patients is built, and the built learning data It can be machine-learned based on sets.
  • the disease detection model includes at least one of a dental health index calculation neural network (algorithm), a gum health index calculation neural network (algorithm), a temporomandibular joint health index calculation neural network (algorithm), and an osteoporosis health index calculation neural network (algorithm). It can be.
  • a dental health index calculation neural network algorithm
  • a gum health index calculation neural network algorithm
  • a temporomandibular joint health index calculation neural network algorithm
  • an osteoporosis health index calculation neural network algorithm
  • the processor 130 includes a dental health index calculation neural network (algorithm), a gum health index calculation neural network (algorithm), a temporomandibular joint health index calculation neural network (algorithm), and osteoporosis included in the disease detection model when generating the oral disease data.
  • a dental health index calculation neural network algorithm
  • a gum health index calculation neural network algorithm
  • a temporomandibular joint health index calculation neural network algorithm
  • osteoporosis included in the disease detection model when generating the oral disease data.
  • At least two or more neural networks (algorithms) among health index calculation neural networks (algorithms) may be used together to recognize oral diseases through respective neural networks (algorithms).
  • the processor 130 may generate the oral disease data when it is determined that a specific disease is present at a specific location with a predetermined probability or more in the neural network (algorithm) of the predetermined number or more.
  • the dental health index calculation neural network determines at least one of the upper left health, upper middle health, upper right health, lower left health, lower middle health, and lower right health, and averages the sum of each can be obtained to calculate the dental health index.
  • These dental health index calculation neural networks can be composed of Inception V3 CNN neural networks, and can be composed of CNN artificial intelligence neural networks composed of a total of 11 layers, and results using existing image learning data through Transfer Learning. can be configured using
  • the gum health index calculation algorithm may determine the upper left health level, the upper right health level, the lower left health level, and the lower right health level, and obtain an average of the respective sums to calculate the gum health index.
  • This gum health index calculation neural network can be composed of the Inception V3 CNN neural network, and can be composed of a CNN artificial intelligence neural network composed of a total of 11 layers, and the result using the existing image learning data through Transfer Learning can be configured using
  • the neural network (algorithm) for calculating the temporomandibular joint health index consists of an Inception V3-based Faster RCNN algorithm that separates and finds two areas of the condyle (articular protrusion) and a classification algorithm that performs classification based on the separated and found areas. It can be.
  • the neural network (algorithm) for calculating the temporomandibular joint health index may classify and display the presence or absence of joint disease.
  • the osteoporosis health index calculation neural network can be composed of the Inception V3-based Faster RCNN algorithm, which separates and finds two regions of the temporomandibular joint, and a classification algorithm that performs classification based on the separately found region. there is.
  • This osteoporosis health index calculation neural network (algorithm) can classify and display the presence or absence of osteoporosis.
  • the disease detection model may be configured to further include an algorithm for temporomandibular joints and other specific findings.
  • the temporomandibular joint and other peculiar findings algorithm is an algorithm that finds disease areas through object detection technique for 45 diseases, and can be composed of Faster RCNN.
  • the processor 130 may determine the anatomical position of the oral cavity image data based on the position detection model.
  • the position detection model is a deep learning model, and a learning data set based on a plurality of oral image data for each existing patient and anatomical position label data for the plurality of oral image data for each existing patient is built, and the built learning data It can be machine-learned based on sets.
  • the processor 130 may recognize the tooth position of each tooth by recognizing each tooth area from the oral cavity image data based on the tooth segmentation model.
  • the tooth segmentation model is a deep learning model, and a learning data set based on a plurality of oral image data for each existing patient and label data for each tooth position for the plurality of oral image data for each existing patient is built, and the built learning It can be machine-learned based on a data set.
  • the processor 130 may generate result data based on at least one of the anatomical location and the tooth location with respect to the oral disease data.
  • the result data may include information on at least one of disease classification, disease name, location, additional examination, and recommendation.
  • the processor 130 determines a detailed oral disease name for each oral disease based on the oral disease data and the anatomical location, and the detailed oral disease name may indicate a corresponding anatomical location.
  • the anatomical position may be information obtained by dividing a tooth portion and an upper or lower portion of the temporomandibular joint with respect to the oral cavity of the patient.
  • the processor 130 determines whether an oral disease is a tumor and is present in the chin with an 80% probability, based on the anatomical location of the tumor, based on the anatomical location of the tumor.
  • Detailed oral disease names can be determined.
  • the processor 130 may determine the position of at least one tooth corresponding to a predetermined oral disease based on the oral disease data and the tooth position.
  • the preset oral disease may be tooth decay (dental caries), and if the preset oral disease is tooth decay, the processor 130 may determine which tooth and position the tooth has.
  • the processor 130 may display the resultant data through the UI 400 .
  • the processor 130 may provide the UI 400 through a website or application for providing an oral health analysis service.
  • the doctor terminal 30 or the patient terminal 40 accesses the Internet and receives the UI 400 through a website provided by the device 10 or an application provided by the device 10.
  • the UI 400 may be provided through the application by downloading.
  • the application may be downloaded and installed from the external server (not shown), for example, a download server.
  • the UI 400 displays a first area 410 in which personal information about the patient is displayed and an indicator 421 indicating the recognized at least one oral disease on the oral image data. It may include a second area 420 and a third area 430 in which the result data is displayed.
  • the first area 410 may display personal information including at least one of the patient's name for which personal information protection has been processed, the patient's identification number, gender, and age.
  • the oral cavity image data may be displayed, and an indicator 421 indicating an oral disease may be displayed on the oral cavity image data.
  • the indicator 421 may be displayed for each oral disease.
  • the processor 130 may display a chat window 440 on the UI 400 when the indicator 421 is input through the UI 400 .
  • the processor 130 may retrieve detailed information about the disease based on the pre-stored disease dictionary database 122 for the disease corresponding to the indicator 421 and display it in the chat window 440 .
  • the third area 430 includes disease classification, disease name, location, additional examination, and recommendation.
  • the UI 400 includes a search box 411 for searching result data of a plurality of patients and a search result window 412 displaying identification information on a plurality of patients according to information input in the search box 411. may further include.
  • the identification information on the plurality of patients may include at least one of a name for which personal information protection has been processed for each patient, an identification number for each patient, and a date of generating result data for each patient.
  • the processor 130 may display a chat window 440 on the UI 400 when a question about the result data is requested through the UI 400 .
  • the processor 130 displays the chat window 440 on the UI 400 when the indicator 421 representing the at least one oral disease is input to the oral image data through the UI 400. can do.
  • the processor 130 may display the chat window 440 on the UI 400 when a chat item 431 displayed on the third area 430 of the UI 400 is input. there is.
  • the processor 130 may generate an answer to the question based on a preset method and display the created answer on the chat window 440.
  • the processor 130 may determine a region related to the input question on the oral cavity image data displayed on the second region 420 .
  • the processor may display an indicator indicating the determined region on the oral cavity image data.
  • the processor 130 may receive the indicator on the oral cavity image data through the UI 400 and simultaneously receive and display the question in the chat window.
  • the preset method includes a first method of searching for and generating an answer related to the question based on a pre-stored disease dictionary database, and requesting and providing an answer related to the question from a group including at least one pre-registered expert Any one of the second methods may be included.
  • the group may be formed for each disease based on expertise in the disease.
  • the processor 130 may extract keywords for the question according to the first method, search the extracted keywords in the pre-stored disease dictionary database, and generate an answer to the keywords.
  • the processor 130 may extract a keyword for the question according to the second method, and request and receive an answer related to the question from a specific group including at least one expert matching the keyword.
  • the processor 130 generates oral health state information including at least one of patient information, dental health index, gum health index, osteoporosis predictor, and temporomandibular joint health index for the patient based on the result data and the answer.
  • the patient information may include at least one information of the patient's name, gender, age, hospital, doctor in charge, type of reading image, and shooting date.
  • the dental health index and the gum health index may be displayed in the form of a hexagonal graph, and the osteoporosis prediction degree and the temporomandibular joint health may be displayed in the form of a bar graph.
  • the processor 130 may display the oral health state information on the fourth area 450 of the UI 400 .
  • the processor 130 displays the oral health condition information in the fourth area 450 of the UI 400 through the doctor terminal 30 or the UI 400 through the patient terminal 40.
  • the oral health state information may be displayed on the fourth area 450 of the upper body.
  • the patient terminal 40 displays a website or application providing the oral health analysis service, and a fourth area on the UI 400 provided through the website or the application ( 450), the oral health state information may be displayed.
  • the fourth area 450 may be divided into a first screen 701, a second screen 702, and a third screen 703, and the oral health condition information may be divided and displayed on each screen. .
  • the processor 130 may request feedback information on the oral health state information from the group that provided the answer.
  • the processor 130 can display the received feedback information on the fourth area 450 .
  • the feedback information includes at least one of a reliability of the oral health state information and an additional finding, and may be displayed on the fourth area 450 together with the oral health state information.
  • FIG. 8 is a flowchart illustrating a process of providing an oral health analysis service according to the present invention.
  • the operation of the processor 130 may be performed by the device 10 .
  • the processor 130 may generate oral disease data based on the disease detection model (S801).
  • the processor 130 When oral image data of the patient is received from the oral imaging device 20, the processor 130 generates oral disease data by recognizing at least one oral disease of the patient from the oral image data based on the disease detection model. can do.
  • the processor 130 may determine the anatomical position of the oral cavity image data based on the position detection model (S802).
  • the processor 130 may recognize the tooth position of each tooth by recognizing each tooth region from the oral cavity image data based on the tooth segmentation model (S803).
  • the processor 130 may generate result data based on at least one of the anatomical position and the tooth position with respect to the oral disease data (S804).
  • the detailed oral disease name for each oral disease is determined based on the oral disease data and the anatomical position, and the detailed oral disease name may represent the corresponding anatomical position. there is.
  • the processor 130 may determine the position of at least one tooth corresponding to a predetermined oral disease based on the oral disease data and the tooth position.
  • the processor 130 may display the resulting data through the UI 400 (S805).
  • the UI 400 includes a first area 410 displaying personal information about the patient, and a second area displaying an indicator 421 indicating at least one recognized oral disease on the oral image data.
  • An area 420 and a third area 430 displaying the result data may be included.
  • the processor 130 may display a chat window on the UI 400 (S806).
  • the processor 130 may generate an answer to the question based on a preset method (S807).
  • the processor 130 determines a region related to the input question on the oral cavity image data displayed on the second region 420, and determines the determined region on the oral image data.
  • An indicator 421 indicating may be displayed.
  • the preset method includes a first method of searching for and generating an answer related to the question based on a pre-stored disease dictionary database, and requesting and providing an answer related to the question from a group including at least one pre-registered expert Any one of the second methods may be included.
  • the processor 130 may display the generated answer on the chat window (S808).
  • the processor 130 may generate oral health state information for the patient based on the result data and the answer (S809).
  • the processor 130 provides oral health condition information including at least one of a dental health index, a gum health index, an osteoporosis predictor, and a temporomandibular joint health index for the patient based on the result data and the answer. can create a dental health index, a gum health index, an osteoporosis predictor, and a temporomandibular joint health index for the patient based on the result data and the answer. can create a dental health index, a gum health index, an osteoporosis predictor, and a temporomandibular joint health index for the patient based on the result data and the answer. can create
  • the processor 130 may display the oral health state information in a fourth area on the UI 400 .
  • the processor 130 may request feedback information on the oral health state information from the group that provided the answer.
  • the processor 130 may display the received feedback information on the fourth area 450 .
  • FIG. 8 describes that steps S801 to S809 are sequentially executed, but this is merely an example of the technical idea of this embodiment, and those skilled in the art to which this embodiment belongs will Since it will be possible to change and execute the order described in FIG. 8 without departing from the essential characteristics or to execute one or more steps of steps S801 to S809 in parallel, it will be possible to apply various modifications and variations, so FIG. It is not limited.
  • the method according to the present invention described above may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.
  • the computer may be the device 10 described above.
  • the aforementioned program is C, C++, JAVA, machine language, etc. It may include a code coded in a computer language of. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do.
  • codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is.
  • the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.
  • Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Nursing (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

본 발명은 장치에 의해 수행되는, 구강 건강 분석 서비스를 제공하는 방법에 있어서, 구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하는 단계, 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하는 단계, 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하는 단계 및 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하는 단계를 포함할 수 있다.

Description

구강 건강 분석 서비스를 제공하는 장치 및 방법
본 발명은 구강 건강 분석 서비스를 제공하는 장치 및 방법에 관한 것이다.
일반적으로, 구강 건강에 문제가 발생하거나, 주기적으로 구강 건강 검진을 위해 치과에 방문하는 환자들은 자신의 구강 건강 상태에 대해 의사에 설명에만 의존하여 파악해왔다.
구체적으로, 치과에 방문하는 환자들은 치과 영상 파노라마 장비를 통해 구강을 촬영하고, 촬영된 파노라마 영상에 대한 치과 의사의 설명에 따라 본인의 구강 건강 상태를 파악해왔다.
즉, 구강 질환에 대한 전문가가 아닌 대부분의 환자의 경우, 파노라마 영상을 보더라도 본인의 구강 건강 상태를 파악하기 어렵기 때문에 치과 의사의 설명만을 의존하여 본인의 구강 건강 상태를 파악하는 경우가 많다.
이에 따라, 환자들이 본인의 구강 건강 상태에 대한 객관적인 지표를 파악하는 것은 어려운 실정이다.
따라서, 환자들이 자신의 구강 건강에 대해 치과 의사의 설명이 없이도 확인할 수 있으며, 심각성을 스스로 파악하여 빨리 치료를 받아야 하는지 등을 판단할 수 있는 방법이 필요하다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 환자의 구강 영상 데이터를 기반으로 딥러닝 모델을 통해 환자의 구강 건강 상태 정보를 생성하여 제공하는 것을 그 목적으로 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명에 따른 장치에 의해 수행되는, 구강 건강 분석 서비스를 제공하는 방법에 있어서, 구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하는 단계, 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하는 단계, 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하는 단계 및 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하는 단계를 포함할 수 있다.
또한, 상기 결과 데이터 생성 단계는, 상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타내고, 상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단할 수 있다.
또한, 상기 결과 데이터를 UI(User Interface)를 통해 표시하는 단계, 상기 UI를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI 상에 대화창을 표시하는 단계, 상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하는 단계 및 상기 생성된 답변을 상기 대화창에 표시하는 단계를 더 포함하고, 상기 UI는, 상기 환자에 대한 개인정보가 표시되는 제1 영역, 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터가 표시되는 제2 영역 및 상기 결과 데이터가 표시되는 제3 영역을 포함할 수 있다.
또한, 상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단하는 단계 및 상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터를 표시하는 단계를 더 포함할 수 있다.
또한, 상기 기 설정된 방식은, 기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함할 수 있다.
또한, 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 UI는, 상기 구강 건강 상태 정보를 표시하는 제4 영역을 더 포함할 수 있다.
또한, 상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청하는 단계 및 상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역 상에 표시하는 단계를 더 포함하고, 상기 피드백 정보는, 상기 구강 건강 상태 정보에 대한 신뢰도, 추가 소견 중 적어도 하나를 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치에 있어서, 통신부 및 상기 구강 건강 분석 서비스에 대한 UI(User Interface)를 제공하는 프로세서를 포함하고, 상기 프로세서는, 구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하고, 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하고, 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하고, 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 환자의 구강 영상 데이터를 기반으로 딥러닝 모델을 통해 환자의 구강 건강 상태 정보를 생성하여 제공함으로써 환자들이 의사의 설명 없이도 본인의 구강 건강 상태를 객관적으로 확인할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 구강 건강 분석 서비스를 제공하기 위한 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 구강 영상 데이터에 대한 결과 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 UI를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 UI 상에 대화창이 표시되는 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 의사용 단말에 구강 건강 상태 정보가 표시된 예시도이다.
도 7은 본 발명에 따른 환자용 단말에 구강 건강 상태 정보가 표시된 예시도이다.
도 8은 본 발명에 따른 구강 건강 분석 서비스를 제공하는 과정을 나타낸 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명에 따른 구강 건강 분석 서비스를 제공하기 위한 시스템(1)을 나타낸 도면이다.
도 2는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치(10)를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 구강 영상 데이터에 대한 결과 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 구강 건강 분석 서비스를 제공하는 UI(400)를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 UI(400) 상에 대화창이 표시되는 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 의사용 단말(30)에 구강 건강 상태 정보가 표시된 예시도이다.
도 7은 본 발명에 따른 환자용 단말(30)에 구강 건강 상태 정보가 표시된 예시도이다.
이하, 도 1 내지 도 7을 참조하여, 본 발명에 따른 구강 건강 분석 서비스를 제공하기 위한 시스템(1)에 대해서 설명하도록 한다.
시스템(1)은 구강 건강 분석 서비스를 제공하는 장치(10), 구강 촬영장치(20), 의사용 단말(30), 환자용 단말(40) 및 통신망(50)을 포함할 수 있다. 여기서, 시스템(1)은 도 1에 도시된 구성요소보다 더 적은 구성요소나 더 많은 구성요소를 포함할 수 있다.
먼저, 장치(10)는 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 복수의 딥러닝 모델을 통해 각각 구강 질환 데이터를 생성하고, 해부학 위치를 판단하며, 치아 위치를 인식함으로 상기 환자의 구강에 대한 결과 데이터를 생성할 수 있다.
또한, 장치(10)는 상기 결과 데이터를 UI(User Interface, 400)를 통해 표시하고, 상기 UI(400)를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI(400) 상에 대화창을 표시할 수 있다.
이때, 장치(10)는 상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하여 상기 대화창에 표시하고, 상기 결과 데이터와 상기 답변을 기반으로 구강 건강 상태 정보를 생성할 수 있다.
따라서, 장치(10)는 환자의 구강 영상 데이터를 기반으로 딥러닝 모델을 통해 환자의 구강 건강 상태 정보를 생성하여 제공함으로써 환자들이 의사의 설명 없이도 본인의 구강 건강 상태를 객관적으로 확인할 수 있는 효과를 제공할 수 있다.
여기서, 장치(10)는 컴퓨터, 서버, 이동 단말기, 스마트폰 등의 적어도 하나를 포함하는 형태일 수 있다.
여기서, 장치(10)는 컴퓨터의 형태가 될 수 있다. 보다 상세하게는, 상기 컴퓨터는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함될 수 있다.
예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD 장치가 컴퓨터가 될 수 있다.
또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다. 또는, 컴퓨터는 클라이언트 장치일 수 있다.
다음으로, 구강 촬영장치(20)는 환자의 구강을 촬영하여 상기 환자의 구강 영상 데이터를 생성하는 장치로, 일 예로, CBCT 장치(21) 또는 파노라마 촬영 장치(22)를 포함할 수 있다.
여기서, CBCT 장치(21)는, 콘 빔 입체 방사선 촬영(Cone beam volumetric radiography)을 수행하는 장치일 수 있다. 여기서, 상기 콤 빔 입체 방사선 촬영은, 다른 투영 각도에서 일련의 2차원 방사선 이미지를 촬상하는 것이며, 촬상 후 2차원 방사선 이미지를 처리하여 3차원 입체상을 재구성하는 것일 수 있다.
또한, 파노라마 촬영 장치(22)는, 방사선을 이용한 촬영 장치로 환자가 가만히 서 있는 상태에서 상기 환자의 턱과 머리를 정확한 위치에 고정시킨 후 상기 환자의 구강을 촬영하는 장치일 수 있다.
그 다음으로, 의사용 단말(30)과 환자용 단말(40)은 디스플레이 수단, 입력 수단, 통신기능 등이 포함되는 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드 등과 같은 디지털 기기 중 하나일 수도 있다.
여기서, 의사용 단말(30)과 환자용 단말(40)은 인터넷을 통해 웹 사이트에 접속하거나, 애플리케이션을 다운받아 상기 웹 사이트 또는 상기 애플리케이션을 통해 상기 구강 건강 분석 서비스에 대한 UI(400)를 제공받을 수 있다.
의사용 단말(30)은 치과 의사가 사용하는 단말로, 상기 UI(400)를 통해 환자의 결과 데이터에 대한 질문을 입력하여 이에 대한 답변을 제공받아 표시하는 단말일 수 있다.
환자용 단말(40)은 환자가 사용하는 단말 또는 치과에서 진료받을 때 환자가 구강 건강 상태 정보를 볼 수 있도록 일측에 설치되는 단말일 수 있다. 따라서, 환자들은 상기 환자용 단말(40)을 통해 본인의 구강 건강 상태 정보를 바로 확인할 수 있다.
또한, 통신망(50)은 장치(10), 구강 촬영장치(20), 의사용 단말(30) 및 환자용 단말(40) 간의 다양한 정보를 송수신할 수 있다.
여기서, 통신망(50)은 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다.
또한, 통신망(50)은 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
이하, 도 2 내지 도 7을 참조하여 본 발명에 따른 구강 건강 분석 서비스를 제공하는 장치(10)에 대해 구체적으로 설명하도록 한다.
도 2를 보면, 장치(10)는 통신부(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다. 여기서, 장치(10)는 도 2에 도시된 구성요소보다 더 적은 구성요소나 더 많은 구성요소를 포함할 수 있다.
통신부(110)는 장치(10)와 구강 촬영장치(20) 사이, 장치(10)와 의사용 단말(30) 사이, 장치(10)와 환자용 단말(40) 사이 또는 장치(10)와 통신망(50) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
또한, 통신부(110)는 장치(10)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
메모리(120)는 장치(10)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(120)는 장치(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 장치(10)의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(120)에 저장되고, 장치(10) 상에 설치되어, 프로세서(130)에 의하여 상기 장치(10)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
이러한, 메모리(120)는 구강 질환에 대한 질환 사전 데이터베이스(122)를 포함할 수 있다. 여기서, 질환 사전 데이터베이스(122)는 복수의 구강 질환에 대한 상세한 설명과 치료 방법 등이 포함할 수 있다.
프로세서(130)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(130)는 메모리(120)에 저장된 응용 프로그램을 구동하기 위하여, 도 2와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(130)는 상기 응용 프로그램의 구동을 위하여, 장치(10)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.
도 3을 보면, 프로세서(130)는 구강 촬영장치(20)로부터 수신한 환자의 구강 영상 데이터에 대해 데이터 전처리 과정을 수행한 후, 질환 검출 모델을 기반으로 구강 질환 데이터를 생성하고, 위치 검출 모델을 기반으로 해부학 위치를 판단하고, 치아 분할 모델을 기반으로 치아 위치를 인식할 수 있다.
그리고, 프로세서(130)는 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다.
구체적으로, 프로세서(130)는 통신부(110)를 통해 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성할 수 있다.
여기서, 구강 질환 데이터는, 구강 질환의 종류, 상기 구강 질환의 위치와 존재 확률 중 적어도 하나의 정보를 포함할 수 있다. 여기서, 구강 질환의 종류는 구강 질환의 대분류에 해당하는 종류일 수 있다. 일 예로, 구강 질환의 종류는, 종양, 충치, 잇몸질환 등을 포함할 수 있다.
여기서, 질환 검출 모델은, 딥러닝 모델로, 복수의 기존 환자 별 구강 영상 데이터, 상기 복수의 기존 환자 별 구강 영상 데이터에 대한 구강 질환 레이블 데이터에 기초한 학습데이터 세트를 구축되고, 상기 구축된 학습데이터 세트를 기반으로 기계학습될 수 있다.
또한, 질환 검출 모델은, 치아 건강지수 산출 신경망(알고리즘), 잇몸 건강지수 산출 신경망(알고리즘), 턱관절 건강지수 산출 신경망(알고리즘), 골다공증 건강지수 산출 신경망(알고리즘) 중 적어도 하나를 포함하여 구성될 수 있다.
여기서, 프로세서(130)는 상기 구강 질환 데이터 생성시, 상기 질환 검출 모델에 포함되는 치아 건강지수 산출 신경망(알고리즘), 잇몸 건강지수 산출 신경망(알고리즘), 턱관절 건강지수 산출 신경망(알고리즘), 골다공증 건강지수 산출 신경망(알고리즘) 중 적어도 두개 이상의 신경망(알고리즘)을 함께 사용하여 각각의 신경망(알고리즘)을 통해 구강 질환을 인식할 수 있다.
그리고, 프로세서(130)는 상기 기 설정된 개수 이상의 신경망(알고리즘)에서 특정 위치에 기 설정된 확률 이상으로 특정 질환이 있는 것으로 판단되는 경우, 상기 구강 질환 데이터를 생성할 수 있다.
여기서, 치아 건강지수 산출 신경망(알고리즘)은 상단 좌측 건강도, 상단 중단 건강도, 상단 우측 건강도, 하단 좌측 건강도, 하단 중단 건강도 및 하단 우측 건강도 중 적어도 하나를 파악해서 각각의 합의 평균을 구하여 치아 건강지수를 산출할 수 있다.
이러한, 치아 건강지수 산출 신경망(알고리즘)은 Inception V3 CNN 신경망으로 구성될 수 있으며, 총 11개의 레이어로 구성된 CNN 인공지능 신경망으로 구성될 수 있고, Transfer Learning을 통해 기존의 이미지 학습 데이터를 활용한 결과물을 사용하여 구성될 수 있다.
또한, 잇몸 건강지수 산출 알고리즘은 상단 좌측 건강도, 상단 우측 건강도, 하단 좌측 건강도, 하단 우측 건강도를 파악해서 각각의 합의 평균을 구하여 잇몸 건강지수를 산출할 수 있다.
이러한, 잇몸 건강지수 산출 신경망(알고리즘)은 Inception V3 CNN 신경망으로 구성될 수 있으며, 총 11개의 레이어로 구성된 CNN 인공지능 신경망으로 구성될 수 있고, Transfer Learning을 통해 기존의 이미지 학습 데이터를 활용한 결과물을 사용하여 구성될 수 있다.
또한, 턱관절 건강지수 산출 신경망(알고리즘)은 Condyle(관절돌기) 부위의 2개 영역을 분리하여 찾아내는 Inception V3 기반의 Faster RCNN 알고리즘과, 분리되어 찾아낸 영역을 기반으로 Classification을 수행하는 분류 알고리즘으로 구성될 수 있다.
이러한, 턱관절 건강지수 산출 신경망(알고리즘)은 관절 질환 유무를 분류하여 표시할 수 있다.
또한, 골다공증 건강지수 산출 신경망(알고리즘)은 턱관절 부위의 2개 영역을 분리하여 찾아내는 Inception V3 기반의 Faster RCNN 알고리즘과 분리되어 찾아낸 영역을 기반으로 분류(Classification)을 수행하는 분류 알고리즘으로 구성될 수 있다.
이러한, 골다공증 건강지수 산출 신경망(알고리즘)은 골다공증 유무를 분류하여 표시할 수 있다.
추가로, 질환 검출 모델은, 턱관절 기타 특이소견 알고리즘을 추가로 더 포함하여 구성될 수 있다. 여기서, 턱관절 기타 특이소견 알고리즘은 45개 질환에 대해 Object Detection 기법을 통해 질환 영역을 찾아내는 알고리즘으로, Faster RCNN으로 구성될 수 있다.
프로세서(130)는 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단할 수 있다.
여기서, 위치 검출 모델은, 딥러닝 모델로, 복수의 기존 환자 별 구강 영상 데이터, 상기 복수의 기존 환자 별 구강 영상 데이터에 대한 해부학 위치 레이블 데이터에 기초한 학습데이터 세트가 구축되고, 상기 구축된 학습데이터 세트를 기반으로 기계학습될 수 있다.
프로세서(130)는 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식할 수 있다.
여기서, 치아 분할 모델은, 딥러닝 모델로, 복수의 기존 환자 별 구강 영상 데이터, 상기 복수의 기존 환자 별 구강 영상 데이터에 대한 치아 위치 별 레이블 데이터에 기초한 학습데이터 세트가 구축되고, 상기 구축된 학습데이터 세트를 기반으로 기계학습될 수 있다.
프로세서(130)는 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다.
여기서, 결과 데이터는, 질환의 분류, 질환명, 위치, 추가검사 및 권장처방(Recommendation) 중 적어도 하나의 정보를 포함할 수 있다.
보다 상세하게는, 프로세서(130)는 상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타낼 수 있다.
여기서, 해부학 위치는, 상기 환자의 구강에 대해 치아부분, 턱관절 상부 또는 하부 부분을 구분한 정보일 수 있다.
일 예로, 프로세서(130)는 상기 구강 질환 데이터를 기반으로 구강의 질환이 종양이고, 턱부분에 80% 확률로 존재하는 경우, 상기 해부학 위치를 기반으로 상기 종양의 해부학 위치에 따라 상기 종양에 대한 상세 구강 질환명을 결정할 수 있다.
또한, 프로세서(130)는 상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단할 수 있다.
여기서, 기 설정된 구강 질환은 충치(치아 우식증)일 수 있고, 상기 프로세서(130)는 상기 기 설정된 구강 질환이 충치인 경우, 충치가 어떤 치아 어느 위치에 있는지를 판단할 수 있다.
프로세서(130)는 상기 결과 데이터를 UI(400)를 통해 표시할 수 있다.
여기서, 프로세서(130)는 구강 건강 분석 서비스를 제공하기 위한 웹 사이트 또는 애플리케이션을 통해 상기 UI(400)를 제공할 수 있다.
구체적으로, 의사용 단말(30) 또는 환자용 단말(40)은 인터넷에 접속하여 상기 장치(10)에서 제공하는 웹 사이트를 통해 상기 UI(400)를 제공받거나, 상기 장치(10)에서 제공하는 애플리케이션을 다운받아 상기 애플리케이션을 통해 상기 UI(400)를 제공받을 수 있다.
여기서, 상기 애플리케이션은, 상기 외부 서버(미도시) 예컨대, 다운로드 서버로부터 다운받아 설치될 수 있다.
도 4를 보면, UI(400)는, 상기 환자에 대한 개인정보가 표시되는 제1 영역(410), 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터(421)가 표시되는 제2 영역(420) 및 상기 결과 데이터가 표시되는 제3 영역(430)을 포함할 수 있다.
구체적으로, 제1 영역(410)은, 상기 환자에 대한 개인정보 보호 처리가된 이름, 상기 환자의 식별번호, 성별, 나이 중 적어도 하나의 정보를 포함하는 개인정보가 표시될 수 있다.
제2 영역(420)은, 상기 구강 영상 데이터가 표시되되, 상기 구강 영상 데이터 상에 구강 질환을 나타내는 인디케이터(421)가 표시될 수 있다. 여기서, 인디케이터(421)는 상기 구강 질환 별로 각각 표시될 수 있다.
이에 따라, 프로세서(130)는 상기 UI(400)를 통해 상기 인디케이터(421)가 입력되는 경우, 상기 UI(400) 상에 대화창(440)을 표시할 수 있다. 추가로, 프로세서(130)는 상기 인디케이터(421)에 해당하는 질환에 대한 기 저장된 질환 사전 데이터베이스(122)를 기반으로 상기 질환에 대한 상세 정보를 검색하여 상기 대화창(440)에 표시할 수 있다.
제3 영역(430)은, 질환의 분류, 질환명, 위치, 추가검사, 권장처방(Recommendation)
추가로, UI(400)는 복수의 환자의 결과 데이터를 검색하기 위한 검색란(411) 및 상기 검색란(411)에 입력되는 정보에 따른 복수의 환자에 대한 식별정보가 표시되는 검색 결과창(412)을 더 포함할 수 있다.
여기서, 복수의 환자에 대한 식별정보는, 환자 별 개인정보 보호 처리가된 이름, 환자 별 식별번호, 환자 별 결과 데이터 생성일 중 적어도 하나의 정보를 포함할 수 있다.
도 5를 보면, 프로세서(130)는 상기 UI(400)를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI(400) 상에 대화창(440)을 표시할 수 있다.
여기서, 프로세서(130)는 상기 UI(400)를 통해 상기 구강 영상 데이터에 상기 적어도 하나의 구강 질환을 나타내는 인디케이터(421)가 입력되는 경우, 상기 UI(400) 상에 상기 대화창(440)을 표시할 수 있다.
또는, 프로세서(130)는 상기 UI(400)의 상기 제3 영역(430) 상에 표시되는 챗 아이템(431)이 입력되는 경우, 상기 UI(400) 상에 상기 대화창(440)을 표시할 수 있다.
프로세서(130)는 상기 대화창(440)에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하고, 상기 생성된 답변을 상기 대화창(440)에 표시할 수 있다.
이때, 프로세서(130)는 상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역(420) 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단할 수 있다.
그리고, 프로세서(상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터를 표시할 수 있다.
또는, 프로세서(130)는 상기 UI(400)를 통해 상기 구강 영상 데이터 상에 상기 인디케이터를 입력받고, 동시에 상기 대화창에 상기 질문을 입력받아 표시할 수 있다.
여기서, 기 설정된 방식은, 기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함할 수 있다. 여기서, 그룹은 질환에 대한 전문성을 기반으로 질환 별로 형성될 수 있다.
구체적으로, 프로세서(130)는 상기 제1 방식에 따라 상기 질문에 대한 키워드를 추출하고, 상기 기 저장된 질환 사전 데이터베이스에서 상기 추출한 키워드를 검색하여 상기 키워드에 대한 답변을 생성할 수 있다.
또는, 프로세서(130)는 상기 제2방식에 따라 상기 질문에 대한 키워드를 추출하고, 상기 키워드에 매칭되는 적어도 하나의 전문가를 포함한 특정 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받을 수 있다.
프로세서(130)는 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 환자정보, 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성할 수 있다.
여기서, 환자정보는, 환자에 대한 이름, 성별, 나이, 병원, 담당의, 판독영상 종류, 촬영일 중 적어도 하나의 정보를 포함할 수 있다.
또한, 치아 건강지수와 잇몸 건강지수는 육각형 그래프 형태로 표시될 수 있고, 골다공증 예측도와 턱관절 건강도는 막대 그래프 형태로 표시될 수 있다.
여기서, 도 6 내지 도 7을 보면, 프로세서(130)는 상기 구강 건강 상태 정보를 상기 UI(400)의 제4 영역(450)에 표시할 수 있다.
구체적으로, 프로세서(130)는 의사용 단말(30)을 통해 상기 UI(400) 상의 제4 영역(450)에 상기 구강 건강 상태 정보를 표시하거나, 환자용 단말(40)을 통해 상기 UI(400) 상의 제4 영역(450)에 상기 구강 건강 상태 정보를 표시할 수 있다.
여기서, 도 7을 보면, 상기 환자용 단말(40)은 상기 구강 건강 분석 서비스를 제공하는 웹 사이트 또는 애플리케이션이 표시되고, 상기 웹 사이트 또는 상기 애플리케이션을 통해 제공되는 상기 UI(400) 상의 제4 영역(450)에 상기 구강 건강 상태 정보가 표시될 수 있다.
여기서, 제4 영역(450)은 제1 화면(701), 제2 화면(702) 및 제3 화면(703)으로 구분될 수 있으며, 상기 구강 건상 상태 정보가 각 화면에 분할되어 표시될 수 있다.
또한, 프로세서(130)는 상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청할 수 있다.
그리고, 프로세서(130)는 상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역(450) 상에 표시할 수 있다.
여기서, 피드백 정보는, 상기 구강 건강 상태 정보에 대한 신뢰도, 추가 소견 중 적어도 하나를 포함하며, 상기 구강 건강 상태 정보화 함께 상기 제4 영역(450) 상에 표시될 수 있다.
도 8은 본 발명에 따른 구강 건강 분석 서비스를 제공하는 과정을 나타낸 흐름도이다. 이하, 프로세서(130)의 동작은 장치(10)에서 수행 가능할 수 있다.
프로세서(130)는 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 구강 질환 데이터를 생성할 수 있다(S801).
프로세서(130)는 구강 촬영장치(20)로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성할 수 있다.
프로세서(130)는 위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단할 수 있다(S802).
프로세서(130)는 치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식할 수 있다(S803).
프로세서(130)는 상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성할 수 있다(S804).
구체적으로, 프로세서(130)는 상기 결과 데이터를 생성할 때, 상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타낼 수 있다.
또한, 프로세서(130)는 상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단할 수 있다.
프로세서(130)는 상기 결과 데이터를 UI(400)를 통해 표시할 수 있다(S805).
여기서, 상기 UI(400)는, 상기 환자에 대한 개인정보가 표시되는 제1 영역(410), 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터(421)가 표시되는 제2 영역(420) 및 상기 결과 데이터가 표시되는 제3 영역(430)을 포함할 수 있다.
프로세서(130)는 상기 UI(400)를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI(400) 상에 대화창을 표시할 수 있다(S806).
프로세서(130)는 상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성할 수 있다(S807).
프로세서(130)는 상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역(420) 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단하고, 상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터(421)를 표시할 수 있다.
여기서, 기 설정된 방식은, 기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함할 수 있다.
프로세서(130)는 상기 생성된 답변을 상기 대화창에 표시할 수 있다(S808).
프로세서(130)는 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 구강 건강 상태 정보를 생성할 수 있다(S809).
보다 상세하게는, 프로세서(130)는 상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성할 수 있다.
여기서, 프로세서(130)는 상기 구강 건강 상태 정보를 상기 UI(400) 상의 제4 영역에 표시할 수 있다.
프로세서(130)는 상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청할 수 있다.
프로세서(130)는 상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역(450) 상에 표시할 수 있다.
도 8은 단계 S801 내지 단계 S809를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 8에 기재된 순서를 변경하여 실행하거나 단계 S801 내지 단계 S809 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 8은 시계열적인 순서로 한정되는 것은 아니다.
이상에서 전술한 본 발명에 따른 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 장치(10)일 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다.
또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다.
또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 장치에 의해 수행되는, 구강 건강 분석 서비스를 제공하는 방법에 있어서,
    구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하는 단계;
    위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하는 단계;
    치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하는 단계; 및
    상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하는 단계; 를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 결과 데이터 생성 단계는,
    상기 구강 질환 데이터와 상기 해부학 위치를 기반으로 상기 구강 질환 별 상세 구강 질환명을 결정하되, 상기 상세 구강 질환명은 해당 해부학 위치를 나타내고,
    상기 구강 질환 데이터와 상기 치아 위치를 기반으로 기 설정된 구강 질환에 해당하는 적어도 하나의 치아 위치를 판단하는, 방법.
  3. 제2항에 있어서,
    상기 결과 데이터를 UI(User Interface)를 통해 표시하는 단계;
    상기 UI를 통해 상기 결과 데이터에 대한 질문이 요청되면, 상기 UI 상에 대화창을 표시하는 단계;
    상기 대화창에 질문이 입력되는 경우, 기 설정된 방식을 기반으로 상기 질문에 대한 답변을 생성하는 단계; 및
    상기 생성된 답변을 상기 대화창에 표시하는 단계;를 더 포함하고,
    상기 UI는,
    상기 환자에 대한 개인정보가 표시되는 제1 영역, 상기 구강 영상 데이터 상에 상기 인식된 적어도 하나의 구강 질환을 나타내는 인디케이터가 표시되는 제2 영역 및 상기 결과 데이터가 표시되는 제3 영역을 포함하는, 방법.
  4. 제3항에 있어서,
    상기 대화창에 상기 질문이 입력되는 경우, 상기 제2 영역 상에 표시된 상기 구강 영상 데이터 상에서 상기 입력된 질문과 관련된 영역을 판단하는 단계; 및
    상기 구강 영상 데이터 상에서 상기 판단된 영역을 나타내는 인디케이터를 표시하는 단계를 더 포함하는, 방법.
  5. 제3항에 있어서,
    상기 기 설정된 방식은,
    기 저장된 질환 사전 데이터베이스를 기반으로 상기 질문과 관련된 답변을 검색하여 생성하는 제1 방식 및 기 등록된 적어도 하나의 전문가를 포함한 그룹으로 상기 질문과 관련된 답변을 요청하여 제공받는 제2 방식 중 어느 하나를 포함하는, 방법.
  6. 제3항에 있어서,
    상기 결과 데이터와 상기 답변을 기반으로 상기 환자에 대한 치아 건강지수, 잇몸 건강지수, 골다공증 예측도 및 턱관절 건강도 중 적어도 하나를 포함하는 구강 건강 상태 정보를 생성하는 단계;를 더 포함하는, 방법.
  7. 제6항에 있어서,
    상기 UI는,
    상기 구강 건강 상태 정보를 표시하는 제4 영역을 더 포함하는, 방법.
  8. 제7항에 있어서,
    상기 답변이 상기 제2 방식으로 생성된 경우, 상기 답변을 제공한 그룹에게 상기 구강 건강 상태 정보에 대한 피드백 정보를 요청하는 단계; 및
    상기 요청에 대한 응답으로 상기 피드백 정보가 수신되면, 상기 수신된 피드백 정보를 상기 제4 영역 상에 표시하는 단계;를 더 포함하고,
    상기 피드백 정보는, 상기 구강 건강 상태 정보에 대한 신뢰도, 추가 소견 중 적어도 하나를 포함하는, 방법.
  9. 구강 건강 분석 서비스를 제공하는 장치에 있어서,
    통신부; 및
    상기 구강 건강 분석 서비스에 대한 UI(User Interface)를 제공하는 프로세서;를 포함하고,
    상기 프로세서는,
    구강 촬영장치로부터 환자의 구강 영상 데이터가 수신된 경우, 질환 검출 모델을 기반으로 상기 구강 영상 데이터로부터 상기 환자의 적어도 하나의 구강의 질환을 인식한 구강 질환 데이터를 생성하고,
    위치 검출 모델을 기반으로 상기 구강 영상 데이터에 대한 해부학 위치를 판단하고,
    치아 분할 모델을 기반으로 상기 구강 영상 데이터로부터 각 치아 영역을 인식하여 상기 각 치아의 치아 위치를 인식하고,
    상기 구강 질환 데이터에 대해 상기 해부학 위치 및 상기 치아 위치 중 적어도 하나를 기반으로 결과 데이터를 생성하는, 장치.
  10. 하드웨어인 장치와 결합되어, 제1항 내지 제8항 중 어느 한 항의 구강 건강 분석 서비스를 제공하는 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
PCT/KR2022/014035 2021-10-05 2022-09-20 구강 건강 분석 서비스를 제공하는 장치 및 방법 WO2023058942A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0131506 2021-10-05
KR1020210131506A KR102496567B1 (ko) 2021-10-05 2021-10-05 구강 건강 분석 서비스를 제공하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023058942A1 true WO2023058942A1 (ko) 2023-04-13

Family

ID=85224186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014035 WO2023058942A1 (ko) 2021-10-05 2022-09-20 구강 건강 분석 서비스를 제공하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102496567B1 (ko)
WO (1) WO2023058942A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045551A (ko) * 2016-10-26 2018-05-04 고려대학교 산학협력단 구강 병변의 진단 시스템 및 방법
KR20200068992A (ko) * 2018-12-06 2020-06-16 오스템임플란트 주식회사 전자 차트 관리 장치, 전자 차트 관리 방법 및 기록 매체
KR20200088977A (ko) * 2019-01-16 2020-07-24 오스템임플란트 주식회사 치아 병변 진단 방법 및 그 장치
KR20200101584A (ko) * 2019-02-20 2020-08-28 오스템임플란트 주식회사 치아의 정밀 진단 모듈로의 간편한 이동 방법 및 그 장치
KR102234025B1 (ko) * 2020-07-10 2021-03-31 진수진 전세계 통합 헬스케어 서비스 제공 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311385B1 (ko) 2019-10-14 2021-10-13 주식회사 큐티티 치아우식 탐지를 이용한 구강건강 예측장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045551A (ko) * 2016-10-26 2018-05-04 고려대학교 산학협력단 구강 병변의 진단 시스템 및 방법
KR20200068992A (ko) * 2018-12-06 2020-06-16 오스템임플란트 주식회사 전자 차트 관리 장치, 전자 차트 관리 방법 및 기록 매체
KR20200088977A (ko) * 2019-01-16 2020-07-24 오스템임플란트 주식회사 치아 병변 진단 방법 및 그 장치
KR20200101584A (ko) * 2019-02-20 2020-08-28 오스템임플란트 주식회사 치아의 정밀 진단 모듈로의 간편한 이동 방법 및 그 장치
KR102234025B1 (ko) * 2020-07-10 2021-03-31 진수진 전세계 통합 헬스케어 서비스 제공 시스템

Also Published As

Publication number Publication date
KR102496567B1 (ko) 2023-02-06

Similar Documents

Publication Publication Date Title
WO2021049729A1 (ko) 인공지능 모델을 이용한 폐암 발병 가능성 예측 방법 및 분석 장치
WO2020080819A1 (ko) 기계학습 알고리즘을 이용한 구강건강 예측장치 및 방법
WO2022225199A1 (ko) 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법
WO2020119403A1 (zh) 住院数据异常检测方法、装置、设备及可读存储介质
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2019117563A1 (ko) 대화형 원격 의료를 위한 통합 예측 분석 장치 및 동작 방법
WO2020119131A1 (zh) 用药方案异常的识别方法、装置、终端及可读存储介质
WO2021230534A1 (ko) 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
WO2019045390A1 (ko) 구강 관리 시스템
WO2019045385A1 (ko) 영상 얼라인먼트 방법 및 그 장치
WO2023132598A1 (ko) 인공지능 기반 혈액 투석 데이터 처리 방법 및 시스템
WO2023211025A1 (ko) 인공지능을 이용한 치열 교정법 추천 시스템 및 그 방법
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
WO2023058942A1 (ko) 구강 건강 분석 서비스를 제공하는 장치 및 방법
WO2023136695A1 (ko) 환자의 가상 폐 모델을 생성하는 장치 및 방법
WO2023140585A1 (ko) 인공지능을 이용한 치열 진단 시스템 및 그 방법
WO2020085745A1 (ko) 의료 데이터 관리 시스템 및 그 방법
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2022225363A1 (en) Self-sampling management electronic device, self-sampling management method, and computer readable medium storing program to perform the method
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2018147674A1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
WO2022139246A1 (ko) 골절 검출 방법 및 이를 이용한 디바이스
WO2021145607A1 (ko) 치과 의무 기록 장치 및 그 치과 의무 기록 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878763

Country of ref document: EP

Kind code of ref document: A1