WO2023214835A1 - 면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법 - Google Patents

면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법 Download PDF

Info

Publication number
WO2023214835A1
WO2023214835A1 PCT/KR2023/006143 KR2023006143W WO2023214835A1 WO 2023214835 A1 WO2023214835 A1 WO 2023214835A1 KR 2023006143 W KR2023006143 W KR 2023006143W WO 2023214835 A1 WO2023214835 A1 WO 2023214835A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
data
prescription
record
interview
Prior art date
Application number
PCT/KR2023/006143
Other languages
English (en)
French (fr)
Inventor
문재훈
박재민
신규보
Original Assignee
주식회사 타이로스코프
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220150944A external-priority patent/KR102567388B1/ko
Application filed by 주식회사 타이로스코프, 서울대학교병원 filed Critical 주식회사 타이로스코프
Publication of WO2023214835A1 publication Critical patent/WO2023214835A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Definitions

  • the present disclosure relates to a prescription assistance method for assisting a doctor's prescription for a patient. Specifically, it provides a set of tests to be prescribed for a patient using an interview record recording a conversation between a doctor and a patient, and in particular, the doctor's prescription. It's about how to take intent into account.
  • the doctor's medical treatment process includes several tasks, such as interviewing the patient, recording the treatment details, prescribing the necessary tests or drugs for the patient, and recording the results of the prescription.
  • interview time increases during limited treatment hours
  • interview time with patients becomes shorter
  • interview time becomes shorter
  • burden on the doctor may increase in that treatment must proceed somewhat urgently.
  • medical appointments are managed at a level where doctors must treat 3 patients per 10 minutes, and the time to treat one patient is limited to a very short period of about 3 minutes. .
  • One way to solve this problem would be to automatically prescribe medication and record the prescription results to reduce the time spent on tasks other than interviews.
  • a prescription assistance method that recommends drugs to be prescribed or tests to be taken by the patient based on the content of the interview between the doctor and the patient may be considered.
  • the doctor in the process of creating a prescription drug list, the doctor can construct the list by selecting drugs individually, but for some diseases or symptoms, a drug set containing preset drugs may be prescribed as is. Therefore, it is difficult to say that the doctor's "pattern" has been sufficiently considered when deciding whether to prescribe individual medications using the interview details.
  • the problem to be solved in this disclosure is to automatically generate a medical record for a patient by considering the doctor's treatment pattern for the patient.
  • the problem to be solved in this disclosure is to classify the interview content between a doctor and a patient into a specific pattern and generate prescription assistance information corresponding to the pattern.
  • the problem to be solved in this disclosure is to create a test set containing test items to be performed on the patient using the contents of the interview between the doctor and the patient.
  • the problem to be solved in this disclosure is to generate comprehensive information including a test set, a medicine set, collaborative consultation request information, and visit date information using the contents of an interview between a doctor and a patient.
  • a method of providing prescription assistance information from a server includes obtaining medical records of a target doctor, each of the medical records including an interview record and a list of prescription test items; Obtaining a list of frequently used test items set by the target doctor; generating learning data sets using the frequently used test item lists and the medical records; generating a pattern classification model using the learning data sets; Obtaining a first analysis target interview record of the target doctor; Obtaining first candidate test items using the first analysis target interview record and the pattern classification model; and providing the first candidate test items, wherein the step of generating the learning data sets includes generating test sets using the frequently used test item lists; Considering the first prescription test item list of the first medical record, data corresponding to the first test set among the test sets is labeled with data processed from the first interview record of the first medical record, and a first test is performed.
  • a method is provided in which the first candidate test items are test items included in a test set corresponding to the output data.
  • medical records for patients are automatically created after treatment, thereby reducing the time required for a doctor's administrative work.
  • the time required to record medical treatment details during a doctor's medical treatment process can be reduced.
  • the task of recording medical treatment details electronically during the doctor's medical treatment process can be omitted.
  • the task of computer-based search and selection of test items or drugs required for a patient during a doctor's treatment process can be omitted.
  • FIG. 1 is a diagram showing the configurations of a prescription assistance system according to an embodiment.
  • Figure 2 is a diagram showing the configuration of an auxiliary server according to an embodiment.
  • Figure 3 is a diagram showing the configuration of the main server according to one embodiment.
  • Figure 4 is a flowchart showing a prescription assistance method according to an embodiment.
  • Figure 5 is a diagram illustrating a process in which a prescription assistance system performs a prescription assistance method according to an embodiment.
  • Figure 6 is a diagram showing the process of creating an interview record according to an embodiment.
  • Figure 7 is a diagram illustrating a process of generating model input data according to an embodiment.
  • Figure 8 is a diagram showing the input/output process of a pattern classification model according to an embodiment.
  • Figure 9 is a diagram showing a pattern database according to one embodiment.
  • Figure 10 is a diagram showing another output form of a pattern classification model according to one embodiment.
  • Figure 11 is a diagram illustrating a method for providing prescription assistance information according to an embodiment.
  • Figure 12 is a diagram showing the input and output form of a pattern classification model and a learning data set for training the pattern classification model according to an embodiment.
  • Figure 13 is a flowchart showing a method for generating a learning data set according to an embodiment.
  • FIG. 14 is a diagram illustrating a method of generating inspection sets using frequently used inspection item lists according to an embodiment.
  • Figure 15 is a diagram showing a list of prescription test items according to an embodiment.
  • Figure 16 is a diagram illustrating a method for generating test sets according to one embodiment.
  • Figure 17 is a diagram showing a method of classifying interview records according to test sets and classification criteria according to an embodiment.
  • Figures 18 and 19 are diagrams showing the structure of a pattern classification model according to one embodiment.
  • Figure 20 is a diagram showing the structure of an encoder constituting a pattern classification model according to an embodiment.
  • 21 is a diagram illustrating a method of using a basic inspection model and an additional inspection model according to an embodiment.
  • Figure 22 is a diagram showing the output form of an additional inspection model according to an embodiment.
  • Figure 23 is a flowchart showing a method of generating a training data set of an additional inspection model according to an embodiment.
  • Figure 24 is a diagram illustrating a case in which a plurality of additional inspection models are used according to an embodiment.
  • Figure 25 is a diagram showing the data transmission and reception relationship between components of a prescription assistance system according to an embodiment.
  • Figure 26 is a diagram showing the input and output form of a drug prescription model and a learning data set for learning the drug prescription model according to an embodiment.
  • Figure 27 is a flowchart showing a method of generating a learning data set for learning a drug prescription model according to an embodiment.
  • Figure 28 is a diagram illustrating a method of providing comprehensive medical information according to an embodiment.
  • a method of providing prescription assistance information from a server includes obtaining medical records of a target doctor, each of the medical records including an interview record and a list of prescription test items; Obtaining a list of frequently used test items set by the target doctor; generating learning data sets using the frequently used test item lists and the medical records; generating a pattern classification model using the learning data sets; Obtaining a first analysis target interview record of the target doctor; Obtaining first candidate test items using the first analysis target interview record and the pattern classification model; and providing the first candidate test items, wherein the step of generating the learning data sets includes generating test sets using the frequently used test item lists; Considering the first prescription test item list of the first medical record, data corresponding to the first test set among the test sets is labeled with data processed from the first interview record of the first medical record, and a first test is performed.
  • a method is provided in which the first candidate test items are test items included in a test set corresponding to the output data.
  • the frequently used inspection item lists and the inspection sets correspond one-to-one.
  • the frequently used test item lists include a first frequently used test item list including at least two or more test items and a second frequently used test item list including at least two or more test items, wherein the first frequently used test items include:
  • the list and the second frequently used test item list include at least one same test item and at least one different test item.
  • the method includes obtaining a second interview record for analysis of the target doctor; and obtaining second candidate test items using the second interview record to be analyzed and the pattern classification model, wherein the pattern classification model inputs data processed from the interview record to be analyzed.
  • the second candidate inspection items are inspection items included in the second inspection set, and the first candidate inspection items and the second candidate inspection items are not the same, but include at least one common inspection item.
  • the first prescription test item list in the first medical record and the second prescription test item list in the second medical record are not identical to each other, but include at least one common test item.
  • the first interview record of the first medical record is obtained by converting the first sound data obtained by recording the first medical treatment process of the target doctor, and the first prescription test item list of the first medical record is It includes test items prescribed by the target doctor for the patient in the first medical treatment process.
  • Test items included in the first prescription test item list of the first medical record are the same as test items included in the first test set.
  • the first test set includes test items included in the first prescription test item list of the first medical record.
  • the step of generating the learning data sets includes labeling data indicating that there is no pattern in data processed from the third interview record of the third medical record to create a third learning data set, wherein the test set None of them is the same as the third prescription test item list in the third medical record.
  • the step of generating the learning data sets includes labeling data corresponding to the first test set to data processed from the third interview record of the third medical record to generate a third learning data set,
  • the number of test items commonly included in the third prescription test item list of the third medical record and the first test set is the same as the number of test items commonly included in the third prescription test item list and the second test set. And, the number of test items included in the first test set is greater than the number of test items included in the second test set.
  • the pattern classification model receives data processed from the first analysis target interview record and outputs pattern data corresponding to one of the test sets, and the first candidate test items are tests corresponding to the pattern data. These are the inspection items included in the set.
  • Generating the pattern classification model includes selecting a base model previously trained with data different from the training data sets; and training the base model using the training data sets.
  • the base model is BERT (bidirectional encoder representations form transformer) or GPT-3 (generative pre-trained transformer 3).
  • the method includes recording a medical treatment process for a patient by the target doctor; and obtaining the first interview record to be analyzed from the recorded medical treatment process.
  • a method of creating a model using a server includes obtaining medical records of a target doctor, each of the medical records including an interview record and a list of prescription test items; Obtaining a list of frequently used test items set by the target doctor; generating learning data sets using the frequently used test item lists and the medical records; and training a base model using the training data sets, wherein the generating the training data sets includes: generating test sets using the frequently used test item lists; Considering the first prescription test item list of the first medical record, data corresponding to the first test set among the test sets is labeled with data processed from the first interview record of the first medical record, and a first test is performed.
  • a method includes labeling data to create a second training data set.
  • a method of providing prescription assistance information from a server includes obtaining medical records of a target doctor, each of the medical records including an interview record and a list of prescription test items; generating learning data sets using the medical records; generating a pattern classification model using the learning data sets; Obtaining a first analysis target interview record of the target doctor; Obtaining first candidate test items using the first analysis target interview record and the pattern classification model; and providing the first candidate test items, wherein the step of generating the learning data sets includes: generating test sets using the medical records; Considering the first prescription test item list of the first medical record, data corresponding to the first test set among the test sets is labeled with data processed from the first interview record of the first medical record, and a first test is performed.
  • the first candidate test items are test items included in the test set corresponding to the output data
  • the step of generating the test sets includes the first prescription test item list to the nth medical record of the first medical record.
  • a method is provided that includes extracting test items included in the nth prescription test item list (n is a natural number of 2 or more), and determining the test sets in consideration of the extracted test items.
  • Determining the test sets includes generating candidate test sets using the extracted test items, each of the candidate test sets including at least two of the extracted test items, and the candidate test sets. and selecting at least some of the test sets as the test sets.
  • the step of generating the test sets includes generating primary candidate test sets using the extracted test items - each of the primary candidate test sets includes at least two of the extracted test items - , calculating a co-occurrence judgment value of each of the primary candidate test sets for the first to nth prescription test item list, and calculating the co-occurrence judgment value of each of the primary candidate test sets based on the co-occurrence judgment value of each of the first candidate test sets.
  • the method further includes selecting at least some of the secondary candidate test sets as secondary candidate test sets.
  • the primary candidate test set with the largest co-occurrence judgment value among the primary candidate test sets is selected as the secondary candidate test set.
  • the co-occurrence judgment value is the number of lists including both the first primary candidate test set and the second primary candidate test set among the first to nth prescription test item lists divided by n.
  • the step of generating the test sets includes performing first and second steps, wherein the first step generates (M-1) order candidate test sets for the first to nth prescription test item lists, respectively.
  • a step of calculating a co-occurrence judgment value of, and the second step is to calculate at least some of the (M-1) order candidate test sets based on the co-occurrence decision value of each of the (M-1) order candidate test sets. It further includes the step of selecting M as the candidate test sets, where M is a natural number of 3 or more.
  • the step of generating the test sets is repeated until the first step and the second step satisfy preset conditions, and finally, after the second step is completed, the selected Kth candidate test set is obtained as the test set. It further includes steps.
  • the second candidate test items are test items included in the second test set, and the first candidate test items and the second candidate test items are not the same, but include at least one test item in common.
  • the first prescription test item list in the first medical record and the second prescription test item list in the second medical record are not identical to each other, but include at least one common test item.
  • the first interview record of the first medical record is obtained by converting the first sound data obtained by recording the first medical treatment process of the target doctor, and the first prescription test item list of the first medical record is It includes test items prescribed by the target doctor for the patient in the first medical treatment process.
  • Test items included in the first prescription test item list of the first medical record are the same as test items included in the first test set.
  • the first test set includes test items included in the first prescription test item list of the first medical record.
  • the step of generating the learning data sets includes labeling data indicating that there is no pattern in data processed from the third interview record of the third medical record to create a third learning data set, wherein the test set None of them is the same as the third prescription test item list in the third medical record.
  • the step of generating the learning data sets includes labeling data corresponding to the first test set to data processed from the third interview record of the third medical record to generate a third learning data set,
  • the number of test items commonly included in the third prescription test item list of the third medical record and the first test set is the same as the number of test items commonly included in the third prescription test item list and the second test set. And, the number of test items included in the first test set is greater than the number of test items included in the second test set.
  • Generating the pattern classification model includes selecting a base model previously trained with data different from the training data sets; and training the base model using the training data sets.
  • the base model is BERT (bidirectional encoder representations form transformer) or GPT-3 (generative pre-trained transformer 3).
  • a method of providing prescription assistance information from a server includes obtaining medical records of a target doctor, each of the medical records including an interview record and a list of prescription test items; Obtaining basic test sets using test items included in the prescription test item lists; generating basic learning data sets using the medical records and the basic examination sets; generating additional learning data sets using at least some of the medical records and the test items; generating a basic inspection model using the basic learning data sets; generating an additional inspection model using the additional learning data sets; Obtaining a first analysis target interview record of the target doctor; Obtaining a first basic test set using the first analysis subject interview record and the basic test model; Obtaining at least one additional test item using the first analysis subject interview record and the additional test model; and providing first candidate test items using the first basic test set and the at least one additional test item, wherein the basic training data sets include at least a first basic training data set and a second basic training data set.
  • the first basic learning data set is a first of the test sets to data processed from the first interview record of the first medical record in consideration of the first prescription test item list of the first medical record. It is generated by labeling data corresponding to the test set, and the second basic learning data set is processed the second interview record of the second medical record in consideration of the second prescription test item list of the second medical record.
  • the additional training data sets include at least a first additional training data set and a second additional training data set
  • the first additional training data set A data set is generated by labeling at least a first additional test item in data processed from the first interview record of the first medical record in consideration of the first prescription test item list of the first medical record
  • the second An additional learning data set is generated by labeling at least a second additional test item in data processed from the second interview record of the second medical record in consideration of the second prescription test item list of the second medical record, wherein
  • the first prescription test item list includes at least some of the test items included in the first test set and the first additional test items
  • the second prescription test item list includes test items included in the second test set. and at least some of the above-mentioned second additional inspection items.
  • the first candidate test items include test items included in the first basic test set and the at least one additional test item.
  • the first prescription test item list consists of test items included in the first test set and the first additional test items
  • the second prescription test item list consists of test items included in the second test set and It consists of the second additional inspection item.
  • Additional inspection items obtained using the additional inspection model are not included in the inspection items included in the basic inspection sets.
  • the method includes obtaining a second interview record for analysis of the target doctor; Obtaining a second basic test set using the second analysis target interview record and the basic test model; and obtaining data indicating that there are no additional test items using the second analysis target interview record and the additional test model.
  • the method further includes providing test items included in the second basic test set as second candidate test items.
  • the basic learning data sets include a third basic learning data set, and the third basic learning data set determines the third interview record of the third medical record in consideration of the third prescription test item list of the third medical record. It is generated by labeling the processed data with data corresponding to a third test set among the test sets, and the additional training data sets include a third additional training data set, and the third additional training data set is the third additional training data set. 3 It is created by labeling data indicating the absence of the above additional test items in the processed data of the third interview record of the medical record.
  • Inputting the processed model input data into the basic test model to obtain a probability value indicating the third basic test set, and if the probability value is less than or equal to a preset value, the third analysis subject interview record The step of using the additional test model is performed for, and if the probability value is greater than or equal to a preset value, the step of using the additional test model is not performed for the third analysis target interview record.
  • the step of outputting the basic test set and the at least one additional test item includes outputting the test items included in the basic test set to a first area on the display and the at least one additional test item to a second area on the display. Includes a display step.
  • a method of providing prescription assistance information from a server includes obtaining medical records of a target doctor, each of the medical records including an interview record and a list of prescription test items; Obtaining a list of frequently used test items set by the target doctor; generating basic inspection sets using the frequently used inspection item lists; generating basic learning data sets using the medical records and the basic examination sets; generating additional learning data sets using at least some of the test items included in the prescription test item lists and the medical records; generating a basic inspection model using the basic learning data sets; generating an additional inspection model using the additional learning data sets; Obtaining a first analysis target interview record of the target doctor; Obtaining a first basic test set using the first analysis subject interview record and the basic test model; Obtaining at least one additional test item using the first analysis target interview record and the additional test model; and providing first candidate test items using the first basic test set and the at least one additional test item, wherein the basic training data sets include at least a first basic training data set and a second basic training data set.
  • the first basic learning data set is a first of the test sets to data processed from the first interview record of the first medical record in consideration of the first prescription test item list of the first medical record. It is generated by labeling data corresponding to the test set, and the second basic learning data set is processed the second interview record of the second medical record in consideration of the second prescription test item list of the second medical record.
  • the additional training data sets include at least a first additional training data set and a second additional training data set
  • the first additional training data set A data set is generated by labeling at least a first additional test item in data processed from the first interview record of the first medical record in consideration of the first prescription test item list of the first medical record
  • the second An additional learning data set is generated by labeling at least a second additional test item in data processed from the second interview record of the second medical record in consideration of the second prescription test item list of the second medical record, wherein
  • the first prescription test item list includes at least some of the test items included in the first test set and the first additional test items
  • the second prescription test item list includes test items included in the second test set.
  • the frequently used test item lists and the basic test sets correspond one-to-one.
  • a method of providing prescription assistance information from a server includes obtaining medical records of a target doctor, each of the medical records including an interview record and a list of prescription test items; generating basic learning data sets using the medical records and basic test sets, each of the basic test sets including at least one test item; generating additional learning data sets using at least some of the test items included in the medical records and the prescription test item lists; generating a basic inspection model using the basic learning data sets; generating an additional inspection model using the additional learning data sets; Obtaining a first analysis target interview record of the target doctor; Obtaining a first basic test set using the first analysis subject interview record and the basic test model; Obtaining at least one additional test item using the first analysis subject interview record and the additional test model; and providing first candidate test items using the first basic test set and the at least one additional test item.
  • Numbers (eg, first, second, etc.) used in the description of the present disclosure are merely identifiers to distinguish one component from another component.
  • the term “about” in relation to a numerical value can be understood to mean the stated value and up to +/-10% of that value, and in relation to a numerical range, the term “approximately”
  • a specific process sequence may be performed differently from the described sequence.
  • two processes described in succession may be performed substantially at the same time, or may be performed in an order opposite to that in which they are described.
  • the present disclosure relates to a prescription assistance method for assisting a doctor's prescription record for a patient and a prescription assistance system that performs the same.
  • assisting with prescription means providing relevant information to the doctor when prescribing medicines, tests, etc. after treating the patient. Specifically, when a doctor performs treatment on a patient and prescribes necessary drugs for the patient or prescribes tests that the patient must undergo, the prescribing assistance method provides candidate drugs or candidate test items to the doctor, and the doctor provides the provided drugs. Prescriptions for patients can be performed by considering candidate drugs or candidate test items.
  • FIG. 1 is a diagram showing the configurations of a prescription assistance system 10 according to an embodiment.
  • the prescription assistance system 10 includes a recording device (RD), an auxiliary server 1000, a main server 2000, an electronic medical record (EMR) server 3000, a hospital server 4000, and a terminal. (TD) may be included.
  • RD recording device
  • EMR electronic medical record
  • TD terminal.
  • a recording device (RD) can record a doctor's medical treatment process. Specifically, the recording device (RD) can record the doctor's interview with the patient.
  • a recording device (RD) may be located in a medical office and record sounds occurring in the medical room. Sounds generated in the treatment room may include the doctor's voice, the patient's voice, and the voice of a third party (eg, a nurse, caregiver, or guardian, etc.).
  • a recording device can obtain sound data by recording a doctor's medical treatment process.
  • Acoustic data may refer to audio signal data that reflects contents recorded during a doctor's treatment.
  • the recording device (RD) may be a portable recorder, an installed recorder, or a desktop or tablet.
  • a smart phone may be used as a recording device (RD), and furthermore, a smart watch, smart band, smart ring, smart necklace, etc.
  • a wearable device equipped with a recording function may be used as a recording device (RD).
  • Figure 2 is a diagram showing the configuration of the auxiliary server 1000 according to one embodiment.
  • the auxiliary server 1000 can convert acoustic data into interview records.
  • the sound data converted into an interview record may be sound data obtained from the above-described recording device (RD).
  • interview record can be understood as data converted from audio data into text form, but is not limited thereto.
  • the auxiliary server 1000 can transmit data to the main server 2000 or receive data from the main server 2000, and for this purpose, the auxiliary server 1000 and the main server 2000 can communicate through wired or wireless communication. Data can be sent and received.
  • the auxiliary server 1000 may include a voice recognition model 1100 and a speaker classification model 1200.
  • the auxiliary server 1000 may generate an interview record using a voice recognition model 1100 and/or a speaker classification model 1200.
  • the voice recognition model 1100 can convert sound data into text data.
  • the speaker classification model 1200 can distinguish speakers after converting sound data into text.
  • the speaker classification model 1200 may distinguish the voices of speakers included in the audio data and extract audio data or text data corresponding to the voices of each speaker.
  • the speaker classification model 1200 may distinguish speakers from audio data before text conversion.
  • the speaker classification model 1200 can process the audio data by classifying voice signals included in the audio data according to the speaker and, if necessary, extracting the voice signal of a specific speaker.
  • the EMR server 3000 may refer to a server where patient records are stored and utilized. Specifically, the EMR server 3000 may refer to a server where data for executing an EMR program is stored or an EMR program is executed.
  • the EMR program is a program for electronic medical records, which means a program to computerize patient charts in hospitals, including patient personal information, medical history, examination results, treatment results, surgery records, admission and discharge records, outpatient treatment details, and health checkup records. do.
  • the EMR server 3000 may include a database that stores various information about the patients described above.
  • the EMR server 3000 can provide information about patients to doctors through a terminal (TD).
  • the EMR server 3000 may output an EMR interface through a terminal (TD).
  • a doctor can view or record information about a patient using the EMR interface on the terminal (TD).
  • the EMR server 3000 can transmit and receive data with the main server 2000.
  • the EMR server 3000 can transmit and receive data with a terminal (TD).
  • the EMR server 3000 can transmit and receive data with the hospital server 4000.
  • the EMR server 3000 may be located in a hospital where doctors treat patients.
  • the EMR server 3000 may be located outside the hospital.
  • the EMR server 3000 may be implemented using Internet-based cloud computing technology.
  • the terminal (TD) can connect to the EMR server 3000, receive necessary information, and output it on the screen.
  • the hospital server 4000 may refer to a server on which a computer system necessary for the management or operation of a hospital is built.
  • the hospital server 4000 is a server for hospital management, administrative tasks such as finance/accounting/assets/personnel/performance, and information exchange between servers. It can be understood as a server to perform etc.
  • the hospital server 4000 includes a hospital information system (HIS), a laboratory information system (LIS), a clinical device information system (CDIS), and a customer relationship management system ( CRMS (customer relationship management), data warehouse, etc. can be built.
  • HIS hospital information system
  • LIS laboratory information system
  • CDIS clinical device information system
  • CRMS customer relationship management system
  • the hospital server 4000 may store not only medical records related to patients but also medical records related to medical treatments performed by individual doctors.
  • the medical record may include records of interviews between the doctor and the patient, medications prescribed by the patient during the treatment, or test items prescribed to the patient.
  • the hospital server 4000 may provide the patient's medical records or the doctor's medical records to the EMR server 3000 or the main server 2000.
  • the terminal (TD) can provide prescription assistance information generated by the prescription assistance system 10.
  • prescription assistance information e.g., candidate test items, candidate drugs, etc.
  • the terminal (TD) may receive prescription assistance information from the main server 2000 or the EMR server 3000.
  • prescription assistance information is described as candidate test items that the patient must undergo, but the technical idea of the present disclosure is not limited thereto.
  • a terminal (TD) can be understood as a device assigned to an individual doctor.
  • a doctor's desktop, laptop, tablet, or smartphone can be used as a terminal (TD).
  • the terminal (TD) is capable of transmitting and receiving data to and from the main server 2000, the EMR server 3000, and/or the hospital server 4000.
  • the terminal (TD) may connect to the EMR server 3000 and receive prescription assistance information.
  • the terminal TD may receive prescription assistance information from the main server 2000.
  • the terminal (TD) can output the provided prescription assistance information.
  • Doctors can record treatment details using prescription assistance information provided through the terminal (TD). For example, a doctor can determine test items to be prescribed to a patient using test sets or candidate test items provided through the terminal (TD). At this time, the doctor may perform verification, such as checking and modifying the test set or candidate test items provided through the terminal (TD), before deciding on the test items to be prescribed to the patient.
  • the terminal (TD) can transmit and receive data with the EMR server 3000 while transmitting and receiving data with the main server 2000. For example, after treating a patient, a doctor can use the terminal (TD) to check information about the next patient. At this time, the terminal (TD) receives a prescription generated from the patient interview record from the main server (2000). Receiving auxiliary information and receiving information about the next patient from the EMR server 3000 may be performed in parallel.
  • Figure 3 is a diagram showing the configurations of the main server 2000 according to one embodiment.
  • the main server 2000 may include a memory unit 2100, an input unit 2200, an output unit 2300, a communication unit 2400, and a control unit 2500.
  • the memory unit 2100 may store programs for performing the prescription assistance method and information necessary for the prescription assistance method.
  • the memory unit 2100 may include a tokenization model 2110, an embedding model 2120, a pattern classification model 2130, and a pattern database 2140.
  • the tokenization model 2110 can tokenize text data in the form of a paragraph or sentence. Tokenization means dividing text data such as paragraphs or sentences into a number of tokens according to specific criteria. Each token may correspond to a phrase, syllable, word, or sentence, etc., depending on the criteria for distinction.
  • the tokenization model (2110) divides the interview record into a plurality of tokens. You can.
  • the embedding model 2120 can embed text data. Embedding refers to the process of converting text data into a specific representation that is easy for computers to analyze. Data converted through the embedding process may be in the form of a vector, and such data is called an embedding vector.
  • the embedding model 2120 may convert tokens into vector form.
  • the pattern classification model 2130 can receive data as input and output pattern data.
  • the pattern data indicates a pattern of data input to the pattern classification model 2130, and prescription assistance information obtained from the main server 2000 may be determined according to the determined pattern.
  • a specific test set may be provided as prescription assistance information according to pattern data output from the pattern classification model 2130, and the specific test set may include candidate test items.
  • specific candidate test items may be provided as prescription assistance information according to pattern data output from the pattern classification model 2130.
  • the pattern classification model 2130 can receive data as input and output prescription assistance information.
  • the prescription assistance information may be a test set, data corresponding to the test set, or candidate test items.
  • the process of outputting pattern data and determining prescription assistance information according to the pattern data may be compressed, so that prescription assistance information may be output directly from the pattern classification model 2130.
  • Pattern database 2140 Information about patterns may be stored in the pattern database 2140.
  • test sets corresponding to each pattern may be stored in the pattern database 2140.
  • the main server 2000 can obtain pattern data indicating a specific pattern using the pattern classification model 2130, and obtain it as prescription assistance information to provide a test set corresponding to the specific pattern from the pattern database 2140. there is.
  • the memory unit 2100 can store various data in addition to the pattern database 2140.
  • the memory unit 2100 may store doctors' medical records or patient information obtained from the EMR server 3000 or the hospital server 4000.
  • the memory unit 2100 may store training data sets necessary for learning a pattern classification model 2130, which will be described later.
  • the memory unit 2100 may store the above-described models and databases as well as various other data temporarily or semi-permanently. Examples of the memory unit 2100 include hard disk drive (HDD), solid state drive (SSD), flash memory, read-only memory (ROM), and random access memory (RAM). There may be etc.
  • the memory unit 2100 may be provided as built into the main server 2000 or in a detachable form.
  • the tokenization model 2110 or the embedding model 2120 may be omitted.
  • the data output from the pattern classification model 2130 is data corresponding to a test set or candidate test items rather than pattern data
  • the pattern database 2140 may be omitted.
  • the input unit 2200 may receive user input from the user.
  • the user can be understood as a developer who manages the main server 2000, and further as a person who builds and generally manages the prescription assistance system 10.
  • User input can take various forms, including key input, touch input, and voice input.
  • Examples of the input module 2600 include a traditional keypad, keyboard, and mouse, as well as a touch sensor that detects the user's touch, and various other types of input means that detect or receive user input. It is a concept.
  • the output unit 2300 may output the status of the main server 2000, data acquired or generated by the main server 2000, or data stored in the main server 2000.
  • the output unit 2300 is a comprehensive concept that includes a display that outputs an image, a speaker that outputs sound, a haptic device that generates vibration, and various other types of output means.
  • the communication unit 2400 can communicate with external devices.
  • the main server 2000 may transmit and receive data with at least some of the components of the prescription assistance system 10 through the communication unit 2400.
  • the main server 2000 may transmit and receive data with at least some of the recording device (RD), auxiliary server 1000, EMR server 3000, hospital server 4000, or terminal (TD) as needed. You can.
  • RD recording device
  • auxiliary server 1000 EMR server 3000
  • TD terminal
  • the control unit 2500 can control the overall operation of the main server 2000.
  • the control unit 2500 may load and execute the tokenization model 2110, the embedding model 2120, or the pattern classification model 2130 of the memory unit 2100, and the pattern database 2140. You can search for the data you need from .
  • the control unit 2500 may be implemented as a CPU (Central Processing Unit) or a similar device depending on hardware, software, or a combination thereof. In hardware, it may be provided in the form of an electronic circuit that processes electrical signals to perform a control function, and in software, it may be provided in the form of a program or code that drives the hardware circuit.
  • CPU Central Processing Unit
  • Figure 4 is a flowchart showing a prescription assistance method according to an embodiment.
  • FIG. 5 is a diagram illustrating a process in which the prescription assistance system 10 performs a prescription assistance method according to an embodiment.
  • the prescription assistance method includes recording the interview process between the doctor and the patient (S1100), obtaining the interview record between the doctor and the patient (S1300), and analyzing the pattern of the interview record (S1500). ), and a step of outputting prescription assistance information (S1700).
  • the step of recording the interview process between a doctor and a patient may be performed by a recording device (RD).
  • RD recording device
  • the recording device (RD) can initiate recording in a variety of ways.
  • the recording device (RD) may begin recording by receiving input from a doctor.
  • the doctor's input may include button input, voice input, or gesture input.
  • the recording device (RD) may detect when a patient enters the treatment room through a separately provided sensor and start recording.
  • the recording device RD may start recording by receiving data indicating start of recording from at least one of the components of the prescription assistance system 10.
  • the recording device RD may transmit data to the main server 2000 or receive data from the main server 2000.
  • the recording device RD may transmit the acquired sound data to the main server 2000.
  • the recording device RD may receive data indicating to start recording from the main server 2000.
  • the step of obtaining an interview record between a doctor and a patient may be performed by the auxiliary server 1000.
  • the auxiliary server 1000 may acquire sound data recording an interview between a doctor and a patient. For example, sound data generated by the recording device RD may be transmitted to the auxiliary server 1000. For another example, sound data generated by the recording device RD may be transmitted to the main server 2000 and from the main server 2000 to the auxiliary server 1000.
  • the auxiliary server 1000 can obtain an interview record by converting the acquired acoustic data.
  • the interview record may include only data corresponding to the doctor's voice, as described above, or may include both data corresponding to the doctor's voice and data corresponding to the patient's voice.
  • the auxiliary server 1000 may transmit the interview record to the main server 2000.
  • the step of analyzing the pattern of the interview record (S1500) may be performed by the main server 2000.
  • the main server 2000 may determine a pattern for the interview record received from the auxiliary server 1000. For example, the main server 2000 can output pattern data indicating a specific pattern using the interview record and the pattern classification model 2130.
  • the main server 2000 may generate prescription assistance information using the acquired pattern data. For example, the main server 2000 may obtain a test set or candidate test items corresponding to the acquired pattern data.
  • the main server 2000 may provide prescription assistance information to the EMR server 3000 or the terminal (TD).
  • the step of outputting prescription assistance information (S1700) may be performed by the terminal (TD).
  • the terminal (TD) can obtain prescription assistance information.
  • the terminal (TD) may access the EMR server 3000 to obtain prescription assistance information stored in the EMR server 3000.
  • the terminal TD may obtain prescription assistance information from the main server 2000.
  • the terminal (TD) can output the acquired prescription assistance information through a display, etc.
  • the step of analyzing the pattern of the interview record (S1500) can be understood as a process of identifying the doctor's treatment pattern.
  • a doctor performs treatment on numerous patients, common parts exist among the results of the treatment (e.g. prescribed drugs or prescribed test items), and the results of the treatment can be distinguished or classified based on the common parts. and the treatment processes corresponding to the separated outcomes can be defined as a single treatment pattern.
  • each of the treatments performed by a doctor on patients can be classified into a specific treatment pattern, so if only the pattern of treatment performed by a doctor on a new patient is determined, the results corresponding to the determined pattern are the results of the treatment. It can be. In this case, the doctor only needs to check the results and modify them if necessary, thereby eliminating the wasteful work of selecting or deciding on the results of treatment from the beginning.
  • Figure 6 is a diagram showing the process of creating an interview record according to an embodiment.
  • Interview records are corpus data, which can mean text data converted from sound data or data created by processing it.
  • an interview record may be understood as data including text corresponding to the voice of a doctor, text corresponding to the voice of a patient, and/or text corresponding to the voice of a third party.
  • the auxiliary server 1000 may acquire sound data and create an interview record using the acquired sound data.
  • the auxiliary server 1000 transforms sound data into text data using the speech recognition model 1100, and converts the converted text data into text data using the speaker classification model 1200 as a speaker (ex. doctor, patient, or Third party), etc., and text data corresponding to a specific speaker can be obtained through interview records.
  • a speaker ex. doctor, patient, or Third party
  • the speech recognition model 1100 can transform sound data into text data through processes such as feature extraction, pattern classification, and language processing of the input speech signal.
  • the speech recognition model 1100 may be implemented using a dynamic time warping (DTW) algorithm, a hidden Markov model (HMM) algorithm, knowledge-based speech recognition technology, an artificial neural network, etc.
  • DTW dynamic time warping
  • HMM hidden Markov model
  • the speaker classification model 1200 can distinguish speakers from text data converted from sound data and select the speaker's text data to be included in the interview record. For example, the speaker classification model 1200 can select only the text corresponding to the doctor's voice among the text converted from sound data and obtain it as an interview record. For another example, the speaker classification model 1200 may distinguish between text corresponding to the doctor's voice and text corresponding to the patient's voice among texts converted from sound data, and obtain an interview record including both.
  • the treatment pattern to be analyzed in the prescription assistance method is the doctor's treatment pattern, and in this case, the patient's voice in the interview is not essential and may actually act as noise, so it is better to use only the text related to the doctor's voice as the interview record. desirable.
  • the interview record is described as containing only text corresponding to the doctor's voice, but the technical idea of the present specification is not limited thereto, and the interview record includes not only text corresponding to the doctor's voice, but also other speakers (e.g., patients or Of course, it can include text corresponding to the voice of a third party.
  • the speaker classification model 1200 may distinguish speakers even before converting sound data into text data.
  • the speaker classification model 1200 may be omitted.
  • interview record is data to be analyzed using a prescriptive assistance method and can be understood as the interview record subject to analysis.
  • Figure 7 is a diagram illustrating a process of generating model input data according to an embodiment.
  • interview record can be processed into model input data through tokenization and embedding processes.
  • Model input data may refer to data input to the pattern classification model 2130.
  • interview record In order for the interview record to be input into the pattern classification model 2130, it needs to be pre-processed into a specific format, and the representative pre-processing processes are tokenization and embedding, which will be described later.
  • the tokenization model 2110 can segment the interview record converted into acoustic data into a plurality of tokens.
  • the tokenization model 2110 may use a token dictionary to tokenize the interview record.
  • Keywords that are the standard for tokenizing text data can be stored in the token dictionary, and tokenization can be performed based on the keywords stored in the token dictionary.
  • keywords may basically include specific morphemes, specific words, specific phrases, etc. Keywords may be set differently depending on which of the tokenization techniques described later is used.
  • tokenization model 2110 may include word-based tokenization, character-based tokenization, subword tokenization, and byte pair encoding (BPE). It can be implemented using techniques such as encoding), wordpiece, SentencePiece, or Unigram.
  • the tokenization technique that implements the tokenization model 2110 may be determined according to the base model of the pattern classification model 2130, which will be described later.
  • the tokenization model 2110 may be implemented as a word piece.
  • the tokenization model 2110 may be implemented with byte pair encoding.
  • the data that tokenizes the interview record may include a start token (ex. [CLS]) indicating the earliest starting point and an ending token (ex. [SEP]) indicating the ending point at the rear.
  • CLS start token
  • SEP ending token
  • the embedding model 2120 can change the data obtained by tokenizing the interview record into a number or code form.
  • the embedding model 2120 can be implemented using various embedding techniques. For example, in implementing the embedding model 2120, one-hot encoding, term frequency-inverse document frequency (TF-IDF), latent semantic analysis (LSA), Word2Vec, Glove , or FastText, etc. may be used.
  • TF-IDF term frequency-inverse document frequency
  • LSA latent semantic analysis
  • Word2Vec Word2Vec
  • Glove Glove
  • FastText etc.
  • the embedding model 2120 can be classified according to the method of specifying the object to be embedded. For example, there may be token embedding performed for each token or word, segment embedding performed for sentences connecting tokens, and position embedding performed for embedding the order of tokens. And, when the embedding model 2120 performs embedding on the tokenized interview record, it can be performed on at least one of the above-mentioned objects.
  • the implementation algorithm and embedding target of the embedding model 2120 may be determined according to the basic model of the pattern classification model 2130, which will be described later.
  • the basic model of the pattern classification model 2130 is the BERT model
  • the embedding model 2120 uses the Word2Vec algorithm and can perform all token embedding, segment embedding, and position embedding.
  • the prescription assistance system 10 may obtain prescription assistance information using model input data.
  • the main server 2000 may obtain candidate inspection items using model input data and the pattern classification model 2130.
  • Figure 8 is a diagram showing the input/output process of a pattern classification model according to an embodiment.
  • Figure 9 is a diagram showing a pattern database according to one embodiment.
  • the pattern classification model 2130 may receive model input data and output pattern data indicating a specific pattern. After the pattern is classified, that is, after the pattern data is output, prescription assistance information corresponding to the pattern data can be obtained.
  • the pattern classification model 2130 may receive model input data and output probability values for the first pattern, second pattern, third pattern, and each. At this time, probability values for each of the patterns may be understood as constituting pattern data.
  • the pattern classification model 2130 may output pattern data indicating a specific pattern.
  • the pattern classification model 2130 may output pattern data indicating the first pattern.
  • the main server 2000 may determine a pattern for model input data using pattern data output from the pattern classification model 2130. For example, as shown in FIG. 8, the main server 2000 may determine the first pattern with the highest probability value as the model input data or the pattern of the interview record before being processed into model input data.
  • the main server 2000 may obtain a test set based on pattern data or a determined pattern. For example, if the pattern determined considering the pattern data is the first pattern, a first test set corresponding to the first pattern may be obtained. For another example, when pattern data output by the pattern classification model 2130 indicates a first pattern, a first test set corresponding to the first pattern may be obtained.
  • the main server 2000 may obtain candidate test items based on the obtained test set. For example, when the test set obtained from the main server 2000 is the first test set, the first test item, the second test item, the third test item, and the candidate test items included in the first test set It can be obtained with
  • the pattern database 2140 may be used in the process of the main server 2000 acquiring test sets and candidate test items. Specifically, referring to FIG. 9, in the pattern database 2140, the first pattern corresponds to a first test set, and the first test set may include test A, test B, and test C. If the first pattern is determined to be a pattern of model input data or interview records, the main server 2000 will eventually obtain test A, test B, and test C included in the first test set as candidate test items. You can.
  • the pattern database 2140 can be understood as a configuration that must be prepared in order to output pattern data from the pattern classification model 2130 and obtain practical information called a test set from it.
  • data output from the pattern classification model 2130 does not necessarily need to be pattern data indicating a certain pattern.
  • the pattern classification model 2130 may output probability values for each test set, a specific test set, or data indicating the same.
  • the pattern classification model 2130 may use a deep learning algorithm. In this case, training data sets may be used to create a pattern classification model 2130. The method of generating the pattern classification model 2130 and the method of generating learning data sets will be described later.
  • the fact that the pattern classification model 2130 outputs pattern data corresponding to model input data can be understood as classifying the model input data into a specific pattern.
  • the meaning of pattern classification is to identify the patterns of model input data, interview records before the model input data is processed, acoustic data before being converted into interview records, and furthermore, the doctor's treatment of the patient.
  • the doctor When a doctor treats a patient, the doctor prescribes necessary tests based on the disease or symptoms the patient is suffering from and the patient's information. At this time, if you look at the medical records created while treating many patients, the tests prescribed for the patients may be the same or have a high degree of similarity. More specifically, when a doctor prescribes the first to nth test sets for the first to nth patients (n is a natural number of 2 or more), at least some of the first to nth test sets are the same or included in common. The number of inspection items to be performed may be relatively large. At this time, a plurality of patterns may be formed by classifying identically prescribed test sets or test sets with high similarity among prescribed test sets into one pattern.
  • the treatment process can be classified into one of the previously formed patterns.
  • the pattern classification model 2130 in order for the pattern classification model 2130 to be trained to output a specific pattern or to output a value considering the pattern, it is necessary to clearly distinguish and generate patterns from the learning data set, as described later.
  • the pattern classification model 2130 is trained with a training data set that distinguishes patterns. It is a very important process to output data about a specific pattern.
  • Figure 10 is a diagram showing another output form of the pattern classification model 2130 according to one embodiment.
  • the pattern classification model 2130 may receive model input data and output at least one inspection item.
  • test items output from the pattern classification model 2130 may form one test set.
  • the pattern classification model 2130 does not output pattern data or a test set, but outputs test items constituting one test set, which is ultimately understood to mean that the model input data is classified into a specific test set. It can be.
  • the output form is different from the pattern classification model 2130 shown in FIG. 8, the point that the doctor's treatment pattern is taken into consideration is the same in that the model input data is classified into a specific pattern or specific test set.
  • the pattern classification model 2130 can use a deep learning algorithm and can be trained to receive model input data and output test items constituting one test set.
  • the main server 2000 may use an additional inspection model in addition to the pattern classification model 2130.
  • the main server 2000 may obtain prescription assistance information by inputting the acquired interview record or data processed from the interview record into the pattern classification model 2130 and the additional inspection model.
  • the pattern classification model 2130 can be used to classify the pattern of the interview record as described above and obtain a test set accordingly.
  • the additional test model can be used to obtain test items that need to be further processed based on the interview record.
  • the main server (2000) generates prescription assistance information using a test set obtained using a pattern classification model 2130 for the interview record and at least one additional test item obtained using an additional test model for the interview record. can do.
  • the purpose of using an additional test model in addition to the pattern classification model (2130) is to basically generate prescription assistance information by considering the doctor's treatment pattern. However, if the doctor prescribes test items that were not usually prescribed, the patient must additionally perform other tests. We aim to create prescription assistance information by taking into account exceptional circumstances, such as when desired. As such, as the additional test model aims to add exceptional test items to prescription assistance information, exceptional test items may not be used when implementing the existing pattern classification model 2130. When exceptional test items are used in the implementation of the pattern classification model 2130, it can be a factor that can impede the accuracy. As the exceptional test items are not used, the accuracy of the pattern classification model 2130 results. can be improved.
  • the main server 2000 may generate prescription assistance information using audio data related to the interview content. Specifically, the main server 2000 receives sound data from the recording device (RD), processes the received sound data to generate model input data, and inputs the generated model input data into the pattern classification model 2130. Pattern data can be created.
  • RD recording device
  • Pattern data can be created.
  • model input data generated by processing acoustic data is data processed from acoustic signals, and can be generated through preprocessing processes such as noise filtering and feature extraction.
  • preprocessing processes such as noise filtering and feature extraction.
  • the doctor's treatment pattern is taken into consideration, but sound signals are used rather than text.
  • the auxiliary server 1000 may be omitted from the prescription assistance system 10. Additionally, even in the process of creating a learning data set, which will be described later, acoustic data and data about patterns, or acoustic data and a test set, rather than interview records, may constitute the learning data set.
  • Figure 11 is a diagram illustrating a method for providing prescription assistance information according to an embodiment.
  • Prescription assistance information obtained from the main server 2000 may be output through the terminal (TD). Specifically, prescription assistance information is transmitted from the main server 2000 to the EMR server 3000, and the EMR server 3000 can output the prescription assistance information through the doctor's personal terminal (TD).
  • the EMR program output from the terminal outputs patient information (name, resident registration number, gender, age, etc.), medical information (treatment date, treatment details, suspected diseases, medical images, etc.), and Together, Test A, Test B, and Test C can be output as prescription assistance information.
  • patient information name, resident registration number, gender, age, etc.
  • medical information treatment date, treatment details, suspected diseases, medical images, etc.
  • Test A, Test B, and Test C can be output as prescription assistance information.
  • the prescription assistance information may be displayed as candidate test items or as a test set.
  • Prescription assistance information may be displayed as candidate test items or necessary test items.
  • test items included in the test set and additional test items may be displayed separately.
  • test A, test B, and test C included in the test set obtained through the pattern classification model 2130 are necessary test items, and test D obtained through the additional test model is Additional inspection items may be displayed separately.
  • additional information may be provided.
  • the EMR server 3000 may obtain recommended test items by considering candidate test items that are prescription assistance information. For example, the EMR server 3000 searches or searches the doctor's past medical records to find a list of past prescription test items including candidate test items, and selects candidate test items from among the test items included in the found list of past prescription test items. Test items other than those listed above can be obtained as recommended test items. Specifically, if the prescription assistance information is test A, test B, and test C, and there is a list of past prescription test items including test A, test B, test C, and test E among the past medical records, test E is the recommended test item. It can be obtained.
  • Recommended test items can be output through the terminal (TD).
  • the terminal (TD) can obtain recommended test items from the EMR server 3000 and output the recommended test items through the EMR program.
  • priority may be given among past prescription test item lists including candidate test items.
  • the priority may be determined by considering the number of times each list of past prescription test items appears among past medical records, that is, the number of times the doctor prescribed the list of past prescription test items.
  • Recommended inspection items can be output based on priority through the terminal (TD).
  • the terminal (TD) may output five high-priority test items among the recommended test items.
  • Candidate test items can be verified by a physician. For example, as described above, candidate test items may be output through the terminal TD, and final test items may be determined based on the doctor's input. To this end, as shown in FIG. 11, the terminal (TD) can output an “Edit” button and a “Confirm” button along with candidate test items, and the candidate test items are displayed based on the doctor’s input to the buttons. It can be modified or confirmed as final inspection items.
  • the determined final inspection items may be provided and stored in the EMR server 3000. Additionally, final test items may be provided and stored on the hospital server 4000. Additionally, the final inspection items may be provided and stored on the main server 2000.
  • Final test items can be provided to necessary departments within the hospital.
  • each of the final test items can be transmitted to the terminal of the laboratory where the test item is to be performed, and preparations can be made in the laboratory to proceed with the test.
  • the final inspection items may be transmitted to the terminal of the administration department, and the administration department may prepare documents such as reception, storage, certification, and admission/discharge by considering the final inspection items.
  • the main technology essential in the prescription assistance method is to obtain prescription assistance information, the accuracy of which may vary depending on the method of implementing (generating) the pattern classification model 2130 of the main server 2000.
  • FIG. 12 is a diagram showing the input and output form of the pattern classification model 2130 and a learning data set for training the pattern classification model according to an embodiment.
  • the pattern classification model 2130 can be implemented using a deep learning algorithm.
  • deep learning algorithms include CNN (Convolution Neural Network), RNN (Recurrent Neural Network), LSTM (Long-Short Term Memory), Seq2seq (Sequence to sequence), Transformer, BERT (Bidirectional Encoder Representations from Transformers), or GPT- 3 (Generative Pre-trained Transformer-3), etc. can be used.
  • the pattern classification model 2130 can be trained to receive model input data and output pattern data.
  • a learning data set for learning the pattern classification model 2130 may be prepared.
  • the learning data set may include learning input data of the same type as the model input data described above and learning pattern data of the same type as the pattern data.
  • a first interview record is obtained by recording the contents of a doctor's first interview with a first patient, the first interview record is processed through the above-described preprocessing process to obtain first learning input data, and the first learning input data is obtained.
  • a first learning data set may be created by labeling the input data with first pattern data indicating the first pattern.
  • First pattern data indicating may be output or pattern data indicating another pattern may be output.
  • the creation of a learning data set for learning the pattern classification model 2130 and the selection of a deep learning algorithm used as the basic model of the pattern classification model 2130 are very important. It is important.
  • Figure 13 is a flowchart showing a method for generating a learning data set according to an embodiment.
  • the method of generating a learning data set includes collecting data (S2100), determining a test set (S2300), classifying the interview records (S2500), and labeling the interview records. It may include performing a step (S2700).
  • the main server 2000 may collect data necessary to create a learning data set (S2100).
  • the pattern classification model 2130 is designed to analyze the medical treatment patterns of doctors who receive prescription assistance information (hereinafter referred to as 'target doctors'), and is a pattern classification model according to the target doctor. (2130) may be implemented differently. To this end, the learning data set for training the pattern classification model 2130 may also vary depending on the target doctor.
  • a learning data set can be obtained by collecting medical records for the target doctor's patients, classifying the collected medical records according to a certain method, and labeling a specific pattern or test set.
  • the learning data set can be created based on the medical records of the target doctor who receives prescription assistance information.
  • each of the target doctor's medical records may include a record of the interview conducted by the target doctor with the patient and a list of prescription test items prescribed for the patient.
  • the first medical record for the first patient of the target doctor may include at least a first interview record and a first list of prescribed test items.
  • Interview records may refer to data recorded by the target doctor during treatment of patients.
  • an interview record may mean a text converted from audio data recording the interview content, or at least part of the converted text.
  • the list of prescribed test items may include test items prescribed by the target doctor for the patient.
  • the list of prescribed test items can be understood as corresponding to the interview record. For example, when the target doctor treats the first patient, the first interview record and the first list of prescribed test items may be collected.
  • Medical records include medical records collected before the start of learning the pattern classification model 2130 as well as interview records collected after the target doctor began using the prescription assistance system 10. may include.
  • interview records among medical records may include not only records obtained by the target doctor actually treating the patient, but also records created using data augmentation. Records created using data augmentation techniques may have a similar form or contain similar content to actual interview records.
  • a learning data set can be created by labeling interview records in medical records with a specific test set or specific pattern.
  • test sets or patterns to be labeled must first be determined. Therefore, a method for determining the test sets or patterns prior to labeling will first be described. Meanwhile, when test sets are specified, each test set can be determined as one pattern. Hereinafter, a method of determining test sets will be described with reference to FIGS. 14 to 17.
  • the main server 2000 may determine a test set for generating a learning data set (S2300).
  • FIG. 14 is a diagram illustrating a method of generating inspection sets using frequently used inspection item lists according to an embodiment.
  • Inspection sets can be created using frequently used inspection item lists. Lists of frequently used inspection items can be obtained in the above-described data collection step (S2100).
  • the target doctor can group frequently prescribed test items into one list. This is because the test items prescribed for patients are often similar. For example, for first-time patients, there are basic test items that must be taken for diagnosis, so for first-time patients complaining of the same symptoms, the prescribed test items may be the same. For another example, even in the case of returning patients, there may be test items that need to be performed to monitor the progress of the disease or the effect of treatment, so returning patients who have the same diagnosed disease or symptoms or who have the same prescribed medication In these cases, the prescribed test items may be the same.
  • a doctor can prescribe for 70-90% of patients with only a few test item lists, and these test item lists can be entered into frequently used test item lists in EMR programs, etc.
  • a list of frequently used test items can be set by the target doctor.
  • the target doctor may create a list of frequently used test items by arbitrarily grouping specific test items for convenience when providing treatment to patients.
  • the frequently used item list may include the first to mth lists (m is a natural number of 2 or more).
  • each of the first to mth lists may include one or more inspection items.
  • at least some of the first to mth lists may include the same inspection items.
  • the frequently used inspection item list includes at least the first to third lists, and the first to third lists may commonly include inspection items of Free T3 and Free T4. .
  • the list of frequently used test items does not necessarily have to be set by the target doctor.
  • a list of frequently used test items may be established based on the target doctor's medical records. For example, among the lists of prescription test items included in the target doctor's medical records, x lists of prescription test items with a high number of occurrences (x is a natural number of 2 or more) may be set as frequently used test item lists. .
  • the number of frequently used inspection item lists can be set arbitrarily. For example, when a list of frequently used test items is set by the target doctor, the list may be set as many as the number set by the target doctor. For another example, when a list of frequently used test items is set based on the target doctor's medical records, the number of lists may be 5 or more, and preferably 5 or more and 20 or less.
  • a plurality of inspection sets may be determined using frequently used inspection item lists.
  • each of the frequently used inspection item lists may be determined as one inspection set.
  • each of the frequently used inspection item lists may define a pattern and become the inspection set of that pattern.
  • the first list among frequently used inspection item lists may be determined as the first inspection set of the first pattern.
  • Test sets may be determined using prescription test item lists in medical records.
  • Figure 15 is a diagram showing a list of prescription test items according to an embodiment.
  • Figure 16 is a diagram illustrating a method for generating test sets according to one embodiment.
  • test items may be extracted from the prescription test item lists shown in FIG. 15, and test sets may be created by considering the extracted test items and test set decision criteria.
  • the possibility of co-occurrence can be considered.
  • candidate test sets can be created using test items extracted from prescription test item lists, and test sets can be determined by appropriately combining the generated candidate test sets. This is described in more detail below.
  • the total number of test sets required may first be specified.
  • the total number of required test sets may be a (a is a natural number greater than or equal to 2).
  • a may be determined from 5 to 30, but is not limited thereto.
  • each test item extracted from the prescription test item lists may be determined as a candidate test set.
  • test items with a low frequency of appearance may not be determined as a candidate test set. For example, if a test item appears b times or less in the prescription test item lists, the test item may not be determined as a candidate test set.
  • the number of candidate test sets is more than a, the number of candidate test sets can be reduced by combining two or more sets among the candidate test sets. At this time, the possibility of co-occurrence can be used as a method of combining candidate test sets.
  • the possibility of simultaneous appearance may refer to the probability of candidate test sets appearing together compared to the probability of candidate test sets appearing separately in the list of prescription test items.
  • the possibility of co-occurrence can be variously referred to as co-occurrence judgment value, judgment value, probability value, or reference value, and can be calculated using the formula below.
  • the co-occurrence probability can be calculated for all the number of cases in which any two candidate test sets are selected among the candidate test sets, and the two candidate test sets with the largest value among the calculated co-occurrence probabilities They can be combined into one.
  • the process of combining the above-described candidate test sets may be repeated until the number of candidate test sets becomes a or less. For example, among the test items extracted from the prescription test item lists, the two test items with the highest probability of co-occurrence are combined, and the combined set and each of the remaining uncombined test items are used as primary candidate test sets. It can be configured. Afterwards, the two primary candidate test sets with the highest probability of co-occurrence among the primary candidate test sets are combined, and the combined set and the remaining uncombined primary candidate test sets constitute the secondary candidate test sets. It can be.
  • n-th candidate test sets are determined by repeating the combination of the above-described candidate test sets, if the number of n-th candidate test sets is less than or equal to a, the n-th candidate test sets may be determined as the final test sets.
  • each candidate test set group (e.g., a pair of candidate test set groups includes two candidate test sets) may be combined into one candidate test set.
  • the probability of co-occurrence can be understood as a measure to determine which combination of candidate test sets is appropriate for patterning the target doctor's treatment or test prescription when the total number of required test sets is limited and the number of candidate test sets is larger. You can.
  • equations other than equation (1) may be used as a method of calculating the possibility of co-occurrence. For example, among the lists of prescription test items, values such as the number or ratio of lists that include both candidate test sets can be calculated as the possibility of co-occurrence.
  • likelihood may be considered as a criterion for determining the test set.
  • candidate test sets can be created using test items extracted from prescription test item lists, and test sets that are mainly prescribed in actual situations can be determined by considering the likelihood from the candidate test sets.
  • the total number of required test sets can be specified.
  • the total number of required test sets may be a as described above.
  • the sum of the likelihoods is calculated for all the number of cases of generating a candidate test sets from the prescription test item lists, and the a candidate test sets with the largest calculated sum of likelihoods are determined as the final test sets. You can.
  • the likelihood of each candidate test set can be calculated using the probability value of the candidate test set being prescribed, given the distribution of the actual prescription frequencies of the candidate test sets.
  • the distribution of the actual prescription frequencies of the candidate test sets can be obtained using prescription test item lists.
  • the number of appearances can be considered. Specifically, among the prescription test item lists, lists of prescription test items with a relatively high number of appearances may be set as the test set.
  • prescription test item lists whose number of appearances is greater than or equal to a third threshold may be determined as the test set.
  • the third threshold value may be determined at 1/5 or more of the total number of prescription test item lists.
  • the third threshold value may be determined at 1/10 or more of the total number of prescription test item lists.
  • the third threshold value may be determined at 1/20 or more of the total number of prescription test item lists.
  • the third threshold value may be determined from 1/20 to 1/5 of the total number of prescription test item lists.
  • the top r prescription test item lists with a high number of appearances may be determined as the test set.
  • r can be determined to be 5 or more.
  • r may be determined to be 10 or greater.
  • r may be determined to be 20 or greater.
  • r may be determined from 5 to 20.
  • the test set may be generated using the first method or the second method described above, and may also be generated using the first method and the second method.
  • a test set may be created to include both test sets created using frequently used test item lists and test sets created using prescription test item lists. At this time, overlapping test sets may be deleted.
  • the number of test items included in each test set and the total number of determined test sets may affect the efficiency in patterning the target doctor's treatment method. For example, as the total number of test sets increases, patterns may become more diverse, but it may become difficult to secure data necessary for learning for each pattern. Additionally, as the number of test items included in the test set increases, the pattern that distinguishes the interview records may become clearer, but similarly, it may become difficult to secure the data necessary for learning for each pattern. Therefore, the test set needs to be determined considering the total number of test sets and the total number of test items included in each test set.
  • a test set can be obtained by clustering test items included in prescription test item lists of medical records.
  • spectral clustering can be used as a clustering technique.
  • the process of generating a test set using spectral clustering can proceed as follows.
  • test items included in the prescription test item lists of medical records can be extracted, and an affinity matrix can be created using the extracted test items.
  • the similarity matrix may refer to a matrix in which each test item is placed on the x-axis and y-axis, and the similarity between test items is calculated and recorded.
  • the similarity between test items is calculated as the frequency or number of times that the first test item and the second test item are prescribed together based on the list of prescribed test items in medical records when there are any first test items and second test items. It can be.
  • each test item can be displayed as a node, and the similarity between test items can be displayed in the form of an edge connecting the nodes.
  • the graph can be constructed in the form of a fully connected graph in which all nodes are connected, an ⁇ -neighborhood graph that displays only edges closer than ⁇ , or a k-nearest neighbor graph in which only k neighbors around each node are connected.
  • nodes can be divided into two or more clusters, and the nodes of each divided cluster, that is, the test items for each cluster, can be determined as one test set.
  • techniques such as minimum out or normalized out can be used as a method of dividing nodes into clusters.
  • the above mainly describes the case of using the spectral clustering technique, but the technical idea of the present specification is not limited to this, and includes K-means clustering, DBSCAN clustering, affinity propagation clustering, or Hierarchical clustering, etc. may be used.
  • the main server (2000) can classify the interview records (S2500).
  • Figure 17 is a diagram illustrating a method for classifying interview records according to test sets and classification criteria, according to one embodiment.
  • Interview records can be classified using test sets and classification criteria determined through the methods described above.
  • each interview record in the medical records can be classified into one of several patterns.
  • each pattern can be understood as corresponding to each of the determined test sets.
  • the first pattern may correspond to the first test set
  • the second pattern may correspond to the second test set.
  • the interview record in the medical record can be classified into patterns that correspond to the same test set as the list of prescribed test items in the medical record.
  • the first prescription test item list in the first medical record includes test A, test B, test C, test D, and test E, and the first set of tests similarly includes
  • the first interview record of the first medical record may be classified into a first pattern corresponding to the first examination set.
  • the interview record in the medical record may be classified as 'no pattern'.
  • a learning data set labeled 'no pattern' can be created in a specific interview record, and the pattern classification model 2130 learned through this can also output 'no pattern'.
  • the target doctor can determine test items to be newly prescribed, thus preventing incorrect test prescriptions from being output due to incorrect candidate test items.
  • the interview record in the medical record may not be used for learning.
  • the similarity between the list of prescribed test items and each test set may be considered.
  • the similarity between the test items included in the list of prescribed test items in the medical record and the test items included in each test set can be compared, and the interview record in the medical record can be classified into the most similar test set.
  • test set corresponding to the specific pattern among the test sets has the highest number of test items included in the list of prescribed test items in the medical record. It can be understood as including test items.
  • the fourth prescription test item list of the fourth medical record includes test A, test B, test C, test I, and test J
  • the first test set is test A
  • the third test set includes test A, test B, test C, test I, test J, test P
  • the number of test items commonly included in the third test set is greater than the number of test items commonly included in the fourth prescription test item list and the first test set.
  • the 4th prescription test item list has a higher similarity with the 3rd test set than the 1st test set, and even considering other test sets, the similarity with the 3rd test set is the highest, so the 4th interview record in the 4th medical record can be classified as a third pattern corresponding to the third test set.
  • test sets that contain the most test items included in the list of prescription test items in the medical record.
  • the number of test items included in each test set and/or the number of test items included in the prescription test item list may be considered.
  • the second prescription test item list of the second medical record includes Test A, Test B, Test C, Test D, Test E, and Test F
  • the first test set is It includes test A, test B, test C, test D, and test E
  • the fifth test set may include test A, test B, test C, test D, test E, test K, and test L.
  • the number of test items in common with the second prescription test item list in both the first test set and the fifth test set is 5.
  • the interview record of the relevant medical record may be classified into a test set containing a large number of test items or a corresponding pattern.
  • the second interview record of the above-described second medical record is classified into the fifth pattern corresponding to the fifth test set containing a larger number of test items among the first test set and the fifth test set. It can be.
  • interview records may be classified into a test set with a relatively small number of test items.
  • the sixth prescription test item list of the sixth medical record includes test A, test B, test C, and test D
  • the first test set includes test A, test B, It includes test C, test D, and test E
  • the fifth test set may include test A, test B, test C, test D, test E, test K, and test L.
  • the number of test items in common with the sixth prescription test item list in both the first test set and the fifth test set is four.
  • the number of test items included in each test set is greater than the number of test items included in the prescription test item list, and the interview record can be classified into a test set containing fewer test items or a corresponding pattern.
  • the interview record of the sixth medical record described above is classified into the first pattern corresponding to the first test set containing fewer test items among the first test set and the fifth test set. It can be.
  • interview records may be classified into a test set with a relatively large number of test items.
  • one interview record may be classified into two or more test sets or patterns. For example, if the list of prescribed test items in a medical record is the union of test items included in two test sets, the interview records in the medical record can be classified into two patterns corresponding to each of the two test sets or each. there is.
  • the main server 2000 may perform labeling on the classified interview records (S2700).
  • a training data set can be created using interview records and test sets.
  • a learning data set may be created by labeling interview records with a test set (or a corresponding pattern) in which the interview records are classified.
  • the learning data set can be created by considering the input data type and output data type of the pattern classification model 2130.
  • model input data processed from interview records may be input to the pattern classification model 2130, and pattern data may be output from the pattern classification model 2130.
  • the learning data set may be created by labeling model input data processed from interview records with pattern data indicating the pattern by which the interview records were classified.
  • a learning data set can be created by labeling model input data processed from interview records with probability values for each pattern (e.g., 1 for the pattern in which the interview record was classified, 0 for the rest).
  • the learning data set is a test in which the interview record is classified by model input data processed from the interview record. Sets can be created labeled.
  • the interview record may be labeled with a pattern or a test set, but as a result, it can be understood that what is provided to the target doctor is the test set or the test items included in the test set.
  • the output form of the pattern classification model 2130 learned through this becomes a specific pattern, and the target doctor receives a test set or test set corresponding to the specific pattern output. Test items included in the test set will be provided.
  • the output form of the pattern classification model 2130 learned through this becomes a specific test set, so that the target doctor can also use the test set or the test set it contains. Test items will be provided.
  • model input data may be input to the pattern classification model 2130 and inspection items may be output from the pattern classification model 2130.
  • the learning data set can be created by labeling model input data processed from the interview record with test items included in the test set in which the interview record was classified.
  • the learning data set may be created by labeling model input data processed from interview records with each test item included in the test set in which the interview record is classified, and multiple learning data sets are created for one interview record. It can be.
  • Figures 18 and 19 are diagrams showing the structure of a pattern classification model 2130 according to an embodiment.
  • FIG. 20 is a diagram showing the structure of an encoder constituting a pattern classification model 2130 according to an embodiment.
  • NLP natural language processing
  • the pattern classification model 2130 can be created by training any one of the artificial neural network models described above with training data sets.
  • BERT is implemented using a transformer and is a language model pre-trained with a large amount of unlabeled text data.
  • a natural language processing model with the desired input and output form can be created through fine-tuning, which adds a separate neural network to the pre-trained BERT and readjusts the parameters of BERT by additional training with collected data.
  • GPT-3 was similarly trained using hundreds of billions of data sets, and can be used to create a model with the desired input and output form through fine tuning.
  • the pattern classification model 2130 can be created using a pre-trained model, and at this time, the pre-trained model is called a base model.
  • the pattern classification model 2130 may be implemented by learning the base model using transfer learning.
  • the pattern classification model 2130 may have a structure in which a classifier is combined with a pre-trained BERT model with a plurality of input stages.
  • the classifier may include a feed forward layer and a softmax function.
  • BERT includes a plurality of encoders, and each encoder has the same structure as the transformer encoder.
  • BERT includes N encoders, and each encoder includes a multi-head attention layer and a position-wise feed forward layer. can do.
  • a multi-head attention layer has a plurality of self-attentions connected in parallel, and in each self-attention layer, the weight of the input value with respect to the values input to other self-attention layers can be calculated.
  • the position-wise feed forward layer can perform the role of a fully-connected layer, and values to be input to the next encoder can be calculated.
  • the input and output form of BERT used may also vary.
  • the pattern classification model 2130 may have a structure that receives model input data processed from interview records and outputs a probability value for each pattern.
  • the pattern classification model 2130 can learn the above-described training data sets.
  • the learning data sets include, for example, a first learning data set in which data processed from the first interview record is labeled with a first pattern, and a second learning data set in which data processing the second interview record is labeled with a second pattern. etc. may be included.
  • sentences or paragraphs of the interview record can be divided and input into BERT, and values output from BERT may be values corresponding to specific test items through a feedforward layer.
  • the pattern classification model 2130 it is also possible to use a model other than the BERT model as a base model.
  • GPT-3 may be used as a base model.
  • the purpose of the pattern classification model 2130 is to receive interview records and output data about a test set or pattern, taking into account each doctor's treatment pattern.
  • the pattern classification model 2130 may be implemented differently for each individual doctor. Specifically, the learning data sets for learning the pattern classification model 2130 are created by considering the medical records of each doctor, and include a first pattern classification model for the first doctor and a second pattern classification model for the second doctor. Even if it receives the same data as input, its output may be different.
  • the pattern classification model 2130 may be implemented in the main server 2000 as described above. Specifically, the main server 2000 obtains the target doctor's medical records from the EMR server 3000 and/or the hospital server 4000 and creates a pattern classification model 2130 through creation of a learning data set and model learning. You can.
  • the creation of the learning data set may be performed on a server other than the main server 2000 or an external learning server not included in the prescription assistance system 10.
  • the main server 2000 may learn the pattern classification model 2130 by acquiring training data from another server or an external learning server.
  • the pattern classification model 2130 may be learned from another server or an external learning server and provided to the main server 2000.
  • the method of using the interview record when using the pattern classification model 2130 was mainly described, but the technical idea of the present disclosure is not limited to this, and the audio data itself recorded from the interview may be used instead of the interview record.
  • the pattern classification model 2130 can be trained to output a test set by receiving data processed from audio data recorded from an interview, and in the process, the method of using the interview record described above can be similarly applied. .
  • the above describes a method of classifying patterns in interview records and training a deep learning model using learning data sets.
  • pattern classification may be implemented using a document classification (text categorization or document classification (clustering)) technique and a similarity measurement method, as will be described later.
  • a document classification text categorization or document classification (clustering)
  • a similarity measurement method a similarity measurement method
  • the similarity-based classification model can classify patterns in the interview record instead of the pattern classification model 2130. Therefore, the process of obtaining interview records, outputting candidate test items, verifying candidate test items, and transmitting and storing data as described in the prescribing assistance method can be applied as is. However, at least part of the tokenization process or embedding process, which is a process of preprocessing the interview record, may be omitted or modified.
  • the similarity-based classification model may be used together with the pattern classification model 2130.
  • the similarity-based classification model can receive interview records as input and output data about a test set or pattern.
  • the similarity-based classification model can vectorize the input interview records. For example, a similarity-based classification model can obtain an interview vector by vectorizing the input interview record.
  • the Doc2Vec package which vectorizes the entire interview record
  • the similarity-based classification model can vectorize words/sentences/paragraphs in the interview record using Word2Vec/Sent2Vec/Paragraph2Vec, and obtain the average vector as the interview vector.
  • the similarity-based classification model can calculate the similarity of the interview vector with pre-stored pattern vectors.
  • the pattern vectors can be understood as representing the target doctor's treatment pattern as a vector.
  • Each of the pattern vectors may correspond to a specific pattern.
  • the first pattern vector may correspond to the first pattern.
  • Pattern vectors may be generated based on the target doctor's medical records. How pattern vectors are generated will be described later.
  • Similarity can be understood as a measure that indicates the degree to which two vectors are similar. Similarity can be calculated as cosine similarity, Euclidean distance, Jaccard similarity, or Levenshtein distance.
  • the similarity-based classification model can determine the pattern of the interview record based on the similarity between the interview vector and the pattern vectors. Specifically, the similarity-based classification model can determine the pattern corresponding to the pattern vector with the highest similarity to the interview vector among the pattern vectors as the pattern of the interview record.
  • a pattern vector can be created using the target doctor's medical records.
  • interview records from the target doctor's medical records may be clustered based on preset criteria.
  • interview records with the same list of corresponding prescription test items may be clustered into the same group. Specifically, if the test items included in the first prescription test item list of the first medical record and the test items included in the second prescription test item list of the second medical record are the same, the first interview record of the first medical record and the second interview record of the second medical record may be clustered into the same group.
  • interview records may be clustered into the same group if the corresponding prescription test item list is the same or satisfies similar conditions. Specifically, when comparing the test items included in the first prescription test item list of the first medical record and the test items included in the second prescription test item list of the second medical record, the number of test items not included in each other is determined in advance. If the number is less than or equal to a set number, the first interview record of the first medical record and the second interview record of the second medical record may be clustered into the same group.
  • test set determination method and interview record classification method may be used.
  • each of the frequently used test item lists described in FIG. 14 can be defined as one group, and the interview records in the medical record can be classified into a specific group based on the list of prescription test items in the medical record.
  • test sets are created using test items extracted from prescription test item lists, each of the test sets is defined as one group, and the list of prescription test items in the medical record is created. Considering this, the interview records in the medical record can be classified into specific groups. The method of classifying the interview records is described in Figures 15 to 17 and will be omitted.
  • the pattern vector of the corresponding group can be calculated from the clustered interview records.
  • interview vectors can be obtained by vectorizing interview records of the same group, and the average value of the obtained interview vectors can be obtained as a pattern vector.
  • the data used for learning is relatively small compared to predicting individual test items.
  • the accuracy of the prescription assistance information provided can be high.
  • test set as prescription assistance information in consideration of the doctor's practice pattern results in output of only test sets that are prescribed with a relatively high frequency, and individual test items that are prescribed with a relatively low frequency are omitted from the prescription assistance information. This causes the inconvenience of having to add the relevant test items directly to the doctor.
  • 21 is a diagram illustrating a method of using a basic inspection model and an additional inspection model according to an embodiment.
  • Figure 22 is a diagram showing the output form of an additional inspection model according to an embodiment.
  • the main server 2000 may obtain prescription assistance information using the basic test model and the additional test model. For example, referring to FIG. 21, the main server 2000 inputs model input data into a basic inspection model to obtain a basic inspection set, inputs model input data into an additional inspection model to obtain additional inspection items, and obtains additional inspection items. Test items included in the test set and additional test items can be obtained as candidate test items.
  • the basic inspection model can be understood as the same model as the pattern classification model 2130 described above.
  • the basic inspection model may receive model input data and output an inspection set or pattern data corresponding to the inspection set.
  • test set obtained through the basic test model will be referred to as the 'basic test set'
  • test items included in the basic test set will be referred to as 'basic test items'.
  • the description of the pattern classification model 2130 can be directly applied to the basic inspection model, it is omitted, and the additional inspection model is described in more detail.
  • the additional test model can receive interview records or data processed from interview records as input and output additional test items.
  • the additional inspection model may receive model input data and output additional inspection items.
  • the additional inspection model can receive model input data and output probability values for a plurality of inspection items, and the inspection item with the highest probability value is obtained as the additional inspection item. It can be.
  • the additional test model outputs an additional test set, and test items included in the additional test set may be obtained as additional test items.
  • Data input to the additional inspection model may be the same as data input to the basic inspection model.
  • data input to the basic test model and the additional test model may be model input data obtained by processing interview records.
  • data input to the additional inspection model may be different from data input to the basic inspection model.
  • Additional test items can be understood as test items other than the basic test items.
  • the basic inspection items are inspection items included in the inspection set output from the basic inspection model, as described above.
  • the additional test items are included among the test items that doctors have prescribed for patients in the past, excluding the basic test items.
  • test set including basic test items may mean test sets described in the basic test model or the pattern classification model 2130.
  • a test set including basic test items may mean a test set generated from the frequently used test item list shown in FIG. 14 or the prescription test item list shown in FIG. 16.
  • the additional test items may include test items that were not used in the method for determining the test set described above. Specifically, as described in FIG. 16, when test items are extracted from the prescription test item lists and a candidate test set is determined, some test items with a low frequency of appearance may not be determined as a candidate test set. Test items that are not determined as a candidate test set may be included in the additional test items.
  • Additional inspection models can be implemented using deep learning algorithms. Deep learning algorithms such as CNN, RNN, LSTM, Seq2seq, Transformer, BERT, or GPT-3 can be used.
  • the additional inspection model may be implemented similarly to the method of implementing the pattern classification model 2130 described above. For example, an additional test model can be created by training a training data set using BERT as a base model. At this time, the training data set for training the additional inspection model may be different from the training data set for training the pattern classification model 2130.
  • a learning data set for training an additional test model can be created using interview records and additional test items.
  • Figure 23 is a flowchart showing a method of generating a training data set of an additional inspection model according to an embodiment.
  • the method of generating learning data for an additional test model includes collecting data (S3100), determining a test set (S3300), classifying interview records (S3500), and determining additional test items. It may include a step (S3700), and a step of labeling additional test items in the interview record (S3900).
  • step of collecting data S3100
  • determining the test set S3300
  • classifying the interview record S3500
  • the main server 2000 may determine additional inspection items (S3700).
  • Additional test items may be determined based on the interview record, the pattern or test set into which the interview record is classified, and/or a list of prescribed test items that correspond to the interview record. For example, if the first interview record of the first medical record is classified as the first test set, the test included in the first prescription test item list of the first medical record among the basic test items included in the first test set Test item(s) excluding the items may be determined as additional test item(s).
  • Additional test items may be determined individually for the interview records. Additionally, additional test items are obtained when the test set into which the interview record is classified and the list of prescribed test items corresponding to the interview record are not the same.
  • the main server 2000 may label the interview record with additional test items (S3900).
  • a learning data set can be created by labeling interview records or data processed from interview records with additional test items determined for the interview records. If there are multiple additional test items corresponding to the interview record, the interview record may be labeled with an additional test set containing the additional test items to create a learning data set. Alternatively, if there are a plurality of additional test items, each additional test item may be labeled for the interview record to generate a plurality of learning data sets.
  • the learning data set may be configured differently depending on the output form of the above-described additional inspection model.
  • additional inspection items may be determined when preset conditions are met. For example, when candidate additional test items are obtained by excluding basic test items from the list of test items prescribed by the target doctor according to the above-mentioned method, candidate additional test items whose number of appearances is more than a preset number of times are performed. Only items can be determined as additional inspection items.
  • the preset number of times may be determined from 1 to 5 times or less.
  • the preset number of times may be determined to be 5% or less of the total number of prescription test item lists used to generate the learning data set.
  • Figure 24 is a diagram illustrating a case in which a plurality of additional inspection models are used according to an embodiment.
  • model input data is input to a plurality of additional inspection models, and each of the additional inspection models may output a value regarding whether a specific additional inspection item is necessary.
  • the first additional inspection model may receive model input data and output a value regarding whether the first additional inspection item is necessary
  • the second additional inspection model may receive model input data and output a value regarding whether the first additional inspection item is necessary.
  • a value regarding whether or not is necessary can be output, and the first additional inspection item and the second additional inspection item are different inspection items.
  • each additional test model can be learned with a learning data set that includes additional test items and interview records corresponding to the additional test items.
  • the first additional test model may be learned using training data sets that include the first additional test item.
  • additional inspection models may be used only when preset conditions are satisfied. For example, whether to use an additional inspection model may be determined based on the value output from the pattern classification model 2130. Specifically, as described in FIG. 8, when a probability value indicating a specific pattern is output from the pattern classification model 2130, additional inspection items are added using the additional inspection model only if the output probability value is less than or equal to a preset value. It can be obtained.
  • the probability value is understood as the probability that the interview record input to the pattern classification model 2130 is the corresponding pattern. It could be possible, and if the probability was sufficiently high, it was considered unnecessary to use an additional inspection model. However, the additional inspection model does not necessarily have to be used conditionally.
  • FIG. 25 is a diagram showing the data transmission/reception relationship between components of the prescription assistance system 10 according to an embodiment.
  • the EMR server 3000 can transmit the doctor's medical records to the main server 2000.
  • the EMR server 3000 may transmit the medical records stored internally to the main server 2000.
  • the EMR server 3000 may obtain medical records from the hospital server 4000 and provide them to the main server 2000.
  • the main server 2000 can train a model using medical records. Specifically, the main server 2000 may generate learning data sets using medical records and acquire a pattern classification model 2130 by training an artificial neural network model with the generated learning data sets.
  • the terminal (TD) may transmit a control signal to the recording device (RD).
  • the terminal (TD) may receive the doctor's input and transmit a control signal instructing the recording device (RD) to start recording.
  • the recording device (RD) may receive a control signal and proceed with recording.
  • the recording device (RD) can record for a preset time.
  • the recording device RD may receive an additional control signal from the terminal TD to end recording.
  • the recording device (RD) may transmit sound data obtained through recording to the main server 2000.
  • the main server 2000 may transmit sound data to the auxiliary server 1000.
  • the auxiliary server 1000 may convert sound data to obtain an interview record, and transmit the obtained interview record to the main server 2000.
  • the main server 2000 may obtain prescription assistance information by performing pattern analysis or prescription assistance methods on the interview records.
  • the main server 2000 may transmit the obtained prescription assistance information to the EMR server 3000.
  • the EMR server 3000 may transmit prescription assistance information to the terminal (TD).
  • the terminal (TD) can output prescription assistance information through a display, receive input from a doctor, and perform a verification task on the prescription assistance information.
  • the terminal (TD) can obtain final prescription information through verification work.
  • the terminal (TD) can transmit the final prescription information to the EMR server 3000, and the EMR server 3000 can store the final prescription information inside the server. Alternatively, the EMR server 3000 may transmit the final prescription information to the hospital server 4000.
  • the components of the prescription assistance system 10 may be formed integrally.
  • the meaning of being integrated means that the functions performed in each of two or more components are performed in one configuration.
  • the auxiliary server 1000 and the main server 2000 may be formed integrally.
  • the voice recognition program of the auxiliary server 1000 is mounted on the main server 2000, so that the main server 2000 can convert sound data into interview records.
  • the auxiliary server 1000 may be omitted from the prescription assistance system 10.
  • the main server 2000 can obtain an interview record by converting the acoustic data obtained from the recording device (RD), and obtain prescription assistance information by performing pattern analysis on the obtained interview record.
  • the auxiliary server 1000 and the EMR server 3000 may be formed integrally.
  • the voice recognition program of the auxiliary server 1000 may be mounted on the EMR server 3000 to convert sound data into interview records in the EMR server 3000.
  • the auxiliary server 1000 may be omitted from the prescription assistance system 10.
  • the main server 2000 may transmit sound data obtained from the recording device RD to the EMR server 3000.
  • the EMR server 3000 can convert the received audio data to obtain an interview record, and provide the obtained interview record to the main server 2000.
  • the main server 2000 and the EMR server 3000 may be formed integrally.
  • the memory unit 2100 of the above-described main server 2000 is mounted on the EMR server 3000, so that the prescription assistance method can be performed in the EMR server 3000.
  • data and programs for executing an EMR program are embedded in the main server 2000, so that the main server 2000 can provide an EMR interface to doctors through a terminal (TD).
  • TD terminal
  • the main server 2000 may be omitted from the prescription assistance system 10.
  • the data transmission and reception relationship described in FIG. 25 may be changed as follows.
  • the EMR server 3000 may generate a pattern classification model 2130 using medical records stored within the server or medical records obtained from the hospital server 4000. For example, the EMR server 3000 may generate training data sets using medical records and train a base model using the generated training data sets to generate the pattern classification model 2130.
  • the EMR server 3000 may acquire sound data from the recording device RD and transmit the acquired sound data to the auxiliary server 1000.
  • the auxiliary server 1000 may transmit the interview record converted into acoustic data to the EMR server 3000.
  • the EMR server 3000 can perform pattern analysis and obtain prescription assistance information using the acquired interview record and pattern classification model 2130.
  • the EMR server 3000 may transmit the acquired prescription assistance information to the terminal (TD).
  • the main server 2000, the EMR server 3000, and the hospital server 4000 may be formed integrally.
  • the hospital server 4000 is loaded with data and programs for executing an EMR program, so that the hospital server 4000 can provide an EMR interface to a doctor through a terminal (TD).
  • the memory unit 2100 of the main server 2000 is mounted on the hospital server 4000, so that a prescription assistance method can be performed on the hospital server 4000.
  • the main server 2000 and the EMR server 3000 may be omitted from the prescription assistance system 10.
  • the data transmission and reception relationship described in FIG. 25 may be changed as follows.
  • the hospital server 4000 may generate a pattern classification model 2130 using the doctor's medical records stored internally. Specifically, the hospital server 4000 may create a learning data set using the target doctor's medical records stored internally and create a pattern classification model 2130 by learning a base model.
  • the hospital server 4000 may acquire sound data from the recording device RD and transmit the acquired sound data to the auxiliary server 1000.
  • the hospital server 4000 may obtain an interview record from the auxiliary server 1000 and obtain prescription assistance information by performing pattern analysis on the interview record.
  • the hospital server 4000 may transmit the acquired prescription assistance information to the terminal (TD).
  • the terminal (TD) can transmit the final prescription information to the hospital server (4000).
  • auxiliary server 1000 and the main server 2000 may be integrated, and the EMR server 3000 and the hospital server 4000 may be integrated.
  • the auxiliary server 1000, the main server 2000, the EMR server 3000, and the hospital server 4000 may be integrated.
  • the recording device (RD) may be mounted on at least part of the components of the prescription assistance system 10.
  • the servers of the prescription assistance system 10 for example, the auxiliary server 1000, the main server 2000, the EMR server 3000, and the hospital server 4000, may all be located inside the hospital, Data communication with external servers may be blocked.
  • the technical idea of the present disclosure is not limited to this, and at least some of the prescription assistance systems 10 may be located inside the hospital and other portions may be located outside the hospital, and each server of the prescription assistance system 10 may be required. Depending on this, data communication with an external server may be possible.
  • the main server (2000) of the prescription assistance system (10) can receive the interview record as described above and output a test set. For this, data to implement the pattern classification model (2130) of the main server (2000) is required. It is essential, and a certain amount needs to be secured. In particular, the pattern classification model 2130 of the main server 2000 must be prepared for each doctor, and a certain number of medical records for each doctor are required.
  • the doctor's prescription is required for a minimum period of time (e.g. 1 week, 2 weeks, 30 days, 1 month, 2 months, 3 months, or 6 months, etc.).
  • a minimum period of time e.g. 1 week, 2 weeks, 30 days, 1 month, 2 months, 3 months, or 6 months, etc.
  • Collect medical records or collect as few medical records as possible ex. 20, 30, 50, 100, 200, 300, 500, or 1000, etc.
  • a method of implementing and supplementing at a later date can be used.
  • the pattern classification model 2130 is implemented using the doctor's past medical records collected before the time of provision, and the pattern classification model 2130 is implemented using the doctor's past medical records collected after the time of provision.
  • the pattern classification model 2130 can be additionally trained using the doctor's additional medical records.
  • the main server 2000 provides the pattern classification model 2130 to the doctor, then receives the doctor's feedback input on the pattern data or test set output from the pattern classification model 2130, and responds to the received feedback input. Based on this, at least some of the parameters of the pattern classification model 2130 may be readjusted.
  • the tests patients receive at hospitals may change over time. For example, there may be cases where a new type of test item is introduced to a hospital, or the name of the test method or test item changes due to a change in the existing test method.
  • the pattern classification model 2130 may be periodically updated through additional learning and/or parameter readjustment. At this time, whether to proceed with the update may be determined by considering the incorrect answer rate of the pattern classification model 2130.
  • the error rate may be determined based on the doctor's feedback input described above.
  • Information that must be derived and recorded during the doctor's treatment of the patient may include, in addition to the tests the patient must undergo, medications prescribed to the patient, consultation with other departments as needed, or the date of the next hospital visit, if necessary.
  • Figure 26 is a diagram showing the input and output form of a drug prescription model and a learning data set for learning the drug prescription model according to an embodiment.
  • Figure 27 is a flowchart showing a method of generating a learning data set for learning a drug prescription model according to an embodiment.
  • the drug prescription model may receive model input data processed from interview records and output a drug set or pattern data corresponding to the drug set. Drug set or pattern data can be used to obtain candidate drugs.
  • the drug prescription model can be created by training an artificial neural network, and a learning data set is required for learning.
  • the learning data set for learning the drug prescription model may be similar in generation method to the learning data set used to learn the pattern classification model 2130, and overlapping content will be omitted.
  • the learning data set for learning the drug prescription model includes the data collection step (S4100), the step of determining the drug set (S4300), the step of classifying the interview record (S4500), and the interview record. It can be created through the step of performing labeling (S4700).
  • the main server 2000 may obtain the medical records of the target doctor (S4100). This step is the same as step S2100 described in FIG. 13, and detailed information will be omitted.
  • the main server 2000 may determine the drug set (S4300).
  • the main server 2000 may determine a drug set using frequently used drug lists.
  • the list of frequently used medicines may be determined by the target doctor, similar to the list of frequently used test items described in FIG. 14, or may be set based on the target doctor's medical records.
  • a plurality of drug sets may be determined using frequently used drug lists. For example, each frequently used drug list may be determined as one drug set. Alternatively, each of the frequently used drug lists may define a pattern and become a set of drugs of that pattern.
  • the main server 2000 may determine the drug set using the prescription drug list in the medical record.
  • the prescription drug list can be understood as data on drugs prescribed by the target doctor to the patient. Accordingly, the prescription drug list may include at least one drug prescribed for the patient.
  • drug sets can be created using drugs extracted from prescription drug lists.
  • drug sets can be determined using drug set determination criteria such as likelihood or number of appearances for the extracted drugs.
  • Drug sets may be determined using drug sets obtained using frequently used drug lists and drug sets obtained using prescription drug lists.
  • the main server (2000) can classify the interview records (S4500). Specifically, the main server 2000 may classify the interview records using the determined drug sets. For example, using the prescription drug list in the medical record, the interview record in the medical record can be classified into one of the drug sets or a pattern corresponding thereto.
  • the main server (2000) may perform labeling on the classified interview records (S4700).
  • a learning data set may be created by labeling data that processes the interview record with data indicating the drug set or pattern into which the interview record was classified. Similar to what was described in step S2700, the drug set or pattern data labeled for the interview record may vary considering the output form of the drug prescription model.
  • a drug prescription model can be created using the learning data sets generated according to the method described above.
  • a drug prescription model can be created by training an artificial neural network model using the created training data sets.
  • Medical information that must be recorded as medical treatment for a patient is performed may include not only the above-mentioned list of prescription test items and prescription drug list, but also information on requests for collaborative treatment, information on the next visit date, etc.
  • This medical information can be obtained using interview records, similar to the prescription assistance method described above.
  • a model that outputs information on request for collaborative treatment and a model that outputs information on visit date can be implemented.
  • the comprehensive medical information provision system has the same configuration as the prescription assistance system 10 described above, but the configuration of the main server 2000 may be different.
  • the main server 2000 of the comprehensive medical information provision system may include a test prescription model, a drug prescription model, a collaborative consultation decision model, and a visit date decision model.
  • the test prescription model is the same as the pattern classification model 2130 described above.
  • the test prescription model can use the interview record to output a test set or pattern data corresponding to the test set.
  • the main server 2000 may output candidate test items using test set or pattern data.
  • the drug prescription model can output a drug set or pattern data corresponding to a drug set using interview records.
  • the main server 2000 may output candidate drug items using a drug set or pattern data.
  • the collaborative examination decision model can receive interview records as input and generate collaborative examination information.
  • the collaborative medical treatment decision model can extract specific keywords from interview records and obtain data indicating whether collaborative medical treatment is required and the department that requires collaborative medical treatment based on the extracted keywords.
  • the keyword may be a word or sentence related to cooperation.
  • a keyword may mean a keyword for a medical department such as the first medical department to which the target doctor belongs, a second medical department other than the first medical department, a keyword that refers to information about a doctor other than the target doctor, etc. .
  • the collaborative medical treatment decision model may generate collaborative medical treatment information by considering the medical treatment pattern of the target doctor.
  • a collaborative medical treatment decision model can be created using collaborative medical treatment-related learning data sets.
  • the learning data sets related to collaboration include: acquiring the target doctor's medical records, dividing the target doctor's medical records into a first medical record in which collaboration has been decided and a second medical record in which collaboration has not been decided, first treatment
  • a first learning data set is created by labeling data indicating that there is collaboration in the first interview record of the record or data indicating the department to which collaboration is to be conducted, and labeling data indicating that there is no collaboration in the second interview record of the second medical record. It can be created through the step of generating a second learning data set.
  • a collaborative medical decision model can be created by training the aforementioned artificial neural network or base model with collaborative medical training data sets.
  • the visit date decision model can receive interview records as input and output information about the visit date.
  • the hospital visit date decision model can extract specific keywords from interview records and obtain data indicating the candidate visit date or candidate visit date based on the extracted keywords.
  • the keyword may be a word or sentence related to the visit date.
  • keywords can mean date, time, adverbs used with date or time, the doctor's last utterance in an interview record, or the patient's last utterance.
  • test prescription model drug prescription model
  • collaborative consultation decision model collaborative consultation decision model
  • hospital visit date decision model may be different.
  • an interview record containing only the content of the doctor's utterance may be input into the test prescription model, drug prescription model, and collaborative decision model, and the visit date decision model may include the content of the doctor's utterance and the patient's utterance.
  • a record of the interview, including all content, can be entered. While the contents of the patient's test prescription, drug prescription, and request for collaborative treatment depend on the content of the doctor's speech and do not depend on the content of the patient's speech, the visit date decision model may depend on both the content of the doctor's speech and the content of the patient's speech. Because there is.
  • model input data processed from interview records may be input to the test prescription model and drug prescription model, but the interview records may be input in an unprocessed state to the collaborative consultation decision model and visit date decision model.
  • the test prescription model and drug prescription model are implemented in a way that considers the doctor's treatment pattern and may require preprocessing such as tokenization and embedding, while the collaborative treatment decision model and visit date decision model require keyword extraction first, so preprocessing is necessary. This is because unrecorded interview records need to be entered.
  • the auxiliary server 1000 can convert the sound data to obtain a partial interview record regarding the doctor's speech and a full interview record regarding the doctor's speech and the patient's speech.
  • the auxiliary server 1000 may provide partial interview records and full interview records to the main server 2000.
  • the main server (2000) processes partial interview records and inputs the obtained partial model input data into the test prescription model and drug prescription model, inputs the partial interview records into the collaborative consultation decision model, and inputs the entire interview record into the visit date decision model. You can enter it.
  • the input data of each model may be partial interview records, partial model input data processed from partial interview records, full interview records, Or, of course, it can be the entire model input data processed from the entire interview record.
  • the above-mentioned comprehensive medical information provision system is significant in that it automates all necessary medical records for patients. Doctors can be freed from administrative tasks to some extent by automating not only the records of prescription tests and prescription drugs, which are the main contents of patient treatment, but also requests for collaborative treatment and records of visit dates. Accordingly, treatment time for patients may increase. At this time, the data required or to be entered in each model of the comprehensive medical information provision system, especially the contents of the interview record as described above, may vary, and accordingly, the data provided by the comprehensive medical information provision system may have a certain level of accuracy or higher. You can have it.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a non-transitory computer-readable recording medium.
  • the non-transitory computer-readable recording medium may include program instructions, data files, data structures, etc., singly or in combination.
  • the program instructions recorded on the non-transitory computer-readable recording medium may be specially designed and configured for the present invention or may be known and usable by those skilled in the computer software field.
  • Examples of non-transitory computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks.
  • magneto-optical media magneto-optical media
  • hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform processing according to the invention and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 개시는 환자에 대한 의사의 처방을 보조하기 위한 처방 보조 방법에 관한 것으로, 구체적으로 의사와 환자 사이의 대화를 기록한 면담록을 이용하여 환자에 대해 처방되어야 하는 검사 세트를 제공하되, 특히 의사의 의도를 고려하는 방법에 관한 것이다. 대상 의사의 진료 기록들을 획득하여 자주 이용하는 검사 항목 리스트들 및 진료 기록들을 이용하여 학습 데이터 세트들을 생성하고, 학습 데이터 세트들을 이용하여 패턴 분류 모델 또는 베이스 모델을 생성 및 학습 시키며, 검사 세트들을 생성해 제공하는 발명에 관한 것이다.

Description

면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법
본 개시는 환자에 대한 의사의 처방을 보조하기 위한 처방 보조 방법에 관한 것으로, 구체적으로 의사와 환자 사이의 대화를 기록한 면담록을 이용하여 환자에 대해 처방되어야 하는 검사 세트를 제공하되, 특히 의사의 의도를 고려하는 방법에 관한 것이다.
병원에서 의사가 환자를 진료함에 있어서, 한 명의 환자를 면담하는데 사용 가능한 시간은 환자에 대한 진료의 질을 높이는 데에 중요한 영향을 미친다. 면담 시간이 길어질수록 환자는 보다 세심한 진료를 받을 수 있고, 그에 따라 환자에게 정확한 진단 및 처방을 제공하며 환자의 만족도 역시 증가하게 된다.
한편, 의사의 진료 과정에는 환자와의 면담 뿐만 아니라 진료 내용의 기록, 환자에게 필요한 검사 또는 약품의 처방, 및 처방 결과의 기록 등 여러 업무가 포함되어 있다. 이 때, 제한된 진료시간 중 환자와의 면담 외의 업무 시간이 늘어날수록 환자와의 면담 시간은 짧아지고, 면담 시간이 짧아짐에 따라 진료가 다소 급하게 진행되어야 하는 점에서 의사의 부담이 가중될 수 있고, 짧은 면담 시간에 따라 환자의 만족도도 낮아지는 문제가 발생한다. 일 예로, 한국의 규모가 큰 대학 병원의 경우 의사들은 10분 당 3명의 환자를 진료해야 하는 수준으로 진료 예약이 관리되고 있으며, 환자 1명을 진료하는 시간이 약 3분 정도로 매우 짧게 한정되고 있다.
이러한 문제를 해결하는 방안 중 하나로, 면담 외의 업무에 소요되는 시간을 줄이기 위해 자동으로 약품을 처방하고 처방 결과를 기록해주는 방법이 있을 것이다. 특히, 의사와 환자 사이의 면담 내용을 기반으로 해당 환자에게 처방되어야 하는 약품이나 환자가 받아야 하는 검사 등을 추천하는 처방 보조 방법이 고려될 수 있다.
상술한 처방 보조 방법에 대해 고민해 보면, 처방 약품 리스트를 만드는 과정에서 의사는 약품들을 개별적으로 선택하여 리스트를 구성할 수 있는데, 어떤 질병이나 증상에 대해서는 미리 설정된 약품들을 포함하는 약품 세트를 그대로 처방하기도 하기 때문에, 면담 내용을 이용하여 개별적인 약제의 처방 여부를 결정하는 경우 의사의 "패턴"을 충분히 고려했다고 보기 어렵다.
본 개시에서는 진료 과정에서 면담 외의 업무에 소요되는 시간을 줄이기 위한 방안으로 처방 보조 방법을 제공하되, 상술한 문제점을 극복할 수 있도록 의사의 "패턴"이 충분히 고려된 처방 보조 방법에 대해 서술하고자 한다.
본 개시에서 해결하고자 하는 일 과제는, 환자에 대한 의사의 진료 패턴을 고려하여 환자에 대한 의무 기록을 자동으로 생성하는 것이다.
본 개시에서 해결하고자 하는 일 과제는, 의사와 환자 사이의 면담 내용을 특정 패턴으로 분류하고 해당 패턴에 대응되는 처방 보조 정보를 생성하는 것이다.
본 개시에서 해결하고자 하는 일 과제는, 의사와 환자 사이의 면담 내용을 이용하여 환자에 대해 진행되어야 하는 검사 항목들을 포함한 검사 세트를 생성하는 것이다.
본 개시에서 해결하고자 하는 일 과제는, 의사와 환자 사이의 면담 내용을 이용하여 검사 세트, 약품 세트, 협진 요청 정보, 및 내원일 정보 등을 포함하는 종합 정보를 생성하는 것이다.
본 개시에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 개시 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따르면, 서버의 처방 보조 정보를 제공하는 방법에 있어서, 대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -; 상기 대상 의사에 의해 설정된 자주 이용하는 검사 항목 리스트들을 획득하는 단계; 상기 자주 이용하는 검사 항목 리스트들 및 상기 진료 기록들을 이용하여 학습 데이터 세트들을 생성하는 단계; 상기 학습 데이터 세트들을 이용하여 패턴 분류 모델을 생성하는 단계; 상기 대상 의사의 제1 분석 대상 면담 기록을 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 패턴 분류 모델을 이용하여 제1 후보 검사 항목들을 획득하는 단계; 및 상기 제1 후보 검사 항목들을 제공하는 단계;를 포함하고, 상기 학습 데이터 세트들을 생성하는 단계는, 상기 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트들을 생성하는 단계; 제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 라벨링(labeling)하여 제1 학습 데이터 세트를 생성하는 단계, 및 제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 라벨링하여 제2 학습 데이터 세트를 생성하는 단계를 포함하고, 상기 패턴 분류 모델은, 상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 어느 하나에 대응되는 데이터를 출력하고, 상기 제1 후보 검사 항목들은 상기 출력된 데이터에 대응되는 검사 세트에 포함된 검사 항목들인 방법이 제공된다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 개시 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 의하면, 진료 후 환자에 대한 의무 기록들이 자동으로 생성되어 의사의 행정 업무에 소요되는 시간이 줄어들 수 있다.
본 개시의 일 실시예에 의하면, 의사의 진료 과정 중 진료 내용을 기록하는 업무에 소요되는 시간이 감소될 수 있다.
본 개시의 일 실시예에 의하면, 의사의 진료 과정 중 진료 내용을 전산상으로 기록하는 업무가 생략될 수 있다.
본 개시의 일 실시예에 의하면, 의사의 진료 과정 중 환자에게 필요한 검사 항목이나 약품 등을 전산상으로 검색하고 선택하는 작업이 생략될 수 있다.
본 개시에 따른 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 개시 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 처방 보조 시스템의 구성들을 나타내는 도면이다.
도 2는 일 실시예에 따른 보조 서버의 구성들을 나타내는 도면이다.
도 3은 일 실시예에 따른 메인 서버의 구성들을 나타내는 도면이다.
도 4는 일 실시예에 따른 처방 보조 방법을 나타내는 순서도이다.
도 5는 일 실시예에 따른 처방 보조 시스템이 처방 보조 방법을 수행하는 과정을 나타내는 도면이다.
도 6은 일 실시예에 따른 면담 기록이 생성되는 과정을 나타내는 도면이다.
도 7은 일 실시예에 따른 모델 입력 데이터가 생성되는 과정을 나타내는 도면이다.
도 8은 일 실시예에 따른 패턴 분류 모델의 입출력 과정을 나타내는 도면이다.
도 9는 일 실시예에 따른 패턴 데이터 베이스를 나타내는 도면이다.
도 10은 일 실시예에 따른 패턴 분류 모델의 또 다른 출력 형태를 나타내는 도면이다.
도 11은 일 실시예에 따른 처방 보조 정보가 제공되는 방법을 나타내는 도면이다.
도 12는 일 실시예에 따른 패턴 분류 모델의 입출력 형태와 패턴 분류 모델을 학습시키기 위한 학습 데이터 세트를 나타내는 도면이다.
도 13은 일 실시예에 따른 학습 데이터 세트를 생성하는 방법을 나타내는 순서도이다.
도 14는 일 실시예에 따른 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트들을 생성하는 방법을 나타내는 도면이다.
도 15는 일 실시예에 따른 처방 검사 항목 리스트들을 나타내는 도면이다.
도 16은 일 실시예에 따른 검사 세트들을 생성하는 방법을 나타내는 도면이다.
도 17은 일 실시예에 따른 검사 세트들과 분류 기준에 따라 면담 기록을 분류하는 방법을 나타내는 도면이다.
도 18 및 도 19는 일 실시예에 따른 패턴 분류 모델의 구조를 나타내는 도면이다.
도 20은 일 실시예에 따른 패턴 분류 모델을 구성하는 인코더의 구조를 나타내는 도면이다.
도 21은 일 실시예에 따른 기본 검사 모델 및 추가 검사 모델을 이용하는 방법을 나타내는 도면이다.
도 22는 일 실시예에 따른 추가 검사 모델의 출력 형태를 나타내는 도면이다.
도 23은 일 실시예에 따른 추가 검사 모델의 학습 데이터 세트를 생성하는 방법을 나타내는 순서도이다.
도 24는 일 실시예에 따른 복수의 추가 검사 모델이 이용되는 경우를 나타내는 도면이다.
도 25는 일 실시예에 따른 처방 보조 시스템의 구성들 사이의 데이터 송수신 관계를 나타내는 도면이다.
도 26은 일 실시예에 따른 약품 처방 모델의 입출력 형태와 약품 처방 모델을 학습시키기 위한 학습 데이터 세트를 나타내는 도면이다.
도 27은 일 실시예에 따른 약품 처방 모델을 학습시키기 위한 학습 데이터 세트를 생성하는 방법을 나타내는 순서도이다.
도 28은 일 실시예에 따른 종합 진료 정보 제공 방법을 나타내는 도면이다.
일 실시예에 따르면, 서버의 처방 보조 정보를 제공하는 방법에 있어서, 대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -; 상기 대상 의사에 의해 설정된 자주 이용하는 검사 항목 리스트들을 획득하는 단계; 상기 자주 이용하는 검사 항목 리스트들 및 상기 진료 기록들을 이용하여 학습 데이터 세트들을 생성하는 단계; 상기 학습 데이터 세트들을 이용하여 패턴 분류 모델을 생성하는 단계; 상기 대상 의사의 제1 분석 대상 면담 기록을 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 패턴 분류 모델을 이용하여 제1 후보 검사 항목들을 획득하는 단계; 및 상기 제1 후보 검사 항목들을 제공하는 단계;를 포함하고, 상기 학습 데이터 세트들을 생성하는 단계는, 상기 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트들을 생성하는 단계; 제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 라벨링(labeling)하여 제1 학습 데이터 세트를 생성하는 단계, 및 제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 라벨링하여 제2 학습 데이터 세트를 생성하는 단계를 포함하고, 상기 패턴 분류 모델은, 상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 어느 하나에 대응되는 데이터를 출력하고, 상기 제1 후보 검사 항목들은 상기 출력된 데이터에 대응되는 검사 세트에 포함된 검사 항목들인 방법이 제공된다.
상기 자주 이용하는 검사 항목 리스트들 및 상기 검사 세트들은 일대일로 대응된다.
상기 자주 이용하는 검사 항목 리스트들에는 적어도 둘 이상의 검사 항목을 포함하는 제1 자주 이용하는 검사 항목 리스트 및 적어도 둘 이상의 검사 항목을 포함하는 제2 자주 이용하는 검사 항목 리스트가 포함되고, 상기 제1 자주 이용하는 검사 항목 리스트 및 상기 제2 자주 이용하는 검사 항목 리스트는 적어도 하나의 동일한 검사 항목 및 적어도 하나의 상이한 검사 항목을 포함한다.
상기 방법은 상기 대상 의사의 제2 분석 대상 면담 기록을 획득하는 단계; 및 상기 제2 분석 대상 면담 기록 및 상기 패턴 분류 모델을 이용하여 제2 후보 검사 항목들을 획득하는 단계;를 더 포함하고, 상기 패턴 분류 모델은, 상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 상기 제1 검사 세트에 대응되는 데이터를 출력하고, 상기 제2 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 상기 제2 검사 세트에 대응되는 데이터를 출력하고, 상기 제2 후보 검사 항목들은 상기 제2 검사 세트에 포함된 검사 항목들이고, 상기 제1 후보 검사 항목들과 제2 후보 검사 항목들은 동일하지는 않되, 적어도 하나의 공통되는 검사 항목을 포함한다.
상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트 및 상기 제2 진료 기록의 상기 제2 처방 검사 항목 리스트는 서로 동일하지 않되, 적어도 하나의 공통되는 검사 항목을 포함한다.
상기 제1 진료 기록의 상기 제1 면담 기록은 상기 대상 의사의 제1 진료 과정을 녹음하여 획득되는 제1 음향 데이터를 변환하여 획득되고, 상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트는 상기 제1 진료 과정에서 환자에 대해 상기 대상 의사가 처방한 검사 항목을 포함한다.
상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트에 포함된 검사 항목들은 상기 제1 검사 세트에 포함된 검사 항목들과 동일하다.
상기 제1 검사 세트는 상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트에 포함된 검사 항목들을 포함한다.
상기 학습 데이터 세트들을 생성하는 단계는, 제3 진료 기록의 제3 면담 기록을 가공한 데이터에 패턴 없음을 지시하는 데이터를 라벨링하여 제3 학습 데이터 세트를 생성하는 단계;를 포함하되, 상기 검사 세트들 중 어느 하나도 상기 제3 진료 기록의 제3 처방 검사 항목 리스트와 동일하지 않다.
상기 학습 데이터 세트들을 생성하는 단계는, 제3 진료 기록의 제3 면담 기록을 가공한 데이터에 상기 제1 검사 세트에 대응되는 데이터를 라벨링하여 제3 학습 데이터 세트를 생성하는 단계;를 포함하되, 상기 제3 진료 기록의 제3 처방 검사 항목 리스트와 상기 제1 검사 세트가 공통적으로 포함하는 검사 항목 개수는 상기 제3 처방 검사 항목 리스트와 상기 제2 검사 세트가 공통적으로 포함하는 검사 항목 개수와 동일하고, 상기 제1 검사 세트에 포함된 검사 항목 수는 상기 제2 검사 세트에 포함된 검사 항목 수보다 많다.
상기 패턴 분류 모델은, 상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 어느 하나에 대응되는 패턴 데이터를 출력하고, 상기 제1 후보 검사 항목들은 상기 패턴 데이터에 대응되는 검사 세트에 포함된 검사 항목들이다.
상기 패턴 분류 모델을 생성하는 단계는, 상기 학습 데이터 세트들과는 다른 데이터로 미리 학습된 베이스 모델을 선택하는 단계; 및 상기 베이스 모델을 상기 학습 데이터 세트들을 이용하여 학습시키는 단계;를 포함한다.
상기 베이스 모델은 BERT(bidirectional encoder representations form transformer) 또는 GPT-3(generative pre-trained transformer 3)이다.
상기 방법은 상기 대상 의사의 환자에 대한 진료 과정을 녹음하는 단계; 및 녹음된 진료 과정으로부터 상기 제1 분석 대상 면담 기록을 획득하는 단계;를 더 포함한다.
다른 실시예에 따르면, 서버를 이용하여 모델을 생성하는 방법에 있어서, 대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -; 상기 대상 의사에 의해 설정된 자주 이용하는 검사 항목 리스트들을 획득하는 단계; 상기 자주 이용하는 검사 항목 리스트들 및 상기 진료 기록들을 이용하여 학습 데이터 세트들을 생성하는 단계; 및 상기 학습 데이터 세트들을 이용하여 베이스 모델을 학습시키는 단계;를 포함하고, 상기 학습 데이터 세트들을 생성하는 단계는, 상기 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트들을 생성하는 단계; 제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 라벨링(labeling)하여 제1 학습 데이터 세트를 생성하는 단계, 및 제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 라벨링하여 제2 학습 데이터 세트를 생성하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 서버의 처방 보조 정보를 제공하는 방법에 있어서, 대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -; 상기 진료 기록들을 이용하여 학습 데이터 세트들을 생성하는 단계; 상기 학습 데이터 세트들을 이용하여 패턴 분류 모델을 생성하는 단계; 상기 대상 의사의 제1 분석 대상 면담 기록을 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 패턴 분류 모델을 이용하여 제1 후보 검사 항목들을 획득하는 단계; 및 상기 제1 후보 검사 항목들을 제공하는 단계;를 포함하고, 상기 학습 데이터 세트들을 생성하는 단계는, 상기 진료 기록들을 이용하여 검사 세트들을 생성하는 단계; 제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 라벨링(labeling)하여 제1 학습 데이터 세트를 생성하는 단계, 및 제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 라벨링하여 제2 학습 데이터 세트를 생성하는 단계를 포함하고, 상기 패턴 분류 모델은, 상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 어느 하나에 대응되는 데이터를 출력하고, 상기 제1 후보 검사 항목들은 상기 출력된 데이터에 대응되는 검사 세트에 포함된 검사 항목들이고, 상기 검사 세트들을 생성하는 단계는, 제1 진료 기록의 제1 처방 검사 항목 리스트 내지 제n 진료 기록의 제n 처방 검사 항목 리스트(n은 2 이상의 자연수임)에 포함되는 검사 항목들을 추출하는 단계, 및 상기 추출된 검사 항목들을 고려하여 상기 검사 세트들을 결정하는 단계를 포함하는 방법이 제공된다.
상기 검사 세트들을 결정하는 단계는, 상기 추출된 검사 항목들을 이용하여 후보 검사 세트들을 생성하는 단계 -상기 후보 검사 세트들 각각은 상기 추출된 검사 항목들 중 적어도 둘 이상을 포함함-, 및 상기 후보 검사 세트들 중 적어도 일부를 상기 검사 세트들로 선택하는 단계를 포함한다.
상기 검사 세트들을 생성하는 단계는, 상기 추출된 검사 항목들을 이용하여 1차 후보 검사 세트들을 생성하는 단계 -상기 1차 후보 검사 세트들 각각은 상기 추출된 검사 항목들 중 적어도 둘 이상을 포함함-, 상기 제1 내지 제n 처방 검사 항목 리스트에 대한 상기 1차 후보 검사 세트들 각각의 동시출현 판단 값을 산출하는 단계, 및 상기 1차 후보 검사 세트들 각각의 동시출현 판단 값에 기초하여 상기 1차 후보 검사 세트들 중 적어도 일부를 2차 후보 검사 세트들로 선택하는 단계를 더 포함한다.
상기 2차 후보 검사 세트들을 선택하는 단계에서, 상기 1차 후보 검사 세트들 중 동시출현 판단 값이 가장 큰 1차 후보 검사 세트가 상기 2차 후보 검사 세트들로 선택된다.
상기 동시출현 판단 값은, 상기 제1 내지 제n 처방 검사 항목 리스트들 중 제1 1차 후보 검사 세트 및 제2 1차 후보 검사 세트를 모두 포함하는 리스트들의 개수를 n으로 나눈 값을, 상기 제1 내지 제n 처방 검사 항목 리스트들 중 제1 1차 후보 검사 세트를 포함하는 리스트의 개수를 n으로 나눈 값과 상기 제1 내지 제n 처방 검사 항목 리스트들 중 제2 1차 후보 검사 세트를 포함하는 리스트의 개수를 n으로 나눈 값을 곱하여 나온 값으로 나누어 산출한다.
상기 검사 세트들을 생성하는 단계는, 제1 및 제2 단계를 수행하는 것을 포함하되, 상기 제1 단계는 상기 제1 내지 제n 처방 검사 항목 리스트에 대한 (M-1)차 후보 검사 세트들 각각의 동시출현 판단 값을 산출하는 단계, 및 상기 제2 단계는 상기 (M-1)차 후보 검사 세트들 각각의 동시출현 판단 값에 기초하여 상기 (M-1)차 후보 검사 세트들 중 적어도 일부를 M차 후보 검사 세트들로 선택하는 단계를 더 포함하고, M은 3이상의 자연수이다.
상기 검사 세트들을 생성하는 단계는, 상기 제1 단계 및 제2 단계가 미리 설정된 조건을 만족할 때까지 반복되고, 최종적으로 상기 제2 단계가 종료된 후 선택된 K차 후보 검사 세트를 상기 검사 세트로 획득하는 단계를 더 포함한다.
상기 대상 의사의 제2 분석 대상 면담 기록을 획득하는 단계; 및 상기 제2 분석 대상 면담 기록 및 상기 패턴 분류 모델을 이용하여 제2 후보 검사 항목들을 획득하는 단계;를 더 포함하고, 상기 패턴 분류 모델은, 상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 상기 제1 검사 세트에 대응되는 데이터를 출력하고, 상기 제2 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 출력하고, 상기 제2 후보 검사 항목들은 상기 제2 검사 세트에 포함된 검사 항목들이고, 상기 제1 후보 검사 항목들과 제2 후보 검사 항목들은 동일하지는 않되, 적어도 하나의 공통되는 검사 항목을 포함한다.
상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트 및 상기 제2 진료 기록의 상기 제2 처방 검사 항목 리스트는 서로 동일하지 않되, 적어도 하나의 공통되는 검사 항목을 포함한다.
상기 제1 진료 기록의 상기 제1 면담 기록은 상기 대상 의사의 제1 진료 과정을 녹음하여 획득되는 제1 음향 데이터를 변환하여 획득되고, 상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트는 상기 제1 진료 과정에서 환자에 대해 상기 대상 의사가 처방한 검사 항목을 포함한다.
상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트에 포함된 검사 항목들은 상기 제1 검사 세트에 포함된 검사 항목들과 동일하다.
상기 제1 검사 세트는 상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트에 포함된 검사 항목들을 포함한다.
상기 학습 데이터 세트들을 생성하는 단계는, 제3 진료 기록의 제3 면담 기록을 가공한 데이터에 패턴 없음을 지시하는 데이터를 라벨링하여 제3 학습 데이터 세트를 생성하는 단계;를 포함하되, 상기 검사 세트들 중 어느 하나도 상기 제3 진료 기록의 제3 처방 검사 항목 리스트와 동일하지 않다.
상기 학습 데이터 세트들을 생성하는 단계는, 제3 진료 기록의 제3 면담 기록을 가공한 데이터에 상기 제1 검사 세트에 대응되는 데이터를 라벨링하여 제3 학습 데이터 세트를 생성하는 단계;를 포함하되, 상기 제3 진료 기록의 제3 처방 검사 항목 리스트와 상기 제1 검사 세트가 공통적으로 포함하는 검사 항목 개수는 상기 제3 처방 검사 항목 리스트와 상기 제2 검사 세트가 공통적으로 포함하는 검사 항목 개수와 동일하고, 상기 제1 검사 세트에 포함된 검사 항목 수는 상기 제2 검사 세트에 포함된 검사 항목 수보다 많다.
상기 패턴 분류 모델을 생성하는 단계는, 상기 학습 데이터 세트들과는 다른 데이터로 미리 학습된 베이스 모델을 선택하는 단계; 및 상기 베이스 모델을 상기 학습 데이터 세트들을 이용하여 학습시키는 단계;를 포함한다.
상기 베이스 모델은 BERT(bidirectional encoder representations form transformer) 또는 GPT-3(generative pre-trained transformer 3)이다.
상기 대상 의사의 환자에 대한 진료 과정을 녹음하는 단계; 및 녹음된 진료 과정으로부터 상기 제1 분석 대상 면담 기록을 획득하는 단계;를 더 포함한다.
또 다른 실시예에 따르면, 서버의 처방 보조 정보를 제공하는 방법에 있어서, 대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -; 상기 처방 검사 항목 리스트들에 포함된 검사 항목들을 이용하여 기본 검사 세트들을 획득하는 단계; 상기 진료 기록들 및 상기 기본 검사 세트들을 이용하여 기본 학습 데이터 세트들을 생성하는 단계; 상기 진료 기록들 및 상기 검사 항목들 중 적어도 일부를 이용하여 추가 학습 데이터 세트들을 생성하는 단계; 상기 기본 학습 데이터 세트들을 이용하여 기본 검사 모델을 생성하는 단계; 상기 추가 학습 데이터 세트들을 이용하여 추가 검사 모델을 생성하는 단계; 상기 대상 의사의 제1 분석 대상 면담 기록을 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 기본 검사 모델을 이용하여 제1 기본 검사 세트를 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 추가 검사 모델을 이용하여 적어도 하나의 추가 검사 항목을 획득하는 단계; 및 상기 제1 기본 검사 세트 및 상기 적어도 하나의 추가 검사 항목을 이용하여 제1 후보 검사 항목들을 제공하는 단계;를 포함하고, 상기 기본 학습 데이터 세트들은 적어도 제1 기본 학습 데이터 세트 및 제2 기본 학습 데이터 세트를 포함하고, 상기 제1 기본 학습 데이터 세트는 제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 라벨링(labeling)하여 생성되고, 상기 제2 기본 학습 데이터 세트는 제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 라벨링하여 생성되고, 상기 추가 학습 데이터 세트들은 적어도 제1 추가 학습 데이터 세트 및 제2 추가 학습 데이터 세트를 포함하고, 상기 제1 추가 학습 데이터 세트는 상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트를 고려하여 상기 제1 진료 기록의 상기 제1 면담 기록을 가공한 데이터에 적어도 제1 추가 검사 항목을 라벨링하여 생성되고, 상기 제2 추가 학습 데이터 세트는 상기 제2 진료 기록의 상기 제2 처방 검사 항목 리스트를 고려하여 상기 제2 진료 기록의 상기 제2 면담 기록을 가공한 데이터에 적어도 제2 추가 검사 항목을 라벨링하여 생성되되, 상기 제1 처방 검사 항목 리스트는 상기 제1 검사 세트에 포함된 검사 항목들 중 적어도 일부 및 상기 제1 추가 검사 항목을 포함하고, 상기 제2 처방 검사 항목 리스트는 상기 제2 검사 세트에 포함된 검사 항목들 중 적어도 일부 및 상기 제2 추가 검사 항목을 포함한다.
상기 제1 후보 검사 항목들은 상기 제1 기본 검사 세트에 포함되는 검사 항목들 및 상기 적어도 하나의 추가 검사 항목을 포함한다.
상기 제1 처방 검사 항목 리스트는 상기 제1 검사 세트에 포함된 검사 항목들과 상기 제1 추가 검사 항목으로 구성되고, 상기 제2 처방 검사 항목 리스트는 상기 제2 검사 세트에 포함된 검사 항목들과 상기 제2 추가 검사 항목으로 구성된다.
상기 추가 검사 모델을 이용하여 획득되는 추가 검사 항목들은 상기 기본 검사 세트들이 포함하는 검사 항목들에 포함되지 않는다.
상기 방법은 상기 대상 의사의 제2 분석 대상 면담 기록을 획득하는 단계; 상기 제2 분석 대상 면담 기록 및 상기 기본 검사 모델을 이용하여 제2 기본 검사 세트를 획득하는 단계; 및 상기 제2 분석 대상 면담 기록 및 상기 추가 검사 모델을 이용하여 추가 검사 항목이 없음을 지시하는 데이터를 획득하는 단계;를 더 포함한다.
상기 방법은 상기 제2 기본 검사 세트에 포함된 검사 항목들을 제2 후보 검사 항목들로 제공하는 단계;를 더 포함한다.
상기 기본 학습 데이터 세트들에는 제3 기본 학습 데이터 세트가 포함되고, 상기 제3 기본 학습 데이터 세트는 제3 진료 기록의 제3 처방 검사 항목 리스트를 고려하여 상기 제3 진료 기록의 제3 면담 기록을 가공한 데이터에 상기 검사 세트들 중 제3 검사 세트에 대응되는 데이터를 라벨링하여 생성되고, 상기 추가 학습 데이터 세트들에는 제3 추가 학습 데이터 세트가 포함되며, 상기 제3 추가 학습 데이터 세트는 상기 제3 진료 기록의 제3 면담 기록을 가공한 데이터에 상기 추가 검사 항목이 없음을 지시하는 데이터를 라벨링하여 생성된다.
상기 대상 의사의 제3 분석 대상 면담 기록을 획득하는 단계; 및 상기 제3 분석 대상 면담 기록 및 상기 기본 검사 모델을 이용하여 제3 기본 검사 세트를 획득하는 단계;를 더 포함하되, 상기 제3 기본 검사 세트를 획득하는 단계는, 상기 제3 분석 대상 면담 기록을 가공한 모델 입력 데이터를 상기 기본 검사 모델에 입력하여 상기 제3 기본 검사 세트를 지시하는 확률 값을 획득하는 단계를 포함하고, 상기 확률 값이 미리 설정된 값 이하이면, 상기 제3 분석 대상 면담 기록에 대해 상기 추가 검사 모델을 이용하는 단계가 수행되고, 상기 확률 값이 미리 설정된 값 이상이면, 상기 제3 분석 대상 면담 기록에 대해서는 상기 추가 검사 모델을 이용하는 단계가 수행되지 않는다.
상기 기본 검사 세트 및 상기 적어도 하나의 추가 검사 항목을 출력하는 단계는, 상기 기본 검사 세트에 포함된 검사 항목들을 디스플레이 상의 제1 영역에, 상기 적어도 하나의 추가 검사 항목을 상기 디스플레이 상의 제2 영역에 표시하는 단계를 포함한다.
또 다른 일 실시예에 따르면, 서버의 처방 보조 정보를 제공하는 방법에 있어서, 대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -; 상기 대상 의사에 의해 설정된 자주 이용하는 검사 항목 리스트들을 획득하는 단계; 상기 자주 이용하는 검사 항목 리스트들을 이용하여 기본 검사 세트들을 생성하는 단계; 상기 진료 기록들 및 상기 기본 검사 세트들을 이용하여 기본 학습 데이터 세트들을 생성하는 단계; 상기 처방 검사 항목 리스트들에 포함된 검사 항목들 중 적어도 일부 및 상기 진료 기록들을 이용하여 추가 학습 데이터 세트들을 생성하는 단계; 상기 기본 학습 데이터 세트들을 이용하여 기본 검사 모델을 생성하는 단계; 상기 추가 학습 데이터 세트들을 이용하여 추가 검사 모델을 생성하는 단계; 상기 대상 의사의 제1 분석 대상 면담 기록을 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 기본 검사 모델을 이용하여 제1 기본 검사 세트를 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 추가 검사 모델을 이용하여 적어도 하나의 추가 검사 항목을 획득하는 단계; 및 상기 제1 기본 검사 세트 및 상기 적어도 하나의 추가 검사 항목을 이용하여 제1 후보 검사 항목들을 제공하는 단계;를 포함하고, 상기 기본 학습 데이터 세트들은 적어도 제1 기본 학습 데이터 세트 및 제2 기본 학습 데이터 세트를 포함하고, 상기 제1 기본 학습 데이터 세트는 제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 라벨링(labeling)하여 생성되고, 상기 제2 기본 학습 데이터 세트는 제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 라벨링하여 생성되고, 상기 추가 학습 데이터 세트들은 적어도 제1 추가 학습 데이터 세트 및 제2 추가 학습 데이터 세트를 포함하고, 상기 제1 추가 학습 데이터 세트는 상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트를 고려하여 상기 제1 진료 기록의 상기 제1 면담 기록을 가공한 데이터에 적어도 제1 추가 검사 항목을 라벨링하여 생성되고, 상기 제2 추가 학습 데이터 세트는 상기 제2 진료 기록의 상기 제2 처방 검사 항목 리스트를 고려하여 상기 제2 진료 기록의 상기 제2 면담 기록을 가공한 데이터에 적어도 제2 추가 검사 항목을 라벨링하여 생성되되, 상기 제1 처방 검사 항목 리스트는 상기 제1 검사 세트에 포함된 검사 항목들 중 적어도 일부 및 상기 제1 추가 검사 항목을 포함하고, 상기 제2 처방 검사 항목 리스트는 상기 제2 검사 세트에 포함된 검사 항목들 중 적어도 일부 및 상기 제2 추가 검사 항목을 포함하는 방법이 제공된다.
상기 자주 이용하는 검사 항목 리스트들 및 상기 기본 검사 세트들은 일대일로 대응된다.
또 다른 실시예에 따르면, 서버의 처방 보조 정보를 제공하는 방법에 있어서, 대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -; 상기 진료 기록들 및 기본 검사 세트들을 이용하여 기본 학습 데이터 세트들을 생성하는 단계 -상기 기본 검사 세트들 각각은 적어도 하나의 검사 항목을 포함함-; 상기 진료 기록들 및 상기 처방 검사 항목 리스트들에 포함된 검사 항목들 중 적어도 일부를 이용하여 추가 학습 데이터 세트들을 생성하는 단계; 상기 기본 학습 데이터 세트들을 이용하여 기본 검사 모델을 생성하는 단계; 상기 추가 학습 데이터 세트들을 이용하여 추가 검사 모델을 생성하는 단계; 상기 대상 의사의 제1 분석 대상 면담 기록을 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 기본 검사 모델을 이용하여 제1 기본 검사 세트를 획득하는 단계; 상기 제1 분석 대상 면담 기록 및 상기 추가 검사 모델을 이용하여 적어도 하나의 추가 검사 항목을 획득하는 단계; 및 상기 제1 기본 검사 세트 및 상기 적어도 하나의 추가 검사 항목을 이용하여 제1 후보 검사 항목들을 제공하는 단계;를 포함하는 방법이 제공된다.
본 개시의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
본 개시의 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 개시의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
구체적으로 언급되거나 문맥상 명백하지 않는 한, 수치와 관련하여 "약"이라는 용어는 언급된 수치 및 그 수치의 +/-10%까지를 의미하는 것으로 이해될 수 있고, 수치범위와 관련하여 "약"이라는 용어는 수치범위의 하한 값보다 10% 낮은 수치부터 수치범위의 상한 값보다 10% 높은 수치까지의 범위를 의미하는 것으로 이해될 수 있다.
이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
본 개시는 환자에 대한 의사의 처방 기록을 보조하기 위한 처방 보조 방법 및 이를 수행하는 처방 보조 시스템에 관한 것이다.
본 개시에서 처방을 보조하는 것의 의미는 의사가 환자를 진료 후 약품이나 검사 등을 처방함에 있어서 의사에게 관련 정보를 제공하는 것을 의미한다. 구체적으로, 의사가 환자에 대해 진료를 수행한 뒤 환자에게 필요한 약품을 처방하거나 환자가 받아야할 검사들을 처방함에 있어서 처방 보조 방법은 후보 약품들 또는 후보 검사 항목들을 의사에게 제공하고, 의사는 제공 받은 후보 약품들 또는 후보 검사 항목들을 고려하여 환자에 대한 처방을 수행할 수 있다.
[시스템 구성]
이하에서는 도 1 내지 도 3을 참고하여 처방 보조 시스템의 구성에 대해 서술한다.
도 1은 일 실시예에 따른 처방 보조 시스템(10)의 구성들을 나타내는 도면이다.
도 1을 참고하면, 처방 보조 시스템(10)은 녹음 장치(RD), 보조 서버(1000), 메인 서버(2000), EMR(electronic medical record) 서버(3000), 병원 서버(4000), 및 단말기(TD)를 포함할 수 있다.
이하에서 처방 보조 시스템(10)의 각 구성들에 대해 구체적으로 서술한다.
녹음 장치(RD)는 의사의 진료 과정을 녹음할 수 있다. 구체적으로, 녹음 장치(RD)는 환자에 대한 의사의 면담 내용을 녹음할 수 있다. 예를 들어, 녹음 장치(RD)는 진료실 내에 위치하여, 진료실에서 발생하는 소리를 녹음할 수 있다. 진료실에서 발생하는 소리에는 의사의 음성, 환자의 음성, 및 제3 자(ex. 간호사, 간호인, 또는 보호자 등)의 음성 등이 포함될 수 있다.
녹음 장치(RD)는 의사의 진료 과정을 녹음하여 음향 데이터를 획득할 수 있다. 음향 데이터는 의사의 진료 과정에서 녹음된 내용들이 반영된 음성 신호의 데이터를 의미할 수 있다.
녹음 장치(RD)로는 휴대용 녹음기, 설치형 녹음기, 또는 데스크탑, 태블릿(tablet) 등이 이용될 수 있다. 또는, 녹음 장치(RD)로 스마트폰(smart phone)이 이용될 수도 있고, 나아가 스마트 워치(smart watch), 스마트 밴드(smart band), 스마트 링(smart ring), 및 스마트 넥클리스(smart neckless) 등 녹음 기능이 탑재된 웨어러블 장치(wearable device)가 녹음 장치(RD)로 이용될 수도 있다.
도 2는 일 실시예에 따른 보조 서버(1000)의 구성들을 나타내는 도면이다.
보조 서버(1000)는 음향 데이터를 면담 기록으로 변환할 수 있다.
여기서, 면담 기록으로 변환되는 음향 데이터는 상술한 녹음 장치(RD)에서 획득되는 음향 데이터일 수 있다.
또 여기서, 면담 기록은 음향 데이터를 텍스트 형태로 변환한 데이터로 이해될 수 있으나, 그에 한정되지 않는다.
보조 서버(1000)는 메인 서버(2000)에 데이터를 송신하거나 메인 서버(2000)로부터 데이터를 수신할 수 있으며, 이를 위해 보조 서버(1000)와 메인 서버(2000)는 유선 통신 또는 무선 통신을 통해 데이터를 송수신할 수 있다.
도 3을 참고하면, 보조 서버(1000)는 음성 인식 모델(1100) 및 화자 분류 모델(1200)을 포함할 수 있다.
보조 서버(1000)는 음성 인식 모델(1100) 및/또는 화자 분류 모델(1200)을 이용하여 면담 기록을 생성할 수 있다.
음성 인식 모델(1100)은 음향 데이터를 텍스트 데이터로 변환할 수 있다.
화자 분류 모델(1200)은 음향 데이터를 텍스트 변환 후 화자를 구분할 수 있다. 예를 들어, 화자 분류 모델(1200)은 음향 데이터에 포함된 화자들의 음성을 구분하여 각 화자의 음성에 대응하는 음향 데이터 또는 텍스트 데이터를 추출할 수 있다.
또는, 화자 분류 모델(1200)은 텍스트 변환 전 음향 데이터에서 화자를 구분할 수 있다. 예를 들어, 화자 분류 모델(1200)은 음향 데이터에 포함된 음성 신호를 화자에 따라 구분하고, 필요에 따라 특정 화자의 음성 신호를 추출함으로써 음향 데이터를 가공할 수 있다.
EMR 서버(3000)는 환자에 대한 기록이 저장되고 활용되는 서버를 의미할 수 있다. 구체적으로, EMR 서버(3000)는 EMR 프로그램이 실행되기 위한 데이터가 저장되거나 EMR 프로그램이 실행되는 서버를 의미할 수 있다.
EMR 프로그램은 전자의무기록을 위한 프로그램으로, 병원에서 환자의 인적 사항, 병력, 진찰 결과, 치료 결과, 수술 기록, 입퇴원 기록, 외래 진료 사항, 건강검진 기록 등 환자 차트를 전산화하기 위한 프로그램을 의미한다.
EMR 서버(3000)는 상술한 환자에 대한 다양한 정보를 저장하는 데이터 베이스를 포함할 수 있다.
EMR 서버(3000)는 단말기(TD)를 통해 의사에게 환자들에 대한 정보를 제공할 수 있다. 예를 들어, EMR 서버(3000)는 단말기(TD)를 통해 EMR 인터페이스를 출력할 수 있다. 의사는 단말기(TD)에서 EMR 인터페이스를 이용하여 환자에 대한 정보를 열람하거나 환자에 대한 정보를 기록할 수 있다.
EMR 서버(3000)는 메인 서버(2000)와 데이터를 송수신할 수 있다.
EMR 서버(3000)는 단말기(TD)와 데이터를 송수신할 수 있다.
EMR 서버(3000)는 병원 서버(4000)와 데이터를 송수신할 수 있다.
EMR 서버(3000)는 의사가 환자를 진료하는 병원 내에 위치할 수 있다.
또는, EMR 서버(3000)는 병원 외부에 위치할 수도 있다. 예를 들어, EMR 서버(3000)는 인터넷 기반의 클라우드 컴퓨팅(cloud computing) 기술을 이용하여 구현될 수 있다. 이 경우, 단말기(TD)는 EMR 서버(3000)에 접속하여 필요한 정보를 제공받아 화면을 통해 출력할 수 있다.
병원 서버(4000)는 병원의 경영 또는 운영에 필요한 전산 시스템이 구축되어 있는 서버를 의미할 수 있다.
상술한 EMR 서버(3000)가 환자 관리에 초점이 맞춰진 서버라면, 병원 서버(4000)는 병원의 관리를 위한 서버로, 재무/회계/자산/인사/성과 등의 행정 업무, 서버 상호간의 정보 교환 등을 수행하기 위한 서버로 이해될 수 있다.
예를 들어, 병원 서버(4000)에는 병원 정보 시스템(HIS: hospital information system), 임상 정보 시스템(LIS: laboratory information system), 검사장비 정보 시스템(CDIS: clinical device information system), 고객 관계 관리 시스템(CRMS: customer relationship management), 데이터 웨어하우스(data warehouse) 등이 구축될 수 있다.
병원 서버(4000)에는 환자들에 관한 진료 기록들 뿐만 아니라 의사 개개인이 수행한 진료들에 대한 진료 기록들이 저장될 수 있다. 여기서, 진료 기록에는 의사와 환자 사이의 면담 기록, 해당 진료에서 환자가 처방 받은 약품들이나 환자에게 처방된 검사 항목들이 포함될 수 있다.
병원 서버(4000)는 이러한 환자의 진료 기록들 또는 의사의 진료 기록들을 EMR 서버(3000) 또는 메인 서버(2000)에 제공할 수 있다.
단말기(TD)는 처방 보조 시스템(10)에서 생성된 처방 보조 정보를 제공할 수 있다. 예를 들어, 후술하는 처방 보조 방법에 따라 생성되는 처방 보조 정보(ex. 후보 검사 항목들, 후보 약품들 등)가 단말기(TD)에 제공될 수 있다. 구체적으로, 단말기(TD)는 메인 서버(2000) 또는 EMR 서버(3000)로부터 처방 보조 정보를 제공 받을 수 있다.
이하에서는 처방 보조 정보가 환자가 받아야 하는 후보 검사 항목들인 것으로 서술하나, 본 개시의 기술적 사상이 이에 한정되는 것은 아니다.
단말기(TD)는 의사 개인에게 할당된 장치로 이해될 수 있다. 예를 들어, 의사의 데스크탑, 노트북, 태블릿, 또는 스마트폰 등이 단말기(TD)로 이용될 수 있다.
단말기(TD)는 메인 서버(2000), EMR 서버(3000), 및/또는 병원 서버(4000)와 데이터 송수신이 가능하다. 예를 들어, 단말기(TD)는 EMR 서버(3000)에 접속하여 처방 보조 정보를 수신할 수 있다. 다른 예를 들어, 단말기(TD)는 메인 서버(2000)로부터 처방 보조 정보를 수신할 수 있다.
단말기(TD)는 제공받은 처방 보조 정보를 출력할 수 있다.
의사는 단말기(TD)를 통해 제공받은 처방 보조 정보를 이용하여 진료 내용을 기록할 수 있다. 예를 들어, 의사는 단말기(TD)를 통해 제공받은 검사 세트 또는 후보 검사 항목들을 이용하여 환자에게 처방될 검사 항목들을 결정할 수 있다. 이 때, 의사는 환자에게 처방될 검사 항목들을 결정함에 앞서 단말기(TD)를 통해 제공받은 검사 세트 또는 후보 검사 항목들을 확인하고 수정하는 등의 검증을 수행할 수 있다.
단말기(TD)는 메인 서버(2000)와 데이터 송수신하면서 EMR 서버(3000)와 데이터 송수신할 수 있다. 예를 들어, 의사는 환자에 대한 진료 이후 단말기(TD)를 이용하여 다음 환자에 대한 정보를 확인할 수 있는데, 이 때 단말기(TD)가 메인 서버(2000)로부터 환자에 대한 면담 기록으로부터 생성된 처방 보조 정보를 수신하는 것과 EMR 서버(3000)로부터 다음 환자에 대한 정보를 수신하는 것이 병렬적으로 이루어질 수 있다.
도 3은 일 실시예에 따른 메인 서버(2000)의 구성들을 나타내는 도면이다.
도 3을 참고하면, 메인 서버(2000)는 메모리부(2100), 입력부(2200), 출력부(2300), 통신부(2400), 및 제어부(2500)를 포함할 수 있다.
메모리부(2100)는 처방 보조 방법을 수행하기 위한 프로그램들 및 처방 보조 방법에 필요한 정보들을 저장할 수 있다. 메모리부(2100)는 토큰화(tokenization) 모델(2110), 임베딩(embedding) 모델(2120), 패턴 분류 모델(2130), 및 패턴 데이터베이스(2140)를 포함할 수 있다.
토큰화 모델(2110)은 문단 형태 또는 문장 형태의 텍스트 데이터를 토큰화할 수 있다. 토큰화는 문단 또는 문장 등의 텍스트 데이터를 특정 기준에 따라 다수의 토큰(token)들로 구분하는 것을 의미한다. 토큰 각각은 구분하는 기준에 따라 어절, 음절, 단어, 또는 문장 등에 대응될 수 있다.
후술하는 패턴 분류 모델(2130)을 이용하여 면담 기록을 분석하기 위해서는 면담 기록의 데이터 포맷(format)을 변경할 필요가 있고 그 과정의 일부로 토큰화 모델(2110)은 면담 기록을 복수의 토큰들로 구분할 수 있다.
임베딩 모델(2120)은 텍스트 데이터를 임베딩할 수 있다. 임베딩은 텍스트 데이터를 컴퓨터가 분석하기 용이한 특정 표현(representation)으로 변환하는 작업을 의미한다. 임베딩 과정을 통해 변환된 데이터는 벡터(vector) 형태일 수 있으며, 이러한 데이터를 임베딩 벡터(embedding vector)라고 한다.
전술한 면담 기록의 데이터 포맷을 변경하는 과정의 일부로 임베딩 모델(2120)은 토큰들을 벡터 형태로 변환할 수 있다.
패턴 분류 모델(2130)은 데이터를 입력 받아 패턴 데이터를 출력할 수 있다. 여기서, 패턴 데이터는 패턴 분류 모델(2130)에 입력된 데이터의 패턴을 지시하고, 결정된 패턴에 따라 메인 서버(2000)에서 획득되는 처방 보조 정보가 결정될 수 있다. 예를 들어, 패턴 분류 모델(2130)에서 출력되는 패턴 데이터에 따라 특정 검사 세트가 처방 보조 정보로 제공될 수 있고, 특정 검사 세트는 후보 검사 항목들을 포함할 수 있다. 다른 예를 들어, 패턴 분류 모델(2130)에서 출력되는 패턴 데이터에 따라 특정 후보 검사 항목들이 처방 보조 정보로 제공될 수 있다.
한편, 패턴 분류 모델(2130)은 데이터를 입력 받아 처방 보조 정보를 출력할 수 있다. 여기서, 처방 보조 정보는 검사 세트, 검사 세트에 대응되는 데이터 또는, 후보 검사 항목들일 수 있다. 다시 말해, 전술한 실시예에서, 패턴 데이터가 출력되고 패턴 데이터에 따라 처방 보조 정보가 결정되는 과정이 압축되어 패턴 분류 모델(2130)에서 바로 처방 보조 정보가 출력될 수도 있다.
패턴 데이터베이스(2140)에는 패턴에 관한 정보가 저장될 수 있다. 예를 들어, 패턴 데이터베이스(2140)에는 패턴들 각각에 대응하는 검사 세트들이 저장될 수 있다. 메인 서버(2000)에서는 패턴 분류 모델(2130)을 이용하여 특정 패턴을 지시하는 패턴 데이터를 획득하고, 패턴 데이터베이스(2140)에서 특정 패턴에 대응되는 검사 세트를 제공하고자 하는 처방 보조 정보로 획득할 수 있다.
메모리부(2100)는 패턴 데이터베이스(2140) 외에도 각종 데이터를 저장할 수 있다. 예를 들어, 메모리부(2100)는 EMR 서버(3000) 또는 병원 서버(4000)로부터 획득되는 의사의 진료 기록들이나 환자들의 정보를 저장할 수 있다. 다른 예를 들어, 메모리부(2100)는 후술하는 패턴 분류 모델(2130)의 학습을 위해 필요한 학습 데이터 세트들을 저장할 수 있다.
메모리부(2100)에는 상술한 모델들, 데이터베이스 뿐만 아니라 그 외 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리부(2100)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리부(2100)는 메인 서버(2000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다.
한편, 메모리부(2100)에 저장된 상술한 모델들 중 일부는 생략될 수 있다. 예를 들어, 토큰화 또는 임베딩 과정이 메인 서버(2000)가 아닌 외부 서버에서 수행된다면, 토큰화 모델(2110) 또는 임베딩 모델(2120)은 생략될 수 있다. 다른 예를 들어, 패턴 분류 모델(2130)에서 출력하는 데이터가 패턴 데이터가 아닌 검사 세트에 대응하는 데이터 또는 후보 검사 항목들인 경우, 패턴 데이터베이스(2140)가 생략될 수도 있다.
입력부(2200)는 사용자로부터 사용자 입력을 수신할 수 있다. 여기서, 사용자는 메인 서버(2000)를 관리하는 개발자, 나아가 처방 보조 시스템(10)을 구축하고 전반적으로 관리하는 사람으로 이해될 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 음력을 비롯한 다양한 형태로 이루어질 수 있다. 입력 모듈 (2600)의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다.
출력부(2300)는 메인 서버(2000)의 상태나 메인 서버(2000)에서 획득하거나 생성하는 데이터, 또는 메인 서버(2000)에 저장된 데이터를 출력할 수 있다. 출력부(2300)는 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱(haptic) 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다.
통신부(2400)는 외부 기기와 통신을 수행할 수 있다. 메인 서버(2000)는 통신부(2400)를 통해 처방 보조 시스템(10)의 구성들 중 적어도 일부와 데이터를 송수신할 수 있다. 예를 들어, 메인 서버(2000)는 필요에 따라 녹음 장치(RD), 보조 서버(1000), EMR 서버(3000), 병원 서버(4000), 또는 단말기(TD) 중 적어도 일부와 데이터를 송수신할 수 있다.
제어부(2500)는 메인 서버(2000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(2500)는 메모리부(2100)의 토큰화 모델(2110), 임베딩 모델(2120), 또는 패턴 분류 모델(2130)을 로딩(loading)하여 실행할 수 있고, 패턴 데이터베이스(2140)로부터 필요한 데이터를 탐색할 수 있다. 제어부(2500)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동하는 프로그램이나 코드 형태로 제공될 수 있다.
[처방 보조 방법]
이하에서는, 도 4 내지 도 11을 참고하여 처방 보조 시스템(10)에 의해 수행되는 처방 보조 방법에 대해 서술한다.
도 4는 일 실시예에 따른 처방 보조 방법을 나타내는 순서도이다.
도 5는 일 실시예에 따른 처방 보조 시스템(10)이 처방 보조 방법을 수행하는 과정을 나타내는 도면이다.
도 4를 참고하면, 처방 보조 방법은 의사와 환자 사이의 면담 과정을 녹음하는 단계(S1100), 의사와 환자 사이의 면담 기록을 획득하는 단계(S1300), 면담 기록의 패턴을 분석하는 단계(S1500), 및 처방 보조 정보를 출력하는 단계(S1700)를 포함할 수 있다.
도 4 및 도 5를 참고하면, 의사와 환자 사이의 면담 과정을 녹음하는 단계(S1100)는 녹음 장치(RD)에 의해 수행될 수 있다.
녹음 장치(RD)는 다양한 방식으로 녹음을 개시할 수 있다. 예를 들어, 녹음 장치(RD)는 의사의 입력을 받아 녹음을 개시할 수 있다. 여기서, 의사의 입력은 버튼 입력, 음성 입력, 또는 제스처(gesture) 입력 등을 포함할 수 있다. 다른 예를 들어, 녹음 장치(RD)는 별도로 구비되는 센서를 통해 환자가 진료실에 들어오는 경우를 감지하여 녹음을 개시할 수도 있다. 또 다른 예를 들어, 녹음 장치(RD)는 처방 보조 시스템(10)의 구성 중 적어도 하나로부터 녹음 개시를 지시하는 데이터를 수신하여 녹음을 개시할 수도 있다.
녹음 장치(RD)는 메인 서버(2000)에 데이터를 송신하거나 메인 서버(2000)로부터 데이터를 수신할 수 있다. 예를 들어, 녹음 장치(RD)는 획득된 음향 데이터를 메인 서버(2000)에 송신할 수 있다. 다른 예를 들어, 녹음 장치(RD)는 메인 서버(2000)로부터 녹음 시작을 지시하는 데이터를 수신할 수 있다.
도 4 및 도 5를 참고하면, 의사와 환자 사이의 면담 기록을 획득하는 단계(S1300)는 보조 서버(1000)에 의해 수행될 수 있다.
보조 서버(1000)는 의사와 환자 사이의 면담을 녹음한 음향 데이터를 획득할 수 있다. 예를 들어, 녹음 장치(RD)에서 생성된 음향 데이터가 보조 서버(1000)로 송신될 수 있다. 다른 예를 들어, 녹음 장치(RD)에서 생성된 음향 데이터가 메인 서버(2000)로 송신되고 메인 서버(2000)에서 보조 서버(1000)로 송신될 수 있다.
보조 서버(1000)는 획득한 음향 데이터를 변환하여 면담 기록을 획득할 수 있다. 이 때, 면담 기록은 전술한 바와 같이 의사의 음성에 대응하는 데이터만을 포함하거나 의사의 음성에 대응하는 데이터와 환자의 음성에 대응하는 데이터를 모두 포함할 수 있다.
보조 서버(1000)는 메인 서버(2000)에 면담 기록을 송신할 수 있다.
도 4 및 도 5를 참고하면, 면담 기록의 패턴을 분석하는 단계(S1500)는 메인 서버(2000)에 의해 수행될 수 있다.
메인 서버(2000)는 보조 서버(1000)로부터 수신한 면담 기록에 대한 패턴을 결정할 수 있다. 예를 들어, 메인 서버(2000)는 면담 기록 및 패턴 분류 모델(2130)을 이용하여 특정 패턴을 지시하는 패턴 데이터를 출력할 수 있다.
메인 서버(2000)는 획득된 패턴 데이터를 이용하여 처방 보조 정보를 생성할 수 있다. 예를 들어, 메인 서버(2000)는 획득된 패턴 데이터에 대응하는 검사 세트 또는 후보 검사 항목들을 획득할 수 있다.
메인 서버(2000)는 처방 보조 정보를 EMR 서버(3000) 또는 단말기(TD)에 제공할 수 있다.
도 4 및 도 5를 참고하면, 처방 보조 정보를 출력하는 단계(S1700)는 단말기(TD)에 의해 수행될 수 있다.
단말기(TD)는 처방 보조 정보를 획득할 수 있다. 예를 들어, 단말기(TD)는 EMR 서버(3000)에 접속하여 EMR 서버(3000)에 저장된 처방 보조 정보를 획득할 수 있다. 다른 예를 들어, 단말기(TD)는 메인 서버(2000)로부터 처방 보조 정보를 획득할 수 있다.
단말기(TD)는 획득한 처방 보조 정보를 디스플레이 등을 통해 출력할 수 있다.
상술한 처방 보조 방법에서 면담 기록의 패턴을 분석하는 단계(S1500)는 의사의 진료 패턴을 규명하는 과정으로 이해될 수 있다. 의사가 수많은 환자에 대해 진료를 수행함에 있어서 그 진료들의 결과물들(ex. 처방 약품들 또는 처방 검사 항목들) 사이에 공통부분들이 존재하게 되고, 공통부분들을 기준으로 진료들의 결과물이 구분되거나 분류될 수 있으며 구분된 결과물들에 대응하는 진료 과정들이 하나의 진료 패턴으로 정의될 수 있다.
다시 말해, 의사가 환자들에 대해 수행한 진료들 각각은 특정 진료 패턴으로 구분될 수 있으므로, 의사가 새로운 환자에 대해 수행한 진료의 패턴만 결정된다면 결정된 패턴에 대응하는 결과물이 해당 진료의 결과물이 될 수 있다. 이 경우 의사는 결과물을 확인하고 필요하면 결과물을 수정만 하면 되고, 이로써 진료의 결과물을 처음부터 선택하거나 결정하는 소모적인 작업이 생략될 수 있는 것이다.
이하에서는 도 6 내지 도 10을 참고하여 처방 보조 방법의 과정에 대해 보다 구체적으로 서술한다.
도 6은 일 실시예에 따른 면담 기록이 생성되는 과정을 나타내는 도면이다.
면담 기록은 코퍼스(말뭉치) 데이터로, 음향 데이터를 변환한 텍스트 데이터 또는 이를 가공하여 생성된 데이터를 의미할 수 있다. 예를 들어, 면담 기록은 의사의 음성에 대응하는 텍스트, 환자의 음성에 대응하는 텍스트, 및/또는 제3 자의 음성에 대응하는 텍스트를 포함하는 데이터로 이해될 수 있다.
전술한 바와 같이 보조 서버(1000)는 음향 데이터를 획득하고, 획득한 음향 데이터를 이용하여 면담 기록을 생성할 수 있다.
구체적으로, 보조 서버(1000)는 음성 인식 모델(1100)을 이용하여 음향 데이터를 텍스트 데이터로 변형하고, 화자 분류 모델(1200)을 이용하여 변환된 텍스트 데이터를 화자(ex. 의사, 환자, 또는 제3 자) 등으로 구분하고, 특정 화자에 대응하는 텍스트 데이터를 면담 기록으로 획득할 수 있다.
음성 인식 모델(1100)은 입력된 음성 신호의 특징 추출, 패턴 분류, 언어처리 등의 과정을 통해 음향 데이터를 텍스트 데이터로 변형할 수 있다.
음성 인식 모델(1100)은 DTW(dynamic time warping) 알고리즘, HMM(hidden Markov model) 알고리즘, 지식 기반(knowledge-based) 음성 인식 기술, 인공 신경망(neural network) 등을 이용하여 구현될 수 있다.
화자 분류 모델(1200)은 음향 데이터를 변환한 텍스트 데이터에서 화자를 구분하고, 면담 기록에 포함될 화자의 텍스트 데이터를 선택할 수 있다. 예를 들어, 화자 분류 모델(1200)은 음향 데이터를 변환한 텍스트 중 의사의 음성에 대응하는 텍스트만을 선별하여 면담 기록으로 획득할 수 있다. 다른 예를 들어, 화자 분류 모델(1200)은 음향 데이터를 변환한 텍스트 중 의사의 음성에 대응하는 텍스트와 환자의 음성에 대응하는 텍스트를 구분하되, 이들을 모두 포함하는 면담 기록을 획득할 수도 있다.
한편, 처방 보조 방법에서 분석하고자 하는 진료 패턴은 의사의 진료 패턴이고, 이 경우 면담에서의 환자의 음성은 필수적이지 않고 오히려 노이즈로 작용할 우려가 있기 때문에 의사의 음성에 관한 텍스트만을 면담 기록으로 하는 것이 바람직하다. 이하에서는, 면담 기록이 의사의 음성에 대응하는 텍스트만을 포함하는 것으로 서술하나, 본 명세서의 기술적 사상이 이에 한정되는 것은 아니며 면담 기록이 의사의 음성에 대응하는 텍스트 뿐만 아니라 다른 화자(ex. 환자 또는 제3 자)의 음성에 대응하는 텍스트를 포함할 수 있음은 물론이다.
화자 분류 모델(1200)은 음향 데이터를 텍스트 데이터로 변환하기 이전에도 화자를 구분할 수도 있다.
한편, 면담 기록으로 면담 중의 모든 화자의 음성에 대응하는 텍스트를 이용하는 경우 등 화자 분류 모델(1200)이 필요하지 않은 경우 화자 분류 모델(1200)이 생략될 수 있다.
전술한 면담 기록은 처방 보조 방법으로 분석하고자 하는 데이터로, 분석 대상 면담 기록으로 이해될 수 있다.
도 7은 일 실시예에 따른 모델 입력 데이터가 생성되는 과정을 나타내는 도면이다.
도 7을 참고하면, 면담 기록은 토큰화 및 임베딩 과정을 거쳐 모델 입력 데이터로 가공될 수 있다.
모델 입력 데이터는 패턴 분류 모델(2130)에 입력되는 데이터를 의미할 수 있다. 면담 기록이 패턴 분류 모델(2130)에 입력되기 위해서는 특정 형태의 포맷으로 전처리될 필요가 있고, 그 대표적인 전처리 과정이 후술하는 토큰화 및 임베딩이다.
토큰화 모델(2110)은 음향 데이터를 변환한 면담 기록을 복수의 토큰들로 분절할 수 있다.
토큰화 모델(2110)은 면담 기록을 토큰화하기 위해 토큰 딕셔너리(token dictionary)를 이용할 수 있다.
토큰 딕셔너리에는 텍스트 데이터를 토큰화하는 기준인 키워드들이 저장될 수 있으며, 토큰화는 토큰 딕셔너리에 저장된 키워드를 기준으로 수행될 수 있다.
여기서, 키워드들은 기본적으로 특정 형태소, 특정 단어, 특정 구절 등을 포함할 수 있다. 키워드들은 후술하는 토큰화 기법들 중 어느 것을 이용하는 지에 따라 다르게 설정될 수 있다.
토큰화 모델(2110)을 구현함에 있어서 다양한 토큰화 기법이 이용될 수 있다. 예를 들어, 토큰화 모델(2110)은 단어 기반 토큰화(word-based tokenization), 문자 기반 토큰화(character-based tokenization), 하위 단어 토큰화(subword tokenization), 바이트 페어 인코딩(BPE: byte pair encoding), 워드피스(wordpiece), SentencePiece, 또는 Unigram 등의 기법을 이용하여 구현될 수 있다.
이 때, 토큰화 모델(2110)을 구현하는 토큰화 기법은 후술하는 패턴 분류 모델(2130)의 기본 모델(base model)에 따라 결정될 수 있다. 예를 들어, 패턴 분류 모델(2130)이 BERT(bidirectional encoder representations form transformer) 모델을 이용하여 생성되는 경우 토큰화 모델(2110)은 워드피스로 구현될 수 있다. 다른 예를 들어, 패턴 분류 모델(2130)이 GPT-3(generative pre-trained transformer 3) 모델을 이용하여 생성되는 경우 토큰화 모델(2110)은 바이트 페어 인코딩으로 구현될 수 있다.
토큰화 과정에서 면담 기록을 토큰화한 데이터는 가장 앞쪽에 시작 지점을 지시하는 시작 토큰(ex. [CLS]) 및 가장 뒤쪽에 종료 지점을 지시하는 종료 토큰(ex. [SEP])을 포함할 수 있다.
임베딩 모델(2120)은 면담 기록을 토큰화하여 획득된 데이터를 숫자 또는 코드 형태로 변경할 수 있다.
임베딩 모델(2120)은 다양한 임베딩 기법을 이용하여 구현될 수 있다. 예를 들어, 임베딩 모델(2120)을 구현함에 있어서 원-핫 인코딩(one-hot encoding), TF-IDF(term frequency-inverse document frequency), 잠재 의미 분석(LSA: latent semantic analysis), Word2Vec, Glove, 또는 FastText 등이 이용될 수 있다.
임베딩 모델(2120)은 임베딩하고자 하는 대상을 특정하는 방법에 따라 구분될 수 있다. 예를 들어, 토큰 또는 단어 각각에 대해 수행되는 토큰 임베딩(token embedding), 토큰들을 연결한 문장에 대해 수행되는 세그먼트 임베딩(segment embedding), 토큰의 순서를 임베딩하는 포지션 임베딩(position embedding)이 있을 수 있으며, 임베딩 모델(2120)이 토큰화된 면담 기록에 대해 임베딩을 수행하는 경우 전술한 대상들 중 적어도 하나에 대해 수행할 수 있다.
한편, 후술하는 패턴 분류 모델(2130)의 기본 모델에 따라 임베딩 모델(2120)의 구현 알고리즘 및 임베딩 대상이 결정될 수 있다. 예를 들어, 패턴 분류 모델(2130)의 기본 모델이 BERT 모델인 경우 임베딩 모델(2120)은 Word2Vec 알고리즘을 이용하며, 토큰 임베딩, 세그먼트 임베딩, 포지션 임베딩을 모두 수행할 수 있다.
처방 보조 시스템(10)은 모델 입력 데이터를 이용하여 처방 보조 정보를 획득할 수 있다.
메인 서버(2000)는 모델 입력 데이터 및 패턴 분류 모델(2130)을 이용하여 후보 검사 항목들을 획득할 수 있다.
이하에서는 도 8 내지 도 10을 참고하여 메인 서버(2000)에서 후보 검사 항목들을 획득하는 과정에 대해 서술한다.
도 8은 일 실시예에 따른 패턴 분류 모델의 입출력 과정을 나타내는 도면이다.
도 9는 일 실시예에 따른 패턴 데이터 베이스를 나타내는 도면이다.
패턴 분류 모델(2130)은 모델 입력 데이터를 입력 받아 특정 패턴을 지시하는 패턴 데이터를 출력할 수 있다. 패턴이 분류된 후에는, 즉 패턴 데이터가 출력된 후에는 패턴 데이터에 대응되는 처방 보조 정보가 획득될 수 있다.
도 8을 참고하면, 패턴 분류 모델(2130)은 모델 입력 데이터를 입력 받아 제1 패턴, 제2 패턴, 제3 패턴, 쪋각각에 대한 확률 값을 출력할 수 있다. 이 때, 패턴들 각각에 대한 확률 값들이 패턴 데이터를 구성하는 것으로 이해될 수 있다.
한편, 패턴 분류 모델(2130)은 특정 패턴을 지시하는 패턴 데이터를 출력할 수도 있다. 예를 들어, 패턴 분류 모델(2130)은 제1 패턴을 지시하는 패턴 데이터를 출력할 수 있다.
메인 서버(2000)는 패턴 분류 모델(2130)에서 출력된 패턴 데이터를 이용하여 모델 입력 데이터에 대한 패턴을 결정할 수 있다. 예를 들어, 메인 서버(2000)는 도 8에 도시된 바와 같이 가장 높은 확률 값을 가지는 제1 패턴을 모델 입력 데이터 또는 모델 입력 데이터로 가공되기 전인 면담 기록의 패턴으로 결정할 수 있다.
메인 서버(2000)는 패턴 데이터 또는 결정된 패턴에 기초하여 검사 세트를 획득할 수 있다. 예를 들어, 패턴 데이터를 고려하여 결정된 패턴이 제1 패턴인 경우 제1 패턴에 대응하는 제1 검사 세트가 획득될 수 있다. 다른 예를 들어, 패턴 분류 모델(2130)이 출력한 패턴 데이터가 제1 패턴을 지시하는 경우 제1 패턴에 대응되는 제1 검사 세트가 획득될 수 있다.
메인 서버(2000)는 획득된 검사 세트에 기초하여 후보 검사 항목들을 획득할 수 있다. 예를 들어, 메인 서버(2000)에서 획득된 검사 세트가 제1 검사 세트인 경우, 제1 검사 세트에 포함되는 제1 검사 항목, 제2 검사 항목, 제3 검사 항목, 쪋이 후보 검사 항목들로 획득될 수 있다.
메인 서버(2000)가 검사 세트 및 후보 검사 항목들을 획득하는 과정에서 패턴 데이터베이스(2140)가 이용될 수 있다. 구체적으로, 도 9를 참고하면, 패턴 데이터베이스(2140)에서 제1 패턴은 제1 검사 세트에 대응되고, 제1 검사 세트는 검사A, 검사B, 및 검사C를 포함할 수 있다. 만약, 제1 패턴이 모델 입력 데이터 또는 면담 기록의 패턴으로 결정된 경우, 메인 서버(2000)는 결과적으로 제1 검사 세트에 포함된 검사A, 검사B, 및 검사C를 후보 검사 항목들로 획득할 수 있다.
전술한 바와 같이, 패턴 분류 모델(2130)을 이용하여 면담 기록의 패턴을 특정하는 경우, 그에 대응하는 검사 세트에 대한 정보가 필수적이다. 다시 말해, 패턴 데이터베이스(2140)는 패턴 분류 모델(2130)에서 패턴 데이터를 출력하고 그로부터 검사 세트라는 실질적인 정보를 획득하기 위해 필수적으로 준비되어야 하는 구성으로 이해될 수 있다.
한편, 패턴 분류 모델(2130)에서 출력되는 데이터가 반드시 어떤 패턴을 지시하는 패턴 데이터일 필요는 없다. 예를 들어, 패턴 분류 모델(2130)은 검사 세트들 각각에 대한 확률 값들, 특정 검사 세트 또는 이를 지시하는 데이터를 출력할 수도 있다.
패턴 분류 모델(2130)은 딥러닝(deep learning) 알고리즘을 이용할 수 있다. 이 경우, 패턴 분류 모델(2130)을 생성하기 위해 학습 데이터 세트들이 이용될 수 있다. 패턴 분류 모델(2130)을 생성하는 방법 및 학습 데이터 세트들을 생성하는 방법에 대해서는 후술하도록 한다.
이상에서 패턴 분류 모델(2130)이 모델 입력 데이터에 대응하는 패턴 데이터를 출력하는 것은 곧 모델 입력 데이터를 특정 패턴으로 분류한 것으로 이해될 수 있다.
여기서, 패턴 분류의 의미는 모델 입력 데이터, 모델 입력 데이터가 가공되기 전인 면담 기록, 면담 기록으로 변환되기 전인 음향 데이터, 나아가 환자에 대한 의사의 진료가 어떤 패턴을 가지는지 규명하는 것이다.
의사가 환자를 진료함에 있어서 의사는 환자가 앓고 있는 질병이나 증상, 환자의 정보에 기초하여 필요한 검사들을 처방하게 된다. 이 때, 많은 환자들을 진료함에 따라 형성된 진료 기록들을 보면, 환자들에 대해 처방하는 검사들이 서로 동일하거나 높은 유사도를 가질 수 있다. 보다 구체적으로, 제1 내지 제n 환자(n은 2 이상의 자연수)에 대해 의사가 각각 제1 내지 제n 검사 세트를 처방하였을 때, 제1 내지 제n 검사 세트 중 적어도 일부는 동일하거나 공통적으로 포함하는 검사 항목의 개수가 상대적으로 클 수 있다. 이 때, 동일하게 처방된 검사 세트 또는 처방된 검사 세트들 중 높은 유사도를 가지는 검사 세트들을 하나의 패턴으로 분류함으로써 복수의 패턴들이 형성될 수 있다. 이 경우, 의사가 새로이 환자를 진료하면 그 진료 과정은 앞서 형성한 패턴들 중 하나로 분류될 수 있다. 이처럼 패턴 분류 모델(2130)이 특정 패턴을 출력하도록 또는 패턴을 고려하여 값을 출력하도록 학습되기 위해서는 후술하는 바와 같이 학습 데이터 세트부터 패턴을 명확히 구분하여 생성할 필요가 있다. 다시 말해, 패턴을 명확히 구분하지 않은 학습 데이터 세트로 딥러닝 모델을 학습시키는 경우, 그 품질(또는 정확도)를 담보할 수 없게 되므로, 패턴 분류 모델(2130)이 패턴을 구분한 학습 데이터 세트로 학습되어 특정 패턴에 대한 데이터를 출력하는 것은 매우 중요한 과정이다.
도 10은 일 실시예에 따른 패턴 분류 모델(2130)의 또 다른 출력 형태를 나타내는 도면이다.
도 10을 참고하면, 패턴 분류 모델(2130)은 모델 입력 데이터를 입력 받아 적어도 하나 이상의 검사 항목을 출력할 수 있다.
여기서, 패턴 분류 모델(2130)에서 출력되는 검사 항목들은 하나의 검사 세트를 구성할 수 있다.
전술한 경우와 달리, 패턴 분류 모델(2130)은 패턴 데이터나 검사 세트를 출력하지는 않지만, 하나의 검사 세트를 구성하는 검사 항목들을 출력하며, 이는 결국 모델 입력 데이터가 특정 검사 세트로 분류되는 것으로 이해될 수 있다. 다시 말해, 도 8에 도시된 패턴 분류 모델(2130)과 출력 형태는 다르지만 모델 입력 데이터를 특정 패턴 또는 특정 검사 세트로 분류한 점에서 의사의 진료 패턴을 고려하는 점이 동일하다.
도 8에서 서술한 것과 마찬가지로 패턴 분류 모델(2130)은 딥러닝 알고리즘을 이용할 수 있으며, 모델 입력 데이터를 입력 받아 하나의 검사 세트를 구성하는 검사 항목들을 출력하도록 학습될 수 있다.
메인 서버(2000)는 처방 보조 정보를 생성함에 있어서, 패턴 분류 모델(2130)에 더하여 추가 검사 모델을 이용할 수도 있다.
보다 구체적으로, 메인 서버(2000)는 획득한 면담 기록 또는 면담 기록을 가공한 데이터를 패턴 분류 모델(2130) 및 추가 검사 모델에 입력하여 처방 보조 정보를 획득할 수 있다.
여기서, 패턴 분류 모델(2130)은 상술한 바와 같이 면담 기록의 패턴을 분류하고, 그에 따른 검사 세트를 획득하는 데에 이용될 수 있다.
여기서, 추가 검사 모델은 면담 기록을 토대로 추가로 진행되어야 하는 검사 항목을 획득하는 데에 이용될 수 있다.
메인 서버(2000)는 면담 기록에 대해 패턴 분류 모델(2130)을 이용하여 획득한 검사 세트와 면담 기록에 대해 추가 검사 모델을 이용하여 획득한 적어도 하나의 추가 검사 항목을 이용하여 처방 보조 정보를 생성할 수 있다.
패턴 분류 모델(2130) 외에 추가 검사 모델을 이용하는 취지는, 기본적으로 의사의 진료 패턴을 고려하여 처방 보조 정보를 생성하되, 의사가 주로 처방하지 않았던 검사 항목을 처방하는 경우, 환자가 추가적으로 다른 검사를 원하는 경우 등 예외적인 상황까지도 고려하여 처방 보조 정보를 생성하고자 한다. 이처럼, 추가 검사 모델이 예외적인 검사 항목들을 처방 보조 정보에 추가하는 것을 목적으로 함에 따라, 기존의 패턴 분류 모델(2130)을 구현함에 있어서 예외적인 검사 항목들은 이용하지 않을 수 있다. 예외적인 검사 항목들이 패턴 분류 모델(2130)의 구현에 이용되는 경우 정확도를 저해할 수 있는 요인이 될 수 있는 바, 예외적인 검사 항목들이 이용되지 않음에 따라 결과적으로 패턴 분류 모델(2130)의 정확도가 향상될 수 있다.
추가 검사 모델에 대해서는 추후 구체적으로 서술하도록 한다.
이상에서는, 처방 보조 정보를 획득함에 있어서 면담 기록을 이용하는 경우에 대해 서술하였으나, 본 개시의 기술적 사상이 이에 한정되는 것은 아니다.
일 예로, 메인 서버(2000)는 면담 내용에 관한 음향 데이터를 이용하여 처방 보조 정보를 생성할 수 있다. 구체적으로, 메인 서버(2000)는 녹음 장치(RD)로부터 음향 데이터를 수신하고, 수신된 음향 데이터를 가공하여 모델 입력 데이터를 생성하고, 생성된 모델 입력 데이터를 패턴 분류 모델(2130)에 입력하여 패턴 데이터를 생성할 수 있다.
여기서, 음향 데이터를 가공하여 생성되는 모델 입력 데이터는 음향 신호를 가공한 데이터로, 노이즈 필터링(noise filtering), 특징 추출(feature extraction) 등의 전처리 과정을 통해 생성될 수 있다. 이 경우, 의사의 진료 패턴을 고려하되, 텍스트가 아닌 음향 신호를 이용하는 것으로 이해될 수 있다. 이 경우, 처방 보조 시스템(10)에서 보조 서버(1000)는 생략될 수 있다. 또한, 후술하는 학습 데이터 세트 생성하는 과정에서도 면담 기록이 아닌 음향 데이터와 패턴에 관한 데이터 또는 음향 데이터와 검사 세트가 학습 데이터 세트를 구성할 수 있다.
이하에서는 도 11을 참고하여 처방 보조 정보가 의사에게 제공되고 이용되는 과정에 대해 서술한다.
도 11은 일 실시예에 따른 처방 보조 정보가 제공되는 방법을 나타내는 도면이다.
메인 서버(2000)에서 획득된 처방 보조 정보는 단말기(TD)를 통해 출력될 수 있다. 구체적으로, 처방 보조 정보는 메인 서버(2000)에서 EMR 서버(3000)로 전송되고, EMR 서버(3000)는 의사 개인의 단말기(TD)를 통해 처방 보조 정보를 출력할 수 있다.
도 11을 참고하면, 단말기(TD)에서 출력되는 EMR 프로그램에는 환자 정보(이름, 주민등록번호, 성별, 나이 등), 진료 정보(진료일, 진료 내용, 의심 질환, 의료 영상 등)가 출력되고, 그와 함께 처방 보조 정보로 검사A, 검사B, 검사C가 출력될 수 있다. 이 때, 처방 보조 정보는 후보 검사 항목들로 표시될 수도, 검사 세트로 표시될 수도 있다. 처방 보조 정보는 후보 검사 항목 또는 필요 검사 항목 등으로 표시될 수 있다.
한편, 전술한 바와 같이 패턴 분류 모델(2130)과 함께 추가 검사 모델을 이용하여 처방 보조 정보를 생성하는 경우, 검사 세트에 포함된 검사 항목들과 추가 검사 항목이 구분되어 표시될 수 있다. 예를 들어, 도 11에 도시된 바와 같이 패턴 분류 모델(2130)을 통해 획득된 검사 세트에 포함되는 검사A, 검사B, 검사C는 필요 검사 항목으로, 추가 검사 모델을 통해 획득된 검사D는 추가 검사 항목으로 구분되어 표시될 수 있다.
단말기(TD)를 통해 처방 보조 정보가 출력되는 것에 더하여, 부수적인 정보가 더 제공될 수 있다.
구체적으로, EMR 서버(3000)는 처방 보조 정보인 후보 검사 항목들을 고려하여 추천 검사 항목을 획득할 수 있다. 예를 들어, EMR 서버(3000)는 의사의 과거 진료 기록들을 탐색 또는 검색하여 후보 검사 항목들을 포함하는 과거 처방 검사 항목 리스트를 찾고, 찾은 과거 처방 검사 항목 리스트에 포함된 검사 항목들 중 후보 검사 항목들이 아닌 검사 항목을 추천 검사 항목으로 획득할 수 있다. 구체적으로, 처방 보조 정보가 검사A, 검사B, 검사C이고, 과거 진료 기록 중 검사A, 검사B, 검사C, 검사E를 포함하는 과거 처방 검사 항목 리스트가 있는 경우, 검사E가 추천 검사 항목으로 획득될 수 있다.
단말기(TD)를 통해 추천 검사 항목이 출력될 수 있다. 단말기(TD)는 EMR 서버(3000)로부터 추천 검사 항목을 획득하고, EMR 프로그램을 통해 추천 검사 항목을 출력할 수 있다.
한편, 후보 검사 항목들을 포함하는 과거 처방 검사 항목 리스트들은 복수 개일 수 있다. 이 경우, 후보 검사 항목들을 포함하는 과거 처방 검사 항목 리스트들 중 우선순위를 부여할 수 있다. 우선순위는 과거 진료 기록들 중 각각의 과거 처방 검사 항목 리스트가 출현된 횟수, 즉 의사가 해당 과거 처방 검사 항목 리스트를 처방한 횟수를 고려하여 결정될 수 있다.
단말기(TD)를 통해 추천 검사 항목들이 우선순위에 기초하여 출력될 수 있다. 예를 들어, 단말기(TD)는 추천 검사 항목들 중 우선순위가 높은 5개의 검사 항목들을 출력할 수 있다.
후보 검사 항목들은 의사에 의해 검증될 수 있다. 예를 들어, 상술한 바와 같이 단말기(TD)를 통해 후보 검사 항목들이 출력되고, 수신되는 의사의 입력에 기초하여 최종 검사 항목들이 결정될 수 있다. 이를 위해, 도 11에 도시된 바와 같이 단말기(TD)는 후보 검사 항목들과 함께 "수정" 버튼 및 "확인" 버튼을 출력할 수 있고, 해당 버튼에 대한 의사의 입력에 기초하여 후보 검사 항목들이 수정되거나 최종 검사 항목들로 확인될 수 있다.
결정된 최종 검사 항목들은 EMR 서버(3000)에 제공되고 저장될 수 있다. 또한, 최종 검사 항목들은 병원 서버(4000)에 제공되고 저장될 수 있다. 또한, 최종 검사 항목들은 메인 서버(2000)에 제공되고 저장될 수 있다.
최종 검사 항목들은 병원 내의 필요한 부서에 제공될 수 있다. 예를 들어, 최종 검사 항목들 각각은 해당 검사 항목이 진행되어야 하는 검사실의 단말기로 전송될 수 있고, 해당 검사실에서는 검사 진행 준비가 이루어질 수 있다. 다른 예를 들어, 최종 검사 항목들은 원무과의 단말기로 전송될 수 있고, 원무과에서는 최종 검사 항목들을 고려하여 접수, 수납, 제증명, 입/퇴원 등의 서류 작성이 수행될 수 있다.
이상에서는 처방 보조 시스템(10)에서 처방 보조 방법이 수행되는 과정에 대해 서술하였다. 처방 보조 방법에서 필수적인 주요 기술은 처방 보조 정보를 획득하는 것이며, 이는 메인 서버(2000)의 패턴 분류 모델(2130)을 구현(생성)하는 방법에 따라 그 정확도가 달라질 수 있다.
이하에서는 도 12 내지 도 20을 참고하여 패턴 분류 모델(2130)이 구현되는 방법에 대해 구체적으로 서술한다.
[패턴 분류 모델 구현 방법]
도 12는 일 실시예에 따른 패턴 분류 모델(2130)의 입출력 형태와 패턴 분류 모델을 학습시키기 위한 학습 데이터 세트를 나타내는 도면이다.
패턴 분류 모델(2130)은 딥러닝 알고리즘을 이용하여 구현될 수 있다.
여기서, 딥러닝 알고리즘으로 CNN(Convolution Neural Network), RNN(Recurrent Neural Network), LSTM(Long-Short Term Memory), Seq2seq(Sequence to sequence), Transformer, BERT(Bidirectional Encoder Representations from Transformers), 또는 GPT-3(Generative Pre-trained Transformer-3) 등이 이용될 수 있다.
도 12를 참고하면, 패턴 분류 모델(2130)은 모델 입력 데이터를 입력 받아 패턴 데이터를 출력하도록 학습될 수 있다. 이 때, 패턴 분류 모델(2130)의 학습을 위한 학습 데이터 세트가 준비될 수 있다. 학습 데이터 세트는 상술한 모델 입력 데이터와 동일한 형태의 학습용 입력 데이터에 패턴 데이터와 동일한 형태의 학습용 패턴 데이터를 포함할 수 있다.
일 예로, 제1 환자에 대한 의사의 제1 면담 내용을 녹음하여 제1 면담 기록을 획득하고, 제1 면담 기록을 상술한 전처리 과정을 통해 가공하여 제1 학습용 입력 데이터를 획득하고, 제1 학습용 입력 데이터에 제1 패턴을 지시하는 제1 패턴 데이터를 라벨링(labeling)하여 제1 학습 데이터 세트가 생성될 수 있다. 생성된 제1 학습 데이터 세트를 이용하여 학습된 딥러닝 모델은 의사의 제2 환자에 대한 제2 면담 내용을 녹음하여 획득된 제2 면담 기록을 입력 받은 경우, 제2 면담 기록에 대해 제1 패턴을 지시하는 제1 패턴 데이터를 출력하거나 다른 패턴을 지시하는 패턴 데이터를 출력할 수 있다. 제1 패턴 데이터가 출력되는 경우 제2 면담 기록 또는 제2 면담 내용은 제1 면담 기록 또는 제1 면담 내용과 유사하며, 처방되어야 하는 검사 항목들이 동일한 것으로 이해될 수 있다.
상술한 것과 같이 패턴 분류 모델(2130)이 동작하기 위해서는, 패턴 분류 모델(2130)을 학습시키기 위한 학습 데이터 세트의 생성, 패턴 분류 모델(2130)의 기본 모델로 활용되는 딥러닝 알고리즘의 선택이 매우 중요하다.
이하에서는 도 13을 참고하여 학습 데이터 세트를 생성하는 방법에 대해 서술한다.
도 13은 일 실시예에 따른 학습 데이터 세트를 생성하는 방법을 나타내는 순서도이다.
도 13을 참고하면, 학습 데이터 세트를 생성하는 방법은 데이터를 수집하는 단계(S2100), 검사 세트를 결정하는 단계(S2300), 면담 기록을 분류하는 단계(S2500), 및 면담 기록에 대해 라벨링을 수행하는 단계(S2700)를 포함할 수 있다.
이하에서 각 단계에 대해서 구체적으로 서술한다.
메인 서버(2000)는 학습 데이터 세트 생성에 필요한 데이터를 수집할 수 있다(S2100).
데이터 수집 과정에 대한 설명에 앞서, 패턴 분류 모델(2130)은 처방 보조 정보를 제공받는 의사(이하 '대상 의사' 라고 한다)의 진료 패턴을 분석하기 위한 것인 바, 대상 의사에 따라 패턴 분류 모델(2130)이 다르게 구현될 수 있다. 이를 위해, 패턴 분류 모델(2130)을 학습시키기 위한 학습 데이터 세트 역시 대상 의사에 따라 달라질 수 있다.
예를 들어, 학습 데이터 세트는 대상 의사의 환자들에 대한 진료 기록들을 수집하고, 수집된 진료 기록들을 일정 방법에 따라 구분하여 특정 패턴 또는 검사 세트를 라벨링함으로써 획득될 수 있다.
학습 데이터 세트는 처방 보조 정보를 제공받는 대상 의사의 진료 기록들을 토대로 생성될 수 있다.
전술한 바와 같이, 대상 의사의 진료 기록들 각각은 대상 의사가 환자에 대해 진행한 면담 기록 및 그 환자에 대해 처방한 처방 검사 항목 리스트 포함할 수 있다. 예를 들어, 대상 의사의 제1 환자에 대한 제1 진료 기록에는 적어도 제1 면담 기록 및 제1 처방 검사 항목 리스트가 포함될 수 있다.
면담 기록은 대상 의사가 환자들에 대해 진료 시 면담 내용을 기록한 데이터를 의미할 수 있다. 예를 들어, 면담 기록은 면담 내용을 녹음한 음향 데이터를 변환한 텍스트, 또는 변환된 텍스트의 적어도 일부를 의미할 수 있다.
처방 검사 항목 리스트는 대상 의사가 환자에 대해 처방한 검사 항목들을 포함할 수 있다. 처방 검사 항목 리스트는 면담 기록에 대응되는 것으로 이해될 수 있다. 예를 들어, 대상 의사가 제1 환자를 진료하는 경우 제1 면담 기록과 제1 처방 검사 항목 리스트가 수집될 수 있다.
진료 기록은, 패턴 분류 모델(2130)을 학습시키기 시작하는 시점을 기준으로, 그 이전에 수집된 진료 기록들 뿐만 아니라 대상 의사가 처방 보조 시스템(10)을 이용하기 시작한 시점 이후에 수집된 면담 기록들을 포함할 수 있다.
한편, 진료 기록 중 면담 기록은 대상 의사가 실제로 환자를 진료하여 획득되는 기록 뿐만 아니라 데이터 증강 기법(data augmentation)을 이용하여 생성되는 기록을 포함할 수도 있다. 데이터 증강 기법을 이용하여 생성되는 기록은 실제 면담 기록과 유사한 형태를 가지거나 유사한 내용을 포함할 수 있다.
전술한 바와 같이 학습 데이터 세트는 진료 기록의 면담 기록에 특정 검사 세트 또는 특정 패턴을 라벨링하여 생성될 수 있다.
라벨링을 위해서는 먼저 라벨링하고자 하는 검사 세트들 또는 패턴들을 결정해야 하는 바, 라벨링에 앞서 검사 세트들 또는 패턴들을 결정하는 방법에 대해 먼저 서술한다. 한편, 검사 세트들이 특정되면 각 검사 세트가 하나의 패턴으로 결정될 수 있는 바, 이하에서는 도 14 내지 도 17을 참고하여 검사 세트들을 결정하는 방법을 서술한다.
메인 서버(2000)는 학습 데이터 세트 생성을 위한 검사 세트를 결정할 수 있다(S2300).
도 14는 일 실시예에 따른 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트들을 생성하는 방법을 나타내는 도면이다.
검사 세트들은 자주 이용하는 검사 항목 리스트들을 이용하여 생성될 수 있다. 자주 이용하는 검사 항목 리스트들은 전술한 데이터를 수집하는 단계(S2100)에서 획득될 수 있다.
대상 의사는 환자들을 진료함에 있어서, 자주 처방하는 검사 항목들을 묶어 하나의 리스트로 만들어 둘 수 있다. 이는, 환자들에 대해 처방하는 검사 항목들이 유사한 경우가 더러 있기 때문이다. 예를 들어, 초진 환자의 경우 진단을 위해 기본적으로 받아봐야 하는 검사 항목들이 있으므로, 동일한 증상을 호소하는 초진 환자들의 경우 처방되는 검사 항목들이 동일할 수 있다. 다른 예를 들어, 재진 환자의 경우에도 질병의 진행 과정이나 치료에 따른 효과 등을 모니터링하기 위해 진행되어야 하는 검사 항목들이 있을 수 있으므로, 진단 받은 질병이나 증상이 같은 경우 또는 처방된 약품이 동일한 재진 환자들의 경우 처방되는 검사 항목들이 동일할 수 있다.
일반적으로 대상의사가 몇몇 검사 항목 리스트들만으로도 환자의 70-90%에 대한 처방이 가능하며, 이러한 검사 항목 리스트들을 EMR 프로그램 등에 자주 이용하는 검사 항목 리스트들로 입력해둘 수 있다.
따라서, 자주 이용하는 검사 항목 리스트들을 면담 기록의 패턴을 분류하는 검사 세트들로 이용하는 경우, 처방 보조 정보의 정확도가 일정 수준 이상으로 확보될 수 있다.
자주 이용하는 검사 항목 리스트는 대상 의사에 의해 설정될 수 있다. 예를 들어, 전술한 바와 같이 대상 의사는 환자들에 대한 진료를 함에 있어서 편의를 위해 임의로 특정 검사 항목들을 묶어서 자주 이용하는 검사 항목 리스트들을 생성해둘 수 있다.
자주 이용하는 검사 항목 리스트는 복수 개일 수 있다. 자주 이용하는 항목 리스트는 제1 내지 제m 리스트(m은 2 이상의 자연수)를 포함할 수 있다. 여기서, 제1 내지 제m 리스트 각각은 하나 이상의 검사 항목을 포함할 수 있다. 또 여기서, 제1 내지 제m 리스트 중 적어도 일부는 동일한 검사 항목을 포함할 수 있다. 예를 들어, 도 14를 참고하면, 자주 이용하는 검사 항목 리스트는 적어도 제1 내지 제3 리스트를 포함하고, 제1 리스트 내지 제3 리스트는 공통적으로 Free T3, Free T4의 검사 항목을 포함할 수 있다.
한편, 자주 이용하는 검사 항목 리스트들이 반드시 대상 의사에 의해 설정되어야 하는 것은 아니다. 자주 이용하는 검사 항목 리스트는 대상 의사의 진료 기록을 토대로 설정될 수도 있다. 예를 들어, 대상 의사의 진료 기록들에 포함된 처방 검사 항목 리스트들 중 그 출현 횟수가 높은 x개(x는 2 이상의 자연수)의 처방 검사 항목 리스트들이 자주 이용하는 검사 항목 리스트들로 설정될 수 있다.
자주 이용하는 검사 항목 리스트들의 개수는 임의로 설정될 수 있다. 예를 들어, 대상 의사에 의해 자주 이용하는 검사 항목 리스트들이 설정되는 경우 대상 의사가 설정한 개수만큼 리스트가 설정될 수 있다. 다른 예를 들어, 대상 의사의 진료 기록에 기초하여 자주 이용하는 검사 항목 리스트들이 설정되는 경우, 리스트 개수는 5개 이상일 수 있고, 바람직하게는 5개 이상 20개 이하일 수 있다.
자주 이용하는 검사 항목 리스트들을 이용하여 복수의 검사 세트들이 결정될 수 있다. 예를 들어, 자주 이용하는 검사 항목 리스트들 각각이 하나의 검사 세트로 결정될 수 있다. 또는 자주 이용하는 검사 항목 리스트들 각각이 하나의 패턴을 정의하고 그 패턴의 검사 세트가 될 수 있다. 구체적으로, 도 14에 도시된 바와 같이 자주 이용하는 검사 항목 리스트들 중 제1 리스트는 제1 패턴의 제1 검사 세트로 결정될 수 있다.
검사 세트들은 진료 기록들의 처방 검사 항목 리스트들을 이용하여 결정될 수 있다.
도 15는 일 실시예에 따른 처방 검사 항목 리스트들을 나타내는 도면이다.
도 16은 일 실시예에 따른 검사 세트들을 생성하는 방법을 나타내는 도면이다.
도 15를 참고하면, 진료 기록들의 일부 처방 검사 항목 리스트들이 특정 검사 항목들을 포함하고 있는 것을 볼 수 있다.
도 16을 참고하면, 도 15에 도시된 처방 검사 항목 리스트들로부터 검사 항목들을 추출하고, 추출된 검사 항목들을 및 검사 세트 결정 기준을 고려하여 검사 세트들이 생성될 수 있다.
이하에서 검사 세트를 결정하는 기준에 대해 서술한다.
검사 세트를 결정하는 기준으로, 동시출현 가능성이 고려될 수 있다.
일 예로, 처방 검사 항목 리스트들로부터 추출된 검사 항목들을 이용하여 후보 검사 세트들을 생성하고, 생성된 후보 검사 세트들을 적절히 결합하여 검사 세트들을 결정할 수 있다. 이하에서 보다 구체적으로 서술한다.
검사 세트들을 결정하기에 앞서, 우선적으로 필요한 검사 세트의 총 개수가 특정될 수 있다. 예를 들어, 필요한 검사 세트의 총 개수는 a(a는 2 이상의 자연수)개일 수 있다. 여기서, a는 5 이상 30 이하에서 결정될 수 있으나 이에 한정되는 것은 아니다.
다음으로, 처방 검사 항목 리스트들로부터 추출된 검사 항목 각각이 후보 검사 세트들로 결정될 수 있다. 이 때, 출현 빈도 수가 낮은 검사 항목의 경우 후보 검사 세트로 결정되지 않을 수 있다. 예를 들어, 어떤 검사 항목이 처방 검사 항목 리스트들에 대해 b회 이하로 출현된 경우 해당 검사 항목은 후보 검사 세트로 결정되지 않을 수 있다.
후보 검사 세트들의 수가 a개 보다 많은 경우 후보 검사 세트들 중 둘 이상의 세트들을 결합하여 후보 검사 세트들의 수를 줄일 수 있다. 이 때, 후보 검사 세트들을 결합하는 방법으로 동시출현 가능성을 이용할 수 있다.
동시출현 가능성은 처방 검사 항목 리스트들에 대해 후보 검사 세트들이 따로 출현하는 확률 대비 후보 검사 세트들이 함께 출현하는 확률을 의미할 수 있다. 동시출현 가능성은 동시출현 판단 값, 판단 값, 확률 값, 또는 기준 값 등으로 다양하게 지칭될 수 있으며, 아래의 수식을 통해 산출될 수 있다.
Figure PCTKR2023006143-appb-img-000001
예를 들어, 후보 검사 세트들 중 임의의 2개의 후보 검사 세트를 선택하는 모든 경우의 수에 대해 동시출현 가능성이 산출될 수 있고, 산출된 동시출현 가능성 중 가장 큰 값을 가지는 2개의 후보 검사 세트들이 하나로 결합할 수 있다.
전술한 후보 검사 세트들을 결합하는 과정은 후보 검사 세트들의 수가 a개 이하가 될 때까지 반복될 수 있다. 예를 들어, 처방 검사 항목 리스트들로부터 추출된 검사 항목들 중 동시출현 가능성이 가장 높은 2개의 검사 항목이 결합되고, 결합된 세트와 나머지 결합되지 않은 검사 항목들 각각이 1차 후보 검사 세트들로 구성될 수 있다. 이후, 또 다시 1차 후보 검사 세트들 중 동시출현 가능성이 가장 높은 2개의 1차 후보 검사 세트들이 결합되고, 결합된 세트와 나머지 결합되지 않은 1차 후보 검사 세트들이 2차 후보 검사 세트들로 구성될 수 있다. 전술한 후보 검사 세트들의 결합이 반복되어 n차 후보 검사 세트들이 결정되었을 때, n차 후보 검사 세트들의 수가 a개 이하인 경우, n차 후보 검사 세트들이 최종 검사 세트들로 결정될 수 있다.
이상에서는 후보 검사 세트들을 결합함에 있어서 동시출현 가능성이 가장 높은 경우의 두 후보 검사 세트들이 결합되는 경우에 대해 서술하였으나, 본 명세서의 기술적 사상이 이에 한정되는 것은 아니며, 동시출현 가능성이 높은 2쌍의 후보 검사 세트 그룹(ex. 1쌍의 후보 검사 세트 그룹에는 2개의 후보 검사 세트가 포함됨)이 각각 하나의 후보 검사 세트로 결합될 수도 있음은 물론이다.
동시출현 가능성은 필요한 총 검사 세트의 수가 제한적이고 후보 검사 세트들의 수가 그보다 많을 때, 어떤 후보 검사 세트들을 합치는 것이 대상 의사의 진료나 검사 처방을 패턴화하는 데에 적합한지 판단하는 척도로 이해될 수 있다.
동시출현 가능성을 산출하는 방법으로 수식(1) 외에 다른 식이 이용될 수도 있다. 예를 들어, 처방 검사 항목 리스트들 중 2개의 후보 검사 세트들이 모두 포함되어 있는 리스트의 개수나 비율 등의 값이 동시출현 가능성으로 산출될 수 있다.
한편, 검사 세트를 결정하는 기준으로, 우도(likelihood)가 고려될 수도 있다.
일 예로, 처방 검사 항목 리스트들로부터 추출된 검사 항목들을 이용하여 후보 검사 세트들을 생성하고, 후보 검사 세트들로부터 우도를 고려하여 실제 상황에서 주로 처방되는 검사 세트들을 결정할 수 있다.
먼저 필요한 검사 세트의 총 개수가 특정될 수 있다. 예를 들어, 필요한 검사 세트의 총 개수는 상술한 a개일 수 있다.
다음으로, 처방 검사 항목 리스트들로부터 a개의 후보 검사 세트들을 생성하는 모든 경우의 수에 대해 우도의 합을 산출하고, 산출된 우도의 합이 가장 큰 a개의 후보 검사 세트들을 최종 검사 세트들로 결정할 수 있다.
여기서, 각 후보 검사 세트의 우도는 후보 검사 세트들의 실제 처방 빈도에 대한 분포가 주어졌을 때, 해당 후보 검사 세트가 처방되는 확률 값을 이용하여 산출될 수 있다. 이 때, 후보 검사 세트들의 실제 처방 빈도에 대한 분포는 처방 검사 항목 리스트들을 이용하여 획득될 수 있다.
검사 세트를 결정하는 기준으로, 출현 횟수를 고려할 수 있다. 구체적으로, 처방 검사 항목 리스트들 중 그 출현 횟수가 상대적으로 많은 처방 검사 항목 리스트들이 검사 세트로 설정될 수 있다.
일 예로, 처방 검사 항목 리스트들 중 출현 횟수가 제3 임계 값 이상인 처방 검사 항목 리스트들이 검사 세트로 결정될 수 있다. 제3 임계 값은 처방 검사 항목 리스트들의 총 개수의 1/5 이상에서 결정될 수 있다. 또는, 제3 임계 값은 처방 검사 항목 리스트들의 총 개수의 1/10 이상에서 결정될 수 있다. 또는 제3 임계 값은 처방 검사 항목 리스트들의 총 개수의 1/20 이상에서 결정될 수 있다. 또는 제3 임계 값은 처방 검사 항목 리스트들의 총 개수의 1/20 이상 1/5 이하에서 결정될 수 있다.
다른 예로, 처방 검사 항목 리스트들 중 출현 횟수가 많은 상위 r개의 처방 검사 항목 리스트들이 검사 세트로 결정될 수 있다. 여기서, r은 5 이상에서 결정될 수 있다. 또는, r은 10 이상에서 결정될 수 있다. 또는, r은 20 이상에서 결정될 수 있다. 또는, r은 5 이상 20 이하에서 결정될 수 있다.
이상에서는 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트를 생성하는 제1 방법과 처방 검사 항목 리스트들을 이용하여 검사 세트를 생성하는 제2 방법에 대해 서술하였다.
검사 세트는 상술한 제1 방법 또는 제2 방법을 이용하여 생성될 수 있으며, 나아가 제1 방법 및 제2 방법을 이용하여도 생성될 수 있다. 예를 들어, 검사 세트는 자주 이용하는 검사 항목 리스트들을 이용하여 생성된 검사 세트들과 처방 검사 항목 리스트들을 이용하여 생성된 검사 세트들을 모두 포함하도록 생성될 수 있다. 이 때, 중복되는 검사 세트들은 삭제될 수 있다.
한편, 검사 세트를 결정함에 있어, 각 검사 세트가 포함하는 검사 항목들의 개수와 결정된 검사 세트의 총 개수는 대상 의사의 진료 방식을 패턴화함에 있어서 그 효율성에 영향을 미칠 수 있다. 예를 들어, 검사 세트의 총 개수가 많아질수록 패턴은 다양화될 수 있으나 그만큼 패턴별로 학습에 필요한 데이터 확보가 어려워질 수 있다. 또한, 검사 세트가 포함하는 검사 항목 수가 많아질수록 면담 기록들을 구분하는 패턴은 명확해질 수 있으나, 마찬가지로 패턴별로 학습에 필요한 데이터 확보가 어려워질 수 있다. 따라서, 검사 세트의 총 개수, 각 검사 세트가 포함하는 검사 항목의 총 개수를 고려하여 검사 세트가 결정될 필요가 있다.
한편, 검사 세트를 생성함에 있어서, 비지도 학습(unsupervised learning)을 이용할 수도 있다. 예를 들어, 진료 기록들의 처방 검사 항목 리스트들에 포함된 검사 항목들을 클러스터링(clustering)하여 검사 세트를 획득할 수 있다. 이 때, 클러스터링 기법으로 스펙트럴 클러스터링(spectral clustering)이 이용될 수 있다.
스펙트럴 클러스터링을 이용하여 검사 세트를 생성하는 과정은 다음과 같이 진행될 수 있다.
먼저, 진료 기록들의 처방 검사 항목 리스트들에 포함된 검사 항목들을 추출하고, 추출된 검사 항목들을 이용하여 유사도 행렬(affinity matrix)을 생성할 수 있다.
여기서, 유사도 행렬은 검사 항목들 각각을 x축, y축에 배치하고, 검사 항목들 사이의 유사도를 산출하여 기록한 행렬을 의미할 수 있다. 검사 항목들 사이의 유사도는 임의의 제1 검사 항목 및 제2 검사 항목이 있을 때, 진료 기록들의 처방 검사 항목 리스트들을 기준으로 제1 검사 항목 및 제2 검사 항목이 함께 처방된 빈도 또는 횟수로 산출될 수 있다.
다음으로, 생성된 유사도 행렬에 기초하여 그래프를 구축할 수 있다. 구축된 그래프에는 검사 항목들 각각이 노드로 표시될 수 있고, 검사 항목들 사이의 유사도가 노드들을 연결하는 엣지(edge) 형태로 표시될 수 있다. 그래프는 전체 노드가 연결된 fully connected graph, ε보다 가까운 엣지들만 표시하는 ε-neighborhood graph, 또는 각 노드 주변 k개 이웃들만 연결한 k-nearest neighbor graph 형태로 구축될 수 있다.
구축된 그래프에서 두 개 이상의 클러스터로 노드들을 구분할 수 있으며, 구분된 각 클러스터의 노드들, 즉, 각 클러스터의 검사 항목들이 하나의 검사 세트로 결정될 수 있다. 여기서, 노드들을 클러스터로 구분하는 방법으로 minimum out 또는 normalized out 등의 기법이 이용될 수 있다.
한편, 이상에서는 스펙트럴 클러스터링 기법을 이용하는 경우에 대해 주로 서술하였으나, 본 명세서의 기술적 사상이 이에 한정되는 것은 아니며, K-평균 클러스터링, 디비스캔(DBSCAN) 클러스터링, 유사도 전파(Affinity Propagation) 클러스터링, 또는 계층적(Hierarchical) 클러스터링 등이 이용될 수도 있다.
메인 서버(2000)는 면담 기록을 분류할 수 있다(S2500).
도 17은 일 실시예에 따른, 검사 세트들과 분류 기준에 따라 면담 기록을 분류하는 방법을 나타내는 도면이다.
면담 기록은 전술한 방법을 통해 결정된 검사 세트들과 분류 기준을 이용하여 분류될 수 있다.
도 17을 참고하면, 진료 기록들 각각의 면담 기록이 여러 패턴들 중 어느 하나로 분류될 수 있다. 여기서, 각 패턴들은 결정된 검사 세트들 각각에 대응되는 것으로 이해될 수 있다. 예를 들어, 제1 패턴은 제1 검사 세트에 대응되고, 제2 패턴은 제2 검사 세트에 대응될 수 있다.
기본적으로, 진료 기록의 면담 기록은 진료 기록의 처방 검사 항목 리스트와 동일한 검사 세트에 대응되는 패턴으로 분류될 수 있다. 예를 들어, 도 15 내지 도 17을 참고하면, 제1 진료 기록의 제1 처방 검사 항목 리스트가 검사A, 검사B, 검사C, 검사D, 및 검사E를 포함하고, 제1 검사 세트가 마찬가지로 검사A, 검사B, 검사C, 검사D, 및 검사E를 포함할 때, 제1 진료 기록의 제1 면담 기록은 제1 검사 세트에 대응되는 제1 패턴으로 분류될 수 있다.
한편, 진료 기록의 처방 검사 항목 리스트와 동일한 검사 세트가 없는 경우, 그 진료 기록의 면담 기록은 '패턴 없음' 으로 분류될 수 있다. 이와 같이 패턴 없음으로 분류되는 경우, 특정 면담 기록에 '패턴 없음'이 라벨링된 학습 데이터 세트가 생성될 수 있으며, 이를 통해 학습된 패턴 분류 모델(2130) 역시 '패턴 없음'을 출력할 수 있게 된다. '패턴 없음'이 출력되는 경우 대상 의사는 새로이 처방해야 할 검사 항목을 결정할 수 있으므로, 잘못된 후보 검사 항목들이 출력되어 검사 처방이 잘못되는 것이 방지될 수 있다.
또는, 진료 기록의 처방 검사 항목 리스트와 동일한 검사 세트가 없는 경우, 그 진료 기록의 면담 기록은 학습에 이용하지 않을 수 있다.
또는, 진료 기록의 처방 검사 항목 리스트와 동일한 검사 세트가 없는 경우, 처방 검사 항목 리스트와 각 검사 세트 사이의 유사성이 고려될 수 있다.
구체적으로, 진료 기록의 처방 검사 항목 리스트에 포함된 검사 항목들과 각 검사 세트들에 포함된 검사 항목들 사이의 유사성을 비교하고, 가장 유사한 검사 세트로 진료 기록의 면담 기록이 분류될 수 있다.
처방 검사 항목 리스트와 검사 세트를 비교할 때, 처방 검사 항목 리스트에 포함된 검사 항목들이 검사 세트에 많이 포함될수록 그 유사성이 큰 것으로 이해될 수 있다. 또한, 검사 세트에 포함된 검사 항목들 중 처방 검사 항목 리스트에는 포함되지 않은 검사 항목들의 개수가 적을수록 그 유사성이 큰 것으로 이해될 수 있다.
다시 말해, 진료 기록의 면담 기록이 특정 패턴 또는 그에 대응되는 검사 세트로 라벨링되는 경우, 검사 세트들 중 특정 패턴에 대응되는 검사 세트가 진료 기록의 처방 검사 항목 리스트에 포함된 검사 항목들 중 가장 많은 검사 항목들을 포함하고 있는 것으로 이해될 수 있다.
예를 들어, 도 15 내지 도 17을 참고하면, 제4 진료 기록의 제4 처방 검사 항목 리스트가 검사A, 검사B, 검사C, 검사I, 검사J를 포함하고, 제1 검사 세트는 검사A, 검사B, 검사C, 검사D, 검사E를 포함하고, 제3 검사 세트는 검사A, 검사B, 검사C, 검사I, 검사J, 검사P를 포함할 때, 제4 처방 검사 항목 리스트와 제3 검사 세트가 공통적으로 포함하는 검사 항목들의 수가 제4 처방 검사 항목 리스트와 제1 검사 세트가 공통적으로 포함하는 검사 항목들의 수 보다 많다. 따라서, 제4 처방 검사 항목 리스트는 제1 검사 세트 보다는 제3 검사 세트와 유사성이 높고, 다른 검사 세트들을 고려하더라도 제3 검사 세트와의 유사성이 가장 높으므로, 제4 진료 기록의 제4 면담 기록은 제3 검사 세트에 대응되는 제3 패턴으로 분류될 수 있다.
한편, 진료 기록의 처방 검사 항목 리스트에 포함된 검사 항목들을 가장 많이 포함하고 있는 검사 세트가 복수 개일 수 있다. 이 경우, 각 검사 세트가 포함하는 검사 항목의 개수 및/또는 처방 검사 항목 리스트에 포함된 검사 항목의 개수가 고려될 수 있다.
일 예로, 도 15 및 도 16을 참고하면, 제2 진료 기록의 제2 처방 검사 항목 리스트는 검사A, 검사B, 검사C, 검사D, 검사E, 검사F를 포함하고, 제1 검사 세트는 검사A, 검사B, 검사C, 검사D, 검사E를 포함하며, 제5 검사 세트는 검사A, 검사B, 검사C, 검사D, 검사E, 검사K, 검사L을 포함할 수 있다. 이 때, 제1 검사 세트 및 제5 검사 세트 모두 제2 처방 검사 항목 리스트와 공통되는 검사 항목들의 개수가 5개이다.
이 경우, 해당 진료 기록의 면담 기록은 포함하는 검사 항목의 개수가 많은 검사 세트 또는 그에 대응하는 패턴으로 분류될 수 있다. 예를 들어, 도 17을 참고하면 전술한 제2 진료 기록의 제2 면담 기록은 제1 검사 세트 및 제5 검사 세트 중 포함하는 검사 항목 수가 더 많은 제5 검사 세트에 대응하는 제5 패턴으로 분류될 수 있다.
이처럼, 면담 기록이 검사 항목 수가 상대적으로 많은 검사 세트로 분류되는 것은 환자가 받아야할 검사 항목이 혹여나 누락되는 것을 방지하기 위한 것으로 이해될 수 있다. 또한, 전술한 검증 과정에서 대상 의사가 누락된 검사 항목을 추가하는 것 보다는 불필요한 검사 항목을 삭제하는 것이 편의성 측면에서 이점이 있을 수 있다.
다만, 상술한 것과는 반대로 면담 기록이 검사 항목 수가 상대적으로 적은 검사 세트로 분류될 수도 있음은 물론이다.
다른 예로, 도 15 및 도 16을 참고하면, 제6 진료 기록의 제6 처방 검사 항목 리스트가 검사A, 검사B, 검사C, 검사D를 포함하고, 제1 검사 세트는 검사A, 검사B, 검사C, 검사D, 검사E를 포함하며, 제5 검사 세트는 검사A, 검사B, 검사C, 검사D, 검사E, 검사K, 검사L을 포함할 수 있다. 이 때, 제1 검사 세트 및 제5 검사 세트 모두 제6 처방 검사 항목 리스트와 공통되는 검사 항목들의 개수가 4개이다.
이 경우, 각 검사 세트에 포함된 검사 항목의 수가 모두 처방 검사 항목 리스트에 포함된 검사 항목들의 수 보다 많으며, 면담 기록은 포함하는 검사 항목의 수가 보다 적은 검사 세트 또는 그에 대응하는 패턴으로 분류될 수 있다. 예를 들어, 도 17을 참고하면 전술한 제6 진료 기록의 제6 면담 기록은 제1 검사 세트 및 제5 검사 세트 중 포함하는 검사 항목 수가 더 적은 제1 검사 세트에 대응하는 제1 패턴으로 분류될 수 있다.
이처럼, 면담 기록이 검사 항목 수가 상대적으로 적은 검사 세트로 분류되는 것은 환자가 받아야할 검사 항목이 불필요하게 늘어나는 것을 방지하기 위한 것으로 이해될 수 있다.
다만, 상술한 것과는 반대로 면담 기록이 검사 항목 수가 상대적으로 많은 검사 세트로 분류될 수도 있음은 물론이다.
한편, 하나의 면담 기록은 두 개 이상의 검사 세트 또는 패턴으로 분류될 수도 있다. 예를 들어, 진료 기록의 처방 검사 항목 리스트가 두 개의 검사 세트에 포함된 검사 항목들의 합집합인 경우, 해당 진료 기록의 면담 기록은 두 개의 검사 세트 각각 또는 각각에 대응되는 두 개의 패턴으로 분류될 수 있다.
메인 서버(2000)는 분류된 면담 기록에 대해 라벨링을 수행할 수 있다(S2700).
학습 데이터 세트는 면담 기록 및 검사 세트를 이용하여 생성될 수 있다. 예를 들어, 학습 데이터 세트는 면담 기록에 해당 면담 기록이 분류된 검사 세트(또는 그에 대응하는 패턴)가 라벨링되어 생성될 수 있다.
학습 데이터 세트는 패턴 분류 모델(2130)의 입력 데이터 형태와 출력 데이터 형태를 고려하여 생성될 수 있다.
일 예로, 도 8에서 서술한 바와 같이 패턴 분류 모델(2130)에 면담 기록이 가공된 모델 입력 데이터가 입력되고, 패턴 분류 모델(2130)에서 패턴 데이터가 출력될 수 있다.
이 경우, 학습 데이터 세트는 면담 기록을 가공한 모델 입력 데이터에 해당 면담 기록이 분류된 패턴을 지시하는 패턴 데이터가 라벨링되어 생성될 수 있다. 또는, 학습 데이터 세트는 면담 기록을 가공한 모델 입력 데이터에 각 패턴의 확률 값들(ex. 해당 면담 기록이 분류된 패턴은 1, 나머지는 0)을 라벨링하여 생성될 수 있다.
다른 예로, 패턴 분류 모델(2130)에 모델 입력 데이터가 입력되고 패턴 분류 모델(2130)로부터 검사 세트가 출력되는 경우, 학습 데이터 세트는 면담 기록을 가공한 모델 입력 데이터에 해당 면담 기록이 분류된 검사 세트가 라벨링되어 생성될 수 있다.
전술한 바와 같이 면담 기록에는 패턴이 라벨링될 수도, 검사 세트가 라벨링될 수도 있으나, 결과적으로 대상 의사에게 제공되는 것은 검사 세트 또는 그 검사 세트에 포함된 검사 항목들인 것으로 이해될 수 있다.
구체적으로, 면담 기록에 패턴을 라벨링하여 학습 데이터 세트를 생성하는 경우, 이를 통해 학습된 패턴 분류 모델(2130)의 출력 형태는 특정 패턴이 되고 대상 의사에게는 출력된 특정 패턴에 대응되는 검사 세트 또는 그 검사 세트가 포함하는 검사 항목들이 제공될 것이다. 또한, 면담 기록에 검사 세트를 라벨링하여 학습 데이터 세트를 생성하는 경우, 이를 통해 학습된 패턴 분류 모델(2130)의 출력 형태는 특정 검사 세트가 되어 대상 의사에게는 마찬가지로 검사 세트 또는 그 검사 세트가 포함하는 검사 항목들이 제공될 것이다.
또 다른 예로, 도 10에서 서술한 바와 같이 패턴 분류 모델(2130)에 모델 입력 데이터가 입력되고 패턴 분류 모델(2130)에서 검사 항목들이 출력될 수 있다. 이 경우 학습 데이터 세트는 면담 기록을 가공한 모델 입력 데이터에 해당 면담 기록이 분류된 검사 세트에 포함된 검사 항목들이 라벨링되어 생성될 수 있다. 또는, 학습 데이터 세트는 면담 기록을 가공한 모델 입력 데이터에 해당 면담 기록이 분류된 검사 세트에 포함된 검사 항목들 각각이 라벨링되어 생성될 수 있으며, 면담 기록 하나에 대해 복수 개의 학습데이터 세트가 생성될 수 있다.
이하에서는 도 18 내지 20을 참고하여 패턴 분류 모델(2130) 생성에 이용되는 인공 신경망 모델에 대해 서술한다.
도 18 및 도 19는 일 실시예에 따른 패턴 분류 모델(2130)의 구조를 나타내는 도면이다.
도 20은 일 실시예에 따른 패턴 분류 모델(2130)을 구성하는 인코더의 구조를 나타내는 도면이다.
자연어 처리(NLP: natural language processing) 기술에는 다양한 인공 신경망 모델이 이용된다. 예를 들어, 전술한 바와 같이 CNN, RNN, LSTM, Seq2seq, Transformer, BERT, 또는 GPT-3 등이 이용될 수 있다.
패턴 분류 모델(2130)은 학습 데이터 세트들로 상술한 인공 신경망 모델들 중 어느 하나를 학습시켜 생성될 수 있다.
한편, 학습을 위한 데이터 양이 부족한 경우 인공 신경망을 처음부터 학습시키기 보다는, 이미 다른 데이터로 학습되어 있는 인공 신경망을 수집된 데이터로 학습시키는 방법이 보다 효율적일 수 있다. 예를 들어, 상술한 인공 신경망 모델 중 BERT는 트랜스포머를 이용하여 구현되었으며, 방대한 양의 레이블 없는 텍스트 데이터로 사전 훈련된 언어 모델이다. 사전 학습된 BERT에 별도의 신경망을 추가하고, 수집된 데이터로 추가 학습시켜 BERT의 파라미터들을 재조정하는 파인 튜닝(fine-tunning)을 통해 원하는 입출력 형태를 가지는 자연어 처리 모델이 생성될 수 있다. 다른 예를 들어, GPT-3 역시 마찬가지로 수천억 개의 데이터 세트들을 이용하여 학습되었으며, 파인 튜닝을 통해 원하는 입출력 형태를 가지는 모델 생성에 활용될 수 있다.
패턴 분류 모델(2130)은 사전 학습된 모델을 이용하여 생성될 수 있으며, 이 때 사전 학습된 모델을 베이스 모델(base model)이라 한다.
한편, 전이 학습(transfer learning)을 이용하여 베이스 모델을 학습시켜 패턴 분류 모델(2130)을 구현할 수도 있다.
일 예로, 패턴 분류 모델(2130)을 생성함에 있어서 BERT가 베이스 모델로 이용될 수 있다. 도 18을 참고하면, 패턴 분류 모델(2130)은 복수의 입력단을 가지고 사전 학습된 BERT 모델에 분류기(classifier)가 결합된 구조를 가질 수 있다. 여기서, 분류기는 피드포워드 레이어(feed forward layer) 및 소프트맥스(softmax) 함수를 포함할 수 있다.
BERT는 복수 개의 인코더(encoder)를 포함하고 있으며, 각 인코더는 트랜스포머의 인코더와 그 구조가 동일하다. 예를 들어, 도 20을 참고하면, BERT는 N개의 인코더를 포함하고, 각 인코더는 멀티 헤드 어텐션 레이어(multi-head attention layer)와 포지션-와이즈 피드 포워드 레이어(position-wise feed forward layer)를 포함할 수 있다.
멀티 헤드 어텐션 레이어는 복수의 셀프 어텐션이 병렬적으로 연결되어 있으며, 각 셀프 어텐션 레이어에서는 입력된 값이 다른 셀프 어텐션 레이어에 입력되는 값들에 대해 가지는 가중치가 산출될 수 있다.
포지션-와이즈 피드 포워드 레이어는 완전 연결 레이어(fully-connected layer)의 역할을 수행할 수 있고, 다음 인코더에 입력되기 위한 값들이 산출될 수 있다.
패턴 분류 모델(2130)의 입출력 형태에 따라 활용되는 BERT의 입출력 형태 역시 달라질 수 있다.
도 18을 참고하면, 패턴 분류 모델(2130)은 면담 기록을 가공한 모델 입력 데이터를 입력 받아 각 패턴에 대한 확률 값을 출력하는 구조를 가질 수 있다. 패턴 분류 모델(2130)은 전술한 학습 데이터 세트들을 학습할 수 있다. 여기서 학습 데이터 세트들은 예를 들어, 제1 면담 기록을 가공한 데이터에 제1 패턴이 라벨링된 제1 학습 데이터 세트 및 제2 면담 기록을 가공한 데이터에 제2 패턴이 라벨링된 제2 학습 데이터 세트 등이 포함될 수 있다.
도 19를 참고하면, 면담 기록의 문장들 또는 문단들이 구분되어 BERT에 입력될 수 있으며, BERT에서 출력되는 값들은 피드포워드 레이어를 통해 특정 검사 항목에 대응되는 값일 수 있다.
패턴 분류 모델(2130)을 생성함에 있어서 BERT 모델 외에 다른 모델을 베이스 모델로 이용하는 것도 가능하다. 예를 들어, 패턴 분류 모델(2130)을 생성함에 있어서 GPT-3가 베이스 모델로 이용될 수도 있다.
이상에서는 패턴 분류 모델(2130)의 구현 방법에 대해 서술하였다. 패턴 분류 모델(2130)은 의사 개개인의 진료 패턴을 고려하여 면담 기록을 입력 받아 검사 세트 또는 패턴에 관한 데이터를 출력하는 것을 목적으로 한다.
패턴 분류 모델(2130)은 의사 개개인별로 다르게 구현될 수 있다. 구체적으로, 패턴 분류 모델(2130)을 학습시키기 위한 학습 데이터 세트들은 의사 개개인의 진료 기록을 고려하여 생성되는 바, 제1 의사에 대한 제1 패턴 분류 모델과 제2 의사에 대한 제2 패턴 분류 모델은 동일한 데이터를 입력 받더라도 그 출력이 다를 수 있다.
패턴 분류 모델(2130)은 전술한 바와 같이 메인 서버(2000)에서 구현될 수 있다. 구체적으로, 메인 서버(2000)는 EMR 서버(3000) 및/또는 병원 서버(4000)로부터 대상 의사의 진료 기록들을 획득하고, 학습 데이터 세트 생성 및 모델 학습을 통해 패턴 분류 모델(2130)을 생성할 수 있다.
한편, 학습 데이터 세트의 생성은 메인 서버(2000) 외의 다른 서버 또는 처방 보조 시스템(10)에 포함되지 않은 외부의 학습 서버에서 수행될 수 있다. 이 때, 메인 서버(2000)는 다른 서버 또는 외부의 학습 서버로부터 학습 데이터를 획득하여 패턴 분류 모델(2130)을 학습시킬 수 있다. 또는, 다른 서버 또는 외부의 학습 서버에서 패턴 분류 모델(2130)이 학습되어 메인 서버(2000)에 제공될 수 있다.
이상에서는 패턴 분류 모델(2130)을 이용함에 있어 면담 기록을 이용하는 방식에 대해 주로 서술하였으나, 본 개시의 기술적 사상이 이에 한정되는 것은 아니며, 면담 기록 대신 면담 내용을 녹음한 음향 데이터 자체가 이용될 수도 있다. 구체적으로, 패턴 분류 모델(2130)은 면담 내용을 녹음한 음향 데이터를 가공한 데이터를 입력 받아 검사 세트가 출력되도록 학습될 수 있으며, 그 과정에서 전술한 면담 기록을 이용하는 방식이 유사하게 적용될 수 있다.
[유사도 기반 분류 모델 이용]
이상에서는 면담 기록의 패턴을 분류하는 방법으로, 학습 데이터 세트들을 이용하여 딥러닝 모델을 학습시키는 방법에 대해 서술하였다.
한편, 패턴 분류는 후술하는 바와 같이 문서 분류(text categorization or document classification(clustering)) 기법과 유사도 측정 방법을 활용하여 구현될 수도 있다. 이하에서는 메인 서버(2000)가 유사도 기반 분류 모델을 포함하고, 유사도 기반 분류 모델이 면담 기록의 패턴을 분류하는 경우에 대해 서술한다.
유사도 기반 분류 모델은 패턴 분류 모델(2130)을 대신하여 면담 기록의 패턴을 분류할 수 있다. 따라서, 앞서 처방 보조 방법에서 서술한 면담 기록을 획득하는 과정, 후보 검사 항목들을 출력하는 과정, 후보 검사 항목들을 검증하는 과정, 데이터 전송 및 저장하는 과정 등이 그대로 적용될 수 있다. 다만, 면담 기록을 전처리하는 과정인 토큰화 과정 또는 임베딩 과정의 적어도 일부가 생략되거나 변형될 수 있다.
한편, 유사도 기반 분류 모델은 패턴 분류 모델(2130)과 함께 이용될 수도 있다.
유사도 기반 분류 모델은 패턴 분류 모델(2130)과 마찬가지로 면담 기록을 입력 받아 검사 세트 또는 패턴에 관한 데이터를 출력할 수 있다.
유사도 기반 분류 모델은 입력 받은 면담 기록을 벡터화할 수 있다. 예를 들어, 유사도 기반 분류 모델은 입력 받은 면담 기록을 벡터화하여 면담 벡터를 획득할 수 있다.
면담 기록을 벡터화하는 방법으로는 면담 기록 전체가 벡터화되는 Doc2Vec 패키지가 이용될 수 있다. 또는, 유사도 기반 분류 모델은 면담 기록 내 단어/문장/문단 등을 Word2Vec/Sent2Vec/Paragraph2Vec 등을 이용하여 벡터화하고, 그 평균 벡터를 면담 벡터로 획득할 수도 있다.
유사도 기반 분류 모델은 면담 벡터에 대해 미리 저장된 패턴 벡터들과의 유사도를 산출할 수 있다.
여기서, 패턴 벡터들은 대상 의사의 진료 패턴을 벡터로 나타낸 것으로 이해될 수 있다. 패턴 벡터들 각각은 특정 패턴에 대응될 수 있다. 예를 들어, 제1 패턴 벡터는 제1 패턴에 대응될 수 있다.
패턴 벡터들은 대상 의사의 진료 기록들에 기초하여 생성될 수 있다. 패턴 벡터들이 생성되는 방법에 대해서는 후술하도록 한다.
유사도는 두 벡터가 유사한 정도를 나타내는 척도로 이해될 수 있다. 유사도는 코사인 유사도(cosine similarity), 유클리드 거리(Euclidean distance), 자카드 유사도(Jaccard similarity), 또는 레벤슈타인 거리(Levenshtein distance) 등으로 산출될 수 있다.
유사도 기반 분류 모델은 면담 벡터와 패턴 벡터들 사이의 유사도에 기초하여 면담 기록의 패턴을 결정할 수 있다. 구체적으로, 유사도 기반 분류 모델은 패턴 벡터들 중 면담 벡터와의 유사도가 가장 높은 패턴 벡터에 대응되는 패턴을 면담 기록의 패턴으로 결정할 수 있다.
패턴 벡터는 대상 의사의 진료 기록들을 이용하여 생성될 수 있다.
먼저, 대상 의사의 진료 기록들의 면담 기록들이 미리 설정된 기준으로 클러스터링(clustering)될 수 있다.
일 예로, 대응하는 처방 검사 항목 리스트가 동일한 면담 기록들은 동일한 그룹으로 클러스터링될 수 있다. 구체적으로, 제1 진료 기록의 제1 처방 검사 항목 리스트에 포함된 검사 항목들과 제2 진료 기록의 제2 처방 검사 항목 리스트에 포함된 검사 항목들이 동일한 경우, 제1 진료 기록의 제1 면담 기록 및 제2 진료 기록의 제2 면담 기록은 동일한 그룹으로 클러스터링될 수 있다.
다른 예로, 대응하는 처방 검사 항목 리스트가 동일하거나 유사 조건을 만족하는 경우 면담 기록들은 동일한 그룹으로 클러스터링될 수 있다. 구체적으로, 제1 진료 기록의 제1 처방 검사 항목 리스트에 포함된 검사 항목들과 제2 진료 기록의 제2 처방 검사 항목 리스트에 포함된 검사 항목들을 비교할 때, 서로 포함하지 않는 검사 항목의 수가 미리 설정된 개수 이하인 경우 제1 진료 기록의 제1 면담 기록 및 제2 진료 기록의 제2 면담 기록은 동일한 그룹으로 클러스터링될 수 있다.
한편, 면담 기록들을 클러스터링하는 과정에서, 전술한 검사 세트 결정 방법 및 면담 기록 분류 방법이 이용될 수도 있다. 예를 들어, 도 14에서 서술한 자주 이용하는 검사 항목 리스트들 각각을 하나의 그룹으로 규정하고, 진료 기록의 처방 검사 항목 리스트에 기초하여 진료 기록의 면담 기록을 특정 그룹으로 분류할 수 있다. 다른 예를 들어, 도 16에서 서술한 바와 같이 처방 검사 항목 리스트들로부터 추출된 검사 항목들을 이용하여 검사 세트들을 생성하고, 검사 세트들 각각을 하나의 그룹으로 규정하고, 진료 기록의 처방 검사 항목 리스트를 고려하여 진료 기록의 면담 기록을 특정 그룹으로 분류할 수 있다. 면담 기록을 분류하는 방법은 도 15 내지 도 17에서 서술한 바, 생략하도록 한다.
클러스터링된 면담 기록들로부터 해당 그룹의 패턴 벡터가 산출될 수 있다. 예를 들어, 동일한 그룹의 면담 기록들을 벡터화하여 면담 벡터들을 획득하고, 획득된 면담 벡터들의 평균 값이 패턴 벡터로 획득될 수 있다.
[추가 검사 모델 이용]
이상에서는, 면담 기록으로부터 검사 세트를 획득하는 방법에 대해 서술하였다.
전술한 바와 같이, 의사의 진료 패턴이 고려된 검사 세트 또는 검사 세트에 포함된 검사 항목들이 처방 보조 정보로 제공되는 경우, 개별 검사 항목을 예측하는 것과 비교할 때, 학습에 이용되는 데이터는 상대적으로 적으면서도 제공되는 처방 보조 정보의 정확도는 높을 수 있다.
다만, 의사의 진료 패턴을 고려하여 검사 세트를 처방 보조 정보로 제공하는 것은 처방되는 빈도가 상대적으로 높은 검사 세트만을 출력하게 되어, 처방되는 빈도가 상대적으로 낮은 개별 검사 항목들의 경우 처방 보조 정보에서 누락되어 의사가 직접 해당 검사 항목을 추가해야 하는 불편함이 발생한다.
이하에서는 도 21 내지 도 23을 참고하여, 상술한 불편함을 해소하기 위해 검사 세트에 더하여 추가 검사 항목을 예측하여 보다 정확도 높은 처방 보조 정보를 제공하는 방법에 대해 서술한다.
도 21은 일 실시예에 따른 기본 검사 모델 및 추가 검사 모델을 이용하는 방법을 나타내는 도면이다.
도 22는 일 실시예에 따른 추가 검사 모델의 출력 형태를 나타내는 도면이다.
메인 서버(2000)는 기본 검사 모델 및 추가 검사 모델을 이용하여 처방 보조 정보를 획득할 수 있다. 예를 들어, 도 21를 참고하면 메인 서버(2000)는 모델 입력 데이터를 기본 검사 모델에 입력하여 기본 검사 세트를 획득하고, 모델 입력 데이터를 추가 검사 모델에 입력하여 추가 검사 항목을 획득하며, 기본 검사 세트에 포함된 검사 항목들과 추가 검사 항목을 후보 검사 항목들로 획득할 수 있다.
여기서, 기본 검사 모델은 앞서 서술했던 패턴 분류 모델(2130)과 동일한 모델로 이해될 수 있다. 다시 말해, 기본 검사 모델은 모델 입력 데이터를 입력 받아 검사 세트 또는 검사 세트에 대응되는 패턴 데이터를 출력할 수 있다.
이하에서는 설명의 편의를 위해 기본 검사 모델을 통해 획득된 검사 세트를 '기본 검사 세트'라 하고, 기본 검사 세트에 포함된 검사 항목을 '기본 검사 항목'이라 한다. 또한, 기본 검사 모델에 대해서는 패턴 분류 모델(2130)에 대한 설명이 그대로 적용될 수 있는 바 생략하고, 추가 검사 모델에 대해 보다 구체적으로 서술한다.
추가 검사 모델은 면담 기록 또는 면담 기록을 가공한 데이터를 입력 받아 추가 검사 항목을 출력할 수 있다. 예를 들어, 도 21을 참고하면, 추가 검사 모델은 모델 입력 데이터를 입력 받아 추가 검사 항목을 출력할 수 있다. 다른 예를 들어, 도 22를 참고하면, 추가 검사 모델은 모델 입력 데이터를 입력 받아 복수의 검사 항목들에 대한 확률 값들을 출력할 수 있고, 가장 높은 확률 값을 가지는 검사 항목이 추가 검사 항목으로 획득될 수 있다. 또 다른 예를 들어, 추가 검사 모델은 추가 검사 세트를 출력하고, 추가 검사 세트에 포함된 검사 항목들이 추가 검사 항목들로 획득될 수도 있다.
추가 검사 모델에 입력되는 데이터는 기본 검사 모델에 입력되는 데이터와 동일할 수 있다. 예를 들어, 도 21에 도시된 바와 같이 기본 검사 모델 및 추가 검사 모델에 입력되는 데이터는 면담 기록을 가공한 모델 입력 데이터일 수 있다.
한편, 추가 검사 모델에 입력되는 데이터는 기본 검사 모델에 입력되는 데이터와 다를 수도 있다.
추가 검사 항목은 기본 검사 항목들 이외의 검사 항목으로 이해될 수 있다. 여기서, 기본 검사 항목들은 전술한 바와 같이 기본 검사 모델에서 출력된 검사 세트에 포함된 검사 항목들이다. 다시 말해, 추가 검사 항목은 의사가 과거에 환자들에 대해 처방했던 검사 항목들 전체 중 기본 검사 항목들을 제외한 나머지 검사 항목들에 포함된다.
여기서, 기본 검사 항목들을 포함하는 검사 세트는 기본 검사 모델 또는 패턴 분류 모델(2130)에서 서술한 검사 세트들을 의미할 수 있다. 예를 들어, 기본 검사 항목들을 포함하는 검사 세트는 도 14에서 서술한 자주 이용하는 검사 항목 리스트 또는 도 16에서 서술한 처방 검사 항목 리스트들로부터 생성된 검사 세트를 의미할 수 있다.
한편, 추가 검사 항목에는 전술한 검사 세트 결정하는 방법에서, 이용되지 않은 검사 항목이 포함될 수 있다. 구체적으로, 도 16에서 서술한 바와 같이 처방 검사 항목 리스트들로부터 검사 항목들이 추출되어 후보 검사 세트가 결정되는 과정에서 출현 빈도가 낮은 일부 검사 항목의 경우 후보 검사 세트로 결정되지 않을 수 있다. 후보 검사 세트로 결정되지 않은 검사 항목들이 추가 검사 항목에 포함될 수 있다.
추가 검사 모델은 딥러닝 알고리즘을 이용하여 구현될 수 있다. 딥러닝 알고리즘으로 CNN, RNN, LSTM, Seq2seq, Transformer, BERT, 또는 GPT-3 등이 이용될 수 있다. 추가 검사 모델은 전술한 패턴 분류 모델(2130)을 구현하는 방법과 유사하게 구현될 수 있다. 예를 들어, 추가 검사 모델은 BERT를 베이스 모델로 하여 학습 데이터 세트를 학습시켜 생성할 수 있다. 이 때, 추가 검사 모델을 학습시키기 위한 학습 데이터 세트는 패턴 분류 모델(2130)을 학습시키기 위한 학습 데이터 세트와 다를 수 있다.
추가 검사 모델을 학습시키기 위한 학습 데이터 세트는 면담 기록 및 추가 검사 항목을 이용하여 생성될 수 있다.
도 23은 일 실시예에 따른 추가 검사 모델의 학습 데이터 세트를 생성하는 방법을 나타내는 순서도이다.
도 23을 참고하면, 추가 검사 모델을 위한 학습 데이터 생성 방법은 데이터를 수집하는 단계(S3100), 검사 세트를 결정하는 단계(S3300), 면담 기록을 분류하는 단계(S3500), 추가 검사 항목을 결정하는 단계(S3700), 및 면담 기록에 추가 검사 항목을 라벨링하는 단계(S3900)를 포함할 수 있다.
데이터를 수집하는 단계(S3100), 검사 세트를 결정하는 단계(S3300), 및 면담 기록을 분류하는 단계(S3500)는 도 13에서 서술한 단계 S2100, 단계 S2300, 단계 S2500와 각각 동일한 바, 중복되는 설명은 생략하도록 한다.
메인 서버(2000)는 추가 검사 항목을 결정할 수 있다(S3700).
추가 검사 항목은 면담 기록, 면담 기록이 분류된 패턴 또는 검사 세트, 및/또는 면담 기록에 대응하는 처방 검사 항목 리스트에 기초하여 결정될 수 있다. 예를 들어, 제1 진료 기록의 제1 면담 기록이 제1 검사 세트로 분류된 경우, 제1 검사 세트에 포함된 기본 검사 항목들 중 제1 진료 기록의 제1 처방 검사 항목 리스트에 포함된 검사 항목들을 제외한 검사 항목(들)이 추가 검사 항목(들)로 결정될 수 있다.
추가 검사 항목은 면담 기록에 대하여 개별적으로 결정될 수 있다. 또한, 추가 검사 항목은 면담 기록이 분류된 검사 세트와 면담 기록에 대응하는 처방 검사 항목 리스트가 동일하지 않은 경우 획득된다.
메인 서버(2000)는 면담 기록에 추가 검사 항목을 라벨링할 수 있다(S3900).
학습 데이터 세트는 면담 기록 또는 면담 기록을 가공한 데이터에 면담 기록에 대해 결정된 추가 검사 항목이 라벨링되어 생성될 수 있다. 만약, 면담 기록에 대응되는 추가 검사 항목이 복수 개인 경우, 해당 면담 기록에는 추가 검사 항목들을 포함하는 추가 검사 세트가 라벨링되어 학습 데이터 세트가 생성될 수 있다. 또는, 추가 검사 항목이 복수 개인 경우, 면담 기록에 대해 각각의 추가 검사 항목이 라벨링되어 복수 개의 학습 데이터 세트가 생성될 수 있다.
학습 데이터 세트는 전술한 추가 검사 모델의 출력 형태에 따라 다르게 구성될 수 있다.
한편, 추가 검사 항목은 미리 설정된 조건을 만족하는 경우 결정될 수도 있다. 예를 들어, 전술한 방법에 따라 대상 의사의 처방 검사 항목 리스트들에 포함된 검사 항목들 중 기본 검사 항목들을 제외하여 후보 추가 검사 항목들을 획득했을 때, 그 출현 횟수가 미리 설정된 횟수 이상인 후보 추가 검사 항목만 추가 검사 항목으로 결정될 수 있다.
여기서, 미리 설정된 횟수는 1회 내지 5회 이하에서 결정될 수 있다. 또는, 미리 설정된 횟수는 학습 데이터 세트를 생성하는 데에 이용된 처방 검사 항목 리스트들 총 개수의 5% 이하에서 결정될 수 있다.
전술한 바와 같이 미리 설정된 조건을 만족하는 경우에만 추가 검사 항목을 결정하는 경우, 극히 낮은 빈도로 처방되는 검사 항목으로 인하여 발생할 수 있는 추가 검사 모델의 예측 정확도 저하의 문제가 미연에 방지될 수 있다.
한편, 추가 검사 모델은 복수 개일 수 있다.
도 24는 일 실시예에 따른 복수의 추가 검사 모델이 이용되는 경우를 나타내는 도면이다.
도 24를 참고하면, 모델 입력 데이터는 복수의 추가 검사 모델에 각각 입력되고, 추가 검사 모델들 각각은 특정 추가 검사 항목의 필요 여부에 대한 값을 출력할 수 있다.
예를 들어, 제1 추가 검사 모델은 모델 입력 데이터를 입력 받아 제1 추가 검사 항목의 필요 여부에 관한 값을 출력할 수 있고, 제2 추가 검사 모델은 모델 입력 데이터를 입력 받아 제2 추가 검사 항목의 필요 여부에 관한 값을 출력할 수 있으며, 제1 추가 검사 항목과 제2 추가 검사 항목은 서로 다른 검사 항목이다.
이 때, 각 추가 검사 모델은 추가 검사 항목과 그 추가 검사 항목에 대응하는 면담 기록을 포함하는 학습 데이터 세트로 학습될 수 있다. 예를 들어, 제1 추가 검사 모델은 제1 추가 검사 모델은 제1 추가 검사 항목을 포함하는 학습 데이터 세트들로 학습될 수 있다.
상술한 바와 같이 추가 검사 모델을 복수 개 사용하는 경우, 하나의 모델에서 하나의 추가 검사 항목의 필요성을 예측할 수 있는 점에서 보다 정확도가 향상될 수 있다.
메인 서버(2000)에서 추가 검사 모델은 미리 설정된 조건이 만족된 경우에만 이용될 수도 있다. 예를 들어, 패턴 분류 모델(2130)에서 출력된 값에 기초하여 추가 검사 모델의 이용 여부가 결정될 수 있다. 구체적으로, 도 8에서 서술한 바와 같이 패턴 분류 모델(2130)에서 특정 패턴을 지시하는 확률 값이 출력될 때, 출력되는 확률 값이 미리 설정된 값 이하인 경우에만 추가 검사 모델을 이용하여 추가 검사 항목을 획득할 수 있다.
전술한 조건부 추가 검사 모델의 이용은 패턴 분류 모델(2130)에서 특정 패턴임을 지시하는 확률 값을 출력하는 경우, 그 확률 값은 패턴 분류 모델(2130)에 입력된 면담 기록이 해당 패턴일 확률로 이해될 수 있고, 만약 그 확률이 충분히 높은 경우 추가 검사 모델을 이용하는 것이 불필요한 점을 고려하였다. 다만, 추가 검사 모델이 반드시 조건부로 이용되어야 하는 것은 아니다.
[처방 보조 방법 수행 주체 및 그 변형]
이하에서는 도 25를 참고하여, 전술한 처방 보조 시스템(10)의 구성들 사이의 데이터 송수신 관계에 대해 서술한다.
도 25는 일 실시예에 따른 처방 보조 시스템(10)의 구성들 사이의 데이터 송수신 관계를 나타내는 도면이다.
먼저, EMR 서버(3000)는 메인 서버(2000)에 의사의 진료 기록을 전송할 수 있다. 이 때, EMR 서버(3000)는 내부에 저장된 진료 기록을 메인 서버(2000)에 전송할 수 있다. 또는, EMR 서버(3000)는 병원 서버(4000)로부터 진료 기록을 획득하여 메인 서버(2000)에 제공할 수 있다.
메인 서버(2000)를 진료 기록을 이용하여 모델을 학습시킬 수 있다. 구체적으로, 메인 서버(2000)는 진료 기록을 이용하여 학습 데이터 세트들을 생성하고, 생성된 학습 데이터 세트들로 인공 신경망 모델을 학습 시켜 패턴 분류 모델(2130)을 획득할 수 있다.
단말기(TD)는 녹음 장치(RD)에 제어 신호를 전송할 수 있다. 단말기(TD)는 의사의 입력을 수신하여 녹음 장치(RD)에 녹음 개시를 지시하는 제어 신호를 전송할 수 있다.
녹음 장치(RD)는 제어 신호를 수신하여 녹음을 진행할 수 있다. 녹음 장치(RD)는 미리 설정된 시간 동안 녹음을 진행할 수 있다. 또는, 녹음 장치(RD)는 단말기(TD)로부터 추가적인 제어 신호를 수신하여 녹음을 종료할 수 있다.
녹음 장치(RD)는 녹음을 통해 획득한 음향 데이터를 메인 서버(2000)에 전송할 수 있다.
메인 서버(2000)는 음향 데이터를 보조 서버(1000)에 전송할 수 있다.
보조 서버(1000)는 음향 데이터를 변환하여 면담 기록을 획득하고, 획득된 면담 기록을 메인 서버(2000)에 전송할 수 있다.
메인 서버(2000)는 면담 기록에 대해 패턴 분석 또는 처방 보조 방법을 수행하여 처방 보조 정보를 획득할 수 있다.
메인 서버(2000)는 획득된 처방 보조 정보를 EMR 서버(3000)에 전송할 수 있다.
EMR 서버(3000)는 단말기(TD)에 처방 보조 정보를 전송할 수 있다.
단말기(TD)는 처방 보조 정보를 디스플레이를 통해 출력하고, 의사의 입력을 수신하여 처방 보조 정보에 대한 검증 작업을 수행할 수 있다. 단말기(TD)는 검증 작업을 통해 최종 처방 정보를 획득할 수 있다.
단말기(TD)는 최종 처방 정보를 EMR 서버(3000)에 전송할 수 있고, EMR 서버(3000)는 최종 처방 정보를 서버 내부에 저장할 수 있다. 또는, EMR 서버(3000)는 최종 처방 정보를 병원 서버(4000)에 전송할 수도 있다.
한편, 처방 보조 시스템(10)의 구성들 중 적어도 일부를 일체로 형성될 수도 있다. 여기서, 일체로 형성되는 것의 의미는 두 개 이상의 구성 각각에서 수행되는 기능들이 하나의 구성에서 수행되는 것을 의미한다.
일 예로, 보조 서버(1000)와 메인 서버(2000)가 일체로 형성될 수 있다. 예를 들어, 보조 서버(1000)의 음성 인식 프로그램이 메인 서버(2000)에 탑재되어 메인 서버(2000)에서 음향 데이터를 면담 기록으로 변환할 수 있다. 이 경우, 처방 보조 시스템(10)에서 보조 서버(1000)는 생략될 수 있다.
보조 서버(1000)와 메인 서버(2000)가 일체로 형성되는 경우, 또는 보조 서버(1000)의 기능이 메인 서버(2000)에 탑재되는 경우, 도 25에서 서술한 데이터 송수신 관계가 아래와 같이 변경될 수 있다.
메인 서버(2000)는 녹음 장치(RD)로부터 획득한 음향 데이터를 변환하여 면담 기록을 획득하고, 획득된 면담 기록에 대해 패턴 분석을 수행하여 처방 보조 정보를 획득할 수 있다.
상술한 내용 외에는 도 25에서 서술한 데이터 송수신 관계가 그대로 적용될 수 있다.
다른 예로, 보조 서버(1000)와 EMR 서버(3000)가 일체로 형성될 수 있다. 예를 들어, 보조 서버(1000)의 음성 인식 프로그램이 EMR 서버(3000)에 탑재되어 EMR 서버(3000)에서 음향 데이터를 면담 기록으로 변환할 수 있다. 이 경우, 처방 보조 시스템(10)에서 보조 서버(1000)는 생략될 수 있다.
보조 서버(1000)와 EMR 서버(3000)가 일체로 형성되는 경우, 또는 보조 서버(1000)의 기능이 EMR 서버(3000)에 탑재되는 경우, 도 25에서 서술한 데이터 송수신 관계가 아래와 같이 변경될 수 있다.
메인 서버(2000)는 녹음 장치(RD)로부터 획득된 음향 데이터를 EMR 서버(3000)에 전송할 수 있다. EMR 서버(3000)는 수신한 음향 데이터를 변환하여 면담 기록을 획득하고, 획득된 면담 기록을 메인 서버(2000)에 제공할 수 있다.
상술한 내용 외에는 도 25에서 서술한 데이터 송수신 관계가 그대로 적용될 수 있다.
또 다른 예로, 메인 서버(2000) 및 EMR 서버(3000)가 일체로 형성될 수 있다. 예를 들어, EMR 서버(3000)에 전술한 메인 서버(2000)의 메모리부(2100)가 탑재되어 EMR 서버(3000)에서 처방 보조 방법이 수행될 수 있다. 다른 예를 들어, 메인 서버(2000)에 EMR 프로그램의 실행을 위한 데이터와 프로그램이 내장되어 메인 서버(2000)에서 단말기(TD)를 통해 의사에게 EMR 인터페이스를 제공할 수 있다. 이하에서는 설명의 편의를 위해 EMR 서버(3000)에 메인 서버(2000)의 기능이 탑재되어 EMR 서버(3000)에서 처방 보조 방법이 수행되는 경우에 대해 서술한다. 이 경우, 처방 보조 시스템(10)에서 메인 서버(2000)는 생략될 수 있다.
EMR 서버(3000)와 메인 서버(2000)가 일체로 형성되는 경우, 도 25에서 서술한 데이터 송수신 관계가 아래와 같이 변경될 수 있다.
EMR 서버(3000)는 서버 내부에 저장된 진료 기록 또는 병원 서버(4000)로부터 획득한 진료 기록을 이용하여 패턴 분류 모델(2130)을 생성할 수 있다. 예를 들어, EMR 서버(3000)는 진료 기록을 이용하여 학습 데이터 세트들을 생성하고, 생성된 학습 데이터 세트들을 이용하여 베이스 모델을 학습시켜 패턴 분류 모델(2130)을 생성할 수 있다.
EMR 서버(3000)는 녹음 장치(RD)로부터 음향 데이터를 획득하고, 획득한 음향 데이터를 보조 서버(1000)에 전송할 수 있다.
보조 서버(1000)는 음향 데이터를 변환한 면담 기록을 EMR 서버(3000)에 전송할 수 있다.
EMR 서버(3000)는 획득한 면담 기록 및 패턴 분류 모델(2130)을 이용하여 패턴 분석을 수행하고 처방 보조 정보를 획득할 수 있다.
EMR 서버(3000)는 획득한 처방 보조 정보를 단말기(TD)에 전송할 수 있다.
상술한 내용 외에는 도 25에서 서술한 데이터 송수신 관계가 그대로 적용될 수 있다.
또 다른 예로, 메인 서버(2000), EMR 서버(3000), 및 병원 서버(4000)가 일체로 형성될 수 있다. 예를 들어, 병원 서버(4000)에 EMR 프로그램의 실행을 위한 데이터 및 프로그램이 탑재되어 병원 서버(4000)가 단말기(TD)를 통해 의사에게 EMR 인터페이스를 제공할 수 있다. 또한, 병원 서버(4000)에 메인 서버(2000)의 메모리부(2100)가 탑재되어 병원 서버(4000)에서 처방 보조 방법이 수행될 수 있다. 이 경우, 처방 보조 시스템(10)에서 메인 서버(2000) 및 EMR 서버(3000)는 생략될 수 있다.
병원 서버(4000)에 EMR 서버(3000) 및 메인 서버(2000)의 기능이 탑재되는 경우, 도 25에서 서술한 데이터 송수신 관계가 아래와 같이 변경될 수 있다.
병원 서버(4000)는 내부에 저장된 의사의 진료 기록을 이용하여 패턴 분류 모델(2130)을 생성할 수 있다. 구체적으로, 병원 서버(4000)는 내부에 저장된 대상 의사의 진료 기록을 이용하여 학습 데이터 세트를 생성하고, 베이스 모델을 학습시켜 패턴 분류 모델(2130)을 생성할 수 있다.
병원 서버(4000)는 녹음 장치(RD)로부터 음향 데이터를 획득하고, 획득한 음향 데이터를 보조 서버(1000)에 전송할 수 있다.
병원 서버(4000)는 보조 서버(1000)로부터 면담 기록을 획득하고, 면담 기록에 대해 패턴 분석을 수행하여 처방 보조 정보를 획득할 수 있다.
병원 서버(4000)는 획득한 처방 보조 정보를 단말기(TD)에 전송할 수 있다.
단말기(TD)는 최종 처방 정보를 병원 서버(4000)에 전송할 수 있다.
상술한 일체화에 관한 예시들은 서로 조합될 수 있다. 예를 들어, 보조 서버(1000)와 메인 서버(2000)가 일체로 구성되고, EMR 서버(3000)와 병원 서버(4000)가 일체로 구성될 수 있다. 다른 예를 들어, 보조 서버(1000), 메인 서버(2000), EMR 서버(3000), 및 병원 서버(4000)가 일체로 구성될 수도 있다.
또한, 녹음 장치(RD)의 경우 처방 보조 시스템(10)의 구성 중 적어도 일부에 탑재될 수 있다.
이상에서는, 처방 보조 시스템(10)의 각 구성들이 서로 일체화되는 경우들에 대해 서술하였다. 한편, 병원에서 수집되는 정보들은 환자들에 대한 개인 정보를 포함하여 취급에 상당한 주의를 요하고, 이 때문에 병원 내부의 서버와 외부 서버를 분리하는 것이 권고될 수 있다. 다시 말해, 처방 보조 시스템(10)의 서버들, 예를 들어 보조 서버(1000), 메인 서버(2000), EMR 서버(3000), 및 병원 서버(4000)가 모두 병원 내부에 위치할 수 있으며, 외부 서버와의 데이터 통신이 차단될 수 있다. 다만 본 개시의 기술적 사상이 이에 한정되는 것은 아니며, 처방 보조 시스템(10)들 중 적어도 일부는 병원 내부에 위치하고 다른 일부는 병원 외부에 위치할 수도 있으며, 처방 보조 시스템(10)의 각 서버는 필요에 따라 외부 서버와 데이터 통신이 가능할 수도 있다.
[메인 서버 관리 방법]
이하에서는, 전술한 처방 보조 시스템(10)을 수정하거나 보완하는 방법에 대해 서술한다.
처방 보조 시스템(10)의 메인 서버(2000)는 전술한 바와 같이 면담 기록을 입력 받아 검사 세트를 출력할 수 있는데, 이를 위해서는 메인 서버(2000)의 패턴 분류 모델(2130)을 구현하기 위한 데이터가 필수적이며, 그 양이 어느 정도 확보될 필요가 있다. 특히, 메인 서버(2000)의 패턴 분류 모델(2130)은 의사 개개인 마다 준비되어야 하고, 의사 개개인의 진료 기록들이 일정 개수 이상 필요하다.
이 때, 가능한 빠르게 의사가 처방 보조 시스템(10)을 이용할 수 있도록, 최소한의 기간 동안(ex. 1주일, 2주일, 30일, 1개월, 2개월, 3개월, 또는 6개월 등) 의사의 진료 기록들을 수집하거나 최대한 적은 진료 기록들(ex. 20개, 30개, 50개, 100개, 200개, 300개, 500개, 또는, 1000개 등)을 수집하여 패턴 분류 모델(2130)을 구현하고, 추후 보완하는 방법이 이용될 수 있다.
일 예로, 패턴 분류 모델(2130)을 의사에게 제공하는 제공 시점을 기준으로, 제공 시점 이전에 수집된 의사의 과거 진료 기록들을 이용하여 패턴 분류 모델(2130)을 구현하고, 제공 시점 이후에 수집된 의사의 추가 진료 기록들을 이용하여 패턴 분류 모델(2130)을 추가적으로 학습시킬 수 있다.
다른 예로, 메인 서버(2000)는 패턴 분류 모델(2130)을 의사에게 제공한 후 패턴 분류 모델(2130)에서 출력한 패턴 데이터 또는 검사 세트에 대한 의사의 피드백 입력을 수신하고, 수신된 피드백 입력에 기초하여 패턴 분류 모델(2130)의 파라미터들 중 적어도 일부를 재조정할 수 있다.
한편, 병원에서 환자가 받는 검사의 경우 시간이 지남에 따라 변화할 수 있다. 예를 들어, 병원에 새로운 방식의 검사 항목이 도입되거나, 기존의 검사 방식에 변화가 생겨 검사 방식이나 검사 항목의 명칭이 변경되는 경우가 있을 수 있다.
따라서, 위와 같은 상황에 대비하여 패턴 분류 모델(2130)은 추가 학습 및/또는 파라미터 재조정을 통해 주기적으로 업데이트될 수 있다. 이 때, 업데이트의 진행 여부는 패턴 분류 모델(2130)의 오답율을 고려하여 결정될 수 있다. 여기서, 오답율은 전술한 의사의 피드백 입력에 기초하여 결정될 수 있다.
[확장된 처방 보조 시스템]
이상에서는 처방 보조 시스템(10)에서 처방 보조 방법이 수행되어 처방 보조 정보가 획득되되, 처방 보조 정보가 환자가 받아야할 검사들인 경우에 대해 서술하였다.
의사의 환자에 대한 진료 과정에서 도출되고 기록되어야 하는 정보는 환자가 받아야 하는 검사 외에도 환자에게 처방되는 약품, 필요에 따른 타 진료과 협진, 또는, 필요 시 다음 병원 내원일 등을 포함할 수 있다.
이하에서는 도 26 및 도 27을 참고하여 처방 보조 정보가 약품에 관한 것인 경우 처방 보조 시스템(10)에서 수행되는 처방 보조 방법에 대해 서술한다.
도 26은 일 실시예에 따른 약품 처방 모델의 입출력 형태와 약품 처방 모델을 학습시키기 위한 학습 데이터 세트를 나타내는 도면이다.
도 27은 일 실시예에 따른 약품 처방 모델을 학습시키기 위한 학습 데이터 세트를 생성하는 방법을 나타내는 순서도이다.
약품 처방 모델의 경우 그 입출력 형태는 전술한 패턴 분류 모델(2130)과 유사하다. 예를 들어, 도 26을 참고하면 약품 처방 모델은 면담 기록을 가공한 모델 입력 데이터를 입력 받아 약품 세트 또는 약품 세트에 대응되는 패턴 데이터를 출력할 수 있다. 약품 세트 또는 패턴 데이터는 후보 약품들을 획득하는 데에 이용될 수 있다.
패턴 분류 모델(2130)과 마찬가지로, 약품 처방 모델은 인공 신경망을 학습 시켜 생성될 수 있고, 학습을 위한 학습 데이터 세트가 필요하다.
여기서, 약품 처방 모델을 학습시키기 위한 학습 데이터 세트는 패턴 분류 모델(2130)을 학습시키는 데에 이용하였던 학습 데이터 세트와 그 생성 방법이 유사할 수 있으며, 중복되는 내용에 대해서는 생략하도록 한다.
도 27을 참고하면, 약품 처방 모델을 학습시키기 위한 학습 데이터 세트는 데이터를 수집하는 단계(S4100), 약품 세트를 결정하는 단계(S4300), 면담 기록을 분류하는 단계(S4500), 및 면담 기록에 대한 라벨링을 수행하는 단계(S4700)를 통해 생성될 수 있다.
메인 서버(2000)는 대상 의사의 진료 기록을 획득할 수 있다(S4100). 본 단계는 도 13에서 서술한 단계 S2100과 동일한 바, 자세한 내용은 생략한다.
메인 서버(2000)는 약품 세트를 결정할 수 있다(S4300).
일 예로, 메인 서버(2000)는 자주 이용하는 약품 리스트들을 이용하여 약품 세트를 결정할 수 있다.
자주 이용하는 약품 리스트들은 도 14에서 서술한 자주 이용하는 검사 항목 리스트와 마찬가지로 대상 의사에 의해 결정되거나, 대상 의사의 진료 기록을 토대로 설정될 수 있다.
자주 이용하는 약품 리스트들을 이용하여 복수의 약품 세트들이 결정될 수 있다. 예를 들어, 자주 이용하는 약품 리스트들 각각이 하나의 약품 세트로 결정될 수 있다. 또는, 자주 이용하는 약품 리스트들 각각이 하나의 패턴을 정의하고 그 패턴의 약품 세트가 될 수 있다.
다른 예로, 메인 서버(2000)는 진료 기록의 처방 약품 리스트를 이용하여 약품 세트를 결정할 수 있다.
여기서, 처방 약품 리스트는 대상 의사가 환자에 대해 처방한 약품들에 대한 데이터로 이해될 수 있다. 따라서, 처방 약품 리스트는 환자에 대해 처방된 약품을 적어도 하나 이상 포함할 수 있다.
도 16에서 서술한 것과 유사하게, 처방 약품 리스트들로부터 추출된 약품들을 이용하여 약품 세트들이 생성될 수 있다. 예를 들어, 추출된 약품들에 대해 우도 또는 출현 횟수 등의 약품 세트 결정 기준을 이용하여 약품 세트들을 결정할 수 있다.
약품 세트들은 자주 이용하는 약품 리스트들을 이용하여 획득된 약품 세트들과 처방 약품 리스트들을 이용하여 획득된 약품 세트들을 이용하여 결정될 수도 있다.
메인 서버(2000)는 면담 기록을 분류할 수 있다(S4500). 구체적으로, 메인 서버(2000)는 결정된 약품 세트들을 이용하여 면담 기록을 분류할 수 있다. 예를 들어, 진료 기록의 처방 약품 리스트를 이용하여 진료 기록의 면담 기록을 약품 세트들 중 어느 하나 또는 그에 대응하는 패턴으로 분류할 수 있다.
면담 기록을 분류함에 있어서 도 17에서 서술한 분류 방법이 적용될 수 있다.
메인 서버(2000)는 분류된 면담 기록에 대해 라벨링을 수행할 수 있다(S4700).
면담 기록을 가공한 데이터에 그 면담 기록이 분류된 약품 세트 또는 패턴을 지시하는 데이터가 라벨링되어 학습 데이터 세트가 생성될 수 있다. 단계 S2700에서 서술한 것과 유사하게, 약품 처방 모델의 출력 형태를 고려하여 면담 기록에 대해 라벨링되는 약품 세트 또는 패턴 데이터가 달라질 수 있다.
상술한 방법에 따라 생성된 학습 데이터 세트들을 이용하여 약품 처방 모델을 생성할 수 있다. 예를 들어, 인공 신경망 모델을 생성한 학습 데이터 세트들을 이용하여 학습시켜 약품 처방 모델을 생성할 수 있다.
환자에 대한 진료가 수행됨에 따라 기록되어야 하는 진료 정보에는 전술한 처방 검사 항목 리스트, 처방 약품 리스트 뿐만 아니라 협진 요청에 관한 정보, 다음 내원일에 대한 정보 등도 포함될 수 있다.
이러한 진료 정보는 상술한 처방 보조 방법과 유사하게 면담 기록을 이용하여 획득될 수 있다. 다시 말해, 검사 처방을 위한 패턴 분류 모델(2130)이나 약품 처방을 위한 약품 처방 모델과 유사하게, 협진 요청 정보를 출력하는 모델과 내원일 정보를 출력하는 모델이 구현될 수 있다.
이하에서는 도 28을 참고하여, 면담 기록을 이용하여 다양한 진료 정보를 산출하는 종합 진료 정보 제공 시스템에 대해 서술한다.
종합 진료 정보 제공 시스템은 전술한 처방 보조 시스템(10)과 그 구성이 모두 동일하나, 메인 서버(2000)의 구성이 상이할 수 있다.
도 28을 참고하면, 종합 진료 정보 제공 시스템의 메인 서버(2000)는 검사 처방 모델, 약품 처방 모델, 협진 결정 모델, 및 내원일 결정 모델을 포함할 수 있다.
검사 처방 모델은 전술한 패턴 분류 모델(2130)과 동일하다. 검사 처방 모델은 면담 기록을 이용하여 검사 세트 또는 검사 세트에 대응하는 패턴 데이터를 출력할 수 있다. 메인 서버(2000)는 검사 세트 또는 패턴 데이터를 이용하여 후보 검사 항목들을 출력할 수 있다.
약품 처방 모델은 전술한 것과 같이 면담 기록을 이용하여 약품 세트 또는 약품 세트에 대응하는 패턴 데이터를 출력할 수 있다. 메인 서버(2000)는 약품 세트 또는 패턴 데이터를 이용하여 후보 약품 항목들을 출력할 수 있다.
협진 결정 모델은 면담 기록을 입력 받아 협진 정보를 생성할 수 있다.
일 예로, 협진 결정 모델은 면담 기록에서 특정 키워드(keyword)를 추출하고, 추출된 키워드에 기초하여 협진 여부 및 협진이 필요한 진료과를 지시하는 데이터를 획득할 수 있다.
여기서, 키워드는 협진에 관한 단어 또는 문장일 수 있다. 예를 들어, 키워드는 대상 의사가 소속된 제1 진료과나 상기 제1 진료과가 아닌 제2 진료과 등의 진료과에 대한 키워드, 대상 의사가 아닌 다른 의사에 관한 정보를 지칭하는 키워드 등을 의미할 수 있다.
다른 예로, 협진 결정 모델은 패턴 분류 모델(2130)과 같이 대상 의사의 진료 패턴을 고려하여 협진 정보를 생성할 수도 있다. 예를 들어, 협진 결정 모델은 협진 관련 학습 데이터 세트들을 이용하여 생성될 수 있다. 여기서, 협진 관련 학습 데이터 세트들은, 대상 의사의 진료 기록들을 획득하는 단계, 대상 의사의 진료 기록들을 협진이 결정된 제1 진료 기록과 협진이 결정되지 않은 제2 진료 기록으로 구분하는 단계, 제1 진료 기록의 제1 면담 기록에 협진 있음을 지시하는 데이터 또는 협진 대상 진료과를 지시하는 데이터를 라벨링하여 제1 학습 데이터 세트를 생성하고 제2 진료 기록의 제2 면담 기록에 협진 없음을 지시하는 데이터를 라벨링하여 제2 학습 데이터 세트를 생성하는 단계를 통해 생성될 수 있다. 협진 결정 모델은 협진 관련 학습 데이터 세트들로 전술한 인공 신경망 또는 베이스 모델을 학습시켜 생성될 수 있다.
내원일 결정 모델은 면담 기록을 입력 받아 내원일에 관한 정보를 출력할 수 있다.
예를 들어, 내원일 결정 모델은 면담 기록에서 특정 키워드를 추출하고, 추출된 키워드에 기초하여 후보 내원일 또는 후보 내원일을 지시하는 데이터를 획득할 수 있다.
여기서, 키워드는 내원일에 관한 단어 또는 문장일 수 있다. 예를 들어, 키워드는 날짜, 시간, 날짜나 시간과 함께 쓰이는 부사, 면담 기록에서 의사의 마지막 발화 문장 또는 환자의 마지막 발화 문장 등을 의미할 수 있다.
한편, 전술한 검사 처방 모델, 약품 처방 모델, 협진 결정 모델, 및 내원일 결정 모델은 서로 입력 받는 데이터가 상이할 수 있다.
예를 들어, 도 28을 참고하면, 검사 처방 모델, 약품 처방 모델, 협진 결정 모델에는 의사의 발화 내용만을 포함하는 면담 기록이 입력될 수 있고, 내원일 결정 모델에는 의사의 발화 내용 및 환자의 발화 내용 모두를 포함하는 면담 기록이 입력될 수 있다. 환자에 대한 검사 처방이나 약품 처방, 협진 요청에 관한 내용은 의사의 발화 내용에 의존적이고 환자의 발화 내용에는 의존적이지 않은 반면, 내원일 결정 모델은 의사의 발화 내용과 환자의 발화 내용 모두 의존적일 수 있기 때문이다.
또한, 검사 처방 모델 및 약품 처방 모델에는 면담 기록을 가공한 모델 입력 데이터가 입력되되, 협진 결정 모델 및 내원일 결정 모델에는 면담 기록이 가공되지 않은 상태로 입력될 수 있다. 검사 처방 모델 및 약품 처방 모델은 의사의 진료 패턴을 고려하는 방식으로 구현되어 토큰화, 임베딩 등의 전처리가 필요할 수 있는 반면, 협진 결정 모델 및 내원일 결정 모델은 키워드 추출이 선행되어야 하는 점에서 전처리되지 않은 면담 기록이 입력될 필요가 있기 때문이다.
이를 위해 종합 진료 정보 제공 시스템에서는 다음의 기능이 수행될 수 있다.
보조 서버(1000)는 음향 데이터를 변환하여 의사의 발화에 관한 부분 면담 기록 및 의사와 환자의 발화에 관한 전체 면담 기록을 획득할 수 있다. 보조 서버(1000)는 부분 면담 기록 및 전체 면담 기록을 메인 서버(2000)에 제공할 수 있다.
메인 서버(2000)는 부분 면담 기록을 가공하여 획득된 부분 모델 입력 데이터를 검사 처방 모델 및 약품 처방 모델에 입력하고, 부분 면담 기록을 협진 결정 모델에 입력하며, 전체 면담 기록을 내원일 결정 모델에 입력할 수 있다.
한편, 검사 처방 모델, 약품 처방 모델, 협진 결정 모델, 및 내원일 결정 모델의 구현 형태에 따라, 각 모델의 입력 데이터가 부분 면담 기록, 부분 면담 기록을 가공한 부분 모델 입력 데이터, 전체 면담 기록, 또는 전체 면담 기록을 가공한 전체 모델 입력 데이터가 될 수 있음은 물론이다.
상술한 종합 진료 정보 제공 시스템은 환자에 대해 필요한 진료 기록을 모두 자동화하는 점에서 큰 의미가 있다. 환자에 대한 진료의 주요 내용인 처방 검사 항목과 처방 약품의 기록을 넘어서 협진 요청과 내원일 기록까지 자동화됨에 따라 의사는 행정적 업무로부터 어느 정도 자유로워질 수 있다. 그에 따라 환자에 대한 진료 시간이 늘어날 수 있다. 이 때, 종합 진료 정보 제공 시스템의 각 모델에서 필요한 데이터 또는 입력 받아야 하는 데이터, 특히 전술한 바와 같이 면담 기록의 내용이 달라질 수 있으며 그에 따라 종합 진료 정보 제공 시스템에서 제공하는 데이터가 일정 수준 이상의 정확도를 가질 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 개시의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 개시의 기술적 사상을 한정하는 것이 아니며, 본 개시가 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 개시의 범위에 포함되는 것으로 해석되어야 할 것이다.
위 발명의 실시를 위한 최선의 형태에서 관련 내용을 기술하였음.

Claims (15)

  1. 서버의 처방 보조 정보를 제공하는 방법에 있어서,
    대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -;
    상기 대상 의사에 의해 설정된 자주 이용하는 검사 항목 리스트들을 획득하는 단계;
    상기 자주 이용하는 검사 항목 리스트들 및 상기 진료 기록들을 이용하여 학습 데이터 세트들을 생성하는 단계;
    상기 학습 데이터 세트들을 이용하여 패턴 분류 모델을 생성하는 단계;
    상기 대상 의사의 제1 분석 대상 면담 기록을 획득하는 단계;
    상기 제1 분석 대상 면담 기록 및 상기 패턴 분류 모델을 이용하여 제1 후보 검사 항목들을 획득하는 단계; 및
    상기 제1 후보 검사 항목들을 제공하는 단계;를 포함하고,
    상기 학습 데이터 세트들을 생성하는 단계는,
    상기 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트들을 생성하는 단계;
    제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 라벨링(labeling)하여 제1 학습 데이터 세트를 생성하는 단계, 및
    제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 라벨링하여 제2 학습 데이터 세트를 생성하는 단계를 포함하고,
    상기 패턴 분류 모델은,
    상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 어느 하나에 대응되는 데이터를 출력하고,
    상기 제1 후보 검사 항목들은 상기 출력된 데이터에 대응되는 검사 세트에 포함된 검사 항목들인,
    방법.
  2. 제1 항에 있어서,
    상기 자주 이용하는 검사 항목 리스트들 및 상기 검사 세트들은 일대일로 대응되는,
    방법.
  3. 제1 항에 있어서,
    상기 자주 이용하는 검사 항목 리스트들에는 적어도 둘 이상의 검사 항목을 포함하는 제1 자주 이용하는 검사 항목 리스트 및 적어도 둘 이상의 검사 항목을 포함하는 제2 자주 이용하는 검사 항목 리스트가 포함되고,
    상기 제1 자주 이용하는 검사 항목 리스트 및 상기 제2 자주 이용하는 검사 항목 리스트는 적어도 하나의 동일한 검사 항목 및 적어도 하나의 상이한 검사 항목을 포함하는,
    방법.
  4. 제1 항에 있어서,
    상기 대상 의사의 제2 분석 대상 면담 기록을 획득하는 단계; 및
    상기 제2 분석 대상 면담 기록 및 상기 패턴 분류 모델을 이용하여 제2 후보 검사 항목들을 획득하는 단계;를 더 포함하고,
    상기 패턴 분류 모델은,
    상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 상기 제1 검사 세트에 대응되는 데이터를 출력하고,
    상기 제2 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 상기 제2 검사 세트에 대응되는 데이터를 출력하고,
    상기 제2 후보 검사 항목들은 상기 제2 검사 세트에 포함된 검사 항목들이고,
    상기 제1 후보 검사 항목들과 제2 후보 검사 항목들은 동일하지는 않되, 적어도 하나의 공통되는 검사 항목을 포함하는,
    방법.
  5. 제4 항에 있어서,
    상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트 및 상기 제2 진료 기록의 상기 제2 처방 검사 항목 리스트는 서로 동일하지 않되, 적어도 하나의 공통되는 검사 항목을 포함하는,
    방법.
  6. 제1 항에 있어서,
    상기 제1 진료 기록의 상기 제1 면담 기록은 상기 대상 의사의 제1 진료 과정을 녹음하여 획득되는 제1 음향 데이터를 변환하여 획득되고,
    상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트는 상기 제1 진료 과정에서 환자에 대해 상기 대상 의사가 처방한 검사 항목을 포함하는,
    방법.
  7. 제1 항에 있어서,
    상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트에 포함된 검사 항목들은 상기 제1 검사 세트에 포함된 검사 항목들과 동일한,
    방법.
  8. 제1 항에 있어서,
    상기 제1 검사 세트는 상기 제1 진료 기록의 상기 제1 처방 검사 항목 리스트에 포함된 검사 항목들을 포함하는,
    방법.
  9. 제1 항에 있어서,
    상기 학습 데이터 세트들을 생성하는 단계는,
    제3 진료 기록의 제3 면담 기록을 가공한 데이터에 패턴 없음을 지시하는 데이터를 라벨링하여 제3 학습 데이터 세트를 생성하는 단계;를 포함하되,
    상기 검사 세트들 중 어느 하나도 상기 제3 진료 기록의 제3 처방 검사 항목 리스트와 동일하지 않은,
    방법.
  10. 제1 항에 있어서,
    상기 학습 데이터 세트들을 생성하는 단계는,
    제3 진료 기록의 제3 면담 기록을 가공한 데이터에 상기 제1 검사 세트에 대응되는 데이터를 라벨링하여 제3 학습 데이터 세트를 생성하는 단계;를 포함하되,
    상기 제3 진료 기록의 제3 처방 검사 항목 리스트와 상기 제1 검사 세트가 공통적으로 포함하는 검사 항목 개수는 상기 제3 처방 검사 항목 리스트와 상기 제2 검사 세트가 공통적으로 포함하는 검사 항목 개수와 동일하고,
    상기 제1 검사 세트에 포함된 검사 항목 수는 상기 제2 검사 세트에 포함된 검사 항목 수보다 많은,
    방법.
  11. 제1 항에 있어서,
    상기 패턴 분류 모델은,
    상기 제1 분석 대상 면담 기록을 가공한 데이터를 입력 받아 상기 검사 세트들 중 어느 하나에 대응되는 패턴 데이터를 출력하고,
    상기 제1 후보 검사 항목들은 상기 패턴 데이터에 대응되는 검사 세트에 포함된 검사 항목들인,
    방법.
  12. 제1 항에 있어서,
    상기 패턴 분류 모델을 생성하는 단계는,
    상기 학습 데이터 세트들과는 다른 데이터로 미리 학습된 베이스 모델을 선택하는 단계; 및
    상기 베이스 모델을 상기 학습 데이터 세트들을 이용하여 학습시키는 단계;를 포함하는,
    방법.
  13. 제12 항에 있어서,
    상기 베이스 모델은 BERT(bidirectional encoder representations form transformer) 또는 GPT-3(generative pre-trained transformer 3)인,
    방법.
  14. 제1 항에 있어서,
    상기 대상 의사의 환자에 대한 진료 과정을 녹음하는 단계; 및
    녹음된 진료 과정으로부터 상기 제1 분석 대상 면담 기록을 획득하는 단계;를 더 포함하는,
    방법.
  15. 서버를 이용하여 모델을 생성하는 방법에 있어서,
    대상 의사의 진료 기록들을 획득하는 단계 -상기 진료 기록들 각각은 면담 기록 및 처방 검사 항목 리스트를 포함함 -;
    상기 대상 의사에 의해 설정된 자주 이용하는 검사 항목 리스트들을 획득하는 단계;
    상기 자주 이용하는 검사 항목 리스트들 및 상기 진료 기록들을 이용하여 학습 데이터 세트들을 생성하는 단계; 및
    상기 학습 데이터 세트들을 이용하여 베이스 모델을 학습시키는 단계;를 포함하고,
    상기 학습 데이터 세트들을 생성하는 단계는,
    상기 자주 이용하는 검사 항목 리스트들을 이용하여 검사 세트들을 생성하는 단계;
    제1 진료 기록의 제1 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제1 검사 세트에 대응되는 데이터를 상기 제1 진료 기록의 제1 면담 기록을 가공한 데이터에 라벨링(labeling)하여 제1 학습 데이터 세트를 생성하는 단계, 및
    제2 진료 기록의 제2 처방 검사 항목 리스트를 고려하여 상기 검사 세트들 중 제2 검사 세트에 대응되는 데이터를 상기 제2 진료 기록의 제2 면담 기록을 가공한 데이터에 라벨링하여 제2 학습 데이터 세트를 생성하는 단계를 포함하는,
    방법.
PCT/KR2023/006143 2022-05-04 2023-05-04 면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법 WO2023214835A1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR10-2022-0055710 2022-05-04
KR20220055710 2022-05-04
KR1020220150944A KR102567388B1 (ko) 2022-05-04 2022-11-11 면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법
KR10-2022-0150945 2022-11-11
KR10-2022-0150943 2022-11-11
KR10-2022-0150944 2022-11-11
KR1020220150943A KR102607085B1 (ko) 2022-05-04 2022-11-11 면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법
KR1020220150945A KR102567404B1 (ko) 2022-05-04 2022-11-11 면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법

Publications (1)

Publication Number Publication Date
WO2023214835A1 true WO2023214835A1 (ko) 2023-11-09

Family

ID=88646728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006143 WO2023214835A1 (ko) 2022-05-04 2023-05-04 면담 내용을 이용하여 검사 세트를 제공하는 처방 보조 방법

Country Status (2)

Country Link
KR (1) KR20230168998A (ko)
WO (1) WO2023214835A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027091A (ko) * 2018-08-31 2020-03-12 주식회사 비플컨설팅 환자의 주증상과 진단 관계에 대하여 인공신경망 기법을 이용하여 유사성 정도를 추론하여 진단 사례를 추천하는 시스템
JP2021034056A (ja) * 2019-08-26 2021-03-01 エフ．ホフマン−ラ ロシュ アーゲーＦ． Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 医療データの自動化された検証
JP2021071840A (ja) * 2019-10-30 2021-05-06 株式会社プレシジョン 薬剤例検索装置、薬剤例検索方法及び薬剤例検索プログラム
KR102261092B1 (ko) * 2021-01-20 2021-06-03 이창엽 의료진단 관리 시스템
KR102332740B1 (ko) * 2021-07-28 2021-12-01 주식회사 비플컨설팅 딥러닝을 이용하여 환자의 증상을 진단하는 방법, 장치 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027091A (ko) * 2018-08-31 2020-03-12 주식회사 비플컨설팅 환자의 주증상과 진단 관계에 대하여 인공신경망 기법을 이용하여 유사성 정도를 추론하여 진단 사례를 추천하는 시스템
JP2021034056A (ja) * 2019-08-26 2021-03-01 エフ．ホフマン−ラ ロシュ アーゲーＦ． Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 医療データの自動化された検証
JP2021071840A (ja) * 2019-10-30 2021-05-06 株式会社プレシジョン 薬剤例検索装置、薬剤例検索方法及び薬剤例検索プログラム
KR102261092B1 (ko) * 2021-01-20 2021-06-03 이창엽 의료진단 관리 시스템
KR102332740B1 (ko) * 2021-07-28 2021-12-01 주식회사 비플컨설팅 딥러닝을 이용하여 환자의 증상을 진단하는 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20230168998A (ko) 2023-12-15

Similar Documents

Publication Publication Date Title
WO2018182202A1 (en) Electronic device and method of executing function of electronic device
WO2020017849A1 (en) Electronic device and method for providing artificial intelligence services based on pre-gathered conversations
WO2010036012A2 (ko) 인터넷을 이용한 의견 검색 시스템, 의견 검색 및 광고 서비스 시스템과 그 방법
WO2020235696A1 (ko) 스타일을 고려하여 텍스트와 음성을 상호 변환하는 인공 지능 장치 및 그 방법
WO2020246634A1 (ko) 다른 기기의 동작을 제어할 수 있는 인공 지능 기기 및 그의 동작 방법
WO2017209564A1 (ko) 앱 리스트 제공 방법 및 그 장치
WO2020111880A1 (en) User authentication method and apparatus
WO2015170945A1 (ko) 영어 어순 지도를 이용한 영어 학습방법 및 그 시스템
EP3398083A1 (en) Method and device for translating object information and acquiring derivative information
WO2012074338A2 (ko) 자연어 및 수학식 처리 방법과 그를 위한 장치
WO2020044290A1 (ko) 특허 문서 작성 장치, 방법, 컴퓨터 프로그램, 컴퓨터로 판독 가능한 기록매체, 서버 및 시스템
WO2013176365A1 (en) Method and electronic device for easily searching for voice record
WO2020230926A1 (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
WO2021029627A1 (en) Server that supports speech recognition of device, and operation method of the server
WO2019177182A1 (ko) 속성 정보 분석을 통한 멀티미디어 컨텐츠 검색장치 및 검색방법
WO2020036297A1 (en) Electronic apparatus and controlling method thereof
EP3603040A1 (en) Electronic device and method of executing function of electronic device
WO2021137637A1 (en) Server, client device, and operation methods thereof for training natural language understanding model
WO2023172025A1 (ko) 시계열적 정보를 인코딩하는 모델을 사용하여 개체-쌍 사이의 연관성 관련 정보를 예측하는 방법 및 이를 이용하여 생성되는 예측 시스템
WO2021215804A1 (ko) 대화형 청중 시뮬레이션을 제공하는 장치 및 방법
WO2023080379A1 (ko) 다유전자 위험점수를 이용한 시간 의존 연관성 기반의 질환 발병 정보 생성 장치 및 그 방법
AU2018310111B2 (en) Electronic device and method for providing search result thereof
WO2011155736A2 (ko) 모든 자연어 표현의 각각의 의미마다 별도의 용어를 동적으로 생성하는 방법 및 이를 기반으로 하는 사전 관리기,문서작성기, 용어 주석기, 검색 시스템 및 문서정보체계 구축장치
WO2020263016A1 (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
WO2020218635A1 (ko) 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799716

Country of ref document: EP

Kind code of ref document: A1