WO2023080504A1 - 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치 - Google Patents

라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치 Download PDF

Info

Publication number
WO2023080504A1
WO2023080504A1 PCT/KR2022/016111 KR2022016111W WO2023080504A1 WO 2023080504 A1 WO2023080504 A1 WO 2023080504A1 KR 2022016111 W KR2022016111 W KR 2022016111W WO 2023080504 A1 WO2023080504 A1 WO 2023080504A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
lifelog
health
information
model
Prior art date
Application number
PCT/KR2022/016111
Other languages
English (en)
French (fr)
Inventor
하은희
안지희
안형미
오종민
민지은
송혜경
유인선
이은혜
임수미
정지향
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220107836A external-priority patent/KR20230068987A/ko
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Publication of WO2023080504A1 publication Critical patent/WO2023080504A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the technology to be described below is a technique of providing customized health examination information to a corresponding individual based on the individual's life log.
  • the current health checkup consultation is conducted only with the examiner's previous checkup data and the data on the day of the checkup (including the questionnaire filled out by the examinee).
  • the information on lifestyle which is closely related to the counseling of the medical staff, is dependent on the questionnaire prepared by the examiner.
  • the technology to be described below is intended to provide health examination counseling or health examination information by utilizing an individual's lifelog.
  • a method of providing health checkup information based on a lifelog includes receiving, by a service device, first lifelog data of a target person collected at a specific point in time, and health counseling in which the service device learns the first lifelog data in advance and generating first health examination information in the form of text for the subject by inputting the information to the model.
  • a service device that provides health checkup information based on a lifelog is an interface device that receives the first lifelog data of a subject collected at a specific point in time, and learns to generate health checkup information of the individual by receiving the personal lifelog data and inputting the first lifelog data to the health consultation model and generating first health examination information in text form for the subject.
  • the health counseling model is a natural language processing model and is a question and response model that is learned by using, as learning data, a pair of personal lifelog data in text form and health examination data extracted from a result of the personal health examination consultation.
  • the technology to be described below provides health examination information related to a lifestyle based on an easily obtainable lifelog before an individual undergoes an actual health examination.
  • the technology described below contributes to personal health promotion by providing initial health examination information based on a person's life log.
  • the technology described below may provide initial data for individual health examination counseling to medical staff.
  • 1 is an example of a lifelog-based health examination information generating system.
  • FIG. 2 is an example of a learning data construction process for learning a health counseling model.
  • 3 is an example of a learning process of a health counseling model.
  • 5 is an example of a process of providing health examination information using a health counseling model.
  • 6 is another example of a learning process of a health counseling model.
  • FIG. 7 is another example of a learning process of a health counseling model.
  • first, second, A, B, etc. may be used to describe various elements, but the elements are not limited by the above terms, and are merely used to distinguish one element from another. used only as For example, without departing from the scope of the technology described below, a first element may be referred to as a second element, and similarly, the second element may be referred to as a first element.
  • the terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
  • each component to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function.
  • each component to be described below may additionally perform some or all of the functions of other components in addition to its main function, and some of the main functions of each component may be performed by other components. Of course, it may be dedicated and performed by .
  • each process constituting the method may occur in a different order from the specified order unless a specific order is clearly described in context. That is, each process may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • a lifelog is a record of an individual's daily life.
  • lifelog or lifelog data is used to mean information about personal daily records.
  • Lifelogs can be acquired from a variety of devices. For example, lifelogs may be collected from terminals carried by individuals, wearable devices (smart bands, smart watches, smart glasses, etc.), sensor devices, and the like. Lifelogs include information about an individual's daily life (moving distance, amount of exercise, sleeping time, etc.) collected by various devices.
  • the lifelog may include biometric information such as body temperature, blood pressure, oxygen saturation, and electrocardiogram measured by a sensor built into the device.
  • the lifelog may include information about personal activities collected from IoT devices, cameras, and various sensors located in the personal environment.
  • a health examination refers to a number of examinations to check the health of an individual. Health check-up is meant to include both check-ups conducted by the state and check-ups conducted by individual hospitals.
  • the health examination data refers to information including measurement values and results of an individual's health examination. Health examination data may be stored in a hospital Electronic Medical Record (EMR) or a specific database (DB).
  • EMR Electronic Medical Record
  • DB specific database
  • the subject or user means a person who wants to obtain customized health examination information based on his or her life log.
  • the technology described below provides customized health examination information to a subject based on the subject's life log.
  • Subjects are provided with health checkup information based on an easily obtainable lifelog without undergoing a health checkup performed by a medical institution.
  • a natural language processing model is a model that receives a certain text or sentence and outputs a certain word or sentence.
  • Various models of natural language processing models are being studied. Representative recent natural language processing models include BERT (Bidirectional Encoder Representations from Transformers) and GPT.
  • the service device may take the form of a computer device such as a PC, a smart device, a network server, and a data processing dedicated chipset.
  • FIG. 1 is an example of a lifelog-based health examination information generation system 100 .
  • user A is a person who receives health examination information based on his/her life log.
  • the wearable device 111 collects user A's lifelog. Furthermore, other devices capable of monitoring or tracking the user's state, in addition to the wearable device, may collect the user A's lifelog.
  • the camera 112 may collect information such as user A's health condition, lifestyle, life pattern, and biometric information extractable from an image.
  • biometric information measurement devices 121, 122, and 123 may obtain user A's biometric information.
  • Biometric information may be composed of information that can be measured relatively easily by a user.
  • the biometric information may include blood pressure, blood sugar, and other body measurement values (body temperature, weight, height, body fat percentage, skeletal muscle mass, etc.).
  • 1 shows blood glucose meter 121, blood pressure meter 122 and weight scale 123 as examples.
  • the biometric information measurement device may be an IoT device capable of wireless communication.
  • the wearable device 111 may also collect certain biometric information (heart rate, body temperature, etc.).
  • the service device includes a computer device 130 and a service server 140 as an example.
  • the computer device 130 may be a device such as a PC or a smart phone.
  • the computer device 130 receives user A's lifelog.
  • the computer device 130 may receive lifelog data through a wired or wireless network. Alternatively, the computer device 130 may receive lifelog data through an interface such as a storage medium.
  • the computer device 130 may generate health examination information based on the lifelog using a pre-built natural language processing model. A process of building a natural language processing model will be described later.
  • the computer device 130 may output health examination information of user A. User A or user B may check the output health examination information.
  • the lifelog may include biometric information in a broad sense. However, in order to make the following description more clear, lifelog and biometric information are separately described.
  • the computer device 130 may receive user A's lifelog and biometric information.
  • the computer device 130 may generate health examination information based on the lifelog and biometric information using a pre-built natural language processing model.
  • the service server 140 may receive lifelog data through a wireless network.
  • the service server 140 may generate health examination information based on the lifelog using a pre-built natural language processing model.
  • the service server 140 may transmit the generated health examination information to the user terminal 150 .
  • the user terminal 150 may output health examination information of user A.
  • User A or user B may check the output health examination information.
  • the service server 140 may receive user A's lifelog and biometric information.
  • the service server 140 may generate health examination information based on lifelog and biometric information using a pre-built natural language processing model.
  • a process of building a natural language processing model that outputs health checkup information based on a lifelog will be described.
  • various natural language processing models have been studied. Accordingly, a natural language processing model for outputting health examination information may be constructed using any one of various models. A detailed description of the configuration or learning process of the natural language processing model will be omitted.
  • Models like BERT are trained by replacing or removing (masking) parts of a sentence with other words and restoring the original sentence.
  • the initially trained natural language processing model may be built into a model for a specific desired application by performing transfer learning.
  • the natural language processing model corresponds to a model representing the probability that an array of specific strings (tokens) appears.
  • a Q&A (question and answer) application is an application that provides answers to input questions.
  • a natural language processing model for Q&A may be pretrained by performing Next Sentence Prediction (NSP).
  • NSP Next Sentence Prediction
  • a natural language processing model that receives a lifelog and calculates health examination information is referred to as a health counseling model.
  • the health counseling model must be trained in advance through learning data.
  • 2 is an example of a learning data construction process 200 for learning a natural language processing model.
  • the process of constructing the learning data corresponds to a process of constantly processing and labeling data collected by a developer using a computer device. It is a process performed by a developer, but for convenience of explanation, it is explained that the learning device performs the corresponding process.
  • the learning device refers to a computer device for constructing a health consultation model.
  • the lifelog DB stores lifelog data of individuals (210). Lifelog DB can receive data collected from wearable devices, biometric information measurement devices, IoT devices, and the like. The lifelog DB stores identifiers of individuals, lifelogs of the individuals, and biometric information.
  • the lifelog DB stores lifelog data of individuals (210). Lifelog DB can receive data collected from wearable devices, biometric information measurement devices, IoT devices, and the like. The lifelog DB stores identifiers of individuals, lifelogs of the individuals, and biometric information.
  • the health examination DB stores health examination data of individuals (220).
  • the health examination DB 130 may be a DB of a health examination management institution, a DB of a medical institution, and the like.
  • the health checkup data refers to content analyzed or consulted by a medical staff based on a result of a health checkup for a specific individual.
  • Health checkup results include basic information (age, gender, height, weight, etc.), biometric information (electrocardiogram, blood pressure, etc.), test results (blood test, urine test, etc.), medical images (x-ray, CT, MRI, etc.), etc. can include
  • the health checkup data may include contents of consultation using a lifelog for a specific individual.
  • the health examination DB may store identifiers of individuals and health examination data of the corresponding individuals.
  • lifelog DB and the health checkup DB hold lifelog and health checkup data of the same individuals.
  • lifelog DB and health examination DB are lifelogs and health examinations of individuals who are not the same person, but whose information (age, gender, body measurement information, phenotype, etc.) that identifies the individual can be regarded as the same person or population medically and statistically. You can also hold data.
  • the learning device extracts lifelog data from the lifelog DB (230).
  • Lifelog data may include at least one of a personal identifier, an item identifier (lifelog item classification), a value for a corresponding item, a measurement time, and a lifelog data identifier.
  • the learning device may pre-process the extracted lifelog at regular intervals (240). Preprocessing may include standardization and anonymization of lifelog data in various formats.
  • the learning device extracts health examination data from the health examination DB (250).
  • the health checkup data may include at least one of a personal identifier, an item identifier (classification of checkup items), and a value for a corresponding item.
  • the health checkup data may further include a lifelog data identifier for identifying the corresponding lifelog.
  • the learning device may extract a specific sentence or keyword (main content of the examination) by mining the health checkup consultation result composed of text. If the consultation data is voice data, the learning device may extract text from the corresponding voice.
  • the learning device may pre-process the extracted health examination data at a constant rate (260). Pre-processing may include standardization and anonymization of health examination data in various formats.
  • the learning device may process lifelog data (270).
  • processing refers to generating medical information represented or inferred from lifelog data.
  • an expert may calculate an index (medical index) having a medical meaning based on lifelog data of a specific individual.
  • the learning device may convert lifelog data into a predetermined medical index using a pre-set function or model.
  • lifelog data related to sleep may be processed into indicators related to polysomnography (PSG) as shown in Table 1 below.
  • PSG polysomnography
  • the learning data may include medical indicators.
  • phenotype Indicators related to polysomnography Lifelog-based calculation method Insomnia Sleep latency, REM latency, sleep efficacy, wakefulness, after sleep onset (WASO), arousal index, sleep architecture There is a calculation formula for each indicator.
  • the input values used in calculating each indicator are as follows.
  • the learning device maps the preprocessed lifelog data and health examination data (290).
  • mapping is a process of matching specific lifelog data(s) to specific health examination data (examination results). For example, referring to Table 1 above, lifelog data is mapped to health checkup data of REM sleep disorder, in which body movements over a threshold value during REM sleep time are mapped.
  • the learning device should verify the relationship (correlation) between the specific lifelog data and the specific health checkup data (280).
  • the verification process itself may be a process performed by an expert.
  • the learning device receives information according to the verified result.
  • Verification results or mapping results may be organized in the form of Table 2 below. As shown in Table 2, any one lifelog data A may have a very high correlation (90%) with specific health examination data K. Alternatively, a plurality of lifelog data (lifelog data A+B) may have a very high correlation (95%) with specific health examination data K. In this case, the relevance may be information such as relevance or absence.
  • the health counseling model outputs health examination information based on the input lifelog data and may also provide correlation information.
  • lifelog data health examination data correlation Lifelog A Health examination data K 90% Lifelog A + Lifelog B Health examination data L 95% Lifelog B + Lifelog C Health examination data L 80% ... ... ...
  • the correlation between lifelog data and health examination data may be basically determined according to medical knowledge of an expert. Further, the correlation between the lifelog data and the health checkup data may be determined according to a personal identifier of the corresponding data, a creation time of the data, a precedence relationship between the lifelog data and the health checkup data creation point, and the like. For example, (i) when the personal identifiers of each data are the same, correlation can be set high. (ii) Alternatively, when health checkup data is generated in a certain time interval (eg, within a day or a week) after lifelog data is generated, the correlation between the two may be set high.
  • a certain time interval eg, within a day or a week
  • the training data is highly correlated (above the threshold), so a pair of mapped lifelog data and health checkup data is utilized.
  • one lifelog data may be respectively mapped with a plurality of health examination data.
  • lifelog A e.g. data for May 2022 of a specific person
  • health checkup data K e.g. checkup information for June 2022
  • health checkup data L e.g. checkup information for August 2022
  • the mapped pair of lifelog data and health checkup data may be stored in the lifelog DB 210 or the health checkup DB 220, respectively, or may be stored in a separate database. When stored separately, mapping information may be stored together.
  • the learning device may select lifelog data and/or health examination data having a certain quality (reliability) as learning data. For example, 1 the learning device may exclude the data from the learning data set if the measured value is lost due to a problem (communication or power) during data transmission of the measuring device or the measured value has an abnormal value. 2 The learning device can select only the data collected by the measuring device registered in advance by the subject A as valid learning data. 3 A learning device can be selected as valid learning data only when continuous measurement values are guaranteed for a certain period of time (e.g. sleep time, resting heart rate, etc.). 4 The learning device may exclude data measured after a previously set period (eg, when a day has elapsed in case of measurement in units of time) from the learning data set.
  • a previously set period eg, when a day has elapsed in case of measurement in units of time
  • the learning device may evaluate reliability of the lifelog data or checkup questionnaire result by comparing the lifelog data with the checkup questionnaire result. For example, as shown in Table 3 below, the learning device may compare lifelog data and examination results and select only cases in which information is consistent as learning data. In the case shown in Table 3 below, the learning device may remove sleep-related lifelog data without selecting it as learning data.
  • the aforementioned reliability (quality) based data filtering process may be performed after step 290 of mapping lifelog data and health examination data.
  • the data filtering process may be performed before the steps 230 and 250 of extracting the lifelog data/health examination data from the lifelog DB/health examination DB.
  • 3 is an example of a learning process of a health counseling model.
  • 3 shows a model such as BERT as an example. It is assumed that the learning device has built learning data in advance. The learning device extracts lifelog data i and health examination data i. At this time, the lifelog data i and the health checkup data i are mapped to relevant information in advance.
  • FIG. 3 is described centering on data i, the learning process may be repeatedly performed using a plurality of pairs of lifelog data and health checkup data.
  • the health counseling model may be pre-trained as a Masked Language Model (MLM) or NSP. Based on the lifelog data entered into the health consultation model, specific health examination information is output. Such a model corresponds to the Q&A model. Therefore, the learning device may perform a process of additional learning (transfer learning) of the pre-trained model to suit the application.
  • MLM Masked Language Model
  • NSP Network-Specific Service Set
  • the learning device extracts lifelog data i and health examination data i mapped from the lifelog DB and the health checkup DB.
  • lifelog data i and health examination data i mapped from the lifelog DB and the health checkup DB.
  • health checkup data having the highest correlation among them may be selected.
  • the learning device appropriately uses various techniques such as taking an average based on a plurality of health checkup data to be mapped or taking a representative value such as average, median, or mode for each item of health checkup data to optimize health. Examination data can be extracted.
  • Lifelog data may be composed of various items. Also, lifelog data may include items such as biometric information as described above. Table 4 below is an example of some lifelog data. Classification represents the type of lifelog data, and items represent indicators that can belong to the corresponding lifelog data. The following lifelog data may be collected through wearable devices, measurement devices, sensors, and user terminals. Various categories or items constituting lifelog data are set in advance, and in the process of building a health consultation model, the categories or items may be distinguished by different sentences.
  • Blood pressure mean arterial pressure Mean arterial blood pressure (average value of systemic circulation during cardiac cycle) ((SBP+DBP)*2)/3 mmHg 25 to 280 measurement point pulse mmHg 40 to 180 measurement point Systolic/diastolic blood pressure mmHg 25 to 280 measurement point blood sugar blood sugar mg/dL 25 to 280 measurement point Whether or not to eat when measuring blood sugar before meal after meal fasting Before going to bed (sleep) Morning/Evening on an empty stomach body measurement weight kg 10 to 150 measurement point key user input cm or m 50 to 300 measurement point Body Fat Mass (BFM) kg measurement point Skeletal Muscle Mass (SMM) kg measurement point Percent body fat (PBF) % measurement point Body mass index (BMI) kg/m 2 measurement point Waist Hip Ratio measurement point Visceral fat level 0 to 20 measurement point standard weight - my weight measurement point Required amount of muscle gain (+/-) measurement point Required amount of body fat increase (+/-) measurement point activity Name of physical activity equivalent to exercise Bike,
  • the lifelog data a plurality of values may be measured at regular time intervals.
  • the learning device or service device may use an arithmetic average of multiple values as an input value of the health counseling model.
  • the lifelog data may be information continuously collected according to the flow of a certain time. Lifelog data may represent periodic characteristics of a subject based on a certain time (real time, hourly interval, daily interval, etc.). That is, the lifelog data may include a subject's lifelog pattern. In this case, the learning device or service device may use the lifelog pattern itself in a certain time interval as an input value of the health counseling model.
  • the learning device tokenizes lifelog data i.
  • Lifelog data i may be composed of text representing an item and the value of the corresponding item. Therefore, the learning device can classify items and values into different tokens.
  • lifelog data i may be composed of a plurality of items. Accordingly, the learning device may classify each item in the lifelog data i as an individual token. In this case, the learning device may distinguish different items by treating them as different sentences (separate by a special token SEP). The way the learning device tokenizes the lifelog data i may be various.
  • the learning device tokenizes lifelog data i.
  • Lifelog data i may be composed of text representing an item and the value of the corresponding item. Therefore, the learning device can classify items and values into different tokens.
  • lifelog data i may be composed of a plurality of items. Accordingly, the learning device may classify each item in the lifelog data i as an individual token. In this case, the learning device may distinguish different items by treating them as different sentences (separate by special token SEP). The way the learning device tokenizes the lifelog data i may be various.
  • the learning device tokenizes lifelog data i.
  • Lifelog data i may be composed of text representing an item and the value of the corresponding item. Therefore, the learning device can classify items and values into different tokens.
  • lifelog data i may be composed of a plurality of items. Accordingly, the learning device may classify each item in the lifelog data i as an individual token. In this case, the learning device may distinguish different items by treating them as different sentences (separate by special token SEP). The way the learning device tokenizes the lifelog data i may be various.
  • the learning device inputs tokens of lifelog data i to the input layer of health counseling model 1.
  • Health counseling model 1 outputs a certain text or sentence as an output layer.
  • the health consultation model 1 outputs text or sentences corresponding to the health examination information.
  • the learning device compares the health examination data i (label) given as learning data with the health examination information output from the output layer, and trains the health consultation model 1 so that the health consultation model 1 outputs the correct answer.
  • the health counseling model 1 can output health checkup information for the subject based on the input lifelog data of the subject.
  • the health counseling model at this stage is referred to as “the state in which the health counseling model is established”.
  • FIG. 4 is another example of a learning process of a health counseling model.
  • 4 shows a model such as BERT as an example. It is assumed that the learning device has built learning data in advance. The learning device extracts lifelog data i and health examination data i. At this time, the lifelog data i and the health checkup data i are mapped to relevant information in advance. In this case, the lifelog data i may further include biometric information of the same subject extracted from a separate biometric information DB.
  • FIG. 4 is described centering on data i, the learning process may be repeatedly performed using a plurality of pairs of lifelog data and health checkup data.
  • the health counseling model can be pre-trained with MLM or NSP. Based on the lifelog data entered into the health consultation model, specific health examination information is output. Such a model corresponds to the Q&A model. Therefore, the learning device may perform a process of additional learning (transfer learning) of the pre-trained model to suit the application.
  • the learning device extracts lifelog data i and health examination data i mapped from the lifelog DB and the health checkup DB.
  • lifelog data i and health examination data i mapped from the lifelog DB and the health checkup DB.
  • health checkup data having the highest correlation among them may be selected.
  • the learning device appropriately uses various techniques such as taking an average based on a plurality of health checkup data to be mapped or taking a representative value such as average, median, or mode for each item of health checkup data to optimize health. Examination data can be extracted.
  • the learning device tokenizes lifelog data i.
  • Lifelog data i may be composed of a plurality of lifelog data and biometric information. Therefore, the learning device can classify a plurality of lifelog data and biometric information into different sentences. That is, lifelog data and biometric information may be classified into different sentences. 4 is an example in which the learning device divides livelog data 1 and lifelog data 2 into different sentences, and divides items and values (or different items) belonging to the corresponding lifelog data into different tokens.
  • biometric information may be composed of a plurality of items. In this case, the learning device may classify a plurality of items belonging to the biometric information into different tokens.
  • Whether it is one lifelog data or a plurality of lifelog data may be determined according to at least one of included items and continuity of data measurement time. For example, if there is data on sleep time and steps during May 2022 and data on sleep time, steps and sleep level during June 2022, the types of items are different, so multiple lifelog data can be determined As another example, if there is data on sleep time and step count during April 2022 and data on sleep time and step count during June 2022, the items are the same but the continuity of the data measurement time is not maintained, so multiple It can be determined by the lifelog data of
  • lifelog data i may be composed of text representing a plurality of items and values of the corresponding items.
  • the learning device can differentiate items and values into different tokens.
  • lifelog data i may be composed of a plurality of items. Accordingly, the learning device may classify each item in the lifelog data i as an individual token. 4 is an example in which the learning device divides livelog data 1 and lifelog data 2 into different sentences, and divides items and values (or different items) belonging to the corresponding lifelog data into different tokens.
  • biometric information may be composed of a plurality of items. In this case, the learning device may classify a plurality of items belonging to the biometric information into different tokens.
  • the learning device inputs tokens extracted from lifelog data i into the input layer of health counseling model 2.
  • Health counseling model 2 outputs a certain text or sentence as an output layer. At this time, the health counseling model 2 outputs text or sentences corresponding to the health examination information.
  • the learning device trains the health consultation model 2 so that the health consultation model 2 outputs the correct answer while comparing the health examination data i (label) given as learning data with the health examination information output from the output layer.
  • health counseling model 2 outputs health examination information for the subject based on the lifelog data of the subject.
  • reliability of each of the plurality of lifelog data may be considered. For example, if the reliability of lifelog data 1 is higher than a predetermined threshold value compared to the reliability of lifelog data 2, by giving a higher weight to the token based on lifelog data 1 and inputting it to health counseling model 2 , health counseling model 2 can be trained to output correct answers.
  • 5 is an example of a process 300 of providing health examination information using a health counseling model. 5 is an example of providing health examination information using additional information generated over time. The health counseling model assumes that it is in an established state.
  • the service device receives the subject's lifelog data collected at time t (310).
  • the service device generates health examination information by inputting the lifelog data at time t to the health consultation model (320).
  • the health checkup information generated at this time is referred to as health checkup information at time t.
  • a constant time i passes after time t (330).
  • i can be a number of hours, a day, a few days, a week, a month, a few months, etc.
  • the service device receives the subject's lifelog data collected at time t+i (340).
  • the service device extracts additional information obtainable at time t+i based on at least the subject's lifelog data collected at time t+i (350).
  • the additional information can be of various kinds. Additional information may include at least one of the items of Table 5 below.
  • the items of lifelog data collected in step 310 and the items of lifelog data collected in step 340 may be different.
  • the additional information may be a newly added item or the value of a corresponding item (or an item or value of an item that has been changed beyond a threshold value).
  • Health examination information at a corresponding time point may be generated by inputting the data to the model (360).
  • the learned model must be built using the additional information in a learning process.
  • the service device may generate health examination information at time t+i by further inputting lifelog data at time t.
  • 6 is another example of a learning process of a health counseling model.
  • 6 shows a model such as BERT as an example. It is assumed that the learning device has built learning data in advance. The learning device extracts additional information i, lifelog data i, and health examination data i. At this time, the lifelog data i and the health checkup data i are mapped to relevant information in advance. In this case, the lifelog data i may further include biometric information of the same subject extracted from a separate biometric information DB. Additional information i refers to information that can be collected over time for the same subject as described in FIG. 5 . Although FIG. 4 is described centering on data i, the learning process may be repeatedly performed using a plurality of pairs of lifelog data and health checkup data.
  • the health counseling model can be pre-trained with MLM or NSP. Based on the lifelog data entered into the health consultation model, specific health examination information is output. Such a model corresponds to the Q&A model. Therefore, the learning device may perform a process of additional learning (transfer learning) of the pre-trained model to suit the application.
  • the learning device extracts additional information i from the additional information DB, lifelog data i from the lifelog DB, and health examination data i from the health examination DB.
  • health examination data may be selected. For example, health checkup data having a correlation greater than a threshold value and a larger time difference may be selected, but health checkup data having a correlation greater than a threshold value and a smaller time difference may be selected depending on the purpose of constructing the model.
  • the learning device tokenizes lifelog data i.
  • Lifelog data i may be composed of a plurality of lifelog data and biometric information. Therefore, the learning device can classify a plurality of lifelog data and biometric information into different sentences. That is, lifelog data and biometric information may be divided into different sentences.
  • lifelog data i may be composed of text representing a plurality of items and values of the corresponding items.
  • the learning device can differentiate items and values into different tokens.
  • lifelog data i may be composed of a plurality of items. Accordingly, the learning device may classify each item in the lifelog data i as an individual token.
  • biometric information may be composed of a plurality of items. In this case, the learning device may classify a plurality of items belonging to the biometric information into different tokens.
  • the learning device tokenizes the additional information. Additional information may also have a plurality of items. Therefore, the learning device can divide the additional information into a plurality of tokens.
  • the additional information may consist of at least some information among various items.
  • Additional information may include elapsed time i.
  • the elapsed time may be a difference between a time point at which health examination information is provided for the same subject (time t) and a time point at which health examination information is provided based on newly collected lifelog data (time point t+i).
  • Additional information may include items of lifelog data changed over time and values of the items.
  • the additional information may include weight change amount, sleep time change amount, physical activity time or intensity change amount, and the like.
  • Additional information may be the result of a health examination performed on the same subject at the previous time point (or previous time point).
  • the additional information may be health examination information provided using a health counseling model at the immediately preceding point (or previous point in time) for the same subject. A health counseling model must be established in advance using the learning data provided according to the type of additional information.
  • the learning device inputs tokens extracted from lifelog data i and additional information i to the input layer of health counseling model 3.
  • Health counseling model 3 outputs certain text or sentences as an output layer. At this time, the health counseling model 3 outputs text or sentences corresponding to the health examination information.
  • the learning device trains the health consultation model 3 so that the health consultation model 3 outputs the correct answer while comparing the health examination data i (label) given as learning data with the health examination information output from the output layer.
  • the health counseling model 3 outputs health examination information for the subject based on the lifelog data and additional information of the subject.
  • lifelog data i may correspond to the first lifelog
  • health examination data i may correspond to second health examination information
  • additional information i may correspond to the second lifelog and first health examination information.
  • the health counseling model 1, health counseling model 2, and health counseling model 3 described above may be models that are independently learned and built. Furthermore, a model learned with various input data, such as health consultation model 3, is built, and then the service device configures lifelog data, biometric information, and additional information in different sentences according to the contents of the input data and inputs them. Health examination information may also be generated. That is, the service device may generate health examination information by inputting the lifelog data into the health consultation model 3 as one sentence. Since the health consultation model 3 also uses lifelog data as input data in the learning process, the health consultation model 3 calculates related health examination information even when only the lifelog data is input. Of course, the service device may generate health examination information by inputting lifelog data, biometric information, and additional information in different sentences to the health consultation model 3.
  • the health examination information output by the health counseling model may be various types of information.
  • the health examination information may have a value for a specific item, text for a specific item, text for a plurality of items, or a series of sentences.
  • Table 6 below is an example of information output by the health counseling model.
  • Health checkup information includes at least one of items such as disease diagnosis, type of prescription, strength of prescription, frequency and cycle of future counseling, evaluation of the subject (whether or not he or she follows the previous prescription), recommended exercise type, and recommended dietary information. can include The health checkup information below also corresponds to the health checkup data in the learning process.
  • the learning device extracts a plurality of pairs of lifelog data and health examination data. For example, a pair consisting of lifelog data i-1 and health examination data i-1, and a pair consisting of lifelog data i-2 and health examination data i-2 may be extracted. These pairs are pre-mapped with relevant information.
  • the extracted plurality of pairs may be data corresponding to the same subject or a person who can be regarded as the same subject medically and statistically.
  • the plurality of extracted lifelog data may have at least one identical common item
  • the plurality of extracted health examination data may have at least one identical common item.
  • the health counseling model may be pre-trained as a Masked Language Model (MLM) or NSP. Based on the lifelog data entered into the health consultation model, specific health examination information is output. Such a model corresponds to the Q&A model. Therefore, the learning device may perform a process of additional learning (transfer learning) of the pre-trained model to suit the application.
  • MLM Masked Language Model
  • NSP Network-Specific Service Set
  • the learning device tokenizes the lifelog data i-1 and i-2.
  • the lifelog data i-1 and i-2 may be composed of text representing an item and the value of the corresponding item. Therefore, the learning device can classify items and values into different tokens.
  • the lifelog data i-1 and i-2 may be composed of a plurality of items. Accordingly, the learning device may classify each item in the lifelog data i-1 and i-2 as an individual token. In this case, the learning device may distinguish different items by treating them as different sentences (separate by special token SEP).
  • the learning device may tokenize a difference in value of a common item of lifelog data i-1 and i-2.
  • the learning device inputs tokens based on lifelog data i-1 and i-2 to the input layer of health counseling model 4.
  • Health counseling model 4 outputs certain text or sentences as an output layer.
  • the health counseling model 4 outputs text or sentences corresponding to differences in health examination information.
  • the learning device measures the difference between the health examination data i-1 and i-2 given as learning data (eg, the difference between the common items of the health examination data i-1 and i-2) and the health examination information output by the output layer. While comparing, the health consultation model 4 is trained so that the health consultation model 4 outputs the correct answer.
  • health counseling model 4 may operate independently of health counseling models 1 to 3, be included in health counseling models 1 to 3, or be operated in parallel with health counseling models 1 to 3. can Specifically, health counseling model 4 learns how differences in specific items included in lifelog data result in differences in health checkups, and provides the learned results to users alone or to other related health counseling models. can do.
  • the service device 400 refers to a device that provides health examination information to an individual using a learned health counseling model, such as the computer device 130 and the service server 140 described above.
  • the service device 400 may be physically implemented in various forms.
  • the service device 400 may have a form of a computer device such as a PC, a network server, and a data processing dedicated chipset.
  • the service device 400 may include a storage device 410, a memory 420, an arithmetic device 430, an interface device 440, a communication device 450, and an output device 460.
  • the storage device 410 may store the aforementioned health counseling model.
  • the storage device 410 may store programs or instructions for controlling an operation of generating health examination information using input data and a health consultation model.
  • the storage device 410 may store lifelog data, biometric information, and additional information of the subject. Additional information refers to the information described in Table 5.
  • the memory 420 may store data and information generated during a process in which the service device 400 generates health examination information using a counseling model.
  • the interface device 440 is a device that receives certain commands and data from the outside.
  • the interface device 440 may receive the subject's lifelog data from a physically connected input device or an external storage device.
  • the interface device 440 may receive lifelog data collected at different points in time.
  • the interface device 440 may receive biometric information of the subject.
  • the interface device 440 may receive additional information of the subject.
  • the interface device 440 may transmit health checkup information for a corresponding individual to an external object.
  • the communication device 450 refers to a component that receives and transmits certain information through a wired or wireless network.
  • the communication device 450 may receive lifelog data of the subject from an external object.
  • the communication device 450 may receive lifelog data collected at different times.
  • the communication device 450 may receive biometric information of a subject from an external object.
  • the communication device 450 may receive additional information of the subject from an external object.
  • the communication device 450 may transmit health checkup information for a corresponding individual to an external object such as a user terminal.
  • the interface device 440 may include a component for receiving data received by the communication device 450.
  • the output device 460 is a device that outputs certain information.
  • the output device 460 may output an interface required for data processing.
  • the output device 460 may output health examination information.
  • the arithmetic device 430 may generate health checkup information for a specific target person using commands or programs stored in the storage device 410 .
  • the arithmetic device 430 may generate customized health examination information for the subject by inputting the subject's lifelog data to the health counseling model (health counseling model 1). As described with reference to FIG. 3 , the computing device 430 may tokenize the subject's lifelog data to a certain extent and input it to the input layer of the health counseling model.
  • the arithmetic device 430 may generate customized health examination information for the subject by inputting lifelog data and biometric information of the subject to a health counseling model (health counseling model 2). As described with reference to FIG. 4 , the computing device 430 may tokenize the subject's lifelog data regularly and input the tokenized data to the input layer of the health counseling model.
  • the computing device 430 may generate additional information using first lifelog data collected at a first time point and second lifelog data collected at a second time point after the first time point.
  • the additional information may be specific items that are changed (more than a threshold value) compared to the first lifelog data among the second lifelog data and values of the corresponding items.
  • the computing device 430 may use health examination information generated by inputting the first lifelog data into the health counseling model as additional information at the second point in time.
  • the computing device 430 may input the lifelog data and additional information of the subject to the health counseling model (health counseling model 3) to generate customized health checkup information for the subject.
  • the computing device 430 may input lifelog data, biometric information, and additional information of the subject to a health counseling model (health counseling model 3) to generate customized health examination information for the subject.
  • the computing device 430 may tokenize the subject's lifelog data and additional information regularly and input them to the input layer of the health counseling model.
  • the computing device 430 may convert lifelog data into medical indicators.
  • the medical indicators are as described in Table 1. Of course, in addition to the indicators in Table 1, various medical indicators can be calculated from lifelog data.
  • the arithmetic device 430 may convert specific lifelog data into a medical index using a function having specific lifelog data as a variable, a regression model, or a deep learning model. In this case, the arithmetic device 430 may further input medical indicators into the health consultation model to generate customized health examination information for the target person.
  • the corresponding health counseling model is preferably a model built by further using medical indicators as input data as learning data.
  • the arithmetic device 430 may be a device such as a processor, an AP, or a chip in which a program is embedded that processes data and performs certain arithmetic operations.
  • the method for constructing a counseling model and the method for providing health examination information using the counseling model as described above may be implemented as a program (or application) including an executable algorithm that may be executed on a computer.
  • the program may be stored and provided in a temporary or non-transitory computer readable medium.
  • a non-transitory readable medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and can be read by a device.
  • the various applications or programs described above are CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM)
  • ROM read-only memory
  • PROM programmable read only memory
  • EPROM Erasable PROM, EPROM
  • it may be stored and provided in a non-transitory readable medium such as EEPROM (Electrically EPROM) or flash memory.
  • Temporary readable media include static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDR SDRAM), and enhanced SDRAM (Enhanced SDRAM). SDRAM, ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM) and Direct Rambus RAM (DRRAM).
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDR SDRAM double data rate SDRAM
  • Enhanced SDRAM Enhanced SDRAM
  • SDRAM ESDRAM
  • Synchronous DRAM Synchronous DRAM
  • SLDRAM Direct Rambus RAM
  • DRRAM Direct Rambus RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nutrition Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

라이프로그를 기준으로 건강 검진 정보를 제공하는 방법은 서비스 장치가 특정 시점에서 수집된 대상자의 제1 라이프로그 데이터를 입력받는 단계 및 상기 서비스 장치가 상기 제1 라이프로그 데이터를 사전에 학습된 건강 상담 모델에 입력하여 상기 대상자에 대한 텍스트 형태의 제1 건강 검진 정보를 생성하는 단계를 포함한다. 상기 건강 상담 모델은 자연어 처리 모델로서, 텍스트 형태인 개인의 라이프로그 데이터 및 상기 개인의 건강 검진 상담 결과에서 추출되는 건강 검진 정보 쌍을 학습 데이터로 이용하여 학습되는 질의 및 응답 모델이다.

Description

라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치
이하 설명하는 기술은 개인의 라이프로그 기준으로 해당 개인에게 맞춤형 건강 검진 정보를 제공하는 기법이다.
현재의 건강검진 상담은 검진자의 이전 검진 데이터와 검진 당일의 데이터(검진자가 작성한 설문지 포함)만으로 상담을 진행하고 있다. 특히 의료진의 상담에 연관이 많은 생활습관에 관한 내용은 검진자가 작성한 설문지에 의존하고 있는 상황이다.
이하 설명하는 기술은 개인의 라이프로그(lifelog)를 활용하여 건강 검진 상담 내지 건강 검진 정보를 제공하고자 한다.
라이프로그를 기준으로 건강 검진 정보를 제공하는 방법은 서비스 장치가 특정 시점에서 수집된 대상자의 제1 라이프로그 데이터를 입력받는 단계 및 상기 서비스 장치가 상기 제1 라이프로그 데이터를 사전에 학습된 건강 상담 모델에 입력하여 상기 대상자에 대한 텍스트 형태의 제1 건강 검진 정보를 생성하는 단계를 포함한다.
라이프로그를 기준으로 건강 검진 정보를 제공하는 서비스 장치는 특정 시점에서 수집된 대상자의 제1 라이프로그 데이터를 입력받는 인터페이스장치, 개인의 라이프로그 데이터를 입력받아 상기 개인의 건강 검진 정보를 생성하도록 학습된 건강 상담 모델을 저장하는 저장장치 및 상기 제1 라이프로그 데이터를 상기 건강 상담 모델에 입력하여 상기 대상자에 대한 텍스트 형태의 제1 건강 검진 정보를 생성하는 단계를 포함한다.
상기 건강 상담 모델은 자연어 처리 모델로서, 텍스트 형태인 개인의 라이프로그 데이터 및 상기 개인의 건강 검진 상담 결과에서 추출되는 건강 검진 데이터 쌍을 학습 데이터로 이용하여 학습되는 질의 및 응답 모델이다.
이하 설명하는 기술은 개인이 실제 건강 검진을 받기 전에 손쉽게 획득 가능한 라이프로그를 기준으로 생활 습관과 연관된 건강 검진 정보를 제공한다. 이하 설명하는 기술은 개인의 라이프로그를 기준으로 초기 건강 검진 정보를 제공하여 개인 건강 증진에 이바지한다. 또한 이하 설명하는 기술은 의료진에게 개인의 건강 검진 상담을 위한 초기 자료를 제공할 수도 있다.
도 1은 라이프로그 기반의 건강 검진 정보 생성 시스템에 대한 예이다.
도 2는 건강 상담 모델의 학습을 위한 학습 데이터 구축 과정에 대한 예이다.
도 3은 건강 상담 모델의 학습 과정에 대한 예이다.
도 4는 건강 상담 모델의 학습 과정에 대한 다른 예이다.
도 5는 건강 상담 모델을 이용하여 건강 검진 정보를 제공하는 과정에 대한 예이다.
도 6은 건강 상담 모델의 학습 과정에 대한 또 다른 예이다.
도 7은 건강 상담 모델의 학습 과정에 대한 또 다른 예이다.
도 8은 서비스 장치에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명에서 사용하는 용어에 대하여 설명한다.
라이프로그(lifelog)는 개인 일상에 대한 기록을 의미한다. 이하 라이프로그 또는 라이프로그 데이터는 개인 일상 기록에 대한 정보라는 의미로 사용한다. 라이프로그는 다양한 장치로부터 획득될 수 있다. 예컨대, 라이프로그는 개인이 휴대한 단말, 웨어러블 기기(스마트밴드, 스마트워치, 스마트안경 등), 센서 장치 등으로부터 수집될 수 있다. 라이프로그는 다양한 장치가 수집한 개인의 일상(이동 거리, 운동량, 수면시간 등)에 대한 정보를 포함한다. 또한, 라이프로그는 장치에 내장된 센서가 측정하는 체온, 혈압, 산소포화도, 심전도 등의 생체 정보를 포함할 수도 있다. 나아가, 라이프로그는 개인의 주변 환경에 위치한 IoT 디바이스, 카메라, 각종 센서 등으로부터 수집한 개인 활동에 대한 정보를 포함할 수도 있다.
건강 검진은 개인의 건강을 점검하기 위한 다수의 검사를 의미한다. 건강 검진은 국가에서 시행하는 검진과 개별 병원에서 진행하는 검진을 모두 포함하는 의미이다. 건강 검진 데이터는 개인의 건강 검진의 측정값 및 결과를 포함하는 정보를 의미한다. 건강 검진 데이터는 병원의 EMR(Electronic Medical Record) 또는 특정 데이터베이스(DB)에 저장될 수 있다.
대상자 내지 사용자는 자신의 라이프로그를 기준으로 맞춤형 건강 검진 정보를 얻고자 하는 사람을 의미한다.
이하 설명하는 기술은 대상자에게 대상자의 라이프로그를 기준으로 맞춤형 건강 검진 정보를 제공한다. 대상자는 의료기관에서 수행하는 건강 검진을 받지 않고, 손쉽게 획득 가능한 라이프로그를 기준으로 건강 검진 정보를 제공받는 것이다.
이하 설명하는 기술은 자연어 처리 모델(언어 모델)을 이용하여 라이프로그를 기준으로 대상자에게 맞춤형 건강 검진 정보를 제공한다. 자연어 처리 모델은 일정한 텍스트 또는 문장을 입력받아 일정한 단어 내지 문장을 출력하는 모델이다. 자연어 처리 모델은 다양한 모델들이 연구되고 있다. 대표적인 최근 자연어 처리 모델은 BERT(Bidirectional Encoder Representations from Transformers), GPT 등이 있다.
이하 라이프로그를 기준으로 대상자에게 맞춤형 건강 검진 정보를 제공하는 장치를 서비스 장치라고 명명한다. 서비스 장치는 PC와 같은 컴퓨터 장치, 스마트 기기, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.
도 1은 라이프로그 기반의 건강 검진 정보 생성 시스템(100)에 대한 예이다. 도 1에서 사용자 A는 자신의 라이프로그를 기준으로 건강 검진 정보를 제공받는 사람이다.
웨어러블 기기(111)는 사용자 A의 라이프로그를 수집한다. 나아가, 웨어러블 기기외에 사용자의 상태 모니터링 내지 추적이 가능한 다른 장치들이 사용자 A의 라이프로그를 수집할 수도 있다. 예컨대, 카메라(112)가 사용자 A의 건강 상태, 생활 습관, 생활 패턴, 영상에서 추출가능한 생체 정보 등의 정보를 수집할 수도 있다.
나아가, 생체 정보 측정 장치(121, 122, 123)는 사용자 A의 생체 정보를 획득할 수 있다. 생체 정보는 사용자가 비교적 간단하게 측정할 수 있는 정보로 구성될 수 있다. 예컨대, 생체 정보는 혈압, 혈당, 기타 신체 계측 수치(체온, 체중, 키, 체지방률, 골격 근량 등) 등을 포함할 수 있다. 도 1은 혈당계(121), 혈압계(122) 및 체중계(123)를 예로 도시한다. 생체 정보 측정 장치는 무선 통신이 가능한 IoT 장비일 수도 있다. 또한 웨어러블 기기(111)도 일정한 생체 정보(심박수, 체온 등)를 수집할 수도 있다.
도 1에서 서비스 장치는 컴퓨터 장치(130) 및 서비스 서버(140)를 예로 도시한다. 컴퓨터 장치(130)는 PC, 스마트폰과 같은 장치일 수 있다.
컴퓨터 장치(130)는 사용자 A의 라이프로그를 입력받는다. 컴퓨터 장치(130)는 유선 또는 무선 네트워크를 통해 라이프로그 데이터를 입력받을 수 있다. 또는 컴퓨터 장치(130)는 저장 매체 등과 같은 인터페이스를 통해 라이프로그 데이터를 입력받을 수도 있다. 컴퓨터 장치(130)는 사전에 구축된 자연어 처리 모델을 이용하여 라이프로그를 기준으로 건강 검진 정보를 생성할 수 있다. 자연어 처리 모델 구축 과정은 후술한다. 컴퓨터 장치(130)는 사용자 A의 건강 검진 정보를 출력할 수 있다. 사용자 A 또는 사용자 B가 출력된 건강 검진 정보를 확인할 수 있다.
전술한 바와 같이 라이프로그는 넓은 의미에서 생체 정보를 포함할 수 있다. 다만, 이하 설명을 보다 명확하게 하기 위하여 라이프로그와 생체 정보를 구분하여 설명한다. 컴퓨터 장치(130)는 사용자 A의 라이프로그 및 생체 정보를 입력받을 수 있다. 컴퓨터 장치(130)는 사전에 구축된 자연어 처리 모델을 이용하여 라이프로그 및 생체 정보를 기준으로 건강 검진 정보를 생성할 수 있다.
서비스 서버(140)는 무선 네트워크를 통해 라이프로그 데이터를 입력받을 수 있다. 서비스 서버(140)는 사전에 구축된 자연어 처리 모델을 이용하여 라이프로그를 기준으로 건강 검진 정보를 생성할 수 있다. 서비스 서버(140)는 생성한 건강 검진 정보를 사용자 단말(150)에 전송할 수 있다. 사용자 단말(150)은 사용자 A의 건강 검진 정보를 출력할 수 있다. 사용자 A 또는 사용자 B가 출력된 건강 검진 정보를 확인할 수 있다.
또한, 서비스 서버(140)는 사용자 A의 라이프로그 및 생체 정보를 입력받을 수 있다. 서비스 서버(140)는 사전에 구축된 자연어 처리 모델을 이용하여 라이프로그 및 생체 정보를 기준으로 건강 검진 정보를 생성할 수 있다.
이하 라이프로그를 기준으로 건강 검진 정보를 출력하는 자연어 처리 모델의 구축 과정에 대하여 설명한다. 전술한 바와 같이 자연어 처리 모델은 다양한 모델이 연구되었다. 따라서, 건강 검진 정보를 출력하는 자연어 처리 모델도 다양한 모델 중 어느 하나를 이용하여 구축될 수 있다. 자연어 처리 모델에 대한 구체적인 구성이나 학습 과정에 대해서는 설명을 생략한다.
BERT와 같은 모델은 문장의 일부를 다른 단어로 대체하거나 제거(마스크)하고 원래 문장을 복원하는 방식으로 학습된다. 초기 학습된 자연어 처리 모델은 전이 학습(transfer learning)을 진행하여 원하는 특정 애플리케이션에 대한 모델로 구축될 수 있다. 자연어 처리 모델은 특정 문자열(토큰)의 배열이 등장할 확률을 나타내는 모델에 해당한다.
Q&A(question and answer, 질의 및 응답) 애플리케이션은 입력되는 질의에 대한 답변을 제공하는 애플리케이션이다. Q&A를 위한 자연어 처리 모델은 NSP(Next Sentence Prediction)를 수행하는 방식으로 사전 학습될 수 있다. 이하 설명에서 라이프로그를 입력받아 건강 검진 정보를 산출하는 자연어 처리 모델을 건강 상담 모델이라고 명명한다.
건강 상담 모델은 학습 데이터를 통해 사전에 학습되어야 한다. 먼저, 건강 상담 모델을 위한 학습 데이터 구축 과정을 설명한다. 도 2는 자연어 처리 모델의 학습을 위한 학습 데이터 구축 과정(200)에 대한 예이다. 학습 데이터 구축 과정은 개발자가 컴퓨터 장치를 이용하여 수집한 데이터를 일정하게 처리하고 라벨링하는 과정에 해당한다. 개발자가 수행하는 과정이지만 설명의 편의를 위하여 학습 장치가 해당 과정을 수행한다고 설명한다. 학습 장치는 건강 상담 모델을 구축하는 컴퓨터 장치를 의미한다.
라이프로그 DB(데이터베이스)는 개인들의 라이프로그 데이터를 저장한다(210). 라이프로그 DB는 웨어러블 기기, 생체 정보 측정 장치, IoT 장치 등으로부터 수집한 데이터를 수신할 수 있다. 라이프로그 DB는 개인들의 식별자, 해당 개인의 라이프로그 및 생체 정보를 저장한다.
라이프로그 DB(데이터베이스)는 개인들의 라이프로그 데이터를 저장한다(210). 라이프로그 DB는 웨어러블 기기, 생체 정보 측정 장치, IoT 장치 등으로부터 수집한 데이터를 수신할 수 있다. 라이프로그 DB는 개인들의 식별자, 해당 개인의 라이프로그 및 생체 정보를 저장한다.
건강 검진 DB는 개인들의 건강 검진 데이터를 저장한다(220). 건강 검진 DB(130)는 건강검진 관리기관의 DB, 의료기관의 DB 등일 수 있다. 건강 검진 데이터는 특정 개인에 대하여 건강 검진 결과를 기준으로 의료진이 분석 내지 상담한 내용을 의미한다. 건강 검진 결과는 기본 정보(연령, 성별, 키, 체중 등), 생체 계측 정보(심전도, 혈압 등), 검사 결과(혈액 검사, 소변 검사 등), 의료 영상(x 레이, CT, MRI 등) 등을 포함할 수 있다. 건강 검진 데이터는 특정 개인에 대한 라이프로그를 더 이용하여 상담한 내용이 포함될 수 있다. 건강 검진 DB는 개인들의 식별자 및 해당 개인의 건강 검진 데이터를 저장할 수 있다.
라이프로그 DB 및 건강 검진 DB는 동일한 개인들의 라이프로그 및 건강 검진 데이터를 보유한다고 가정한다. 나아가, 라이프로그 DB 및 건강 검진 DB는 동일인은 아니지만 개인을 특정하는 정보(나이, 성별, 신체 계측 정보, 표현형 등)가 의학적, 통계적으로 동일인 내지 동일 모집단으로 볼 수 있는 개인들의 라이프로그 및 건강 검진 데이터를 보유할 수도 있다.
학습장치는 라이프로그 DB에서 라이프로그 데이터를 추출한다(230). 라이프로그 데이터는 개인 식별자, 항목 식별자(라이프로그 항목 구분), 해당 항목에 대한 값 , 측정 시간, 라이프로그 데이터 식별자 중 적어도 하나를 포함할 수 있다. 학습장치는 추출한 라이프로그를 일정하게 전처리할 수 있다(240). 전처리는 다양한 포맷의 라이프로그 데이터에 대한 표준화 및 익명화 등을 포함할 수 있다.
학습장치는 건강 검진 DB에서 건강 검진 데이터를 추출한다(250). 건강 검진 데이터는 개인 식별자, 항목 식별자(검진 항목 구분) 및 해당 항목에 대한 값 중 적어도 하나를 포함할 수 있다. 건강 검진 데이터가 건강 검진 결과에 라이프로그를 더 이용하여 상담한 내용을 포함하는 경우, 건강 검진 데이터는 해당 라이프로그를 식별하기 위한 라이프로그 데이터 식별자를 더 포함할 수 있다. 일 실시예에서, 학습장치는 텍스트로 구성된 건강 검진 상담 결과를 마이닝하여 특정 문장이나 키워드(검진 주요 내용)를 추출할 수도 있다. 상담 데이터가 음성 데이터라면 학습장치는 해당 음성에서 텍스트를 추출할 수도 있다. 학습장치는 추출한 건강 검진 데이터를 일정하게 전처리할 수 있다(260). 전처리는 다양한 포맷의 건강 검진 데이터에 대한 표준화 및 익명화 등을 포함할 수 있다.
한편, 학습장치는 라이프로그 데이터에 대한 가공을 할 수도 있다(270). 여기서 가공은 라이프로그 데이터가 나타내는 또는 추론되는 의학적 정보를 산출하는 것을 말한다. 예컨대, 전문가는 특정 개인의 라이프로그 데이터를 기준으로 의학적 의미가 있는 지표(의학적 지표)를 산출할 수 있다. 학습장치는 사전에 설정된 함수 또는 모델을 이용하여 라이프로그 데이터를 일정한 의학적 지표로 변환할 수 있다. 예컨대, 수면 관련한 라이프로그 데이터는 아래 표 1과 같이 수면다원검사(polysomnography, PSG) 관련한 지표로 가공될 수 있다. 이 경우 학습 데이터는 의학적 지표를 포함할 수 있다.
표현형 수면다원 검사 관련 지표 라이프로그 기반 산출 방법
Insomnia Sleep latency, REM latency, sleep efficacy, wakefulness, after sleep onset (WASO), arousal index, sleep architecture 각 지표마다 산출 공식존재함. 각 지표 계산시 사용되는 입력값은 아래와 같음.
- 처음 잠자리에 누운 시간
- 처음 REM sleep이 나타난 시간
- 최종적으로 잠에서 깬 시간
- 침상에서 몸을 일으킨 시간
Sleep apnea Apnea-hypopnea index(AHI),Respiratory disturbance index(RDI) -Sleep time, O2 satuaration, 호흡 노력 자료 이용하여 산출
-Respiratory Rate(RR)을 이용하여 지표 산출
REM sleep disorder 렘수면행동장애(REM sleep behavior disorder, RBD) 유무 REM 수면 시기동안 신체 움직임을 이용하여 산출
학습장치는 전처리한 라이프로그 데이터 및 건강 검진 데이터를 매핑(mapping)한다(290). 여기서 매핑은 특정 라이프로그 데이터(들)를 특정 건강 검진 데이터(검진 결과)들에 매칭하는 과정이다. 예컨대, 상기 표 1을 참조하여 설명하면 라이프로그 데이터는 REM 수면 시간 동안 임계값 이상의 신체 움직임은 렘 수면 장애(REM sleep disorder)라는 건강 검진 데이터에 매핑된다.
한편, 라이프로그 데이터 및 건강 검진 데이터의 매핑 이전에, 학습 장치는 특정 라이프로그 데이터와 특정 건강 검진 데이터의 관련성(연관성)에 대한 검증을 수행해야 한다(280). 검증 과정 자체는 전문가가 수행하는 과정일 수 있다. 학습 장치는 검증된 결과에 따른 정보를 입력받게 된다. 검증 결과 내지 매핑 결과는 아래 표 2와 같은 형태로 정리될 수도 있다. 표 2와 같이 어느 하나의 라이프로그 데이터 A가 특정 건강 검진 데이터 K과 매우 높은 연관성(90%)을 가질 수 있다. 또는 복수의 라이프로그 데이터(라이프로그 데이터 A+B)가 특정 건강 검진 데이터 K와 매우 높은 연관성(95%)을 가질 수 있다. 이때 연관성은 연관성 있음 또는 없음과 같은 정보일 수도 있다. 건강 상담 모델은 입력되는 라이프로그 데이터를 기준으로 건강 검진 정보를 출력하면서 연관성 정보도 같이 제공할 수 있다.
라이프로그 데이터 건강 검진 데이터 연관성
라이프로그 A 건강 검진 데이터 K 90%
라이프로그 A + 라이프로그 B 건강 검진 데이터 L 95%
라이프로그 B + 라이프로그 C 건강 검진 데이터 L 80%
... ... ...
라이프로그 데이터와 건강 검진 데이터와의 연관성은 기본적으로 전문가의 의학적 지식에 따라 결정될 수 있다. 나아가, 라이프로그 데이터와 건강 검진 데이터와의 연관성은 해당 데이터의 개인 식별자, 데이터의 생성 시간, 라이프로그 데이터와 건강 검진 데이터 생성 시점의 선후 관계 등에 따라 결정될 수도 있다. 예컨대, (i) 각 데이터의 개인 식별자가 동일한 경우 연관성은 높게 설정될 수 있다. (ii) 또는 라이프로그 데이터 생성 후 일정한 시간 구간(예컨대, 하루, 일주일 내에)에서 건강 검진 데이터가 생성된 경우 양자의 연관성이 높게 설정될 수도 있다.
학습 데이터는 (임계값 이상) 연관성이 높아 매핑된 라이프로그 데이터와 건강 검진 데이터 쌍이 활용된다.
일 실시예에서, 하나의 라이프로그 데이터는 복수의 건강 검진 데이터들과 각각 매핑될 수 있다. 예를 들어, 라이프로그 A(예: 특정인의 2022년 5월 데이터)는 건강 검진 데이터 K(예: 2022년 6월 검진 정보) 및 건강 검진 데이터 L(예: 2022년 8월 검진 정보)과 각각 임계값 이상의 연관성을 가질 수 있다.
매핑된 라이프로그 데이터와 건강 검진 데이터 쌍은 라이프로그 DB(210) 혹은 건강검진 DB(220)에 각각 저장되거나 별도의 데이터베이스에 저장될 수 있다. 각각 저장되는 경우 매핑 정보가 함께 저장될 수 있다.
한편, 학습 장치는 일정한 품질(신뢰도)을 갖는 라이프로그 데이터 및/또는 건강 검진 데이터를 학습 데이터로 선별할 수 있다. 예컨대, ① 학습 장치는 측정기기의 자료 전송시 문제(통신이나 전력)로 측정 값이 손실되거나 측정값이 이상값을 갖는 경우, 해당 데이터를 학습 데이터 세트에서 배제할 수 있다. ② 학습 장치는 A라는 대상자에게 사전에 등록한 측정 장치로 수집한 데이터만을 유효한 학습 데이터로 선별할 수 있다. ③ 학습 장치는 일정 시간 동안 연속적인 측정값이 보장되는 경우(예: 수면 시간, 안정시 심박수 등)에만 유효한 학습 데이터로 선별할 수 있다. ④ 학습 장치는 사전에 설정된 주기를 경과(예컨대, 시간 단위 측정인데 하루가 경과한 경우)하여 측정된 데이터는 학습 데이터 세트에서 배제할 수 있다.
또한, 대상자에 대한 라이프로그 데이터 수집과 함께 건강 검진이나 검진 설문이 진행된 경우, 학습 장치는 라이프로그 데이터와 검진 설문 결과를 비교하여 라이프로그 데이터 또는 검진 설문 결과의 신뢰도를 평가할 수도 있다. 예컨대, 아래 표 3과 같이 학습 장치는 라이프로그 데이터와 검진 결과를 비교하여 정보에 일관성이 있는 경우만을 학습 데이터로 선별할 수 있다. 아래 표 3과 같은 경우 학습 장치는 수면 관련 라이프로그 데이터는 학습 데이터로 선별하지 않고 제거할 수 있다.
예 라이프로그 검진 설문 일치
여부
측정항목 측정 주기 및 시점
평소 흡연량 흡연량 기록 일일 측정 폐 염증지표(예: FeNO, IL-6, CRP 등) 증가 또는 일정 수준 이상 꾸준히
흡연		 O
평소 신체활동량 라이프로그 액티비티 활동 유무,운동시 심박수 24시간/연속적 일주일에 한번 O
평소 혈압 평균 SBP: 120;DBP: 80 일일 측정
(특정 시점)		 검진시 혈압 SBP: 120, DBP 85 O
설문: 평소 수면시간? 평균 4~5시간 수면시 연속적 8시간 응답 X
상술한 신뢰도(품질) 기반 데이터 필터링 과정은 라이프로그 데이터 및 건강 검진 데이터를 매핑하는 단계(290) 이후에 수행될 수 있다. 또는, 데이터 필터링 과정은 라이프로그 DB/건강 검진 DB에서 라이프로그 데이터/건강 검진 데이터를 추출하는 단계(230, 250) 이전에 수행될 수도 있다.
도 3은 건강 상담 모델의 학습 과정에 대한 예이다. 도 3은 BERT와 같은 모델을 예로 도시한 것이다. 학습장치는 사전에 학습 데이터를 구축하였다고 가정한다. 학습장치는 라이프로그 데이터 i와 건강 검진 데이터 i를 추출한다. 이때 라이프로그 데이터 i와 건강 검진 데이터 i는 사전에 연관성 있는 정보로 매핑된 것이다. 도 3은 데이터 i를 중심으로 설명하지만, 학습과정은 라이프로그 데이터와 건강 검진 데이터의 다수의 쌍을 이용하여 반복적으로 진행될 수 있다.
건강 상담 모델은 MLM(Masked Language Model) 또는 NSP으로 사전 학습될 수 있다. 건강 상담 모델이 입력되는 라이프로그 데이터를 기준으로 특정 건강 검진 정보를 출력한다. 이와 같은 모델은 Q&A 모델에 해당한다. 따라서, 학습장치는 사전 학습된 모델을 해당 애플리케이션에 맞게 추가 학습(전이 학습)하는 과정을 수행할 수 있다.
학습장치는 라이프로그 DB와 건강검진 DB에서 매핑되는 라이프로그 데이터 i와 건강 검진 데이터 i를 추출한다. 일 실시예에서, 라이프로그 데이터 i와 매핑되는 건강 검진 데이터 i가 복수인 경우, 그 중 연관성이 가장 높은 건강 건강 검진 데이터가 선별될 수 있다. 또는 학습장치는 매핑되는 건강검진 복수의 건강검진 데이터를 바탕으로 평균을 취하거나 건강검진 데이터의 항목별로 평균, 중앙값, 또는 최빈값 등의 대표값을 취하는 등의 다양한 기법을 적절하게 이용하여 최적의 건강 검진 데이터를 추출할 수 있다.
라이프로그 데이터는 다양한 항목들로 구성될 수 있다. 또한 라이프로그 데이터는 전술한 바와 같이 생체 정보와 같은 항목을 포함할 수도 있다. 아래 표 4는 몇 가지 라이프로그 데이터에 대한 예이다. 구분은 라이프로그 데이터의 종류를 나타내고, 항목은 해당 라이프로그 데이터에 속할 수 있는 지표들을 나타낸다. 아래 라이프로그 데이터는 웨어러블 기기, 계측 장치, 센서, 사용자 단말 등을 통해 수집될 수 있다. 라이프로그 데이터를 구성하는 다양한 구분이나 항목은 사전에 설정되며 건강 상담 모델 구축 과정에서 해당 구분이나 항목들이 서로 다른 문장으로 구분될 수 있다.
구분 항목 세부내용 단위 유효
측정범위 		수집시점
측정시간 측정일자 항목별 측정 시간 일자 시분초
(YYYY-MM-DD HH:mm:ss)		 실시간
사용자
입력항목		 성별
활동량 칼로리 kcal 실시간
이동거리 km, mile 실시간
걸음 수 실시간
안정시 심박수 실시간
수면 수면탐지여부 O, X 수면 중 실시간
수면 시작 시간 hours, min, seconds 수면 중 실시간
수면 종료 시간 hours, min, seconds 수면 중 실시간
수면 패턴 세분화 깊은 잠 (deep), 렘수면(rem), 얕은 수면(light), 깬 상태(wake) hours, min, seconds 수면 중 실시간
수면 레벨 (wake, restless, asleep) 수면 패턴이 측정되지 않은 경우: 깨어남 (awake), 수면 중 뒤척임(restless), 잠듦(asleep)
혈압 평균 동맥압 평균 동맥혈압 (심장 주기동안 전신 순환의 평균값) ((SBP+DBP)*2)/3 mmHg 25~280 측정 시점
맥박 mmHg 40~180 측정 시점
수축기/이완기혈압 mmHg 25~280 측정 시점
혈당 혈당 mg/dL 25~280 측정 시점
혈당 측정시 식사여부 식사 전 (before meal)
식사 후 (after meal)
공복 (fasting)
취침 전 (sleep)		 아침/저녁 공복시
신체계측 체중 kg 10~150 측정 시점
키 사용자 직접 입력 cm or m 50~300 측정 시점
체지방량 (Body Fat Mass, BFM) kg 측정 시점
골격근량 (Skeletal Muscle Mass, SMM) kg 측정 시점
체지방률(percent body fat, PBF) % 측정 시점
체질량 지수 (Body max index, BMI) kg/m2 측정 시점
복부지방률 (Waist Hip Ratio) 측정 시점
내장지방레벨 (visceral fat level) 0~20 측정 시점
표준체중-내 체중 측정 시점
근육 증량 필요량(+/-) 측정 시점
체지방 증량 필요량(+/-) 측정 시점
액티비티 운동에 준하는 신체활동명 Bike, Golf, Martial Arts, Spinning, Treadmill, Yoga, Bootcamp, Hike, Outdoor Workout, Stair Climber, Walk, Circuit Training, Interval Workout, Pilates, Swim, Weights, Elliptical, Kick Boxing, Run, Tennis, Workout 측정 시점
평균 심박수 측정 시점
최소 심박수 측정 시점
최대 심박수 측정 시점
소모칼로리 Kcal 측정 시점
지속시간 분단위 측정 시점
심박레벨구분 Out of Range,
Fat Burn,
Cardio,
Peak		 측정 시점
라이프로그 데이터는 일정 시간 간격으로 다수의 값이 측정될 수 있다. 이 경우, 학습 장치 또는 서비스 장치는 다수의 값을 산술평균한 값을 건강 상담 모델의 입력값으로 사용할 수 있다. 또한, 라이프로그 데이터는 일정한 시간 흐름에 따라 지속적으로 수집된 정보일 수 있다. 라이프로그 데이터는 일정 시간(실시간, 한 시간 간격, 하루 간격 등) 기준으로 대상자에 대한 주기적 특징을 나타낼 수 있다. 즉, 라이프로그 데이터는 대상자의 라이프로그 패턴을 포함할 수 있다. 이 경우, 학습 장치 또는 서비스 장치는 일정 시간 구간에서의 라이프로그 패턴 자체를 건강 상담 모델의 입력값으로 사용할 수 있다.
학습장치는 라이프로그 데이터 i를 토큰화한다. 라이프로그 데이터 i는 항목을 나타내는 텍스트 및 해당 항목의 값으로 구성될 수 있다. 따라서, 학습장치는 항목 및 값을 서로 다른 토큰으로 구분할 수 있다. 또한, 라이프로그 데이터 i는 복수의 항목으로 구성될 수도 있다. 따라서, 학습장치는 라이프로그 데이터 i에서 각 항목을 개별 토큰으로 구분할 수도 있다. 이 경우 학습장치는 서로 다른 항목을 서로 다른 문장으로 취급하여 구분할 수도 있다(특별 토큰 SEP으로 구분). 학습장치가 라이프로그 데이터 i를 토큰화하는 방식은 다양할 수 있다.
학습장치는 라이프로그 데이터 i를 토큰화한다. 라이프로그 데이터 i는 항목을 나타내는 텍스트 및 해당 항목의 값으로 구성될 수 있다. 따라서, 학습장치는 항목 및 값을 서로 다른 토큰으로 구분할 수 있다. 또한, 라이프로그 데이터 i는 복수의 항목으로 구성될 수도 있다. 따라서, 학습장치는 라이프로그 데이터 i에서 각 항목을 개별 토큰으로 구분할 수도 있다. 이 경우 학습장치는 서로 다른 항목을 서로 다른 문장으로 취급하여 구분할 수도 있다(특별 토큰 SEP으로 구분). 학습장치가 라이프로그 데이터 i를 토큰화하는 방식은 다양할 수 있다.
학습장치는 라이프로그 데이터 i를 토큰화한다. 라이프로그 데이터 i는 항목을 나타내는 텍스트 및 해당 항목의 값으로 구성될 수 있다. 따라서, 학습장치는 항목 및 값을 서로 다른 토큰으로 구분할 수 있다. 또한, 라이프로그 데이터 i는 복수의 항목으로 구성될 수도 있다. 따라서, 학습장치는 라이프로그 데이터 i에서 각 항목을 개별 토큰으로 구분할 수도 있다. 이 경우 학습장치는 서로 다른 항목을 서로 다른 문장으로 취급하여 구분할 수도 있다(특별 토큰 SEP으로 구분). 학습장치가 라이프로그 데이터 i를 토큰화하는 방식은 다양할 수 있다.
학습장치는 라이프로그 데이터 i의 토큰들을 건강 상담 모델 1의 입력 계층에 입력한다. 건강 상담 모델 1은 출력 계층으로 일정한 텍스트 내지 문장을 출력한다. 이때 건강 상담 모델 1은 건강 검진 정보에 해당하는 텍스트 내지 문장을 출력하게 된다. 학습장치는 학습 데이터로 주어진 건강 검진 데이터 i(라벨)와 출력 계층이 출력하는 건강 검진 정보를 비교하면서 건강 상담 모델 1이 정답을 출력하도록 건강 상담 모델 1을 학습시킨다.
학습이 완료되면 건강 상담 모델 1은 입력되는 대상자의 라이프로그 데이터를 기준으로 대상자에 대한 건강 검진 정보를 출력할 수 있게 된다. 이하 이러한 단계의 건강 상담 모델을 “건강 상담 모델이 구축된 상태”라 한다.
도 4는 건강 상담 모델의 학습 과정에 대한 다른 예이다. 도 4는 BERT와 같은 모델을 예로 도시한 것이다. 학습장치는 사전에 학습 데이터를 구축하였다고 가정한다. 학습장치는 라이프로그 데이터 i와 건강 검진 데이터 i를 추출한다. 이때 라이프로그 데이터 i와 건강 검진 데이터 i는 사전에 연관성 있는 정보로 매핑된 것이다. 이때 라이프로그 데이터 i는 별도의 생체 정보 DB로부터 추출한 동일 대상자의 생체 정보를 더 포함할 수 있다. 도 4는 데이터 i를 중심으로 설명하지만, 학습과정은 라이프로그 데이터와 건강 검진 데이터의 다수의 쌍을 이용하여 반복적으로 진행될 수 있다.
건강 상담 모델은 MLM 또는 NSP으로 사전 학습될 수 있다. 건강 상담 모델이 입력되는 라이프로그 데이터를 기준으로 특정 건강 검진 정보를 출력한다. 이와 같은 모델은 Q&A 모델에 해당한다. 따라서, 학습장치는 사전 학습된 모델을 해당 애플리케이션에 맞게 추가 학습(전이 학습)하는 과정을 수행할 수 있다.
학습장치는 라이프로그 DB와 건강검진 DB에서 매핑되는 라이프로그 데이터 i와 건강 검진 데이터 i를 추출한다. 일 실시예에서, 라이프로그 데이터 i와 매핑되는 건강 검진 데이터 i가 복수인 경우, 그 중 연관성이 가장 높은 건강 건강 검진 데이터가 선별될 수 있다. 또는 학습장치는 매핑되는 건강검진 복수의 건강검진 데이터를 바탕으로 평균을 취하거나 건강검진 데이터의 항목별로 평균, 중앙값, 또는 최빈값 등의 대표값을 취하는 등의 다양한 기법을 적절하게 이용하여 최적의 건강 검진 데이터를 추출할 수 있다.
학습장치는 라이프로그 데이터 i를 토큰화한다. 라이프로그 데이터 i는 복수의 라이프로그 데이터 및 생체 정보로 구성될 수 있다. 따라서, 학습장치는 복수의 라이프로그 데이터 및 생체 정보를 서로 다른 문장으로 구분할 수 있다. 즉, 라이프로그 데이터 및 생체 정보는 각각 다른 문장으로 구분될 수 있다. 도 4는 학습장치가 라이브로그 데이터 1 및 라이프로그 데이터 2를 서로 다른 문장으로 구분하고, 해당 라이프로그 데이터에 속하는 항목 및 값(또는 서로 다른 항목들)을 서로 다른 토큰으로 구분한 예이다. 한편, 생체 정보는 복수의 항목들로 구성될 수 있다. 이 경우 학습 장치는 생체 정보에 속한 복수의 항목들을 서로 다른 토큰으로 구분할 수 있다.
하나의 라이프로그 데이터인지 복수의 라이프로그 데이터인지 여부는 포함 항목 및 데이터 측정 시간의 연속성 중 적어도 하나에 따라 결정될 수 있다. 예를 들어, 2022년 5월 동안 수면 시간 및 걸음 수에 대한 데이터와 2022년 6월 동안 수면 시간, 걸음 수 및 수면 레벨에 대한 데이터가 있는 경우, 항목의 종류가 다르므로 복수의 라이프로그 데이터로 결정될 수 있다. 다른 예를 들어, 2022년 4월 동안 수면 시간 및 걸음 수에 대한 데이터와 2022년 6월 동안 수면 시간 및 걸음 수에 대한 데이터가 있는 경우, 항목은 동일하나 데이터 측정 시간의 연속성이 유지되지 않으므로 복수의 라이프로그 데이터로 결정될 수 있다.
나아가, 라이프로그 데이터 i는 복수의 항목을 나타내는 텍스트 및 해당 항목의 값으로 구성될 수 있다. 학습 장치는 항목 및 값을 서로 다른 토큰으로 구분할 수 있다. 또한, 라이프로그 데이터 i는 복수의 항목으로 구성될 수도 있다. 따라서, 학습장치는 라이프로그 데이터 i에서 각 항목을 개별 토큰으로 구분할 수도 있다. 도 4는 학습장치가 라이브로그 데이터 1 및 라이프로그 데이터 2를 서로 다른 문장으로 구분하고, 해당 라이프로그 데이터에 속하는 항목 및 값(또는 서로 다른 항목들)을 서로 다른 토큰으로 구분한 예이다. 한편, 생체 정보는 복수의 항목들로 구성될 수 있다. 이 경우 학습 장치는 생체 정보에 속한 복수의 항목들을 서로 다른 토큰으로 구분할 수 있다.
학습장치는 라이프로그 데이터 i에서 추출한 토큰들을 건강 상담 모델 2의 입력 계층에 입력한다. 건강 상담 모델 2는 출력 계층으로 일정한 텍스트 내지 문장을 출력한다. 이때 건강 상담 모델 2는 건강 검진 정보에 해당하는 텍스트 내지 문장을 출력하게 된다. 학습장치는 학습 데이터로 주어진 건강 검진 데이터 i(라벨)와 출력 계층이 출력하는 건강 검진 정보를 비교하면서 건강 상담 모델 2가 정답을 출력하도록 건강 상담 모델 2를 학습시킨다. 학습이 완료되면 건강 상담 모델 2는 입력되는 대상자의 라이프로그 데이터를 기준으로 대상자에 대한 건강 검진 정보를 출력하게 된다.
일 실시예에서, 학습장치가 건강 상담 모델 2를 학습시킴에 있어서 복수의 라이프로그 데이터에 대한 각각의 신뢰도를 고려할 수 있다. 예를 들어, 라이프로그 데이터 1에 대한 신뢰도가 라이프로그 데이터 2에 대한 신뢰도에 비하여 미리 정해진 임계값 이상 높은 경우, 라이프로그 데이터 1에 기반한 토큰에 더 높은 가중치를 부여하여 건강 상담 모델 2에 입력함으로써, 정답을 출력하도록 건강 상담 모델 2를 학습시킬 수 있다.
도 4에서는 복수의 라이프로그 데이터 및 생체 정보에서 추출된 토큰들이 건강 상담 모델 2로 입력되는 것으로 도시되었으나, 복수의 라이프로그 데이터에서 추출된 토큰들만이 건강 상담 모델 2로 입력되어 학습될 수도 있다.
도 5는 건강 상담 모델을 이용하여 건강 검진 정보를 제공하는 과정(300)에 대한 예이다. 도 5는 시간 경과에 따라 발생하는 추가 정보를 이용하여 건강 검진 정보를 제공하는 예이다. 건강 상담 모델은 구축된 상태라고 전제한다.
서비스 장치는 시간 t에서 수집한 대상자의 라이프로그 데이터를 입력받는다(310). 서비스 장치는 시간 t의 라이프로그 데이터를 건강 상담 모델에 입력하여 건강 검진 정보를 생성한다(320). 이때 생성되는 건강 검진 정보를 t 시점의 건강 검진 정보라고 한다.
시간 t 후에 일정한 시간 i가 경과한다(330). i는 몇 시간, 하루, 며칠, 일주일, 한달, 몇 달 등과 같은 시간일 수 있다.
서비스 장치는 시간 t+i에서 수집한 대상자의 라이프로그 데이터를 입력받는다(340). 서비스 장치는 시간 t+i에서 수집한 대상자의 라이프로그 데이터에 적어도 기반하여 시간 t+i에서 획득 가능한 추가 정보를 추출한다(350).
추가 정보는 다양한 종류일 수 있다. 추가 정보는 아래 표 5의 항목들 중 적어도 하나를 포함할 수 있다.
No. 항목 내용
1 경과 시간 t+i 또는 i
2 변경된 라이프로그 데이터 시간 경과에 따라 변경된 라이프로그 데이터 항목 내지 해당 항목의 값 (또는 임계값 이상 변경된 항목 내지 항목의 값)
3 이전 건강 검진 정보 시간 t의 건강 검진 정보
다른 실시예에서, 310단계에서 수집한 라이프로그 데이터의 항목과 340단계에서 수집한 라이프로그 데이터의 항목은 상이할 수 있다. 이 경우, 추가 정보는 새롭게 추가된 항목 내지 해당 항목의 값 (또는 임계값 이상 변경된 항목 내지 항목의 값) 일 수 있다.서비스 장치는 시간 t+i의 라이프로그 데이터와 상기 추가 정보를 함께 건강 상담 모델에 입력하여 해당 시점에서의 건강 검진 정보를 생성할 수 있다(360). 물론, 건강 상담 모델이 추가 정보를 더 이용하여 건강 검진 정보를 생성하는 경우 학습 과정에서 추가 정보를 이용하여 학습된 모델이 구축되어야 한다.
일 실시예에서, 서비스 장치는 시간 t의 라이프로그 데이터를 더 입력하여 시간 t+i에서의 건강 검진 정보를 생성할 수도 있다.
도 6은 건강 상담 모델의 학습 과정에 대한 또 다른 예이다. 도 6은 BERT와 같은 모델을 예로 도시한 것이다. 학습장치는 사전에 학습 데이터를 구축하였다고 가정한다. 학습장치는 추가 정보 i, 라이프로그 데이터 i 및 건강 검진 데이터 i를 추출한다. 이때 라이프로그 데이터 i와 건강 검진 데이터 i는 사전에 연관성 있는 정보로 매핑된 것이다. 이때 라이프로그 데이터 i는 별도의 생체 정보 DB로부터 추출한 동일 대상자의 생체 정보를 더 포함할 수 있다. 추가 정보 i는 도 5에서 설명한 바와 같이 동일 대상자에 대하여 시간 경과에 따라 수집될 수 있는 정보를 말한다. 도 4는 데이터 i를 중심으로 설명하지만, 학습과정은 라이프로그 데이터와 건강 검진 데이터의 다수의 쌍을 이용하여 반복적으로 진행될 수 있다.
건강 상담 모델은 MLM 또는 NSP으로 사전 학습될 수 있다. 건강 상담 모델이 입력되는 라이프로그 데이터를 기준으로 특정 건강 검진 정보를 출력한다. 이와 같은 모델은 Q&A 모델에 해당한다. 따라서, 학습장치는 사전 학습된 모델을 해당 애플리케이션에 맞게 추가 학습(전이 학습)하는 과정을 수행할 수 있다.
학습장치는 추가 정보 DB에서 추가 정보 i를 추출하고, 라이프로그 DB에서 라이프로그 데이터 i를 추출하고, 건강검진 DB에서 건강 검진 데이터 i를 추출한다. 일 실시예에서, 라이프로그 데이터 i와 매핑되는 건강 검진 데이터 i가 복수인 경우, 그 중 연관성 혹은 시간차(예: 라이프로그 데이터의 측정시간과 건강 검진 데이터의 생성 시간의 차이) 중 적어도 하나에 기반하여 건강 검진 데이터가 선별될 수 있다. 예를 들어, 연관성이 임계값 이상이며 시간차가 더 큰 건강 검진 데이터가 선별될 수 있으나, 모델의 구축 목적에 따라서는 연관성이 임계값 이상이며 시간차가 더 작은 건강 검진 데이터가 선별될 수도 있다.
학습장치는 라이프로그 데이터 i를 토큰화한다. 라이프로그 데이터 i는 복수의 라이프로그 데이터 및 생체 정보로 구성될 수 있다. 따라서, 학습장치는 복수의 라이프로그 데이터 및 생체 정보를 서로 다른 문장으로 구분할 수 있다. 즉, 라이프로그 데이터 및 생체 정보는 각각 다른 문장으로 구분될 수 있다.
나아가, 라이프로그 데이터 i는 복수의 항목을 나타내는 텍스트 및 해당 항목의 값으로 구성될 수 있다. 학습 장치는 항목 및 값을 서로 다른 토큰으로 구분할 수 있다. 또한, 라이프로그 데이터 i는 복수의 항목으로 구성될 수도 있다. 따라서, 학습장치는 라이프로그 데이터 i에서 각 항목을 개별 토큰으로 구분할 수도 있다. 한편, 생체 정보는 복수의 항목들로 구성될 수 있다. 이 경우 학습 장치는 생체 정보에 속한 복수의 항목들을 서로 다른 토큰으로 구분할 수 있다.
학습 장치는 추가 정보를 토큰화한다. 추가 정보도 복수의 항목을 가질 수 있다. 따라서, 학습 장치는 추가 정보를 복수의 토큰으로 구분할 수 있다.
추가 정보는 표 5에 설명한 바와 같이 다양항 항목들 중 적어도 일부의 정보로 구성될 수 있다. (i) 추가 정보는 경과 시간 i을 포함할 수 있다. 경과 시간은 동일 대상자에 대하여 직전 건강 검진 정보 제공 시점(t 시점)과 새롭게 수집한 라이프로그 데이터 기반하여 건강 검진 정보를 제공하는 시점(t+i 시점)의 차이일 수 있다. (ii) 추가 정보는 시간 경과에 따라 변경된 라이프로그 데이터의 항목 및 해당 항목의 값을 포함할 수 있다. 예컨대, 추가 정보는 체중 변화량, 수면 시간 변화량, 신체 활동 시간 내지 강도의 변화량 등을 포함할 수 있다. (iii) 추가 정보는 동일 대상자에 대하여 직전 시점(또는 이전 시점)에서 수행한 건강 검진 결과일 수 있다. 또는 추가 정보는 동일 대상자에 대하여 직전 시점(또는 이전 시점)에서 건강 상담 모델을 이용하여 제공한 건강 검진 정보일 수 있다. 추가 정보의 종류에 따라 제공되는 학습 데이터를 이용하여 사전에 건강 상담 모델이 구축되어야 한다.
학습장치는 라이프로그 데이터 i 및 추가 정보 i에서 추출한 토큰들을 건강 상담 모델 3의 입력 계층에 입력한다. 건강 상담 모델 3은 출력 계층으로 일정한 텍스트 내지 문장을 출력한다. 이때 건강 상담 모델 3은 건강 검진 정보에 해당하는 텍스트 내지 문장을 출력하게 된다. 학습장치는 학습 데이터로 주어진 건강 검진 데이터 i(라벨)와 출력 계층이 출력하는 건강 검진 정보를 비교하면서 건강 상담 모델 3이 정답을 출력하도록 건강 상담 모델 3을 학습시킨다. 학습이 완료되면 건강 상담 모델 3은 입력되는 대상자의 라이프로그 데이터 및 추가 정보를 기준으로 대상자에 대한 건강 검진 정보를 출력하게 된다.
이하, 이해를 돕기 위하여 도 6과 관련된 실시예를 구체적으로 기재하겠다.
특정인의 2022년 5월 라이프로그 데이터를 제1 라이프로그, 제1 라이프로그를 이용한 건강 검진 정보를 제1 건강 검진 정보, 그 이후 2022년 7월 라이프로그 데이터를 제2 라이프로그, 제2 라이프로그 및 제1 라이프로그를 모두 이용한 건강 검진 정보를 제2 건강 검진 정보라고 하자.
이 경우, 라이프로그 데이터 i는 제1 라이프로그, 건강 검진 데이터 i는 제2 건강 검진 정보, 추가 정보 i는 제2 라이프로그 및 제1 건강 검진 정보에 해당할 수 있다.
전술한 건강 상담 모델 1, 건강 상담 모델 2 및 건강 상담 모델 3은 서로 개별적으로 학습되어 구축된 모델들일 수 있다. 나아가, 건강 상담 모델 3과 같이 다양한 입력 데이터로 학습된 모델을 구축하고, 이후 서비스 장치가 입력 데이터의 내용에 따라 라이프로그 데이터, 생체 정보 및 추가 정보를 각각 서로 다른 문장으로 구성하여 입력하는 방식으로 건강 검진 정보를 생성할 수도 있다. 즉, 서비스 장치는 라이프로그 데이터를 하나의 문장으로 건강 상담 모델 3에 입력하여 건강 검진 정보를 생성할 수도 있다. 건강 상담 모델 3도 학습 과정에서 라이프로그 데이터를 입력 데이터로 이용하였기에, 건강 상담 모델 3은 라이프로그 데이터만을 입력받아도 관련된 건강 검진 정보를 산출하게 된다. 물론, 서비스 장치는 라이프로그 데이터, 생체 정보 및 추가 정보를 각각 서로 다른 문장으로 건강 상담 모델 3에 입력하여 건강 검진 정보를 생성할 수도 있다.
건강 상담 모델이 출력하는 건강 검진 정보는 다양한 정보일 수 있다. 건강 검진 정보는 특정 항목에 대한 값, 특정 항목에 대한 텍스트, 다수의 항목에 대한 텍스트, 일련의 문장 등의 형태를 가질 수 있다. 아래 표 6은 건강 상담 모델이 출력하는 정보에 대한 예이다. 건강 검진 정보는 질환 진단, 처방 종류, 처방의 강도, 향후 상담 빈도 및 주기, 대상자에 대한 평가(종래 처방에 잘 따르는지 여부), 추천하는 운동 형태 및 추천하는 식이 정보 등과 같은 항목들 중 적어도 하나를 포함할 수 있다. 아래 건강 검진 정보는 학습 과정에서의 건강 검진 데이터에 대응되기도 한다.
분류 내용
진단의 종류 질환, 증상
처방의 종류 투약, 주사, 수술, 생활습관 개선
처방의 강도 약의 종류, 약의 투여용량, 재검주기
상담 빈도 및 주기 상담 빈도 증가/감소, 주기 증가/감소
평가 순응도, 지속성
운동형태 운동의 종류, 양, 빈도, 강도
식이 식이 형태, 양, 빈도
도 7은 건강 상담 모델의 학습 과정에 대한 또 다른 예이다. 도 7은 BERT와 같은 모델을 예로 도시한 것이다. 학습장치는 사전에 학습 데이터를 구축하였다고 가정한다. 학습장치는 라이프로그 데이터와 건강 검진 데이터의 복수의 쌍을 추출한다. 예를 들어, 라이프로그 데이터 i-1, 건강 검진 데이터 i-1로 이루어진 쌍, 그리고 라이프로그 데이터 i-2, 건강 검진 데이터 i-2로 이루어진 쌍이 추출될 수 있다. 이러한 쌍들은 연관성 있는 정보로 사전에 매핑된 것이다. 이때, 추출된 복수의 쌍들은 동일 대상자이거나 의학적, 통계적으로 동일 대상자로 볼 수 있는 자에 해당하는 데이터일 수 있다. 또한, 추출된 복수의 라이프로그 데이터는 적어도 하나의 동일한 공통 항목을 가지고, 추출된 복수의 건강 검진 데이터는 적어도 하나의 동일한 공통 항목을 가질 수 있다.
건강 상담 모델은 MLM(Masked Language Model) 또는 NSP으로 사전 학습될 수 있다. 건강 상담 모델이 입력되는 라이프로그 데이터를 기준으로 특정 건강 검진 정보를 출력한다. 이와 같은 모델은 Q&A 모델에 해당한다. 따라서, 학습장치는 사전 학습된 모델을 해당 애플리케이션에 맞게 추가 학습(전이 학습)하는 과정을 수행할 수 있다.
학습 장치는 라이프로그 데이터 i-1, i-2를 토큰화한다. 라이프로그 데이터 i-1, i-2는 항목을 나타내는 텍스트 및 해당 항목의 값으로 구성될 수 있다. 따라서, 학습장치는 항목 및 값을 서로 다른 토큰으로 구분할 수 있다. 또한, 라이프로그 데이터 i-1, i-2는 복수의 항목으로 구성될 수도 있다. 따라서, 학습장치는 라이프로그 데이터 i-1, i-2에서 각 항목을 개별 토큰으로 구분할 수도 있다. 이 경우 학습장치는 서로 다른 항목을 서로 다른 문장으로 취급하여 구분할 수도 있다(특별 토큰 SEP으로 구분). 또한, 학습 장치는 라이프로그 데이터 i-1, i-2의 공통 항목에 대한 값의 차이를 토큰화할 수 있다.
학습장치는 라이프로그 데이터 i-1, i-2에 기반한 토큰들을 건강 상담 모델 4의 입력 계층에 입력한다. 건강 상담 모델 4는 출력 계층으로 일정한 텍스트 내지 문장을 출력한다. 이때 건강 상담 모델 4는 건강 검진 정보의 차이에 해당하는 텍스트 내지 문장을 출력하게 된다. 학습장치는 학습 데이터로 주어진 건강 검진 데이터 i-1와 i-2의 차이(예: 건강 검진 데이터 i-1과 i-2의 공통 항목의 차이)와 출력 계층이 출력하는 건강 검진 정보의 차이를 비교하면서 건강 상담 모델 4가 정답을 출력하도록 건강 상담 모델 4를 학습시킨다.
일 실시예에서, 건강 상담 모델 4는 건강 상담 모델 1 내지 3과 무관하게 단독적으로 동작하거나, 건강 상담 모델 1 내지 3에 포함되어 동작하거나, 건강 상담 모델 1 내지 3과 병렬적으로 연결되어 동작할 수 있다. 구체적으로, 건강 상담 모델 4는 라이프로그 데이터에 포함된 특정 항목의 차이가 건강 검진에 있어서 어떠한 차이로 귀결되는지를 학습하고, 학습된 결과를 단독으로 사용자에게 제공하거나, 연관된 다른 건강 상담 모델에 제공할 수 있다.
도 8은 서비스 장치(400)에 대한 예이다. 서비스 장치(400)는 전술한 컴퓨터 장치(130) 및 서비스 서버(140)와 같이 학습된 건강 상담 모델을 이용하여 개인에 게 건강 검진 정보를 제공하는 장치를 말한다. 서비스 장치(400)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 서비스 장치(400)는 PC와 같은 컴퓨터 장치, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.
서비스 장치(400)는 저장장치(410), 메모리(420), 연산장치(430), 인터페이스 장치(440), 통신장치(450) 및 출력장치(460)를 포함할 수 있다.
저장장치(410)는 전술한 건강 상담 모델을 저장할 수 있다.
저장장치(410)는 입력 데이터 및 건강 상담 모델을 이용하여 건강 검진 정보를 생성하는 동작을 제어하는 프로그램 내지 명령어를 저장할 수 있다.
저장장치(410)는 대상자의 라이프로그 데이터, 생체 정보 및 추가 정보를 저장할 수 있다. 추가 정보는 표 5에서 설명한 정보를 말한다.
메모리(420)는 서비스 장치(400)가 상담 모델을 사용하여 건강 검진 정보를 생성하는 과정 등에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(440)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(440)는 물리적으로 연결된 입력 장치 또는 외부 저장장치로부터 대상자의 라이프로그 데이터를 입력받을 수 있다. 인터페이스 장치(440)는 서로 다른 시점에서 수집된 라이프로그 데이터를 입력받을 수도 있다. 인터페이스 장치(440)는 대상자의 생체 정보를 입력받을 수 있다. 인터페이스 장치(440)는 대상자의 추가 정보를 입력받을 수 있다. 인터페이스 장치(440)는 해당 개인에 대한 건강 검진 정보를 외부 객체에 전달할 수도 있다.
통신장치(450)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(450)는 외부 객체로부터 대상자의 라이프로그 데이터를 수신할 수 있다. 통신장치(450)는 서로 다른 시점에서 수집된 라이프로그 데이터를 수신할 수도 있다. 통신장치(450)는 외부 객체로부터 대상자의 생체 정보를 수신할 수 있다. 통신장치(450)는 외부 객체로부터 대상자의 추가 정보를 수신할 수 있다. 또한 통신장치(450)는 해당 개인에 대한 건강 검진 정보를 사용자 단말과 같은 외부 객체에 송신할 수도 있다.
한편, 인터페이스 장치(440)는 통신장치(450)가 수신하는 데이터를 입력받는 구성을 포함할 수도 있다.
출력장치(460)는 일정한 정보를 출력하는 장치이다. 출력장치(460)는 데이터 처리 과정에 필요한 인터페이스를 출력할 수 있다. 출력장치(460)는 건강 검진 정보를 출력할 수도 있다.
연산 장치(430)는 저장장치(410)에 저장된 명령어 내지 프로그램을 이용하여 특정 대상자에 대한 건강 검진 정보를 생성할 수 있다.
연산 장치(430)는 대상자의 라이프로그 데이터를 건강 상담 모델(건강 상담 모델 1)에 입력하여 해당 대상자에 대한 맞춤형 건강 검진 정보를 생성할 수 있다. 연산 장치(430)는 도 3에서 설명한 바와 같이 대상자의 라이프로그 데이터를 일정하게 토큰화하여 건강 상담 모델의 입력 계층에 입력할 수 있다.
또한, 연산 장치(430)는 대상자의 라이프로그 데이터 및 생체 정보를 건강 상담 모델(건강 상담 모델 2)에 입력하여 해당 대상자에 대한 맞춤형 건강 검진 정보를 생성할 수 있다. 연산 장치(430)는 도 4에서 설명한 바와 같이 대상자의 라이프로그 데이터를 일정하게 토큰화하여 건강 상담 모델의 입력 계층에 입력할 수 있다.
연산 장치(430)는 제1 시점에서 수집된 제1 라이프로그 데이터 및 제1 시점 후의 제2 시점에서 수집된 제2 라이프로그 데이터를 이용하여 추가 정보를 생성할 수 있다. 이때 추가 정보는 제1 시점과 제2 시점 사이의 차이(=시점 사이의 시간)일 수 있다. 또한, 추가 정보는 제2 라이프로그 데이터 중 제1 라이프로그 데이터와 비교하여 (임계값 이상) 변경된 특정 항목들 및 해당 항목들의 값일 수 있다. 연산 장치(430)는 제1 라이프로그 데이터를 건강 상담 모델에 입력하여 생성된 건강 검진 정보를 제2 시점에서의 추가 정보로 삼을 수도 있다.
연산 장치(430)는 대상자의 라이프로그 데이터 및 추가 정보를 건강 상담 모델(건강 상담 모델 3)에 입력하여 해당 대상자에 대한 맞춤형 건강 검진 정보를 생성할 수 있다. 연산 장치(430)는 대상자의 라이프로그 데이터, 생체 정보 및 추가 정보를 건강 상담 모델(건강 상담 모델 3)에 입력하여 해당 대상자에 대한 맞춤형 건강 검진 정보를 생성할 수 있다. 연산 장치(430)는 도 6에서 설명한 바와 같이 대상자의 라이프로그 데이터 및 추가 정보를 일정하게 토큰화하여 건강 상담 모델의 입력 계층에 입력할 수 있다.
연산 장치(430)는 라이프로그 데이터를 의학적 지표로 변환할 수도 있다. 의학적 지표에 대해서는 표 1에서 설명한 바와 같다. 물론 표 1의 지표 외에도 다양한 의학적 지표가 라이프로그 데이터로부터 산출될 수 있다. 연산 장치(430)는 특정 라이프로그 데이터를 변수로 갖는 함수, 회귀 모델 또는 딥러닝 모델을 이용하여 특정 라이프로그 데이터를 의학적 지표로 변환할 수 있다. 이 경우, 연산 장치(430)는 의학적 지표를 건강 상담 모델에 더 입력하여 해당 대상자에 대한 맞춤형 건강 검진 정보를 생성할 수 있다. 이 경우 해당 건강 상담 모델은 학습 데이터로 의학적 지표를 입력 데이터로 더 이용하여 구축된 모델이 바람직하다.
연산 장치(430)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
또한, 상술한 바와 같은 상담 모델 구축 방법 및 상담 모델을 이용한 건강 검진 정보 제공 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (11)

  1. 서비스 장치가 특정 시점에서 수집된 대상자의 제1 라이프로그 데이터를 입력받는 단계; 및
    상기 서비스 장치가 상기 제1 라이프로그 데이터를 사전에 학습된 건강 상담 모델에 입력하여 상기 대상자에 대한 텍스트 형태의 제1 건강 검진 정보를 생성하는 단계를 포함하되,
    상기 건강 상담 모델은 자연어 처리 모델로서, 텍스트 형태인 개인의 라이프로그 데이터 및 상기 개인의 건강 검진 상담 결과에서 추출되는 건강 검진 데이터 쌍을 학습 데이터로 이용하여 학습되는 질의 및 응답 모델인, 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법.
  2. 제1항에 있어서,
    상기 제1 라이프로그 데이터는 복수의 항목들 및 상기 항목들에 대한 값들을 포함하고, 상기 서비스 장치는 상기 항목들 및 값들을 각각 토큰화하여 상기 건강 상담 모델의 입력 계층에 입력하는 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법.
  3. 제1항에 있어서,
    상기 제1 라이프로그 데이터는 상기 대상자의 생체 정보를 더 포함하고,
    상기 건강 상담 모델은 상기 개인의 생체 정보를 상기 학습 데이터 중 입력 데이터로 더 이용하여 학습되는 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법.
  4. 제1항에 있어서,
    상기 서비스 장치는 상기 특정 시점 후의 다른 시점에서 수집된 상기 대상자의 제2 라이프로그 데이터를 입력받는 단계; 및
    상기 서비스 장치는 상기 제2 라이프로그 데이터 및 추가 정보를 상기 건강 상담 모델 또는 상기 추가 정보를 학습 데이터로 더 이용하여 구축된 다른 건강 상담 모델에 입력하여 상기 대상자에 대한 제2 건강 검진 정보를 생성하는 단계를 더 포함하고,
    상기 추가 정보는 (i) 상기 특정 시점과 상기 다른 시점의 사이의 경과 시간, (ii) 상기 제2 라이프로그 데이터 중 상기 제1 라이프로그 데이터에서 임계값 이상 변경된 항목들과 상기 변경된 항목들의 값 및 (iii) 상기 제1 건강 검진 정보 중 적어도 하나를 포함하는 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법.
  5. 제1항에 있어서,
    상기 서비스 장치는 상기 라이프로그 데이터를 기준으로 관련된 의학적 지표를 산출하고, 상기 의학적 지표를 상기 건강 상담 모델에 더 입력하여 상기 건강 검진 정보를 생성하는 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법.
  6. 제1항에 있어서,
    상기 건강 검진 정보는 질환 진단, 처방 종류, 처방의 강도, 상담 빈도 및 주기, 대상자에 대한 평가, 추천하는 운동 형태 및 추천하는 식이 정보 등과 같은 항목들 중 적어도 하나를 포함하는 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법.
  7. 특정 시점에서 수집된 대상자의 제1 라이프로그 데이터를 입력받는 인터페이스장치;
    개인의 라이프로그 데이터를 입력받아 상기 개인의 건강 검진 정보를 생성하도록 학습된 건강 상담 모델을 저장하는 저장장치; 및
    상기 제1 라이프로그 데이터를 상기 건강 상담 모델에 입력하여 상기 대상자에 대한 텍스트 형태의 제1 건강 검진 정보를 생성하는 단계를 포함하되,
    상기 건강 상담 모델은 자연어 처리 모델로서, 텍스트 형태인 개인의 라이프로그 데이터 및 상기 개인의 건강 검진 상담 결과에서 추출되는 건강 검진 데이터 쌍을 학습 데이터로 이용하여 학습되는 질의 및 응답 모델인 라이프로그를 기준으로 건강 검진 정보를 제공하는 서비스 장치.
  8. 제7항에 있어서,
    상기 제1 라이프로그 데이터는 상기 대상자의 생체 정보를 더 포함하고,
    상기 건강 상담 모델은 상기 개인의 생체 정보를 상기 학습 데이터 중 입력 데이터로 더 이용하여 학습되는 라이프로그를 기준으로 건강 검진 정보를 제공하는 서비스 장치.
  9. 제7항에 있어서,
    상기 인터페이스 장치는 상기 특정 시점 후의 다른 시점에서 수집된 상기 대상자의 제2 라이프로그 데이터를 더 입력받고,
    상기 연산 장치는 상기 제2 라이프로그 데이터 및 추가 정보를 상기 건강 상담 모델 또는 상기 추가 정보를 학습 데이터로 더 이용하여 구축된 다른 건강 상담 모델에 입력하여 상기 대상자에 대한 제2 건강 검진 정보를 생성하되,
    상기 추가 정보는 (i) 상기 특정 시점과 상기 다른 시점의 사이의 경과 시간, (ii) 상기 제2 라이프로그 데이터 중 상기 제1 라이프로그 데이터에서 임계값 이상 변경된 항목들과 상기 변경된 항목들의 값 및 (iii) 상기 제1 건강 검진 정보 중 적어도 하나를 포함하는 라이프로그를 기준으로 건강 검진 정보를 제공하는 서비스 장치.
  10. 제7항에 있어서,
    상기 연산 장치는 상기 라이프로그 데이터를 기준으로 관련된 의학적 지표를 산출하고, 상기 의학적 지표를 상기 건강 상담 모델에 더 입력하여 상기 건강 검진 정보를 생성하는 라이프로그를 기준으로 건강 검진 정보를 제공하는 서비스 장치.
  11. 제7항에 있어서,
    상기 건강 검진 정보는 질환 진단, 처방 종류, 처방의 강도, 상담 빈도 및 주기, 대상자에 대한 평가, 추천하는 운동 형태 및 추천하는 식이 정보 등과 같은 항목들 중 적어도 하나를 포함하는 라이프로그를 기준으로 건강 검진 정보를 제공하는 서비스 장치.
PCT/KR2022/016111 2021-11-08 2022-10-21 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치 WO2023080504A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0152516 2021-11-08
KR20210152516 2021-11-08
KR1020220107836A KR20230068987A (ko) 2021-11-08 2022-08-26 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치
KR10-2022-0107836 2022-08-26

Publications (1)

Publication Number Publication Date
WO2023080504A1 true WO2023080504A1 (ko) 2023-05-11

Family

ID=86241370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016111 WO2023080504A1 (ko) 2021-11-08 2022-10-21 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치

Country Status (1)

Country Link
WO (1) WO2023080504A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137433A1 (en) * 2016-11-16 2018-05-17 International Business Machines Corporation Self-Training of Question Answering System Using Question Profiles
KR20180120469A (ko) * 2017-04-27 2018-11-06 권오일 질병 분석 및 예측 시스템
KR20190130447A (ko) * 2018-05-14 2019-11-22 울산과학기술원 건강 증진 정보 제공 장치 및 방법
KR20200066083A (ko) * 2018-11-30 2020-06-09 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
US20210271870A1 (en) * 2020-09-29 2021-09-02 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for processing information, electronic device, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137433A1 (en) * 2016-11-16 2018-05-17 International Business Machines Corporation Self-Training of Question Answering System Using Question Profiles
KR20180120469A (ko) * 2017-04-27 2018-11-06 권오일 질병 분석 및 예측 시스템
KR20190130447A (ko) * 2018-05-14 2019-11-22 울산과학기술원 건강 증진 정보 제공 장치 및 방법
KR20200066083A (ko) * 2018-11-30 2020-06-09 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
US20210271870A1 (en) * 2020-09-29 2021-09-02 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for processing information, electronic device, and storage medium

Similar Documents

Publication Publication Date Title
Eden et al. Reliability and a correlational analysis of the 6MWT, ten-meter walk test, thirty second sit to stand, and the linear analog scale of function in patients with head and neck cancer
Ruta et al. A new approach to the measurement of quality of life: The Patient-Generated Index
Bartko The intraclass correlation coefficient as a measure of reliability
WO2017142240A1 (en) Method and electronic device for cuff-less blood pressure(bp) measurement
CN107945094B (zh) 一种针对戒毒人员数字康复系统
US20060183980A1 (en) Mental and physical health status monitoring, analyze and automatic follow up methods and its application on clothing
Ling et al. Gait and function in class III obesity
WO2021040373A1 (ko) 복합적 스트레스 지수에 기반한 스트레스 관리 방법
KR102543793B1 (ko) 생리학적 반응을 개선시키기 위한 방법 및 시스템
Merilahti et al. Compliance and technical feasibility of long-term health monitoring with wearable and ambient technologies
Schwichtenberg et al. Pediatric videosomnography: can signal/video processing distinguish sleep and wake states?
van der Weegen et al. Concurrent validity of the MOX activity monitor compared to the ActiGraph GT3X
CN112908481B (zh) 一种自动化个人健康评估及管理方法及系统
Vyas et al. Case study on state-of-the-art wellness and health tracker devices
CN112071381A (zh) 一种基于个人行为数据的健康指标采集分析系统
WO2020111787A1 (en) Method for providing recommendations for maintaining a healthy lifestyle basing on daily activity parameters of user, automatically tracked in real time, and corresponding system
Dorosh et al. Measurement modules of digital biometrie medical systems based on sensory electronics and mobile-health applications
WO2023080504A1 (ko) 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치
WO2024090758A1 (ko) 심장재활 맞춤형 컨텐츠 제공 장치 및 방법
Estévez-Pedraza et al. Portable device for the measurement and assessment of the human equilibrium
Del Valle et al. Use of the speed achieved on the 6MWT for programming aerobic training in patients recovering from severe COVID-19: an observational study
WO2023146120A1 (ko) 설문 기반 진단 방법 및 그 시스템
KR20230068987A (ko) 라이프로그를 기준으로 건강 검진 정보를 제공하는 방법 및 서비스 장치
WO2021242010A1 (ko) 학습 모델 기반의 아토피 피부염 관리 장치 및 그 방법
Howell et al. A low-power wearable substance monitoring device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22890239

Country of ref document: EP

Kind code of ref document: A1