KR20190086345A - Time series data processing device, health predicting system including the same, and method for operating time series data processing device - Google Patents

Time series data processing device, health predicting system including the same, and method for operating time series data processing device Download PDF

Info

Publication number
KR20190086345A
KR20190086345A KR1020180117899A KR20180117899A KR20190086345A KR 20190086345 A KR20190086345 A KR 20190086345A KR 1020180117899 A KR1020180117899 A KR 1020180117899A KR 20180117899 A KR20180117899 A KR 20180117899A KR 20190086345 A KR20190086345 A KR 20190086345A
Authority
KR
South Korea
Prior art keywords
time series
data
series data
time
phr
Prior art date
Application number
KR1020180117899A
Other languages
Korean (ko)
Other versions
KR102460442B1 (en
Inventor
정호열
박흰돌
임명은
최재훈
한영웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US16/213,740 priority Critical patent/US20190221294A1/en
Publication of KR20190086345A publication Critical patent/KR20190086345A/en
Application granted granted Critical
Publication of KR102460442B1 publication Critical patent/KR102460442B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

The present invention relates to a multi-dimensional time series data processing apparatus, to a health prediction system including the same, and to an operating method of time series data processing apparatus. According to an embodiment of the present invention, the time series data processing apparatus includes a network interface, a data generator, a predictor, and a processor. The network interface receives first time series data having a first type. The data generator generates second time series data having a second type based on the first time series data. The predictor generates prediction data based on the first time series data and the second time series data.

Description

시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법{TIME SERIES DATA PROCESSING DEVICE, HEALTH PREDICTING SYSTEM INCLUDING THE SAME, AND METHOD FOR OPERATING TIME SERIES DATA PROCESSING DEVICE}TECHNICAL FIELD The present invention relates to a time series data processing apparatus, a health prediction system including the time series data processing apparatus, and a method of operating the time series data processing apparatus.

본 발명은 시계열 데이터의 처리 및 이를 위한 생성 모델의 구축에 관한 것으로, 좀 더 구체적으로 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법에 관한 것이다.More particularly, the present invention relates to a time series data processing apparatus, a health prediction system including the time series data processing apparatus, and a method of operating the time series data processing apparatus.

의료 기술을 비롯한 각종 기술의 발달은 인간의 생활 수준을 향상시키고, 인간의 수명을 늘리고 있다. 다만, 기술 발달에 따른, 생활 양식의 변화와 잘못된 식습관 등은 다양한 질병 등을 유발시키고 있다. 건강한 삶을 영위하기 위하여, 현재의 질병을 치료하는 것에서 나아가 미래의 건강 상태를 예측하기 위한 요구가 제기되고 있다. 미래 시점의 건강 상태는 시간의 흐름에 따른 시계열 의료 데이터의 추이를 분석함으로써, 예측될 수 있다.The development of various technologies including medical technology improves human standard of living and increases human life span. However, changes in lifestyles and erroneous eating habits due to technological development are causing various diseases. In order to lead a healthy life, there is a demand for the future health condition from the treatment of the present disease. Health status at a future time point can be predicted by analyzing the trend of time series medical data over time.

산업 기술과 정보 통신 기술의 발달은 상당한 규모의 정보 및 데이터를 생성하게 만들고 있다. 최근에는, 이러한 수많은 정보 및 데이터를 이용하여, 컴퓨터와 같은 전자 장치를 학습시켜, 다양한 서비스를 제공하는 인공 지능과 같은 기술이 대두되고 있다. 특히, 미래의 건강 상태를 예측하기 위하여, 다양한 시계열 의료 데이터를 처리 또는 분석하기 위한 모델을 구축하는 방안이 제기되고 있다. 예를 들어, 시계열 의료 데이터는 수집되는 장치 또는 기관 등에 따라 서로 다른 타입 (또는 모달리티(modality))으로 제공될 수 있다. 미래의 건강 상태의 예측 정확도를 향상시키기 위하여, 서로 다른 타입의 시계열 의료 데이터를 효과적으로 처리하거나, 서로 다른 타입의 시계열 의료 데이터를 이용하도록 구축된 모델을 효과적으로 활용하기 위한 방안이 요구되고 있다.The development of industrial technologies and information and communication technologies is creating a significant amount of information and data. In recent years, technologies such as artificial intelligence, which provides various services by learning electronic devices such as a computer using such a large amount of information and data, are emerging. Particularly, in order to predict future health conditions, a method for constructing a model for processing or analyzing various time series medical data is suggested. For example, time series medical data may be provided in different types (or modalities) depending on the device or institution being collected, and so on. In order to improve the prediction accuracy of the future health state, there is a need for a method for effectively utilizing different types of time series medical data or effectively using models constructed using different types of time series medical data.

본 발명은 서로 다른 타입 또는 모달리티를 갖는 시계열 데이터를 이용하여 미래 시점의 데이터를 예측하기 위한 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법을 제공할 수 있다.The present invention can provide a time series data processing device for predicting future time data using time series data having different types or modalities, a health prediction system including the time series data, and a method of operating the time series data processing device.

본 발명의 실시예에 따른 시계열 데이터 처리 장치는 제1 타입을 갖고, 타겟 시점의 이전 시간에 대응되는 제1 시계열 데이터를 수신하는 네트워크 인터페이스, 제1 시계열 데이터에 기초하여, 제2 타입을 갖고, 타겟 시점의 이전 시간에 대응되는 제2 시계열 데이터를 생성하는 데이터 생성기, 제1 및 제2 시계열 데이터에 기초하여, 타겟 시점의 이후 시간에 대응되는 예측 데이터를 생성하는 예측기, 및 데이터 생성기 및 예측기를 제어하는 프로세서를 포함한다.A time-series data processing apparatus according to an embodiment of the present invention includes a network interface that has a first type and receives first time series data corresponding to a previous time of a target time, a second type based on first time series data, A data generator for generating second time series data corresponding to a previous time of the target time, a predictor for generating predictive data corresponding to a later time of the target time based on the first and second time series data, Lt; / RTI >

일례로, 제1 시계열 데이터는 타겟 시점 이전의 복수의 시점들에서 생성된 그룹화된 전자 의무 기록일 수 있다. 데이터 생성기는 전자 의무 기록에 기초하여, 가상의 개인 건강 기록에 대응되는 제2 시계열 데이터를 생성할 수 있다.In one example, the first time series data may be a grouped electronic medical record generated at a plurality of time points prior to the target time. The data generator can generate second time series data corresponding to the virtual personal health record based on the electronic medical record.

일례로, 데이터 생성기는 제1 타입을 갖는 제3 시계열 데이터 및 제2 타입을 갖는 제4 시계열 데이터에 의하여 학습된 생성 모델에 기초하여, 제2 시계열 데이터를 생성할 수 있다. 네트워크 인터페이스는, 제1 시계열 데이터를 수신하기 이전에 제3 및 제4 시계열 데이터를 수신할 수 있다. For example, the data generator can generate the second time series data based on the third time series data having the first type and the generation model learned by the fourth time series data having the second type. The network interface may receive the third and fourth time series data before receiving the first time series data.

일례로, 데이터 생성기는, 제3 및 제4 시계열 데이터에 기초하여, 제2 타입을 갖는 제5 시계열 데이터를 생성하는 생성기, 및 제5 시계열 데이터가 생성기로부터 생성된 데이터인지 여부를 판단하는 판별기를 포함할 수 있다. 판별기가 제5 시계열 데이터를 생성기로부터 생성된 데이터로 판단하지 않을 때까지, 생성 모델의 가중치는 조절될 수 있다. 데이터 생성기는 제3 및 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하는 임베더를 포함할 수 있다. 생성 모델은 변환된 제3 및 제4 시계열 데이터에 기초하여 학습될 수 있다. 임베더는 변환된 제3 및 제4 시계열 데이터와 동일한 타입을 갖도록, 제1 시계열 데이터를 변환할 수 있다. 생성 모델은 변환된 제1 시계열 데이터에 기초하여 제2 시계열 데이터를 생성할 수 있다.For example, the data generator may include a generator for generating fifth time series data having a second type based on the third and fourth time series data, and a discriminator for determining whether the fifth time series data is data generated from the generator . Until the discriminator does not determine the fifth time series data as data generated from the generator, the weight of the generation model can be adjusted. The data generator may include an embedder that converts each of the third and fourth time series data to have the same type as each other. The generation model can be learned based on the converted third and fourth time series data. The embedder can convert the first time series data to have the same type as the converted third and fourth time series data. The generation model can generate the second time series data based on the converted first time series data.

일례로, 제1 시계열 데이터는 수치 데이터인 제1 특징 데이터 및 비수치 데이터인 제2 특징 데이터를 포함할 수 있다. 데이터 생성기는, 제2 특징 데이터를 수치 데이터로 변환하고, 제1 특징 데이터 및 수치 데이터로 변환된 제2 특징 데이터에 기초하여 제2 시계열 데이터를 생성할 수 있다. 일례로, 제2 시계열 데이터는 일정한 기준 시간 간격을 갖는 시계열 데이터일 수 있다.For example, the first time series data may include first feature data which is numerical data and second feature data which is non-numeric data. The data generator may convert the second characteristic data into numerical data and generate second time series data based on the first characteristic data and the second characteristic data converted into the numerical data. For example, the second time series data may be time series data having a constant reference time interval.

본 발명의 실시예에 따른 건강 예측 시스템은 전자 의무 기록에 대응되는 제1 시계열 데이터를 수집하는 수집 장치, 및 제1 시계열 데이터에 기초하여, 가상의 개인 건강 기록에 대응되고 기준 시간 간격을 갖는 제2 시계열 데이터를 생성하고, 제1 시계열 데이터 및 제2 시계열 데이터에 기초하여, 미래 시점의 예측 데이터를 생성하는 의료 데이터 처리 장치를 포함한다.A health prediction system according to an embodiment of the present invention includes a collection device for collecting first time series data corresponding to an electronic medical record and a second time series data corresponding to a virtual personal health record based on the first time series data, 2 time series data, and generates a predictive data at a future time point based on the first time series data and the second time series data.

일례로, 의료 데이터 처리 장치는, 제1 시계열 데이터에 기초하여 제2 시계열 데이터를 생성하는 개인 건강 기록 생성기, 및 제1 및 제2 시계열 데이터에 기초하여, 미래 시점의 전자 의무 기록을 생성하는 건강 예측기를 포함할 수 있다. 건강 예측기는, 시간에 대한 제1 시계열 데이터의 변화 추이 및 제2 시계열 데이터의 변화 추이를 병렬로 분석하는 예측 모델에 기초하여, 미래 시점의 전자 의무 기록에 대응되는 예측 데이터를 생성할 수 있다.For example, the medical data processing apparatus may further include a personal health record generator for generating second time series data based on the first time series data, and a health record generating unit for generating, based on the first and second time series data, And a predictor. The health predictor can generate predictive data corresponding to future electronic medical records based on a predictive model for analyzing the change of the first time series data with respect to time and the change trend of the second time series data in parallel.

일례로, 건강 예측 시스템은 제2 전자 의무 기록에 대응되는 제3 시계열 데이터 및 개인 건강 센서로부터 측정된 개인 건강 기록에 대응되는 제4 시계열 데이터를 수집하는 제2 수집 장치를 더 포함할 수 있다. 의료 데이터 처리 장치는, 제3 및 제4 시계열 데이터에 기초하여 생성 모델을 학습하고, 생성 모델에 제1 시계열 데이터를 입력하여 제2 시계열 데이터를 생성할 수 있다. 의료 데이터 처리 장치는, 생성 모델에 제3 및 제4 시계열 데이터를 입력하여 가상의 개인 건강 기록에 대응되는 제5 시계열 데이터를 생성하고, 제5 시계열 데이터가 가상의 개인 건강 기록인지 측정된 개인 건강 기록인지 판별되지 않을 때까지 생성 모델을 학습할 수 있다. 의료 데이터 처리 장치는, 제3 시계열 데이터 및 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하여 생성 모델에 입력할 수 있다.In one example, the health prediction system may further comprise a second collection device for collecting third time series data corresponding to the second electronic medical record and fourth time series data corresponding to the individual health record measured from the individual health sensor. The medical data processing apparatus can learn the generation model based on the third and fourth time series data and generate the second time series data by inputting the first time series data to the generation model. The medical data processing apparatus generates fifth time series data corresponding to the virtual personal health record by inputting the third and fourth time series data into the generation model and generates the fifth time series data corresponding to the virtual personal health record, The generation model can be learned until it is determined that the recording is not possible. The medical data processing apparatus can convert each of the third time series data and the fourth time series data to have the same type and input them to the generation model.

프로세서에 의하여 수행되는 시계열 데이터 처리 장치의 동작 방법은 과거 시점들에서 제1 타입을 갖도록 생성된 제1 시계열 데이터를 네트워크 인터페이스를 통하여 수신하는 단계, 제1 시계열 데이터를 임베딩하여 입력 데이터를 생성하는 단계, 입력 데이터를 생성 모델에 입력하여, 기준 시간 간격을 갖는 과거 시점들에 대응되고 제2 타입을 갖는 제2 시계열 데이터를 생성하는 단계, 및 제1 시계열 데이터 및 제2 시계열 데이터에 기초하여 미래 시점의 예측 데이터를 생성하는 단계를 포함한다.A method of operating a time-series data processing apparatus performed by a processor includes receiving first time series data generated to have a first type at past points through a network interface, embedding first time series data to generate input data , Inputting input data to a generation model to generate second time series data corresponding to past time points having a reference time interval and having a second type, Of prediction data.

일례로, 시계열 데이터 처리 장치의 동작 방법은 제1 시계열 데이터를 수신하는 단계 이전에, 제1 타입을 갖도록 수집된 제3 시계열 데이터 및 제2 타입을 갖도록 수집된 제4 시계열 데이터에 기초하여, 생성 모델을 학습하는 단계를 더 포함할 수 있다. 생성 모델을 학습하는 단계는, 제3 및 제4 시계열 데이터를 네트워크 인터페이스를 통하여 수신하는 단계, 제3 및 제4 시계열 데이터를 서로 동일한 타입을 갖도록 임베딩하여, 학습 데이터를 생성하는 단계, 학습 데이터를 생성 모델에 입력하여, 기준 시간 간격을 갖는 과거 시점들에 대응되고 제2 타입을 갖는 제5 시계열 데이터를 생성하는 단계, 제5 시계열 데이터가 네트워크 인터페이스를 통하여 수신된 시계열 데이터인지 생성 모델로부터 생성된 시계열 데이터인지 판별하는 단계, 및 제5 시계열 데이터가 생성 모델로부터 생성된 시계열 데이터로 판별되는 경우, 생성 모델의 가중치를 조절하는 단계를 포함한다.For example, an operation method of a time-series data processing apparatus may include generating third time-series data collected to have a first type and fourth time-series data collected to have a second type prior to receiving the first time- And may further include learning the model. Learning the generation model includes receiving third and fourth time series data through a network interface, embedding the third and fourth time series data so as to have the same type, generating learning data, Generating fifth time series data corresponding to past time points having a reference time interval and having a second type by inputting the generated time series data into the generation model, Determining whether the fifth time series data is time series data, and adjusting the weight of the generation model when the fifth time series data is determined to be time series data generated from the generation model.

일례로, 예측 데이터를 생성하는 단계는, 시간에 대한 제1 시계열 데이터의 변화 추이에 기초하여 제1 중간 데이터를 생성하는 단계, 시간에 대한 제2 시계열 데이터의 변화 추이에 기초하여 제2 중간 데이터를 생성하는 단계, 및 제1 중간 데이터 및 제2 중간 데이터에 기초하여, 예측 데이터를 계산하는 단계를 포함할 수 있다.For example, the step of generating the prediction data may include generating first intermediate data based on a change in the first time series data with respect to time, generating second intermediate data based on the second time series data, , And calculating the prediction data based on the first intermediate data and the second intermediate data.

본 발명의 실시예에 따른 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법은 서로 다른 타입 또는 모달리티를 갖는 시계열 데이터를 분석하는 예측 모델을 이용하여, 미래 시점에 대한 예측 정확도를 향상시킬 수 있다.The time series data processing apparatus, the health prediction system including the time series data processing apparatus, and the time series data processing apparatus according to an embodiment of the present invention may use a prediction model for analyzing time series data having different types or modalities, Prediction accuracy can be improved.

또한, 본 발명의 실시예에 따른 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법은 특정된 타입을 갖는 가상의 시계열 데이터를 생성함으로써, 시계열 데이터가 부족하거나 없는 상황에서도 이미 구축된 예측 모델을 활용할 수 있고, 시계열 데이터의 수집 부담을 경감시킬 수 있다.In addition, the time series data processing apparatus, the health prediction system including the same, and the operation method of the time series data processing apparatus according to the embodiment of the present invention generate virtual time series data having a specified type, It is possible to utilize the prediction model that has already been constructed and to reduce the collection burden of the time series data.

도 1은 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다.
도 3은 학습 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다.
도 4는 생성 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다.
도 5는 도 3 및 도 4의 임베더를 구체적으로 설명하기 위한 도면이다.
도 6은 도 2의 의료 데이터 처리 장치의 예시적인 블록도이다.
도 7은 도 2 및 도 6의 의료 데이터 처리 장치가 생성 모델을 학습하는 과정을 설명하기 위한 도면이다.
도 8은 도 2 및 도 6의 의료 데이터 처리 장치가 학습된 생성 모델을 바탕으로 동작하는 과정을 설명하기 위한 도면이다.1 is a diagram illustrating a health prediction system according to an embodiment of the present invention.
2 is a diagram illustrating a health prediction system according to an embodiment of the present invention.
3 is a block diagram for specifically explaining the operation of the PHR generator of FIG. 2 in the learning step.
4 is a block diagram for specifically explaining the operation of the PHR generator of FIG. 2 in the generation step.
Fig. 5 is a diagram for explaining the embeders of Figs. 3 and 4 in detail.
Fig. 6 is an exemplary block diagram of the medical data processing apparatus of Fig. 2;
FIG. 7 is a diagram for explaining a process of learning a generation model by the medical data processing apparatuses of FIGS. 2 and 6. FIG.
FIG. 8 is a diagram for explaining a process in which the medical data processing apparatus of FIGS. 2 and 6 operates based on a learned generation model.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.Hereinafter, embodiments of the present invention will be described in detail and in detail so that those skilled in the art can easily carry out the present invention.

도 1은 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다. 도 1을 참조하면, 건강 예측 시스템(100)은 전자 의무 기록 수집 장치(110) (이하, EMR(Electronic Medical Record) 수집 장치), EMR 데이터베이스(115), 개인 건강 기록 수집 장치(120) (이하, PHR(Personal Health Record) 수집 장치), PHR 데이터베이스(125), 의료 데이터 처리 장치(130), 및 진단 데이터베이스(145)를 포함한다.1 is a diagram illustrating a health prediction system according to an embodiment of the present invention. 1, the health prediction system 100 includes an electronic medical record collection device 110 (hereinafter referred to as an EMR (Electronic Medical Record) collection device), an EMR database 115, a personal health record collection device 120 A personal health record (PHR) collection device), a PHR database 125, a medical data processing device 130, and a diagnostic database 145.

EMR 수집 장치(110)는 의료 기관에서 진단, 치료, 또는 투약 처방 등에 의하여 생성된 사용자의 건강 상태를 나타내는 전자 의무 기록(Electronic Medical Record, 이하 EMR)을 수집할 수 있다. EMR은 의료 기관에 방문 할 때 생성되며, 진단, 치료, 또는 투약 처방된 특징(feature; 예를 들어, 혈압, 콜레스테롤 수치 등)에 기초하여 생성된 특징 데이터를 포함할 수 있다. 예를 들어, 특징 데이터는 혈압과 같은 검사로 측정된 데이터 또는 동맥 경화와 같은 질환의 정도를 나타내는 데이터일 수 있다. The EMR collection device 110 may collect an electronic medical record (EMR) indicating the health status of the user generated by the diagnosis, treatment, or prescription in the medical institution. EMR is generated when visiting a medical institution and may include feature data generated based on diagnostic, therapeutic, or medication-prescribed features (e.g., blood pressure, cholesterol, etc.). For example, the characteristic data may be data measured by a test such as blood pressure or data representing the degree of a disease such as atherosclerosis.

EMR 수집 장치(110)는 공공 기관 또는 병원과 같은 의료 기관, 또는 해당 의료 기관으로부터 지정된 관리 업체 또는 기관에서 구축되는 EMR 데이터베이스(115)로부터 EMR을 수집할 수 있다. EMR은 사용자가 의료 기관에 방문할 때마다 생성되고, EMR 데이터베이스(115)에 사용자 별로 시계열적으로 그룹화되어 관리될 수 있다. EMR 데이터베이스(115)는 서버 또는 저장 매체에 구현될 수 있다.The EMR collection device 110 may collect EMRs from a medical institution, such as a public agency or hospital, or from an EMR database 115, which is established by a designated management entity or institution from that medical institution. The EMR is generated each time a user visits a medical institution, and can be grouped and managed in a time series on a user-by-user basis in the EMR database 115. The EMR database 115 may be implemented in a server or a storage medium.

PHR 수집 장치(120)는 사용자 등 개인에 의하여 관리 및 생성되는 개인 건강 기록(Personal Health Record, 이하 PHR)을 수집할 수 있다. PHR은 가정용 바디 스캐너와 같이, 개별적으로 구비된 개인 건강 센서로부터 측정된 의료 데이터로부터 생성되며, 개인 건강 센서가 측정한 특징에 기초하여 생성된 특징 데이터를 포함할 수 있다. 여기에서, 정의되는 PHR은 병원과 같은 의료 기관이 아닌, 개인 건강 센서 등을 이용하여, 사용자가 직접 측정한 시계열 의료 데이터로 이해될 것이다.The PHR collection device 120 may collect personal health records (PHRs) that are managed and generated by individuals such as users. The PHR may be generated from medical data measured from an individually provided personal health sensor, such as a home body scanner, and may include feature data generated based on features measured by the personal health sensor. Here, the defined PHR will be understood as time-series medical data measured directly by the user using a personal health sensor or the like rather than a medical institution such as a hospital.

PHR 수집 장치(120)는 사용자 또는 사용자로부터 지정된 관리 업체 또는 기관에서 구축되는 PHR 데이터베이스(125)로부터 PHR을 수집할 수 있다. PHR은 사용자가 개인 건강 센서를 이용할 때마다 생성되고, PHR 데이터베이스(125)에 시계열적으로 그룹화되어 관리될 수 있다. PHR 데이터베이스(125)는 서버 또는 저장 매체에 구현될 수 있다.The PHR collection device 120 may collect the PHR from the PHR database 125 that is established by a user or a management company or organization specified by the user. The PHR is generated each time a user uses a personal health sensor and can be grouped and managed in a PHR database 125 in a time series. The PHR database 125 may be implemented in a server or a storage medium.

EMR은 전문화된 의료 기관에서 정밀한 의료 장비를 이용하여 생성되므로, PHR에 비하여 개인 건강 상태를 진단, 평가, 및 예측하는데 높은 정확도를 가질 수 있다. 다만, EMR은 사용자가 직접 의료 기관을 방문함에 따라 생성된다. 따라서, 의료 기관을 방문하는 비용, 물리적인 거리, 및 방문 목적이 계속적으로 변경되는 점 등에 비추여, 충분한 의료 데이터를 확보하기 어려울 수 있다. 또한, EMR은 불규칙적인 방문에 의하여 생성되므로, 시계열적으로 규칙적인 의료 데이터를 확보하기 어려울 수 있다.Because EMRs are generated by specialized medical institutions using precise medical equipment, they can have a high degree of accuracy in diagnosing, evaluating, and predicting individual health status compared to PHR. However, the EMR is generated as the user directly visits the medical institution. Thus, it may be difficult to obtain sufficient medical data in view of the cost of visiting the medical institution, the physical distance, and the constantly changing purpose of the visit. In addition, since EMR is generated by irregular visits, it may be difficult to obtain regular medical data in a time series.

PHR은 사용자의 접근이 용이한 개인 건강 센서 등을 이용하여 생성되므로, EMR에 비하여 시계열적으로 규칙적으로 생성될 수 있다. 또한, 계속적으로 동일한 특징을 검사하기 편리하므로, PHR에 포함된 특징 데이터가 시간의 흐름에 따라 EMR에 비하여 적게 누락될 수 있다. 다만, PHR은 EMR에 비하여 정밀한 장비로 획득되지 않으므로, 개인 건강 상태를 진단, 평가, 및 예측하는데 낮은 정확도를 갖는다. 또한, PHR 데이터베이스(125)가 현재 보편적으로 구축되지 않고, 의료 기관 등에서도 개인 건강 센서 등에 의하여 측정된 데이터를 데이터베이스화하여 관리하지 않으므로, PHR에 대응되는 시계열 의료 데이터의 절대적인 양이 EMR에 비하여 부족하다.Since the PHR is generated using a personal health sensor or the like, which is easy to access by the user, it can be generated in a time-series manner in comparison with the EMR. In addition, since it is convenient to continuously inspect the same feature, the feature data included in the PHR may be less missed than the EMR over time. However, PHR is less accurate than EMR and therefore has less accuracy in diagnosing, evaluating, and predicting individual health conditions. In addition, since the PHR database 125 is not universally structured at present and data measured by a personal health sensor or the like is not managed in a database by a medical institution, the absolute amount of time-series medical data corresponding to the PHR is insufficient Do.

의료 데이터 처리 장치(130)는 상술된 EMR과 PHR을 모두 분석하여 미래 시점에 대한 사용자의 건강 상태를 예측할 수 있다. 이 경우, 의료 데이터 처리 장치(130)는 EMR의 정확성과 PHR의 시계열적 규칙성을 모두 고려하여 예측 데이터를 생성할 수 있다. 여기에서, 예측 데이터는 특정된 미래 시점의 EMR의 예측 값일 수 있으나, 이에 제한되지 않고, PHR이거나 그 외의 다른 타입의 의료 데이터일 수 있다. 의료 데이터 처리 장치(130)는 EMR 수집 장치(110)로부터 EMR을 수신하고, PHR 수집 장치(120)로부터 PHR을 수신할 수 있다.The medical data processing apparatus 130 may analyze both the above-described EMR and PHR to predict the health state of the user at a future time point. In this case, the medical data processing apparatus 130 can generate the prediction data in consideration of both the accuracy of the EMR and the time series regularity of the PHR. Here, the prediction data may be the predicted value of the EMR of the specified future time point, but is not limited thereto, and may be PHR or other types of medical data. The medical data processing device 130 may receive the EMR from the EMR collection device 110 and receive the PHR from the PHR collection device 120. [

의료 데이터 처리 장치(130)는 서로 다른 타입 또는 모달리티(modality)를 갖는 EMR 및 PHR을 이용하여 미래 건강 상태를 예측하기 위한 건강 예측 모델(140)을 구축할 수 있다. 건강 예측 모델(140)은 다양한 EMR 및 PHR을 학습하여 생성될 수 있다. 건강 예측 모델(140)은 복수의 레이어들로 계층화될 수 있다. 예를 들어, 건강 예측 모델(140)은 뉴럴 네트워크 모델일 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 학습 모델이 건강 예측 모델(140)에 적용될 수 있다. The medical data processing device 130 may construct a health prediction model 140 for predicting a future health state using EMR and PHR having different types or modalities. The health prediction model 140 may be generated by learning various EMRs and PHRs. The health prediction model 140 may be layered into a plurality of layers. For example, the health prediction model 140 may be a neural network model, but not limited thereto, various learning models capable of performing machine learning may be applied to the health prediction model 140.

건강 예측 모델(140)은 EMR 및 PHR을 병렬로 입력 받고, EMR과 PHR을 각각 분석할 수 있다. 예를 들어, 건강 예측 모델(140)은 EMR의 시간의 흐름에 따른 변화 추이에 기초하여, 제1 중간 데이터를 생성할 수 있고, PHR의 시간의 흐름에 따른 변화 추이에 기초하여, 제2 중간 데이터를 생성할 수 있다. 건강 예측 모델(140)은 제1 중간 데이터 및 제2 중간 데이터를 병합하여 유사한 특징들 사이의 관계 및 패턴을 분석하여 예측 데이터를 최종적으로 생성할 수 있다. 즉, 건강 예측 모델(140)은 두 가지 모달리티의 공유된 표현(shared representations)을 위한 레이어를 포함할 수 있다.The health prediction model 140 receives the EMR and the PHR in parallel, and analyzes the EMR and the PHR, respectively. For example, the health prediction model 140 can generate the first intermediate data based on the change trend of the EMR over time, and based on the change trend of the PHR over time, Data can be generated. The health prediction model 140 may combine the first intermediate data and the second intermediate data to analyze the relationship and pattern between similar features to ultimately generate the prediction data. That is, the health prediction model 140 may include a layer for shared representations of the two modalities.

건강 예측 모델(140)에 의하여 생성된 예측 데이터는 진단 데이터베이스(145)에 구축될 수 있다. 예측 데이터는 진단 데이터베이스(145)에 사용자 별로 그룹화되어 관리될 수 있다. 예시적으로, 임의의 미래 시점에 대한 사용자의 건강 상태를 예측하기 위하여, 진단 데이터베이스(145)는 건강 예측 모델(140)에 기초하여 분석된 시간의 흐름에 따른 미래 건강 상태의 추이 정보를 관리할 수 있고, 나아가, 원시 데이터인 EMR 및 PHR도 누적하여 관리할 수 있다. 진단 데이터베이스(145)는 서버 또는 저장 매체에 구현될 수 있다.The prediction data generated by the health prediction model 140 may be constructed in the diagnostic database 145. [ The prediction data can be grouped and managed in the diagnostic database 145 for each user. Illustratively, in order to predict a user's health condition at any future time point, the diagnostic database 145 manages the trend information of the future health state according to the analyzed time period based on the health prediction model 140 And furthermore, EMR and PHR, which are primitive data, can be cumulatively managed. The diagnostic database 145 may be implemented in a server or storage medium.

건강 예측 모델(140)이 EMR 및 PHR 모두를 이용하도록 구현됨으로써, 미래 건강 상태의 예측 정확도가 향상될 수 있다. 다만, 건강 예측 모델(140)이 구축된 의료 데이터 처리 장치(130)를 이용함에 있어서, 서로 다른 타입의 시계열 데이터 중 어느 하나의 데이터 양이 부족할 수 있다. 특히, PHR은 사용자가 개인 건강 센서를 시계열적으로 규칙적으로 활용하더라도, EMR과 같이 데이터베이스화되지 않는 경우가 많으므로, 과거의 시점들에 대응되는 충분한 시계열 데이터가 획득되기 어렵다. 또한, PHR은 개인으로부터 생성되므로, PHR 수집을 위한 비용이 증가하고, 데이터 수집의 제약이 뒤따른다. 또한, 의료 분야 특유의 윤리적 문제, 법적 문제, 개인 프라이버시 문제 등은 의료 데이터의 수집을 어렵게 한다. 이하의 설명들은 이미 구축된 멀티 모달리티 기반의 건강 예측 모델(140)에서의 문제를 후향적 연구 기반으로 해결하기 위한 시스템 및 방법을 나타낸다.By implementing the health prediction model 140 to use both EMR and PHR, the prediction accuracy of future health conditions can be improved. However, when the medical data processing device 130 in which the health prediction model 140 is constructed is used, the amount of data of any one of different types of time series data may be insufficient. In particular, even if the user regularly utilizes the personal health sensor in a regular manner, the PHR is not databaseized like the EMR in many cases, so that it is difficult to obtain sufficient time series data corresponding to past time points. In addition, because PHR is generated from an individual, the cost for collecting PHR increases, followed by a constraint on data collection. In addition, ethical issues, legal issues, and personal privacy issues peculiar to the medical field make it difficult to collect medical data. The following description shows a system and method for solving the problems in the already established multi-modality based health prediction model 140 on a retrospective basis.

도 2는 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다. 도 2를 참조하면, 건강 예측 시스템(200)은 제1 수집 장치(210), EMR 데이터베이스(215), 제2 수집 장치(220), 학습 EMR 데이터베이스(222), 학습 PHR 데이터베이스(224), 의료 데이터 처리 장치(230), 가상의 PHR 데이터베이스(245), 및 진단 데이터베이스(255)를 포함할 수 있다. 도 2의 건강 예측 시스템(200)은 가상의 PHR을 생성하여, 미래 시점의 건강 상태를 예측하기 위한 예시적인 구성으로 이해될 것이고, 건강 예측 시스템(200)의 구조가 이에 제한되지 않을 것이다.2 is a diagram illustrating a health prediction system according to an embodiment of the present invention. 2, the health prediction system 200 includes a first acquisition device 210, an EMR database 215, a second acquisition device 220, a learning EMR database 222, a learning PHR database 224, A data processing device 230, a virtual PHR database 245, and a diagnostic database 255. The health prediction system 200 of FIG. 2 will be understood as an exemplary configuration for generating a hypothetical PHR to predict future health conditions, and the structure of the health prediction system 200 will not be limited thereto.

제1 수집 장치(210)는 사용자의 미래 건강 상태를 예측하기 위하여, 시계열 데이터인 EMR을 수집할 수 있다. 제1 수집 장치(210)는 EMR 데이터베이스(215)로부터 EMR을 수집할 수 있다. EMR 데이터베이스(215)는 도 1의 EMR 데이터베이스(115)에 대응될 수 있다. 상술하였듯이, 서로 다른 타입을 갖는 EMR 및 PHR을 이용함으로써, 미래 건강 상태의 예측 정확도가 향상될 수 있으나, 과거 시점의 PHR이 데이터베이스화되지 않은 경우가 많아 데이터 양이 부족하고, 건강 예측 모델을 활용하기 위하여 PHR을 수집하기 위한 비용적, 법적, 절차적 어려움이 존재한다. 설명의 편의상, 도 2의 건강 예측 시스템(200)에서 미래의 건강 상태를 예측하기 위한 PHR이 수집되지 못한 것으로 가정한다. EMR은 가상의 PHR을 생성하는데 이용된다.The first collecting device 210 may collect EMR, which is time series data, in order to predict the future health state of the user. The first collection device 210 may collect the EMR from the EMR database 215. The EMR database 215 may correspond to the EMR database 115 of FIG. As described above, by using EMR and PHR having different types, the prediction accuracy of the future health state can be improved. However, since the past PHR is not databaseized, the data amount is insufficient and the health prediction model is utilized There are costly, legal and procedural difficulties to collect PHRs in order to do so. For convenience of explanation, it is assumed that the PHR for predicting a future health state is not collected in the health prediction system 200 of FIG. The EMR is used to generate a virtual PHR.

제2 수집 장치(220)는 가상의 PHR을 생성하는 생성 모델을 학습시키기 위하여, 시계열 데이터인 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 수집할 수 있다. 제2 수집 장치(220)는 학습 EMR 데이터베이스(222)로부터 학습 EMR(EMRa)을 수집하고, 학습 PHR 데이터베이스(224)로부터 학습 PHR(PHRa)을 수집할 수 있다. 학습 EMR(EMRa) 및 학습 PHR(PHRa)은 서로 다른 타입을 갖고, 서로 다른 기관 또는 의료 장비로부터 생성될 수 있으나, 통합 관리될 수 있다. 예를 들어, 학습 EMR(EMRa)을 관리하는 병원이 사용자의 개인 건강 센서로부터 생성된 학습 PHR(PHRa)을 제공 받아 함께 관리할 수 있다. EMR 데이터베이스(215)는 학습 EMR 데이터베이스(222) 및 학습 PHR 데이터베이스(224)를 관리하는 기관과 다른 의료 기관에서 관리될 수 있으나, 이에 제한되지 않는다. 제1 수집 장치(210)가 EMR을 의료 데이터 처리 장치(230)로 제공하기 전에, 제2 수집 장치(220)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 의료 데이터 처리 장치(230)에 제공한다.The second collecting device 220 may collect the learning EMR (EMRa) and the learning PHR (PHRa), which are time series data, in order to learn a generation model for generating a virtual PHR. The second collecting device 220 may collect the learning EMR (EMRa) from the learning EMR database 222 and collect the learning PHR (PHRa) from the learning PHR database 224. Learning EMR (EMRa) and learning PHR (PHRa) have different types and can be generated from different institutions or medical equipment, but can be integrated management. For example, a hospital managing a learning EMR (EMRa) may receive and manage a learning PHR (PHRa) generated from a user's personal health sensor. The EMR database 215 may be managed by, but not limited to, the learning EMR database 222 and the learning PHR database 224. Before the first acquisition device 210 provides the EMR to the medical data processing device 230, the second acquisition device 220 sends the learning EMR (EMRa) and the learning PHR (PHRa) to the medical data processing device 230 to provide.

의료 데이터 처리 장치(230)는 EMR 및 PHR을 분석하여 미래 시점에 대한 사용자의 건강 상태를 예측하는 시계열 데이터 처리 장치이다. 다만, 도 2와 같이, 미래 시점의 건강 상태를 예측하기 위한 PHR이 존재하지 않거나, 부족한 경우, 의료 데이터 처리 장치(230)는 가상의 PHR(PHRf)을 생성할 수 있다. 의료 데이터 처리 장치(230)는 PHR 생성기(240) 및 건강 예측기(250)를 포함할 수 있다.The medical data processing device 230 is a time series data processing device for analyzing the EMR and the PHR to predict the health state of the user with respect to the future time. However, as shown in FIG. 2, when the PHR for predicting the future health state does not exist or is insufficient, the medical data processing device 230 can generate a virtual PHR (PHRf). The medical data processing device 230 may include a PHR generator 240 and a health estimator 250.

PHR 생성기(240)는 시계열 데이터인 가상의 PHR(PHRf)을 생성하는 데이터 생성기이다. 이를 위하여, PHR 생성기(240)는 생성 모델을 구축할 수 있다. 학습 단계에서, 생성 모델은 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 학습하여 생성될 수 있다. 예를 들어, 생성 모델은 생성적 적대 신경망(Generative Adversarial Network, GAN)으로 구현될 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 모델이 생성 모델에 적용될 수 있다. PHR 생성기(240)의 구체적인 학습 단계는 후술된다.The PHR generator 240 is a data generator for generating a virtual PHR (PHRf) which is time series data. To this end, the PHR generator 240 may construct a generation model. In the learning phase, the generation model can be generated by learning learning EMR (EMRa) and learning PHR (PHRa). For example, the generation model may be implemented as a Generative Adversarial Network (GAN), but not limited thereto, various models capable of performing machine learning may be applied to the generation model. The specific learning steps of the PHR generator 240 will be described later.

PHR 생성기(240)는 생성 단계에서, EMR에 기초하여 가상의 PHR(PHRf)을 생성한다. EMR은 학습된 생성 모델에 입력된다. 생성 모델은 EMR과 다른 타입을 갖는 가상의 PHR(PHRf)을 생성한다. EMR은 특징에 따라 수치 또는 부호나 기호와 같은 비수치로 표현되는 정형화된 타입을 갖고, PHR은 EMR과 달리 개인 건강 센서에 의하여 측정된 수치로 표현되는 타입을 가질 수 있다. 생성 모델은 학습 결과, EMR과 다른 타입을 갖는 시계열 데이터를 생성할 수 있다. 또한, 생성 모델은 시간적으로 불규칙한 EMR과 달리, 규칙적인 시간 간격을 갖는 가상의 PHR(PHRf)을 생성할 수 있다. 가상의 PHR(PHRf)은 기준 시간 간격을 갖는 시계열 데이터일 수 있다. 예를 들어, 기준 시간 간격은 건강 예측기(250)의 미래 건강 상태에 대한 예측 정확도 및 처리 속도를 고려하여 기설정된 시간 간격일 수 있다. 가상의 PHR(PHRf)은 가상의 PHR 데이터베이스(245)에 구축 및 관리될 수 있다. PHR 생성기(240)의 구체적인 생성 단계는 후술된다.In the generation step, the PHR generator 240 generates a virtual PHR (PHRf) based on the EMR. The EMR is entered into the learned generation model. The generation model generates a virtual PHR (PHRf) having a different type from the EMR. An EMR has a stereotyped type represented by a numerical value, a non-numeric value such as a sign or a symbol depending on the characteristic, and the PHR can have a type that, unlike the EMR, is represented by a numerical value measured by a personal health sensor. The generation model can generate time series data having a different type from the learning result, EMR. Moreover, the generation model can generate a virtual PHR (PHRf) having a regular time interval, unlike the temporally irregular EMR. The hypothetical PHR (PHRf) may be time series data having a reference time interval. For example, the reference time interval may be a predetermined time interval considering the prediction accuracy and the processing speed of the health predictor 250 regarding the future health state. The virtual PHR (PHRf) can be constructed and managed in the virtual PHR database 245. The specific generation step of the PHR generator 240 will be described later.

건강 예측기(250)는 서로 다른 타입을 갖는 EMR 및 가상의 PHR(PHRf)을 이용하여 미래 건강 상태를 예측하는 예측기이다. 이를 위하여, 건강 예측기(250)는 예측 모델을 구축할 수 있다. 예측 모델은 도 1의 건강 예측 모델(140)과 같이, 다양한 EMR 및 PHR을 학습하여 생성될 수 있다. 예측 모델은 도 2에 도시된 바와 같이, 리커런트 뉴럴 네트워크(Recurrent Neural Network, RNN) 또는 LSTM(Long-Short Term Memory)과 같은 순환 신경망으로 구현될 수 있다. 예측 모델은 EMR 또는 가상의 PHR(PHRf)과 같은 시계열 데이터를 시간의 흐름에 따라 순차적으로 처리하되, 이전 시점에 대응되는 EMR 또는 가상의 PHR(PHRf)가 다음 시점에 대응되는 EMR 또는 가상의 PHR(PHRf)에 반영되도록 시계열 데이터를 처리할 수 있다.Health predictor 250 is a predictor for predicting future health states using different types of EMRs and hypothetical PHRs (PHRf). To this end, health estimator 250 may build a prediction model. The prediction model may be generated by learning various EMRs and PHRs, such as the health prediction model 140 of FIG. The prediction model may be implemented as a circular neural network, such as a Recurrent Neural Network (RNN) or a Long-Short Term Memory (LSTM), as shown in FIG. The prediction model sequentially processes time series data such as an EMR or a virtual PHR (PHRf) according to the flow of time, and the EMR corresponding to the previous time or the virtual PHR (PHRf) corresponding to the next time corresponds to the EMR corresponding to the next time or the virtual PHR Time-series data to be reflected in the PHRf.

건강 예측기(250)는 EMR 및 가상의 PHR(PHRf)을 병렬로 입력 받고, EMR 및 가상의 PHR(PHRf)을 각각 분석할 수 있다. 예시적으로, EMR은 불규칙적인 t개의 시점들에 대응되는 시계열 데이터이고, 가상의 PHR(PHRf)은 기준 시간 간격을 갖는 규칙적인 과거의 s개의 시점들에 대응되는 시계열 데이터일 수 있다. 건강 예측기(250)는 EMR의 시간의 흐름에 따른 변화 추이에 기초하여, 제1 중간 데이터를 생성할 수 있고, 가상의 PHR(PHRf)의 시간의 흐름에 따른 변화 추이에 기초하여, 제2 중간 데이터를 생성할 수 있다. 건강 예측기는 제1 중간 데이터 및 제2 중간 데이터에 기초하여 예측 데이터를 생성할 수 있고, 이를 위하여, 예측 모델은 두 가지 모달리티의 공유된 표현(shared representations)을 위한 레이어를 포함할 수 있다. 예시적으로 예측 데이터는 미래의 t+1 시점에 대응되는 EMR인 것으로 도시되었으나, 이에 제한되지 않고, 미래 건강 상태를 나타낼 수 있는 다양한 타입을 가질 수 있다. 예측 데이터는 진단 데이터베이스(255)에 구축 및 관리될 수 있다.The health estimator 250 receives the EMR and the virtual PHR (PHRf) in parallel, and analyzes the EMR and the virtual PHR (PHRf), respectively. Illustratively, the EMR is time series data corresponding to irregular t time points, and the virtual PHR (PHRf) may be time series data corresponding to regular past s time points having a reference time interval. The health estimator 250 can generate the first intermediate data based on the change trend of the EMR with the passage of time, and based on the change trend of the virtual PHR (PHRf) over time, Data can be generated. The health predictor may generate the prediction data based on the first intermediate data and the second intermediate data, and for this purpose, the prediction model may include a layer for shared representations of the two modalities. Illustratively, the prediction data is shown to be an EMR corresponding to a future time point t + 1, but is not limited thereto and may have various types that can indicate future health conditions. The prediction data can be constructed and managed in the diagnostic database 255. [

즉, 건강 예측 시스템(200)은 이미 구축된 멀티 모달리티 기반의 예측 모델에서, 추가적인 PHR을 측정하는 등의 전향적 연구 기반의 해결 방안을 제안하지 않는다. 후향적 연구 기반의 해결 방안으로, 건강 예측 시스템(200)은 PHR을 수집하는 대신, 가상의 PHR(PHRf)을 생성한다. 따라서, PHR의 추가적인 수집에 따른, 비용적, 법적, 절차적 어려움이 해결될 수 있다.That is, the health prediction system 200 does not propose a prospective research-based solution, such as measuring additional PHR, in a multi-modality based prediction model that has already been established. As a retrospective research-based solution, the health prediction system 200 generates a hypothetical PHR (PHRf) instead of collecting the PHR. Thus, the cost, legal and procedural difficulties associated with the additional collection of PHRs can be solved.

도 3은 학습 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다. 도 3을 참조하면, PHR 생성기(240a)는 임베더(241a), 생성기(242a), 및 판별기(243a)를 포함한다. PHR 생성기(240a)는 도 2의 PHR 생성기(240)에 대응된다. PHR 생성기(240a)는 생성적 적대 신경망(Generative Adversarial Network, GAN) 기반으로 구현된 것으로 설명된다. 설명의 편의상 도 2의 도면 부호를 참조하여, 도 3이 설명된다.3 is a block diagram for specifically explaining the operation of the PHR generator of FIG. 2 in the learning step. Referring to FIG. 3, the PHR generator 240a includes an embedder 241a, a generator 242a, and a discriminator 243a. PHR generator 240a corresponds to PHR generator 240 of FIG. PHR generator 240a is described as being implemented on a Generative Adversarial Network (GAN) basis. For ease of explanation, referring to the reference numerals of Fig. 2, Fig. 3 will be described.

임베더(241a)는 제2 수집 장치(220)로부터 입력된 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 동일한 타입을 갖도록 변환할 수 있다. 전자 의무 기록의 시계열 데이터인 학습 EMR(EMRa)과 개인 건강 기록의 시계열 데이터인 학습 PHR(PHRa)은 서로 다른 타입으로 생성된다. 예를 들어, 학습 EMR(EMRa)은 수치 데이터와 비수치 데이터가 혼재될 수 있고, 학습 PHR(PHRa)은 수치 데이터만을 포함할 수 있다. 또한, 학습 EMR(EMRa) 및 학습 PHR(PHRa)은 서로 다른 차원을 가질 수 있고, 서로 다른 방식으로 특징을 표현할 수 있다. 임베더(241a)는 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 임베딩하여 동일한 벡터 형태로 변환할 수 있다. 예를 들어, 임베더(241a)는 Word2Vec 방식으로 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 수치화할 수 있다. 다만, 이에 제한되지 않고, 학습 EMR(EMRa) 및 학습 PHR(PHRa)은 EMR 타입, PHR 타입, 또는 EMR 또는 PHR과 다른 타입으로 변환될 수 있다.The embedder 241a can convert each of the learning EMR (EMRa) and the learning PHR (PHRa) input from the second acquisition device 220 to have the same type. The learning EMR (EMRa), which is time series data of the electronic medical record, and the learning PHR (PHRa), which is the time series data of the individual health record, are generated in different types. For example, the learning EMR (EMRa) may be mixed with numeric data and non-numeric data, and the learning PHR (PHRa) may include only numerical data. In addition, the learning EMR (EMRa) and the learning PHR (PHRa) can have different dimensions and can express characteristics in different ways. The embedder 241a can embed the learning EMR (EMRa) and the learning PHR (PHRa), respectively, and convert them into the same vector form. For example, the embedder 241a can digitize the learning EMR (EMRa) and the learning PHR (PHRa) in Word2Vec manner. However, the learning EMR (EMRa) and the learning PHR (PHRa) can be converted into EMR type, PHR type, or other types than EMR or PHR.

임베더(241a)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 변환하여, 시계열 데이터인 학습 데이터(TDa)를 생성할 수 있다. 임베더(241a)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 동일한 타입을 갖도록 변환하고, 시간의 흐름에 따라 나열되는 시계열 데이터로 출력할 수 있다. 학습 데이터(TDa)는 생성기(242a)에 입력된다.The embedder 241a can convert learning EMR (EMRa) and learning PHR (PHRa) to generate learning data TDa which is time series data. The embedder 241a can convert the learning EMR (EMRa) and the learning PHR (PHRa) to have the same type and output it as time series data arranged in accordance with the passage of time. The learning data TDa is input to the generator 242a.

생성기(242a)는 학습 데이터(TDa)에 기초하여, 가상의 시계열 데이터(PHRz)를 생성할 수 있다. 가상의 시계열 데이터(PHRz)는 PHR과 동일한 타입을 가질 수 있다. 다만, 이에 제한되지 않고, 예시적으로 가상의 시계열 데이터(PHRz)는 임베더(241a)에 의하여 변환된 벡터 타입과 동일한 타입을 가질 수도 있다. 생성기(242a)는 가상의 과거 시점들에 대응되는 시계열 데이터를 생성하되, 가상의 과거 시점들은 기준 시간 간격을 갖도록 설정될 수 있다. 가상의 시계열 데이터(PHRz)는 판별기(243a)에 입력된다.The generator 242a can generate virtual time series data PHRz based on the learning data TDa. The virtual time series data PHRz may have the same type as the PHR. However, the present invention is not limited thereto. For example, the virtual time series data PHRz may have the same type as the vector type converted by the embedder 241a. The generator 242a may generate time series data corresponding to virtual past time points, and virtual past time points may be set to have a reference time interval. The virtual time series data PHRz is input to the determination unit 243a.

생성기(242a)는 학습을 통하여 구축되는 뉴럴 네트워크 모델일 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 학습 모델이 생성기(242a)에 적용될 수 있다. 예를 들어, 생성기(242a)는 시계열 데이터인 학습 데이터(TDa)를 처리하기 위하여, 리커런트 뉴럴 네트워크(Recurrent Neural Network, RNN) 또는 LSTM(Long-Short Term Memory)과 같은 순환 신경망으로 구현될 수 있다. 학습 단계에서, 생성기(242a)의 가중치는 조절될 수 있다. 생성기(242a)는 학습 EMR(EMRa)이 고려된 학습 데이터(TDa)를 이용하여 가상의 시계열 데이터(PHRz)를 생성하므로, EMR과 연관성이 높은 시계열 데이터를 생성할 수 있다.The generator 242a may be a neural network model constructed through learning, but not limited thereto, various learning models capable of performing machine learning may be applied to the generator 242a. For example, the generator 242a may be implemented as a circular neural network, such as a recurrent neural network (RNN) or a long-short term memory (LSTM), for processing training data TDa, have. In the learning phase, the weight of the generator 242a may be adjusted. The generator 242a generates the virtual time series data PHRz using the learning data TDa in which the learning EMR (EMRa) is considered, so that the generator 242a can generate the time series data highly correlated with the EMR.

판별기(243a)는 가상의 시계열 데이터(PHRz)가 생성기(242a)로부터 생성된 가상의 데이터인지 아닌지 판별할 수 있다. 판별기(243a)는 가상의 시계열 데이터(PHRz)와 실제 데이터(RDa)를 입력 받을 수 있다. 판별기(243a)는 가상의 시계열 데이터(PHRz)와 실제 데이터(RDa)를 구별하는 동작을 수행할 수 있다. 일례로, 가상의 시계열 데이터(PHRz)가 PHR과 동일한 타입인 경우, 실제 데이터(RDa)는 학습 PHR(PHRa)을 포함하거나, 임베더(241a) 또는 별도의 구성에 의하여, PHR 타입으로 변환된 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 포함할 수 있다. 일례로, 가상의 시계열 데이터(PHRz)가 임베더(241a)에 의하여 변환된 벡터 타입과 동일한 타입인 경우, 실제 데이터(RDa)는 학습 데이터(TDa)를 포함할 수 있다. 일례로, 실제 데이터(RDa)는 이전의 학습 동작에서 수집된 PHR을 포함할 수 있다.The determiner 243a can determine whether the virtual time series data PHRz is virtual data generated from the generator 242a. The determiner 243a can receive the virtual time series data PHRz and the actual data RDa. The discriminator 243a can perform an operation of distinguishing the virtual time series data PHRz from the actual data RDa. For example, when the virtual time series data PHRz is of the same type as the PHR, the actual data RDa includes the learning PHR (PHRa), or is converted into the PHR type by the embedder 241a or another configuration Learning EMR (EMRa) and Learning PHR (PHRa). For example, when the virtual time series data PHRz is of the same type as the vector type converted by the embedder 241a, the actual data RDa may include the learning data TDa. As an example, the actual data RDa may include the PHR collected in the previous learning operation.

판별기(243a)는 가상의 시계열 데이터(PHRz)가 가상의 데이터인지 판별한 결과에 기초하여, 판별 결과 데이터(DRa)를 생성할 수 있다. 판별기(243a)는 실제 데이터(RDa)의 정규 분포와 가상의 시계열 데이터(PHRz)의 정규 분포의 유사도에 기초하여, 판별 결과 데이터(DRa)를 생성할 수 있다. 일례로, 판별 결과 데이터(DRa)는 시그모이드 함수 등에 기초하여 가상의 데이터를 판별한 결과에 따라 생성된, 0에서 1사이의 값을 가질 수 있다. 이 때, 실제 데이터(RDa)의 정규 분포와 가상의 시계열 데이터(PHRz)의 정규 분포가 일치하는 경우, 0.5의 값을 갖는 판별 결과 데이터(DRa)가 출력될 수 있다.The determination device 243a can generate the determination result data DRa based on the result of determining that the virtual time-series data PHRz is virtual data. The discriminator 243a can generate the discrimination result data DRa based on the similarity between the normal distribution of the actual data RDa and the normal distribution of the virtual time series data PHRz. For example, the discrimination result data DRa may have a value between 0 and 1, which is generated according to a result of discrimination of virtual data based on a sigmoid function or the like. At this time, when the normal distribution of the actual data RDa and the normal distribution of the virtual time series data PHRz coincide with each other, the determination result data DRa having a value of 0.5 can be output.

판별 결과, 실제 데이터(RDa)와 가상의 시계열 데이터(PHRz)가 구별되는 경우, 생성기(242a)의 가중치가 조절될 수 있다. 또한, 가상의 시계열 데이터(PHRz)를 생성하는 동작이 다시 반복될 수 있다. 생성기(242a)는 판별기(243a)가 실제 데이터(RDa)와 가상의 시계열 데이터(PHRz)를 구별하지 못할 때까지, 가중치를 조절하고 가상의 시계열 데이터(PHRz)를 생성하는 동작을 반복할 수 있다. 그 결과, 생성기(242a)는 마치 실제 데이터(RDa)와 같은 정규 분포를 갖는 가상의 시계열 데이터(PHRz)를 생성하도록 학습될 수 있다. 판별기(243a)는 학습을 통하여 구축되는 뉴럴 네트워크 모델일 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 학습 모델이 판별기(243a)에 적용될 수 있다.As a result of discrimination, when the actual data RDa and the virtual time series data PHRz are distinguished, the weight of the generator 242a can be adjusted. Further, the operation of generating the virtual time series data PHRz may be repeated again. The generator 242a can repeat the operation of adjusting the weights and generating the virtual time series data PHRz until the discriminator 243a can not distinguish between the actual data RDa and the virtual time series data PHRz have. As a result, the generator 242a can be learned to generate virtual time series data PHRz having a normal distribution as if it were real data RDa. The discriminator 243a may be a neural network model constructed through learning, but not limited thereto, various learning models capable of performing machine learning may be applied to the discriminator 243a.

도 4는 생성 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다. 도 4를 참조하면, PHR 생성기(240b)는 임베더(241b), 생성기(242b), 및 판별기(243b)를 포함한다. PHR 생성기(240b)는 도 2의 PHR 생성기(240)에 대응된다. PHR 생성기(240b)는 GAN 기반으로 구현된 것으로 설명된다. 설명의 편의상 도 2의 도면 부호를 참조하여, 도 4가 설명된다.4 is a block diagram for specifically explaining the operation of the PHR generator of FIG. 2 in the generation step. Referring to FIG. 4, the PHR generator 240b includes an embedder 241b, a generator 242b, and a discriminator 243b. The PHR generator 240b corresponds to the PHR generator 240 of FIG. PHR generator 240b is described as being implemented on a GAN basis. For convenience of description, referring to the reference numerals of FIG. 2, FIG. 4 is described.

임베더(241b)는 제1 수집 장치(210)로부터 입력된 EMR을 변환할 수 있다. 임베더(241b)는 도 3의 임베더(241a)와 실질적으로 동일하므로, 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 변환한 타입과 동일한 타입으로 EMR을 변환할 수 있다. 임베더(241b)는 EMR을 임베딩하여 벡터 형태로 변환할 수 있다. 예시적으로, 생성 단계에서, 별도의 PHR이 입력되지 않은 것으로 가정하였으나, EMR에 포함된 데이터 양보다 적은 데이터 양을 갖는 PHR이 함께 임베더(241b)에 입력될 수 있다. 이 경우, EMR 및 PHR은 동일한 타입으로 변환될 수 있다. 임베딩 또는 결과, 입력 데이터(ID)가 생성된다.The embedder 241b may convert the EMR input from the first acquisition device 210. [ Since the embedder 241b is substantially the same as the embedder 241a of FIG. 3, the EMR can be converted to the same type as the type in which the learning EMR (EMRa) and the learning PHR (PHRa) are converted. The embedder 241b may embed the EMR and convert it into a vector form. Illustratively, in the generation step, a PHR having less data amount than the amount of data included in the EMR is assumed to be input to the embedder 241b, although it is assumed that no separate PHR is input. In this case, EMR and PHR can be converted to the same type. An embedding or a result, and input data (ID) are generated.

생성기(242b)는 입력 데이터(ID)에 기초하여, 가상의 PHR(PHRf)을 생성할 수 있다. 학습 단계에서 학습된 생성기(242b)는 마치 수집 장치로부터 제공된 PHR과 같은 가상의 PHR(PHRf)을 생성할 수 있다. 가상의 PHR(PHRf)은 기준 시간 간격을 갖는 시계열 데이터일 수 있다. 생성기(242b)는 EMR에 의하여 생성된 입력 데이터(ID)를 이용하여 가상의 PHR(PHRf)을 생성하므로, EMR과 연관성이 높은 가상의 PHR(PHRf)을 생성할 수 있다.The generator 242b can generate a virtual PHR (PHRf) based on the input data (ID). The learned generator 242b in the learning stage can generate a virtual PHR (PHRf) such as the PHR provided from the collection device. The hypothetical PHR (PHRf) may be time series data having a reference time interval. The generator 242b generates a virtual PHR (PHRf) using the input data (ID) generated by the EMR, and thus can generate a virtual PHR (PHRf) having a high correlation with the EMR.

판별기(243b)는 가상의 PHR(PHRf)이 생성기(242b)로부터 생성된 가상의 데이터인지 아닌지 판별할 수 있다. 즉, PHR 생성기(240b)는 생성 단계에서도 지속적으로 학습 동작을 수행할 수 있다. 이를 위하여, 판별기(243b)는 가상의 PHR(PHRf)과 실제 데이터(RDb)를 구별하는 동작을 수행할 수 있다. 일례로, 실제 데이터(RDb)는 도 3의 학습 단계에서 제공된 실제 데이터(RDa)를 포함할 수 있다. 판별기(243b)는 판별 결과에 기초하여, 판별 결과 데이터(DRb)를 생성할 수 있다. 판별 결과, 실제 데이터(RDb)와 가상의 PHR(PHRf)이 구별되는 경우, 생성기(242b)의 가중치가 다시 조절되고, 가상의 PHR(PHRf)이 조절된 가중치에 기초하여 다시 생성될 수 있다. 실제 데이터(RDb)와 가상의 PHR(PHRf)이 구별되지 않는 경우, 가상의 PHR(PHRf)은 건강 예측기(250)에 출력될 수 있다.The determiner 243b can determine whether or not the virtual PHR (PHRf) is virtual data generated from the generator 242b. That is, the PHR generator 240b can continuously perform the learning operation even in the generation step. To this end, the determiner 243b can perform an operation of distinguishing the virtual PHR (PHRf) from the actual data RDb. For example, the actual data RDb may include the actual data RDa provided in the learning step of FIG. The determination unit 243b can generate the determination result data DRb based on the determination result. As a result of discrimination, when the actual data RDb and the virtual PHR (PHRf) are distinguished, the weight of the generator 242b is adjusted again, and the virtual PHR (PHRf) can be regenerated based on the adjusted weight. When the actual data RDb and the virtual PHR (PHRf) are not distinguishable, the virtual PHR (PHRf) can be output to the health predictor 250. [

도 5는 도 3 및 도 4의 임베더를 구체적으로 설명하기 위한 도면이다. 도 5를 참조하면, 임베더(241)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 동일한 타입을 갖도록 변환한다. 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각은 도 2의 제2 수집 장치(220)로부터 수집된 시계열 데이터일 수 있다. 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각은 서로 다른 타입을 갖는 시계열 데이터일 수 있다. 학습 EMR(EMRa)은 복수의 과거 시점들에서 의료 기관의 방문에 따라 생성된 복수의 EMR들을 포함할 수 있다. 학습 PHR(PHRa)은 복수의 과거 시점들에서 개인 건강 센서의 사용에 따라 생성된 복수의 PHR들을 포함할 수 있다.Fig. 5 is a diagram for explaining the embeders of Figs. 3 and 4 in detail. Referring to FIG. 5, the embedder 241 converts the learning EMR (EMRa) and the learning PHR (PHRa) to have the same type. Each of the learning EMR (EMRa) and the learning PHR (PHRa) may be time series data collected from the second acquisition device 220 in Fig. Each of the learning EMR (EMRa) and the learning PHR (PHRa) may be time series data having different types. The learning EMR (EMRa) may include a plurality of EMRs generated according to visits of a medical institution at a plurality of past time points. The learning PHR (PHRa) may comprise a plurality of PHRs generated according to use of the personal health sensor at a plurality of past time points.

복수의 EMR들 각각은 제1 내지 제n EMR 특징 데이터(EF1~EFn)를 포함할 수 있다. 제1 내지 제n EMR 특징 데이터(EF1~EFn)는 의료 기관에서 받게 되는 개개의 진단, 치료, 또는 투약 처방 등에 의하여 생성된다. 복수의 EMR들 각각은 수치 데이터와 비수치 데이터를 포함할 수 있다. 예시적으로, 제1 EMR 특징 데이터(EF1)는 비수치 데이터이고, 제2 내지 제n EMR 특징 데이터(EF2~EFn)는 수치 데이터인 것으로 가정된다. 예를 들어, 질환 진단에 기초하여 생성되는 질환 코드 데이터, 또는 약물 처방에 기초하여 생성되는 투약 코드 데이터와 같은 특징 데이터는 E02.31과 같이 코드 형식의 비수치 데이터일 수 있다. 예를 들어, 체성분 등의 검사 결과에 기초하여 생성되는 특징 데이터는 혈당 수치와 같은 수치 데이터일 수 있고, 혈뇨 특성과 같은 범주 형식(Categorical type)의 정보(-, +, ++ 등)를 포함하는 특징 데이터는 비수치 데이터일 수 있다.Each of the plurality of EMRs may include first to n-th EMR feature data EF1 to EFn. The first to n-th EMR feature data EF1 to EFn are generated by individual diagnoses, treatments, or medication prescriptions received at a medical institution. Each of the plurality of EMRs may include numeric data and non-numeric data. Illustratively, it is assumed that the first EMR characteristic data EF1 is non-numeric data and the second through n-th EMR characteristic data EF2 through EFn are numeric data. For example, feature data, such as disease code data generated based on disease diagnosis, or medication code data generated based on a drug prescription, may be non-numeric data in code form, such as E02.31. For example, the characteristic data generated on the basis of the inspection result of the body composition and the like may be numerical data such as the blood glucose value and include information of the category type (-, +, ++, etc.) The feature data may be non-numeric data.

복수의 PHR들 각각은 제1 내지 제m PHR 특징 데이터(PF1~PFm)를 포함할 수 있다. 제1 내지 제m PHR 특징 데이터(PF1~PFm)는 사용자의 개인 건강 센서에서 측정된 생체 정보 등에 의하여 생성된다. 제1 내지 제m PHR 특징 데이터(PF1~PFm) 각각은 수치 데이터일 수 있다. 예를 들어, 체성분 등의 측정 결과에 기초하여 생성되는 특징 데이터는 혈당 수치와 같은 수치 데이터일 수 있다.Each of the plurality of PHRs may include first through m-th PHR feature data PF1 through PFm. The first to mth PHR feature data PF1 to PFm are generated by biometric information measured by the user's personal health sensor. Each of the first to m-th PHR characteristic data PF1 to PFm may be numerical data. For example, the characteristic data generated on the basis of the measurement result of the body composition and the like may be numerical data such as blood glucose values.

임베더(241)는 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 동일한 타입을 갖는 벡터 형식으로 변환할 수 있다. 임베더(241)는 학습 EMR(EMRa)에 포함된 비수치 데이터 및 수치 데이터를 임베딩하여 수치화할 수 있다. 임베더(241)는 수치화된 학습 EMR(EMRa)을 제1 내지 제3 EMR 벡터 데이터(EV1~EV3)와 같은 벡터 타입으로 변환할 수 있다. 제1 내지 제3 EMR 벡터 데이터(EV1~EV3) 각각은 과거의 특정 시점에 생성된 EMR들에 대응된다. 구체적으로 도시되지 않았으나, 제1 내지 제3 EMR 벡터 데이터(EV1~EV3) 각각은 제1 내지 제n EMR 특징 데이터(EF1~EFn)에 대응되는 특징들을 벡터 타입으로 나타낼 수 있다.The embedder 241 can convert each of the learning EMR (EMRa) and the learning PHR (PHRa) into a vector format having the same type. The embedder 241 can embed non-numeric data and numerical data included in the learning EMR (EMRa) and quantify them. The embedder 241 can convert the digitized learning EMR (EMRa) into a vector type such as the first to third EMR vector data EV1 to EV3. Each of the first to third EMR vector data EV1 to EV3 corresponds to EMRs generated at a specific point in time in the past. Although not shown in detail, each of the first to third EMR vector data EV1 to EV3 may represent the features corresponding to the first to n-th EMR feature data EF1 to EFn as a vector type.

임베더(241)는 학습 PHR(PHRa)을 임베딩하여 제1 내지 제2 PHR 벡터 데이터(PV1~PV2)와 같은 벡터 타입으로 변환할 수 있다. 제1 내지 제2 PHR 벡터 데이터(PV1~PV2) 각각은 과거의 특정 시점에 생성된 PHR들에 대응된다. 구체적으로 도시되지 않았으나, 제1 내지 제2 PHR 벡터 데이터(PV1~PV2) 각각은 제1 내지 제m PHR 특징 데이터(PF1~PFm)에 대응되는 특징들을 벡터 타입으로 나타낼 수 있다. 벡터 타입을 갖는 데이터는 특징들 사이의 유사도가 클수록, 더 가까운 벡터 공간에 위치하도록 생성될 수 있다.The embedder 241 can embed the learning PHR (PHRa) and convert it into a vector type such as the first to second PHR vector data PV1 to PV2. Each of the first and second PHR vector data PV1 to PV2 corresponds to PHRs generated at a specific point in time in the past. Although not specifically shown, each of the first and second PHR vector data PV1 to PV2 may represent the features corresponding to the first to m-th PHR feature data PF1 to PFm as a vector type. Data having a vector type can be generated to be located in a closer vector space as the degree of similarity between the features increases.

임베더(241)는 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 임베딩한 결과, 시계열 데이터인 학습 데이터(TDa)를 생성할 수 있다. 학습 데이터(TDa)는 제1 내지 제3 EMR 벡터 데이터(EV1~EV3) 및 제1 내지 제2 PHR 벡터 데이터(PV1~PV2)를 포함할 수 있다. 임베더(241)는 학습 데이터(TDa)를 시간의 흐름에 따른 순서대로 정렬하여 생성기(242a, 242b) 등에 출력할 수 있다. 예를 들어, 제1 EMR 벡터 데이터(EV1)에 대응되는 EMR이 가장 이전에 생성될 수 있고, 순차적으로, 제2 EMR 벡터 데이터(EV2)에 대응되는 EMR, 제1 PHR 벡터 데이터(PV1)에 대응되는 PHR 등이 생성되었을 수 있다. The embedder 241 can generate learning data TDa, which is time series data, as a result of embedding the learning EMR (EMRa) and the learning PHR (PHRa), respectively. The learning data TDa may include first to third EMR vector data EV1 to EV3 and first to second PHR vector data PV1 to PV2. The embedder 241 can sort the training data TDa in the order of time and output it to the generators 242a and 242b. For example, the EMR corresponding to the first EMR vector data EV1 may be generated most recently, and the EMR corresponding to the second EMR vector data EV2, the first PHR vector data PV1 sequentially A corresponding PHR or the like may have been generated.

임베더(241)는 서로 다른 타입을 갖는 시계열 데이터를 동일한 타입을 갖도록 변환하므로, PHR 생성기(240)는 다양한 타입들을 고려하여 가상의 시계열 데이터를 생성할 수 있다. 또한, 임베더(241)는 시간의 흐름 순서로 학습 데이터(TDa) (또는 도 4의 입력 데이터(ID))를 출력하므로, PHR 생성기(240)는 시간의 흐름에 따른 학습 데이터(TDa) (또는 도 4의 입력 데이터(ID))의 변화 추이를 용이하게 분석할 수 있다.Since the embedder 241 converts time series data having different types to have the same type, the PHR generator 240 can generate virtual time series data considering various types. Since the embedder 241 outputs the learning data TDa (or the input data ID in Fig. 4) in the order of time, the PHR generator 240 generates the training data TDa Or the input data (ID) in Fig. 4) can be easily analyzed.

도 6은 도 2의 의료 데이터 처리 장치의 예시적인 블록도이다. 도 6의 블록도는 가상의 PHR을 생성하고, 수집된 EMR 및 가상의 PHR에 기초하여 미래 건강 상태를 예측하기 위한 예시적인 구성으로 이해될 것이다. 따라서, 의료 데이터 처리 장치(230)의 구성은 이에 제한되지 않을 것이다. 도 6을 참조하면, 의료 데이터 처리 장치(230)는 네트워크 인터페이스(231), 프로세서(232), 메모리(233), 스토리지(234), 및 버스(235)를 포함할 수 있다. 예시적으로, 의료 데이터 처리 장치(230)는 서버로 구현될 수 있으나, 이에 제한되지 않는다.Fig. 6 is an exemplary block diagram of the medical data processing apparatus of Fig. 2; The block diagram of Figure 6 will be understood as an exemplary configuration for generating a hypothetical PHR and for predicting future health conditions based on the collected EMR and hypothetical PHR. Therefore, the configuration of the medical data processing device 230 will not be limited thereto. 6, the medical data processing device 230 may include a network interface 231, a processor 232, a memory 233, a storage 234, and a bus 235. Illustratively, the medical data processing device 230 may be implemented as a server, but is not limited thereto.

네트워크 인터페이스(231)는 도 2의 제1 수집 장치(210) 또는 제2 수집 장치(220)로부터 제공되는 EMR 또는 PHR 타입의 시계열 의료 데이터를 입력 받도록 구성된다. 네트워크 인터페이스(231)는 수신된 시계열 의료 데이터를 버스(235)를 통하여 프로세서(232), 메모리(233) 또는 스토리지(234)에 제공할 수 있다. 또한, 네트워크 인터페이스(231)는 수신된 시계열 의료 데이터에 응답하여 생성된 미래 건강 상태의 예측 결과를 네트워크를 통하여 단말기(미도시) 등에 제공하도록 구성될 수 있다.The network interface 231 is configured to receive time series medical data of the EMR or PHR type provided from the first collection device 210 or the second collection device 220 of FIG. The network interface 231 may provide the received time series medical data to the processor 232, the memory 233 or the storage 234 via the bus 235. In addition, the network interface 231 can be configured to provide a prediction result of the future health state generated in response to the received time-series medical data to a terminal (not shown) through a network.

프로세서(232)는 의료 데이터 처리 장치(230)의 중앙 처리 장치로의 기능을 수행할 수 있다. 프로세서(232)는 의료 데이터 처리 장치(230)의 가상의 시계열 데이터 생성 및 미래 건강 상태의 예측 등을 구현하기 위하여 요구되는 제어 동작 및 연산 동작을 수행할 수 있다. 예를 들어, 프로세서(232)의 제어에 따라, 네트워크 인터페이스(231)는 시계열 의료 데이터를 외부로부터 수신할 수 있다. 프로세서(232)의 제어에 따라, 가상의 PHR을 생성하기 위한 생성 모델 또는 미래 건강 상태를 예측하기 위한 예측 모델을 생성하기 위한 연산 동작이 수행될 수 있다. 프로세서(232)의 제어에 따라, 가상의 PHR 또는 예측 데이터가 계산될 수 있다. 프로세서(232)는 메모리(233)의 연산 공간을 활용하여 동작할 수 있고, 스토리지(234)로부터 운영체제를 구동하기 위한 파일들 및 어플리케이션의 실행 파일들을 읽을 수 있다. 프로세서(232)는 운영 체제 및 다양한 어플리케이션들을 실행할 수 있다.The processor 232 may function as a central processing unit of the medical data processing unit 230. [ The processor 232 may perform the control and calculation operations required to implement the generation of virtual time series data of the medical data processing apparatus 230 and prediction of the future health state. For example, under control of the processor 232, the network interface 231 may receive time-series medical data from the outside. Under the control of the processor 232, a computation operation for generating a generation model for generating a virtual PHR or a prediction model for predicting a future health state may be performed. Under the control of the processor 232, a virtual PHR or prediction data can be calculated. The processor 232 may operate utilizing the operating space of the memory 233 and may read files and executable files of the application to run the operating system from the storage 234. [ The processor 232 may execute an operating system and various applications.

메모리(233)는 프로세서(232)에 의하여 처리되거나 처리될 예정인 데이터 및 프로세스 코드들을 저장할 수 있다. 예를 들어, 메모리(233)는 네트워크 인터페이스(231)로부터 제공된 시계열 의료 데이터, 가상의 PHR을 생성하는 동작을 수행하기 위한 정보들, 예측 데이터의 연산을 위한 정보들, 생성 모델 또는 예측 모델을 구축하기 위한 정보들을 저장할 수 있다. 메모리(233)는 의료 데이터 처리 장치(230)의 주기억 장치로 이용될 수 있다. 메모리(233)는 DRAM (Dynamic RAM), SRAM (Static RAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.The memory 233 may store data and process codes that are to be processed or to be processed by the processor 232. For example, the memory 233 may be constructed of time-series medical data provided from the network interface 231, information for performing an operation of generating a virtual PHR, information for calculating prediction data, a generation model or a prediction model And the like. The memory 233 may be used as the main memory of the medical data processing apparatus 230. [ The memory 233 may include a dynamic random access memory (DRAM), a static random access memory (SRAM), a phase change RAM (PRAM), a magnetic RAM (MRAM), a ferroelectric RAM (FeRAM)

메모리(233)는 PHR 생성기(240) 및 건강 예측기(250)를 포함할 수 있다. PHR 생성기(240) 및 건강 예측기(250)는 메모리(233)의 연산 공간의 일부일 수 있다. 이 경우, PHR 생성기(240) 및 건강 예측기(250)는 펌웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어, 펌웨어는 스토리지(234)에 저장되고, 펌웨어를 실행 시에 메모리(233)에 로딩될 수 있다. 프로세서(232)는 메모리(233)에 로딩된 펌웨어를 실행할 수 있다. PHR 생성기(240)는 프로세서(232)의 제어 하에 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 임베딩하고, 이를 바탕으로 생성 모델을 학습하고, 가상의 PHR을 생성하도록 동작될 수 있다. 건강 예측기(250)는 프로세서(232)의 제어 하에 멀티 모달리티 기반의 예측 모델을 구축하고, EMR 및 가상의 PHR을 분석하여 예측 데이터를 생성하도록 동작될 수 있다. PHR 생성기(240) 및 건강 예측기(250)는 각각 도 2의 PHR 생성기(240) 및 건강 예측기(250)에 대응된다.The memory 233 may include a PHR generator 240 and a health estimator 250. The PHR generator 240 and the health estimator 250 may be part of the computing space of the memory 233. In this case, the PHR generator 240 and health predictor 250 may be implemented in firmware or software. For example, firmware may be stored in storage 234 and loaded into memory 233 at run time. The processor 232 may execute the firmware loaded into the memory 233. The PHR generator 240 may be operable to embed the learning EMR (EMRa) and the learning PHR (PHRa) under the control of the processor 232, on the basis of which the generation model is learned, and a virtual PHR is generated. The health estimator 250 may be operable to build a prediction model based on a multi-modality under the control of the processor 232 and to generate prediction data by analyzing the EMR and the virtual PHR. PHR generator 240 and health predictor 250 correspond to PHR generator 240 and health predictor 250, respectively, of FIG.

도 6에 도시된 바와 달리, PHR 생성기(240) 및 건강 예측기(250)는 별도의 하드웨어로 구현될 수 있다. 예를 들어, PHR 생성기(240) 및 건강 예측기(250)는 인공 신경망을 통한 학습을 수행하여 생성 모델 또는 예측 모델을 구축하기 위한 뉴로모픽 칩 등으로 구현되거나, FPGA(Field Programmable Gate Aray) 또는 ASIC(Application Specific Integrated Circuit)와 같은 전용 논리 회로 등으로 구현될 수 있다.6, the PHR generator 240 and the health predictor 250 may be implemented in separate hardware. For example, the PHR generator 240 and the health predictor 250 may be implemented as a neuromorphic chip or the like for constructing a generation model or a prediction model by performing learning through an artificial neural network, or a field programmable gate array (FPGA) A dedicated logic circuit such as an ASIC (Application Specific Integrated Circuit), or the like.

스토리지(234)는 운영 체제 또는 어플리케이션들에 의해 장기적인 저장을 목적으로 생성되는 데이터, 운영 체제를 구동하기 위한 파일, 또는 어플리케이션들의 실행 파일 등을 저장할 수 있다. 예를 들어, 스토리지(234)는 PHR 생성기(240) 및 건강 예측기(250)의 실행을 위한 파일들을 저장할 수 있다. 스토리지(234)는 의료 데이터 처리 장치(230)의 보조 기억 장치로 이용될 수 있다. 스토리지(234)는 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.The storage 234 may store data generated by an operating system or applications for the purpose of long-term storage, a file for running an operating system, or an executable file of applications. For example, the storage 234 may store files for execution of the PHR generator 240 and the health estimator 250. The storage 234 may be used as an auxiliary storage device of the medical data processing device 230. The storage 234 may include a flash memory, a phase-change RAM (PRAM), a magnetic RAM (MRAM), a ferroelectric RAM (FeRAM), a resistive RAM (RRAM)

버스(235)는 의료 데이터 처리 장치(130)의 구성 요소들 사이에서 통신 경로를 제공할 수 있다. 네트워크 인터페이스(231), 프로세서(232), 메모리(233), 및 스토리지(234)는 버스(235)를 통해 서로 데이터를 교환할 수 있다. 버스(235)는 의료 데이터 처리 장치(230)에서 이용되는 다양한 유형의 통신 포맷을 지원하도록 구성될 수 있다.The bus 235 may provide a communication path between the components of the medical data processing device 130. The network interface 231, the processor 232, the memory 233, and the storage 234 may exchange data with each other via the bus 235. [ The bus 235 may be configured to support various types of communication formats used in the medical data processing device 230.

도 7은 도 2 및 도 6의 의료 데이터 처리 장치가 생성 모델을 학습하는 과정을 설명하기 위한 도면이다. 도 7의 각 단계들은 도 2 및 도 6의 의료 데이터 처리 장치(230)에서 수행되고, 도 6의 프로세서(232)에 의하여 실행될 수 있다. 도 7의 각 단계들은 프로세서(232)의 제어 하에, PHR 생성기(240)에서 처리될 수 있다. 설명의 편의상, 도 3의 PHR 생성기(240a)의 도면 부호를 참조하여, 도 7이 설명된다.FIG. 7 is a diagram for explaining a process of learning a generation model by the medical data processing apparatuses of FIGS. 2 and 6. FIG. 7 are performed in the medical data processing apparatus 230 of FIGS. 2 and 6, and may be executed by the processor 232 of FIG. 7 may be processed in the PHR generator 240 under the control of the processor 232. [ For convenience of description, FIG. 7 will be described with reference to the reference numerals of the PHR generator 240a in FIG.

S110 단계에서, PHR 생성기(240a)는 네트워크 인터페이스를 통하여 제1 타입 데이터 및 제2 타입 데이터를 수신한다. 제1 타입 데이터는 제1 타입을 갖는 시계열 데이터이고, 예를 들어, 학습 EMR(EMRa)일 수 있다. 제2 타입 데이터는 제1 타입과 다른 제2 타입을 갖는 시계열 데이터이고, 예를 들어, 학습 PHR(PHRa)일 수 있다. 제1 및 제2 타입 데이터는 도 2의 제2 수집 장치(220)와 같은 장치로부터 제공될 수 있다. 제1 타입 데이터 및 제2 타입 데이터는 과거 시점들, 즉 타겟 시점의 이전 시간에 대응되는 시계열 데이터일 수 있다.In step S110, the PHR generator 240a receives the first type data and the second type data via the network interface. The first type data is time series data having a first type, and may be, for example, a learning EMR (EMRa). The second type data is time series data having a second type different from the first type, and may be, for example, a learning PHR (PHRa). The first and second type data may be provided from a device such as the second acquisition device 220 of FIG. The first type data and the second type data may be time series data corresponding to past times, i.e., the previous time of the target time.

S120 단계에서, PHR 생성기(240a)는 제1 및 제2 타입 데이터 (즉, 학습 EMR(EMRa) 및 학습 PHR(PHRa))를 임베딩하여 학습 데이터(TDa)를 생성할 수 있다. S120 단계는 PHR 생성기(240a)의 임베더(241a)에서 수행될 수 있다. 임베더(241a)는 제1 및 제2 타입 데이터를 서로 동일한 타입을 갖도록 임베딩할 수 있다. 그 결과, 제1 타입 데이터 및 제2 타입 데이터는 동일한 벡터 타입을 갖도록 변환될 수 있다.In step S120, the PHR generator 240a may generate the learning data TDa by embedding the first and second type data (i.e., the learning EMR (EMRa) and the learning PHR (PHRa)). Step S120 may be performed in the embedder 241a of the PHR generator 240a. The embedder 241a may embed the first and second type data so that they have the same type as each other. As a result, the first type data and the second type data can be transformed to have the same vector type.

S130 단계에서, PHR 생성기(240a)는 학습 데이터(TDa)에 기초하여, 가상의 제2 타입 데이터를 생성할 수 있다. S130 단계는 PHR 생성기(240a)의 생성기(242a)에서 수행될 수 있다. 가상의 제2 타입 데이터는 제2 타입을 갖도록 만들어진 시계열 데이터이고, 예를 들어, 도 3의 가상의 시계열 데이터(PHRz)일 수 있다. 생성기(242a)는 학습 가능한 생성 모델로 구현되며, 생성 모델은 입력된 학습 데이터(TDa)에 응답하여, 가상의 제2 타입 데이터를 생성할 수 있다. 가상의 제2 타입 데이터는 과거 시점들, 즉 타겟 시점의 이전 시간에 생성된 것과 같은 시계열 데이터일 수 있다.In step S130, the PHR generator 240a can generate virtual second type data based on the learning data TDa. Step 130 may be performed in the generator 242a of the PHR generator 240a. The virtual second type data is time series data made to have the second type, and may be, for example, the virtual time series data PHRz shown in FIG. The generator 242a is implemented as a learnable generation model, and the generation model can generate virtual second type data in response to the input learning data TDa. The virtual second type data may be time series data such as those generated at past times, i.e., at a previous time of the target time.

S140 단계에서, PHR 생성기(240a)는 가상의 제2 타입 데이터 (즉, 가상의 시계열 데이터(PHRz))가 실제 데이터(RDa)를 판별한다. S140 단계는 PHR 생성기(240a)의 판별기(243a)에서 수행될 수 있다. 실제 데이터(RDa)는 도 3에서 설명된 실제 데이터(RDa)에 대응된다. 판별기(243a)가 가상의 제2 타입 데이터 및 실제 데이터(RDa)를 서로 판별 가능한 경우, 가상의 제2 타입 데이터는 실제 PHR로 보기 어려우므로, S150 단계가 진행된다. 판별기(243a)가 가상의 제2 타입 데이터 및 실제 데이터(RDa)를 서로 판별하지 못한 경우, 가상의 제2 타입 데이터는 실제 PHR로 볼 수 있을 만큼의 신뢰성을 갖는 것으로 인정될 수 있다. 따라서, 생성 모델을 학습하는 단계는 종료된다. 이후, 학습된 생성 모델을 통하여 생성된 가상의 PHR은 미래 건강 예측을 위하여 이용될 수 있다.In step S140, the PHR generator 240a determines virtual second type data (i.e., virtual time series data PHRz) as actual data RDa. Step 140 may be performed by the determiner 243a of the PHR generator 240a. The actual data RDa corresponds to the actual data RDa described in Fig. If the discriminator 243a can discriminate the virtual second type data and the actual data RDa from each other, the virtual second type data is hardly seen as an actual PHR, and therefore, step S150 is performed. If the discriminator 243a fails to distinguish between the virtual second type data and the actual data RDa, the virtual second type data can be recognized as having reliability enough to be seen by the actual PHR. Thus, the step of learning the generation model ends. Thereafter, the hypothetical PHR generated through the learned generation model can be used for future health prediction.

S150 단계에서, PHR 생성기(240a)의 가중치가 조절된다. 현재의 생성 모델은 실제 수집된 PHR과 같은 신뢰성을 갖는 시계열 데이터를 생성할 수 있을 만큼 학습된 것으로 보기 어렵다. 따라서, 생성기(242a)의 가상의 제2 타입 데이터를 생성하기 위한 가중치가 조절된다. 이후, S130 및 S140 단계가 반복된다. 즉, PHR 생성기(240a)가 실제 데이터(RDa)와 구별하기 어려운 가상의 시계열 데이터를 생성할 때까지 S130 내지 S150 단계가 반복될 수 있다.In step S150, the weight of the PHR generator 240a is adjusted. It is difficult to see that the current generation model is learned enough to generate time series data with the same reliability as the PHR actually collected. Thus, the weight for generating the virtual second type data of the generator 242a is adjusted. Thereafter, steps S130 and S140 are repeated. That is, steps S130 through S150 may be repeated until the PHR generator 240a generates virtual time series data that is difficult to distinguish from actual data RDa.

도 8은 도 2 및 도 6의 의료 데이터 처리 장치가 학습된 생성 모델을 바탕으로 동작하는 과정을 설명하기 위한 도면이다. 도 8의 각 단계들은 도 2 및 도 6의 의료 데이터 처리 장치(230)에서 수행되고, 도 6의 프로세서(232)에 의하여 실행될 수 있다. 도 8의 각 단계들은 프로세서(232)의 제어 하에, PHR 생성기(240) 또는 건강 예측기(250)에서 처리될 수 있다. 설명의 편의상, 도 4의 PHR 생성기(240b)의 도면 부호를 참조하여, 도 8이 설명된다.FIG. 8 is a diagram for explaining a process in which the medical data processing apparatus of FIGS. 2 and 6 operates based on a learned generation model. 8 may be performed in the medical data processing apparatus 230 of FIGS. 2 and 6, and may be executed by the processor 232 of FIG. 8 may be processed in PHR generator 240 or health predictor 250 under the control of processor 232. [ For convenience of description, FIG. 8 will be described with reference to the reference numerals of the PHR generator 240b in FIG.

S210 단계에서, PHR 생성기(240b)는 네트워크 인터페이스를 통하여, 제1 타입 데이터를 수신한다. 제1 타입 데이터는 제1 타입을 갖는 시계열 데이터이고, 예를 들어, 도 2의 제1 수집 장치(210)로부터 제공된 EMR일 수 있다. 제1 타입 데이터는 과거 시점들, 즉 타겟 시점의 이전 시간에 대응되는 시계열 데이터일 수 있다.In step S210, the PHR generator 240b receives the first type data via the network interface. The first type data is time series data having a first type, and may be, for example, an EMR provided from the first collecting device 210 of FIG. The first type data may be time series data corresponding to past time points, i.e., previous time of the target time point.

S220 단계에서, PHR 생성기(240b)는 제1 타입 데이터 (즉, EMR)를 임베딩하여 입력 데이터(ID)를 생성할 수 있다. S220 단계는 PHR 생성기(240b)의 임베더(241b)에서 수행될 수 있다. 임베더(241b)는 도 7의 S120 단계에서, 제1 및 제2 타입 데이터가 변환된 벡터 타입과 동일한 벡터 타입을 갖도록, EMR을 변환할 수 있다.In step S220, the PHR generator 240b may generate input data (ID) by embedding the first type data (i.e., EMR). Step S220 may be performed in the embedder 241b of the PHR generator 240b. The embedder 241b can convert the EMR so that the first and second type data have the same vector type as the converted vector type in step S120 of FIG.

S230 단계에서, PHR 생성기(240b)는 입력 데이터(ID)에 기초하여, 가상의 제2 타입 데이터를 생성할 수 있다. S230 단계는 PHR 생성기(240b)의 생성기(242b)에서 수행될 수 있다. 가상의 제2 타입 데이터는 제2 타입을 갖도록 만들어진 가상의 시계열 데이터이고, 예를 들어, 도 4의 가상의 PHR(PHRf)일 수 있다. 도 7의 학습 단계들을 통하여, 생성된 생성 모델은 입력 데이터(ID)에 응답하여, 과거 시점들, 즉 타겟 시점의 이전 시간에 생성된 것과 같은 가상의 제2 타입 데이터를 생성할 수 있다.In step S230, the PHR generator 240b may generate virtual second type data based on the input data (ID). Step S230 may be performed in the generator 242b of the PHR generator 240b. The virtual second type data is virtual time series data made to have the second type, and may be, for example, the virtual PHR (PHRf) of FIG. Through the learning steps of FIG. 7, the generated generation model may generate virtual second type data such as those generated at past times, that is, at the previous time of the target time, in response to the input data (ID).

S240 단계에서, 의료 데이터 처리 장치(230)에 포함된 건강 예측기(250)는 제1 타입 데이터 (즉, EMR) 및 가상의 제2 타입 데이터 (즉, 가상의 PHR(PHRf))에 기초하여, 미래의 건강 상태를 예측할 수 있다. 건강 예측기(250)는 제1 타입 데이터 및 가상의 제2 타입 데이터에 기초하여, 미래 시점, 즉 타겟 시점 이후의 시간에 대응되는 예측 데이터를 생성할 수 있다. 예측 데이터는 제한되지 않으나, 미래 시점의 예측된 EMR일 수 있다. 건강 예측기(250)는 멀티 모달리티 기반의 예측 모델로 구현될 수 있다. 예시적으로, S240 단계에서, 제1 타입 데이터의 시계열적 추이에 기초하여, 제1 중간 데이터가 생성되고, 가상의 제2 타입 데이터의 시계열적 추이에 기초하여 제2 중간 데이터가 생성될 수 있다. 건강 예측기(250)는 제1 및 제2 중간 데이터에 기초하여, 예측 데이터를 계산할 수 있다.In step S240, the health predictor 250 included in the medical data processing device 230 generates a health predictor 250 based on the first type data (i.e., the EMR) and the virtual second type data (i.e., the virtual PHR PHRf) It can predict future health conditions. The health estimator 250 may generate the prediction data corresponding to the future time, that is, the time after the target time point, based on the first type data and the virtual second type data. The predictive data is not limited, but may be a predicted EMR at a future time point. The health estimator 250 may be implemented as a multi-modality based prediction model. Illustratively, in step S240, the first intermediate data is generated based on the time series transition of the first type data, and the second intermediate data may be generated based on the time series transition of the virtual second type data . The health predictor 250 may calculate the prediction data based on the first and second intermediate data.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.The above description is a concrete example for carrying out the present invention. The present invention includes not only the above-described embodiments, but also embodiments that can be simply modified or easily changed. In addition, the present invention includes techniques that can be easily modified by using the above-described embodiments.

100, 200: 건강 예측 시스템
130, 230: 의료 데이터 처리 장치
240: PHR 생성기
250: 건강 예측기100, 200: Health prediction system
130, 230: medical data processing device
240: PHR generator
250: Health predictor

Claims (20)

제1 타입을 갖고, 타겟 시점의 이전 시간에 대응되는 제1 시계열 데이터를 수신하는 네트워크 인터페이스;
상기 제1 시계열 데이터에 기초하여, 제2 타입을 갖고, 상기 타겟 시점의 이전 시간에 대응되는 제2 시계열 데이터를 생성하는 데이터 생성기;
상기 제1 시계열 데이터 및 상기 제2 시계열 데이터에 기초하여, 상기 타겟 시점의 이후 시간에 대응되는 예측 데이터를 생성하는 예측기; 및
상기 데이터 생성기 및 상기 예측기를 제어하는 프로세서를 포함하는 시계열 데이터 처리 장치.A network interface having a first type and receiving first time series data corresponding to a previous time of a target time;
A data generator having a second type based on the first time series data and generating second time series data corresponding to a previous time of the target time;
A predictor for generating predictive data corresponding to a time after the target time point based on the first time series data and the second time series data; And
And a processor for controlling the data generator and the predictor. 제1 항에 있어서,
상기 제1 시계열 데이터는 상기 타겟 시점 이전의 복수의 시점들에서 생성된 그룹화된 전자 의무 기록이고,
상기 데이터 생성기는, 상기 전자 의무 기록에 기초하여, 가상의 개인 건강 기록에 대응되는 상기 제2 시계열 데이터를 생성하는 시계열 데이터 처리 장치.The method according to claim 1,
Wherein the first time series data is a grouped electronic medical record generated at a plurality of time points before the target time point,
And the data generator generates the second time series data corresponding to the virtual personal health record based on the electronic medical record. 제1 항에 있어서,
상기 데이터 생성기는, 상기 제1 타입을 갖는 제3 시계열 데이터 및 상기 제2 타입을 갖는 제4 시계열 데이터에 의하여 학습된 생성 모델에 기초하여, 상기 제2 시계열 데이터를 생성하고,
상기 네트워크 인터페이스는, 상기 제1 시계열 데이터를 수신하기 이전에 상기 제3 및 제4 시계열 데이터를 수신하는 시계열 데이터 처리 장치.The method according to claim 1,
The data generator generates the second time series data based on the generation model learned by the third time series data having the first type and the fourth time series data having the second type,
Wherein the network interface receives the third and fourth time series data before receiving the first time series data. 제3 항에 있어서,
상기 데이터 생성기는,
상기 제3 및 제4 시계열 데이터에 기초하여, 상기 제2 타입을 갖는 제5 시계열 데이터를 생성하는 생성기; 및
상기 제5 시계열 데이터가 상기 생성기로부터 생성된 데이터인지 여부를 판단하는 판별기를 포함하는 시계열 데이터 처리 장치.The method of claim 3,
Wherein the data generator comprises:
A generator for generating fifth time series data having the second type based on the third and fourth time series data; And
And a discriminator for determining whether the fifth time series data is data generated from the generator. 제4 항에 있어서,
상기 판별기가 상기 제5 시계열 데이터를 상기 생성기로부터 생성된 데이터로 판단하지 않을 때까지, 상기 생성 모델의 가중치가 조절되는 시계열 데이터 처리 장치.5. The method of claim 4,
Wherein the weights of the generation model are adjusted until the determination unit does not determine the fifth time series data as data generated from the generator. 제3 항에 있어서,
상기 데이터 생성기는,
상기 제3 시계열 데이터 및 상기 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하는 임베더를 포함하고,
상기 생성 모델은, 상기 변환된 제3 및 제4 시계열 데이터에 기초하여 학습되는 시계열 데이터 처리 장치.The method of claim 3,
Wherein the data generator comprises:
And an emballer for converting the third time series data and the fourth time series data to have the same type,
And the generation model is learned based on the converted third and fourth time series data. 제6 항에 있어서,
상기 임베더는, 상기 변환된 제3 및 제4 시계열 데이터와 동일한 타입을 갖도록, 상기 제1 시계열 데이터를 변환하고,
상기 생성 모델은, 상기 변환된 제1 시계열 데이터에 기초하여 상기 제2 시계열 데이터를 생성하는 시계열 데이터 처리 장치.The method according to claim 6,
Wherein the imberter converts the first time series data to have the same type as the converted third and fourth time series data,
And the generation model generates the second time series data based on the converted first time series data. 제1 항에 있어서,
상기 제1 시계열 데이터는 수치 데이터인 제1 특징 데이터 및 비수치 데이터인 제2 특징 데이터를 포함하고,
상기 데이터 생성기는, 상기 제2 특징 데이터를 수치 데이터로 변환하고, 상기 제1 특징 데이터 및 상기 수치 데이터로 변환된 상기 제2 특징 데이터에 기초하여 상기 제2 시계열 데이터를 생성하는 시계열 데이터 처리 장치.The method according to claim 1,
Wherein the first time series data includes first feature data that is numerical data and second feature data that is non-numeric data,
Wherein the data generator converts the second characteristic data into numerical data and generates the second time series data based on the first characteristic data and the second characteristic data converted into the numerical data. 제1 항에 있어서,
상기 제2 시계열 데이터는, 일정한 기준 시간 간격을 갖는 시계열 데이터인 시계열 데이터 처리 장치.The method according to claim 1,
And the second time series data is time series data having a constant reference time interval. 전자 의무 기록에 대응되는 제1 시계열 데이터를 수집하는 수집 장치; 및
상기 제1 시계열 데이터에 기초하여, 가상의 개인 건강 기록에 대응되고 기준 시간 간격을 갖는 제2 시계열 데이터를 생성하고, 상기 제1 시계열 데이터 및 상기 제2 시계열 데이터에 기초하여, 미래 시점의 예측 데이터를 생성하는 의료 데이터 처리 장치를 포함하는 건강 예측 시스템.A collection device for collecting first time series data corresponding to the electronic medical record; And
Based on the first time series data and the second time series data, generates second time series data corresponding to a virtual personal health record and having a reference time interval based on the first time series data, And a medical data processing device for generating the health data. 제10 항에 있어서,
상기 의료 데이터 처리 장치는,
상기 제1 시계열 데이터에 기초하여 상기 제2 시계열 데이터를 생성하는 개인 건강 기록 생성기; 및
상기 제1 및 제2 시계열 데이터에 기초하여, 상기 미래 시점의 상기 전자 의무 기록을 생성하는 건강 예측기를 포함하는 건강 예측 시스템.11. The method of claim 10,
The medical data processing apparatus includes:
A personal health record generator for generating the second time series data based on the first time series data; And
And a health predictor for generating the electronic medical record at the future time point based on the first and second time series data. 제11 항에 있어서,
상기 건강 예측기는,
시간에 대한 상기 제1 시계열 데이터의 변화 추이 및 상기 제2 시계열 데이터의 변화 추이를 병렬로 분석하는 예측 모델에 기초하여, 상기 미래 시점의 전자 의무 기록에 대응되는 상기 예측 데이터를 생성하는 건강 예측 시스템.12. The method of claim 11,
The health predictor includes:
A health prediction system for generating the prediction data corresponding to the future electronic medical record based on a prediction model for analyzing a change in the first time series data with respect to time and a change trend in the second time series data in parallel, . 제10 항에 있어서,
제2 전자 의무 기록에 대응되는 제3 시계열 데이터 및 개인 건강 센서로부터 측정된 개인 건강 기록에 대응되는 제4 시계열 데이터를 수집하는 제2 수집 장치를 더 포함하고,
상기 의료 데이터 처리 장치는, 상기 제3 및 제4 시계열 데이터에 기초하여 생성 모델을 학습하고, 상기 생성 모델에 상기 제1 시계열 데이터를 입력하여 상기 제2 시계열 데이터를 생성하는 건강 예측 시스템.11. The method of claim 10,
Further comprising a second collection device for collecting third time series data corresponding to a second electronic medical record and fourth time series data corresponding to a personal health record measured from a personal health sensor,
The medical data processing apparatus learns a generation model based on the third and fourth time series data and inputs the first time series data to the generation model to generate the second time series data. 제13 항에 있어서,
상기 의료 데이터 처리 장치는, 상기 생성 모델에 상기 제3 및 제4 시계열 데이터를 입력하여 가상의 개인 건강 기록에 대응되는 제5 시계열 데이터를 생성하고, 상기 제5 시계열 데이터가 상기 가상의 개인 건강 기록인지 상기 측정된 개인 건강 기록인지 판별되지 않을 때까지 상기 생성 모델을 학습하는 건강 예측 시스템.14. The method of claim 13,
Wherein the medical data processing apparatus inputs the third and fourth time series data to the generation model to generate fifth time series data corresponding to a virtual personal health record, Wherein the generation model is learned until it is determined that the individual health record is not the measured personal health record. 제13 항에 있어서,
상기 의료 데이터 처리 장치는, 상기 제3 시계열 데이터 및 상기 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하여 상기 생성 모델에 입력하는 건강 예측 시스템.14. The method of claim 13,
Wherein the medical data processing device converts the third time series data and the fourth time series data to have the same type and inputs them to the generation model. 프로세서에 의하여 수행되는 시계열 데이터 처리 장치의 동작 방법에 있어서,
과거 시점들에서 제1 타입을 갖도록 생성된 제1 시계열 데이터를 네트워크 인터페이스를 통하여 수신하는 단계;
상기 제1 시계열 데이터를 임베딩하여 입력 데이터를 생성하는 단계;
상기 입력 데이터를 생성 모델에 입력하여, 기준 시간 간격을 갖는 과거 시점들에 대응되고 제2 타입을 갖는 제2 시계열 데이터를 생성하는 단계; 및
상기 제1 시계열 데이터 및 상기 제2 시계열 데이터에 기초하여 미래 시점의 예측 데이터를 생성하는 단계를 포함하는 방법.A method of operating a time-series data processing apparatus performed by a processor,
Receiving first time series data generated to have a first type at past points through a network interface;
Embedding the first time series data to generate input data;
Inputting the input data to a generation model to generate second time series data corresponding to past time points having a reference time interval and having a second type; And
Generating prediction data at a future time point based on the first time series data and the second time series data. 제16 항에 있어서,
상기 제1 시계열 데이터를 수신하는 단계 이전에, 상기 제1 타입을 갖도록 수집된 제3 시계열 데이터 및 상기 제2 타입을 갖도록 수집된 제4 시계열 데이터에 기초하여, 상기 생성 모델을 학습하는 단계를 더 포함하는 방법.17. The method of claim 16,
The step of learning the generation model based on the third time series data collected to have the first type and the fourth time series data collected to have the second type prior to the step of receiving the first time series data Methods of inclusion. 제17 항에 있어서,
상기 생성 모델을 학습하는 단계는,
상기 제3 및 제4 시계열 데이터를 상기 네트워크 인터페이스를 통하여 수신하는 단계;
상기 제3 및 제4 시계열 데이터를 서로 동일한 타입을 갖도록 임베딩하여, 학습 데이터를 생성하는 단계;
상기 학습 데이터를 상기 생성 모델에 입력하여, 상기 기준 시간 간격을 갖는 과거 시점들에 대응되고 상기 제2 타입을 갖는 제5 시계열 데이터를 생성하는 단계;
상기 제5 시계열 데이터가 상기 네트워크 인터페이스를 통하여 수신된 시계열 데이터인지 상기 생성 모델로부터 생성된 시계열 데이터인지 판별하는 단계를 포함하는 방법.18. The method of claim 17,
Wherein learning the generation model comprises:
Receiving the third and fourth time series data through the network interface;
Generating the learning data by embedding the third and fourth time series data so as to have the same type;
Inputting the learning data to the generation model to generate fifth time series data corresponding to past time points having the reference time interval and having the second type;
Determining whether the fifth time series data is time series data received through the network interface or time series data generated from the generation model. 제18 항에 있어서,
상기 생성 모델을 학습하는 단계는,
상기 제5 시계열 데이터가 상기 생성 모델로부터 생성된 시계열 데이터로 판별되는 경우, 상기 생성 모델의 가중치를 조절하는 단계를 더 포함하는 방법.19. The method of claim 18,
Wherein learning the generation model comprises:
And adjusting the weight of the generation model when the fifth time series data is determined to be time series data generated from the generation model. 제16 항에 있어서,
상기 예측 데이터를 생성하는 단계는,
시간에 대한 상기 제1 시계열 데이터의 변화 추이에 기초하여 제1 중간 데이터를 생성하는 단계;
시간에 대한 상기 제2 시계열 데이터의 변화 추이에 기초하여 제2 중간 데이터를 생성하는 단계; 및
상기 제1 중간 데이터 및 상기 제2 중간 데이터에 기초하여, 상기 예측 데이터를 계산하는 단계를 포함하는 방법.17. The method of claim 16,
Wherein the step of generating the prediction data comprises:
Generating first intermediate data based on a change in the first time series data with respect to time;
Generating second intermediate data based on a change in the second time series data with respect to time; And
And calculating the prediction data based on the first intermediate data and the second intermediate data.
KR1020180117899A 2018-01-12 2018-10-02 Time series data processing device, health predicting system including the same, and method for operating time series data processing device KR102460442B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/213,740 US20190221294A1 (en) 2018-01-12 2018-12-07 Time series data processing device, health prediction system including the same, and method for operating the time series data processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180004702 2018-01-12
KR1020180004702 2018-01-12

Publications (2)

Publication Number Publication Date
KR20190086345A true KR20190086345A (en) 2019-07-22
KR102460442B1 KR102460442B1 (en) 2022-10-31

Family

ID=67468998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117899A KR102460442B1 (en) 2018-01-12 2018-10-02 Time series data processing device, health predicting system including the same, and method for operating time series data processing device

Country Status (1)

Country Link
KR (1) KR102460442B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073352A (en) * 2019-12-10 2021-06-18 한국전자통신연구원 Device for ensembling data received from prediction devices and operating method thereof
KR20210073763A (en) * 2019-12-11 2021-06-21 한국전자통신연구원 Time series data processing device and operating method thereof
KR20210126936A (en) * 2020-04-13 2021-10-21 한국전자통신연구원 Device for processing time series data having irregular time interval and operating method thereof
KR20220139115A (en) 2021-04-07 2022-10-14 주식회사 에비드넷 A method of constructing an interest pattern candidate database using medical data between medical institutions, and its devicee
KR102591935B1 (en) * 2022-11-08 2023-10-23 김유상 Method of simulating time series data by combination of base time series through cascaded feature and computer device performing the same
KR20230149228A (en) * 2022-04-19 2023-10-26 주식회사 에이아이트릭스 Apparatus and method for analyzing electronic health record data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080062998A (en) * 2006-12-29 2008-07-03 포스데이타 주식회사 Traffic information guiding system and method
US20140207492A1 (en) 2010-06-08 2014-07-24 Siemens Medical Solutions Usa, Inc Healthcare Information Technology System for Predicting or Preventing Readmissions
KR20150112423A (en) * 2014-03-28 2015-10-07 한양대학교 산학협력단 Virutal hospital system, method for generating virutal hospital and apparatus for performing the method, method for providing medical service
US20150347704A1 (en) * 2011-12-16 2015-12-03 Etiometry Inc. Systems and Methods for Transitioning Patient Care from Signal Based Monitoring to Risk Based Monitoring
WO2016181490A1 (en) 2015-05-12 2016-11-17 株式会社日立製作所 Analysis system and analysis method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080062998A (en) * 2006-12-29 2008-07-03 포스데이타 주식회사 Traffic information guiding system and method
US20140207492A1 (en) 2010-06-08 2014-07-24 Siemens Medical Solutions Usa, Inc Healthcare Information Technology System for Predicting or Preventing Readmissions
US20150347704A1 (en) * 2011-12-16 2015-12-03 Etiometry Inc. Systems and Methods for Transitioning Patient Care from Signal Based Monitoring to Risk Based Monitoring
KR20150112423A (en) * 2014-03-28 2015-10-07 한양대학교 산학협력단 Virutal hospital system, method for generating virutal hospital and apparatus for performing the method, method for providing medical service
WO2016181490A1 (en) 2015-05-12 2016-11-17 株式会社日立製作所 Analysis system and analysis method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shickel et al., "Deep EHR: a survey of recent advances in deep learning techniques for electronic health record (EHR) analysis", 2017

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210073352A (en) * 2019-12-10 2021-06-18 한국전자통신연구원 Device for ensembling data received from prediction devices and operating method thereof
KR20210073763A (en) * 2019-12-11 2021-06-21 한국전자통신연구원 Time series data processing device and operating method thereof
KR20210126936A (en) * 2020-04-13 2021-10-21 한국전자통신연구원 Device for processing time series data having irregular time interval and operating method thereof
KR20220139115A (en) 2021-04-07 2022-10-14 주식회사 에비드넷 A method of constructing an interest pattern candidate database using medical data between medical institutions, and its devicee
KR20230149228A (en) * 2022-04-19 2023-10-26 주식회사 에이아이트릭스 Apparatus and method for analyzing electronic health record data
KR102591935B1 (en) * 2022-11-08 2023-10-23 김유상 Method of simulating time series data by combination of base time series through cascaded feature and computer device performing the same

Also Published As

Publication number Publication date
KR102460442B1 (en) 2022-10-31

Similar Documents

Publication Publication Date Title
KR102216689B1 (en) Method and system for visualizing classification result of deep neural network for prediction of disease prognosis through time series medical data
KR102460442B1 (en) Time series data processing device, health predicting system including the same, and method for operating time series data processing device
Ambekar et al. Disease risk prediction by using convolutional neural network
KR102501530B1 (en) Time series data processing device and operating method thereof
Hagar et al. Survival analysis with electronic health record data: Experiments with chronic kidney disease
CN110310740B (en) Re-hospitalizing information prediction method and system based on cross attention neural network
KR102501525B1 (en) Time series data processing device and operating method thereof
US20190180882A1 (en) Device and method of processing multi-dimensional time series medical data
US20190221294A1 (en) Time series data processing device, health prediction system including the same, and method for operating the time series data processing device
KR102532909B1 (en) Apparatus and method of processing multi-dimensional time series medical data
KR102415220B1 (en) Time series data processing device and operating method thereof
Li et al. Integrating static and time-series data in deep recurrent models for oncology early warning systems
Nguyen et al. Clinical risk prediction with temporal probabilistic asymmetric multi-task learning
CN109887606B (en) Attention-based diagnosis and prediction method for bidirectional recurrent neural network
Prenkaj et al. A self-supervised algorithm to detect signs of social isolation in the elderly from daily activity sequences
US20210174229A1 (en) Device for ensembling data received from prediction devices and operating method thereof
JP2020042645A (en) Time series data analysis apparatus, time series data analysis method, and time series data analysis program
Pizarroso et al. Metric tools for sensitivity analysis with applications to neural networks
US20210319341A1 (en) Device for processing time series data having irregular time interval and operating method thereof
CN116543917A (en) Information mining method for heterogeneous time sequence data
US20220343160A1 (en) Time series data processing device configured to process time series data with irregularity
US11941513B2 (en) Device for ensembling data received from prediction devices and operating method thereof
Kumar et al. Deep-learning-enabled multimodal data fusion for lung disease classification
KR102557001B1 (en) Device for ensembling data received from prediction devices and operating method thereof
Renc et al. A Transformer-Based Model for Zero-Shot Health Trajectory Prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant