KR102460442B1 - 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법 - Google Patents

Abstract

본 발명은 다차원의 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법에 관한 것이다. 본 발명의 실시예에 따른 시계열 데이터 처리 장치는 네트워크 인터페이스, 데이터 생성기, 예측기, 및 프로세서를 포함한다. 네트워크 인터페이스는 제1 타입을 갖는 제1 시계열 데이터를 수신한다. 데이터 생성기는 제1 시계열 데이터에 기초하여, 제2 타입을 갖는 제2 시계열 데이터를 생성한다. 예측기는 제1 시계열 데이터 및 제2 시계열 데이터에 기초하여, 예측 데이터를 생성한다.

Description

시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법{TIME SERIES DATA PROCESSING DEVICE, HEALTH PREDICTING SYSTEM INCLUDING THE SAME, AND METHOD FOR OPERATING TIME SERIES DATA PROCESSING DEVICE}

본 발명은 시계열 데이터의 처리 및 이를 위한 생성 모델의 구축에 관한 것으로, 좀 더 구체적으로 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법에 관한 것이다.

의료 기술을 비롯한 각종 기술의 발달은 인간의 생활 수준을 향상시키고, 인간의 수명을 늘리고 있다. 다만, 기술 발달에 따른, 생활 양식의 변화와 잘못된 식습관 등은 다양한 질병 등을 유발시키고 있다. 건강한 삶을 영위하기 위하여, 현재의 질병을 치료하는 것에서 나아가 미래의 건강 상태를 예측하기 위한 요구가 제기되고 있다. 미래 시점의 건강 상태는 시간의 흐름에 따른 시계열 의료 데이터의 추이를 분석함으로써, 예측될 수 있다.

산업 기술과 정보 통신 기술의 발달은 상당한 규모의 정보 및 데이터를 생성하게 만들고 있다. 최근에는, 이러한 수많은 정보 및 데이터를 이용하여, 컴퓨터와 같은 전자 장치를 학습시켜, 다양한 서비스를 제공하는 인공 지능과 같은 기술이 대두되고 있다. 특히, 미래의 건강 상태를 예측하기 위하여, 다양한 시계열 의료 데이터를 처리 또는 분석하기 위한 모델을 구축하는 방안이 제기되고 있다. 예를 들어, 시계열 의료 데이터는 수집되는 장치 또는 기관 등에 따라 서로 다른 타입 (또는 모달리티(modality))으로 제공될 수 있다. 미래의 건강 상태의 예측 정확도를 향상시키기 위하여, 서로 다른 타입의 시계열 의료 데이터를 효과적으로 처리하거나, 서로 다른 타입의 시계열 의료 데이터를 이용하도록 구축된 모델을 효과적으로 활용하기 위한 방안이 요구되고 있다.

US 2014/0207492 A1 (Faisal Farooq), "Healthcare Information Technology System for Predicting or Preventing Readmissions", 2014.07.24. WO 2016/181490 A1 (Takada Hidekatsu). "Analysis system and analysis method", 2016.11.17.

Shickel et al., "Deep EHR: a survey of recent advances in deep learning techniques for electronic health record (EHR) analysis", 2017

본 발명은 서로 다른 타입 또는 모달리티를 갖는 시계열 데이터를 이용하여 미래 시점의 데이터를 예측하기 위한 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법을 제공할 수 있다.

본 발명의 실시예에 따른 시계열 데이터 처리 장치는 제1 타입을 갖고, 타겟 시점의 이전 시간에 대응되는 제1 시계열 데이터를 수신하는 네트워크 인터페이스, 제1 시계열 데이터에 기초하여, 제2 타입을 갖고, 타겟 시점의 이전 시간에 대응되는 제2 시계열 데이터를 생성하는 데이터 생성기, 제1 및 제2 시계열 데이터에 기초하여, 타겟 시점의 이후 시간에 대응되는 예측 데이터를 생성하는 예측기, 및 데이터 생성기 및 예측기를 제어하는 프로세서를 포함한다.

일례로, 제1 시계열 데이터는 타겟 시점 이전의 복수의 시점들에서 생성된 그룹화된 전자 의무 기록일 수 있다. 데이터 생성기는 전자 의무 기록에 기초하여, 가상의 개인 건강 기록에 대응되는 제2 시계열 데이터를 생성할 수 있다.

일례로, 데이터 생성기는 제1 타입을 갖는 제3 시계열 데이터 및 제2 타입을 갖는 제4 시계열 데이터에 의하여 학습된 생성 모델에 기초하여, 제2 시계열 데이터를 생성할 수 있다. 네트워크 인터페이스는, 제1 시계열 데이터를 수신하기 이전에 제3 및 제4 시계열 데이터를 수신할 수 있다.

일례로, 데이터 생성기는, 제3 및 제4 시계열 데이터에 기초하여, 제2 타입을 갖는 제5 시계열 데이터를 생성하는 생성기, 및 제5 시계열 데이터가 생성기로부터 생성된 데이터인지 여부를 판단하는 판별기를 포함할 수 있다. 판별기가 제5 시계열 데이터를 생성기로부터 생성된 데이터로 판단하지 않을 때까지, 생성 모델의 가중치는 조절될 수 있다. 데이터 생성기는 제3 및 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하는 임베더를 포함할 수 있다. 생성 모델은 변환된 제3 및 제4 시계열 데이터에 기초하여 학습될 수 있다. 임베더는 변환된 제3 및 제4 시계열 데이터와 동일한 타입을 갖도록, 제1 시계열 데이터를 변환할 수 있다. 생성 모델은 변환된 제1 시계열 데이터에 기초하여 제2 시계열 데이터를 생성할 수 있다.

일례로, 제1 시계열 데이터는 수치 데이터인 제1 특징 데이터 및 비수치 데이터인 제2 특징 데이터를 포함할 수 있다. 데이터 생성기는, 제2 특징 데이터를 수치 데이터로 변환하고, 제1 특징 데이터 및 수치 데이터로 변환된 제2 특징 데이터에 기초하여 제2 시계열 데이터를 생성할 수 있다. 일례로, 제2 시계열 데이터는 일정한 기준 시간 간격을 갖는 시계열 데이터일 수 있다.

본 발명의 실시예에 따른 건강 예측 시스템은 전자 의무 기록에 대응되는 제1 시계열 데이터를 수집하는 수집 장치, 및 제1 시계열 데이터에 기초하여, 가상의 개인 건강 기록에 대응되고 기준 시간 간격을 갖는 제2 시계열 데이터를 생성하고, 제1 시계열 데이터 및 제2 시계열 데이터에 기초하여, 미래 시점의 예측 데이터를 생성하는 의료 데이터 처리 장치를 포함한다.

일례로, 의료 데이터 처리 장치는, 제1 시계열 데이터에 기초하여 제2 시계열 데이터를 생성하는 개인 건강 기록 생성기, 및 제1 및 제2 시계열 데이터에 기초하여, 미래 시점의 전자 의무 기록을 생성하는 건강 예측기를 포함할 수 있다. 건강 예측기는, 시간에 대한 제1 시계열 데이터의 변화 추이 및 제2 시계열 데이터의 변화 추이를 병렬로 분석하는 예측 모델에 기초하여, 미래 시점의 전자 의무 기록에 대응되는 예측 데이터를 생성할 수 있다.

일례로, 건강 예측 시스템은 제2 전자 의무 기록에 대응되는 제3 시계열 데이터 및 개인 건강 센서로부터 측정된 개인 건강 기록에 대응되는 제4 시계열 데이터를 수집하는 제2 수집 장치를 더 포함할 수 있다. 의료 데이터 처리 장치는, 제3 및 제4 시계열 데이터에 기초하여 생성 모델을 학습하고, 생성 모델에 제1 시계열 데이터를 입력하여 제2 시계열 데이터를 생성할 수 있다. 의료 데이터 처리 장치는, 생성 모델에 제3 및 제4 시계열 데이터를 입력하여 가상의 개인 건강 기록에 대응되는 제5 시계열 데이터를 생성하고, 제5 시계열 데이터가 가상의 개인 건강 기록인지 측정된 개인 건강 기록인지 판별되지 않을 때까지 생성 모델을 학습할 수 있다. 의료 데이터 처리 장치는, 제3 시계열 데이터 및 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하여 생성 모델에 입력할 수 있다.

프로세서에 의하여 수행되는 시계열 데이터 처리 장치의 동작 방법은 과거 시점들에서 제1 타입을 갖도록 생성된 제1 시계열 데이터를 네트워크 인터페이스를 통하여 수신하는 단계, 제1 시계열 데이터를 임베딩하여 입력 데이터를 생성하는 단계, 입력 데이터를 생성 모델에 입력하여, 기준 시간 간격을 갖는 과거 시점들에 대응되고 제2 타입을 갖는 제2 시계열 데이터를 생성하는 단계, 및 제1 시계열 데이터 및 제2 시계열 데이터에 기초하여 미래 시점의 예측 데이터를 생성하는 단계를 포함한다.

일례로, 시계열 데이터 처리 장치의 동작 방법은 제1 시계열 데이터를 수신하는 단계 이전에, 제1 타입을 갖도록 수집된 제3 시계열 데이터 및 제2 타입을 갖도록 수집된 제4 시계열 데이터에 기초하여, 생성 모델을 학습하는 단계를 더 포함할 수 있다. 생성 모델을 학습하는 단계는, 제3 및 제4 시계열 데이터를 네트워크 인터페이스를 통하여 수신하는 단계, 제3 및 제4 시계열 데이터를 서로 동일한 타입을 갖도록 임베딩하여, 학습 데이터를 생성하는 단계, 학습 데이터를 생성 모델에 입력하여, 기준 시간 간격을 갖는 과거 시점들에 대응되고 제2 타입을 갖는 제5 시계열 데이터를 생성하는 단계, 제5 시계열 데이터가 네트워크 인터페이스를 통하여 수신된 시계열 데이터인지 생성 모델로부터 생성된 시계열 데이터인지 판별하는 단계, 및 제5 시계열 데이터가 생성 모델로부터 생성된 시계열 데이터로 판별되는 경우, 생성 모델의 가중치를 조절하는 단계를 포함한다.

일례로, 예측 데이터를 생성하는 단계는, 시간에 대한 제1 시계열 데이터의 변화 추이에 기초하여 제1 중간 데이터를 생성하는 단계, 시간에 대한 제2 시계열 데이터의 변화 추이에 기초하여 제2 중간 데이터를 생성하는 단계, 및 제1 중간 데이터 및 제2 중간 데이터에 기초하여, 예측 데이터를 계산하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법은 서로 다른 타입 또는 모달리티를 갖는 시계열 데이터를 분석하는 예측 모델을 이용하여, 미래 시점에 대한 예측 정확도를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 시계열 데이터 처리 장치, 이를 포함하는 건강 예측 시스템, 및 시계열 데이터 처리 장치의 동작 방법은 특정된 타입을 갖는 가상의 시계열 데이터를 생성함으로써, 시계열 데이터가 부족하거나 없는 상황에서도 이미 구축된 예측 모델을 활용할 수 있고, 시계열 데이터의 수집 부담을 경감시킬 수 있다.

도 1은 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다.
도 3은 학습 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다.
도 4는 생성 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다.
도 5는 도 3 및 도 4의 임베더를 구체적으로 설명하기 위한 도면이다.
도 6은 도 2의 의료 데이터 처리 장치의 예시적인 블록도이다.
도 7은 도 2 및 도 6의 의료 데이터 처리 장치가 생성 모델을 학습하는 과정을 설명하기 위한 도면이다.
도 8은 도 2 및 도 6의 의료 데이터 처리 장치가 학습된 생성 모델을 바탕으로 동작하는 과정을 설명하기 위한 도면이다.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.

도 1은 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다. 도 1을 참조하면, 건강 예측 시스템(100)은 전자 의무 기록 수집 장치(110) (이하, EMR(Electronic Medical Record) 수집 장치), EMR 데이터베이스(115), 개인 건강 기록 수집 장치(120) (이하, PHR(Personal Health Record) 수집 장치), PHR 데이터베이스(125), 의료 데이터 처리 장치(130), 및 진단 데이터베이스(145)를 포함한다.

EMR 수집 장치(110)는 의료 기관에서 진단, 치료, 또는 투약 처방 등에 의하여 생성된 사용자의 건강 상태를 나타내는 전자 의무 기록(Electronic Medical Record, 이하 EMR)을 수집할 수 있다. EMR은 의료 기관에 방문 할 때 생성되며, 진단, 치료, 또는 투약 처방된 특징(feature; 예를 들어, 혈압, 콜레스테롤 수치 등)에 기초하여 생성된 특징 데이터를 포함할 수 있다. 예를 들어, 특징 데이터는 혈압과 같은 검사로 측정된 데이터 또는 동맥 경화와 같은 질환의 정도를 나타내는 데이터일 수 있다.

EMR 수집 장치(110)는 공공 기관 또는 병원과 같은 의료 기관, 또는 해당 의료 기관으로부터 지정된 관리 업체 또는 기관에서 구축되는 EMR 데이터베이스(115)로부터 EMR을 수집할 수 있다. EMR은 사용자가 의료 기관에 방문할 때마다 생성되고, EMR 데이터베이스(115)에 사용자 별로 시계열적으로 그룹화되어 관리될 수 있다. EMR 데이터베이스(115)는 서버 또는 저장 매체에 구현될 수 있다.

PHR 수집 장치(120)는 사용자 등 개인에 의하여 관리 및 생성되는 개인 건강 기록(Personal Health Record, 이하 PHR)을 수집할 수 있다. PHR은 가정용 바디 스캐너와 같이, 개별적으로 구비된 개인 건강 센서로부터 측정된 의료 데이터로부터 생성되며, 개인 건강 센서가 측정한 특징에 기초하여 생성된 특징 데이터를 포함할 수 있다. 여기에서, 정의되는 PHR은 병원과 같은 의료 기관이 아닌, 개인 건강 센서 등을 이용하여, 사용자가 직접 측정한 시계열 의료 데이터로 이해될 것이다.

PHR 수집 장치(120)는 사용자 또는 사용자로부터 지정된 관리 업체 또는 기관에서 구축되는 PHR 데이터베이스(125)로부터 PHR을 수집할 수 있다. PHR은 사용자가 개인 건강 센서를 이용할 때마다 생성되고, PHR 데이터베이스(125)에 시계열적으로 그룹화되어 관리될 수 있다. PHR 데이터베이스(125)는 서버 또는 저장 매체에 구현될 수 있다.

EMR은 전문화된 의료 기관에서 정밀한 의료 장비를 이용하여 생성되므로, PHR에 비하여 개인 건강 상태를 진단, 평가, 및 예측하는데 높은 정확도를 가질 수 있다. 다만, EMR은 사용자가 직접 의료 기관을 방문함에 따라 생성된다. 따라서, 의료 기관을 방문하는 비용, 물리적인 거리, 및 방문 목적이 계속적으로 변경되는 점 등에 비추여, 충분한 의료 데이터를 확보하기 어려울 수 있다. 또한, EMR은 불규칙적인 방문에 의하여 생성되므로, 시계열적으로 규칙적인 의료 데이터를 확보하기 어려울 수 있다.

PHR은 사용자의 접근이 용이한 개인 건강 센서 등을 이용하여 생성되므로, EMR에 비하여 시계열적으로 규칙적으로 생성될 수 있다. 또한, 계속적으로 동일한 특징을 검사하기 편리하므로, PHR에 포함된 특징 데이터가 시간의 흐름에 따라 EMR에 비하여 적게 누락될 수 있다. 다만, PHR은 EMR에 비하여 정밀한 장비로 획득되지 않으므로, 개인 건강 상태를 진단, 평가, 및 예측하는데 낮은 정확도를 갖는다. 또한, PHR 데이터베이스(125)가 현재 보편적으로 구축되지 않고, 의료 기관 등에서도 개인 건강 센서 등에 의하여 측정된 데이터를 데이터베이스화하여 관리하지 않으므로, PHR에 대응되는 시계열 의료 데이터의 절대적인 양이 EMR에 비하여 부족하다.

의료 데이터 처리 장치(130)는 상술된 EMR과 PHR을 모두 분석하여 미래 시점에 대한 사용자의 건강 상태를 예측할 수 있다. 이 경우, 의료 데이터 처리 장치(130)는 EMR의 정확성과 PHR의 시계열적 규칙성을 모두 고려하여 예측 데이터를 생성할 수 있다. 여기에서, 예측 데이터는 특정된 미래 시점의 EMR의 예측 값일 수 있으나, 이에 제한되지 않고, PHR이거나 그 외의 다른 타입의 의료 데이터일 수 있다. 의료 데이터 처리 장치(130)는 EMR 수집 장치(110)로부터 EMR을 수신하고, PHR 수집 장치(120)로부터 PHR을 수신할 수 있다.

의료 데이터 처리 장치(130)는 서로 다른 타입 또는 모달리티(modality)를 갖는 EMR 및 PHR을 이용하여 미래 건강 상태를 예측하기 위한 건강 예측 모델(140)을 구축할 수 있다. 건강 예측 모델(140)은 다양한 EMR 및 PHR을 학습하여 생성될 수 있다. 건강 예측 모델(140)은 복수의 레이어들로 계층화될 수 있다. 예를 들어, 건강 예측 모델(140)은 뉴럴 네트워크 모델일 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 학습 모델이 건강 예측 모델(140)에 적용될 수 있다.

건강 예측 모델(140)은 EMR 및 PHR을 병렬로 입력 받고, EMR과 PHR을 각각 분석할 수 있다. 예를 들어, 건강 예측 모델(140)은 EMR의 시간의 흐름에 따른 변화 추이에 기초하여, 제1 중간 데이터를 생성할 수 있고, PHR의 시간의 흐름에 따른 변화 추이에 기초하여, 제2 중간 데이터를 생성할 수 있다. 건강 예측 모델(140)은 제1 중간 데이터 및 제2 중간 데이터를 병합하여 유사한 특징들 사이의 관계 및 패턴을 분석하여 예측 데이터를 최종적으로 생성할 수 있다. 즉, 건강 예측 모델(140)은 두 가지 모달리티의 공유된 표현(shared representations)을 위한 레이어를 포함할 수 있다.

건강 예측 모델(140)에 의하여 생성된 예측 데이터는 진단 데이터베이스(145)에 구축될 수 있다. 예측 데이터는 진단 데이터베이스(145)에 사용자 별로 그룹화되어 관리될 수 있다. 예시적으로, 임의의 미래 시점에 대한 사용자의 건강 상태를 예측하기 위하여, 진단 데이터베이스(145)는 건강 예측 모델(140)에 기초하여 분석된 시간의 흐름에 따른 미래 건강 상태의 추이 정보를 관리할 수 있고, 나아가, 원시 데이터인 EMR 및 PHR도 누적하여 관리할 수 있다. 진단 데이터베이스(145)는 서버 또는 저장 매체에 구현될 수 있다.

건강 예측 모델(140)이 EMR 및 PHR 모두를 이용하도록 구현됨으로써, 미래 건강 상태의 예측 정확도가 향상될 수 있다. 다만, 건강 예측 모델(140)이 구축된 의료 데이터 처리 장치(130)를 이용함에 있어서, 서로 다른 타입의 시계열 데이터 중 어느 하나의 데이터 양이 부족할 수 있다. 특히, PHR은 사용자가 개인 건강 센서를 시계열적으로 규칙적으로 활용하더라도, EMR과 같이 데이터베이스화되지 않는 경우가 많으므로, 과거의 시점들에 대응되는 충분한 시계열 데이터가 획득되기 어렵다. 또한, PHR은 개인으로부터 생성되므로, PHR 수집을 위한 비용이 증가하고, 데이터 수집의 제약이 뒤따른다. 또한, 의료 분야 특유의 윤리적 문제, 법적 문제, 개인 프라이버시 문제 등은 의료 데이터의 수집을 어렵게 한다. 이하의 설명들은 이미 구축된 멀티 모달리티 기반의 건강 예측 모델(140)에서의 문제를 후향적 연구 기반으로 해결하기 위한 시스템 및 방법을 나타낸다.

도 2는 본 발명의 실시예에 따른 건강 예측 시스템을 도시한 도면이다. 도 2를 참조하면, 건강 예측 시스템(200)은 제1 수집 장치(210), EMR 데이터베이스(215), 제2 수집 장치(220), 학습 EMR 데이터베이스(222), 학습 PHR 데이터베이스(224), 의료 데이터 처리 장치(230), 가상의 PHR 데이터베이스(245), 및 진단 데이터베이스(255)를 포함할 수 있다. 도 2의 건강 예측 시스템(200)은 가상의 PHR을 생성하여, 미래 시점의 건강 상태를 예측하기 위한 예시적인 구성으로 이해될 것이고, 건강 예측 시스템(200)의 구조가 이에 제한되지 않을 것이다.

제1 수집 장치(210)는 사용자의 미래 건강 상태를 예측하기 위하여, 시계열 데이터인 EMR을 수집할 수 있다. 제1 수집 장치(210)는 EMR 데이터베이스(215)로부터 EMR을 수집할 수 있다. EMR 데이터베이스(215)는 도 1의 EMR 데이터베이스(115)에 대응될 수 있다. 상술하였듯이, 서로 다른 타입을 갖는 EMR 및 PHR을 이용함으로써, 미래 건강 상태의 예측 정확도가 향상될 수 있으나, 과거 시점의 PHR이 데이터베이스화되지 않은 경우가 많아 데이터 양이 부족하고, 건강 예측 모델을 활용하기 위하여 PHR을 수집하기 위한 비용적, 법적, 절차적 어려움이 존재한다. 설명의 편의상, 도 2의 건강 예측 시스템(200)에서 미래의 건강 상태를 예측하기 위한 PHR이 수집되지 못한 것으로 가정한다. EMR은 가상의 PHR을 생성하는데 이용된다.

제2 수집 장치(220)는 가상의 PHR을 생성하는 생성 모델을 학습시키기 위하여, 시계열 데이터인 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 수집할 수 있다. 제2 수집 장치(220)는 학습 EMR 데이터베이스(222)로부터 학습 EMR(EMRa)을 수집하고, 학습 PHR 데이터베이스(224)로부터 학습 PHR(PHRa)을 수집할 수 있다. 학습 EMR(EMRa) 및 학습 PHR(PHRa)은 서로 다른 타입을 갖고, 서로 다른 기관 또는 의료 장비로부터 생성될 수 있으나, 통합 관리될 수 있다. 예를 들어, 학습 EMR(EMRa)을 관리하는 병원이 사용자의 개인 건강 센서로부터 생성된 학습 PHR(PHRa)을 제공 받아 함께 관리할 수 있다. EMR 데이터베이스(215)는 학습 EMR 데이터베이스(222) 및 학습 PHR 데이터베이스(224)를 관리하는 기관과 다른 의료 기관에서 관리될 수 있으나, 이에 제한되지 않는다. 제1 수집 장치(210)가 EMR을 의료 데이터 처리 장치(230)로 제공하기 전에, 제2 수집 장치(220)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 의료 데이터 처리 장치(230)에 제공한다.

의료 데이터 처리 장치(230)는 EMR 및 PHR을 분석하여 미래 시점에 대한 사용자의 건강 상태를 예측하는 시계열 데이터 처리 장치이다. 다만, 도 2와 같이, 미래 시점의 건강 상태를 예측하기 위한 PHR이 존재하지 않거나, 부족한 경우, 의료 데이터 처리 장치(230)는 가상의 PHR(PHRf)을 생성할 수 있다. 의료 데이터 처리 장치(230)는 PHR 생성기(240) 및 건강 예측기(250)를 포함할 수 있다.

PHR 생성기(240)는 시계열 데이터인 가상의 PHR(PHRf)을 생성하는 데이터 생성기이다. 이를 위하여, PHR 생성기(240)는 생성 모델을 구축할 수 있다. 학습 단계에서, 생성 모델은 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 학습하여 생성될 수 있다. 예를 들어, 생성 모델은 생성적 적대 신경망(Generative Adversarial Network, GAN)으로 구현될 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 모델이 생성 모델에 적용될 수 있다. PHR 생성기(240)의 구체적인 학습 단계는 후술된다.

PHR 생성기(240)는 생성 단계에서, EMR에 기초하여 가상의 PHR(PHRf)을 생성한다. EMR은 학습된 생성 모델에 입력된다. 생성 모델은 EMR과 다른 타입을 갖는 가상의 PHR(PHRf)을 생성한다. EMR은 특징에 따라 수치 또는 부호나 기호와 같은 비수치로 표현되는 정형화된 타입을 갖고, PHR은 EMR과 달리 개인 건강 센서에 의하여 측정된 수치로 표현되는 타입을 가질 수 있다. 생성 모델은 학습 결과, EMR과 다른 타입을 갖는 시계열 데이터를 생성할 수 있다. 또한, 생성 모델은 시간적으로 불규칙한 EMR과 달리, 규칙적인 시간 간격을 갖는 가상의 PHR(PHRf)을 생성할 수 있다. 가상의 PHR(PHRf)은 기준 시간 간격을 갖는 시계열 데이터일 수 있다. 예를 들어, 기준 시간 간격은 건강 예측기(250)의 미래 건강 상태에 대한 예측 정확도 및 처리 속도를 고려하여 기설정된 시간 간격일 수 있다. 가상의 PHR(PHRf)은 가상의 PHR 데이터베이스(245)에 구축 및 관리될 수 있다. PHR 생성기(240)의 구체적인 생성 단계는 후술된다.

건강 예측기(250)는 서로 다른 타입을 갖는 EMR 및 가상의 PHR(PHRf)을 이용하여 미래 건강 상태를 예측하는 예측기이다. 이를 위하여, 건강 예측기(250)는 예측 모델을 구축할 수 있다. 예측 모델은 도 1의 건강 예측 모델(140)과 같이, 다양한 EMR 및 PHR을 학습하여 생성될 수 있다. 예측 모델은 도 2에 도시된 바와 같이, 리커런트 뉴럴 네트워크(Recurrent Neural Network, RNN) 또는 LSTM(Long-Short Term Memory)과 같은 순환 신경망으로 구현될 수 있다. 예측 모델은 EMR 또는 가상의 PHR(PHRf)과 같은 시계열 데이터를 시간의 흐름에 따라 순차적으로 처리하되, 이전 시점에 대응되는 EMR 또는 가상의 PHR(PHRf)가 다음 시점에 대응되는 EMR 또는 가상의 PHR(PHRf)에 반영되도록 시계열 데이터를 처리할 수 있다.

건강 예측기(250)는 EMR 및 가상의 PHR(PHRf)을 병렬로 입력 받고, EMR 및 가상의 PHR(PHRf)을 각각 분석할 수 있다. 예시적으로, EMR은 불규칙적인 t개의 시점들에 대응되는 시계열 데이터이고, 가상의 PHR(PHRf)은 기준 시간 간격을 갖는 규칙적인 과거의 s개의 시점들에 대응되는 시계열 데이터일 수 있다. 건강 예측기(250)는 EMR의 시간의 흐름에 따른 변화 추이에 기초하여, 제1 중간 데이터를 생성할 수 있고, 가상의 PHR(PHRf)의 시간의 흐름에 따른 변화 추이에 기초하여, 제2 중간 데이터를 생성할 수 있다. 건강 예측기는 제1 중간 데이터 및 제2 중간 데이터에 기초하여 예측 데이터를 생성할 수 있고, 이를 위하여, 예측 모델은 두 가지 모달리티의 공유된 표현(shared representations)을 위한 레이어를 포함할 수 있다. 예시적으로 예측 데이터는 미래의 t+1 시점에 대응되는 EMR인 것으로 도시되었으나, 이에 제한되지 않고, 미래 건강 상태를 나타낼 수 있는 다양한 타입을 가질 수 있다. 예측 데이터는 진단 데이터베이스(255)에 구축 및 관리될 수 있다.

즉, 건강 예측 시스템(200)은 이미 구축된 멀티 모달리티 기반의 예측 모델에서, 추가적인 PHR을 측정하는 등의 전향적 연구 기반의 해결 방안을 제안하지 않는다. 후향적 연구 기반의 해결 방안으로, 건강 예측 시스템(200)은 PHR을 수집하는 대신, 가상의 PHR(PHRf)을 생성한다. 따라서, PHR의 추가적인 수집에 따른, 비용적, 법적, 절차적 어려움이 해결될 수 있다.

도 3은 학습 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다. 도 3을 참조하면, PHR 생성기(240a)는 임베더(241a), 생성기(242a), 및 판별기(243a)를 포함한다. PHR 생성기(240a)는 도 2의 PHR 생성기(240)에 대응된다. PHR 생성기(240a)는 생성적 적대 신경망(Generative Adversarial Network, GAN) 기반으로 구현된 것으로 설명된다. 설명의 편의상 도 2의 도면 부호를 참조하여, 도 3이 설명된다.

임베더(241a)는 제2 수집 장치(220)로부터 입력된 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 동일한 타입을 갖도록 변환할 수 있다. 전자 의무 기록의 시계열 데이터인 학습 EMR(EMRa)과 개인 건강 기록의 시계열 데이터인 학습 PHR(PHRa)은 서로 다른 타입으로 생성된다. 예를 들어, 학습 EMR(EMRa)은 수치 데이터와 비수치 데이터가 혼재될 수 있고, 학습 PHR(PHRa)은 수치 데이터만을 포함할 수 있다. 또한, 학습 EMR(EMRa) 및 학습 PHR(PHRa)은 서로 다른 차원을 가질 수 있고, 서로 다른 방식으로 특징을 표현할 수 있다. 임베더(241a)는 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 임베딩하여 동일한 벡터 형태로 변환할 수 있다. 예를 들어, 임베더(241a)는 Word2Vec 방식으로 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 수치화할 수 있다. 다만, 이에 제한되지 않고, 학습 EMR(EMRa) 및 학습 PHR(PHRa)은 EMR 타입, PHR 타입, 또는 EMR 또는 PHR과 다른 타입으로 변환될 수 있다.

임베더(241a)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 변환하여, 시계열 데이터인 학습 데이터(TDa)를 생성할 수 있다. 임베더(241a)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 동일한 타입을 갖도록 변환하고, 시간의 흐름에 따라 나열되는 시계열 데이터로 출력할 수 있다. 학습 데이터(TDa)는 생성기(242a)에 입력된다.

생성기(242a)는 학습 데이터(TDa)에 기초하여, 가상의 시계열 데이터(PHRz)를 생성할 수 있다. 가상의 시계열 데이터(PHRz)는 PHR과 동일한 타입을 가질 수 있다. 다만, 이에 제한되지 않고, 예시적으로 가상의 시계열 데이터(PHRz)는 임베더(241a)에 의하여 변환된 벡터 타입과 동일한 타입을 가질 수도 있다. 생성기(242a)는 가상의 과거 시점들에 대응되는 시계열 데이터를 생성하되, 가상의 과거 시점들은 기준 시간 간격을 갖도록 설정될 수 있다. 가상의 시계열 데이터(PHRz)는 판별기(243a)에 입력된다.

생성기(242a)는 학습을 통하여 구축되는 뉴럴 네트워크 모델일 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 학습 모델이 생성기(242a)에 적용될 수 있다. 예를 들어, 생성기(242a)는 시계열 데이터인 학습 데이터(TDa)를 처리하기 위하여, 리커런트 뉴럴 네트워크(Recurrent Neural Network, RNN) 또는 LSTM(Long-Short Term Memory)과 같은 순환 신경망으로 구현될 수 있다. 학습 단계에서, 생성기(242a)의 가중치는 조절될 수 있다. 생성기(242a)는 학습 EMR(EMRa)이 고려된 학습 데이터(TDa)를 이용하여 가상의 시계열 데이터(PHRz)를 생성하므로, EMR과 연관성이 높은 시계열 데이터를 생성할 수 있다.

판별기(243a)는 가상의 시계열 데이터(PHRz)가 생성기(242a)로부터 생성된 가상의 데이터인지 아닌지 판별할 수 있다. 판별기(243a)는 가상의 시계열 데이터(PHRz)와 실제 데이터(RDa)를 입력 받을 수 있다. 판별기(243a)는 가상의 시계열 데이터(PHRz)와 실제 데이터(RDa)를 구별하는 동작을 수행할 수 있다. 일례로, 가상의 시계열 데이터(PHRz)가 PHR과 동일한 타입인 경우, 실제 데이터(RDa)는 학습 PHR(PHRa)을 포함하거나, 임베더(241a) 또는 별도의 구성에 의하여, PHR 타입으로 변환된 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 포함할 수 있다. 일례로, 가상의 시계열 데이터(PHRz)가 임베더(241a)에 의하여 변환된 벡터 타입과 동일한 타입인 경우, 실제 데이터(RDa)는 학습 데이터(TDa)를 포함할 수 있다. 일례로, 실제 데이터(RDa)는 이전의 학습 동작에서 수집된 PHR을 포함할 수 있다.

판별기(243a)는 가상의 시계열 데이터(PHRz)가 가상의 데이터인지 판별한 결과에 기초하여, 판별 결과 데이터(DRa)를 생성할 수 있다. 판별기(243a)는 실제 데이터(RDa)의 정규 분포와 가상의 시계열 데이터(PHRz)의 정규 분포의 유사도에 기초하여, 판별 결과 데이터(DRa)를 생성할 수 있다. 일례로, 판별 결과 데이터(DRa)는 시그모이드 함수 등에 기초하여 가상의 데이터를 판별한 결과에 따라 생성된, 0에서 1사이의 값을 가질 수 있다. 이 때, 실제 데이터(RDa)의 정규 분포와 가상의 시계열 데이터(PHRz)의 정규 분포가 일치하는 경우, 0.5의 값을 갖는 판별 결과 데이터(DRa)가 출력될 수 있다.

판별 결과, 실제 데이터(RDa)와 가상의 시계열 데이터(PHRz)가 구별되는 경우, 생성기(242a)의 가중치가 조절될 수 있다. 또한, 가상의 시계열 데이터(PHRz)를 생성하는 동작이 다시 반복될 수 있다. 생성기(242a)는 판별기(243a)가 실제 데이터(RDa)와 가상의 시계열 데이터(PHRz)를 구별하지 못할 때까지, 가중치를 조절하고 가상의 시계열 데이터(PHRz)를 생성하는 동작을 반복할 수 있다. 그 결과, 생성기(242a)는 마치 실제 데이터(RDa)와 같은 정규 분포를 갖는 가상의 시계열 데이터(PHRz)를 생성하도록 학습될 수 있다. 판별기(243a)는 학습을 통하여 구축되는 뉴럴 네트워크 모델일 수 있으나, 이에 제한되지 않고, 기계 학습을 수행할 수 있는 다양한 학습 모델이 판별기(243a)에 적용될 수 있다.

도 4는 생성 단계에서 도 2의 PHR 생성기의 동작을 구체적으로 설명하기 위한 블록도이다. 도 4를 참조하면, PHR 생성기(240b)는 임베더(241b), 생성기(242b), 및 판별기(243b)를 포함한다. PHR 생성기(240b)는 도 2의 PHR 생성기(240)에 대응된다. PHR 생성기(240b)는 GAN 기반으로 구현된 것으로 설명된다. 설명의 편의상 도 2의 도면 부호를 참조하여, 도 4가 설명된다.

임베더(241b)는 제1 수집 장치(210)로부터 입력된 EMR을 변환할 수 있다. 임베더(241b)는 도 3의 임베더(241a)와 실질적으로 동일하므로, 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 변환한 타입과 동일한 타입으로 EMR을 변환할 수 있다. 임베더(241b)는 EMR을 임베딩하여 벡터 형태로 변환할 수 있다. 예시적으로, 생성 단계에서, 별도의 PHR이 입력되지 않은 것으로 가정하였으나, EMR에 포함된 데이터 양보다 적은 데이터 양을 갖는 PHR이 함께 임베더(241b)에 입력될 수 있다. 이 경우, EMR 및 PHR은 동일한 타입으로 변환될 수 있다. 임베딩 또는 결과, 입력 데이터(ID)가 생성된다.

생성기(242b)는 입력 데이터(ID)에 기초하여, 가상의 PHR(PHRf)을 생성할 수 있다. 학습 단계에서 학습된 생성기(242b)는 마치 수집 장치로부터 제공된 PHR과 같은 가상의 PHR(PHRf)을 생성할 수 있다. 가상의 PHR(PHRf)은 기준 시간 간격을 갖는 시계열 데이터일 수 있다. 생성기(242b)는 EMR에 의하여 생성된 입력 데이터(ID)를 이용하여 가상의 PHR(PHRf)을 생성하므로, EMR과 연관성이 높은 가상의 PHR(PHRf)을 생성할 수 있다.

판별기(243b)는 가상의 PHR(PHRf)이 생성기(242b)로부터 생성된 가상의 데이터인지 아닌지 판별할 수 있다. 즉, PHR 생성기(240b)는 생성 단계에서도 지속적으로 학습 동작을 수행할 수 있다. 이를 위하여, 판별기(243b)는 가상의 PHR(PHRf)과 실제 데이터(RDb)를 구별하는 동작을 수행할 수 있다. 일례로, 실제 데이터(RDb)는 도 3의 학습 단계에서 제공된 실제 데이터(RDa)를 포함할 수 있다. 판별기(243b)는 판별 결과에 기초하여, 판별 결과 데이터(DRb)를 생성할 수 있다. 판별 결과, 실제 데이터(RDb)와 가상의 PHR(PHRf)이 구별되는 경우, 생성기(242b)의 가중치가 다시 조절되고, 가상의 PHR(PHRf)이 조절된 가중치에 기초하여 다시 생성될 수 있다. 실제 데이터(RDb)와 가상의 PHR(PHRf)이 구별되지 않는 경우, 가상의 PHR(PHRf)은 건강 예측기(250)에 출력될 수 있다.

도 5는 도 3 및 도 4의 임베더를 구체적으로 설명하기 위한 도면이다. 도 5를 참조하면, 임베더(241)는 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 동일한 타입을 갖도록 변환한다. 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각은 도 2의 제2 수집 장치(220)로부터 수집된 시계열 데이터일 수 있다. 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각은 서로 다른 타입을 갖는 시계열 데이터일 수 있다. 학습 EMR(EMRa)은 복수의 과거 시점들에서 의료 기관의 방문에 따라 생성된 복수의 EMR들을 포함할 수 있다. 학습 PHR(PHRa)은 복수의 과거 시점들에서 개인 건강 센서의 사용에 따라 생성된 복수의 PHR들을 포함할 수 있다.

복수의 EMR들 각각은 제1 내지 제n EMR 특징 데이터(EF1~EFn)를 포함할 수 있다. 제1 내지 제n EMR 특징 데이터(EF1~EFn)는 의료 기관에서 받게 되는 개개의 진단, 치료, 또는 투약 처방 등에 의하여 생성된다. 복수의 EMR들 각각은 수치 데이터와 비수치 데이터를 포함할 수 있다. 예시적으로, 제1 EMR 특징 데이터(EF1)는 비수치 데이터이고, 제2 내지 제n EMR 특징 데이터(EF2~EFn)는 수치 데이터인 것으로 가정된다. 예를 들어, 질환 진단에 기초하여 생성되는 질환 코드 데이터, 또는 약물 처방에 기초하여 생성되는 투약 코드 데이터와 같은 특징 데이터는 E02.31과 같이 코드 형식의 비수치 데이터일 수 있다. 예를 들어, 체성분 등의 검사 결과에 기초하여 생성되는 특징 데이터는 혈당 수치와 같은 수치 데이터일 수 있고, 혈뇨 특성과 같은 범주 형식(Categorical type)의 정보(-, +, ++ 등)를 포함하는 특징 데이터는 비수치 데이터일 수 있다.

복수의 PHR들 각각은 제1 내지 제m PHR 특징 데이터(PF1~PFm)를 포함할 수 있다. 제1 내지 제m PHR 특징 데이터(PF1~PFm)는 사용자의 개인 건강 센서에서 측정된 생체 정보 등에 의하여 생성된다. 제1 내지 제m PHR 특징 데이터(PF1~PFm) 각각은 수치 데이터일 수 있다. 예를 들어, 체성분 등의 측정 결과에 기초하여 생성되는 특징 데이터는 혈당 수치와 같은 수치 데이터일 수 있다.

임베더(241)는 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 동일한 타입을 갖는 벡터 형식으로 변환할 수 있다. 임베더(241)는 학습 EMR(EMRa)에 포함된 비수치 데이터 및 수치 데이터를 임베딩하여 수치화할 수 있다. 임베더(241)는 수치화된 학습 EMR(EMRa)을 제1 내지 제3 EMR 벡터 데이터(EV1~EV3)와 같은 벡터 타입으로 변환할 수 있다. 제1 내지 제3 EMR 벡터 데이터(EV1~EV3) 각각은 과거의 특정 시점에 생성된 EMR들에 대응된다. 구체적으로 도시되지 않았으나, 제1 내지 제3 EMR 벡터 데이터(EV1~EV3) 각각은 제1 내지 제n EMR 특징 데이터(EF1~EFn)에 대응되는 특징들을 벡터 타입으로 나타낼 수 있다.

임베더(241)는 학습 PHR(PHRa)을 임베딩하여 제1 내지 제2 PHR 벡터 데이터(PV1~PV2)와 같은 벡터 타입으로 변환할 수 있다. 제1 내지 제2 PHR 벡터 데이터(PV1~PV2) 각각은 과거의 특정 시점에 생성된 PHR들에 대응된다. 구체적으로 도시되지 않았으나, 제1 내지 제2 PHR 벡터 데이터(PV1~PV2) 각각은 제1 내지 제m PHR 특징 데이터(PF1~PFm)에 대응되는 특징들을 벡터 타입으로 나타낼 수 있다. 벡터 타입을 갖는 데이터는 특징들 사이의 유사도가 클수록, 더 가까운 벡터 공간에 위치하도록 생성될 수 있다.

임베더(241)는 학습 EMR(EMRa) 및 학습 PHR(PHRa) 각각을 임베딩한 결과, 시계열 데이터인 학습 데이터(TDa)를 생성할 수 있다. 학습 데이터(TDa)는 제1 내지 제3 EMR 벡터 데이터(EV1~EV3) 및 제1 내지 제2 PHR 벡터 데이터(PV1~PV2)를 포함할 수 있다. 임베더(241)는 학습 데이터(TDa)를 시간의 흐름에 따른 순서대로 정렬하여 생성기(242a, 242b) 등에 출력할 수 있다. 예를 들어, 제1 EMR 벡터 데이터(EV1)에 대응되는 EMR이 가장 이전에 생성될 수 있고, 순차적으로, 제2 EMR 벡터 데이터(EV2)에 대응되는 EMR, 제1 PHR 벡터 데이터(PV1)에 대응되는 PHR 등이 생성되었을 수 있다.

임베더(241)는 서로 다른 타입을 갖는 시계열 데이터를 동일한 타입을 갖도록 변환하므로, PHR 생성기(240)는 다양한 타입들을 고려하여 가상의 시계열 데이터를 생성할 수 있다. 또한, 임베더(241)는 시간의 흐름 순서로 학습 데이터(TDa) (또는 도 4의 입력 데이터(ID))를 출력하므로, PHR 생성기(240)는 시간의 흐름에 따른 학습 데이터(TDa) (또는 도 4의 입력 데이터(ID))의 변화 추이를 용이하게 분석할 수 있다.

도 6은 도 2의 의료 데이터 처리 장치의 예시적인 블록도이다. 도 6의 블록도는 가상의 PHR을 생성하고, 수집된 EMR 및 가상의 PHR에 기초하여 미래 건강 상태를 예측하기 위한 예시적인 구성으로 이해될 것이다. 따라서, 의료 데이터 처리 장치(230)의 구성은 이에 제한되지 않을 것이다. 도 6을 참조하면, 의료 데이터 처리 장치(230)는 네트워크 인터페이스(231), 프로세서(232), 메모리(233), 스토리지(234), 및 버스(235)를 포함할 수 있다. 예시적으로, 의료 데이터 처리 장치(230)는 서버로 구현될 수 있으나, 이에 제한되지 않는다.

네트워크 인터페이스(231)는 도 2의 제1 수집 장치(210) 또는 제2 수집 장치(220)로부터 제공되는 EMR 또는 PHR 타입의 시계열 의료 데이터를 입력 받도록 구성된다. 네트워크 인터페이스(231)는 수신된 시계열 의료 데이터를 버스(235)를 통하여 프로세서(232), 메모리(233) 또는 스토리지(234)에 제공할 수 있다. 또한, 네트워크 인터페이스(231)는 수신된 시계열 의료 데이터에 응답하여 생성된 미래 건강 상태의 예측 결과를 네트워크를 통하여 단말기(미도시) 등에 제공하도록 구성될 수 있다.

프로세서(232)는 의료 데이터 처리 장치(230)의 중앙 처리 장치로의 기능을 수행할 수 있다. 프로세서(232)는 의료 데이터 처리 장치(230)의 가상의 시계열 데이터 생성 및 미래 건강 상태의 예측 등을 구현하기 위하여 요구되는 제어 동작 및 연산 동작을 수행할 수 있다. 예를 들어, 프로세서(232)의 제어에 따라, 네트워크 인터페이스(231)는 시계열 의료 데이터를 외부로부터 수신할 수 있다. 프로세서(232)의 제어에 따라, 가상의 PHR을 생성하기 위한 생성 모델 또는 미래 건강 상태를 예측하기 위한 예측 모델을 생성하기 위한 연산 동작이 수행될 수 있다. 프로세서(232)의 제어에 따라, 가상의 PHR 또는 예측 데이터가 계산될 수 있다. 프로세서(232)는 메모리(233)의 연산 공간을 활용하여 동작할 수 있고, 스토리지(234)로부터 운영체제를 구동하기 위한 파일들 및 어플리케이션의 실행 파일들을 읽을 수 있다. 프로세서(232)는 운영 체제 및 다양한 어플리케이션들을 실행할 수 있다.

메모리(233)는 프로세서(232)에 의하여 처리되거나 처리될 예정인 데이터 및 프로세스 코드들을 저장할 수 있다. 예를 들어, 메모리(233)는 네트워크 인터페이스(231)로부터 제공된 시계열 의료 데이터, 가상의 PHR을 생성하는 동작을 수행하기 위한 정보들, 예측 데이터의 연산을 위한 정보들, 생성 모델 또는 예측 모델을 구축하기 위한 정보들을 저장할 수 있다. 메모리(233)는 의료 데이터 처리 장치(230)의 주기억 장치로 이용될 수 있다. 메모리(233)는 DRAM (Dynamic RAM), SRAM (Static RAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.

메모리(233)는 PHR 생성기(240) 및 건강 예측기(250)를 포함할 수 있다. PHR 생성기(240) 및 건강 예측기(250)는 메모리(233)의 연산 공간의 일부일 수 있다. 이 경우, PHR 생성기(240) 및 건강 예측기(250)는 펌웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어, 펌웨어는 스토리지(234)에 저장되고, 펌웨어를 실행 시에 메모리(233)에 로딩될 수 있다. 프로세서(232)는 메모리(233)에 로딩된 펌웨어를 실행할 수 있다. PHR 생성기(240)는 프로세서(232)의 제어 하에 학습 EMR(EMRa) 및 학습 PHR(PHRa)을 임베딩하고, 이를 바탕으로 생성 모델을 학습하고, 가상의 PHR을 생성하도록 동작될 수 있다. 건강 예측기(250)는 프로세서(232)의 제어 하에 멀티 모달리티 기반의 예측 모델을 구축하고, EMR 및 가상의 PHR을 분석하여 예측 데이터를 생성하도록 동작될 수 있다. PHR 생성기(240) 및 건강 예측기(250)는 각각 도 2의 PHR 생성기(240) 및 건강 예측기(250)에 대응된다.

도 6에 도시된 바와 달리, PHR 생성기(240) 및 건강 예측기(250)는 별도의 하드웨어로 구현될 수 있다. 예를 들어, PHR 생성기(240) 및 건강 예측기(250)는 인공 신경망을 통한 학습을 수행하여 생성 모델 또는 예측 모델을 구축하기 위한 뉴로모픽 칩 등으로 구현되거나, FPGA(Field Programmable Gate Aray) 또는 ASIC(Application Specific Integrated Circuit)와 같은 전용 논리 회로 등으로 구현될 수 있다.

스토리지(234)는 운영 체제 또는 어플리케이션들에 의해 장기적인 저장을 목적으로 생성되는 데이터, 운영 체제를 구동하기 위한 파일, 또는 어플리케이션들의 실행 파일 등을 저장할 수 있다. 예를 들어, 스토리지(234)는 PHR 생성기(240) 및 건강 예측기(250)의 실행을 위한 파일들을 저장할 수 있다. 스토리지(234)는 의료 데이터 처리 장치(230)의 보조 기억 장치로 이용될 수 있다. 스토리지(234)는 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.

버스(235)는 의료 데이터 처리 장치(130)의 구성 요소들 사이에서 통신 경로를 제공할 수 있다. 네트워크 인터페이스(231), 프로세서(232), 메모리(233), 및 스토리지(234)는 버스(235)를 통해 서로 데이터를 교환할 수 있다. 버스(235)는 의료 데이터 처리 장치(230)에서 이용되는 다양한 유형의 통신 포맷을 지원하도록 구성될 수 있다.

도 7은 도 2 및 도 6의 의료 데이터 처리 장치가 생성 모델을 학습하는 과정을 설명하기 위한 도면이다. 도 7의 각 단계들은 도 2 및 도 6의 의료 데이터 처리 장치(230)에서 수행되고, 도 6의 프로세서(232)에 의하여 실행될 수 있다. 도 7의 각 단계들은 프로세서(232)의 제어 하에, PHR 생성기(240)에서 처리될 수 있다. 설명의 편의상, 도 3의 PHR 생성기(240a)의 도면 부호를 참조하여, 도 7이 설명된다.

S110 단계에서, PHR 생성기(240a)는 네트워크 인터페이스를 통하여 제1 타입 데이터 및 제2 타입 데이터를 수신한다. 제1 타입 데이터는 제1 타입을 갖는 시계열 데이터이고, 예를 들어, 학습 EMR(EMRa)일 수 있다. 제2 타입 데이터는 제1 타입과 다른 제2 타입을 갖는 시계열 데이터이고, 예를 들어, 학습 PHR(PHRa)일 수 있다. 제1 및 제2 타입 데이터는 도 2의 제2 수집 장치(220)와 같은 장치로부터 제공될 수 있다. 제1 타입 데이터 및 제2 타입 데이터는 과거 시점들, 즉 타겟 시점의 이전 시간에 대응되는 시계열 데이터일 수 있다.

S120 단계에서, PHR 생성기(240a)는 제1 및 제2 타입 데이터 (즉, 학습 EMR(EMRa) 및 학습 PHR(PHRa))를 임베딩하여 학습 데이터(TDa)를 생성할 수 있다. S120 단계는 PHR 생성기(240a)의 임베더(241a)에서 수행될 수 있다. 임베더(241a)는 제1 및 제2 타입 데이터를 서로 동일한 타입을 갖도록 임베딩할 수 있다. 그 결과, 제1 타입 데이터 및 제2 타입 데이터는 동일한 벡터 타입을 갖도록 변환될 수 있다.

S130 단계에서, PHR 생성기(240a)는 학습 데이터(TDa)에 기초하여, 가상의 제2 타입 데이터를 생성할 수 있다. S130 단계는 PHR 생성기(240a)의 생성기(242a)에서 수행될 수 있다. 가상의 제2 타입 데이터는 제2 타입을 갖도록 만들어진 시계열 데이터이고, 예를 들어, 도 3의 가상의 시계열 데이터(PHRz)일 수 있다. 생성기(242a)는 학습 가능한 생성 모델로 구현되며, 생성 모델은 입력된 학습 데이터(TDa)에 응답하여, 가상의 제2 타입 데이터를 생성할 수 있다. 가상의 제2 타입 데이터는 과거 시점들, 즉 타겟 시점의 이전 시간에 생성된 것과 같은 시계열 데이터일 수 있다.

S140 단계에서, PHR 생성기(240a)는 가상의 제2 타입 데이터 (즉, 가상의 시계열 데이터(PHRz))가 실제 데이터(RDa)를 판별한다. S140 단계는 PHR 생성기(240a)의 판별기(243a)에서 수행될 수 있다. 실제 데이터(RDa)는 도 3에서 설명된 실제 데이터(RDa)에 대응된다. 판별기(243a)가 가상의 제2 타입 데이터 및 실제 데이터(RDa)를 서로 판별 가능한 경우, 가상의 제2 타입 데이터는 실제 PHR로 보기 어려우므로, S150 단계가 진행된다. 판별기(243a)가 가상의 제2 타입 데이터 및 실제 데이터(RDa)를 서로 판별하지 못한 경우, 가상의 제2 타입 데이터는 실제 PHR로 볼 수 있을 만큼의 신뢰성을 갖는 것으로 인정될 수 있다. 따라서, 생성 모델을 학습하는 단계는 종료된다. 이후, 학습된 생성 모델을 통하여 생성된 가상의 PHR은 미래 건강 예측을 위하여 이용될 수 있다.

S150 단계에서, PHR 생성기(240a)의 가중치가 조절된다. 현재의 생성 모델은 실제 수집된 PHR과 같은 신뢰성을 갖는 시계열 데이터를 생성할 수 있을 만큼 학습된 것으로 보기 어렵다. 따라서, 생성기(242a)의 가상의 제2 타입 데이터를 생성하기 위한 가중치가 조절된다. 이후, S130 및 S140 단계가 반복된다. 즉, PHR 생성기(240a)가 실제 데이터(RDa)와 구별하기 어려운 가상의 시계열 데이터를 생성할 때까지 S130 내지 S150 단계가 반복될 수 있다.

도 8은 도 2 및 도 6의 의료 데이터 처리 장치가 학습된 생성 모델을 바탕으로 동작하는 과정을 설명하기 위한 도면이다. 도 8의 각 단계들은 도 2 및 도 6의 의료 데이터 처리 장치(230)에서 수행되고, 도 6의 프로세서(232)에 의하여 실행될 수 있다. 도 8의 각 단계들은 프로세서(232)의 제어 하에, PHR 생성기(240) 또는 건강 예측기(250)에서 처리될 수 있다. 설명의 편의상, 도 4의 PHR 생성기(240b)의 도면 부호를 참조하여, 도 8이 설명된다.

S210 단계에서, PHR 생성기(240b)는 네트워크 인터페이스를 통하여, 제1 타입 데이터를 수신한다. 제1 타입 데이터는 제1 타입을 갖는 시계열 데이터이고, 예를 들어, 도 2의 제1 수집 장치(210)로부터 제공된 EMR일 수 있다. 제1 타입 데이터는 과거 시점들, 즉 타겟 시점의 이전 시간에 대응되는 시계열 데이터일 수 있다.

S220 단계에서, PHR 생성기(240b)는 제1 타입 데이터 (즉, EMR)를 임베딩하여 입력 데이터(ID)를 생성할 수 있다. S220 단계는 PHR 생성기(240b)의 임베더(241b)에서 수행될 수 있다. 임베더(241b)는 도 7의 S120 단계에서, 제1 및 제2 타입 데이터가 변환된 벡터 타입과 동일한 벡터 타입을 갖도록, EMR을 변환할 수 있다.

S230 단계에서, PHR 생성기(240b)는 입력 데이터(ID)에 기초하여, 가상의 제2 타입 데이터를 생성할 수 있다. S230 단계는 PHR 생성기(240b)의 생성기(242b)에서 수행될 수 있다. 가상의 제2 타입 데이터는 제2 타입을 갖도록 만들어진 가상의 시계열 데이터이고, 예를 들어, 도 4의 가상의 PHR(PHRf)일 수 있다. 도 7의 학습 단계들을 통하여, 생성된 생성 모델은 입력 데이터(ID)에 응답하여, 과거 시점들, 즉 타겟 시점의 이전 시간에 생성된 것과 같은 가상의 제2 타입 데이터를 생성할 수 있다.

S240 단계에서, 의료 데이터 처리 장치(230)에 포함된 건강 예측기(250)는 제1 타입 데이터 (즉, EMR) 및 가상의 제2 타입 데이터 (즉, 가상의 PHR(PHRf))에 기초하여, 미래의 건강 상태를 예측할 수 있다. 건강 예측기(250)는 제1 타입 데이터 및 가상의 제2 타입 데이터에 기초하여, 미래 시점, 즉 타겟 시점 이후의 시간에 대응되는 예측 데이터를 생성할 수 있다. 예측 데이터는 제한되지 않으나, 미래 시점의 예측된 EMR일 수 있다. 건강 예측기(250)는 멀티 모달리티 기반의 예측 모델로 구현될 수 있다. 예시적으로, S240 단계에서, 제1 타입 데이터의 시계열적 추이에 기초하여, 제1 중간 데이터가 생성되고, 가상의 제2 타입 데이터의 시계열적 추이에 기초하여 제2 중간 데이터가 생성될 수 있다. 건강 예측기(250)는 제1 및 제2 중간 데이터에 기초하여, 예측 데이터를 계산할 수 있다.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.

100, 200: 건강 예측 시스템
130, 230: 의료 데이터 처리 장치
240: PHR 생성기
250: 건강 예측기

Claims (20)

1. 제1 타입을 갖고, 타겟 시점의 이전 시간에 대응되는 제1 시계열 데이터를 수신하는 네트워크 인터페이스;
   상기 제1 시계열 데이터에 기초하여, 제2 타입을 갖고, 상기 타겟 시점의 이전 시간에 대응되는 제2 시계열 데이터를 생성하는 데이터 생성기;
   상기 제1 시계열 데이터 및 상기 제2 시계열 데이터에 기초하여, 상기 타겟 시점의 이후 시간에 대응되는 예측 데이터를 생성하는 예측기; 및
   상기 데이터 생성기 및 상기 예측기를 제어하는 프로세서를 포함하되,
   상기 데이터 생성기는, 상기 제1 타입을 갖는 제3 시계열 데이터 및 상기 제2 타입을 갖는 제4 시계열 데이터에 의하여 학습된 생성 모델에 기초하여, 상기 제2 시계열 데이터를 생성하고,
   상기 네트워크 인터페이스는, 상기 제1 시계열 데이터를 수신하기 이전에 상기 제3 및 제4 시계열 데이터를 수신하는 시계열 데이터 처리 장치.
2. 제1 항에 있어서,
   상기 제1 시계열 데이터는 상기 타겟 시점 이전의 복수의 시점들에서 생성된 그룹화된 전자 의무 기록이고,
   상기 데이터 생성기는, 상기 전자 의무 기록에 기초하여, 가상의 개인 건강 기록에 대응되는 상기 제2 시계열 데이터를 생성하는 시계열 데이터 처리 장치.
3. 삭제
4. 제1 항에 있어서,
   상기 데이터 생성기는,
   상기 제3 및 제4 시계열 데이터에 기초하여, 상기 제2 타입을 갖는 제5 시계열 데이터를 생성하는 생성기; 및
   상기 제5 시계열 데이터가 상기 생성기로부터 생성된 데이터인지 여부를 판단하는 판별기를 포함하는 시계열 데이터 처리 장치.
5. 제4 항에 있어서,
   상기 판별기가 상기 제5 시계열 데이터를 상기 생성기로부터 생성된 데이터로 판단하지 않을 때까지, 상기 생성 모델의 가중치가 조절되는 시계열 데이터 처리 장치.
6. 제1 항에 있어서,
   상기 데이터 생성기는,
   상기 제3 시계열 데이터 및 상기 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하는 임베더를 포함하고,
   상기 생성 모델은, 상기 변환된 제3 및 제4 시계열 데이터에 기초하여 학습되는 시계열 데이터 처리 장치.
7. 제6 항에 있어서,
   상기 임베더는, 상기 변환된 제3 및 제4 시계열 데이터와 동일한 타입을 갖도록, 상기 제1 시계열 데이터를 변환하고,
   상기 생성 모델은, 상기 변환된 제1 시계열 데이터에 기초하여 상기 제2 시계열 데이터를 생성하는 시계열 데이터 처리 장치.
8. 제1 항에 있어서,
   상기 제1 시계열 데이터는 수치 데이터인 제1 특징 데이터 및 비수치 데이터인 제2 특징 데이터를 포함하고,
   상기 데이터 생성기는, 상기 제2 특징 데이터를 수치 데이터로 변환하고, 상기 제1 특징 데이터 및 상기 수치 데이터로 변환된 상기 제2 특징 데이터에 기초하여 상기 제2 시계열 데이터를 생성하는 시계열 데이터 처리 장치.
9. 제1 항에 있어서,
   상기 제2 시계열 데이터는, 일정한 기준 시간 간격을 갖는 시계열 데이터인 시계열 데이터 처리 장치.
10. 전자 의무 기록에 대응되는 제1 시계열 데이터를 수집하는 수집 장치; 및
    상기 제1 시계열 데이터에 기초하여, 가상의 개인 건강 기록에 대응되고 기준 시간 간격을 갖는 제2 시계열 데이터를 생성하고, 상기 제1 시계열 데이터 및 상기 제2 시계열 데이터에 기초하여, 미래 시점의 예측 데이터를 생성하는 의료 데이터 처리 장치; 및
    제2 전자 의무 기록에 대응되는 제3 시계열 데이터 및 개인 건강 센서로부터 측정된 개인 건강 기록에 대응되는 제4 시계열 데이터를 수집하는 제2 수집 장치를 포함하되,
    상기 의료 데이터 처리 장치는, 상기 제3 및 제4 시계열 데이터에 기초하여 생성 모델을 학습하고, 상기 생성 모델에 상기 제1 시계열 데이터를 입력하여 상기 제2 시계열 데이터를 생성하는 건강 예측 시스템.
11. 제10 항에 있어서,
    상기 의료 데이터 처리 장치는,
    상기 제1 시계열 데이터에 기초하여 상기 제2 시계열 데이터를 생성하는 개인 건강 기록 생성기; 및
    상기 제1 및 제2 시계열 데이터에 기초하여, 상기 미래 시점의 상기 전자 의무 기록을 생성하는 건강 예측기를 포함하는 건강 예측 시스템.
12. 제11 항에 있어서,
    상기 건강 예측기는,
    시간에 대한 상기 제1 시계열 데이터의 변화 추이 및 상기 제2 시계열 데이터의 변화 추이를 병렬로 분석하는 예측 모델에 기초하여, 상기 미래 시점의 전자 의무 기록에 대응되는 상기 예측 데이터를 생성하는 건강 예측 시스템.
13. 삭제
14. 제10 항에 있어서,
    상기 의료 데이터 처리 장치는, 상기 생성 모델에 상기 제3 및 제4 시계열 데이터를 입력하여 가상의 개인 건강 기록에 대응되는 제5 시계열 데이터를 생성하고, 상기 제5 시계열 데이터가 상기 가상의 개인 건강 기록인지 상기 측정된 개인 건강 기록인지 판별되지 않을 때까지 상기 생성 모델을 학습하는 건강 예측 시스템.
15. 제10 항에 있어서,
    상기 의료 데이터 처리 장치는, 상기 제3 시계열 데이터 및 상기 제4 시계열 데이터 각각을 서로 동일한 타입을 갖도록 변환하여 상기 생성 모델에 입력하는 건강 예측 시스템.
16. 프로세서에 의하여 수행되는 시계열 데이터 처리 장치의 동작 방법에 있어서,
    제1 타입을 갖도록 수집된 제3 시계열 데이터 및 제2 타입을 갖도록 수집된 제4 시계열 데이터에 기초하여, 생성 모델을 학습하는 단계;
    과거 시점들에서 상기 제1 타입을 갖도록 생성된 제1 시계열 데이터를 네트워크 인터페이스를 통하여 수신하는 단계;
    상기 제1 시계열 데이터를 임베딩하여 입력 데이터를 생성하는 단계;
    상기 입력 데이터를 상기 생성 모델에 입력하여, 기준 시간 간격을 갖는 과거 시점들에 대응되고 상기 제2 타입을 갖는 제2 시계열 데이터를 생성하는 단계; 및
    상기 제1 시계열 데이터 및 상기 제2 시계열 데이터에 기초하여 미래 시점의 예측 데이터를 생성하는 단계를 포함하는 방법.
17. 삭제
18. 제16 항에 있어서,
    상기 생성 모델을 학습하는 단계는,
    상기 제3 및 제4 시계열 데이터를 상기 네트워크 인터페이스를 통하여 수신하는 단계;
    상기 제3 및 제4 시계열 데이터를 서로 동일한 타입을 갖도록 임베딩하여, 학습 데이터를 생성하는 단계;
    상기 학습 데이터를 상기 생성 모델에 입력하여, 상기 기준 시간 간격을 갖는 과거 시점들에 대응되고 상기 제2 타입을 갖는 제5 시계열 데이터를 생성하는 단계;
    상기 제5 시계열 데이터가 상기 네트워크 인터페이스를 통하여 수신된 시계열 데이터인지 상기 생성 모델로부터 생성된 시계열 데이터인지 판별하는 단계를 포함하는 방법.
19. 제18 항에 있어서,
    상기 생성 모델을 학습하는 단계는,
    상기 제5 시계열 데이터가 상기 생성 모델로부터 생성된 시계열 데이터로 판별되는 경우, 상기 생성 모델의 가중치를 조절하는 단계를 더 포함하는 방법.
20. 제16 항에 있어서,
    상기 예측 데이터를 생성하는 단계는,
    시간에 대한 상기 제1 시계열 데이터의 변화 추이에 기초하여 제1 중간 데이터를 생성하는 단계;
    시간에 대한 상기 제2 시계열 데이터의 변화 추이에 기초하여 제2 중간 데이터를 생성하는 단계; 및
    상기 제1 중간 데이터 및 상기 제2 중간 데이터에 기초하여, 상기 예측 데이터를 계산하는 단계를 포함하는 방법.

Images