KR101347509B1 - 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템 - Google Patents

섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템 Download PDF

Info

Publication number
KR101347509B1
KR101347509B1 KR1020110059448A KR20110059448A KR101347509B1 KR 101347509 B1 KR101347509 B1 KR 101347509B1 KR 1020110059448 A KR1020110059448 A KR 1020110059448A KR 20110059448 A KR20110059448 A KR 20110059448A KR 101347509 B1 KR101347509 B1 KR 101347509B1
Authority
KR
South Korea
Prior art keywords
delirium
prediction model
variable
prediction
high risk
Prior art date
Application number
KR1020110059448A
Other languages
English (en)
Other versions
KR20120139908A (ko
Inventor
이선미
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020110059448A priority Critical patent/KR101347509B1/ko
Publication of KR20120139908A publication Critical patent/KR20120139908A/ko
Application granted granted Critical
Publication of KR101347509B1 publication Critical patent/KR101347509B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Optimization (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템이 개시된다. 본 발명에 따른 섬망 고위험군 예측모형 시스템은, 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수 사이의 관계를 나타내는 예측모형을 설정하는 예측모형 설정부; 예측모형에 사용할 변수를 구간화하여 WOE(Weight Of Evidence) 및 IV(Information Value)를 산출하고, 산출된 WOE 및 IV에 기초하여 변수를 선택하는 변수 선택부; 및 선택된 변수에 기초하여 오분류표를 구하고, 이를 통해 오분류율, 민감도 및 특이도를 산출하여 예측모형에 대한 예측력을 평가하는 예측력 평가부를 포함한다.
섬망 고위험군 예측 시스템은 병원의 EMR(Electronic Medical Record) 시스템과 연동하는 EMR 연동부; 섬망 고위험군 예측모형의 설정에 이용되는 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수에 기초하여 환자에 대한 환자변수 및 가중치를 구하고, 상기 환자변수 및 상기 가중치에 기초하여 상기 환자에 대한 섬망 확률값을 계산하는 확률 계산부; 및 상기 확률 계산부에 의해 계산된 섬망 확률값이 설정된 값 이상인 경우에 상기 EMR 연동부를 통해 상기 EMR 시스템에 섬망 고위험군 판정신호를 전송하는 신호 전송부를 포함한다.

Description

섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템{Delirium Estimation Model System and Method, and Delirium Prediction System Using the Same}
본 발명은 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템에 관한 것으로서, 더욱 상세하게는 중환자실 환자를 대상으로 섬망(delirium) 가능성을 예측하여 의료인들이 고위험군 환자를 알 수 있도록 자동적으로 고위험군을 판별(Discrimination)할 수 있는 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템에 관한 것이다.
섬망은 혼돈(confusion)과 비슷하지만 심한 과다행동(예를 들어 안절부절못하고, 잠을 안자고, 소리를 지르고, 주사기를 빼내는 행위)과 생생한 환각, 초조함과 떨림 등이 자주 나타나는 것을 말한다. 하지만 일부에서는 섬망이 과소활동(hypoactivity; 활동이 정상 이하로 저하되어 있는 것)으로 나타나기도 한다. 보통 중독질환, 대사성 질환, 전신감염, 신경계감염, 뇌외상, 뇌졸중, 전신마취, 대수술 등에서 자주 나타난다.
섬망은 환자, 가족, 그리고 의료진에게 주는 부정적 영향이 크다. 즉 사망률과 이환율을 높이고(Inouye, Schlesinger, & Lydon, 1999), 입원기간을 연장시키고 의료비를 증가시킨다(Kaplan et al., 2003). 또한 환자의 독립적 기능 회복이 지연되고 환자간호에 더 많은 시간을 요하게 되어 간호사의 부담을 증가시킨다(Olofsson, Lundstom, Borssen, Nyberg, & Gustafson, 2005). 그러나 임상에서 섬망은 제대로 발견되고 치료받는 것이 어려운 것으로 보고되고 있다. Steis와 Fick(2008)은 섬망 환자인지를 주제로 한 선행연구 10편을 찾아 분석한 결과 간호사가 섬망 상태를 인지하는 비율은 26-83% 이라고 보고하였다. 즉 나머지는 인지하지 못한 비율인 것이다. 섬망이 인지되지 못하는 비율을 보고한 다른 선행연구에서도 70% 이상(Hanley, 2004) 혹은 66-84%(Ely et al., 2001)로 보고되고 있어 인지율이 매우 낮다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 창안된 것으로서, 섬망 예측 모형방법론과 모형의 예측결과에 따라 중환자실 환자를 대상으로 섬망(delirium) 발생 가능성을 예측하여 의료인들이 고위험군 환자를 알 수 있도록 자동적으로 고위험군을 판별(Discrimination)하는 섬망 고위험군 예측 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 섬망 고위험군 예측모형 시스템은, 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수 사이의 관계를 나타내는 예측모형을 설정하는 예측모형 설정부; 상기 예측모형에 사용할 변수를 구간화하여 WOE(Weight Of Evidence) 및 IV(Information Value)를 산출하고, 산출된 상기 WOE 및 상기 IV에 기초하여 변수를 선택하는 변수 선택부; 및 선택된 상기 변수에 기초하여 오분류표를 구하고, 이를 통해 오분류율, 민감도 및 특이도를 산출하여 상기 예측모형에 대한 예측력을 평가하는 예측력 평가부를 포함하는 것을 특징으로 한다.
상기의 섬망 고위험군 예측모형 시스템은, 상기 예측모형에서 상기 각 설명변수의 계수의 추정된 회귀계수를 이용하여 사후확률에 대한 추정식을 산출하는 추정식 산출부를 더 포함할 수 있다.
여기서, 상기 목표변수가 연속형인 경우 선형회귀분석(Linear regression), 나무형회귀(Tree regression), 신경망(Neural network)을 포함하는 방법을 통해 예측이 이루어지며, 상기 목표변수가 범주형인 경우는 로지스틱회귀분석(logistic regression), 분류나무(Classification tree), 신경망을 포함하는 방법에 통해 예측이 이루어질 수 있다.
또한, 상기 예측모형은 다음과 같은 로지스틱 회귀모형으로 표현될 수 있다.
Figure 112011046351410-pat00001
여기서, y는 종속변수이며, x1,x2,...,xp는 설명변수이다.
또한, 산출된 상기 추정식을 통해 얻어진 각 개체에 대한 사후확률(예측확률, Posteria probability)을 이용하여 상기 각 개체를 분류할 수 있다.
상기 예측모형에 사용할 변수의 구간화는, 범주형 변수의 경우 각 범주별로 WOE를 구하고 연속형 변수의 경우 전체 구간을 10분위 또는 20분위로 나누어 각 분위수 별로 WOE를 구하며, 상기 범주형 변수의 경우 설정된 간격 범위 내의 서로 유사한 WOE 값을 가지는 범주끼리 병합하고 상기 연속형 변수의 경우 WOE의 추세가 증가하거나 감소추세를 보이도록 병합하는 단계로 이루어질 수 있다.
상기 오분류율은 0 - 1까지의 예측확률에 대한 분류기준점에 기초하여 산출할 수 있다.
상기 각 예측확률별로 민감도와 특이도를 구하고, 이를 바탕으로 다음과 같이 분류기준점(CO: Cut Off)이 산출될 수 있다.
CO = (1 - 민감도)2 + (1-특이도)2
여기서, 민감도는 실제 섬망 환자중에 섬망을 정확하게 예측된 경우의 비를 나타내고, 1-특이도는 실제 비섬망 환자중에 섬망으로 잘못 예측된 경우의 비를 나타낸다.
상기의 섬망 고위험군 예측모형 방법은, 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수 사이의 관계를 나타내는 예측모형을 설정하는 단계; 상기 예측모형에 사용할 변수를 구간화하여 WOE(Weight Of Evidence) 및 IV(Information Value)를 산출하고, 산출된 상기 WOE 및 상기 IV에 기초하여 변수를 선택하는 단계; 및 선택된 상기 변수에 기초하여 오분류표를 구하고, 이를 통해 오분류율, 민감도 및 특이도를 산출하여 상기 예측모형에 대한 예측력을 평가하는 단계를 포함하는 것을 특징으로 하는 섬망 고위험군 예측모형 방법을 제공한다.
상기의 섬망 고위험군 예측모형 방법은, 상기 예측모형에서 상기 각 설명변수의 계수의 추정된 회귀계수를 이용하여 사후확률에 대한 추정식을 산출하는 단계를 더 포함할 수 있다.
상기 목표변수가 연속형인 경우 선형회귀분석(Linear regression), 나무형회귀(Tree regression), 신경망(Neural network)을 포함하는 방법을 통해 예측이 이루어지며, 상기 목표변수가 범주형인 경우는 로지스틱회귀분석(logistic regression), 분류나무(Classification tree), 신경망을 포함하는 방법에 통해 예측이 이루어질 수 있다.
상기 예측모형은 다음과 같은 로지스틱 회귀모형으로 표현될 수 있다.
Figure 112011046351410-pat00002
여기서, y는 종속변수이며, x1,x2,...,xp는 설명변수이다.
산출된 상기 추정식을 통해 얻어진 각 개체에 대한 사후확률(예측확률, Posteria probability)을 이용하여 상기 각 개체를 분류할 수 있다.
상기 예측모형에 사용할 변수의 구간화는, 범주형 변수의 경우 각 범주별로 WOE를 구하고 연속형 변수의 경우 전체 구간을 10분위 또는 20분위로 나누어 각 분위수 별로 WOE를 구하며, 상기 범주형 변수의 경우 설정된 간격 범위 내의 서로 유사한 WOE 값을 가지는 범주끼리 병합하고 상기 연속형 변수의 경우 WOE의 추세가 증가하거나 감소추세를 보이도록 병합할 수 있다.
상기 오분류율은 0 - 1까지의 예측확률에 대한 분류기준점에 기초하여 산출할 수 있다.
상기 각 예측확률별로 민감도와 특이도를 구하고, 이를 바탕으로 다음과 같이 분류기준점(CO: Cut Off)이 산출될 수 있다.
CO = (1 - 민감도)2 + (1-특이도)2
여기서, 민감도는 실제 섬망 환자중에 섬망을 정확하게 예측된 경우의 비를 나타내고, 1-특이도는 실제 비섬망 환자중에 섬망으로 잘못 예측된 경우의 비를 나타낸다.
전술한 목적을 달성하기 위한 본 발명에 따른 섬망 고위험군 예측 시스템은, 병원의 EMR(Electronic Medical Record) 시스템과 연동하는 EMR 연동부; 섬망 고위험군 예측모형의 설정에 이용되는 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수에 기초하여 환자에 대한 환자변수 및 가중치를 구하고, 상기 환자변수 및 상기 가중치에 기초하여 상기 환자에 대한 섬망 확률값을 계산하는 확률 계산부; 및 상기 확률 계산부에 의해 계산된 섬망 확률값이 설정된 값 이상인 경우에 상기 EMR 연동부를 통해 상기 EMR 시스템에 섬망 고위험군 판정신호를 전송하는 신호 전송부를 포함하는 것을 특징으로 한다.
여기서, 상기 확률 계산부는, 사후확률에 대한 추정식(Estimated equation)에 기초하여 상기 환자에 대한 섬망 확률값을 계산할 수 있다.
본 발명에 따르면, 섬망 예측 모형방법론과 모형의 예측결과에 따라 중환자실 환자를 대상으로 섬망(delirium) 발생 가능성을 예측하여 자동적으로 고위험군을 판별(Discrimination)할 수 있게 된다.
도 1은 본 발명에 따른 섬망 고위험군 예측모형 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 ROC 그래프의 예를 나타낸 도면이다.
도 3은 본 발명에 따른 섬망 고위험군 예측모형 방법을 나타낸 흐름도이다.
도 4는 본 발명에 따른 섬망 고위험군 예측 시스템의 구성을 개략적으로 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 이하의 설명에 있어서, 당업자에게 주지 저명한 기술에 대해서는 그 상세한 설명을 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 섬망 고위험군 예측모형 시스템을 개략적으로 도시한 도면이다.
도면을 참조하면, 섬망 고위험군 예측모형 시스템은, 예측모형 설정부(110), 추정식 산출부(120), 변수 선택부(130) 및 예측력 평가부(140)를 포함할 수 있다.
예측모형 설정부(110)는 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수 사이의 관계를 나타내는 예측모형을 설정한다.
자료분석의 맥락에서 보면 관심이 되는 대상을 목표변수(Target variable, 종속변수, 출력변수)라고 하며 다른 변수들로 목표 변수 값을 맞추는 것이 주요 목적이 된다. 목표 값의 예측에 사용되는 변수를 설명변수(Explanatory variable, 독립변수, 입력변수)라 하는데 목표변수와 설명변수간의 관계를 예측모형(Predictive model)라고 한다. 목표변수가 어떤 속성을 가지는가에 따라 예측모형의 종류가 달라지게된다. 즉, 목표변수가 연속형(Continuous variable)이냐 아니면 범주형(Categorical variable)이냐에 따라 수학식 1과 같은 표현된다.
Figure 112011046351410-pat00003
목표변수가 연속형인 경우 선형회귀분석(Linear regression), 나무형회귀(Tree regression), 신경망(Neural network) 등의 방법을 통해 예측이 이루어지며 목표변수가 범주형인 경우는 로지스틱회귀분석(logistic regression), 분류나무(Classification tree), 신경망 등의 방법에 통해 예측이 이루어진다.
본 발명에서는 섬망발생 가능성(Probability)을 예측하는데 목적이 있으므로 과거에 섬망이 발생했는지 여부를 목표변수로 사용하였다. 따라서 로지스틱 회귀분석, 분류나무, 신경망 모형 중의 적어도 하나를 적용하고 예측력(Prediction power)이 가장 우수한 모형을 선택하여 전산구현(Implementation)하도록 한다.
로지스틱 회귀모형은 목표변수가 더미(Dummy) 값인 0과 1 두 개의 값을 가지는 이항형 반응에 대한 통계적 모형 중 하나이다. 로지스틱 회귀모형의 목적은 흔히 추정된 로짓모형을 이용하여 자료를 분류하기 위한 것이기 때문에 일반적인 판변분석과 비교하여 로지스틱 판변분석(Logistic discrimination)이라고도 불린다. y를 종속변수라고 하고 x1,x2,...,xp를 설명변수라고 하면 로지스틱 회귀모형은 수학식 2와 같이 표현된다.
Figure 112011046351410-pat00004
추정식 산출부(120)는 수학식 2에서 각 설명변수의 계수 α,β1,β2,...,βp의 추정된 회귀계수 a,b1,b2,...,bp를 이용하여 수학식 3과 같이 사후확률에 대한 추정식(Estimated equation)을 산출할 수 있다.
Figure 112011046351410-pat00005
이렇게 얻어진 각 개체에 대한 사후확률(예측확률, Posteria probability)은 각 개체를 분류하는데 사용할 수 있다. 즉, 추정된 사후확률은 0과 1 사이의 값을 가지게 되므로 적절한 절단값(Cut off Value)을 정하여 이값을 기준으로 각 개체를 분류하는 것이다. 예를 들면 수학식 4와 같다.
Figure 112011046351410-pat00006
로지스틱회귀분석의 장점 중에 하나는 선형회귀분석의 회귀계수와 같이 설명변수에 미치는 영향력을 측정할 수 있다는 것이다. 선형회귀분석에서는 각 설명변수의 회귀계수 βi가 영향력을 측정하는 도구임에 비해 로지스틱회귀분석에서는 오즈비(Odds ratio)로 계량화할수 있다. 즉, 다른 모든 설명변수가 일정한 상태에서 1단위 증가하는데 따른 오즈비는 수학식 5와 같이 계산된다.
Figure 112011046351410-pat00007
여기서 오즈비가 1보다 작다(βi가 음의 값)면 설명변수 xi가 감소방향으로 영향을 미침을 의미하고 반대로 오즈비가 1보다 크다(βi가 양의 값)면 증가방향으로 영향을 미침을 의미한다.
변수 선택부(130)는 예측모형에 사용할 변수를 구간화하여 WOE(Weight Of Evidence) 및 IV(Information Value)를 산출하고, 산출된 WOE 및 IV에 기초하여 변수를 선택한다.
의사결정나무의 경우 이상치(outlier, 극단치)를 탐색하거나 결측치(missing value)를 하나의 그룹으로 판정하는 것이 가능하지만 로지스틱 회귀모형이나 신경망 모형의 경우 극단치에 의해 모형이 상당히 민감해 지며 특히 결측치가 발생했을 경우는 아예 모형을 사용할 수 없는 경우가 발생한다.
본 발명의 경우, 모형에 사용된 설명변수(입력변수)들이 다음과 같은 문제점을 가질 수 있다.
첫 번째, 실제 관측되지 않았거나 관측상의 오류로 인해 상당수의 결측치를 가진 변수가 발생할 수 있다.
둘째, 몇 개의 범주형 설명변수의 경우 각 범주별 관측치가 큰 차이를 보이고 특히 몇 개 범주의 경우 극히 낮은 빈도를 보일 수 있다.
셋째, 몇 개의 연속형 설명변수의 경우 분포가 치우쳐 있어 변별력이 떨어지거나 극단치를 내포하고 있는 변수들이 발견될 수 있다.
이러한 현상은 비단 모형 개발 시점 뿐 아니라 모형을 구축하여 실제 예측값을 산출하는 운영 시점에서도 발생가능성이 높아 대안이 필요하다. 본 발명에서는 그 대안으로, 연속형 변수 및 범주형 변수 모두를 WOE(Weight Of Evidence)에 기반하여 구간화(Grouping)시키는 변수변환 방법을 선택하였다.
이를 위해, 각 변수의 구간화(Grouping)는 두 단계를 거쳐 만든다. 첫째는 사전단계로 범주형 변수는 각 범주별로 WOE를 구하고 연속형 변수는 전체 구간을 10분위 또는 20분위로 나누어 각 분위수 별로 WOE를 구한다. 이를 상세구간화(fine detailed grouping)라고 한다.
두 번째 단계를 첫 번째 단계에서 구한 classing을 더 작은 소수의 class로 합치는 작업을 진행한다. 이때 범주형 변수는 서로 비슷한 WOE값을 가지는 범주끼리 병합하고 연속형 변수의 경우 WOE의 추세가 증가하거나 감소추세를 보이게 병합을 한다. 이를 간략구간화(Coarse grouping)라고 한다.
WOE는 변수의 각 구간별로 구한 오즈(odds)에 log를 취한 후 100을 곱한 값이다. 오즈는 비섬망발생율/섬망발생율로 섬망 1명 발생 당 비섬망 수를 나타낸다. 비섬망 발생율은 각 구간별 비섬망 발생수를 전체 비섬망 발생수로 나눈값이고 섬망 발생율은 각 구간별 섬망 발생수를 전체 섬망 발생수로 나눈 값이다. 표 1은 WOE를 구한 예제이다.
Figure 112011046351410-pat00008
표 1은 Age(나이)라는 연속형 변수를 구간화한 후 WOE를 구한 결과이다. 18-22 구간의 경우 총 4,000명이며, 이중 섬망이 발생하지 않은 수는 3,040명이며 섬망이 발생한 수는 960명이다. 이 구간의 비섬망 발생율은 8.41%(=3,040/36,160) 이며 섬망 발생율은 25.00%(=960/3,840)이다. 따라서 이 구간의 WOE는 -108.980(=ln(8.41%/25.00%)*100)이 된다.
WOE가 음수인 경우는 구간의 섬망발생율이 비섬망발생율보다 큰 경우이다. 양수인 경우는 반대의 경우가 된다. 절대값이 커질수록 두 비율간의 차이는 크게 나타난다.
좋은 설명변수란 목표변수를 잘 예측할 수 있어야 한다. 구간별 WOE 값의 차이가 클수록 예측력이 좋다고 할 수 있다. IV(Information Value)값은 각 설명변수가 얼마나 예측력이 좋은지를 측정하는 도구이다. IV값은 수학식 6과 같이 각 구간별 (비섬망발생율-섬망발생율)과 log(비섬망발생율/섬망발생율)의 곱을 모두 더한 값으로 구할 수 있다.
Figure 112011046351410-pat00009
표 1에서 AGE 변수의 IV 값은 0.668의 값을 가진다. 일반적으로 IV 값이 0.02값보다 작으면 목표변수에 대한 예측력이 전혀 없는 것(Unpredictive)으로 판단하고 0.1보다 작은 경우는 예측력이 약한(Week) 변수, 0.3보다 작은 경우는 보통(Medium)의 예측력 변수, 그리고 0.3보다 큰 경우는 예측력이 우수한(Strong) 변수인 것으로 판단한다.
그러나, 이러한 데이터로부터 산출되는 IV 값만 사용하는 것이 아니라 과거 선행연구 및 경험치에서 중요하다고 판단되는 변수를 사용하기도 한다.
예측력 평가부(140)는 민감도 및 특이도를 산출하여 예측모형에 대한 예측력을 평가한다.
최적의 모형을 구축하기 위해서는 다수의 모형을 구축하고 그 중 최고의 모형을 선택하는 것이 바람직하다. 최적의 모형을 찾기 위해서는 2가지 방법으로 평가가 이루어져야 한다. 먼저 과적합의 문제를 해결하기 위해 데이터를 훈련용(train) 데이터와 검증용(validation)으로 구분하여야 한다. 둘째, 다수의 모형 중 일정한 기준을 세우고 그 기준을 가장 잘 충족하는 모형을 선택하여야 한다.
본 연구에 사용한 데이터는 총 854건으로 이 중 80%(681건)를 훈련용데이터로 사용하였으며 20%(173건)를 검증용데이터로 사용하였다. 분할 방법은 랜덤샘플링 옵션을 사용하였다.
모형의 예측력을 평가하기 위한 방법으로 목표변수가 본 발명과 같은 더미 변수일 경우는 오분류표를 구하고 이를 통해 오분류율, 민감도와 특이도를 구하는 방법이 가장 바람직한 방법론이다. 또한 특정 통계량으로 구하는 방법은 KS 통계량과 ROC 통계량을 구하는 방법을 사용할 수 있다.
먼저 오분류표를 통한 모형의 예측력을 평가하는 방법이다. 이 방법을 사용하기 위해서는 사후예측확률 20개 구간별 섬망 발생수와 비섬망 발생수가 필요하다. 표 2는 오분류표 작성을 위한 사후예측확률이다.
오분류표를 만들기 위해서는 0-1까지의 예측확률에 대한 분류기준점(Cut Off)가 필요하다. 보통 예측확률이 0.5수준에서 분류를 하지만 목적에 맞게 별도의 기준을 적용하는 방법도 가능하다.
Figure 112011046351410-pat00010
본 발명에서는 수학식 7과 같이 각 예측확률별로 민감도와 특이도를 구하고 이를 바탕으로 다음을 최소화하는 값을 분류기준점(CO: Cut Off)으로 삼았다.
Figure 112011046351410-pat00011
민감도(Sensitivity)와 특이도(Specificity)를 구하는 방법은 오분류표를 표 3과 같이 만든 후 구할 수 있다.
Figure 112011046351410-pat00012
표 3에서 각 기준값은 다음과 같다.
정분류율 = 100 * (A + D) / (A + B + C + D)
오분류율 = 1 - (100 * (A + D) / (A + B + C + D))
민감도 = 100 * D / (C + D)
특이도 = 100 * A / (A + B)
1 - 특이도 = 100 * B / (A + B)
민감도는 실제 섬망 환자중에 섬망을 정확하게 예측된 경우의 비를 나타내고 1-특이도는 실제 비섬망 환자중에 섬망으로 잘못예측된 경우의 비를 나낸다. 따라서 (1-민감도)의 제곱과 (1-특이도)의 제곱을 최소화하면 오분류를 최소화하는 분류기준점이 되는 것이다.
ROC(Receiver Operating Characteristics) 그래프는 도 2와 같이 각 분류점마다 횡축(x축)에 1-특이도, 종축(y축)에 민감도를 표시하고 이 점들을 모두 이어 표시한 그래프를 말한다.
ROC 그래프는 45도 기울기로부터 멀리 떨어질수록 예측력이 우수하다고 할수 있다. 서로 다른 모형을 비교하기 위해서는 ROC 그래프의 면적을 구하고 이를 비교함으로써 얼마나 45도 기울기 선에서 떨어져있는지를 알 수 있다.
표 4는 본 발명의 실시예에 따른 변수의 선택 결과를 예시한다.
Figure 112011046351410-pat00013
IV 값을 기준으로 PAIN_FRS_1ST_I, PHYSICALEXAM_ACTIVITY_N등의 변수가 높은 설명력을 가지고 있으며 BP_S_I, ABGA_PAO2_O, MAGNESIUM_O, TRANSFUSION_T_AMT_RBC_I 등은 0.1 미만의 낮은 IV 값을 가지고 있다.
변수선택에서 선정된 입력변수들에 대해 신경망모형(NN), 의사결정나무(Tree), 로지스틱회귀모형(Logistic)의 예측력을 비교검증하였다.
결증결과, 표 5에 나타낸 바와 같이 훈련용데이터에 대해서는 모든 평가항목에 대해 로지스틱회귀모형이 가장 우수한 것으로 나타났으며 검증용데이터에 대해서는 오분류율의 경우는 신경망모형이 약간 우수했으나 그 외 평가항목은 모두 로지스틱회귀모형이 우수한 것으로 나타났다.
Figure 112011046351410-pat00014
로지스틱회귀분석 결과 표 6에 나타낸 바와 같이, ICU_TYPE과 MAGNESIUM은 +의 영향력, 나머지 변수는 모두 -의 영향력을 가진 것으로 나타났다. F2_2_V9_AVG_AMT, MARITAL_STATUS_N, Z4_TOTAL_IN_OUT_DIFF_I, ABGA_PAO2_O, MAGNESIUM_O 등의 변수는 10% 유의수준 하에서 유의한 영향력이 없는 것으로 나타났으나 기존 선행연구에 나타난 예측력을 바탕으로 예측에 사용하였다.
Figure 112011046351410-pat00015
분류기준점의 경우 훈련용 데이터는 표 7과 같이, 0.3, 검증용 데이터는 표 8과 같이 0.4 수준에서 가장 최적의 예측력을 보였다.
Figure 112011046351410-pat00016
Figure 112011046351410-pat00017
도 4는 본 발명에 따른 섬망 고위험군 예측 시스템의 구성을 개략적으로 도시한 도면이다. 도면을 참조하면, 본 발명에 따른 섬망 고위험군 예측 시스템(400)은, EMR 연동부(410), 확률 계산부(420), 및 신호 전송부(430)를 포함한다.
EMR 연동부(410)는, 병원의 EMR(Electronic Medical Record) 시스템(300)과 연동한다. 여기서, EMR 시스템(300)은 병원진료 지원업무 중 기록 업무를 전산 처리하는 시스템으로서, 신속한 업무 처리와 인력 및 비용 절감을 위하여 환자에 대한 기록을 전산으로 관리하는 시스템을 말한다.
확률 계산부(420)는 섬망 고위험군 예측모형의 설정에 이용되는 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수에 기초하여 환자에 대한 환자변수 및 가중치를 구하고, 환자변수 및 가중치에 기초하여 환자에 대한 섬망 확률값을 계산한다. 이때, 확률 계산부(420)는, 수학식 3과 같은 사후확률에 대한 추정식(Estimated equation) 및 표 6과 같은 데이터에 기초하여 환자에 대한 섬망 확률값을 계산할 수 있다. 즉, 수학식 3의 a값 : 표 6의 절편 값과, 수학식 3의 b 값 : 표 6의 beta 값과, 수학식 3의 x 값 : 표 6의 각 변수에 대한 WOE 값을 이용하여 환자에 대한 섬망 확률값을 계산할 수 있다. 여기서는, 표 6에 기초하여 섬망 확률을 계산하는 것으로 예시하였지만, 섬망 확률 계산을 위한 데이터는 달라질 수 있으며, 또한 섬망 확률 계산을 위한 변수의 개수는 설정에 따라 달라질 수 있다.
신호 전송부(430)는 확률 계산부(420)에 의해 계산된 섬망 확률값이 설정된 값 이상인 경우에 EMR 연동부(410)를 통해 EMR 시스템(300)에 섬망 고위험군 판정신호를 전송한다. 예를 들어, 기준값을 0.3으로 설정하여 두고, 확률 계산부(420)에 의해 계산된 섬망 확률 값이 0.4 즉, 기준값을 초과하는 경우에 해당 환자를 섬망 고위험군 환자로 판단하여 판정 신호를 전송할 수 있다. 이 경우, EMR 시스템(300)은 해당 환자의 관리 데이터에 섬망 고위험군 환자임을 표시하고, 섬망 고위험군 환자의 관리 리스트에 추가하며, 해당 환자에 대한 데이터를 조회할 경우에 섬망 고위험군 환자임을 표시하도록 구현되는 것이 바람직하다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이며, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (19)

  1. 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수 사이의 관계를 나타내는 예측모형을 설정하는 예측모형 설정부;
    상기 예측모형에 사용할 변수를 구간화하여 WOE(Weight Of Evidence) 및 IV(Information Value)를 산출하고, 산출된 상기 WOE 및 상기 IV에 기초하여 변수를 선택하는 변수 선택부; 및
    선택된 상기 변수에 기초하여 오분류표를 구하고, 이를 통해 오분류율, 민감도 및 특이도를 산출하여 상기 예측모형에 대한 예측력을 평가하는 예측력 평가부를 포함하고,
    상기 예측모형에서 상기 각 설명변수의 계수의 추정된 회귀계수를 이용하여 사후확률에 대한 추정식을 산출하는 추정식 산출부
    를 더 포함하는 것을 특징으로 하는 섬망 고위험군 예측모형 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 목표변수가 연속형인 경우 선형회귀분석(Linear regression), 나무형회귀(Tree regression), 신경망(Neural network)을 포함하는 방법을 통해 예측이 이루어지며, 상기 목표변수가 범주형인 경우는 로지스틱회귀분석(logistic regression), 분류나무(Classification tree), 신경망을 포함하는 방법에 통해 예측이 이루어지는 것을 특징으로 하는 섬망 고위험군 예측모형 시스템.
  4. 제 1항에 있어서,
    상기 예측모형은 다음과 같은 로지스틱 회귀모형으로 표현될 수 있는 것을 특징으로 하는 섬망 고위험군 예측모형 시스템:
    Figure 112011046351410-pat00018

    여기서, y는 종속변수이며, x1,x2,...,xp는 설명변수.
  5. 제 1항에 있어서,
    산출된 상기 추정식을 통해 얻어진 각 개체에 대한 사후확률(예측확률, Posteria probability)을 이용하여 상기 각 개체를 분류하는 것을 특징으로 하는 섬망 고위험군 예측모형 시스템.
  6. 제 1항에 있어서,
    상기 예측모형에 사용할 변수의 구간화는,
    범주형 변수의 경우 각 범주별로 WOE를 구하고 연속형 변수의 경우 전체 구간을 10분위 또는 20분위로 나누어 각 분위수 별로 WOE를 구하며, 상기 범주형 변수의 경우 설정된 간격 범위 내의 서로 유사한 WOE 값을 가지는 범주끼리 병합하고 상기 연속형 변수의 경우 WOE의 추세가 증가하거나 감소추세를 보이도록 병합하는 것을 특징으로 하는 섬망 고위험군 예측모형 시스템.
  7. 제 1항에 있어서,
    상기 오분류율은 0 - 1까지의 예측확률에 대한 분류기준점에 기초하는 것을 특징으로 하는 섬망 고위험군 예측모형 시스템.
  8. 제 7항에 있어서,
    상기 각 예측확률별로 민감도와 특이도를 구하고, 이를 바탕으로 다음과 같이 분류기준점(CO: Cut Off)이산출되는 것을 특징으로 하는 섬망 고위험군 예측모형 시스템:
    CO = (1 - 민감도)2 + (1-특이도)2
    여기서, 민감도는 기설정된 섬망 환자군 범위 내 섬망 환자중에 섬망을 정확하게 예측된 경우의 비를 나타내고, 1-특이도는 기설정된 비섬망 환자군 범위 내 비섬망 환자중에 섬망으로 잘못 예측된 경우의 비를 나타낸다.
  9. 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수 사이의 관계를 나타내는 예측모형을 설정하는 단계;
    상기 예측모형에 사용할 변수를 구간화하여 WOE(Weight Of Evidence) 및 IV(Information Value)를 산출하고, 산출된 상기 WOE 및 상기 IV에 기초하여 변수를 선택하는 단계; 및
    선택된 상기 변수에 기초하여 오분류표를 구하고, 이를 통해 오분류율, 민감도 및 특이도를 산출하여 상기 예측모형에 대한 예측력을 평가하는 단계를 포함하고,
    상기 예측모형에서 상기 각 설명변수의 계수의 추정된 회귀계수를 이용하여 사후확률에 대한 추정식을 산출하는 단계
    를 더 포함하는 것을 특징으로 하는 섬망 고위험군 예측모형 방법.
  10. 삭제
  11. 제 9항에 있어서,
    상기 목표변수가 연속형인 경우 선형회귀분석(Linear regression), 나무형회귀(Tree regression), 신경망(Neural network)을 포함하는 방법을 통해 예측이 이루어지며, 상기 목표변수가 범주형인 경우는 로지스틱회귀분석(logistic regression), 분류나무(Classification tree), 신경망을 포함하는 방법에 통해 예측이 이루어지는 것을 특징으로 하는 섬망 고위험군 예측모형 방법.
  12. 제 9항에 있어서,
    상기 예측모형은 다음과 같은 로지스틱 회귀모형으로 표현될 수 있는 것을 특징으로 하는 섬망 고위험군 예측모형 방법:
    Figure 112011046351410-pat00019

    여기서, y는 종속변수이며, x1,x2,...,xp는 설명변수.
  13. 제 9항에 있어서,
    산출된 상기 추정식을 통해 얻어진 각 개체에 대한 사후확률(예측확률, Posteria probability)을 이용하여 상기 각 개체를 분류하는 것을 특징으로 하는 섬망 고위험군 예측모형 방법.
  14. 제 9항에 있어서,
    상기 예측모형에 사용할 변수의 구간화는,
    범주형 변수의 경우 각 범주별로 WOE를 구하고 연속형 변수의 경우 전체 구간을 10분위 또는 20분위로 나누어 각 분위수 별로 WOE를 구하며, 상기 범주형 변수의 경우 설정된 간격 범위 내의 서로 유사한 WOE 값을 가지는 범주끼리 병합하고 상기 연속형 변수의 경우 WOE의 추세가 증가하거나 감소추세를 보이도록 병합하는 것을 특징으로 하는 섬망 고위험군 예측모형 방법.
  15. 제 9항에 있어서,
    상기 오분류율은 0 - 1까지의 예측확률에 대한 분류기준점에 기초하는 것을 특징으로 하는 섬망 고위험군 예측모형 방법.
  16. 제 15항에 있어서,
    상기 각 예측확률별로 민감도와 특이도를 구하고, 이를 바탕으로 다음과 같이 분류기준점(CO: Cut Off)이산출되는 것을 특징으로 하는 섬망 고위험군 예측모형 방법:
    CO = (1 - 민감도)2 + (1-특이도)2
    여기서, 민감도는 기설정된 섬망 환자군 범위 내 섬망 환자중에 섬망을 정확하게 예측된 경우의 비를 나타내고, 1-특이도는 기설정된 비섬망 환자군 범위 내 비섬망 환자중에 섬망으로 잘못 예측된 경우의 비를 나타낸다.
  17. 컴퓨터에 의해 구동될 수 있으며, 제 9항, 제 11항 내지 제 16항 중의 어느 한 항에 의한 섬망 고위험군 에측모형 방법을 실행하는 프로그램을 저장하는 기록매체.
  18. 병원의 EMR(Electronic Medical Record) 시스템과 연동하는 EMR 연동부;
    섬망 고위험군 예측모형의 설정에 이용되는 관심대상의 목표변수 및 목표 값의 예측에 사용되는 설명변수에 기초하여 환자에 대한 환자변수 및 가중치를 구하고, 상기 환자변수 및 상기 가중치에 기초하여 상기 환자에 대한 섬망 확률값을 계산하는 확률 계산부; 및
    상기 확률 계산부에 의해 계산된 섬망 확률값이 설정된 값 이상인 경우에 상기 EMR 연동부를 통해 상기 EMR 시스템에 섬망 고위험군 판정신호를 전송하는 신호 전송부를 포함하고,
    상기 확률 계산부는,
    사후확률에 대한 추정식(Estimated equation)에 기초하여 상기 환자에 대한 섬망 확률값을 계산하는 것을 특징으로 하는 섬망 고위험군 예측 시스템.
  19. 삭제
KR1020110059448A 2011-06-20 2011-06-20 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템 KR101347509B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110059448A KR101347509B1 (ko) 2011-06-20 2011-06-20 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110059448A KR101347509B1 (ko) 2011-06-20 2011-06-20 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템

Publications (2)

Publication Number Publication Date
KR20120139908A KR20120139908A (ko) 2012-12-28
KR101347509B1 true KR101347509B1 (ko) 2014-01-06

Family

ID=47906091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110059448A KR101347509B1 (ko) 2011-06-20 2011-06-20 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템

Country Status (1)

Country Link
KR (1) KR101347509B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633217B1 (ko) 2015-03-10 2016-06-23 서울대학교산학협력단 섬망 지표 데이터 제공 방법 및 장치
RU2751241C2 (ru) * 2015-04-09 2021-07-12 Конинклейке Филипс Н.В. Способ и устройство для оценки количества микроорганизмов в таксономической единице в образце
KR20190083998A (ko) 2018-01-05 2019-07-15 광주과학기술원 섬망 판별 장치 및 그 방법
CN108829886A (zh) * 2018-06-27 2018-11-16 厦门集微科技有限公司 一种分箱方法和装置
JP7238910B2 (ja) * 2019-02-08 2023-03-14 日本電気株式会社 生体情報処理装置、方法、及びプログラム
CN116584939A (zh) * 2020-05-15 2023-08-15 首都医科大学 一种谵妄风险监测装置及系统
CN111613337B (zh) * 2020-05-15 2023-11-14 首都医科大学 一种重症监护病房用的智能化谵妄评估系统及评估方法
KR102525866B1 (ko) 2020-07-07 2023-04-25 사회복지법인 삼성생명공익재단 섬망 예측 방법 및 이의 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514982A (ja) * 2000-11-22 2004-05-20 リケア・インコーポレイテッド 疾患管理を医師ワークフローにて統合するためのシステム及び方法
KR100988609B1 (ko) * 2010-03-03 2010-10-19 한국지질자원연구원 지공간 상관관계 통합기법을 이용한 광상 부존 예측시스템 및 이를 이용한 광상 부존 예측방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514982A (ja) * 2000-11-22 2004-05-20 リケア・インコーポレイテッド 疾患管理を医師ワークフローにて統合するためのシステム及び方法
KR100988609B1 (ko) * 2010-03-03 2010-10-19 한국지질자원연구원 지공간 상관관계 통합기법을 이용한 광상 부존 예측시스템 및 이를 이용한 광상 부존 예측방법

Also Published As

Publication number Publication date
KR20120139908A (ko) 2012-12-28

Similar Documents

Publication Publication Date Title
KR101347509B1 (ko) 섬망 고위험군 예측모형 시스템 및 그 예측모형 방법, 및 그것을 이용한 섬망 고위험군 예측 시스템
Slankamenac et al. The comprehensive complication index: a novel continuous scale to measure surgical morbidity
Aven et al. On the use of uncertainty importance measures in reliability and risk analysis
Singh et al. Machine learning approach for the early prediction of the risk of overweight and obesity in young people
Martsolf et al. Examining the value of inpatient nurse staffing: an assessment of quality and patient care costs
Hua et al. A scoring system to predict unplanned intubation in patients having undergone major surgical procedures
Chang et al. Assessment of critical exposure and outcome windows in time-to-event analysis with application to air pollution and preterm birth study
Chadaga et al. Clinical and laboratory approach to diagnose COVID-19 using machine learning
Lu et al. Systematic review of risk adjustment models of hospital length of stay (LOS)
Lacson et al. Use of machine-learning algorithms to determine features of systolic blood pressure variability that predict poor outcomes in hypertensive patients
Williams et al. Severity scores in emergency department patients with presumed infection: a prospective validation study
US20170083670A1 (en) Drug adverse event extraction method and apparatus
Austin et al. The relationship between the C-statistic of a risk-adjustment model and the accuracy of hospital report cards: a Monte Carlo Study
Glance et al. Identifying quality outliers in a large, multiple-institution database by using customized versions of the Simplified Acute Physiology Score II and the Mortality Probability Model II0
Valbuena et al. Patterns of covariance between airborne laser scanning metrics and Lorenz curve descriptors of tree size inequality
Paulon et al. Joint modeling of recurrent events and survival: a Bayesian non-parametric approach
KR102111672B1 (ko) 소셜미디어 컨텐츠 기반 감정 분석 방법, 시스템 및 컴퓨터-판독가능 매체
Zhang et al. Predicting next-day discharge via electronic health record access logs
Monterde et al. Performance of comprehensive risk adjustment for the prediction of in-hospital events using administrative healthcare data: the queralt indices
Michael et al. The ROC curve for regularly measured longitudinal biomarkers
Bastani et al. Interpretable operations research for high-stakes decisions: Designing the greek covid-19 testing system
Prince et al. A machine learning classifier improves mortality prediction compared with pediatric logistic organ dysfunction-2 score: Model development and validation
Jeffin et al. Machine learning for prediction of clinical appointment no-shows
US20190205341A1 (en) Systems and methods for measuring collected content significance
JP5804363B2 (ja) 特許評価装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181210

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 7