KR102136604B1

KR102136604B1 - 대화형 인터페이스를 이용한 통계 분석 시스템과 통계분석 방법

Info

Publication number: KR102136604B1
Application number: KR1020180110900A
Authority: KR
Inventors: 유진태; 유진호
Original assignee: 유진바이오소프트 주식회사
Priority date: 2018-09-17
Filing date: 2018-09-17
Publication date: 2020-07-22
Also published as: KR20200031875A; WO2020060161A1; US20220035892A1

Abstract

본 발명은 통계 분석 시스템에 관한 것으로, 더 상세하게는 사용자와의 문답을 통해 사용자의 분석 목적 등을 유추해낼 수 있도록 하여 일반인들도 손쉽게 임상통계 분석 정보를 얻어낼 수 있도록 하며, 특히 임상데이터에 대한 통계분석에 적응한 대화형 인터페이스를 이용한 통계 분석 시스템에 관한 것이다.
통계분석 방법 또는 세부 통계 알고리듬을 잘 모르는 사용자는 통계 분석 프로그램을 사용하기가 굉장히 어려우며, 통계 분석 방법 또는 세부 통계 알고리듬을 잘 알고 있는 통계 전문가라 하더라도 해당 프로그램의 조작법 및 분석 결과 형식에 익숙하지 않을 경우 사용하는데 어려움이 있기는 마찬가지였다. 특히 다양한 변수가 사용되는 임상 데이터 처리에 있어서는 더욱 어려움이 있을 수 밖에 없다.
본 발명은 대화형 인터페이스를 채용하여 사용자가 원하는 통계 분석 목적에 따른 통계 분석에 필요한 변수 특성정보를 추출하고, 추출된 정보에 따라서 통계 분석 알고리듬을 선택, 설정하여 통계 분석이 이루어질 수 있도록 함으로써, 사용자가 의도하고자 하는 통계 분석 자료를 생성할 수 있도록 함으로써, 임상 데이터를 이용한 통계분석 방법에 적응 적인 대화형 인터페이스를 이용한 통계 분석 시스템과 그 시스템을 이용한 통계 분석 방법을 제공하고자 한다.

Description

대화형 인터페이스를 이용한 통계 분석 시스템과 통계분석 방법{STATISTICAL ANALYSIS SYSTEM AND METHOD USING CONVERSATIONAL INTERFACE}

본 발명은 통계 분석 시스템에 관한 것으로, 더 상세하게는 사용자와의 문답을 통해 사용자의 분석 목적 등을 유추해낼 수 있도록 하여 일반인들도 손쉽게 임상통계 분석 정보를 얻어낼 수 있도록 하며, 특히 임상데이터에 대한 통계분석에 적응한 대화형 인터페이스를 이용한 통계 분석 시스템에 관한 것이다.

멀티미디어, 반도체 기술의 발전으로 막대한 자료 등을 데이터화하고 그 데이터들을 통계하여 정리하고 그 결과를 제공할 수 있음은 물론 새로운 데이터의 추론 및 새로운 사실에 대한 접근이 손쉽게 가능하게 되는 등 다양한 분야에 통계 분석 프로그램이 이용되고 있다.

특히 임상 관련 분야에서는 질병을 일으키거나 질병 발생과 관련된 요인을 찾고, 새로 개발된 신약이나 치료법의 효과를 분석하기 위해서 다양한 통계 분석 알고리듬이 탑재되어 있는 소프트웨어를 빈번하게 이용하게 된다.

간수치, 콜레스테롤 수치, 혈압, 체질량 지수(BMI), 흡연 여부 등은 병원에서 대표적으로 확보할 수 있는 임상, 역학 변수들이다.

이러한 임상, 역학변수들은 치료 또는 연구하고자 하는 목적에 따라서 측정, 관찰 또는 실험을 통해 확보되는 변수들로 인하여 수십 건 이상으로 확대될 수 있다.

특히 이러한 임상, 역학 변수들 간에는 다양한 연관관계가 있을 수 있을 수 있으며, 또한 현대 의학의 발전으로 인해 새로이 개발되는 약물, 치료 방법, 검사 방법 등이 다양해짐에 따라 생성되는 변수들 또는 지속적으로 증가해가는 추세이며, 이들 변수 간 존재할 수 있는 연관관계도 복잡해질 수 밖에 없는 상황이다.

통계분석 전용 소프트웨어에서는 이러한 임상, 역학 변수 분석 시 변수 간 존재할 수 있는 연관 관계를 고려한 다양한 통계 분석 알고리듬을 탑재하여 통계 분석 프로세스를 구성하게 된다.

이와 같이 다양한 통계 분석 알고리듬이 탑재된 통계 분석 전용 소프트웨어 중 가장 대표적인 것이 SAS나 SPSS이며, 현재 연구자들이 가장 많이 사용하고 있는 통계 분석 전용 소프트웨어이다.

그러나 이러한 분석 소프트웨어들은 사용자가 분석하고자 하는 변수, 적용하 고자 하는 통계 알고리듬을 명확하게 알고 있다는 전제 하에서는 정확한 결과를 도출할 수 있지만, 통계적인 지식이 상대적으로 부족한 일반인들은 물론 임상의나 연구자들이 사용하기에는 다소 어려움이 있는 게 현실이다.

예를 들어, 분석하고자 하는 변수가 10개라고 가정할 때 적용하고자 하는 통계 알고리듬이 3개인 경우만 고려해도 변수들 간 가능한 분석 방법 개수는 135개(2개 변수로 이루어진 가능한 변수 조합 수 x 알고리듬 수 = 10x9/2 x 3)나 되기 때문에 통계 비전문가가 통계 분석 소프트웨어를 이용하여 분석을 하는 것은 현실적으로 어렵다고 할 수 있다.

도 1 내지 도 3은 종래 통계 분석 프로그램을 사용하여 통계 분석을 실행하는 방법의 일 예를 나타낸 도면으로서, IBM SPSS를 사용한 예를 나타낸다.

도 1 내지 도 3은 서로 다른 2군 간 연속형 변수의 평균차이 분석일 때의 예를 나타낸 것이다.

도 1에서와 같이, 주 메뉴에서'평균비교'메뉴를 선택하면, 사용자가 선택할 수 있는 통계 알고리듬의 서브 메뉴가 나타난다.

서브메뉴 단계에서 사용자가 '독립표본 T 검정' 메뉴를 선택하면 도 2에서와 같이 평균 비교하고자 하는 연속형 변수 및 그룹 변수 선택을 위한 메뉴가 나타난다.

사용자는 이에 따라서 도 2에서와 같이 연속형 변수와 그룹변수를 선택하게 된다.

이와 같은 단계를 거쳐 통계분석 실행을 거쳐 도 3에서와 같은 통계분석결과를 얻을 수 있으며, (a)에서와 같이 결과 모두를 선택하여 사용하거나, (b), (c) 에서와 같이, 통계분석 결과에서 필요한 내용만 선택할 수 있다.

결과(b)는 결과(c) 선택에 사용되는 조건이며, 결과(c)는 최종결과 후보를 나타낸다.

도 4는 연속형 변수의 평균차이 분석에 사용되는 통계 알고리듬의 선택 방법의 다른 예를 나타낸다.

이와 같이 기존 통계 분석 프로그램의 사용에 있어서, 통계 분석을 위해서 사용자는 개별 통계 분석법을 직접 선택한 후 분석에 사용되는 세부 알리고리듬 및 변수, 기타 분석 파라미터 들을 직접 수동으로 선택하는 방법으로 이루어져 있었다.

따라서 통계분석 방법 또는 세부 통계 알고리듬을 잘 모르는 사용자는 통계 분석 프로그램을 사용하기가 굉장히 어려우며, 통계 분석 방법 또는 세부 통계 알고리듬을 잘 알고 있는 통계 전문가라 하더라도 해당 프로그램의 조작법 및 분석 결과 형식에 익숙하지 않을 경우 사용하는데 어려움이 있기는 마찬가지였다.

이에 따라서 본 출원인은 대한민국 특허출원 2011년 제0104734호, "변수 연관 관계 자동 탐색 및 이를 이용한 동적 결과 리포트 산출방법"을 발명한 바 있다.

이와 같은 종래의 발명은 통계 분석 시 자주 사용되는 분석 파라미터들은 거의 정해져 있고, 또한 통계 전문가 들이 수행하는 복잡한 분석이라 하더라도 그 과정을 상세히 분석해 보면, 명제화 할 수 있는 2개 이상의 조건들을 몇 가지 단계를 거쳐 선택하는 과정으로 변환할 수 있다는 것을 고려하면 변수 특성에 따라서 통계 알고리듬을 자동 선택할 수 있다는 것에 기반을 둔 것이다.

이러한 본 출원인의 발명은, 의료 통계에서 사용되는 수많은 임상, 역학 변수의 특성을 파악하여 가장 많이 사용되는 유형으로 자동 분류해 주고, 분석하고자 하는 변수들과 적용하고자 하는 통계 알고리듬이 많을 경우 모든 변수들 간의 연관관계를 일일이 자동으로 지정해 주도록 하는 것에 그 기술적 특징이 있는 것이다.

이와 같은 종래 변수 연관 관계 자동 탐색 방법은 통계 알고리듬에 정해진 프로세스에 따라서 임상, 역학 변수의 특성을 고려하여 그 유형을 분리하고 이에 따라서 자동으로 적용될 통계 알고리듬을 정해주는 것으로, 변수 특성에 따라서 자동적으로 통계알고리듬을 적용이 이루어져 통계분석 방법 또는 세부 통계 알고리듬을 잘 모르는 사용자들도 손쉽게 통계 분석 프로그램을 사용할 수 있으나, 사용자가 진행하고자 하는 통계분석 목적에 맞는 통계 분석 알고리듬이 적절하게 선택되어 통계 분석이 이루어 졌는가는 보장할 수 없다.

이와 같이 통계분석 프로그램은 프로그램의 사용목적 및 해당 분야에 따른 특성 등을 고려하여 적절한 통계 분석 알고리듬을 선택하여야 효과적인 통계 분석이 이루어지게 된다.

본 발명은 통계분석에 필요한 변수 특성정보를 추출하고, 그 추출된 변수 특성정보에 따라서 통계 분석에 필요한 통계 알고리듬을 자동으로 선택할 수 있도록 함에 있어서, 대화형 인터페이스를 채용하여 사용자가 원하는 통계 분석 목적에 따른 통계 분석에 필요한 변수 특성정보를 추출하고, 추출된 정보에 따라서 통계 분석 알고리듬을 선택, 설정하여 통계 분석이 이루어질 수 있도록 함으로써, 사용자가 의도하고자 하는 통계 분석 자료를 생성할 수 있도록 함으로써, 임상 데이터를 이용한 통계분석 방법에 적응 적인 대화형 인터페이스를 이용한 통계 분석 시스템과 그 시스템을 이용한 통계 분석 방법을 제공하고자 함을 그 목적으로 한다.

본 발명은 정해질 변수특성에 따른 적응적인 알고리듬을 선택, 설정하여 임상정보의 통계분석이 가능하도록 한 것으로,

(a). 대화형 인터페이스를 통해 사용자가 통계 분석 목적 및 그 목적에 따라 통계분석에 필요한 변수 특성정보를 추출하고,

(b). 이에 따라서 필요한 알고리듬을 설정하고, 이에 따라서 통계분석 자료를 생성할 수 있도록 한 것으로 다양한 변수가 이용될 수 있는 임상데이터 통계 분석에 적응적인 대화형 인터페이스를 이용한 통계 분석 시스템을 그 기술적 특징으로 한다.

본 발명 대화형 인터페이스를 이용한 통계 분석 시스템은, 사용자의 통계 분석 목적 및 변수 정보를 추출하기 위해 사용자에게 질의 정보를 제공하며 사용자로부터 제공된 질의에 대한 답변정보를 수집하기 위한 대화형인터페이스수단과, 대화형인터페이스수단으로 부터 얻어지는 사용자의 답변정보를 이용하여 분석특징정보를 추출하는 분석특징정보추출수단(20)과, 통계알고리듬이 저장 관리되며 통계분석제어수단의 요청에 따라서 통계알고리듬을 제공하는 알고리듬관리수단과, 대화형인터페이스수단을 통해 사용자에게 대화형 인터페이스를 제공하며 대화형 인터페이스를 통해 수집된 답변정보로부터 분석특징정보추출수단을 통해 분석특징정보를 추출하고 분석특징정보에 따라서 통계분석에 이용될 통계 알고리듬을 선택하여 통계분석을 실행 제어하는 통계분석제어수단, 통계분석제어수단으로부터 설정된 통계알고리듬에 따라서 통계분석을 수행하고 그 결과정보를 제공하는 통계분석수단을 포함하여 구성되는 것을 특징으로 한다.

그리고 이와 같은 본 발명 대화형 인터페이스를 이용한 통계 분석 시스템을 이용한 통계 분석 방법은,

통계분석프로그램이 시작되면 사용자와의 대화를 위한 대화형인터페이스를 제공하여 사용자에게 질의하고 질의에 대한 답변정보를 얻어 저장하는 특징정보추출유도과정과, 특징정보추출유도과정이 완료되면 상기 답변정보로부터 사용자가 원하는 통계분석 목적 및 통계분석에 적용될 변수 특성정보를 포함하는 분석특징정보를 추출하기 위한 분석특징정보추출과정과, 분석특징정보추출과정으로 부터 추출된 분석특징정보에 매칭되는 알고리듬을 통계분석 알고리듬으로 설정하는 알고리듬설정과정과, 알고리듬설정과정을 통해 설정된 알고리듬에 따라서 통계분석이 실행하는 통계분석실행과정과, 통계분석실행과정을 통해 얻어진 결과들을 사용자에게 제공하는 통계분석결과제공과정을 포함하여 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 방법.

그리고 상기 특징정보추출유도과정은 통계분석시스템이 시작되면 대화분석 시작을 요청하게 되고, 사용자로부터 대화분석 시작 요청이 있는 경우 사용자에게 프로그램 사용목적을 얻어내기 위한 질의를 제공하고 그 답변을 입력받는 목적질의과정과, 상기 목적질의과정을 통해 답변이 입력되면 분석특징정보추출수단에 저장하고 그 선택된 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위한 질의정보를 제공하고 그 답변정보를 입력받아 분석특징정보로 저장하는 변수특성정보질의 과정을 포함하여 이루어지는 것을 특징으로 한다.

이와 같은 본 발명에 대화형 인터페이스를 이용한 통계 분석 시스템에 따르면, 구체적인 통계 알고리듬을 모른다 하더라도 대화형 인터페이스를 통해 분석하고자 하는 목적과 일치하는 항목을 선택하는 과정을 거치는 것으로써, 자신이 원하는 통계 분석 결과를 얻을 수 있는 것으로, 특히 임상 데이터를 처리함에 있어서 효과적인 통계 분석 방법을 제공할 수 있게 된다.

도 1 내지 도 3은 종래 통계 분석 프로그램을 사용하여 통계 분석을 실행하는 방법의 일 예를 나타낸 것으로, IBM SPSS에서 서로 다른 2군 간 연속형 변수의 평균차이 분석일 때의 예를 나타낸 도면.
도 4는 연속형 변수의 평균차이 분석에 사용되는 통계 알고리듬의 선택 방법의 다른 예를 나타낸 도면.
도 5는 본 발명 대화형 인터페이스를 이용한 통계 분석 시스템의 구성을 나타낸 블록도.
도 6내지 도 37은 본 발명 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정의 일 예를 나타낸 도면.
도 6은 임상데이터를 이용한 통계분석방법의 전체 과정을 나타낸 플로우차트.
도 7은 대화형 인터페이스의 일 예를 나타내며, 통계분석목적을 얻어내기 위한 사용자에게 제공되는 질의 정보를 포함하는 대화형 인터페이스를 나타낸 도면.
도 8은 상기의 목적 질의과정 중 선택된 임상데이터를 위한 통계분석에 대한 질의정보를 나타낸 대화형 인터페이스를 나타낸 도면.
도 9는 연속형 변수의 그룹 간 평균차이 분석(Part4-1)에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 대화형 인터페이스를 나타낸 도면.
도 10은 연속형 변수의 그룹 간 평균 차이 분석에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸 도면.
도 11은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트.
도 12 내지 도 19는 도 11의 각 알고리듬에 있어서, 세부 알고리듬 자동 선택방법을 나타낸 플로우 챠트.
도 20은 도 12 내지 도 19의 세부 알고리듬 자동 선택방법에 있어서, 변수 데이터의 정규분포 테스트 방법(A)을 나타낸 플로우 챠트.
도 21 내지 도 27은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.
도 28은 변수 및 파라미터를 설정하는 과정에 있어서, 평균비교그룹변수선택과정을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸 도면.
도 29는 변수 및 파라미터를 설정하는 과정에 있어서, 그룹층화변수 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸 도면.
도 30은 변수 및 파라미터를 설정하는 과정에 있어서, 연속형 반응변수 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸 도면.
도 31은 변수 및 파라미터를 설정하는 과정에 있어서, 연속형수치 표시방법 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸 도면.
도 32는 변수 및 파라미터를 설정하는 과정에 있어서, 세부 알고리듬 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸 도면.
도 33은 변수 및 파라미터를 설정하는 과정에 있어서, 결과작성방법 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸 도면.
도 34는 결과작성방법 선택을 수행하기 위한 사용자 인터페이스에 있어서, 표편집기의 일 예를 나타낸 도면.
도 35는 결과작성방법 선택을 수행하기 위한 사용자 인터페이스에 있어서, 그림편집기의 일 예를 나타낸 도면.
도 36은 통계분석 결과정보를 제공하는 도면으로서, 도 36은 통합분석 결과표, 도 37은 개별 변수 분석 결과를 그래프로 나타낸 도면.
도 38 내지 도 44는 본 발명 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정의 일 예(연속형 반응변수에 영향을 주는 요인분석(Part4-2))을 답변정보로 선택되었을 경우에 대한 과정을 나타낸 도면.
도 38은 연속형 반응변수에 영향을 주는 요인분석(Part4-2)에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 대화형 인터페이스를 나타낸 도면.
도 39는 연속형 반응변수에 영향을 주는 요인분석(Part4-2)에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸 도면.
도 40은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성(Part4-2)에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트.
도 41은 알고리듬 '2-way ANOVA' 의 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트.
도 42 내지 도 44는 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면으로,
도 42는 'Univariable linear regression'와 'Multivariable linear regression' 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 43은 '2-way ANOVA' 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 44는 'Linear mixed effect model analysis'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 45 내지 도 54는 본 발명 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정의 일 예(범주형 변수들 간 연관관계 분석(Part4-3))을 답변정보로 선택되었을 경우에 대한 과정을 나타낸 도면.
도 45는 범주형 변수들 간 연관관계 분석(Part4-3)에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 대화형 인터페이스를 나타낸 도면.
도 46은 범주형 변수들 간 연관관계 분석(Part4-3)에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸 도면.
도 47은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성(Part4-3)에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트.
도 48은 통계알고리듬 One sample proportion test 세부 알고리듬 자동 선택과정을 나타낸 플로우챠트.
도 49는 통계알고리듬 Chi-squared test, Yates'correction, Fisher's exact test 세부 알고리듬 자동 선택 과정을 나타낸 플로우챠트.
도 50 내지 도 54는 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.
도 50은 Proportion test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 51은 Chi-squared test, Fisher's exact test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 52는 Linear by linear association 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 53은 McNemar's test, McNemar-Bowker test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 54는 Cochran's Q test, Friedman test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 55 내지 도 61은 본 발명 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정의 일 예(Part4-4 ;범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸 도면.
도 55는 범주형 반응 예측을 위한 요인 분석 및 예측 모형개발(Part4-4)에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 대화형 인터페이스를 나타낸 도면.
도 56은 범주형 반응 예측을 위한 요인 분석(Part4-4)에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸 도면.
도 57은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성(Part4-4)에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트.
도 58은 내지 도 61은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.
도 58은 ROC curve analysis(cutoff number =1), Cutoff analysis(cutoff number 〉1) 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 59는 Univariable binary logistic regression, Univariable multinomial logistic regression, Univariable ordinal logistic regression 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 60은 Multivariable binary logistic regression, Multivariable multinomial logistic regression, Multivariable ordinal logistic regression 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 61은 Logistic mixed effect model analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 62 내지 도 70은 본 발명 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정의 일 예(Part4-5 ; 생존 자료 분석)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸 도면.
도 62는 생존자료 분석(Part4-5)에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 대화형 인터페이스를 나타낸 도면.
도 63은 생존자료 분석(Part4-5)에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸 도면.
도 64는 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성(Part4-5)에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트.
도 65 내지 도 70은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.
도 65는 Time-dependent ROC curve analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 66은 Kaplan-Meier curve analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 67은 Univariable Cox proportional hazards regression analysis, Cox regression using covariates with time-varying effect: univariable analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 68은 Multivariable Cox proportional hazards regression analysis, Cox regression using covariates with time-varying effect: multivariable analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 69는 Cox regression using repeatedly measured covariates 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 70 내지 도 78은 본 발명 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정의 일 예(Part4-6 ; 기타 분석)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸 도면.
도 70은 기타 분석(Part4-6)에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 대화형 인터페이스를 나타낸 도면.
도 71은 기타 분석(Part4-6)에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸 도면.
도 72는 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성(Part4-6)에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트.
도 73 내지 도 78은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.
도 73은 Correlation analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 74는 Linear mixed effect analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 75는 Logistic mixed effect analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 76은 Cox mixed effect analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 77은 Model Comparison Ⅰ, Model Comparison Ⅱ 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 78은 Internal Validation Ⅰ, Internal Validation Ⅱ 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.
도 79는 External Validation Ⅰ, External Validation Ⅱ 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

본 발명 대화형 인터페이스를 이용한 통계 분석 시스템을 첨부된 도면 도 5를 참조하여 설명하면 다음과 같다.

도 5는 본 발명 대화형 인터페이스를 이용한 통계 분석 시스템의 구성을 나타낸 블록도이다.

사용자의 통계 분석 목적 및 변수 정보를 추출하기 위해 사용자에게 질의 정보를 제공하며 사용자로부터 제공된 질의에 대한 답변정보를 수집하기 위한 대화형인터페이스수단(10)과, 대화형인터페이스수단(10)으로 부터 얻어지는 사용자의 답변정보를 이용하여 사용자의 통계분석 목적 및 변수 정보를 포함하는 분석특징정보를 추출하는 분석특징정보추출수단(20)과, 통계알고리듬이 저장 관리되며 통계분석제어수단(40)의 요청에 따라서 통계알고리듬을 제공하는 알고리듬관리수단(30)과, 대화형인터페이스수단(10)을 통해 사용자에게 대화형 인터페이스를 제공하며 대화형 인터페이스를 통해 수집된 답변정보로부터 분석특징정보추출수단(20)를 통해 분석특징정보를 추출하고 분석특징정보에 따라서 통계분석에 이용될 통계 알고리듬을 선택하여 통계분석을 실행 제어하는 통계분석제어수단(40), 통계분석제어수단(40)으로부터 설정된 통계알고리듬에 따라서 통계분석을 수행하고 그 결과정보를 제공하는 통계분석수단(50)을 포함하여 구성된다.

이와 같은 본 발명 대화형 인터페이스를 이용한 통계 분석 시스템은, 사용자와의 문답을 통해 사용자의 의도를 추출하며, 통계 분석의 요인이 되는 분석특징정보를 추출하여 사용자의 의도에 맞는 통계알고리듬을 자동으로 적용할 수 있도록 함을 기술적 특징으로 한다.

상기 대화형인터페이스수단(100)은 통계분석제어수단(40)의 제어에 따라서 사용자에게 질의정보를 제공하고 그 답변정보를 사용자가 입력하기 위한 인터페이스수단을 제공하기 위한 수단이다.

상기 분석특징정보추출수단(20)은, 통계분석제어수단(40)의 제어에 따라서 대화형인터페이스수단(10)을 통해 입력된 사용자 답변정보에 따라서 분석특징정보를 추출하는 수단으로, 대화형인터페이스수단(10)으로 부터 답변정보를 수집하고 관리하는 답변정보저장수단(21), 질의정보에 대한 각 답변정보별 분석특징정보 추출을 위한 레퍼런스(reference) 정보가 저장 관리되는 레퍼런스저장수단(22), 저장되는 답변정보로부터 레퍼런스저장수단(22)의 레퍼런스 정보를 참조하여 분석특징정보를 추출하는 특징정보추출수단(23)을 포함한다.

상기 알고리듬관리수단(30)은 통계알고리듬이 저장 관리되며 통계분석제어수단(40)의 요청에 따라서 통계알고리듬을 제공하는 수단이다.

상기 통계알고리듬은 통계분석을 어떠한 방법으로 진행할 것인지에 대한 프로세스로 이루어진 것으로, 본 실시 예에서는 다음과 같은 통계알고리듬을 나타낸다.

Two sample T test, Paired T test, 1-way ANOVA, Repeated measures 1-way ANOVA, Repeated measures 2-way ANOVA, 1-way ANCOVA, 1-way ANCOVA with repeated measures, 2-way ANCOVA with repeated measures.

통계알고리듬은 이의 예에 한정되지 않고, 보다 더 다양한 통계알고리듬을 등록하여 저장할 수 있다.

상기 통계분석제어수단(40)은 사용자에게 대화형 인터페이스를 통해 질의를 하고 그 응답정보에 따라서 분석특징정보를 추출하고 이에 따라서 통계알고리듬을 설정하여 통계분석을 실행하는 제어수단이다.

상기 통계분석제어수단(40)은 필요에 따라서 프로그램제작자 또는 시스템 관리자가 통계알고리듬을 알고리듬관리수단(30)에 추가로 등록 저장하거나, 기존에 등록된 통계알고리듬을 삭제할 수 있도록 하는 수단을 제공하는 알고리듬등록수단(41)과, 통계분석 프로그램의 사용목적 추출 및 통계분석 프로그램의 사용목적별 변수 특징정보를 추출하기 위해 사용자와의 대화를 수행하며 사용자로 부터의 답변정보를 입력받기 위한 인터페이스 정보가 저장관리 되는 인터페이스 정보 관리수단(42)과, 사용자의 답변정보로부터 분석특징정보를 추출하기 위한 제어정보를 분석특징정보추출수단(20)에 제공하여 분석특징정보추출수단(20)으로부터 분석특징정보를 추출하도록 하며 분석특징정보추출수단(20)으로부터 추출된 분석특징정보로부터 알고리듬관리수단(30)의 알고리듬을 설정하여 통계분석이 이루어지도록 통계분석수단(50)의 제어정보를 제공하는 분석제어수단(43)을 포함하여 구성된다.

상기 통계분석수단(50)은 상기 분석제어수단(43)의 제어정보에 따라서 통계분석을 실행하는 수단으로, 상기 통계분석제어수단(40)으로부터 선택된 통계알고리듬에서 제공하는 프로세스에 따라서 통계분석을 실행하는 분석실행수단(51)과 분석실행수단(51)을 통해 얻어진 분석결과정보를 제공하는 분석결과제공수단(52)을 포함하여 구성된다.

상기 분석결과제공수단(52)은 분석결과 정보의 제공방법을 사용자가 설정할 수 있도록 분석결과제공방법설정수단(52a)을 더 포함할 수 있다.

이와 같은 구성을 갖는 본 발명 대화형 인터페이스를 이용한 통계 분석 시스템의 그 동작을 설명하면 다음과 같다.

본 발명은 사용자에게 질의를 제공하면서 이의 응답을 받아 그 연관관계정보로부터 사용자가 통계분석을 실행하는 목적 및 적용될 변수의 특성 등을 파악하도록 사용자에게 대화형 인터페이스를 제공한다.

통계분석제어수단(40)에서는 대화형인터페이스수단(10)을 통해 질의정보를 제공하며 사용자는 대화형인터페이스수단(10)을 통해 질의정보에 따른 답변정보를 입력하게 된다.

통계분석제어수단(40)에서는 이와 같은 답변정보를 상기 분석특징정보추출수(20)단의 답변정보저장수단(21)에 저장하고, 이러한 답변정보에 따른 다음 단계의 질의 정보를 선택하여 대화형인터페이스수단(10)에 제공한다.

사용자가 상기의 과정을 반복하여 답변정보를 입력할 때마다 분석특징정보추출수단(20)의 답변정보저장수단(21)에 저장되며, 통계분석제어수단(40)에서 제공하는 대화형인터페이스정보에 따라 질의 정보의 제공이 완료되면 통계분석제어수단(40)의 분석제어수단(43)에서는 분석특징정보추출수단(20)으로 제어정보를 제공하여 답변정보저장수단(21)에 저장된 사용자가 입력한 답변정보를 이용하여 분석특징정보를 추출하게 된다.

상기 분석특징정보추출수단(20)의 특징정보추출수단(23)에서는 답변정보저장수단(21)에 저장된 사용자의 답변정보를 이용하여 레퍼런스저장수단(22)으로부터 분석특징정보를 추출하기 위한 레퍼런스 정보를 로딩하여 특징정보를 추출하게 된다.

분석제어수단(43)에서는 그 답변정보를 레퍼런스 정보에 따라서 분류하여 사용자의 분석목적 정보 및 적용될 변수 유형 및 변수들 간의 연관관계정보를 생성하여 분석특징정보를 추출하게 된다.

분석제어수단(43)에서는 특징정보추출수단(23)의 분석특징정보의 추출이 완료되면 알고리듬관리수단(30)에 등록된 통계분석알고리듬 중 상기 추출된 분석특징정보와 매칭되는 통계분석 알고리듬을 통계분석수단(50)의 분석통계 분석에 적용될 알고리듬으로 설정한다.

이후, 통계분석수단(50)의 분석실행수단(51)에서는 이와 같이 설정된 통계알고리듬의 프로세스에 따라서 통계분석을 실행하고 분석결과제공수단(52)에서는 사용자가 선택한 방법에 따라서 그 결과정보를 제공한다.

이와 같이 사용자에게 분석목적 및 그 분석에 필요한 유형의 변수에 관련된 질의들을 순차적으로 제공하고 그 답변정보에 따라서 정해진 질의를 지속하여 제공함으로써, 사용자의 분석목적 및 그 분석에 필요한 변수 정보들을 얻어낼 수 있게 된다.

한편 상기 통계분석제어수단(40)에서 이루어지는 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정을 설명하면 다음과 같다.

통계분석시스템이 시작되면 사용자와의 대화를 위한 대화형인터페이스수단(10)을 제어하여 대화형인터페이스를 제공하고 대화형인터페이스를 통해 사용자에게 질의하고 질의에 대한 답변정보를 얻어 저장하는 특징정보추출유도과정과, 특징정보추출유도과정이 완료되면, 분석특징정보추출수단(20)을 제어하여 상기 답변정보로부터 사용자가 원하는 통계분석 목적 및 통계분석에 적용될 변수 특성정보를 추출하기 위한 분석특징정보추출과정과, 분석특징정보추출과정(20)으로 부터 추출된 통계분석 목적 및 변수 특성정보에 매칭되는 알고리듬을 알고리듬관리수단(30)으로부터 선택하여 통계분석수단(50)에 설정하는 알고리듬설정과정과, 통계분석수단(50)을 제어하여 설정된 알고리듬에 따라서 통계분석이 실행하는 통계분석실행과정과, 통계분석실행과정을 통해 얻어진 결과들을 대화형인터페이스수단(10)을 통해 사용자에게 제공하는 통계분석결과제공과정을 포함하여 이루어진다.

상기 특징정보추출유도과정은 통계분석시스템이 시작되면 대화분석 시작을 요청하게 되고, 사용자로부터 대화분석 시작 요청이 있는 경우 사용자에게 프로그램 사용목적을 얻어내기 위한 질의를 제공하고 그 답변을 입력받는 목적질의과정과, 상기 목적질의과정을 통해 답변이 입력되면 분석특징정보추출수단에 저장하고 그 선택된 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위한 질의정보를 제공하고 그 답변정보를 입력받아 분석특징정보추출수단에 저장하는 변수특성정보질의과정을 포함하여 이루어진다.

도 6내지 도 79는 본 발명 대화형인터페이스를 이용한 임상통계분석 방법의 실행과정의 일 예를 나타낸 것으로서, 이를 참조하여 상세히 설명하면 다음과 같다.

도 6은 임상데이터를 이용한 통계분석방법의 전체 과정을 나타낸 플로우 차트이다.

도 7은 대화형 인터페이스의 일 예를 나타내며, 통계분석목적을 얻어내기 위한 사용자에게 제공되는 질의 정보를 포함하는 대화형 인터페이스를 나타낸다.

통계분석프로세스가 시작되면 통계분석 목적을 얻어내기 위한 목적질의과정이 수행되며, 도 7에서와 같은 프로그램 사용 목적을 질의하기 위한 대화형 인터페이스가 제공된다.

상기 목적질의과정에는 연구계획서 작성에 필요한 분석, 원본데이터에서 연구목적을 위한 서브데이터 추출 및 서로 다른 데이터 병합, 통계분석을 위한 임상데이터 전처리, 임상데이터를 이용한 통계분석, 기존분석결과를 이용한 메타분석, 산출된 데이터의 신뢰성분석, 이 포함되어 구성될 수 있다.

도 7에서와 같이 대화형 인터페이스는 상단으로는 프로세스에 따라 진행될 각 질의과정(각 Part) 북마크부가 구성되며, 그 하단으로는 각 단계별 질의정보가 구성되고, 그 우측 일단으로는 현 단계에서 다음단계로 진행시킬 수 있는 링크마크부가 구성된다.

상기 각 목적질의과정에서 질의정보에 대해 선택할 수 있는 답변정보의 하단으로는 예시정보를 구성하여 사용자가 손쉽게 답변정보 즉, 질의정보에 대해 답변을 선택할 수 있도록 한다.

본 실시 예에서, 사용자는 '예시 : 논문/발표 자료에 사용될 통계 분석 결과표와 그림생성'을 확인하고 'Part4: 임상 데이터를 이용한 통계분석'을 선택함을 나타낸다.

이와 같이 임상데이터를 이용한 통계분석(Part4)이 선택되면 변수특성정보를 얻어내기 위한 변수특성표 작성을 위해서 Part4를 실행하게 되며, 도 7은 변수특성표 작성을 위한 질의정보를 제공한다.

상기 변수특성표 작성을 위한 질의정보는 연속형변수의 그룹간 평균차이분석(Part4-1), 연속형 반응변수에 영향을 주는 요인분석(Part4-2), 범주형 변수들 간 연관관계 분석(Part4-3), 범주형 반응 예측을 위한 요인 분석 및 예측 모형개발(Part4-4), 생존자료 분석(Part4-5), 기타분석(Part4-6)이 포함되어 구성될 수 있다.

상기 각 질의정보에 대한 답변정보를 입력하도록 하기 위한 Part 단위로는 예시정보를 포함한다.

도 8에서는 상기의 목적 질의과정 중 선택된 임상데이터를 위한 통계분석에 대한 질의정보이고, 이에 대해 사용자는 연속형 변수의 그룹간 평균차이분석(Part4-1)을 답변정보로 선택함을 나타낸다.

상기 변수특성표작성을 위한 도 8의 대화형인터페이스에서는 우측 일 단으로 다음단계 또는 이전 단계로 진행할 수 있도록 링크버튼부가 구성된다.

도 7에서와 같이 최초단계에서는 다음단계로의 진행만 가능한 링크마크부가 구성되지만, 도 8 이후에서와 같이 이전 단계가 있는 경우에는 다음단계, 전단계로 복귀를 위한 링크마크부가 구성된다.

이와 같이 변수특성표 작성을 위한 도 7에서와 같은 선택정보 중 사용자가 선택한 PART에 대하여 변수 특정에 대한 정보를 추출하여 통계알고리듬을 선택하게 된다.

본 발명 실시 예에서는 '연속형 변수의 그룹 간 평균 차이 분석'(Part4-1)에 대해 설명하면 다음과 같다.

Part4-1 ;'연속형 변수의 그룹 간 평균 차이 분석'을 위한 프로세스.

도 8에서와 같이 연속형 변수의 그룹간 평균차이 분석(Part4-1)이 선택되면 연속형 변수의 그룹 간 평균차이 분석에 대한 도 9의 다수 조건이 조합된 변수 특성을 선택하기 위한 프로세스가 진행된다.

연속형 변수의 그룹간 평균차이 분석에는 연속형 변수의 특성, 평균 비교할 서브그룹 변수 사용유무, 비교할 서브 그룹 수, 제어할 공변량 여부에 대한 질의정보를 포함한다.

상기 연속형 변수의 특성에는 독립적으로 측정된 자료인지, 쌍으로 구성된 자료인지, 시간차를 두고 3회 이상 반복 측정된 자료인지를 확인하는 질의정보를 포함하며, 비교할 서브 그룹 수는 평균 비교할 서브 그룹 변수 사용 유무에 따라서 생성되는 질의정보이다.

이와 같은 과정을 통해 사용자의 프로그램 사용목적 및 변수 특성정보를 얻어내면 이에 따라서 통계알고리듬을 선택한다.

도 10은 상기와 같이 연속형 변수의 그룹 간 평균 차이 분석에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸다.

상기 선택정보에는 선택된 통계알고리듬에 대해 통계분석실행과정을 진행하기 위한 변수 및 파라미터 설정정보를 포함하며, 통계분석을 수동으로 사용자가 직접 선택할 수 있도록 하는 항목정보를 더 포함한다.

도 10에서와 같이 통계알고리듬에 대한 선택정보를 제공하는 것으로, 분석에 사용할 구체적인 통계알고리듬 선택을 위한 대화형 인터페이스는, 상단으로 현재 프로그램 사용목적 정보(연속형 변수의 그룹간 평균 차이 분석)가 표기되며 그 하단 내부로 현재 분석된 통계알고리듬이 표시되고, 상기 통계알고리듬을 진행하기 위한 변수 및 파라미터설정을 위해 선택/설정해야할 안내정보들이 포함되며, 사용자의 선택에 따라 다음 프로세스인 변수 및 파라미터 설정을 위한 링크버튼부을 포함한다.

또한 사용자가 직접 통계알고리듬을 선택할 수 있도록 설정하기 위한 자동/수동 선택항목과 선택항목에 대해 수동 선택 시 선택할 수 있는 통계알고리듬 정보가 더 포함된다.

도 11은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트이다.

연속형 변수의 그룹 간 평균차이 분석에 있어서 통계알고리듬을 선택하는 프로세스는 독립적으로 측정된 자료인지, 쌍으로 구성된 자료인지, 시간차를 두고 3회 이상 반복 측정된 자료인지를 확인하는 연속형 변수의 특성을 판단하는 과정, 서브그룹변수 사용유무 및 비교할 서브 그룹 수를 판단하는 과정, 제어할 공변량 사용유무에 대한 판단과정, 상기 과정을 통해 판단된 결과에 따라서 통계알고리듬을 선택하는 과정으로 이루어진다.

도 12 내지 도 19는 각 알고리듬에 있어서, 세부 알고리듬 자동 선택방법을 나타낸 플로우 챠트이고, 도 20은 도 12 내지 도 19의 세부 알고리듬 자동 선택방법에 있어서, 변수 데이터의 정규분포 테스트 방법(A)을 나타낸 플로우 챠트이다.

먼저 도 12는 알고리듬 'Two sample T test' 의 세부 알고리듬 자동 선택과정을 나타낸 플로우 챠트이다.

먼저 정규분포 테스트를 수행하여 정규분포를 따르는 경우와 정규분포를 따르지 않는 경우를 판단하는 과정, 정규분포를 따르지 않는 경우에 해당하는 통계알고리듬을 선택하는 과정과, 정규분포를 따르는 경우 분산의 동질성 테스트(Leven's test)를 수행하는 과정을 더 포함하고, 분산의 동질성테스트 결과 유의확률값(P-Vaule)을 기준 값과 대비하여 서브그룹의 분산이 동일한 경우와 서브그룹의 분산이 다른 경우를 판단하여 알고리듬을 결정하는 과정을 포함하여 이루어진다.

상기 유의확률값(P-Value)의 기준 값을 사용자가 설정할 수 있는 과정을 더 포함할 수 있다.

상기 유의확률값(P-Value)은 0.05가 일반적으로 적용되지만, 사용자가 다른 값으로 선택하여 설정할 수 있다.

도 20은 상기 변수 데이터의 정규분포 테스트 과정(A)을 나타낸 플로우 차트이다.

하나 이상의 정규분포 테스트 알고리듬(Kolmogorov-Smirnov test, Lilliefors test, Shapiro-Wiks test)을 통해 유의확률값(P-Vaule)을 계산하는 과정, 상기 과정을 통해 얻어진 P-Value가 기준값(0.05)과 대비하여 정규분포를 따르는 경우(정규분포), 정규분포를 따르지 않는 경우(비정규분포)를 판단하는 과정으로 이루어진다.

상기 정규분포/비정규분포를 판단하는 기준은 P-Value이 기준값 보다 큰 값이 있는 가를 판단하여 하나라도 있는 경우 있는 경우 정규분포로 판단한다.

이와 같은 정규분포테스트결과에 따라서 정규분포를 따르지 않는 경우에는 통계알고리듬(wilcoxon rank sum test)으로 선택한다.

그리고 정규분포를 따르는 경우에는 분산의 동질성테스트(Leven's test)를 수행하여 P-Vaule 가 기준값(0.05) 이상일 경우 서브그룹의 분산이 동일한 경우로 판단하고, P-Vaule 가 기준값(0.05) 미만인 경우 서브그룹의 분산이 다른 경우로 판단한다.

상기 분산의 동질성 테스트 결과 서브그룹의 분산이 동일한 경우에는 통계알고리듬 'Student T test'를 선택하고 서브그룹의 분산이 다른 경우에는 'Welch T test' 를 선택한다.

도 13은 알고리듬 'Paired T test' 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

'Paired T test'는 상기 도 20에서와 같은 정규분포테스트를 수행하고 정규분포를 따르는 경우에는 'Paired sample t test'를 선택하고, 정규분포를 따르지 않는 경우에는 'Wilcoxon signed rank test'를 선택한다.

도 14는 알고리듬 '1-way ANOVA' 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

'1-way ANOVA'는 상기 도 20에서와 같은 정규분포테스트를 수행하고 정규분포를 따르는 경우에는 'Parametric 1-way ANOVA'를 선택하고, 정규분포를 따르지 않는 경우에는 'Kruskal-Wallis H test'를 선택한다.

도 15는 알고리듬 'Repeated measures 1-way ANOVA' 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

'Repeated measures 1-way ANOVA'는 상기 도 20에서와 같은 정규분포테스트를 수행하고 정규분포를 따르는 경우에는 'Parametric test'를 선택하고, 정규분포를 따르지 않는 경우에는 'Non-parametric test'를 선택한다.

도 16은 알고리듬 'Repeated measures 2-way ANOVA' 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

'Repeated measures 2-way ANOVA'는 상기 도 20에서와 같은 정규분포테스트를 수행하고 정규분포를 따르는 경우에는 'Parametric test'를 선택하고, 정규분포를 따르지 않는 경우에는 'Non-parametric test'를 선택한다.

도 17은 알고리듬 '1-way ANCOVA' 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

'1-way ANCOVA'는 상기 도 20에서와 같은 정규분포테스트를 수행하고 정규분포를 따르는 경우에는 'Parametric test'를 선택하고, 정규분포를 따르지 않는 경우에는 'Non-parametric test'를 선택한다.

도 18은 알고리듬 '1-way ANCOVA with repeated measures' 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

'1-way ANCOVA with repeated measures'는 상기 도 20에서와 같은 정규분포테스트를 수행하고 정규분포를 따르는 경우에는 'Parametric test'를 선택하고, 정규분포를 따르지 않는 경우에는 'Non-parametric test'를 선택한다.

도 19는 알고리듬 '2-way ANCOVA with repeated measures' 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

'2-way ANCOVA with repeated measures'는 상기 도 20에서와 같은 정규분포테스트를 수행하고 정규분포를 따르는 경우에는 'Parametric test'를 선택하고, 정규분포를 따르지 않는 경우에는 'Non-parametric test'를 선택한다.

도 21 내지 도 27은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.

도 21은 'Two sample T test', '1-way ANOVA'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'Two sample T test', '1-way ANOVA'는, 평균비교그룹변수 선택과정, 사용자의 선택에 따라서 그룹층화 변수 선택(선택사항)과정, 연속형 반응변수 선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 22는 'Paired T test'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'Paired T test'는, 그룹층화 변수 선택(선택사항)과정, 쌍변수 선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 23은 'Repeated measures 1-way ANOVA'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'Repeated measures 1-way ANOVA'는, 그룹층화 변수 선택과정(선택사항), 반복측정 변수 선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 24는 'Repeated measures 2-way ANOVA'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'Repeated measures 2-way ANOVA'는, 평균비교 그룹변수 선택과정, 그룹층화 변수 선택과정(선택사항), 반복측정 변수 선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 25는 '1-way ANCOVA'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'1-way ANCOVA'는, 평균비교그룹 변수선택과정, 그룹층화 변수 선택과정(선택사항), 연속형 반응 변수 선택과정, 공변량선택과정, 교호작용선택과정(선택사항), 반복측정 변수 선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 26은 1??way ANCOVA with repeated measures'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'1-way ANCOVA with repeated measures'는, 그룹층화 변수 선택과정(선택사항), 반복측정 변수 선택과정, 공변량선택과정, 교호작용선택과정(선택사항), 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 27은 '2-way ANCOVA with repeated measures'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'2-way ANCOVA with repeated measures'는, 평균비교그룹 변수선택과정, 그룹층화 변수 선택(선택사항)과정, 반복측정 변수 선택과정, 공변량선택과정, 교호작용선택과정(선택사항), 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 28은 상기 변수 및 파라미터를 설정하는 과정에 있어서, 평균비교그룹변수선택과정을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸다.

평균비교그룹변수 선택을 위한 사용자 인터페이스는, 평균을 비교하고자 하는 서브 그룹을 구성하는 범주형 변수를 선택할 수 있도록 변수가 제공되며, 사용자는 각 변수들을 선택(더블클릭)할 수 있도록 구성된다.

도 29는 상기 변수 및 파라미터를 설정하는 과정에 있어서, 그룹층화변수 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸다.

그룹층화변수 선택을 수행하기 위한 사용자 인터페이스는, 층화시켜 분석하고자 하는 그룹층화 변수들이 제공되며 사용자는 각 변수들을 선택(더블클릭)할 수 있도록 구성된다.

이때 그룹층화변수 선택은 사용자가 원하는 경우 선택하거나 그대로 선택하지 않고 다음 단계로 진행할 수 있는 선택과정으로 이루어진다.

도 30은 상기 변수 및 파라미터를 설정하는 과정에 있어서, 연속형 반응변수 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸다.

연속형 반응변수 선택을 수행하기 위한 사용자 인터페이스는, 평균을 비교하고자 하는 연속형 변수가 제공되며, 사용자는 각 변수들을 선택(더블클릭)할 수 있도록 구성된다.

도 31은 상기 변수 및 파라미터를 설정하는 과정에 있어서, 연속형수치 표시방법 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸다.

연속형수치 표시방법 선택을 수행하기 위한 사용자 인터페이스는, 평균, 표준오차, 신뢰구간 등 연속형 변수 수치 표시방법을 설정하기 위한 것으로, 각 변수들에 대해서 선택(더블클릭)하여 각기 다른 값으로 설정 가능하다.

도 32는 상기 변수 및 파라미터를 설정하는 과정에 있어서, 세부 알고리듬 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸다.

적용될 세부 알고리듬 선택을 위한 수행하기 위한 사용자 인터페이스는, 적용할 통계알고리듬을 수동으로 선택할 수 있는 항목을 포함하며, 그 항목에는 P-Value 소수점 자리수 설정할 수 있는 항목을 포함하며, 그 일 측으로 설정 가능한 변수들이 제공되고, 각 변수들은 일괄적용(파라미터일괄적용 선택버튼부) 또는 사용자가 선택(더블클릭)하여 변수 별로 다르게 설정할 수 있다.

도 33은 상기 변수 및 파라미터를 설정하는 과정에 있어서, 결과작성방법 선택을 수행하기 위한 사용자 인터페이스의 일 예를 나타낸다.

결과작성방법 선택을 수행하기 위한 사용자 인터페이스는, 설정된 변수/파라미터에 따라 결과표, 그림, 통계방법(statistical method) 등을 작성하고 편집할 수 있도록 한다.

결과에 나타날 변수들이 표시되며, 이들의 순서를 변경할 수 있도록 구성되며, 그 일 측으로 분석결과만들기, 완성된 결과 다시보기, 표 편집기 실행, 그림편집기 실행 통계방법(statistical method)과 편집수단 및 유의수준 P-Vaule 자릿수 설정항목을 포함한다.

도 34는 도 33에서의 결과작성방법 선택을 수행하기 위한 사용자 인터페이스에 있어서, 표편집기의 일 예를 나타낸 도면이고, 도 35는 결과작성방법 선택을 수행하기 위한 사용자 인터페이스에 있어서, 그림편집기의 일 예를 나타낸 도면이다.

이와 같은 과정을 거쳐 선택된 통계알고리듬에 따라 분석을 실행하고, 생성된 결과정보들은 상기 도 33에서 설정된 방법에 따라서 사용자에게 제공된다.

도 36 및 도 37은 이와 같은 통계분석 결과정보를 제공하는 도면으로서, 도 36은 통합분석 결과표로 제공하며, 도 37은 개별 변수 분석 결과를 그래프로 나타낸다.

도 36에 따르면, 분석결과는 통합분석결과표로 제공되며 각 변수에 대한 도표로 제공되고, 도표에 대한 별도의 설명정보를 포함한다.

도 37에 따르면 개별변수 분석 결과는, 변수 단위로 나타낸 그래프의 상단으로 각 그래프에 대한 설명이 기재된 상태로 구성된다.

이와 같이 '임상데이터를 이용한 통계분석'에서 연속형 변수의 그룹간 평균차이분석(Part 4-1)에 대한 통계분석 실행과정을 나타낼 수 있다.

Part4-2 ;'연속형 반응변수에 영향을 주는 요인분석'에 대한 프로세스.

한편 도 38 내지 도 44는 '임상 데이터를 이용한 통계분석'에서 변수 특성정보를 얻어내기 위한 변수 특성표 작성을 위해서 도 7에서와 같은 질의정보 중 연속형 반응변수에 영향을 주는 요인분석(Part4-2)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸다.

도 38에서와 같이 연속형 반응변수에 영향을 주는 요인분석(Part4-2)이 선택되면 연속형 반응 변수에 영향을 주는 요인분석에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 프로세스가 진행된다.

연속형 반응변수에 영향을 주는 요인 분석에는 두 가지의 요인 변수 속성(Ⅰ)의 질의정보로 구성된다.

상기 요인 변수 속성(Ⅰ)은 각 독립 변수가 반응변수에 미치는 개발영향력 분석, 2개 이상 독립 변수가 함께 있을 때 반응 변수에 미치는 영향력을 분석, 2개 범주형 변수가 반응 변수에 미치는 영향력 및 상호 작용 분석을 포함한다.

도 39는 상기와 같이 연속형 반응 변수에 영향을 주는 요인 분석에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸다.

도 39에서와 같이 통계알고리듬에 대한 선택정보를 제공하는 분석에 사용할 구체적인 통계알고리듬 선택을 위한 대화형 인터페이스는, 상단으로 현재 프로그램 사용목적 정보(연속형 반응 변수에 영향을 주는 요인 분석)가 표기되며 그 하단 내부로 현재 분석된 통계알고리듬이 표시되고, 상기 통계알고리듬을 진행하기 위한 변수 및 파라미터설정을 위해 선택/설정해야할 안내정보들이 포함되며, 사용자의 선택에 따라 다음 프로세스인 변수 및 파라미터 설정을 위한 링크버튼부을 포함한다.

도 40은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트로서, 연속형 반응변수에 영향을 주는 요인분석에 대한 통계알고리듬을 선택하기 위한 프로세스를 나타낸다.

연속형 반응 변수에 영향을 주는 요인 분석은, 각 독립 변수가 반응 변수에 미치는 개별 영향력 분석일 때, 2개 이상 독립변수가 함께 있을 때 변수에 미치는 영향력 분석일 때, 2개 범주형 변수가 반응 변수에 미치는 영향력 및 상호작용 분석일 때를 판단하는 과정을 거쳐 통계알고리듬을 선택한다.

각 독립변수가 반응 변수에 미치는 개별 영향력 분석일 때 통계알고리듬 Univariabel linear regression이 선택된다.

2개 이상 독립 변수가 함께 있을 때 반응 변수에 미치는 영향력을 분석일 때, Multivariable linear regression이 선택된다.

2개 범주형 변수가 반응 변수에 미치는 영향력 및 상호작용 분석일 때 2-way ANOVA가 선택된다.

도 41은 알고리듬 '2-way ANOVA' 의 세부 알고리듬 자동 선택과정을 나타낸 플로우 차트이다.

2-way ANOVA의 세부 알고리듬 자동 선택과정은, 정규분포 테스트를 수행하여 정규분포를 따르는 경우와 정규분포를 따르지 않는 경우를 판단하고 그 결과에 따라서 각각 통계알고리듬을 선택하는 과정으로 이루어진다.

정규분포를 따르는 경우에는 통계알고리듬 'Parametric test'가 선택되고, 정규분포를 따르지 않는 경우에는 통계알고리듬 'Non-parametric test'가 선택된다.

도 42 내지 도 44는 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.

도 42는 'Univariable linear regression'와 'Multivariable linear regression' 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'Univariable linear regression'와 'Multivariable linear regression'는, 연속형 반응 변수 선택과정, 층화분석변수 선택과정(선택사항), 공변량 선택과정, 고정공변량 선택과정, 교화작용 선택과정(선택사항), 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 43은 '2-way ANOVA' 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'2-way ANOVA'는 연속형 반응형 변수 선택과정, 층화분석 변수 선택과정(선택사항), 범주형 요인 변수 쌍 선택과정, 연속형 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과 작성 방법 선택 과정으로 이루어진다.

도 44는 'Linear mixed effect model analysis'일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

'Linear mixed effect model analysis'는, 연속형 반응 변수 선택과정, 층화분석 변수 선택과정, 공변량 선택과정(선택사항), 고정공변량 선택과정, 교호작용 선택과정(선택사항), 반복측정요인 변수 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

Part4-3 ; '범주형 변수들 간 연관관계 분석'에 대한 자동화 프로세스.

한편 도 45 내지 도 54는 '범주형 변수들 간 연관관계 분석'에서 변수 특성정보를 얻어내기 위한 변수 특성표 작성을 위해서 도 7에서와 같은 질의정보 중 범주형 변수들 간 연관관계 분석(Part4-3)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸다.

도 45에서와 같이 범주형 변수들 간 연관관계 분석(Part4-3)이 선택되면 범주형 변수들 간 연관관계 분석에 속형 반응 변수에 영향을 주는 요인분석에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 프로세스가 진행된다.

범주형 변수들 간 연관관계 분석에는 연관관계를 분석하고자 하는 범주형 변수 수, 범주형 변수에 포함된 서브그룹 수, 범주형 변수들의 특성, 서브 그룹에 대한 샘플 수 비율의 경향성을 포함하여 구성된다.

상기 연관관계를 분석하고자 하는 범주형 변수 수에는 2개 변수 간 연관 관계 분석을 실행, 3개 이상 변수 간 연관 관계 분석, 을 실행을 포함한다.

도 46은 상기와 같이 범주형 변수들 간 연관 관계분석에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸다.

도 46에서와 같이 통계알고리듬에 대한 선택정보를 제공하는 분석에 사용할 구체적인 통계알고리듬 선택을 위한 대화형 인터페이스는, 상단으로 현재 프로그램 사용목적 정보[교차표(contingency table)를 이용한 범주형 변수 분석]가 표기되며 그 하단 내부로 현재 선택된 통계알고리듬이 표시되고, 상기 통계알고리듬을 진행하기 위한 변수 및 파라미터설정을 위해 선택/설정해야할 안내정보들이 포함되며, 사용자의 선택에 따라 다음 프로세스인 변수 및 파라미터 설정을 위한 링크버튼부을 포함한다.

도 47은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트로서, 범주형 변수들 간 연관 관계분석에 대한 통계알고리듬을 선택하기 위한 프로세스를 나타낸다.

도 47에 도시된 바와 같이, 1개 범주형 변수 내 각 서브그룹 간 비율차 분석, 2개 변수 간 연관 관계 분석, 3개 이상 변수 대상 분석을 실행하는 과정을 통해 통계알고리듬을 선택한다.

상기 2개 변수 간 연관관계 분석일 때와 3개 이상 변수 대상 분석을 수행할 때는 변수 내 서브 그룹이 2개일 때와 3개 이상일 때를 판단하는 과정을 더 포함하며, 상기 2개 변수가 연관 관계분석은 독립적으로 측정된 자료일 때, 쌍으로 구성된 자료일 때를 판단하여 통계 알고리듬을 선택하는 과정으로 이루어진다.

그리고 상기 2개 변수 간 연관 관계 분석에서 변수 내 서브 그룹이 3개 이상일 때 독립적으로 측정된 자료일 때는 단순 연관 관계일 때와 선형 증/감 관계 분석일 때를 판단하여 통계알고리듬을 선택하는 과정을 더 포함한다.

즉, 범주형 변수들 간 연관 관계분석에 대한 통계알고리듬 선택하는 프로세스는, 2개 변수 간 연관 관계 분석, 3개 이상 변수 대상 분석을 실행하는 과정, 상변수 내 서브 그룹이 2개일 때와 3개 이상일 때를 판단하여 통계 알고리듬을 판단하는 과정으로 이루어지며, 상기 2개 변수 간 연관 관계분석은 독립적으로 측정된 자료일 때와 쌍으로 구성된 자료일 때를 판단하여 통계 알고리듬을 선택하는 과정을 더 포함하되, 상기 변수 내 서브 그룹이 3개 이상이고 독립적으로 측정된 자료일 때는 단순 연관 관계일 때와 선형 증/감 관계 분석일 때를 판단하여 통계알고리듬을 선택하는 과정을 더 포함한다.

상기 1개 범주형 변수 내 각 서브 그룹 간 비율차 분석일 때 통계알고리듬 'One sample proportion test'가 선택된다.

2개 변수 간 연관관계 분석선택일 경우이고, 변수 내 서브 그룹이 모두 2개일 때,

(a). 독립적으로 측정된 자료일 때는 통계알고리듬 Chi-squared test, Yates'correction, Fisher's exact test가 선택된다.

(b). 쌍으로 구성된 자료일 때는 통계알고리듬 McNemar test 가 구성된다.

2개 변수 간 연관관계 분석선택일 경우이고, 변수 내 서브 그룹이 모두 3개일 때,

(a). 독립적으로 측정된 자료이고 단순연관 관계일 때는 통계알고리듬 Chi-squared test, Fisher's exact test 가 선택된다.

(b). 독립적으로 측정된 자료이고 선형 증/감 관계 분석일 때는 통계알고리듬 Linear by liner association test 가 선택된다.

(c). 쌍으로 구성된 자료일 때는 통계알고리듬 McNemar-Bowker test 가 선택된다.

그리고 상기 3개 이상 변수 대상 분석일 때는,

(a). 변수 내 서브그룹이 모두 2개일 때 Cochran's Q test with Post hoc test가 선택된다.

(b). 변수 내 서브그룹이 3개 이상일 때 Friedman test with Post hoc analysis 가 선택된다.

도 48은 통계알고리듬 One sample proportion test 세부 알고리듬 자동 선택과정을 나타낸 플로우챠트이다.

One sample proportion test 세부 알고리듬 자동 선택과정은,

특정 서브그룹 대 나머지 서브그룹 분석일 때 통계알고리듬 One sample biomial test가 선택되고, 서브그룹을 동시에 함께 분석할 때는 One sample multinomial test가 선택된다.

도 49는 통계알고리듬 Chi-squared test, Yates'correction, Fisher's exact test 세부 알고리듬 자동 선택 과정을 나타낸 플로우챠트이다.

서브그룹 수가 4개 이하인 경우와 서브그룹 수가 5개 이상일 때를 판단하여 통계알고리듬을 선택하는 과정으로 이루어지며, 상기 서브그룹 수가 4개 이하인 경우에는 서브그룹 조합에 속한 기대빈도가 4 이하 일 때와 서브그룹 조합에 속한 기대빈도가 5이상 일 때를 판단하여 통계알고리듬을 판단하는 과정을 더 포함하여 이루어진다.

상기 서브그룹 5개 이상일 경우에는 Chi-squared test, Yates'correction 가 선택된다.

상기 서브그룹 수가 4개 이하인 경우인 경우에는,

(a). 서브그룹 조합에 속한 기대빈도가 4 이하일 때는 Fisher's exact test가 선택된다.

(b). 서브그룹 조합에 속한 기대빈도가 5이상일 때 Chi-squared test, Yates'correction 가 선택된다.

도 50 내지 도 54는 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.

도 50은 Proportion test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Proportion 는, 층화분석변수 선택과정(선택사항), 범주형 변수(열에 표시) 선택과정, 범주형 변수(행에 표시)선택과정(선택사항), 수치표시방법 선태과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 51은 Chi-squared test, Fisher's exact test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Chi-squared test, Fisher's exact test는 층화분석 변수 선택과정(선택사항), 범주형 변수(열에표시) 선택과정, 범주형변수(행에표시) 선택과정, 오즈비(odds ratio) 보정공변량 선택과정(선택사항), 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과 작성 방법 선택 과정으로 이루어진다.

도 52는 Linear by linear association 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Linear by linear association는, 층화분석 변수 선택과정(선택사항), 범주형 변수(열에 표시), 범주형 변수(행에 표시)선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 53은 McNemar's test, McNemar-Bowker test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

McNemar's test, McNemar-Bowker test는, 층화분석 변수 선택과정(선택사항), 쌍측정 변수 선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

도 54는 Cochran's Q test, Friedman test 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Cochran's Q test, Friedman test는, 층화분석 변수 선택과정(선택사항), q반복측정 변수 선택과정, 수치표시방법 선택과정, 세부 알고리듬 선택과정, 결과작성방법선택과정으로 이루어진다.

Part4-4 ; 범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발에 대한 자동화 프로세스.

도 55 내지 도 61은 범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발에서 변수 특성정보를 얻어내기 위한 변수 특성표 작성을 위해서 도 7에서와 같은 질의정보 중 범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발(Part4-4)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸다.

범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발(Part4-4)이 선택되면 도 55에서와 같이, 범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 프로세스가 진행된다.

범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발에는 요인 변수 속성, 반응변수속성(Ⅰ), 반응변수속성(Ⅱ), 반응예측연구 형태의 질의정보로 구성된다.

상기 반응변수속성(Ⅰ)은 반응시간시간을 확인하는 항목을 포함한다.

상기 반응변수속성(Ⅱ)은 반응변수에 포함된 범주 간 순위 여부를 확인하는 항목을 포함한다.

상기 반응 예측 연구 형태는 반응예측을 위한 연속형 변수 발굴 및 컷오프 측정, 변수 개별영향력분석, 예측모형개발 항목을 포함한다.

도 56은 상기와 같이 범주형 변수들 간 연관 관계분석에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸다.

도 56에서와 같이 통계알고리듬에 대한 선택정보를 제공하는 분석에 사용할 구체적인 통계알고리듬 선택을 위한 대화형 인터페이스는, 상단으로 현재 프로그램 사용목적 정보 범주형 반응 예측을 위한 요인 분석 및 예측 모형개발이 표기되며 그 하단 내부로 현재 선택된 통계알고리듬이 표시되고, 상기 통계알고리듬을 진행하기 위한 변수 및 파라미터설정을 위해 선택/설정해야할 안내정보들이 포함되며, 사용자의 선택에 따라 다음 프로세스인 변수 및 파라미터 설정을 위한 링크버튼부을 포함한다.

도 57은 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트로서, 범주형 반응 예측 모형 개발 분석에 대한 통계알고리듬을 선택하기 위한 프로세스를 나타낸다.

도 57에 도시된 바와 같이, 2분형 반응과 3분형 이상 반응이상인 것을 판단하여 통계 알고리듬을 선택하는 과정으로 이루어지는 것으로,

상기 2분형반응일 경우에는 연속형 변수 발굴 및 컷오프(cutoff) 추정, 변수개별영향력분석, 예측모형개발을 실행하는 과정을 통해 통계알고리듬을 선택하는 과정과, 상기 3분형이상 반응일 때는 반응변수 범주에 순위가 있는 지 없는 지를 판단하고 반응변수 범주에 순위가 있는 지 여부 각각에 대하여 연속형 변수 발굴 및 컷오프(cutoff) 추정, 변수개별영향력분석, 예측모형개발을 실행하는 과정을 통해 통계알고리듬을 선택하는 과정을 더 포함한다.

범주형 반응 예측 모형 개발 분석에 대한 통계알고리듬 선택은,

2분형 반응일 때와 3분형 이상 반응일 때를 판단하고, 연속형 변수 발굴 및 컷오프(cutoff) 추정, 변수개별영향력분석, 예측모형개발을 실행하여 통계 알고리듬을 선택하는 바, 이때 3분형 이상 반응일 때는 반응 변수 범주에 순위가 없을 때, 반응 변수 범주에 순위가 있을 때를 판단하고 각각에 대해 연속형 변수 발굴 및 컷오프(cutoff) 추정, 변수개별영향력분석, 예측모형개발을 실행하여 통계 알고리듬을 선택하는 과정을 더 포함하게 된다.

2분형 반응일 때,

(a). 연속형 변수 발굴 및 컷오프 추정실행에 의해 선택되는 통계알고리듬은 ROC curve analysis 가 선택된다.

(b). 변수 개별 영향력 분석에 의해 선택되는 통계 알고리듬은 Univariable binary logistic regression가 선택된다.

(c). 예측 모형 개발에 의해 선택되는 통계 알고리듬은 Multivariable binary logistic regression 이 선택된다.

3분형 이상 반응이고, 반응 변수 범주에 순위가 없을 때,

(a). 연속형 변수 발굴 및 컷오프 추정실행에 의해 선택되는 통계알고리듬은 Cutoff analysis 가 선택된다.

(b). 변수 개별 영향력 분석에 의해 선택되는 통계 알고리듬은 Univariable multinomial logistic regression 가 선택된다.

(c). 예측 모형 개발에 의해 선택되는 통계 알고리듬은 Multivariable multinomial logistic regression 이 선택된다.

3분형 이상 반응이고, 반응 변수 범주에 순위가 있을 때,

(b). 변수 개별 영향력 분석에 의해 선택되는 통계 알고리듬은 Univariable ordinal logistic regression 가 선택된다.

(c). 예측 모형 개발에 의해 선택되는 통계 알고리듬은 Multivariable ordinal logistic regression 이 선택된다.

도 58 내지 도 61은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.

도 58은 ROC curve analysis(cutoff number =1), Cutoff analysis(cutoff number 〉1) 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

ROC curve analysis 는, 층화분석변수 선택과정(선택사항), 범주형 변수 선택과정, 공변량/예측 인자 선택과정, 컷오프 계산방법 선택과정, 결과작성방법선택과정으로 이루어진다.

도 59는 Univariable binary logistic regression, Univariable multinomial logistic regression, Univariable ordinal logistic regression 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Univariable binary logistic regression, Univariable multinomial logistic regression, Univariable ordinal logistic regression는, 층화 분석 변수 선택과정(선택사항), 범주형 반응 변수 선택과정, 공변량/예측 인자 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

도 60은 Multivariable binary logistic regression, Multivariable multinomial logistic regression, Multivariable ordinal logistic regression 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Univariable binary logistic regression, Univariable multinomial logistic regression, Univariable ordinal logistic regression는, 층화 분석 변수 선택과정(선택사항), 범주형 반응 변수 선택과정, 공변량/예측 인자 선택과정, 고정공변량 선택과정(선택사항), 교호작용 선택과정(선택사항), 모형 구축 방법 선택과정, 컷오프 계산 방법 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

도 61은 Logistic mixed effect model analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Logistic mixed effect model analysis 는, 층화 분석 변수 선택과정(선택사항), 범주형 반응 변수 선택과정, 공변량/예측 인자 선택과정, 고정공변량 선택과정(선택사항), 교호작용 선택과정(선택사항), 반복측정 공변량 선택과정, 모형 구축 방법 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

Part4-5 ; 생존 자료 분석에 대한 자동화 프로세스.

도 62 내지 도 70은 생존 자료 분석에서 변수 특성정보를 얻어내기 위한 변수 특성표 작성을 위해서 도 7에서와 같은 질의정보 중 생존 자료 분석(Part4-5)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸다.

생존 자료 분석(Part4-5)이 선택되면 도 62에서와 같이, 생존 자료 분석에 대한 다수 조건이 조합된 변수 특성을 선택하기 위한 프로세스가 진행된다.

생존 자료 분석에는 컴펫팅 리스크(competing risk)의 유무, 예측 인자 속성, 생존자료 연구형태의 질의 정보로 구성된다.

상기 예측 인자 속성은 위험도에 미치는 영향력이 시간과 상관없이 동일한지의 여부, 시간이 지남에 따라서 위험도에 미치는 영향의 변화가 있는 지, 시간이 지남에 따라서 위험도에 미치는 영향의 변화가 반복해서 나타나는 지의 여부를 확인하는 항목을 포함한다.

상기 생존 자료 연구형태는 특정시간대에서의 생존 예측을 위한 연속형 예측 인자 발굴 및 컷오프 분석, kaplan-Meier survival curve 분석, 반응 예측을 위한 독립 변수들의 개별 영향력을 분석, 다수의 후보 인자를 사용해서반응 예측을 위한 모형을 개발 항목을 포함한다.

도 63은 상기와 같이 생존 자료 분석에 대해 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸다.

도 63에서와 같이 통계알고리듬에 대한 선택정보를 제공하는 분석에 사용할 구체적인 통계알고리듬 선택을 위한 대화형 인터페이스는, 상단으로 현재 프로그램 사용목적 정보가 표기되며 그 하단 내부로 현재 선택된 통계알고리듬이 표시되고, 상기 통계알고리듬을 진행하기 위한 변수 및 파라미터설정을 위해 선택/설정해야할 안내정보들이 포함되며, 사용자의 선택에 따라 다음 프로세스인 변수 및 파라미터 설정을 위한 링크버튼부을 포함한다.

도 64는 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트로서, 생존 자료 분석에 대한 통계알고리듬을 선택하기 위한 프로세스를 나타낸다.

도 64에 도시된 바와 같이, 컴펫팅 리스크의 유무를 판단하고, 컴펫팅 리스크의 유무에 따라서 각 비례적 위험(proportional hazard)을 가정할 때, 공변량이 시간에 따라 반복측정 되었을 때, 공변량이 시간에 따라 다른 영향력을 보일 때를 판단하고, 각 비례적 위험을 가정할 때, 공변량이 시간에 따라 반복측정 되었을 때, 공변량이 시간에 따라 다른 영향력을 보일 때에 대하여 특정시간 생존 예측을 위한 컷오프 분석, kaplan meier survival curve 분석, 변수 개별영향력 분석, 예측 모형개발을 실행하여 통계알고리듬을 선택하는 과정으로 이루어진다.

생존 자료 분석에 대한 통계알고리듬 선택은,

컴펫팅 리스크의 유무를 판단하고, 컴펫팅 리스크 유무 각각에 대하여 비례적 위험을 가정할 때, 공변량이 시간에 따라 반복 측정 되었을 때, 공변량이 시간에 따라 다른 영향력을 보일 때를 판단하는 과정, 상기 비례적 위험을 가정할 때는 특정시간대 생존 예측을 위한 컷오프 분석, kaplan meier survival curve 분석, 변수 개별영향력 분석, 예측 모형개발을 실행하여 통계알고리듬을 선택하는 과정, 상기 공변량이 시간에 따라 반복 측정되었을 때 또는 공변량이 시간에 따라 다른 영향력을 보일 때는 변수 개별 영향력 분석, 예측 모형 개발을 실행하여 통계 알고리듬을 선택하는 과정을 포함한다.

비례적 위험을 가정할 때,

(a). 특정시간대 생존 예측을 위한 컷오프 분석 실행에 의해 통계 알고리듬은 Time dependent ROC curve analysis 가 선택된다.

(b). kaplan meier survival curve 분석실행에 의해 통계 알고리듬은 kaplan-meier curve analysis 가 선택된다.

(c). 변수 개별 영향력 분석실행에 의해 통계 알고리듬은 Univariable cox proportional hazards regression analysis 이 선택된다.

(d). 예측 모형 개발 실행에 의해 통계 알고리듬은 Multivariable cox proportional hazards regression analysis 이 선택된다.

공변량이 시간에 따라 반복 측정되었을 때, 변수 개별 영향력 분석 및 예측 모형 개발에 의한 통계 알고리듬은 Cox regression using repeatedly measured covariates 가 선택된다.

공변량이 시간에 따라 다른 영향력을 보일 때, 변수 개별 영향력 분석 및 예측 모형 개발에 의한 통계 알고리듬은 Cox regression using covariates with time-varying effect: univariable analysis 가 선택된다.

도 65 내지 도 70은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.

도 65는 Time-dependent ROC curve analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Time-dependent ROC curve analysis 는, 층화분석변수 선택과정(선택사항), 범주형 상태 변수 선택과정, 생존 시간 변수 선택 과정, 컷오프 계산방법 선택과정, 결과작성방법선택과정으로 이루어진다.

도 66은 Kaplan-Meier curve analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Kaplan-Meier curve analysis 는 층화 분석 변수 선택과정(선택사항), 범주형 상태 변수 선택과정, 생존 시간 변수 선택과정, 생존 확률 비교 서브 그룹 변수 선택과정(선택사항), 결과 작성 방법 선택과정으로 이루어진다.

도 67은 Univariable Cox proportional hazards regression analysis, Cox regression using covariates with time-varying effect: univariable analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Univariable Cox proportional hazards regression analysis, Cox regression using covariates with time-varying effect: univariable analysis는, 층화 분석 변수 선택과정(선택사항), 범주형 상태 변수 선택과정, 생존 시간 변수 선택과정, 공변량/예측인자 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

도 68은 Multivariable Cox proportional hazards regression analysis, Cox regression using covariates with time-varying effect: multivariable analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Multivariable Cox proportional hazards regression analysis, Cox regression using covariates with time-varying effect: multivariable analysis는, 층화 분석 변수 선택과정(선택사항), 범주형 상태 변수 선택과정, 생존 시간 변수 선택과정, 공변량/예측인자 선택과정, 고정 공변량 선택과정(선택사항), 교호 작용 선택과정(선택사항), 모형 구축 방법 선택과정, 컷오프 계산 방법 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

도 69는 Cox regression using repeatedly measured covariates일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Cox regression using repeatedly measured covariates 는, 층화 분석 변수 선택과정(선택사항), 범주형 상태 변수 선택과정, 생존 시간 변수 선택과정, 공변량/예측인자 선택과정, 반복 측정 공변량 선택과정, 고정 공변량 선택과정(선택사항), 교호 작용 선택과정(선택사항), 모형 구축 방법 선택과정, 컷오프 계산 방법 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

Part4-6 ; 기타 분석에 대한 자동화 프로세스.

도 70 내지 도 78은 특정 분석 방법을 직접 선택하여 진행하기 위한 기타 분석 방법에서 변수 특성정보를 얻어내기 위한 변수 특성표 작성을 위해서 도 7에서와 같은 질의정보 중 기타 분석(Part4-6)을 답변정보로 선택되었을 경우에 대한 과정을 나타낸다.

기타 분석(Part4-6)이 선택되면 도 71에서와 같이, 특정 분석 방법을 사용자가 직접 선택하기 위한 프로세스가 진행된다.

도 70에서와 같이 기타 분석에는 특정분석 방법을 선택하기 위한 항목으로 구성되며,

기타 분석에는 변수들 간 상관 관계 분석(correlation analysis), 선형 혼합 모형 분석(linear mixed effect model analysis), 로지스틱 혼합 모영 분석(logistic mixed effect model analysis, 콕스 혼합 모형 분석(Cox mixed effect model analysis), 2개 이상의 2분형 진단 예측 모형 성능 비교 분석(comparison of prediction performance Ⅰ), 2개 이상의 예후 예측 모형 성능 비교 분석(comparison of prediction performance Ⅱ), 2분형 진단 예측 모형 예측 성능의 교차 검증(cross validation or internal validation Ⅰ), 예후 예측 모형 성능의 교차 검증(cross validtion or internal validation Ⅱ), 예후 예측 모형 구축에 사용된 데이터와는 별도로 만들어진 데이터로 예측 성능 검증(external validation Ⅰ), 예후 예측 모형 구축에 사용된 데이터와는 별도로 만들어진 데이터로 예측 성능 검증(external validation Ⅱ), 2개 이상 서브그룹에 속한 샘플 수 비율 차이 검정(One smaple proportion test)으로 구성된다.

도 71은 상기와 같이 선택된 통계알고리듬에 대한 선택정보를 제공하는 대화형 인터페이스를 나타낸다.

상기 선택정보에는 선택된 통계알고리듬에 대해 통계분석실행과정을 진행하기 위한 변수 및 파라미터 설정정보를 포함하며, 통계분석을 사용자가 재 선택할 수 있도록 하는 항목정보를 더 포함한다.

도 71에서와 같이 통계알고리듬에 대한 선택정보를 제공하는 분석에 사용할 구체적인 통계알고리듬 선택을 위한 대화형 인터페이스는, 현재 선택된 통계알고리듬에 대해 표시하고, 상기 통계알고리듬을 진행하기 위한 변수 및 파라미터설정을 위해 선택/설정해야할 안내정보들이 포함되며, 사용자의 선택에 따라 다음 프로세스인 변수 및 파라미터 설정을 위한 링크버튼부을 포함한다.

또한 사용자가 통계알고리듬을 재 선택할 수 있도록 설정하기 위한 자동/수동 선택항목과 선택항목에 대해 수동 선택 시 선택할 수 있는 통계알고리듬 정보가 더 포함된다.

도 72는 통계분석 프로그램 사용목적에 대해 선택된 변수특성정보에 있어서 변수 특성에 따라서 통계알고리듬을 선택하기 위한 전체 프로세스를 나타낸 플로우챠트로서, 기타 분석에 대한 통계알고리듬을 선택하기 위한 프로세스를 나타낸다.

도 72에 도시된 바와 같이, 사용자에게 제공된 선택 가능한 통계분석 방법을 제공하고, 이에 대하여 선택된 통계 분석법에 대한 통계 알고리듬이 선택되는 과정으로 이루어진다.

도 73 내지 도 78은 각 통계알고리듬별 변수 및 파라미터를 인터페이스를 통해 사용자가 설정하는 과정을 나타낸 도면.

도 73은 Correlation analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Correlation analysis는, 층화분석변수 선택과정(선택사항), 연속형 반응/상관 변수 선택과정, 공변량/예측인자 선택과정, 교호작용 선택과정(선택사항), 결과작성방법 선택과정으로 이루어진다.

도 74는 Linear mixed effect analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Linear mixed effect analysis는, 층화 분석 변수 선택과정(선택사항), 연속형 반응/상관변수 선택과정, 공변량/예측인자 선택과정, 고정공변량(선택사항), 교호작용 선택과정(선택사항), 반복측정 공변량 선택과정, 예측모형 구축방법 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

도 75는 Logistic mixed effect analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Logistic mixed effect analysis는, 층화 분석 변수 선택과정(선택사항), 범주형 상태/반응 변수 선택과정, 공변량/예측인자 선택과정, 고정공변량(선택사항), 교호작용 선택과정(선택사항), 반복측정 공변량 선택과정, 예측모형 구축방법 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

도 76은 Cox mixed effect analysis 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Cox mixed effect analysis는, 층화 분석 변수 선택과정(선택사항), 범주형 상태/반응변수 선택과정, 생존 시간 변수 선택과정, 공변량/예측인자 선택과정, 고정공변량 선택과정(선택사항), 교호작용 선택과정(선택사항), 반복측정 공변량 선택과정, 예측모형 구축방법 선택과정, 결과 작성 방법 선택과정으로 이루어진다.

도 77은 Model Comparison Ⅰ, Model Comparison Ⅱ 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Model Comparison Ⅰ, Model Comparison Ⅱ는, Validation data 입력과정(선택사항), 예측모형 수학식 정의과정, Internal validation 파라미터 입력과정, External validation 파라미터 입력과정(선택사항), 결과 작성 방법 선택과정으로 이루어진다.

도 78은 Internal Validation Ⅰ, Internal Validation Ⅱ 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

Internal Validation Ⅰ, Internal Validation Ⅱ는, 예측모형수학식 정의과정, Internal validation 파라미터 입력과정, 결과 작성 방법 선택과정으로 이루어진다.

도 79는 External Validation Ⅰ, External Validation Ⅱ 일 때 변수 및 파라미터를 설정하는 과정을 나타낸다.

External Validation Ⅰ, External Validation Ⅱ 는, Validation data 입력과정, 예측모형수학식 정의과정, External validation 파라미터 입력과정, 결과 작성 방법 선택과정으로 이루어진다.

이와 같이 통계분석 목적에 따라서 변수 특성표를 작성하고 변수 특성에 따라서 통계알고리듬을 선택하여 통계분석을 실행할 수 있도록 사용자에게 질의정보/선택정보를 제공하도록 함으로써, 사용자가 손쉽게 통계분석에 적절한 통계알고리듬을 선택할 수 있도록 한다.

상기 본 실시 예에서는 통계분석 목적에 대하여 사용자가 선택한 임상데이터를 위한 통계분석에 대한 각 Part4에 대하여 설명하였다. 그러나 도 7에서 제시된 프로그램 사용목적 ; Part1, Part2,Part3, 기존분석 결과 이용한 메타분석, 산출된 데이터의 신뢰성분석에 대해서도 사용자의 선택에 따라서 상기와 같은 프로세스를 따라서 통계알고리듬 선택 및 통계분석이 실행될 수 있다.

Claims

삭제
사용자의 통계 분석 목적 및 변수 정보를 추출하기 위해 사용자에게 질의 정보를 제공하며 사용자로부터 제공된 질의에 대한 답변정보를 수집하기 위한 대화형인터페이스수단(10)과, 대화형인터페이스수단(10)으로 부터 얻어지는 사용자의 답변정보를 이용하여 분석특징정보를 추출하는 분석특징정보추출수단(20)과, 통계알고리듬이 저장 관리되며 통계분석제어수단(40)의 요청에 따라서 통계알고리듬을 제공하는 알고리듬관리수단(30)과, 대화형인터페이스수단(10)을 통해 사용자에게 대화형 인터페이스를 제공하며 대화형 인터페이스를 통해 수집된 답변정보로부터 분석특징정보추출수단(20)을 통해 분석특징정보를 추출하고 분석특징정보에 따라서 통계분석에 이용될 통계 알고리듬을 선택하여 통계분석을 실행 제어하는 통계분석제어수단(40), 통계분석제어수단(40)으로부터 설정된 통계알고리듬에 따라서 통계분석을 수행하고 그 결과정보를 제공하는 통계분석수단(50)을 포함하여 구성되며,
상기 분석특징정보추출수단(20)은, 대화형인터페이스수단(10)으로 부터 답변정보를 수집하고 관리하는 답변정보저장수단(21), 질의정보에 대한 각 답변정보별 분석특징정보 추출을 위한 레퍼런스(reference) 정보가 저장 관리되는 레퍼런스저장수단(22), 저장되는 답변정보로부터 레퍼런스저장수단(22)의 레퍼런스 정보를 참조하여 분석특징정보를 추출하는 특징정보추출수단(23)을 포함하여 구성되는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
삭제
제 2항에 있어서, 상기 통계분석수단(50)은 상기 통계분석제어수단(40)으로부터 선택된 통계알고리듬에서 제공하는 프로세스에 따라서 통계분석을 실행하는 분석실행수단(51)과 분석실행수단(51)을 통해 얻어진 분석결과정보를 제공하는 분석결과제공수단(52)을 포함하여 구성되며, 상기 분석결과제공수단(52)은 분석결과 정보의 제공방법을 사용자가 설정할 수 있도록 분석결과제공방법설정수단(52a)을 더 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 2항에 있어서, 통계분석제어수단(40)은,
통계분석시스템이 시작되면 사용자와의 대화를 위한 대화형인터페이스수단(10)을 제어하여 대화형인터페이스를 제공하고 대화형인터페이스를 통해 사용자에게 질의하고 질의에 대한 답변정보를 얻어 저장하는 특징정보추출유도과정,
분석특징정보추출수단(20)을 제어하여 상기 답변정보로부터 분석특징정보를 추출해내는 분석특징정보추출과정,
분석특징정보추출과정(20)으로 부터 추출된 분석특징정보에 매칭되는 알고리듬을 알고리듬관리수단(30)으로부터 선택하여 통계분석수단(50)에 설정하는 알고리듬설정과정,
통계분석수단(50)을 제어하여 설정된 알고리듬에 따라서 통계분석이 실행하는 통계분석실행과정,
통계분석실행과정을 통해 얻어진 결과들을 대화형인터페이스수단(10)을 통해 사용자에게 제공하는 통계분석결과제공과정을 포함하는 통계분석을 제어하는 수단으로 구성된 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 2항 또는 제 4항 또는 제 5항 중 어느 한 항에 있어서, 상기 분석특징정보는 사용자의 통계분석 목적 및 변수 정보를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 5항에 있어서, 상기 통계분석제어수단(40)의 특징정보추출유도과정은 통계분석시스템이 시작되면 대화분석 시작을 요청하게 되고, 사용자로부터 대화분석 시작 요청이 있는 경우 사용자에게 프로그램 사용목적을 얻어내기 위한 질의를 제공하고 그 답변을 입력받는 목적질의과정과, 상기 목적질의과정을 통해 답변이 입력되면 분석특징정보추출수단(20)에 저장하고 그 선택된 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위한 질의정보를 제공하고 그 답변정보를 입력받아 분석특징정보추출수단에 저장하는 변수특성정보질의과정을 포함하여 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
삭제
제 2항에 있어서, 상기 대화형인터페이스수단(10)에서 제공하는 대화형 인터페이스는 상단으로는 프로세스에 따라 진행될 각 질의과정(Part) 북마크부가 구성되며, 그 하단으로는 각 단계별 질의정보가 구성되고, 그 우측 일단으로는 현 단계에서 다음단계로 진행시킬 수 있는 링크마크부가 구성되며,
상기 각 질의과정에서 질의정보에 대해 선택할 수 있는 답변정보의 하단으로는 예시정보를 구성하여 사용자가 손쉽게 답변정보 즉, 질의정보에 대해 답변을 선택할 수 있도록 구성된 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 7항에 있어서, 상기 목적질의과정을 통해 얻어지는 통계분석목적으로, 임상데이터를 이용한 통계분석(Part4)일 때, 상기 분석특징정보추출수단(20)에서 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위해 제공되는 질의정보는 연속형변수의 그룹간 평균차이분석(Part4-1), 연속형 반응변수에 영향을 주는 요인분석(Part4-2), 범주형 변수들 간 연관관계 분석(Part4-3), 범주형 반응 예측을 위한 요인 분석 및 예측 모형개발(Part4-4), 생존자료 분석(Part4-5)과, 상기 연속형변수의 그룹간 평균차이분석(Part4-1), 연속형 반응변수에 영향을 주는 요인분석(Part4-2), 범주형 변수들 간 연관관계분석(Part4-3), 범주형 반응 예측을 위한 요인 분석 및 예측 모형개발(Part4-4), 생존자료 분석(Part4-5)외의 임상데이터를 이용한 통계분석을 목적으로 하는 기타분석(Part4-6)이 포함되어 구성되는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 각 질의정보에 대한 답변정보를 입력하도록 하기 위한 Part 단위로는 예시정보를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 2항에 있어서, 통계분석제어수단(40)에 의해 선택된 통계알고리듬에 대한 대화형 인터페이스수단(10)의 대화형 인터페이스에서 제공하는 선택정보는,
상기 선택정보에는 선택된 통계알고리듬에 대해 통계분석실행과정을 진행하기 위한 변수 및 파라미터 설정정보를 포함하며, 통계분석을 수동으로 사용자가 직접 선택할 수 있도록 하는 항목정보를 더 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 2항에 있어서, 통계분석제어수단(40)에서 선택된 통계알고리듬에 대한 선택정보를 제공하는, 분석에 사용할 구체적인 통계알고리듬 선택을 위한 대화형 인터페이스는, 상단으로 현재 프로그램 사용목적 정보가 표기되며 그 하단 내부로 현재 분석된 통계알고리듬이 표시되고, 상기 통계알고리듬을 진행하기 위한 변수 및 파라미터설정을 위해 선택/설정해야할 안내정보들이 포함되며, 사용자의 선택에 따라 다음 프로세스인 변수 및 파라미터 설정을 위한 링크버튼부을 포함하여 구성되는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
삭제
제 10항에 있어서, 상기 분석특징정보추출수단(20)에서 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위해 제공되는 질의정보 중 연속형 변수의 그룹 간 평균차이분석(Part4-1)에 대하여 변수 특성을 선택하기 위하여 제공되는 질의정보는,
연속형 변수의 특성, 평균 비교할 서브그룹 변수 사용유무, 비교할 서브 그룹 수, 제어할 공변량 여부에 대한 질의정보를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 15항에 있어서, 상기 연속형 변수의 특성은 독립적으로 측정된 자료인지, 쌍으로 구성된 자료인지, 시간차를 두고 정해진 횟수 이상 반복 측정된 자료인지를 확인하는 질의정보를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 연속형변수의 그룹 간 평균차이분석(Part4-1)을 수행하기 위한 통계알고리듬을 사용자가 직접 하나 선택할 수 있도록 상기 알고리듬관리수단(30)에서 제공하는 통계알고리듬은,
Two sample T test, Paired T test, 1-way ANOVA, Repeated measures 1-way ANOVA, Repeated measures 2-way ANOVA, 1-way ANCOVA, 1-way ANCOVA with repeated measures, 2-way ANCOVA with repeated measures,를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 연속형변수의 그룹 간 평균차이분석(Part4-1)에 대하여 통계알고리듬을 선택하는 프로세스는,
연속형 변수의 그룹 간 평균차이분석(Part4-1)에 대하여 변수 특성을 선택하기 위하여 제공하는 질의정보에 대하여 사용자가 입력한 답변정보를 확인하여 독립적으로 측정된 자료인지, 쌍으로 구성된 자료인지, 시간차를 두고 3회 이상 반복 측정된 자료인지를 확인하는 연속형 변수의 특성을 판단하는 과정, 서브그룹변수 사용유무 및 비교할 서브 그룹 수를 판단하는 과정, 제어할 공변량 사용유무에 대한 판단하는 과정, 상기 판단하는 과정을 통해 판단된 결과에 따라서 자동으로 통계알고리듬을 선택하는 과정으로 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 분석특징정보추출수단(20)에서 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위해 제공되는 질의정보 중 연속형 반응변수에 영향을 주는 요인 분석(Part4-2)에 대하여 변수 특성을 선택하기 위한 질의정보는,
각 독립 변수가 반응변수에 미치는 개발영향력 분석, 2개 이상 독립 변수가 함께 있을 때 반응 변수에 미치는 영향력을 분석, 2개 범주형 변수가 반응 변수에 미치는 영향력 및 상호 작용 분석을 포함하는 요인 변수 속성(Ⅰ)을 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 연속형 반응변수에 영향을 주는 요인 분석(Part4-2)을 수행하기 위한 통계알고리듬을 사용자가 직접 하나 선택할 수 있도록 상기 알고리듬관리수단(30)에서 제공하는 통계알고리듬은,
Univariable linear regression, Multivariable linear regression, 2-way ANOVA, 를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 연속형 반응변수에 영향을 주는 요인분석(Part4-2)에 대하여 통계알고리듬을 선택하는 프로세스는,
각 독립 변수가 반응 변수에 미치는 개별 영향력 분석일 때, 2개 이상 독립변수가 함께 있을 때 변수에 미치는 영향력 분석일 때, 2개 범주형 변수가 반응 변수에 미치는 영향력 및 상호작용 분석일 때를 판단하는 과정, 상기 과정의 판단결과에 따라서 통계알고리듬을 선택하는 과정으로 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 분석특징정보추출수단(20)에서 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위해 제공되는 질의정보 중 범주형 변수들 간 연관관계 분석(Part4-3)에 대하여 변수 특성을 선택하기 위하여 제공하는 질의정보는,
범주형 변수들 간 연관관계 분석에는 연관관계를 분석하고자 하는 범주형 변수 수, 범주형 변수에 포함된 서브그룹 수, 범주형 변수들의 특성, 서브 그룹에 대한 샘플 수 비율의 경향성을 포함하여 구성되며, 상기 연관관계를 분석하고자 하는 범주형 변수 수에는 2개 변수 간 연관 관계 분석을 실행, 3개 이상 변수 간 연관 관계 분석, 을 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 범주형 변수들 간 연관관계 분석(Part4-3)을 수행하기 위한 통계알고리듬을 사용자가 직접 하나 선택할 수 있도록 상기 알고리듬관리수단(30)에서 제공하는 통계알고리듬은,
Chi-squared test, Yates'correction, Fisher's exact test, Linear by liner association test, McNemar test, McNemar-Bowker test, Cochran's Q test with Post hoc test, Friedman test with Post hoc analysis 를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 범주형 변수들 간 연관관계 분석(Part4-3)에 대하여 통계알고리듬을 선택하는 프로세스는,
2개 변수 간 연관 관계 분석, 3개 이상 변수 대상 분석을 실행하는 과정, 상변수 내 서브 그룹이 2개일 때와 3개 이상일 때를 판단하여 통계 알고리듬을 판단하는 과정으로 이루어지며,
상기 2개 변수 간 연관 관계분석은 독립적으로 측정된 자료일 때와 쌍으로 구성된 자료일 때를 판단하여 통계 알고리듬을 선택하는 과정을 더 포함하되, 상기 변수 내 서브 그룹이 3개 이상이고 독립적으로 측정된 자료일 때는 단순 연관 관계일 때와 선형 증/감 관계 분석일 때를 판단하여 통계알고리듬을 자동으로 선택하는 과정을 더 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 24항에 있어서, 상기 과정을 통해 선택된 통계알고리듬이 Chi-squared test, Yates'correction, Fisher's exact test 인 경우에는,
서브그룹 수가 4개 이하인 경우와 서브그룹 수가 5개 이상일 때를 판단하여 통계알고리듬을 선택하는 과정으로 이루어지며, 상기 서브그룹 수가 4개 이하인 경우에는 서브그룹 조합에 속한 기대빈도가 4 이하 일 때와 서브그룹 조합에 속한 기대빈도가 5이상 일 때를 판단하여 통계알고리듬을 판단하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 분석특징정보추출수단(20)에서 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위해 제공되는 질의정보 중 범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발(Part4-4)에 대하여 다수 조건이 조합된 변수 특성을 선택하기 위하여 제공하는 질의정보는,
반응변수속성(Ⅰ), 반응변수속성(Ⅱ), 반응예측연구 형태의 질의정보를 포함하며,
상기 반응변수속성(Ⅰ)은 반응시간시간을 확인하는 항목을 포함하고, 상기 반응변수속성(Ⅱ)은 반응변수에 포함된 범주 간 순위 여부를 확인하는 항목을 하며, 상기 반응 예측 연구 형태는 반응예측을 위한 연속형 변수 발굴 및 컷오프 측정, 변수 개별영향력분석, 예측모형개발 항목을 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발(Part4-4)을 수행하기 위한 통계알고리듬을 사용자가 직접 하나 선택할 수 있도록 상기 알고리듬관리수단(30)에서 제공하는 통계알고리듬은,
ROC curve analysis{2분형 반응 예측을 위한 연속형 변수의 절단값(cutoff number)이 1개일때, 2분형 반응 예측을 위한 연속형 변수의 절단값(cutoff number)이 2개 이상일 때}, Univariable binary logistic regression, Multivariable binary logistic regression, Univariable multinomial logistic regression, Multivariable multinomial logistic regression, Univariable ordinal logistic regression, Multivariable ordinal logistic regression, Logistic mixed effect model analysis 를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 범주형 반응 예측을 위한 요인 분석 및 예측 모형 개발(Part4-4)에 대하여 통계알고리듬을 선택하는 프로세스는,
2분형 반응일 때와 3분형 이상 반응일 때를 판단하는 과정, 상기 과정판단결과 2분형반응일 경우에는 연속형 변수 발굴 및 컷오프(cutoff) 추정, 변수개별영향력분석, 예측모형개발을 실행하는 과정을 통해 통계알고리듬을 선택하는 과정, 상기 3분형이상 반응일 때는 반응변수 범주에 순위가 있는 지 없는 지를 판단하고 반응변수 범주에 순위가 있는 지 여부 각각에 대하여 연속형 변수 발굴 및 컷오프(cutoff) 추정, 변수개별영향력분석, 예측모형개발을 실행하는 과정을 통해 통계알고리듬을 선택하는 과정으로 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 분석특징정보추출수단(20)에서 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위해 제공되는 질의정보 중 생존 자료 분석(Part4-5)에 대하여 다수 조건이 조합된 변수 특성을 선택하기 위하여 제공하는 질의정보는,
컴펫팅 리스크(competing risk)의 유무, 예측 인자 속성, 생존자료 연구형태의 질의 정보를 포함하며, 상기 예측 인자 속성은 위험도에 미치는 영향력이 시간과 상관없이 동일한지의 여부, 시간이 지남에 따라서 위험도에 미치는 영향의 변화가 있는 지, 시간이 지남에 따라서 위험도에 미치는 영향의 변화가 반복해서 나타나는 지의 여부를 확인하는 항목을 포함하고,
상기 생존 자료 연구형태는 특정시간대에서의 생존 예측을 위한 연속형 예측 인자 발굴 및 컷오프 분석, kaplan-Meier survival curve 분석, 반응 예측을 위한 독립 변수들의 개별 영향력을 분석, 다수의 후보 인자를 사용해서 반응 예측을 위한 모형을 개발 항목을 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 (Part4-5)을 수행하기 위한 통계알고리듬을 사용자가 직접 하나 선택할 수 있도록 상기 알고리듬관리수단(30)에서 제공하는 통계알고리듬은, Time dependent ROC curve analysis, kaplan-meier curve analysis, Univariable cox proportional hazards regression analysis, Multivariable cox proportional hazards regression analysis, Cox regression using repeatedly measured covariates: univariable analysis, Cox regression using covariates with time-varying effect: multivariable analysis, Cox regression using repeatedly measured covariates 를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 통계분석제어수단(40)에서 생존 자료 분석(Part4-5)에 대하여 통계알고리듬을 선택하는 프로세스는,
컴펫팅 리스크의 유무를 판단하고, 컴펫팅 리스크 유무 각각에 대하여 비례적 위험을 가정할 때, 공변량이 시간에 따라 반복 측정 되었을 때, 공변량이 시간에 따라 다른 영향력을 보일 때를 판단하는 과정, 상기 비례적 위험을 가정할 때는 특정시간대 생존 예측을 위한 컷오프 분석, kaplan meier survival curve 분석, 변수 개별영향력 분석, 예측 모형개발을 실행하여 통계알고리듬을 선택하는 과정, 상기 공변량이 시간에 따라 반복 측정되었을 때 또는 공변량이 시간에 따라 다른 영향력을 보일 때는 변수 개별 영향력 분석, 예측 모형 개발을 실행하여 통계 알고리듬을 자동으로 선택하는 과정으로 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
제 10항에 있어서, 상기 분석특징정보추출수단(20)에서 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위해 제공되는 질의정보 중 기타분석(Part4-6)에 대하여 다수 조건이 조합된 변수 특성을 선택하기 위한 질의정보는,
변수들 간 상관 관계 분석(correlation analysis), 선형 혼합 모형 분석(linear mixed effect model analysis), 로지스틱 혼합 모영 분석(logistic mixed effect model analysis, 콕스 혼합 모형 분석(Cox mixed effect model analysis), 2개 이상의 2분형 진단 예측 모형 성능 비교 분석(comparison of prediction performance Ⅰ), 2개 이상의 예후 예측 모형 성능 비교 분석(comparison of prediction performance Ⅱ), 2분형 진단 예측 모형 예측 성능의 교차 검증(cross validation or internal validation Ⅰ), 예후 예측 모형 성능의 교차 검증(cross validtion or internal validation Ⅱ), 예후 예측 모형 구축에 사용된 데이터와는 별도로 만들어진 데이터로 예측 성능 검증(external validation Ⅰ), 예후 예측 모형 구축에 사용된 데이터와는 별도로 만들어진 데이터로 예측 성능 검증(external validation Ⅱ), 2개 이상 서브그룹에 속한 샘플 수 비율 차이 검정(One smaple proportion test)을 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 시스템.
통계분석프로그램이 시작되면 사용자와의 대화를 위한 대화형인터페이스를 제공하여 사용자에게 질의정보를 제공하고 질의에 대하여 입력된 답변정보를 얻어 저장하는 특징정보추출유도과정과, 특징정보추출유도과정이 완료되면 상기 답변정보로부터 통계알고리듬을 선택하기 위한 분석특징정보를 추출하기 위한 분석특징정보추출과정과, 분석특징정보추출과정으로 부터 추출된 분석특징정보에 매칭되는 알고리듬을 통계분석 알고리듬으로 설정하는 알고리듬설정과정과, 알고리듬설정과정을 통해 설정된 알고리듬에 따라서 통계분석이 실행하는 통계분석실행과정과, 통계분석실행과정을 통해 얻어진 결과들을 사용자에게 제공하는 통계분석결과제공과정을 포함하여 이루어지며,
상기 특징정보추출유도과정은 통계분석시스템이 시작되면 대화분석 시작을 요청하게 되고, 사용자로부터 대화분석 시작 요청이 있는 경우 사용자에게 프로그램 사용목적을 얻어내기 위한 질의정보를 제공하고 이에 대하여 입력된 답변을 입력받는 목적질의과정과, 상기 목적질의과정을 통해 답변이 입력되면 분석특징정보추출수단에 저장하고 그 선택된 사용자의 통계분석목적에 해당하는 변수특성표를 작성하기 위한 질의정보를 제공하고 그 답변정보를 입력받아 분석특징정보로 저장하는 변수특성정보질의과정을 포함하여 이루어지는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 방법.
제 33항에 있어서, 상기 분석특징정보추출과정에 있어서, 분석특징정보는 사용자가 원하는 통계분석 목적 및 통계분석에 적용될 변수 특성정보를 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 방법.
삭제
제 33항에 있어서, 상기 통계분석결과제공과정은 분석결과 정보의 제공방법을 사용자가 설정할 수 있도록 사용자의 분석결과제공방법 설정과정을 더 포함하는 것을 특징으로 하는 대화형 인터페이스를 이용한 통계 분석 방법.
삭제
삭제
삭제
삭제