KR101672500B1 - 시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법 - Google Patents

시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법 Download PDF

Info

Publication number
KR101672500B1
KR101672500B1 KR1020100078012A KR20100078012A KR101672500B1 KR 101672500 B1 KR101672500 B1 KR 101672500B1 KR 1020100078012 A KR1020100078012 A KR 1020100078012A KR 20100078012 A KR20100078012 A KR 20100078012A KR 101672500 B1 KR101672500 B1 KR 101672500B1
Authority
KR
South Korea
Prior art keywords
matrix
variable
graph model
probability graph
variables
Prior art date
Application number
KR1020100078012A
Other languages
English (en)
Other versions
KR20120015693A (ko
Inventor
김여진
장병탁
배병철
최현진
정윤경
최영상
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020100078012A priority Critical patent/KR101672500B1/ko
Priority to US13/112,420 priority patent/US8645307B2/en
Publication of KR20120015693A publication Critical patent/KR20120015693A/ko
Application granted granted Critical
Publication of KR101672500B1 publication Critical patent/KR101672500B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G06F16/337—Profile generation, learning or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/02—Comparing digital values
    • G06F7/023—Comparing digital values adaptive, e.g. self learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding

Abstract

스트림 데이터에 대응되는 변수를 포함하는 제 1 매트릭스를 생성하는 제 1 매트릭스 생성부, 제 1 매트릭스의 변수들을 관심 대상이 되는 목적 변수(object variable)와 상기 목적 변수 이외의 입력 변수(input variable)로 분류하고, 입력 변수에 대한 다차원 조합(multi-order combination)을 통해 조합 변수(combination variable)를 획득하고, 획득된 조합 변수를 이용하여 제 2 매트릭스를 생성하는 제 2 매트릭스 생성부, 및 제 1 매트릭스의 목적 변수와 제 2 매트릭스의 조합 변수를 이용하여 확률 그래프 모델을 생성하는 모델 생성부를 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 장치가 제공된다.

Description

시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법{Apparatus and Method for learning probabilistic graphical model based on time-space structure}
확률 그래프 모델의 생성 및 학습 기술과 관련된다.
스마트 기기(smart device)는 다양한 서비스를 사용자에게 제공한다. 최근 스마트 기기가 제공하는 서비스의 종류가 폭발적으로 증가하게 되면서 사용자는 그때그때 상황에 따라 필요한 서비스만을 제공받고 싶어하는 욕구 역시 증가하게 되었다.
현실 세계에서의 상황 정보는 매우 불확실하다. 즉 사용자가 처한 상황에서의 가장 적합한 서비스는 확률적으로 결정되는 것이 통상적이다. 이러한 확률적인 결정은 각각의 상황 정보와 그 상황 정보에 알맞은 서비스를 모델링한 확률 그래프 모델에 의해 이루어질 수 있다.
확률 그래프 모델은 사용자가 수동으로 설계할 수도 있고 기계 학습에 의해 자동적으로 설계되도록 할 수도 있다. 수동 설계는 모델이 한 번 고정되면 자동으로 갱신을 할 수 없다는 단점이 있다. 자동 설계는 기계 학습 알고리즘에 의해 자동으로 갱신이 되기는 하지만 현실 세계의 불확실한 상황 정보를 모두 커버하기에는 한계가 있다.
또한 현실 세계의 데이터는 대부분 스트림 데이터 형태를 갖는다. 스트림 데이터는 시간에 따라 변하고 그 특성상 실시간성이 보장되어야 하기 때문에 통상적인 확률 그래프 모델을 적용하기에는 적합하지 않다.
불확실한 환경에서 다변수 시계열 데이터를 처리하기 위한 확률 그래프 모델의 학습 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 확률 그래프 모델 학습 장치는, 스트림 데이터에 대응되는 변수를 포함하는 제 1 매트릭스를 생성하는 제 1 매트릭스 생성부, 제 1 매트릭스의 변수들을 관심 대상이 되는 목적 변수(object variable)와 목적 변수 이외의 입력 변수(input variable)로 분류하고, 입력 변수에 대한 다차원 조합(multi-order combination)을 통해 조합 변수(combination variable)를 획득하고, 획득된 조합 변수를 이용하여 제 2 매트릭스를 생성하는 제 2 매트릭스 생성부, 및 제 1 매트릭스의 목적 변수와 제 2 매트릭스의 조합 변수를 이용하여 확률 그래프 모델을 생성하는 모델 생성부를 포함할 수 있다.
본 발명의 일 양상에 따른 확률 그래프 모델 학습 방법은, 스트림 데이터에 대응되는 변수를 포함하는 제 1 매트릭스를 생성하는 단계, 제 1 매트릭스의 변수들을 관심 대상이 되는 목적 변수(object variable)와 목적 변수 이외의 입력 변수(input variable)로 분류하고, 입력 변수에 대한 다차원 조합(multi-order combination)을 통해 조합 변수(combination variable)를 획득하고, 획득된 조합 변수를 이용하여 제 2 매트릭스를 생성하는 단계, 및 제 1 매트릭스의 목적 변수와 제 2 매트릭스의 조합 변수를 이용하여 확률 그래프 모델을 생성하는 단계를 포함할 수 있다.
개시된 내용에 따르면, 스트림 데이터의 종류에 따라 변수를 매트릭스의 행에 배열(공간정보획득)하고, 각 스트림 데이터의 입력 시간에 따라 변수를 매트릭스의 열에 따라 배열(시간정보획득)한 후, 그 매트릭스를 시간 및 공간 방향으로 확장해서 확률 그래프 모델을 생성하기 때문에 불확실한 환경에서의 다변수 시계열 데이터의 시공간 모델 구조를 학습할 수 있다.
도 1은 본 발명의 일 실시예에 따른 확률 그래프 모델 학습 장치의 전체적인 구성을 도시한다.
도 2는 본 발명의 일 실시예에 따른 확률 그래프 모델 학습 장치의 세부적이 구성을 도시한다.
도 3은 본 발명의 일 실시예에 따른 제 1 매트릭스를 도시한다.
도 4는 본 발명의 일 실시예에 따른 제 2 매트릭스를 도시한다.
도 5는 본 발명의 일 실시예에 따른 확률 그래프 모델을 도시한다.
도 6은 본 발명의 일 실시예에 따른 확률 그래프 모델 학습 방법을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 확률 그래프 모델 학습 장치의 전체적인 구성을 도시한다.
도 1을 참조하면, 본 실시예에 따른 확률 그래프 모델 학습 장치(100)는 확률 그래프 모델(101)을 이용하여 수신된 스트림 데이터에 적합한 어떤 추론 결과를 생성한다. 예를 들어, 확률 그래프 모델 학습 장치(100)가 다양한 어플리케이션을 구동하는 스마트 폰에 적용되는 경우, 스트림 데이터는 스마트 폰과 관련된 각종 문맥 정보(또는 상황 정보)(context information)(예컨대, 시간, 위치, 온도, 속도, 스케줄러, 이메일 등)가 될 수 있고, 추론 결과는 확률 그래프 모델(101)을 이용하여 도출된 현재 상황에 가장 적합한 어플리케이션이 될 수 있다.
또한, 확률 그래프 모델 학습 장치(100)는 스마트 폰 사용자들을 위한 Intelligent User Interface(IUI)에 적용될 수 도 있다. IUI는 사용자의 과거 및 현재 상황을 인지하고, 상황에 맞는 서비스 또는 어플리케이션을 예측하여 사용자에게 제시한다. 사용자가 수많은 어플리케이션 가운데 현재 필요한 어플리케이션에 바로 접근할 수 있도록 IUI가 예측된 어플리케이션의 아이콘들을 전면으로 배치하여 제공할 수 있다.
그러나 이것은 설명의 편의를 위한 예시에 불과한 것으로, 이 밖에도 본 실시예에 따른 확률 그래프 모델 학습 장치(100)는 유전자 발현 메커니즘을 밝혀 새로운 지식을 발굴하기 위한 바이오 시스템, 환자의 행동 패턴에 따라 적절한 치료 방법을 제시하는 헬스케어 시스템, 또는 사용자의 행동 패턴에 따라 적절한 교육 방법을 제시하는 교육 시스템 등 다양한 변수들의 시공간적 패턴 변화에 따라 특정한 추론 결과가 필요한 분야에 다양하게 적용될 수 있음은 물론이다.
스트림 데이터는 시간에 따라 변화하고 그 종류도 매우 다양하다. 다시 말해, 스트림 데이터는 다변수 시계열 데이터(multivariate time-series data)로 표현할 수 있는데, 본 실시예에 따른 확률 그래프 모델 학습 장치(100)는 불확실한 환경에서의 다변수 시계열 데이터를 처리하고 적절한 추론 결과를 도출할 수 있는 확률 그래프 모델(101)을 생성 또는 갱신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 확률 그래프 모델 학습 장치의 세부적인 구성을 도시한다.
도 2를 참조하면, 확률 그래프 모델 학습 장치(200)는 제 1 매트릭스 생성부(201), 제 2 매트릭스 생성부(202), 모델 생성부(203), 모델 갱신부(204), 저장부(205), 및 추론부(206)를 포함할 수 있다.
제 1 매트릭스 생성부(201)는 제 1 매트릭스를 생성한다. 제 1 매트릭스는 다수의 변수(variable)를 포함한다. 각각의 변수는 스트림 데이터에 대응된다. 스트림 데이터는 시간에 따라 획득되는 데이터이므로, 스트림 데이터가 할당되는 각각의 변수는 시간 속성과 공간 속성을 갖는 것으로 볼 수 있다. 시간 속성은 스트림 데이터가 언제 측정되었는가 또는 언제 입력되었는가를 나타낼 수 있고, 공간 속성은 그 스트림 데이터가 어떤 종류의 스트림 데이터인가를 나타낼 수 있다. 예를 들어, 제 1 매트릭스 생성부(201)는 스트림 데이터의 종류에 대응되는 행(row)과 스트림 데이터의 입력 시간에 대응되는 열(column)을 갖는 2차원 구조에 변수를 배열함으로써 제 1 매트릭스를 생성하는 것이 가능하다. 물론, 스트림 데이터의 종류가 열에 대응되고 스트림 데이터의 입력 시간이 행에 대응될 수도 있다.
제 2 매트릭스 생성부(202)는 제 1 매트릭스의 각 변수들을 조합함으로써 제 1 매트릭스로부터 확장된 제 2 매트릭스를 생성한다. 제 2 매트릭스 생성부(202)는, 도시된 바와 같이, 분류부(210), 입력 변수 선택부(220), 조합 변수 획득부(230), 및 매트릭스 확장부(240)를 포함할 수 있다.
분류부(210)는 제 1 매트릭스의 각 변수들을 목적 변수(object variable)와 입력 변수(input variable)로 분류한다. 목적 변수는 관심 대상이 되는 변수로써, 확률 그래프 모델을 통한 추론 결과에 대응된다. 입력 변수는 이러한 목적 변수를 제외한 나머지 변수로써, 확률 그래프 모델에 대한 입력 데이터에 대응된다. 예를 들어, 제 1 매트릭스가 스마트 폰에서 주기적으로 측정된 스마트 폰의 위치, 그때의 온도, 및 그때의 구동 중이었던 어플리케이션의 식별자를 포함한다고 가정하자. 이러한 경우, 어플리케이션의 식별자를 목적 변수로 분류하고, 위치 및 온도를 입력 변수로 분류하는 것이 가능하다.
제 1 매트릭스의 각 변수들 중에서 어떤 것을 목적 변수로 분류하고 어떤 것을 입력 변수로 분류할지는 본 발명의 사용목적 및 응용예에 따라 다양하게 설정될 수 있다. 만약, 어플리케이션의 식별자를 목적 변수로 보고, 위치 및 온도를 입력 변수로 보는 경우, 확률 그래프 모델을 이용하여 현재의 위치 및 온도에서 가장 적합한 어플리케이션을 추론할 수 있다.
입력 변수 선택부(220)는 제 1 매트릭스의 행과 열을 따라 입력 변수 중에서 제 2 매트릭스 생성에 사용될 입력 변수들을 선택한다. 예컨대, 입력 변수 선택부(220)는 제 1 매트릭스에서 행 방향 및 종 방향 모두에 걸쳐서 입력 변수를 선택할 수 있다. 여기서, 행 방향 및 종 방향 모두에 걸쳐서 입력 변수를 선택한다 함은 어느 하나의 행을 고정한 상태로 열 방향을 따라 입력 변수를 선택하거나, 또는 어느 하나의 열을 고정한 상태로 행 방향을 따라 입력 변수를 선택하지 아니하는 것을 말한다.
일 예로써, 입력 변수 선택부(220)는 각각의 행에서 임의의 개수의 입력 변수를 선택할 수 있다. 다시 말해, 일정한 시간 간격으로 수집된 제 1 스트림 데이터에 대응되는 제 1 행에서 3개의 열에 해당하는 입력 변수를 선택하고, 일정한 시간 간격으로 수집된 제 2 스트림 데이터에 대응되는 제 2 행에서 4개의 열에 해당하는 입력 변수를 선택하는 것이 가능하다.
다른 예로써, 입력 변수 선택부(220)는 각각의 행에서 n개의 입력 변수를 선택하는 것도 가능하다. 다시 말해, 일정한 시간 간격으로 수집된 제 1 스트림 데이터에 대응되는 제 1 행에서 3개의 열에 해당하는 입력 변수를 선택하고, 일정한 시간 간격으로 수집된 제 2 스트림 데이터에 대응되는 제 2 행에서도 역시 3개의 열에 해당하는 입력 변수를 선택하는 것이 가능하다.
그 밖에도 입력 변수 선택부(220)가 제 1 매트릭스의 입력 변수 중에서 어떠한 입력 변수들을 선택하는지는 본 발명의 사용목적 및 응용예에 따라 다양하게 설정될 수 있음은 물론이다.
조합 변수 획득부(230)는 입력 변수 선택부(220)가 선택한 입력 변수들을 다차원 조합해서 제 2 매트릭스의 구성요소가 되는 조합 변수(combination variable)들을 생성한다. 여기서 선택된 입력 변수에서 하나를 선택하는 조합을 1차원 조합이라고 하고, 선택된 입력 변수에서 두 개를 선택하는 조합을 2차원 조합이라고 할 때, 다차원 조합이란 이와 같이 조합의 차원을 하나씩 높여가면서 새로운 변수 집합을 생성하는 것을 의미할 수 있다. 예를 들어, 조합 변수 획득부(230)가 2차원 조합을 통해 조합 변수들을 생성하는 경우, 입력 변수 선택부(220)가 선택한 입력 변수 전체에서 하나씩을 선택해서 1차원 조합 변수들을 생성하고, 다시 입력 변수 선택부(220)가 선택한 입력 변수 전체에서 두 개씩을 선택해서 2차원 조합 변수들을 생성하는 것이 가능하다. 이 때 조합의 차수는 마르코브 연쇄 차수(Markov chain order)에 기초하여 정해질 수 있으며 1 이상의 값을 가질 수 있다.
매트릭스 확장부(240)는 조합 변수 획득부(230)가 생성한 조합 변수들을 이용해서 제 2 매트릭스를 생성한다. 결과적으로, 제 2 매트릭스는 제 1 매트릭스의 확장 버전이 될 수 있다. 따라서 제 2 매트릭스는 제 1 매트릭스에서 제시된 입력 변수들 사이에 가능한 관계를 조합하여 확장시킨 변수들의 매트릭스가 될 수 있다.
모델 생성부(203)는 제 1 매트릭스의 목적 변수와 제 2 매트릭스의 조합 변수를 이용하여 확률 그래프 모델을 생성한다. 확률 그래프 모델과 관련하여, 제 2 매트릭스의 조합 변수는 확률 그래프 모델의 입력 데이터에 대응되고 제 1 매트릭스의 목적 변수는 확률 그래프 모델의 추론 결과에 대응될 수 있다. 모델 생성부(203)는, 도시된 바와 같이, 노드 결정부(250) 및 구조 결정부(260)를 포함할 수 있다.
노드 결정부(250)는 제 1 매트릭스의 목적 변수와 제 2 매트릭스의 조합 변수들의 관계를 결정한다. 변수들 간의 관계는 조건부 확률 테이블로 주어질 수 있으며, 노드 결정부(250)는 각 변수들의 조건부 확률 테이블을 산출할 수 있다.
구조 결정부(260)는 확률 그래프 모델의 전체적인 구조를 결정한다. 예를 들어, 구조 결정부(260)는 각각의 조건부 확률 테이블에서 정해진 임계값 이하의 확률값을 갖는 부분을 삭제하여 변수 간의 링크 구조를 결정하는 것이 가능하다.
또한, 본 발명의 일 실시예에 따라, 조건부 확률 테이블의 계산 및 링크 제거에 있어서 maximum likelihood estimation 또는 Bayesian estimation 알고리즘이 적용될 수도 있다.
모델 갱신부(204)는 생성된 확률 그래프 모델을 저장부(205)에 저장한다. 또한, 모델 갱신부(204)는 저장부(205)에 기 저장되어 있던 확률 그래프 모델을 갱신할 수도 있다.
추론부(206)는 저장부(205)에 저장되어 있는 확률 그래프 모델을 이용하여 현재의 스트림 데이터에 대한 추론 결과를 도출한다. 예컨대, 추론부(206)는 문맥 정보 또는 정황 정보로써 스트림 데이터를 수신하고, 수신된 스트림 데이터를 확률 그래프 모델에 적용해서 현재의 문맥 또는 현재의 정황에 가장 적합한 목적 변수를 추론하는 것이 가능하다.
이와 같이, 본 실시예에 따른 확률 그래프 모델 학습 장치(200)는, 스트림 데이터의 종류에 따라 변수를 매트릭스의 행에 배열(공간정보획득)하고, 각 스트림 데이터의 입력 시간에 따라 변수를 매트릭스의 열에 따라 배열(시간정보획득)한 후, 그 매트릭스를 시간 및 공간 방향으로 조합해서 확률 그래프 모델을 생성하기 때문에 불확실한 환경에서의 다변수 시계열 데이터에 내재되어 있는 패턴의 구조를 적절하게 발굴하고 복잡한 시공간 구조를 갖는 데이터로부터 특정한 변수의 값을 추론하는 것이 가능하다.
도 3은 본 발명의 일 실시예에 따른 제 1 매트릭스를 도시한다.
도 2 및 도 3을 참조하면, 제 1 매트릭스 생성부(201)는 각각의 스트림 데이터(301)를 입력된 시간(302)에 따라 변수에 매핑해서 제 1 매트릭스(303)를 생성한다.
제 1 매트릭스(303)는 두 개의 축을 갖는다.
제 1 매트릭스(303)의 하나의 축은 매트릭스의 각 행에 대응되는 것으로 공간 축(310)이라 부를 수 있다. 예를 들어, 각각의 스트림 데이터는 제 1 매트릭스(303) 안에서 그 종류 별로 공간 축(310)을 따라 배치될 수 있다. 스트림 데이터의 종류는 그 스트림 데이터를 수집 또는 검출한 센서의 종류에 따라 어플리케이션에 관한 스트림 데이터(330), 위치에 관한 스트림 데이터(340), 온도(또는 날씨)에 관한 스트림 데이터(350), 행위(또는 동작)에 관한 스트림 데이터(360), 및 감정에 관한 스트림 데이터(370) 등이 있을 수 있다. 참고로, 동작에 관한 스트림 데이터(360)에는 가속 센서의 센싱 정보가 포함될 수 있으며, 감정에 관한 스트림 데이터(370)에는 카메라로부터 얻어진 얼굴 표정 정보 등이 포함될 수도 있다.
제 1 매트릭스(303)의 다른 하나의 축은 매트릭스의 각 열에 대응되는 것으로 시간 축(320)이라 부를 수 있다. 다시 말해, 제 1 매트릭스(303)에서 공간 축(310)은 각 스트림 데이터의 종류를 나타내고, 시간 축(320)은 각 스트림 데이터의 입력 시간을 나타낼 수 있다. 예를 들어, 변수 #1(304)은 t에서의 온도 데이터가 될 수 있고, 변수 #2(305)는 t-1에서의 온도 데이터가 될 수 있다. 즉 같은 종류의 스트림 데이터라도 시간에 따라 그 값이 변할 수 있음을 알 수 있다. 마찬가지로, 같은 시간 t에서 변수 #1(304)은 온도 데이터가 될 수 있고 변수 #3(306)은 위치 데이터가 될 수 있다.
도 4는 본 발명의 일 실시예에 따른 제 2 매트릭스를 도시한다.
도 2 내지 도 4를 참조하면, 제 2 매트릭스 생성부(202)는 제 1 매트릭스(303)에서 목적 변수(401)와 입력 변수(402)를 분류한다. 목적 변수(401)는 사용자의 관심 대상이 되는 변수로 확률 그래프 모델에서의 추론 결과에 대응되고 입력 변수(402)는 추론 결과를 도출하기 위한 상황 정보 또는 확률 그래프 모델에 입력되는 입력 데이터에 대응된다. 분류 기준은 본 발명의 사용 목적 및 응용예에 따라 다양하게 설정할 수 있는데, 여기서는 어플리케이션에 관한 스트림 데이터(330)의 종류를 목적 변수(401)로 할당하고 나머지 위치(340), 온도(350), 행위(360), 감정(370)에 관한 스트림 데이터의 종류 및 시간에 대응하는 변수들이 입력 변수(402)가 되는 것을 예시하였다.
제 1 매트릭스(303)가 목적 변수(401) 및 입력 변수(402)로 분류되면, 제 2 매트릭스 생성부(202)는 제 1 매트릭스(303)의 입력 변수(402) 중 일부(402-1 또는 402-2)를 선택한다. 선택 기준 역시 본 발명의 사용 목적 및 응용예에 따라 다양하게 설정될 수 있으나, 여기서는 주어진 마르코브 연쇄 차수(Markov chain order)만큼 제 1 매트릭스(303)의 시간 축(320)을 잘라서 변수를 선택하는 경우를 설명한다.
마르코브 연쇄 차수란 어떤 변수가 관측될 확률이 부모 변수들의 관측 값에 의해 영향을 받을 때 그 부모 세대의 수를 의미한다. 예컨대, 어떤 변수가 N번째 세대의 부모 변수들의 관측 값에 영향을 받을 때 이 N 값이 마르코브 연쇄 차수가 된다. 마르코브 연쇄 차수가 3으로 주어지는 경우, 일 예로써, 제 2 매트릭스 생성부(202)는 제 1 매트릭스(303)에서 t부터 t-2까지의 열(402-1)의 변수들을 선택하는 것이 가능하다. 그러나 이것은 설명의 편의를 위한 하나의 예로써 시간 축 및 공간 축 방향으로 임의의 변수가 선택될 수도 있다.
입력 변수 중 일부가 선택되면, 제 2 매트릭스 생성부(202)는 선택된 변수들(402-1)을 다차원 조합해서 제 2 매트릭스(403)를 생성한다. 일 예로써, 마르코브 연쇄 차수가 3으로 주어지는 경우, 제 2 매트릭스 생성부(202)는 3차원 조합 변수들까지 생성하는 것이 가능하다. 예컨대, 1차원 조합 변수들(404)은 선택된 입력 변수들(402-1)에서 하나를 선택하는 조합을 통해 12개(12C1=12)가 생성될 수 있다. 2차원 조합 변수들(405)는 선택된 입력 변수들(402-1)에서 두 개를 선택하는 조합을 통해 66개(12C2=66)가 생성될 수 있다. 또한 3차원 조합 변수들(406)은 선택된 입력 변수들(402-1)에서 세 개를 선택하는 조합을 통해 220개(12C3=220)가 생성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 확률 그래프 모델을 도시한다.
도 2 내지 도 5를 참조하면, 모델 생성부(203)는 제 2 매트릭스의 조합 변수(501) 및 제 1 매트릭스의 목적 변수(502)에 기초하여 확률 그래프 모델(500)을 생성한다. 예를 들어, 모델 생성부(203)는 각 노드의 조건부 확률 테이블을 구해서 제 2 매트릭스의 조합 변수(501)와 제 1 매트릭스의 목적 변수(502) 간의 관계를 결정하고, 관계가 적은 노드 간 링크를 제거해서 제 2 매트릭스의 조합 변수(501)와 제 1 매트릭스의 목적 변수(502) 간의 링크 구조를 결정하는 것이 가능하다. 각 노드의 조건부 확률 테이블을 구하는 방법, 각 노드 간의 관계를 구하는 방법, 및 의미 없는 링크를 제거하는 방법 등은 maximum likelihood estimation 또는 Bayesian estimation 알고리즘을 통해 구현되는 것도 가능하다.
도 6은 본 발명의 일 실시예에 따른 확률 그래프 모델 학습 방법을 도시한다.
도 2 및 도 6을 참조하면, 본 실시예에 따라, 먼저 스트림 데이터에 대응되는 변수를 포함하는 제 1 매트릭스가 생성된다(601). 예컨대, 제 1 매트릭스 생성부(201)가 도 3과 같은 매트릭스를 생성하는 것이 가능하다.
제 1 매트릭스가 생성되면, 제 1 매트릭스를 기초로 제 2 매트릭스가 생성된다(602). 제 2 매트릭스는 제 1 매트릭스를 시간 축 및 공간 축으로 조합하여 확장한 확장 버전이 될 수 있다. 예컨대, 제 2 매트릭스 생성부(202)가 도 4와 같이 매트릭스를 확장하는 것이 가능하다.
제 2 매트릭스가 생성되면, 확률 그래프 모델이 생성된다(603). 예컨대, 모델 생성부(203)가 도 5와 같이 제 2 매트릭스의 조합 변수 및 제 1 매트릭스의 목적 변수를 이용해서 확률 그래프 모델을 생성하는 것이 가능하다.
또한, 본 발명의 일 실시예에 따라, 만들어진 확률 그래프 모델은 불확실한 환경에서 유의미한 추론 결과를 도출하기 위해 사용될 수 있다. 예를 들어, 생성된 확률 그래프 모델을 통해 현재 상황에 가장 적합한 어플리케이션 또는 서비스를 추론하는 것이 가능하다. 또한 확률 그래프 모델의 생성이 주기적으로 이루어짐에 따라 이전에 만들어진 확률 그래프 모델을 갱신하는 것도 가능하다.
이상에서 살펴본 것과 같이, 본 실시예에 따른 장치 및 방법은, 변수들을 공간 속성 및 시간 속성을 모두 고려해서 모델을 만들기 때문에 다양한 변수가 시간에 따라 변화하는 불확실한 환경에서도 적절하게 적용될 수 있는 확률 그래프 모델을 구축하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
나아가 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims (18)

  1. 스트림 데이터에 대응되는 변수를 포함하는 제 1 매트릭스를 생성하는 제 1 매트릭스 생성부;
    상기 제 1 매트릭스의 변수들을 관심 대상이 되는 목적 변수(object variable)와 상기 목적 변수 이외의 입력 변수(input variable)로 분류하고, 상기 입력 변수에 대한 다차원 조합(multi-order combination)을 통해 조합 변수(combination variable)를 획득하고, 획득된 조합 변수를 이용하여 제 2 매트릭스를 생성하는 제 2 매트릭스 생성부; 및
    상기 제 1 매트릭스의 목적 변수와 상기 제 2 매트릭스의 조합 변수를 이용하여 확률 그래프 모델을 생성하는 모델 생성부; 를 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  2. 제 1 항에 있어서, 상기 제 1 매트릭스 생성부는
    상기 스트림 데이터의 종류에 대응되는 행(row)과 상기 스트림 데이터의 입력 시간에 대응되는 열(column)을 갖는 2차원 구조에 상기 변수를 배열하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  3. 제 2 항에 있어서, 상기 제 2 매트릭스 생성부는
    상기 제 1 매트릭스의 변수들을 상기 목적 변수와 상기 입력 변수로 분류하는 분류부;
    상기 행 및 상기 열에 따라 상기 입력 변수 중에서 일부를 선택하는 입력 변수 선택부;
    상기 선택된 입력 변수를 n번 조합해서 제 1 차원 내지 제 n 차원 조합 변수들을 획득하는 조합 변수 획득부; 및
    상기 획득된 조합 변수들을 포함하는 상기 제 2 매트릭스를 생성하는 매트릭스 확장부; 를 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  4. 제 3 항에 있어서, 상기 입력 변수 선택부는
    각각의 행에서 임의의 개수의 입력 변수를 선택하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  5. 제 3 항에 있어서, 상기 입력 변수 선택부는
    각각의 행에서 n개의 입력 변수를 선택하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  6. 제 5 항에 있어서, 상기 n 값은
    마르코브 연쇄 차수(Markov chain order)에 기초하여 정해지는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  7. 제 1 항에 있어서, 상기 모델 생성부는
    상기 제 1 매트릭스의 목적 변수와 상기 제 2 매트릭스의 조합 변수들의 조건부 확률 테이블에 기초하여 상기 확률 그래프 모델의 각 노드 간의 관계를 결정하는 노드 결정부; 및
    정해진 임계값 이하의 확률값을 갖는 조건부 확률 테이블의 엔트리를 삭제하여 상기 확률 그래프 모델의 구조를 결정하는 구조 결정부; 를 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  8. 제 1 항에 있어서,
    상기 생성된 확률 그래프 모델을 저장하거나, 또는 상기 생성된 확률 그래프 모델을 이용하여 기 저장된 확률 그래프 모델을 갱신하는 모델 갱신부; 를 더 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  9. 제 1 항에 있어서,
    상기 생성된 확률 그래프 모델을 이용하여 현재 상황에 적합한 목적 변수를 추론하는 추론부; 를 더 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 장치.
  10. 스트림 데이터에 대응되는 변수를 포함하는 제 1 매트릭스를 생성하는 단계;
    상기 제 1 매트릭스의 변수들을 관심 대상이 되는 목적 변수(object variable)와 상기 목적 변수 이외의 입력 변수(input variable)로 분류하고, 상기 입력 변수에 대한 다차원 조합(multi-order combination)을 통해 조합 변수(combination variable)를 획득하고, 획득된 조합 변수를 이용하여 제 2 매트릭스를 생성하는 단계; 및
    상기 제 1 매트릭스의 목적 변수와 상기 제 2 매트릭스의 조합 변수를 이용하여 확률 그래프 모델을 생성하는 단계; 를 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  11. 제 10 항에 있어서, 상기 제 1 매트릭스를 생성하는 단계는
    상기 스트림 데이터의 종류에 대응되는 행(row)과 상기 스트림 데이터의 입력 시간에 대응되는 열(column)을 갖는 2차원 구조에 상기 변수를 배열하는 과정을 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  12. 제 11 항에 있어서, 상기 제 2 매트릭스를 생성하는 단계는
    상기 제 1 매트릭스의 변수들을 상기 목적 변수와 상기 입력 변수로 분류하는 과정;
    상기 행 및 상기 열에 따라 상기 입력 변수 중에서 일부를 선택하는 과정;
    상기 선택된 입력 변수를 n번 조합해서 제 1 차원 내지 제 n 차원 조합 변수들을 획득하는 과정; 및
    상기 획득된 조합 변수들을 포함하는 상기 제 2 매트릭스를 생성하는 과정; 을 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  13. 제 12 항에 있어서, 상기 입력 변수 중 일부를 선택하는 과정은
    각각의 행에서 임의의 개수의 입력 변수를 선택하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  14. 제 12 항에 있어서, 상기 입력 변수 중 일부를 선택하는 과정은
    각각의 행에서 n개의 입력 변수를 선택하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  15. 제 14 항에 있어서, 상기 n 값은
    마르코브 연쇄 차수(Markov chain order)에 기초하여 정해지는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  16. 제 10 항에 있어서, 상기 모델을 생성하는 단계는
    상기 제 1 매트릭스의 목적 변수와 상기 제 2 매트릭스의 조합 변수들의 조건부 확률 테이블에 기초하여 상기 확률 그래프 모델의 각 노드 간의 관계를 결정하는 과정; 및
    정해진 임계값 이하의 확률값을 갖는 조건부 확률 테이블의 엔트리를 삭제하여 상기 확률 그래프 모델의 구조를 결정하는 과정; 을 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  17. 제 10 항에 있어서,
    상기 생성된 확률 그래프 모델을 저장하거나, 또는 상기 생성된 확률 그래프 모델을 이용하여 기 저장된 확률 그래프 모델을 갱신하는 단계; 를 더 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
  18. 제 10 항에 있어서,
    상기 생성된 확률 그래프 모델을 이용하여 현재 상황에 적합한 목적 변수를 추론하는 단계; 를 더 포함하는 시공간 구조 기반의 확률 그래프 모델 학습 방법.
KR1020100078012A 2010-08-12 2010-08-12 시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법 KR101672500B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100078012A KR101672500B1 (ko) 2010-08-12 2010-08-12 시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법
US13/112,420 US8645307B2 (en) 2010-08-12 2011-05-20 Apparatus and method for generating probabilistic graphical model based on time-space structure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078012A KR101672500B1 (ko) 2010-08-12 2010-08-12 시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120015693A KR20120015693A (ko) 2012-02-22
KR101672500B1 true KR101672500B1 (ko) 2016-11-03

Family

ID=45565520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078012A KR101672500B1 (ko) 2010-08-12 2010-08-12 시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법

Country Status (2)

Country Link
US (1) US8645307B2 (ko)
KR (1) KR101672500B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130194271A1 (en) * 2012-01-30 2013-08-01 Sap Ag Visualization of Uncertain Times Series
KR101907551B1 (ko) 2012-07-05 2018-12-07 삼성전자 주식회사 확률 그래프의 효과적인 그래프 클러스터링 장치 및 방법
KR102228856B1 (ko) * 2014-03-20 2021-03-17 엘지전자 주식회사 이동단말기 및 그 제어방법
US11094015B2 (en) 2014-07-11 2021-08-17 BMLL Technologies, Ltd. Data access and processing system
US10264319B2 (en) * 2015-06-07 2019-04-16 Apple Inc. Priming media applications and presenting primed media application data
US10810508B1 (en) * 2016-03-22 2020-10-20 EMC IP Holding Company LLC Methods and apparatus for classifying and discovering historical and future operational states based on Boolean and numerical sensor data
US10417083B2 (en) * 2017-11-30 2019-09-17 General Electric Company Label rectification and classification/prediction for multivariate time series data
CN109165249B (zh) * 2018-08-07 2020-08-04 阿里巴巴集团控股有限公司 数据处理模型构建方法、装置、服务器和用户端
WO2022072897A1 (en) * 2020-10-01 2022-04-07 Crowdsmart, Inc. Measuring the free energy in an evaluation
US11768591B2 (en) * 2021-04-23 2023-09-26 Lucid Software, Inc Dynamic graphical containers

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100378240B1 (ko) 2000-08-23 2003-03-29 학교법인 통진학원 엔트로피와 사용자 프로파일을 적용한 문서순위 조정방법
JP4456456B2 (ja) 2004-10-12 2010-04-28 ヤフー株式会社 文献検索支援装置、その方法、文献検索装置、および、それらのプログラム
US7698055B2 (en) 2004-11-16 2010-04-13 Microsoft Corporation Traffic forecasting employing modeling and analysis of probabilistic interdependencies and contextual data
JP4639784B2 (ja) 2004-12-06 2011-02-23 ソニー株式会社 学習装置および学習方法、並びにプログラム
KR100791951B1 (ko) 2006-05-25 2008-01-04 이훈영 케이스기반 예측방법
KR100961992B1 (ko) 2008-02-28 2010-06-08 고려대학교 산학협력단 마르코프 체인을 이용한 사이버 범죄 행위 분석 방법, 그장치 및 이를 기록한 기록매체
US8775344B2 (en) * 2008-05-22 2014-07-08 International Business Machines Corporation Determining and validating provenance data in data stream processing system
KR100974871B1 (ko) 2008-06-24 2010-08-11 연세대학교 산학협력단 특징 벡터 선택 방법 및 장치, 그리고 이를 이용한 음악장르 분류 방법 및 장치
JP5215098B2 (ja) 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、プログラム及び情報記憶媒体

Also Published As

Publication number Publication date
KR20120015693A (ko) 2012-02-22
US20120041920A1 (en) 2012-02-16
US8645307B2 (en) 2014-02-04

Similar Documents

Publication Publication Date Title
KR101672500B1 (ko) 시공간 구조 기반의 확률 그래프 모델 학습 장치 및 방법
Aubret et al. A survey on intrinsic motivation in reinforcement learning
Jang et al. Q-learning algorithms: A comprehensive classification and applications
Lewis et al. Architectural aspects of self-aware and self-expressive computing systems: From psychology to engineering
US11568206B2 (en) System, method and apparatus for machine learning
Georgakis et al. Learning to map for active semantic goal navigation
US20190370671A1 (en) System and method for cognitive engineering technology for automation and control of systems
Saleem et al. Data analytics in the internet of things: a survey
Anagnostopoulos et al. Efficient location prediction in mobile cellular networks
Talamali et al. Improving collective decision accuracy via time-varying cross-inhibition
KR102293791B1 (ko) 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
Hu et al. Heterogeneous crowd simulation using parametric reinforcement learning
CN106603336B (zh) 一种云计算环境的机器状态预测方法及装置
Khatoon et al. Analysis of use cases enabling AI/ML to IOT service platforms
Pandya et al. Fuzzy-as-a-service for real-time human activity recognition using IEEE 1855-2016 standard
Setyawan et al. Combinations of micro-macro states and subgoals discovery in hierarchical reinforcement learning for path finding
Oka et al. Spatial feature-based prioritization for transmission of point cloud data in 3D-image sensor networks
JP7466702B2 (ja) プロトタイプオプションの発見による解釈可能な模倣学習
CN113672807A (zh) 推荐方法、装置、介质、装置和计算设备
Fujita et al. Decision dynamics in cooperative search based on evolutionary game theory
KR102026776B1 (ko) 교차 의사결정 기반 스마트홈 서비스 방법 및 시스템
Jin et al. Structure entropy minimization-based dynamic social interaction modeling for trajectory prediction
JP2022509886A (ja) 情報処理装置、制御方法、およびプログラム
Johansson Information acquisition in data fusion systems
KR102568392B1 (ko) 동적 상황판 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4