KR20060044772A - 트리를 학습하기 위한 테이블 사용 방법 - Google Patents

트리를 학습하기 위한 테이블 사용 방법 Download PDF

Info

Publication number
KR20060044772A
KR20060044772A KR1020050025019A KR20050025019A KR20060044772A KR 20060044772 A KR20060044772 A KR 20060044772A KR 1020050025019 A KR1020050025019 A KR 1020050025019A KR 20050025019 A KR20050025019 A KR 20050025019A KR 20060044772 A KR20060044772 A KR 20060044772A
Authority
KR
South Korea
Prior art keywords
bayesian network
edge
score
learning
data
Prior art date
Application number
KR1020050025019A
Other languages
English (en)
Inventor
데이비드 엠. 칙커링
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060044772A publication Critical patent/KR20060044772A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G21/00—Table-ware
    • A47G21/04—Spoons; Pastry servers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G21/00—Table-ware
    • A47G21/06—Combined or separable sets of table-service utensils; Oyster knives with openers; Fish servers with means for removing bones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching

Abstract

본 발명은, 완성 테이블을 갖는 베이지안 네트워크를 학습하기 위해 학습 알고리즘을 사용함으로써 결정 트리를 갖는 베이지안 네트워크를 용이하게 학습하게 하는 시스템 및 방법에 관한 것이다. 학습 알고리즘은 그 관련된 방향성 비순환 그래프(DAG)를 정교화하기 위해 완성 테이블을 갖는 베이지안 네트워크에서 에지를 역전시킬 수 있는 서치 알고리즘을 포함할 수 있다. 정교화된 완성 테이블의 DAG는 결정-트리 베이지안 네트워크 내의 결정 트리를 성장시키는데 사용된 학습 알고리즘에 대한 제약들의 세트를 유도하는데 사용될 수 있다.
베이지안 네트워크, 학습 알고리즘, 결정 트리, 방향성 비순환 그래프(DAG), 서치 알고리즘

Description

트리를 학습하기 위한 테이블 사용 방법{USING TABLES TO LEARN TREES}
도 1은 본 발명의 일 태양에 따른 예시적인 베이지안 네트워크를 예시한 도면.
도 2는 본 발명의 일 태양에 따른 베이지안 네트워크 학습 시스템의 블록도.
도 3은 본 발명의 일 태양에 따른 베이지안 네트워크 학습 시스템의 또 다른 블록도.
도 4는 본 발명의 일 태양에 따른 예시적인 노드-에지 구성(들)을 예시한 도면.
도 5는 본 발명의 일 태양에 따른 리프(leaf)-노드 구성(들)을 예시한 도면.
도 6은 본 발명의 일 태양에 따라 결정 트리를 통해 베이지안 네트워크를 학습하는 방법을 예시한 흐름도.
도 7은 본 발명의 일 태양에 따라 결정 트리를 통해 베이지안 네트워크를 학습하는 방법을 예시한 또 다른 흐름도.
도 8은 본 발명이 기능할 수 있는 예시적인 동작 환경을 예시한 도면.
도 9는 본 발명이 기능할 수 있는 또 다른 예시적인 동작 환경을 예시한 도면.
<도면 주요 부분에 대한 부호의 설명>
102, 106, 110: 노드
104, 108: 호
202:베이지안 네트워크 구성기
204: 데이터 세트
204, 206: 완성 테이블
208: 베이지안 네트워크
본 발명은 일반적으로 데이터 모델링 및 분석에 관한 것이며, 더욱 상세하게는 완성 데이터 테이블을 사용하여 모델(또는 패턴)을 생성하는 것에 관한 것이다.
인터넷, 특히 인터넷을 통한 전자 상거래("e-commerce")의 출현으로, 데이터 분석 툴을 사용하는 경우가 매우 증가하고 있다. 전자 상거래와 기타 인터넷 및 비-인터넷 애플리케이션에서, 천문학적으로 많은 양의 정보를 갖는 데이터베이스가 생성되고 유지된다. 일반적으로, 이러한 정보는 고객, 사용자, 제품 등에 관한 추가 정보를 학습하기 위해 분석되거나 "마이닝"(mined)된다. 이러한 정보로 인해 사업가들 및 기타 사용자들은 그들의 제품 및/또는 아이디어를 더 잘 구현하게 된다.
{데이터베이스 내의 지식 발견(Knowledge Discovery in Databases: KDD)으로도 알려진} 데이터 마이닝(data mining)은 "데이터로부터 암시적이고 이전에 알려 져 있지 않으며 잠재적으로 유용한 정보에 대한 자명하지 않은 추출로서 정의되어 왔다. 데이터 마이닝은 지식을 인간이 쉽게 이해할 수 있는 형태로 발견 및 제공하기 위한 기계 학습적, 통계적 및/또는 시각적인 기술을 사용할 수 있다. 일반적으로, 인간은 문자 아이템보다는 그래픽 아이템을 좀더 쉽게 인식하거나 해석한다. 따라서, 다른 방법보다는 이러한 수단을 사용하여, 더 많은 양의 정보가 중계될 수 있다. 이처럼, 그래픽 통계적 모델은 데이터 마이닝에서 매우 중요함이 증명되었다.
컴퓨터 과학 내에서 인공 지능의 출현으로 인해 많은 결정-지원 시스템(decision-support system)이 초래되었다. 결정-지원 시스템은 보통은 인간에 의해 제공되는 결정이 추천되고 때때로 이루어지는 컴퓨터 시스템이다. 결정-지원 시스템을 생성할 때, 컴퓨터 과학자들은 가능한 최고의 정확도를 결정에 제공하고자 한다. 따라서, 컴퓨터 과학자들은 전문가와 동일하거나 더 정확한 결정-지원 시스템을 생성하고자 애쓰고 있다. 결정-지원 시스템의 애플리케이션으로는 의학 진단, 고장을 수리하는 컴퓨터 네트워크, 또는 다른 시스템들이 있으며, 결정은 식별할 수 있는 기준을 기초로 한다.
결정-지원 시스템의 연구용으로 가장 유망한 새로운 분야중 하나로 베이지안(Bayesian) 네트워크가 있다. 베이지안 네트워크는 세계에 관한 특성부(distinction) 간의 확률적 관계(probabilistic relationship)의 표현이다. 때때로 변수로 불리는 각 특성부는 가능한 상태의 상호 배타적이고 철저한 세트 중 하나를 차지할 수 있다. 베이지안 네트워크는 비순환 방향성 그래프로서 표현되며, 변수는 노드에 해당하고, 노드 사이의 관계는 호(arc)에 해당한다.
베이지안 네트워크는 해당 변수 간의 확률 관계를 인코딩하는 그래픽 통계 모델이다. 최근 십 년 동안, 베이지안 네트워크는 전문가 시스템에서 불확실한 전문적인 지식을 인코딩하기 위한 대중적인 표현이 되었다. 최근에, 연구자들은 데이터로부터 베이지안 네트워크를 학습하는 방법을 개발하였다. 통계적 기법과 함께 사용될 경우, 이러한 그래픽 모델은 데이터 분석에서 몇 가지 장점을 갖는다. 첫째, 이 모델이 모든 변수 간의 종속도를 인코딩하기 때문에, 이 모델은 일부 데이터 항목이 손실된 경우를 쉽게 처리한다. 둘째, 베이지안 네트워크는 인과 관계를 학습하는 데에 사용되므로, 문제 영역에 대한 이해를 얻고, 개입의 결과를 예측하는 데에 사용될 수 있다. 셋째, 이 모델은 인과 및 확률 시맨틱스(semantics)를 갖기 때문에, 이러한 모델은 (흔히 인과 형태인) 종래의 지식 및 데이터를 조합하기 위한 이상적인 표현이다. 그리고 넷째, 베이지안 통계 방법은 베이지안 네트워크와 함께 데이터의 오버피팅(overfitting)을 피하기 위한 효율적이고 원칙적인 접근법을 제공한다.
결정 트리 또는 결정 그래프와 같은 통계 모델을 구성하기 위한 두 가지 전통적인 접근법, 즉 지식-기반 접근법 및 데이터-기반 접근법이 있다. 지식-기반 접근법을 사용하여, (지식 엔지니어로 알려진) 사람은 소정의 분야의 전문가를 인터뷰하여, 이 전문가의 전문 분야에 대한 이 전문가의 지식을 얻는다. 지식 엔지니어 및 전문가는 먼저 이 전문가의 분야에서 결정을 행하는 데에 중요한 세계의 특성부를 결정한다. 이들 특성부는 해당 영역에서의 변수에 대응한다. 예컨대, 만약 결정 그래프가 고객이 가게에서 구매한 제품을 기초로 해서 고객의 나이를 예측하는데 사용된다면, "나이"에 관련된 하나의 변수와 모든 관련 제품에 관한 하나의 변수가 있을 것이다. 그 다음에 지식 엔지니어와 전문가는 결정 그래프의 구조와, 조건부 확률 분포를 정량화한 대응 파라미터 값을 결정한다.
데이터-기반 접근법에서, 지식 엔지니어와 전문가는 이 영역의 변수를 먼저 결정한다. 그 다음으로, 데이터는 이들 변수에 대해 누적되고, 이 데이터로부터 하나 이상의 결정 그래프를 생성하는 알고리즘이 적용된다. 누적된 데이터는 이 영역의 실세계 인스턴스들, 즉 소정의 분야에서 결정을 행하는 실세계 인스턴스로부터 유래된다.
보통, 데이터-기반 접근법은 일반적인 관점에서 좀더 흔하게 사용된다. 그러나, 지난 수년에 걸쳐 데이터를 보다 효율적으로 모으는 능력이 증가함에 따라, 이들 데이터베이스의 크기도 지수적으로 증가하고 있다. 이로 인해, 컴퓨터 처리 기술 및 저장 액세스 기법에서 점점 더 증가하는 속도를 달성하였음에도 불구하고, 분석에 막대한 시간이 걸리는 거대한 데이터베이스가 생성되었다.
하기의 설명에는 본 발명의 일부 태양들을 기본적으로 이해시키기 위한 본 발명의 간단한 요약이 제시되어 있다. 이러한 요약은 본 발명의 광범위한 개요는 아니다. 이는 본 발명의 핵심/중요한 요소를 식별하거나 본 발명의 범위를 개괄적으로 설명하고자 하는 것은 아니다. 후술되는 좀더 상세한 설명에 대한 서론으로서 간략한 형태로 본 발명의 일부 개념을 제공하는 것이 그 유일한 목적이다.
일반적으로, 본 발명은 데이터 모델링 및 분석 분야에 관한 것으로 더욱 구체적으로는 완성 테이블을 포함하는 베이지안 네트워크를 사용하여, 결정 트리를 포함하는 베이지안-네트워크 모델(또는 패턴)을 생성하는 것에 관한 것이다. 본 발명의 일 태양에 따라, 완성 테이블을 구비한 베이지안 네트워크에서의 에지(edge)는 이 네트워크에 추가된 에지의 정정을 용이하게 하기 위해 역전될 수 있다. 예컨대, 베이지안 네트워크는 분포(distribution)인 완성 테이블을 통해 학습될 수 있으며, 학습 알고리즘은 에지를 역전시킬 수 있는 서치 알고리즘을 사용한다. 결과적인 방향성 비순환 그래프(DAG)는 로컬 분포로서 결정 트리를 사용하는 베이지안 네트워크 학습 알고리즘을 제한하는 데에 사용될 수 있다. 이 태양에 따라, 완성 테이블 DAG의 부분적인 순서는 결정 트리 및/또는 완성 테이블 서치로부터 생성된 DAG에서 중요하다. 이러한 방식으로, 만약 완성 테이블 DAG에서 X로부터 Y로의 직접 경로가 존재한다면, X의 트리 내의 Y 상의 분할이 금지될 수 있다.
본 발명의 또 다른 태양에 따라, 완성 테이블을 갖는 베이지안 네트워크 내의 에지들은 관련 스코어를 평가하기 위해 평가될 수 있다. 이러한 스코어는 에지에 의해 연결된 노드들 사이의 종속성의 정도를 지시할 수 있다. 대안적인 노드/에지 배열을 생각해 볼 수 있으며, 기존의 에지가 가능한 최적 스코어를 갖는지에 관한 결정이 이루어질 수 있다. 만약 에지 스코어가 개선될 수 있다면, 기존의 에지는 증가한 스코어를 얻기 위해 조정될 수 있다(예컨대, 역전되고, 제거되며, 새로운 에지로 대체되는 등). 이러한 방식으로, 본 발명은 베이지안 네트워크가 양호한 순서(ordering)를 갖게 할 수 있다.
전술한 및 관련한 목적을 달성하기 위해, 본 발명의 특정한 예시적인 태양이 후속 설명 및 첨부 도면과 관련하여 본 명세서에서 기술되어 있다. 이들 태양은 본 발명의 원리들이 사용될 여러 방식 중 단지 소수의 방식만을 나타내며, 본 발명은 이러한 태양들 모두와 이들의 등가의 태양들을 포함할 것이다. 본 발명의 다른 장점 및 신규한 특성은 도면과 관련하여 고려할 때 본 발명의 후속하는 상세한 설명을 통하여 분명해질 것이다.
이제 본 발명은 도면을 참조하여 기술될 것이며, 도면 전체에서 유사한 참조번호가 유사한 요소를 지칭하는데 사용될 것이다. 후속하는 상세한 설명에서, 설명의 목적으로 다수의 특정한 세부 사항들이 본 발명의 완전한 이해를 제공하도록 기술된다. 그러나 본 발명은 이들 특정한 세부 사항 없이도 실현될 수 있음이 분명할 것이다. 다른 예에서, 주지된 구조 및 장치들이 본 발명을 용이하게 기술하기 위해 블록도 형태로 도시되어 있다.
본 출원에서 사용된 바와 같이, 용어 "컴퓨터 컴포넌트"는 컴퓨터-관련 엔터티(entity), 즉 하드웨어, 하드웨어와 소프트웨어의 결합물, 소프트웨어, 또는 실행 소프트웨어 중 어느 하나에 관한 것이다. 예컨대, 컴퓨터 컴포넌트는 프로세서상에서 수행중인 프로세스, 프로세서, 객체, 실행파일, 실행 스레드(thread of execution), 프로그램 및/또는 컴퓨터일 수 있지만 이들로 제한되지 않는다. 예로서, 서버 상에서 실행중인 애플리케이션과 서버는 컴퓨터 컴포넌트일 수 있다. 하나 이상의 컴퓨터 컴포넌트는 프로세스 및/또는 실행 스레드에 상주할 수 있으며, 컴포넌트가 한 컴퓨터 상에서 배치될 수 있고 및/또는 둘 이상의 컴퓨터 사이에 분배될 수 있다. 본 명세서에서 기술된 모델, 네트워크, 질의 엔진, 사용자 인터페이스, 비교기, 모델(또는 패턴)은 컴퓨터 컴포넌트일 수 있음을 이해하여야 할 것이다.
본 발명은 데이터로부터 베이지안 네트워크를 용이하게 학습하게 하며, 이것은 데이터의 독립성을 최적으로 나타내는 모델(예컨대, DAG)의 구조를 서치하는 단계를 수반한다. 베이지안 네트워크는 DAG 및 로컬 분포의 대응하는 세트를 포함하고, 이 로컬 분포의 대응하는 세트는 DAG가 의미하는 독립성 제약이 모두 중요하게 되는 결합 분포를 집합적으로 한정한다. 예컨대, 각 로컬 분포{p(X｜부모)}가 완성 테이블{예컨대, 부모_값의 모든 가능한 값에 대해 분리된 분포{p(X｜부모=부모_값)}를 가짐}일 때, 전형적인 서치 절차는 에지 추가, 에지 삭제, 및 에지 역전을 고려할 수 있다.
로컬 분포가 결정 트리일 때, 서치 문제는 좀더 어려울 수 있다. 어떤 타겟(T)에 대한 결정 트리가 변수(R)에 대한 분할을 포함할 때마다, R은 DAG에서 T의 부모일 것이다. 이러한 시나리오에서, 그리고 완성 테이블의 분포와는 대조적으로, 노드의 부모 세트는 이 노드에 대한 로컬 분포를 고유하게 식별하지 않는다. 그에 따라, 서치 알고리즘은 또한 분포의 "하위-구조"(예컨대, 트리의 구조 등)를 서치할 수 있다.
많은 경우, 학습된 모델의 품질은 DAG에서의 정확한 부분 순서를 유도하는 데 좌우된다. 예컨대, 만약 구조(X→Y←Z)가 학습된다면, 이러한 모델 구조는 X→ Y→Z, X→Z보다 뛰어날 수 있으며, 이는 이것이 X 및 Z의 여분의 독립성을 인코딩하기 때문이다. 로컬 분포가 완성 테이블일 때, 서치 연산자는 에지의 방향을 역전시킬 수 있다. 이와 같이, 만약 알고리즘이 에지의 방향을 초기에 부정확하게 적용한다면, 이 알고리즘은 이러한 실수를 후에 정정할 수 있다. 상기 예에서, 만약 그리디 알고리즘(greedy algorithm)이 빈 네트워크로 시작한다면, X→Y를 추가하는 스코어는 Y→X를 추가하는 것과 동일할 것이며, 이것은 모델(X→Y Z 및 X←Y Z)은 동일한 독립성 제약(independence constraints)을 인코딩하기 때문이다. 이들 연산자들 모두가 최상의 연산자들이라고 가정하면, 그리디 알고리즘은 이들 중에서 임의적으로 선택할 것이다. 만약 최적 모델이 X→Y←Z라면, 알고리즘은 추후에 이것을 역전시킴으로써 X←Y를 추가하여 복구할 수 있다. 상술된 바와 같이, 만약 DAG의 등가 종류들이 적절한 연산자들과 함께 사용된다면, 이 알고리즘은 이러한 에러로부터 복구할 수 있다.
그러나, 로컬 분포가 트리일 때, 종래의 시스템 및 방법은 에지-역전에 대해 양호하게 한정된 개념을 제공하지 않는다. 에지 X→Y를 역전시키는 단계는 (1) Y의 부모로서 X를 삭제하는 단계와, (2) X의 부모로서 Y를 추가하는 단계를 포함한다. Y의 부모로서 X를 삭제하는 단계는 Y에 대한 결정 트리 내의 X에 대한 임의의 분할을 제거하는 단계를 포함한다. 만약 X에 대한 분할에 종속된 다른 분할이 있다면, 이러한 제거는 다른 부모들을 또한 제거할 수 있다. 또한, "X의 부모로서 Y를 추가하는 단계"는 종래의 시스템 및/또는 방법을 사용하는 결정-트리 분포에 대해서는 잘 한정되지 않는다. 오히려, X에 대한 트리 내의 Y에 대한 분할이 필요하 다.
전술된 결점의 결과로, 결정-트리 분포를 구비한 베이지안의 네트워크 학습 알고리즘을 학습하기 위한 종래의 서치 연산자는 통상적으로 트리에 분할을 추가하는 것을 고려한다; 이러한 연산자는 새로운 부모가 있다면 DAG에 에지를 추가하거나, 이미 이 부모 상에 분할이 존재한다면 DAG에 어떠한 에지도 추가하지 않을 것이다. 불행히도, 종래의 시스템은 에지를 단지 추가하기 때문에, 잘못된 방향에 에지를 추가하는 것으로부터의 복구가 이러한 종래의 시스템을 사용해서는 가능하지 않다. 또한, 완성 테이블의 경우에서처럼, 에지의 방향(예컨대, Y의 트리에서 X에 대한 분할이나 X의 에지 내의 Y에 대한 분할 등)은 그리디 서치(greedy search)의 초기 단계에서 임의적으로 이루어질 수 있다.
본 발명은 많은 전술된 어려움을 완화하면서 결정 트리를 사용하여 베이지안 네트워크를 용이하게 학습하게 한다. 예컨대, 베이지안 네트워크는 에지를 역전시킬 수 있는 서치 알고리즘을 사용하여 분포에서의 완성 테이블로 학습될 수 있다. 최종적인 DAG는 결정-트리 서치 알고리즘을 제한하는 데에 사용될 수 있다. 특히, 본 발명의 시스템 및 방법은 완성 테이블의 DAG의 부분 순서가 결정-트리 서치로부터 생성된 DAG에서 중요시되어야 한다는 점을 요구할 수 있다. 다시 말해, 완성 테이블의 DAG에서 X에서 Y로의 직접 경로가 있다면, X의 트리 내의 Y 상의 분할은 금지될 수 있다.
도 1은 베이지안 네트워크(100)의 예를 도시한다. 도 1에서, 세 개의 변수, 즉 노드(102, 106, 및 110)에 의해 각각 표현된 X1, X2, 및 X3가 있다. 이 베이지안 네트워크는 두 개의 호(arc)(104 및 108)를 포함한다. 베이지안 네트워크에서 각 변수에는 확률 분포 세트가 관련된다. 조건부 확률 표기법을 사용하여, 변수에 대한 확률 분포의 세트는
Figure 112005015921377-PAT00001
로 표기될 수 있으며, 여기서 "p"는 확률 분포를 지칭하며, "Πi"는 변수(Xi)의 부모를 표기하며, "ξ"는 전문가의 지식을 표시한다. 그리스 문자 "ξ"는 베이지안 네트워크가 소정의 분야에서 전문가의 지식을 반영한다는 점을 지시한다. 그에 따라, 이러한 표현은 다음과 같이 해석된다: 변수(Xi)에 대한 확률 분포는 Xi의 부모와 전문가의 지식을 제공함. 예컨대, X1은 X2의 부모이다. 확률 분포는 변수 간의 관계의 세기를 명시한다. 예컨대, 만약 X1이 두 개의 상태(참 및 거짓)를 갖는다면, X1과 관련되는 것은 단일 확률 분포
Figure 112005015921377-PAT00002
이고, X2와 관련되는 것은 두 개의 확률 분포
Figure 112005015921377-PAT00003
및
Figure 112005015921377-PAT00004
이다. 이 명세서의 나머지 부분에서, ξ는 구체적으로 언급되지 않는다.
베이지안 네트워크에서의 호는 노드 간의 종속성을 전달한다. 두 노드 간의 호가 있을 때, 제1 노드의 확률 분포는 호의 방향이 제2 노드에서 제1 노드로 가리키는 경우에 제2 노드의 값에 종속한다. 예컨대, 노드(106)는 노드(102)에 종속한다. 그러므로 노드(102 및 106)는 조건부 종속으로 언급된다. 베이지안 네트워크에서 손실된 호는 조건부 독립성을 전달한다. 예컨대, 노드(106)가 주어지면, 노 드(102)와 노드(110)는 조건부 독립이다. 그러나, 중간 변수를 통해 간접적으로 연결된 두 변수는, 중간 변수의 값("상태")을 모르는 경우에는 조건부 종속이다. 그러므로, 노드(106)에 대한 값이 알려져 있다면, 노드(102 및 110)는 조건부 종속한다.
다시 말해, Z가 주어진 때 X의 확률 분포가 Y에 종속하지 않는다면, 변수(Z)의 세트가 주어진 경우, 변수 X의 세트와 변수 Y의 세트는 조건부 독립이라고 한다. 그러나, 만약 Z가 비어 있다면, X 및 Y는 "조건부 독립"과는 대조적으로 "독립"으로 언급된다. 만약 X 및 Y가 소정의 Z에 대해 조건부 독립이 아니라면, X 및 Y는 소정의 Z에 대해 조건부 종속으로 언급된다.
각 노드에 사용된 변수는 서로 다른 유형일 수 있다. 구체적으로, 변수는 두 가지 유형일 수 있다: 불연속 또는 연속. 불연속 변수는 유한한 또는 셀 수 있는 수의 상태를 갖는 변수인 반면, 연속 변수는 무한수의 상태를 갖는 변수이다. 불연속 변수의 예는 부울 변수(Boolean variable)가 있다. 이러한 변수는 두 상태 중 단 하나의 상태로만 가정할 수 있다: "참" 또는 "거짓". 연속 변수의 예는 -1과 1 사이의 임의의 실수 값으로 가정할 수 있는 변수이다. 불연속 변수는 관련된 확률 분포를 갖는다. 그러나 연속 변수는 관련된 확률 밀도 함수("밀도")를 갖는다. 이벤트가 가능한 결과 세트인 경우, 변수 "x", 이벤트 "a" 및 "b"에 대한 밀도{p(x)}는 다음과 같이 정의된다:
Figure 112005015921377-PAT00005
여기서, p(a≤x≤b)는 x가 a와 b 사이에 있을 확률이다.
도 2는 본 발명의 태양에 따른 베이지안 네트워크 학습 시스템(200)을 예시한다. 도 2는 데이터 세트(204)를 구성하는 데이터를 분석하는 베이지안 네트워크 구성기(202)를 도시한다. 베이지안 네트워크 구성기(202)는 데이터에 대한 부분 순서를 결정하기 위해 데이터 세트(204)로부터 수집된 정보를 기초로 해서 완성 테이블(206)을 갖는 베이지안 네트워크를 개발할 수 있다. 그러면, 베이지안 네트워크 구성기(202)는 데이터 세트(204)와 완성 테이블(206)를 갖는 베이지안 네트워크를 서치 알고리즘을 사용하여 분석할 수 있어, 베이지안 네트워크 내의 에지의 다른 잠재적인 배열을 식별하고, 이러한 다른 배열을 완성 테이블(206)를 갖는 베이지안 네트워크에 의해 한정된 부분적인 순서에 비교할 수 있다. 만약 더 양호한 순서가 존재한다고 결정하면, 베이지안 네트워크 구성기(202)는 로컬 분포를 형성하는 결정 트리를 구비한 새로운 베이지안 네트워크(208)를 구성하기 위해 베이지안의 네트워크 학습 알고리즘 내의 에지를 처리할 수 있다(예컨대, 역전, 제거 및/또는 대체하는 등). 새로운 베이지안 네트워크(208)의 결정 트리는 결정된 더 양호한 순서에 따라 배열된 에지로 성장할 수 있다. 완성 테이블(들)로부터 유도된 방향성 비순환 그래프(DAG)는 베이지안 네트워크 구성기(202)에 의해 사용된 학습 알고리즘을 제한하는 데에 사용될 수 있어서, 결정 트리를 갖는 새로운 베이지안 네트워크(208)의 구성이 완성 테이블의 DAG의 부분적인 순서가 결정 트리 및/또는 완성 테이블 서치로부터 생성된 DAG에서 중요하게 된다는 점을 주장함으로써 구현될 수 있다. 예컨대, 완성 테이블에 대한 DAG가 X에서 Y로의 직접 경로를 포함한 다면, 베이지안 네트워크 학습 알고리즘은 결정 트리를 구비한 베이지안 네트워크(208)에서 X의 트리 내의 Y에 대한 분할을 금지할 수 있다.
구성기(202)는 데이터 세트(들), DAG, 베이지안의 네트워크 학습 알고리즘 등의 분석을 용이하게 할 수 있는 프로세서(미도시)를 포함할 수 있다. 또한, 프로세서는, 예컨대 베이지안 네트워크에서 에지의 잠재적인 배열을 용이하게 추론하기 위해 인공 지능 기술을 사용할 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "추론"은 일반적으로 이벤트 및/또는 데이터를 통해 포착된 관찰 세트로부터 시스템, 환경, 및/또는 사용자의 상태를 판단하거나 추론하는 방법을 지칭한다. 추론은, 예컨대 특정한 문맥이나 동작을 식별하는데 사용될 수 있거나, 상태에 대한 확률 분포를 생성할 수 있다. 추론은 확률적일 수 있는데, 즉 데이터 및 이벤트를 고려하여 해당 상태에 대한 확률 분포의 계산일 수 있다. 추론은 또한 이벤트 및/또는 데이터의 세트로부터 더 높은 수준의 이벤트를 구성하는데 사용되는 기술을 지칭할 수 있다. 이러한 추론은, 이벤트가 시간적으로 근접하게 상관되거나, 이벤트 및 데이트가 하나 또는 몇몇 이벤트 및 데이터 소스로부터 유래되는지의 여부와 상관없이, 관찰한 이벤트 세트 및/또는 저장된 이벤트 데이터 세트로부터 새로운 이벤트나 동작을 구성하게 한다. 여러 분류 방식 및/또는 시스템{예컨대, 지원 벡터 머신, 신경 네트워크, 전문가 시스템, 베이지안 신뢰 네트워크, 퍼지 로직, 데이터 퓨전 엔진, 회귀(regression) 방법}은 본 발명과 연계한 자동 및/또는 추론 동작을 실행하는 것과 함께 사용될 수 있다.
비록 본 명세서에서 기술된 본 발명이 로컬 분포로서 결정 트리를 사용한다 는 점을 강조하고 있지만, 이러한 강조는 본 발명의 설명을 간략화하기 위해서 제공되었고, 본 발명은 결정 트리가 아니라 조건부 분포를 포함하는 베이지안 네트워크의 구성 및/또는 개선을 용이하게 하는데 사용될 수 있다는 점을 이해해야 한다. 예컨대, 조건부 분포는 신경 네트워크, 논리 선형 역행 모델, 지원 벡터 머신(SVM) 등일 수 있다. 또한, 한 노드에서 사용된 조건부 분포 유형은 또 다른 노드에서 사용된 조건부 분포 유형과는 다를 수 있다. 전술된 분포 유형에 관해 당업자가 이해할 수 있는 바와 같이, 학습 알고리즘은 분포로의 관련 입력을 식별하기 위해 특성-선택 알고리즘을 필요로 하며, 이러한 알고리즘은 다시 베이지안 네트워크에서 부모를 한정한다. 결정 트리 내의 변수 상의 분할이 이 분할의 기원인 변수를 입력으로서 선택하는 효과를 갖기 때문에, 종래의 결정-트리 학습 알고리즘은 특성 선택을 자동으로 실행한다. 본 명세서에서 개시된 시스템 및 방법은 종래의 방법의 결함을 극복할 수 있는 베이지안 네트워크에 대한 개선된 발견(heuristic) 서치 알고리즘을 용이하게 한다. 이를 위해, 본 발명은 예컨대 컴퓨터 시스템 내의 음성 및/또는 수기 인식, 단백질 구조 및/또는 시퀀스 분석, 유전자 시퀀싱 등을 용이하게 하는 SVM 분포 세트를 포함하는 통계 모델의 식별을 개선할 수 있다. 이러한 잠재적인 응용들의 목록은 배타적이기보다는, 순수히 예시적인 것이며, 본 발명의 범주를 어떤 식으로든 제한하고자 하는 것은 아니다.
도 3은 본 발명의 태양에 따른 데이터 세트로부터 결정 트리를 갖는 베이지안의 네트워크 학습 알고리즘의 구성을 용이하게 하는 데이터 처리의 여러 단계를 도시하는 베이지안 네트워크 학습 시스템(300)의 예이다. 학습 시스템(300)은 데 이터 세트(302)와, 데이터 세트로부터 정보를 추출하기 위한 수단(306)을 구비한 완성 테이블을 포함하는 베이지안 네트워크(304)와, 완성 테이블을 갖는 베이지안 네트워크(304)에 의해 한정된 부분 순서를 사용하여 결정 트리를 갖는 베이지안 네트워크(308)를 학습하기 위한 학습 수단(310)을 구비한 결정 트리를 포함하는 베이지안 네트워크(308)를 포함한다. 일 예에 따르면, 학습 시스템(300)은 데이터 세트(302)를 구성하는 정보를 분석하고, 학습 알고리즘을 통해 완성 테이블을 구비한 베이지안 네트워크(304)를 구성할 수 있다. 학습 알고리즘은 완성 테이블 네트워크(304) 내의 에지를 역전시킬 수 있는 서치 알고리즘을 포함할 수 있다. 이러한 베이지안 네트워크(304)를 기초로 해서, 완성 테이블의 DAG의 부분적인 순서는 완성 테이블을 갖는 베이지안 네트워크(304)에서의 에지의 분석을 통해서 결정되고 및/또는 한정될 수 있다. 일단 부분적인 순서가 평가되었다면, 데이터 세트(302)는 수단(312)을 통해 재방문되고 재평가되어 완성 테이블을 갖는 베이지안 네트워크(304)에 의해 한정된 DAG를 평가하고 및/또는 이것을 데이터 세트(302)의 다른 잠재적인 배열에 비교할 수 있으며, 이는 부분적인 순서가 개선될 수 있는지에 대한 분석을 용이하게 하기 위해서이다. 예컨대, 완성 테이블을 갖는 베이지안 네트워크(304)에서 특정한 에지의 조정(예컨대, 역전, 삭제, 추가 등)이 더 최적인 순서를 용이하게 얻게 할 것인지의 여부에 관해 결정될 수 있다. 만약 이러한 결정이 순서가 개선될 것이라고 지시한다면, 에지는 조정될 수 있고, 새로운 베이지안 네트워크(308)는 더 양호한 순서를 용이하게 달성하기 위해 로컬 분포에서 결정 트리로 학습될 수 있다. 이는 결정 트리의 DAG를 구성할 경우에 완성 테이블의 DAG 의 부분적인 순서를 중요하게 여기는 베이지안의 네트워크 학습 알고리즘을 사용함으로써 용이하게 될 수 있다.
도 4는 완성 테이블을 포함하는 간단한 예시적인 베이지안 네트워크(400)의 예이다. 완성 테이블은 베이지안 네트워크에서 에지를 학습하는데 유용하며, 이는 이들이 분포의 형태에 관한 정보를 포함할 수 있기 때문이다. 예컨대, 결정 트리는 완성되지 않은 로컬 분포를 포함할 수 있으며, 이로 인해 결국 형태 정보가 부족할 수 있다. 베이지안 네트워크를 학습하기 위해 완성 테이블을 사용함으로써, 종래의 방법에 의해 필요한 것보다 덜한 그리디 서치(greedy search)가 실행될 수 있으며, 이로 인해 데이터 종속성의 양호한 순서를 용이하게 결정하게 한다. 도 4에 예시된 "V" 구조는 하나의 이러한 정보가 풍부한 순서 구조이다. 이 도면에 따라, X 및 Z는 Y보다 선행해야 한다. 이러한 순서가 학습되면, 예컨대 결정 트리 학습 모델에 대한 제약으로서 적용될 수 있다. 예컨대, 이러한 제약은 변수가 원래 순서에서의 후손(descendant)이라면, 에지가 이러한 변수에 추가될 수 없다고 주장할 수 있다. 이러한 방식으로, 순서의 고품질의 근사화가 제공될 수 있으며, 베이지안 네트워크와 같은 결정 트리를 성장시키기 위해 미세 조정될 수 있다.
본 발명의 이러한 태양에 따라, 도 4에 예시된 바와 같이, 초기에, X 및 Z는 서로 독립이다(예컨대, X에 관한 지식은 Z를 아는 것에 의해 얻을 수는 없다). 예컨대, 만약 X가 비가 올 확률을 나타낸다면, Z는 랜덤하게 타이밍된 스프링클러 시스템을 나타내고, Y는 젖은 잔디를 나타내며, 비가 왔다는 지식(예컨대, X는 참)이 스프링클러 시스템도 작동되지 않았다고(예컨대, Z가 또한 참이라고) 가정하지 않 는다. 그러나 제2 개략도는 X가 Y가 주어진다면 Z에 통계적으로 종속한다고 예시하여, 만약 스프링클러 시스템이 작동되었다는 점과 잔디가 젖는다는 점을 알게 된다면, 비가 왔었을 확률은 감소한다. 이러한 방식으로, 본 발명은 완성 테이블 서치 동안에 데이터의 순서에 관한 정보를 수집할 수 있고, 결정 트리 확장을 용이하게 하기 위해 순서 정보를 사용할 수 있다.
도 4는 본 발명의 일 태양에 따라 두 변수 간의 에지의 방향을 능동적으로 역전시키는 동작이 발생할 수 있다는 점을 예시하기 위해 제1 개략도에서 제2 개략도로 향해 있는 점선 화살표로 예시되어 있다. 이러한 에지 역전은 베이지안 네트워크를 학습할 때 리프 노드, 트리 등에 대해 최적의 스코어를 용이하게 얻게 한다.
도 5는 본 발명의 일 태양에 따라 에지-역전 프로토콜(500)을 예시한다. 초기에, 에지가 X와 Y 사이에 삽입되며, X가 Y에 종속한다는 점을 나타낸다. 제2 에지가 Y와 Z사이에 삽입되어, Y가 Z에 종속한다는 점과, X가 이제 Y가 주어진다면 Z에 종속한다는 점을 예시한다. 스코어는, 예컨대 전술된 바와 같이 베이지안 네트워크를 용이하게 학습하기 위해 X-Y-Z 리프 노드에 할당될 수 있다. 이제, 초기에 추가된 에지는 부정확한 방향으로 삽입되었다고 결정될 수 있다(예컨대, X는 Y에 종속하지 않아야 한다는 등). 이러한 결정은, 예컨대 리프 노트에서의 변수 간의 다른 가능한 종속성 관계에 관해 리프 노드에 대한 스코어(들)를 결정함으로써 이루어질 수 있다. 만약 대안적인 결합이 더 높은 스코어를 생성한다면(정확할 가능성이 더 큼), 이러한 결합은 에지의 방향을 역전시킴으로써 구현될 수 있다. 이러 한 방식으로, 본 발명은 종래의 결정 트리를 사용하는 것과 관련된 문제점들을 극복할 수 있으며, 이러한 종래의 결정 트리는 에지 방향에 대한 고려가 부족하기 때문에 이전에는 정정될 수 없었다.
이 예에 따라, 만약 구조(Z→Y←X)가 학습된다면, 이러한 모델 구조는 예컨대 Z→Y→X, Z→X보다 우월할 수 있으며, 이는 이것이 X 및 Z의 여분의 독립성을 인코딩하기 때문이다. 로컬 분포가 완성 테이블이될 때, 서치 연산자는 이러한 우월한 순서나 구조를 용이하게 하기 위해 에지의 방향을 역전시킬 수 있다. 이러한 방식으로, 만약 알고리즘이 에지의 방향을 초기에 부정확하게 적용한다면, 이 알고리즘은 이 실수를 후에 정정할 수 있다. 상기 예에서, 만약 그리디 알고리즘이 빈 네트워크로 시작한다면, X→Y를 추가하는 스코어는 Y→X를 추가하는 것과 동일할 것이며, 이는 모델(X→Y Z 및 X←Y Z)은 동일한 독립성 제약을 인코딩한다. 이들 연산자 모두가 최적이라면, 그리디 알고리즘은 이들 사이에서 임의로 선택할 것이다. 만약 최적 모델이 X→Y←Z라면, 알고리즘은 후에 역전시킴으로써 X←Y를 추가함으로부터 복구할 수 있다. 전술된 바와 같이, 만약 등가 종류의 DAG는 적절한 연산자와 결합하여 사용된다면, 알고리즘은 임의의 이러한 에러로부터 복구할 수 있다.
도시되고 전술된 예시적인 시스템을 보면, 본 발명에 따라 구현될 수 있는 방법은 도 6 및 도 7의 흐름도를 참조하여 더 잘 이해될 것이다. 설명을 간단히 하기 위해, 방법은 일련의 블록으로서 도시되고 기술되었지만, 본 발명은 이 블록 순서로 제한되지 않음을 이해하고 인식해야 하며, 이는 몇몇 블록은 본 발명에 따 라 서로 다른 순서로 및/또는 본 명세서에서 도시되고 기술된 블록과는 다른 블록과 동시에 발생할 수 있기 때문이다. 게다가, 예시된 블록 모두가 본 발명에 따른 방법을 구현하는데 필요치는 않을 수 있다.
본 발명은 하나 이상의 컴포넌트에 의해 수행된 프로그램 모듈과 같은 컴퓨터-수행 가능 명령의 일반적인 환경에서 기술될 수 있다. 보통, 프로그램 모듈은 특정한 임무를 실행하거나 특정한 추상적인 데이터 유형을 구현하는 루틴, 프로그램, 객체, 데이터 구조 등을 포함한다. 보통, 프로그램 모듈의 기능은 여러 실시예에서 원하는 바에 따라 결합되고 분배될 수 있다.
도 6은 본 발명의 일 태양에 따른 로컬 분포를 나타내기 위해 결정 트리를 사용하는 베이지안 네트워크를 학습하기 위한 방법(600)을 예시한다. 방법(600)에 따라, 완성된 데이터 세트가 602에서 입력된다. 에지를 역전시킬 수 있는 서치 알고리즘은 604에서 완성 테이블을 갖는 베이지안의 네트워크 학습 알고리즘을 학습하는데 사용될 수 있다. 606에서, 완성 테이블 베이지안 네트워크로부터 생성된 DAG는 604에서 학습된 베이지안의 네트워크 학습 알고리즘의 부분적인 순서를 결정하기 위해 분석될 수 있다.
DAG는 608에서 결정 트리 성장에 대한 경계 및/또는 제약을 설명하는데 사용될 수 있다. 예컨대, 만약 완성 테이블의 베이지안의 네트워크 학습 알고리즘에 대한 DAG가 X에서 Y로의 직접 경로를 포함한다면, 결정-트리 베이지안의 네트워크 학습 알고리즘에서 X의 트리 내의 Y에 대한 분할은 금지될 수 있다. 이러한 방식으로, 완성 테이블의 베이지안의 네트워크 학습 알고리즘으로부터 유도된 순서는 결정 트리 성장에 대한 제약으로서 적용될 수 있어서, 순서의 높은 품질의 근사화가 완성 테이블의 베이지안의 네트워크 학습 알고리즘에 의해 달성될 수 있고, 후속하여 베이지안 네트워크 내의 로컬 분포로서 결정 트리(들)를 성장시키기 위해 미세-조정될 수 있다. 610에서, 결정 트리는 로컬 분포에서 결정 트리를 사용하는 새로운 베이지안의 네트워크 학습 알고리즘을 구성하기 위해 완성 테이블의 DAG에 의해 한정된 부분적인 순서를 중요하게 여기는 결정 트리가 성장될 수 있다.
도 7은 본 발명의 일 태양에 따른 완성 데이터 테이블(들)을 사용하여 베이지안 네트워크를 학습하기 위한 방법(700)의 예시이다. 702에서, 완성된 데이터 세트가 입력되고, 학습 알고리즘은 완성 테이블을 갖는 베이지안의 네트워크 학습 알고리즘의 부분적인 순서를 결정하기 위해 704에서 그 내부의 노드 간의 에지를 식별하기 위해 사용된다. 학습 알고리즘은 또한 완성 테이블의 베이지안의 네트워크 학습 알고리즘에서 에지를 처리할 수 있는 서치 알고리즘을 더 포함한다. 706에서, 에지 스코어가 완성 테이블의 베이지안의 네트워크 학습 알고리즘에서 증가할 수 있는지에 관한 결정이 이루어진다. 이러한 결정은, 예컨대 노드들이 통계적으로 종속하는 정도를 평가하기 위해 노드 간의 상관관계(들)를 측정함으로써 이루어질 수 있다. 이러한 결정은 종래에 이용 가능한 것보다 더욱 효율적인 방식으로 순서 구조를 용이하게 결정하게 한다. 예컨대, 두 노드 간에 에지가 존재한다고 결정하는 것은, 노드가 통계적으로 종속적임을 지시할 수 있지만, 이 종속성의 크기에 관한 정보를 제공할 수 없다. 에지 스코어를 평가함으로써, 종속성의 정도가 정량화될 수 있다. 이것은 다시 베이지안의 네트워크 학습 알고리즘과 같은 통계 적인 모델을 용이하게 학습하기 위해 최적의 순서를 결정하게 한다.
만약 706에서의 고려사항들이 에지 스코어가 증가할 수 있다고 지시한다면, 이러한 고려사항들은 708에서 이어질 수 있으며, 이 단계에서 낮은 스코어의 에지는 특정한 에지의 스코어를 개선하기 위해 예컨대 제거 및 대체, 역전될 수 있어, 통계적인 모델에 대한 양호한 순서 지정을 용이하게 할 수 있다. 에지가 더 높은 에지 스코어를 얻도록 조정되었을 때, 이 방법은 이 방법의 추가의 잠재적인 반복을 위하여 704로 복귀될 수 있다. 이러한 방식으로, 방법(700)은 데이터 테이블에서 정점(vertices)의 최적 순서지정을 실현하기 위해 반복적으로 에지를 대체 및/또는 조정하게 하기 위해 피드백/피드-포워드 루프(들)를 사용할 수 있다. 추가로, 706에서, 에지 스코어가 개선될 수 없다고 결정된다면(예컨대, 현존하는 에지가 다른 잠재적인 배열보다 높은 확률의 정확도를 보이는 등), 이 방법은 710으로 진행할 수 있으며, 이 단계에서 베이지안 네트워크는 적어도 부분적으로 완성 데이터 테이블을 갖는 베이지안의 네트워크 학습 알고리즘으로부터 얻은 부분적인 순서를 적어도 부분적으로 기초로 한 결정 트리 성장을 통해 학습할 수 있다. 최적 결정 트리를 갖는 베이지안의 네트워크 학습 알고리즘을 학습하자마자, 베이지안의 네트워크 학습 알고리즘은 712에서 출력될 수 있다. 그에 따라, 방법(700)은 더 높은 스코어의 모델을 학습하게 하는 순서를 용이하게 식별하게 하기 위해 완성 데이터 테이블을 갖는 베이지안의 네트워크 학습 알고리즘에서 에지들을 조정할 수 있으며, 이것은 다시 학습될 개선된 결정-트리 베이지안의 네트워크 학습 알고리즘을 용이하게 한다.
본 발명이 여러 태양을 구현하기 위한 추가적인 환경을 제공하기 위해, 도 8 및 도 9와 이하의 설명은 본 발명의 여러 태양이 구현될 수 있는 적절한 계산 환경(들)(800 및 900)을 간단하고 일반적으로 설명하고자 한다. 본 발명은 로컬 컴퓨터 및/또는 원격 컴퓨터 상에서 실행되는 컴퓨터 프로그램의 컴퓨터로 수행할 수 있는 명령어의 일반적인 관점으로 설명되었지만, 당업자는 본 발명이 또한 다른 프로그램 모듈과 결합하여 구현될 수 있음을 인식할 것이다. 일반적으로, 프로그램 모듈은 특정한 임무를 실행하거나 특정한 추상적인 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조 등을 포함한다. 게다가, 당업자는 본 발명의 방법은 단일-프로세서나 멀티-프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터 및 개인용 컴퓨터, 휴대용 컴퓨터 장치, 마이크로프로세서-기반 또는 프로그램 가능 가전 전자장치 등을 포함한 여러 컴퓨터 시스템 구성으로 실행될 수 있음을 인식할 것이며, 이들 장치 각각은 하나 이상의 관련 장치와 효과적으로 통신할 수 있다. 본 발명의 예시된 태양은 특정한 임무가 통신 네트워크를 통해 링크된 원격 처리 장치에 의해 실행되는 분포된 컴퓨터 환경에서 또한 실행될 수 있다. 그러나 본 발명의, 비록 전체는 아니지만 일부의 태양은 독립형 컴퓨터 상에서 실행될 수 있다. 분포된 컴퓨터 환경에서, 프로그램 모듈은 로컬 및/또는 원격 메모리 저장 장치에 위치할 수 있다.
본 출원에서 사용될 때, 용어 "컴포넌트"는 컴퓨터-관련 엔터티, 즉 하드웨어, 하드웨어 및 소프트웨어의 결합, 또는 실행중인 소프트웨어 중 어느 하나를 지칭하고자 한다. 예컨대, 컴포넌트는 프로세서 상에서 실행중인 프로세스, 프로세 서, 객체, 실행가능툴(executable), 실행 스레드, 프로그램 및 컴퓨터일 수 있지만 이들로 제한되지는 않는다. 예컨대, 서버상에서 실행되는 애플리케이션 및/또는 서버는 컴포넌트일 수 있다. 게다가, 컴포넌트는 하나 이상의 하위컴포넌트를 포함할 수 있다.
도 8을 참조하면, 본 발명에 대한 여러 태양을 구현하기 위한 예시적인 시스템 환경(800)은 프로세싱 장치(804), 시스템 메모리(806), 및 시스템 메모리를 포함하는 여러 시스템 컴포넌트를 프로세싱 장치(804)에 결합하는 시스템 버스(808)를 포함하는 통상적인 컴퓨터(802)를 포함한다. 프로세싱 장치(804)는 임의의 상업적으로 이용가능하거나 독점적인 프로세서일 수 있다. 게다가, 프로세싱 장치는 병렬로 연결될 수 있는 하나 보다 많은 프로세서로 형성된 멀티-프로세서로서 구현될 수 있다.
시스템 버스(808)는 메모리 버스나 메모리 제어기, 주변 버스, 및 예컨대 PCI, VESA, 마이크로채널, ISA, 및 ESA와 같은 다양한 종래의 버스나 아키택쳐 중 임의의 것을 사용하는 로컬 버스를 포함하는 여러 유형의 버스 구조 중 임의의 구조일 수 있다. 시스템 메모리(806)는 ROM(810) 및 RAM(812)을 포함한다. 시동 중일 때 등에, 컴퓨터(802) 내의 요소들 간의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입력/출력 시스템(BIOS)(814)은 ROM(810)에 저장된다.
컴퓨터(802)는 또한, 예컨대 탈착 가능한 디스크(820)로부터 읽거나 이 디스크에 기록하기 위한 하드디스크드라이브(816), 자기디스크드라이브(818)와, 예컨대 CD-ROM 디스크(824)로부터 읽거나 이 디스크에 기록하기 위한 광디스크드라이브 (822)를 포함할 수 있다. 하드디스크드라이브(816), 자기디스크드라이브(818), 및 광디스크드라이브(822)는 하드디스크드라이브 인터페이스(826), 자기디스크드라이브 인터페이스(828), 및 광드라이브 인터페이스(830) 각각에 의해 시스템 버스(808)에 연결된다. 드라이브(816 내지 822) 및 이들과 관련된 컴퓨터로 읽을 수 있는 매체는 컴퓨터(802)에 데이터, 데이터 구조, 컴퓨터로 실행할 수 있는 명령어 등을 비휘발성으로 저장시킨다. 비록 컴퓨터로 읽을 수 있는 매체의 설명이 또한 하드디스크, 탈착 가능한 자기디스크 및 CD를 지칭하지만, 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 베르누이 카트리지 등과 같은 컴퓨터로 읽을 수 있는 다른 유형의 매체가 예시적인 운영 환경(800)에서도 사용될 수 있고, 나아가 이러한 매체 중 임의의 매체가 본 발명의 방법을 실행하기 위한 컴퓨터로 실행 가능한 명령어를 포함할 수 있다는 점을 당업자는 인식해야 한다.
운영체계(832), 하나 이상의 애플리케이션 프로그램(834), 다른 프로그램 모듈(836), 및 프로그램 데이터(838)를 포함하는 다수의 프로그램 모듈이 드라이브(816 내지 822)와 RAM(812)에 저장될 수 있다. 운영체계(832)는 임의의 적절한 운영체계나 운영체계들의 결합일 수 있다. 예컨대, 애플리케이션 프로그램(834) 및 프로그램 모듈(836)은 본 발명의 태양에 따라 데이터 세트를 사용하는 모델(또는 패턴) 및/또는 종속 네트워크를 포함할 수 있다. 추가로, 프로그램 데이터(838)는 입력 데이터를 포함할 수 있으며, 이 데이터로부터 모델(또는 패턴)이 생성되고 및/또는 이 데이터 상에서 본 발명의 일 태양에 따라 질의가 실행된다.
사용자는 키보드(840) 및 포인팅 장치{예컨대, 마우스(842)}와 같은 하나 이 상의 사용자 입력 장치를 통해 컴퓨터(802)로 정보 및 명령을 입력할 수 있다. 다른 입력 장치(미도시)는 마이크, 조이스틱, 게임 패드, 위성 안테나, 무선 원격장치, 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 장치는 종종 시스템 버스(808)에 결합된 직렬 포트 인터페이스(844)를 통해 프로세싱 장치(804)에 연결되지만, 병렬 포트, 게임 포트 또는 범용직렬버스(USB)와 같은 다른 인터페이스에 의해 연결될 수 있다. 모니터(846)나 다른 유형의 디스플레이 장치는 또한 비디오 어댑터(848)와 같은 인터페이스를 통해 시스템 버스(808)에 연결된다. 모니터(846) 외에, 컴퓨터(802)는 스피커, 프린터 등과 같은 다른 주변 출력 장치(미도시)를 포함할 수 있다.
컴퓨터(802)는 하나 이상의 원격 컴퓨터(860)로의 논리 연결부를 사용하여 네트워크화된 환경에서 운영될 수 있음을 인식해야 한다. 비록 간략화하기 위해 메모리 저장 장치(862)만을 도 8에 예시하였지만, 원격 컴퓨터(860)는 워크스테이션, 서버 컴퓨터, 라우터, 동료 장치나 다른 공통 네트워크 노드일 수 있으며, 보통 컴퓨터(802)에 관해 기술한 요소들 중 많은 요소 또는 이들 요소 모두를 포함한다. 도 8에 도시된 논리적인 연결부는 LAN(864) 및 WAN(866)을 포함할 수 있다. 이러한 네트워크화된 환경은 사무실, 상업적으로 널리 사용되는 컴퓨터 네트워크, 인트라넷, 및 인터넷에서 흔히 있는 환경이다.
LAN으로 네트워크화된 환경에서 사용될 때, 예컨대 컴퓨터(802)는 네트워크 인터페이스나 어댑터(868)를 통해 로컬 네트워크(864)에 연결된다. WAN으로 네트워크화된 환경에서 사용될 때, 컴퓨터(802)는 보통 모뎀(예컨대, 전화, DSL, 케이 블 등)을 포함하거나 LAN 상의 통신 서버에 연결되거나, 인터넷과 같이 WAN(866)에 걸쳐서 통신을 수립하기 위한 다른 수단을 갖는다. 컴퓨터(802)에 대해 내부에 있거나 외부에 있을 수 있는 모뎀(870)은 직렬 포트 인터페이스(844)를 통해 시스템 버스(808)에 연결된다. 네트워크화된 환경에서, {애플리케이션 프로그램(834)을 포함한} 프로그램 모듈 및/또는 프로그램 데이터(838)는 원격 메모리 저장 장치(862)에 저장될 수 있다. 도시된 네트워크 연결은 예시적이며, 컴퓨터(802 및 860) 사이에 통신 링크를 (예컨대 유선이나 무선으로) 수립하는 다른 수단이 본 발명의 태양을 실행할 때 사용될 수 있음을 인식해야 할 것이다.
컴퓨터 프로그래밍 분야의 당업자가 실행함에 따라, 본 발명은 달리 지시하지 않는다면 컴퓨터(802)나 원격 컴퓨터(860)와 같은 컴퓨터에 의해 실행된 동작의 기호 표시 및 행위(act)를 참조하여 기술되었다. 이러한 행위 및 동작은 종종 컴퓨터로 실행되는 것으로 지칭된다. 행위 및 기호로 표현된 동작은, 전기 신호 표현의 결과적인 변환 또는 감소를 초래하는 데이터 비트를 표현하는 전기 신호의 프로세싱 장치(804)에 의한 처리와, 컴퓨터 시스템의 운영 및 다른 신호 처리를 재구성하거나 그 밖에는 변경하기 위해 {시스템 메모리(806), 하드드라이브(816), 플로피 디스크(820), CD-ROM(824), 및 원격 메모리(862)를 포함한} 메모리 시스템 내의 메모리 위치에서의 데이터 비트 관리를 포함한다는 점을 인식해야 할 것이다. 이러한 데이터 비트가 관리되는 메모리 위치는 데이터 비트에 대응하는 특정한 전기, 자기, 또는 광 속성을 갖는 물리적인 위치이다.
도 9는 본 발명과 상호동작하는 표본 컴퓨터 환경(900)의 또 다른 블록도이 다. 시스템(900)은 나아가 하나 이상의 클라이언트(들)(902)를 포함하는 시스템을 추가로 예시한다. 클라이언트(들)(902)는 하드웨어 및/또는 소프트웨어(예컨대, 스레드, 프로세스, 컴퓨터 장치)일 수 있다. 시스템(900)은 또한 하나 이상의 서버(들)(904)를 포함한다. 서버(들)(904)는 또한 하드웨어 및/또는 소프트웨어(예컨대, 스레드, 프로세스, 컴퓨터 장치)일 수 있다. 서버(904)는, 예컨대 본 발명을 사용함으로써 변환을 실행하기 위한 스레드를 수용할 수 있다. 클라이언트(902)와 서버(904) 사이의 하나의 가능한 통신은 둘 이상이 컴퓨터 프로세스 사이에 송신되도록 적응된 데이터 패킷 형태일 수 있다. 시스템(900)은 클라이언트(들)(902)와 서버(들)(904) 사이의 통신을 용이하게 하기 위해 사용될 수 있는 통신 프레임워크(908)를 포함한다. 클라이언트(들)(902)는 클라이언트(들)(902)에 근거리에 있는 정보를 저장하는데 사용될 수 있는 하나 이상의 클라이언트 데이터 저장소(들)(910)에 효과적으로 연결된다. 유사하게, 서버(들)(904)는 서버(904)에 근거리에 있는 정보를 저장하는데 사용될 수 있는 하나 이상의 서버 데이터 저장소(들)(906)에 효과적으로 연결된다.
본 발명의 장치, 시스템 및/또는 방법은 컴퓨터 컴포넌트 및 비-컴퓨터 관련 컴포넌트 등을 용이하게 하는 대체적인 전력 보존 방식에서 사용될 수 있다는 점을 인식해야 한다. 또한, 당업자는 본 발명의 장치, 시스템 및/또는 방법은 컴퓨터, 서버 및/또는 휴대용 전자 장치 등을 포함하지만 이들로 제한되지 않은 전자 관련 기술의 광범위한 어레이로 사용될 수 있음을 인식할 것이다.
상술된 설명은 본 발명의 예를 포함한다. 물론, 본 발명을 설명하기 위한 방법이나 컴포넌트들의 모든 생각해 볼 수 있는 결합을 기술할 수는 없지만, 당업자는 본 발명의 많은 추가적인 결합 및 변경할 수 있을 인식할 수 있다. 그에 따라, 본 발명은 첨부된 특허청구범위의 사상과 범주 내에 있는 모든 이러한 변경, 변형 및 변동을 포함하고자 한다. 또한, 용어, "포함한다"(includes)가 상세한 설명이나 특허청구범위에 사용되는 한, 이러한 용어는 특허청구범위의 과도적인 단어로서 사용될 경우에 용어 "포함하는"(comprising)이 해석되는 바와 같이 용어 "포함하는"(comprising)과 유사한 방식으로 포괄적으로 의도된다.
상술한 바와 같이, 본 발명은 데이터 모델링 및 분석에서, 분석 시간을 줄이는 효과가 있다.

Claims (29)

  1. 적어도 하나의 분포가 완성 테이블(complete table)이 아닌 로컬 분포들을 갖는 베이지안 네트워크를 용이하게 학습하게 하는 시스템으로서,
    완성된 데이터 세트와,
    상기 완성된 데이터 세트 내에 데이터의 로컬 분포들을 나타내기 위해 완성 테이블 베이지안 네트워크(complete table Bayesian network)를 구성하고, 결정-트리 베이지안 네트워크를 용이하게 학습하기 위해 상기 완성 테이블 베이지안 네트워크에서 에지들을 역전시킬 수 있는 학습 알고리즘을 사용하는 베이지안 네트워크 구성기 컴포넌트
    를 포함하는 시스템.
  2. 제1항에 있어서, 상기 베이지안 네트워크 구성기 컴포넌트는 상기 완성 테이블 베이지안 네트워크의 부분적인 순서를 결정하기 위해 상기 완성 테이블 베이지안 네트워크로부터 생성된 방향성 비순환 그래프(directed acyclic graph)를 더 분석하는 시스템.
  3. 제2항에 있어서, 상기 학습 알고리즘은 상기 완성 테이블 베이지안 네트워크의 상기 방향성 비순환 그래프의 상기 부분적인 순서로 상기 로컬 분포를 구성할 수 있게 하는 시스템.
  4. 제1항에 있어서, 상기 베이지안 네트워크 구성기 컴포넌트는 상기 완성 테이블 베이지안 네트워크 내의 각 에지에 대한 스코어를 결정하는 시스템.
  5. 제4항에 있어서, 상기 베이지안 네트워크 구성기 컴포넌트는 에지의 상기 스코어가 개선될 수 있는지를 평가하기 위해 상기 완성 테이블 베이지안 네트워크의 적어도 하나의 다른 잠재적인 에지 구성에 대한 스코어를 결정하는 시스템.
  6. 제5항에 있어서, 상기 베이지안 네트워크 구성기 컴포넌트는 상기 에지의 조정(manipulation)이 상기 에지의 스코어를 개선시킬 것이라면, 상기 완성 테이블 베이지안 네트워크 내의 적어도 하나의 에지를 조정하는 시스템.
  7. 제6항에 있어서, 상기 로컬 분포들은 적어도 하나의 결정 트리를 포함하는 시스템.
  8. 제6항에 있어서, 상기 로컬 분포들은 적어도 하나의 지원 벡터 머신(support vector machine)을 포함하는 시스템.
  9. 제6항에 있어서, 상기 로컬 분포들은 적어도 하나의 논리적인 회귀(logistic regression)를 포함하는 시스템.
  10. 완성 테이블이 아닌 적어도 하나의 분포를 갖는 베이지안 네트워크를 학습하기 위한 방법으로서,
    완성된 데이터 세트를 입력하는 단계와,
    완성 테이블을 포함하는 제1 베이지안 네트워크를 학습하는 단계와,
    완성 테이블 베이지안 네트워크의 방향성 비순환 그래프를 분석하는 단계와,
    적어도 하나의 비완성 테이블 분포를 갖는 분포를 포함하는 제2 베이지안 네트워크를 학습하는 단계
    를 포함하는 방법.
  11. 제10항에 있어서, 상기 제1 베이지안 네트워크를 학습하는 단계는 상기 완성 테이블 베이지안 네트워크 내의 에지들을 역전시킬 수 있는 서치 알고리즘을 사용하는 단계를 포함하는 방법.
  12. 제11항에 있어서, 상기 완성 테이블 베이지안 네트워크 내의 적어도 하나의 에지에 대한 스코어를 결정하는 단계를 더 포함하는 방법.
  13. 제12항에 있어서, 상기 완성 테이블 베이지안 네트워크 내의 다른 잠재적인 에지 구성에 대한 스코어를 결정하는 단계를 더 포함하는 방법.
  14. 제13항에 있어서, 상기 적어도 하나의 에지의 스코어가 개선될 수 있는지를 결정하기 위해 상기 적어도 하나의 에지의 스코어를 상기 다른 잠재적인 에지 구성에 대한 스코어와 비교하는 단계를 더 포함하는 방법.
  15. 제14항에 있어서, 상기 적어도 하나의 에지의 스코어가 개선될 수 있다고 결정된다면, 상기 적어도 하나의 에지의 스코어를 개선하기 위해 상기 적어도 하나의 에지를 처리함으로써 상기 완성 테이블 베이지안 네트워크를 정교화(refine)하는 단계를 더 포함하는 방법.
  16. 제15항에 있어서, 어떠한 에지 스코어도 개선될 수 없다고 결정되면, 상기 완성 테이블 베이지안 네트워크 내의 에지들을 조정하는 것을 보류하는 단계를 더 포함하는 방법.
  17. 제16항에 있어서, 어떠한 에지 스코어도 개선될 수 없다고 결정되면, 상기 완성 테이블 베이지안 네트워크의 상기 방향성 비순환 그래프를 기초로 해서 상기 제2 베이지안 네트워크의 상기 로컬 분포들의 구성에 대한 제약들의 세트를 유도하는 단계를 더 포함하는 방법.
  18. 제17항에 있어서, 상기 제약들의 세트를 유도하는 단계는 정교화된 완성 테이블 베이지안 네트워크 내의 모든 에지를 식별하기 위해 상기 완성 테이블 베이지 안 네트워크의 상기 방향성 비순환 그래프를 평가하는 단계를 포함하는 방법.
  19. 제18항에 있어서, 상기 제2 베이지안 네트워크를 학습하는 단계는 상기 정교화된 완성 테이블 베이지안 네트워크의 상기 방향성 비순환 그래프의 부분적인 순서를 중요시하는 제약된 학습 알고리즘을 사용하는 단계를 포함하는 방법.
  20. 제19항에 있어서, 상기 제2 베이지안 네트워크를 한정하는 로컬 분포로서 결정 트리를 성장시키는 단계를 더 포함하는 방법.
  21. 제12항에 있어서, 상기 적어도 하나의 에지에 대한 스코어를 결정하는 단계는,
    상기 적어도 하나의 에지에 의해 연결된 노드들 사이의 종속성의 정도를 결정하는 단계와,
    상기 적어도 하나의 에지에 의해 연결된 노드들 사이의 종속성의 방향을 결정하는 단계와,
    상기 적어도 하나의 에지에 의해 연결된 노드들 사이의 종속성의 방향에 적어도 부분적으로 기초하여, 상기 적어도 하나의 에지의 방향이 옳은지를 평가하는 단계를 포함하는 방법.
  22. 제21항에 있어서, 상기 적어도 하나의 에지의 스코어를 상기 노드 및 상기 적어도 하나의 에지의 모든 다른 가능한 배열에 대한 스코어에 비교함으로써, 상기 적어도 하나의 에지의 스코어가 가능한 최적 스코어인지를 결정하는 단계를 더 포함하는 방법.
  23. 제22항에 있어서, 상기 적어도 하나의 에지의 스코어가 상기 노드 및 상기 적어도 하나의 에지의 다른 가능한 배열에 대한 스코어보다 더 낮으면, 에지 스코어를 개선하기 위해 상기 에지의 방향을 역전시키는 단계를 더 포함하는 방법.
  24. 둘 이상의 컴퓨터 컴포넌트 사이에서 송신되어 데이터 평가를 용이하게 하는 데이터 패킷으로서,
    완성 데이터 테이블-기반 모델이나 패턴에 부분적으로 기초한 데이터 세트 정보를 포함하는 데이터 패킷.
  25. 제24항에 있어서, 상기 데이터 세트에 직접적으로 기초한 데이터 세트 정보를 더 포함하는 데이터 패킷.
  26. 제25항에 있어서, 완성 데이터 테이블에 기초한 데이터 세트 정보를 더 포함하는 데이터 패킷.
  27. 둘 이상의 컴퓨터 컴포넌트 사이에서 송신되어 데이터 평가를 용이하게 하는 데이터 패킷으로서,
    완성 데이터 테이블을 갖는 베이지안 네트워크에 부분적으로 기초해서 결정 트리를 갖는 베이지안 네트워크를 학습하는 데 유용한 데이터 세트 정보를 포함하는 데이터 패킷.
  28. 제1항의 시스템을 사용하는 장치로서, 컴퓨터, 서버, 및 핸드헬드 전자 장치 중 적어도 하나를 포함하는 장치.
  29. 결정 트리를 갖는 베이지안 네트워크를 용이하게 학습하게 하는 시스템으로서,
    데이터 세트로부터 완성 테이블 베이지안 네트워크를 학습하기 위한 수단과,
    상기 완성 테이블 베이지안 네트워크로부터 생성된 방향성 비순환 그래프를 정교화하기 위한 수단과,
    적어도 하나의 비완성 테이블 분포를 갖는 베이지안 네트워크를 학습함으로써, 상기 완성 테이블 베이지안 네트워크의 상기 방향성 비순환 그래프의 부분적인 순서에 의해 부과되는 제약에 따라 로컬 분포들이 구성되도록 하는 수단
    을 포함하는 시스템.
KR1020050025019A 2004-03-25 2005-03-25 트리를 학습하기 위한 테이블 사용 방법 KR20060044772A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/809,054 2004-03-25
US10/809,054 US7320002B2 (en) 2004-03-25 2004-03-25 Using tables to learn trees

Publications (1)

Publication Number Publication Date
KR20060044772A true KR20060044772A (ko) 2006-05-16

Family

ID=34939031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050025019A KR20060044772A (ko) 2004-03-25 2005-03-25 트리를 학습하기 위한 테이블 사용 방법

Country Status (5)

Country Link
US (1) US7320002B2 (ko)
EP (1) EP1589473A2 (ko)
JP (1) JP2005276225A (ko)
KR (1) KR20060044772A (ko)
CN (1) CN100419754C (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016942A1 (en) * 2004-07-07 2006-02-16 Exxonmobil Upstream Research Company Predicting sand-grain composition and sand texture
MX2007000170A (es) * 2004-07-07 2007-03-30 Exxonmobil Upstream Res Co Aplicaciones de red bayesiana para geologia y geografia.
US20060212279A1 (en) * 2005-01-31 2006-09-21 The Board of Trustees of the University of Illinois and Methods for efficient solution set optimization
AU2007231209B2 (en) 2006-03-24 2011-02-03 Bae Systems Plc Method and system of decision making for distributed information distribution networks
US7562088B2 (en) * 2006-12-27 2009-07-14 Sap Ag Structure extraction from unstructured documents
WO2008100704A2 (en) * 2007-02-09 2008-08-21 Ge Healthcare Bio-Sciences Corp. System and method for tracking the movement of biological materials
US7739213B1 (en) * 2007-03-06 2010-06-15 Hrl Laboratories, Llc Method for developing complex probabilistic models
US8140301B2 (en) * 2007-04-30 2012-03-20 International Business Machines Corporation Method and system for causal modeling and outlier detection
US8005770B2 (en) * 2008-06-09 2011-08-23 Microsoft Corporation Parallel generation of a bayesian network
JP2010044637A (ja) * 2008-08-14 2010-02-25 Just Syst Corp データ処理装置、方法、及びプログラム
US8040798B2 (en) * 2008-09-25 2011-10-18 Microsoft Corporation Discovering communication rules in a network trace
US9286371B2 (en) * 2010-12-23 2016-03-15 Sap Se Presenting a multidimensional decision table
GB2510422A (en) * 2013-02-05 2014-08-06 Inst Of Comp Science Learning a Bayesian network from data in parallel
CN103324750A (zh) * 2013-07-04 2013-09-25 莫志鹏 一种基于贝叶斯网络的图片集个性化筛选方法
US9489639B2 (en) 2013-11-13 2016-11-08 Microsoft Technology Licensing, Llc Memory facilitation using directed acyclic graphs
US9760835B2 (en) * 2014-08-20 2017-09-12 International Business Machines Corporation Reasoning over cyclical directed graphical models
US10487649B2 (en) * 2015-03-26 2019-11-26 Schlumberger Technology Corporation Probabalistic modeling and analysis of hydrocarbon-containing reservoirs
CA2960505C (en) * 2016-03-10 2018-12-11 Tata Consultancy Services Limited System and method for visual bayesian data fusion
US10678967B2 (en) * 2016-10-21 2020-06-09 International Business Machines Corporation Adaptive resource reservoir development
CN110555047B (zh) * 2018-03-29 2024-03-15 日本电气株式会社 数据处理方法和电子设备
CN110390396B (zh) * 2018-04-16 2024-03-19 日本电气株式会社 用于估计观测变量之间的因果关系的方法、装置和系统
WO2020180479A1 (en) * 2019-03-05 2020-09-10 Hrl Laboratories, Llc Network -composition. module for a bayesian neuromorphic compiler
CN114691342B (zh) * 2022-05-31 2022-09-20 蓝象智联(杭州)科技有限公司 一种联邦学习算法组件优先级调度实现方法、装置及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128613A (en) * 1997-06-26 2000-10-03 The Chinese University Of Hong Kong Method and apparatus for establishing topic word classes based on an entropy cost function to retrieve documents represented by the topic words
US6807537B1 (en) * 1997-12-04 2004-10-19 Microsoft Corporation Mixtures of Bayesian networks
US6532305B1 (en) * 1998-08-04 2003-03-11 Lincom Corporation Machine learning method
US6502082B1 (en) 1999-06-01 2002-12-31 Microsoft Corp Modality fusion for object tracking with training system and method
US6499025B1 (en) 1999-06-01 2002-12-24 Microsoft Corporation System and method for tracking objects by fusing results of multiple sensing modalities
US6727914B1 (en) * 1999-12-17 2004-04-27 Koninklijke Philips Electronics N.V. Method and apparatus for recommending television programming using decision trees
US7113988B2 (en) 2000-06-29 2006-09-26 International Business Machines Corporation Proactive on-line diagnostics in a manageable network
US6895398B2 (en) * 2000-07-18 2005-05-17 Inferscape, Inc. Decision engine and method and applications thereof
WO2002057946A1 (en) * 2001-01-18 2002-07-25 The Board Of Trustees Of The University Of Illinois Method for optimizing a solution set
US8140569B2 (en) * 2003-05-29 2012-03-20 Microsoft Corporation Dependency network based model (or pattern)
US20040199484A1 (en) * 2003-04-04 2004-10-07 Laurence Smith Decision tree analysis

Also Published As

Publication number Publication date
CN100419754C (zh) 2008-09-17
CN1674008A (zh) 2005-09-28
US7320002B2 (en) 2008-01-15
JP2005276225A (ja) 2005-10-06
US20050216496A1 (en) 2005-09-29
EP1589473A2 (en) 2005-10-26

Similar Documents

Publication Publication Date Title
KR20060044772A (ko) 트리를 학습하기 위한 테이블 사용 방법
Balunovic et al. Learning to solve SMT formulas
Lozano Towards a new evolutionary computation: advances on estimation of distribution algorithms
US7324981B2 (en) System and method of employing efficient operators for Bayesian network search
US11651216B2 (en) Automatic XAI (autoXAI) with evolutionary NAS techniques and model discovery and refinement
US7251636B2 (en) Scalable methods for learning Bayesian networks
Hameed et al. An optimized case-based software project effort estimation using genetic algorithm
Dai et al. An improved evolutionary approach-based hybrid algorithm for Bayesian network structure learning in dynamic constrained search space
JP6325762B1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
Cano et al. Learning classification rules with differential evolution for high-speed data stream mining on GPU s
de Castro et al. BAIS: A Bayesian Artificial Immune System for the effective handling of building blocks
Nguyen et al. Improvement of code fragment fitness to guide feature construction in XCS
CN111126443A (zh) 基于随机游走的网络表示学习方法
Subramanian et al. Improving decision tree performance by exception handling
Gamez et al. Avoiding premature convergence in estimation of distribution algorithms
Haluška Data Preprocessing Strategies in Imbalanced Data Classification
Bernard et al. Inferring Temporal Parametric L-systems Using Cartesian Genetic Programming
US20220172105A1 (en) Efficient and scalable computation of global feature importance explanations
Ramos-Jiménez et al. Induction of decision trees using an internal control of induction
Gao et al. A regularity property-driven evolutionary algorithm for multiobjective optimization
Lv et al. Benchmarking Analysis of Evolutionary Neural Architecture Search
Shao et al. Adaptive Online Learning for the Autoregressive Integrated Moving Average Models. Mathematics 2021, 9, 1523
Chi Improving M5 model tree by evolutionary algorithm
Roizman et al. Look-ahead mechanism integration in decision tree induction models
Helmi et al. Maximum spanning tree based linkage learner

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid