KR100841876B1

KR100841876B1 - 의미있는 변화를 드러내는 다이나믹 프로세스 메트릭스의자동 모니터링 및 통계적 분석

Info

Publication number: KR100841876B1
Application number: KR1020067014512A
Authority: KR
Inventors: 로버트 씨. 로켄
Original assignee: 프로클래러티 코포레이션
Priority date: 2003-12-19
Filing date: 2004-12-17
Publication date: 2008-06-27
Also published as: CN1894652A; EP1695192B1; CN1894652B; KR20070006696A; WO2005060687A3; JP4541364B2; WO2005060687A2; DE602004015836D1; US7072899B2; DK1695192T3; EP1695192A2; US20050138020A1; ATE404917T1; JP2007515020A; EP1695192A4

Abstract

선택 모듈은 차원 계층(dimensional hierarchy) 중 적어도 하나의 차원에서 모니터링되는 적어도 하나의 측도를 사용자가 특정하도록 한다. 관리 기준 산출기는, 각각의 특정된 측도 및 각각의 특정된 차원에 있어서, 상기 특정된 차원에서의 특정된 측도에 대해, 다차원 데이터베이스로부터 시계열을 추출하고, 통계 프로세스 관리(SPC) 기술로, 상기 특정된 차원에서의 특정된 측도를 위해 상기 추출된 시계열에 기초하여 하나 이상의 관리 기준을 자동으로 산출한다. 이후, 모니터링 모듈은 자동으로 산출된 하나 이상의 관리 기준에 기초하여, 기준 밖의 조건에 대해 각각의 특정된 차원에서의 각각의 특정된 측도를 포함하는 신규 취득된 데이터를 모니터링한다. 경보 모듈은 검출되는 기준 밖의 조건에 응답하여, 경보를 트리거링한다.

차원 계층, 측도, 다차원 데이터베이스, 통계 프로세스 관리

Description

의미있는 변화를 드러내는 다이나믹 프로세스 메트릭스의 자동 모니터링 및 통계적 분석{AUTOMATIC MONITORING AND STATISTICAL ANALYSIS OF DYNAMIC PROCESS METRICS TO EXPOSE MEANINGFUL CHANGES}

본 출원은 발명자가 로버트 씨. 로켄(Robert C. Lokken)이고, 2003년 12월 19일에 출원된 미국 가출원 번호 제60/531,347호의 이익을 주장하며, 본 명세서에 참조로서 통합된다.

본 발명은 전반적으로 데이터 처리 분야에 관한 것이다. 특히, 본 발명은 다차원 데이터(multidimensional data)를 분석하는 기술에 관한 것이다.

사업가들은 프로세스 또는 프로젝트를 관리하는 경향이 있다. 프로세스는, 프로세스가 여느 때처럼 수행되고 있는지 또는 프로세스에 관한 어떤 것이 변경되었는지를 프로세스의 관리자가 판정하도록 하는, 반복가능하고 체계적인 측도(measure)에 진력한다. 상위 레벨에서, 비지니스 자체는 "프로세스", 즉 투입 자원(input resource)(시간, 자본, 사람, 원료 등)을 취하여 생산(판매 및 이익)을 생성하는 것이다.

비지니스는 체계적으로 그들의 계획을 실행하여 예측가능한 성과를 생성하는 프로세스를 구축한다. 이는, "무엇이 변하였는가?"라는 근본적인 질문을 이끈다. 프로세스의 변화는 조직의 예측을 위협하기 때문에, 사람들은 프로세스의 일부 투입 또는 생산이 변화된 때를 알 필요가 있으며, 원하는 성과를 얻기 위해 현재의 프로세스를 변경할 필요성을 지적할 수 있다.

통상적으로, 관리자는 보고서(종이 또는 전자)를 받아서, 무엇이 변화되었는지를 검출하기 위해 시도되는 시각적 검사 및 경험을 통해, 주요 비지니스 프로세스 메트릭스를 재검토한다. 불행히도, 이러한 수동적 조사의 프로세스는 관리자의 입장에서는 시간 집약적이었고 상당한 지식을 요구하였다.

최근 몇 년 동안, 관리자가 주요 프로세스 메트릭스에 대한 임계값을 설정하도록 하는 수동 경보 소프트웨어가 도입되었다. 임계값은 상수, 또는 아주 최근에는, 수식으로 제공될 수 있다. 다음으로, 소프트웨어는 시간에 대해 메트릭스를 모니터링할 수 있고, 임계값과 교차되었을 때, 경보를 트리거링할 수 있다.

예전의 방법에 있어서 그 이점에도 불구하고, 정확한 임계값을 설정하기 위해서는 경보 소프트웨어에는 여전히 상당한 사용자 지식이 필요하다. 메트릭스는 시간에 대해 종종 변동한다. 어떨 때는 광범위하게 변동한다. 임계값을 과거 평균(historical average)에 너무 근접하도록 설정하는 것은, 많은 잘못된 경보, 즉, 정상 상태 동안 트리거되는 경보를 초래할 수 있다. 한편, 임계값을 전형적인 값으로부터 너무 동떨어지게 설정하면, 프로세서의 근본적 변화의 발생에도 불구하고, 경보가 전혀 생성되지 않을 수도 있다.

또한, 통상의 소프트웨어는 데이터의 주기적 검사를 자동화한다. 사용자가 모니터링할 수백 또는 수천 개의 프로세스 메트릭스를 가진다면, 사용자는 수백 또 는 수천개의 경보를 구성해야하고, 각각의 구성에 대해 정확한 임계값 또는 수식을 결정해야 한다. 더욱이, 사용자는 시간에 대해 조건이 변함에 따라 임계값을 주기적으로 조정해야 한다. 모든 경보를 설정하고 유지하는 것은 극도로 지루할 수 있다.

점진적으로 비지니스 프로세스가 다차원 데이터베이스 내에 제공되고 있다. 개념적으로, 다차원 데이터베이스는 사용자에 이용가능한 데이터의 차원을 제공하기 위해 데이터 큐브의 개념을 이용한다. 예를 들어, "판매"는 제품 모델, 지역, 시간의 차원, 또는 몇몇 부가적 차원에서 보여질 수 있다. 이 경우, "판매"는 데이터 큐브의 측도 속성으로서 공지되고, 다른 차원은 특징 속성으로 간주될 수 있다. 또한, 데이터베이스 생성기는 차원 내의 계층 및 레벨(예를 들어, 지역 계층 내의 주(state) 및 시(city) 레벨)을 정의할 수 있다.

다차원 데이터베이스는, 복잡성으로 인해, 상술한 모니터링 문제를 더 악화시킨다. 차원에 대한 프로세스(측도)를 모니터링하기 위해 수동으로 임계값을 생성하는 것은 어떤 경우에 있어서는 극도로 힘들거나 실질적으로 불가능하다.

도 1은 다차원 데이터베이스에 대한 스킴이다.

도 2는 데이터 큐브로서의 다차원 데이터베이스를 나타낸다.

도 3은 시간에 대해 모니터링된 메트릭이다.

도 4는 다이나믹 프로세스 메트릭스의 자동 모니터링 및 통계적 분석을 위한 시스템의 블럭 다이아그램이다.

도 5는 정규 분포 곡선의 그래프이다.

도 6은 관리 기준의 자동 산출을 나타내는 도 4의 시스템의 데이터 플로우 다이아그램이다.

통계 프로세스 관리(Statistical Process Control: SPC) 기술은 다차원 데이터 내의 측도로 표현되는 비지니스 메트릭스(business metrics)에 적용된다. 이들 SPC 기술은 시스템이 메트릭스에 있어서의 정규적인 매일매일의 랜덤 변동(random variation)을 제거하도록 하고, 비지니스 프로세스의 하부의 기초적인 변화를 검사하도록 한다. 시스템은 이 기술을 메트릭스에 자동으로 적용하고, 정규적 랜덤 변동 및 근본적 변화 사이의 차이를 판정하는 올바른 임계값을 결정한다. 따라서, 사용자가 특정 임계값을 결정하지 않아도, 무엇인가가 변경되었다는 점이 사용자에게 통지되도록 경보가 트리거링될 수 있다. 더욱이, 사용자는 특정 경보를 설정하지 않더라도, 조건을 변경하는 수많은 프로세스에 대해 수많은 메트릭스를 모니터링할 수 있다.

동일한 참조 번호가 동일한 엘리먼트를 나타내는 도면이 지금부터 참조된다. 명확히 하기 위해, 참조 번호의 제1 숫자는 대응하는 엘리먼트가 먼저 사용된 도면 번호를 나타낸다.

후속하는 설명에서는, 프로그래밍, 소프트웨어 모듈, 사용자 선택, 네트워크 트랜색션, 데이터베이스 쿼리, 데이터베이스 구조 등에 대한 수많은 특정 상세가 본 발명의 전체적인 이해를 위해 제공된다. 그러나, 당업자는 본 발명이 하나 이상의 특정 상세 없이, 또는 다른 방법, 컴포넌트, 재료 등으로 실시될 수도 있음을 인식할 것이다.

본 발명의 특징을 불명확하게 하는 것을 피하기 위해, 몇몇 경우에서는, 공지된 구조, 재료, 또는 동작에 대해 상세히 기술하거나 설명하지 않을 것이다. 또한, 세부 특성, 구조, 또는 특징은 하나 이상의 실시예에서 소정의 적절한 방식으로 결합될 수 있다.

도 1은 OLAP(On-Line Analytical Processing) 데이터베이스(100)이다. OLAP은 다양한 카테고리 또는 차원(104)으로 종합된 데이터 또는 측도(102)의 분석을 용이하게 하는 데이터 베이스의 한 유형이다. 예를 들어, 도 1의 데이터베이스(100)에서는, 측도(102)가 "판매", "매출액 증가율(Sales Growth)", "매출 총이익(Gross Margin)", "수익률(Return Ratio)", "평균 할인(Average Discount)" 등을 포함할 수 있다. 차원(104)은 "시간(Time)", "제품(Product)", "판매팀(Sales Team)", "고객(Customers)" 등을 포함할 수 있다. 차원(104) 자체는 종종 레벨로 지칭되는 추가 차원(104)을 더 포함할 수 있다. 예를 들어, "고객" 차원(104)은 "지역", "국가", "주", 및 "고객" 레벨을 포함할 수 있다.

도 2에 도시된 바와 같이, 3 차원(104)을 갖는 OLAP 데이터베이스(100)가, 각 축이 비지니스의 차원(가령, "시간", "제품", "고객")을 나타내고 각 셀이 측도(102)(가령, "판매 가격(Sales Value)")를 나타내는, 큐브로서 개념화될 수 있다. 비지니스 프로세스는 OLAP 데이터베이스(100) 내에 쉽게 표현되어질 수 있어, 비지니스 프로세스의 대중화할 수 있다.

앞서 언급한 바와 같이, 조직의 예측가능성을 위협하기 때문에, 관리자는 비지니스 프로세스의 얼마간의 투입 또는 생산이 변경되는 때를 알 필요가 있으며, 원하는 결과를 얻기 위해 현재 프로세스를 변경할 필요성을 지시할 수 있다. 통상적으로, 관리자는 기록된 보고서에 의존하고 가시적 검사 및 경험을 통해 무엇인가가 변했는지를 판단해야 했다. 이후, 관리자가 주요 프로세스 메트릭스에 대한 임계값을 설정하도록 하는 수동 경보 소프트웨어가 개발되었다. 그러나, 두 가지 기술은 모니터링 소프트웨어를 위해 변경을 탐지하거나 임계값을 설정할 때, 관리자 측에서는 상당한 지식이 필요하였다.

도 3은 "월(Month)" 차원(104)에 대한 "매출 총이익" 측도(102)의 그래프가 갖는 전술한 문제점을 나타낸다. 예를 들어, 관리자는 수동으로 경보 임계값(300)을 +/- 6%로 설정한다. 그러나, 이는 메트릭에 대한 과거 정규 변동(historical normal variation) 내에 있는 값들에 대해 잘못된 많은 경보(302)를 초래할 것이다. 더욱이, 다차원 모델이 복잡성하면, 관리자는 수백 또는 수천의 경보를 구성하고, 각각에 대해 정확한 임계값 또는 수식을 결정해야 한다.

도 4는 전술한 문제 및 단점을 해결하는 다이나믹 프로세스 메트릭스의 자동 모니터링 및 통계적 분석(즉, 측도)을 위한 시스템(400)의 블럭 다이아그램이다. 먼저, 사용자는 선택 모듈(402)에 액세스하여, 하나 이상의 차원(104)에 대해 모니터링할 하나 이상의 측도(102)를 선택 또는 측정한다. 측도(들)(102) 및 차원(들)(104)은, 도 1에 도시된 바와 같이, OLAP 데이터베이스(100)에 대한 스키마의 도식으로부터 선택될 수 있다. 예를 들어, 사용자는 스킴 내에서 원하는 측도(102) 및 차원(104)을 강조하거나, 그렇지 않은 경우, 선택하고, 다음으로 선택을 등록하기 위해 적절한 커맨드를 실행할 수 있다. 다른 실시예에서, 측도(들)(102) 및 차원(들)(104)은 선택된 엔티티 등에 대한 명칭을 입력하여 특정된 리스트로부터 선택될 수 있다.

일 실시예에서, OLAP 데이터베이스(100) 내의 데이터는 회계 시스템과 같은 데이터 소스(404)로부터 상주된다. 데이터 소스(404)는 주기적 간격, 가령 , 시간, 일, 주, 분기 등마다 또는 트랜색션마다를 새로운 데이터를 제공한다.

도시된 바와 같이, 관리 기준 산출기(control limit calculator)(406)는 선택 모듈(402)로부터 측도(들)(102) 및 차원(들)(104)에 대한 선택을 수신한다. 선택적으로, 관리 기준 산출기(406)는, 이하에서 더 상세히 설명되겠지만, 검출 주기(408), 공차(tolerance)(410), 및 전달 방법(411)을 수신할 수도 있다. 본 상세한 설명의 나머지 부분에서는, 단일한 경우가 고려되더라도, 선택된 측도(102) 및 차원(104)을 복수로 언급할 것이다.

예로서, 사용자는 선택 모듈(402)을 통해, 다음의 옵션들을 선택 또는 특정할 수 있다.

모니터링되는 메트릭: 매출 총이익

모니터링되는 영역 및 깊이: 제품(모든 제품)

검출 빈도: 매달

허용공차: 95%

모니터링되는 "메트릭"은 OLAP 데이터베이스(100) 내의 차원(104)에 대응한다. 모니터링되는 "영역" 및 "깊이"는 도 1에 도시된 차원 계층 중 하나 이상의 차원들(104)을 나타낸다. 다른 실시예에서, 사용자는 "PC 제품 라인" 또는 "XC-15 제품"과 같이, 제품 차원(104) 내에 다양한 레벨을 특정할 수 있다. "검출 빈도"는 일반적으로 "시간" 차원(104)의 레벨들, 예를 들어, 매년, 매분기, 매월, 매일 등 중 하나를 말한다. "허용 공차"는, "경보가 거짓된 알람이 아니라는 것을 95% 신뢰할 수 있다는 " 신뢰값(confidence value), 또는 자동 생성된 관리 기준(412)이 모니터링 모듈(416)에 의해 얼마나 "면밀히(tightly)" 해석되었는지에 대한 소정의 다른 지표(indicator)로 표현될 수 있다.

선택 모듈(402)을 통해 선택되는 옵션의 다른 예는 다음을 포함할 수 있다.

모니터링될 메트릭: 매출액 증가율

모니터링될 영역 및 깊이:

제품(모든 레벨)

판매팀(모든 레벨)

고객(단지 "모든" 영역, 국가, 주 레벨)

검출 빈도: 매일

허용 공차: 80%

일 실시예에서, 관리 기준 산출기(406)는 SPC 기술을 사용하여, 각각 선택된 차원(104)에 대해 각각 선택된 측도들(102)에 대한 하나 이상의 관리 기준(412)을 자동으로 산출한다. 이하 보다 구체적으로 설명되겠지만, 관리 기준(412)은, 기준을 벗어난 조건이 검출된 경우에 경보를 생성하기 위한 임계값이다. 그러나, 통상의 방법과 달리, 이들 임계값은 사용자에 의해 특정되는 것이 아니라 자동적으로 결정된다.

일 실시예에서, 자동 산출된 관리 기준(412)은 대응하는 측도(들)(102) 및 차원(들)(104)의 인디케이션(indication)과 함께, 관리 기준 스토리지(414)에 저장된다. 관리 기준 스토리지(414)는, 비록 컴퓨터 메모리 또는 스토리지 디바이스 내의 소정의 적절한 데이터 구조가 사용되더라도, 데이터베이스로서 구현될 수 있다.

일 실시예에서, 관리 기준 스토리지(414)는, 데이터 소스(404)에 의해 제공되는 신규 수신 데이터(예를 들어, 선택된 차원(들)(104)에 대한 선택된 측도(들)(102))를 모니터링하는 모니터링 모듈(416)에 대해 액세스가능하다. 신규 데이터는 데이터 소스(404)로부터 또는 (데이터 소스(404)로부터 주기적으로 업데이트될 수 있는) OLAP 데이터베이스(100)로부터 직접적으로 판독될 수 있다. 소정의 실시예에서, 데이터 소스(404)는, 고정된 간격마다, 요구가 있는 경우 또는 이용가능하게 될 때마다, 신규 데이터 값을 모니터링 모듈(416)에 자동으로 제공한다.

소정의 실시예에서, 모니터링 모듈(416)은 (일 실시예에서 검출 주기(408)에 의해 특정되는 것과 같이) 주기적으로 데이터 소스(404) 또는 OLAP 데이터 베이스(100)를 검사할 수 있다. 상술한 바와 같이, 특정 검출 주기(408)는 예를 들어, 매월, 매일, 또는 매시간 업데이트를 필요로 할 수 있다.

모니터링 모듈(416)은, 기준을 벗어난 조건(예를 들어, 측도(102)가 관리 기준 상한(412)을 초과하거나, 관리 기준 하한(412)보다 작은 경우)이 존재하는지를 판정하기 위해, 관리 기준 스토리지(414) 내의 관리 기준(412)과 신규 취득 데이터를 비교한다. 관리 기준을 벗어난 조건이 검출되는 경우, 모니터링 모듈(416)은 경보 모듈(418)에 경보를 트리거링하도록 지시한다.

일 실시예에서, 경보 모듈(418)은 사전정의된 또는 사용자 선택된 전달 방법을 통해 사용자에게 경보를 전달한다. 경보를 전달하기 위해, 이메일 서비스(420), 단문 서비스(SMS)(422), 또는 페이징 서비스(424)와 같은 다양한 서비스가 사용될 수 있다. 당업자에게 공지된 것과 같은, 광범위한 다른 경보 전달 서비스가 사용될 수도 있다.

일 실시예에서, 각 경보는 트리거링되는 즉시 전달될 수 있다. 대안적으로, 설정된 수의 경보가 트리거링 되는 등의 경우에, 경보 모듈(418)은 다수의 경보를 축적하고, 수령자에 의해 경보를 그룹화할 수 있으며, 적절한 수령자에게 주기적인 간격으로 경보를 전달할 수 있다.

전술한 논의는, 특정된 측도들(102) 및 차원들(104) 전부에 대한 관리 기준(412)이, 모니터링이 발생하기 전에 산출되고 저장되는 것으로 제안하고 있지만, 그러한 제안이 모든 실시예에 적용되는 것은 아니다. 관리 기준(412)이 특정 차원(104)에 대한 특정 측도(102)에 대해 산출되고, 일시적으로 저장되며, 현재 데이터와 즉시 비교하여 관리 기준을 벗어났는지를 판정하는 실시예가 고려될 수 있다.

요컨대, 도 4의 시스템(400)에 의해 수행되는 알고리즘은 후속하는 과정으로 기술될 수 있다.

1. 모니터링되는 각각의 선택된 메트릭(측도(102))에 대해

1. 각각의 선택된 차원(104)에 대해

1. OLAP 데이터베이스(100)로부터 시계열(시간 차원(104)에 대한 측도(102))을 추출

2. 선택된 차원(104) 내에서 선택된 측도(102)에 대한 관리 기준(412)을 자동적으로 산출

3. 관리 기준(412)을 관리 기준 스토리지(414) 내에 저장

2. 신규 취득된 데이터에 대해, 저장된 관리 기준에 기초하여, 각각 선택된 차원(104)에 대한 각각의 선택된 측도(102)를 관리 기준을 벗어난 조건에 대해 모니터링

3. 관리 기준을 벗어난 경우, 경보를 트리거링

4. 특정 방법으로 수령자 및 전달자에 의한 경보를 그룹화

도 6은 SPC 기술을 사용하여 관리 기준(412)를 산출하는 일 방법을 나타낸다. SPC는 프로세스에서의 변동을 측도 및 분석하기 위해 통계적 방법을 사용한다. 제조시 많이 사용되는 SPC의 목적은 프로세스 품질을 모니터링하고 프로세스를 고정된 허용 공차 내로 유지하는 것이다.

일 실시예에서, 관리 기준 산출기(406)는 OLAP 데이터베이스로부터(100) 시계열(600)(즉, 시간 차원(104)에 대한 복수의 측도(102) 또는 다른 데이터 포인트)을 추출하는 것이다. 시계열(600)에 의해 커버되는 시간의 주기와 데이터 포인터의 수는 이용가능한 데이터에 따라 변경될 수 있다. 일반적으로, 적어도 베이스라인 시간 주기 내에 25 내지 30 데이터 포인트를 가지는 것이 유리하다. 때때로, 베이스라인의 유효성을 평가할 수 있도록, 베이스라인 밖에 몇몇 최근의 데이터 포인트를남기는 것이 도움이 된다. 몇몇 최근의 포인트를 베이스라인 밖에 남기면, 평균 및 관리 기준 산출에 대한 영향 없이, 베이스라인 평균 및 관리 기준(412)과 비교될 수 있게 한다.

설명의 편의를 위해, 시계열(600)은 관리 차트(602)의 관점에서 디스플레이된다. 관리 차트(602)는 특정한 정량적 메트릭스에 대한 소정의 모식적인 통계의 도식이며 SPC에 사용되는 주요 툴(tool)이다. 도 4의 관리 기준 산출기(406)는, 소정의 실시예에서 가능은 하겠지만, 사용자가 볼 수 있는 실재의 관리 차트(602)는 생성하지 않는다. 오히려, 관리 기준 산출기(406)에 의해 자동으로 수행될 수 있는 산출을 나타내는 관리 차트(602)가 제공된다.

SPC는, 번갈아 상이한 산출로 귀결되는, 상이한 유형의 데이터에 적용가능한 다수의 상이한 유형의 관리 차트(602)에 의존한다. 관리 차트(602)는 적어도 4 가지의 주 유형(다수의 변동을 가짐)이 존재한다. 제1 유형인 x 차트(그리고 x-바 및 s 차트와 관련)가 도 6에 도시되어 있다. x 차트는, 객체의 길이, 프로세스를 완료하기 위해 소요되는 시간, 또는 주기당 진행되는 객체의 수와 같이, 통상적으로 측도인 "변수" 데이터와 함께 주로 사용되도록 디자인된다.

x 차트에 부가하여, 3 가지 특정 유형의 관리 차트(602), 즉, p 차트, c 차트 및 u 차트가 존재한다. 이 차트들은 측정되는 데이터가 소정의 조건(또는 속성)을 만족할 경우 사용된다. 예를 들어, p 차트는 "이항식" 데이터로 사용된다. p 차트는, 예산 내에서 완료된 작업 순서의 퍼센트와 같이, 합격 불합격 테스트의 결과를 위해 사용된다. 이 경우, 작업 순서는 예산 내에서 완료되거나 그렇지 못할 경우("합격-불합격") 중 어느 하나이다. p 차트는 샘플 크기(완료된 작업 순서의 수)를 고려하고, 샘플 크기가 작을 경우(완료된 작업 순서가 매우 적을 경우), 고 레벨의 랜덤 변동을 고려하는 이점을 가진다.

c 차트는 "포와송(Poisson)" 프로세스를 위해 사용된다. 랜덤 도달 모델(random arrival model), 또는 "카운팅(counting)" 속성일 때 사용된다. 이 유형의 차트는, 예를 들어, 많은 동일한 샘플(일정한 샘플 크기)들 각각의 "결함"의 수를 모니터링할 수 있다. 발생 보고 데이터(월별 보고의 수)는, "포와송" 모델에 맞도록 하기 위해 경험적으로 나타나고, c 차트는 발생 보고 카운트를 도표화할 때 추천된다.

u 차트는 각각의 "검사(inspection)"에 대해 샘플 크기가 변할 경우, 샘플당 "결함"을 카운팅할 때 사용된다. 경우의 수는, 매월 또는 매년과 같이, 고정 시간 간격에 대해 카운트되지만, 샘플 크기(각 시간 간격 동안 작업된 노동 시간)는 변한다.

일 실시예에서, 관리 기준 산출기(406)는, 분석되는 측도(102)의 유형에 기초하여, 적절한 "차트"(및 대응하는 산출)를 선택한다. 이는 데이터로부터 자동적으로 판정되거나, 사용자에 의해 특정된다. 물론, 당업자에게 공지된, 다양한 다른 차트(602) 및 관련 SPC 산출이 사용될 수 있다.

다음으로, 관리 기준 산출기(406)는, 시계열에 대해 관리 기준 상한(Upper Control Limit: UCL) 및/또는 관리 기준 하한(Lower Control Limit: LCL)과 같은, 하나 이상의 관리 기준(412)을 자동적으로 산출한다. 일 실시예에서, 관리 기준(들)(412)은 다음 수학식에 의해 산출될 수 있다.

여기서,

는 데이터의 산술 평균이고,

σ는 표준 편차이며,

Z는 허용 공차 계수 작용할 수 있는 선택적 승수(optional multiplier)이다.

평균(mean)으로도 지칭되는 데이터의 산술 평균(arithmetic average)(

)은 다음과 같이 결정될 수 있다.

여기서 Xi는 시계열(600)에서의 측도(102)이고,

n은 시계열(600)에서의 측도(102)의 수이다.

표준 편차에 대한 산출은 관리 차트(602)의 유형에 따라 변할 수 있다. 예 를 들어, x 차트에서는, 표준 편차를 산출하는 적어도 2개의 표준 방법이 존재한다. 첫번째는 다음의 식을 적용하는 것이다.

두 번째 방법은 데이터 포인트에 대한 쌍들에 대한 평균 범위 값에 0.887을 곱하는 것이다.

c 차트에서는, 표준 편차가 평균의 제곱근이다.

p 차트에서는, 표준 편차가 각각의 데이터 값에 대해 산출된다. 공식은,

이고, 여기서

이고, N은 이 시간 주기 내에서의 시도 횟수이다.

u 차트에서는, 유사하게, 표준 편차가 각각의 데이터 값에 대해 산출된다. 공식은,

이며, 여기서,

이고,

N은 현재 시간 주기에 대한 샘플 크기(즉, 롯 샘플 크기(lot sample size))이다.

당업자에게 공지될 상이한 유형의 관리 차트(602)를 위해 표준 편차를 산출하는 다른 방법이 사용될 수 있다.

일 실시예에서, Z에 대한 값은 관리 기준(412)의 허용 공차를 효과적으로 결정할 것이다. 예를 들어, 도 6의 정규 분포 곡선에 도시된 바와 같이, 1의 Z 값은 평균에 대한 1 표준 편차 내의 데이터 포인트 모두를 포함하는데, 이는 데이터 포인트의 대략 68%를 차지한다. 유사하게, 2의 Z 값은 2 표준 편차 내의 모든 데이터 포인트를 포함하는데, 이는 데이터 포인트의 대략 95%를 차지한다.

따라서, Z의 더 작은 값은 보다 빈틈없는 관리 기준(412)으로 귀결되어, 평균에 더 가까운 데이터 값에 대한 경보를 트리거링하는 반면, Z의 보다 큰 값은 느슨한 관리 기준(412)으로 귀결되어, 경보를 트리거링함이 없이 보다 넓은 범위의 포텐셜 값을 초래한다. 일 실시예에서, Z에 대한 값은, 도 4의 사용자에 의해 특정되는, 허용 공차(410)에 대응할(또는 허용 공차(410)로부터 유도될) 수 있다. 임의의 예에서와 같이, 특정된 허용 공차(410) 또는 90%의 신뢰값은 3의 Z에 대응할 수 있다. 본 발명의 범주 내의 다른 상황에서는 다른 값이 사용될 수 있다.

일 실시예에서, 관리 기준 산출기(406)는, 신규 또는 기존 데이터에 기초하여, 관리 기준(412)에 대한 산출을 정제할 수 있다. 예를 들어, 관리 기준 산출기(406)는 기존 데이터에서의 경향(trend)을 찾을 수 있다.

ㆍ관리 기준 상한 이상의 개별 포인트

ㆍ관리 기준 하한 이하의 개별 포인트

ㆍ전부 평균 이상이거나 전부 평균 이하인 행에서의 7 포인트

ㆍ증가하는 행에서의 7 포인트

ㆍ감소하는 행에서의 7 포인트

ㆍ전부 평균 이상이거나 전부 평균 이하인 행에서의 11 포인트 중 10 포인트

ㆍ데이터의 주기 또는 다른 비랜덤 패턴

ㆍ2개의 표준 편차 밖의 행에서의 평균 이상의 3 포인트 중 2 포인트, 또는 2개의 표준 편차 밖의 행에서의 평균 이하인 3 포인트 중 2 포인트

ㆍ1개의 표준 편차의 밖의 행에서의 평균 이상의 5 포인트 중 4 포인트, 또는 1개의 표준 편차 밖의 행에서의 평균 이하인 5 포인트 중 4 포인트

상기 기준 중 어떤 유형이 존재하는 것이 발견된 경우, 관리 기준(412)은 재산출될 필요가 있을 수 있다.

예를 들어, 초기 관리 차트(602)가 관리 기준(412) 밖의 개별 포인트(들)를 나타낼 경우, 관리 기준 산출기(406)는, 포함되는 포인트(들) 없이, (관리 기준(412)에 영향을 미치는) 평균 및 표준 편차 모두를 재산출할 수 있다. 평균 및 관리 기준(412)을 재산출한 후, 관리 기준 산출기(406)는 나머지 데이터를 분석할 수 있다. 신규의 평균이 나머지 데이터를 원래의 평균(평균의 어느 한쪽에서 동일한 데이터 포인트)보다 더 잘 나누는 경우, 이는 이상값을 제거하는 것의 신빙성을 확증한다.

평균 및 관리 기준(412)를 재산출한 후, 추가 포인트가 이상값이 될 수 있다. 몇몇 경우에 있어서, 이는, 거의 데이터가 없어질 때까지, 끝없는 일련의 "이상값"의 처분으로 귀결될 수 있다. 그러한 경우에, 원래 평균(original average) 및 관리 기준(412)으로 다시 되돌아가는데 좋을 수 있다.

몇몇 경우에서는, 시계열(600) 내에서 전부 증가/감소하는 다수의 포인트(가령, 7 이상)가 발견될 수 있다. 이 상태는 연속 변화(램프(ramp))가 데이터 내에서 발생하고 있음을 나타낸다. 일 실시예에서, 관리 기준 산출기(406)는 평균 및 관리 기준을 부가할 수 있다. 이 SPC 기술은 데이터가 연속적이고 중요한 변화를 겪고 있다는 것을 증명한다. SPC는 중요한 변화의 존재에 대한 정식 "테스트"로 간주될 수 있다. 이 경우, 테스트는 중요한 변화가 발생하고 있음을 나타낸다.

평균 및 관리 기준이 부가된 경우, 관리 기준 산출기(406)는, 다수의 중첩되지 않는 영역에 대해, 평균 및 관리 기준을 사용하여, 연속 변화를 일련의 스텝 변화로서 검출할 수 있다. 고찰은 평균 이상 또는 이하의 행에서 7포인트에 대해 사용되는 방법과 유사하다.

만약 영역이 너무 짧다면, 관리 기준 산출기(406)는 LCL 이하로부터 UCL이상까지(또는 그 반대로), 변동하는 포인트를 갖는 단순히 하나보다 긴 시간 간격 영역을 남길 수 있다. 다시 말해, SPC는 트렌드의 존재를 위한 "테스팅"으로서 간주될 수 있다.

이상값의 제거 또는 데이터를 두 개 이상의 영역으로 분할하는 것, 그리고 새로운 표준 편차를 재산출하는 것에 후속하여, 표준 편차의 감소가 존재할 수 있다. 이는 관리 기준(412)이 평균에 근접하도록 한다. 표준 편차의 명백한 감소가 없는 경우, 데이터를 분할하거나 이상값을 제거하는 것이 정당화될 수 있다.

관리 기준(412) 밖의 신규 데이터(단일 데이터 포인트에 상당하는 시프트)에 대해, 관리 기준(412)은 원인을 결정하고, 취해지는 변화의 방향에 따라, 올바르거나 강화된 동작을 결정할 수 있다.

미래의 데이터가 관리 기준(412) 내에 회귀한 경우, 관리 기준 산출기(406)는 현재 평균 및 관리 기준(412)을 대신 남길 수 있다. 만약 미래의 데이터가 관리 기준(412) 밖에 있다면, 관리 기준 산출기(406)는, 전술한 바와 같이, 신규 평균 및 관리 기준(412)을 산출할 수 있다.

당업자는 전술한 바가 단지 하나의 SPC 기술임을 알 것이다. 다양한 다른 SPC 기술이 본 발명의 범주 내에서 사용될 수 있다. SPC 기술에 대한 추가적 논의는, 본 명세서에 참조로 편입되는, 1999년 11월에 간행된 "도널드 제이 휠러(Donald J. Wheeler)의 "변동의 이해: 카오스를 관리하는 키(Understanding Variation The Key To Managing Chaos)(2판)"에서 찾아볼 수 있다.

본 발명의 특정 실시예 및 어플리케이션이 기술되고 설명되었지만, 본 발명은 여기 개시된 정확한 구성 및 컴포넌트에 한정되는 것은 아님이 이해될 것이다. 당업자에게는, 여기에 개시된 본 발명의 방법 및 시스템의 배치, 동작 및 세부에 있어서, 명백한 다양한 변경, 변화, 및 변동이 본 발명의 범주 내에서 이루어질 수 있다.

본 발명의 실시예는 범용 또는 특정 목적의 컴퓨터, 또는 대안적으로 다른 전자 디바이스 또는 시스템에 의해 실행되는 기계적-구현가능한 인스트럭션으로 구현될 수 있는 다양한 단계를 포함할 수 있다. 다른 실시예에서, 단계는 단계를 수행하는 특정 로직을 포함하는 하드웨어 컴포넌트, 또는 하드웨어, 소프트웨어 및/또는 펌웨어의 조합에 의해 수행될 수 있다.

또한, 본 발명의 실시예는, 여기 기술된 프로세스를 수행하기 위해, 자체에 컴퓨터(또는 다른 디바이스)를 프로그래밍하는데 사용될 수 있는 인스트럭션이 저장된 기계적-판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로서 제공될 수 있다. 기계적-판독가능한 매체는 플로피 디스켓, 광학 디스크, CD-ROM, DVD ROM, ROM, RAM, EPROM, EEPROM, 마그네틱 또는 광학 카드, 전파 매체 또는 전자 인스트럭션을 저장하는데 적합한 다른 유형의 매체/기계-판독가능 매체를 포함하며, 이에 한정되지 아니한다. 예를 들어, 기술된 프로세스를 수행하는 인스트럭션은, 반송파 또는 통신 링크(가령, 네트워크 접속)를 통해 다른 전파 매체로 구현되는 데이터 신호에 의해, 원격 컴퓨터(예를 들어, 서버)로부터 요청 컴퓨터(가령, 클라이언 트)로 전달될 수 있다.

Claims

차원 계층(dimensional hierarchy) 중 적어도 하나의 차원에서 모니터링되는 적어도 하나의 측도(measure)를 사용자가 특정하도록 하는 단계와,

각각의 특정된 측도 및 각각의 특정된 차원에 있어서,

상기 특정된 차원에서의 특정된 측도에 대해, 다차원 데이터베이스로부터 시계열을 추출하는 단계와,

상기 추출된 시계열에 기초하여 상기 특정된 차원에서의 특정된 측도에 대해 하나 이상의 관리 기준(control limits)을 통계 프로세스 관리(Statistical Process Control: SPC) 기술을 이용하여 자동으로 산출하는 단계와,

상기 자동으로 산출된 각 관리 기준을 저장하는 단계

를 포함하는 컴퓨터 구현 방법.
제1항에 있어서,

하나 이상의 저장된 관리 기준에 기초하여, 각각 특정된 차원에서의 각각 특정된 측도를 포함하는 신규 취득된 데이터를 기준 밖의 조건에 대해 모니터링하는 단계와,

검출된 관리 기준 밖의 조건에 응답하여, 경보를 트리거링하는 단계

를 더 포함하는 컴퓨터 구현 방법.
제2항에 있어서,

사용자가 검출 주기를 특정하도록 하는 단계를 더 포함하고,

상기 모니터링 단계는, 상기 특정된 검출 주기에 따라, 상기 각각의 특정된 차원에서의 각각의 특정된 측도에 대해 신규 데이터를 주기적으로 취득하는 단계를 더 포함하는 컴퓨터 구현 방법.
제2항에 있어서,

사용자가 경보 전달 방법을 특정하도록 하는 단계를 더 포함하고,

상기 트리거링하는 단계는, 상기 특정된 경보 전달 방법을 통해 사용자에게 경보를 전달하는 단계를 더 포함하는 컴퓨터 구현 방법.
제4항에 있어서,

상기 경보를 전달하는 단계는, 상기 경보를 이메일 서비스를 통해 전달하는 단계를 포함하는 컴퓨터 구현 방법.
제4항에 있어서,

상기 경보를 전달하는 단계는, 상기 경보를 단문 메세지 서비스(Short Message Service: SMS)를 통해 전달하는 단계를 포함하는 컴퓨터 구현 방법.
제4항에 있어서,

상기 경보를 전달하는 단계는, 상기 경보를 페이징 서비스를 통해 전달하는 단계를 포함하는 컴퓨터 구현 방법.
제1항에 있어서,

기존 데이터로부터 하나 이상의 이상값(outlier)을 제거한 후, 적어도 하나의 관리 기준을 자동으로 재산출하는 단계를 더 포함하는 컴퓨터 구현 방법.
제2항에 있어서,

상기 신규 취득된 데이터에 기초하여, 적어도 하나의 관리 기준을 자동으로 재산출하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서,

상기 하나 이상의 관리 기준을 자동으로 산출하는 단계는, 시계열의 평균 및 표준 편차의 함수인 관리 기준을 자동으로 산출하는 단계를 더 포함하는 컴퓨터 구현 방법.
제10항에 있어서,

시계열 데이터를 획득하는 단계 및 허용 공차 계수를 획득하는 단계를 더 포함하고,

상기 하나 이상의 관리 기준을 자동으로 산출하는 단계는,

공식

에 따라,

상기 시계열의 평균 및 표준 편차의 함수로서 관리 기준 상한(Upper Control Limit: UCL)을 자동으로 산출하는 단계를 더 포함하며,

상기 평균은

에 의해 나타내어지고,

상기 표준편차는

에 의해 나타내어지며,

Xi는 상기 시계열에서의 측도, n은 상기 시계열에서의 측도의 수, Z는 상기 허용 공차 계수인

컴퓨터 구현 방법.
제10항에 있어서,

시계열 데이터를 획득하는 단계 및 허용 공차 계수를 획득하는 단계를 더 포함하고,

상기 하나 이상의 관리 기준을 자동으로 산출하는 단계는,

공식

에 따라,

상기 시계열의 평균 및 표준 편차의 함수로서 관리 기준 하한(Lower Control Limit: LCL)을 자동으로 산출하는 단계를 더 포함하며,

상기 평균은

에 의해 나타내어지고,

상기 표준편차는

,

에 의해 나타내어지며,

Xi는 상기 시계열에서의 측도, n은 상기 시계열에서의 측도의 수, Z는 상기 허용 공차 계수인

컴퓨터 구현 방법.
차원 계층 중 적어도 하나의 차원에서 모니터링되는 적어도 하나의 측도를 사용자가 특정하도록 하는 프로그램 코드와,

각각의 특정된 측도 및 각각의 특정된 차원에 있어서, 특정된 차원에서의 특정된 측도에 대해 다차원 데이터베이스로부터 시계열을 추출하고, 상기 추출된 시계열에 기초하여, 상기 특정된 차원에서의 특정된 측도에 대해 하나 이상의 관리 기준(control limits)을 통계 프로세스 관리(Statistical Process Control: SPC) 기술을 이용하여 자동으로 산출하는 프로그램 코드와,

상기 자동으로 산출된 하나 이상의 관리 기준에 기초하여, 기준 밖의 조건에 대해, 각각의 특정된 차원에서의 각각의 특정된 측도를 포함하는 신규 취득된 데이터를 모니터링하는 프로그램 코드와,

검출되는 기준 밖의 조건에 응답하여, 경보를 트리거링하는 프로그램 코드

를 포함하는 컴퓨터 판독가능 매체.
제13항에 있어서,

사용자가 검출 주기를 특정하도록 하는 프로그램 코드를 더 포함하고,

상기 모니터링하는 프로그램 코드는, 상기 특정된 검출 주기에 따라, 상기 각각의 특정된 차원에서의 각각의 특정된 측도에 대해 신규 데이터를 주기적으로 취득하는 프로그램 코드를 더 포함하는 컴퓨터 판독가능 매체.
제13항에 있어서,

사용자가 경보 전달 방법을 특정하도록 하는 프로그램 코드를 더 포함하고,

상기 트리거링하는 프로그램 코드는, 상기 특정된 경보 전달 방법을 통해 사용자에게 경보를 전달하는 프로그램 코드를 더 포함하는 컴퓨터 판독가능 매체.
제15항에 있어서,

상기 경보를 전달하는 프로그램 코드는, 상기 경보를 이메일 서비스를 통해 전달하는 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
제15항에 있어서,

상기 경보를 전달하는 프로그램 코드는, 상기 경보를 단문 메세지 서비스(SMS)를 통해 전달하는 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
제15항에 있어서,

상기 경보를 전달하는 프로그램 코드는, 상기 경보를 페이징 서비스를 통해 전달하는 프로그램 코드를 포함하는 컴퓨터 판독가능 매체.
제13항에 있어서,

기존 데이터로부터 하나 이상의 이상값(outlier)을 제거한 후에는, 적어도 하나의 관리 기준을 자동으로 재산출하는 프로그램 코드를 더 포함하는 컴퓨터 판독가능 매체.
제13항에 있어서,

신규 취득된 데이터에 기초하여, 적어도 하나의 관리 기준을 자동으로 재산출하는 프로그램 코드를 더 포함하는 컴퓨터 판독가능 매체.
제13항에 있어서,

상기 하나 이상의 관리 기준을 자동으로 산출하는 프로그램 코드는, 시계열의 평균 및 표준 편차의 함수인 관리 기준을 자동으로 산출하는 프로그램 코드를 더 포함하는 컴퓨터 판독가능 매체.
제13항에 있어서,

하나 이상의 관리 기준을 자동으로 산출하는 프로그램 코드는,

,

,

Xi는 시계열에서의 측도,

n은 시계열에서의 측도의 수,

Z는 허용 공차 계수

일 때, 공식

에 따라,

관리 기준 상한(UCL)을 자동으로 산출하는 프로그램 코드를 더 포함하는 컴퓨터 판독가능 매체.
제13항에 있어서,

하나 이상의 관리 기준을 자동으로 산출하는 프로그램 코드는,

,

,

Xi는 시계열에서의 측도,

n은 시계열에서의 측도의 수,

Z는 허용공차 계수

일 때, 공식

에 따라,

관리 기준 하한(Lower Control Limit: LCL)을 자동으로 산출하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
차원 계층(dimensional hierarchy) 중 적어도 하나의 차원에서 모니터링되는 적어도 하나의 측도(measure)를 사용자가 특정하도록 하는 선택 모듈과,

각각의 특정된 측도 및 각각의 특정된 차원에 있어서,

상기 특정된 차원에서의 특정된 측도에 대해, 다차원 데이터베이스로부터 시계열을 추출하고, 상기 특정된 차원에서의 특정된 측도에 대해 상기 추출된 시계열에 기초하여 하나 이상의 관리 기준을 통계적 공정 관리(SPC) 기술을 이용하여 자동으로 산출하는 관리 기준 산출기와,

자동으로 산출된 하나 이상의 관리 기준에 기초하여, 기준 밖의 조건에 대해 각각의 특정된 차원에서의 각각의 특정된 측도를 포함하는 신규 취득된 데이터를 모니터링하는 모니터링 모듈과,

검출되는 기준 밖의 조건에 응답하여, 경보를 트리거링하는 경보 모듈

을 포함하는 시스템.
제24항에 있어서,

상기 선택 모듈은 사용자가 검출 주기를 특정하도록 하고, 상기 모니터링 모듈은 상기 특정된 검출 주기에 따라, 상기 각각의 특정된 차원에서의 각각의 특정된 측도에 대해 신규 데이터를 주기적으로 취득하는 시스템.
제24항에 있어서,

상기 선택 모듈은 사용자가 경보 전달 서비스를 특정하도록 하고, 상기 경보 모듈은 상기 특정된 경보 전달 서비스를 통해 사용자에게 경보를 전달하는 시스템.
제26항에 있어서,

상기 특정된 전달 서비스는 이메일 서비스를 포함하는 시스템.
제26항에 있어서,

상기 특정된 전달 서비스는 단문 메세지 서비스(SMS)를 포함하는 시스템.
제26항에 있어서,

상기 특정된 전달 서비스는 페이징 서비스를 포함하는 시스템.
제24항에 있어서,

상기 관리 기준 산출기는 기존 데이터로부터 하나 이상의 이상값(outlier)을 제거한 후에는, 적어도 하나의 관리 기준을 자동으로 재산출하는 시스템.
제24항에 있어서,

상기 관리 기준 산출기는 신규 취득된 데이터에 기초하여, 적어도 하나의 관 리 기준을 자동으로 재산출하는 시스템.
제24항에 있어서,

상기 관리 기준 산출기는 시계열의 평균 및 표준 편차의 함수인 관리 기준을 자동으로 산출하는 시스템.
제32항에 있어서,

상기 관리 기준 산출기는, 시계열 데이터 및 허용 공차 계수를 획득하고,

공식

에 따라,

상기 시계열의 평균 및 표준 편차의 함수로서 관리 기준 상한(UCL)을 자동으로 산출하며,

상기 평균은

에 의해 나타내어지고,

상기 표준편차는

에 의해 나타내어지며,

Xi는 상기 시계열에서의 측도, n은 상기 시계열에서의 측도의 수, Z는 상기 허용 공차 계수인

시스템.
제32항에 있어서,

상기 관리 기준 산출기는, 시계열 데이터 및 허용 공차 계수를 획득하고,

공식

에 따라,

상기 시계열의 평균 및 표준 편차의 함수로서 관리 기준 하한(LCL)을 자동으로 산출하며,

상기 평균은

에 의해 나타내어지고,

상기 표준편차는

에 의해 나타내어지며,

Xi는 상기 시계열에서의 측도, n은 상기 시계열에서의 측도의 수, Z는 상기 허용 공차 계수인

시스템.