KR20230002025A

KR20230002025A - 바람직하지 않은 거동을 감소시키기 위한 프로세스의 영향 분석

Info

Publication number: KR20230002025A
Application number: KR1020217039688A
Authority: KR
Inventors: 셀린느 베르호프; 로랜드 요하누스 쉐펜스; 파울라 수비아스-벨트란
Original assignee: 유아이패스, 인크.
Priority date: 2020-04-13
Filing date: 2020-09-18
Publication date: 2023-01-05
Also published as: CN113950699A; US20210318944A1; JP2023520952A; EP4136597A1; WO2021211158A1

Abstract

프로세스의 케이스 세트에 나타내는 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 분석하기 위한 시스템 및 방법이 제공된다. 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도가 결정된다. 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도가 계산된다. 관찰된 발생 빈도는 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 결정하기 위해 상기 예상된 발생 빈도와 비교된다. 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭이 계산된다.

Description

바람직하지 않은 거동을 감소시키기 위한 프로세스의 영향 분석

관련 출원에 대한 상호 참조

본 출원은 2020년 4월 13일에 출원된 미국 실용 특허 출원 제16/847,215호에 대한 우선권을 주장하며, 그 개시 내용은 그 전체가 참고로 본 명세서에 포함된다.

기술분야

본 발명은 일반적으로 프로세스 관리에 관한 것으로, 특히 바람직하지 않은 거동(behavior)을 감소시키기 위한 프로세스의 영향 분석에 관한 것이다.

프로세스는 제품 또는 서비스를 제공하기 위해 실행되는 일련의 활동이다. 프로세스 마이닝(mining)에서, 효율을 향상시키고 프로세스를 더 잘 이해하기 위해, 트렌드, 패턴, 및 기타 프로세스 분석 조치를 식별하기 위해 프로세스를 분석한다. 프로세스의 성능을 개선하기 위한 한 가지 접근 방식은, 예를 들어 서비스 수준 계약 초과와 같은 프로세스의 바람직하지 않은 거동을 감소시키는 것이다. 그러나, 현재 프로세스 마이닝 기술은, 이러한 바람직하지 않은 거동에 영향을 미치는 프로세스 실행의 속성을 결정할 수 없다.

하나 이상의 실시예에 따르면, 프로세스의 케이스 세트에서 나타나는 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 분석하기 위한 시스템 및 방법이 제공되며, 여기서 케이스 세트에서의 각각의 케이스는 프로세스의 실행 인스턴스에 대응한다. 프로세스는 로봇 프로세스 자동화 프로세스일 수 있다.

일 실시예에서, 케이스 세트에서, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도가 결정된다. 케이스 세트에서, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도가 계산된다. 예상된 발생 빈도는, 케이스 세트에서, 바람직하지 않은 거동을 나타내는 케이스의 비율, 그리고 케이스 세트에서, 하나 이상의 속성 값과 연관된 케이스의 발생 빈도에 기초하여 계산된다. 관찰된 발생 빈도는 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 결정하기 위해, 예상된 발생 빈도와 비교된다. 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭(impact metric)이 계산된다.

일 실시예에서, 예상된 발생 빈도는, 케이스 세트에서의 바람직하지 않은 거동을 나타내는 케이스의 비율에, 케이스 세트에서의 하나 이상의 속성 값과 연관된 케이스의 발생 빈도를 곱함으로써 계산된다.

일 실시예에서, 관찰된 발생 빈도를 예상된 발생 빈도와 비교하는 것은, 케이스 세트에서, 관찰된 발생 빈도와 예상된 발생 빈도에 기초하여 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 표준 잔차(standard residual)를 계산함으로써 수행된다. 비교는 케이스 세트에서, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도에 응답하여 수행될 수 있고, 케이스 세트에서, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내지 않는 케이스의 예상된 발생 빈도는, 예상된 빈도 임계값을 충족한다.

일 실시예에서, 영향 메트릭은, 영향 메트릭이 긍정적일 것이라고 결정하고, 그리고 케이스 세트에서, 바람직하지 않은 거동을 나타내는 케이스의 발생 빈도, 그리고 케이스 세트에서, 하나 이상의 속성 값과 연관되는 케이스의 발생 빈도에 기초하여 긍정적인 영향 메트릭을 계산함으로써 계산된다. 다른 실시예에서, 영향 메트릭은, 영향 메트릭이 부정적일 것이라고 결정하고, 그리고 케이스 세트에서, 바람직하지 않은 거동을 나타내지 않는 케이스의 발생 빈도, 그리고 케이스 세트에서, 하나 이상의 속성 값과 연관되는 케이스의 발생 빈도에 기초하여 부정적인 영향 메트릭을 계산함으로써 계산된다.

일 실시예에서, 비교의 결과의 대시보드가 디스플레이 디바이스에 표시될 수 있다.

본 발명의 이러한 이점 및 기타 이점은, 다음의 상세한 설명 및 첨부 도면을 참조하여 당업자에게 명백할 것이다.

도 1은 본 발명의 하나 이상의 실시예에 따라 분석될 수 있는 예시적인 프로세스를 도시한다.
도 2는 본 발명의 하나 이상의 실시예에 따른, 프로세스의 실행 동안 나타나는 바람직하지 않은 거동에 대한 속성 값의 영향을 분석하기 위한 방법을 도시한다.
도 3은 본 발명의 하나 이상의 실시예에 따른, 프로세스의 케이스 데이터의 예시적인 테이블을 도시한다.
도 4는 본 발명의 하나 이상의 실시예에 따른, 바람직하지 않은 거동에 대한 속성 값의 영향을 분석한 결과의 예시적인 출력 테이블을 도시한다.
도 5는 본 발명의 하나 이상의 실시예에 따른, 바람직하지 않은 거동에 대한 속성 값의 영향을 시각화하기 위한 대시보드를 도시한다.
도 6은 본 발명의 하나 이상의 실시예에 따른, 바람직하지 않은 거동을 나타내는 다양한 속성 값과 연관되는 케이스의 예상된 빈도로부터 관찰된 빈도의 편차를 분석하기 위한 대시보드를 도시한다.
도 7은 본 발명의 하나 이상의 실시예에 따른, 발생 빈도에 기초한 다양한 속성 값에 대한 영향 메트릭 값을 보여주는 대시보드를 도시한다.
도 8은 본 발명의 하나 이상의 실시예에 따른, 가중치에 기초한 다양한 속성 값에 대한 영향 메트릭 값을 보여주는 대시보드를 도시한다.
도 9는 본 발명의 하나 이상의 실시예에 따른, 예시적인 사용 케이스에 대한 바람직하지 않은 거동에 대한 속성 값의 영향을 시각화하는 대시보드를 도시한다.
도 10은 본 발명의 실시예에 따른 컴퓨팅 시스템의 블록도이다.

프로세스는 예를 들어 관리 애플리케이션(예를 들어, 신입 직원 온보딩), 조달-지불(procure-to-pay) 애플리케이션(예를 들어, 구매, 인보이스 관리, 지불 촉진), 정보 기술 애플리케이션(예를 들어, 티켓팅 시스템)과 같은 복수의 다른 애플리케이션에 대한 서비스를 제공하는 데 활용될 수 있다. 예시적인 프로세스(100)가 도 1에 도시되어 있다. 프로세스(100)는 인보이스를 처리하고 지불하는 프로세스이다. 일 실시예에서, 프로세스(100)는 하나 이상의 RPA 로봇을 사용하여 태스크를 자동으로 수행하기 위한 로봇 프로세스 자동화(RPA) 작업 흐름으로서 구현될 수 있다.

프로세스(100)는 프로세스(100)의 사전 정의된 단계 시퀀스를 나타내는 활동(102-114)을 포함한다. 도 1에 도시된 바와 같이, 프로세스(100)는 각 활동(102-114)이 노드로서 표시되고 활동(102-114) 사이의 각 전환이 노드를 연결하는 에지로서 표시되는 방향성 그래프로서 모델링된다. 활동 간의 전환은 소스 활동으로부터 목적지 활동으로의 프로세스(100)의 실행을 나타낸다. 프로세스(100)의 실행은 이벤트 로그의 형태로 기록된다.

프로세스(100)는 인보이스 수신 활동(102)에서 시작하여 수신된 인보이스 체크 활동(104)으로 진행한다. 수신된 인보이스가 수신된 인보이스 체크 활동(104)에서 정보가 누락된 것으로 결정되면, 프로세스(100)는 인보이스 최종 체크 활동(110)으로 진행하기 전에 데이터 요청 활동(106) 및 계약 조건 체크 활동(108)으로 진행한다. 수신된 인보이스가 수신된 인보이스 체크 활동(104)에서 정보가 누락되지 않은 것으로 결정되면, 프로세스(100)는 인보이스 최종 체크 활동(110)으로 바로 진행한다. 그 후, 프로세스(100)는 인보이스 승인 활동(112) 및 인보이스 지불 활동(114)으로 진행한다.

프로세스(100)의 각 실행 인스턴스는, 케이스 ID에 의해 식별되는 케이스에 대응한다. 각 케이스는 대응하는 값(속성 값으로 지칭됨)을 갖는 복수의 속성을 가질 수 있다. 일 예에서, 속성은 케이스 유형일 수 있고, 속성 값은 서비스 또는 카탈로그일 수 있다. 다른 예에서, 속성은 공급자일 수 있고, 속성 값은 공급자의 이름일 수 있다. 프로세스(100)의 하나 이상의 실행 인스턴스 동안에, 바람직하지 않은 거동이 나타날 수 있다. 실행 인스턴스 동안에 나타나는 바람직하지 않은 거동은 또한, 본 명세서에서 태그(tag)로서 지칭된다. 바람직하지 않은 거동의 예는 서비스 수준 계약을 초과하거나 인보이스의 지연 지불을 들 수 있다. 본 명세서에 설명된 실시예에 따르면, 속성 값의 영향은, 바람직하지 않은 거동을 나타내는 케이스의 세트에 대한 속성 값의 관찰된 발생 빈도를, 예상된 발생 빈도와 비교함으로써 분석된다.

도 2는 하나 이상의 실시예에 따른, 프로세스 실행의 하나 이상의 인스턴스 동안에 나타나는 바람직하지 않은 거동에 대한 속성 값의 영향을 분석하기 위한 방법(200)을 도시한다. 방법(200)은 예를 들어, 도 10의 컴퓨팅 시스템(1000)과 같은 하나 이상의 적절한 컴퓨팅 디바이스에 의해 수행될 수 있다.

단계 202에서, 프로세스의 케이스 세트에 대한 입력 케이스 데이터가 수신된다. 각 케이스는 프로세스 실행의 인스턴스에 대응한다. 프로세스의 예는 도 1의 프로세스(100)이다. 입력 케이스 데이터는, 각 케이스에 대한 하나 이상의 속성 값과 각 케이스 동안 바람직하지 않은 거동이 나타났는지 여부를 식별한다. 바람직하지 않은 거동은 예를 들어 서비스 수준 계약을 초과하거나 인보이스의 늦은 지불과 같이 사용자가 바람직하지 않다고 생각하는 케이스 동안에 나타나는 임의의 거동을 포함할 수 있다. 일 실시예에서, 케이스의 세트 및 바람직하지 않은 거동은 사용자에 의해 선택된다. 입력 케이스 데이터는 예를 들어, 도 3의 테이블(300)과 같은 테이블의 포맷일 수 있거나, 임의의 다른 적절한 포맷일 수 있다.

도 3은 하나 이상의 실시예에 따른, 프로세스의 케이스 데이터의 예시적인 테이블(300)을 도시한다. 테이블(300)은 도 2의 단계 202에서 수신된 입력 케이스 데이터일 수 있다. 도 3에 도시된 바와 같이, 테이블(300)은 행(302)과 열(304)이 교차하는 셀에서 케이스의 다양한 속성을 식별하는 열(304) 및 프로세스의 케이스에 각각 대응하는 표제(306) 및 행(302)을 포함한다. 특히, 각각의 행(302)은, 케이스에 대응하고, 그 케이스는, 프로세스의 실행 인스턴스를 식별하는 케이스 ID(열 304-A에서 식별됨)와 연관된 케이스, 케이스가 분석을 위한 케이스 세트에 포함되도록 사용자에게 의해 선택되었는지 여부의 표시(열 304-B에서 식별됨), 케이스 동안에 바람직하지 않은 거동이 나타났는지 여부의 표시(열 304-C에서 식별되는 바와 같이, 태그로 지칭됨), case type(열 304-D에서 식별됨) 및 supplier(열 304-E에서 식별됨)과 같은 케이스의 다양한 속성, 및 (옵션으로) 각 케이스와 연관된 가중치(열 304-F에서 식별됨)와 연관된다.

도 3에 도시된 바와 같이, 표(300)는 각 속성에 대한 속성 값을 식별한다. 예를 들어, 열 304-D에 도시된 바와 같이, "case type" 속성은 케이스 ID 001 및 003과 연관된 케이스에 대한 속성 값 "services" 및 케이스 ID 002와 연관된 케이스에 대한 속성 값 "catalog"를 갖는다. 다른 예에서, 열 304-E에 도시된 바와 같이, "supplier" 속성은, 케이스 ID 001과 연관된 케이스에 대한 속성 값 "Breitenberg", 케이스 ID 002와 연관된 케이스에 대한 속성 값 "Weimann Inc" 및 케이스 ID 003과 연관된 케이스에 대한 속성 값 "Morissette" 을 갖는다. 각 케이스와 연관된 가중치는 선택적으로 테이블(300)에 포함되고, 예를 들어 그 케이스에 수반된 비용 또는 임의의 다른 요인에 기초하여 사용자에 의해 규정된다. 테이블(300)은 임의의 적절한 포맷일 수 있고 다른 속성을 식별하는 추가 열(304)을 포함할 수 있다는 것을 이해해야 한다.

도 2의 단계(204)에서, 케이스 세트에서, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도가 결정된다. 일 실시예에서, 케이스 세트는 예를 들어, 입력 케이스 데이터에 표시된 바와 같이 사용자에 의해 선택된 케이스일 수 있다. 관찰된 발생 빈도는 입력된 케이스 데이터로부터 결정될 수 있다. 예를 들어, 입력 케이스 데이터가 도 3의 테이블(300)인 경우, 사용자에 의해 선택된 케이스 세트에서, 속성 값 "services"와 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도는, 1(케이스 ID 001에 대응하는 케이스, 케이스 ID 002는 "services"와 연관되지 않고, 케이스 ID 003은 선택되지 않기 때문임)이다. 이와 유사하게, 이러한 관찰된 발생 빈도는 속성 값 "catalog"가 0으로서, 속성 값 "Breitenberg"가 1로서, 속성 값 “Weimann Inc”가 0으로서, 속성 값 “Morissette”가 0으로서 결정될 수 있다.

일 실시예에서, 하나 이상의 속성 값은 단일 속성 값일 수 있다. 다른 실시예에서, 하나 이상의 속성 값은 속성 값의 조합일 수 있다. 따라서, 바람직하지 않은 것에 대한 속성 값의 조합에 대한 영향은 방법(200)에 따라 분석될 수 있다.

단계 206에서, 케이스 세트에서, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도가 결정된다. 예상된 발생 빈도는, 케이스 세트에서, 바람직하지 않은 거동을 나타내는 케이스의 비율 그리고 케이스 세트에서, 하나 이상의 속성 값과 연관된 케이스의 관찰된 발생 빈도에 기초하여, 입력 케이스 데이터로부터 결정될 수 있다. 일 실시예에서, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도는, (모든 속성 값에 대해) 바람직하지 않은 거동을 나타내는 케이스 세트의 케이스 비율을, 하나 이상의 속성 값과 연관된 케이스 세트에서의 케이스의 관찰된 발생 빈도(바람직하지 않은 거동을 나타내는 경우와 나타내지 않는 경우)와 곱함으로써 결정된다. 예를 들어, 입력 케이스 데이터가 도 3의 테이블(300)인 경우, 사용자에 의해 선택된 케이스 세트에서, 속성 값 "services"와 연관되고 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도가, (2/3)×1로서 결정될 수 있다.

단계 208에서, 관찰된 발생 빈도는, 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 결정하기 위해 예상된 발생 빈도와 비교된다. 관찰된 발생 빈도가 예상된 발생 빈도로부터 현저히 벗어나는지 여부를 결정하기 위해 비교가 수행된다. 관찰된 발생 빈도가 예상된 발생 빈도보다 훨씬 높으면, 하나 이상의 속성 값이 바람직하지 않은 거동을 나타내는 케이스에 영향을 미치는 것으로 간주된다. 관찰된 발생 빈도가 예상된 발생 빈도보다 현저히 낮으면, 하나 이상의 속성 값이 바람직하지 않은 거동을 나타내지 않는 케이스에 영향을 미치는 것으로 간주된다. 일 실시예에서, 관찰된 발생 빈도는 표준화된 잔차를 계산함으로써 예상된 발생 빈도와 비교된다.

일 실시예에서, 예를 들어, 입력 케이스 데이터가 각 케이스와 연관된 가중치를 포함하지 않는 경우, 데이터의 기본 분포는, 평균 및 분산이 예상된 발생 빈도와 동일한 푸아송 분포를 따른다. 이와 같이, 표준 잔차는 식 (1)에 따라 계산될 수 있다.

식 (1)

여기서 R_i,tag는 바람직하지 않은 거동을 나타내는 속성 값 i와 연관된 케이스의 발생의 표준 잔차이고, O_i,tag는 바람직하지 않은 거동을 나타내는 속성 값 i와 연관된 케이스의 관찰된 발생 빈도이며, E_i,tag는 바람직하지 않은 거동을 나타내는 속성 값 i와 연관된 케이스의 예상된 발생 빈도이다.

일 실시예에서, 예를 들어, 입력 케이스 데이터가 케이스와 연관된 가중치를 포함하는 경우, 기본 데이터는 빈도 값이 아니기 때문에, 기본 데이터는 복합 포아송 분포(푸아송 분포가 아님)를 따른다. 따라서, 표준 잔차는 식 (2)에 따라 계산될 수 있다.

식 (2)

여기서 W_i,tag는 바람직하지 않은 거동을 나타내는 속성 값 i와 연관된 케이스에 대한 가중치의 합이고, λ는 E_i,tag의 예상된 발생 빈도와 동일하고, ω는 예상된 가중치이다. 예상된 가중치 ω는 케이스 세트에 있는 모든 케이스의 평균 가중치에 예상된 발생 빈도 E_i,tag를 곱함으로써 계산될 수 있다.

일 실시예에서, 단계 208에서의 비교는, 1) 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는, 케이스 세트에서의 케이스의 예상된 발생 빈도 및 2) 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내지 않는, 케이스 세트에서의 케이스의 예상된 발생 빈도 둘 다가, 미리 결정된 예상 빈도 임계값(예를 들어, 5 이상)을 충족하는 경우에만 수행된다. 속성 값과 연관되고 바람직하지 않은 거동을 나타내지 않는 케이스 세트에서의 케이스의 예상된 발생 빈도는, (모든 속성 값에 대하여) 바람직하지 않은 거동을 나타내지 않는 케이스 세트에서의 케이스 비율을, 속성 값과 연관된 케이스 세트에서의 케이스의 발생 빈도(바람직하지 않은 거동을 나타내는 케이스와 나타내지 않는 케이스)와 곱함으로써 계산될 수 있다. 예상된 발생 빈도 중 어느 하나가, 미리 결정된 예상 빈도 임계값을 충족하지 않으면, 하나 이상의 속성 값이 분석을 위해 고려되지 않고 분석이 종료된다.

일 실시예에서, 미리 결정된 예상 빈도 임계값을 충족하는지 여부를 결정하기 위해 예상된 발생 빈도를 계산하는 대신에, 관찰된 빈도 임계값 T_tag는 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스에 대해 계산될 수 있고 관찰된 빈도 임계값 T_rest는 하나 이상의 속성 값과 연관되고 미리 결정된 예상 빈도 임계값을 충족하는 바람직하지 않은 거동을 나타내지 않는 케이스에 대하여 계산될 수 있다. 위에서 논의된 바와 같이, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내지 않는 케이스 세트에서의 케이스의 예상된 발생 빈도는, 바람직하지 않은 거동을 나타내는 케이스 세트에서의 케이스 비율을 하나 이상의 속성 값과 연관된 케이스 세트에서의 케이스의 관찰된 발생 빈도와 곱함으로써 계산될 수 있다. 따라서, 예상된 발생 빈도를 미리 결정된 예상 빈도 임계값과 동일하게 설정함으로써, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스 세트에서의 케이스의 관찰된 발생 빈도에 대한 관찰된 빈도 임계값 Ttag은, 미리 결정된 예상 빈도 임계값을 바람직하지 않은 거동을 나타내는 케이스 세트의 케이스 비율로 나눔으로써 결정될 수 있다. 이와 유사하게, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내지 않는 케이스 세트에서의 케이스의 관찰된 발생 빈도에 대한 관찰된 빈도 임계값 T_rest는, 미리 결정된 예상 빈도 임계값을 바람직하지 않은 거동을 나타내지 않는 케이스 세트의 케이스 비율로 나눔으로써 결정될 수 있다. 관찰된 빈도 임계값 T_tag 및 T_rest가 충족되지 않으면, 하나 이상의 속성 값이 분석을 위해 고려되지 않고 분석이 종료된다.

단계 210에서, 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭이 계산된다. 일 실시예에서, 영향 메트릭은 -1과 1 사이의 범위를 가지며, 여기서 더 높은 값은 더 많은 영향을 나타낸다. 그러나, 영향 메트릭은 임의의 적절한 방식으로 표시될 수 있다.

영향 메트릭을 계산하기 위해, 먼저 영향 메트릭이 긍정적인지 부정적인지가 결정된다. 관찰된 발생 빈도가 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스에 대한 예상된 발생 빈도보다 클 때, 긍정적인 영향 메트릭이 발생한다. 관찰된 발생 빈도가, 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스에 대한 예상된 발생 빈도보다 크지 않을 때, 부정적인 영향 메트릭이 발생한다.

긍정적인 영향 메트릭은 식 (3)에 따라 계산된다.

식 (3)

여기서 C_tag는 바람직하지 않은 거동을 나타내는 케이스 세트에서의 케이스의 발생 빈도이고, C_i는 하나 이상의 속성 값과 연관되는 케이스 세트에서의 케이스의 발생 빈도이다.

부정적인 영향 메트릭은 식 (4)에 따라 계산된다.

식 (4)

여기서 C_rest는 바람직하지 않은 거동을 나타내지 않는 케이스 세트에서의 케이스 수이다.

영향 메트릭은 1) 하나 이상의 속성 값과 연관된 모든 케이스가 바람직하지 않은 거동을 나타내는 케이스에 발생하고 바람직하지 않은 거동을 나타내지 않는 임의의 케이스(즉,

)에는 발생하지 않고, 그리고 2) 하나 이상의 속성 값과 연관된 모든 케이스는 바람직하지 않은 거동을 나타내는 케이스(즉, C_tag=C_i)에 그리고 이들 경우에만 1의 최대 값을 갖는다. 하나 이상의 속성 값과 연관된 모든 케이스가, 바람직하지 않은 거동을 나타내지 않고, 바람직하지 않은 거동을 나타내는 모든 케이스가 하나 이상의 속성 값과 연관되는 케이스인 경우, 영향 메트릭은 -1의 최소값을 갖는다.

일 실시예에서, 입력 케이스 데이터가 케이스와 연관되는 가중치를 포함하는 경우, 영향 메트릭은 다음과 같이 계산된다:

식 (5)

식 (6)

단계 212에서, 바람직하지 않은 거동에 대한 속성 값의 영향 및/또는 영향 메트릭이 출력된다. 일 실시예에서, 바람직하지 않은 거동에 대한 속성 값의 영향 및 영향 메트릭은, 예를 들어, 바람직하지 않은 거동에 대한 속성 값의 영향 및/또는 컴퓨터 시스템의 디스플레이 디바이스에 대한 영향 메트릭을 표시하는 단계, 바람직하지 않은 거동에 대한 속성 값의 영향 및/또는 컴퓨터 시스템의 메모리 또는 스토리지에 대한 영향 메트릭을 저장하는 단계, 또는 바람직하지 않은 거동에 대한 속성 값의 영향 및/또는 영향 메트릭을 원격 컴퓨터 시스템에 송신하는 단계에 의해, 출력될 수 있다.

방법(200)의 단계(204-210)는, 입력 케이스 데이터 내의 복수의 상이한 속성 값 또는 속성 값의 조합에 대해 반복될 수 있고, 단계 212는 바람직하지 않은 거동 및/또는 속성 값 또는 속성 값의 조합의 영향 메트릭에 대하여 속성 값 또는 속성 값의 조합의 영향을 출력 및 비교할 수 있다.

일 실시예에서, 바람직하지 않은 거동에 대한 속성 값의 영향은 테이블의 포맷으로 출력된다. 도 4는 하나 이상의 실시예에 따른, 예시적인 출력 테이블(400)을 도시한다. 테이블(400)은 도 2의 단계(204)의 출력일 수 있다. 도 4에 도시된 바와 같이, 테이블(400)은 행(402)과 열(404)이 교차하는 셀에서 케이스의 다양한 속성을 식별하는 열(404) 그리고 프로세스의 케이스에 각각 대응하는 표제(406) 및 행(402)을 포함한다. 특히, 각 행(402)은, 케이스에 대응하고, 그 케이스는, 프로세스의 실행 인스턴스를 식별하는 케이스 ID(열 404-A에서 식별됨), 속성(열 404-B에서 식별됨), 속성의 속성 값(열 404-C에서 식별됨), 상기 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도(열 404-D에서 식별됨), 케이스와 연관되고 바람직하지 않은 거동을 나타내지 않는 케이스의 관찰된 발생 빈도(열 404-E에서 식별됨), 케이스와 연관되고 바람직하지 않은 거동을 나타내지 않는 케이스의 가중치의 합(열 404-F에서 식별됨), 그리고 케이스와 연관되고 바람직하지 않은 거동을 나타내지 않는 케이스의 가중치의 합(열 404-G에서 식별됨)과 연관된다. 테이블(400)은 임의의 적절한 포맷일 수 있고, 예를 들어 영향 메트릭과 같은 다른 속성 및/또는 메트릭을 식별하는 추가 열(404)을 포함할 수 있음을 이해해야 한다.

일 실시예에서, 바람직하지 않은 거동에 대한 속성 값의 영향 및/또는 영향 메트릭은, 디스플레이 디바이스에서 사용자에게 디스플레이되는 하나 이상의 대시보드 상에 출력된다. 이러한 대시보드는 필터링을 가능하게 하고 사용자가 표시될 정보를 선택할 수 있도록 제어한다. 예시적인 대시보드는 아래에 자세히 설명되어 있는 도 5-9에 도시되어 있다.

도 5는 하나 이상의 실시예에 따른, 바람직하지 않은 거동에 대한 속성 값의 영향을 시각화하기 위한 예시적인 대시보드(500)를 도시한다. 대시보드(500)는 사용자가 분석을 위해 하나 이상의 속성을 선택할 수 있게 하는 사용자 선택 필드(522)를 포함한다. 대시보드(500)에 도시된 바와 같이, “case type” 속성이 선택된다.

대시보드(500)의 일부(502)는, 바람직하지 않은 거동을 나타내는 다양한 속성 값(508)과 연관되는 케이스의 예상된 빈도로부터 관찰된 빈도의 편차를 보여주는 막대 차트(520)를 도시한다. 예상된 빈도는 막대 차트(520)의 라인(504)에 의해 표시된다. 막대가 라인(504)에서 멀어지면, 편차가 더 커진다. 각 막대의 끝에서, 열(506)에는, 각 속성 값(508)과 연관되는 케이스의 총 수가 도시된다. 속성 값(508)은 바람직하지 않은 거동을 나타내는 케이스의 가장 큰 백분율로부터 가장 낮은 것으로 정렬되지만, 임의의 적절한 기준에 따라 정렬될 수 있다.

대시보드(500)의 일부(510)는 다양한 속성 값(512)에 대한 영향 메트릭 값을 보여주는 막대 차트(514)를 도시한다. 막대 차트(514)의 라인(516)은 0의 영향 메트릭 값을 나타내며, 여기서 라인(516)의 왼쪽에 있는 막대는 부정적인 영향 메트릭 값을 나타내고, 라인(516)의 오른쪽에 있는 막대는 긍정적인 영향 메트릭 값을 나타낸다. 속성 값(512)은 가장 높은 영향 메트릭 값으로부터 가장 낮은 영향 메트릭 값으로 정렬되지만, 임의의 적절한 기준에 따라 정렬될 수 있다. 각 막대의 끝에서, 열(518)에는, 바람직하지 않은 거동을 나타내는 속성 값(512)과 연관되는 케이스의 수가 도시된다. 막대 차트(514)의 막대는 속성 값(512)의 영향을 나타내도록 컬러 코딩될 수 있다. 일 실시예에서, 막대 차트(514)는 다음 카테고리: 매우 약함, 약함, 상당함, 높음, 및 매우 높음 중 하나로 컬러 코딩된다. 일 실시예에서, 예를 들어 매우 약한 긍정적인 영향 메트릭 값 및 매우 약한 부정적인 영향 메트릭 값에 동일한 컬러가 할당되도록, 동일한 컬러 코드가 긍정적 및 부정적인 영향 메트릭 값 모두에 사용될 수 있다.

도 6은 하나 이상의 실시예에 따른, 바람직하지 않은 거동을 나타내는 다양한 속성 값과 연관되는 케이스의 예상된 빈도로부터 관찰된 빈도의 편차를 분석하기 위한 대시보드(600)를 도시한다. 대시보드(600)는 사용자가 분석을 위해 하나 이상의 속성을 선택할 수 있도록 하게 하는 사용자 선택 필드(602)와 속성의 조합에 대한 결과를 표시하는 옵션을 사용자가 선택할 수 있도록 하게 하는 사용자 선택 필드(604)를 보여준다. 대시보드(600)에 도시된 바와 같이, 사용자 선택 필드(602)에서 "case type" 및 "supplier"의 두 속성이 선택되고 속성의 조합에 대한 결과를 보여주는 옵션이, 사용자 선택 필드(604)에서 선택된다. 도 5의 막대 차트(520)와 유사하게, 막대 차트(608)는 예상된 빈도로부터 관찰된 빈도의 편차를 보여주지만, 바람직하지 않은 거동을 나타내는 속성 값(606)의 조합과 연관되는 경우에도 마찬가지이다. 예상된 빈도는 막대 차트(608)의 라인(610)에 의해 표시된다. 각 막대의 끝에서, 열(612)에서, 속성 값(606)의 각 조합과 연관되는 케이스 총 수가 도시된다. 사용자 선택 필드(604)를 선택함으로써, 속성 값(606)의 조합이 도시되지만, 이것은 예를 들어 제2 행과 같은 단일 속성 값을 제거하지 않는다.

도 7은 하나 이상의 실시예에 따라, 발생 빈도에 기초한 다양한 속성 값에 대한 영향 메트릭 값을 보여주는 대시보드(700)를 도시하고, 도 8은 가중치에 기초하는 다양한 속성 값에 대한 영향 메트릭 값을 보여주는 대시보드(800)를 도시한다.

도 9는 하나 이상의 실시예에 따른, 예시적인 사용 케이스에 대한 바람직하지 않은 거동에 대한 속성 값의 영향을 시각화하는 대시보드(900)를 도시한다. 이 사용 케이스에서, 사용자는 지정된 기간 동안 자주 발생하는 바람직하지 않은 거동에 가장 큰 영향을 갖는 영향력 있는 속성 값을 식별하려고 한다. 분석을 수행하기 위해, 사용자는 케이스 세트 및 바람직하지 않은 거동을 선택한다. 케이스 세트는 2016년 12월 한 달 동안 발생한 케이스로서 선택되고, 모든 인보이스가 늦게 지불되어 바람직하지 않은 거동이 선택된다(태그가 선택된 필터링은, 이 도면에 도시되지 않음). 이 기간 동안에, 6288개의 종료된 케이스가 발생했으며, 그 케이스의 30%는 바람직하지 않은 거동을 나타낸다. 도 9에 도시된 바와 같이, "case type" 속성의 4개의 속성 값(902)이 영향력 있는 것으로 식별되고, 그 중 2개가 긍정적인 영향을 갖는다. 속성 값 "services"는 1201개의 케이스에서 발생하며, 그 중 598개는 바람직하지 않은 거동을 나타낸다. 케이스 세트에서 바람직하지 않은 거동을 나타내는 케이스의 총 수는 1864개이다. 이는 0.16의 큰 영향 메트릭 값을 생성한다.

도 10은 본 발명의 일 실시예에 따른, 도 1 내지 도 3을 포함하여 본 명세서에 설명된 방법, 작업 흐름, 및 프로세스를 실행하도록 구성된 컴퓨팅 시스템(1000)을 도시하는 블록도이다. 일부 실시예에서, 컴퓨팅 시스템(1000)은 본 명세서에 도시 및/또는 설명된 컴퓨팅 시스템 중 하나 이상의 시스템일 수 있다. 컴퓨팅 시스템(1000)은 정보를 통신하기 위한 버스(1002) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(1002)에 커플링된 프로세서(들)(1004)를 포함한다. 프로세서(들)(1004)는 CPU(Central Processing Unit), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), GPU(Graphics Processing Unit), 이들의 복수의 인스턴스, 및/또는 이들의 임의의 조합을 포함하는, 임의의 유형의 범용 또는 특수 목적 프로세서일 수 있다. 프로세서(들)(1004)는 또한 복수의 프로세싱 코어를 가질 수 있고, 코어의 적어도 일부는 특정 기능을 수행하도록 구성될 수 있다. 일부 실시예에서는 다중 병렬 프로세싱이 사용될 수 있다.

컴퓨팅 시스템(1000)은 프로세서(들)(1004)에 의해 실행될 정보 및 명령어를 저장하기 위한 메모리(1006)를 더 포함한다. 메모리(1006)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 메모리, 캐시, 자기 또는 광 디스크와 같은 스태틱 스토리지의 임의의 조합, 또는 임의의 다른 유형의 비일시적 컴퓨터 판독 가능한 매체 또는 이들의 조합으로 구성될 수 있다. 비일시적 컴퓨터 판독 가능한 매체는, 프로세서(들)(1004)에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있고, 휘발성 매체, 비휘발성 매체, 또는 둘 다를 포함할 수 있다. 미디어는 또한 분리형, 비분리형, 또는 둘 다일 수 있다.

추가로, 컴퓨팅 시스템(1000)은 어떤 현재 존재하거나 미래에 구현되는 통신 표준 및/또는 프로토콜에 따라 무선 및/또는 유선 연결을 통해 통신 네트워크에 대한 액세스를 제공하기 위해, 트랜시버와 같은 통신 디바이스(1008)를 포함한다.

프로세서(들)(1004)는 또한, 버스(1002)를 통해 사용자에게 정보를 표시하기에 적합한 디스플레이(1010)에 커플링된다. 디스플레이(1010)는 또한 터치 디스플레이 및/또는 임의의 적절한 햅틱 I/O 디바이스로서 구성될 수 있다.

컴퓨터 마우스, 터치패드 등과 같은 키보드(1012) 및 커서 제어 디바이스(1014)는 또한, 사용자가 컴퓨팅 시스템과 인터페이싱할 수 있도록 버스(1002)에 커플링된다. 그러나, 특정 실시예에서, 물리적 키보드 및 마우스가 존재하지 않을 수 있고, 사용자는 디스플레이(1010) 및/또는 터치패드(도시되지 않음)를 통해서만 디바이스와 상호작용할 수 있다. 입력 디바이스의 임의의 유형 및 조합은 설계 선택 사항으로서 사용될 수 있다. 특정 실시예에서는, 물리적 입력 디바이스 및/또는 디스플레이가 존재하지 않는다. 예를 들어, 사용자는 통신하는 다른 컴퓨팅 시스템을 통해 원격으로 컴퓨팅 시스템(1000)과 상호작용할 수 있거나, 컴퓨팅 시스템(1000)은 자율적으로 작동할 수 있다.

메모리(1006)는 프로세서(들)(1004)에 의해 실행될 때 기능을 제공하는 소프트웨어 모듈을 저장한다. 모듈은 컴퓨팅 시스템(1000)을 위한 운영 시스템(1016), 및 본 명세서에서 설명된 프로세스의 전부 또는 일부 또는 그 파생물을 수행하도록 구성된 하나 이상의 추가 기능 모듈(1018)을 포함한다.

당업자는 “시스템”이 본 발명의 범위를 벗어나지 않으면서, 서버, 매립형 컴퓨팅 시스템, 개인용 컴퓨터, 콘솔, 개인 휴대 정보 단말기(PDA), 휴대 전화, 태블릿 컴퓨팅 디바이스, 양자 컴퓨팅 시스템, 또는 임의의 다른 적절한 컴퓨팅 디바이스, 또는 디바이스들의 조합으로서 구현될 수 있음을 인식할 것이다. 전술한 기능을 “시스템”에 의해 수행되는 것으로 제시하는 것은, 어떤 식으로든 본 발명의 범위를 제한하도록 의도되지 않고, 본 발명의 많은 실시예의 하나의 예를 제공하도록 의도된다. 실제로, 본 명세서에 개시된 방법, 시스템 및 장치는, 클라우드 컴퓨팅 시스템을 포함하여, 컴퓨팅 기술과 일치하는 국부적이고 분산된 형태로 구현될 수 있다.

이 사양에 설명된 시스템 피처 중 일부는 구현 독립성을 보다 구체적으로 강조하기 위해, 모듈로서 제시되었다는 점에 유의해야 한다. 예를 들어, 모듈은 맞춤형 VLSI(Very Large Scale Integration) 회로 또는 게이트 어레이; 논리 칩, 트랜지스터 또는 기타 개별 구성요소와 같은 기성품 반도체를 포함하는 하드웨어 회로로서 구현될 수 있다. 모듈은 또한 필드 프로그램 가능 게이트 어레이, 프로그램 가능 어레이 로직, 프로그램 가능 로직 디바이스, 그래픽 처리 유닛 등과 같은 프로그램 가능 하드웨어 디바이스로서 구현될 수 있다. 모듈은 또한 다양한 유형의 프로세서에 의한 실행을 위해 소프트웨어에서 적어도 부분적으로 구현될 수 있다. 실행 코드의 식별된 유닛은, 예를 들어 개체, 절차 또는 기능으로서 조직화될 수 있는 컴퓨터 명령어의 하나 이상의 물리적 또는 논리적 블록을 포함할 수 있다. 그럼에도 불구하고, 식별된 모듈의 실행 파일은 물리적으로 함께 위치할 필요는 없지만, 논리적으로 함께 결합될 때, 모듈을 포함하고 그 모듈에 대해 명시된 목적을 달성하는 다른 위치에 저장된 이종 명령어를 포함할 수 있다. 또한, 모듈은 컴퓨터 판독 가능한 매체에 저장될 수 있으며, 이는 본 발명의 범위를 벗어나는 않으면서 예를 들어 하드 디스크 드라이브, 플래시 디바이스, RAM, 테이프 및/또는 데이터를 저장하는 데 사용되는 임의의 다른 비일시적 컴퓨터 판독 가능한 매체일 수 있다. 실제로, 실행 가능한 코드의 모듈은, 단일 명령어 또는 복수의 명령어일 수 있으며, 여러 개의 다른 코드 세그먼트에 걸쳐, 다른 프로그램 사이에, 여러 메모리 디바이스에 걸쳐 분포될 수도 있다. 이와 유사하게, 동작 데이터는 본 명세서에서 모듈 내에서 식별 및 예시될 수 있으며, 임의의 적절한 형태로 구현되고 임의의 적절한 유형의 데이터 구조 내에서 조직화될 수 있다. 동작 데이터는 단일 데이터 세트로서 수집될 수 있거나, 다른 저장 디바이스를 포함하여 다른 위치에 분산될 수 있으며, 적어도 부분적으로는, 시스템 또는 네트워크에서 단지 전자 신호로서 존재할 수 있다.

전술한 내용은 단지 본 개시 내용의 원리를 예시한 것이다. 따라서, 당업자는 본 명세서에 명시적으로 설명되거나 도시되지는 않았지만, 본 개시 내용의 원리를 구현하고 그 사상 및 범위 내에 포함되는 다양한 배열을 고안할 수 있음을 이해할 것이다. 또한, 본 명세서에 인용된 모든 예 및 조건부 언어는, 원칙적으로 독자가 개시 내용의 원리 및 발명자가 기술을 발전시키는 데 기여한 개념을 이해하는 데 도움을 주기 위한 교육적 목적만을 위한 것이며, 이러한 구체적으로 언급된 예 및 조건에 대한 제한이 없는 것으로서 해석되어야 한다. 또한, 본 개시내용의 원리, 양태, 및 실시예를 인용하는 본 명세서의 모든 진술뿐만 아니라 그의 특정 예는, 그의 구조적 및 기능적 등가물 둘 다를 포함하도록 의도된다. 추가로, 그러한 등가물은 현재 알려진 등가물뿐만 아니라 미래에 개발될 등가물 모두를 포함하도록 의도된다.

Claims

프로세스의 케이스 세트에서 나타나는 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 분석하기 위한 컴퓨터 구현 방법으로서,
각각의 케이스는 상기 프로세스의 실행 인스턴스에 대응하고, 상기 방법은,
하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도를 결정하는 단계;
하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도를 계산하고 - 상기 예상된 발생 빈도는 상기 바람직하지 않은 거동을 나타내는 케이스의 비율 및 상기 하나 이상의 속성 값과 연관된 케이스의 발생 빈도에 기초하여 계산됨 -;
상기 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 결정하기 위해 상기 관찰된 발생 빈도를 상기 예상 발생 빈도와 비교하는 단계
를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 예상 발생 빈도를 계산하는 단계는,
바람직하지 않은 거동을 나타내는 케이스의 비율에 하나 이상의 속성 값과 연관된 케이스의 발생 빈도를 곱하는 것
을 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 결정하기 위해 상기 관찰된 발생 빈도를 상기 예상 발생 빈도와 비교하는 단계는,
상기 하나 이상의 속성 값과 연관되고 상기 관찰된 발생 빈도 및 상기 예상된 발생 빈도에 기초하여 바람직하지 않은 거동을 나타내는 케이스의 표준 잔차를 계산하는 단계
를 포함하는 것인 컴퓨터 구현 방법.
제1항에 있어서, 상기 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 결정하기 위해 상기 관찰된 발생 빈도를 상기 예상된 발생 빈도와 비교하는 단계는,
1) 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 각각과 연관된 가중치, 2) 상기 예상된 발생 빈도, 및 3) 예상된 가중치에 기초하여, 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 표준 잔차를 계산하는 단계
를 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 비교는, 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도에 응답하여 수행되고, 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내지 않는 케이스의 예상된 발생 빈도는, 예상된 빈도 임계값을 충족하는 것인 컴퓨터 구현 방법.
제1항에 있어서,
바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭(impact metric)을 계산하는 단계를 더 포함하는 컴퓨터 구현 방법.
제6항에 있어서,
상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭을 계산하는 단계는,
상기 영향 메트릭이 긍정적일 것이라고 결정하는 것; 및
상기 바람직하지 않은 거동을 나타내는 케이스의 발생 빈도 그리고 상기 하나 이상의 속성 값과 연관된 케이스의 빈도 발생에 기초하여 긍정적인 영향 메트릭을 계산하는 것
을 포함하는 컴퓨터 구현 방법.
제6항에 있어서,
상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭을 계산하는 단계는,
상기 영향 메트릭이 부정적일 것이라고 결정하는 것; 및
상기 바람직하지 않은 거동을 나타내지 않는 케이스의 발생 빈도 그리고 상기 하나 이상의 속성 값과 연관된 케이스의 빈도 발생에 기초하여 부정적인 영향 메트릭을 계산하는 것
을 포함하는 컴퓨터 구현 방법.
제1항에 있어서,
디스플레이 디바이스에 상기 비교의 결과의 대시보드를 표시하는 단계를 더 포함하는 컴퓨터 구현 방법.
제1항에 있어서, 상기 프로세스는 로봇 프로세스 자동화 프로세스인 것인 컴퓨터 구현 방법.
장치에 있어서,
프로세스의 케이스 세트에 나타나는 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 분석하기 위한 컴퓨터 명령어를 저장하는 메모리 - 각 케이스는 상기 프로세스의 실행 인스턴스에 대응함 -; 및
상기 컴퓨터 명령어를 실행하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 컴퓨터 명령어는, 상기 적어도 하나의 프로세서로 하여금, 다음의 동작:
하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도를 결정하는 것;
상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도를 계산하는 것 - 상기 예상된 발생 빈도는, 상기 바람직하지 않은 거동을 나타내는 케이스의 비율 그리고 상기 하나 이상의 속성 값과 연관된 케이스의 발생 빈도에 기초하여 계산됨 -; 및
상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 결정하기 위해 상기 관찰된 발생 빈도를 상기 예상된 발생 빈도와 비교하는 것
을 수행하게 하도록 구성되는 것인 장치.
제11항에 있어서, 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도를 계산하는 것은,
상기 바람직하지 않은 거동을 나타내는 케이스의 비율에, 상기 하나 이상의 속성 값과 연관된 케이스의 발생 빈도를 곱하는 것을 포함하는 것인 장치.
제11항에 있어서, 상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 결정하기 위해 상기 관찰된 발생 빈도를 상기 예상된 발생 빈도와 비교하는 것은,
상기 관찰된 발생 빈도 및 상기 예상된 발생 빈도에 기초하여 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 표준 잔차를 계산하는 것을 포함하는 것인 장치.
제11항에 있어서, 상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 결정하기 위해 상기 관찰된 발생 빈도를 상기 예상된 발생 빈도와 비교하는 것은,
1) 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 각각과 연관되는 가중치, 2) 상기 예상된 발생 빈도 및 3) 예상된 가중치에 기초하여, 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 표준 잔차를 계산하는 것
을 포함하는 것인 장치.
제11항에 있어서, 상기 비교는, 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 상기 예상된 발생 빈도에 응답하여 수행되고, 상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내지 않는 케이스의 예상된 발생 빈도는, 예상된 빈도 임계값을 충족하는 것인 장치.
프로세스의 케이스 세트에 나타나는 바람직하지 않은 거동에 대한 하나 이상의 속성 값의 영향을 분석하기 위해 비일시적 컴퓨터 판독 가능한 매체에 구현된 컴퓨터 프로그램으로서,
각각의 케이스는 상기 프로세스의 실행 인스턴스에 대응하며, 상기 컴퓨터 프로그램은, 적어도 하나의 프로세서로 하여금,
하나 이상의 속성 값과 연관되고 바람직하지 않은 거동을 나타내는 케이스의 관찰된 발생 빈도를 결정하는 것;
상기 하나 이상의 속성 값과 연관되고 상기 바람직하지 않은 거동을 나타내는 케이스의 예상된 발생 빈도를 계산하는 것 - 상기 예상된 발생 빈도는 상기 바람직하지 않은 거동을 나타내는 케이스의 비율 그리고 상기 하나 이상의 속성 값과 연관된 케이스의 발생 빈도에 기초하여 계산됨 -; 및
상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 결정하기 위해 상기 관찰된 발생 빈도를 상기 예상된 발생 빈도와 비교하는 것
을 포함하는 동작들을 수행하게 하도록 구성되는 것인 컴퓨터 프로그램.
제16항에 있어서, 상기 동작은 상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭을 계산하는 것을 더 포함하는 것인 컴퓨터 프로그램.
제17항에 있어서, 상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭을 계산하는 것은,
상기 영향 메트릭이 긍정적일 거라고 결정하는 것; 및
상기 바람직하지 않은 거동을 나타내는 케이스의 발생 빈도 그리고 상기 하나 이상의 속성 값과 연관되는 케이스의 빈도 발생에 기초하여 긍정적 영향 메트릭을 계산하는 것
을 포함하는 컴퓨터 프로그램.
제17항에 있어서, 상기 바람직하지 않은 거동에 대한 상기 하나 이상의 속성 값의 영향을 정량화하는 영향 메트릭을 계산하는 것은,
상기 영향 메트릭이 부정적일 거라고 결정하는 것; 및
상기 바람직하지 않은 거동을 나타내지 않는 케이스의 발생 빈도 그리고 상기 하나 이상의 속성 값과 연관되는 케이스의 빈도 발생에 기초하여 부정적인 영향 메트릭을 계산하는 것
을 포함하는 컴퓨터 프로그램.
제16항에 있어서, 상기 동작은 디스플레이 디바이스에 상기 비교의 결과의 대시보드를 표시하는 것을 더 포함하는 컴퓨터 프로그램.