KR20140075713A - 비즈니스 활동 모니터링 런타임 - Google Patents

비즈니스 활동 모니터링 런타임 Download PDF

Info

Publication number
KR20140075713A
KR20140075713A KR20147009526A KR20147009526A KR20140075713A KR 20140075713 A KR20140075713 A KR 20140075713A KR 20147009526 A KR20147009526 A KR 20147009526A KR 20147009526 A KR20147009526 A KR 20147009526A KR 20140075713 A KR20140075713 A KR 20140075713A
Authority
KR
South Korea
Prior art keywords
data
query
event
collection
model
Prior art date
Application number
KR20147009526A
Other languages
English (en)
Inventor
제나키 램 고테티
라잣 탈월
키란 쿠마르 콜리
타파스 쿠마르 나야크
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140075713A publication Critical patent/KR20140075713A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

비즈니스 애플리케이션을 모니터링하는 시스템 및 방법이 개시된다. 데이터가 모니터링되는 애플리케이션 내의 애플리케이션 프로그래밍 인터페이스(API)로부터 컬렉션 런타임으로 제공된다. 컬렉션 런타임은 데이터 컬렉션 모델에 기초하여 데이터를 수집한다. 현재 시간 증분(current time increment)이 수집된 데이터에 할당된다. 수집된 데이터는 이벤트 데이터의 스트림으로서 이벤트 프로세싱 서비스에 제공되며, 이벤트 프로세싱 서비스는 데이터 스트림에 대한 하나 이상의 질의를 수행한다. 질의의 결과가 데이터 스토어 및/또는 사용자 인터페이스에 제공된다. 데이터 컬렉션 모델은 데이터 컬렉션 프로파일로부터 생성되고 질의는 관찰 모델(observation model)로부터 생성된다.

Description

비즈니스 활동 모니터링 런타임{BUSINESS ACTIVITY MONITORING RUNTIME}
비즈니스 활동 모니터링(BAM: business activity monitoring) 애플리케이션은 하나 이상의 비즈니스 모델(이는 프로세스 모델, 분석 모델, 규칙 등을 포함할 수 있음)을 포함한다. 이러한 비즈니스 모델은 다양한 현존하는 애플리케이션을 사용하여 모델이 구현될 수 있는 다양한 모델링 도구를 이용하여 생성되고 저장된다. 통상적으로, 비즈니스 애플리케이션은 하나 이상의 관련 모델을 포함하고, 선택적으로 각각의 모델의 부분적인 또는 전체적인 구현예를 포함한다. 추가로, 비즈니스 애플리케이션은 자신의 구성 모델 및 이러한 모델에 대한 변경이 적절한 권한(authorities), 실행권자(executives) 등에 의해 검토되고, 승인 또는 거절되는 관리 단계(governance step)를 거칠 수 있다. 승인 후에, 비즈니스 애플리케이션이 배포되고, 배포된 비즈니스 애플리케이션의 구성 모델 및 이들의 구현예에 대한 완전성 및 일관성이 검증된다.
본 요약은 상세한 설명에서 이하에 추가로 설명되는 개념에 대한 선택사항을 간략한 형태로 소개하도록 제공된다. 본 요약은 청구된 발명의 대상의 핵심 특징 또는 주요 특징을 식별하려는 것이 아니며 청구된 발명의 대상의 범주를 결정하는 데 있어 보조내용으로 사용하려는 것도 아니다.
일 실시예에서, 모니터링되는 애플리케이션 내의 애플리케이션 프로그래밍 인터페이스(API)로부터의 데이터가 컬렉션 런타임으로 제공된다. 컬렉션 런타임은 데이터 컬렉션 모델에 기초하여 데이터를 수집한다. 현재 시간 증분(current time increment)이 수집된 데이터에 할당된다. 수집된 데이터는 이벤트 데이터의 스트림으로서 이벤트 프로세싱 서비스에 제공되며, 이벤트 프로세싱 서비스는 데이터 스트림에 대한 하나 이상의 질의를 수행한다. 질의의 결과가 데이터 스토어 및/또는 사용자 인터페이스에 제공된다. 데이터 컬렉션 모델은 데이터 컬렉션 프로파일로부터 생성되고 질의는 관찰 모델(observation model)로부터 생성된다.
본 발명의 실시예에 대한 전술한 및 다른 효과 및 특징을 보다 명확히 설명하기 위해, 본 발명의 실시예에 대한 보다 구체적인 설명이 첨부된 도면을 참조하여 제공될 것이다. 이러한 도면은 단지 본 발명의 일반적인 실시예만을 나타내며 이에 따라 본 발명의 범주를 제한하려는 것이 아니라는 점을 이해할 수 있을 것이다. 본 발명의 추가적인 특징 및 세부사항이 첨부된 도면을 사용하여 기술되고 설명될 것이다.
도 1은 비즈니스 활동 모니터링(BAM:business activity monitoring) 서비스에 대한 하이 레벨 블록도이다.
도 2는 BAM 런타임의 일 실시예에서 이벤트 프로세싱(EP: event processing) 서비스의 컴포넌트를 나타낸다.
도 3은 일 실시예예 따른 데이터 컬렉션 모델을 사용하기 위한 프로세스를 나타내는 흐름도이다.
도 4는 일 실시예에 따라 데이터 컬렉션 모델을 사용하기 위한 프로세스를 나타내는 흐름도이다.
도 5는 일 실시예에 따라 질의 모델을 생성하는 프로세스를 나타내는 흐름도이다.
도 6은 도 1 내지 5의 예가 구현될 수 있는 적합한 컴퓨팅 및 네트워킹 환경의 예를 나타낸다.
비즈니스 활동 모니터링(BAM)은 비즈니스 프로세스에 대한 비즈니스 활동을 모니터링하는 기반구조(infrastructure)를 제공한다. 기반구조의 일부는 애플리케이션에 의해 발행되는 이벤트를 수집하고 관심대상 이벤트 및 KPI(key performance indicators)를 비즈니스 사용자에 의해 모델화되는 의도(intent)에 기초하여 연산하는 실행 레이어이다. 애플리케이션 컴포넌트에 의해 발행되는 원 이벤트(raw events)가 이벤트의 스트림으로서 모델링되고, 여기서 이벤트는 연산에서 사용되는 수명을 가진다. 또한, 스트림은 유도되거나 연산될 수 있는 현재 시간 증분(CTI: current time increment)의 개념(notion)을 가질 수 있다.
일 실시예에서, 애플리케이션 프로그래밍 인터페이스(API)가 애플리케이션에 의해 사용되어 이벤트를 발행한다. 이벤트가 발행되면, 이벤트 프로세서는 그러한 이벤트를 수집하고 이들을 관심대상 KPI에 따라 이벤트의 스트림으로 변환한다.
도 1은 비즈니즈 활동 모니터링(BAM) 서비스의 하이레벨 블록도이다. 프로파일 저장소(profile repository)(101)가 데이터의 수집을 위한 모델을 보관한다. 이러한 모델은 어떠한 데이터가 관심대상이고 그 데이터를 어떻게 수집하는지를 식별한다. 데이터 컬렉션 모델은 어디에서/어떠한/어떻게 데이터가 사용자의 비즈니스 애플리케이션으로부터 수집될 수 있는지를 식별한다. 예를 들어, 모니터링되는 애플리케이션이 순서지정 프로세스(ordering process)인 경우에, 모델은 어떠한 순서 및 고객 정보가 수집되어야 하고 그러한 데이터를 어떻게 수집하는지를 식별할 수 있다.
모델은 사용자의 모니터링되는 애플리케이션(102)에 적용되며, 사용자의 모니터링되는 애플리케이션은 비즈니스 애플리케이션, 웹사이트, 또는 임의의 관심대상 코드일 수 있다. 모니터링 API(103)가 애플리케이션(102) 내의 코드 호출(code calls)을 모니터한다. 모니터링 API(103)는 모니터링되는 애플리케이션(102) 내의 데이터를 식별하고 추적한다.
컬렉션 런타임(collection runtime)(104)은 관심대상 데이터를 식별하기 위해 프로파일 저장소(101)로부터 모델을 판독한다. 컬렉션 런타임(104)은 모니터링 API(103)로부터 데이터를 수집하고, 이어서 모델에 의해 식별된 관련 데이터를 선택한다. 이러한 방식으로 모니터링 API(103)는 자체적으로 특정한 관심대상 데이터를 수집하기 위해 변경될 필요가 없다. 대신에 어떠한 데이터가 관심대상인지를 결정하기 위해 모델이 컬렉션 런타임(104)에서 사용된다.
컬렉션 런타임(104)은 이벤트 스토어(105)에 수집되는 데이터의 스트림을 생성한다. 이벤트 스토어의 데이터는 애플리케이션(106)을 모니터링함으로써 처리된다. 상이한 이벤트 스토어(105)가 상이한 모니터링되는 애플리케이션을 위해 사용될 수 있고 또는 단일한 이벤트 스토어(105)가 복수의 애플리케이션(102)을 위한 데이터를 보관할 수 있다. 별개의 모니터링 애플리케이션(106)이 각각의 사용자 또는 각각의 모니터링되는 애플리케이션(102)을 위해 사용될 수 있다.
모니터링 애플리케이션(106) 내의 입력 어댑터(107)는 하나 이상의 이벤트 스토어(105)와 통신한다. 복수의 상이한 유형의 이벤트 스토어(105)(예를 들면, 상이한 데이터베이스들)가 존재할 수 있고, 입력 어댑터(107)가 각각의 유형의 이벤트 스토어(105)와 통신하고 이로부터 데이터를 풀(pull)하도록 구성된다. 입력 어댑터(107)는 이벤트 스토어(105)로부터의 데이터를 필요에 따라 변환 또는 변경하고 그 데이터를 질의 모듈(108)에 제공한다.
질의 모듈(108)은 모니터링되는 애플리케이션(102)으로부터 수집된 데이터에 대해 연산을 수행하고 질의한다. 이러한 연산 및 질의의 결과가 출력 어댑터(109)에 제공된다.
출력 어댑터(109)는 하나 이상의 관찰/KPI 스토어(110)와 통신한다. 복수의 상이한 유형의 관찰/KPI 스토어(110)(예를 들면, 상이한 데이터베이스)가 존재할 수 있다. 출력 어댑터(109)는 각각의 유형의 관찰/KPI 스토어(110)와 통신하거나 데이터를 푸시(push)하도록 구성된다. 출력 어댑터(110)는 질의 모듈(108)로부터의 데이터를 필요에 따라 변환하거나 변경하고 연산의 출력을 관찰/KPI 스토어(110)에 제공한다.
BAM REST(Representational State Transition) 서비스(111)는 관찰/KPI 스토어(110)에 저장된 데이터에 대한 사용자 액세스를 제공한다. BAM REST 서비스(111)는 질의 모듈(108)로부터의 데이터 출력을 디스플레이 및/또는 추가 분석하는 도구를 제공한다. BAM REST 서비스(111)는 사용자에 의해 요청된 형식으로 데이터를 디스플레이할 수 있다. 일 실시예에서, BAM REST 서비스(111)는 질의 모듈(108)의 출력을 포함하는 데이터 피드(예, RSS 피드)를 제공한다.
BAM 포탈(112)은 연산 데이터에 대한 추가 출력을 제공한다. 일 실시예에서, BAM 포탈(112)은 BAM REST 서비스(111)로부터의 데이터 출력을 향상시키거나, 정리하거나, 개선하고 그 데이터를 사용자에게 디스플레이한다. 예를 들어, BAM 포탈(112)은 BAM REST 서비스(111)로부터의 데이터를 사용하여 그래프, 테이블 또는 사용자를 위한 다른 향상된 디스플레이를 생성할 수 있다. 다른 실시예에서, BAM 포탈(12)은 사용자로 하여금 관찰/KPI 스토어(110)로부터의 선택된 데이터(예를 들면, 소정 기간에서의 또는 특정한 모니터링되는 애플리케이션(102)을 위한 데이터)를 검색하게 하는 인터페이스를 제공할 수 있다.
모니터링 애플리케이션(102)은 데이터 컬렉션에 대한 파라미터 - 예를 들면, 어떠한/어디의/언제의 데이터 컬렉션 - 을 정의하는 컬렉션 프로파일(113)을 추가로 포함할 수 있다. 이러한 컬렉션 프로파일(113)은 프로파일 저장소(101)에 저장된 데이터 컬렉션 모델에 기초할 수 있다.
BAM 컴포넌트/서비스 인터페이스(114)는 컬렉션 프로파일(113) 및 관찰 모델(115)에 액세스한다. BAM 컴포넌트/서비스 인터페이스(114)는 EP 프록시(117)를 사용하여 질의 모듈(108)을 위한 질의를 생성한다.
입력 어댑터(107) 및 출력 어댑터(109)와 함께 질의 모듈(108)은 스트림 프로세싱 아키텍처(steam processing architecture)를 사용하는 이벤트 프로세싱(EP: event processing) 서비스(116)의 일부일 수 있다. 이벤트 스토어(105)를 경유한 컬렉션 런타임(104)으로부터의 이벤트 스트림이 EP 서비스(116)에 의해 처리된다. 스트림은 비즈니스 애플리케이션(가령, 제조 및 금융 거래 애플리케이션 또는 웹 및 동작 분석)으로부터 수집된 데이터를 나타낼 수 있다. EP 서비스(116)는 패턴, KPI, 트렌드(trends), 예외(exceptions) 및 경고(alerts)를 식별하기 위해 이벤트 스트림으로부터의 데이터를 연산 또는 질의한다. 일 실시예에서, EP 서비스(116)는 MICROSOFT STREAMINSIGHTTM 플랫폼을 사용할 수 있다.
EP 프록시(117)는 관찰 모델(115)에 기초하여 질의 모듈(108)을 위한 질의를 생성한다. 관찰 모델(115)에서의 연산(computations)이 이벤트 스토어(105)로부터의 데이터 스트림에 대해 질의 모듈(108)에 의해 적용된 질의로 변환될 수 있다.
컬렉션 런타임(104)으로부터 이벤트 스토어(105)로 그리고나서 EP 서비스(116)로 출력된 데이터의 스트림이 데이터가 생성되는 시간과 연관되고, 현재 시간 표시자(CTI:current time indicator)와 연관된다. 이러한 데이터는 스케일 업 프로세싱(scale-up processing)을 위해(예를 들면, 더 큰 볼륨의 이벤트를 처리하기 위해) 파티셔닝(partitioning)될 수 있다. EP 서비스(116) 및 질의 모듈(118)은 데이터 스트림의 파티셔닝을 처리할 수 있다.
모니터링 애플리케이션(106)은 복수의 EP 서비스(116) 및 컴퓨트(computes)(108)를 포함할 수 있다. 데이터 스트림 내의 상이한 파티션(prtitions)이 상이한 컴퓨트(108)로 라우팅될 수 있다. 질의 모듈(108)은 사용자 모델의 파라미터에 기초하여 선택될 수 있다.
일 실시예에서, 질의 모듈(108)은 상이한 모니터링되는 애플리케이션(102)으로부터의 데이터를 수집하고 관련 데이터를 함께 결합하는 결합 컴퓨트(join compute)일 수 있다. 예를 들어, 비즈니스 프로세스에서, 상품을 정렬하고, 정렬된 상품에 대한 선적(shipments)을 준비하고, 상품의 구매를 위한 신용 카드를 처리하기 위한 별개의 애플리케이션이 존재할 수 있다. 프로파일 저장소(101)의 모델이 이러한 상이한 애플리케이션으로부터 관련 데이터를 수집하기 위해 모니터링 API(103) 및 컬렉션 런타임(104)에 의해 사용된다. 이러한 애플리케이션으로부터 수집된 데이터는 결합 질의 모듈(108)로 스트리밍되고, 결합 질의 모듈은 관련 데이터를 함께 결합한다. 결합된 데이터는 분석 질의 모듈(108)에서 추가로 프로세싱될 수 있고, 또는 BAM REST 서비스(111)나 BAM 포탈(112)을 통해 사용자에게 디스플레이될 수 있다.
도 1에 도시된 BAM 서비스는 매우 개략적이다. 모니터링 애플리케이션(106)의 모든 컴포넌트가 단일 서버에서 수행될 수 있거나 또는 별개의 서버에서 각각 수행될 수도 있다.
도 2는 BAM 루틴의 일 실시예의 이벤트 프로세싱(EP) 서비스(200)의 컴포넌트를 도시한다. 입력 어댑터(201)는 데이터 또는 이벤트 스트림을 수신한다. EP 서비스에 복수의 입력 어댑터(201)가 존재할 수 있으며, 여기서 각각의 어댑터는 상이한 데이터 소스를 이용하여 동작하도록 구성된다. 입력 어댑터(201)는 모니터링되는 애플리케이션 내의 컬렉션 런타임 또는 이벤트 스토어에 연결될 수 있다. 입력 어댑터(201)는 수신된 데이터 또는 이벤트 스트림을 질의(202)에 의해 이용할 수 있는 형식으로 변환한다.
도 2에 도시된 실시예에서, 질의(202)는 결합 질의(join query)이다. 그러나, 질의는 분석, KPI 또는 관찰/모델(OM) 질의와 같은 임의의 유형의 질의일 수 있다는 것을 이해할 수 있다. 결합 질의(202)는 입력 어댑터로부터 포맷된 입력을 수신하고, 데이터 스트림에 대한 결합 컴퓨트(join compute)를 수행한다. 일 실시예에서, 상이한 애플리케이션으로부터의 상이한 세트의 데이터가 결합 질의(202)에 결합된다. 데이터는 특정한 사용자, 애플리케이션 또는 CTI에 기초하여 결합될 수 있다.
결합 질의(202)는 자신의 컴퓨트의 결과를 출력 어댑터(203)에 제공한다. 일 실시예에서, 출력 어댑터(203)는 결합 질의(202)로부터의 데이터를 SQL 서버에 제공하도록 구성된다. 대안적으로, 출력 어댑터(203)는 추가 프로세싱을 위해 다른 서버 또는 다른 코드에 출력을 제공하도록 구성될 수 있다.
결합 질의(202)의 출력은 단일 종착지(single destination) 또는 복수의 소스에 제공될 수 있다. 예를 들어, 또한 결합 질의(202)의 출력은 추가 프로세싱을 위해 KPI 질의(204) 및 KPI 질의(205)로 라우팅될 수 있다. KPI 질의(204)의 출력은 출력 어댑터(예를 들면, SQL 출력 어댑터(206)), 또는 다른 KPI 질의(예를 들면, KPI SLA(service level agreement) 질의(207))에 제공될 수 있다. 출력 어댑터를 사용하는 대신에, 질의로부터의 데이터가 207에 도시된 바와 같이 메모리 내 전달(in-memory transfer)될 수 있다.
KPI 질의(205)의 출력은 데이터를 관찰/KPI 스토어, BAM REST 서비스, 또는 BAM 포탈로 라우팅하는 다른 출력 어댑터(208)(이는 사용자에 의해 액세스될 수 있음)에 제공될 수 있다.
도 3은 일 실시예에 따라 비즈니스 애플리케이션을 모니터링하는 프로세스를 개략적으로 나타내는 흐름도이다. 단계(301)에서, 비즈니스 애플리케이션은 데이터를 컬렉션 런타임에 제공하는 API에 의해 모니터링된다. 단계(302)에서, 컬렉션 런타임은 데이터 컬렉션 모델에 기초하여 비즈니스 애플리케이션으로부터 데이터를 수집한다. 데이터 컬렉션 모델은 어떠한 데이터를 수집할지 그 데이터를 어떻게 수집할지 및 그 데이터를 언제 수집할지를 식별한다. 단계(303)에서 수집된 데이터에현재 시간 증분이 할당된다.
단계(304)에서, 수집된 데이터가 이벤트 데이터의 스트림으로서 이벤트 프로세싱 서비스에 제공된다. 이벤트 데이터의 스트림은 현재 시간 증분(CTI)과 연관될 수 있다. 이벤트 데이터가 이벤트 프로세서에 도달하기 전에 일 실시예에서 입력 어댑터에 의해 변환될 수 있다. 단계(305)에서, 이벤트 프로세싱 서비스는 이벤트 데이터 스트림에 대한 하나 이상의 질의를 수행한다. 질의는 관찰/모델 질의, 결합 질의, KPI 질의 또는 임의의 다른 분석 질의일 수 있다. 단계(306)에서, 질의의 결과가 데이터 스토어 및/또는 사용자 인터페이스에 제공된다. 결과 데이터가 데이터 스토어 또는 사용자 인터페이스에 도달하기 전에 일 실시예에서 출력 어댑터에 의해 변환될 수 있다. 예를 들어, 사용자 인터페이스는 BAM REST 서비스 및/또는 BAM 포탈일 수 있다.
도 4는 일 실시예에 따라 데이터 컬렉션 모델을 사용하는 프로세스를 개략적으로 나타내는 흐름도이다. 단계(401)에서, 데이터 컬렉션 프로파일이 사용자 또는 다른 소스로부터 수신된다. 단계(402)에서, 데이터 컬렉션 모델은 데이터 컬렉션 프로파일로부터 생성된다. 데이터 컬렉션 모델은 비즈니스 애플리케이션으로부터 수집될 데이터 및 이러한 데이터 컬렉션의 방식(manner) 및 시간을 식별한다. 단계(403)에서, 데이터 컬렉션 모델은 모니터링되는 비즈니스 애플리케이션 내의 컬렉션 런타임에 제공된다.
단계(404)에서, 컬렉션 런타임은 데이터 컬렉션 모델에 따라 모니터링되는 비즈니스 애플리케이션으로부터 데이터를 수집한다. 컬렉션 런타임은 비즈니스 애플리케이션 내의 모니터링 API로부터 제공되는 데이터에 데이터 컬렉션 모델을 적용할 수 있다. 단계(405)에서, 수집된 데이터가 컬렉션 런타임으로부터 이벤트 프로세싱 서비스로 제공된다. 데이터는 이벤트 스트림으로서 제공될 수 있다. 이벤트 스트림 내의 데이터는 현재 시간 증분과 연관된다.
도 5는 일 실시예에 따라 질의 모델을 생성하는 프로세스를 간략하게 나타내는 흐름도이다. 단계(501)에서, 관찰 모델(observation model)이 사용자 또는 다른 소스로부터 수신된다. 단계(502)에서, 관찰 모델은 이벤트 프로세싱 프록시에 제공된다. 단계(503)에서, 이벤트 프로세싱 프록시가 관찰 모델을 이벤트 프로세싱 서비스에 의해 수행될 수 있는 질의로 변환한다.
단계(504)에서, 질의가 이벤트 프로세싱 서비스에 제공된다. 이벤트 프로세싱 서비스는 모니터링되는 비즈니스 애플리케이션 상의 컬렉션 런타임으로부터 데이터 스트림을 수신한다. 단계(505)에서, 질의가 데이터 스트림에 대해 실행된다. 질의의 결과가 추가 프로세싱을 위해 관찰/KPI 스토어에 제공되고, 단계(506)에서 사용자에게 디스플레이된다.
도 3 내지 도 5에 도시된 프로세스에 나타낸 단계는 동시에 및/또는 순차적으로 실행될 수 있다는 것을 이해할 것이다. 또한, 각각의 단계가 임의의 순서로 수행될 수 있고 한번 또는 반복적으로 수행될 수 있다는 것을 이해할 수 있을 것이다.
도 6은 도 1 내지 도 5의 예가 구현될 수 있는 적합한 컴퓨팅 및 네트워킹 환경(600)의 예를 나타낸다. 컴퓨팅 시스템 환경(600)은 단지 적합한 컴퓨팅 환경일 예이고, 발명의 사용자 또는 기능의 범주에 대한 임의의 제한을 제시하려는 것이 아니다. 본 발명은 수많은 다른 범용 또는 전용 컴퓨팅 시스템 환경 또는 구성을 이용하여 동작할 수 있다. 본 발명을 이용하여 사용하기에 적합할 수 있는 공지의 컴퓨팅 시스템, 환경 및/또는 구성의 예(제한이 아님)는, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 장치, 태블릿 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그램가능한 가전 기기, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 전술한 시스템 또는 장치 중 임의의 것을 포함하는 분산형 컴퓨팅 환경 등을 포함한다.
본 발명은 컴퓨터에 의해 실행되는 컴퓨터 실행가능 명령어(예, 프로그램 모듈)의 일반적인 컨텍스트로 설명될 수 있다. 일반적으로, 프로그램 모듈은 특정한 태스크 또는 특정한 추상 데이터 유형을 수행하는, 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 또한, 본 발명은 통신 네트워크를 통해 링크된 원격 프로세싱 장치에 의해 태스크가 수행되는 분산형 컴퓨팅 환경에서 실현될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 및/또는 원격 컴퓨터 저장 매체에 위치할 수 있다.
도 6을 참조하면, 본 발명의 다양한 측면을 구현하는 예시적인 시스템은 컴퓨터(600) 형태의 범용 컴퓨팅 장치를 포함할 수 있다. 컴포넌트는 프로세싱 유닛(601), 데이터 저장부(602)(예를 들면, 시스템 메모리) 및 데이터 저장부(602)를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(601)에 연결하는 시스템 버스(603)를 포함할 수 있으나, 이에 한정되는 것은 아니다. 시스템 버스(603)는 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스 및 다양한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스를 포함하는 복수의 유형의 버스 구조 중 임의의 것일 수 있다. 예로써(제한이 아님), 이러한 아키텍처는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스 및 PCI(Peripheral Component Interconnect) 버스(Mezzanine 버스라고도 알려짐)를 포함한다.
컴퓨터(600)는 전형적으로 다양한 컴퓨터 판독가능 매체(604)를 포함한다. 컴퓨터 판독가능 매체(604)는 컴퓨터(601)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체 모두 및 이동식 및 비이동식 매체를 모두를 포함한다. 예로써(제한이 아님), 컴퓨터 판독가능 매체(604)는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기법으로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 메모리 기법, CD-ROM, DVD(digital versatile disk), 또는 다른 광학 저장부, 자기 카세트, 자기 테이프, 자기 디스크 저장부 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨터(600)에 의해 액세스가능한 임의의 다른 매체를 포함할 수 있지만 이에 제한되지 않는다. 통신 매체는 일반적으로 변조된 데이터 신호(예, 반송파 또는 다른 전송 메커니즘)으로 컴퓨터 판독형 명령, 데이터 구조, 프로그램 모듈, 또는 그 밖의 다른 데이터를 구현할 수 있고 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"란 자신의 특성(characteristic) 중 하나 이상이 신호에 정보를 인코딩하는 것과 같은 방식으로 설정되거나 변경된 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크나 직접-유선 접속과 같은 유선 매체, 어쿠스틱, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함하지만, 이에 한정되지는 않는다. 전술한 것들의 임의의 조합 역시 컴퓨터 판독가능 매체의 범주 안에 포함된다.
데이터 저장부 또는 시스템 메모리(602)는 휘발성 및/또는 비휘발성 메모리(예, ROM 및 RAM) 형태의 컴퓨터 저장 매체를 포함한다. 베이직 입출력 시스템(BIOS)(예를 들면, 시동 중에 컴퓨터(600) 내의 구성요소들 간의 정보 전달을 돕는 베이지 루틴을 포함함)는 일반적으로 ROM에 저장된다. RAM은 일반적으로 프로세싱 유닛(601)에 의해 즉시 액세스가능하고 및/또는 현재 동작 중인 데이터 및/또는 프로그램 모듈을 포함한다. 예로써(제한이 아님), 데이터 저장부(602)는 운영 체제, 애플리케이션 프로그램 및 다른 프로그램 모듈과 프로그램 데이터를 포함한다.
또한 데이터 저장부(602)는 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예시로써, 데이터 저장부(602)는 비이동식, 비휘발성 자기 매체로부터 판독하거나 이에 기입하는 하드 디스크 드라이브, 이동식, 비휘발성 자기 디스크로부터 판독하거나 이에 기입하는 자기 디스크 드라이브, 및 이동식 비휘발성 광학 디스크(예, CD ROM) 또는 다른 광학 매체로부터 판독하거나 이에 기입하는 광학 디스크 드라이브를 포함할 수 있다. 예시적인 운영 환경에서 사용될 수 있는 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 솔리드 스테이스 RAM, 솔리드 스테이트 ROM, 등을 포함하나 이에 제한되는 것은 아니다. 드라이브 및 이들의 연관 컴퓨터 저장 매체(전술한 것 및 도 6에 도시된 것)는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨터(600)를 위한 다른 데이터의 저장소를 제공한다.
사용자는 사용자 인터페이스(605) 또는 다른 입력 장치(예, 태블릿, 전자 디지타이저, 마이크로폰, 키보드 및/또는 포인팅 장치(일반적으로 마우스, 트랙볼 또는 터치 패드라 함))를 통해 명령 및 정보를 입력할 수 있다. 다른 입력 장치는 조이스틱, 게임 패드, 위성 접시, 스캐너 등을 포함할 수 있다. 이러한 및 다른 입력 장치가 흔히 시스템 버스(603)에 연결되는 사용자 입력 인터페이스(605)를 통해 프로세싱 유닛(601)에 연결되나, 다른 인터페이스 및 버스 구조(예, 병렬 포트, 게임 포트 또는 USB(universal serial bus))에 연결될 수 있다. 또한, 모니터(606) 또는 다른 유형의 디스플레이 장치가 인터페이스(예, 비디오 인터페이스)를 통해 시스템 버스(603)에 연결된다. 또한, 모니터(606)는 터치 스크린 패널 등과 통합될 수 있다. 모니터 및/또는 터치 스크린 패널은 컴퓨팅 장치(600)가 삽입되는 하우징(예를 들면, 태블릿형 퍼스널 컴퓨터에서)에 물리적으로 연결될 수 있다는 것에 주의한다. 또한, 컴퓨팅 장치(600)와 같은 컴퓨터는 스피커 및 프린터와 같은 다른 주변 출력 장치를 포함할 수 있으며, 출력 주변 인터페이스 등을 통해 연결될 수 있다.
컴퓨터(600)는 하나 이상의 원격 컴퓨터(예, 원격 컴퓨터)로의 로직 연결(607)을 사용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 공통 네트워크 노드일 수 있고, 일반적으로 컴퓨터(600)와 관련하여 전술한 많은 구성요소 또는 구성요소 전부를 포함할 수 있다. 도 6에 나타낸 로직 연결은 하나 이상의 LAN(local area network) 및 하나 이상의 WAN(wide area network)을 포함하나 또한 다른 네트워크를 포함할 수 있다. 이러한 네트워킹 환경은 오피스, 기업 범위의 컴퓨터 네트워크 인트라넷 및 인터넷에서 일반적이다.
LAN 네트워킹 환경에서 사용되는 경우에, 컴퓨터(600)는 네트워크 인터페이스 또는 어댑터(607)를 통해 LAN에 연결될 수 있다. WAN 네트워킹 환경에서 사용되는 경우에, 컴퓨터(600)는 일반적으로 모뎀 또는 WAN(예, 인터넷)을 통해 통신을 설정하는 다른 수단을 포함할 수 있다. 모뎀(이는 내부 또는 외부 모뎀일 수 있음)은 네트워크 인터페이스(607) 또는 다른 적합한 메커니즘을 통해 시스템 버스(603)에 연결될 수 있다. 인터페이스 및 안테나를 포함하는 것과 같은 무선 네트워킹 컴포넌트가 액세스 포인트 또는 피어 컴퓨터와 같은 적합한 장치를 통해 WAN 또는 LAN으로 연결될 수 있다. 네트워킹된 환경에서, 컴퓨터(600)와 관련하여 설명된 프로그램 모듈 또는 이들의 일부가 원격 메모리 저장 장치에 저장될 수 있다. 도시된 네트워크 연결부는 예시적인 것이며, 컴퓨터 간의 통신 링크를 설정하는 다른 수단이 사용될 수 있다.
본 발명의 대상이 구조적 특성, 방법론적 단계에 특정된 언어로 설명되었지만, 첨부된 청구범위에 정의된 발명의 대상이 전술한 구체적인 특징 또는 단계로 제한될 필요가 없다는 것을 이해할 것이다. 오히려, 전술한 구체적인 특징 및 단계는 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (10)

  1. 데이터 컬렉션 모델에 따라 모니터링되는 비즈니스 애플리케이션으로부터 데이터를 수집하고 수집된 데이터를 이벤트 스트림으로서 제공하도록 구성되는 컬렉션 런타임 컴포넌트와,
    상기 이벤트 스트림에 대해 질의를 실행하도록 구성되는 이벤트 프로세싱 컴포넌트 - 상기 질의는 관찰 모델(observation model)에 의해 결정됨 -
    를 포함하는 비즈니스 활동 모니터링 시스템.
  2. 제1항에 있어서,
    상기 관찰 모델을 질의로 변환하도록 적응되는 이벤트 프로세싱 프록시 컴포넌트(event processing proxy component)
    를 더 포함하는 비즈니스 활동 모니터링 시스템.
  3. 제1항에 있어서,
    상기 컬렉션 런타임 컴포넌트에 연결되며, 상기 이벤트 스트림에 데이터를 저장하도록 적응되는 이벤트 스토어
    를 더 포함하는 비즈니스 활동 모니터링 시스템.
  4. 제1항에 있어서,
    상기 이벤트 프로세싱 컴포넌트에 연결되고, 상기 이벤트 프로세싱 컴포넌트의 출력을 하나 이상의 사용자에게 제공하도록 적응되는 REST(representational state transition) 서비스
    를 더 포함하는 비즈니스 활동 모니터링 시스템.
  5. 제1항에 있어서,
    이벤트 스트림 데이터는 현재 시간 증분(current time increment)과 연관되는
    비즈니스 활동 모니터링 시스템.
  6. 비즈니스 활동을 모니터링하는 방법으로서,
    하나 이상의 데이터 컬렉션 모델을 정의하는 단계와,
    상기 데이터 컬렉션 모델에 기초하여 모니터링되는 애플리케이션으로부터 데이터를 수집하는 단계와,
    상기 수집된 데이터를 이벤트 스트림으로서 모니터링 애플리케이션에 제공하는 단계와,
    상기 모니터링 애플리케이션 내의 상기 이벤트 스트림에 대해 질의를 수행하는 단계 - 상기 질의는 관찰 모델에 기초함 - 와,
    상기 질의의 결과를 데이터 스토어에 제공하는 단계
    를 포함하는 비즈니스 활동 모니터링 방법.
  7. 제6항에 있어서,
    상기 모니터링되는 애플리케이션 상에서 동작하는 컬렉션 런타임을 사용하여 상기 모니터링되는 애플리케이션으로부터 데이터를 수집하는 단계
    를 더 포함하는 비즈니스 활동 모니터링 방법.
  8. 제6항에 있어서,
    데이터 컬렉션 프로파일(data collection profiles)을 수신하는 단계와,
    상기 데이터 컬렉션 프로파일로부터 상기 데이터 컬렉션 모델을 정의하는 단계
    를 더 포함하는 비즈니스 활동 모니터링 방법.
  9. 제6항에 있어서,
    관찰 모델을 수신하는 단계와,
    이벤트 프로세싱 서비스 프록시를 사용하여 상기 관찰 모델을 질의로 변환하는 단계
    를 더 포함하는 비즈니스 활동 모니터링 방법.
  10. 제6항에 있어서,
    상기 질의의 결과를 상기 데이터 스토어로부터 REST 서비스로 제공하는 단계 - 상기 REST 서비스는 상기 이벤트 프로세싱 컴포넌트의 출력을 하나 이상의 사용자에게 제공하도록 적응됨 -
    를 더 포함하는 비즈니스 활동 모니터링 방법.
KR20147009526A 2011-10-13 2012-10-10 비즈니스 활동 모니터링 런타임 KR20140075713A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/272,246 2011-10-13
US13/272,246 US20130097198A1 (en) 2011-10-13 2011-10-13 Business activity monitoring runtime
PCT/US2012/059412 WO2013055711A2 (en) 2011-10-13 2012-10-10 Business activity monitoring runtime

Publications (1)

Publication Number Publication Date
KR20140075713A true KR20140075713A (ko) 2014-06-19

Family

ID=47644563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20147009526A KR20140075713A (ko) 2011-10-13 2012-10-10 비즈니스 활동 모니터링 런타임

Country Status (6)

Country Link
US (1) US20130097198A1 (ko)
EP (1) EP2766812A4 (ko)
JP (2) JP2014534511A (ko)
KR (1) KR20140075713A (ko)
CN (1) CN102929759B (ko)
WO (1) WO2013055711A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102551B (zh) * 2013-04-10 2017-06-06 北京中嘉时代科技有限公司 一种基于状态的应用监控与恢复算法与模型
US9244801B2 (en) 2014-03-31 2016-01-26 International Business Machines Corporation Increasing the accuracy of service quality management metrics
US20150294256A1 (en) * 2014-04-11 2015-10-15 Microsoft Technology Licensing, Llc Scenario modeling and visualization
US9996446B2 (en) 2014-04-28 2018-06-12 Microsoft Technology Licensing, Llc User experience diagnostics with actionable insights
US10574714B2 (en) * 2014-06-25 2020-02-25 Microsoft Technology Licensing, Llc Stream-based reactive programming platform
US11275775B2 (en) 2014-10-09 2022-03-15 Splunk Inc. Performing search queries for key performance indicators using an optimized common information model
US9460273B2 (en) 2014-10-29 2016-10-04 International Business Machines Corporation Automatic generation of license terms for service application marketplaces
EP3234791A4 (en) 2014-12-16 2018-07-11 Entit Software LLC Determining permissible activity based on permissible activity rules
CN104778113B (zh) * 2015-04-10 2017-11-14 四川大学 一种矫正功率传感器数据的方法
WO2017068669A1 (ja) * 2015-10-21 2017-04-27 株式会社ビジネス・プログレス イベント検知端末
WO2017109129A1 (en) * 2015-12-24 2017-06-29 British Telecommunications Public Limited Company Software security
WO2017109128A1 (en) 2015-12-24 2017-06-29 British Telecommunications Public Limited Company Detecting malicious software
EP3394784B1 (en) 2015-12-24 2020-10-07 British Telecommunications public limited company Malicious software identification
JP6498628B2 (ja) * 2016-04-01 2019-04-10 ボルボ テクノロジー コーポレイション 内燃エンジンシステムの少なくとも一部である排ガス後処理システムの温度を上昇させるための方法、ならびにこのような方法を実行する内燃エンジンシステムを備える車両
JP2018195040A (ja) * 2017-05-17 2018-12-06 株式会社日立製作所 ビジネスプロセス評価装置及びビジネスプロセス評価方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6467052B1 (en) * 1999-06-03 2002-10-15 Microsoft Corporation Method and apparatus for analyzing performance of data processing system
US7630986B1 (en) * 1999-10-27 2009-12-08 Pinpoint, Incorporated Secure data interchange
US20030204487A1 (en) 2002-04-26 2003-10-30 Sssv Muni Kumar A System of reusable components for implementing data warehousing and business intelligence solutions
US7412481B2 (en) * 2002-09-16 2008-08-12 Oracle International Corporation Method and apparatus for distributed rule evaluation in a near real-time business intelligence system
US7557707B2 (en) 2004-09-01 2009-07-07 Microsoft Corporation RFID enabled information systems utilizing a business application
US20060190433A1 (en) * 2005-02-23 2006-08-24 Microsoft Corporation Distributed navigation business activities data
US7184474B2 (en) 2005-03-01 2007-02-27 Broadcom Corp. Colored noise detection algorithms
JP2007128122A (ja) * 2005-11-01 2007-05-24 Hitachi Ltd 稼働性能データ収集開始時刻決定方法
JP4661722B2 (ja) * 2006-07-31 2011-03-30 日本電気株式会社 運用管理システム、監視装置、監視設定情報生成方法及びプログラム
US7752562B2 (en) 2006-12-15 2010-07-06 Sap Ag Detection of procedural deficiency across multiple business applications
US8276115B2 (en) 2007-02-06 2012-09-25 Progress Software Corporation Automated construction and deployment of complex event processing applications and business activity monitoring dashboards
US9703666B2 (en) * 2007-02-28 2017-07-11 International Business Machines Corporation Method, apparatus and software for managing the generation of process events by a software process
US7933861B2 (en) * 2007-04-09 2011-04-26 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Process data warehouse
US20090037240A1 (en) 2007-08-03 2009-02-05 Patrick Schmidt Joint Tracking and Tracing and Business Activity Monitoring
CN101483545B (zh) * 2008-12-31 2011-06-29 中国建设银行股份有限公司 一种金融业务监控方法及系统
JP5365308B2 (ja) * 2009-03-31 2013-12-11 富士電機株式会社 生産情報管理システム及び方法
US8195648B2 (en) * 2009-10-21 2012-06-05 Microsoft Corporation Partitioned query execution in event processing systems
JP5448083B2 (ja) * 2010-03-11 2014-03-19 株式会社日立製作所 計算機モニタリングシステム及びプログラム

Also Published As

Publication number Publication date
CN102929759B (zh) 2018-09-11
CN102929759A (zh) 2013-02-13
US20130097198A1 (en) 2013-04-18
WO2013055711A2 (en) 2013-04-18
EP2766812A2 (en) 2014-08-20
JP2014534511A (ja) 2014-12-18
JP2018014130A (ja) 2018-01-25
WO2013055711A3 (en) 2013-06-13
EP2766812A4 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
KR20140075713A (ko) 비즈니스 활동 모니터링 런타임
US20150294256A1 (en) Scenario modeling and visualization
US20120159312A1 (en) Representation of an interactive document as a graph of entities
EP2624194A1 (en) System and method for visualizing trace of costs across a graph of financial allocation rules
US20120159333A1 (en) Representation of an interactive document as a graph of entities
US10031746B2 (en) Analyzing components related to a software application in a software development environment
EP2096590A1 (en) Enhanced process query framework
US20060168591A1 (en) Method and system to correlate and consolidate a plurality of events
Vasconcelos et al. Information system architecture metrics: an enterprise engineering evaluation approach
US8544028B2 (en) Extracting and processing data from heterogeneous computer applications
US9304746B2 (en) Creating a user model using component based approach
US20140219571A1 (en) Time-based sentiment analysis for product and service features
US10540265B2 (en) Using test workload run facts and problem discovery data as input for business analytics to determine test effectiveness
KR20080081937A (ko) 이벤트 스트림에 대한 다차원 집계
US9558092B2 (en) Runtime-agnostic management of applications
US20140006000A1 (en) Built-in response time analytics for business applications
US20130282643A1 (en) Linking web extension and content contextually
US20170300461A1 (en) Representation of an Interactive Document as a Graph of Entities
US11138221B1 (en) Data aggregation and reporting environment for data center infrastructure management
US9444708B2 (en) Detection of outage in cloud based service using synthetic measurements and anonymized usage data
US9021019B2 (en) Business application platform with embedded business intelligence server
US8856152B2 (en) Apparatus and method for visualizing data
US10057108B2 (en) Systems, devices, and methods for exchanging and processing data measures and objects
CN108259580A (zh) 处理来自工业资产的操作数据的分析实例运行的分布式缓存清除
Christiansson et al. Virtual buildings (VB) and tools to manage construction process operations

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application