KR20200050298A - 지능형 정보시스템 운영 성과 측정 방법 - Google Patents
지능형 정보시스템 운영 성과 측정 방법 Download PDFInfo
- Publication number
- KR20200050298A KR20200050298A KR1020180133183A KR20180133183A KR20200050298A KR 20200050298 A KR20200050298 A KR 20200050298A KR 1020180133183 A KR1020180133183 A KR 1020180133183A KR 20180133183 A KR20180133183 A KR 20180133183A KR 20200050298 A KR20200050298 A KR 20200050298A
- Authority
- KR
- South Korea
- Prior art keywords
- evaluation
- information system
- information
- performance
- measurement
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5032—Generating service level reports
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Signal Processing (AREA)
- Educational Administration (AREA)
- Computer Networks & Wireless Communication (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은, 운영되고 있는 정보시스템의 성과 측정을 위한 자동화된 수집 및 분석을 지원하는 플랫폼인 지능형 정보시스템 운영 성과 측정 방법에 관한 것이다. 본 발명은, 정보시스템을 평가하기 위한 평가기본정보를 등록하고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건을 설정하여 운영 성과를 평가하기 위한 계획을 수립하는 계획 단계; 정보시스템의 운영에 소요되는 비용평가, 활용빈도와 활용유형을 판단하는 활용도 평가, 정보시스템의 장애와 관련된 측정지표를 산출하고 사용자 만족도를 집계하여 정보시스템의 품질을 평가하는 품질 평가 및 정보시스템에 접속 또는 등록된 사용자 수의 증감과 성과 목표의 달성 여부를 판단하는 업무성과 평가를 수행하는 평가 단계; 및 평가 단계를 분석하여 결과값을 수치로 환산하고 환산기준에 따라 정보시스템을 적어도 하나 이상의 관리유형으로 분류하여 운영 성과를 진단하는 분석 및 진단 단계;를 포함한다.
본 발명에 따르면, 자동화된 플랫폼을 통해 운영되는 정보시스템을 원활히 분석할 수 있고, 정보시스템을 분석한 후에도 향후 지속적으로 성능정보를 수집하여 사용자에게 제공하여 정보시스템의 운영 방안을 제시할 수 있는 이점이 있다.
본 발명에 따르면, 자동화된 플랫폼을 통해 운영되는 정보시스템을 원활히 분석할 수 있고, 정보시스템을 분석한 후에도 향후 지속적으로 성능정보를 수집하여 사용자에게 제공하여 정보시스템의 운영 방안을 제시할 수 있는 이점이 있다.
Description
본 발명은 지능형 정보시스템 운영 성과 측정 방법에 관한 것으로서, 특히 운영되고 있는 정보시스템의 성과 측정을 위한 자동화된 수집 및 분석을 지원하는 플랫폼인 지능형 정보시스템 운영 성과 측정 방법에 관한 것이다.
일반적인 정보시스템의 성과 측정을 하는 프로그램의 경우 업무관리는 사람에 의해 진행되는 것이 측정 결과를 집계하여 자동화된 플랫폼의 제공은 서버 및 자동화 프로그램에 의해서 진행이 된다.
각 기관에서 운영하는 정보시스템의 성격과 규모, 특성이 모두 다르기 때문에 모든 기관의 정보시스템에 동일하게 적용하는 것은 불가능하다. 따라서 각 운영관리 요소 별로 만들어진 세부 지침을 참고하여 각 기관의 맞도록 시스템의 운영관리를 평가하는 내용을 정립할 필요가 있다.
이와 관련, 종래의 한국공개특허 제2000-0072475호(기업 정보관리 서비스 시스템 및 그 방법)는 기업정보의 활용영역을 대외적으로 넓혀줌으로써 관련기관에 대한 기업정보의 신뢰성을 높여주는 동시에 정보의 투명성에 대한 가치를 얻어 이로부터 기업신용 관리, 전자금융서비스 등과 같은 금융분야에서 기업이익을 창출할 수 있도록 하기 위한 정보관리 서비스 시스템 및 방법을 개시하고 있다.
다만, 종래의 정보관리 서비스 시스템 및 방법은 정보시스템의 성과를 측정하기 보다는 정보시스템을 운영하기 위한 방법에만 국한되어 있어, 실질적으로 운영되는 정보시스템이 잘 운영이 되고 있는지, 운영 성과를 평가할 수 없는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 운영되는 정보시스템의 성과를 자동으로 측정하는 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, IT서비스를 제공하는 정보시스템의 운영 성과를 평가, 분석 및 진단하는 지능형 정보시스템 운영성과 측정 방법에 있어서, 정보시스템을 평가하기 위한 현황정보, 비용정보, 투입요소정보, 성과 목표를 포함하는 평가기본정보를 등록하고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건을 설정하여 운영 성과를 평가하기 위한 계획을 수립하는 계획 단계; 정보시스템의 운영에 소요되는 비용평가, 활용빈도와 활용유형을 판단하는 활용도 평가, 정보시스템의 장애와 관련된 측정지표를 산출하고 사용자 만족도를 집계하여 정보시스템의 품질을 평가하는 품질 평가 및 정보시스템에 접속 또는 등록된 사용자 수의 증감과 성과 목표의 달성 여부를 판단하는 업무성과 평가를 수행하는 평가 단계; 및 평가 단계를 분석하여 결과값을 수치로 환산하고 환산기준에 따라 정보시스템을 적어도 하나 이상의 관리유형으로 분류하여 운영 성과를 진단하는 분석 및 진단 단계;를 포함하는 지능형 정보시스템 운영 성과 측정 방법을 제공한다.
바람직하게, 계획 단계는, 평가기본정보를 내부시스템 연동/연계를 통한 자동 입력 또는 입력대상 정보가 기입된 현황문서를 취합하여 정보시스템이 제공하는 입력항목의 입력기준에 따라 수동 입력하는 평가기본정보 등록 단계; 및 정보시스템의 측정 시기 및 측정 기준을 입력하고 비용평가, 활용도 평가, 품질평가, 업무성과평가, 관리유형결정의 각 단계의 일정을 설정하는 평가계획 수립 단계;를 포함할 수 있다.
바람직하게, 평가 단계 중 비용 평가는, 정보시스템의 초기 개발비, 추가 개발비, 유지 보수비 및 운영비를 포함하는 비용 정보를 입력 받는 단계; 및 비용 정보를 입력 받아 정보시스템의 운영의 적정성, 유지의 용이성, 비용의 효율성을 판단하여 기 설정된 평가 기준에 따라 환산 점수를 산출하는 단계;를 더 포함할 수 있다.
바람직하게, 평가 단계 중 활용도 평가는, 정보시스템의 운영 시 활용되는 각각의 기능을 분류하여 기 설정된 평가 기준에 따라 기능의 활용빈도를 저빈도, 중빈도, 고빈도 또는 이벤트로 분류하는 단계; 및 정보시스템을 소정의 기간 동안 테스트하여 기능에 대한 방문수(클릭 수) 및 활용 시간을 기 설정된 평가 기준에 따라 미활용, 저활용 또는 활용으로 분류하는 단계;를 더 포함할 수 있다.
바람직하게, 평가 단계 중 품질 평가는, 정보시스템의 시스템품질과 서비스품질을 평가하고, 시스템품질은 정보시스템의 장애와 복구에 관련된 장애 데이터를 기준으로 평가하며, 서비스품질은 정보 처리를 위해 운영에 요구되는 기 설정된 응답 데이터를 기준으로 평가하는 단계; 및 시스템품질과 서비스품질의 평가 결과를 집계하여 품질 평가의 결과를 수치로 환산하는 단계;를 더 포함할 수 있다.
바람직하게, 평가 단계는, 정보시스템을 클라이언트/서버, 웹, 데이터베이스, 모바일 앱을 포함하는 시스템의 특성에 따라 구분하는 단계; 및 정보시스템에서 기능정보수집기 및 에이전트를 통해 각 기능을 수집하는 단계;를 더 포함할 수 있다.
바람직하게, 기능정보수집기는, 정보시스템의 대표 URL 또는 수집을 위한 하위 URL을 입력하고 웹 페이지의 하이퍼링크와 메뉴 명을 인식 또는 추출하여 추출된 데이터를 파싱하고 메뉴ID를 자동 생성하여 계층구조로 데이터를 저장할 수 있다.
바람직하게, 에이전트는, 정보시스템의 각 기능이 활용되는 성능정보를 수집하며 지속적으로 성능정보가 수집되는지 모니터링 할 수 있다.
바람직하게, 분석 및 진단 단계는, 평가 단계의 결과값을 비용측면과 업무측면으로 구분하여 산출하는 단계; 및 정보시스템의 관리유형을 비용측면과 업무측면의 결과 값에 따라 재개발, 유지, 기능고도화 또는 폐기 등으로 나누어 관리 유형을 결정하는 단계;를 더 포함할 수 있다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 자동화된 플랫폼을 통해 운영되는 정보시스템을 원활히 분석할 수 있는 이점이 있다.
또한 본 발명은, 정보시스템을 분석한 후에도 향후 지속적으로 성능정보를 수집하여 사용자에게 제공하여 정보시스템의 운영 방안을 제시할 수 있는 이점이 있다.
도 1은 본 발명에 따른 지능형 정보시스템 운영 성과 측정 방법의 순서도를 나타낸다.
도 2는 본 발명의 실시예에 따른 평가기본정보를 등록하는 순서도를 나타낸다.
도 3은 본 발명의 실시예에 따른 평가 단계의 순서도를 나타낸다.
도 4는 본 발명의 실시예에 따른 평가 단계 중 비용평가의 순서도를 나타낸다.
도 5는 본 발명의 실시예에 따른 평가 단계 중 활용도 평가의 순서도를 나타낸다.
도 6은 본 발명의 실시예에 따른 평가 단계 중 품질 평가의 순서도를 나타낸다.
도 7은 본 발명의 실시예에 따른 평가 단계 중 업무성과평가의 순서도를 나타낸다.
도 8은 본 발명의 실시예에 따른 관리유형결정의 순서도를 나타낸다.
도 9는 본 발명의 실시예에 따른 분석 및 진단 단계의 순서도를 나타낸다.
도 10은 본 발명의 실시예에 따른 기능정보수집기에서 기능수집을 하는 순서도를 나타낸다.
도 11은 본 발명의 실시예에 따른 에이전트에서 성능정보를 수집하는 순서도를 나타낸다.
도 12는 본 발명의 실시예에 따른 측정데이터 이관의 순서도를 나타낸다.
도 13은 본 발명의 여러 실시예의 순서도를 나타낸다.
도 2는 본 발명의 실시예에 따른 평가기본정보를 등록하는 순서도를 나타낸다.
도 3은 본 발명의 실시예에 따른 평가 단계의 순서도를 나타낸다.
도 4는 본 발명의 실시예에 따른 평가 단계 중 비용평가의 순서도를 나타낸다.
도 5는 본 발명의 실시예에 따른 평가 단계 중 활용도 평가의 순서도를 나타낸다.
도 6은 본 발명의 실시예에 따른 평가 단계 중 품질 평가의 순서도를 나타낸다.
도 7은 본 발명의 실시예에 따른 평가 단계 중 업무성과평가의 순서도를 나타낸다.
도 8은 본 발명의 실시예에 따른 관리유형결정의 순서도를 나타낸다.
도 9는 본 발명의 실시예에 따른 분석 및 진단 단계의 순서도를 나타낸다.
도 10은 본 발명의 실시예에 따른 기능정보수집기에서 기능수집을 하는 순서도를 나타낸다.
도 11은 본 발명의 실시예에 따른 에이전트에서 성능정보를 수집하는 순서도를 나타낸다.
도 12는 본 발명의 실시예에 따른 측정데이터 이관의 순서도를 나타낸다.
도 13은 본 발명의 여러 실시예의 순서도를 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명에 따른 지능형 정보시스템 운영 성과 측정 방법의 순서도를 나타낸다. 도 1을 참조하면, 본 발명은 계획 단계(S10), 평가 단계(S30) 및 분석 및 진단 단계(S50)를 포함할 수 있다.
계획 단계(S10)는, 정보시스템을 평가하기 위한 현황정보, 비용정보, 투입요소정보, 성과 목표를 포함하는 평가기본정보를 등록하고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건을 설정하여 운영 성과를 평가하기 위한 계획을 수립하는 단계이다.
계획 단계(S10)는, 평가기본정보를 내부시스템 연동/연계를 통한 자동 입력 또는 입력대상 정보가 기입된 현황문서를 취합하여 정보시스템이 제공하는 입력항목의 입력기준에 따라 수동 입력하는 평가기본정보 등록 단계(S101); 및 정보시스템의 측정 시기 및 측정 기준을 입력하고 비용평가, 활용도 평가, 품질평가, 업무성과평가, 관리유형결정의 각 단계의 일정을 설정하는 평가계획 수립 단계(S102);를 포함할 수 있다.
계획 단계(S10)는, 정보시스템 성과측정 담당자는 본 시스템에 로그인 후 측정 준비로부터 시작될 수 있다. 성과측정 담당자는 소속된 조직이 운영하고 있는 정보시스템의 현황을 파악하고 평가를 위한 기본정보를 등록한다.
평가기본정보는 정보시스템현황정보, 비용정보, 투입요소정보, 정보시스템 성과목표 등록, 고객(사용자)정보를 포함할 수 있다. 성과측정 담당자는 등록된 정보시스템 중 측정대상 시스템의 선정조건을 설정한 후 선정된 측정대상 시스템에 대한 측정계획을 수립한다.
평가 단계(S30)는, 정보시스템의 운영에 소요되는 비용평가(S301), 활용빈도와 활용유형을 판단하는 활용도 평가(S302), 상기 정보시스템의 장애와 관련된 측정지표를 산출하고 사용자 만족도를 집계하여 상기 정보시스템의 품질을 평가하는 품질 평가(S303) 및 정보시스템에 접속 또는 등록된 사용자 수의 증감과 성과 목표의 달성 여부를 판단하는 업무성과 평가(S304)를 수행하는 단계이다.
성과측정담당자는 입력된 평가기본정보 중 비용정보를 활용하여 비용평가(S301)를 실시한다. 비용평가(S301) 시 평가기준은 당해 년도 비용평가 기준설정에 따라 평가한다. 성과측정담당자는 각 측정대상 시스템의 활용도를 평가한다. 평가 시 측정대상 시스템의 특성(Web, DB, Mobile 앱, C/S)에 따라 정보시스템의 기능정보를 수집하는 기능정보수집기(10) 및 성능진단 에이전트(20)를 달리하도록 설정할 수 있다.
활용도 평가(S302)를 위해서는 각 정보시스템의 기능목록의 수집이 선행되며, 측정대상 기능이 완전성이 보장되어야 한다. 대부분의 시스템이 기능목록을 보유하고 있지 않거나, 문서의 형태로 보유하거나 또는 보유하더라도 버전관리가 어려워 최신 기능목록을 확보하는데 어려움이 있다.
이를 위하여 기능정보수집기(10)를 통해 각 시스템의 기능목록을 확보하고 이를 한글로 표현된 기능명칭을 매칭하여 손쉽게 완전한 기능목록을 확보할 수 있다. 모바일 앱의 경우는 웹 시스템과 유사한 기능정보수집기(10)를 활용할 수 있다. DB(데이터 제공형 시스템)유형의 시스템은 DB카탈로그 기능정보수집기(10)를 활용한다.
활용도 측정을 위한 기능이 확보된 후 각 시스템의 특성에 따른 에이전트(20)가 구동되어 활용도 측정 데이터를 수집하고 측정규칙에 따라 측정데이터를 저장할 수 있다. 최종 측정결과를 모니터링하고 예외 상황 발생시 또는 각 기능별 특성을 반영한 측정결과를 보정할 수 있다.
성과측정담당자는 활용도 측정과 병행하여 품질평가(S303)를 실시할 수 있고, 품질평가(S303)는 정보시스템 품질과 사용자 만족도 측정으로 구성될 수 있다. 최종적으로 시스템품질과 서비스품질의 측정값을 각각의 가중치에 따라 합산하여 최종 품질평가 점수를 자동 산정할 수 있다.
분석 및 진단 단계(S50)는, 평가 단계(S30)를 분석하여 결과값을 수치로 환산하고 환산기준에 따라 정보시스템을 적어도 하나 이상의 관리유형으로 분류하여 운영 성과를 진단하는 단계이다.
성과측정 담당자는 업무성과평가 측정을 위하여 두 가지 측정방식을 택할 수 있다.
첫째, 자동화된 방식으로써 평가기본정보 등록 시 설정된 측정 대상 시스템의 사용자 수를 기준으로 측정할 수 있다. 이를 위하여 에이전트(20)로 부터 수집된 로그를 분석하여 방문자 수, 순방문자 수, 방문자 수 증가 수 등의 데이터를 추출하고 최초 등록된 사용자 수를 기준으로 증가 여부를 확인/측정한다.
둘째, 문서를 통한 방식으로 각 시스템의 업무성과 목표치에 대한 달성여부를 보고서로 접수 받고 이를 토대로 성과 달성도를 측정하여 측정값을 입력한다. 두 가지 방식으로 측정된 값을 단일 또는 모두 반영할 수 있으며, 전년대비 달성도를 비교 또는 성과달성 증가분을 통해 업무성과평가 결과값을 도출한다.
성과측정 담당자는 최종적으로 관리유형을 결정하기 위하여 비용평가 값의 평균값을 최종 비용측면평가 결과값으로 하고, 활용도 평가, 품질평가, 업무성과평가 값의 합의 평균값을 최종 업무측면평가 결과값으로 결정한다. 성과측정 담당자는 두 개의 값을 이용하여 관리유형결정 모델에 따라 관리유형(폐기, 통폐합, 재개발, 유지)을 결정할 수 있다.
성과측정담당자는 관리유형결정(S501)을 위한 모델 적용 시 기준값을 3점 기준, 기관평균, 전체평균 등의 실시예로 설정할 수 있다. 성과측정담당자는 관리유형결정을 위한 최종 의사결정을 위하여 분석 및 진단기능을 위하여 대상시스템에 대한 다양한 분석진단을 수행하고 최종 관리유형을 결정한다.
분석 및 진단을 위하여 시스템에서 확보한 다양한 정보를 다차원적인 분석기능을 제공한다. 성과측정 담당자는 분석결과를 반영하여 최종 관리유형을 결정한다. 최초 측정한 결과가 변경될 경우 의사결정에 영향을 미친 분석진단 결과물을 최종결과에 첨부할 수 있도록 제공한다
정보시스템 품질은 다시 시스템 품질과 서비스 품질로 구성된다. 성과측정 담당자는 시스템 품질 측정을 위한 측정지표 및 기준(예:기능별 응답시간, 평균 응답시간 등)을 설정한다. 성과측정 담당자는 시스템 품질 측정을 위한 에이전트(20)의 가동여부를 확인하고 모니터링하며 측정주기에 따라 측정값을 확인한다.
서비스품질은 전반적인 서비스제공의 품질을 확인하는 것으로 서비스의 안정성을 판단하기 위한 지표이다. 이를 위하여 성과측정담당자는 측정지표 및 기준(예:다운타임, 복구시간 등)을 설정하고 서비스 품질 측정을 위한 에이전트(20)의 가동여부를 확인하고 모니터링하며 측정주기에 따라 측정값을 확인한다.
도 2 내지 도 9는, 도 1을 세분화하여 설명하기 위한 도면이고 각 도면에 따라 이하 설명한다.
도 2는 본 발명의 실시예에 따른 평가기본정보를 등록하는 순서도를 나타낸다. 도 2를 참조하면, 성과측정담당자는 측정을 위한 기본정보를 입력하면서 등록을 시작한다.
평가기본정보를 등록(S101)은 두 가지 방법이 있다. 첫째 각 입력 대상 정보를 보유하고 있는 내부 시스템이 있는 경우 내부시스템 연동/연계를 통한 자동 입력방식과, 둘째로 내부시스템이 없는 경우 입력대상 정보가 기입된 현황문서를 취합하고 이를 시스템이 제공하는 입력항목의 입력 기준에 따라 입력하는 방식이다.
정보시스템 현황정보는 측정대상 정보시스템에 대한 개요(시스템 명, 영문 명, 개발기간, 도입시기, 운영시작일, 유지보수 시작일, 시스템 특성<웹, 모바일 앱, DB서비스, C/S>, 기능수집 대표URL 등의 기능체계를 완성하기 위한 포인트 정보, 수집주기)에 해당하는 정보이다.
비용정보는 최초 구축비, 추가 구축비, 유지보수비를 포함한다. 정보시스템 비용정보의 구성항목은 컨설팅비, 구축인건비, H/W 도입비, S/W 도입비, 네트워크 운영비를 포함할 수 있고, 조직의 정보시스템 운영비용 산정체계에 따라 입력하되 연도별로 구분하여 입력한다.
투입요소정보는 구축 및 운영에 참여한 개발회사 및 인력에 대한 정보이다. 회사정보, 투입인력 정보, 투입인력 등급, 투입기간이 이에 해당한다.
정보시스템 성과목표 정보는 정보시스템이 달성하여야 하는 성과목표를 설정하는 기능이다. 기존에 BSC등과 같은 성과관리시스템이 있을 경우 연동/연계할 수 있으나 정보시스템 단위로 성과목표가 설정되어 있지 않을 경우 수작업을 통해 입력할 수 있다. 성과목표 정보는 성과영역, 성과지표, 측정방법, 측정주기, 측정담당자로 구성된다.
고객(사용자)정보는 측정대상 시스템의 최종 사용자는 누구이며 몇 명이 이를 사용하는지 계량화한 값이다. 국가기관의 경우 통계청 등 다양한 Open Data를 활용하여 당 시스템이 제공하는 Open Data 범용 사용자 정보를 제공하며 사용자는 이를 참고하여 입력할 수 있다.
도 3은 본 발명의 실시예에 따른 평가 단계(S30)의 순서도를 나타낸다. 도 3을 참조하면, 평가 단계(S30)는, 정보시스템을 클라이언트/서버, 웹, 데이터베이스, 모바일앱을 포함하는 시스템의 특성에 따라 구분하는 단계와 정보시스템에서 기능정보수집기(10) 및 에이전트(20)를 통해 각 기능을 수집하는 단계;를 포함할 수 있다.
성과측정담당자는 평가기본정보에 입력된 정보를 활용하여 평가계획을 수립 한다. 평가조건 설정은 성과측정 대상시스템을 선정하고 측정일정 및 측정담당자를 지정하며, 성과목표, 비용정보 등의 평가기본정보를 확인할 수 있다. 대상시스템은 구축 및 운영과 동시에 측정 가능하다.
측정시기는 즉시측정, 일정기간 후 측정(예:구축 후 3년/5년), 비용정보측면에서는 구축 및 운영비의 통합비용이 일정금액 이상만 측정할 것인지 등 조건을 설정할 수 있다.
성과측정 담당자는 설정된 측정기준에 해당하는 정보시스템을 조회하여 측정계획을 수립한다. 평가계획 수립은 준비, 비용평가(S301), 활용도 평가(S302), 품질평가(S303), 업무성과평가(S304), 관리유형결정(S501)의 각 단계를 일정을 설정할 수 있다.
각 대상시스템이 일몰조건이 도래한 경우 평가계획에 반영하지 않고 폐기로 평가결과를 정할 수 있다. 각 평가일정에 대한 진행여부를 모니터링 하여 계획대비 진척사항을 모니터링 한다.
도 4는 본 발명의 실시예에 따른 평가 단계(S30) 중 비용평가(S301)의 순서도를 나타낸다. 도 4를 참조하면, 비용 평가(S301)는, 정보시스템의 초기 개발비, 추가 개발비, 유지 보수비 및 운영비를 포함하는 비용 정보를 입력 받는 단계; 및 비용 정보를 입력 받아 정보시스템의 운영의 적정성, 유지의 용이성, 비용의 효율성을 판단하여 기 설정된 평가 기준에 따라 환산 점수를 산출하는 단계;를 포함할 수 있다.
성과측정담당자는 입력된 평가기본정보 중 비용정보를 활용하여 비용평가(S301)를 수행한다. 비용평가를 위하여 초기개발비, 추가개발비, 유지보수비, 운영비 등의 정보를 활용한다. 비용평가 영역은 운영의 적정성, 유지의 용이성, 비용의 효율성으로 구성된다.
표 1을 참조하면, 운영의 적정성은 누적된 유지보수비간 총 개발비의 일정비율을 초과한 경우 비용개선을 위한 노력이 필요한지를 판단하기 위한 항목이며, 유지의 용이성은 투입운영/유지비의 증감 수준을 분석하여 정보시스템이 비용 효율적 구조를 유지하고 있는지를 판단하는 항목이다. 비용의 효율성은 정보시스템의 활용규모 대비 비용효율적 구조를 유지하고 있는지를 판단하는 항목이다.
<비용평가 환산 점수>
각 영역의 지표는 다음의 이름으로 지표로 정의된다. 운영의 적정성(누적유지보수비율), 유지의 용이성(투입운영유지비용비율증감률), 비용의 효율성(평균운영유지비용비율증감률) 등 성과측정 담당자는 비용평가 결과값을 이용하여 점수를 환산할 수 있다.
환산기준을 적용하는데 있어 정책적인 가이드에 따른 환산을 적용할 수 있으며, 자체적인 기준을 적용할 수도 있다. 환산기준은 DB로 관리되어 유연하게 적용한다.
기관 자체적인 환산기준을 적용하기 위하여 보유하고 있는 모든 정보시스템의 구축비, 운영비, 유지보수비 등 측정에 필요한 각 데이터를 산출하여 구간값을 설정하여 정의할 수도 있다.
도 5는 본 발명의 실시예에 따른 평가 단계(S30) 중 활용도 평가(S302)의 순서도를 나타낸다. 도 5를 참조하면, 활용도 평가(S302)는, 정보시스템의 운영 시 활용되는 각각의 기능을 분류하여 기 설정된 평가 기준에 따라 기능의 활용빈도를 저빈도, 중빈도, 고빈도 또는 이벤트로 분류하는 단계; 및 정보시스템을 소정의 기간 동안 테스트하여 기능에 대한 방문수(클릭수) 및 활용 시간을 기 설정된 평가 기준에 따라 미활용, 저활용 또는 활용으로 분류하는 단계;를 포함할 수 있다.
성과측정담당자는 평가기본정보에 입력된 정보시스템 및 평가계획에서 설정된 대상시스템의 현황을 확인한다. 대상시스템의 유형(웹, 모바일앱, DB, C/S)을 고려하여 측정대상시스템의 측정대상 기능목록정보가 확보되어 있는지 확인한다.
측정대상시스템의 기능이 확보되어 있으며, 현재 유효한 정보로 판단되면 측정방식설정을 실시한다. 측정대상시스템의 기능이 확보되어 있지 않은 경우 각 시스템의 유형에 적합한 기능정보 수집기를 구동하여 전체 목록을 확보할 수 있도록 한다.
측정대상 시스템이 이전에 측정한 기록이 있는 경우 미 매핑 기능이 있는지 확인한 후 매핑 작업을 실시한다. 측정대상기능이 모두 확보된 후 성과측정담당자는 각 기능별 빈도유형, 활용유형의 특성을 설정 후 측정대상시스템의 측정주기를 설정한다. 빈도유형은 저빈도, 중빈도, 고빈도, 이벤트로 구분할 수 있으며, 활용유형은 미활용, 저활용, 활용으로 구분될 수 있다.
활용유형 결정을 위하여 일정기간 동안 테스트 측정기간을 두고 에이전트(20)로 부터 수집된 활용도 평가를 토대로 통계적 방식을 적용하여 정규분포내 비율로 정의할 수 있다.
각 기능의 활용도 측정의 정확도 제고를 위하여 테스트 기간 내 발생한 Outlier를 식별하고 해당 범위의 데이터는 제거할 수 있도록 설정할 수 있다. 각 측정결과를 통해 각 기능의 활용도를 확정하고, 활용과 저활용 기능의 수를 전체 기능 수 대비 비율로 환산하여 활용도를 평가한다.
저활용 기능은 활용기능 대비 일정비율로 정의하여 계산한다. 각 기능의 활용여부는 에이전트(20)로부터 수집되는 각 기능의 방문수(클릭 수), 머문 시간 등으로 판단한다.
도 6은 본 발명의 실시예에 따른 평가 단계(S30) 중 품질 평가(S303)의 순서도를 나타낸다. 도 6을 참조하면, 품질 평가(S303)는, 정보시스템의 시스템품질과 서비스품질을 평가하고, 시스템품질은 상기 정보시스템의 장애와 복구에 관련된 장애 데이터를 기준으로 평가하며, 서비스품질은 정보 처리를 위해 운영에 요구되는 기 설정된 응답 데이터를 기준으로 평가하는 단계; 및 시스템품질과 서비스품질의 평가 결과를 집계하여 품질 평가의 결과를 수치로 환산하는 단계;를 포함할 수 있다.
성과측정담당자는 측정대상 정보시스템의 품질평가를 위하여 정보시스템품질평가와 사용자 만족도 측정을 실시한다. 정보시스템 품질평가는 시스템 품질과 서비스 품질로 구성된다.
시스템품질 측정은 최종 사용자를 위하여 정보시스템이 안정적으로 서비스를 제공하는지에 대한 품질을 측정하는 것으로 에이전트(20)로부터 수집된 데이터를 가공하여 측정한다.
시스템품질 측정지표의 예는 시스템 장애시간, 장애복구 소요시간, 시스템 가동률, 장애발생건수, 장애복구시간 등이 있으며, 서비스품질 평가는 시스템이 사용 가능한 상태로 어느 정도 요구되는 성능을 제공하는지를 측정한다.
서비스품질 측정지표 예는 응답시간, 응답시간 변동률 등이 있으며 성과측정 담당자는 각 정보시스템이 보유하고 있는 측정대상 기능 중 특정기능을 선택적으로 측정할 수 있다.
시스템 품질평가는 측정대상 시스템의 전체적 운영품질을 측정하고, 서비스 품질평가는 특정기능의 품질을 측정할 수도 있으며, 전체 대상기능을 측정할 수도 있다. 각 측정값은 구간별 환산표를 활용하여 5점 척도로 환산될 수 있다.
사용자 만족도 측정은 실제 사용자의 체감 만족도를 설문 또는 해당 기능별 응답 결과를 집계하여 측정한다. 성과측정 담당자는 온라인 설문측정을 위하여 측정대상 정보시스템의 특성에 맞도록 설문을 구성하고 시스템 내에 저장된 사용자에게 설문을 발송하고 응답된 설문결과를 집계하여 통계 처리한다. 전체적인 통계결과는 5점 만점의 품질평가결과로 환산될 수 있다.
도 7은 본 발명의 실시예에 따른 평가 단계(S30) 중 업무성과평가(S304)의 순서도를 나타낸다. 도 7을 참조하면, 업무성과평가(S304)는 업무성과목표와 고객수가 포함된 평가기본정보를 바탕으로 업무성과평가 결과서를 접수하고 사용자 정보를 바탕으로 평가결과 집계 및 최종점수를 부여할 수 있다.
성과측정 담당자는 업무성과평가 측정을 위하여 두 가지 측정방식을 택할 수 있다. 특히 정보시스템의 활용성에 직접적 지표로 볼 수 있는 사용자 수 증가여부를 측정하는 것이 중요하다.
첫째, 자동화된 방식으로써 평가기본정보 등록 시 설정된 측정 대상 시스템의 사용자 수를 기준으로 측정할 수 있다. 이를 위하여 에이전트(20)로부터 수집된 로그를 분석하여 방문자 수, 순방문자 수, 방문자 수 증가 수 등의 데이터를 추출하고 최초 등록된 사용자 수를 기준으로 증가 여부를 확인/측정한다. 측정결과 값이 전년 사용자 수 대비 얼마나 증가하였는지를 비율로 환산하고 이를 환산기준표에 따라 5점 만점 점수로 환산하여 최종점수를 부여한다.
둘째, 문서를 통한 방식으로 각 시스템의 업무성과 목표치에 대한 달성여부를 보고서로 접수 받고 이를 토대로 성과 달성도를 측정하여 측정값을 입력한다. 전년대비 성과달성 증가율을 측정하여 이를 환산기준표에 따라 5점 만점 점수로 환산하여 최종 점수로 부여한다.
두 가지 방식으로 측정된 값을 단일 또는 모두 반영할 수 있으며, 전년대비 달성도를 비교 또는 성과달성 증가분을 통해 업무성과평가 결과값을 도출한다. 두 개의 최종값을 평균 또는 가중 평균하여 적용할 수 있다.
도 8은 본 발명의 실시예에 따른 관리유형결정(S501)의 순서도를 나타낸다. 도 8을 참조하면, 평가결과를 집계하여 이를 시뮬레이션을 통해 평가결과를 확정함으로써 관리유형을 결정할 수 있다.
성과측정담당자는 비용평가, 활용도 평가, 품질평가, 업무성과평가 결과의 모든 결과를 집계하고 환산기준에 따라 정확히 측정결과를 나타내고 있는지 확인한다.
표 2는 평가 매트릭스를 나타낸다. 평가결과는 비용측면, 업무측면으로 나누어 평가 매트릭스의 좌표값(5점 기준)에 따라 위치시킨다. 평가 매트릭스에 나타난 위치에 따라 평가결과를 시뮬레이션 하여 전체 측정대상시스템이 적절히 평가되었는지 확인한다.
표 3은 점수표를 나타낸다. 평가결과가 부적합하다고 판단된 시스템의 경우 원인 파악을 위해 표 3과 같이 전체 점수표를 레이더차트 등의 형태로 각 시스템의 평가결과를 확인하고 해당영역의 평가데이터 및 결과값을 확인하여 최종적으로 확정할 수 있다.
도 9는 본 발명의 실시예에 따른 분석 및 진단 단계(S50)의 순서도를 나타낸다. 도 9를 참조하면, 분석 및 진단 단계(S50)는, 평가 단계(S30)의 결과값을 비용측면과 업무측면으로 구분하여 산출하는 단계; 및 정보시스템의 관리유형을 비용측면과 업무측면의 결과 값에 따라 재개발, 유지, 기능고도화 또는 폐기 등으로 나누어 관리 유형을 결정하는 단계;를 포함할 수 있다.
표 4는 분석프레임워크의 실시예를 나타낸다. 성과측정담당자는 관리유형 결정결과를 확인하여 측정결과가 적절치 않다고 판단한 경우 전체적이고 세부적인 분석과 진단을 수행한다.
분석프레임워크에 따른 종합분석과 정보 시스템 별 개별분석 및 진단결과에 따라 관리유형 결정결과의 변경이 필요한 경우 해당 분석결과를 저장하여 근거자료로 만들 수 있고, 이를 제시하고 최종적인 관리유형 결정을 변경할 수 있다.
도 10은 본 발명의 실시예에 따른 기능정보수집기(10)에서 기능수집을 하는 순서도를 나타낸다. 도 10을 참조하면, 기능정보수집기(10)는, 정보시스템의 대표 URL 또는 수집을 위한 하위 URL을 입력하고 웹 페이지의 하이퍼링크와 메뉴 명을 인식 또는 추출하여 추출된 데이터를 파싱하고 메뉴 ID를 자동 생성하여 계층구조로 데이터를 저장할 수 있다.
성과측정담당자는 측정대상 정보시스템의 기능활용도 측정 등에 활용하기 위하여 완전한 기능목록을 확보하여야 한다. 특히 폐쇄 망에서의 기능을 수집하기 위하여 기능 수집기를 별도로 설치 후 연계/연동을 통한 기능정보 수집업무를 지원한다.
성과측정담당자는 측정대상 시스템의 대표 URL 또는 수집을 위한 하위URL을 입력하고 웹 페이지(html, 문서 등) 글로벌 메뉴(GMB:Global Menu Bar)의 모든 하이퍼링크와 메뉴명을 인식하고 추출할 수 있다. 이는 업무기능별 URL 매핑이 목적이며 자동으로 추출된 데이터를 파싱하고 메뉴ID를 자동 생성하여 계층구조로 데이터를 저장한다. 구분된 계층구조의 연관된 상.하위 값을 배열하고 정리하여 계층적 기능목록을 완성한다.
도 11은 본 발명의 실시예에 따른 에이전트(20)에서 성능정보를 수집하는 순서도를 나타낸다. 도 11을 참조하면, 에이전트(20)는 정보시스템의 각 기능이 활용되는 성능정보를 수집하며 지속적으로 성능정보가 수집되는지 모니터링 할 수 있다.
성과측정담당자는 정확한 활용성과측정을 위하여 측정대상 정보시스템의 유형에 따라 성능정보를 수집할 수 있는 에이전트(20)를 설치하여야 한다. 측정대상 정보시스템 유형은 웹, 모바일 앱, DB, C/S로 구분되며 각 유형이 결정된 후 해당 에이전트(20)를 측정대상 정보시스템에 설치하고 구동한다. 향후 지속적으로 성능정보가 수집되는지 모니터링 한다.
도 12는 본 발명의 실시예에 따른 측정데이터 이관의 순서도를 나타낸다. 도 12를 참조하면, 본 프로그램이 적용되는 시스템의 성과측정 담당자는 지속적인 성과측정을 위하여 에이전트(20)로부터 수집된 성능데이터를 분석서버로 이관하여야 한다.
이관 시 부하를 고려하여 이관에 따른 운영중인 정보시스템의 서비스 품질에 영향을 주어서는 안되기 때문에 시스템은 수집된 성능정보(CPU, Memory, Disk)등을 고려하여 최적 이관시간을 지속적으로 모니터링하고 최적시간을 추천한다. 성과측정 담당자는 최적이관시간을 검토하여 이관시간을 설정하고, 설정된 이관시간에 측정용 데이터를 이관한다.
도 13은 본 발명의 여러 실시예의 순서도를 나타낸다. 본 지능형 정보시스템 운영 성과 측정 방법을 사용하는 경우, 여러 가지 기능을 수행할 수 있으며 도 13은 실시예가 적용될 수 있는 구성을 나타낸다.
도 13을 참조하면, 도 13(a)는 기능정보수집기(10)를 통한 기능 URL 자동 수집 및 매핑, 도 13(b)는 자원활용도 측정을 통한 노후도 분석 AI를 통한 Transaction당 비용 분석, 도 13(c)는 자동화 방식을 통한 기능활용도 측정 및 유형결정 알고리즘을 나타낸다.
13(a)는 기능정보수집기(10)를 통한 기능 URL 자동 수집 및 매핑은 시스템의 대표URL을 이용하여 연결이 된 하이퍼링크를 모두 수집하고 각 기능에 해당하는 목록 및 URL을 추출하여 자동 배열하는 것을 나타낸다.
도 13(b)는 자원활용도 측정을 통한 노후도 분석 AI를 통한 Transaction당 비용 분석하는 내용으로, CPU, Memory 등 시스템 활용의 실시간 측정과 AI 데이터를 활용하여 시스템의 사용 추이 측정으로 시스템 노후도 및 운영비용에 대하여 자동으로 분석하는 과정을 나타낸다.
도 13(c)는 자동화 방식을 통한 기능활용도 측정 및 유형결정 알고리즘으로, 시스템의 비용측면, 업무측면의 환산 점수에 따라 유지, 재개발, 기능고도화, 폐기검토를 결정하고 폐기검토를 다시 재개발, 통폐합, 폐기로 최종 유지관리유형 결정할 수 있는 기능이 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10 : 기능정보수집기
20 : 에이전트
Claims (10)
- IT서비스를 제공하는 정보시스템의 운영 성과를 평가, 분석 및 진단하는 지능형 정보시스템 운영성과 측정 방법에 있어서,
상기 정보시스템을 평가하기 위한 현황정보, 비용정보, 투입요소정보, 성과 목표를 포함하는 평가기본정보를 등록하고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건을 설정하여 상기 운영 성과를 평가하기 위한 계획을 수립하는 계획 단계;
상기 정보시스템의 운영에 소요되는 비용평가, 활용빈도와 활용유형을 판단하는 활용도 평가, 상기 정보시스템의 장애와 관련된 측정지표를 산출하고 사용자 만족도를 집계하여 상기 정보시스템의 품질을 평가하는 품질 평가 및 상기 정보시스템에 접속 또는 등록된 사용자 수의 증감과 상기 성과 목표의 달성 여부를 판단하는 업무성과 평가를 수행하는 평가 단계; 및
상기 평가 단계를 분석하여 결과값을 수치로 환산하고 환산기준에 따라 상기 정보시스템을 적어도 하나 이상의 관리유형으로 분류하여 운영 성과를 진단하는 분석 및 진단 단계;를 포함하는 지능형 정보시스템 운영 성과 측정 방법.
- 제 1 항에 있어서,
상기 계획 단계는,
상기 평가기본정보를 내부시스템 연동/연계를 통한 자동 입력 또는 입력대상 정보가 기입된 현황문서를 취합하여 상기 정보시스템이 제공하는 입력항목의 입력기준에 따라 수동 입력하는 평가기본정보 등록 단계; 및
상기 정보시스템의 측정 시기 및 측정 기준을 입력하고 상기 비용평가, 활용도 평가, 품질평가, 업무성과평가, 관리유형결정의 각 단계의 일정을 설정하는 평가계획 수립 단계;를 포함하는 지능형 정보시스템 운영성과 측정 방법.
- 제 1 항에 있어서,
상기 평가 단계 중 비용 평가는,
상기 정보시스템의 초기 개발비, 추가 개발비, 유지 보수비 및 운영비를 포함하는 비용 정보를 입력 받는 단계; 및
상기 비용 정보를 입력 받아 상기 정보시스템의 운영의 적정성, 유지의 용이성, 비용의 효율성을 판단하여 기 설정된 평가 기준에 따라 환산 점수를 산출하는 단계;를 더 포함하는 지능형 정보시스템 운영성과 측정 방법.
- 제 1 항에 있어서,
상기 평가 단계 중 활용도 평가는,
상기 정보시스템의 운영 시 활용되는 각각의 기능을 분류하여 기 설정된 평가 기준에 따라 상기 기능의 활용빈도를 저빈도, 중빈도, 고빈도 또는 이벤트로 분류하는 단계; 및
상기 정보시스템을 소정의 기간 동안 테스트하여 상기 기능에 대한 방문수(클릭 수) 및 활용 시간을 기 설정된 평가 기준에 따라 미활용, 저활용 또는 활용으로 분류하는 단계;를 더 포함하는 지능형 정보시스템 운영성과 측정 방법.
- 제 1 항에 있어서,
상기 평가 단계 중 품질 평가는,
상기 정보시스템의 시스템품질과 서비스품질을 평가하고, 상기 시스템품질은 상기 정보시스템의 장애와 복구에 관련된 장애 데이터를 기준으로 평가하며, 상기 서비스품질은 정보 처리를 위해 운영에 요구되는 기 설정된 응답 데이터를 기준으로 평가하는 단계; 및
상기 시스템품질과 상기 서비스품질의 평가 결과를 집계하여 품질 평가의 결과를 수치로 환산하는 단계;를 더 포함하는 지능형 정보시스템 운영성과 측정 방법.
- 제 1 항에 있어서,
상기 평가 단계는,
상기 정보시스템을 클라이언트/서버, 웹, 데이터베이스, 모바일 앱을 포함하는 시스템의 특성에 따라 구분하는 단계; 및
상기 정보시스템에서 기능정보수집기 및 에이전트를 통해 각 기능을 수집하는 단계;를 더 포함하는 지능형 정보시스템 운영성과 측정 방법.
- 제 6 항에 있어서,
상기 기능정보수집기는,
상기 정보시스템의 대표 URL 또는 수집을 위한 하위 URL을 입력하고 웹 페이지의 하이퍼링크와 메뉴 명을 인식 또는 추출하여 추출된 데이터를 파싱하고 메뉴ID를 자동 생성하여 계층구조로 데이터를 저장하는 것을 특징으로 하는 지능형 정보시스템 운영성과 측정 방법.
- 제 6 항에 있어서,
상기 에이전트는,
상기 정보시스템의 각 기능이 활용되는 성능정보를 수집하며 지속적으로 상기 성능정보가 수집되는지 모니터링 하는 것을 특징으로 하는 지능형 정보시스템 운영성과 측정 방법.
- 제 1 항에 있어서,
상기 분석 및 진단 단계는,
상기 평가 단계의 결과값을 비용측면과 업무측면으로 구분하여 산출하는 단계; 및
상기 정보시스템의 관리유형을 상기 비용측면과 업무측면의 결과 값에 따라 재개발, 유지, 기능고도화 또는 폐기 등으로 나누어 상기 관리 유형을 결정하는 단계;를 더 포함하는 지능형 정보시스템 운영성과 측정 방법.
- 제 1 항 내지 제 9항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133183A KR102223531B1 (ko) | 2018-11-01 | 2018-11-01 | 지능형 정보시스템 운영 성과 측정 방법 |
| US17/290,646 US11552862B2 (en) | 2018-11-01 | 2019-10-31 | Method for measuring operation performance of intelligent information system |
| PCT/KR2019/014639 WO2020091477A1 (ko) | 2018-11-01 | 2019-10-31 | 지능형 정보시스템 운영 성과 측정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133183A KR102223531B1 (ko) | 2018-11-01 | 2018-11-01 | 지능형 정보시스템 운영 성과 측정 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200050298A true KR20200050298A (ko) | 2020-05-11 |
| KR102223531B1 KR102223531B1 (ko) | 2021-03-05 |
Family
ID=70462595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180133183A KR102223531B1 (ko) | 2018-11-01 | 2018-11-01 | 지능형 정보시스템 운영 성과 측정 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11552862B2 (ko) |
| KR (1) | KR102223531B1 (ko) |
| WO (1) | WO2020091477A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102432747B1 (ko) | 2021-10-27 | 2022-08-17 | 주식회사 이퀄썸 | 조직 구성원 성과 지표 관리 방법, 장치 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000072475A (ko) | 2000-09-06 | 2000-12-05 | 김윤호 | 기업 정보관리 서비스 시스템 및 그 방법 |
| KR20050095230A (ko) * | 2004-03-25 | 2005-09-29 | 주식회사 첫눈 | 사용자 방문 유알엘 로그를 이용한 정보 서비스 및 정보검색 서비스 제공 방법 및 시스템 |
| KR101182703B1 (ko) * | 2012-05-02 | 2012-09-18 | 대한민국(기획재정부장관) | 재정통합정보시스템에서 사용되는 중앙재정정보시스템 |
| KR20170085315A (ko) * | 2016-01-14 | 2017-07-24 | 주식회사 웹소울랩 | 실시간 부하량에 따른 웹 사이트 성능 측정을 위한 시스템 및 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1414187A1 (en) | 2002-10-22 | 2004-04-28 | Alcatel | Method for evaluating the quality of service of a telecommunication link via a network |
| KR100899754B1 (ko) | 2007-06-27 | 2009-05-27 | 재단법인 한국특허정보원 | 텍스트 마이닝 기법을 이용한 등록특허의 기술평가 시스템및 그 방법 |
| KR20090028054A (ko) | 2007-09-13 | 2009-03-18 | 한국전자통신연구원 | 위치 기반의 광고 서비스 방법 |
| KR20140113806A (ko) | 2013-03-14 | 2014-09-25 | 대한민국(교육과학기술부장관) | 고객만족도 평가 진단방법 |
| KR20170091336A (ko) | 2016-02-01 | 2017-08-09 | 신용진 | 정확한 데이터 산출을 통해 신뢰도를 향상시킨 스크린골프장의 자가 경영진단 평가시스템 및 방법 |
| US10732621B2 (en) * | 2016-05-09 | 2020-08-04 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for process adaptation in an internet of things downstream oil and gas environment |
-
2018
- 2018-11-01 KR KR1020180133183A patent/KR102223531B1/ko active IP Right Grant
-
2019
- 2019-10-31 US US17/290,646 patent/US11552862B2/en active Active
- 2019-10-31 WO PCT/KR2019/014639 patent/WO2020091477A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000072475A (ko) | 2000-09-06 | 2000-12-05 | 김윤호 | 기업 정보관리 서비스 시스템 및 그 방법 |
| KR20050095230A (ko) * | 2004-03-25 | 2005-09-29 | 주식회사 첫눈 | 사용자 방문 유알엘 로그를 이용한 정보 서비스 및 정보검색 서비스 제공 방법 및 시스템 |
| KR101182703B1 (ko) * | 2012-05-02 | 2012-09-18 | 대한민국(기획재정부장관) | 재정통합정보시스템에서 사용되는 중앙재정정보시스템 |
| KR20170085315A (ko) * | 2016-01-14 | 2017-07-24 | 주식회사 웹소울랩 | 실시간 부하량에 따른 웹 사이트 성능 측정을 위한 시스템 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 2017년도 전자정부 성과관리 기관 설명회 발표 자료. 범정부EA포털, [online], 2017.04.04., [2020.01.23. 검색], 인터넷 https://www.geap.go.kr/real/uat/uia/selectArticleListPortal.do?board=board4&othbcYn=Y 1부* * |
| 정보시스템 운영 성과측정 매뉴얼. 행정안전부, [online], 2017.4월, [2020.01.23. 검색], 인터넷 https://www.mois.go.kr/frt/bbs/type001/commonSelectBoardArticle.do?bbsId=BBSMSTR_000000000015&nttId=60107 1부* * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220124007A1 (en) | 2022-04-21 |
| WO2020091477A1 (ko) | 2020-05-07 |
| US11552862B2 (en) | 2023-01-10 |
| KR102223531B1 (ko) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7177774B1 (en) | System and methods for quantitatively evaluating complexity of computing system configuration | |
| US9317539B2 (en) | Time-series database setup automatic generation method, setup automatic generation system and monitoring server | |
| JP4031928B2 (ja) | 設備保守業務支援方法および保守業務支援サーバ | |
| DE102005016572A1 (de) | System zum Schätzen von Verarbeitungsanforderungen | |
| CN100465918C (zh) | 基于事务处理的性能模型的自动化确认和校准系统和方法 | |
| KR100803889B1 (ko) | 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템 | |
| KR20060061759A (ko) | 트랜잭션 기반 성능 모델을 자동 검증 및 캘리브레이션하기위한 컴퓨터 구현 방법 | |
| CN105184886A (zh) | 一种云数据中心智能巡检系统及方法 | |
| CN107678932A (zh) | 一种应用性能分析方法及装置 | |
| JP3580497B2 (ja) | 企業診断システム、企業診断方法、企業診断用サーバ、および記録媒体 | |
| CN103973902B (zh) | 一种用户感知业务质量的量化装置、监测系统和方法 | |
| KR102223531B1 (ko) | 지능형 정보시스템 운영 성과 측정 방법 | |
| US20060025981A1 (en) | Automatic configuration of transaction-based performance models | |
| Benestad et al. | Assessing software product maintainability based on class-level structural measures | |
| JP2007272722A (ja) | 出店分析方法及び出店分析システム | |
| KR101030846B1 (ko) | 서비스 품질 지수 분석 시스템 및 방법 | |
| JP2006171817A (ja) | ウェブサイト評価システムおよび方法 | |
| Zhou et al. | A study of the critical factors that impact users satisfaction in ERP implementations in China | |
| Kaushik et al. | Empirical Evaluation of Microservices Architecture Check for updates | |
| da Silva et al. | Characterizing a synthetic workload for performance evaluation during the migration of a legacy system | |
| CN114969246A (zh) | 招聘大数据分析方法及系统 | |
| Lee et al. | Assessing information quality by six sigma method | |
| CN118171010A (zh) | 一种网页性能检测方法、装置及电子设备 | |
| Zayaraz et al. | Quantitative model for the evaluation of software architectures | |
| CN115271456A (zh) | 电力计量检定检测服务能力提升方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |