KR102223531B1 - 지능형 정보시스템 운영 성과 측정 방법 - Google Patents
지능형 정보시스템 운영 성과 측정 방법 Download PDFInfo
- Publication number
- KR102223531B1 KR102223531B1 KR1020180133183A KR20180133183A KR102223531B1 KR 102223531 B1 KR102223531 B1 KR 102223531B1 KR 1020180133183 A KR1020180133183 A KR 1020180133183A KR 20180133183 A KR20180133183 A KR 20180133183A KR 102223531 B1 KR102223531 B1 KR 102223531B1
- Authority
- KR
- South Korea
- Prior art keywords
- evaluation
- information system
- information
- measurement
- performance
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5032—Generating service level reports
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은, 운영되고 있는 정보시스템의 성과 측정을 위한 자동화된 수집 및 분석을 지원하는 플랫폼인 지능형 정보시스템 운영 성과 측정 방법에 관한 것이다. 본 발명은, 정보시스템을 평가하기 위한 평가기본정보가 등록되고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건이 설정되어, 운영 성과를 평가하기 위한 계획이 수립되도록 하는 계획단계; 정보시스템의 운영에 소요되는 비용이 평가되는 비용평가, 활용빈도와 활용유형이 판단되는 활용도 평가, 정보시스템의 장애와 관련된 측정지표가 산출되고, 사용자 만족도가 집계되어, 정보시스템의 품질이 평가되는 품질평가 및 정보시스템에 접속 또는 등록된 사용자수의 증감과 성과 목표의 달성 여부가 판단되는 업무성과 평가가 수행되도록 하는 평가단계; 및 평가단계 결과가 분석되고, 결과값이 수치로 환산되고, 환산기준에 따라 정보시스템이 적어도 하나 이상의 관리유형으로 분류되어, 운영 성과가 진단되도록 하는 분석 및 진단단계;가 포함된다.
본 발명에 따르면, 자동화된 플랫폼을 통해 운영되는 정보시스템을 원활히 분석할 수 있고, 정보시스템을 분석한 후에도 향후 지속적으로 성과정보를 수집하여 사용자에게 제공하여, 정보시스템의 운영 방안을 제시할 수 있는 이점이 있다.
본 발명에 따르면, 자동화된 플랫폼을 통해 운영되는 정보시스템을 원활히 분석할 수 있고, 정보시스템을 분석한 후에도 향후 지속적으로 성과정보를 수집하여 사용자에게 제공하여, 정보시스템의 운영 방안을 제시할 수 있는 이점이 있다.
Description
본 발명은, 지능형 정보시스템 운영 성과 측정 방법에 관한 것으로서, 특히, 운영되고 있는 정보시스템의 성과(成果) 측정을 위한 자동화된 수집 및 분석을 지원하는 플랫폼인 지능형 정보시스템 운영 성과 측정 방법에 관한 것이다.
일반적인 정보시스템의 성과 측정을 하는 프로그램의 경우, 업무관리는, 사람에 의해 진행되고, 측정 결과를 집계할 자동화된 플랫폼의 제공은, 서버 및 자동화 프로그램에 의해서 진행이 된다.
각 기관에서 운영하는 정보시스템의 성격과 규모, 특성이 모두 다르기 때문에, 모든 기관의 정보시스템에 동일하게 적용하는 것은 불가능하다. 따라서, 각 운영관리 요소별로 만들어진 세부지침을 참고하여, 각 기관에 맞도록 시스템의 운영관리를 평가하는 내용을 정립할 필요가 있다.
이와 관련, 종래의 한국공개특허 제2000-0072475호(기업 정보관리 서비스 시스템 및 그 방법)는, 기업정보의 활용영역을 대외적으로 넓혀 줌으로써, 관련기관에 대한 기업정보의 신뢰성을 높여주는 동시에, 정보의 투명성에 대한 가치를 얻어, 이로부터 기업 신용관리, 전자금융서비스 등과 같은 금융분야에서 기업이익을 창출할 수 있도록 하기 위한, 정보관리 서비스 시스템 및 방법을 개시하고 있다.
다만, 상기 종래의 정보관리 서비스 시스템 및 방법은, 정보시스템의 성과를 측정하기 보다는, 정보시스템을 운영하기 위한 방법에만 국한되어 있어, 실질적으로 운영되는 정보시스템이 잘 운영이 되고 있는지, 운영 성과를 평가할 수 없는 문제점이 있다.
본 발명은, 상기와 같은 문제점을 해결하기 위해, 운영되는 정보시스템의 성과를 자동으로 측정하는 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명은, IT서비스를 제공하는 정보시스템의 운영 성과를 측정 플랫폼에 의해 평가, 분석 및 진단하는 지능형 정보시스템 운영성과 측정 방법에 있어서, 상기 측정 플랫폼에 정보시스템을 평가하기 위한 현황정보, 비용정보, 투입요소정보, 성과 목표를 포함하는 평가기본정보가 등록되고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건이 설정되어, 운영 성과를 평가하기 위한 계획이 수립되도록 하는 계획단계; 상기 측정 플랫폼에 의해 정보시스템의 운영에 소요되는 비용이 평가되는 비용평가, 상기 정보시스템의 활용빈도와 활용유형이 판단되는 활용도 평가, 정보시스템의 장애와 관련된 측정지표가 산출되고, 사용자 만족도가 집계되어, 정보시스템의 품질이 평가되는 품질평가 및 정보시스템에 접속 또는 등록된 사용자수의 증감과 성과 목표의 달성 여부가 판단되는 업무성과 평가가 수행되도록 하는 평가단계; 및 상기 측정 플랫폼에 의해 평가단계 결과가 분석되어, 결과값이 수치로 환산되고, 환산기준에 따라 정보시스템이 적어도 하나 이상의 관리유형으로 분류되어, 운영 성과가 진단되도록 하는 분석 및 진단단계;를 포함하는 지능형 정보시스템 운영 성과 측정 방법을 제공한다.
바람직하게, 계획단계에는, 평가기본정보가 내부시스템 연동/연계를 통해 자동 입력되거나, 또는 입력대상 정보가 기입된 현황문서가 취합되어, 정보시스템이 제공하는 입력항목의 입력기준에 따라 수동 입력되도록 하는 평가기본정보 등록단계; 및 정보시스템의 측정 시기 및 측정 기준이 입력되고, 비용평가, 활용도 평가, 품질평가, 업무성과평가, 관리유형결정의 각 단계의 일정이 설정되도록 하는 평가계획 수립단계;가 더 포함될 수 있다.
바람직하게, 평가단계 중 비용평가 단계에는, 정보시스템의 초기 개발비, 추가 개발비, 유지보수비 및 운영비를 포함하는 비용정보가 입력되는 단계; 및 비용정보를 입력받아 정보시스템의 운영의 적정성, 유지의 용이성, 비용의 효율성이 판단되어, 기 설정된 평가기준에 따라 환산점수가 산출되는 단계;가 더 포함될 수 있다.
바람직하게, 평가단계 중 활용도 평가단계에는, 정보시스템의 활용도 측정을 위한 기능이 분류되어, 기 설정된 평가기준에 따라 기능의 활용빈도가 저빈도, 중빈도, 고빈도 또는 이벤트로 분류되는 단계; 및 정보시스템이 소정의 기간 동안 테스트되어, 기능에 대한 방문수(클릭수) 및 활용 시간이 기 설정된 평가기준에 따라, 미활용, 저활용 또는 활용으로 분류되는 단계;가 더 포함될 수 있다.
바람직하게, 평가단계 중 품질평가 단계에는, 정보시스템의 시스템품질과 서비스품질이 평가되고, 시스템품질은, 정보시스템의 장애와 복구에 관련된 장애 데이터를 기준으로 평가되며, 서비스품질은, 정보 처리를 위해 운영에 요구되는 기 설정된 응답 데이터를 기준으로 평가되는 단계; 및 시스템품질과 서비스품질의 평가 결과가 집계되어, 품질평가의 결과가 수치로 환산되는 단계;가 더 포함될 수 있다.
바람직하게, 평가단계에는, 정보시스템이 클라이언트/서버, 웹, 데이터베이스, 모바일 앱이 포함되는 시스템의 유형에 따라 구분되는 단계; 및 기능정보 수집기 및 성과진단 에이전트를 통해 정보시스템에서 각 기능 및 성과가 수집되는 단계;가 더 포함될 수 있다.
바람직하게, 기능정보 수집기는, 정보시스템의 대표 URL 또는 수집을 위한 하위 URL을 입력받고, 웹페이지의 하이퍼링크와 메뉴명을 인식 또는 추출하여, 추출된 데이터를 파싱하고, 메뉴ID를 자동 생성하여, 계층구조로 데이터를 저장할 수 있다.
바람직하게, 성과진단 에이전트는, 정보시스템의 각 기능이 활용되는 성과정보를 수집하며, 지속적으로 성과정보가 수집되는지 모니터링할 수 있다.
바람직하게, 분석 및 진단단계에는, 평가단계의 결과값이 비용측면과 업무측면으로 구분하여 산출되는 단계; 및 정보시스템의 관리유형이 비용측면과 업무측면의 결과값에 따라 재개발, 유지, 기능고도화 또는 폐기 등으로 나뉘어 관리 유형이 결정하는 단계;가 더 포함될 수 있다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 자동화된 플랫폼을 통해 운영되는 정보시스템(기능)을 원활히 분석할 수 있는 이점이 있다.
또한 본 발명은, 정보시스템(기능)을 분석한 후에도 향후 지속적으로 성과정보를 수집하여 사용자에게 제공함으로써, 정보시스템의 운영 방안을 제시할 수 있는 이점이 있다.
도 1은, 본 발명에 따른 지능형 정보시스템 운영 성과 측정 방법의 순서도를 나타낸다.
도 2는, 본 발명의 실시예에 따른 평가기본정보 등록단계의 순서도를 나타낸다.
도 3은, 본 발명의 실시예에 따른 평가계획 수립단계의 순서도를 나타낸다.
도 4는, 본 발명의 실시예에 따른 평가단계 중 비용평가단계의 순서도를 나타낸다.
도 5는, 본 발명의 실시예에 따른 평가단계 중 활용도 평가단계의 순서도를 나타낸다.
도 6은, 본 발명의 실시예에 따른 평가단계 중 품질평가단계의 순서도를 나타낸다.
도 7은, 본 발명의 실시예에 따른 평가단계 중 업무성과 평가단계의 순서도를 나타낸다.
도 8은, 본 발명의 실시예에 따른 관리유형 결정단계의 순서도를 나타낸다.
도 9는, 본 발명의 실시예에 따른 분석 및 진단단계의 순서도를 나타낸다.
도 10은, 본 발명의 실시예에 따른 기능정보 수집기(크롤러)에서 기능수집을 하는 예시 순서도를 나타낸다.
도 11은, 본 발명의 실시예에 따른 성과진단 에이전트에서 성과정보를 수집하는 예시 순서도를 나타낸다.
도 12는, 본 발명의 실시예에 따른 정보시스템 부하를 고려한 측정데이터 이관의 예시 순서도를 나타낸다.
도 13은, 본 발명의 여러 실시예의 예시 구성 및 순서도를 나타낸다.
도 2는, 본 발명의 실시예에 따른 평가기본정보 등록단계의 순서도를 나타낸다.
도 3은, 본 발명의 실시예에 따른 평가계획 수립단계의 순서도를 나타낸다.
도 4는, 본 발명의 실시예에 따른 평가단계 중 비용평가단계의 순서도를 나타낸다.
도 5는, 본 발명의 실시예에 따른 평가단계 중 활용도 평가단계의 순서도를 나타낸다.
도 6은, 본 발명의 실시예에 따른 평가단계 중 품질평가단계의 순서도를 나타낸다.
도 7은, 본 발명의 실시예에 따른 평가단계 중 업무성과 평가단계의 순서도를 나타낸다.
도 8은, 본 발명의 실시예에 따른 관리유형 결정단계의 순서도를 나타낸다.
도 9는, 본 발명의 실시예에 따른 분석 및 진단단계의 순서도를 나타낸다.
도 10은, 본 발명의 실시예에 따른 기능정보 수집기(크롤러)에서 기능수집을 하는 예시 순서도를 나타낸다.
도 11은, 본 발명의 실시예에 따른 성과진단 에이전트에서 성과정보를 수집하는 예시 순서도를 나타낸다.
도 12는, 본 발명의 실시예에 따른 정보시스템 부하를 고려한 측정데이터 이관의 예시 순서도를 나타낸다.
도 13은, 본 발명의 여러 실시예의 예시 구성 및 순서도를 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여, 본 발명을 상세히 설명한다. 다만, 본 발명이, 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는, 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는, 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략하기로 한다.
도 1은, 본 발명에 따른 지능형 정보시스템 운영 성과 측정 방법의 순서도를 나타낸다. 도 1을 참조하면, 본 발명은, 계획단계(S10), 평가단계(S30) 및 분석 및 진단단계(S50)를 포함할 수 있다.
계획단계(S10)는, 정보시스템을 평가하기 위한 현황정보, 비용정보, 투입요소정보, 성과 목표를 포함하는 평가기본정보를 등록하고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건을 설정하여, 운영 성과를 평가하기 위한 계획을 수립하는 단계이다.
계획단계(S10)는, 평가기본정보를 내부시스템 연동/연계를 통해 자동 입력하거나, 또는 입력대상 정보가 기입된 현황문서를 취합하여, 정보시스템이 제공하는 입력항목의 입력기준에 따라 수동 입력하는 평가기본정보 등록단계(S101); 및 정보시스템의 측정 시기 및 측정 기준을 입력하고, 비용평가, 활용도 평가, 품질평가, 업무성과평가, 관리유형결정의 각 단계의 일정을 설정하는 평가계획 수립단계(S102);를 포함할 수 있다.
계획단계(S10)는, 정보시스템 성과측정 담당자가 본 시스템에 로그인 후, 측정 준비로부터 시작될 수 있다. 성과측정 담당자는, 소속된 조직이 운영하고 있는 정보시스템의 현황을 파악하고, 평가를 위한 기본정보를 등록한다.
평가기본정보는, 정보시스템 현황정보, 비용정보, 투입요소정보, 정보시스템 성과목표 등록, 고객(사용자)정보를 포함할 수 있다. 성과측정 담당자는, 등록된 정보시스템 중 측정대상 시스템의 선정조건을 설정한 후, 선정된 측정대상 시스템에 대한 측정계획을 수립한다.
평가단계(S30)는, 정보시스템의 운영에 소요되는 비용평가(S301), 활용빈도와 활용유형을 판단하는 활용도 평가(S302), 상기 정보시스템의 장애와 관련된 측정지표를 산출하고, 사용자 만족도를 집계하여, 상기 정보시스템의 품질을 평가하는 품질평가(S303) 및 정보시스템에 접속 또는 등록된 사용자수의 증감과 성과 목표의 달성 여부를 판단하는 업무성과 평가(S304)를 수행하는 단계이다.
성과측정 담당자는, 입력된 평가기본정보 중 비용정보를 활용하여, 비용평가(S301)를 실시한다. 비용평가(S301)시 평가기준은, 당해년도 비용평가기준설정에 따라 평가한다. 성과측정 담당자는, 각 측정대상 시스템의 활용도를 평가한다. 평가시, 측정대상 시스템의 유형(Web, DB, Mobile 앱, C/S)에 따라, 정보시스템의 기능정보를 수집하는 기능정보 수집기(10) 및 성과진단 에이전트(20)를 달리하도록 설정할 수 있다.
활용도 평가(S302)를 위해서는, 각 정보시스템의 기능목록의 수집이 선행되며, 측정대상 기능의 완전성이 보장되어야 한다. 대부분의 시스템이, 기능목록을 보유하고 있지 않거나, 문서의 형태로 보유하거나, 또는 보유하더라도 버전관리가 어려워, 최신 기능목록을 확보하는데 어려움이 있다.
이를 위하여, 기능정보 수집기(10)를 통해 각 시스템의 기능목록을 확보하고, 이를 한글로 표현된 기능명칭과 매칭하여, 손쉽게 완전한 기능목록을 확보할 수 있다. 모바일 앱의 경우는, 웹 시스템과 유사한 기능정보 수집기(10)를 활용할 수 있다. DB(데이터 제공형 시스템)유형의 시스템은, DB카탈로그 기능정보 수집기(10)를 활용한다.
활용도 측정을 위한 기능이 확보된 후, 각 시스템의 특성에 따른 성과진단 에이전트(20)가 구동되어, 활용도 측정 데이터를 수집하고, 측정규칙에 따라 측정데이터를 저장할 수 있다. 최종 측정결과를 모니터링하고, 예외상황 발생시 또는 각 기능별 특성을 반영하여, 측정결과를 보정할 수 있다.
성과측정 담당자는, 활용도 측정과 병행하여, 품질평가(S303)를 실시할 수 있고, 품질평가(S303)는 정보시스템 품질(시스템품질과 서비스품질)과 사용자 만족도 측정으로 구성될 수 있다. 최종적으로 시스템품질과 서비스품질의 측정값을 각각의 가중치에 따라 합산하여, 최종 품질평가 점수를 자동 산정할 수 있다.
정보시스템 품질은 다시, 시스템품질과 서비스품질로 구성된다. 성과측정 담당자는, 시스템품질 측정을 위한 측정지표 및 기준(예:기능별 응답시간, 평균 응답시간 등)을 설정한다. 성과측정 담당자는, 시스템품질 측정을 위한 성과진단 에이전트(20)의 가동여부를 확인하고, 모니터링하며, 측정주기에 따라 측정값을 확인한다.
서비스품질은, 전반적인 서비스제공의 품질을 확인하는 것으로, 서비스의 안정성을 판단하기 위한 지표이다. 이를 위하여, 성과측정 담당자는, 측정지표 및 기준(예:다운타임, 복구시간 등)을 설정하고, 서비스품질 측정을 위한 성과진단 에이전트(20)의 가동여부를 확인하고, 모니터링하며, 측정주기에 따라 측정값을 확인한다.
서비스품질은, 전반적인 서비스제공의 품질을 확인하는 것으로, 서비스의 안정성을 판단하기 위한 지표이다. 이를 위하여, 성과측정 담당자는, 측정지표 및 기준(예:다운타임, 복구시간 등)을 설정하고, 서비스품질 측정을 위한 성과진단 에이전트(20)의 가동여부를 확인하고, 모니터링하며, 측정주기에 따라 측정값을 확인한다.
성과측정 담당자는, 업무성과평가 측정을 위하여 두 가지 측정방식을 택할 수 있다.
첫째, 자동화된 방식으로서, 평가기본정보 등록시 설정된 측정대상 시스템의 사용자수를 기준으로 측정할 수 있다. 이를 위하여, 성과진단 에이전트(20)로부터 수집된 로그를 분석하여, 방문자수, 순방문자수, 방문자수 증가량 등의 데이터를 추출하고, 최초 등록된 사용자수를 기준으로, 증가 여부를 확인/측정한다.
둘째, 문서를 통한 방식으로서, 각 시스템의 업무성과 목표치에 대한 달성여부를 보고서(문서)로 접수받고, 이를 토대로 성과 달성도를 측정하여, 측정값을 입력한다.
두 가지 방식으로 측정된 값을 단일 또는 모두 반영할 수 있으며, 전년대비 달성도를 비교 또는 성과달성 증가분을 통해, 업무성과평가 결과값을 도출한다.
두 가지 방식으로 측정된 값을 단일 또는 모두 반영할 수 있으며, 전년대비 달성도를 비교 또는 성과달성 증가분을 통해, 업무성과평가 결과값을 도출한다.
분석 및 진단단계(S50)는, 평가단계(S30) 결과를 분석하여, 결과값을 수치로 환산하고, 환산기준에 따라 정보시스템을 적어도 하나 이상의 관리유형으로 분류하여, 운영 성과를 진단하는 단계이다.
성과측정 담당자는, 최종적으로 관리유형을 결정하기 위하여, 비용평가값의 평균값을 최종 비용측면평가 결과값으로 하고, 활용도 평가, 품질평가, 업무성과평가값의 합의 평균값을 최종 업무측면평가 결과값으로 결정한다. 성과측정 담당자는, 두 개의 값을 이용하여, 관리유형결정 모델에 따라, 관리유형(폐기, 통폐합, 재개발, 유지)을 결정할 수 있다.
성과측정 담당자는, 최종적으로 관리유형을 결정하기 위하여, 비용평가값의 평균값을 최종 비용측면평가 결과값으로 하고, 활용도 평가, 품질평가, 업무성과평가값의 합의 평균값을 최종 업무측면평가 결과값으로 결정한다. 성과측정 담당자는, 두 개의 값을 이용하여, 관리유형결정 모델에 따라, 관리유형(폐기, 통폐합, 재개발, 유지)을 결정할 수 있다.
성과측정 담당자는, 관리유형결정(S501)을 위한 모델 적용 시 기준값을 3점 기준, 기관평균, 전체평균 등의 실시예로 설정할 수 있다. 성과측정 담당자는, 관리유형결정을 위한 최종 의사결정을 위하여, 분석 및 진단기능을 위하여, 대상시스템에 대한 다양한 분석진단을 수행하고, 최종 관리유형을 결정한다.
분석 및 진단을 위하여, 시스템에서 확보한 다양한 정보의 다차원적인 분석기능을 제공한다. 성과측정 담당자는, 분석결과를 반영하여, 최종 관리유형을 결정한다. 최초 측정한 결과가 변경될 경우, 의사결정에 영향을 미친 분석진단 결과물을 최종결과에 첨부할 수 있도록 제공한다
삭제
삭제
도 2 내지 도 9는, 도 1을 세분화하여 설명하기 위한 도면이고, 각 도면에 따라 이하 설명한다.
도 2는, 본 발명의 실시예에 따른 평가기본정보 등록단계의 순서도를 나타낸다. 도 2를 참조하면, 성과측정 담당자는, 측정을 위한 기본정보를 입력하면서 등록을 시작한다.
평가기본정보의 등록(S101)에는, 두 가지 방법이 있다. 첫째로, 각 입력대상 정보를 보유하고 있는 내부시스템이 있는 경우, 내부시스템 연동/연계를 통한 자동 입력방식(도 2의 중간 좌측)과, 둘째로, 내부시스템이 없는 경우, 입력대상 정보가 기입된 현황문서를 취합하고, 이를 시스템이 제공하는 입력항목의 입력 기준에 따라 수동 입력하는 방식(도 2의 중간 우측)이다.
정보시스템 현황정보는, 측정대상 정보시스템에 대한 개요(시스템명, 영문명, 개발기간, 도입시기, 운영시작일, 유지보수 시작일, 시스템 유형<웹, 모바일 앱, DB서비스, C/S>, 기능수집 대표 URL 등의 기능체계를 완성하기 위한 포인트 정보, 수집주기)에 해당하는 정보이다.
비용정보는, 최초 구축비, 추가 구축비, 유지보수비를 포함한다. 정보시스템 비용정보의 구성항목은, 컨설팅비, 구축인건비, H/W 도입비, S/W 도입비, 네트워크 운영비를 포함할 수 있고, 조직의 정보시스템 운영비용 산정체계에 따라 입력하되, 연도별로 구분하여 입력한다.
투입요소정보는, 구축 및 운영에 참여한 개발회사 및 인력에 대한 정보이다. 회사정보, 투입인력 정보, 투입인력 등급, 투입기간이 이에 해당한다.
정보시스템 성과목표 정보는, 정보시스템이 달성하여야 하는 성과목표를 설정하는 기능이다. 기존에 BSC 등과 같은 성과관리 시스템이 있을 경우, 연동/연계할 수 있으나, 정보시스템 단위로 성과목표가 설정되어 있지 않을 경우, 수작업을 통해 입력할 수 있다. 성과목표 정보는, 성과영역, 성과지표, 측정방법, 측정주기, 측정담당자로 구성된다.
고객(사용자)정보는, 측정대상 시스템의 최종 사용자가 누구이며, 몇 명이 이를 사용하는지 계량화한 값이다. 국가기관의 경우, 통계청 등 다양한 Open Data를 활용하여, 당 시스템이 제공하는 Open Data 범용 사용자 정보를 제공(도 2 하단 좌측)하며, 사용자는 이를 참고하여 입력할 수 있다.
도 3은, 본 발명의 실시예에 따른 계획수립 단계(S102)의 순서도를 나타낸다.
성과측정 담당자는, 평가기본정보에 입력된 정보를 활용하여, 평가계획을 수립한다. 평가조건 설정은, 성과측정 대상 시스템을 선정하고, 측정일정 및 측정담당자를 지정하며, 성과목표, 비용정보 등의 평가기본정보를 확인할 수 있다. 대상 시스템은, 구축 및 운영과 동시에 측정 가능하다.
측정시기는, 즉시측정, 일정기간 후 측정(예: 구축 후 3년/5년), 비용정보측면에서는, 구축 및 운영비의 통합비용이 일정금액 이상만 측정할 것인지 등 조건을 설정할 수 있다.
성과측정 담당자는, 설정된 측정기준에 해당하는 정보시스템을 조회하여, 측정계획을 수립한다. 평가계획 수립은, 준비, 비용평가(S301), 활용도 평가(S302), 품질평가(S303), 업무성과평가(S304), 관리유형결정(S501)의 각 단계의 일정을 설정할 수 있다.
각 대상시스템의 일몰조건이 도래한 경우, 평가계획에 반영하지 않고, 폐기로 평가결과를 정할 수 있다. 각 평가일정에 대한 진행여부를 모니터링하여 계획대비 진척사항을 모니터링한다.
도 4는, 본 발명의 실시예에 따른 평가단계(S30) 중 비용평가단계(S301)의 순서도를 나타낸다. 도 4를 참조하면, 비용평가(S301)는, 정보시스템의 초기 개발비, 추가 개발비, 유지보수비 및 운영비를 포함하는 비용정보를 입력받는 단계; 및 비용정보를 입력받아 정보시스템의 운영의 적정성, 유지의 용이성, 비용의 효율성을 판단하여, 기 설정된 평가기준에 따라 환산점수를 산출하는 단계;를 포함할 수 있다.
성과측정 담당자는, 입력된 평가기본정보 중 비용정보를 활용하여, 비용평가(S301)를 수행한다. 비용평가를 위하여, 초기 개발비, 추가 개발비, 유지보수비, 운영비 등의 정보를 활용한다. 비용평가 영역은, 운영의 적정성, 유지의 용이성, 비용의 효율성으로 구성된다.
표 1을 참조하면, 운영의 적정성은, 누적된 유지보수비가 총 개발비의 일정 비율을 초과한 경우, 비용개선을 위한 노력이 필요한지를 판단하기 위한 항목이며, 유지의 용이성은, 투입운영/유지비의 증감 수준을 분석하여, 정보시스템이 비용 효율적 구조를 유지하고 있는지를 판단하는 항목이다. 비용의 효율성은, 정보시스템의 활용규모 대비 비용 효율적 구조를 유지하고 있는지를 판단하는 항목이다.
<비용평가 환산점수 예>
각 영역의 지표는, 다음의 이름으로 지표로 정의된다. 운영의 적정성(누적 유지보수 비율), 유지의 용이성(투입운영 유지비용 비율 증감률), 비용의 효율성(평균운영 유지비용 비율 증감률) 등.
성과측정 담당자는, 비용평가 결과값을 이용하여, 점수를 환산할 수 있다.
성과측정 담당자는, 비용평가 결과값을 이용하여, 점수를 환산할 수 있다.
환산기준을 적용하는데 있어, 정책적인 가이드에 따른 환산을 적용할 수 있으며, 자체적인 기준을 적용할 수도 있다. 환산기준은, DB로 관리되어, 유연하게 적용한다.
기관 자체적인 환산기준을 적용하기 위하여, 보유하고 있는 모든 정보시스템의 구축비, 운영비, 유지보수비 등 측정에 필요한 각 데이터를 산출하여, 구간값을 설정하여, 정의할 수도 있다.
도 5는, 본 발명의 실시예에 따른 평가단계(S30) 중 활용도 평가단계(S302)의 순서도를 나타낸다. 도 5를 참조하면, 활용도 평가(S302)는, 정보시스템의 운영시 활용되는 각각의 기능을 분류하여, 기 설정된 평가기준에 따라, 기능의 활용빈도를 저빈도, 중빈도, 고빈도 또는 이벤트로 분류하는 단계; 및 정보시스템을 소정의 기간동안 테스트하여 기능에 대한 방문수(클릭수) 및 활용시간을 기 설정된 평가기준에 따라, 미활용, 저활용 또는 활용으로 분류하는 단계;를 포함할 수 있다.
도 5를 참조하면, 평가단계(S30)는, 정보시스템을 클라이언트/서버, 웹, 데이터베이스, 모바일앱을 포함하는 시스템의 유형에 따라 구분하는 단계와, 정보시스템에서 기능정보 수집기(10) 및 성과진단 에이전트(20)를 통해 각 기능 및 성과를 수집하는 단계;를 포함할 수 있다.
성과측정 담당자는, 평가기본정보에 입력된 정보시스템 및 평가계획에서 설정된 대상 시스템의 현황을 확인한다. 대상 시스템의 유형(웹, 모바일앱, DB, C/S)을 고려하여, 측정대상 시스템의 측정대상 기능목록 정보가 확보되어 있는지 확인한다.
성과측정 담당자는, 평가기본정보에 입력된 정보시스템 및 평가계획에서 설정된 대상 시스템의 현황을 확인한다. 대상 시스템의 유형(웹, 모바일앱, DB, C/S)을 고려하여, 측정대상 시스템의 측정대상 기능목록 정보가 확보되어 있는지 확인한다.
측정대상 시스템의 기능이 확보되어 있으며, 현재 유효한 정보로 판단되면, 측정방식 설정을 실시한다. 측정대상 시스템의 기능이 확보되어 있지 않은 경우, 각 시스템의 유형에 적합한 기능정보 수집기를 구동하여, 전체 목록을 확보할 수 있도록 한다.
측정대상 시스템이 이전에 측정한 기록이 있는 경우, 미 매핑 기능이 있는지 확인한 후, 매핑 작업을 실시한다. 측정대상 기능이 모두 확보된 후, 성과측정 담당자는, 각 기능별 빈도유형, 활용유형의 특성을 설정 후, 측정대상 시스템의 측정주기를 설정한다. 빈도유형은, 저빈도, 중빈도, 고빈도, 이벤트로 구분할 수 있으며, 활용유형은, 미활용, 저활용, 활용으로 구분될 수 있다.
활용유형 결정을 위하여, 일정기간 동안 테스트 측정기간을 두고, 성과진단 에이전트(20)로부터 수집된 활용도 평가를 토대로, 통계적 방식을 적용하여, 정규분포 내 비율로 정의할 수 있다.
각 기능의 활용도 측정의 정확도 제고를 위하여, 테스트 기간 내 발생한 Outlier를 식별하고, 해당 범위의 데이터를 제거할 수 있도록 설정할 수 있다. 각 측정결과를 통해, 각 기능의 활용도를 확정하고, 활용과 저활용 기능의 수를 전체 기능 수 대비 비율로 환산하여, 활용도를 평가한다.
저활용 기능은, 활용기능 대비 일정비율로 정의하여 계산한다. 각 기능의 활용여부는, 성과진단 에이전트(20)로부터 수집되는 각 기능의 방문수(클릭수), 머문 시간 등으로 판단한다.
도 6은, 본 발명의 실시예에 따른 평가단계(S30) 중 품질평가단계(S303)의 순서도를 나타낸다. 도 6을 참조하면, 품질평가(S303)는, 정보시스템의 시스템품질과 서비스품질을 평가하는데, 시스템품질은, 상기 정보시스템의 장애와 복구에 관련된 장애 데이터를 기준으로 평가하며, 서비스품질은, 정보처리를 위해 운영에 요구되는 기 설정된 응답 데이터를 기준으로 평가하는 단계; 및 시스템품질과 서비스품질의 평가 결과를 집계하여, 품질평가의 결과를 수치로 환산하는 단계;를 포함할 수 있다.
성과측정 담당자는, 측정대상 정보시스템의 품질평가를 위하여, 정보시스템 품질평가와 사용자 만족도 측정을 실시한다. 정보시스템 품질평가는, 시스템품질과 서비스품질로 구성된다.
시스템품질 측정은, 최종 사용자를 위하여, 정보시스템이 안정적으로 서비스를 제공하는지에 대한 품질을 측정하는 것으로서, 성과진단 에이전트(20)로부터 수집된 데이터를 가공하여 측정한다.
시스템품질 측정지표의 예는, 시스템 장애시간, 장애복구 소요시간, 시스템 가동률, 장애 발생건수, 장애 복구시간 등이 있으며, 서비스품질 평가는, 시스템이 사용 가능한 상태로 어느 정도 요구되는 성과를 제공하는지를 측정한다.
서비스품질 측정지표 예는, 응답시간, 응답시간 변동률 등이 있으며, 성과측정 담당자는, 각 정보시스템이 보유하고 있는 측정대상 기능 중, 특정 기능을 선택적으로 측정할 수 있다.
시스템품질 평가는, 측정대상 시스템의 전체적 운영품질을 측정하고, 서비스품질 평가는, 특정기능의 품질을 측정할 수도 있으며, 전체 대상기능을 측정할 수도 있다. 각 측정값은, 구간별 환산표를 활용하여, 5점 척도로 환산될 수 있다.
사용자 만족도 측정은, 실제 사용자의 체감 만족도를 설문 또는 해당 기능별 응답 결과를 집계하여 측정한다. 성과측정 담당자는, 온라인 설문측정을 위하여, 측정대상 정보시스템의 특성에 맞도록 설문을 구성하고, 시스템 내에 저장된 사용자에게 설문을 발송하고, 응답된 설문결과를 집계하여, 통계 처리한다. 전체적인 통계결과는, 5점 만점의 품질평가 결과로 환산될 수 있다.
도 7은, 본 발명의 실시예에 따른 평가단계(S30) 중 업무성과 평가단계(S304)의 순서도를 나타낸다. 도 7을 참조하면, 업무성과평가(S304)는, 업무성과 목표와 고객수가 포함된 평가기본정보를 바탕으로, 업무성과 평가 결과서를 접수하고, 사용자 정보를 바탕으로 평가결과 집계 및 최종점수를 부여할 수 있다.
성과측정 담당자는, 업무성과평가 측정을 위하여, 두 가지 측정방식을 택할 수 있다. 특히, 정보시스템의 활용성에 직접적 지표로 볼 수 있는 사용자수 증가여부를 측정하는 것이 중요하다.
첫째, 자동화된 방식으로서, 평가기본정보 등록시 설정된 측정대상 시스템의 사용자수를 기준으로 측정할 수 있다. 이를 위하여, 성과진단 에이전트(20)로부터 수집된 로그를 분석하여, 방문자수, 순방문자수, 방문자수 증가량 등의 데이터를 추출하고, 최초 등록된 사용자수를 기준으로 증가 여부를 확인/측정한다. 측정결과값이 전년 사용자수 대비 얼마나 증가하였는지를 비율로 환산하고, 이를 환산기준표에 따라, 5점 만점 점수로 환산하여, 최종점수를 부여한다.
둘째, 문서를 통한 방식으로서, 각 시스템의 업무성과 목표치에 대한 달성여부를 보고서(문서)로 접수받고, 이를 토대로 성과 달성도를 측정하여, 측정값을 입력한다. 전년대비 성과달성 증가율을 측정하여, 이를 환산기준표에 따라, 5점 만점 점수로 환산하여, 최종 점수로 부여한다.
두 가지 방식으로 측정된 값을 단일 또는 모두 반영할 수 있으며, 전년대비 달성도를 비교 또는 성과달성 증가분을 통해, 업무성과 평가 결과값을 도출한다. 두 개의 최종값을 평균 또는 가중 평균하여 적용할 수 있다.
도 8은, 본 발명의 실시예에 따른 관리유형 결정단계(S501)의 순서도를 나타낸다. 도 8을 참조하면, 평가결과를 집계하여, 이를 시뮬레이션을 통해, 평가결과를 확정함으로써, 관리유형을 결정할 수 있다.
성과측정 담당자는, 비용평가, 활용도 평가, 품질평가, 업무성과 평가 결과의 모든 결과를 집계하고, 환산기준에 따라, 정확히 측정결과를 나타내고 있는지 확인한다.
표 2는, 평가 매트릭스의 예를 나타낸다. 평가결과는, 비용측면, 업무측면으로 나누어, 평가 매트릭스의 좌표값(5점 기준)에 따라 위치시킨다. 평가 매트릭스에 나타난 위치에 따라, 평가결과를 시뮬레이션하여, 전체 측정대상 시스템이 적절히 평가되었는지 확인한다.
표 3은, 점수표의 예를 나타낸다. 평가결과가 부적합하다고 판단된 시스템의 경우, 원인 파악을 위해, 표 3과 같이 전체 점수표를 레이더차트 등의 형태로 각 시스템의 평가결과를 확인하고, 해당 영역의 평가데이터 및 결과값을 확인하여, 최종적으로 확정할 수 있다.
도 9는, 본 발명의 실시예에 따른 분석 및 진단단계(S502)의 순서도를 나타낸다. 도 9를 참조하면, 분석 및 진단단계(S502)는, 평가단계(S30)의 결과값을 비용측면과 업무측면으로 구분하여 산출하는 단계; 및 정보시스템의 관리유형을 비용측면과 업무측면의 결과값에 따라, 재개발, 유지, 기능고도화 또는 폐기 등으로 나누어, 관리 유형을 결정하는 단계;를 포함할 수 있다.
표 4는, 분석 프레임워크의 실시예를 나타낸다. 성과측정 담당자는, 관리유형 결정결과를 확인하여, 측정결과가 적절치 않다고 판단한 경우, 전체적이고 세부적인 분석과 진단을 수행한다.
분석 프레임워크에 따른 종합분석과 정보시스템별 개별분석 및 진단결과에 따라, 관리유형 결정결과의 변경이 필요한 경우, 해당 분석결과를 저장하여, 근거자료로 만들 수 있고, 이를 제시하고, 최종적인 관리유형 결정을 변경할 수 있다.
도 10은, 본 발명의 실시예에 따른 기능정보 수집기(10, 크롤러)에서 기능수집을 하는 예시 순서도를 나타낸다. 도 10을 참조하면, 기능정보 수집기(10)는, 정보시스템의 대표 URL 또는 수집을 위한 하위 URL을 입력하고, 웹페이지의 하이퍼링크와 메뉴명을 인식 또는 추출하여, 추출된 데이터를 파싱하고, 메뉴ID를 자동 생성하여, 계층구조로 데이터를 저장할 수 있다.
성과측정 담당자는, 측정대상 정보시스템의 기능 활용도 측정 등에 활용하기 위하여, 완전한 기능목록을 확보하여야 한다. 특히, 폐쇄망에서의 기능을 수집하기 위하여, 기능정보 수집기를 별도로 설치 후, 연계/연동을 통한 기능정보 수집업무를 지원한다.
성과측정 담당자는, 측정대상 시스템의 대표 URL 또는 수집을 위한 하위 URL을 입력하고, 웹페이지(html, 문서 등) 글로벌 메뉴(GMB: Global Menu Bar)의 모든 하이퍼링크와 메뉴명을 인식하고, 추출할 수 있다. 이는, 업무기능별 URL 매핑이 목적이며, 자동으로 추출된 데이터를 파싱하고, 메뉴ID를 자동 생성하여, 계층구조로 데이터를 저장한다. 구분된 계층구조의 연관된 상.하위 값을 배열하고 정리하여, 계층적 기능목록을 완성한다.
도 11은, 본 발명의 실시예에 따른 성과진단 에이전트(20)에서 성과정보를 수집하는 예시 순서도를 나타낸다. 도 11을 참조하면, 성과진단 에이전트(20)는, 정보시스템의 각 기능이 활용되는 성과정보를 수집하며, 지속적으로 성과정보가 수집되는지 모니터링할 수 있다.
성과측정 담당자는, 정확한 활용 성과 측정을 위하여, 측정대상 정보시스템의 유형에 따라, 성과정보를 수집할 수 있는 성과진단 에이전트(20)를 설치하여야 한다. 측정대상 정보시스템 유형은, 웹, 모바일 앱, DB, C/S로 구분되며, 각 유형이 결정된 후, 해당 성과진단 에이전트(20)를 측정대상 정보시스템에 설치하고, 구동한다. 향후, 지속적으로 성과정보가 수집되는지 모니터링한다.
도 12는, 본 발명의 실시예에 따른 정보시스템 부하를 고려한 측정데이터 이관의 예시 순서도를 나타낸다. 도 12를 참조하면, 본 프로그램이 적용되는 시스템의 성과측정 담당자는, 지속적인 성과측정을 위하여, 성과진단 에이전트(20)로부터 수집된 성과데이터를 분석서버로 이관하여야 한다.
이관시 부하를 고려하여, 이관에 따라 운영 중인 정보시스템의 서비스품질에 영향을 주어서는 안되기 때문에, 시스템은, 수집된 시스템 성능정보(CPU, Memory, Disk) 등을 고려하여, 최적 이관시간을 지속적으로 모니터링하고, 최적시간을 추천한다. 성과측정 담당자는, 최적 이관시간을 검토하여, 이관시간을 설정하고, 설정된 이관시간에 측정용 데이터를 이관한다.
도 13은, 본 발명의 여러 실시예의 예시 구성 및 순서도를 나타낸다. 본 지능형 정보시스템 운영성과 측정방법을 사용하는 경우, 여러 가지 기능을 수행할 수 있으며, 도 13은, 실시예가 적용될 수 있는 구성을 나타낸다.
도 13을 참조하면, 도 13 (a)는, 기능정보 수집기(10)를 통한 기능 URL 자동 수집 및 매핑, 도 13 (b)는, 자원활용도 측정을 통한 노후도 분석 AI를 통한 Transaction당 비용 분석, 도 13 (c)는, 자동화 방식을 통한 기능활용도 측정 및 유형결정 알고리즘을 나타낸다.
도 13 (a)는, 기능정보 수집기(10)를 통한 기능 URL 자동 수집 및 매핑의 내용으로서, 시스템의 대표 URL을 이용하여, 연결이 된 하이퍼링크를 모두 수집하고, 각 기능에 해당하는 목록 및 URL을 추출하여, 자동 배열하는 것을 나타낸다.
도 13 (b)는, 자원활용도 측정을 통한 노후도 분석 AI를 통한 Transaction당 비용 분석하는 내용으로서, CPU, Memory 등 시스템 활용의 실시간 측정과 AI 데이터를 활용하여, 시스템의 사용 추이를 측정함으로써, 시스템 노후도 및 운영비용에 대하여 자동으로 분석하는 과정을 나타낸다.
도 13 (c)는, 자동화 방식을 통한 기능활용도 측정 및 유형결정 알고리즘으로서, 시스템의 비용측면, 업무측면의 환산점수에 따라, 유지, 재개발, 기능고도화, 폐기검토를 결정하고, 폐기검토를 다시 재개발, 통폐합, 폐기로, 최종 유지관리유형 결정할 수 있는 기능이 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는, 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는, 설명한 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10 : 기능정보 수집기 20 : 성과진단 에이전트
Claims (10)
- IT서비스를 제공하는 정보시스템의 활용도를 포함하는 운영 성과를 측정 플랫폼에 의해 평가, 분석 및 진단하는 지능형 정보시스템 운영성과 측정 방법에 있어서,
상기 측정 플랫폼에 의해, 상기 정보시스템을 평가하기 위한 현황정보, 비용정보, 투입요소정보, 성과 목표를 포함하는 평가기본정보가 등록되고, 측정시기 또는 측정일정의 측정 기준을 포함하는 평가조건이 설정되어, 상기 운영 성과를 평가하기 위한 계획이 수립되는 계획단계;
상기 측정 플랫폼에 의해, 상기 정보시스템의 운영에 소요되는 비용이 평가되는 비용평가, 상기 정보시스템의 활용빈도와 활용유형이 판단되는 활용도 평가, 상기 정보시스템의 장애와 관련된 측정지표가 산출되고, 사용자 만족도가 집계되어, 상기 정보시스템의 품질이 평가되는 품질평가 및 상기 정보시스템에 접속 또는 등록된 사용자수의 증감과 상기 성과 목표의 달성 여부가 판단되는 업무성과 평가가 수행되는 평가단계; 및
상기 측정 플랫폼에 의해, 상기 평가단계의 결과가 분석되어, 결과값이 수치로 환산되고, 환산기준에 따라 상기 정보시스템이 적어도 하나 이상의 관리유형으로 분류되어, 운영 성과가 진단되는 분석 및 진단단계;
가 포함되고,
상기 평가단계에는,
상기 측정 플랫폼에 의해, 상기 정보시스템이 클라이언트/서버, 웹, 데이터베이스, 모바일 앱이 포함되는 시스템의 유형에 따라 구분되는 단계; 및
기능정보 수집기 및 성과진단 에이전트를 통해, 상기 정보시스템에서 활용도 측정을 위한 각 기능 및 성과가 수집되는 단계;
가 더 포함되며,
상기 기능정보 수집기는,
상기 측정대상 정보시스템의 기능이 확보되어 있지 않은 경우, 각 기능에 해당하는 목록 및 URL을 추출하여, 자동 배열함으로써, 전체 기능목록을 확보하기 위해, 각 시스템의 유형에 적합한 기능정보 수집기가 구동되어,
업무기능별 URL 매핑을 위해, 상기 정보시스템의 대표 URL 또는 수집을 위한 하위 URL을 입력받고,
한글로 표현된 기능명칭과 매칭하여 기능목록을 확보하기 위해,
웹페이지의 html 문서를 포함하는 문서의 글로벌 메뉴바(GMB)의 모든 하이퍼링크와 메뉴명을 인식 또는 추출하여,
자동으로 추출된 데이터를 파싱하고, 메뉴ID를 자동 생성하여,
구분된 계층구조의 연관된 상하위 값을 배열하고 정리하여, 계층적 기능목록을 완성하여, 계층구조로 데이터를 저장하고,
상기 성과진단 에이전트는,
상기 정보시스템의 각 기능이 확보된 후, 각 시스템의 특성에 따른 성과진단 에이전트가 구동되어, 각 기능이 활용되는 활용도 측정 데이터인 성과정보를 수집하고,
지속적으로 상기 성과정보가 수집되는지 모니터링하며,
최종 측정결과를 모니터링하고, 예외상황 발생시 또는 각 기능별 특성을 반영하여, 측정결과를 보정하도록 구성됨
을 특징으로 하는 지능형 정보시스템 운영 성과 측정 방법. - 청구항 1에 있어서,
상기 계획단계에는,
상기 측정 플랫폼에 의해, 상기 평가기본정보가 내부시스템 연동/연계를 통해 자동 입력되거나, 또는 입력대상 정보가 기입된 현황문서가 취합되어, 상기 정보시스템이 제공하는 입력항목의 입력기준에 따라 수동 입력되는 평가기본정보 등록단계; 및
상기 측정 플랫폼에 의해, 상기 정보시스템의 측정 시기 및 측정 기준이 입력되고, 상기 비용평가, 활용도 평가, 품질평가, 업무성과평가, 관리유형결정의 각 단계의 일정이 설정되는 평가계획 수립단계;
가 더 포함되는 지능형 정보시스템 운영성과 측정 방법. - 청구항 1에 있어서,
상기 평가단계 중 비용평가 단계에는,
상기 측정 플랫폼에 의해, 상기 정보시스템의 초기 개발비, 추가 개발비, 유지보수비 및 운영비를 포함하는 비용정보가 입력되는 단계; 및
상기 측정 플랫폼에 의해, 상기 비용정보를 입력 받아, 상기 정보시스템의 운영의 적정성, 유지의 용이성, 비용의 효율성이 판단되어, 기 설정된 평가기준에 따라 환산점수가 산출되는 단계;
가 더 포함되는 지능형 정보시스템 운영성과 측정 방법. - 청구항 1에 있어서,
상기 평가단계 중 활용도 평가단계에는,
상기 측정 플랫폼에 의해, 상기 정보시스템의 활용도 측정을 위한 기능이 분류되어, 기 설정된 평가기준에 따라, 상기 기능의 활용빈도가, 저빈도, 중빈도, 고빈도 또는 이벤트로 분류되는 활용빈도 분류단계; 및
상기 측정 플랫폼에 의해, 상기 정보시스템이 소정의 기간 동안 테스트되어, 상기 기능에 대한 방문수(클릭수) 및 활용 시간이 기 설정된 평가기준에 따라, 미활용, 저활용 또는 활용으로 분류되는 활용유형 분류단계;
가 더 포함되는 지능형 정보시스템 운영성과 측정 방법. - 청구항 1에 있어서,
상기 평가단계 중 품질평가 단계에는,
상기 측정 플랫폼에 의해, 상기 정보시스템의 시스템품질과 서비스품질이 평가되고, 상기 시스템품질은, 상기 정보시스템의 장애와 복구에 관련된 장애 데이터를 기준으로 평가되며, 상기 서비스품질은, 정보 처리를 위해 운영에 요구되는 기 설정된 응답 데이터를 기준으로 평가되는 단계; 및
상기 측정 플랫폼에 의해, 상기 시스템품질과 상기 서비스품질의 평가 결과가 집계되어, 품질평가의 결과가 수치로 환산되는 단계;
가 더 포함되는 지능형 정보시스템 운영성과 측정 방법. - 청구항 1에 있어서,
상기 분석 및 진단단계에는,
상기 측정 플랫폼에 의해, 상기 평가단계의 결과값이 비용측면과 업무측면으로 구분되어 산출되는 단계; 및
상기 측정 플랫폼에 의해, 상기 정보시스템의 관리유형이 상기 비용측면과 업무측면의 결과값에 따라, 재개발, 유지, 기능고도화 또는 폐기를 포함하는 분류로 나뉘어, 상기 관리 유형이 결정되는 단계;
가 더 포함되는 지능형 정보시스템 운영성과 측정 방법. - 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133183A KR102223531B1 (ko) | 2018-11-01 | 2018-11-01 | 지능형 정보시스템 운영 성과 측정 방법 |
| US17/290,646 US11552862B2 (en) | 2018-11-01 | 2019-10-31 | Method for measuring operation performance of intelligent information system |
| PCT/KR2019/014639 WO2020091477A1 (ko) | 2018-11-01 | 2019-10-31 | 지능형 정보시스템 운영 성과 측정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180133183A KR102223531B1 (ko) | 2018-11-01 | 2018-11-01 | 지능형 정보시스템 운영 성과 측정 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200050298A KR20200050298A (ko) | 2020-05-11 |
| KR102223531B1 true KR102223531B1 (ko) | 2021-03-05 |
Family
ID=70462595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180133183A KR102223531B1 (ko) | 2018-11-01 | 2018-11-01 | 지능형 정보시스템 운영 성과 측정 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11552862B2 (ko) |
| KR (1) | KR102223531B1 (ko) |
| WO (1) | WO2020091477A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102432747B1 (ko) | 2021-10-27 | 2022-08-17 | 주식회사 이퀄썸 | 조직 구성원 성과 지표 관리 방법, 장치 및 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117499395A (zh) * | 2023-11-01 | 2024-02-02 | 上海琨山智能科技有限公司 | 一种智能锁的云平台部署方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101182703B1 (ko) | 2012-05-02 | 2012-09-18 | 대한민국(기획재정부장관) | 재정통합정보시스템에서 사용되는 중앙재정정보시스템 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000072475A (ko) | 2000-09-06 | 2000-12-05 | 김윤호 | 기업 정보관리 서비스 시스템 및 그 방법 |
| EP1414187A1 (en) | 2002-10-22 | 2004-04-28 | Alcatel | Method for evaluating the quality of service of a telecommunication link via a network |
| KR100645608B1 (ko) * | 2004-03-25 | 2006-11-13 | (주)첫눈 | 사용자 방문 유알엘 로그를 이용한 정보 검색 서비스 제공 서버 및 그 방법 |
| KR100899754B1 (ko) | 2007-06-27 | 2009-05-27 | 재단법인 한국특허정보원 | 텍스트 마이닝 기법을 이용한 등록특허의 기술평가 시스템및 그 방법 |
| KR20090028054A (ko) | 2007-09-13 | 2009-03-18 | 한국전자통신연구원 | 위치 기반의 광고 서비스 방법 |
| KR20140113806A (ko) | 2013-03-14 | 2014-09-25 | 대한민국(교육과학기술부장관) | 고객만족도 평가 진단방법 |
| KR101824924B1 (ko) * | 2016-01-14 | 2018-02-02 | 주식회사 웹소울랩 | 실시간 부하량에 따른 웹 사이트 성능 측정을 위한 시스템 및 방법 |
| KR20170091336A (ko) | 2016-02-01 | 2017-08-09 | 신용진 | 정확한 데이터 산출을 통해 신뢰도를 향상시킨 스크린골프장의 자가 경영진단 평가시스템 및 방법 |
| US20180284746A1 (en) * | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for data collection optimization in an industrial internet of things environment |
-
2018
- 2018-11-01 KR KR1020180133183A patent/KR102223531B1/ko active IP Right Grant
-
2019
- 2019-10-31 WO PCT/KR2019/014639 patent/WO2020091477A1/ko active Application Filing
- 2019-10-31 US US17/290,646 patent/US11552862B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101182703B1 (ko) | 2012-05-02 | 2012-09-18 | 대한민국(기획재정부장관) | 재정통합정보시스템에서 사용되는 중앙재정정보시스템 |
Non-Patent Citations (2)
| Title |
|---|
| 2017년도 전자정부 성과관리 기관 설명회 발표 자료. 범정부EA포털, [online], 2017.04.04., [2020.01.23. 검색], 인터넷 https://www.geap.go.kr/real/uat/uia/selectArticleListPortal.do?board=board4&othbcYn=Y 1부* |
| 정보시스템 운영 성과측정 매뉴얼. 행정안전부, [online], 2017.4월, [2020.01.23. 검색], 인터넷 https://www.mois.go.kr/frt/bbs/type001/commonSelectBoardArticle.do?bbsId=BBSMSTR_000000000015&nttId=60107 1부* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102432747B1 (ko) | 2021-10-27 | 2022-08-17 | 주식회사 이퀄썸 | 조직 구성원 성과 지표 관리 방법, 장치 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220124007A1 (en) | 2022-04-21 |
| WO2020091477A1 (ko) | 2020-05-07 |
| US11552862B2 (en) | 2023-01-10 |
| KR20200050298A (ko) | 2020-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8751436B2 (en) | Analyzing data quality | |
| US7177774B1 (en) | System and methods for quantitatively evaluating complexity of computing system configuration | |
| Martins | Rent sharing before and after the wage bill | |
| JP4031928B2 (ja) | 設備保守業務支援方法および保守業務支援サーバ | |
| Liu et al. | Case-based insights into rework costs of residential building projects in China | |
| US20060025984A1 (en) | Automatic validation and calibration of transaction-based performance models | |
| CN102063668A (zh) | 信息系统的审计方法及系统 | |
| DE102005016572A1 (de) | System zum Schätzen von Verarbeitungsanforderungen | |
| JP2008542860A (ja) | リスクの評価及び提示のためのシステム及び方法 | |
| Tawfek et al. | Assessment of the expected cost of quality (COQ) in construction projects in Egypt using artificial neural network model | |
| CN101505243A (zh) | 一种Web应用性能异常侦测方法 | |
| KR102223531B1 (ko) | 지능형 정보시스템 운영 성과 측정 방법 | |
| JP3580497B2 (ja) | 企業診断システム、企業診断方法、企業診断用サーバ、および記録媒体 | |
| CN109324978A (zh) | 一种多人协同的软件测试管理系统 | |
| CN103973902B (zh) | 一种用户感知业务质量的量化装置、监测系统和方法 | |
| JP2005148856A (ja) | Ｉｔシステムの投資効果測定方法およびプログラム並びにシステム | |
| Eriş et al. | Prioritization of the factors affecting the performance of clinical laboratories using the AHP and ANP techniques | |
| Cepeda et al. | Support methodology for product quality assurance: a case study in a company of the automotive industry | |
| CN114282951B (zh) | 一种网络零售预测方法、设备及介质 | |
| Thies et al. | The potential of a network-centric solution for sustainability in business processes | |
| KR20090002587A (ko) | 통합 모니터링 시스템 및 그 운용방법 | |
| Pratiwi et al. | Analysis of capability level in dealing with IT business transformation competition using cobit framework 5 (case study at Airasia Indonesia) | |
| JP2006171817A (ja) | ウェブサイト評価システムおよび方法 | |
| Cusick et al. | Developing and Applying a Distributed Systems Performance Approach for a Web Platform. | |
| Carper et al. | Computer capacity planning: strategy and methodologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |