KR102102886B1 - 감사성과의 측정 및 평가, 관리를 위한 모델 및 시스템 - Google Patents

Abstract

감사성과 측정/평가 및 관리 모델, 방법 그리고 시스템이 개시된다. 컴퓨터로 구현되는 감사성과 측정/평가 방법에 있어서, 감사보고서를 대상으로, 미리 지정된 복수의 감사성과 항목 별로 측정점수를 수신하는 단계, 수신된 상기 측정점수를 1차 가중치에 기초하여 결과척도 및 산출척도로 구분하여 표준점수로 환산하는 단계, 환산된 상기 결과척도에 해당하는 표준점수와 상기 산출척도에 해당하는 표준점수를 2차 가중치에 기초하여 재배점하는 단계, 재배점된 상기 결과척도에 해당하는 표준점수, 상기 산출척도에 해당하는 표준점수, 및 결과 및 산출척도 별로 미리 지정된 성과목표값에 기초하여 감사성과의 달성/미달여부를 결정하는 단계, 및 상기 감사보고서와 관련하여 결정된 달성/미달여부를 해당 감사부서의 단말로 통지하는 단계를 포함할 수 있다.

Description

감사성과의 측정 및 평가, 관리를 위한 모델 및 시스템{Model and System for Measuring or Assessing and Managing Audit Performance}

본 발명은 감사성과의 측정 및 평가, 관리 방법에 대한 모델 및 시스템을 구축하는 기술에 관한 것이다.

2000년대 초 이래로 감사(監査, audit)는 주요 공공행위의 하나로 국가의 예산 및 인력 등이 투입되고 있고, 이로 인해 평가 및 관리의 대상이 되어야 한다는 인식이 미국, 영국, 캐나다 등 주요 국가들을 중심으로 팽배해 왔다. 이에 따라, 상기 주요 국가들은 최고감사기구(Supreme Audit Institution: SAI)의 감사에 대한 성과를 측정하는 개별 시스템을 정교하게 개발하여 체계적으로 관리해 오고 있다.

예컨대, 미국의 경우, 선도적으로 1990년대 초부터 이미 법제로서 감사의 성과측정 및 관리를 정립하여 국가최고감사기구인 GAO(Government Accountability Office)로 하여금 매년도 그 자신의 감사성과를 측정하고, 해당 내용을 성과책무보고서(Performance and Accountability Report)를 통해 의회와 국민에게 보고하여 피드백(feedback)을 받음으로써, 전반적인 감사의 성과를 관리해 오고 있다. 2000년대 초부터는 영국의 최고감사기구인 NAO(National Audit Office)와 캐나다의 OAG(Office of Auditor General of Canada)도 전문적 시스템을 구축하여 자국의 공공감사활동의 성과를 측정, 평가, 고양하는데 강력히 추진해오고 있다.

또한, 감사의 성과측정과 관련하여 2007년도에 개최된 제19차 유엔- 세계감사기구(UN-INTOSAI)의 공동심포지엄에서는 감사기구 자체가 감사의 성과를 측정하기 위한 지표 및 방법 등을 개발하여 감사성과를 측정하는 시스템을 구축할 필요성을 강조하였으며, 성과측정시스템을 통해 감사의 성과를 더욱 제대로 측정하고 관리함과 동시에, 특히 결과(outcomes)를 도출하는 감사의 효과를 의회, 정부 및 일반 국민에게 보고해야 할 것을 강조하였다.

그러나, 한국의 경우 감사성과의 측정 및 관리와 관련된 감사기구의 노력은 UN 및 세계감사기구(INTOSAI)의 강조 방향과 선진국가들의 체계화와는 극명한 대조를 보이고 있다. 그 이유는 아래와 같이 진단된다.

첫째, 한국 감사원(BAI)이 수행하는 감사에 대한 성과측정의 형태로는 2008년도부터 가동하고 있는 "심사분석"과 그와 연계되는 "집행전말처리제도"인데, 이는 감사대상기관이 수용한 감사처분요구들의 숫자를 정리하고 대상기관에서 처분요구(즉, 변상책임의 판정, 징계 및 문책의 요구, 시정 및 개선의 요구, 권고 및 통보)의 집행이 어느 정도 이루어지고 있는지를 단순 확인하는 제도이다. 그러나, 이러한 처분요구만을 관리하는 제도는 INTOSAI의 권고 내용과도 큰 차이가 있으며, 다른 나라가 가동하고 있는 전형적인 감사성과측정시스템의 극히 일부분에도 미치지 못하는 현실이다.

둘째, 선진 최고감사기구들과 비교하여 극명한 대조를 보이는 국면은 최소한 공공감사기구가 수행하는 감사의 성과를 측정 및 관리하기 위한 법적 장치의 부재이다. 감사원법의 1963년 당초 제정판과 이후 10번의 개정을 거치면서도 그 어딘 가에도 국가최고의 감사당국(national watchdog)의 감사성과를 측정 및 관리하는 기본적 또는 선언적 조항을 담지 않았다. 게다가, 역대 어느 한국 정부 및 대통령과 국회 및 의회도 감사의 성과를 측정하고 관리하고자 하는 법적 및 행정적 법제 및 규제(rule or regulation)를 마련하거나 발의하지도 않았다. 이러한 감사성과의 측정 및 관리를 위한 법적 부재 상황은 중앙정부, 지방정부 및 공공기관의 자체감사기구에서도 마찬가지이다. 이로 인해, 감사의 성과측정 및 관리를 위한 시스템은 커녕 그 실질적 가동을 위한 감사성과 측정 등을 위한 재정 및 예산제도도 마련되지 않는 등 법제 및 재정적 지원이 부실한 상황이다.

셋째, 더 근본적인 문제로 감사의 성과 측정 및 관리에 대한 문화(culture)의 부재이다. 한국 감사원의 상부관리층(즉, 원장, 감사위원, 실·국장 등) 및 자체감사기구의 장은 물론 대통령, 정부 및 공공기관의 기관장도 감사기구의 감사성과의 측정 및 관리에 대한 중요성을 깊이 인식하지 못하고 있으며, 조직의 위상과 권력기관이라는 역사적 인식의 바탕아래 감사기구의 감사행위 및 그 성과를 측정하고 관리한다는 것 자체에 대한 부정적인 시각을 갖는 경향이 큰 것으로 보인다. 더욱이 국회 및 지방의회의 행정사무감사의 성과를 측정하고 관리하고자 하는 무관심은 심각하다. 즉, 한국의 경우, 국가최고감사기구는 물론 자첵감사기구, 국회 및 지방의회가 자신의 감사성과를 측정하고 관리하는 시스템을 구축할 수 있는 조직적 및 정치적 분위기(climate)를 형성한 적이 없으며, 이에 감사의 이해관계자들(즉, 국회, 대통령, 감사대상 정부 및 공공기관, 또는 일반국민)에게 감사를 통해 달성한 또는 달성하고자하는 성과에 대한 확증을 공개적으로 제공한 적이 없다. 그 결과, 한국의 일반사회 및 국민의 의식 속에도 감사의 성과측정 및 관리 시스템에 존재하는지의 여부는 물론 왜 그러한 감사성과시스템이 공공부문 및 국가에 어떠한 중요한 의미를 갖고 있는지, 나아가 왜 그것이 필요한지에 대한 인식 및 문화가 부재한 실정이다.

한국의 경우, 1990년대 중반이래로 정부 및 공공부문이 수행하는 정책 및 행정의 성과관리에 대한 노력이 정부개혁 및 혁신의 핵심 의제가 되어 왔다. 그에 비해, 정책 및 행정의 주요 관리기제인 감사의 성과를 측정 및 평가하고 관리하고자 하는 인식과 토론은 최고감사기구인 감사원 자체는 물론이고 역대 행정부의 개혁에 있어서 주요 의제가 된 적이 없으며, 그 결과 일반 행정 및 정책의 성과에 대한 관심과 논쟁만 있을 뿐, 감사의 성과자체는 물론 그 측정, 평가 및 관리 시스템에 대해서는 국민, 이해집단 및 의원들의 관심 대상도 비평의 대상도 되어오지 못하고 있다.

결과적으로, 한국은 감사의 성과를 효과적으로 측정하고 관리하는 체계적인 시스템을 국가 및 공적 기구 어디에서도 제도적으로 보유하고 있지 못하며, 감사 행위의 성과를 체계적이고 전문적으로 측정 및 관리하는 시스템의 개발에 대한 연구가 전무한 상황이다.

[1] Nathan R. P. & Adams. C. F. (1976). Understanding Central City Hardship. Political Science Quarterly 91(1): 47-62; [2] Nathan R. P. & Adams. C. F. (1989). Four Perspectives on Urban Hardship. Political Science Quarterly 104(3): 483-508.

본 발명은 감사의 성과를 효과적으로 측정 및 평가하며 관리하는 요소, 방법 및 시스템에 대한 모델을 구축하고자 한다. 감사성과의 측정은 감사기구가 자신의 감사행위에 대한 책무성(accountability)을 유지시키고, 감사를 위한 효율적인 자원할당을 이끌며, 감사의 관리 및 역량을 고양하는 데 도움을 주며, 궁극적으로 한 나라의 공공부문의 성과를 개선하게 함과 동시에 투명하고 책무성 있는 거버넌스(accountable governance)를 달성하는데 핵심적인 기능을 한다. 이에 따라, 감사성과를 측정/평가하기 위한 요소(즉, 항목들)을 정의하고, 해당 항목들을 기반으로 감사성과를 측정 및 평가하고 관리하고자 한다.

컴퓨터로 구현되는 감사성과 측정/평가 관리 방법에 있어서, 감사보고서를 대상으로, 미리 지정된 복수의 감사성과 항목 별로 측정점수를 수신하는 단계, 수신된 상기 측정점수를 1차 가중치에 기초하여 결과척도(outcome measures) 및 산출척도(output measures)로 구분하여 표준점수로 환산하는 단계, 환산된 상기 결과척도에 해당하는 표준점수와 상기 산출척도에 해당하는 표준점수를 2차 가중치에 기초하여 재배점하는 단계, 재배점된 상기 결과척도에 해당하는 표준점수, 상기 산출척도에 해당하는 표준점수, 및 미리 지정된 성과목표값에 기초하여 감사성과와의 차이(즉, 감사성과의 달성 및 미달)여부를 결정하는 단계, 및 상기 감사보고서와 관련하여 결정된 달성 및 미달여부를 해당 감사부서의 단말로 통지하는 단계를 포함할 수 있다.

일측면에 따르면, 상기 표준점수로 환산하는 단계는, 상기 복수의 감사성과 항목 각각에 속하는 복수의 산출(output)척도 별로 동일한 산출가중치를 상기 1차 가중치로서 적용하는 단계, 및 상기 복수의 감사성과 항목 각각에 속하는 복수의 결과(outcome)척도 별로 동일한 결과가중치를 상기 1차 가중치로서 적용하는 단계를 포함할 수 있다.

다른 측면에 따르면, 상기 표준점수를 2차 가중치에 기초하여 재배점하는 단계는, 상기 복수의 감사성과 항목 중 특정 감사성과 항목에 해당하는 결과척도 및 산출척도에 해당하는 표준점수를 대상으로, 결과(outcome)척도에 산출(output)척도보다 상대적으로 높은 가중치를 적용하는 단계를 포함할 수 있다.

또 다른 측면에 따르면, 상기 감사성과의 달성 및 미달여부를 결정하는 단계는, 상기 감사성과 항목에 속하는 복수의 결과(outcome)척도 및 복수의 산출(output)척도 별로 미리 지정된 성과 목표값에 기초하여, 척도 별로 달성/미달여부를 결정할 수 있다.

또 다른 측면에 따르면, 상기 달성 및 미달여부를 해당 감사부서의 단말로 통지하는 단계는, 상기 감사보고서와 관련하여 통지된 미달사항에 대한 응답으로서, 상기 미달사항에 대한 이의 신청 및 의견 제시 요청을 수신하는 단계를 포함할 수 있다.

또 다른 측면에 따르면, 상기 복수의 감사성과 항목은, 감사품질 정보, 감사이해관계자지원 정보, 감사협력네트워크 정보, 및 감사역량 정보를 포함할 수 있다.

감사성과측정관리시스템은, 감사보고서를 대상으로, 미리 지정된 복수의 감사성과 항목 별로 측정점수를 수신하는 수신부, 수신된 상기 측정점수를 1차 가중치에 기초하여 결과척도 및 산출척도로 구분하여 표준점수로 환산하고, 환산된 상기 결과척도에 해당하는 표준점수와 상기 산출척도에 해당하는 표준점수를 2차 가중치에 기초하여 재배점하는 계산부, 재배점된 상기 결과척도에 해당하는 표준점수, 상기 산출척도에 해당하는 표준점수, 및 미리 지정된 성과목표값에 기초하여 감사성과의 달성/미달여부를 결정하는 결정부, 및 상기 감사 보고서와 관련하여 결정된 달성 및 미달여부를 해당 감사부서의 단말로 통지하는 통지부를 포함할 수 있다.

일측면에 따르면, 상기 계산부는, 상기 복수의 감사성과 항목 각각에 속하는 복수의 결과척도 별로 동일한 결과가중치를 상기 1차 가중치로서 적용하고, 상기 복수의 감사성과 항목 각각에 속하는 복수의 산출척도 별로 동일한 산출가중치를 상기 1차 가중치로서 적용할 수 있다.

다른 측면에 따르면, 상기 계산부는, 상기 복수의 감사성과 항목 중 특정 감사성과 항목에 해당하는 결과척도 및 산출척도에 해당하는 표준점수를 대상으로, 결과척도에 산출척도보다 상대적으로 높은 가중치를 적용할 수 있다.

또 다른 측면에 따르면, 상기 결정부는, 상기 감사성과 항목에 속하는 복수의 결과척도 및 복수의 산출척도 별로 미리 지정된 성과 목표값에 기초하여, 척도 별로 달성 및 미달여부를 결정할 수 있다.

또 다른 측면에 따르면, 상기 통지부는, 상기 감사보고서와 관련하여 통지된 미달사항에 대한 응답으로서, 상기 미달사항에 대한 이의 신청 및 의견 제시 요청을 수신할 수 있다.

본 발명에 따르면, 감사성과를 측정하기 위한 요소(즉, 항목들)을 정의하고, 해당 항목들을 기반으로 감사성과를 측정 및 관리하기 위한 모델을 구축함으로써, 특정 부문관련 감사결과를 나타내는 감사보고서를 기반으로 해당 감사결과에 대한 성과(즉, 감사성과)를 측정 및 평가할 수 있다.

또한, 측정된 감사성과를 해당 감사기관, 해당 감사기관과 관련된 기관들의 단말로 제공함으로써, 감사 행위에 대한 성과를 체계적이고 전문적으로 관리할 수 있다.

또한, 감사보고서와 관련된 감사성과의 측정점수와 척도 별로 미리 설정된 성과목표값을 비교하여 감사성과의 달성/미달 여부를 판단하고 그것을 기반으로 감사관련 제도적 개선사항을 제공하며, 사후감사(follow-up audit) 및 환류조사(feedback survey)를 정기적으로 수행할 수 있다.

도 1은 본 발명의 일실시예에 있어서, 감사성과측정관리시스템에서 감사보고서에 대한 감사성과를 측정 및 평가, 관리 방법을 도시한 개념도이다.
도 2는 본 발명의 일실시예에 있어서, 감사성과 측정/평가, 관리 방법을 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 있어서, 감사성과측정관리시스템의 내부구성을 도시한 블록도이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

본 발명은 감사성과가 발생하는 기본적이고 핵심적인 4가지 항목들(즉, 감사성과 항목들)을 지정하고, 지정된 항목에 속하는 척도들(즉, 감사성과 측정지표들)을 기반으로 척도 별 측정점수를 합산하여 감사성과를 결정하는 기술에 관한 것이다.

본 실시예들에서, "감사성과 항목"은 감사품질 정보(즉, 감사행위 및 감사결과에 대한 품질 정보), 감사이해관계자에 대한 지원 정보, 감사협력네트워크 정보, 감사역량 정보를 포함할 수 있다. 예컨대, 매년 별 수행된 각 감사유형 별로 감사행위에서 도출되는 감사결과의 품질, 국회 및 지방의회와 행정부 등 이해관계자들에 대한 지원, 대내 및 대외적인 협력적 감사네트워크의 조성, 활용 및 관리, 감사의 역량 및 전문성 보유 및 확대 측면에 대한 정보가 4가지 항목에 포함될 수 있다. 그리고, 전반적인 감사의 성과를 측정 및 관리하기 위해, 4가지 항목 별로 속하는 결과(outcome)척도와 산출(output)척도라는 두 유형의 척도가 지표로서 이용될 수 있다.

본 실시예들에서, "산출척도"는 감사기구가 투입시간과 자원의 제약아래 감사산출의 목표값을 단순히 생산해 내고 있는지의 여부를 결정하는데 도움을 주는 지표를 나타내는 것으로서, 4가지 항목 별로 미리 정의될 수 있다.

본 실시예들에서, "결과척도"는 산출척도가 감사행위(즉, 감사에 따른 감사보고서)를 통해 미리 정의된 궁극적으로 원하는 영향(impact)과 효과(effect)를 달성하는지에 대한 이해와 판단에 도움을 주는 지표를 나타내는 것으로서, 4가지 항목 각각에 속하는 결과척도 별로 미리 정의될 수 있다.

본 실시예들에서, "감사"는 관련 법규에 의해 권한을 부여받은 감사기구가 공공부문의 책무성(accountability) 확보와 성과(performance) 제고를 위하여 공공부문의 제반 체계, 정책 및 사업, 업무 및 활동 등에 대하여 척도 및 지표를 바탕으로 판단하고, 관련 개선조치를 요구하는 행위를 나타낼 수 있다.

본 실시예들에서, "감사성과의 측정 및 평가, 관리"는 감사의 과정(즉, 감사기획-조직화-동기화-시정조치) 전반에서 도출되거나 관련되는 감사품질, 감사의 이해관계자들에 대한 지원, 감사협력네트워크, 감사역량의 4가지 국면 각각에서 기대되는 성과목표값의 달성 정도를 기 설정된 결과(outcome) 척도와 산출(output) 척도를 기준으로 측정(measuring) 및 평가(assessing)하고 관리하는(managing) 행위로 정의될 수 있다.

도 1은 본 발명의 일실시예에 있어서, 감사성과측정관리시스템에서 감사보고서에 대한 감사성과를 측정/평가하고 관리하는 방법을 도시한 개념도이다.

도 1을 참고하면, 서버인 감사성과측정관리시스템(100)은 데이터베이스 1(101), 데이터베이스 2(102) 및 데이터베이스 3(103)과 네트워크로 연결될 수 있다. 그리고, 감사보고서관련 감사성과 측정결과를 해당 감사부서에 통지하기 위해 해당 감사부서의 사용자 단말(104)과 유/무선 네트워크로 연결될 수 있다. 예컨대, 사용자 단말(104)는 감사부서의 PC, 감사담당자가 소지한 스마트폰, 노트북 등의 전자장치에 해당할 수 있다. 도 1에서는 사용자 단말(104)이 한 개인 경우를 도시하였으나, 이는 실시예에 해당되며, 해당 감사부서 이외에, 감사담당자, 감사관련 기관들(예컨대, 감사대상기관 및 국회 등)에 해당하는 단말들과 감사성과측정관리시스템(100)이 유/무선 네트워크로 연결될 수 있다. 여기서, 사용자 단말들은 감사성과측정관리시스템(100)에서 사전에 인증한 사용자 단말에 해당할 수 있다.

감사성과측정관리시스템(100)은 적어도 하나의 감사보고서, 예컨대, 감사보고서 A, 감사보고서 B, 감사보고서 C를 대상으로, 해당 감사보고서의 감사성과를 측정할 수 있다. 이때, 감사성과측정관리시스템(100)은 미리 지정된 복수의 감사성과 항목 별로 감사성과를 측정할 수 있다. 예컨대, 감사성과 항목은 감사품질 정보, 감사이해관계자 지원 정보, 감사협력네트워크 정보, 및 감사역량 정보를 포함할 수 있다. 그러면, 감사성과측정관리시스템(100)은 상기 4가지 항목 별로 각 감사보고서에 대한 감사성과를 측정하여 점수화할 수 있다. 이때, 항목 별로 성과목표값이 미리 지정될 수 있으며, 특정 감사보고서와 관련하여 항목 별로 측정점수를 획득할 수 있다.

예컨대, 감사성과측정관리시스템(100)은 감사보고서를 작성한 사용자가 소지한 사용자 단말(104)로부터 해당 감사보고서에 대한 감사성과 측정점수를 입력받거나, 감사성과 측정을 위해 감사성과측정관리시스템(100)으로부터 다운로드받아 설치된 서비스 어플리케이션을 통해 상기 감사성과 측정점수를 수신할 수 있다. 그러면, 감사성과측정관리시스템(100)은 특정 감사보고서와 관련하여 항목 별로 획득된 측정점수, 및 가중치를 고려하여 특정 감사보고서의 감사성과 측정점수를 표준점수로 환산할 수 있다. 그리고, 감사성과측정관리시스템(100)은 항목 별로 환산된 표준점수 및 항목 별로 미리 지정된 성과목표값에 기초하여 복수의 항목들 중 미달되는 특정 항목을 사용자 단말(104)로 통지할 수 있다. 그리고, 감사성과측정관리시스템(100)은 특정 항목관련 개선사항을 나타내는 개선정보를 사용자 단말(104)로 제공할 수 있다.

도 2는 본 발명의 일실시예에 있어서, 감사성과 측정/평가, 관리 방법을 도시한 흐름도이고, 도 3은 본 발명의 일실시예에 있어서, 감사성과측정관리시스템의 내부구성을 도시한 블록도이다.

도 3에 따르면, 감사성과측정관리시스템(300)은 수신부(310), 계산부(320), 결정부(330) 및 통지부(340)를 포함할 수 있다. 감사성과측정관리시스템(300)은 감사성과 측정을 위한 복수개의 데이터베이스들과 네트워크로 연결될 수 있으며, 감사성과 측정점수를 통지하고, 개선정보를 제공하는 등의 정보 송수신을 위해 사용자 단말(301)과 유/무선 네트워크를 통해 연결될 수 있다. 그리고, 도 2의 각 단계들(210 내지 250 단계)은 도 3의 감사성과측정관리시스템(300)의 구성 요소인 수신부(310), 계산부(320), 결정부(330) 및 통지부(340)에 의해 수행될 수 있다.

먼저, 감사성과측정관리시스템(300)은 감사성과를 측정하고자 하는 감사보고서와 관련하여, 감사보고서의 특성정보(즉, 성격정보)를 획득할 수 있다. 예컨대, 감사성과측정관리시스템(300)은 감사보고서의 특성정보를 사용자 단말(301)을 통해 입력받아 사용자 단말(301)에 설치된 서비스 어플리케이션을 통해 수신할 수 있다.

여기서, 감사보고서의 특성정보는 "감사유형 정보" 및 "감사환경 정보"를 포함할 수 있다. 예컨대, "감사유형 정보"는 감사보고서에 해당하는 감사행위의 유형을 나타내는 것으로서, 해당 감사가 일반감사인지, 특정감사인지, 성과감사인지, 특별조사인지, 정책감사인지, 재무감사인지 등을 나타내는 정보를 포함할 수 있다. "감사환경 정보"는 감사의 중요성 및 시급성, 감사의 정치행정적 영향요인, 감사관리의 원활성 등에 대한 정보를 나타내는 것으로서, 데이터베이스 2(102)에 저장될 수 있다.

감사성과측정관리시스템(300)은 감사성과를 측정하고자 하는 적어도 하나의 감사보고서를 대상으로, 미리 지정된 복수의 감사성과 항목 별로 감사성과 측정 척도를 선정할 수 있다. 도 2 및 도 3에서는 어느 하나의 감사보고서를 대상으로 감사성과를 측정하는 경우를 예로 들어 설명하나, 이는 실시예에 해당되며, 감사성과를 측정하고자 하는 복수개의 감사보고서를 대상으로 감사성과가 측정될 수 있다.

감사성과의 측정척도로서 결과(outcome)척도 및 산출(output)척도가 선정될 수 있으며, 결과척도 및 산출척도는 각 유형 별로 아래의 표 1과 같이 미리 지정될 수 있다.

210 단계에서, 수신부(310)는 감사보고서를 대상으로 미리 지정된 복수의 감사성과 항목 별로 측정점수를 사용자 단말(301)로부터 수신할 수 있다.예컨대, 수신부(310)는 감사품질 정보, 감사이해관계자지원 정보, 감사협력네트워크 정보, 및 감사역량 정보 항목 별로 감사부서장, 감사 담당자, 감사 부서원 등이 사용자 단말을 통해 입력한 측정점수를 수신할 수 있다. 그러면, 수신된 항목 별 측정점수와 해당 감사보고서의 식별자 정보가 매칭되어 데이터베이스 1(101)에 저장될 수 있다.

220 단계에서, 계산부(220)는 4가지 항목 별로 수신된 측정점수를 1차 가중치에 기초하여 결과척도 및 산출척도로 구분하여 표준점수로 환산할 수 있다.

예컨대, 계산부(220)는 위의 비특허 문헌 [1] Nathan R. P. & Adams. C. F. (1976). Understanding Central City Hardship. Political Science Quarterly 91(1): 47-62, [2] Nathan R. P. & Adams. C. F. (1989). Four Perspectives on Urban Hardship. Political science Quarterly 104(3): 483-508.에 제시된 나단 앤 아담스(Nathan and Adams)의 표준 점수화 기법에 기초하여 상목 별로 수신된 측정점수를 결과척도 및 산출척도로 구분하여 표준점수로 환산할 수 있다. 즉, 4가지 항목 별로 결과척도에 해당하는 표준점수, 산출척도에 해당하는 표준점수를 환산할 수 있다. 이때, 결과 및 산출 척도에 속하는 각 척도들이 순위 및 서열척도, 정량척도의 비율 및 등간척도 등으로 나타나 있는 것을 모두 100점 만점의 측정점수의 체계 안으로 통합시키기 위해, 각 척도의 특성(즉, 성질)에 관계없이 감사보고서가 해당 감사유형 내에서 상대적인 우수성을 빠짐없이 나타내는 표준화절차가 수행될 수 있다. 이러한 표준화절차로서, 계산부(220)는 아래의 수학식 1 및 수학식 2에 기초하여 항목 별 측정점수를 표준점수로 환산할 수 있다. 이때, 계산부(220)는 표준점수로 환산함에 있어서, 4개의 감사성과 항목 내 모든 9개의 결과척도와 18개의 산출척도들에 대해 동일한 가중치(즉, 결과가중치와 산출가중치)를 제1 가중치(즉, 1차 가중치)로 부여할 수 있다. 예컨대, 전체 감사성과 측정점수를 100점 만점으로 하는 경우, 각 개별척도는 5.55점으로 표준점수가 환산될 수 있다.

[수학식 1]

[수학식 2]

위의 수학식 2에서

는 수의 감사보고서들 중 j번째 감사보고서의 표준화된 감사성과 통합측정점수(Total Standardized audit Performance point)를 나타낼 수 있다. 즉, 환산된 표준점수를 합산한 값이

에 해당할 수 있다. 그리고, 수학식 1에서,

는 복수의 감사보고서들 중 j번째 감사보고서의 i번째 개별척도에 대한 표준화된 감사성과 측정점수로서, 환산된 표준점수를 나타내고,

는 j번째 감사보고서의 i번째 개별척도에 대한 감사성과 측정점수로서, 즉, 수신된 감사성과 측정점수를 나타낼 수 있다. 여기서, 상기 개별척도는 위의 표 1에서 결과척도에 속하는 복수의 개별척도들 중 어느 하나, 산출척도에 속하는 복수의 개별척도들 중 어느 하나를 나타내는 것으로서, 예컨대, 감사품질 정보의 항목의 경우, 상기 개별 척도는 결과척도에 속하는 3개의 척도(즉, 지표)들, 예컨대, 감사완성의 시의 적절성 지표, 품질 높은 감사내용의 생산 지표, 및 감사대상기관에 의한 감사처분 요구의 수용성 지표 각각을 나타낼 수 있다. 산출척도의 경우, 상기 개별척도는 산출척도에 속하는 6개의 지표, 예컨대, 관련법규 및 내규에서 규정한 마감일 전에 완성된 감사의 수/비율 지표, 감사계획 상 정한 마감일까지 완성된 감사보고서의 수/비율 지표, 증거에 기반을 둔 감사보고서의 수/비율 지표, 전문적 기준에 따라 수행된 감사의 수/비율 지표, 감사대상기관에 의해 공식적으로 수용된 감사처분요구의 수/비율 지표, 감사대상기관의 정책 및 사업 등의 개선에 실제 기여한 감사처분 요구의 수/비율 지표 각각을 나타낼 수 있다.

다시 수학식 1에서,

는 각 감사유형(예컨대, 일반감사, 특정감사, 성과감사, 특별조사 등) 내에서 i번째 개별척도에 대한 최소 감사성과 측정점수를 나타낼 수 있다. 예컨대, 감사유형이 일반감사인 경우, 일반감사에 해당하는 복수의 감사보고서들의 i번째 개별척도(예컨대, 감사계획 상 정한 마감일까지 완성된 감사보고서의 수/비율 지표)의 측정점수 중 가장 작은 측정점수가

에 해당할 수 있다. 이때, 실제 최소점수는 감사유형 내에서 최저의 감사보고서가 취득한(즉, 수신한) 감사성과측정값인 측정점수로 설정할 수도 있고, 또는 각 척도 별 이론적 최저점인 0점, 0원 또는 0건 등이

으로 지정될 수도 있다.

수학식 1에서,

는 각 감사유형 내에서 i번째 개별척도에 대한 최고 감사성과 측정점수를 나타낼 수 있다. 일례로, 감사유형이 일반감사인 경우, 일반감사에 해당하는 복수의 감사보고서들의 i번째 개별척도(예컨대, 감사계획 상 정한 마감일까지 완성된 감사보고서의 수/비율 지표)의 측정점수 중 최대 측정점수가

에 해당할 수 있다. 예컨대, 100점 만점에서 선정된 감사성과척도가 18개인 경우(즉, 표 1의 산출척도가 모두 18개인 경우), 개별척도 별 최고점인

는 5.55로 설정될 수 있다.

230 단계에서, 계산부(320)는 환산된 결과척도에 해당하는 표준점수와 산출척도에 해당하는 표준점수를 2차 가중치에 기초하여 재배점(즉, 재계산)할 수 있다.

이때, 계산부(320)는 결과척도(예컨대, 표 1의 9개의 결과척도)와 산출척도(예컨대, 표 1의 18개의 산출척도)에 대한 중요도를 고려하여, 결과척도 및 산출척도에 해당하는 표준점수에 서로 다른 제2 가중치를 부여할 수 있다. 예컨대, 계산부(320)는 결과척도에는 산출척도보다 상대적으로 높은 가중치를 부여할 수 있다. 결과척도에는 60%, 산출척도에는 40%의 제2 가중치를 부여하여 척도 별 표준점수를 재계산할 수 있다. 이처럼, 척도 별 표준점수를 재계산한 이후, 재계산된 표준점수(즉, 감사성과 측정점수)를 최종 합산할 수 있다. 이때, 계산부(320)는 미리 지정된 주기(예컨대, 1년 단위, 2분기 등)마다 상기 4가지 항목 별로 결과척도 및 산출척도 각각에 해당하는 표준점수를 재계산하여 최종 합산할 수 있다. 예컨대, 감사보고서가 복수개인 경우, 계산부(320)는 감사보고서 별로 재계산된 표준점수를 합산하여 최종 점수를 계산할 수 있다. 그리고, 재계산된(즉, 재배점된) 표준점수와 합산된 최종 점수를 해당 감사보고서의 식별자 정보와 연관하여 데이터베이스에 저장 및 유지할 수 있다.

통지부(340)는 재계산된 항목 별 표준점수와 상기 최종 합산된 결과인 최종점수를 사용자 단말(301)로 통지할 수 있다. 특정 감사보고서에 대한 항목 별 상기 표준점수 및 최종점수를 통보 받아 확인한 사용자가 해당 표준점수나 최종점수와 관련하여 이의가 있는 경우, 사용자 단말(301)을 통해 이의 신청 및 의견 제시를 요청할 수 있다. 이의 신청 및 의견 제시 시, 이의 신청 및 의견 제시를 요청한 사용자의 식별자 정보(예컨대, 로그인 ID, 직원번호 등), 감사보고서의 식별자 정보가 사용자 단말(301)에 설치된 어플리케이션을 통해 감사성과측정관리시스템(300)으로 전달될 수 있다. 그러면, 수신부(310)는 사용자 단말(301)로부터 수신된 점수관련 이의 신청 및 의견 제시를 접수 처리할 수 있다. 예컨대, 감사보고서의 식별자 정보에 기초하여 해당 감사보고서의 특정 항목에 대한 점수관련 이의 신청 및 의견 제시 요청을 접수할 수 있다.

240 단계에서, 결정부(330)는 항목 별로 재계산된 결과척도에 해당하는 표준점수와 미리 지정된 성과목표값 간의 차이, 산출척도에 해당하는 표준점수와 미리 지정된 성과목표값 간의 차이(즉, 감사성과의 달성 및 미달여부)를 결정할 수 있다. 여기서, 성과목표값은 척도 별로 미리 지정될 수 있다.

예를 들어, 결정부(330)는 표 1의 4가지 항목 중 항목 1(예컨대, 감사품질 정보 항목)에 속하는 결과척도의 표준점수와 미리 지정된 결과척도관련 성과목표값의 크기를 비교할 수 있다. 마찬가지로, 결정부(330)는 표 1의 4가지 항목 중 항목 1(예컨대, 감사품질 정보 항목)에 속하는 산출척도의 표준점수와 미리 지정된 산출척도관련 성과목표값의 크기를 비교할 수 있다. 동일한 방법으로, 결정부(330)는 4가의 항목 모두에 대해 결과척도의 표준점수와 해당 성과목표값, 산출척도의 표준점수와 해당 성과목표값을 비교할 수 있다. 예컨대, 항목 별로 성과목표값은 다른 값으로 지정될 수 있고, 항목 별 산출척도와 결과척도 역시 서로 다른 성과목표값을 갖도록 지정될 수 있다.

크기 비교 결과, 특정 항목의 특정 척도가 성과목표값보다 작은 경우, 즉, 미달하는 경우, 결정부(330)는 해당 항목의 해당 척도가 미달하는 것으로 결정할 수 있다. 예컨대, 감사품질 정보 항목의 결과척도가 미리 지정된 결과척도관련 성과목표값보다 작은 경우, 결정부(330)는 감사품질 정보의 결과척도가 미달하는 것으로 결정할 수 있다.

250 단계에서, 통지부(340)는 감사보고서와 관련하여 결정된 감사성과 달성 및 미달여부를 사용자 단말(예컨대, 해당 감사부서의 단말)로 통지할 수 있다. 예컨대, 통지부(340)는 4가지 항목들 중 미달로 결정된 항목에 대해서만 미달이 발생하였음을 사용자 단말(301)로 통지할 수 있다. 이때, 특정 항목에 속하는 결과척도 및 산출척도 중 어느 하나에만 미달이 발생하고, 나머지 하나는 미달하지 않은 경우, 특정 항목의 특정 척도만 미달로 결정되었음을 사용자 단말(301)로 통지할 수 있다.

이때, 미달 여부를 통보받은 사용자 단말(301)을 통해, 미달 사항에 대한 이의 신청 및 의견 제시가 요청될 수 있다. 예컨대, 사용자 단말(301)의 화면을 통해 특정 감사보고서의 특정 항목 또는 특정 항목의 특정 척도가 성과목표값에 미달하였음이 디스플레이될 수 있다. 그러면, 미달 사실을 확인한 사용자(예컨대, 감사담당자, 감사부서원, 감사부서장 등)가 해당 사실에 이의가 존재할 수 있다. 사용자 단말(301)의 화면 상에 미달을 나타내는 정보와 함께 해당 사항에 대한 이의 신청 및 의견 제시를 위한 표시 정보(예컨대, 아이콘 등)이 디스플레이될 수 있다. 그러면, 상기 표시 정보가 선택됨에 따라, 미달 사실에 대한 이의 신청 및 의견 제시가 사용자 단말(301)의 서비스 어플리케이션을 통해 수신될 수 있다. 이때, 사용자 단말(301)을 통해 미달 사항관련 의견이 입력된 경우, 입력된 의견이 함께 수신될 수 있다. 그러면, 수신부(310)는 사용자 단말의 식별자 정보, 미달관련 이의 신청 및 입력된 의견 내용, 감사보고서의 식별자 정보를 함께 연관하여 저장할 수 있다.

이처럼, 미달여부를 결정하고, 통지하는 프로세스를 통해, 감사기구는 재계산된 표준점수가 각 척도의 성과목표값을 만족하는지의 여부, 해당 내용을 보고하는 체계가 마련될 수 있다. 그리고, 감사성과의 측정내용과 성과목표값의 미달 여부에 관한 정보를 기반으로 감사기구인 감사성과측정관리시스템(300)는 필요 시 감사관련 제도적 개선조치(예컨대, 관련 규정의 신설 및 조정, 감사과정 전반의 수정 등)를 단말(301)로 제공하여 수행되도록 할 수 있으며, 감사처분요구의 이행 및 수용도와 관련된 문제 개선을 위하여 체계적으로 사후 및 추적 감사(follow-up audit)가 수행되도록 할 수 있다. 그리고, 국회 및 의회 의원, 감사대상 기관 및 기타 이해관계자(예컨대, 국내 및 국외 포함 이해관계자가 소지한 단말)로부터 수행한 감사의 만족도를 조사하는 환류조사(feedback survey)가 정기적으로 수행되도록 제공할 수도 있다. 결과적으로, 상기 제도적 개선조치, 사후감사, 환류조사 등을 통해 얻은 내용 및 정보는 다시 감사기구의 감사성과측정관리시스템(300)이 감사성과를 보다 더 효과적으로 측정 및 평가하고 분석하며, 감사역량의 확보 및 고양을 위해 필요한 정보를 수정 및 개선 계획을 세우고 추진하기 위해 이용될 수 있다.

한편, 특정 항목의 미달이 결정된 경우, 통지부(340)는 데이터베이스 3(103)을 참고하여, 성과목표값에 미달하는 항목과 관련하여 해당 항목의 개선 사항을 포함하고 있는 개선 정보를 사용자 단말(301)로 제공할 수 있다. 이처럼, 개선 정보가 미달 정보와 함께 사용자 단말(301)로 제공된 경우, 미달관련 이의 신청 및 의견 제시가 요청될 때, 개선 정보에 대한 의견이 사용자 단말(301)을 통해 입력되어 수신될 수도 있다.

이처럼, 개선정보가 제공되면, 감사보고서의 특성(예컨대, 감사유형 등)과 해당 감사부서의 특성을 종합 고려하여 제공된 상기 개선 정보를 기반으로 개선 사항이 시행될 수 있다. 그리고, 감사성과에 대한 성과 관리 방법이 제공될 수 있으며, 필요 시 감사성과관련 종합적 평가가 제공될 수도 있다.

이상에서 설명한 바와 같이, 감사성과의 측정은 위의 표1 과 같이 정의된 4가지 항목 별로 수행될 수 있으며, 4가지 항목은 감사행위에서 도출되는 감사결과의 품질을 나타내는 감사품질 정보, 국회 및 지방의회와 행정부 등의 이해관계자들에 대한 지원을 나타내는 감사이해관계자지원 정보, 대내외적인 협력적 감사네트워크의 조성, 활용 및 관리를 나타내는 감사협력네트워크 정보, 감사의 역량 및 전문성 보유와 확대 측면을 나타내는 감사역량 정보를 포함할 수 있다.

이때, 상기 4가지 항목들은 감사유형 별로, 복수개의 결과(outcome)척도와 각 결과척도의 하위 수준에 해당하는 복수개의 산출(output)척도를 포함할 수 있다. 이하에서는 4가지 유형 별 결과척도 및 산출척도에 대해 상세히 설명하기로 한다.

먼저, 첫 번째 항목인 감사결과 품질 정보 항목의 경우, 3개의 결과척도(즉, 제1, 제2, 제3의 결과척도) 및 각 결과척도에 속하는 전체 6개의 산출척도가 위의 표 1과 같이 지정될 수 있다.

제1의 결과척도인 감사완성의 시의 적절성(timeliness)은 감사완성의 시의 적절성 정도를 점수화하여 나타내는 것으로서, 복수의 감사보고서를 대상으로, 감사 유형 별로 감사결과가 시의 적절하게 완성되는 정도는 리커트 척도(Likert scale, 예컨대, 5점 척도)에 기초하여 측정될 수 있다. 성과목표값은 4점 이상으로 등급을 매겨지는 비율을 95%로 설정될 수 있으며, 감사 유형 별 측정의 합산 평균값은 전년도의 것과 비교함으로써 개선 관리가 수행될 수 있다.

상기 제1의 결과척도에 속하는 산출척도로서, 법적 마감일 전에 완성된 감사의 수(N)와 비율(%)(즉, 제1-1 산출척도), 사전에 계획된 시간 내에서 완성된 감사의 수(N)와 비율(%)(즉, 제1-2 산출척도)을 포함할 수 있다. 제1-1 산출척도의 경우, 성과목표값을 완성되지 못하는 감사의 비율이 감사 유형 별로 전체의 일부(예컨대, 10%)를 넘지 않도록 설정될 수 있다. 제1-2 산출척도의 경우, 성과목표값은 각 감사유형 별로 전체 감사보고서의 상당비율(예컨대, 80%)이 보고서 작성 시작 후 미리 지정된 기일(예컨대, 30일) 내에 완성되어야 하는 것으로 설정될 수 있다.

제2의 결과척도인 품질 높은 감사내용의 생산(quality audit report)은 감사 유형 별 감사보고서의 품질을 리커트 5점 척도(예컨대, 탁월, 매우우수, 우수, 만족, 재검토)에 기초하여 측정하기 위해 이용되는 지표를 나타낼 수 있다. 성과목표값은 각 감사유형 별로 95%의 감사보고서가 4점(즉, 만족) 이상의 품질을 달성하도록 설정될 수 있으며, 성과목표값에 기초하여 전년도의 수준과 비교하는 품질확증조사(quality assurance review)가 수행될 수 있다.

상기 제2의 결과척도에 속하는 산출척도로서, 견실하고 객관적인 증거를 담은 감사보고서의 수(N)와 비율(%)(즉, 제2-1 산출척도), 전문적으로 인정된 기준에 부합하는 감사보고서의 수(N)와 비율(%)(즉, 제2-2 산출척도)을 포함할 수 있다.

제3의 결과척도인 처분요구에 대한 감사대상기관의 수용성(auditee's acceptance)의 정도는 1 내지 2년 전에 감사기구가 공표한 처분요구들 중 감사대상기관에 의해 수용되는 정도를 리커트 5점 척도에 기초하여 측정될 수 있다. 이때, 성과목표값은 4점 이상으로 등급이 매겨지는 비율을 95%로 설정될 수 있으며, 감사 유형 별 측정점수의 합산 평균값이 전년도의 것과 비교하여 개선관리가 수행될 수 있다.

상기 제3의 결과척도에 속하는 산출척도로서, 감사대상기관에서 공식적으로 수용된 감사처분요구의 수(N)와 비율(%)(즉, 제3-1 산출척도), 감사대상기관의 정책 등의 개선을 실제 실행되는 감사처분요구의 수(N)와 비율(%)(즉, 제3-2 산출척도)을 포함할 수 있다.

두 번째 항목인 감사이해관계자에 대한 지원 정도 항목의 경우, 감사 유형 별로 2개의 결과척도와 4개의 산출척도를 포함할 수 있다. 감사의 성과는 감사행위의 결과물이 이해관계자인 국회 및 지방의회의 행정부에 대한 관리 및 재정통제기능을 지원하고, 감사대상인 행정부의 성과와 책무성 개선에 지원하는 정도를 평가함에 따라 가능할 수 있다. 이를 반영하여, 2개의 결과척도(즉, 제4, 제5의 결과척도)와 4개의 산출척도가 지정될 수 있다.

제4의 결과척도로서 국회 및 지방의회에 대한 지원 효과를 측정하기 위해 국회 밀 지방의회에 대한 환류면접(feedback interview)이 실시될 수 있다. 그리고, 감사보고서에 포함된 전문적 정보 및 정책적 제언(advice)이 국회의 관련 위원회 및 위원의 세입세출의 추산과 재정검토에 도움이 되는 정보가 리커트 5점 척도에 기초하여 측정될 수 있다. 이때, 성과목표값은 감사정보 등의 품질 및 유용성 측면에서 4점 이상으로 등급을 매기는 위원(즉, 위원이 소지한 단말)이 95% 이상이 되도록 설정될 수 있다. 그러면, 성과목표값, 재계산된 표준점수를 전년도의 것과 비교하여 해당 척도의 개선 관리가 수행될 수 있다.

상기 제4의 결과척도에 속하는 산출척도로서, 감사기구가 국회요구로 제출한 전문적 정보(예컨대, 감사정보) 및 정책적 제언의 수(N)와 비율(%)(즉, 제4-1 산출척도), 제출한 정보(예컨대, 감사정보) 및 제언이 국회의 공식적 검토과정을 실제로 거치게 된 수(N)와 비율(%)(즉, 제4-2 산출척도)을 포함할 수 있다.

제5의 결과척도는 행정부의 재정 및 자본 지출 결정에 도움 정보를 나타내는 것으로서, 행정부에 대한 효율적 지원효과를 측정하기 위한 결과척도를 나타낼 수 있다. 예컨대, 감사보고서에 포함된 재정관련 지적사항에 대한 내부검토(internal interview)를 기반으로 감사대상기관인 정부부처 및 공공기관의 재정 및 자본 지출이 법적 목적에 부합하는지, 그리고 세출예산의 항목, 양, 기간범위에 부합하여 집행되었는지의 정도를 리커트 5점 척도에 기초하여 측정할 수 있다. 이때, 성과목표값은 4점 이상으로 등급을 매기는 비율이 95% 이상이 되도록 설정될 수 있으며, 성과목표값, 측정점수(즉, 재계산된 표준점수)를 기반으로 전년도의 것과 비교하여 개선 관리가 수행될 수 있다.

상기 제5의 결과척도에 속하는 산출척도로서, 감사대상 행정부처에 제공된 감사의 재정적 분석내용의 수와 비율(즉, 감사 유형 별 각 감사보고서에 포함된 정부부처 및 공공기관에 제공한 재정적 지원 및 재정적 문제점을 단순 지적한 항목의 수(N)와 비율(%))(즉, 제5-1 산출척도), 감사결과가 재정관리에 도움이 됨을 인정하는 감사대상기관 고위관리층의 수(N)와 비율(%)(즉, 제5-2 산출척도)을 포함할 수 있다.

세 번째 항목인 감사협력네트워크 정보 항목에서는 감사의 성과를 감사기구의 대내외적인 국면에서 협력적 감사네트워크의 구축과 활용에 기여한 정도를 측정하여 판단할 수 있다. 감사협력네트워크 정보는 감사 유형 별로 2개의 결과척도(즉, 제6, 제7의 결과척도)와 4개의 산출척도를 포함할 수 있다.

제6의 결과척도인 감사기구와 감사대상기관 간의 대내 협력네트워크가 감사결과에 미친 효과 정도를 측정하기 위한 척도로서 감사지원조직 및 감사대상기관과의 대내적 감사협력활동이 감사의 결과(outcome) 국면에 긍정적으로 영향을 미친 정도를 측정할 수 있다. 이를 위해 환류조사(feedback survey)를 통해 리커트 5점 척도에 기초하여 측정될 수 있으며, 성과목표값은 4점 이상으로 등급을 매기는 비율이 95% 이상되도록 설정될 수 있다. 그러면, 성과목표값, 재계산된 표준점수를 전년도의 수준과 비교하여 문제점을 개선하는 등의 관리가 수행될 수 있다.

상기 제6의 결과척도에 속하는 산출척도로는, 감사기구가 감사지원조직 및 감사대상기관과의 협력적 관계, 교류 및 접촉의 수(N)와 비율(%)(즉, 제6-1 산출척도), 대내적 감사협력관계 및 그 부속행위들이 실제 감사를 위해 활용된 수(N)와 비율(%) (즉, 제6-2 산출척도)을 포함할 수 있다.

제7의 결과척도는 타 감사기구 및 외국감사기구와의 대외적 협력네트워크가 감사결과에의 효과 정도(즉, 타 감사기구 및 외국기관과의 대외적 감사협력활동이 감사의 결과(outcome)에 긍정적으로 영향을 미친 정도)를 측정하기 위한 척도를 나타내는 것으로서, 환류조사(feedback survey)를 통해 리커트 5점 척도에 기초하여 측정될 수 있다. 이때, 성과목표값은 4점 이상으로 등급을 배기는 비율이 95% 이상되도록 설정될 수 있으며, 성과목표값, 재계산된 표준점수를 전년도의 수준과 비교하여 문제점을 개선하는 등의 관리가 수행될 수 있다.

상기 제7의 결과척도에 속하는 산출척도로서, 감사기구가 타 감사 기구 및 외국감사기구와의 협력적 관계, 교류 및 접촉을 수행한 수(N)와 비율(%)(즉, 제7-1 산출척도), 대외적 감사협력관계가 실제 감사를 위해 사용된 수(N)와 비율(%)(즉, 제7-2 산출척도)을 포함할 수 있다.

네 번째 항목인 감사역량 정보 항목은 2개의 결과척도 및 4개의 산출척도를 포함할 수 있다. 감사의 성과는 전문적 감사인력의 역량과 다양한 전문적 강사방법론의 개발, 확충, 보유 및 활용 측면에서 측정될 수 있으며, 이러한 측면을 고려하여 상기 감사역량 정보는 2개의 결과척도(즉, 제8, 제9의 결과척도)와 4개의 산출척도가 지정될 수 있다.

제8의 결과척도는 전문적이고 품질 높은 감사인력자원의 감사행위에의 보유, 배치, 참여 및 활동 정도를 환류조사(feedback review)를 통해 리커트 5점 척도에 기초하여 측정하기 위해 이용되는 척도로 나타낼 수 있다. 이때, 성과목표값은 감사 유형 별로 4점 이상으로 평가되는 비율이 95% 이상이 되도록 설정될 수 있으며, 이를 기반으로 전년도의 수준과 비교하여 문제점을 개선하는 등의 관리가 수행될 수 있다.

상기 제8의 결과척도에 속하는 산출척도로서, 감사업무에 배정된 전문적인 기술과 도구를 보유한 최대역량의 감사인력의 수(N)와 비율(%)(즉, 제8-1 산출척도), 실제 감사에 참여한 전문감사인력의 수(N)와 비율(%)(즉, 제8-2 산출척도)을 포함할 수 있다.

제9의 결과척도는 분석적이고 유용한 감사방법기제의 개발과 활용 정도를 측정하기 위한 척도로서 전문적이고 분석적인 감사방법론의 감사행위에의 유용성(usefulness) 및 효과적 기여 정도를 독립적인 검토분석(independent review)를 통해 리커트 5점 척도에 기초하여 측정할 수 있다. 이때, 성과목표값은 유용성과 효과적 기여 정도 각각을 대상으로, 5점 척도를 기준으로 4점 이상으로 평가하는 독립적인 검토자들(즉, 검토자들이 소지한 단말을 통해 측정된 점수)의 비율이 95% 이상을 만족하도록 설정될 수 있다. 이러한 성과목표값, 재계산된 표준점수를 전년도의 것과 비교하여 개선관리가 수행될 수 있다.

상기 제9의 결과척도에 속하는 산출척도로서, 감사를 위해 개발하여 보유한 적절한 감사방법 및 기법의 수(N)와 비율(%)(즉, 제9-1 산출척도), 실제 감사내용을 분석하고 도출하는데 활용된 감사방법 및 기법들의 수(N)와 비율(%)(즉, 제9-2 산출척도)을 포함할 수 있다.

이상에서 설명한 9개의 결과척도와 18개의 산출척도는 위의 표 1에 나타낸 4가지 항목들 각각에 속하는 척도들(즉, 감사성과 측정지표들)을 나타내는 것으로서, 위의 도 2 및 도 3에서, 9개의 결과척도와 18개의 산출 척도는 각 감사보고서에 포함될 수 있다. 또는 각 감사보고서와 연관된 부가정보로서, 9개의 결과척도 및 18개의 산출척도가 해당 감사보고서의 식별자 정보와 연관하여 데이터베이스에 저장 및 유지될 수 있다. 이외에, 해당 감사보고서와 관련된 9개의 결과척도 및 18개의 산출척도 중 적어도 하나가 저장 또는 감사보고서에 포함되어 있지 않은 경우, 사용자 단말(301)을 통해 입력받아 수신할 수 있다. 그리고, 수신된 정보를 기반으로 척도 별 측정점수가 산출될 수도 있다. 이외에, 도 2 및 도 3에서 설명한 바와 같이, 표 1에서 지정된 척도 별로 계산된 측정점수가 사용자 단말(301)을 통해 입력되어 수신될 수도 있다. 그러면, 수신 또는 산출된 측정점수가 표준점수로 환산될 수 있으며, 환산된 표준점수와 성과목표값에 기초하여 그 차이(즉, 달성 및 미달여부)가 결정, 특히 그 미달여부가 통지될 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

1. 컴퓨터로 구현되는 감사성과 측정/평가 관리 방법에 있어서,
   감사보고서를 대상으로, 미리 지정된 복수의 감사성과 항목 별로 측정점수를 수신하는 단계;
   수신된 상기 측정점수를 1차 가중치에 기초하여 결과척도(outcome measures) 및 산출척도(output measures)로 구분하여 표준점수로 환산하는 단계;
   환산된 상기 결과척도에 해당하는 표준점수와 상기 산출척도에 해당하는 표준점수를 2차 가중치에 기초하여 재배점하는 단계;
   재배점된 상기 결과척도에 해당하는 표준점수, 상기 산출척도에 해당하는 표준점수, 및 결과척도 및 산출척도별로 미리 지정된 성과목표값의 차이에 기초하여 감사성과의 달성 및 미달여부를 결정하는 단계; 및
   상기 감사 보고서와 관련하여 결정된 달성 및 미달여부를 해당 감사부서의 단말로 통지하는 단계
   를 포함하고,
   상기 표준점수로 환산하는 단계는,
   수학식 1 및 수학식 2에 기초하여 측정점수를 표준점수로 환산하고, 상기 표준점수로 환산함에 있어서, 상기 복수의 감사성과 항목 각각에 속하는 복수의 결과척도 별로 동일한 결과가중치를 상기 1차 가중치로서 적용하고, 상기 복수의 감사성과 항목 각각에 속하는 복수의 산출척도 별로 동일한 산출가중치를 상기 1차 가중치로서 적용하는 단계
   를 포함하고,
   상기 표준점수를 2차 가중치에 기초하여 재배점하는 단계는,
   상기 복수의 감사성과 항목 중 특정 감사성과 항목에 해당하는 결과척도 및 산출척도에 해당하는 표준점수를 대상으로, 결과척도에 산출척도보다 상대적으로 높은 가중치를 적용하는 단계
   를 포함하고,
   상기 미달여부를 해당 감사부서의 단말로 통지하는 단계는,
   상기 감사 보고서와 관련하여 통지된 미달사항에 대한 응답으로서, 상기 미달사항에 대한 이의 신청 및 의견 제시 요청을 수신하는 단계
   를 포함하고,
   수학식 1에서

   

   는 감사보고서들 중 j번째 감사보고서의 i번째 개별척도에 대한 표준화된 감사성과 측정점수로서, 환산된 표준점수를 나타내고,

   

   는 j번째 감사보고서의 i번째 개별척도에 대한 감사성과 측정점수로서, 수신된 측정 점수를 나타내고,

   

   는 일반감사, 특정감사, 성과감사, 특별조사를 포함하는 각 감사유형 내에서 i번째 개별척도에 대한 최소 감사성과 측정점수를 나타내고,

   

   는 일반감사, 특정감사, 성과감사, 특별조사를 포함하는 각 감사유형 내에서 i번째 개별척도에 대한 최고 감사성과 측정점수를 나타내고, 5.55는 각 개별척도별 최고점이고,
   상기 개별척도는, 결과척도에 속하는 복수의 개별척도들 중 어느 하나, 산출척도에 속하는 복수의 개별척도들 중 어느 하나를 나타내는 것을 포함하고,
   수학식 2에서

   

   는 감사보고서들 중 j번째 감사보고서의 표준화된 감사성과 통합측정점수(Total Standardized audit Performance point)를 나타내며, 환산된 표준점수를 합산한 값을 의미하는
   수학식 1:
   

   

   
   수학식 2:
   

   

   
   감사성과 측정/평가 관리 방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 감사성과의 달성 및 미달여부를 결정하는 단계는,
   상기 감사성과 항목에 속하는 복수의 결과척도 및 복수의 산출척도 별로 미리 지정된 성과 목표값에 기초하여, 척도 별로 달성 및 미달여부를 결정하는 것
   을 특징으로 하는 감사성과 측정/평가 관리 방법.
5. 삭제
6. 제1항에 있어서,
   상기 복수의 감사성과 항목은, 감사품질 정보, 감사이해관계자지원 정보, 감사협력네트워크 정보, 및 감사역량 정보를 포함하는 것
   을 특징으로 하는 감사성과 측정/평가 관리 방법.
7. 감사보고서를 대상으로, 미리 지정된 복수의 감사성과 항목 별로 측정점수를 수신하는 수신부;
   수신된 상기 측정점수를 1차 가중치에 기초하여 결과척도 및 산출척도로 구분하여 표준점수로 환산하고, 환산된 상기 결과척도에 해당하는 표준점수와 상기 산출척도에 해당하는 표준점수를 2차 가중치에 기초하여 재배점하는 계산부;
   재배점된 상기 결과척도에 해당하는 표준점수, 상기 산출척도에 해당하는 표준점수, 및 결과척도 및 산출척도 별로 미리 지정된 성과목표값에 기초하여 감사성과의 달성 및 미달여부를 결정하는 결정부; 및
   상기 감사보고서와 관련하여 결정된 달성 및 미달여부를 해당 감사부서의 단말로 통지하는 통지부
   를 포함하고,
   상기 계산부는,
   수학식 1 및 수학식 2에 기초하여 측정점수를 표준점수로 환산하고, 상기 표준점수로 환산함에 있어서, 상기 복수의 감사성과 항목 각각에 속하는 복수의 결과척도 별로 동일한 결과가중치를 상기 1차 가중치로서 적용하고, 상기 복수의 감사성과 항목 각각에 속하는 복수의 산출척도 별로 동일한 산출가중치를 상기 1차 가중치로서 적용하고, 상기 복수의 감사성과 항목 중 특정 감사성과 항목에 해당하는 결과척도 및 산출척도에 해당하는 표준점수를 대상으로, 결과척도에 산출척도보다 상대적으로 높은 가중치를 적용하는 것을 포함하고,
   상기 통지부는,
   상기 감사 보고서와 관련하여 통지된 미달사항에 대한 응답으로서, 상기 미달사항에 대한 이의 신청 및 의견 제시 요청을 수신하는 것을 포함하고,
   수학식 1에서

   

   는 감사보고서들 중 j번째 감사보고서의 i번째 개별척도에 대한 표준화된 감사성과 측정점수로서, 환산된 표준점수를 나타내고,

   

   는 j번째 감사보고서의 i번째 개별척도에 대한 감사성과 측정점수로서, 수신된 측정 점수를 나타내고,

   

   는 일반감사, 특정감사, 성과감사, 특별조사를 포함하는 각 감사유형 내에서 i번째 개별척도에 대한 최소 감사성과 측정점수를 나타내고,

   

   는 일반감사, 특정감사, 성과감사, 특별조사를 포함하는 각 감사유형 내에서 i번째 개별척도에 대한 최고 감사성과 측정점수를 나타내고, 5.55는 각 개별척도별 최고점이고,
   상기 개별척도는, 결과척도에 속하는 복수의 개별척도들 중 어느 하나, 산출척도에 속하는 복수의 개별척도들 중 어느 하나를 나타내는 것을 포함하고,
   수학식 2에서

   

   는 감사보고서들 중 j번째 감사보고서의 표준화된 감사성과 통합측정점수(Total Standardized audit Performance point)를 나타내며, 환산된 표준점수를 합산한 값을 의미하는
   수학식 1:
   

   

   
   수학식 2:
   

   

   
   감사성과측정관리시스템.
8. 삭제
9. 삭제
10. 제7항에 있어서,
    상기 결정부는,
    상기 감사성과 항목에 속하는 복수의 결과척도 및 복수의 산출척도 별로 미리 지정된 성과 목표값에 기초하여, 척도 별로 달성 및 미달여부를 결정하는 것
    을 특징으로 하는 감사성과측정관리시스템.
11. 삭제

Images