KR100865157B1 - 연구개발결과의 정량적 평가시스템 및 방법 - Google Patents

연구개발결과의 정량적 평가시스템 및 방법 Download PDF

Info

Publication number
KR100865157B1
KR100865157B1 KR1020070049570A KR20070049570A KR100865157B1 KR 100865157 B1 KR100865157 B1 KR 100865157B1 KR 1020070049570 A KR1020070049570 A KR 1020070049570A KR 20070049570 A KR20070049570 A KR 20070049570A KR 100865157 B1 KR100865157 B1 KR 100865157B1
Authority
KR
South Korea
Prior art keywords
research
evaluation
information
project
task
Prior art date
Application number
KR1020070049570A
Other languages
English (en)
Inventor
오재호
이찬구
김도용
Original Assignee
재단법인 기상지진기술개발사업단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 기상지진기술개발사업단 filed Critical 재단법인 기상지진기술개발사업단
Priority to KR1020070049570A priority Critical patent/KR100865157B1/ko
Application granted granted Critical
Publication of KR100865157B1 publication Critical patent/KR100865157B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 연구개발결과의 정량적 평가시스템 및 방법에 관한 것으로서, 연구결과에 대한 평가 및 연구과제의 선정에서 객관성과 정확성을 확보할 수 있으면서도 네트워크 시스템을 기반으로 하여 온라인 상에서 정량적인 평가기준에 의해 각 연구과제에 대한 연구성과를 자동 평가하기 위한 것이다.
이를 위하여 본 발명은, 온라인 네트워크를 통해 연결되는 사용자 단말기 또는 관리자 단말기로부터의 입력정보를 분석하여 하나 이상의 연구과제별 기본정보 및 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보를 수집하여 데이터베이스를 구축하고, 상기 데이터베이스에 저장된 연구과제의 기본정보 및 평가요소정보를 기준으로 유효한 평가점수 및 그 평가점수비를 산출하여 각 연구과제별 평가등급을 판정하고 제시하는 연구성과등급 판정서버를 포함하는 연구개발결과의 정량적 평가시스템 및 평가방법을 제공하여, 시간과 공간의 제약성의 해결하고 평가비용의 절감 효과를 기대할 수 있게 한다.
연구과제, 유효성과, 정량적, 객관적, 평가점수, 등급판정

Description

연구개발결과의 정량적 평가시스템 및 방법{System and method of quantitative estimation for research and development projects}
도 1은 일반적인 연구개발사업에 대한 연구결과의 평가 및 차년도 연구과제 선정을 위한 프로세스의 흐름도
도 2는 본 발명의 일 실시예에 의한 연구개발결과의 정량적 평가시스템의 개략적인 구성을 예시한 블록도
도 3은 본 발명에 의한 연구개발결과의 정량적 평가방법에서 적용되는 평가점수(비) 산정 알고리즘의 흐름도
<도면의 주요 부분에 대한 부호의 설명>
10 : 사용자 단말기 20 : 통신망
30 : 관리자 단말기 100 : 연구성과등급 판정서버
110 : 과제분석 및 입력모듈 120 : 연구성과 등록모듈
130 : 유효평가점수 산출모듈 140 : 평가등급 판정모듈
200 : 데이터 베이스 210 : 과제정보 DB
220 : 성과정보 DB 230 : 평가정보 DB
본 발명은 온라인 네트워크를 이용하여 실시 가능한 연구개발결과의 정량적 평가시스템 및 그 방법에 관한 것으로, 보다 상세하게는 연구성과에 대한 체계적이고 독창적인 정량적 평가기준을 정립하고 연구목표 달성 여부를 온라인을 통한 접수 및 분석에 의해 정량적 평가가 가능하도록 함으로써 연구성과에 대한 평가가 객관적, 체계적으로 이루어질 수 있도록 하고 평가에 소요되는 비용 절감 및 시간과 공간의 제약성을 해결할 수 있도록 한 연구개발결과의 정량적 평가시스템 및 그 방법에 관한 것이다.
일반적으로 현재 이루어지고 있는 연구개발사업에 대한 연구과제의 평가 및 선정 프로세스는, 실적 계획서 또는 연구결과 평가요청서 등을 서면으로 직접 제출받고, 전문가들로 구성되는 평가 또는 심사위원회 등을 지정하여 평가 또는 심사를 실시하는 형태로서, 상기 위원회는 사전에 지정되는 여러 가지의 평가 항목 또는 심사기준을 바탕으로 심사 또는 평가를 실시하게 되며, 이러한 과정을 거쳐 연구과제 또는 신규과제에 대한 평가 또는 선정이 이루어질 수 있도록 구성된다.
즉, 도 1의 일반적인 연구개발사업에 대한 연구결과의 평가 및 차년도 연구과제 선정을 위한 프로세스의 흐름도에 도시된 바와 같이, 당해 년도의 평가대상과제 중 평가유보를 신청한 과제를 제외한 나머지 과제와 전년도의 평가유보과제를 대상으로 연구결과 평가 요청 및 당해년도 연차 실적 계획서를 서면으로 직접 제출받아 1차 서면 평가를 실시하고, 그 결과로 분류된 패널평가 대상과제와 신규과제로서 1차 서면 평가된 과제를 대상으로 2차 패널 평가를 실시하여 전문가에 의한 정성적 평가를 실시하며, 결과적으로 이러한 과정을 통하여 당해년도 연구성과가 평가되고 차년도 연구과제의 선정이 이루어질 수 있게 된다.
그러나, 상기와 같은 종래의 평가 및 선정방식은, 실적계획서와 연구결과 평가 요청서를 직접 서면으로 제출받도록 구성되어 있기 때문에 시간과 공간상의 제약이 많으며, 또한 전문가들로 구성되는 평가 또는 심사위원회 등이 직접 평가 또는 심사하게 되므로 보안성의 결여될 뿐만 아니라 심사 또는 평가비용이 과다하게 책정되는 문제점이 있게 되며, 심사 또는 평가 기준이 전문가의 주관에 의존될 수 있으므로 심사 또는 평가 결과가 정확성 및 객관성이 결여되는 등의 여러가지 문제점이 있었다.
본 발명은 상기의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 연구결과에 대한 평가 및 연구과제의 선정에서 객관성과 정확성을 확보할 수 있으면서도 네트워크 시스템을 기반으로 하여 온라인 상에서 정량적인 평가기준에 의해 각 연구과제에 대한 연구성과를 자동 평가할 수 있게 되므로, 시간과 공간의 제약성의 해결하고 평가비용의 절감 효과를 기대할 수 있는 연구개발결과의 정량적 평가시스템 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명의 한 특징은, 온라인 네트워크를 통해 연결되는 사용자 단말기 또는 관리자 단말기로부터의 입력정보를 분석하여 하나 이상의 연구과제별 기본정보 및 각 연구과제의 성과별 정량적 평가를 위한 평가요소 정보를 수집하여 데이터베이스를 구축하고, 상기 데이터베이스에 저장된 연구과제의 기본정보 및 평가요소정보를 기준으로 유효한 평가점수 및 그 평가점수비를 산출하여 각 연구과제별 평가등급을 판정하고 제시하는 연구성과등급 판정서버를 포함하는 연구개발결과의 정량적 평가시스템이다.
상기 본 발명에 의한 연구개발결과의 정량적 평가시스템에서, 상기 연구성과등급 판정서버는, 사용자 단말기 또는 관리자 단말기로부터 입력되는 정보를 분석하여 연구과제의 기본정보와 성과정보를 구분하고, 상기 연구과제의 기본정보를 과제정보 데이터베이스에 등록 및 저장하는 연구과제 분석 및 입력모듈; 상기 연구과제 분석 및 입력모듈에서 구분된 연구과제의 성과정보로부터 각 연구과제별로 유효한 성과정보를 필터링하고, 상기 필터링된 유효한 성과정보를 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보로 설정하여 성과정보 데이터베이스에 등록 및 저장하는 연구성과 등록모듈; 상기 두 데이터베이스에 등록 및 저장된 연구과제의 기본정보 및 평가요소정보를 하나 이상의 파라미터로 사용하여 각 연구과제에 대한 소요비용 대비 유효한 평가점수를 정량적으로 산출하는 일련의 프로세스를 실행하는 유효평가점수 산출모듈; 상기 유효평가점수 산출모듈에서 얻어지는 유효평가점수로부터 표준 평가점수에 대한 개인별 평가점수비를 도출하여, 상기 데이터베이스에 등록 및 저장된 각 연구과제별 성과에 대한 평가등급을 판정하고 제시하는 평가등급 판정모듈;을 포함하여 그 실시예가 구현될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 다른 특징은, 온라인 네트워크를 통해 사용자 단말기 또는 관리자 단말기로 연결되는 웹상의 연구성과등급 판정서버에 의해 이루어지는 연구개발결과 평가방법에 있어서, (a) 사용자 단말기 또는 관리자 단말기로부터 입력되는 정보를 분석하여 연구과제의 기본정보와 성과정보를 구분하고, 상기 연구과제의 기본정보를 과제정보 데이터베이스에 등록 및 저장하는 제 1단계; (b) 상기 구분된 연구과제의 성과정보로부터 각 연구과제별로 유효한 성과정보를 필터링하고, 상기 필터링된 유효한 성과정보를 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보로 설정하여 성과정보 데이터베이스에 등록 및 저장하는 제 2단계; (c) 상기 두 데이터베이스에 등록 및 저장된 연구과제의 기본정보 및 평가요소정보를 하나 이상의 파라미터로 사용하여 각 연구과제에 대한 소요비용 대비 유효한 평가점수를 정량적으로 산출하는 제 3단계; (d) 상기 얻어지는 유효한 평가점수로부터 표준 평가점수에 대한 개인별 평가점수비를 도출하여, 상기 데이터베이스에 등록 및 저장된 각 연구과제별 성과에 대한 평가등급을 판정하고 제시하는 제 4단계;를 포함하는 연구개발결과의 정량적 평가방법이다.
상기 본 발명의 각 특징에 의한 연구개발결과의 정량적 평가시스템 및 방법에서 유효평가점수(S)는,
Figure 112007037397617-pat00001
에 의해 산출될 수 있을 것이며, 상기 수학식은 연구 소요비용(F)과, 기업 부담금(MF)과, 연구성과(N*)와, 국제활동지표(QA: Quality of International Activity)로 이루어지는 각각의 평가요소정보들에 의해 결정될 수 있을 것이다. 특히 상기 연구성과(N*)는 국제학술지(SCI : Science Citation Index) 논문과 특허 등록에 의한 제 1연구성 과(Ns)와, 비SCI 논문과 특허출원과 S/W 등록에 의한 제 2연구성과(Nn)의 합에 의해 산출되며, 여기서 제 1연구성과(Ns)는 제2 연구성과(Nn)에 대하여 일정 비율의 가중치가 부여되어 상기 산출식에 반영될 수 있을 것이다.
상기 본 발명의 이들 목적과 특징 및 장점은 첨부도면 및 다음의 상세한 설명을 참조함으로써 더욱 쉽게 이해될 수 있을 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대한 구성 및 작용에 대해 상세히 설명하면 다음과 같다.
도 2는 본 발명의 일 실시예에 의한 연구개발결과의 정량적 평가시스템의 개략적인 구성을 예시한 블록도로서, 본 발명에 의한 연구개발결과의 정량적 평가시스템은 통신망(20)을 매개로 하여 클라이언트인 사용자 단말기(10)와 연결되거나 관리자 단말기(30)와 직접 연결되는 웹상의 연구성과등급 판정서버(100)와, 상기 연구성과등급 판정서버(100)에 의해 엑세스되는 데이터 베이스(200)로 구성되며, 상기 데이터 베이스(200)는 과제정보 DB(210)와, 성과정보 DB(220)와, 평가정보 DB(230)를 포함하여 구성된다.
상기 연구성과등급 판정서버(100)는 온라인 네트워크를 통해 연결되는 사용자 단말기(10) 또는 직접 연결되는 관리자 단말기(30)로부터의 입력정보를 분석하여 하나 이상의 연구과제별 기본정보 및 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보를 수집하여 데이터베이스(200)를 구축하고, 상기 데이터베이스(200)에 저장된 연구과제의 기본정보 및 평가요소정보를 기준으로 유효한 평가점수 및 그 평가점수비를 산출하여 각 연구과제별 평가등급을 판정하고 제시한다.
이를 위하여 상기 연구성과등급 판정서버(100)는 연구과제 분석 및 입력모듈(110)과 연구성과 등록모듈(120)과, 유효평가점수 산출모듈(130)과, 평가등급 판정모듈(140)로 이루어진다.
상기 연구과제 분석 및 입력모듈(110)은 사용자 단말기(10) 또는 관리자 단말기(30)로부터 입력되는 정보를 분석하여 연구과제의 기본정보와 성과정보를 구분하고, 상기 연구과제의 기본정보를 과제정보 데이터베이스(210)에 등록 및 저장한다. 예를 들어 연구과제의 기본정보는 연구과제의 종류 및 종류별 연구비용의 관리를 위한 관리 코드와 연구 소요비용(F)을 포함할 수 있으며, 연구과제의 성과정보는 기업 부담금(MF)과, 연구성과(N*)와, 국제활동지표(QA)로 이루어지는 각각의 평가요소정보들을 포함할 수 있다.
상기 연구성과 등록모듈(120)은 상기 연구과제 분석 및 입력모듈(110)에서 구분된 연구과제의 성과정보로부터 각 연구과제별로 유효한 성과정보를 필터링하고, 상기 필터링된 유효한 성과정보를 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보로 설정하여 성과정보 데이터베이스(220)에 등록 및 저장한다. 여기서 상기 연구성과 등록모듈에 의해 필터링되는 유효한 성과정보라 함은 기업 부담금(MF)과, 연구성과(N*)와, 국제활동지표(QA)들이 될 수 있으며, 특히 상기 연구성과(N*)는 국제학술지(SCI : Science Citation Index) 논문과 특허 등록에 의한 제 1연구성과(Ns)와, 비SCI 논문과 특허출원과 S/W 등록에 의한 제 2연구성과(Nn)이다.
상기 유효평가점수 산출모듈(130)은 상기 두 데이터베이스(210,220)에 등록 및 저장된 연구과제의 기본정보 및 평가요소정보로부터 하나 이상의 파라미터를 추출하고, 하나 이상의 연산자를 사용하여 각 연구과제에 대한 소요비용 대비 유효한 평가점수(S)를 정량적으로 산출하는 일련의 프로세스(cost effectiveness fomula)를 실행한다. 이때, 실행되는 일련의 프로세스는 연구 소요비용(F)과, 기업 부담금(MF)과, 연구성과(N*)와, 국제활동지표(QA)로 이루어지는 각각의 평가요소정보에 대하여, 아래의 수학식 1과 같이 유효 평가점수(S)를 산출하여 평가정보 데이터베이스(230)에 등록 및 저장한다.
Figure 112007037397617-pat00002
이때 상기 유효평가점수 산출모듈(130)은 SCI 논문과 특허 등록에 의한 제 1연구성과(Ns)와, 비SCI논문과 특허출원과 S/W 등록에 의한 제 2연구성과(Nn)의 합에 의해 연구성과(N*)를 산출하여 상기 산출식에 반영하게 되며, 상기 제 1연구성과(Ns)를 제2 연구성과(Nn)에 대하여 일정 비율의 가중치(N* = Ns×3 + Nn), 즉 예를 들어 제 1연구성과(Ns)와 제2 연구성과(Nn)를 3:1의 비율로 가중치를 부여하여 상기 산출식에 반영하는 것이 바람직하다.
상기 평가등급 판정모듈(140)은 상기 유효평가점수 산출모듈(130)에서 얻어지는 과제별 유효 평가점수(S)를 개인별 평가점수(Si)로 하고, 그 개인별 평가점수를 표준 평가점수(Ss)로 나누어 계산한 비율(Sr : 평가점수비 = 개인별 평가점 수(Si)/표준 평가점수(Ss))을 도출하여 평가정보 데이터베이스(230)에 등록 및 저장하며, 그 결과로부터 각 연구과제별 성과에 대한 평가등급을 판정하고 제시한다. 여기서 상기 평가점수비를 도출하기 위해 사용되는 개인별 평가점수(Si)는 각 연구책임자의 연구 소요비용 대비 연구성과로서 상기 수학식 1에 의해 산출된 점수이고, 표준 평가점수(Ss)는 1인이 연구분야별 총 제안과제를 모두 수행한 경우를 가정하여 산정한 점수로서, 즉 1인이 총 연구비를 모두 소요하여 모든 연구성과를 도출했을 경우를 가정하여 산정한 점수이다.
도 3은 본 발명에 의한 연구개발결과의 정량적 평가방법에서 적용되는 평가점수(비) 산정 알고리즘에 대한 동작 흐름도로서, 도 2에 예시된 본 발명의 정량적 평가시스템에서 온라인 네트워크를 통해 사용자 단말기(10) 또는 관리자 단말기(30)로 연결된 웹상의 연구성과등급 판정서버(100)에서 이루어지는 연구개발결과 평가방법의 한 예이며, (a) 사용자 단말기 또는 관리자 단말기로부터 입력되는 정보를 분석하여 연구과제의 기본정보와 성과정보를 구분하고, 상기 연구과제의 기본정보를 과제정보 데이터베이스에 등록 및 저장하는 제 1단계(S101)와, (b) 상기 구분된 연구과제의 성과정보로부터 각 연구과제별로 유효한 성과정보를 필터링하고 각 연구성과를 통계 및 분석하여, 상기 유효한 성과정보를 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보로 설정하여 성과정보 데이터베이스에 등록 및 저장하는 제 2단계(S103-S109)와, (c) 상기 두 데이터베이스에 등록 및 저장된 연구과제의 기본정보 및 평가요소정보를 하나 이상의 파라미터로 사용하여 상기 수학식 1에 의해 각 연구과제에 대한 소요비용 대비 유효한 평가점수를 정량적으로 산출하 는 제 3단계(S111)와, (d) 상기 얻어지는 유효한 평가점수로부터 표준 평가점수에 대한 개인별 평가점수비를 도출하여, 상기 데이터베이스에 등록 및 저장된 각 연구과제별 성과에 대한 평가등급을 판정하고 제시하는 제 4단계(S113-S117)를 포함하여 구성된다.
상기 제 3단계(c)에서는, 연구 소요비용(F)과, 기업 부담금(MF)과, 연구성과(N*)와, 국제활동지표(QA)로 이루어지는 각각의 평가요소정보에 대하여,
유효평가점수(S)는 수학식 1(cost effectiveness fomula)에 의해,
Figure 112007037397617-pat00003
로 산출하며,
여기서, 연구성과(N*)는 SCI 논문과 특허 등록에 의한 제 1연구성과(Ns)와, 비SCI논문과 특허출원과 S/W 등록에 의한 제 2연구성과(Nn)의 합에 의해, 그리고 상기 제 1연구성과(Ns)는 제2 연구성과(Nn)에 대하여 3:1 비율의 가중치를 부여하여 반영한다.
이상과 같이 구성되는 본 발명의 전체적인 동작은, 크게 4단계로 구분할 수 있으며, (a) 연구과제의 기본정보를 입력받아 과제정보 데이터베이스에 등록 및 저장하는 단계(S101)와, (b) 연구과제의 성과정보로부터 각 연구과제별로 유효한 성과정보를 필터링하여 성과정보 데이터베이스에 등록 및 저장하는 제 2단계(S103-S109)와, (c) 연구과제의 기본정보 및 평가요소정보를 사용하여 각 연구과제에 대한 소요비용 대비 유효한 평가점수를 산출하는 제 3단계(S111)와, (d) 평가점수로 부터 표준 평가점수에 대한 개인별 평가점수비를 도출하여, 각 연구과제별 성과에 대한 평가등급을 판정하는 제 4단계(S113-S117)의 동작으로 구분되며, 이들 동작을 각각 구분하여 보다 상세히 설명하면 다음과 같다.
도 3에 예시된 바와 같이, 상기 연구성과등급 판정서버(100)는 제 1단계(a)에서, 사용자 단말기(10) 또는 관리자 단말기(30)로부터 기본정보를 입력(S101)받아 연구과제 분석 및 입력모듈(110)을 통해 분석하여, 연구과제의 종류 및 종류별 연구비용의 관리를 위한 관리 코드와 연구 소요비용(F)로 구성되는 연구과제의 기본정보와, 기업 부담금(MF)과 연구성과(N*)와 국제활동지표(QA)로 이루어지는 각각의 평가요소정보들로 구성되는 성과정보를 각각 구분하고, 상기 연구과제의 기본정보를 과제정보 데이터베이스(210)에 등록 및 저장한다.
다음으로 상기 연구성과등급 판정서버(100)는 제 2단계(b)에서, 상기 제 1단계에서 연구과제 분석 및 입력모듈(110)에 의해 구분된 연구과제의 기본정보를 제외한 성과정보를 연구성과 등록모듈(120)을 통해 입력(S103)받고, 과제별 연구성과를 필터링(S105)하는 단계를 거쳐 각 연구과제별로 유효하지 않은 부적절한 연구성과는 제거(S107)하고, 유효한 성과정보(국제 학술지 등에 실린 연구논문, 특허출원 또는 특허출원, S/W등록 등)만을 선택하여 상기 선택된 유효한 성과정보의 통계 분석을 실시(S109)하여, 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보로 사용할 수 있도록 성과정보 데이터베이스(220)에 등록 및 저장한다.
이어서 상기 연구성과등급 판정서버(100)는 제 3단계(c)에서, 상기 제 1단계 및 제 2단계를 거쳐 두 데이터베이스에 등록 및 저장된 연구과제의 기본정보 및 평 가요소정보를 하나 이상의 파라미터로 사용하여 유효평가점수 산출모듈(130)을 통해 상기 수학식 1의 각 연구과제에 대한 소요비용 대비 유효한 평가점수, 즉 각 개인별 평가점수(Si) 및 표준 평가점수(Ss)를 정량적으로 산출(S111)한다.
다음으로 상기 연구성과등급 판정서버(100)는 제 4단계(d)에서, 평가등급 판정모듈(140)을 통해 상기 제 3단계에서 얻어지는 유효한 개인별 평가점수(Si)를 표준 평가점수(Ss)에 대한 각 개인별 평가점수비(Sr)를 산정(S113)하여, 상기 평가정보 데이터베이스(230)에 등록 및 저장하고, 평가점수비 별 평가 등급 기준치의 입력(S115)이 있으면 그 입력 기준에 따라 각 연구과제별 성과에 대한 평가등급을 판정(S117)하여 제시한다. 여기서 상기 평가점수비 별 평가 등급 기준은 기설정되거나 입력된 값을 사용하는 것도 가능하게 된다.
상기 연구성과등급 판정서버(100)에서 상기 수학식 1에 의해 얻어지는 각 연구과제별 소요비용 대비 유효한 평가점수는, 예를 들어, 연구소요비용(F)이 분자에, 기업부담금(MF)과 연구성과(N*) 및 국제활동지표(QA)가 수학식 1의 분자에 있으므로, 평가점수가 낮을수록 연구소요비용 대비 연구개발 효율이 높음을 알 수 의미한다.
본 발명에서는 이러한 수학식 1(cost effectiveness fomula)을 사용하여 각 연구책임자 개개인의 평가점수(Si)를 산출한 후 표준 평가점수(Ss)와의 비를 산출함으로써 연구 소요비용 대비 연구성과를 상대적으로 평가한다. 이러한 점수비 산출에 대하여는 다음에서 상세히 설명한다.
상기 수학식 1(cost effectiveness fomula)을 사용한 평가 점수비는 다음과 같이 표준 평가점수에 대한 개인별 평가점수비로 산출한다. 이는 다른 연구 책임자들의 상대적인 평가를 하기 위함이며, 평가 점수비가 1이하일 경우는 적정 수준의 연구 소요비용 대비 연구성과라고 평가할 수 있고, 반면에 1보다 큰 경우에는 과다하게 연구비가 소요, 즉, 연구 소요비용에 비해 연구 성과가 충분히 도출되지 않았음을 의미한다.
아래의 실시예는 총 연구비 10억에 대한 5개의 연구개발 과제를 정량적으로 평가한 경우의 예시로서, 동일 연구비에 대해 연구성과가 다른 경우(A와 B과제)와, 동일 연구비 및 동일 연구성과이지만 매칭펀드(기업 부담금: MF)의 유/무가 다른 경우(C와 D과제)와, 동일 연구성과가 도출되었지만 연구비용이 다른 경우(B와 C와 E과제)로, 크게 3가지로 구분하여 설명될 수 있다.
<실시예>
관리코드 연구비 (억원) 기업 부담금 (억원) Ns Nn QA 점수 점수비
SCI 논문 특허 등록 특허 출원 비SCI 논문 S/W 등록
A 1 0 1 1 1 1 1 1 0.10 0.81
B 1 0 2 1 1 1 1 1 0.08 0.62
C 2 0 2 1 1 1 1 1 0.15 1.24
D 2 1 2 1 1 1 1 1 0.06 0.50
E 4 0 2 1 1 1 1 1 0.31 2.48
표준 10 1 9 5 5 5 5 5 0.12 1.00
상기 실시예에서 알 수 있는 바와 같이, 첫 번째로 동일한 연구비에 대해 연구성과가 다른 경우(A와 B과제), 연구성과가 많은 B과제가 A과제보다 평가 점수비가 낮게 산출됨을 알 수 있으며, B과제의 연구개발의 효율이 높게 평가되었슴을 의 미한다.
두 번째로 동일한 연구비 및 동일한 연구성과이지만 매칭펀드(기업 부담금: MF)가 있는 경우와 없는 경우(C와 D과제), 동일 연구비에 대해 동일 연구성과를 도출하였으나, D과제의 경우는 매칭펀드(기업 부담금)이 고려되어 점수비가 낮게 산출되었슴을 알 수 있으며, 이 경우 D과제의 연구개발의 효율이 높게 평가되었슴을 의미한다.
세 번째로 동일 연구성과가 도출되었지만, 연구비가 다른 경우(B,C,E 과제), 도출된 연구성과가 동일하다 하더라도 연구비가 각각 1,2,4억에 대하여 평가 점수비가 각각 0.62, 1.24, 2.48로 다르게 산출되었고 이는 소요연구비가 적은 경우 평가 점수비가 낮게 산출되었슴을 알 수 있으며, 이는 소요 연구비가 가장 작은 B과제의 경우가 연구개발의 효율이 높게 평가되었슴을 의미한다.
즉, 전체적으로 볼 때 평균 점수비가 1이하로 계산된 A,B,D 과제가 연구개발의 효율이 적정하다고 평가되며, C와 E과제의 경우는 점수비가 1이상으로 수요 연구비에 비해 충분히 연구성과가 도출되지 않았음을 알 수 있다. 특히 과제 E의 경우는 점수비가 2.48로 연구 역량에 비해 연구비가 2배 이상 과잉 소요되었다고 평가될 수 있다.
이로써 본 발명은 연구성과에 대한 객관적, 체계적인 평가를 위해 연구 소요비용에 대비한 성과(cost effectiveness)를 도출함으로써 연구 성과를 정량화하고, 이를 통해 연구 소요비용 대비 연구성과에 관련된 유효한 평가점수를 계산해냄으로써 연구결과에 대해 객관적, 정량적으로 평가할 수 있게 되는 이점이 있게 된다.
또한 본 발명은 국내외 학술발표 논문 편수 실적에 따라 가중치를 두어 차등 점수를 부여하고, 관련 분야의 국내/SCI 전문 학술지 논문 게재 편수 및 특허, S/W개발 등을 고려하여 평가점수를 계산함으로써 연구 논문 및 신기술개발 등의 연구실적의 경중을 고려하여 전년도 연구과제에 대한 연구결의 평가 및 차년도 연구과제 선정 프로세스를 자동으로 처리할 수 있게 되므로, 연구성과에 대한 평가가 객관적, 체계적으로 이루어질 수 있도록 하고 평가에 소요되는 비용 절감 및 시간과 공간의 제약성을 해결할 수 있게 되는 등의 이점을 제공할 수 있게 된다.
이상에서 설명한 바와 같이, 본 발명에 의하면 연구개발결과 평가에서 객관성과 정확성을 확보할 수 있으며, 또한 평가를 온라인에서 처리하므로 시간과 공간의 제약성을 해결할 수 있게 되어 평가비용 절감 측면에서도 상당한 효과를 얻을 수 있는 등의 이점이 있게 된다.

Claims (8)

  1. 삭제
  2. 삭제
  3. 온라인 네트워크를 통해 연결되는 사용자 단말기 또는 관리자 단말기로부터의 입력정보를 분석하여 하나 이상의 연구과제별 기본정보 및 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보를 수집하여 저장하는 데이터베이스와;
    상기 데이터베이스에 저장된 연구과제의 기본정보 및 평가요소정보를 기준으로 유효한 평가점수 및 그 평가점수비를 산출하여 각 연구과제별 평가등급을 판정하고 제시하는 연구성과등급 판정서버를 포함하되,
    상기 연구성과등급 판정서버는,
    사용자 단말기 또는 관리자 단말기로부터 입력되는 정보를 분석하여 연구과제의 기본정보와 성과정보를 구분하고, 상기 연구과제의 기본정보를 과제정보 데이터베이스에 등록 및 저장하는 연구과제 분석 및 입력모듈;
    상기 연구과제 분석 및 입력모듈에서 구분된 연구과제의 성과정보로부터 각 연구과제별로 유효한 성과정보를 필터링하고, 상기 필터링된 유효한 성과정보를 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보로 설정하여 성과정보 데이터베이스에 등록 및 저장하는 연구과제 성과 등록모듈;
    상기 두 데이터베이스에 등록 및 저장된 연구과제의 기본정보 및 평가요소정보를 하나 이상의 파라미터로 사용하여 각 연구과제에 대한 소요비용 대비 유효한 평가점수를 정량적으로 산출하는 일련의 프로세스를 실행하되,
    상기 유효평가점수(S)는, 연구 소요비용(F)과, 기업 부담금(MF)과, 연구성과(N*)와, 국제활동지표(QA)로 이루어지는 각각의 평가요소정보에 대하여, 하기식
    Figure 112008039052337-pat00009
    에 의해 산출하는 유효평가점수 산출모듈; 및
    상기 유효평가점수 산출모듈에서 얻어지는 유효평가점수로부터 표준 평가점수에 대한 개인별 평가점수비를 도출하여, 상기 데이터베이스에 등록 및 저장된 각 연구과제별 성과에 대한 평가등급을 판정하고 제시하는 평가등급 판정모듈;을 포함하여 구성되는 것을 특징으로 하는 연구개발결과의 정량적 평가시스템.
  4. 제 3항에 있어서, 상기 유효평가점수 산출모듈은,
    SCI 논문과 특허 등록에 의한 제 1연구성과(Ns)와, 비SCI논문과 특허출원과 S/W 등록에 의한 제 2연구성과(Nn)의 합에 의해 연구성과(N*)를 산출하여 상기 산출식에 반영하는 것을 특징으로 하는 연구개발결과의 정량적 평가시스템.
  5. 제 3항에 있어서, 상기 유효평가점수 산출모듈은,
    상기 제 1연구성과(Ns)를 제2 연구성과(Nn)에 대하여 일정 비율의 가중치를 부여하여 상기 산출식에 반영하는 것을 특징으로 하는 연구개발결과의 정량적 평가시스템.
  6. 온라인 네트워크를 통해 사용자 단말기 또는 관리자 단말기로 연결되는 웹상의 연구성과등급 판정서버에 의해 이루어지는 연구개발결과 평가방법에 있어서,
    (a) 사용자 단말기 또는 관리자 단말기로부터 입력되는 정보를 분석하여 연구과제의 기본정보와 성과정보를 구분하고, 상기 연구과제의 기본정보를 과제정보 데이터베이스에 등록 및 저장하는 단계;
    (b) 상기 구분된 연구과제의 성과정보로부터 각 연구과제별로 유효한 성과정보를 필터링하고, 상기 필터링된 유효한 성과정보를 각 연구과제의 성과별 정량적 평가를 위한 평가요소정보로 설정하여 성과정보 데이터베이스에 등록 및 저장하는 단계;
    (c) 상기 두 데이터베이스에 등록 및 저장된 연구과제의 기본정보 및 평가요소정보를 하나 이상의 파라미터로 사용하여 각 연구과제에 대한 소요비용 대비 유효 평가점수를 정량적으로 산출하되,
    상기 유효평가점수(S)는, 연구 소요비용(F)과, 기업 부담금(MF)과, 연구성과(N*)와, 국제활동지표(QA)로 이루어지는 각각의 평가요소정보에 대하여, 하기식
    Figure 112008039052337-pat00010
    에 의해 산출되는 단계; 및
    (d) 상기 얻어지는 유효한 평가점수로부터 표준 평가점수에 대한 개인별 평가점수비를 도출하여, 상기 데이터베이스에 등록 및 저장된 각 연구과제별 성과에 대한 평가등급을 판정하고 제시하는 단계;를 포함하는 것을 특징으로 하는 연구개발결과의 정량적 평가방법.
  7. 삭제
  8. 제 6항에 있어서, 상기 (c) 단계는,
    SCI 논문과 특허 등록에 의한 제 1연구성과(Ns)와, 비SCI논문과 특허출원과 S/W 등록에 의한 제 2연구성과(Nn)의 합에 의해 연구성과(N*)를 산출하며,
    상기 제 1연구성과(Ns)를 제2 연구성과(Nn)에 대하여 일정 비율의 가중치를 부여하여 상기 산출식에 반영하는 것을 특징으로 하는 연구개발결과의 정량적 평가방법.
KR1020070049570A 2007-05-22 2007-05-22 연구개발결과의 정량적 평가시스템 및 방법 KR100865157B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070049570A KR100865157B1 (ko) 2007-05-22 2007-05-22 연구개발결과의 정량적 평가시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070049570A KR100865157B1 (ko) 2007-05-22 2007-05-22 연구개발결과의 정량적 평가시스템 및 방법

Publications (1)

Publication Number Publication Date
KR100865157B1 true KR100865157B1 (ko) 2008-10-24

Family

ID=40177531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070049570A KR100865157B1 (ko) 2007-05-22 2007-05-22 연구개발결과의 정량적 평가시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100865157B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839830B1 (ko) * 2017-05-12 2018-03-20 한국과학기술정보연구원 슈퍼컴퓨터의 자원활용과 연구개발과제의 연계분석을 위한 장치 및 그 방법
KR101969312B1 (ko) * 2018-01-24 2019-08-20 한국과학기술정보연구원 연구계획서평가장치 및 그 동작 방법
CN112949074A (zh) * 2021-03-12 2021-06-11 中国科学院力学研究所 一种空间碎片主动清除方法的功效评估方法与系统
KR20220086151A (ko) * 2020-12-16 2022-06-23 한국수력원자력 주식회사 연구과제 성과활용정보 관리 시스템 및 이를 이용한 연구과제 성과활용정보 관리 방법
KR20220152756A (ko) * 2021-05-10 2022-11-17 한국산업기술평가관리원 연구개발 과제 평가 환경 제공 시스템 및 그 방법
WO2023106855A1 (ko) * 2021-12-09 2023-06-15 주식회사 뤼튼테크놀로지스 작문 평가를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050011590A (ko) * 2003-07-23 2005-01-29 한국과학기술정보연구원 연구개발 투자의 의사결정 지원시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050011590A (ko) * 2003-07-23 2005-01-29 한국과학기술정보연구원 연구개발 투자의 의사결정 지원시스템 및 그 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839830B1 (ko) * 2017-05-12 2018-03-20 한국과학기술정보연구원 슈퍼컴퓨터의 자원활용과 연구개발과제의 연계분석을 위한 장치 및 그 방법
KR101969312B1 (ko) * 2018-01-24 2019-08-20 한국과학기술정보연구원 연구계획서평가장치 및 그 동작 방법
KR20220086151A (ko) * 2020-12-16 2022-06-23 한국수력원자력 주식회사 연구과제 성과활용정보 관리 시스템 및 이를 이용한 연구과제 성과활용정보 관리 방법
KR102556149B1 (ko) * 2020-12-16 2023-07-18 한국수력원자력 주식회사 연구과제 성과활용정보 관리 시스템 및 이를 이용한 연구과제 성과활용정보 관리 방법
CN112949074A (zh) * 2021-03-12 2021-06-11 中国科学院力学研究所 一种空间碎片主动清除方法的功效评估方法与系统
CN112949074B (zh) * 2021-03-12 2023-10-20 中国科学院力学研究所 一种空间碎片主动清除方法的功效评估方法与系统
KR20220152756A (ko) * 2021-05-10 2022-11-17 한국산업기술평가관리원 연구개발 과제 평가 환경 제공 시스템 및 그 방법
KR102566494B1 (ko) * 2021-05-10 2023-08-11 한국산업기술평가관리원 연구개발 과제 평가 환경 제공 시스템 및 그 방법
WO2023106855A1 (ko) * 2021-12-09 2023-06-15 주식회사 뤼튼테크놀로지스 작문 평가를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Similar Documents

Publication Publication Date Title
Yamaguchi Changes in returns to task-specific skills and gender wage gap
KR100865157B1 (ko) 연구개발결과의 정량적 평가시스템 및 방법
Engelmann et al. Testing rating accuracy
US20170352046A1 (en) Methods and systems for using multiple data sets to analyze performance metrics of targeted companies
CN116342259A (zh) 一种用户信用自动评级方法、装置、电子设备及介质
Crama et al. Power indices and the measurement of control in corporate structures
Marrocu et al. Estimation of total factor productivity for regions and sectors in Italy. A panel cointegration approach
CN107341731A (zh) 保险业务风险评分系统及其构建方法
Wilson et al. Estimating the cost of new public health legislation
Sørensen et al. The importance of worker, firm and match effects in the formation of wages
CN107122386A (zh) 数据的筛选方法及装置
Gemayel et al. Ranked set sampling: an auditing application
Mamahit et al. The Effect of Mergers and Acquisitions on Financial Performance of Companies Listed in Indonesia Stock Exchange
CN114154905A (zh) 获取企业关联关系的方法及系统
Chen et al. Mutual fund performance evaluation–application of system BCC model
Perera et al. On the cross‐methodological validation of bank efficiency assessments
CN110309219A (zh) 信用评分模型的生成方法及装置
CN110750572A (zh) 一种科技成果启发式评价的自适应方法和装置
KR102336462B1 (ko) 신용평가정보 제공 장치 및 방법
Porawouw et al. The Application of Camel Model on Banks Listed in Indonesia Stock Exchange Period 2008-2010
Djedović et al. Model business process improvement by statistical analysis of the users' conduct in the process
Houshaimi Financial structure and economic growth: An empirical study in the MENA Region
Goel et al. EVA based Financial performance measurement: An Evidential Study of selected emerging country companies
Ellis et al. The meeting before the meeting: Governance roadshows and mutual fund voting
CN110310200B (zh) 清收逾期贷款的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131015

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee