KR101871340B1 - 평가지표 자율제안에 의한 연구개발과제 선정 시스템 - Google Patents

평가지표 자율제안에 의한 연구개발과제 선정 시스템 Download PDF

Info

Publication number
KR101871340B1
KR101871340B1 KR1020150190617A KR20150190617A KR101871340B1 KR 101871340 B1 KR101871340 B1 KR 101871340B1 KR 1020150190617 A KR1020150190617 A KR 1020150190617A KR 20150190617 A KR20150190617 A KR 20150190617A KR 101871340 B1 KR101871340 B1 KR 101871340B1
Authority
KR
South Korea
Prior art keywords
evaluation
performance
research
delete delete
score
Prior art date
Application number
KR1020150190617A
Other languages
English (en)
Other versions
KR20170080905A (ko
Inventor
박상호
Original Assignee
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충남대학교산학협력단 filed Critical 충남대학교산학협력단
Priority to KR1020150190617A priority Critical patent/KR101871340B1/ko
Priority to US15/772,807 priority patent/US11068816B2/en
Priority to PCT/KR2016/015594 priority patent/WO2017116215A1/ko
Publication of KR20170080905A publication Critical patent/KR20170080905A/ko
Application granted granted Critical
Publication of KR101871340B1 publication Critical patent/KR101871340B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F17/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법에 관한 것으로서, 연구개발과제 입찰에 대한 실적평가항목의 선택에 대응하여 생성된 실적정보를 입찰자별로 구분하고, 구분된 입찰자 그룹별로 상기 연구개발과제를 선정한다. 본 발명에 따르면, 연구개발과제 선정기준인 평가지표를 연구개발과제 입찰자 스스로 선택할 수 있도록 함으로써, 자율성 보장뿐 아니라 모든 연구개발과제 입찰자들에게 공정한 입찰 기회를 제공할 수 있고, 또한 자율적으로 선택한 실적평가항목에 대응하여 구분된 해당 그룹별로 연구개발과제 선정이 이루어지므로 연구개발과제 입찰자들 간의 공정한 경쟁 및 투명한 선정이 이루어질 수 있을 뿐 아니라, 연구개발과제의 균등 분배가 이루어질 수 있다.

Description

평가지표 자율제안에 의한 연구개발과제 선정 시스템{SYSTEM FOR SELECTING RESEARCH AND DEVELOPMENT PROJECT BY SELF PROPOSAL OF EVALUATION INDICATORS}
본 발명은 연구개발과제 선정 방식에 관한 것으로, 더욱 상세하게는 연구개발과제 입찰자 스스로가 자율적으로 제안한 평가지표를 이용하여 연구개발과제를 선정할 수 있도록 하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법에 관한 것이다.
기존 연구개발과제 선정 방식은 기술 전문가들의 주관적, 정성적 판단에 의존하고 있으며, 기술성 및 성장성에 초점을 둔 스크리닝 방법론에 의해 수행되고 있다. 즉, 국내외의 기술평가 기관들에 의해 수행된 기존 기술평가의 객관적인 지표들을 활용하여 유망 연구개발과제들을 선정하고 있는 것이다.
그러나, 이러한 연구개발과제 선정 방식은 기술평가의 각 지표를 개별적으로 활용하는 정도에 머물러 있을 뿐, 지표들 간의 상호 관계를 통합적으로 분석하여 평가하는 수준에는 이르지 못하고 있다. 즉, 기존 연구개발과제 선정 방식은 유망 연구개발과제의 도출을 위한 의사 결정을 지원하는 정도의 수준에 머무르고 있을 뿐이다.
또한, 기존 연구개발과제 선정 방식은 각 주어진 실적평가항목을 모두 만족하는 연구개발과제 입찰자들에게만 기회가 부여됨에 따라, 선정되는 연구개발과제가 특정 단체에 편중되는 현상이 발생하고 있다. 이러한 현상은 실적평가항목이 특정 항목, 예를 들어 논문 등에 한정되기 때문에 발생하며, 일반적으로 논문 수 등의 양적지표가 많이 이용되고 있다. 즉, 논문을 제출하지 않는 학교 등에서는 연구개발과제에 선정되기 어려운 선정 방식이 적용되고 있는 것이다. 또한, 이러한 논문 수의 양적지표의 문제점과 함께 하나의 논문이 다수의 입찰에 이용되고 있는 문제점도 안고 있다.
이에 연구개발과제 선정 방식에 있어, 자율성과 공정성을 높일 수 있을 뿐만 아니라 균등 분배가 가능한 새로운 연구개발과제 선정 방식이 필요한 실정이다.
대한민국 공개특허공보 제10-2011-0052189호(공개일 2011.05.18.)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 연구개발과제 입찰자가 자율적으로 선택한 평가지표를 연구개발과제 선정기준으로 제안하고, 평가지표별로 구분된 해당 그룹에서 연구개발과제 입찰자들 간의 공정한 경쟁 및 투명한 선정이 이루어질 수 있도록 하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 평가지표 자율제안에 의한 연구개발과제 선정 시스템은, 연구개발과제 선정기준인 실적평가항목을 포함하는 평가지표의 자율적인 제안에 대응하여 평가지표별로 그룹화하고, 그룹별로 실적정보에 근거하여 연구개발과제를 선정하는 서버를 포함하는 것을 특징으로 한다.
한편, 본 발명의 평가지표 자율제안에 의한 연구개발과제 선정 방법은, 서버가, 연구개발과제 선정기준인 실적평가항목을 포함하는 평가지표의 자율적인 제안에 대응하여 평가지표별로 그룹화하고, 그룹별로 실적정보에 근거하여 연구개발과제를 선정하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 의한 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법에 따르면, 연구개발과제 선정기준을 연구개발과제 입찰자 스스로 선택할 수 있도록 함으로써, 자율성 보장뿐 아니라 모든 연구개발과제 입찰자들에게 공정한 입찰 기회를 제공할 수 있다.
또한, 본 발명에 따르면, 자율적으로 선택한 평가지표에 대응하여 구분된 해당 그룹별로 연구개발과제 선정이 이루어지므로 연구개발과제 입찰자들 간의 공정한 경쟁 및 투명한 선정이 이루어질 수 있을 뿐 아니라, 연구개발과제의 균등 분배가 이루어질 수 있다.
도 1은 본 발명에서 제안하는 평가지표의 자율제안을 위한 순환알고리즘이다.
도 2는 본 발명의 일 실시예에 의한 평가지표 자율제안에 의한 연구개발과제 선정 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 의한 서버의 구성도이다.
도 4는 본 발명의 일 실시예에 의한 실적 연산부의 구성도이다.
도 5는 본 발명의 일 실시예에 의한 평가지표 자율제안에 의한 연구개발과제 선정 방법의 흐름도이다.
도 6은 본 발명의 일 실시예로서, 실적평가항목 및 가중치를 예시한 표이다.
도 7은 본 발명의 일 실시예로서, 평가점수를 계산하는 예시도이다.
도 8은 본 발명의 일 실시예로서, 프로젝트별 평가점수를 계산하는 예시도이다.
이하, 본 발명의 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도면 설명에 있어, 동일 기능을 수행하는 구성에 대해서는 동일 참조부호를 부여하기로 한다.
도 1은 본 발명에서 제안하는 평가지표의 자율제안을 위한 순환알고리즘이다.
도 1을 참조하면, 본 발명은, 입찰자에 의해 자율적으로 평가지표가 제안되면, 평가지표별로 그루핑(Grouping)을 수행하고, 해당 그룹별로 프로젝트의 평가점수를 산출하여 프로젝트의 선정 여부를 판단하고, 프로젝트의 선정 여부 결과를 바탕으로 그룹별 평가지표를 분석하여 다시 자율적인 제안이 이루어지는 순환구조로 구성되어 있다.
여기서, 본 발명에서 프로젝트는 제안하여 입찰하고자 하는 연구개발과제를 의미한다.
또한, 본 발명에서 평가지표는 실적평가항목과 실적평가항목을 정량적으로 나타내기 위한 가중치를 포함한다. 실적평가항목은 연구개발과제 선정기준으로서, 기존 특정 기관에서 미리 정하여진 규정에 대한 조건이 아닌, 입찰자가 직접 설정(선택)하는 대상이다. 이러한 실적평가항목에는 논문발표, 특허출원, 지도학생취업, 연구비총액, 기업기술이전 등이 있을 수 있다.
도 2는 본 발명의 일 실시예에 의한 평가지표 자율제안에 의한 연구개발과제 선정 시스템의 구성도이다.
도 2를 참조하면, 본 발명의 평가지표 자율제안에 의한 연구개발과제 선정 시스템은, 평가지표에 포함된 실적평가항목의 선택에 대응하여 실적정보를 생성하는 연구개발과제 입찰자 단말(1)(이하, "입찰자 단말"이라 함)과, 실적정보를 저장 및 관리하고, 실적정보에 대응하여 구분된 입찰자 그룹별로 연구개발과제를 선정하는 서버(2)를 포함한다.
이와 같이 구성된 평가지표 자율제안에 의한 연구개발과제 선정 시스템은, 입찰자 단말(1)과 서버(2) 간 접속이 이루어지면, 입찰자 단말(1)에서 입찰자가 선택한 평가지표에 대응하여 평가지표에 포함된 실적평가항목별 실적정보를 생성하여 서버(2)로 전송하고, 이에 서버(2)에서는 실적정보를 저장하고, 실적정보에 대응하여 연구개발과제를 선정한다. 이 때, 각 입찰자가 선택한 실적평가항목에 따라 그룹을 구분하며, 해당 그룹별로 설정된 비율에 따라 연구개발과제를 선정한다.
한편, 본 실시예에서는 실적정보를 입찰자 단말(1)에서 생성하는 것을 예시하고 있으나, 입찰자 단말(1)과 서버(2) 간 실시간 접속 상태에서 서버(2)측에서 실적정보가 생성될 수도 있다.
도 3은 본 발명의 일 실시예에 의한 서버의 구성도이다.
도 3을 참조하면, 본 발명의 서버(2)는, 선택된 실적평가항목에 대응하여 실적평가항목별로 분류하는 실적평가항목 분류부(21)와, 분류된 실적평가항목에 대응하여 입찰자를 그루핑하는 입찰자 그루핑부(22)와, 그룹별로 실적평가항목에 대응하여 실적을 연산하는 실적 연산부(23)와, 그룹별로 미리 설정된 규칙에 대응하여 연구개발과제를 선정하는 연구개발과제 선정부(24)를 포함한다.
여기에, 서버(2)는 실적평가항목 분류부(21)와, 입찰자 그루핑부(22)와, 실적 연산부(23)와, 연구개발과제 선정부(24)의 처리 데이터 및 입출력 데이터를 저장하는 데이터베이스(25)를 포함할 수 있다.
한편, 데이터베이스(25)에는 평가지표의 실적평가항목 및 가중치, 실적평가항목의 실적지분율, 참여연구원의 과제참여율을 저장할 수 있다.
이 때, 실적지분율은 참여연구원의 동의를 얻어 부여되는 것이 바람직하며, 하나의 실적정보의 실적지분율의 총합은 100% 이하이며, 연구개발과제에 낙찰되면 실적지분율은 고정되는 것이 바람직하다. 또한, 과제참여율은 년단위, 월단위, 주단위, 일단위 중에서 어느 하나를 선택하여 참여연구원별로 관리되는 것이 바람직하며, 한명의 참여연구원의 과제참여율의 총합은 100% 이하이며, 연구개발과제에 낙찰되면 연구참여율은 고정되는 것이 바람직하다.
입찰자 그루핑부(22)는 실적평가항목에 대응하여 미리 세팅된 해당 평가지표의 그룹에 포함시킬 수 있고, 새로운 실적평가항목에 대응하여 새로운 평가지표의 그룹을 생성할 수도 있다. 이 때, 새로운 평가지표에 대한 분석을 통해 평가지표에 대한 업데이트가 이루어지는 것이 바람직하다. 또한, 입찰자 그루핑부(22)는 서로 다른 평가지표에 대한 분석을 통해 하나로 합하는 작업을 수행하거나, 두 개 이상으로 분리하는 작업을 수행할 수 있다. 그리고, 입찰자 그루핑부(22)는 낙찰 가능한 실적평가항목을 입찰자 단말에 전송할 수 있다.
실적 연산부(23)는 평가점수를 합산하여 총점을 산출하고, 평가점수 및 예년과 현재의 입찰금액을 대응하여 입찰자 단말에 낙찰 가능 확률 또는 낙찰 가능한 입찰금액을 전송할 수 있으며, 최적의 평가지표 그룹을 알려줄 수도 있다.
이와 같이 구성된 서버(2)는, 입찰자 단말(1)에서 전송된 실적정보로부터 추출된 실적평가항목에 따라 입찰자를 그루핑하고, 이어서 그룹별로 실적평가항목에 대응하여 실적을 연산하여 평가점수 대비 입찰비용에 따라 연구개발과제를 선정한다.
도 4는 본 발명의 일 실시예에 의한 실적 연산부의 구성도이다.
도 4를 참조하면, 본 발명의 실적 연산부(23)는, 프로젝트에 투입되는 연구원의 과제참여율과 실적평가항목의 실적지분율의 곱연산으로부터 각 연구원별 평가점수를 산출하는 평가점수 산출부(231)와, 프로젝트에 투입되는 연구원들의 평가점수를 합산하고, 합산된 평가점수 대비 입찰비용에 대응하는 평가금액비율로 환산하는 평가금액비율 환산부(232)를 포함한다.
여기에, 본 발명의 실적 연산부(23)는, 실적평가항목이 2개 이상일 경우에 입찰자에 의해 설정된 각 실적평가항목을 정량적으로 나타내기 위해 가중치를 적용하는 가중치 적용부(233)를 더 포함할 수 있다. 이와 같이, 가중치 적용부(233)는 실적평가항목이 2개 이상일 경우에 적용되며, 이에 가중치 적용부(233)는 실적 연산부(23) 구성에 선택적으로 적용된다. 이에, 가중치 적용부(233)는 평가점수 산출부(231)에서 산출된 평가점수에 대해 정량적으로 나타내는 가중치가 적용된다.
이와 같이 구성된 본 발명의 실적 연산부(23)는, 프로젝트에 투입되는 연구원의 과제참여율과 실적평가항목의 실적지분율의 곱연산으로부터 각 연구원별 평가점수를 산출한다. 이 때, 입찰자에 의해 설정된 각 실적평가항목을 정량적으로 나타내기 위해 가중치가 적용되어 평가점수가 산출된다. 이어서 프로젝트에 투입되는 연구원들의 평가점수를 합산하여 합산된 평가점수 대비 입찰비용에 대응하는 평가금액비율로 환산한다. 이 평가금액비율에 근거하여 연구개발과제를 선정하게 된다.
한편, 서버는 입찰자들이 입력한 실적평가항목에 대하여 최적의 평가지표를 분석하여 연구개발과제를 입찰할 수 있는 최적의 그룹을 제시할 수 있다. 즉, 서버는 연구원들의 평가점수를 합산하여 총점을 산출하고, 평가점수 및 예년과 현재의 입찰금액을 대응하여 낙찰 가능 확률 또는 낙찰가능한 입찰금액을 알려줄 수 있다. 또한, 서버는 연구원들의 평가점수를 합산하여 총점을 산출하고, 평가점수 및 예년과 현재의 입찰금액 및 평가지표 그룹에 대응하여 최적의 실적평가항목 그룹을 알려줄 수도 있다.
한편, 선정된 연구개발과제의 총연구비의 일정 비율에 대한 수수료 정보를 입찰자 단말로 전송할 수 있으며, 또한 선정된 연구개발과제에서 사용한 평가지표의 저작권에 대한 수수료 정보를 입찰자 단말로 전송할 수 있다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 평가지표 자율제안에 의한 연구개발과제 선정 방법에 대해 설명하기로 한다.
도 5는 본 발명의 일 실시예에 의한 평가지표 자율제안에 의한 연구개발과제 선정 방법의 흐름도이다.
도 5를 참조하면, 입찰자 단말(1)과 서버(2) 간 접속이 이루어지면(S1), 로그인 등을 통한 인증을 수행한 후(S2), 입찰자가 자율제안한 평가지표의 실적평가항목 선택에 대응하여 입찰자 단말(1)에서 실적정보를 생성하여 서버(2)로 전송한다(S3).
이에 서버(2)에서는 각 입찰자가 선택한 실적평가항목을 분류함(S4)과 아울러, 동일하거나 유사한 실적평가항목을 선택한 입찰자들을 그루핑하는 작업을 수행한다(S5).
이어서 서버(2)에서는 프로젝트에 투입되는 연구원의 과제참여율과 실적평가항목의 실적지분율의 곱연산으로부터 각 연구원별 평가점수를 산출한다(S6). 이 때, 그룹별로 실적평가항목을 정량적으로 나타내기 위해 가중치를 적용할 수 있다.
이에 해당 프로젝트에 투입되는 연구원들의 평가점수를 합산하고(S7), 합산된 평가점수 대비 입찰비용에 대응하는 평가금액비율로 환산한다. 이 평가금액비율에 근거하여 순위 또는 선정비율에 대응하여 연구개발과제를 선정한다(S8).
그러면, 여기서 실적평가항목 자율제안 및 그루핑, 데이터베이스 실적평가항목 실적지분율 할당, 프로젝트 과제참여율 선택, 연구개발과제 입찰 및 선정 과정들에 대해 상세히 설명하기로 한다.
실적평가항목 자율제안 및 그루핑
본 발명은 평가지표 자율제안에 의한 연구개발과제 선정에 관한 것으로서, 기존 방식에서와 같이 특정 기관에서 미리 정하여진 규정에 대해 해당 조건을 만족하는 입찰자만 연구개발과제 선정에 입찰하는 것이 아니라, 입찰자가 평가지표에 포함된 실적평가항목(연구개발과제 선정기준)을 스스로 설정하여 입찰하는 방식이다. 일반적으로, 연구개발과제는 기업, 연구소 및 대학 등에서 입찰이 이루어지게 되는데, 본 실시예에서는 설명의 편의를 위해 대학에서 입찰이 이루어지는 경우에 대해 설명하기로 한다. 대학에서의 연구개발과제 입찰은 교수들에 의해 이루어지게 된다. 즉, 교수는 석사 및 박사를 포함하는 연구원들을 바탕으로 하여 연구개발과제에 대해 입찰을 하게 된다.
도 6에 도시된 바와 같이, 예를 들어, A교수가 일정기간동안의 실적평가항목을 선택하기 위해, 논문에 100점, 지도학생취업에 40점을 실적평가항목 및 가중치를 포함하는 평가지표로 선택하는 것이 가장 높은 평가점수를 받을 수 있을 것으로 분석하여, 논문과 지도학생취업을 연구개발과제 선정기준으로 입찰할 수 있다. 또한, 이와 유사한 실적평가항목 및 가중치를 연구개발과제 선정기준으로 입찰할 수도 있다. 물론, 타교수에 의해서도 실적평가항목 및 가중치를 서로 다르게 설정하여 입찰이 이루어질 수도 있다.
즉, B교수는 지도학생취업에 100점, 특허에 50점, 논문에 50점을 평가지표로 하여 연구개발과제 선정기준으로 입찰할 수 있다. 또한, C교수는 특허에 100점, 지도학생취업에 100점을 평가지표로 하여 연구개발과제 선정기준으로 입찰할 수 있다. 그리고, D교수는 논문에 50점, 특허출원에 100점을 평가지표로 하여 연구개발과제 선정기준으로 입찰할 수 있다. 이와 같이, 각 교수는 내부적으로 평가지표를 자체 평가하여, 가장 유리한 평가지표를 자율적으로 결정할 것이며, 이를 연구개발과제 선정기준으로 제시할 것이다.
이와 같이 다양한 평가지표가 존재하므로, 이를 구분하기 위한 그루핑 과정이 필요하게 된다. 즉, 실적평가항목 종류 및 가중치 적용비율 등을 고려하여 그루핑하는 과정이 필요하게 된다. 이에 평가지표가 동일하거나 설정범위 내에서 유사한 그룹이 생성되게 된다. 즉, A그룹에는 지도학생취업과 논문을 실적평가항목으로 하는 입찰자들로 구성될 수 있고, B그룹에는 지도학생취업을 실적평가항목으로 하는 입찰자들로 구성될 수 있고, C그룹에는 논문발표를 실적평가항목으로 하는 입찰자들로 구성될 수 있고, D그룹은 특허출원을 실적평가항목으로 하는 입찰자들로 구성될 수 있다. 이외에 다양한 실적평가항목 및 가중치의 조합에 대응하여 다양한 그룹이 형성될 수 있다. 그리고, 그룹내에서 가중치 적용비율에 대응하여 세부적으로 서브그룹으로 분류될 수도 있다.
이 그루핑 과정은 전체 프로세스에서 생략될 수 있으며, 평가지표 등을 고려하여 단순 리스트로 관리될 수도 있고, 프로젝트를 지원하는 기관에서 필요한 평가지표를 추가할 수 있다.
이와 같이 해당 그룹에는 평가지표가 결정되어 도출되며, 이 과정에서 입찰자들이 제출한 평가지표에 대하여 대면평가를 통하여 평가지표를 결정하거나 연구비를 지원하는 기관의 평가지표가 추가될 수 있다. 또한 기계공학분야, 생산설계분야 등 연구개발분야를 실적평가항목으로 추가하여 이에 해당하는 논문만 실적으로 인정하여 같은 분야의 입찰자들이 경쟁할 수 있다. 또한 시작품제작비등 연구비 사용내역을 실적평가항목으로 제안하여 사업목적에 맞게 사용한 연구비만을 추출하여 10만원당 1점과 같은 방법으로 가중치를 할당할 수도 있다.
그러면 여기서, 그루핑이 이루어지는 과정에 대해 좀 더 구체적으로 설명한다.
여러 교수들에 의해 평가지표에 서로 다른 비율의 가중치를 배정한 연구개발과제가 제안될 수 있는데, 예를 들어, B교수는 취업에 100점, 특허에 50점, 논문에 50점을 가중치로 배정하여 연구개발과제를 제안하고, C교수는 특허에 100점, 취업에 100점을 배정하여 연구개발과제를 제안하고, D교수는 논문에 50점, 특허에 100점을 배정하여 연구개발과제를 제안할 수 있다. 한편, 이런 평가지표 제안을 평가하여 다양한 연구개발과제의 평가지표를 자율적으로 결정할 수 있다.
이와 같이 다양한 평가지표가 존재하므로, 이를 그루핑하는 과정이 필요하게 된다. 여기서, 본 발명에서는 일례로서, 가중치 적용비율 등을 고려하여 그루핑하는 과정을 거칠 수 있다. 그 방법은 가중치를 백분율로 표시하고, 같은 가중치의 백분율 중에 작은 값을 선택하여 정수가 되도록 배수하게 된다. 위와 같은 경우에는 B 교수와 C 교수의 평가지표가 유사하다고 판단되어 이들을 그루핑하게 된다.
B교수는 취업에 100점, 논문에 50점, 특허에 50점을 배정한 가중치를 백분율로 환산하여 취업에 50%, 논문에 25%, 특허에 25%로 계산한다. 또한, C교수는 취업에 100점, 특허에 100점을 백분율로 환산하여 취업에 50%, 특허에 50%로 계산한다. 각 가중치의 백분율 중에서 공통적인 평가지표의 작은 값을 취하여 취업에 50% 특허에 25% 를 취한다. 평가지표는 입찰자들간의 경쟁이므로 비율만 같게 되면 같은 효과를 갖게 된다.
즉, 앞의 평가지표는 취업에 200점, 특허에 100점을 할당하거나, 취업에 50점, 특허에 25점을 할당한 것과 같은 효과를 같게 된다. 이들 중에 적당한 가중치인 취업에 100점, 특허에 50점을 할당하게 된다.
이외에도 여러가지 방법으로 그루핑할 수 있다.
데이터베이스 실적평가항목 실적지분율 할당
평가금액비율을 구하기 위해 실적평가항목으로부터 평가점수를 산출하는 과정에 대해 설명한다.
실적평가항목은 구체적인 증빙 자료에 근거하여 정량적으로 평가할 수 있어야 한다. 만약, 자료 중에 허위 또는 중복이 발견될 경우 연구비 지급 중지 또는 환불, 벌금 등의 벌칙이 내려지는 것이 바람직할 것이다.
실적평가항목에는 논문발표, 특허출원, 지도학생취업 등 많은 요소가 있을 수 있으며, 본 실시예에서는 설명의 편의를 위해 논문과 지도학생취업이 실적평가항목으로 제시되는 경우에 대해서 설명하기로 한다.
먼저 논문의 경우, 해당 논문에는 다수의 저자들이 있을 수 있으며, 이에 주저자와 부저자들에 대한 실적평가항목 실적지분율을 분배할 수 있으며, 이를 바탕으로 하여 평가점수를 결정할 수 있다.
한편, 평가지표가 다수개인 경우에는 이것들을 모두 저장하여 평가점수 산정시 그 중에서 가장 높은 평가점수를 받을 수 있는 것을 자동으로 선택할 수 있도록 하는 것이 바람직하다. 예를 들면, 평가지표가 SCI논문과 국내등재논문, 두가지 평가지표에 해당되는 경우에는 평가점수가 높은 SCI논문으로 평가지표로 선택하여 평가점수를 높일 수 있다. 단, 평가지표의 점수를 하나만 선택하지 않고 중복하여 산정하는 경우에는 탈락시키거나 이후 입찰에 참여할 수 없게 하는 등의 벌칙을 부여하는 것이 바람직하다.
여기서, 설명의 편의를 위해 하나의 실적평가항목에서 모든 참여자(논문인 경우에는 저자)의 실적지분율의 총합은 100%를 넘을 수 없는 것으로 한정하며, 실적지분율(업무량)을 수치로 표현할 수 있다고 가정한다.
이와 같이, 논문은 주저자 및 부저자를 포함하여 실적지분율이 분배될 수 있다. 즉, 도 7에 도시된 바와 같이, P논문의 가중치가 100점이고 A저자가 10% 실적지분율을 갖고 B저자가 90%(실질적인 주저자) 실적지분율을 갖는다면, A저자는 A논문에서 100점 x 10% = 10점의 평가점수를 갖고, B저자는 100점 x 90% = 90점의 평가점수를 나누어 갖게 된다.
한편, 지도학생취업도 평가점수 산정의 또 다른 변수로서 작용한다.
여기서, 지도학생취업에도 미리 정해진 평가지표가 적용되며, 예를 들어 가중치 40점을 기준으로 하여 B저자에게 100%가 부여된다면 B저자는 40점 x 100% = 40점의 평가점수를 갖게 되고, 이에 총 130점의 평가점수를 갖게 된다. 즉, B저자는 논문발표 및 지도학생취업이라는 실적평가항목에 모두 포함되어 130점의 평가점수를 갖게 된다.
프로젝트 과제참여율 선택
평가점수는 "실질적인 실적"으로 정의하기로 하며, 실질적인 실적은 입찰자 및 입찰자를 구성하는 연구원 각각에 대해 평가가 이루어지게 된다. 이를 수치적으로 표현한 것이 과제참여율이다.
먼저, 평가기간동안에 발표한 논문이 실적평가항목으로서 연산되는 경우에 대해 설명한다. 평가기간은 공정한 평가를 위하여 입찰시점이전이나 이후에 실적평가항목을 정량적으로 공정하게 평가할 수 있는 일정기간을 의미하며, 평가기간동안에 이루어진 실적만을 평가지표의 대상으로 한다. 평가기간을 입찰시점의 이전으로 하여야 실질적인 실적에 의한 공정한 평가가 가능하나 프로젝트의 성격 및 평가지표의 특성에 따라 입찰시점의 이후나 연구개발기간을 포함하거나 평가기간이 늘어날 수 있다. 오래된 실적은 평가지표의 비중을 낮추어 평가점수에 반영할 수 있다.
평가지표의
입찰자 그룹		 실적지분율
데이터베이스		 과제참여율
데이터베이스		 프로젝트
평가점수
실적평가항목 논문
가중치 100점
(저작권인정)		 P논문
A저자 10%
B저자 90%		 A연구원
강의 30%
학장 30%
X프로젝트 30%
Y프로젝트 10% 		X프로젝트
총점 25점
실적평가항목 취업
가중치 40점
(저작권인정)		 Q취업
C연구원 100%		 B연구원
X프로젝트 20%
기타 80%		 Y프로젝트
총점 13점
C연구원
X프로젝트 10%
Y프로젝트 30%
기타 60%
[표 1]을 참조하여 과제참여율을 선택하는 과정에 대해 설명한다.
A저자의 경우, A저자가 평가기간내에서 발표한 논문만이 실적으로 인정할 수 있다. 그리고 여기서, 논문은 1개는 연구개발과제에는 연구원의 과제참여율만큼만 이용되는 것으로 한정하는 것이 바람직하다.(참고로 기존에는 하나의 논문이 발표되면, 해당 논문은 다수의 연구개발과제에 이용되었을 뿐만 아니라, A저자, B저자, C저자 모두 주저자 또는 높은 비율로 인정되어 활용됨. 즉, 평가점수 산정시 각 저자의 모든 평가점수를 더하면 100% 이상의 비율로 중복 적용됨.)
각 참여연구원(논문의 경우에는 저자)은 다양한 프로젝트에 투입될 수 있다. 즉, A저자는 X프로젝트, Y프로젝트 등에 투입될 수 있고, B저자는 Y프로젝트, Z프로젝트 등에 투입될 수 있다.
여기서, 설명의 편의를 위해 각 저자는 100% 과제참여율을 넘을 수 없는 것으로 한정하며, 과제참여율(업무량)을 수치로 표현할 수 있다고 가정한다. 본 프로젝트가 입찰에 선정되면 평가기간동안에 A교수 등의 참여연구원의 X프로젝트 과제참여율이 고정되어 다른 Y프로젝트의 입찰에 X프로젝트 과제참여율을 제외하고 100% 가 넘지 않는 범위내에서 입찰할 수 있다.
이에 A저자는 일례로서, 도 8에 도시된 바와 같이, X프로젝트에 30% 과제참여율을 할당하고, Y프로젝트에 10% 과제참여율을 할당할 수 있다.
그런데, A저자가 교수, 학장, 연구책임자 중 적어도 어느 하나 이상의 역할을 담당하는 경우가 있을 수 있으며, 담당 역할이 있을 경우에는 X프로젝트와 Y프로젝트에 모든 과제참여율을 할당할 수 없다. 교수가 연구책임자 또는 연구원으로써 학장의 보직 또는 강의를 겸하고 있으면 30% 정도의 참여율을 할당하도록 강제할 수 있다. 즉, A저자는 일례로서, X프로젝트에 연구책임자로서 30% 과제참여율을 할당하고, Y프로젝트에 참여연구원으로써 10% 과제참여율을 할당하고, 강의에 30% (학점당 3% 단위로 계산하여, 즉 30% = 3% * 10학점 강의), 학장 역할에 30% 과제참여율을 각각 할당하여 100% 과제참여율을 구성할 수 있다. 여기에서 연구책임자는 30%이상 참여연구원은 10%이상의 과제참여율을 요구할 수 있다.
한편 A저자(교수)는 프로젝트 평가기간(예를 들어, 입찰시점 이전의 1년) 동안 X프로젝트에 투입한 과제참여율을 월별로 기록할 수 있다. 예를 들어, X프로젝트에 투입한 평가기간의 총과제참여율 과제참여율(이론적인 과제참여율)은 평균적으로 계산될 수 있다. 예를 들면, 입찰시점이 2015년 1월 1일이라면, 평가기간은 2014년 1월 1일부터 12월 31일까지로 할 수 있다. 만일 1월부터 6월까지 50% 참여하고 7월부터 12월까지 10%로 하여 월별로 과제참여율을 기록하였다면 평균 과제참여율인 30%로 평가기간내의 과제참여율을 환산할 수 있다. 이 기간동안에 A교수가 X프로젝트에 30% 과제참여율, 30% 강의, 30% 학장의 참여율로 입찰에 선정되었다면, 다른 Y프로젝트에는 10%의 과제참여율을 넘지 않는 범위내에서 입찰에 응해야 총 과제참여율이 100%를 넘지 않는다.
한편, B저자를 포함한 다수의 저자들 역시 자신의 역할을 고려하여 프로젝트들에 대하여 과제참여율의 할당이 이루어질 수 있다.
예를 들어, A저자는 교수의 역할을 수행하고 있고, B저자 및 C저자는 연구원(학생)이라고 가정하면, B저자 및 C저자는 연구원으로서 각각 20%, 10% 의 X프로젝트 과제참여율을 구성할 수 있다. 그리고, B저자 및 C저자는 이후 설명하는 지도학생취업 여부에 따라 평가점수에 영향을 줄 수 있다.
한편, X프로젝트 관점에서는, X프로젝트에는 A저자의 30% 과제참여율, B저자의 20% 과제참여율, C저자의 10% 과제참여율을 포함하여 전체 투입량이 산정될 수 있다. 여기서, 전체 투입량은 상기한 바와 같이 각 연구원들의 평가점수의 합으로 정의된다.
이 때, 논문은 실적지분율이 분배될 수 있다. 즉, A논문의 평가지표가 100점이고 A저자가 10% 실적지분율을 갖고 B저자가 90% 실적지분율을 갖는다면, A저자는 A논문에서 100점 x 10% = 10점의 평가점수를 갖게 된다. 이에 X프로젝트에 대하여 A저자의 30% 과제참여율로부터 산출되는 평가점수는 100점 (논문 가중치) x 10% (실적지분율) x 30% (과제참여율) = 3점의 평가점수가 산정된다.
또한, B저자의 평가점수는 100점 (가중치) x 90% (실적지분율) x 20% (과제참여율) = 18점의 평가점수가 산정된다. C저자는 100점 (가중치) x 0% (A논문에는 실적지분율이 없음) x 10% (과제참여율) = 0점 의 평가점수가 산정된다. 결국, X프로젝트에 투입되는 연구원들의 전체 평가점수는 21점이 된다.
한편, 지도학생취업에도 미리 정해진 평가지표가 적용되며, 예를 들어 가중치 40점을 기준으로 하여 C저자가 지역내 기업에 취업(이를 Q취업이라고 함)하고, 실적지분율 100%가 부여되고 Y프로젝트에 30% 과제참여율을 투입한다면, 이에 C저자로부터 산출되는 평가점수는 40점 x 100% (실적지분율) x 30% (과제참여율) 이므로 12점의 평가점수가 산정된다.
또한, A저자 및 B저자의 평가점수도 산정되며, 결국 Y프로젝트에 투입되는 평가점수가 계산된다.
입찰자는 이 전체 평가점수를 기준으로 하여 입찰액을 제안할 것이며, 예를 들어, 전체 평가점수가 36점일 경우에는 논문 및 지도학생취업의 평가지표를 갖는 연구개발과제에 입찰할 수 있다. 물론, 입찰액은 연구개발과제 입찰자들이 임의로 선택할 수 있다.
한편, 이러한 평가지표, 실적지분율, 과제참여율을 기반으로 하여 데이터베이스의 계속적인 업그레이드가 가능하다.
지금까지는 실적에 대한 데이터베이스만 만들었지만 여기에 실적지분율과 과제참여율을 추가하여 중복사용을 금하고, 더 나아가 정부가 전문가 의견을 빌려 Top Down 방식으로 만들던 평가지표를 실제로 평가받는 연구원들이 Bottom Up 방식으로 자율적으로 제안하도록 하여 실적 데이터베이스와 아울러 매년 수정되면서 살아 움직이는 정량적인 평가지표 데이터베이스를 만들고, 이것을 기존의 평가에 활용하도록 할 수 있다.
이를 통해, 연구개발과제에 선정되기 위하여 연구원들은 심사숙고하여 정말 필요한 평가지표를 제안할 것이다. 이것은 현재 문제가 되고 있는 공정한 평가에 필수불가결한 요소일 수 있다. 국가적으로 중요한 대형과제에는 이렇게 제안된 평가지표를 일부 채택하여 정부가 Top Down 방식으로 평가지표를 제시할 수 있다.
한편, 본 발명의 시스템(데이터베이스)에 저장되어 축척되는 평가지표에 대하여 시스템을 관리하는 기관과 이를 제시한 개인이 저작권을 갖도록 하여 저장된 주요 평가지표를 사용하는 정부나 기관으로부터 저작권료를 받을 수 있도록 하는 것이 바람직하다.
한편, 실적에 대한 평가기간에 있어, 실적평가항목을 정량적으로 평가할 수 있는 기간으로 참여원의 과제참여율을 부여할 수 있는 기간과 구분되어야 하지만, 본 발명에서 함께 사용한다.
예를 들어, 5월에 발표되는 논문에 대하여 과제참여율을 계산하는 평가기간이 같은 년도 7월에서 8월 사이이면 논문발표시점이 이 기간이 아니므로 이 논문을 평가점수 계산에서 제거할 지, 아니면 과제참여율 계산기간과 실적평가항목 인정기간을 따로 설정하여 평가기간을 둘로 나누어야 할 지 결정하여야 한다.
과제참여율 계산기간에서 입찰 시점이 7월이라면 입찰이전의 기간은 정량적으로 과제참여율을 결정할 수 있지만, 8월은 입찰이후의 미래이므로 학장 등의 참여율을 계산할 수 없고, 다만 다른 입찰에 참여할 수 없도록 과제참여율을 조정하도록 하는 것이 바람직하다. 즉, 6월의 과거에 학장을 역임하였다면 학장 30%, X프로젝트 30%, Y프로젝트 30%이고, 8월에는 학장은 미래의 일이므로 불명확하고 X프로젝트 80%, Y프로젝트 30% 와 같이 A과제와 B과제 동시 입찰만 제한할 수 있다. 다만 X프로젝트 선정 후에 8월에 학장의 보직을 담당하여 총 참여율이 X프로젝트 80%, 학장 30% 와 같이 100%를 초과하면 이후 과제에는 입찰할 수 없으며 또한 연구비 환수와 같은 페널티를 받을 수 있으니 입찰시 미래의 참여율을 결정하는데 심사 숙고하여야 할 것이다.
한편, X프로젝트에서는 A연구원의 과제참여율 정보를 저장하기 않고 A연구원 데이터베이스에 저장된 X프로젝트 과제참여율로부터 평가점수를 산정할 수 있다. 그 이유는 총 합이 100% 가 넘지 않는 데이터베이스 한곳에만 과제참여율을 저장하여야 관리할 수 있기 때문입니다. 프로젝트에서는 참여연구원의 과제참여율 총합이 100% 가 넘어도 관계없고 참여율이 많을수록 결국은 평가점수가 높아지지만, 연구원에게는 참여프로젝트와 기타 학장 등의 항목의 참여율 총합이 100% 를 넘을 수 없기 때문이다. 또한 X프로젝트 연구책임자는 P논문 데이터베이스에 저장되어 있는 A연구원의 실적지분율과 A연구원 데이터베이스에 저장되어 있는 X프로젝트 과제참여율로부터 데이터베이스를 모두 검색하여 X프로젝트 평가지표그룹인 논문 100점과 취업 40점에 해당하는 실적정보를 모두 모니터링하여 다른 평가지표그룹을 선택하거나 새로운 평가지표를 자율적으로 제안할 수 있다.
연구개발과제 입찰 및 선정
이 평가점수를 참고하여 각 대학 교수들은 연구개발과제 그룹을 선택하고 입찰을 하게 된다. 즉, 각 대학 교수들은 평가지표에 대응하는 석사 및 박사를 포함하는 연구원의 실적평가항목 및 상태(평가점수 등)를 고려하여 입찰을 하게 될 것이다. 물론 이때 연구원들의 평가점수를 고려하여 입찰과 동시에 평가지표도 제안하여 입찰자들간의 평가지표 그루핑을 동시에 수행하고 적절한 그룹을 자동적으로 생성하여 입찰을 수행할 수도 있다.
연구책임자는 입찰시 생성된 참여 연구원들의 모든 실적평가항목 중에서 입찰에 필요한 실적평가항목만 선택하여 평가점수를 산출할 수 있다. 물론 이 실적평가항목은 본 입찰에서 제외되면 연구원의 다른 입찰에서 사용할 수 있다.
결국, 예를 들어 논문 100점, 지도학생취업 40점 연구개발과제 선정기준에 입찰을 수행하였다면, A저자의 논문 실적은 100점 (논문 가중치) x 10% (A저자 실적지분율) x 30% (A저자의 X프로젝트 과제참여율) = 3점이다.
X프로젝트에 참여하는 B저자 및 C저자의 실적도 계산하여 총 실적을 계산한다. 즉, 총 실적에 대한 예산 비율을 통해 입찰을 수행한다. X프로젝트의 경우에는 평가기간동안에 참여 연구원의 해당 실적을 모두 합산하여 평가할 수 있다. 모든 참여연구원의 평가점수를 합산하여 가장 높은 평가점수를 산출할 수 있는 평가지표를 갖는 연구개발과제를 시스템에서 자동으로 찾아 주거나 예년의 연구비 평균 표준편차 및 현재 입찰상황을 표시하여 입찰자가 입찰할 연구개발과제 그룹을 선택할 수 있다.
여기서, 해당 그룹에 대해 지원하는 예산은 미리 설정되거나, 또는 상기한 그루핑 결과에 대응하여 실시간 설정될 수도 있다. 즉, 각 대학 교수들은 그룹별로 지원되는 예산과, 경쟁 정도를 미리 예측하거나 실시간 확인하면서 입찰을 수행하게 될 것이다.
만일 선정되지 못하였다면, 이 실적을 바탕으로 입찰액을 조정하여 다음 년도에 선정자로 지정될 수 있다.
한편, 만약 Y프로젝트에 참여한 참여자들의 총 실적에 대한 예산 비율이 높을 경우에는 실적을 적게 달성하였으므로 다음 년도에 선정자로 지정될 가능성이 낮아지지만 입찰액을 조정하여 선정가능성을 높일 수 있다.
이와 같이, 입찰시에는 평가점수를 고려하여 입찰금액을 결정하게 될 것이다. 예를 들어, A그룹에 1억의 예산이 배정되어 있다면, A대학 교수는 평가점수를 고려하여 3천만원을 입찰금액으로 신청하고, B대학 교수는 평가점수를 고려하여 5천만원을 입찰금액으로 신청하고, C대학 교수는 평가점수를 고려하여 3천만원을 입찰금액으로 신청하고, D대학 교수는 평가점수를 고려하여 2천만원을 입찰금액으로 신청할 수 있다. 시스템에서 예년의 입찰금액과 현재 상황을 고려하여 적절한 입찰금액을 표시할 수 있다.
여기서, A그룹에 1억의 예산이 배정되어 있으므로, 연구개발과제들에 대한 심사 및 선정이 이루어지게 된다.
이때, 선정기준은 최저 입찰금액 순으로 결정할 수 있고, 평가점수 대비 입찰금액의 비율로 결정할 수도 있으며, 이외 다양한 방법을 이용하여 결정될 수도 있다. 이 때, 서버는 선정된 연구개발과제의 총연구비의 일정 비율에 대한 수수료 정보를 입찰자 단말로 전송할 수 있다.
한편, 본 실시예에서 평가점수 대비 입찰금액의 비율(평가금액비율, 단위는 원/점)을 결정하는 경우에 대해 설명하기로 한다.
예를 들어, A교수는 총참여연구원의 평가금액비율이 5만원/점이고, B교수는 평가금액비율이 6만원/점이고, C교수는 평가금액비율이 7만원/점이고, D교수는 평가금액비율이 9만원/점이라면, 평가금액비율이 낮은 순으로, 즉 A교수 B교수 C교수 D교수로 정렬한다.
이후, 1억의 예산에 대한 분배량과 입찰금액을 고려하여 정렬된 순서에서 상위팀 개수를 결정한다. 즉, 입찰금액이 1억원을 최초로 초과하기 직전에 해당하는 상위팀까지 선정한다. 즉, A교수 3천만원, B교수 5천만원의 입찰이 선정된다.
이때, 입찰금액 결정은, 평가금액비율을 고려하여 해당 비율을 지원받을 수 있도록 할 수 있다. 또한 그룹의 예산을 미리 확정하여 배정하지 않고 총 입찰금액에 따라 최소와 최대 금액을 정하여 변동적으로 배정할 수 있다. 예를 들면, 최소 30%와 최대 70%사이의 금액으로 배정한다고 정하여 놓고 총입찰금액이 1억원인 경우에 최소 최대 금액의 평균인 5천만원을 배정하여 2:1 의 경쟁률을 유지할 수 있다.
상술한 바와 같이, 기존 연구개발과제 평가에서는 선정평가와 결과평가를 거치고 있다. 이는 선정평가에서 과장되게 목표를 제시하여 과제에 선정되면, 결과평가에서 이를 공정하게 재평가하여야 하지만, 그렇지 못한 경우가 많았다. 즉, 선정평가에서 과장되지 않고 적절한 목표를 제시하여 과제에 선정되지 못한 프로젝트 제안자를 보호할 수 있는 방안이 없었다.
그러나 본 발명에서는 선정평가와 결과평가를 동시에 한번만 실시함으로써 효율적이고 공정한 평가가 가능하다. 단, 과거에 이루어진 실적을 바탕으로 실제로 아직 이루어지지 않는 과제를 선정평가하고, 결과평가를 따로 하지 않고 본 프로젝트의 결과평가는 다음에 이어지는 프로젝트의 선정평가에 반영된다는 점에서 기존의 평가방법보다 훨씬 공정하고 효율적인 방법이라 할 수 있다.
한편, 자율적으로 제안된 신규성과 진보성을 갖는 독특하거나 꼭 필요하고 중요한 평가지표 또는 평가지표 그룹, 입찰자들의 설문 조사를 통하여 좋은 점수를 받은 평가지표 또는 평가지표 그룹, 심사과정등 여러 가지 과정에 따라 저작권을 인정할만 하다고 판단되는 평가지표 또는 평가지표 그룹에 대하여 시스템을 관리하는 기관이나 이를 제시한 개인이 저작권을 갖도록 하여 저장된 주요 평가지표를 사용하는 정부나 기관으로부터 저작권료를 받을 수 있도록 하는 것도 바람직할 것이다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
1 : 입찰자 단말 2 : 서버
21 : 실적평가항목 분류부 22 : 입찰자 그루핑부
23 : 실적 연산부 231 : 평가점수 산출부
232 : 평가금액비율 환산부 233 : 가중치 적용부
24 : 연구개발과제 선정부 25 : 데이터베이스

Claims (44)

  1. 연구개발과제 선정기준인 실적평가항목을 포함하는 평가지표를 제안하는 입찰자 단말;
    상기 입찰자 단말의 연구개발과제 선정기준인 실적평가항목을 포함하는 평가지표의 자율적인 제안에 대응하여 평가지표별로 그룹화하며, 그룹별로 상기 실적평가항목에 대응하여 평가점수를 산출하고, 평가점수에 근거하여 연구개발과제를 선정하는 서버;가 구성되며,
    상기 서버에는, 연구개발과제에 투입되는 연구원의 과제참여율과 상기 실적평가항목의 실적지분율의 곱연산으로부터 각 연구원별 평가점수를 산출하는 평가점수 산출부 및 연구개발과제에 투입되는 연구원들의 평가점수를 합산하고, 합산된 평가점수 대비 입찰비용에 대응하는 평가금액비율로 환산하는 평가금액비율 환산부를 포함하는 실적연산부;
    상기 평가지표를 구성하는 적어도 하나 이상의 실적평가항목에 대해 분류를 수행하는 실적평가항목 분류부;
    분류된 상기 실적평가항목에 대응하여 입찰자를 그루핑(Grouping)하는 입찰자 그루핑부; 및
    상기 그룹별로 연구개발과제에 투입되는 연구원의 과제참여율과 상기 실적정보의 실적지분율의 곱연산으로부터 각 연구원별 평가점수를 산출하고, 상기 연구개발과제에 투입되는 연구원들의 평가점수를 합산하고, 합산된 평가점수 대비 입찰비용에 대응하는 평가금액비율로 환산하고, 상기 평가금액비율에 근거하여 연구개발과제를 선정하는 연구개발과제 선정부;를 포함하며,
    실적평가항목별 실적정보의 실적지분율의 총합은 100% 이하이며, 연구개발과제에 낙찰되면 상기 실적지분율은 고정되어 데이터베이스에 저장되는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  2. 제1항에 있어서,
    상기 실적지분율은 연구원의 동의를 얻어 부여되어 데이터베이스에 저장되는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  3. 제1항에 있어서,
    한명의 연구원의 과제참여율의 총합은 100% 이하이며, 연구개발과제에 낙찰되면 상기 과제참여율은 고정되어 데이터베이스에 저장되는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  4. 제1항에 있어서,
    상기 과제참여율은 년단위, 월단위, 주단위, 일단위 중에서 어느 하나를 선택하여 참여하는 연구원별로 관리되어 데이터베이스에 저장되는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  5. 제1항에 있어서,
    상기 실적 연산부는 연구원에 대한 과제참여율 변화에 대응하여 최대 평가점수가 되는 과제참여율의 비율을 입찰자 단말에 전송하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 입찰자 그루핑부는 입찰자가 제안한 상기 실적평가항목에 대응하여 미리 세팅된 해당 평가지표의 그룹에 포함시키는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  8. 제1항에 있어서,
    상기 입찰자 그루핑부는 새로운 실적평가항목에 대응하여 새로운 평가지표의 그룹을 생성하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  9. 제8항에 있어서,
    상기 새로운 평가지표에 대한 분석을 통해 평가지표에 대한 업데이트가 이루어지는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  10. 제1항에 있어서,
    상기 입찰자 그루핑부는 서로 다른 평가지표에 대한 분석을 통해 하나로 합하는 작업을 수행하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  11. 제1항에 있어서,
    상기 입찰자 그루핑부는 서로 다른 평가지표에 대한 분석을 통해 두 개 이상으로 분리하는 작업을 수행하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  12. 제1항에 있어서,
    상기 입찰자 그루핑부는 낙찰 가능한 실적평가항목을 입찰자 단말에 전송하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  13. 제1항에 있어서,
    상기 실적 연산부는,
    상기 실적평가항목이 2개 이상일 경우에 상기 과제참여율 및 실적지분율에 대해 입찰자에 의해 설정된 각 실적평가항목을 정량적으로 나타내기 위해 가중치를 적용하여 평가지표를 표현하는 가중치 적용부를 더 포함하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  14. 제1항에 있어서,
    상기 실적 연산부는 상기 평가점수를 합산하여 총점을 산출하고, 평가점수 및 예년과 현재의 입찰금액을 대응하여 입찰자 단말에 낙찰 가능 확률을 전송하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  15. 제1항에 있어서,
    상기 실적 연산부는 상기 평가점수를 합산하여 총점을 산출하고, 평가점수 및 예년과 현재의 입찰금액을 대응하여 입찰자 단말에 낙찰 가능한 입찰금액을 전송하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  16. 제1항에 있어서,
    상기 실적 연산부는 평가점수를 합산하여 총점을 산출하고, 평가점수 및 예년과 현재의 입찰금액 및 평가지표 그룹에 대응하여 입찰자 단말에 최적의 평가지표 그룹을 알려주는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  17. 제1항에 있어서,
    선정된 연구개발과제의 총연구비의 일정 비율에 대한 수수료 정보를 상기 입찰자 단말로 전송하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  18. 제1항에 있어서,
    선정된 연구개발과제에서 사용한 평가지표의 저작권에 대한 수수료 정보를 상기 입찰자 단말로 전송하여 평가지표 제안자에게 지급하는 평가지표 자율제안에 의한 연구개발과제 선정 시스템.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
KR1020150190617A 2015-12-31 2015-12-31 평가지표 자율제안에 의한 연구개발과제 선정 시스템 KR101871340B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150190617A KR101871340B1 (ko) 2015-12-31 2015-12-31 평가지표 자율제안에 의한 연구개발과제 선정 시스템
US15/772,807 US11068816B2 (en) 2015-12-31 2016-12-30 System and method for selecting research and development project through autonomous proposals of evaluation indicators
PCT/KR2016/015594 WO2017116215A1 (ko) 2015-12-31 2016-12-30 평가지표 자율제안에 의한 연구개발과제 선정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150190617A KR101871340B1 (ko) 2015-12-31 2015-12-31 평가지표 자율제안에 의한 연구개발과제 선정 시스템

Publications (2)

Publication Number Publication Date
KR20170080905A KR20170080905A (ko) 2017-07-11
KR101871340B1 true KR101871340B1 (ko) 2018-06-27

Family

ID=59225251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150190617A KR101871340B1 (ko) 2015-12-31 2015-12-31 평가지표 자율제안에 의한 연구개발과제 선정 시스템

Country Status (3)

Country Link
US (1) US11068816B2 (ko)
KR (1) KR101871340B1 (ko)
WO (1) WO2017116215A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101871340B1 (ko) * 2015-12-31 2018-06-27 충남대학교산학협력단 평가지표 자율제안에 의한 연구개발과제 선정 시스템
WO2019183621A1 (en) * 2018-03-23 2019-09-26 Tingying Zeng Teaching method system for connecting and applying research needs with a teaching method
KR102624075B1 (ko) * 2018-06-21 2024-01-11 (주)엔터랩 조달입찰정보 매칭방법, 장치 및 프로그램
WO2019245182A1 (ko) * 2018-06-21 2019-12-26 (주)엔터랩 조달입찰정보 매칭방법, 장치 및 프로그램
CN110210733A (zh) * 2019-05-21 2019-09-06 上海软科教育信息咨询有限公司 适用于办学单位的投入产出评价系统、方法、终端、介质
CN111652492A (zh) * 2020-05-28 2020-09-11 泰康保险集团股份有限公司 一种管理人评估系统、方法、电子设备及存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418415B1 (en) * 1996-09-04 2002-07-09 Priceline.Com Incorporated System and method for aggregating multiple buyers utilizing conditional purchase offers (CPOS)
US6513019B2 (en) * 1999-02-16 2003-01-28 Financial Technologies International, Inc. Financial consolidation and communication platform
AU2001229770A1 (en) * 2000-01-28 2001-08-07 William T. Wilkinson Improved research and development process
US20010051913A1 (en) * 2000-06-07 2001-12-13 Avinash Vashistha Method and system for outsourcing information technology projects and services
US6647374B2 (en) * 2000-08-24 2003-11-11 Namita Kansal System and method of assessing and rating vendor risk and pricing of technology delivery insurance
US7130802B1 (en) * 2000-10-02 2006-10-31 Ninesigma, Inc. Systems and methods for facilitating research and development
US20020091623A1 (en) * 2000-12-04 2002-07-11 Daniels Alan F. System and methods for an electronic real estate trading environment
US20020178077A1 (en) * 2001-05-25 2002-11-28 Katz Steven Bruce Method for automatically invoking a software module in response to an internal or external event affecting the procurement of an item
US6965877B2 (en) * 2001-06-07 2005-11-15 International Business Machines Corporation Brokering and facilitating consumer projects in an e-commerce system
CA2403300A1 (en) * 2002-09-12 2004-03-12 Pranil Ram A method of buying or selling items and a user interface to facilitate the same
US20030028473A1 (en) * 2001-07-06 2003-02-06 International Business Machines Corporation Distributed method for bid evaluation in procurement auctions with piece-wise linear supply curves
US20030200168A1 (en) * 2002-04-10 2003-10-23 Cullen Andrew A. Computer system and method for facilitating and managing the project bid and requisition process
US7295119B2 (en) * 2003-01-22 2007-11-13 Wireless Valley Communications, Inc. System and method for indicating the presence or physical location of persons or devices in a site specific representation of a physical environment
US7877293B2 (en) * 2003-03-13 2011-01-25 International Business Machines Corporation User context based distributed self service system for service enhanced resource delivery
KR20040094050A (ko) * 2003-05-01 2004-11-09 지식피엘 주식회사 네트워크를 이용한 제조물책임업무 처리 및 관리 방법
US20050114829A1 (en) * 2003-10-30 2005-05-26 Microsoft Corporation Facilitating the process of designing and developing a project
KR100836185B1 (ko) * 2004-06-12 2008-06-09 한국원자력연구원 인터넷망을 이용한 과제 공모, 평가, 선정, 공고클라이언트 서버 시스템 및 그 구축 방법
KR100562527B1 (ko) * 2004-07-09 2006-03-23 한국원자력연구소 연구 개발 성과의 실용화를 위한 기술성, 자원성, 경제성전략시스템 및 그 구축 방법
US7461013B2 (en) * 2004-09-22 2008-12-02 Sap Ag Fuzzy evaluation of responses to provide degree of satisfaction
US20060106774A1 (en) * 2004-11-16 2006-05-18 Cohen Peter D Using qualifications of users to facilitate user performance of tasks
US7853472B2 (en) * 2005-07-15 2010-12-14 Saudi Arabian Oil Company System, program product, and methods for managing contract procurement
CA2626993A1 (en) * 2005-10-25 2007-05-03 The Trustees Of Columbia University In The City Of New York Methods, media and systems for detecting anomalous program executions
US8781942B2 (en) * 2005-11-30 2014-07-15 Genesys Telecommunications Laboratories, Inc. System and method for matching electronic proposals to electronic requests
WO2007115224A2 (en) * 2006-03-30 2007-10-11 Sri International Method and apparatus for annotating media streams
US20100312373A1 (en) * 2009-06-04 2010-12-09 Thales Method and system to design standard basic elements
KR20110043280A (ko) * 2009-10-21 2011-04-27 한국과학기술기획평가원 연구 개발 사업을 관리하는 시스템 및 그 방법
KR20110052189A (ko) 2009-11-12 2011-05-18 한국과학기술정보연구원 유망 연구개발 과제 선정 시스템, 방법 및 이를 구현하는 프로그램이 기록된 기록 매체
US20110295722A1 (en) * 2010-06-09 2011-12-01 Reisman Richard R Methods, Apparatus, and Systems for Enabling Feedback-Dependent Transactions
US20110307347A1 (en) * 2010-06-14 2011-12-15 Ryan Jentsch Bid Evaluation Device and Communication Network System and Method
KR101300517B1 (ko) * 2010-10-19 2013-10-02 주식회사 지투비홀딩스 전자 입찰에 있어 투찰금액 예측방법 및 그 시스템
KR20120121933A (ko) * 2011-04-26 2012-11-07 이두형 연구비 유효성 검증을 지원하는 과제 관리 방법 및 그 시스템
US20130132224A1 (en) * 2011-07-12 2013-05-23 Nuno Gonçalo MARUNY VIDAL DE OLIVEIRA MARTINS Hierarchical cross-linked purpose oriented document validation system and process
US20160048911A1 (en) * 2012-04-03 2016-02-18 Staecy Carpenter Bid oversight system and method
US20140006201A1 (en) * 2012-06-29 2014-01-02 Accion Group Inc. Method and apparatus for competitive solicitation and bidding
US20160027051A1 (en) * 2013-09-27 2016-01-28 Real Data Guru, Inc. Clustered Property Marketing Tool & Method
KR101548526B1 (ko) * 2013-11-27 2015-09-01 한국과학기술정보연구원 외부 인적자원의 평가를 이용한 핵심기술과 수행주체 선정 장치, 시스템 및 방법
KR101871340B1 (ko) * 2015-12-31 2018-06-27 충남대학교산학협력단 평가지표 자율제안에 의한 연구개발과제 선정 시스템

Also Published As

Publication number Publication date
KR20170080905A (ko) 2017-07-11
US11068816B2 (en) 2021-07-20
WO2017116215A1 (ko) 2017-07-06
US20180330296A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
KR101871340B1 (ko) 평가지표 자율제안에 의한 연구개발과제 선정 시스템
Ghosal et al. The cyclical behavior of the Department of Justice’s antitrust enforcement activity
Finne et al. A Composite Indicator for Knowledge Transfer Report from the European Commission’s Expert Group on Knowledge Transfer Indicators
Park Socializing at work: Evidence from a field experiment with manufacturing workers
Makarenko et al. Improving the method approach to the rating evaluation of employees as professional career development
Gitari et al. Factors affecting access to procurement opportunities in public secondary schools by small and medium enterprises in Kenya: A survey of Limuru Sub-county
Conte et al. Private benefits of conservation and procurement auction performance
Habran et al. Making intensity of efforts the same: Commensuration work in target-setting practices
Liang et al. Home bias in hiring: Evidence from an online labor market
Al-Shawabkeh et al. Impact of quality of work-life (QWL) on organizational performance: An empirical study in the private Jordanian Universities
Baird et al. RCT evidence on differential impact of US job training programmes by pre-training employment status
Farzamnia et al. Group decision-making process for supplier selection using MULTIMOORA technique under fuzzy environment
Padhi et al. Information technology readiness index for adoption of e-procurement
Cason et al. Can real-effort investments inhibit the convergence of experimental markets?
JP3219277U (ja) 給与目標決定支援システム
Yang et al. A template for assessing corporate performance: benchmarking EHS organizations
US20150058073A1 (en) Crowdsourced innovation exchange
Malbašić The relationship between balanced organizational values and organizational effectiveness: Evidence from business practice
Curtain The intermediate skills pool, new apprenticeships and skill shortages
Mikhaylik Management strategy of the financial potential
Kostek The Case for County Law Library Consortia
Chew Economic restructuring and flexible civil service pay in Singapore
Khmyrov et al. Modern actual problems and prospects of financing of distance learning of personnel of Ukrainian companies on the basis of higher educational institutions
Shaumi et al. Designing of Business Performance Measurement Instruments of Notify Coffee With Balanced Scorecard
Ivanov Evaluation of the competitiveness at the local level

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant