KR102566494B1

KR102566494B1 - Research and Development project evaluation environment provision system and its method

Info

Publication number: KR102566494B1
Application number: KR1020210060068A
Authority: KR
Inventors: 정양호; 한종석; 한승엽; 하석호; 신성윤; 이재훈; 윤석민; 조성호; 정주영; 이정수; 이재영; 장량; 안기영
Original assignee: 한국산업기술평가관리원
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2023-08-11
Also published as: KR20220152756A

Abstract

본 발명은 R&D 과제 평가 환경 제공 시스템 및 그 방법에 관한 것으로서, R&D 접수과제의 사업계획서를 바탕으로 AI 빅데이터를 이용하여 R&D 과제 평가를 위한 데이터 구축을 통해 과제 평가 환경을 제공하는 R&D 과제 평가 환경 제공 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for providing an R&D task evaluation environment, and an R&D task evaluation environment that provides a task evaluation environment through data construction for R&D task evaluation using AI big data based on a business plan for an R&D submission task. It relates to a provision system and its method.

Description

Research and Development project evaluation environment provision system and its method {Research and Development project evaluation environment provision system and its method}

본 발명은 R&D 과제 평가 환경 제공 시스템 및 그 방법에 관한 것으로서, 보다 구체적으로는 R&D 접수과제의 사업계획서를 바탕으로 AI 빅데이터를 이용하여 R&D 과제 평가를 위한 데이터 구축을 통해 과제 평가 환경을 제공하는 R&D 과제 평가 환경 제공 시스템 및 그 방법에 관한 것이다. The present invention relates to a system and method for providing an R&D task evaluation environment, and more specifically, to provide a task evaluation environment through data construction for R&D task evaluation using AI big data based on a business plan for an R&D application submission It relates to a system and method for providing an R&D project evaluation environment.

국가의 연구개발(Research and Development: R&D) 예산은 장기적이고, 위험부담이 큰 과제나 국가적으로 중요한 기술의 상용화를 위해 매년 일정 수준으로 투입되고 있다.The national research and development (R&D) budget is invested at a certain level every year for long-term, high-risk tasks or commercialization of nationally important technologies.

일반적으로 국가에서 지원하는 R&D 과제에 대한 선정 과정을 살펴보면, 국가과학기술위원회에서 전체적인 방향성을 정하고, 각 부처에서 예산을 배분한 후, 부처별 연구관리 전문기관에서 정부 연구소, 대학, 기업 등 적합한 연구개발 수행주체를 선정하는 과정으로 이루어진다.In general, looking at the selection process for R&D projects supported by the state, after the National Science and Technology Committee sets the overall direction, each ministry allocates the budget, and then the research management specialized institution for each ministry conducts appropriate research such as government research institutes, universities, and companies. It consists of the process of selecting a development agent.

R&D 과제를 평가하는 데에 있어서 평가의 질을 높이기 위해서는 과제와 관련된 다양한 정보들을 종합적으로 활용하여야 할 필요가 있다. 하지만, 현재까지는 이러한 데이터 기반 과제 평가 환경을 제공하는 시스템이 마련되어 있지 않아 업무의 편리성과 효율성이 떨어지는 문제가 있다. In order to improve the quality of evaluation in evaluating R&D tasks, it is necessary to comprehensively utilize various information related to the tasks. However, there is a problem in that the convenience and efficiency of work are low because a system providing such a data-based task evaluation environment has not been prepared so far.

한편, R&D 과제 선정은 각 기술 분야의 전문가들의 평가를 기초로 이루어진다. 이를 위해 과제별로 평가위원회를 구성하여 각 과제의 평가를 수행하도록 하는데, 기존에는 전체 평가위원 중 산업기술분류체계 기준에 부합하는 평가위원들을 분류한 후, 분류된 평가위원들 중 최종 평가위원을 추출 시 필요 인원수만큼 랜덤하게 선발하는 방식을 사용하였다. 하지만, 평가위원의 전문성 및 공정성 제고를 위해 기존의 평가위원 선발 방식을 개선해야 할 필요가 있다. On the other hand, the selection of R&D tasks is based on the evaluation of experts in each technology field. To this end, an evaluation committee is formed for each task to evaluate each task. In the past, evaluators who met the standards of the industrial technology classification system were classified among all evaluators, and then the final evaluators were extracted from among the classified evaluators. A method of randomly selecting as many people as needed was used. However, it is necessary to improve the existing method of selecting evaluators in order to enhance the professionalism and fairness of evaluators.

본 발명은 상술한 문제점을 해결하고자 하는 것으로서, 사업계획서를 기반으로 다양한 관련 정보를 획득하여 과제 평가를 위한 데이터를 구축 및 제공하여, R&D 과제 평가의 향상된 편리성 및 효율성을 제공해줄 수 있는 시스템 및 방법을 제공하고자 한다. The present invention is to solve the above-mentioned problems, a system that can provide improved convenience and efficiency of R&D task evaluation by acquiring various related information based on a business plan, constructing and providing data for task evaluation, and We want to provide a way.

본 발명에 따른 R&D 과제 평가를 위한 평가 환경 제공 시스템은, 과제 평가 참여자 간 의견 공유 서비스를 제공하고, 평가대상 과제의 사업계획서 및 상기 사업계획서 기반 관련 내/외부 데이터를 분석하여, 평가대상 과제 및 수행기관의 평가를 위한 평가 지원 데이터를 구축하여 제공하는 평가 지원 모듈; 평가대상 과제의 사업계획서 및 해당 수행기관과 관련된 내/외부 데이터를 소정의 검증 항목 별로 분석 및 검토하여, 상기 수행기관의 사전지원 적합성 여부를 검증하는 사전 검토 모듈; 평가대상 과제의 사업계획서와 다수의 평가위원 각각에 대한 연구 데이터에 기반하여 서로 다른 둘 이상의 매칭 점수 산정 기준에 따라 평가대상 과제 별로 각 평가위원의 매칭 점수를 산정하고, 산정된 각각의 매칭 점수를 이용하여 평가대상 과제 별로 추천 평가위원을 매칭하여 주는 평가위원 매칭 모듈; 을 포함하여 구성된다.The evaluation environment providing system for R&D task evaluation according to the present invention provides an opinion sharing service among task evaluation participants, analyzes the business plan of the evaluation target project and internal/external data based on the project plan, and evaluates the evaluation target project and An evaluation support module that builds and provides evaluation support data for the evaluation of performing institutions; A preliminary review module that analyzes and reviews the business plan of the evaluation target project and internal/external data related to the relevant performing agency for each predetermined verification item to verify the suitability of the prior support of the performing agency; Based on the project plan of the evaluation target project and the research data on each of the multiple evaluators, the matching score of each evaluator is calculated according to two or more different matching score calculation criteria for each evaluation target project, and each calculated matching score is calculated. an evaluator matching module that matches recommended evaluators for each task to be evaluated by using; It consists of including.

한편, 소정의 내/외부 시스템과 연계되어, 평가대상 과제의 사업계획서와 관련된 내/외부 데이터를 수집하여 저장하는 데이터베이스 모듈; 을 더 포함하여 구성된다.On the other hand, a database module that collects and stores internal/external data related to the business plan of the evaluation target project in connection with a predetermined internal/external system; It is configured to further include.

한편, 평가 지원 모듈은, 평가대상 과제 평가에 참여하는 평가 참여자 간에 의견 공유를 가능하게 하는 의견 공유 서비스를 제공하는 평가 서비스 모듈; 평가대상 과제의 사업계획서를 기반으로 상기 데이터베이스 모듈로부터 관련 내/외부 데이터를 입수하여, 이들을 소정의 분석 부문 별로 분석하는 데이터 분석 모듈; 상기 데이터 분석 모듈에서 분석된 데이터를 이용하여, 해당 평가대상 과제 및 수행기관의 평가에 활용할 평가지원 데이터를 생성하여 제공하는 평가지원 데이터 생성 모듈; 을 포함하여 구성되는 것을 특징으로 한다.On the other hand, the evaluation support module includes an evaluation service module providing an opinion sharing service enabling sharing of opinions among evaluation participants participating in the evaluation of evaluation target tasks; A data analysis module that obtains related internal/external data from the database module based on the business plan of the evaluation target project and analyzes them by predetermined analysis sector; An evaluation support data generation module for generating and providing evaluation support data to be used for evaluation of the subject to be evaluated and evaluation of the performing institution by using the data analyzed by the data analysis module; It is characterized in that it is configured to include.

한편, 상기 사전 검토 모듈은, 평가대상 과제의 사업계획서를 기반으로 상기 데이터베이스 모듈로부터 해당 수행기관과 관련된 내/외부 데이터를 입수하여 소정의 검증 항목 별로 검증 데이터를 생성하여 제공하는 것; 을 특징으로 한다.On the other hand, the preliminary review module obtains internal/external data related to the performing institution from the database module based on the business plan of the evaluation target project, generates and provides verification data for each predetermined verification item; characterized by

한편, 상기 평가위원 매칭 모듈은, 상기 데이터베이스 모듈로부터 평가대상 과제별 사업계획서, 평가위원 리스트 및 각 평가위원의 연구 데이터를 입수하여, 이들을 바탕으로 평가대상 과제 별로 각 평가위원의 서로 다른 둘 이상의 매칭 점수 산정 기준에 따른 매칭 점수를 각각 산정하는 산정 모듈; 상기 산정 모듈에 의해 산정된 매칭 점수들의 합산 값이 높은 순을 우선순위로 하여, 평가대상 과제 별로 소정의 추출 비율에 대응하는 만큼의 평가위원을 추출하여 각 평가대상 과제에 최적합한 추천 평가위원으로 구성하는 추출 모듈; 을 포함하여 구성되는 것을 특징으로 한다.On the other hand, the evaluator matching module obtains a business plan, a list of evaluators, and research data of each evaluator for each task to be evaluated from the database module, and matches two or more different evaluators for each task to be evaluated based on these. Calculation module for calculating each matching score according to the score calculation criteria; Priority is given to the order in which the sum of the matching scores calculated by the calculation module is high, and as many evaluators corresponding to a predetermined extraction ratio are extracted for each task to be evaluated as recommended evaluators most suitable for each task to be evaluated constituting an extraction module; It is characterized in that it is configured to include.

구체적으로, 상기 산정 모듈은, 아래의 (수식 1)에 의해, 평가대상 과제별로 평가대상 과제의 기술분야와 평가위원 리스트에 포함된 각 평가위원의 전문기술분야가 일치하는 정도를 나타내는 기술 평가자 적합도(TEF: Technology Evaluator Fit)를 산출하는 제1 산정 모듈; 각 평가위원의 연구 데이터와 평가대상 과제의 사업계획서 간에 키워드 유사 정도를 비교하여, 각 평가위원의 평가대상 과제별 키워드 유사도(KWS: KeyWord Similarity)를 산출하는 제2 산정 모듈; 을 포함하여 구성되는 것을 특징으로 한다.Specifically, the calculation module, by the following (Equation 1), shows the degree of conformity between the technical field of the evaluation target task and the professional technical field of each evaluator included in the evaluator list for each task to be evaluated. A first calculation module that calculates (TEF: Technology Evaluator Fit); A second calculation module that compares the degree of keyword similarity between the research data of each evaluator and the business plan of the evaluation target project, and calculates a keyword similarity (KWS: KeyWord Similarity) for each evaluation target project of each evaluator; It is characterized in that it is configured to include.

(수식 1) (Equation 1)

① ①

(p: 평가대상 과제, i: 평가위원, N: 평가위원 수)(p: Tasks to be evaluated, i: Evaluators, N: Number of evaluators)

② ②

(j: 분류단계, n: 최대적합단계)(j: classification step, n: maximum fit step)

(분류단계는 산업기술분류체계의 대/중/소분류 단계로 ‘대분류=1, 중분류=2, 소분류=3’ 이고, 최대적합단계는 평가대상 과제의 기술분야와 평가위원의 기술분야가 서로 일치하는 최대 세분화 단계) (The classification stage is the large/medium/small classification stage of the industrial technology classification system, which is 'large classification = 1, middle classification = 2, small classification = 3', and in the maximum fit level, the technical field of the evaluation target task and the technical field of the evaluation committee match each other. maximum subdivision step)

③ ③

(총 분류수는 통상 산업기술분류표의 소분류 기준상 654개로 적용. 단, 적용대상에 따라 변경 가능)(The total number of classifications is usually applied as 654 based on the subclassification standard of the industrial technology classification table. However, it can be changed depending on the subject of application)

한편, 상기 추출 모듈은, 상기 제1 산정 모듈에서 산정된 평가대상 과제별 기술 평가자 적합도(TEF)에 기반하여, 기술 평가자 적합도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 기술 평가자 적합도 기반 후보군으로 추출하는 제1 추출 모듈; 상기 제2 산정 모듈에서 산정된 평가대상 과제별 키워드 유사도(KWS)에 기반하여, 키워드 유사도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 키워드 유사도 기반 후보군으로 추출하는 제2 추출 모듈; 상기 제1 추출 모듈 및 제2 추출 모듈에서 추출된 평가위원들 중 소정의 제척 조건에 해당하는 평가위원을 제척한 후, 상기 기술 평가자 적합도 기반 후보군과 상기 키워드 유사도 기반 후보군에 모두 속하는 평가위원을 분류하고, 분류된 평가위원들의 각 기술 평가자 적합도와 키워드 유사도를 합산한 값이 높은 순부터 우선순위로 하여 소정의 최종 추출 배수만큼의 평가위원을 해당 평가대상 과제에 최적합한 추천 평가위원 후보군으로 최종 추출하는 최종 추출 모듈; 을 포함하여 구성되는 것을 특징으로 한다.On the other hand, the extraction module evaluates a predetermined extraction multiple corresponding to a predetermined extraction ratio in order of high technology evaluator fitness based on the technology evaluator fitness (TEF) for each evaluation target task calculated in the first calculation module. A first extraction module for extracting members as a candidate group based on skill evaluator fitness; Based on the keyword similarity (KWS) for each task to be evaluated calculated in the second calculation module, a predetermined extraction multiple corresponding to a predetermined extraction ratio from the order of high keyword similarity is extracted as a keyword similarity-based candidate group. a second extraction module; Among the evaluators extracted from the first extraction module and the second extraction module, after excluding evaluators corresponding to a predetermined exclusion condition, evaluators belonging to both the technology evaluator suitability-based candidate group and the keyword similarity-based candidate group are classified. and finally extract as many evaluators as a predetermined final extraction multiple as the recommended evaluator candidate group optimally suited to the evaluation target task in order of priority from the sum of the sum of the suitability of each technical evaluator and the similarity of keywords of the classified evaluators. The final extraction module to; It is characterized in that it is configured to include.

한편, 상기 평가 서비스 제공 모듈에서 제공하는 의견 공유 서비스는, 대화창/게시판을 통한 비대면 형태의 제1 방식 및 화상 시스템을 통한 대면 형태의 제2 방식을 포함하여 구성되는 것을 특징으로 한다.Meanwhile, the opinion sharing service provided by the evaluation service providing module is characterized in that it includes a non-face-to-face first method through a chat window/bulletin board and a face-to-face second method through a video system.

여기서, 상기 내/외부 데이터는, 특허, 과제정보, 논문, 외부보고서, 기업정보, NTIS 제재정보, 신용 및 재무 정보, 과제수행정보를 포함하는 것을 특징으로 한다.Here, the internal/external data is characterized in that it includes patents, assignment information, papers, external reports, company information, NTIS sanctions information, credit and financial information, and assignment performance information.

또한, 상기 각 평가위원의 연구 데이터는, 특허, 논문, 수행과제를 포함하는 것을 특징으로 한다.In addition, the research data of each evaluator is characterized by including patents, theses, and performance tasks.

한편, 상기 사전 검토 모듈은, 상기 소정의 검증 항목 별로 분석 및 검토된 데이터가 상기 검증 항목 별로 미리 설정된 사전 지원 제외 기준에 부합하는지를 비교하여, 해당 평가대상 과제의 수행기관에 대한 사전 지원 제외 여부를 1차 판단하는 1차 판단 모듈; 을 포함하여 구성되며, 상기 1차 판단 모듈에서 사전지원 제외로 1차 판단 시, 해당 수행기관에게 알림 정보를 제공하는 것; 을 특징으로 한다.On the other hand, the preliminary review module compares whether the data analyzed and reviewed for each of the predetermined verification items meets the preset criteria for excluding prior support for each verification item, and determines whether or not prior support for the performing institution of the evaluation target project is excluded. a first decision module for making a first decision; It is configured to include, and when the first judgment module makes a first decision to exclude prior support, providing notification information to the corresponding performing institution; characterized by

한편, 상기 평가위원 매칭 모듈은, 상기 제1 산정 모듈에서 산출된 각 평가위원의 평가대상 과제별 기술 평가자 적합도(TEF)를 색깔로 구분하여 표시하는 평가위원 추천 정보 제공 모듈; 을 추가로 포함하여 구성되는 것을 특징으로 한다.On the other hand, the evaluator matching module may include: an evaluator recommendation information providing module for displaying the technical evaluator suitability (TEF) for each evaluation target task of each evaluator calculated in the first calculation module by color; It is characterized in that it is configured to further include.

본 발명에 따른 R&D 과제 평가를 위한 평가 환경을 제공하는 방법은, 평가 지원 모듈에서, 데이터베이스 모듈로부터 평가대상 과제의 사업계획서와 관련된 내/외부 데이터를 입수하여, 이들의 분석을 통해 해당 평가대상 과제에 활용할 평가지원 데이터를 구축하는 평가지원 데이터 구축 단계; 사전 검토 모듈에서, 데이터베이스 모듈로부터 평가대상 과제의 사업계획서에 해당하는 수행기관과 관련된 내/외부 데이터를 입수하고, 이들을 소정의 검증 항목 별로 분석 및 검토하여, 상기 수행기관의 사전지원 적합성 여부를 검증하는 사전 검토 단계; 평가위원 매칭 모듈에서, 평가대상 과제의 사업계획서와 다수의 평가위원 각각에 대한 연구 데이터에 기반하여 서로 다른 둘 이상의 매칭 점수 산정 기준에 따라 평가대상 과제 별로 각 평가위원의 매칭 점수를 산정하고, 산정된 각각의 매칭 점수를 이용하여 평가대상 과제 별로 추천 평가위원을 매칭시켜 주는 평가위원 매칭 단계; 를 포함하여 구성된다.A method for providing an evaluation environment for R&D project evaluation according to the present invention is to obtain internal/external data related to a business plan of an evaluation target project from a database module in an evaluation support module, and analyze them to evaluate the corresponding evaluation target project. Evaluation support data construction step of building evaluation support data to be used for; In the preliminary review module, internal/external data related to the executing agency corresponding to the business plan of the evaluation target project are obtained from the database module, and these are analyzed and reviewed for each predetermined verification item to verify the suitability of the prior support of the performing agency. a preliminary review step; In the evaluator matching module, each evaluator's matching score is calculated and calculated according to two or more different matching score calculation criteria based on the business plan of the evaluation target project and research data on each of the multiple evaluators. an evaluator matching step of matching recommended evaluators for each task to be evaluated using the matching scores obtained; It is composed of.

구체적으로, 상기 평가지원 데이터 구축 단계는, 평가 지원 모듈의 데이터 분석 모듈에서, 데이터베이스 모듈로부터 평가대상 과제의 사업계획서 및 그에 관련된 내/외부 데이터를 입수하는 데이터 획득 단계; 평가 지원 모듈의 데이터 분석 모듈에서, 상기 데이터 획득 단계에서 획득한 평가대상 과제의 사업계획서 및 관련 내/외부 데이터를 소정의 분석 부문 별로 분석하는 데이터 분석 단계; 평가 지원 모듈의 평가지원 데이터 생성 모듈에서, 상기 데이터 분석 단계에서 분석된 데이터를 이용하여, 소정의 분석 부문 별로 분석 보고서를 생성하여 제공하는 분석 보고서 생성 단계; 를 포함하여 구성되는 것을 특징으로 한다.Specifically, the evaluation support data construction step may include: a data acquisition step of obtaining a business plan of the evaluation target project and related internal/external data from a database module in a data analysis module of an evaluation support module; In the data analysis module of the evaluation support module, a data analysis step of analyzing the business plan of the evaluation target task and related internal/external data acquired in the data acquisition step for each predetermined analysis section; An analysis report generation step of generating and providing an analysis report for each predetermined analysis section using the data analyzed in the data analysis step in the evaluation support data generation module of the evaluation support module; It is characterized in that it is configured to include.

한편, 상기 사전 검토 단계는, 사전 검토 모듈에서, 데이터베이스 모듈로부터 평가대상 과제의 사업계획서 및 그에 해당하는 수행기관과 관련된 내/외부 데이터를 획득하는 데이터 획득 단계; 사전 검토 모듈에서, 상기 데이터 획득 단계에서 획득한 평가대상 과제의 사업계획서 및 해당 수행기관 관련 내/외부 데이터를 소정의 검증 항목 별로 분석 및 검토하는 데이터 검토 단계; 사전 검토 모듈에서, 상기 데이터 검토 단계에서 검토된 데이터를 이용하여, 소정의 검증 항목 별로 검토 보고서를 생성하여 제공하는 검토 보고서 생성 단계; 를 포함하여 구성되는 것을 특징으로 한다.On the other hand, the preliminary review step may include: a data acquisition step of acquiring internal/external data related to the project plan of the evaluation target project and the corresponding performing institution from the database module in the preliminary review module; In the preliminary review module, a data review step of analyzing and reviewing the business plan of the evaluation target task acquired in the data acquisition step and internal/external data related to the relevant performing institution for each predetermined verification item; A review report generation step of generating and providing a review report for each predetermined verification item using the data reviewed in the data review step in the preliminary review module; It is characterized in that it is configured to include.

또한, 상기 사전 검토 단계는, 사전 검토 모듈에서, 상기 데이터 검토 단계에서 검토된 데이터가 소정의 검증 항목 별로 미리 설정된 사전 지원 제외 판단 기준에 부합하는지를 비교하여, 사전 지원 제외 여부를 1차 판단하는 사전지원 제외 여부 1차 판단 단계; 를 추가로 수행하는 것을 특징으로 한다.In addition, in the preliminary review step, the preliminary review module compares whether the data reviewed in the data review step meets the pre-set criteria for excluding preliminary support for each predetermined verification item, and first determines whether to exclude preliminary support. The first step of determining whether to exclude support; It is characterized in that additionally performing.

한편, 상기 평가위원 매칭 단계는, 평가위원 매칭 모듈에서, 데이터베이스 모듈로부터 평가대상 과제의 사업계획서와 다수의 평가위원 리스트 및 평가위원별 연구 데이터를 획득하는 평가위원 정보 획득 단계; 평가위원 매칭 모듈의 산정 모듈에서, 상기 평가위원 정보 획득 단계에서 획득한 평가대상 과제의 사업계획서와 평가위원 리스트 및 평가위원별 연구 데이터에 기반하여, 평가대상 과제에 대한 각 평가위원의 서로 다른 둘 이상의 매칭 점수 산정 기준에 따른 매칭 점수를 각각 산정하는 매칭 점수 산정 단계; 평가위원 매칭 모듈의 추출 모듈에서, 상기 매칭 점수 산정 단계에서 산정된 매칭 점수들의 합산 값이 높은 순을 우선순위로 하여, 소정의 추출 비율에 대응하는 만큼의 평가위원을 추출하여 해당 평가대상 과제 평가에 최적합한 추천 평가위원으로 구성하는 추천 평가위원 추출 단계; 를 포함하여 구성되는 것을 특징으로 한다. On the other hand, the evaluator matching step may include: an evaluator information acquisition step of acquiring a business plan of the evaluation target project, a list of evaluators, and research data for each evaluator from a database module in an evaluator matching module; In the calculation module of the evaluator matching module, based on the business plan of the evaluation target task obtained in the evaluation member information acquisition step, the list of evaluators, and the research data for each evaluator, each evaluator's two different evaluators for the evaluation target task a matching score calculating step of calculating matching scores according to the above matching score calculation criteria; In the extraction module of the evaluator matching module, priority is given to the order in which the sum of the matching scores calculated in the matching score calculation step is high, and as many evaluators corresponding to a predetermined extraction ratio are extracted and the evaluation target task is evaluated Extraction of recommended evaluators composed of recommended evaluators suitable for the; It is characterized in that it is configured to include.

구체적으로, 상기 매칭 점수 산정 단계는, 평가위원 매칭 모듈의 제1 산정 모듈에서, 아래의 (수식 1)을 이용하여, 평가위원별로 평가대상 과제의 기술분야와 평가위원 리스트에 포함된 각 평가위원의 전문기술분야가 일치하는 정도를 나타내는 기술 평가자 적합도(TEF: Technology Evaluator Fit)를 산출하는 제1 매칭 점수 산정 단계; 평가위원 매칭 모듈의 제2 산정 모듈에서, 각 평가위원의 연구 데이터와 평가대상 과제의 사업계획서 간의 키워드 유사 정도를 비교하여, 평가위원별로 평가대상 과제에 대한 키워드 유사도(KWS: KeyWord Similarity)를 산출하는 제2 매칭 점수 산정 단계; 를 포함하여 구성되는 것을 특징으로 한다.Specifically, in the step of calculating the matching score, in the first calculation module of the evaluator matching module, each evaluator included in the technical field of the task to be evaluated and the evaluator list for each evaluator using the following (Equation 1) A first matching score calculation step of calculating a Technology Evaluator Fit (TEF) indicating the degree to which the specialized technical fields of each are matched; In the second calculation module of the evaluator matching module, the keyword similarity between each evaluator's research data and the project plan of the evaluation target is compared to calculate the keyword similarity (KWS: KeyWord Similarity) for the evaluation target project for each evaluator. a second matching score calculation step; It is characterized in that it is configured to include.

(수식 1) (Equation 1)

① ①

② ②

③ ③

한편, 상기 추천 평가위원 추출 단계는, 평가위원 매칭 모듈의 제1 추출 모듈에서, 상기 제1 매칭 점수 산정 단계에서 산출된 평가대상 과제에 대한 각 평가위원의 기술 평가자 적합도(TEF)에 기반하여, 기술 평가자 적합도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 기술 평가가 적합도 기반 후보군으로 추출하는 제1 추출 단계; 평가위원 매칭 모듈의 제2 추출 모듈에서, 상기 제2 매칭 점수 산정 단계에서 산출된 평가대상 과제에 대한 각 평가위원의 키워드 유사도(KWS)에 기반하여, 키워드 유사도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 키워드 유사도 기반 후보군으로 추출하는 제2 추출 단계; 평가위원 매칭 모듈의 최종 추출 모듈에서, 상기 제1 추출 단계 및 제2 추출 단계에서 추출된 평가위원들 중 소정의 제척 조건에 해당하는 평가위원을 제척하는 평가위원 제척한 후, 상기 기술 평가자 적합도 기반 후보군과 상기 키워드 유사도 기반 후보군에 모두 속하는 평가위원을 분류하고, 분류된 평가위원들의 각 기술 평가자 적합도와 키워드 유사도를 합산한 값이 높은 순부터 우선순위로 하여 소정의 최종 추출 배수만큼의 평가위원을 해당 평가대상 과제에 최적합한 추천 평가위원 후보군으로 최종 추출하는 최종 추출 단계; 를 포함하여 구성되는 것을 특징으로 한다. Meanwhile, in the step of extracting the recommended evaluators, in the first extraction module of the evaluator matching module, based on the technical evaluator fit (TEF) of each evaluator for the evaluation target task calculated in the first matching score calculation step, A first extraction step of extracting as many evaluators as a predetermined extraction multiple corresponding to a predetermined extraction ratio from an order of high degree of suitability of technical evaluators as a candidate group based on the degree of technical evaluation; In the second extraction module of the evaluator matching module, based on the keyword similarity (KWS) of each evaluator for the evaluation target task calculated in the second matching score calculation step, a predetermined extraction rate is calculated from the order of keyword similarity. A second extraction step of extracting as many evaluators as a corresponding predetermined extraction multiple as a keyword similarity-based candidate group; In the final extraction module of the evaluator matching module, after excluding evaluators who meet the predetermined exclusion conditions among the evaluators extracted in the first extraction step and the second extraction step, the technology evaluator suitability-based Evaluators belonging to both the candidate group and the keyword similarity-based candidate group are classified, and the value of the sum of each technology evaluator suitability and keyword similarity of the classified evaluators is prioritized in order of priority, and evaluators by a predetermined final extraction multiple are selected. A final extraction step of finally extracting a group of recommended evaluators candidates most suitable for the evaluation target task; It is characterized in that it is configured to include.

한편, 상기 평가위원 매칭 단계는, 평가위원 매칭 모듈의 평가위원 추천 정보 제공 모듈에서, 상기 제1 매칭 점수 산정 단계에서 산출된 평가대상 과제에 대한 각 평가위원의 기술 평가자 적합도(TEF)를 색깔로 구분하여 표시하는 평가위원 추천 정보 표시 단계; 를 추가로 포함하는 것을 특징으로 한다.Meanwhile, in the evaluator matching step, in the evaluator recommendation information providing module of the evaluator matching module, the technical evaluator fit (TEF) of each evaluator for the evaluation target task calculated in the first matching score calculation step is colored in color. Evaluator recommendation information display step to display separately; It is characterized in that it further comprises.

여기서, 상기 내/외부 데이터는, 특허, 과제정보, 논문, 외부보고서, 기업정보, NTIS 제재정보, 신용 및 재무정보, 과제수행정보를 포함하는 것을 특징으로 한다.Here, the internal/external data is characterized in that it includes patents, assignment information, papers, external reports, company information, NTIS sanctions information, credit and financial information, and assignment performance information.

또한, 상기 평가위원의 연구 데이터는, 특허, 논문, 수행과제를 포함하는 것을 특징으로 한다.In addition, the evaluator's research data is characterized in that it includes patents, theses, and performance tasks.

본 발명은 AI 빅데이터를 이용하여 데이터 기반의 R&D 과제 평가 환경을 제공하여 평가 전문성과 질을 향상시킬 수 있다. The present invention can improve evaluation expertise and quality by providing a data-based R&D task evaluation environment using AI big data.

또한, R&D 과제 수행주체 선정 과정 중 사전지원 제외 검토 단계를 자동화함으로써 업무 프로세스의 효율화를 달성할 수 있다.In addition, efficiency of the work process can be achieved by automating the review step of excluding prior support during the process of selecting an R&D project performer.

또한, 평가위원 적합도와 키워드 유사도 기준을 모두 반영한 점수의 순위화로 평가위원 추천 기능을 구현하여, 최적의 평가위원회 구성으로 평가 전문성을 향상시킬 수 있다. In addition, evaluation expertise can be improved with the optimal composition of the evaluation committee by implementing the evaluation committee recommendation function by ranking the scores that reflect both the suitability of evaluation committee members and the keyword similarity criteria.

도 1은 본 발명에 따른 R&D 과제 평가 환경 제공 시스템의 전체적인 구성을 도시한 도면이다.
도 2는 평가위원 매칭 모듈의 세부 구성을 도시한 도면이다.
도 3은 의견 공유 서비스를 제공하는 형태의 예시를 보여주는 도면이다.
도 4는 평가지원 데이터를 제공하는 형태의 예시를 보여주는 도면이다.
도 5는 기술 평가자 적합도(TEF) 산출식 구성 요소 중 평균적합점수 산출 예시를 보여주는 도면이다.
도 6은 기술 평가자 적합도와 과제 수행 중단율 간 연관 관계를 보여주는 도면이다.
도 7은 각 평가위원의 과제별 기술 평가자 적합도를 시각적 정보 형태로 제공하는 예시를 보여주는 도면이다.1 is a diagram showing the overall configuration of a system for providing an R&D project evaluation environment according to the present invention.
2 is a diagram showing the detailed configuration of an evaluator matching module.
3 is a diagram showing an example of a form of providing an opinion sharing service.
4 is a diagram showing an example of a form of providing evaluation support data.
5 is a diagram showing an example of calculating an average fit score among the components of a skill evaluator fit (TEF) calculation formula.
6 is a diagram showing the correlation between the skill rater suitability and the task completion rate.
7 is a diagram showing an example of providing the degree of fitness of a technical evaluator for each task of each evaluator in the form of visual information.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice with reference to the accompanying drawings. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

이하, 도면을 참조하여 본 발명에 대하여 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

1. 본 발명에서 사용하는 용어1. Terms used in the present invention

1.1. 내/외부 시스템1.1. internal/external system

본 발명에서 언급하는 내/외부 시스템은, 특허청, 국가과학기술지식서비스(NTIS), 한국과학기술정보연구원(KISTI), 한국과학기술기획평가원(KISTEP), 한국산업기술평가관리원(RCMS), PMS 통합 DB 등을 포함할 수 있다. The internal/external system referred to in the present invention is the Korean Intellectual Property Office, National Science and Technology Information Service (NTIS), Korea Institute of Science and Technology Information (KISTI), Korea Institute of Science and Technology Planning and Evaluation (KISTEP), Korea Institute of Industrial Technology Evaluation and Planning (RCMS), PMS An integrated DB may be included.

본 발명은 이러한 내/외부 시스템과 연계되어, R&D 접수과제의 사업계획서를 기반으로 관련 내/외부 데이터를 수집/획득하도록 구성된다. The present invention is configured to collect/acquire related internal/external data based on the business plan of the R&D submission project in connection with these internal/external systems.

1.2. 내/외부 데이터1.2. internal/external data

내/외부 데이터라 함은, 앞서 설명한 내/외부 시스템으로부터 수집하는 데이터를 말한다. 예를 들어, R&D 접수과제의 사업계획서 정보와 관련된 특허, 과제정보, 논문, 외부보고서, 기업정보, NTIS 제재정보, 신용 및 재무 정보, 과제수행내역, 과제 의무사항 불이행/감점사항 등을 포함할 수 있다. Internal/external data refers to data collected from the aforementioned internal/external systems. For example, it may include patents, project information, papers, external reports, corporate information, NTIS sanctions information, credit and financial information, project performance history, non-fulfillment of assignment obligations/deductible points related to the business plan information of the R&D submission project. can

1.3. 추천 평가위원1.3. recommended evaluator

추천 평가위원은, 쉽게 말해 사업계획서를 가장 잘 평가할 사람을 말한다. 일반적으로 R&D 접수과제 선정 시 해당 분야 전문가들을 구성하여 이들의 평가를 기초로 이루어진다. 본 발명은 기존의 평가위원 추천 방식을 개선하여, ‘기술 평가자 적합도’ 와 ‘키워드 유사도’ 라는 두 가지 기준을 모두 반영하여 평가대상 과제 별로 해당 과제 평가에 최적합한 평가위원들을 추출하도록 구성된다. 이 때 추출되는 최적합한 평가위원을 추천 평가위원으로 지칭하는 것이다. The recommended evaluator, simply put, is the person who will best evaluate the business plan. In general, when selecting an R&D application, experts in the relevant field are formed and based on their evaluation. The present invention improves the existing evaluator recommendation method, and is configured to extract evaluators most suitable for the evaluation of the task for each task to be evaluated by reflecting both criteria of 'technical evaluator suitability' and 'keyword similarity'. The most suitable evaluators extracted at this time are referred to as recommended evaluators.

2. 본 발명에 따른 R&D 과제 평가 시스템2. R&D project evaluation system according to the present invention

도 1은 본 발명에 따른 R&D 과제 시스템의 전체적인 구성을 도시한 도면이고, 도 2는 평가위원 매칭 모듈의 세부 구성을 도시한 도면이다. 도 1 및 2를 참조하면, 본 발명에 따른 R&D 과제 평가 시스템은, 크게 평가 지원 모듈(100), 사전 검토 모듈(200), 평가위원 매칭 모듈(300), 데이터베이스 모듈(400)을 포함하여 구성될 수 있다.1 is a diagram showing the overall configuration of an R&D task system according to the present invention, and FIG. 2 is a diagram showing the detailed configuration of an evaluator matching module. 1 and 2, the R&D project evaluation system according to the present invention largely includes an evaluation support module 100, a preliminary review module 200, an evaluator matching module 300, and a database module 400. It can be.

2.1. 평가 지원 모듈(100)2.1. Assessment support module (100)

평가 지원 모듈은, 과제 평가에 참여하는 평가 참여자 간에 의견 공유 서비스를 제공하며, 평가대상 과제에 접수/신청한 수행기관의 사업계획서와 상기 평가대상 과제 및 수행기관과 관련하여 연계된 내/외부 데이터를 분석하여 해당 평가대상 과제 및 수행기관의 평가를 위한 평가 지원 데이터를 구축하여 제공하는 구성이다. The evaluation support module provides an opinion sharing service among evaluation participants participating in task evaluation, and the business plan of the implementing agency that has received/applied for the evaluation target project and internal/external data linked to the evaluation target and performing agency It is a structure that analyzes the evaluation target and builds and provides evaluation support data for the evaluation of the performing institution.

이러한 평가 지원 모듈은, 아래와 같은 세부 구성을 포함할 수 있다.This evaluation support module may include the following detailed configuration.

2.1.1. 평가 서비스 모듈(110)2.1.1. Assessment service module (110)

평가 서비스 모듈은, 온라인 상에서 평가를 할 수 있는 환경을 구축한 것으로, 과제 평가에 참여하는 평가 참여자 간에 의견 공유를 가능하게 하는 서비스를 제공한다.The evaluation service module, which builds an environment for online evaluation, provides a service enabling sharing of opinions among evaluation participants participating in task evaluation.

의견 공유 서비스는, 두 가지 형태로 제공될 수 있다.The opinion sharing service may be provided in two forms.

<제1 방식><Method 1>

제1 방식은, 대화창/게시판을 통한 동영상, 음성, 텍스트 등을 입력하는 방식으로 비실시간으로 의견을 공유할 수 있도록 하는 비대면 형태로 구현될 수 있다.The first method may be implemented in a non-face-to-face form that allows opinions to be shared in non-real time by inputting video, audio, text, etc. through a chat window/bulletin board.

이 경우, 예를 들어 도 3의 (a)와 같이, 과제 평가 참여자 간에 자유로운 질의응답이 가능한 대화창이나 게시판과 같은 온라인 공간을 제공하여, 영상/음성/문서 등의 다양한 방식을 활용하여 평가 참여자가 직접 질의/응답으로 원활한 소통이 가능하도록 한다.In this case, for example, as shown in (a) of FIG. 3, by providing an online space such as a chat window or bulletin board that allows free question and answer among task evaluation participants, the evaluation participants can use various methods such as video/voice/document. Enable smooth communication through direct Q&A.

이러한 대화형 평가 방식은, 평가 참여자 간에 질의/답변 내용의 공유가 가능하여 중복답변의 부담을 해소하는 효과를 가져온다.This interactive evaluation method has the effect of relieving the burden of duplicate answers by enabling sharing of questions/answers among evaluation participants.

또한, 질의 및 답변 완료(도착) 시 알림 기능을 제공하여, 비실시간 의견 공유 방식이더라도 원활한 소통을 가능하게 한다. In addition, a notification function is provided when inquiries and answers are completed (arrival), enabling smooth communication even in a non-real-time opinion sharing method.

<제2 방식><Second Method>

제2 방식은, 도 3의 (b)와 같이 화상으로 대면하는 방식으로 실시간으로 의견을 공유할 수 있도록 하는 대면 형태로 구현될 수 있다.The second method may be implemented in a face-to-face form allowing opinions to be shared in real time in a face-to-face method as shown in (b) of FIG. 3 .

이 경우, 실시간 회의를 통해 사용자 편의성을 증대하면서도 보안 및 안정성이 강화된 평가 참여 환경을 제공한다.In this case, an evaluation participation environment with enhanced security and stability is provided while increasing user convenience through real-time meetings.

여기서, 과제 평가 참여자는, 외부 이용자(일반 사용자), 평가위원, 과제 담당자, 연구자 등을 포함하는 관련 이용자 등을 포함할 수 있다.Here, the task evaluation participants may include related users including external users (general users), evaluation committee members, task managers, researchers, and the like.

2.1.2. 데이터 분석 모듈(120)2.1.2. Data analysis module (120)

데이터 분석 모듈(120)은, 평가대상 과제에 대한 사업계획서를 기반으로 데이터베이스 모듈(400)로부터 관련 내/외부 데이터를 입수하여, 이들을 소정의 분석 부문 별로 분석하도록 구성된다.The data analysis module 120 is configured to obtain related internal/external data from the database module 400 based on the business plan for the evaluation target task and analyze them for each predetermined analysis section.

여기서, 사업계획서, 평가대상 과제 및 수행기관과 관련된 내/외부 데이터는, 앞서 설명한 내/외부 시스템과 연계되어 관련 데이터를 수집하는 후술할 데이터베이스 모듈(400)로부터 입수할 수 있다.Here, the internal/external data related to the business plan, the task to be evaluated, and the performing institution can be obtained from the database module 400 to be described later that collects related data in connection with the aforementioned internal/external system.

데이터 분석 모듈(120)에서 데이터 분석을 수행하는 각 분석 부문은, 기술동향 정보, 사업계획서 요약, 수행기관정보, 과제수행이력을 포함할 수 있다.Each analysis unit performing data analysis in the data analysis module 120 may include technology trend information, business plan summary, performing institution information, and task performance history.

먼저, 기술동향 정보 부문은, 평가대상 과제의 사업계획서를 평가하기 위한 가장 적합한 국내 동향 정보를 제공하기 위한 요소로서, 평가대상 과제 관련기술의 국내특허 동향, 국가 R&D 지원 동향, 수출입 동향 등을 분석할 수 있다.First, the technology trend information section is an element to provide the most suitable domestic trend information for evaluating the business plan of the evaluation target project, and analyzes domestic patent trends, national R&D support trends, and import/export trends of the technology related to the evaluation target project. can do.

보다 구체적으로, 키워드 입력부(미도시)에 사용자가 입력하는 키워드를 이용하여, 내/외부 시스템에 연계된 데이터베이스 모듈(400)로부터 상기 키워드가 포함된 국내 특허, NTIS 지원과제, 무역코드 등의 정보를 추출하여 국내동향, 국가 R&D 지원 동향, 수출입 동향을 분석할 수 있다. More specifically, information such as domestic patents, NTIS support tasks, and trade codes including the keywords from the database module 400 linked to the internal/external system using keywords input by the user in the keyword input unit (not shown). can be extracted to analyze domestic trends, national R&D support trends, and import/export trends.

다음, 사업계획서 요약 부문을 분석하는 것은, 사업계획서의 전체적인 내용을 쉽게 파악할 수 있도록 제공하기 위한 요소로서, 통상의 AI 크롭 기술을 사용하여 해당 사업계획서의 전체 내용에서 소정의 중요 항목을 추출/발췌하는 방식으로 사업계획서의 요약 정보를 획득할 수 있다.Next, analyzing the summary section of the business plan is an element to provide the overall contents of the business plan so that it is easy to understand. In this way, summary information of the business plan can be obtained.

다음, 수행기관 정보를 분석하는 것은, 수행기관의 역량을 확인하기 위한 정보를 제공하기 위한 요소로서, 해당 사업계획서에 포함된 기관의 사업자번호, 법인번호 등의 기관 정보를 이용하여 내/외부 시스템에 연계된 데이터베이스 모듈(400)로부터 해당 기관이 출원한 특허 정보, 재무 정보 등을 분석할 수 있다.Next, analyzing the information of the executing agency is an element for providing information to confirm the capability of the executing agency, using the agency information such as business number and corporate number of the agency included in the project plan to internal / external systems. From the database module 400 linked to, it is possible to analyze patent information, financial information, etc. applied by the relevant institution.

다음, 과제수행이력을 분석하는 것은, 해당 사업계획서에 포함된 기관 정보를 이용하여 내/외부 시스템에 연계된 데이터베이스 모듈(400)로부터 해당 기관이 당원에서 지원 받은 과제 수행 정보를 분석할 수 있다.Next, to analyze the task performance history, the task performance information supported by the institution can be analyzed from the database module 400 linked to the internal/external system using the institution information included in the business plan.

2.1.3. 평가지원 데이터 생성 모듈(130)2.1.3. Evaluation support data generation module (130)

평가지원 데이터 생성 모듈(130)은, 상기 데이터 분석 모듈(120)에서 상기 사업계획서 및 관련 내/외부 데이터를 기반으로 소정의 분석 부문 별로 분석한 데이터를 이용하여, 평가대상 과제의 평가에 활용할 평가지원 데이터를 생성하고, 이를 분석 보고서의 형태로 구성하여 제공할 수 있다. The evaluation support data generation module 130 uses the data analyzed for each predetermined analysis section based on the business plan and related internal/external data in the data analysis module 120 to evaluate to be used in the evaluation of the evaluation target task. Supporting data can be generated and provided in the form of an analysis report.

도 4는 평가지원 데이터를 제공하는 형태의 각 예시를 보여주는 도면이다.4 is a diagram showing each example of a form of providing evaluation support data.

도 4를 참조하면, 상기 데이터 분석 모듈(120)에서 각 분석 부문 별로 분석된 데이터를 취합하여, 도 4a에 보이는 것과 같이 해당 평가대상 과제의 평가를 위한 핵심정보로서 기술정보동향, 사업계획서 요약, 수행기관 정보, 과제수행이력 데이터를 축약한 형태로 제공할 수 있다.Referring to FIG. 4, the data analyzed by each analysis section in the data analysis module 120 is collected, and as shown in FIG. Executing institution information and project performance history data can be provided in abbreviated form.

한편, 상기 데이터 분석 모듈(120)에서 분석된 기술동향 정보 부문 데이터를 이용하여, 도 4b에 보이는 것과 같이 국내특허 동향, 국가 R&D 지원 동향, 수출입 동향 별로 섹션을 구분한 형태로 제공할 수 있다. On the other hand, using the technology trend information section data analyzed by the data analysis module 120, as shown in FIG. 4B, it can be provided in the form of dividing sections by domestic patent trend, national R&D support trend, and export/import trend.

한편, 상기 데이터 분석 모듈(120)에서 추출된 사업계획서의 중요 항목 데이터를 이용하여, 도 4c에 보이는 것과 같이 각 중요 항목 별로 섹션을 구분한 형태로 사업계획서의 요약 정보를 제공할 수 있다. On the other hand, using the important item data of the business plan extracted from the data analysis module 120, as shown in Figure 4c, it is possible to provide summary information of the business plan in the form of dividing sections for each important item.

여기서, 중요 항목은, 예를 들어 과제 기본정보, 신청사업비, 최종목표, 정량적 목표항목, 기관별 분담금, 기관의 지식재산권, 총괄책임자 정보, 기술개발 편성도, 연구시설 및 장비 보유현황 등을 포함할 수 있다.Here, important items may include, for example, basic project information, application cost, final goal, quantitative target items, contributions by institution, institutional intellectual property rights, general manager information, technology development organization chart, research facility and equipment holding status, etc. can

한편, 상기 데이터 분석 모듈(120)에서 분석된 수행기관 관련 데이터를 이용하여, 도 4d 내지 도 4f에 보이는 것과 같은 형태로 해당 기관의 특허정보, 재무정보를 제공할 수 있다. 여기서, 특허 정보는 국내 특허 출원현황, 국내 출원된 특허의 해외 특허 등록 현황, 특허 분류체계별 특허 출원 현황을 구분하여 제공할 수 있다. 또한, 재무 정보의 경우, 성장성, 수익성, 안정성 지표로 구분하여 제공할 수 있다.On the other hand, using the data related to the performing institution analyzed by the data analysis module 120, patent information and financial information of the institution may be provided in the form shown in FIGS. 4D to 4F. Here, the patent information may be provided by classifying the domestic patent application status, the overseas patent registration status of the domestic applied patent, and the patent application status for each patent classification system. In addition, in the case of financial information, it can be provided by dividing it into growth, profitability, and stability indicators.

한편, 상기 데이터 분석 모듈(120)에서 분석된 과제수행이력 관련 데이터를 이용하여, 도 4g 내지 도 4i에 보이는 것과 같은 형태로 해당 기관이 당원에서 지원 받아 수행한 과제 이력 정보를 제공할 수 있다. 보다 구체적으로 보면, 도 4g와 같이 수행과제 정보를 표시하고, 도 4h와 같이 해당 기관이 지원 받은 모든 과제의 연도별 지원총액을 연도별/과제별로 구분하여 누적 막대 그래프의 형태로 제공하며, 도 4i와 같이 종료 2년이 경과된 과제를 중심으로 그래프의 형태로 주요 수행성과를 제공할 수 있다. On the other hand, by using the task performance history-related data analyzed by the data analysis module 120, task history information that the institution has performed with support from the party member can be provided in the form shown in FIGS. 4G to 4I. More specifically, as shown in FIG. 4g, task information is displayed, and as shown in FIG. It is possible to provide major performances in the form of a graph, focusing on tasks that have passed two years since completion, such as 4i.

한편, 상기 데이터 분석 모듈(120)에서 분석된 데이터들을 이용하여 핵심 평가항목에 대한 경합과제 간 비교가 가능하도록 하는 비교 정보를 생성하여 제공할 수 있다. 이는 도 4j에 보이는 것과 같이, 앞서 데이터 분석 모듈(120)에서 분석된 수행기관 정보, 특허 정보, 재무 정보 등을 활용하여, 소정의 비교 항목 별로 정보 비교 보고서를 생성하여 제공할 수 있다. 여기서, 소정의 비교 항목은, 예를 들어 기관 정보, 총괄책임자 정보, 기관 보유 특허, 기관 재무 정보 등을 포함할 수 있다.On the other hand, by using the data analyzed by the data analysis module 120, comparison information enabling comparison between competitive tasks for core evaluation items may be generated and provided. As shown in FIG. 4j , an information comparison report can be generated and provided for each predetermined comparison item by utilizing information on an executing agency, patent information, financial information, etc. previously analyzed by the data analysis module 120 . Here, predetermined comparison items may include, for example, institutional information, general manager information, institutional patents, institutional financial information, and the like.

이와 같이 데이터 분석 모듈(120) 및 평가지원 데이터 생성 모듈(130)은, R&D 접수과제와 관련된 내/외부 데이터를 자동 분석 및 요약하여 사업계획서/평가대상 과제의 평가에 활용 가능한 분석 자료를 제공함으로써, 전문성, 객관성 등 평가의 질적 수준 향상을 도모할 수 있다.In this way, the data analysis module 120 and the evaluation support data generation module 130 automatically analyze and summarize internal/external data related to R&D submission tasks to provide analysis data that can be used for evaluation of business plans/evaluation target tasks. , professionalism, objectivity, etc. can be promoted to improve the quality of evaluation.

2.2. 사전 검토 모듈(200)2.2. Pre-Review Module (200)

사전 검토 모듈은, 평가대상 과제의 사업계획서 및 해당 수행기관과 관련된 내/외부 데이터를 소정의 검증 항목 별로 분석 및 검토하여, 상기 수행기관의 사전지원 적합성 여부를 자동으로 검증하는 구성이다. The preliminary review module is a configuration that automatically verifies the suitability of the prior support of the performing institution by analyzing and reviewing the business plan of the evaluation target project and internal/external data related to the relevant performing institution for each predetermined verification item.

여기서, 상기 수행기관과 관련된 내/외부 데이터는, 앞서 설명한 내/외부 시스템과 연계되어 관련 데이터를 수집하는 후술할 데이터베이스 모듈(400)로부터 입수할 수 있다.Here, the internal/external data related to the execution institution can be obtained from the database module 400 to be described later that collects related data in association with the aforementioned internal/external system.

한편, 상기 소정의 검증 항목은, 참여제한 검증, 신용 검증, 재무 검증, 과제 수 판단, 수행내역 검증 등을 포함할 수 있다.Meanwhile, the predetermined verification items may include participation restriction verification, credit verification, financial verification, determination of the number of tasks, verification of performance details, and the like.

또한, 사전 검토 모듈(200)은, 데이터베이스 모듈(400)로부터 입수한 사업계획서 및 상술한 것과 같은 수행기관 관련 내/외부 데이터를 소정의 검증 항목 별로 검토한 후, 검토된 결과를 검증 항목 별로 검토 보고서의 형태로 생성하여 제공할 수 있다.In addition, the preliminary review module 200 reviews the business plan obtained from the database module 400 and the internal/external data related to the performing agency as described above for each predetermined verification item, and then reviews the reviewed result for each verification item. It can be generated and provided in the form of a report.

이와 같은 사전 검토 모듈(200)은, 상기 소정의 검증 항목 별로 분석 및 검토된 데이터가 상기 검증 항목 별로 미리 설정된 사전 지원 제외 기준에 부합하는지를 비교하여, 해당 평가대상 과제의 수행기관에 대한 사전 지원 제외 여부를 1차적으로 판단하는 1차 판단 모듈(미도시)를 포함할 수 있다. 1차 판단 모듈은, 사전지원 제외로 1차 판단되는 경우, 해당 수행기관으로 예를 들어 메일 발송과 같은 방식으로 알림 정보를 제공하여 수행기관이 그 결과를 인지할 수 있도록 할 수 있다. Such a preliminary review module 200 compares whether the data analyzed and reviewed for each of the predetermined verification items meets the preset criteria for excluding prior support for each verification item, and excludes prior support for the institution performing the corresponding evaluation target project. It may include a primary determination module (not shown) that primarily determines whether or not. The primary determination module, when it is first judged as excluding prior support, may provide notification information to the relevant executing institution in a manner such as sending an e-mail, so that the implementing institution may recognize the result.

이와 같은 사전 검토 모듈(200)의 구성으로 평가대상 과제에 대한 수행기관의 사전지원 적합성 여부/신청자격 판단을 최대한 자동화 함으로써, 과제 평가 과정 중 신청자격을 검토하는 데에 소요되는 시간을 단축시켜 사전검토 프로세스를 효율화하는 효과를 가져올 수 있다. With this configuration of the preliminary review module 200, the time required to review the application qualifications during the task evaluation process is shortened by automating the judgment of the prior support suitability/application qualification of the performing institution for the task to be evaluated as much as possible. This can have the effect of streamlining the review process.

2.3. 평가위원 매칭 모듈(300)2.3. Evaluator Matching Module (300)

평가위원 매칭 모듈(300)은, 다수의 평가위원 각각의 평가위원 연구 데이터와 평가대상 과제의 사업계획서에 기반하여 서로 다른 둘 이상의 매칭 점수 산정 기준에 따라 평가대상 과제 별로 각 평가위원의 매칭 점수를 산정하고, 산정된 각각의 매칭 점수의 합산 값이 높은 순부터 우선순위로 하여 평가대상 과제 별로 추천 평가위원을 매칭시켜 주는 구성이다.The evaluator matching module 300 determines the matching score of each evaluator for each evaluation target task according to two or more different matching score calculation criteria based on the research data of each evaluator and the business plan of the evaluation target project. It is a configuration in which the recommended evaluators are matched for each task to be evaluated in order of priority in the order in which the sum of the calculated matching scores is highest.

여기서, 다수의 평가위원 리스트 및 각 평가위원 별 연구 데이터, 평가대상 과제의 사업계획서는 앞서 설명한 내/외부 시스템과 연계되어 관련 데이터를 수집하는 후술할 데이터베이스 모듈(400)로부터 입수할 수 있다.Here, a list of multiple evaluators, research data for each evaluator, and business plans for evaluation targets can be acquired from the database module 400 to be described later that collects related data in connection with the aforementioned internal/external system.

한편, 상기 평가위원 연구 데이터라 함은, 특허, 논문, 수행과제 등을 포함할 수 있다.On the other hand, the evaluator's research data may include patents, papers, and tasks to be performed.

한편, 상기 다수의 평가위원 리스트에 포함된 평가위원들은, 선정평가위원회 구성원들을 의미한다.On the other hand, the evaluators included in the list of the plurality of evaluators refer to members of the selection evaluation committee.

이러한 평가위원 매칭 모듈(300)은, 아래와 같은 세부 구성을 포함하여 구성될 수 있다.The evaluator matching module 300 may include the following detailed configurations.

2.3.1. 산정 모듈(310)2.3.1. Calculation module (310)

산정 모듈(310)은, 데이터베이스 모듈(400)로부터 입수한 평가대상 과제별 사업계획서와 평가위원 리스트 및 평가위원 별 연구 데이터를 바탕으로 평가대상 과제 별로 각 평가위원의 서로 다른 둘 이상의 매칭 점수 산정 기준에 따른 매칭 점수를 각각 산정할 수 있다.The calculation module 310 calculates two or more different matching scores for each evaluator for each evaluator based on the business plan for each evaluation target task obtained from the database module 400, the list of evaluators, and the research data for each evaluator. Matching scores according to can be calculated respectively.

가. 제1 산정 모듈(312)go. First calculation module 312

제1 산정 모듈(312)은, 소정의 기술 평가자 적합도 산출식을 이용하여, 각 평가위원의 평가대상 과제 별로 평가대상 과제의 기술분야와 평가위원 리스트에 포함된 평가위원의 전문기술분야가 일치하는 정도를 나타내는 기술 평가자 적합도(TEF: Technology Evaluator Fit)를 산출한다.The first calculation module 312 determines whether the technical field of the subject to be evaluated and the specialized technical field of the evaluator included in the list of evaluators match for each evaluator's evaluation target task using a predetermined skill evaluator suitability calculation formula. Calculate Technology Evaluator Fit (TEF), which indicates the degree of fit.

상기 기술 평가자 적합도 산출식은, 아래의 수식 1과 같다. The technology evaluator suitability calculation formula is shown in Equation 1 below.

(수식 1) (Equation 1)

여기서, 위 수식 1을 구성하는 각 요소는 다음과 같이 정의된다.Here, each element constituting Equation 1 above is defined as follows.

① ①

(p: 평가대상 과제, i: 평가위원, N: 평가위원 수)(p: evaluation subject, i: evaluators, N: number of evaluators)

② ②

(여기서, 분류단계는 산업기술분류체계의 대/중/소분류 단계로 ‘대분류=1, 중분류=2, 소분류=3’ 으로 설정된다. 최대적합단계는, 평가대상 과제의 기술분야와 평가위원의 기술분야가 서로 일치하는 최대 세분화 단계를 의미한다.) (Here, the classification stage is the large/medium/small classification stage of the industrial technology classification system, and is set as 'large classification = 1, middle classification = 2, small classification = 3'. The maximum fit level is the technical field of the subject to be evaluated and the It means the maximum level of subdivision at which the technical fields match each other.)

③ ③

(총 분류수는 통상 산업기술분류표의 소분류 기준상 654개로 적용되며, 이는 적용대상에 따라 변경 가능함)(The total number of classifications is usually applied as 654 based on the subclassification standard of the industrial technology classification table, which can be changed depending on the target)

통상적으로 평가대상 과제를 평가할 평가위원 선정 시, 대/중/소분류로 분류 기준이 세분화 되어 있는 산업기술분류라는 분류 체계에 따라 선정하도록 구성되며, 기술 평가자 적합도 산출식(수식 1) 역시 산업기술분류의 분류체계를 기반으로 한다. Normally, when selecting an evaluator to evaluate an evaluation target task, it is configured to be selected according to a classification system called industrial technology classification in which the classification criteria are subdivided into large/medium/small classifications, and the technology evaluator suitability calculation formula (Equation 1) is also classified as industrial technology It is based on the classification system of

(수식 1)에 의한 기술 평가자 적합도의 산출 과정에 대하여 설명하면, 먼저, 위 ②식을 이용하여 평가대상 과제의 기술분야와 평가위원의 전문기술분야 간 일치도에 따라 계산되는 평가위원별 점수인 FitPointip(적합점수)를 산출한다. 여기서, 적합점수는 평가대상 과제의 기술분야가 평가위원의 기술분야가 서로 일치하는 단계 중 최대 세분화 단계에 해당하는 적합점수로 계산된다. 예를 들어, 평가위원 A의 기술분야와 평가대상 과제의 기술분야가 대분류(1), 중분류(2), 소분류(3) 단계에서 모두 일치한다면, 평가위원 A는 최대 세분화 단계인 소분류(3)에 해당하는 적합점수를 가져가는 것이다. To explain the process of calculating the degree of fit of the technical evaluator by (Equation 1), first, FitPointip, which is a score for each evaluator, calculated according to the degree of agreement between the technical field of the subject to be evaluated and the professional technical field of the evaluator using the above equation ②. (fit score) is calculated. Here, the fitness score is calculated as the fitness score corresponding to the maximum subdivision stage among the stages in which the technical fields of the evaluation subject and the technical fields of the evaluation members match each other. For example, if the technical field of evaluator A and the technical field of the subject to be evaluated are identical in the major classification (1), intermediate classification (2), and minor classification (3) stages, evaluator A is assigned to the maximum subdivision, the small classification (3). It is to take the appropriate score for .

이 때, 대/중/소분류 단계별 적합점수는 분류 가지수를 1단계 분류수부터 최대 적합단계 분류수까지의 누적곱으로 산출된다. At this time, the appropriate score for each large/medium/small classification stage is calculated as the cumulative product of the number of classifications from the number of classifications in the first stage to the maximum number of appropriate stage classifications.

도 5의 표를 참조하면, 1~7번까지의 평가위원으로 구성되어 있으며, 1, 5, 6번 평가위원의 경우, 평가위원의 기술분야와 평가대상 과제의 기술분야가 일치하는 최대 세분화 단계가 1단계(대분류)이고, 2, 3번 평가위원은 2단계(중분류), 3번 평가위원은 3단계(소분류)이다. 이 때, 1단계(대분류) 분류수는 8, 2단계(중분류) 분류수는 4, 3단계(소분류) 분류수는 3이므로, 1단계(대분류) 누적곱은 8, 2단계(중분류) 누적곱은 8X4 = 32, 3단계(소분류) 누적곱은 32X3 = 96이 된다. Referring to the table in FIG. 5, it consists of evaluators 1 to 7, and in the case of evaluators 1, 5, and 6, the maximum subdivision level in which the technical field of the evaluator and the technical field of the evaluation target match. is the 1st stage (large category), the 2nd and 3rd evaluators are the 2nd stage (middle category), and the 3rd evaluator is the 3rd stage (small category). In this case, since the number of classifications in the first stage (large classification) is 8, the number of classifications in the second stage (middle classification) is 4, and the number of classifications in the third stage (subclass) is 3, the cumulative product of the first stage (large classification) is 8 and the cumulative product of the second stage (middle classification) is 8X4 = 32, the cumulative product of step 3 (subclass) becomes 32X3 = 96.

이에, 각 평가위원별 적합점수를 산출하면, 1, 5, 6번 평가위원의 적합점수는 8점, 2, 4번 평가위원의 적합점수는 32점, 3번 평가위원의 적합점수는 96점으로 산출된다. Accordingly, when calculating the suitability score for each evaluator, the suitability score of evaluators 1, 5, and 6 is 8 points, the suitability score of evaluators 2 and 4 is 32 points, and the suitability score of evaluators 3 is 96 points. is calculated as

따라서, 위 ①식을 이용한 평균 적합점수는, (8점X3)+(32점X2)+(96점X1)/7 = 26.3으로 산출된다. Therefore, the average fit score using the equation ① above is calculated as (8 points X 3) + (32 points X 2) + (96 points X 1)/7 = 26.3.

이와 같이 계산된 값을 상기 (수식 1)에 적용하면, 예를 들어 3번 평가위원의 기술 평가자 적합도(TEF)는, {log(26.3 + 1)/log(654+1)} X 100 (점)의 값으로 산출되는 것이다.If the calculated value is applied to (Equation 1) above, for example, the skill evaluator fit (TEF) of evaluator No. 3 is {log(26.3 + 1)/log(654+1)} X 100 (point ) is calculated as the value of

이러한 (수식 1)에 의해, 평가대상 과제별 각 평가위원의 기술 평가자 적합도(TEF)를 산출하여 평가대상 과제의 기술분야와 평가위원의 기술분야가 일치하는 정도를 점수화하여 정의할 수 있다. According to (Equation 1), the technical evaluator fit (TEF) of each evaluator for each evaluation target task can be calculated and the degree of matching between the technical field of the evaluation target task and the evaluator's technical field can be defined by scoring.

도 6은 기술 평가자 적합도 구간 별로 과제 수행 중단 비율을 보여주는 그래프이다. 도 6을 참조하면, 기술 평가자 적합도가 높은 구간에 비해 기술 평가자 적합도가 낮은 구간에 해당하는 과제들의 중단율이 상대적으로 높은 것을 확인할 수 있다. 보다 구체적으로, 전체 과제 수는 4,664개이고, 수행 중단된 과제 수는 334개로, 평균 중단율은 7.2%를 보인다. 그런데, 기술 평가자 적합도가 낮은 구간인 0 초과 30 이하 구간에 해당하는 과제들의 중단율은 8.6% ~ 13.1%로, 평균 중단율에 비해 높은 중단율을 보이는 것을 확인할 수 있다.6 is a graph showing a task performance interruption rate for each skill evaluator suitability interval. Referring to FIG. 6 , it can be seen that the drop rate of tasks corresponding to the low skill evaluator suitability section is relatively high compared to the high skill evaluator fit section. More specifically, the total number of tasks was 4,664, and the number of interrupted tasks was 334, showing an average discontinuation rate of 7.2%. By the way, it can be seen that the abandonment rate of tasks corresponding to the range of 0 to 30 or less, which is a low skill evaluator fit range, is 8.6% to 13.1%, showing a higher dropout rate than the average dropout rate.

결과적으로, 기술 평가자 적합도가 과제 수행 중단율에 영향을 미치는 요소임이 검증되었으며, 이러한 검증 결과로 보았을 때, 과제 평가위원 추천에 (수식 1)을 이용한 기술 평가자 적합도를 반영하는 경우, 과제 평가 및 수행에 긍정적인 성과를 가져올 것으로 예측하는 것이 가능하다.As a result, it was verified that the suitability of the skill evaluator is a factor influencing the rate of dropout from task performance. Judging from these verification results, when the suitability of the skill evaluator using (Equation 1) is reflected in the recommendation of the task evaluator, it affects the task evaluation and performance. It is possible to predict that it will bring positive results.

나. 제2 산정 모듈(314)me. Second calculation module 314

제2 산정 모듈(314)는, 평가위원 연구 데이터(특허, 논문, 수행과제 등)와 평가대상 과제의 사업계획서 간에 키워드가 일치하는 정도를 비교하여, 각 평가위원의 평가대상 과제 별 키워드 유사도(KWS: KeyWord Similarity, %)를 산출할 수 있다.The second calculation module 314 compares the degree of agreement of keywords between the evaluator's research data (patent, thesis, performance task, etc.) and the business plan of the evaluation target project, and compares the keyword similarity ( KWS: KeyWord Similarity, %) can be calculated.

보다 구체적으로는, 통상의 AI 기술을 이용하여 평가위원 연구 데이터로부터 핵심 키워드를 추출하고, 추출된 핵심 키워드와 사업 계획서 간에 매핑 정도를 비교하는 방식으로 키워드 유사도(%)를 산출할 수 있다. More specifically, keyword similarity (%) can be calculated by extracting core keywords from the evaluator's research data using conventional AI technology and comparing the degree of mapping between the extracted core keywords and the business plan.

2.3.2. 추출 모듈(320) 2.3.2. Extraction module (320)

추출 모듈은, 상기 산정 모듈(310)에 의해 산정된 서로 다른 둘 이상의 매칭 점수 산정 기준에 따른 매칭 점수의 합산 값이 높은 순을 우선순위로 하여, 평가대상 과제 별로 소정의 추출 비율에 대응하는 만큼의 평가위원을 추출하여 해당 평가대상 과제 평가에 최적합한 추천 평가위원으로서 선정/구성한다.The extraction module prioritizes the order in which the sum of matching scores according to two or more different matching score calculation criteria calculated by the calculation module 310 is high, and extracts as many as corresponding to a predetermined extraction ratio for each task to be evaluated. evaluators are extracted and selected/organized as recommended evaluators most suitable for the evaluation of the subject of evaluation.

가. 제1 추출 모듈(322)go. First extraction module 322

제1 추출 모듈(322)는, 상기 제1 산정 모듈(312)에 의해 산정된 평가대상 과제 별 기술 평가자 적합도에 기반하여, 기술 평가자 적합도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 기술 평가자 적합도 기반 후보군으로서 추출할 수 있다.The first extraction module 322 determines a predetermined extraction multiple corresponding to a predetermined extraction ratio in order of high technology evaluator fitness based on the technology evaluator fitness for each task to be evaluated calculated by the first calculation module 312. It is possible to extract as many evaluators as a candidate group based on the suitability of a technical evaluator.

설명의 이해를 위하여, 일 예시를 들어본다. 평가위원 리스트에 포함된 총 평가위원 수가 8만 명이고, 평가위원 추출 비율이 “기술 평가자 적합도: 키워드 유사도 = 50:50(%)” 인 경우에서, 평가위원 추출 배수가 12배수이면, 제1 추출 모듈(322)은 전체 8만 명의 12배수 중 50% 비율인 6배수에 해당하는 60명을 기술 평가자 적합도가 가장 높은 순부터 추출할 수 있다. 이 때 추출되는 60명이 기술 평가자 적합도 기반 후보군이 되는 것이다.For understanding of the description, take an example. In the case where the total number of evaluators included in the evaluator list is 80,000 and the evaluator extraction ratio is “Technical evaluator fit: keyword similarity = 50:50 (%)”, if the evaluator extraction multiple is 12, the first The extraction module 322 may extract 60 people corresponding to a multiple of 6, which is 50% of the total of 80,000 people in a multiple of 12, in order of the highest degree of skill evaluator suitability. At this time, 60 people extracted become the candidate group based on the suitability of the technology evaluator.

여기서, 만일 기술 평가자 적합도 점수가 동일하여 추출 건수를 초과할 경우, 쉽게 말해 동점자로 인해 기술 평가자 적합도 기반 후보군이 60명이 초과되는 경우이면, 동점자 간에 키워드 유사도가 더 높은 평가위원을 기술 평가자 적합도 기반 후보군으로 선정한다. Here, if the technical evaluator suitability score is the same and exceeds the number of extraction cases, in other words, if the number of candidates based on the suitability of the technology evaluator exceeds 60 due to the same scorer, the evaluator with the higher keyword similarity between the same scorers is selected as the candidate group based on the suitability of the technology evaluator. select as

나. 제2 추출 모듈(324)me. Second extraction module 324

제2 추출 모듈(324)은, 상기 제2 산정 모듈(314)에 의해 산정된 평가대상 과제 별 키워드 유사도에 기반하여, 키워드 유사도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 키워드 유사도 기반 후보군으로서 추출할 수 있다. The second extraction module 324 calculates, based on the similarity of keywords for each task to be evaluated calculated by the second calculation module 314, a predetermined extraction multiple corresponding to a predetermined extraction ratio in order of high keyword similarity. Evaluators can be extracted as a keyword similarity-based candidate group.

제1 추출 모듈(322)에서와 같은 예시를 들어 설명하면, 제2 추출 모듈(324)은 전체 8만 명의 12배수 중 50% 비율인 6배수에 해당하는 60명을 키워드 유사도가 가장 높은 순부터 추출할 수 있다. 이 때 추출되는 60명이 키워드 유사도 기반 후보군이 되는 것이다.Taking the same example as in the first extraction module 322, the second extraction module 324 selects 60 people corresponding to a multiple of 6, which is 50% of the total 80,000 people among 12 multiples, in order of highest keyword similarity. can be extracted. At this time, 60 people extracted become a keyword similarity-based candidate group.

여기서, 만일 키워드 유사도 점수가 동일하여 추출 건수를 초과할 경우, 쉽게 말해 동점자로 인해 키워드 유사도 후보군이 60명이 초과되는 경우이면, 동점자 간에 기술 평가자 적합도가 더 높은 평가위원을 키워드 유사도 기반 후보군으로 선정한다. Here, if the keyword similarity score is the same and exceeds the number of extractions, in other words, if the keyword similarity candidate group exceeds 60 people due to the same scorer, the evaluator with the higher technology evaluator suitability among the same scorers is selected as the keyword similarity-based candidate group. .

다. 최종 추출 모듈(326)all. final extraction module (326)

최종 추출 모듈(326)은, 상기 제1 추출 모듈(322) 및 제2 추출 모듈(324)에서 추출된 평가위원들 중 소정의 제척 조건에 해당하는 평가위원을 제척한 후, 기술 평가자 적합도 기반 후보군과 키워드 유사도 기반 후보군에 모두 속하는 평가위원들을 분류하고, 분류된 평가위원들의 각 평가위원 적합도 및 키워드 유사도를 합산한 값이 높은 순부터 우선순위로 하여 소정의 최종 추출 배수만큼의 평가위원을 해당 평가대상 과제 평가에 최적합한 추천 평가위원 후보군으로 최종 추출할 수 있다.The final extraction module 326 excludes evaluators who meet a predetermined exclusion condition from among the evaluators extracted in the first extraction module 322 and the second extraction module 324, and then selects candidates based on the suitability of the skill evaluator. Evaluators belonging to both the candidate group based on similarity and keyword are classified, and the value of the sum of the suitability and keyword similarity of each evaluator of the classified evaluators is prioritized in order of priority, and the evaluators as many as the predetermined final extraction multiple are evaluated It can be finally extracted as the recommended evaluator candidate group that is most suitable for the evaluation of the target task.

제1, 2 추출 모듈(322, 324)에서와 같은 예시를 들어 설명하면, 제1 추출 모듈(322)에서 추출된 기술 평가자 적합도 기반 후보군 60명과 제2 추출 모듈(324)에서 추출된 키워드 유사도 기반 후보군 60명에서 소정의 제척 조건에 부합하는 평가위원을 제척한 후, 기술 평가자 적합도 기반 후보군과 키워드 유사도 기반 후보군에 상호 중복되는 평가위원들을 분류한다. 그 다음, 분류된 평가위원들을 기술 평가자 적합도와 키워드 유사도의 합산 값이 높은 순부터 우선순위로 하여, 소정의 최종 추출 배수만큼의 평가위원을 최종 추출한다. 이 때 추출되는 최종 추출 배수만큼의 평가위원들이 최적합 추천 평가위원 후보군이 되는 것이다. Describing the same example as in the first and second extraction modules 322 and 324, the 60 candidates based on the suitability of the skill evaluator extracted in the first extraction module 322 and the similarity based on the keyword extracted in the second extraction module 324 After removing evaluators who meet the predetermined exclusion conditions from the 60 candidate groups, overlapping evaluators are classified into the candidate group based on the suitability of the technology evaluator and the candidate group based on the similarity of the keyword. Next, the classified evaluators are prioritized in order of the sum of the technical evaluator suitability and the keyword similarity, and as many evaluators as a predetermined final extraction multiple are finally extracted. At this time, as many evaluators as the final extraction multiple extracted at this time become the optimal recommendation evaluator candidate group.

여기서, 기술 평가자 적합도와 키워드 유사도 합산 점수가 동일하여 추출 건수를 초과할 경우, 쉽게 말해 동점자로 인해 최적합 추천 평가위원 후보군의 구성원 수가 최종 추출 배수에 해당하는 인원수를 초과하는 경우이면, 평가대상 과제의 성향 등의 상황을 고려하여 동점자 중 기술 평가자 적합도 또는 키워드 유사도가 더 높은 평가위원을 최적합 추천 평가위원으로 선정할 수 있다.Here, if the sum of the technical evaluator suitability and keyword similarity score is the same and exceeds the number of extraction cases, in other words, if the number of members of the best recommendation evaluator candidate group due to the same score exceeds the number of people corresponding to the final extraction multiple, the task to be evaluated An evaluator with a higher level of suitability for a technology evaluator or similarity with a keyword may be selected as the most suitable recommendation evaluator among the same scorers in consideration of circumstances such as the propensity of the evaluator.

한편, 상술한 소정의 추출 비율, 추출 배수, 제척 조건을 포함하는 추천 조건 사항은 경우에 따라 설정을 변경하는 것이 가능하다.On the other hand, it is possible to change the settings of the above-described recommended conditions including the predetermined extraction ratio, extraction multiple, and exclusion conditions according to circumstances.

2.3.3. 평가위원 추천 정보 제공 모듈(330)2.3.3. Evaluator recommendation information provision module (330)

평가위원 추천 정보 제공 모듈(330)은, 상기 제1 산정 모듈(312)에 의해 산출된 각 평가위원의 평가대상 과제별 기술 평가자 적합도(TEF)의 정도에 따라 색깔로 구분하여 표시하여, 평가위원 별로 어느 과제에 가장 매칭되는지를 시각적 정보로 제공할 수 있다.The evaluator recommendation information providing module 330 classifies and displays in color according to the degree of technical evaluator suitability (TEF) for each evaluation target task of each evaluator calculated by the first calculation module 312, and displays the evaluator. For each task, it is possible to provide visual information on which task is most matched.

예를 들어, 기술 평가자 적합도(TEF)를 일정 구간 별로 분류하여, 분류된 각 구간에 대응하는 구분 인자를 할당하고, 할당된 구분 인자마다 서로 다른 색깔을 설정할 수 있다. 그러면, 상기 제1 산정 모듈(312)에서 산출된 평가위원의 평가대상 과제별 기술 평가자 적합도(TEF)가 속하는 구간에 대응하는 구분 인자를 추출하고, 추출된 구분 인자에 대응하는 색깔로 표시하는 방식으로 평가위원의 과제별 기술 평가자 적합도(TEF)를 시각적으로 구분하여 제공할 수 있다.For example, the skill evaluator suitability (TEF) may be classified for each predetermined section, a classification factor corresponding to each classified section may be allocated, and different colors may be set for each assigned classification factor. Then, a division factor corresponding to the section to which the skill evaluator fit (TEF) for each task to be evaluated by the evaluator calculated in the first calculation module 312 is extracted and displayed in a color corresponding to the extracted division factor. As a result, the technical evaluator fit (TEF) for each task of the evaluator can be visually classified and provided.

도 7은 각 평가위원의 과제별 기술 평가자 적합도를 시각적 정보 형태로 제공하는 예시를 보여주는 도면이다. 예를 들어, 도 7에 굵은 실선으로 표시된 영역과 같이 기술 평가자 적합도(TEF)의 정도에 따라 보라색의 명암을 다르게 표시하도록 구현하여, 평가위원마다 과제 별로 어느 정도의 매칭율을 갖는지, 어떤 과제와의 매칭율이 높은지를 한눈에 파악하는 것이 가능하게 한다.7 is a diagram showing an example of providing the degree of fitness of a technical evaluator for each task of each evaluator in the form of visual information. For example, as shown in the area indicated by the thick solid line in FIG. It is possible to grasp at a glance whether the matching rate of is high.

2.4. 데이터베이스 모듈(400)2.4. Database module (400)

본 발명의 데이터베이스 모듈(400)은, 다양한 데이터의 보유 주체로부터 데이터 유형별로 통상의 API/DB 연계/수기연계 방식으로 데이터를 연계하고, 통상 데이터 전처리 과정(통합->정제->정리->변환)을 통해 데이터 집적지에 저장하여 데이터 활용을 위한 기반을 마련하도록 구성된다. The database module 400 of the present invention links data by data type from various data holders in a normal API/DB linkage/manual linkage method, and performs a normal data preprocessing process (integration -> refinement -> cleanup -> conversion). ), it is configured to prepare the basis for data utilization by storing it in the data aggregation area.

여기서, 데이터의 보유 주체라 함은, 앞서 설명한 내/외부 시스템을 말한다.Here, the subject holding the data refers to the internal/external system described above.

이러한 데이터베이스 모듈(400)은, 사업계획서, 보고서, 과제정보, 과제참여인력 등의 데이터를 수집하는 과제 DB(410), 평가위원 리스트 등의 평가위원 정보를 수집하는 평가위원 DB(420), 기업재무정보, 기업신용정보 등을 수집하는 기업정보 DB(430), 논문정보, 외부보고서 등의 데이터를 수집하는 연구물 DB(440) 등을 포함하여 구성될 수 있다.This database module 400 includes a task DB 410 that collects data such as business plans, reports, task information, and project participants, an evaluator DB 420 that collects evaluator information such as a list of evaluators, and companies It may include a corporate information DB 430 that collects financial information, corporate credit information, and the like, and a research product DB 440 that collects data such as thesis information and external reports.

이와 같은 데이터베이스 모듈(400)의 내/외부 데이터 연계를 통해 다양한 관련 데이터를 수집하고, 이들 데이터 간의 연결고리 분석 및 매핑하는 데이터 전처리 과정을 통해 R&D 과제 평가에 활용 가능한 기반을 마련/구축함으로써, 과제 평가의 정확성과 질적 향상 효과를 가져온다. By collecting various related data through the internal/external data linkage of the database module 400 and preparing/establishing a basis that can be used for R&D task evaluation through a data preprocessing process of analyzing and mapping the connection between these data, It brings the effect of improving the accuracy and quality of evaluation.

3. 본 발명에 따른 R&D 과제 평가 방법3. R&D project evaluation method according to the present invention

본 발명에 따른 R&D 과제 평가를 위한 평가 환경을 제공하는 방법은, 크게 평가지원 데이터 구축 단계, 사전 검토 단계, 평가위원 매칭 단계를 포함하여 구성될 수 있다.The method for providing an evaluation environment for evaluating R&D tasks according to the present invention may be largely composed of a step of constructing evaluation support data, a step of prior review, and a step of matching evaluators.

3.1. 평가지원 데이터 구축 단계3.1. Establishment of evaluation support data

평가지원 데이터 구축 단계는, 평가 지원 모듈(100)에서 평가대상 과제의 사업계획서를 기반으로 관련 내/외부 데이터를 입수하여, 이들의 분석을 통해 해당 평가대상 과제의 평가에 활용할 평가지원 데이터를 구축하는 단계이다. In the evaluation support data construction step, the evaluation support module 100 obtains related internal/external data based on the business plan of the evaluation target project, and constructs evaluation support data to be used in the evaluation of the evaluation target project through their analysis. It is a step to

이러한 평가지원 데이터 구축 단계는, 아래와 같은 세부 단계를 포함하여 구성될 수 있다.This evaluation support data construction step may include the following detailed steps.

3.1.1. 데이터 획득 단계3.1.1. Data Acquisition Steps

먼저, 평가 지원 모듈(100)의 데이터 분석 모듈(120)에서, 데이터베이스 모듈(400)로부터 평가대상 과제의 사업계획서와 해당 평가대상 과제 및 수행기관과 관련된 내/외부 데이터를 입수하는 데이터 획득 단계를 수행한다.First, in the data analysis module 120 of the evaluation support module 100, a data acquisition step of obtaining a business plan for the evaluation target project and internal/external data related to the evaluation target project and performing institution from the database module 400 carry out

3.1.2. 데이터 분석 단계3.1.2. data analysis steps

데이터 분석 단계는, 상기 데이터 획득 단계를 통해 평가대상 과제의 사업계획서와 해당 평가대상 과제 및 수행기관 관련 내/외부 데이터를 획득한 후, 이들을 소정의 분석 부문 별로 분석하는 단계이다. The data analysis step is a step of analyzing the business plan of the evaluation target project and internal/external data related to the evaluation target project and performing institution through the data acquisition step, and then analyzing them for each predetermined analysis section.

여기서, 소정의 분석 부문은, 종합정보, 기술동향정보, 사업계획서 요약, 수행기관 정보, 과제수행이력, 비교 항목 등을 포함할 수 있다.Here, the predetermined analysis section may include comprehensive information, technology trend information, business plan summary, performing institution information, task performance history, comparison items, and the like.

이와 같은 데이터 분석 단계는, 평가 지원 모듈(100)의 데이터 분석 모듈(120)에 의해 수행된다.This data analysis step is performed by the data analysis module 120 of the evaluation support module 100 .

3.1.3. 분석 보고서 생성 단계3.1.3. Steps to generate an analysis report

상기 데이터 분석 단계 동작 후, 평가 지원 모듈(100)의 평가지원 데이터 생성 모듈(130)에서, 상기 데이터 분석 단계에서 분석된 데이터를 가공하여 소정의 분석 부문 별로 평가대상 과제 평가에 활용 가능한 분석 보고서 형태로 생성하여 제공하는 분석 보고서 생성 단계를 수행할 수 있다. After the operation of the data analysis step, in the evaluation support data generation module 130 of the evaluation support module 100, the data analyzed in the data analysis step is processed to form an analysis report that can be used for evaluating the evaluation target task for each predetermined analysis section. You can perform the analysis report generation step that is generated and provided with .

예를 들어, 도 4a 내지 도 4j에 보이는 것과 같은 형태로 각 분석 부문 별 분석 보고서를 생성하여 제공할 수 있다. For example, an analysis report for each analysis section may be generated and provided in the form shown in FIGS. 4A to 4J .

3.2. 사전 검토 단계3.2. Pre-review phase

사전 검토 모듈(200)에서, 데이터베이스 모듈(400)로부터 평가대상 과제의 사업계획서와 그에 해당하는 수행기관과 관련된 내/외부 데이터를 입수하고, 이들을 소정의 검증 항목 별로 분석 및 검토하여, 평가대상 과제에 대한 수행기관의 사전지원 적합성 여부를 검증하는 사전 검토 단계를 수행한다. In the preliminary review module 200, the business plan of the evaluation target project and the internal/external data related to the corresponding performing agency are obtained from the database module 400, and they are analyzed and reviewed for each predetermined verification item to evaluate the evaluation target project. Conducts a preliminary review step to verify the adequacy of prior support from the implementing agency.

이러한 사전 검토 단계는, 아래와 같은 세부 단계를 포함하여 구성될 수 있다.This preliminary review step may include the following detailed steps.

3.2.1. 데이터 획득 단계3.2.1. Data Acquisition Steps

먼저, 사전 검토 모듈(200)은 데이터베이스 모듈(400)로부터 평가대상 과제의 사업계획서 및 이를 제출/접수한 수행기관과 관련된 내/외부 데이터를 획득하는 데이터 획득 단계를 수행한다.First, the preliminary review module 200 performs a data acquisition step of acquiring internal/external data related to the business plan of the evaluation target project and the performing agency that submitted/received it from the database module 400.

3.2.2. 데이터 검토 단계3.2.2. Data review phase

사전 검토 모듈(200)은, 상기 데이터 획득 단계를 통해 사업계획서와 수행기관 관련 내/외부 데이터를 획득한 후, 상기 획득한 데이터들을 소정의 검증 항목 별로 분석 및 검토하는 데이터 검토 단계를 수행한다.The preliminary review module 200 acquires the business plan and internal/external data related to the implementing agency through the data acquisition step, and then performs a data review step of analyzing and reviewing the acquired data for each predetermined verification item.

3.2.3. 검토 보고서 생성 단계3.2.3. Steps to create a review report

검토 보고서 생성 단계는, 사전 검토 모듈(200)에서 상기 데이터 검토 단계를 통해 소정의 검증 항목 별로 분석 및 검토된 데이터를 가공하여, 소정의 검증 항목 별로 검토 보고서의 형태로 생성하여 제공하는 단계이다. The review report generating step is a step of processing data analyzed and reviewed for each predetermined verification item through the data review step in the preliminary review module 200, and generating and providing a review report for each predetermined verification item.

3.2.4. 사전지원 제외 여부 1차 판단 단계3.2.4. 1st decision on whether to exclude prior support

사전지원 제외 여부 1차 판단 단계는, 상기 데이터 검토 단계에서 검토된 데이터가 소정의 검증 항목 별로 미리 설정된 사전 지원 제외 판단 기준에 부합하는지를 비교하여, 해당 수행기관에 대한 사전 지원 제외 여부를 1차적으로 판단하는 단계, 사전 검토 모듈(200)의 1차 판단 모듈(미도시)에 의해 수행된다. 이 단계에서 사전지원 제외 1차 판단되는 경우, 1차 판단 모듈(미도시)는 해당 수행기관으로 메일 발송과 같은 방식으로 사전지원 제외가 판단되었음을 알리는 알림 정보를 제공하도록 구성된다. In the first step of determining whether or not to exclude advance support, the data reviewed in the data review step compares whether or not the data reviewed in the data review step meets the criteria for excluding advance support set in advance for each predetermined verification item, and determines whether or not to exclude prior support for the relevant institution. The determining step is performed by a primary judgment module (not shown) of the preliminary review module 200 . In this step, when the preliminary support exclusion is first determined, the primary determination module (not shown) is configured to provide notification information indicating that the prior support exclusion has been determined in the same manner as sending an e-mail to the corresponding agency.

이와 같은 사전 검토 단계를 통해 평가대상 과제에 대한 수행기관의 사전지원 적합성 여부/신청자격 판단을 자동화함으로써, 과제 평가 중 신청자격을 검토하는 데에 소요되는 시간을 단축하여 업무 프로세스의 효율성을 높이는 효과가 있다. Through this preliminary review step, by automating the judgment of the prior support suitability/application qualification of the performing institution for the evaluation target task, the effect of increasing the efficiency of the work process by reducing the time required to review the application qualification during task evaluation there is

3.3. 평가위원 매칭 단계 3.3. Evaluator Matching Stage

한편, 본 발명의 평가위원 매칭 모듈(300)은, 평가대상 과제의 사업계획서 와 다수의 평가위원의 각각의 평가위원 연구 데이터에 기반하여, 서로 다른 둘 이상의 매칭 점수 기준에 따라 평가대상 과제에 대한 각 평가위원의 매칭 점수를 산정하고, 산정된 각각의 매칭 점수의 합산 값이 높은 순부터 우선순위로 하여 해당 평가대상 과제에 최적합한 추천 평가위원을 매칭시켜 주는 평가위원 매칭 단계를 수행할 수 있다.On the other hand, the evaluator matching module 300 of the present invention is based on the business plan of the evaluation target project and the research data of each evaluator of the plurality of evaluators, based on two or more different matching score criteria for the evaluation target task. The matching score of each evaluator is calculated, and the evaluator matching step of matching the recommended evaluators most suitable for the task to be evaluated can be performed in order of priority from the highest sum of the calculated matching scores. .

3.3.1. 평가위원 정보 획득 단계3.3.1. Acquisition of evaluator information

우선, 평가위원 매칭 모듈은, 데이터베이스 모듈(400)로부터 다수의 평가위원 리스트 및 각 평가위원의 연구 데이터를 획득하는 평가위원 정보 획득 단계를 수행한다.First, the evaluator matching module performs an evaluator information acquisition step of acquiring a list of evaluators and research data of each evaluator from the database module 400 .

3.3.2. 매칭 점수 산정 단계3.3.2. Matching score calculation step

평가위원 매칭 모듈(300)의 산정 모듈(310)에서, 상기 평가위원 정보 획득 단계에서 획득한 평가위원 리스트 및 평가위원 별 연구 데이터에 기반하여, 평가대상 과제에 대하여 평가위원 별로 서로 다른 둘 이상의 소정의 매칭 점수 산정 기준에 따른 매칭 점수를 각각 산정하는 매칭 점수 산정 단계를 수행한다. In the calculation module 310 of the evaluator matching module 300, based on the list of evaluators and the research data for each evaluator obtained in the step of obtaining the evaluator information, two or more predetermined items that are different for each evaluator for the subject to be evaluated. A matching score calculation step of calculating matching scores according to the matching score calculation criteria of is performed.

이러한 매칭 점수 산정 단계는, 아래의 세부 절차로 구성될 수 있다.This matching score calculation step may consist of the following detailed procedures.

가. 제1 매칭 점수 산정 단계go. First Matching Score Calculation Step

제1 매칭 점수 산정 단계는, 산정 모듈(310)의 제1 산정 모듈(312)에서 하기의 (수식 1)을 이용하여 평가대상 과제에 대한 각 평가위원의 평가대상 과제의 기술분야와 평가위원들의 전문기술분야가 일치하는 정도를 나타내는 기술 평가자 적합도(TEF: Technology Evaluator Fit)를 산출하는 단계이다. In the first matching score calculation step, in the first calculation module 312 of the calculation module 310, using (Equation 1) below, each evaluator's technical field of the evaluation target task and the evaluator's This is the step of calculating the Technology Evaluator Fit (TEF), which indicates the degree of agreement between the fields of expertise.

(수식 1)(Equation 1)

① ①

② ②

③ ③

위와 같은 (수식 1)에 의한 기술 평가자 적합도(TEF)를 산출하는 예시는 앞서 시스템 구성에서 설명하였으므로, 구체적인 설명은 생략한다.Since the above example of calculating the technology evaluator suitability (TEF) by (Equation 1) has been described in the system configuration above, a detailed description thereof will be omitted.

나. 제2 매칭 점수 산정 단계me. Second Matching Score Calculation Step

산정 모듈(310)의 제2 산정 모듈(314)에서, 상기 평가위원 정보 획득 단계에서 획득한 각 평가위원 연구 데이터와 평가대상 과제의 사업계획서 간에 키워드가 일치하는 정도를 비교하여, 평가대상 과제에 대한 각 평가위원의 키워드 유사도(KWS: KeyWord Similarity, %)를 산출하는 제2 매칭 점수 산정 단계를 수행한다. In the second calculation module 314 of the calculation module 310, the degree of matching of keywords between each evaluator's research data acquired in the step of obtaining evaluator information and the business plan of the evaluation target project is compared to determine the evaluation target project. A second matching score calculation step is performed to calculate the KeyWord Similarity (KWS) of each evaluator for the evaluator.

이는 통상의 AI 기술을 이용하여 평가위원 연구 데이터로부터 핵심 키워드를 추출하고, 추출된 핵심 키워드와 사업계획서 간에 매핑 정도를 비교하는 방식으로 키워드 유사도(%)를 산출할 수 있다. It is possible to calculate the keyword similarity (%) by extracting key keywords from the evaluator's research data using conventional AI technology and comparing the degree of mapping between the extracted key keywords and the business plan.

3.3.3. 추천 평가위원 추출 단계3.3.3. Selection of recommended evaluators

상기 매칭 점수 산정 단계를 통해 평가대상 과제에 대한 각 평가위원별 기술 평가자 적합도와 키워드 유사도가 산정되면, 평가위원 매칭 모듈(300)의 추출 모듈(320)에서 상기 산정된 기술 평가자 적합도 및 키워드 유사도의 합산 값이 높은 순을 우선순위로 하여, 소정의 추출 비율에 대응하는 만큼의 평가위원을 평가대상 과제에 최적합한 추천 평가위원으로 추출하는 추천 평가위원 추출 단계를 수행한다.When the technical evaluator suitability and keyword similarity for each evaluator for the evaluation target task are calculated through the matching score calculation step, the technical evaluator suitability and keyword similarity calculated in the extraction module 320 of the evaluator matching module 300 A recommended evaluator extraction step of extracting as many evaluators corresponding to a predetermined extraction ratio as recommended evaluators most suitable for the task to be evaluated is performed in order of priority in order of high sum values.

이러한 추천 평가위원 추출 단계는, 아래의 세부 절차를 포함하여 구성될 수 있다.This recommendation evaluator extraction step may include the following detailed procedures.

가. 제1 추출 단계go. First extraction step

추출 모듈(320)의 제1 추출 모듈(322)에서, 상기 제1 매칭 점수 산정 단계에서 산출된 평가대상 과제에 대한 각 평가위원의 기술 평가자 적합도에 기반하여 기술 평가자 적합도 기반 후보군을 구성하는 평가위원들을 추출할 수 있다.In the first extraction module 322 of the extraction module 320, an evaluator constituting a skill evaluator suitability-based candidate group based on the skill evaluator suitability of each evaluator for the evaluation target task calculated in the first matching score calculation step can be extracted.

보다 구체적으로, 평가위원들의 기술 평가자 적합도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 기술 평가자 적합도 기반 후보군으로 추출할 수 있다.More specifically, evaluators of a predetermined extraction multiple corresponding to a predetermined extraction ratio may be extracted as the technology evaluator fitness-based candidate group from the order of the technology evaluator fitness of the evaluators high.

나. 제 2 추출 단계me. Second extraction step

한편, 추출 모듈(320)의 제2 추출 모듈(324)에서, 상기 제2 매칭 점수 산정 단계에서 산출된 평가대상 과제에 대한 각 평가위원의 키워드 유사도에 기반하여 키워드 유사도 기반 후보군을 구성하는 평가위원들을 추출할 수 있다.Meanwhile, in the second extraction module 324 of the extraction module 320, an evaluator constituting a keyword similarity-based candidate group based on the keyword similarity of each evaluator for the evaluation target task calculated in the second matching score calculation step. can be extracted.

보다 구체적으로, 평가위원들의 키워드 유사도가 높은 순부터 소정의 추출 비율에 대응하는 소정의 추출 배수만큼의 평가위원을 키워드 유사도 기반 후보군으로 추출할 수 있다.More specifically, evaluators as many as a predetermined extraction multiple corresponding to a predetermined extraction ratio may be extracted as a keyword similarity-based candidate group from the order of keyword similarity among evaluators.

다. 최종 추출 단계all. final extraction step

추출 모듈(320)의 최종 추출 모듈(326)은, 상기 제1 및 2 추출 단계를 통해 기술 평가자 적합도 기반 후보군과 키워드 유사도 기반 후보군이 모두 추출되면, 이들 후보군을 구성하는 평가위원들로부터 평가대상 과제에 가장 적합한 추천 평가위원 후보군을 추출/구성할 수 있다.The final extraction module 326 of the extraction module 320, when both the technology evaluator suitability-based candidate group and the keyword similarity-based candidate group are extracted through the first and second extraction steps, the task to be evaluated from the evaluators constituting these candidate groups. It is possible to extract/construct a group of recommended evaluator candidates most suitable for the

구체적으로, 상기 추출된 평가위원들 중 소정의 제척 조건에 부합하는 평가위원들을 제적한 후, 나머지 평가위원들에서 기술 평가자 적합도 기반 후보군과 키워드 유사도 기반 후보군에 모두 속하는 평가위원들을 분류하고, 분류한 평가위원들의 기술 평가자 적합도 및 키워드 유사도를 합한 값이 높은 순부터 우선순위로 하여, 소정의 최종 추출 배수만큼의 평가위원을 해당 평가대상 과제의 최적합 추천 평가위원 후보군으로 추출할 수 있다. Specifically, after weeding out evaluators who meet the predetermined exclusion conditions among the extracted evaluators, evaluators belonging to both the technology evaluator suitability-based candidate group and the keyword similarity-based candidate group are classified and classified from the remaining evaluators. Evaluators as many as a predetermined final extraction multiple may be extracted as the most suitable recommended evaluator candidate group for the evaluation target task in order of priority in order of the sum of the technical evaluator suitability and keyword similarity of the evaluators.

라. 평가위원 추천 정보 표시 단계la. Evaluator Recommendation Information Display Stage

평가위원 매칭 단계는, 상기 제1 매칭 점수 산정 단계에서 산출된 평가대상 과제에 대한 각 평가위원의 기술 평가자 적합도(TEF)를 색깔로 구분하여 표시하는 평가위원 추천 정보 표시 단계를 추가로 수행할 수 있다.In the evaluator matching step, an evaluator recommendation information display step of displaying the technical evaluator suitability (TEF) of each evaluator for the evaluation target task calculated in the first matching score calculation step by color may be additionally performed. there is.

이는 평가위원 추천 정보 제공 모듈(330)에 의해 도 7에 굵은 실선으로 표시된 영역과 같은 형태로 상기 산출된 각 평가위원의 평가대상 과제별 기술 평가자 적합도(TEF)의 정도에 따라 색깔로 구분하여 표시하여 평가위원 별로 어느 과제에 가장 매칭되는지를 시각적 정보로 제공함으로써 가독성을 높인다.This is displayed in the same form as the area indicated by the thick solid line in FIG. 7 by the evaluator recommendation information providing module 330, and is classified and displayed in colors according to the degree of technical evaluator fit (TEF) for each evaluation target task of each evaluator calculated above. Therefore, it enhances readability by providing visual information on which task each evaluator is most matched with.

한편, 본 발명의 기술적 사상은 상기 실시 예에 따라 구체적으로 기술되었으나, 상기 실시 예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주지해야 한다. 또한, 본 발명의 기술분야에서 당업자는 본 발명의 기술 사상의 범위 내에서 다양한 실시 예가 가능함을 이해할 수 있을 것이다.Meanwhile, although the technical spirit of the present invention has been specifically described according to the above embodiments, it should be noted that the above embodiments are for explanation and not for limitation. In addition, those skilled in the art will understand that various embodiments are possible within the scope of the technical spirit of the present invention.

100: 평가 지원 모듈
110: 평가 서비스 모듈
120: 데이터 분석 모듈
130: 평가지원 데이터 생성 모듈
200: 사전 검토 모듈
300: 평가위원 매칭 모듈
310: 산정 모듈
312: 제1 산정 모듈
314: 제2 산정 모듈
320: 추출 모듈
322: 제1 추출 모듈
324: 제2 추출 모듈
326: 최종 추출 모듈
330: 평가위원 추천 정보 제공 모듈
400: 데이터베이스 모듈
410: 과제 DB
420: 평가위원 DB
430: 기업정보 DB
440: 연구물 DB100: evaluation support module
110: evaluation service module
120: data analysis module
130: evaluation support data generation module
200: pre-review module
300: Evaluator Matching Module
310: calculation module
312: first calculation module
314: second calculation module
320: extraction module
322: first extraction module
324: second extraction module
326 final extraction module
330: Evaluation committee recommendation information providing module
400: database module
410: assignment DB
420: Evaluator DB
430: company information DB
440: Research DB

Claims

In the evaluation environment providing system for R & D task evaluation,
Evaluation that provides opinions sharing service among task evaluation participants, analyzes the business plan of the task to be evaluated and internal/external data related to the project plan base, and builds and provides evaluation support data for the evaluation of the task to be evaluated and the performing institution support module;
A preliminary review module that analyzes and reviews the business plan of the evaluation target project and internal/external data related to the relevant performing agency for each predetermined verification item to verify the suitability of the prior support of the performing agency;
Based on the project plan of the evaluation target project and the research data on each of the multiple evaluators, the matching score of each evaluator is calculated according to two or more different matching score calculation criteria for each evaluation target project, and each calculated matching score is calculated. an evaluator matching module that matches recommended evaluators for each task to be evaluated by using;
It is configured to include; a database module that collects and stores internal/external data related to the business plan of the evaluation target project in connection with a predetermined internal/external system,
The evaluation support module,
An evaluation service module providing an opinion sharing service enabling sharing of opinions among evaluation participants participating in the evaluation of evaluation target tasks;
A data analysis module that obtains related internal/external data from the database module based on the business plan of the evaluation target project and analyzes them by predetermined analysis sector;
an evaluation support data generation module that generates evaluation support data to be used in the evaluation of the subject to be evaluated and the evaluation of the performing institution by using the data analyzed by the data analysis module and provides them in the form of a predetermined analysis report; including,
The evaluator matching module,
From the database module, a business plan for each task to be evaluated, a list of evaluators, and research data of each evaluator are obtained, and based on these, matching scores according to two or more different matching score calculation criteria for each evaluator are calculated for each task to be evaluated. Calculation module to calculate;
Priority is given to the order in which the sum of the matching scores calculated by the calculation module is high, and as many evaluators corresponding to a predetermined extraction ratio are extracted for each task to be evaluated as recommended evaluators most suitable for each task to be evaluated Including; an extraction module constituting;
The calculation module,
According to (Equation 1) below, for each task to be evaluated, the technology evaluator fit (TEF: Technology Evaluator Fit), which indicates the degree to which the technical field of the task to be evaluated and the specialized technical field of each evaluator included in the list of evaluators matches, is calculated. a first calculation module that calculates;
A second calculation module that compares the degree of keyword similarity between the research data of each evaluator and the business plan of the evaluation target project, and calculates a keyword similarity (KWS: KeyWord Similarity) for each evaluation target project of each evaluator;
R & D task evaluation environment providing system, characterized in that configured to include.
(Equation 1)

①
(p: Tasks to be evaluated, i: Evaluators, N: Number of evaluators)
②
(j: classification step, n: maximum fit step)
(The classification stage is the large/medium/small classification stage of the industrial technology classification system, which is 'large classification = 1, middle classification = 2, small classification = 3', and in the maximum fit level, the technical field of the evaluation target task and the technical field of the evaluation committee match each other. maximum subdivision step)
③
(The total number of classifications is usually applied as 654 based on the subclassification standard of the industrial technology classification table. However, it can be changed depending on the subject of application)

delete

According to claim 1,
The preliminary review module,
Obtaining internal/external data related to the performing agency from the database module based on the business plan of the evaluation target project, generating and providing verification data for each predetermined verification item; A system for providing an R&D project evaluation environment.

delete

According to claim 1,
The extraction module,
Based on the technology evaluator suitability (TEF) for each task to be evaluated calculated in the first calculation module, a predetermined extraction multiple corresponding to a predetermined extraction ratio is selected from the order of the technology evaluator suitability to a candidate group based on the technology evaluator suitability. A first extraction module for extracting with;
Based on the keyword similarity (KWS) for each task to be evaluated calculated in the second calculation module, a predetermined extraction multiple corresponding to a predetermined extraction ratio from the order of high keyword similarity is extracted as a keyword similarity-based candidate group. a second extraction module;
Among the evaluators extracted from the first extraction module and the second extraction module, after excluding evaluators corresponding to a predetermined exclusion condition, evaluators belonging to both the technology evaluator suitability-based candidate group and the keyword similarity-based candidate group are classified. and finally extract as many evaluators as a predetermined final extraction multiple as the recommended evaluator candidate group optimally suited to the evaluation target task in order of priority from the sum of the sum of the suitability of each technical evaluator and the similarity of keywords of the classified evaluators. The final extraction module to;
R & D task evaluation environment providing system, characterized in that configured to include.

According to claim 1,
The opinion sharing service provided by the evaluation service providing module,
A system for providing an R&D task evaluation environment, characterized in that it is configured to include a first method in a non-face-to-face form through a chat window / bulletin board and a second method in a face-to-face form through an image system.

According to any one of claims 1 or 4,
The internal/external data,
A system for providing an R&D task evaluation environment that includes patents, task information, papers, external reports, corporate information, NTIS sanctions information, credit and financial information, and task performance information.

According to claim 1,
The research data of each evaluator above,
A system for providing an R&D task evaluation environment that includes patents, papers, and performance tasks.

According to claim 1,
The preliminary review module,
A primary judgment module that first determines whether or not to exclude prior support for the relevant evaluation target project by comparing whether the data analyzed and reviewed for each of the predetermined verification items meets the criteria for excluding prior support set in advance for each of the verification items. ; It consists of,
When the first judgment module makes a first decision to exclude prior support, providing notification information to the relevant performing institution; A system for providing an R&D project evaluation environment.

According to claim 1,
The evaluator matching module,
an evaluator recommendation information providing module for displaying the technical evaluator suitability (TEF) for each evaluation target task of each evaluator, calculated in the first calculation module, by color;
R & D task evaluation environment providing system, characterized in that configured to further include.

In the method of providing an evaluation environment for evaluating R & D tasks,
In the evaluation support module, an evaluation support data construction step of obtaining internal/external data related to the business plan of the evaluation target project from the database module and constructing evaluation support data to be used for the evaluation target project through analysis of these data;
In the preliminary review module, internal/external data related to the executing agency corresponding to the business plan of the evaluation target project are obtained from the database module, and these are analyzed and reviewed for each predetermined verification item to verify the suitability of the prior support of the performing agency. a preliminary review step;
In the evaluator matching module, each evaluator's matching score is calculated and calculated according to two or more different matching score calculation criteria based on the business plan of the evaluation target project and research data on each of the multiple evaluators. It is configured to include; an evaluator matching step of matching recommended evaluators for each task to be evaluated using each matching score obtained,
The evaluation support data construction step,
In the data analysis module of the evaluation support module, a data acquisition step of acquiring the business plan of the evaluation target project and internal/external data related thereto from the database module;
In the data analysis module of the evaluation support module, a data analysis step of analyzing the business plan of the evaluation target task and related internal/external data acquired in the data acquisition step for each predetermined analysis section;
In the evaluation support data generation module of the evaluation support module, an analysis report generation step of generating and providing an analysis report for each predetermined analysis section using the data analyzed in the data analysis step;
The evaluator matching step,
In the evaluator matching module, an evaluator information acquisition step of acquiring a business plan of the evaluation target project, a list of evaluators, and research data for each evaluator from the database module;
In the calculation module of the evaluator matching module, based on the business plan of the evaluation target task obtained in the evaluation member information acquisition step, the list of evaluators, and the research data for each evaluator, each evaluator's two different evaluators for the evaluation target task a matching score calculating step of calculating matching scores according to the above matching score calculation criteria;
In the extraction module of the evaluator matching module, priority is given to the order in which the sum of the matching scores calculated in the matching score calculation step is high, and as many evaluators corresponding to a predetermined extraction ratio are extracted and the evaluation target task is evaluated Including; a recommendation evaluator extraction step composed of recommended evaluators suitable for
The matching score calculation step,
In the first calculation module of the evaluator matching module, using the following (Formula 1), each evaluator indicates the degree to which the technical field of the subject to be evaluated matches the technical field of each evaluator included in the evaluator list. a first matching score calculation step of calculating a technology evaluator fit (TEF);
In the second calculation module of the evaluator matching module, the keyword similarity between each evaluator's research data and the project plan of the evaluation target is compared to calculate the keyword similarity (KWS: KeyWord Similarity) for the evaluation target project for each evaluator. a second matching score calculation step;
Method for providing an R & D task evaluation environment, characterized in that configured to include.
(Equation 1)

①
(p: Tasks to be evaluated, i: Evaluators, N: Number of evaluators)
②
(j: classification step, n: maximum fit step)
(The classification stage is the large/medium/small classification stage of the industrial technology classification system, which is 'large classification = 1, middle classification = 2, small classification = 3', and in the maximum fit level, the technical field of the evaluation target task and the technical field of the evaluation committee match each other. maximum subdivision step)
③
(The total number of classifications is usually applied as 654 according to the small classification standard of the industrial technology classification table. However, it can be changed depending on the subject of application)

delete

According to claim 13,
In the preliminary review step,
In the preliminary review module, a data acquisition step of acquiring internal/external data related to the business plan of the project to be evaluated and the corresponding performing institution from the database module;
In the preliminary review module, a data review step of analyzing and reviewing the business plan of the evaluation target task acquired in the data acquisition step and internal/external data related to the relevant performing institution for each predetermined verification item;
A review report generation step of generating and providing a review report for each predetermined verification item using the data reviewed in the data review step in the preliminary review module;
Method for providing an R & D task evaluation environment, characterized in that configured to include.

According to claim 15,
In the preliminary review step,
In the preliminary review module, a preliminary determination step of first determining whether to exclude advance support by comparing whether the data reviewed in the data review step satisfies preset criteria for excluding advance support for each predetermined verification item;
Method for providing an R & D task evaluation environment, characterized in that for further performing.

delete

According to claim 13,
In the step of extracting the recommended evaluators,
In the first extraction module of the evaluator matching module, based on the technical evaluator suitability (TEF) of each evaluator for the evaluation target task calculated in the first matching score calculation step, a predetermined extraction is performed in order of high technical evaluator suitability. A first extraction step of extracting as many evaluators as a predetermined extraction multiple corresponding to the ratio as a candidate group based on the degree of fitness for skill evaluation;
In the second extraction module of the evaluator matching module, based on the keyword similarity (KWS) of each evaluator for the evaluation target task calculated in the second matching score calculation step, a predetermined extraction rate is calculated from the order of keyword similarity. A second extraction step of extracting as many evaluators as a corresponding predetermined extraction multiple as a keyword similarity-based candidate group;
In the final extraction module of the evaluator matching module, after excluding evaluators who meet the predetermined exclusion conditions among the evaluators extracted in the first extraction step and the second extraction step, the technology evaluator suitability-based Evaluators belonging to both the candidate group and the keyword similarity-based candidate group are classified, and the value of the sum of each technology evaluator suitability and keyword similarity of the classified evaluators is prioritized in order of priority, and evaluators by a predetermined final extraction multiple are selected. A final extraction step of finally extracting a group of recommended evaluators candidates most suitable for the evaluation target task;
Method for providing an R & D task evaluation environment, characterized in that configured to include.

According to claim 13,
The evaluator matching step,
In the evaluator recommendation information providing module of the evaluator matching module, display evaluator recommendation information displaying the technical evaluator fit (TEF) of each evaluator for the evaluation target task calculated in the first matching score calculation step by color-coding step; Method for providing an R & D task evaluation environment, characterized in that it further comprises.

According to claim 13,
The internal/external data,
A method for providing an R&D project evaluation environment, characterized by including patents, project information, papers, external reports, corporate information, NTIS sanctions information, credit and financial information, and project performance information.

According to claim 13,
The research data of the evaluators,
A method for providing an R&D task evaluation environment comprising patents, papers, and performance tasks.