KR20180128694A - 연구개발 문서의 품질 평가 시스템 및 그 방법 - Google Patents

Abstract

연구개발 문서의 품질 평가 시스템은, 평가 모델을 저장하는 평가 모델 데이터베이스, 평가가 완료된 복수의 연구개발 문서들을 이용한 학습을 통해 상기 평가 모델을 생성하는 평가 모델 관리부, 및 평가 대상이 되는 타겟 연구개발 문서가 입력됨에 따라, 상기 평가 모델을 이용하여 상기 타겟 연구개발 문서에 대한 품질 평가를 수행하는 평가부를 포함할 수 있다.

Description

연구개발 문서의 품질 평가 시스템 및 그 방법{SYSTEM AND METHOD FOR QUALITY EVALUATION OF RESEARCH DOCUMENT}

본 발명의 실시 예는 연구개발 문서의 품질 평가 시스템 및 그 방법에 관한 것이다.

국가 연구개발 사업으로 진행되는 연구개발과제는 중앙행정기관에서 발주, 선정 및 관리를 수행하고, 주관기관은 연구개발과제를 수주받아 연구개발을 수행한다. 주관기관은 연구개발을 수행하면서 연차실적 계획서 등의 연구개발 보고서를 주기적으로 작성하여 중앙행정기관에 제출하며, 중앙행정기관은 주관기관이 주기적으로 작성한 연구개발 보고서에 근거하여 해당 연구개발과제에 대한 연구개발 충실성 등의 평가를 진행한다.

국가 연구개발 사업이 아닌 연구개발과제라 하더라도, 연구개발과제를 관리하는 기관(이하, '과제관리기관'이라 명명하여 사용함)은 해당 연구개발과제의 결과를 평가하기 위해, 과제를 수행하는 과제 수행자로부터 연구개발 보고서를 제출 받을 필요가 있다.

통상적으로, 연구개발 보고서는 과제관리기관에서 배포된 연구개발 보고서의 문서 템플릿을 바탕으로 작성된다. 즉, 과제 수행자는 과제관리기관에서 배포된 연구개발 보고서의 문서 템플릿을 기반으로 자신이 수행하는 연구개발과제의 연구개발 보고서를 작성한다. 과제수행자는 연구개발 보고서가 작성되면, 이를 과제관리기관의 과제관리시스템으로 제출한다.

한편, 종래에는 연구개발 보고서가 제출되면, 미기재되거나 잘못 기재된 항목이 있는지, 기재 형식이 올바른지 등 형식적인 오류만 체크된 후 과제 평가자에게 전달되었다. 따라서, 과제 평가가 과제 평가자의 주관적인 견해에 의존적일 수밖에 없어 평가의 객관성을 담보하기 어려운 문제가 있었다. 또한, 과제 수행자 입장에서는 과제 평가자에 의해 연구개발 보고서에 대한 평가가 완료되기 전까지는 자신의 결과물에 대한 피드백을 받을 수 없어, 연구개발을 진행하는 과정에서 과제 수행의 문제점을 미리 파악하고 개선할 수 있는 방법이 없었다.

본 발명의 실시 예를 통해 해결하려는 과제는 연구개발 문서의 품질 평가에 대한 객관성, 일관성 및 공정성을 향상시키고, 과제 수행자가 연구개발 문서의 품질개선을 시도할 수 있도록 지원하는 연구개발 문서의 품질 평가 시스템 및 그 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 연구개발 문서의 품질 평가 시스템은, 평가 모델을 저장하는 평가 모델 데이터베이스, 평가가 완료된 복수의 연구개발 문서들을 이용한 학습을 통해 상기 평가 모델을 생성하는 평가 모델 관리부, 및 평가 대상이 되는 타겟 연구개발 문서가 입력됨에 따라, 상기 평가 모델을 이용하여 상기 타겟 연구개발 문서에 대한 품질 평가를 수행하는 평가부를 포함할 수 있다.

또한, 상기 평가 모델 관리부는, 학습을 통해 상기 복수의 연구개발 문서로부터 추출된 항목들 간의 연관성 링크 및 상기 연관성 링크로 연결되는 항목들 사이에 준수되어야 하는 연관성 규칙을 평가 기준 후보로 획득하고, 상기 평가 기준 후보를 이용하여 상기 평가 모델을 생성할 수 있다.

상기 평가 모델 관리부는, 복수의 연관성 규칙을 포함하는 규칙 데이터베이스, 파싱을 통해 상기 복수의 연구개발 문서에 포함된 복수의 항목을 추출하는 문서 파싱부, 상기 복수의 연구개발 문서로부터 추출된 각 항목에 대해 비교 대상으로 선택 가능한 모든 항목에 대한 연결성 링크를 설정하고, 상기 복수의 연구개발 문서로부터 추출된 각 항목에 대해 설정된 연결성 링크에 상기 복수의 연관성 규칙을 적용하여 평가 결과들을 획득하며, 상기 평가 결과들을 분석하여 상기 평가 기준 후보를 획득하는 학습부, 및 상기 평가 기준 후보를 이용하여 상기 평가 모델에 포함되는 평가 기준을 생성하는 평가 모델 생성부를 포함할 수 있다.

상기 학습부는, 상기 평가 결과들 중 소정 수준 이상의 평가 결과를 이용하여 상기 평가 기준 후보를 획득할 수 있다.

상기 평가 모델 생성부는, 과제 관리 시스템으로 상기 평가 기준 후보에 대한 정보를 전달하고, 상기 과제 관리 시스템으로부터 입력되는 제어 입력에 기반하여 상기 평가 기준 후보를 상기 평가 기준으로 설정하거나, 상기 평가 기준 후보를 수정하여 상기 평가 기준을 획득할 수 있다.

상기 평가 모델은, 상기 평가 모델을 구성하는 복수의 평가 기준 각각에 대한 가중치, 상기 복수의 평가 기준 각각에 대한 수정 가이드 정보 및 상기 복수의 평가 기준 각각에 대한 설명 정보 중 적어도 하나를 포함할 수 있다.

상기 평가부는, 파싱을 통해 상기 타겟 연구개발 문서로부터 평가 대상이 되는 복수의 타겟 항목을 추출하는 문서 파싱부, 상기 복수의 타겟 항목에 대해 형식 기준에 기반한 형식 기준 평가를 수행하는 형식 기준 평가부, 상기 복수의 타겟 항목에 대해 텍스트 추론에 기반한 내용 기준 평가를 수행하는 내용 기준 평가부, 및 상기 가중치를 토대로, 상기 형식 기준 평가부 및 상기 내용 기준 평가부의 평가 결과를 결합하여 상기 복수의 타겟 항목 각각에 대한 평가 결과를 생성하는 평가 결과 생성부를 포함할 수 있다.

상기 평가 결과 생성부는, 과제 관리 시스템으로부터 상기 타겟 연구개발 문서에 대한 평가 결과를 수신하고, 상기 평가 결과 생성부를 통해 상기 복수의 타겟 항목 각각에 대해 생성된 평가 결과와 상기 과제 관리 시스템으로부터 수신된 평과 결과를 결합하여, 상기 타겟 연구개발 문서에 대한 최종 품질 평가 결과를 생성할 수 있다.

또한, 본 발명의 일 실시 예에 따른 평가 시스템의 연구개발 문서의 품질 평가 방법은, 평가가 완료된 복수의 연구개발 문서들을 평가 모델 생성을 위한 후보 연구개발 문서들로 선택하는 단계, 후보 연구개발 문서들을 이용한 학습을 통해 평가 모델을 생성하는 단계, 및 평가 대상이 되는 타겟 연구개발 문서가 입력됨에 따라, 상기 평가 모델을 이용하여 상기 타겟 연구개발 문서에 대한 품질 평가를 수행하는 단계를 포함할 수 있다.

또한, 상기 후보 연구개발 문서들을 선택하는 단계는, 상기 평가가 완료된 복수의 연구개발 문서들 중 평가 결과가 소정 수준 이상인 연구개발 문서를 상기 후보 연구개발 문서로 선택하는 단계를 포함할 수 있다.

상기 평가 모델을 생성하는 단계는, 상기 후보 연구개발 문서로부터 추출된 항목들 간의 연관성 링크 및 상기 연관성 링크로 연결되는 항목들 사이에 준수되어야 하는 연관성 규칙을 평가 기준 후보로 획득하는 단계, 및 상기 평가 기준 후보들을 이용하여 상기 평가 모델에 포함되는 평가 기준을 생성하는 단계를 포함할 수 있다.

상기 평가 기준 후보로 획득하는 단계는, 파싱을 통해, 상기 후보 연구개발 문서들로부터 복수의 후보 항목을 추출하는 단계, 상기 복수의 후보 항목 각각에 대해 비교 대상으로 선택 가능한 모든 항목에 대한 연결성 링크를 설정하는 단계, 상기 복수의 후보 항목 각각에 대해 설정된 연결성 링크에 복수의 연관성 규칙을 적용하여 평가 결과를 획득하는 단계, 및 상기 복수의 연관성 규칙을 적용하여 획득한 평가 결과들을 분석하여 상기 평가 기준 후보를 선택하는 단계를 포함할 수 있다.

상기 평가 기준을 생성하는 단계는, 과제 관리 시스템으로 상기 평가 기준 후보에 대한 정보를 전달하는 단계, 및 상기 과제 관리 시스템으로부터 입력되는 제어 입력에 기반하여, 상기 평가 기준 후보를 상기 평가 기준으로 선택하거나, 상기 평가 기준 후보를 수정하여 상기 평가 기준을 생성하는 단계를 포함할 수 있다.

상기 품질 평가를 수행하는 단계는, 파싱을 통해, 상기 타겟 연구개발 문서에 포함된 복수의 타겟 항목을 추출하는 단계, 상기 복수의 타겟 항목 각각에 대해, 대응하는 형식 기준에 기반한 형식 기준 평가를 수행하는 단계, 상기 복수의 타겟 항목 각각에 대해, 상기 평가 모델 및 텍스트 추론에 기반한 내용 기준 평가를 수행하는 단계, 및 상기 형식 기준 평가의 평가 결과 및 상기 내용 기준 평가의 평가 결과를 이용하여, 상기 타겟 연구개발 문서에 대한 품질 평가 결과를 생성하는 단계를 포함할 수 있다.

본 발명의 실시 예에 의하면, 연구개발 문서의 품질 평가에 대한 객관성, 일관성 및 공정성을 향상시키고, 과제 수행자가 연구개발 문서의 품질개선을 시도할 수 있도록 지원한다.

도 1은 본 발명의 일 실시 예에 따른 연구개발 문서의 품질 평가 시스템을 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 품질 평가 시스템의 평가 모델 관리부를 개략적으로 도시한 구조도이다.
도 3은 본 발명의 일 실시 예에 따른 품질 평가 시스템이 연구개발 문서로부터 항목들을 추출하는 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 품질 평가 시스템의 연구개발 문서 관리부를 개략적으로 도시한 구조도이다.
도 5는 본 발명의 일 실시 예에 따른 품질 평가 시스템에서 출력되는 평가 결과의 일 예를 도시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 품질 평가 시스템의 평가부를 개략적으로 도시한 구조도이다.
도 7 및 도 8은 도 6의 평가부에 의한 평가 결과 도출 방법을 설명하기 위한 도면들이다.
도 9는 본 발명의 일 실시 예에 따른 품질 평가 시스템의 평가 모델 생성 방법을 개략적으로 도시한 것이다.
도 10은 본 발명의 일 실시 예에 따른 품질 평가 시스템의 연구개발 문서에 대한 품질 평가 방법을 개략적으로 도시한 것이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하, 필요한 도면들을 참조하여 실시 예에 따른 연구개발 문서의 품질 평가 시스템 및 그 방법에 대해 상세히 설명하기로 한다.

본 문서에서는 연구개발 과제를 발주, 선정 및 관리하는 주체를 '과제 관리기관'이라 명명하여 사용하고, 연구개발 과제를 수주하여 대응하는 연구개발을 수행하는 주체를 '과제 수행자'라 명명하여 사용하며, 과제 수행자로부터 제출된 연구개발 문서를 기반으로 연구개발 과제에 대한 평가를 수행하는 주체를 '과제 평가자'라 명명하여 사용한다. 또한, 본 문서에서 연구개발 문서는, 연구 개발 과제 계획서, 연구 노트, 연차 실적 계획서, 연구 성과 보고서 등 과제 수행자가 연구개발을 진행하는 중에 또는 연구개발을 완료한 상태에서 과제 평가를 위해 과제관리기관에 제출하는 연구개발 보고서들을 나타낸다.

도 1은 본 발명의 일 실시 예에 따른 연구개발 문서의 품질 평가 시스템을 개략적으로 도시한 것이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 연구개발 문서의 품질 평가 시스템(100)은, 평가 모델 데이터베이스(110), 연구개발 문서 데이터베이스(120), 평가 모델 관리부(130), 연구개발 문서 관리부(140), 및 평가부(150)를 포함할 수 있다.

평가 모델 데이터베이스(110)는, 연구개발 문서의 품질을 평가하기 위한 평가 모델을 저장하고 관리할 수 있다. 품질 평가 시스템(100)에서 사용되는 평가 모델이 복수 개인 경우, 평가 모델 데이터베이스(110)는 각 연구과제 또는 과제 관리기관 별로 대응하는 평가 모델을 구분하여 저장할 수도 있다.

평가 모델은 연구개발 문서에 대한 평가 기준들을 포함할 수 있다. 연구개발 문서에 대한 평가 기준은, 형식 기준 및 내용 기준으로 분류될 수 있다.

형식 기준은 연구개발 문서의 각 항목이 올바른 기재 형식을 준수하고 있는지를 판단하기 위한 평가 기준이며, 내용 기준은 각 항목에 대해 작성된 내용의 적절성을 판단하기 위한 평가 기준이다.

형식 기준은, 평가 대상이 되는 연구개발 문서에 대한 문서 포맷 정보를 포함하며, 연구개발 문서에 포함된 각 항목에 대한 식별정보(또는 위치정보)와 함께, 각 항목의 글자 수 정보, 글자 포맷(크기, 폰트 등) 정보, 기재 형식 정보, 내용 유무 정보 등을 포함할 수 있다.

내용 기준은, 단일 항목 내용 기준과 항목간 비교 내용 기준을 포함할 수 있다.

단일 항목 내용 기준은, 비교 대상 항목 없이 평가 대상이 되는 항목에 기재된 내용만으로 평가하기 위한 평가 기준으로서, 평가 대상 항목에 필수적으로 기재되어야 하는 내용에 대한 정보를 포함할 수 있다.

항목간 비교 내용 기준은, 평가 대상이 되는 항목(이하, '타겟 항목'이라 칭함)과, 타겟 항목의 비교 대상이 되는 항목(이하, '기준 항목'이라 칭함)이 기 설정된 연관성 규칙을 준수하고 있는지를 평가하기 위한 평가 기준으로서, 비교 대상이 되는 항목들 간 연관성 링크 및 연관성 규칙을 포함할 수 있다. 연관성 링크는, 타겟 항목 및 기준 항목 간의 링크 정보를 포함하며, 타겟 항목 및 기준 항목의 식별정보(또는 위치정보)를 포함할 수 있다.

연관성은, 비교 대상이 되는 항목들 간의 의미적 관계를 나타내며, 연관성 규칙은, 비교 대상이 되는 항목들 간에 준수되어야 하는 규칙을 나타낸다.

예를 들어, 연관성 규칙은 충분 관계, 필요 관계, 동등 관계, 일부 동등 관계 등을 정의하는 규칙들을 포함할 수 있다.

충분 관계는, 타겟 항목과 기준 항목의 비교 시, 기준 항목에 기재된 내용과 의미적으로 동일한 내용이, 타겟 항목 내에 모두 기재되어 있는지를 평가 기준으로 하는 규칙이다.

필요 관계는, 타겟 항목과 기준 항목의 비교 시, 타겟 항목에 기재된 내용과 의미적으로 동일한 내용이, 기준 항목 내에 모두 기재되어 있는지를 평가 기준으로 하는 규칙이다.

동등 관계는, 타겟 항목과 기준 항목의 비교 시, 기준 항목에 기재된 내용이, 타겟 항목에 기재된 내용과 모두 의미적으로 동일한지를 평가 기준으로 하는 규칙이다.

일부 동등 관계는, 타겟 항목과 기준 항목의 비교 시, 기준 항목에 기재된 내용이, 타겟 항목에 기재된 내용과 일부 의미적으로 동일한지를 평가 기준으로 하는 규칙이다.

평가 모델은 각 평가 기준에 대한 설명 정보를 더 포함할 수 있다. 설명 정보는, 대응하는 평가 기준의 평가 목적 등을 설명하기 위한 텍스트를 포함할 수 있다.

평가 모델은 각 평가 기준에 대응하는 수정 가이드 정보를 더 포함할 수 있다. 수정 가이드 정보는, 각 평가 기준에 대응하는 평가 결과가 소정 수준을 만족하지 못할 경우, 대응하는 수정 방향을 안내하는 가이드 정보를 포함할 수 있다.

연구개발 문서 데이터베이스(120)는 과제 수행자 단말(200)로부터 수신되는 연구개발 문서를 저장하고 관리할 수 있다. 이 경우, 연구개발 문서 데이터베이스(120)는 연구개발 문서의 과제 정보(과제 관리 기관, 과제 종류, 과제 수행자, 과제 년도 등)를 기반으로, 연구개발 문서들을 과제 별로 구분하여 저장할 수 있다.

연구개발 문서 데이터베이스(120)는 각 연구개발 문서에 대한 평가 결과를 저장하고 관리할 수도 있다. 각 연구개발 문서에 대한 평가 결과는, 평가 모델에 포함된 평가 기준 별로 산출된 평가 결과들을 포함할 수 있다. 또한, 각 연구개발 문서에 대한 평가 결과는, 평가 기준 별로 산출된 평가 결과들을 종합적으로 반영한 평가 결과를 포함할 수도 있다. 또한, 각 연구개발 문서에 대한 평가 결과는, 과제 평가자 단말(300)로부터 입력된 평가 결과를 포함할 수도 있다.

평가 모델 관리부(130)는 평가 모델의 생성, 갱신 등 평가 모델에 대한 관리 기능을 수행할 수 있다.

평가 모델 관리부(130)는 이미 평가가 완료된 연구개발 문서들을 이용한 학습 과정을 통해 평가 모델을 자동으로 생성하거나, 평가 모델 데이터베이스(110)에 저장된 평가 모델을 갱신할 수 있다.

평가 모델 관리부(130)는 연구개발 과제를 관리하는 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로, 평가 모델의 생성 또는 갱신을 수행할 수도 있다.

연구개발 문서 관리부(140)는 과제 수행자 단말(200)로부터 수신되는 연구개발 문서를 관리할 수 있다. 연구개발 문서 관리부(140)는 과제 수행자 단말(200)로부터 연구개발 문서가 수신되면, 이를 연구개발 문서 데이터베이스(120)에 저장할 수 있다. 또한, 연구개발 문서 관리부(140)는 특정 연구개발 문서에 대한 평가가 요청되면, 대응하는 연구개발 문서를 평가부(150)로 전달하거나, 대응하는 연구개발 문서에 대한 평가를 평가부(150)로 요청할 수 있다.

연구개발 문서 관리부(140)는 연구개발 문서에 대한 평가 결과를 과제 수행자 단말(200) 또는 과제 관리 시스템(400)으로 전달할 수도 있다.

평가부(150)는 연구개발 문서에 대한 평가절차를 수행할 수 있다.

평가부(150)의 평가 절차는, 평가 모델 데이터베이스(110)에 저장된 평가 모델을 이용한 평가 절차와, 과제 평가자에 의한 평가 절차로 구분될 수 있다.

전자의 경우, 평가부(150)는 평가 모델 데이터베이스(110)로부터 평가 대상인 연구개발 문서에 대응하는 평가 모델을 읽어오고, 평가 모델에 포함된 평가 기준들을 바탕으로 연구개발 문서에 대한 평가 절차를 자동으로 수행할 수 있다.

후자의 경우, 평가부(150)는 연구개발 문서를 과제 평가자 단말(300)로 전달하고, 과제 평가자 단말(300)로부터 해당 연구개발 문서에 대한 평가 결과를 수신할 수 있다. 이 경우, 평가부(150)는 과제 평가자의 평가를 돕기 위해 평가 모델을 이용한 평가 결과를 연구개발 문서와 함께 과제 평가자 단말(300)로 전달할 수 있다.

평가부(150)는 각 평가 절차(형식 평가, 내용 평가, 과제 평가자에 의한 평가 등)가 완료될 때마다, 평가 결과를 연구개발 문서 데이터베이스(120)에 저장할 수 있다.

전술한 구조의 품질 평가 시스템(100)에서, 평가 모델 관리부(130), 연구개발 문서 관리부(140) 및 평가부(150)의 기능은 각각 하나 이상의 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현되는 프로세서에 의해 수행될 수 있다.

이하, 도 2 내지 도 5를 참조하여 본 발명의 일 실시 예에 따른 품질 평가 시스템(100)의 각 구성요소의 기능에 대해 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시 예에 따른 품질 평가 시스템의 평가 모델 관리부를 개략적으로 도시한 구조도이다. 도 3은 본 발명의 일 실시 예에 따른 품질 평가 시스템이 연구개발 문서로부터 항목들을 추출하는 일 예를 도시한 것이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 품질 평가 시스템(100)의 평가 모델 관리부(130)는 규칙 데이터베이스(131), 문서 파싱부(132), 학습부(133), 평가 모델 생성부(134) 및 인터페이스부(135)를 더 포함할 수 있다.

규칙 데이터베이스(131)는 품질 평가 시스템(100)에서 적용 가능한 평가 규칙들을 저장하고 관리할 수 있다. 예를 들어, 연구개발 문서의 평가 시 적용될 수 있는 형식 기준들, 연관성 규칙들을 저장할 수 있다.

문서 파싱부(132)는 평가 모델 생성에 사용할 연구개발 문서들(이하, '후보 연구개발 문서')에 대한 파싱을 수행할 수 있다.

문서 파싱부(132)는 생성하고자 하는 평가 모델에 대한 기본 정보, 예를 들어, 평가 모델이 적용되는 과제 종류, 평가 모델을 통해 평가하고자 하는 문서 종류 등을 토대로, 이미 평가가 완료된 연구개발 문서들 중에서 후보 연구개발 문서를 선택할 수 있다.

예를 들어, 문서 파싱부(132)는 기 평가된 연구개발 문서들 중 평가 모델이 적용되는 과제 종류와 동일한 과제 종류에 포함되고, 평가 모델이 평가하고자 하는 연구개발 문서와 문서 종류가 동일한 연구개발 문서들을 후보 연구개발 문서로 선택할 수 있다. 이때, 문서 파싱부(132)는 평가 모델의 신뢰성을 향상시키기 위해, 평가 결과가 소정 수준 이상인 연구개발 문서만을 후보 연구개발 문서로 선택할 수 있다.

평가 모델에 대한 기본 정보는, 인터페이스부(135)를 통해 외부(예를 들어, 과제 관리 시스템(400))로부터 입력될 수 있다. 또한, 평가 모델에 대한 기본 정보는, 연구개발 문서 데이터베이스(120)에 저장된 연구개발 문서들의 자동 분류를 통해 획득될 수도 있다. 후자의 경우, 문서 파싱부(132)는 각 연구개발 문서의 식별 정보(과제 종류, 문서 종류 등)를 토대로 기 저장된 연구개발 문서들을 하나 이상의 그룹으로 분류하고, 각 그룹에 포함된 연구개발 문서들의 식별정보로부터 대응하는 평가 모델의 기본 정보를 자동으로 추출할 수 있다.

한편, 도 2에서는 문서 파싱부(132)가 연구개발 문서 데이터베이스(120)로부터 후보 연구개발 문서를 획득하는 경우를 예로 들어 도시하였으나, 본 발명이 이로 한정되는 것은 아니어서, 품질 평가 시스템(100)은 평가가 완료된 연구개발 문서들이 저장된 별도의 데이터베이스(미도시)로부터 후보 연구개발 문서들을 획득할 수도 있다.

문서 파싱부(132)는 후보 연구개발 문서들에 대한 파싱을 통해, 후보 연구개발 문서들로부터 평가 모델의 타겟 항목으로 추가할 수 있는 후보 항목들을 추출할 수 있다. 도 3을 예로 들면, 연차보고서가 후보 연구개발 문서로 선택되는 경우, 문서 파싱부(132)는 연차보고서로부터 '국문 요약문', '영문 요약문', '연구 분야', 'I. 실적', '1. 연구 개발 목표 및 평가의 착안점', '2. 연구범위 및 연구수행 방법', '3. 연구수행 내용 및 결과', '4. 연구개발목표의 달성도 및 자체평가', '5. 연구성과', '6. 구매금액이 3천만원 이상인 기자재 구매현황', '7. 연구비 집행실적', '8. 연구수행에 따른 문제점 및 개선방향', '9. 중요 연구변경 사항', '10. 기타 건의 사항', 'II. 계획'등의 후보 항목들을 추출할 수 있다.

통상적으로 연구개발 문서에 포함된 항목들은 계층 구조로 이루어진다. 도 3을 예로 들면, '1. 연구 개발 목표 및 평가의 착안점'은 '1-1. 최종목표', '1-2. 당해연도 연구개발목표', '1-3. 당해연도 평가의 착안점' 등의 하위 항목들을 포함할 수 있다. 이에 따라, 문서 파싱부(132)는 후보 연구개발 문서로부터 후보 항목들을 추출 시, 각 후보 항목의 위치정보(각 후보 항목이 포함된 연구개발 문서 정보, 연구개발 문서 내 위치정보 등)뿐만 아니라, 각 후보 항목의 계층 정보 및 항목들 간의 링크 정보를 함께 추출할 수 있다.

학습부(133)는 문서 파싱부(132)를 통해 후보 항목들이 추출되면, 추출된 후보 항목들에 대해 규칙 데이터베이스(131)에 저장된 연관성 규칙들을 적용하는 학습 과정을 통해, 평가 모델에 포함될 평가 기준 후보군을 선택할 수 있다.

학습부(133)의 평가 기준 후보군 선택 방법을 좀더 상세히 살펴보면, 우선 학습부(133)는 문서 파싱부(132)를 통해 추출된 각 후보 항목에 대해 규칙 데이터베이스(131)에 저장된 연관성 규칙들을 모두 적용하여 평가 결과를 산출한다. 이 때, 학습부(133)는 각 후보 항목에 대해 비교 대상으로 선택 가능한 모든 항목에 대한 연결성 링크들을 생성하고, 각 연관성 링크에 대해 모든 연관성 규칙들을 적용하여 평가 결과들을 획득할 수 있다. 후보 항목과 비교 대상이 되는 항목들은, 대응하는 후보 항목과 동일한 문서 내에서 선택될 수도 있고, 대응하는 후보 항목이 포함된 연구개발 문서와 관련된 다른 문서 내에서 선택될 수도 있다. 후자의 경우, 학습부(133)는 후보 항목이 포함된 연구개발 문서의 과제 정보(과제 종류, 과제 명, 과제 관리 기관, 과제 수행자 등)를 토대로, 동일한 과제에 포함된 연구개발 문서들 내에서 비교 대상 항목들을 선택할 수 있다.

학습부(133)는 각 후보 항목에 대해 생성된 연관성 링크들에 대해 연관성 규칙들을 모두 적용한 평가 결과들을 분석하여 평가 모델에 포함시킬 평가 기준 후보군을 선택할 수 있다. 이 과정에서, 학습부(133)는 평가 모델에 대한 신뢰성 향상을 위해, 필터링을 통해 평가 결과들 중 소정 수준 이상의 평가 결과들만을 평가 기준 후보군 선택에 사용할 수 있다.

평가 모델 생성부(134)는 학습부(133)에 의해 평가 모델에 포함될 수 있는 평가 기준 후보군이 선택되면, 이를 토대로 평가 모델을 생성할 수 있다.

평가 모델 생성부(134)는 인터페이스부(135)를 통해 평가 기준 후보에 대한 정보를 과제 관리 시스템(400)으로 전달하고, 이에 대응하여 과제 관리 시스템(400)으로부터 제어 입력에 기반하여 평가 모델을 생성할 수도 있다. 이 경우, 평가 모델 생성부(134)는 과제 관리 시스템(400)으로부터 제어 입력에 기반하여 평가 기준 후보군에서 평가 모델에 포함시킬 평가 기준을 선택하거나, 평가 기준 후보군에 포함된 평가 기준 후보를 수정하여 평가 모델에 포함시킬 수 있다.

평가 모델 생성부(134)는 생성된 평가 모델을 갱신하는 기능을 수행할 수도 있다.

예를 들어, 평가 모델 생성부(134)는 평가 모델에 새로운 평가 기준을 추가할 수 있다. 이 경우, 평가 모델 생성부(134)는 문서 파싱부(132)에 의해 추출된 항목 리스트와, 각 항목의 평가에 사용될 수 있는 평가 규칙(형식 기준 또는 연관성 규칙) 리스트를 과제 관리 시스템(400)으로 제공하고, 과제 관리 시스템(400)으로부터 입력되는 선택 입력에 기초해 평가 모델에 평가 기준을 추가할 수 있다.

또한, 예를 들어, 평가 모델 생성부(134)는 특정 항목에 대해 단일 항목 내용 기준을 평가 기준으로 추가할 수도 있다. 단일 항목 내용 기준은, 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로 설정될 수도 있고, 기존에 생성된 다른 평가 모델에 포함된 단일 항목 내용 기준들 중 대응하는 평가 대상 항목과 동일하거나 유사한 평가 대상 항목에 대해 설정된 단일 항목 내용 기준을 이용하여 자동으로 설정될 수도 있다.

또한, 예를 들어, 평가 모델 생성부(134)는 각 평가 기준에 대해 가중치를 부여할 수도 있다. 하나의 평가 대상 항목에 대해 복수의 평가 기준이 설정된 경우, 평가 모델 생성부(134)는 평가 기준 별로 중요도에 따른 가중치를 설정할 수 있다. 각 평가 기준에 대한 가중치는 평가 모델 생성부(134)에 의해 자동으로 설정될 수도 있고, 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로 설정될 수도 있다.

또한, 예를 들어, 평가 모델 생성부(134)는 각 평가 기준에 대한 설명 정보를 추가할 수도 있다. 설명 정보는 대응하는 평가 기준을 설명하기 위한 텍스트 정보이다. 평가 기준에 대한 설명 정보는, 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로 설정될 수도 있고, 기존에 생성된 다른 평가 모델에 포함된 설명 정보들을 토대로 자동으로 설정될 수도 있다.

또한, 예를 들어, 평가 모델 생성부(134)는 평가 모델에 평가 결과에 따른 수정 가이드 정보를 추가할 수도 있다. 수정 가이드 정보는, 각 평가 기준에 따른 평가 결과가 소정 수준을 만족하지 못할 경우, 대응하는 항목에 대한 수정 요구 사항을 안내하는 수정 가이드 정보를 평가 모델에 추가할 수도 있다. 수정 가이드 정보는, 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로 설정될 수도 있고, 기존에 생성된 다른 평가 모델에 포함된 설명 정보들을 토대로 자동으로 설정될 수도 있다.

표 1은, 평가 모델에 포함되는 정보들의 일 예를 나타낸다.

표 1. 평가 모델

위 표 1을 참조하면, 평가 모델은 각 평가 기준에 대응하는 평가 기준 ID, 평가 기준 타입 정보, 연관성 링크 정보(기준 문서 식별정보, 기준 항목 식별정보, 타겟 문서 식별정보, 타겟 항목 식별정보), 평가 규칙 등을 포함할 수 있다. 평가 기준 ID는, 평가 기준을 구분하기 위한 식별 정보이다. 평가 기준 타입 정보, 평가 기준이 형식 기준인지 아니면 내용 기준인지, 내용 기준인 경우에는 단일 항목 내용 기준인지, 항목 비교 내용 기준인지 등을 포함할 수 있다. 또한, 평가 기준 타입 정보는, 타겟 항목과 비교 대상이 되는 기준 항목이 동일 문서 내에서 포함되었는지 아니면 서로 다른 문서에서 포함되었는지에 대한 정보를 포함할 수 있다. 또한, 타겟 문서 정보 및 타겟 항목 정보는, 대응하는 평가 기준을 이용하여 평가하고자 하는 연구 개발 문서 및 항목에 대한 정보를 포함하며, 기준 문서 정보 및 기준 항목 정보는, 평가 기준을 이용하여 타겟 항목과 비교하고자 하는 비교 대상 항목에 대응하는 연구개발 문서 정보 및 항목 정보를 포함할 수 있다. 또한, 평가 규칙은, 평가 시 사용되는 연관성 규칙에 대한 정보를 포함할 수 있다.

평가 모델 생성부(134)는 전술한 과정을 통해 평가 모델이 생성되면, 이를 대응하는 평가 모델 식별정보와 함께 평가 모델 데이터베이스(110)에 저장한다.

이후, 평가 모델 생성부(134)는 평가 모델 데이터베이스(110)에 저장된 평가 모델을, 과제 관리 시스템(400)으로부터 입력되는 제어 입력에 기반하여 수정 및 편집할 수도 있다.

또한, 평가 모델 생성부(134)는 전술한 학습 과정을 통해 평가 모델을 주기적으로 갱신할 수도 있다. 학습 방식의 특성 상, 평가 모델 생성에 사용되는 후보 연구개발 문서가 많을수록 평가 모델의 신뢰도가 향상될 수 있다. 따라서, 평가 모델 생성부(134)는 학습 방식을 통해 평가 모델을 주기적으로 갱신함으로써, 평가 모델의 신뢰도를 점차 향상시켜 나갈 수 있다.

인터페이스부(135)는 외부 기기 예를 들어, 과제 관리 시스템(400)과의 인터페이스를 수행할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 품질 평가 시스템의 연구개발 문서 관리부를 개략적으로 도시한 구조도이다. 도 5는 본 발명의 일 실시 예에 따른 품질 평가 시스템에서 출력되는 평가 결과의 일 예를 도시한 것이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 품질 평가 시스템(100)의 연구개발 문서 관리부(140)는 인터페이스부(141), 문서 관리부(142) 및 평가 관리부(143)를 포함할 수 있다.

인터페이스부(141)는 외부 기기, 예를 들어, 과제 수행자 단말(200) 또는 과제 관리 시스템(400)과 인터페이스를 수행할 수 있다.

문서 관리부(142)는 인터페이스부(141)를 통해 과제 수행자 단말(200)로부터 입력되는 연구개발 문서를 연구개발 문서 데이터베이스(120)에 저장하고 관리할 수 있다.

문서 관리부(142)는 특정 연구개발 문서에 대한 평가가 요청되면, 해당 연구개발 문서에 대한 평가를 평가부(150)로 전달할 수도 있다.

평가 관리부(143)는 인터페이스부(141)를 통해 과제 수행자 단말(200) 또는 과제 관리 시스템(400)으로 연구개발 문서의 평가 결과를 전달할 수 있다. 평가 관리부(143)는 연구개발 문서에 포함된 항목들 중 소정 수준 이하의 평가 결과를 보인 항목에 대해서는, 대응하는 수정 가이드 정보를 과제 수행자 단말(200)로 전달할 수 있다. 이 경우, 평가 관리부(143)는 평가 모델 데이터베이스(110)에 저장된 평가 모델로부터 대응하는 항목의 수정 가이드 정보를 획득할 수 있다.

도 5를 예로 들면, 품질 평가 시스템(100)에서 과제 수행자 단말(200)로 전달되는 평가 정보(50)는, 각 평가 기준에 대한 설명 정보(51), 각 항목에 대한 평가 결과(52), 수정 가이드 정보(53) 등을 포함할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 품질 평가 시스템의 평가부를 개략적으로 도시한 구조도이다. 또한, 도 7 및 도 8은 도 6의 평가부에 의한 평가 결과 도출 방법을 설명하기 위한 도면들이다.

도 6을 참조하면, 본 발명의 일 실시 에에 따른 품질 평가 시스템(100)의 평가부(150)는 문서 파싱부(151), 형식 기준 평가부(152), 내용 기준 평가부(153), 평가 결과 생성부(154) 및 인터페이스부(155)를 포함할 수 있다.

문서 파싱부(151)는 연구개발 문서 데이터베이스(120)로부터 평가 대상이 되는 타겟 연구개발 문서를 읽어와 파싱함으로써, 타겟 연구개발 문서에 포함된 항목들을 추출할 수 있다.

또한, 문서 파싱부(151)는 평가 모델에 포함된 각 연관성 링크 정보를 토대로, 연구개발 문서 데이터베이스(120)로부터 타겟 문서의 비교 대상이 되는 기준 연구개발 문서를 읽어와 파싱함으로써, 기준 연구개발 문서에 포함된 항목들을 추출할 수 있다.

형식 기준 평가부(152)는 평가 모델 데이터베이스(110)로부터 타겟 연구개발 문서로부터 평가 모델을 획득하고, 이를 토대로 타겟 연구개발 문서의 각 항목에 대해 형식 기준에 기반한 품질 평가를 수행할 수 있다.

형식 기준 평가부(152)는, 각 항목에 대응하는 형식 기준을 토대로, 각 항목의 글자 수, 글자 포맷, 기재 형식, 내용 유무 등이 대응하는 형식 기준을 만족하였는지를 평가하여 형식 기준에 의한 평가 결과를 도출할 수 있다.

내용 기준 평가부(153)는 평가 모델 데이터베이스(110)로부터 타겟 연구개발 문서에 대한 평가 모델을 획득하고, 이를 토대로 타겟 연구개발 문서의 각 항목에 대해 내용 기준에 기반한 품질 평가를 수행할 수 있다.

예를 들어, 평가 모델에 포함된 평가 기준이 단일 항목 내용 기준인 경우, 내용 기준 평가부(153)는 대응하는 항목에 기재된 내용에 대한 텍스트 추론을 통해 대응하는 단일 항목 내용 기준을 만족하는지 여부를 평가하여, 평가 결과를 도출할 수 있다.

또한, 예를 들어, 평가 모델에 포함된 평가 기준이 항목 비교 내용 기준인 경우, 내용 기준 평가부(153)는 평가 기준에 포함된 연관성 링크 정보(타겟 항목 정보와 기준 항목 정보)를 토대로 문서 파싱부(151)로부터 비교 대상이 되는 두 개의 항목을 획득하고, 평가 기준에 포함된 연관성 규칙 정보를 기준으로 두 항목 간의 텍스트 추론을 수행하여 평가 결과를 도출할 수 있다.

텍스트 추론은, 두 텍스트 간의 의미적 연관성 측정을 토대로 두 텍스트 간의 논리적 관계를 파악하는 기술로서, 텍스트 함의 인식 방법, 패러프레이즈(paraphrase) 인식 방법 등이 사용될 수 있다. 텍스트 함의 인식 방법은, 비교 대상이 되는 두 개의 텍스트 중 어느 하나를 기반으로 나머지 텍스트를 유추할 수 있는지를 판단하는 방식으로, 단어를 이용한 텍스트 함의 인식과, 문장을 이용한 텍스트 함의 인식 방법으로 구분될 수 있다.

단어를 이용한 텍스트 함의 인식은, 문장을 단어 또는 몇 글자 단위로 나누고, 각 단어의 특성을 사용하여 문장의 함의를 인식하는 방식이다.

예를 들어, '철수는 회사를 다니는 남자이다'와 '철수는 남자이다'의 두 문장에 대해 Bag-of-words 방식의 텍스트 함의 인식을 수행하는 경우, '철수는 회사를 다니는 남자이다'문장은, '철수', '-는', '회사', '-를', '다니다', '-는', '남자', '-이다.'로 나누어지고, 철수는 남자이다'문장은, '철수', '-는', '남자', '-이다.'로 나누어져(Bag-of-words 방식), 철수는 회사를 다니는 남자이다'와 '철수는 남자이다'는 모두 4개의 단어가 매칭되는 것으로 판단될 수 있다.

또한, 예를 들어, '철수는 회사를 다니는 남자이다'와 '철수는 남자이다'의 두 문장에 대해 Bi-gram 기반의 텍스트 함의 인식을 수행하는 경우, '철수는 회사를 다니는 남자이다'문장은, '철수는', '-는 회사', '회사를', '-를 다니다', '다니는', '-는 남자', '남자이다.' 로 나누어지고, 철수는 남자이다'문장은, '철수는', '-는 남자', '남자이다.'로 나누어져, '철수는 회사를 다니는 남자이다'와 '철수는 남자이다'는 모두 3개의 매칭이 성립되는 것으로 판단될 수 있다.

또한, 예를 들어, '철수는 회사를 다니는 남자이다'와 '철수는 남자이다'의 두 문장에 대해 Longest matching 기반의 텍스트 함의 인식을 수행하는 경우, '철수는 회사를 다니는 남자이다'문장은, '철수는', '회사를', '다니는', '남자이다.' 로 나누어지고, 철수는 남자이다'문장은, '철수는', '남자이다.'로 나누어져, '철수는 회사를 다니는 남자이다'와 '철수는 남자이다'는 모두 2개의 단어에 대해 2개의 매칭이 성립되는 것으로 판단될 수 있다.

한편, 단어를 이용한 텍스트 함의 인식은 어휘망을 사용하여 인식률을 향상시킬 수도 있다.

문장을 이용한 텍스트 함의 인식은, 형태소 분석 및 의존 파싱을 사용한 함의 인식 방법이다. 의존 파싱(또는 의존 문법)은, 문장을 구성하는 언어 요소와 또 하나의 언어 요소 사이의 의존 관계(충분, 필요, 동등, 일부 동등 등)을 파악함으로써 문장을 분석하는 방법으로서, 언어 요소는 한국어의 경우 형태소로 보거나, 어절 단위로 볼 수 있다.

패러프레이즈 인식 방법은, 텍스트에서 동일한 의미를 나타내는 상이한 형태의 문장, 구절 등을 찾아내는 인식 방법이다. 예를 들어, 두 개의 텍스트에 대해 양방향의 텍스트 함의 인식을 수행하여 소정 조건을 만족할 경우, 두 텍스트를 패러프레이즈 관계로 인식할 수 있다.

예를 들어, '홍길동은 사람이다'와 '홍길동은 인간이다.' 두 문장에 대해 패러프레이즈 인식 방법을 적용하면, '홍길동은 사람이다' -> '홍길동은 인간이다.'의 텍스트 함의 인식 시 패러프레이즈 관계에 대한 참 값을 가지며, '홍길동은 사람이다'<-'홍길동은 인간이다.'의 텍스트 함의 인식 시에도 패러프레이즈 관계에 대해 참값을 가지므로, 두 문장은 패러프레이즈 관계로 판정할 수 있다.

전술한 텍스트 함의 인식, 패러프레이즈 인식 방법 외에도 다양한 텍스트 추론 방식이, 품질 평가 시스템(100)의 내용 기준 기반의 평가 결과 도출에 사용될 수 있다.

평가 결과 생성부(154)는 형식 기준 평가부(152) 및 내용 기준 평가부(153)로부터 각 항목에 대한 평가 결과를 수신하고, 이를 이용하여 평가 모델을 이용한 중간 평가 결과를 도출할 수 있다.

한편, 하나의 항목이 복수의 평가 기준에 의해 평가되는 경우, 평가 결과 생성부(154)는 아래의 수학식 1을 이용하여 해당 항목의 중간 평가 결과를 도출할 수 있다.

[수학식 1]

위 수학식 1에서,

는 대응하는 항목에 대해 평가 모델을 이용하여 산출한 중간 평가 결과를 나타내고,

는 대응하는 항목에 대해 i번째 평가 기준을 적용하여 획득한 평가 결과이다. 또한,

는 대응하는 항목에 대해 i번째 평가 기준을 적용하여 획득한 평가 결과에 대한 가중치를 나타내며, 평가 기준의 중요도에 따라서 0에서 1 사이의 값을 가질 수 있다. 또한, n은 해당 항목에 적용되는 평가 기준의 개수를 나타낸다.

도 7은 하나의 항목에 대해 복수의 평가 기준이 적용되는 경우를 예로 들어 도시한 것이고, 도 8은 도 7의 평가 기준을 이용하여 대응하는 항목에 대한 평가 결과를 도출하는 일 예를 도시한 것이다.

도 7을 예로 들면, 평가모델은 '1-3. 당해연도 평가의 착안점' 항목에 대해 모두 4개의 평가 기준(평가 기준 1.3.1, 평가 기준 1.3.2, 평가 기준 1.3.3, 평가 기준 1.3.4)을 포함하고 있다. 또한, 각 평가 기준 별로는 서로 다른 가중치(ω1, ω2, ω3, ω4) 가 설정되어 있다.

도 8을 참조하면, '1-3. 당해연도 평가의 착안점' 항목에 대해 도 7의 평가 기준을 적용하여 평가한 결과, 각 평가 기준에 대한 평가 결과가 각각 0.8, 0.7, 0.9, 0.3으로 도출되었다. 각 평가 기준에 의한 평가 결과에 대해 대응하는 가중치를 적용할 경우, '1-3. 당해연도 평가의 착안점' 항목에 대한 평가 모델을 이용한 중간 평가 결과는 (0.56+0.28+0.45+0.09)/4 = 0.345로 도출될 수 있다.

평가부(150)는 타겟 연구개발 문서에 포함된 각 항목에 대해 평가 모델을 이용한 중간 평가 결과가 도출되면, 이를 대응하는 항목에 대응시켜 연구개발 문서 데이터베이스(120)에 저장할 수 있다.

한편, 타겟 연구개발 문서가 최종 완성되어 제출된 연구개발 문서인 경우, 평가 결과 생성부(154)는 타겟 연구개발 문서와, 평가 모델을 이용하여 타겟 연구개발 문서를 평가한 중간 평가 결과를 과제 평가자 단말(300)로 전달할 수 있다.

그리고, 과제 평가자 단말(300)로부터 타겟 연구개발 문서에 대한 추가 평가 정보가 입력되면, 이를 중간 평가 결과와 취합하여 타겟 연구 개발 문서에 대한 최종 평가 결과를 생성할 수 있다. 이렇게 생성된 최종 평가 결과는, 연구개발 문서 관리부(140)를 통해 과제 수행자 단말(200) 또는 과제 관리 시스템(400)으로 전달될 수 있다.

도 9는 본 발명의 일 실시 예에 따른 품질 평가 시스템의 평가 모델 생성 방법을 개략적으로 도시한 것이다. 도 9에 도시된 평가 모델 생성 방법은, 전술한 도 1 내지 도 8을 참조하여 설명한 품질 평가 시스템에 의해 수행될 수 있다.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 품질 평가 시스템(100)은 평가가 완료된 연구개발 문서들 중에서 평가 모델 생성에 사용할 후보 연구개발 문서들을 선택할 수 있다(S100).

상기 S100 단계에서, 품질 평가 시스템(100)은 생성하고자 하는 평가 모델의 기본 정보, 예를 들어, 평가 모델이 적용되는 과제 종류, 평가 모델을 통해 평가하고자 하는 문서 종류 등을 토대로, 후보 연구개발 문서들을 선택할 수 있다.

또한, 상기 S100 단계에서, 품질 평가 시스템(100)은 평가 모델의 신뢰도 향상을 위해, 평가 결과가 소정 수준 이상인 연구개발 문서들만 후보 연구개발 문서로 선택할 수 있다.

품질 평가 시스템(100)은 후보 연구개발 문서가 선택됨에 따라, 각 후보 연구개발 문서에 대한 파싱을 수행하여, 각 후보 연구개발 문서에 포함된 항목들을 추출한다(S110).

그리고, 추출된 모든 항목들에 대해 미리 정의된 연관성 규칙들을 모두 적용하는 학습 과정을 수행하여(S120), 평가 기준 후보들을 선택한다(S130).

상기 S120 단계 및 상기 S130 단계에서, 품질 평가 시스템(100)은 상기 S110 단계를 통해 추출된 각 항목에 대해 비교 대상으로 선택 가능한 모든 항목과의 연관성 링크를 생성하고, 각 연관성 링크에 모든 연관성 규칙들을 적용하여 평가한 평가 결과들을 분석하여 평가 기준 후보를 선택할 수 있다. 이 과정에서, 품질 평가 시스템(100)은 평가 모델에 대한 신뢰성 향상을 위해, 필터링을 통해 평가 결과들 중 소정 조건을 만족하는 평가 결과들만을 평가 기준 후보군 선택에 사용할 수 있다.

상기 S130 단계를 통해 평가 기준 후보가 선택되면, 품질 평가 시스템(100)은 이를 토대로 평가 모델을 생성한다(S140).

상기 S140 단계에서, 품질 평가 시스템(100)은 평가 기준 후보들을 평가 기준으로 포함하도록 평가 모델을 생성할 수 있다.

상기 S140 단계에서, 품질 평가 시스템(100)은 평가 기준 후보에 대한 정보를 과제 관리 시스템(400)으로 전달하고, 이에 대응하여 과제 관리 시스템(400)으로부터 제어 입력에 기반하여 평가 모델을 생성할 수도 있다. 이 경우, 품질 평가 시스템(100)은 과제 관리 시스템(400)으로부터 제어 입력에 기반하여 평가 기준 후보군에서 평가 모델에 포함시킬 평가 기준을 선택하거나, 평가 기준 후보군에 포함된 평가 기준 후보를 수정하여 평가 모델에 포함시킬 수 있다.

품질 평가 시스템(100)은 생성된 평가 모델에 대한 갱신 요청이 입력되면(S150), 평가 모델을 갱신할 수도 있다(S160).

상기 S160 단계에서, 품질 평가 시스템(100)은 평가 모델에 새로운 평가 기준을 추가할 수 있다. 이 경우, 품질 평가 시스템(100)은 상기 S110 단계를 통해 추출된 항목 리스트와, 각 항목의 평가에 사용될 수 있는 평가 규칙(형식 기준 또는 연관성 규칙) 리스트를 과제 관리 시스템(400)으로 제공하고, 과제 관리 시스템(400)으로부터 입력되는 선택 입력에 기초해 평가 모델에 평가 기준을 추가할 수 있다.

상기 S160 단계에서, 품질 평가 시스템(100)은 특정 항목에 대해 단일 항목 내용 기준을 평가 기준으로 추가할 수도 있다. 단일 항목 내용 기준은, 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로 설정될 수도 있고, 기존에 생성된 다른 평가 모델에 포함된 단일 항목 내용 기준들 중 대응하는 평가 대상 항목과 동일하거나 유사한 평가 대상 항목에 대해 설정된 단일 항목 내용 기준을 이용하여 자동으로 설정될 수도 있다.

상기 S160 단계에서, 품질 평가 시스템(100)은 각 평가 기준에 대해 가중치를 부여할 수도 있다. 하나의 평가 대상 항목에 대해 복수의 평가 기준이 설정된 경우, 품질 평가 시스템(100)은 평가 기준 별로 중요도에 따른 가중치를 설정할 수 있다.

상기 S160 단계에서, 품질 평가 시스템(100)은 각 평가 기준에 대한 설명 정보를 추가할 수도 있다. 평가 기준에 대한 설명 정보는, 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로 설정될 수도 있고, 기존에 생성된 다른 평가 모델에 포함된 설명 정보들을 토대로 자동으로 설정될 수도 있다.

상기 S160 단계에서, 품질 평가 시스템(100)은 평가 모델에 평가 결과에 따른 수정 가이드 정보를 추가할 수도 있다. 수정 가이드 정보는, 각 평가 기준에 따른 평가 결과가 소정 수준을 만족하지 못할 경우, 대응하는 항목에 대한 수정 요구 사항을 안내하는 수정 가이드 정보를 평가 모델에 추가할 수도 있다. 수정 가이드 정보는, 과제 관리 시스템(400)으로부터 입력되는 제어 입력을 토대로 설정될 수도 있고, 기존에 생성된 다른 평가 모델에 포함된 설명 정보들을 토대로 자동으로 설정될 수도 있다.

도 10은 본 발명의 일 실시 예에 따른 품질 평가 시스템의 연구개발 문서에 대한 품질 평가 방법을 개략적으로 도시한 것이다. 도 10에 도시된 연구개발 문서의 품질 평가 방법은, 전술한 도 1 내지 도 8을 참조하여 설명한 품질 평가 시스템에 의해 수행될 수 있다.

도 10을 참조하면, 본 발명의 일 실시 예에 따른 품질 평가 시스템(100)은 평가 대상인 타겟 연구개발 문서가 과제 수행자 단말(200)로부터 입력됨에 따라(S200), 타겟 연구개발 문서에 대한 파싱을 통해 평가 대상이 되는 타겟 항목들을 추출한다(S210).

상기 S210 단계에서, 품질 평가 시스템(100)은 평가 모델에 포함된 각 연관성 링크 정보를 토대로, 연구개발 문서 데이터베이스(120)로부터 타겟 문서의 비교 대상이 되는 기준 연구개발 문서를 읽어와 파싱함으로써, 기준 연구개발 문서에 포함된 항목들을 추출할 수 있다.

품질 평가 시스템(100)은 타겟 연구개발 문서로부터 타겟 항목들이 추출되면, 평가 모델에 포함된 형식 기준을 토대로, 각 타겟 항목의 글자 수, 글자 포맷, 기재 형식, 내용 유무 등이 대응하는 형식 기준을 만족하였는지를 평가하여 형식 기준 평가를 수행한다(S220).

또한, 품질 평가 시스템(100)은 평가 모델에 포함된 평가 기준들을 토대로, 각 타겟 항목에 대해 내용 기준에 기반한 품질 평가를 수행한다(S230).

상기 S230 단계에서, 품질 평가 시스템(100)은 평가 모델에 포함된 평가 기준이 단일 항목 내용 기준인 경우, 대응하는 타겟 항목에 기재된 내용에 대한 텍스트 추론을 통해 대응하는 단일 항목 내용 기준을 만족하는지 여부를 평가할 수 있다.

상기 S230 단계에서, 품질 평가 시스템(100)은 평가 모델에 포함된 평가 기준이 항목 비교 내용 기준인 경우, 평가 기준에 포함된 연관성 링크 정보(타겟 항목 정보와 기준 항목 정보)를 토대로 타겟 항목과, 이에 대응하는 기준 항목을 획득하고, 평가 기준에 포함된 연관성 규칙 정보를 기준으로 두 항목 간의 텍스트 추론을 수행하여 평가를 수행할 수도 있다.

상기 S220 단계 및 S230 단계를 통해, 각 타겟 항목에 대한 평가 결과가 생성되면, 품질 평가 시스템(100)은 이를 이용하여 타겟 연구개발 문서에 대한 중간 평가 결과를 도출한다. 또한, 도출된 중간 평가 결과를 과제 수행자 단말(200)로 전달한다(S240).

한편, 품질 평가 시스템(100)은 타겟 연구개발 문서에 대한 최종 평가가 요청되면(S250), 과제 평가자 단말(300)로부터 타겟 연구개발 문서에 대한 추가 평가 정보를 입력 받고(S260), 이를 중간 평가 결과에 결합하여 최종 평가 결과를 생성할 수 있다. 이렇게 생성된 최종 평가 결과는, 과제 수행자 단말(200) 또는 과제 관리 시스템(400)으로 전달될 수 있다(S270).

전술한 실시 예에 따르면, 품질 평가 시스템(100)은 기존에 과제 평가자의 주관적인 견해에만 전적으로 의존하던 연구개발 문서의 내용 평가에 대해, 일부 내용 평가를 자동으로 전환시킴으로써, 연구개발 문서에 대한 품질 평가의 객관성, 일관성, 공정성 등을 향상시킬 수 있다.

또한, 과제 수행자가 연구개발 문서를 평가 대상으로 제출하기 전에 어느 정도 평가 결과를 예측하고, 그에 따른 개선이 가능하여 과제 수행자의 편의성이 증대되는 효과가 있다.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위해 기록매체에 기록된 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (15)

1. 연구개발 문서의 품질 평가 시스템에 있어서,
   평가 모델을 저장하는 평가 모델 데이터베이스,
   평가가 완료된 복수의 연구개발 문서들을 이용한 학습을 통해 상기 평가 모델을 생성하는 평가 모델 관리부, 및
   평가 대상이 되는 타겟 연구개발 문서가 입력됨에 따라, 상기 평가 모델을 이용하여 상기 타겟 연구개발 문서에 대한 품질 평가를 수행하는 평가부를 포함하는 품질 평가 시스템.
2. 제1항에서,
   상기 평가 모델 관리부는,
   학습을 통해 상기 복수의 연구개발 문서로부터 추출된 항목들 간의 연관성 링크 및 상기 연관성 링크로 연결되는 항목들 사이에 준수되어야 하는 연관성 규칙을 평가 기준 후보로 획득하고, 상기 평가 기준 후보를 이용하여 상기 평가 모델을 생성하는 품질 평가 시스템.
3. 제2항에서,
   상기 평가 모델 관리부는,
   복수의 연관성 규칙을 포함하는 규칙 데이터베이스,
   파싱을 통해 상기 복수의 연구개발 문서에 포함된 복수의 항목을 추출하는 문서 파싱부,
   상기 복수의 연구개발 문서로부터 추출된 각 항목에 대해 비교 대상으로 선택 가능한 모든 항목에 대한 연결성 링크를 설정하고, 상기 복수의 연구개발 문서로부터 추출된 각 항목에 대해 설정된 연결성 링크에 상기 복수의 연관성 규칙을 적용하여 평가 결과들을 획득하며, 상기 평가 결과들을 분석하여 상기 평가 기준 후보를 획득하는 학습부, 및
   상기 평가 기준 후보를 이용하여 상기 평가 모델에 포함되는 평가 기준을 생성하는 평가 모델 생성부를 포함하는 품질 평가 시스템.
4. 제3항에서,
   상기 학습부는, 상기 평가 결과들 중 소정 수준 이상의 평가 결과를 이용하여 상기 평가 기준 후보를 획득하는 품질 평가 시스템.
5. 제3항에 있어서,
   상기 평가 모델 생성부는,
   과제 관리 시스템으로 상기 평가 기준 후보에 대한 정보를 전달하고, 상기 과제 관리 시스템으로부터 입력되는 제어 입력에 기반하여 상기 평가 기준 후보를 상기 평가 기준으로 설정하거나, 상기 평가 기준 후보를 수정하여 상기 평가 기준을 획득하는 품질 평가 시스템.
6. 제1항에서,
   상기 평가 모델은, 상기 평가 모델을 구성하는 복수의 평가 기준 각각에 대한 가중치, 상기 복수의 평가 기준 각각에 대한 수정 가이드 정보 및 상기 복수의 평가 기준 각각에 대한 설명 정보 중 적어도 하나를 포함하는 품질 평가 시스템.
7. 제6항에 있어서,
   상기 평가부는,
   파싱을 통해 상기 타겟 연구개발 문서로부터 평가 대상이 되는 복수의 타겟 항목을 추출하는 문서 파싱부,
   상기 복수의 타겟 항목에 대해 형식 기준에 기반한 형식 기준 평가를 수행하는 형식 기준 평가부,
   상기 복수의 타겟 항목에 대해 텍스트 추론에 기반한 내용 기준 평가를 수행하는 내용 기준 평가부, 및
   상기 가중치를 토대로, 상기 형식 기준 평가부 및 상기 내용 기준 평가부의 평가 결과를 결합하여 상기 복수의 타겟 항목 각각에 대한 평가 결과를 생성하는 평가 결과 생성부를 포함하는 품질 평가 시스템.
8. 제7항에 있어서,
   상기 평가 결과 생성부는,
   과제 관리 시스템으로부터 상기 타겟 연구개발 문서에 대한 평가 결과를 수신하고, 상기 평가 결과 생성부를 통해 상기 복수의 타겟 항목 각각에 대해 생성된 평가 결과와 상기 과제 관리 시스템으로부터 수신된 평과 결과를 결합하여, 상기 타겟 연구개발 문서에 대한 최종 품질 평가 결과를 생성하는 품질 평가 시스템.
9. 평가 시스템의 연구개발 문서의 품질 평가 방법에 있어서,
   평가가 완료된 복수의 연구개발 문서들을 평가 모델 생성을 위한 후보 연구개발 문서들로 선택하는 단계,
   후보 연구개발 문서들을 이용한 학습을 통해 평가 모델을 생성하는 단계, 및
   평가 대상이 되는 타겟 연구개발 문서가 입력됨에 따라, 상기 평가 모델을 이용하여 상기 타겟 연구개발 문서에 대한 품질 평가를 수행하는 단계를 포함하는 품질 평가 방법.
10. 제9항에 있어서,
    상기 후보 연구개발 문서들을 선택하는 단계는,
    상기 평가가 완료된 복수의 연구개발 문서들 중 평가 결과가 소정 수준 이상인 연구개발 문서를 상기 후보 연구개발 문서로 선택하는 단계를 포함하는 품질 평가 방법.
11. 제10항에 있어서,
    상기 평가 모델을 생성하는 단계는,
    상기 후보 연구개발 문서로부터 추출된 항목들 간의 연관성 링크 및 상기 연관성 링크로 연결되는 항목들 사이에 준수되어야 하는 연관성 규칙을 평가 기준 후보로 획득하는 단계, 및
    상기 평가 기준 후보들을 이용하여 상기 평가 모델에 포함되는 평가 기준을 생성하는 단계를 포함하는 품질 평가 방법.
12. 제11항에서,
    상기 평가 기준 후보로 획득하는 단계는,
    파싱을 통해, 상기 후보 연구개발 문서들로부터 복수의 후보 항목을 추출하는 단계,
    상기 복수의 후보 항목 각각에 대해 비교 대상으로 선택 가능한 모든 항목에 대한 연결성 링크를 설정하는 단계,
    상기 복수의 후보 항목 각각에 대해 설정된 연결성 링크에 복수의 연관성 규칙을 적용하여 평가 결과를 획득하는 단계, 및
    상기 복수의 연관성 규칙을 적용하여 획득한 평가 결과들을 분석하여 상기 평가 기준 후보를 선택하는 단계를 포함하는 품질 평가 방법.
13. 제12항에서,
    상기 평가 기준을 생성하는 단계는,
    과제 관리 시스템으로 상기 평가 기준 후보에 대한 정보를 전달하는 단계, 및
    상기 과제 관리 시스템으로부터 입력되는 제어 입력에 기반하여, 상기 평가 기준 후보를 상기 평가 기준으로 선택하거나, 상기 평가 기준 후보를 수정하여 상기 평가 기준을 생성하는 단계를 포함하는 품질 평가 방법.
14. 제10항에 있어서,
    상기 품질 평가를 수행하는 단계는,
    파싱을 통해, 상기 타겟 연구개발 문서에 포함된 복수의 타겟 항목을 추출하는 단계,
    상기 복수의 타겟 항목 각각에 대해, 대응하는 형식 기준에 기반한 형식 기준 평가를 수행하는 단계,
    상기 복수의 타겟 항목 각각에 대해, 상기 평가 모델 및 텍스트 추론에 기반한 내용 기준 평가를 수행하는 단계, 및
    상기 형식 기준 평가의 평가 결과 및 상기 내용 기준 평가의 평가 결과를 이용하여, 상기 타겟 연구개발 문서에 대한 품질 평가 결과를 생성하는 단계를 포함하는 품질 평가 방법.
15. 제9항 내지 제14항 중 어느 한 항의 방법을 실행시키기 위해 기록매체에 저장된 프로그램.

Images