KR20220056286A - 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템 - Google Patents

Abstract

직무능력 표준 설명서로부터 직무 내용을 구조적으로 추출하여 정형화된 직무 지식 베이스를 구축하고, 직무시험 문항의 패턴을 설정하고 직무지식 데이터와 문항 패턴 간의 매핑 구조를 규격화 하여, 원하는 직무 분야의 문항을 자동으로 추출하는, 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템에 관한 것으로서, 직무 표준 설명서에서 직무 지식을 수집하는 직무지식 수집부; 수집된 직무지식을 정형화 하여 직무지식 베이스를 구축하는 직무지식 구축부; 문항 패턴을 설정하는 문항패턴 설정부; 문항패턴에 직무지식의 매핑 구조를 규격화 하는 매핑구조 설계부; 출제할 문제의 출제 분야, 문제 난이도를 입력받는 출제요청 입력부; 및, 출제요청에 따라 문항을 추출하는 문항 추출부를 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 비정형의 NCS 직무 지식을 정형화 하여 직무역량 문항을 자동으로 추출함으로써, 직무지식 시험문항을 출제하기 위한 시간과 비용을 획기적으로 줄일 수 있다.

Description

지식 베이스를 이용한 직무시험 문항 자동 추출 시스템 { An automatic job test question extraction system using knowledge base }

본 발명은 직무능력 표준 설명서로부터 직무 내용을 구조적으로 추출하여 정형화된 직무 지식 베이스를 구축하고, 직무시험 문항의 패턴을 설정하고 직무지식 데이터와 문항 패턴 간의 매핑 구조를 규격화 하여, 원하는 직무 분야의 문항을 자동으로 추출하는, 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템에 관한 것이다.

정부 또는 공공기관에서 산업현장의 직무능력 향상 및 이를 위한 교육훈련을 위하여 산업현장의 직무들에 필요한 지식을 체계화 하고 표준화 하고 있다. 일례로서, 산업현장의 직무를 성공적으로 수행하기 위해 필요한 능력(지식, 기술, 태도)을 국가직무능력표준(NCS: National Competency Standards)으로 체계화하고 표준화하고 있다. 또한, NCS의 능력 단위를 교육훈련에서 학습할 수 있도록, 교수 및 학습 자료들을 NCS 학습모듈로 작성하고 있다.

한편, 이러한 NCS 체계에 따라 각 학습자의 직무 지식 수준을 평가하는 평가 도구가 필요하다. 가장 기본적인 평가 도구는 직무 지식에 대한 문제를 출제하여 그 평가 점수로 직무지식 수준을 평가할 수 있다.

일반적으로, 문제 출제자들은 정해져 있는 문제 유형에 따라 직접 문제를 만들거나 문제은행 데이터베이스에 저장된 문제들을 추출하여 문제를 만든다. 직접 문제를 만드는 방법에는 출제자의 업무량이 과다하고 또한 출제 문제의 오류가 발생할 수 있는 문제가 있다. 또한, 문제은행 데이터베이스를 이용하는 방법도 문제은행을 구축하기 위해 많은 문제를 직접 출제해두어야 하는 문제가 있다. 이를 위해, 어학분야 등에서 문제를 자동으로 추출하는 기술들이 제시되고 있다[특허문헌 1,2,3].

그런데 NCS의 직무 지식은 각 산업 분야별 지식으로 구성되므로 그 내용이 비정형적이고 방대하다. 따라서 각 산업분야별 직무 지식 문제를 출제하기 위해 많은 시간과 비용이 소요된다. 특히, 최근 국내의 정부기관과 기업들의 직무 중심 채용이 크게 확대되고 있어 이에 대한 수요가 증가되고 있다. 이러한 수요에 대해, 인터넷 강의나 교재 등이 개발되고 있지만 이는 수기로 개발되어 추가적인 비용이 지속적으로 발생하고 있다.

따라서 직무지식에 대한 문제 문항을 자동으로 추출하는 기술이 필요하다.

한국 등록특허공보 제10-2149961호(2020.09.07.공고) 한국 등록특허공보 제10-2125341호(2020.06.22.공고) 한국 등록특허공보 제10-1775644호(2017.09.05.공고)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 직무능력 표준 설명서로부터 직무 내용을 구조적으로 추출하여 정형화된 직무 지식 베이스를 구축하고, 직무시험 문항의 패턴을 설정하고 직무지식 데이터와 문항 패턴 간의 매핑 구조를 규격화 하여, 원하는 직무 분야의 문항을 자동으로 추출하는, 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템을 제공하는 것이다.

특히, 본 발명의 목적은 국가에서 발행하는 NCS의 비정형 데이터들을 수집하여 정형 데이터로 변환하고, 변환된 데이터를 전처리 후 자연어 처리 과정을 통한 NCS 데이터를 구축하는, 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템을 제공하는 것이다.

또한, 본 발명의 목적은 구축된 NCS 데이터에서 직무역량 문항으로 추출할 수 있는 규칙과 패턴을 도출하여, 이를 패턴 지식베이스로 구성하여 이를 처리할 수 있는 패턴 인식 방법과 직무 평가 문항을 생성하는, 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템에 관한 것으로서, 직무 표준 설명서에서 직무 지식을 수집하는 직무지식 수집부; 수집된 직무지식을 정형화 하여 직무지식 베이스를 구축하는 직무지식 구축부; 문항 패턴을 설정하는 문항패턴 설정부; 문항패턴에 직무지식의 매핑 구조를 규격화 하는 매핑구조 설계부; 출제할 문제의 출제 분야, 문제 난이도를 입력받는 출제요청 입력부; 및, 출제요청에 따라 문항을 추출하는 문항 추출부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템에 있어서, 상기 직무표준 설명서는 NCS(National Competency Standards) 학습모듈인 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템에 의하면, 비정형의 NCS 직무 지식을 정형화 하여 직무역량 문항을 자동으로 추출함으로써, 직무지식 시험문항을 출제하기 위한 시간과 비용을 획기적으로 줄일 수 있는 효과가 얻어진다.

도 1은 직무데이터기반 직무 역량 문항 자동 생성 전체 프로세스에 대한 도면.
도 2는 직무역량 평가 문항 구성 절차에 대한 도면.
도 3은 학습모듈 메타 구조에 대한 도면.
도 4는 학습모듈 메타 구조별 예시에 대한 도면.
도 5는 학습모듈 전문 중 일부 예시에 대한 도면.
도 6은 문항 패턴별 메타 참조 Mapping Table에 대한 도면.
도 7은 문항유형 분류별 상세 연관 메타 데이터(객관식)에 대한 예시도.
도 8은 문항유형 분류별 상세 연관 메타 데이터(선택형)에 대한 예시도.
도 9는 문항유형 분류별 상세 연관 메타 데이터(단답형)에 대한 예시도.
도 10은 문항유형 분류별 상세 연관 메타 데이터(서술형)에 대한 예시도.
도 11은 문항유형 분류별 상세 연관 메타 데이터(자기보고식)에 대한 예시도.
도 12는 메타별 문항 형식 예시도.
도 13 내지 도 16은 직무기술서 및 학습 모듈기반의 Mapping Table 설계에 대한 예시도.
도 17은 Mapping Table기반의 객관식, 주관식 문항 생성 방안 예시도.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 전체 프로세스를 설명한다.

도 1은 직무 역량 평가 문항 자동 생성에 대한 전체 프로세스를 도식화한 결과이다.

○ 첫째, 국가에서 제시한 NCS데이터인 직무기술서(.hwp)와 학습모듈(.pdf)를 자동으로 수집을 진행함

○ 둘째, 수집된 한글파일과 PDF파일을 PDF파서와 한글파서를 기반으로 파일 메타 및 컨텐츠를 감지하여 비정형 데이터를 정형 데이터로 변환시킴

○ 셋째, 변환시킨 데이터를 기반으로 형태소분석 및 키워드 추출을 하여 정의된 패턴 지식베이스를 기반으로 직무역량 문항을 추출함

○ [그림 2]는 직무 역량 평가 문항을 구성하기 위한 절차임

○ Process1은 학습모듈 파일을 자동으로 수집하는 단계로 NCS학습모듈 개방 사이트를 통해 학습모듈 파일을 자동으로 수집함

○ Process2는 학습모듈 파일 주고 분석 단계로 NCS 학습모듈 PDF 파일의 학습모듈을 구성하는 메타데이터들의 계층적 구조와 특징을 분석함

○ Process3는 학습모듈 메타 구조별 특징 분석 단계로서 NCS학습모듈의 메타구조별로 구성하는 텍스트 및 직무내용들의 관련 중요도 및 관계를 파악함

○ Process4는 학습모듈의 메타별 문항 유형을 설계하는 단계로서 NCS 학습 모듈의 메타특징에 따른 문항 유형 파악과 문항 유형별로 중요한 주요 내용을 설계함

○ Process5은 학습모듈 문항 구성 패턴을 설계하는 단계로 설계된 문항 구조에 따라 자동 문항 구성을 위한 패턴을 설계하여 문항을 자동으로 구성하기 위한 기초 단계임

○ Process6은 학습모듈 문항 구성 패턴 설계 단계로 실제 설계된 문항 구조에 따라 자동적으로 문항을 구성하기 위해 패턴을 자동 생성하는 단계임

○ Process7은 문항 구성 패턴 알고리즘 구현 단계로서 실제 문항 구성 패턴에 따라 자동으로 문항 알고리즘을 추출하는 구현 단계임

다음으로, 직무역량 평가 문항 구성 절차를 설명한다.

○ 학습모듈의 메타들을 분석하면 [그림 3]과 같은 메타구조를 띄고 있으며 학습모듈이 개편이 되어도 학습모듈 작성 가이드가 있어 패턴들은 유사함

○ 학습모듈의 메타 구조별 예시는 [그림 4]와 같으며 전문은 [그림 5]와 같음

○ [그림 6]는 수집된 데이터를 기반으로 각 문항 패턴별로 어떤 메타들을 참조해야 하는지를 규정해놓은 Mapping Table 중 일부임

○ [그림 7]부터 [그림 11]까지는 문항 유형별 문항 코드 및 답안 유형을 규정하고 Mapping테이블에서 표기한 메타들을 트리구조를 기반으로 추적할 수 있도록 규정해놓은 표임

○ [그림 12]은 학습모듈 메타별 문항 형식의 예시를 도식화하고 문항 형식별로 템플릿을 나눈 예시임

○ [그림 13]부터 [그림 16]까지는 NCS학습모듈에서 Mapping Table을 구성하기 위해 설계한 과정을 표현한 것의 일부 예시임

○ [그림 17]은 Mapping Table을 기준으로 추출된 문항의 일부 예시를 설계한 자료임

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 학습자 단말 11 : 클라이언트
30 : 출제 서버
40 : 데이터베이스
80 : 네트워크

Claims (2)

1. 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템에 있어서,
   직무 표준 설명서에서 직무 지식을 수집하는 직무지식 수집부;
   수집된 직무지식을 정형화 하여 직무지식 베이스를 구축하는 직무지식 구축부;
   문항 패턴을 설정하는 문항패턴 설정부;
   문항패턴에 직무지식의 매핑 구조를 규격화 하는 매핑구조 설계부;
   출제할 문제의 출제 분야, 문제 난이도를 입력받는 출제요청 입력부; 및,
   출제요청에 따라 문항을 추출하는 문항 추출부를 포함하는 것을 특징으로 하는 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템.
   
2. 제1항에 있어서,
   상기 직무표준 설명서는 NCS(National Competency Standards) 학습모듈인 것을 특징으로 하는 지식 베이스를 이용한 직무시험 문항 자동 추출 시스템.
   

Images