KR20230080113A - 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 전자 문서 학습용 컨텐츠 내에서 문항의 영역과 유형을 자동으로 추출하는 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템은 전자 문서를 등록하는 입력부와, 전자 문서에 포함되는 학습용 컨텐츠에서 문항의 영역과 유형을 자동 추출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 문항이 존재하는 페이지를 추출하고, 추출된 페이지에서 문항의 영역 및 유형을 추출하고, 문항 정보 데이터베이스를 구축한다.

Description

전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템 및 그 방법{SYSTEM AND METHOD FOR EXTRACTING LOCATION AND TYPE OF QUESTION AUTOMATICALLY IN LEARNING CONTENTS IN THE FORM OF ELECTRONIC DOCUMENTS}

본 발명은 전자 문서 학습용 컨텐츠 내에서 문항의 영역과 유형을 자동으로 추출하는 시스템 및 그 방법에 관한 것이다.

전통적인 인쇄 출판 방식에서 벗어나, 전자 문서, 전자책을 이용한 학습 컨텐츠 제공이 보편화되는 추세이다.

종래 기술에 따르면, 전자 문서 형식의 학습용 컨텐츠 제공에 따라, PC, 랩탑, 스마트폰, 태블릿 PC 등을 이용하여 시간적, 공간적 제약 없이 온라인 학습을 수행할 수 있다.

그런데, 종래 기술에 따르면 단지 종이 책에서 전자 문서로, 컨텐츠를 담는 방식만이 바뀌었을 뿐, 전자 문서의 특성을 이용한 다양한 서비스를 제공하여 학습자로 하여금 보다 편리하게 학습을 수행할 수 있도록 하는 플랫폼의 제공이 이루어지지 못한 한계가 있다.

종래 기술에 따르면 학습용 컨텐츠에서 이용자가 수동으로 문항 영역을 지정하는 방식을 통해 데이터를 추출하고자 하는 제안이 있었으나, 이는 인터랙션 측면에서 학습자의 다양한 니즈를 반영하기 어려운 문제점을 여전히 내포하고 있다.

또한, 전자 문서 내 문항 텍스트 정보를 수집하고, 문제 풀이 데이터를 생성하는 방식은 데이터 용량이 크고, 특수기호, 수학기호, 이미지 등에 대한 정보 수집이 불가한 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 기계학습을 이용하여 전자 문서 학습용 컨텐츠 내에서 문항 영역 및 유형을 자동으로 추출하여 저장하는 것이 가능한 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 전자 문서 학습용 컨텐츠 내에서 문항의 영역과 유형을 자동으로 추출하는 시스템 및 그 방법에 관한 것이다.

본 발명에 따른 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템은 전자 문서를 등록하는 입력부와, 전자 문서에 포함되는 학습용 컨텐츠에서 문항의 영역과 유형을 자동 추출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 문항이 존재하는 페이지를 추출하고, 추출된 페이지에서 문항의 영역 및 유형을 추출하고, 문항 정보 데이터베이스를 구축한다.

상기 프로세서는 문항, 답안, 해설 및 정답 정보를 검출하는 객체 검출 모델을 이용하여 자동 추출을 수행한다.

상기 프로세서는 진위형, 선택형, 연결형, 단답형, 완성형, 서술형 중 적어도 어느 하나를 포함하는 기준으로 상기 문항의 유형을 추출한다.

상기 프로세서는 상기 문항의 정보와, 정답 및 해설 정보를 추출하고, 이들의 매칭 여부를 확인하여 객체 검출 모델의 정확도를 확인하고, 매칭 기준이 충족되지 않는 경우 임계값을 조절하고, 매칭 기준이 충족되는 경우 상기 문항에 대한 세부 영역을 추출한다.

상기 프로세서는 상기 문항의 유형 별로 보기 번호 영역, 보기 텍스트 영역의 존재 여부, 서술형 단답을 작성하기 위한 답안 영역의 존재 여부, 진위 여부를 선택할 수 있는 보기 영역의 존재 여부, 쌍으로 이루어진 답지군 영역의 존재 여부 및 보기 영역과 답안 입력 영역이 포함되어 있는지 여부를 확인한다.

본 발명에 따르면, 학습용 컨텐츠로부터 문항의 영역과 유형을 함께 예측하고, 문항 영역 내에서 그 유형에 따른 세부 영역을 검출하고, 검출된 정보를 저장함으로써, 학습용 컨텐츠 내에서 객체 검출 속도와 신뢰성을 높이는 것이 가능한 효과가 있다.

본 발명에 따르면, 문항 데이터의 영역을 좌표로 저장하게 되므로, 데이터 용량이 줄어들며, 수학기호나 이미지에 구애받지 않고 문항 정보를 저장하는 것이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 문제지의 객체 영역을 도시한다.
도 3은 본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 방법을 도시한다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템을 도시한다.

본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템은 전자 문서를 등록하는 입력부(110)와, 상기 전자 문서에 포함되는 학습용 컨텐츠에서 문항의 영역과 유형(라벨)을 자동 추출하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 문항이 존재하는 페이지를 추출하고, 추출된 페이지에서 문항의 영역 및 유형을 추출하고, 문항 정보 데이터베이스를 구축한다.

프로세서(130)는 기학습된 객체 검출 모델을 이용하는데, 이러한 객체 검출 모델은 문항, 답안, 해설 및 정답 정보를 검출하기 위한 모델로서. 머신 러닝(Machine Learning) 알고리즘, 인공 신경망 알고리즘 등이 이용될 수 있다

프로세서(130)는 문항 유형과 관련하여, 문항의 영역 내에 존재하는 문항의 유형을 진위형, 선택형, 연결형, 단답형, 완성형, 서술형 중 적어도 어느 하나를 포함하는 기준을 이용하여 분류를 수행한다.

프로세서는 객체 검출 모델을 이용하여 클래스 스코어(확률값)이 가장 높은 항목을 예측하고, ROI(관심 영역)을 찾아서 좌표값을 예측한다.

프로세서(130)는 문항이 존재할 것으로 추정되는 영역을 추정한다. 이 때, 프로세서는 입력 이미지에서 객체가 존재할 것으로 예상되는 영역을 빠른 속도로 찾아내며, 사각형 모양의 바운딩 박스(Bounding Box) 안의 이미지 형태인 추정 영역에 대해 그 크기를 동일하게 만든 후, CNN(Convolutional Neural Network)을 거쳐 분류를 수행하고, 컨피던스 스코어(confidence score) 값을 이용하여 객체를 예측하게 된다.

다른 예로서, 프로세서(130)는 이미지의 각 영역에 대해 객체 영역, 비객체 영역으로 분류를 수행하고, 예측된 객체 영역 중에서 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류한다.

또 다른 예로서, 프로세서(130)는 이미지의 각 영역에 대해 객체 영역, 비객체 영역으로 분류를 수행하되, 복수의 분류기를 통해 나온 결과를 앙상블하여 객체의 유형을 예측한다.

프로세서(130)는 문항의 영역 내에서 문제 번호, 문제, 보기 번호, 보기, 답안 입력에 해당하는 위치 정보를 추출한다.

프로세서(130)는 문항 영역 내 필요한 추가 위치를 생성한다.

프로세서(130)는 학습용 컨텐츠 내에서 객체의 영역과 유형을 분류하되, 객체의 유형과 관련하여서는 문항인지, 또는 정답과 해설인지 여부를 예측한다.

프로세서(130)는 문항의 정보를 추출하고, 정답과 해설 정보를 추출하며, 추출된 정보들을 비교하여 객체 검출 모델이 예측한 값의 정확도를 확인한다.

이를 통해, 프로세서(130)는 매칭 기준이 충족되지 않는 경우, 임계값을 조절하게 된다.

프로세서(130)는 매칭 기준이 충족되는 것으로 확인하면, 문항의 유형 별로 세부 영역을 추출한다.

프로세서(130)는 검출된 문항 영역에서 세부 영역을 검출하는데, 이 때 문항의 유형 별로 보기 번호 영역, 보기 텍스트 영역의 존재 여부, 서술형 단답을 작성하기 위한 답안 영역의 존재 여부, 진위 여부를 선택할 수 있는 보기 영역의 존재 여부, 쌍으로 이루어진 답지군 영역의 존재 여부 및 보기 영역과 답안 입력 영역이 포함되어 있는지 여부를 확인한다.

프로세서(130)는 세부 영역을 검출함에 있어서 객체의 영역과 유형을 찾는 객체 검출 모델과는 상이한 제2 객체 검출 모델을 사용하거나, 텍스트 분석을 통해 객체의 정보를 추출하는 것이 가능하다.

프로세서(130)는 전자 문서 뷰어를 통해, 위치 정보와 함께 전자 문서의 정보를 제공한다.

프로세서(130)는 예측한 객체의 유형 별로 검출된 객체 정보(문항 정보)를 저장한다.

본 발명의 다른 실시예에 따르면, 프로세서(130)는 문항 영역 및 유형의 동시 추출을 수행하는 과정에서, i) 학습 과정에서 습득된 문항 영역 및 유형의 특징 정보 또는 ii) 출판사별 데이터베이스에 포함된 문항 영역 및 유형의 특징 정보를 고려하여 추출의 속도를 향상시키는 것이 가능하다.

예컨대, 'AA 교육' 출판사가 출판한(또는 e-book으로 발행한) 문제집의 경우, 개념별 테스트, 서술형 테스트, 사고력 테스트, 창의/융합/코딩 테스트, 중간고사/기말고사 기본 테스트 별로 문항이 표시되는 형태가 동일하거나 유사하다.

프로세서(130)는 각 테스트 항목(개념별 테스트, 서술형 테스트, 사고력 테스트, 창의/융합/코딩 테스트, 중간고사/기말고사 기본 테스트)별로 문항 영역과 유형을 동시 추출하는 과정에서 객체 검출 모델 및 문항 정보 데이터베이스를 갱신하며 학습을 수행하고, 학습된 결과를 바탕으로 후속하여 분류하게 되는 문항 영역 및 유형에 대한 추출 속도를 증가시킬 수 있다.

또는, 프로세서(130)는 출판사별 데이터베이스에 포함된 특징정보(예컨대, AA교육의 중학교 2학년 수학 문제집, RR교육의 중학교 1학년 수학 문제집 등, 출판사별로 각각의 테스트 항목과 각각의 테스트 항목이 표시되는 형태 정보를 특징 정보로 저장한 것으로, 이 때의 형태 정보는 그래픽, 이미지, 글씨체, 색상, 배치 위치 등을 포함할 수 있다)를 이용하여, 문항 영역과 유형을 동시에 추출하는 것이 가능하다. 이를 통해, 추출된 페이지 내에서 전체 영역에 대한 스캔(scan) 및 분류를 수행하지 않고, 특징 정보를 토대로 문항의 영역과 유형을 보다 빠르게 추출하는 것이 가능하다.

도 2는 본 발명의 실시예에 따른 문제지의 객체 영역을 도시한다.

프로세서(130)는 검출된 문항 영역 내에, 문항 번호 영역과 문항 텍스트 영역이 포함되어 있는지를 판단하고, 문항 번호 영역(QN)과 문항 텍스트 영역(QT)이 포함되어 있으면, 해당 객체를 문항 단위 객체로 결정한다.

문항 단위 객체가 결정되면, 보기 번호 영역(EN1 내지 EN5), 보기 텍스트 영역(ET1 내지 ET5)의 존재 여부, 서술형 단답을 작성하기 위한 답안 영역(ab)의 존재 여부, 진위(O, X) 여부를 선택할 수 있는 보기 영역의 존재 여부, 쌍으로 이루어진 보기 번호 영역인 답지군 영역의 존재 여부, 및 보기 영역과 답안 입력 영역의 존재 여부를 통해 문항의 유형을 결정한다.

문항 유형 결정에 따라, 검출된 해당 객체에 대한 페이지 정보 및 좌표 정보를 저장하게 된다.

도 3은 본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 위치 및 유형 자동 추출 방법을 도시한다.

본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 위치 및 유형 자동 추출 방법은 학습용 컨텐츠를 수신하는 단계(S310)와, 객체 검출 모델 기반으로 객체의 영역과 유형을 동시에 예측하는 단계(S320)와, 문항 정보를 추출하고, 정답 및 해설 정보를 추출하는 단계(S330)와, 문항, 정답 및 해설 정보의 매칭 여부를 확인하는 단계(S340)와, 문항 유형 별 세부 영역을 추출하는 단계(S350) 및 객체 유형 별로 추출된 객체 정보를 저장하는 단계(S360)를 포함한다.

S320 단계는 학습용 컨텐츠 내에서 객체의 영역과 유형을 동시에 예측함에 있어서, 객체의 유형과 관련하여서는 문항인지, 또는 정답과 해설인지 여부를 예측한다.

S320 단계는 영역 추정 방식에 따라 사각형 모양의 바운딩 박스(Bounding Box) 안의 이미지 형태인 추정 영역에 대해 그 크기를 동일하게 만든 후, CNN(Convolutional Neural Network)을 거쳐 분류를 수행하고, 컨피던스 스코어(confidence score) 값을 이용하여 객체의 영역을 추정한다.

S320 단계는 이미지의 각 영역에 대해 객체 영역, 비객체 영역으로 분류를 수행하고, 예측된 객체 영역 중에서 검출 결과에 매칭되는 영역을 정상 검출 영역으로 분류하는 것이 가능하다.

S320 단계는 이미지의 각 영역에 대해 객체 영역, 비객체 영역으로 분류를 수행하되, 복수의 분류기를 통해 나온 결과를 앙상블하여 객체의 유형을 예측하는 것이 가능하다.

S320 단계는 문항 유형과 관련하여, 문항의 영역 내에 존재하는 문항의 유형을 진위형, 선택형, 연결형, 단답형, 완성형, 서술형 중 적어도 어느 하나로 분류한다.

S320 단계는 문항의 영역 내에서 문제 번호, 문제, 보기 번호, 보기, 답안 입력에 해당하는 위치 정보를 추출한다.

S330 단계는 정보를 추출함에 있어서, 단원 정보, 문제 수, 문제 종류, 문제 번호, 문제 유형, 페이지 정보를 추출한다.

S340 단계는 S330 단계에서 추출된 문항 정보, 정답 및 해설 정보를 이용하여 객체 검출 모델이 예측한 값의 정확도를 확인한다.

S340 단계에서 매칭 여부가 기준 이하인 것으로 확인되면, 임계값을 조절하는 단계를 수행하게 된다.

S350 단계는 S340 단계에서의 확인 결과 매칭 기준이 충족되는 것으로 확인하면, 문항의 유형 별로 세부 영역을 추출한다.

S350 단계는 문항의 유형 별로 보기 번호 영역, 보기 텍스트 영역의 존재 여부, 서술형 단답을 작성하기 위한 답안 영역의 존재 여부, 진위 여부를 선택할 수 있는 보기 영역의 존재 여부, 쌍으로 이루어진 답지군 영역의 존재 여부 및 보기 영역과 답안 입력 영역이 포함되어 있는지 여부를 확인한다.

이 때, S350 단계는 S320 단계에서의 객체 검출 모델과는 상이한 제2 객체 검출 모델을 사용하거나, 텍스트 분석을 통해 객체의 정보를 추출하는 것이 가능하다.

S360 단계는 객체의 유형 별로 검출된 객체 정보를 저장하고, 전자 문서 뷰어를 통해 객체의 위치 정보와 함께 전자문서 정보를 디스플레이하도록 제어한다.

한편, 본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 위치 및 유형 자동 추출 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 위치 및 유형 자동 추출 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 전자 문서 학습용 컨텐츠 내 문항 위치 및 유형 자동 추출 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 전자 문서 학습용 컨텐츠 내 문항 위치 및 유형 자동 추출 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 전자 문서 학습용 컨텐츠 내 문항 위치 및 유형 자동 추출 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims (5)

1. 전자 문서를 등록하는 입력부;
   상기 전자 문서에 포함되는 학습용 컨텐츠에서 문항의 영역과 유형을 자동 추출하는 프로그램이 저장된 메모리; 및
   상기 프로그램을 실행시키는 프로세서를 포함하고,
   상기 프로세서는 문항이 존재하는 페이지를 추출하고, 추출된 페이지에서 문항의 영역 및 유형을 추출하고, 문항 정보 데이터베이스를 구축하는 것
   인 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템.
   
2. 제1항에 있어서,
   상기 프로세서는 문항, 답안, 해설 및 정답 정보를 검출하는 객체 검출 모델을 이용하여 자동 추출을 수행하는 것
   인 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템.
   
3. 제1항에 있어서,
   상기 프로세서는 진위형, 선택형, 연결형, 단답형, 완성형, 서술형 중 적어도 어느 하나를 포함하는 기준으로 상기 문항의 유형을 추출하는 것
   인 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템.
   
4. 제1항에 있어서,
   상기 프로세서는 상기 문항의 정보와, 정답 및 해설 정보를 추출하고, 이들의 매칭 여부를 확인하여 객체 검출 모델의 정확도를 확인하고, 매칭 기준이 충족되지 않는 경우 임계값을 조절하고, 매칭 기준이 충족되는 경우 상기 문항에 대한 세부 영역을 추출하는 것
   인 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템.
   
5. 제1항에 있어서,
   상기 프로세서는 상기 문항의 유형 별로 보기 번호 영역, 보기 텍스트 영역의 존재 여부, 서술형 단답을 작성하기 위한 답안 영역의 존재 여부, 진위 여부를 선택할 수 있는 보기 영역의 존재 여부, 쌍으로 이루어진 답지군 영역의 존재 여부 및 보기 영역과 답안 입력 영역이 포함되어 있는지 여부를 확인하는 것
   인 전자 문서 학습용 컨텐츠 내 문항 영역 및 유형 자동 추출 시스템.

Images