KR102305863B1 - 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법 - Google Patents

Abstract

본 발명은 블록체인과 인공지능을 활용한 온라인시험 평가시스템(1)에 관한 것으로, 더욱 상세하게는 온라인시험 출제부터 응시 및 채점 등 전반적인 과정에서 생성/제공되는 정보/데이터를 중앙화 시스템(또는 중앙 서버)에 저장하되, 최종 시험지는 A,I 엔진이 과거와 현재 출제 정보를 기반으로 빅데이터 분석하고 난이도와 변별력을 고려하여 완성 후 저장함으로써 사람으로 인한 시험지 유출을 미연에 방지 가능하도록 하는 평가시스템(1)에 관한 것이다. 또한, 상기 정보/데이터는 메타데이터 처리된 이후 블록체인 플랫폼에 저장됨으로써 데이터 보안 성능 강화, 위조/변조 방지 및 중앙화 시스템과의 데이터 교차 검증이 가능한 것에 이점이 있다.

Description

블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법{ONLINE TESTING AND EVALUATION SYSTEM BY USING BLOCKCHAIN PLATFORM AND ARTIFICIAL INTELLIGENCE, AND METHOD THEREOF}

본 발명은 블록체인과 인공지능을 활용한 온라인시험 평가시스템(1)에 관한 것으로, 더욱 상세하게는 온라인시험 출제부터 응시 및 채점 등 전반적인 과정에서 생성/제공되는 정보/데이터를 중앙화 시스템(또는 중앙 서버)에 저장하되, 최종 시험지는 A,I 엔진이 과거와 현재 출제 정보를 기반으로 빅데이터 분석하고 난이도와 변별력을 고려하여 완성 후 저장함으로써 사람으로 인한 시험지 유출을 미연에 방지 가능하도록 하는 평가시스템(1)에 관한 것이다. 또한, 상기 정보/데이터는 메타데이터 처리된 이후 블록체인 플랫폼에 저장됨으로써 데이터 보안 성능 강화, 위조/변조 방지 및 중앙화 시스템과의 데이터 교차 검증이 가능한 것에 이점이 있다.

온라인 시험평가 시스템은 온라인 기반으로 시험 출제 및 응시를 가능하게 하여, 기존의 종이 방식 시험에 비해 적용의 편의성, 공정성 및 경제성이 향상되도록 하는 시스템에 관한 것이다. 이러한 온라인 시험평가 시스템은 종래의 오프라인 시험의 문제점인 시험문제 사전유출과 같은 문제로 인한 투명성, 형평성 문제를 개선하는 것에 장점이 있으나, 또 다른 문제점들을 발생시킨다.

상세하게는 '데이터의 안정성'의 문제가 발생할 수 있다. 온라인 시험으로 데이터를 안정적으로 관리하여야 하나, 종래의 시스템에서 해당 데이터들은 중앙화 서버에만 저장되어 있기 때문에, 해당 서버에 대한 조작 또는 해킹 등의 문제에서 자유롭지 못하다.

또한, '데이터의 투명성' 문제가 발생 가능하며, 이는 데이터의 안정성과 연장선상에 있는 것이다. 예를 들어 데이터 조작 시 성적표 발급 등 각종 증명과 관련 된 데이터 등을 악의적으로 조작 가능하다.

마지막으로, '형평성' 문제이다. 즉, 기존 에듀테크 시장은 온라인 네트웍에 참여해서 기여하는 모든 사람들이 혜택을 받고 있지 않다. 따라서, 에듀테크 온라인망에서 기여하는 모든 사람들이 공정하게 평가 받을 수 있는 온라인 교육 시스템이 절실히 필요한 실정이다.

블록체인이란 P2P 네트워크에 참여한 피어들 또는 트랜잭션을 생성하기 위한 참여자들이 P2P 네트워크에서 생성된 모든 블록을 복제해 저장하도록 이루어지는 컴퓨터 기반의 탈중앙화된 분산 시스템이다. 종래에는 중앙 집중형 서버에서 데이터 기록, 저장 및 관리가 이루어지는 반면, 블록체인은 거래에 참여하는 모든 사용자가 거래 내역이 저장된 블록들을 공유하며 다수의 노드들이 블록들을 대조하는 방식으로 검증을 수행하기 때문에 데이터 위조 및 해킹을 효과적으로 예방할 수 있어 보안이 우수한 장점을 갖는다. 이러한 블록체인은 다른 파일 시스템에 적용될 경우, 데이터베이스(DB)의 유지보수 및 보안에 따른 막대한 비용을 절감시킬 수 있는 장점으로 인해 그 사용 분야 및 수요도가 기하급수적으로 증가하고 있는 추세이다.

이와 같은 블록체인과 인공지능의 장점을 활용하여, 본 발명의 발명자들은 데이터의 안정성 및 투명성이 한층 개선되어, 종래의 온라인 시험 평가시스템보다 개선된, 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법에 대하여 제시하고자 한다.

국내공개특허 KR 제10-2019-0010515호 '블록체인 관리시스템'

앞서 본 종래 기술의 문제점을 해결하기 위하여 안출된 것으로,

본 발명은 중앙화 서버인 시험관리 서버 외에, 탈중앙화 시스템인 블록체인 플랫폼을 추가로 구비함으로써, 데이터 보안 향상에 따른 데이터의 안정성 및 투명성을 도모하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 시험관리 서버와 블록체인 플랫폼을 함께 구비함으로써 데이터의 교차검증이 가능하여, 추가적인 데이터 보안 향상을 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 중앙화 서버인 시험관리 서버에서 모든 데이터 원본을 별도로 저장하여, 블록체인 네트워크의 장애 발생 시에도 전체적인 시스템의 안정적인 서비스 제공을 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은. 시스템 활용 중 생성되는 데이터 원본 그 자체를 블록체인 플랫폼 상에 저장하는 것이 아니며, 두 번 가공된 데이터를 해당 블록체인 플랫폼 상에 저장함으로써, 활용 용량 최소화 및 그에 따라 필요한 메인넷 플랫폼 사용 수수료를 최소화함으로써, 활용의 현실성 및 비용 절감을 도모하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 시험관리 서버의 데이터와, 블록체인 플랫폼 상의 데이터를 상호 대비 검증하는 검증모듈을 구비함으로써, 데이터 위조 및 변조를 방지하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 제2 가공모듈에 의한 데이터 추출 전 해당 데이터에 대한 암호화 처리를 선행함으로써 출제자 및/또는 응시자의 프라이버시를 보호하도록 하는 온라인시험 평가시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은 시험 출제 전반적인 과정에서 과거와 현재 출제정보 등 빅데이터를 활용하여 변별력, 난이도 등을 반영할 수 있는 인공지능 엔진기술을 구동함으로써, 시험 문제를 개인의 주관적 평가요소보다는 객관적이고 양질의 선진화된 출제를 가능하도록 하며, 시험 출제과정 중에 개인의 주관적 선택 개입을 미연에 차단하여 공정한 시험 관리가 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다

또한, 본 발명은 인공지능 엔진 기반의 인공지능 구동모듈을 통해 출제 시험문제의 변별력 및 난이도의 정교한 제어가 가능함으로써 양질의 시험문제를 제공 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

상세하게는, 본 발명은 변별력 제어모듈 및 난이도 제어모듈을 구비함으로써, 관리자 또는 출제자가 의도한 시험결과(변별력 및 난이도)와 오차 범위 내의 시험결과값을 도출 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 각종 정보/데이터 조회자 정보 역시 블록체인 플랫폼 상에 저장하고 인공지능 구동모듈이 기간 별 조회내역 보고서를 작성 및 서버에 보관함으로써 시험지 유출 등과 같은 보안 문제 발생 시 발 빠른 사후 대처가 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 각종 DB가 데이터 원본과 함께 1차 가공된 메타데이터를 함께 저장함으로써, 중앙화 서버 자체로의 시스템 운용 및 블록체인 플랫폼과의 데이터 대비를 가능하도록 하여 데이터 사후 조작을 막을 수 있도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 구비함으로써, 출제자 및 응시자의 편리한 활용을 도모하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 검증자 인터페이스 제공모듈을 구비함으로써 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제시하여, 성적표가 블록체인 상에 저장되어 위조 및 변조가 되지 않았음을 증명하여 활용에 신뢰감을 부여하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.

본 발명은 앞서 상술한 목적을 달성하기 위하여 다음과 같은 구성을 가진 실시예에 의하여 구현될 수 있다.

본 발명의 일 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템은은 출제자가 시험관리 서버에 접속하여 출제 문제 등을 업로드하는 매개체가 되는 출제자 단말기; 시험 응시자가 시험관리 서버에 접속하여 시험을 응시하는 매개체가 되는 응시자 단말기; 출제자의 시험문제 등록 및 응시자의 시험 응시와 시험 결과내용을 저장하는 시험관리 서버; 및 상기 시험관리 서버에 의하여 가공된 데이터를 저장하는 블록체인 플랫폼;을 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 출제자 단말기에 인터페이스 화면을 제공함으로써 출제자 문제 등록 등을 하도록 구성되는 출제자 인터페이스 제공모듈; 상기 응시자 단말기에 인터페이스 화면을 제공함으로써 시험을 응시하도록 구성되는 응시자 인터페이스 제공모듈; 및 상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통하여 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하는 데이터 처리부;를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 데이터 처리부는 상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통해 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하여 상기 시험관리 서버에 저장하는 제1 가공모듈; 및 상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보에 대하여 추가적인 데이터 추출을 하는 제2 가공모듈;을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 제2 가공모듈은 상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보 및 개별 정보 별 해쉬값 및/또는 타임 스탬프 및/또는 고유 주소에 대한 정보를 추출하고, 상기 제2 가공모듈에 의하여 추출된 데이터는 블록체인 플랫폼 상에 저장되는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 데이터 처리부는 상기 제2 가공모듈에 의해 데이터 처리되어 블록체인 플랫폼 상에 저장된 정보와, 상기 제1 가공모듈에 의해 데이터 처리되어 시험관리 서버 상에 저장된 정보를 상호 매칭하여 데이터 내용을 검증하는 검증모듈;을 추가로 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 검증모듈은 상기 제1 가공모듈에 의해 메타데이터 처리되어 상기 시험관리 서버에 저장된 정보를 상기 제2 가공모듈을 통해 데이터 추출한 후, 상기 블록체인 플랫폼 상에 저장된 정보와 대비하여 검증하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 제1 가공모듈에 의해 메타데이터 처리되는 개별 정보를 메타데이터 처리 전 개별 정보 원본과 상호 매칭시켜 저장하고, 상기 제2 가공모듈은 메타데이터 처리된 개별 정보에 대하여 암호화 처리 후 추가적인 데이터 추출을 하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 출제자 단말기에 인터페이스 화면을 제공함으로써 출제자 문제 등록 등을 하도록 구성되는 출제자 인터페이스 제공모듈; 상기 응시자 단말기에 인터페이스 화면을 제공함으로써 시험을 응시하도록 구성되는 응시자 인터페이스 제공모듈; 상기 출제자 인터페이스 제공모듈을 통해 등록된 시험문제 및 해답 등의 정보 원본을 저장하는 문제 DB; 총 응시자의 개별 문제에 대한 정답률 및 표준편차 정보를 저장하는 평가기록 DB; 및 상기 문제 DB 및 평가기록 DB를 활용하여 자동 문제 출제를 하는 인공지능 엔진 기반의 인공지능 구동모듈;을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 인공지능 구동모듈은 상기 시험관리 서버의 운영자가 희망하는 난이도 입력값에 따라, 상기 문제 DB로부터 시험문제를 자동 선택하여 시험지를 완성하는 난이도 제어모듈;을 포함하고, 상기 난이도 제어모듈은 상기 문제 DB 및 평가기록 DB로부터 문제 별 정답률을 학습하여 알아낸 이후, 상기 난이도 입력값의 예상 정답률과 근사한 총 정답률을 가지는 문제들을 상기 문제 DB로부터 선택하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 인공지능 구동모듈은 상기 시험관리 서버의 운영자가 희망하는 변별력 입력값에 따라, 문제 DB로부터 시험문제를 자동 선택하여 시험지를 완성하는 변별력 제어모듈;을 포함하고, 상기 변별력 제어모듈은 상기 문제 DB 및 평가기록 DB로부터 문제 별 정답 표준편차값을 학습하여 특정하며, 출제 문제들의 조합이 상기 변별력 입력값의 예상 표준편차값과 근사하도록 하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 출제자 인터페이스 제공모듈은 상기 출제자 단말기 화면을 통해 시험문제 및 해답 정보를 수신하는 문제등록모듈; 및 상기 출제자 단말기 화면을 통해 시험결과 내용 또는 수치를 확인하는 시험결과 확인모듈;을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 응시자 인터페이스 제공모듈은 상기 응시자 단말기 화면에 예정 시험 목록을 표시하여 응시자가 시험 응시하도록 하는 시험응시모듈;을 포함하고, 상기 시험응시모듈은 상기 응시자 단말기 화면에 로그인한 개별 응시자의 개인정보를 표시하는 응시자 정보표시모듈; 및 상기 응시자 단말기 화면에 현재 시험보기 가능한 시험에 대해 시작 선택하도록 표시하는 시작선택모듈;을 포함하고, 상기 시작선택모듈은 시험 시작 시간의 기 설정 시간 전에 활성화되는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험응시모듈은 시험 제외된 응시자의 응시자 단말기 화면에 시작선택모듈을 비활성화시키는 제외표시모듈; 및 개별 응시자에게 할당된 시험 목록을 표시하여 응시자가 알 수 있도록 하는 할당시험 표시모듈; 및 응시자가 시작선택모듈을 통해 시험보기 선택한 경우 상기 응시자 단말기 화면에 시험 문제 및 정답 선택 박스가 표시되는 시험문제표시모듈;을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 인공지능 구동모듈을 통해 완성된 시험지 원본에 대한 정보를 저장하는 출제정보 DB;를 추가로 포함하고, 상기 인공지능 구동모듈은 상기 시험관리 서버 접속을 통해 상기 문제 DB 및/또는 출제정보 DB 및/또는 평가기록 DB에 저장된 정보를 조회한 자에 대한 조회내역 보고서를 작성하는 조회내역 보고서 생성모듈;을 추가로 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 조회내역 보고서 생성모듈이 생성한 조회내역 보고서에 대하여 저장하는 조회내역 보고서 DB;를 추가로 포함하고, 상기 조회내역이란 상기 서버 내에 저장된 시험결과 조회내역, 개별 문제 조회내역, 답안지 조회내역, 응시자 목록 조회 내역 및 출제자 목록 조회 내역 등을 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 블록체인 플랫폼 상에 저장되는 개별 응시자의 성적표를 발급 받으려는 자의 단말기 화면에 표시하는 검증자 인터페이스 제공모듈;을 추가로 포함하고, 상기 검증자 인터페이스 제공모듈은 상기 성적표를 발급 받으려는 자의 단말기 화면에 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제공하는 것을 특징으로 한다.

본 발명은 앞서 본 구성에 의하여 다음과 같은 효과를 가진다.

본 발명은 중앙화 서버인 시험관리 서버 외에, 탈중앙화 시스템인 블록체인 플랫폼을 추가로 구비함으로써, 데이터 보안 향상에 따른 데이터의 안정성 및 투명성을 도모하도록 하는 효과가 있다.

또한, 본 발명은 시험관리 서버와 블록체인 플랫폼을 함께 구비함으로써 데이터의 교차검증이 가능하여, 추가적인 데이터 보안 향상을 가능하도록 하는 효과를 가진다.

또한, 본 발명은 중앙화 서버인 시험관리 서버에서 모든 데이터 원본을 별도로 저장하여, 블록체인 네트워크의 장애 발생 시에도 전체적인 시스템의 안정적인 서비스 제공을 가능하도록 하는 효과를 보인다.

또한, 본 발명은. 시스템 활용 중 생성되는 데이터 원본 그 자체를 블록체인 플랫폼 상에 저장하는 것이 아니며, 두 번 가공된 데이터를 해당 블록체인 플랫폼 상에 저장함으로써, 활용 용량 최소화 및 그에 따라 필요한 메인넷 플랫폼 사용 수수료를 최소화함으로써, 활용의 현실성 및 비용 절감을 도모하도록 하는 효과를 나타낸다.

또한, 본 발명은 시험관리 서버의 데이터와, 블록체인 플랫폼 상의 데이터를 상호 대비 검증하는 검증모듈을 구비함으로써, 데이터 위조 및 변조를 방지하도록 하는 효과가 도출된다.

또한, 본 발명은 제2 가공모듈에 의한 데이터 추출 전 해당 데이터에 대한 암호화 처리를 선행함으로써 출제자 및/또는 응시자의 프라이버시를 보호하도록 하는 효과가 있다.

또한, 본 발명은 시험 출제 전반적인 과정에서 과거와 현재 출제정보 등 빅데이터를 활용하여 변별력, 난이도 등을 반영할 수 있는 인공지능 엔진기술을 구동함으로써, 시험 문제를 개인의 주관적 평가요소보다는 객관적이고 양질의 선진화된 출제를 가능하도록 하며, 시험 출제과정 중에 개인의 주관적 선택 개입을 미연에 차단하여 공정한 시험 관리가 가능하도록 하는 효과를 보인다.

또한, 본 발명은 인공지능 엔진 기반의 인공지능 구동모듈을 통해 출제 시험문제의 변별력 및 난이도의 정교한 제어가 가능함으로써 양질의 시험문제를 제공 가능하도록 하는 효과가 도출된다.

상세하게는, 본 발명은 변별력 제어모듈 및 난이도 제어모듈을 구비함으로써, 관리자 또는 출제자가 의도한 시험결과(변별력 및 난이도)와 오차 범위 내의 시험결과값을 도출 가능하도록 하는 효과를 나타낸다.

또한, 본 발명은 각종 정보/데이터 조회자 정보 역시 블록체인 플랫폼 상에 저장하고 인공지능 구동모듈이 기간 별 조회내역 보고서를 작성 및 서버에 보관함으로써 시험지 유출 등과 같은 보안 문제 발생 시 발 빠른 사후 대처가 가능하도록 하는 효과가 있다.

또한, 본 발명은 각종 DB가 데이터 원본과 함께 1차 가공된 메타데이터를 함께 저장함으로써, 중앙화 서버 자체로의 시스템 운용 및 블록체인 플랫폼과의 데이터 대비를 가능하도록 하여 데이터 사후 조작을 막을 수 있도록 하는 효과를 보인다.

또한, 본 발명은 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 구비함으로써, 출제자 및 응시자의 편리한 활용을 도모하도록 하는 효과가 있다.

또한, 본 발명은 검증자 인터페이스 제공모듈을 구비함으로써 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제시하여, 성적표가 블록체인 상에 저장되어 위조 및 변조가 되지 않았음을 증명하여 활용에 신뢰감을 부여하도록 하는 효과를 가진다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 일 실시예에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 참고도이고;
도 2는 도 1에 따른 온라인시험 평가시스템의 블럭도이고;
도 3은 도 1에 따른 출제자 인터페이스 제공모듈의 블럭도이고;
도 4 내지 도 6은 도 3에 따른 문제등록모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이고;
도 7은 도 3에 따른 응시자 지정모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이고;
도 8은 도 3에 따른 시험결과 확인모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이고;
도 9는 도 1에 따른 응시자 인터페이스 제공모듈의 블럭도이고;
도 10 내지 도 11 은 도 9에 따른 시험응시모듈 구동에 의한 응시자 단말기 화면에 대한 참고도이고;
도 12 내지 도 14는 도 9에 따른 응시자 결과확인모듈에 의한 응시자 단말기 화면에 대한 참고도이고;
도 15은 도 9에 따른 문의사항 등록모듈에 의한 응시자 단말기 화면에 대한 참고도이고;
도 16은 도 2에 따른 데이터 처리부에 대한 블럭도이고;
도 17은 도 2에 따른 검증자 인터페이스 제공모듈에 대한 블럭도이고;
도 18은 도 2에 따른 인공지능 구동모듈에 대한 블럭도이다.

이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시예는 다양한 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것으로 해석되어서는 안 되며 청구범위에 기재된 사항을 기준으로 해석되어야 한다. 또한, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 참고적으로 제공되는 것일 뿐이다.

도 1은 본 발명의 일 실시예에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 참고도이고; 도 2는 도 1에 따른 온라인시험 평가시스템의 블럭도이다.

이하에서는 첨부된 도면들을 참고하여 본 발명의 일 실시예에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템에 대하여 상세히 설명하도록 한다.

도 1 및 도 2를 참고하면, 본 발명은 블록체인과 인공지능을 활용한 온라인시험 평가시스템(1)에 관한 것으로, 더욱 상세하게는 온라인시험 출제부터 응시 및 채점 등 전반적인 과정에서 생성/제공되는 정보/데이터를 중앙화 시스템(또는 중앙 서버)에 저장하되, 최종 시험지는 과거와 현재 출제 정보를 기반으로 A.I 엔진이 빅데이터 분석 및 난이도와 변별력을 고려하여 완성 후 저장함으로써 사람으로 인한 시험지 유출을 미연에 방지 가능하도록 하는 평가시스템(1)에 관한 것이다. 또한, 상기 정보/데이터는 메타데이터 처리된 이후 블록체인 플랫폼에 저장됨으로써 데이터 보안 성능 강화, 위조/변조 방지 및 중앙화 시스템과의 데이터 교차 검증이 가능한 것에 이점이 있다. 이하에서 설명하는 각 구성들은 독립적인 것일 수도, 일체로 형성된 것일 수도 있고 이에 별도의 제한이 없음에 유의하여야 한다.

이를 위하여, 본 발명의 일 실시예에 따른 온라인시험 평가시스템(1)은 출제자 단말기(10), 응시자 단말기(30), 시험관리 서버(50) 및 블록체인 플랫폼(70)을 포함할 수 있다.

출제자 단말기(10)는 출제자가 시험관리 서버(50)에 접근 및 접속 권한을 부여받아, 출제 문제 등을 업로드 가능하도록 하는 매개체가 되는 구성으로, 데스크탑, 노트북, 스마트폰 등 공지된 또는 공지될 임의의 다양한 구성을 포함할 수 있으며, 본 발명의 범위가 특정 수단/장치에 의하여 제한되는 것은 아니다. 예를 들어, 출제자 단말기(10)가 스마트폰인 경우, 특정 앱(application; App)을 설치한 이후 이를 구동시켜 시험관리 서버(30)에 접속할 수 있다. 상세하게는, 후술할 출제자 인터페이스 제공모듈(510)에 의하여 생성되는 출제자 단말기(10) 화면을 통해, 출제자는 상기 시험관리 서버(50)를 활용할 수 있다.

응시자 단말기(30)는 시험 응시자가 시험관리 서버(50)에 접근 및 접속 권한을 부여받아, 출제 문제에 대한 시험을 응시하도록 하는 매개체가 되는 구성으로, 출제자 단말기(10)와 마찬가지로 데스크탑, 노트북, 스마트폰 등 공지된 또는 공지될 다양한 임의의 구성을 포함할 수 있다.

시험관리 서버(50)는 출제자의 시험문제 출제(등록), 응시자의 시험, 서버(50) 접속자의 개별 데이터 조회 정보, 응시 및 응시 결과내용 등 시험 출제부터 응시 결과 확인 과정에서 발생하는 전반적인 정보를 모두 저장하는 구성으로, 이를 위하여, 출제자 인터페이스 제공모듈(510), 응시자 인터페이스 제공모듈(520), 데이터 처리부(530), 접속 DB(540), 문제 DB(550), 출제정보 DB(560), 평가기록 DB(570), 응시자 DB(580), 조회내역 보고서 DB(581), 검증자 인터페이스 제공모듈(582), 인공지능 구동모듈(590)을 포함할 수 있다. 또한, 시험관리 서버(50)는 상기 정보를 원본 상태로 저장함과 동시에, 메타데이터 처리한 가공된 데이터를 함께 저장하는 것이 바람직하나 이에 별도의 제한이 있는 것은 아니다.

하기에서 상세히 설명하겠지만, 본 발명에 따른 평가시스템(1)에서는, 응시자가 블록체인 플랫폼(70) 상에서 시험을 보는 것이 아니라, 시험관리 서버(50)에 접속하여 시험을 보는 것임에 유의하여야 한다. 블록체인 플랫폼(70)은 시험 문제, 응시내역, 시험결과 등에 대한 내용만을 가공하여 저장하는 것이다. 상세한 내용은 후술하도록 한다.

도 3은 도 1에 따른 출제자 인터페이스 제공모듈의 블럭도이다.

도 3을 참고하면, 출제자 인터페이스 제공모듈(510)은 출제자 단말기(10)에 입력 화면을 제공함으로써 출제자 문제 등록 등이 가능하도록 하는 구성으로, 이를 위하여 문제 등록모듈(511), 응시자 지정모듈(513) 및 시험결과 확인모듈(515)을 포함할 수 있다.

도 4 내지 도 6은 도 3에 따른 문제등록모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이다.

도 3 내지 도 6을 참고하면, 문제등록모듈(511)은 출제자 단말기(10) 화면을 통해 시험문제 및 해답 정보를 수신하는 모듈이다. 예를 들어, 출제자 단말기 화면에 문제 난이도, 대상 과목, 지문 유무를 입력하는 박스를 생성하고(도 4 참고), 지문 존재 시 지문 등록, 문제내용, 객관식인 경우 보기내용을 작성하는 박스를 생성하며(도 5 참고), 정답 해설에 대한 박스를 생성하여(도 6 참고) 해당 정보에 대한 내용을 수신할 수 있다. 또한, 경우에 따라 해당 문제를 응시하는 대상학교에 대한 정보 역시 수신 가능하다. 출제자는 이러한 박스를 통해 문제 및 해답 정보를 등록할 수 있다.

더욱 상세하게는, 지문 존재 시 지문 박스에 그리고 문제 박스에 출제자가 지문 내용을 입력한다. 그 후 보기 1번~5번에 각각의 정답 내용을 등록한다. 또한, 정답 해설 박스에 해설 내용을 상세히 기재하여 등록한다. 등록된 정보들은 문제 DB(550)에 문제 별 분류되어 저장되고, 블록체인 플랫폼(70)에 데이터 가공되어 저장된다. 이와 같이, 중앙화 시스템에 구비되는 문제 DB(550)에 모든 정보를 원본 상태 및 필요에 따라 1차 가공된 상태로 등록함과 동시에, 탈중앙화 시스템인 블록체인 플랫폼(70)에 1차 가공된 데이터를 재가공하여 최소한의 정보만을 저장함으로써 데이터 위조 및 변조 방지, 보안 향상 및 비용 절감을 도모하는 것에 그 특징이 있다. 이와 같은 저장 방식에 의하여, 문제 DB(550)는 실질적으로 문제은행의 기능을 수행한다.

도 7은 도 3에 따른 응시자 지정모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이다.

도 3 및 도 7을 참고하면, 응시자 지정모듈(513)은 출제자 단말기(10) 화면을 통해 응시자를 지정하는 모듈이다. 예를 들어, 시험 응시자를 직접 지정할 수도, 시험 응시를 직접 선택한 응시자 목록이 출제자 단말기(10) 화면에 표시된 이후 목록에 표시된 각각의 응시자의 응시 여부를 출제자가 최종 선택하도록 할 수도 있다. 또는, 시험관리 서버(50)에서 응시자를 직접 분류하여 출제자 단말기(10) 화면에 표시하도록 할 수도 있고 이에 별도의 제한이 있는 것은 아니다.

응시자 지정모듈(513)은 응시자 수정모듈(5131)을 포함할 수 있다.

응시자 수정모듈(5131)은 상기 응시자 지정모듈(513)을 통하여 표시된 응시자 목록에서 각각의 응시자에 대한 응시 여부를 수정하도록 하는 모듈이다. 예를 들어, 학생 정보 목록에서 , NO.1, 이름 '이X', 대상 여부 '예' 또는 '아니오' 칸을 클릭 또는 터치 입력하여 응시자에 대한 응시 여부를 수정 가능하도록 할 수 있다.

도 8은 도 3에 따른 시험결과 확인모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이다.

도 3 및 도 8을 참고하면, 시험결과 확인모듈(515)은 출제자 단말기(10) 화면을 통해 시험결과 내용 또는 수치를 확인하도록 하는 모듈로, 시험 응시자 별 결과내용을 출제자 단말기(10) 화면을 통해 알려준다. 예를 들어, 각 응시자별 '응시 여부' 및/또는 '점수' 및/또는 '등수' 및/또는 '등급' 및/또는 '총 응시 시간'에 대한 정보를 표시할 수 있다.

도 9는 도 1에 따른 응시자 인터페이스 제공모듈의 블럭도이다.

도 9를 참고하면, 응시자 인터페이스 제공모듈(520)은 응시자 단말기(30)에 입력 화면을 제공함으로써 시험 응시 및 결과확인이 가능하도록 하는 구성으로, 이를 위하여 시험응시모듈(521), 응시자 결과 확인모듈(523), 문의사항 등록모듈(525)을 포함할 수 있다.

도 10 내지 도 11 은 도 9에 따른 시험응시모듈 구동에 의한 응시자 단말기 화면에 대한 참고도이다.

도 9 내지 도 11을 참고하면, 시험응시모듈(521)은 응시자 단말기(30) 화면에 예정 시험 목록을 표시하여 응시자가 시험 응시를 선택하도록 하는 모듈로, 이를 위하여 응시자 정보표시모듈(5211), 시작선택모듈(5212), 수정모듈(5213), 제외표시모듈(5214), 할당시험 표시모듈(5215), 선택시험 표시모듈(5216) 및 시험문제표시모듈(5217)을 포함할 수 있다.

도 10을 참고하면, 응시자 정보표시모듈(5211)은 응시자 단말기(30) 화면에 로그인한 개별 응시자의 개인정보를 표시하는 모듈로, 예를 들어 '이름' 및/또는 '학교명' 및/또는 '학년' 및/또는 '계열' 및/또는 '선택 과목'을 표시할 수 있다. 또한, 응시자 정보표시모듈(521)에 표시된 응시자 이름을 터치 입력 또는 클릭 시 응시자의 기 등록된 사진이 표시되며, 예를 들어 팝업창이 구동되어 표시될 수 있다.

시작선택모듈(5212)은 응시자 단말기(30) 화면에 현재 문제풀이 가능한 시험에 대하여 시작 선택하도록 표시하는 모듈이다. 예를 들어, 응시자가 클릭 또는 터치 입력하여 '시험 보기' 박스를 선택하는 경우, 시험 문제가 표시될 수 있다. 이러한 '시험 보기' 박스의 경우 시험 시작 시간의 기 설정 시간 전에 활성화될 수 있으며, 예를 들어 시험 시작 시간 10초 전 활성화될 수 있다. 또한, 시작선택모듈(5212)을 통해 구동된 시험 보기 박스를 응시자가 선택한 경우, 시험 유의사항 팝업창이 활성화되며, '동의합니다' 선택 후 시험 보기 박스를 클릭 또는 터치 입력 시 시험을 시작할 수 있으나 이에 별도의 제한이 있는 것은 아니다.

수정모듈(5213)은 시작선택모듈(5212)을 통하여 시험을 본 후 시험지 제출을 완료한 후라도, 더욱 상세하게는 문제 풀이 종료 후 제출하기 버튼을 클릭 또는 터치 입력하여 응시 완료한 후라도, 시험 종료 시각 전까지 문제 풀이를 할 수 있도록 하기 위해 응시자 단말기(30) 화면에 표시되는 모듈이다. 예를 들어, '수정' 박스가 시험 종료 전까지 활성화되며, 클릭 또는 터치 입력 시 답안 내용 수정이 가능하도록 시험 화면이 재표시된다.

제외표시모듈(5214)은 시험 제외된 응시자의 응시자 단말기(30) 화면에 '제외'가 표시되어 응시자의 시험 보기 박스가 비활성화되도록 하는 구성이다.

할당시험 표시모듈(5215)은 응시자에게 할당된 시험 목록을 표시하여 응시자가 알 수 있도록 하는 모듈로, 예를 들어 '할당 시험'이라고 표시되며, 상기 할당 시험에 대한 시험 시작 시간이 임박한 경우 시작선택모듈(5212)이 구동되어 시험 보기 박스가 활성화될 수 있다.

선택시험 표시모듈(5216)은 개별 응시자 별 선택 가능한 시험에 대해, 응시자 단말기(30) 화면에 표시하는 모듈이다. 예를 들어 '선택 시험' 박스가 활성화되어 응시자가 해당 시험을 선택 가능하도록 할 수 있다.

도 11을 참고하면, 시험문제표시모듈(5217)은 응시자가 선택모듈(5212)을 통해 구동되는 시험 응시를 선택한 경우, 응시자 단말기(30) 화면에 시험 문제 및 정답 선택 박스가 표시되는 모듈이다. 시험 풀이 완료 시 '제출하기' 박스를 클릭 또는 터치 입력 시 시험이 종료하나, 수정모듈(5213)을 통해 제출 후에도 다시 시험문제를 풀 수 있음에 유의하여야 한다. 또한, '제출하기' 박스 클릭 또는 터치 입력 후 시험시간이 지나면 응시자의 응시내용(답안지)는 응시자 별 매칭되어 응시자 DB(580)에 원본 형태로, 그리고 필요에 따라 메타데이터 처리되어 저장된다. 그리고, 상기 응시내용은 블록체인 플랫폼(70) 상에 또한 저장되고, 메타데이터를 재차 메타데이터 처리하여, 그리고 필요에 따라 암호화 처리를 추가적으로 수행하여 저장되도록 한다.

도 12 내지 도 14는 도 9에 따른 응시자 결과확인모듈에 의한 응시자 단말기 화면에 대한 참고도이다.

도 9 및 도 12 내지 도 14를 참고하면, 응시자 결과확인모듈(523)은 응시자의 시험 결과 내용을 응시자 단말기(30) 화면에 표시하는 모듈이다. 예를 들어, 시험 별 결과 보기 란에 '보기' 박스가 활성화된 이후(도 12 참고), 이를 클릭 또는 터치 입력 시 '시험 점수' 및/또는 '등급' 및/또는 '표준 점수' 및/또는 '백분위' 정보가 표시될 수 있다(도 13 참고). 또한, 문제 별 '문제 설명' 및/또는 '해설' 내용이 표시되고, 이는 문제등록모듈(511)을 통해 출제자가 등록한 내용이다(도 14 참고). 응시자가 응시자 결과확인모듈(523)에 의하여 자신의 시험결과 내역을 조회하여 본 경우, 상기 조회 정보 역시 응시자 DB(580) 및 블록체인 플랫폼(70) 상에 저장되는 것이 바람직하다.

도 15은 도 9에 따른 문의사항 등록모듈에 의한 응시자 단말기 화면에 대한 참고도이다.

도 15를 참고하면, 문의사항 등록모듈(525)은 응시자가 응시자 단말기(30) 화면을 통해 시험 결과 이의사항을 등록 가능하도록 하는 모듈이다.

도 16은 도 2에 따른 데이터 처리부에 대한 블럭도이다.

도 16을 참고하면, 데이터 처리부(530)는 출제자 인터페이스 제공모듈(510) 및/또는 응시자 인터페이스 제공모듈(520)을 통하여 단말기(10 및/또는 30)로부터 수신한 각종 정보를 가공하는 구성으로, 제1 가공모듈(531), 제2 가공모듈(533) 및 검증모듈(535)을 포함할 수 있다. 추가로, 서버(50)에 접속하여 시험문제, 시험결과 등 개별 정보/데이터를 조회한 자에 대한 이력 역시 모두 데이터 처리부(530)를 통해 가공될 수 있다. 그러므로, 블록체인 플랫폼(70) 상에 조회 이력에 대한 정보 역시 모두 저장 가능하다. 또한, 상기 데이터 처리부(530)는 시험관리 서버(50)와 독립적인 구성일 수도 또는 상기 시험관리 서버(50)에 포함된 구성일 수도 있고 이에 별도의 제한이 있는 것은 아니지만, 단지 편의를 위하여 포함된 것으로 설명하는 것임에 유의하여야 한다.

제1 가공모듈(531)은 출제자 인터페이스 제공모듈(510) 및/또는 응시자 인터페이스 제공모듈(520)을 통하여 단말기(10 및/또는 30)로부터 수신한 각종 정보(데이터)에 대한 메타데이터를 추출하는 모듈로, 메타데이터 처리 후 시험관리 서버(50)의 DB에 저장할 수 있다. 일 예로 시험지 문제 원형에 대한 메타데이터를 추출한 이후, 미가공된 정보 원형과 함께, 시험관리 서버(50)의 문제 DB(550), 출제정보 DB(560), 평가기록 DB(570), 응시자 DB(580) 등에 저장 가능하다.

제2 가공모듈(533)은 제1 가공모듈(531)에 의하여 메타데이터 처리된 개별 정보에 대하여, 또 한번의 메타데이터 처리를 하여 최소한의 정보만을 추출하는 모듈이다. 제2 가공모듈(533)에 의하여 가공처리된 정보는 후술할 블록체인 플랫폼(70)에 저장될 수 있다. 이와 같이 2번의 데이터 가공을 통하여 다음과 같은 이점이 발생한다. 먼저 이더리움과 같은 공개 블록체인은 블록체인 상에 기록되는 데이터 양에 따라 ETH 토큰을 지급하여야 하며, 상세하게는 약 1KB의 데이터를 이더리움 네트워크 상에 저장하기 위해서는 0.03 ETH 토큰이 필요하고, 이를 시세로 환산하면 약 5달러의 비용에 해당한다. 본 발명은 출제, 수험, 평가, 검증 등의 전반적인 정보를 블록체인 플랫폼(70) 상에 저장하지만, 원본 데이터 그 자체를 저장하는 것이 아니고 제1 가공모듈(531)을 통해 메타데이터 처리를 한 후, 다시 한 번 메타데이터 처리 한 최소한의 정보만 블록체인 플랫폼(70) 상에 저장한다. 이러한 제2 가공모듈(533)에 의하여 처리된 정보로는 개별 정보에 대한 해쉬값 및/또는 타임 스탬프 및/또는 고유 주소에 대한 정보일 수 있다. 따라서 최소한의 데이터만을 블록체인 플랫폼(70) 상에 저장함으로써 메인넷 사용 수수료를 최소화하여 사용자 부담을 절감할 수 있다.

또한, 제2 가공모듈(533)은 제1 가공모듈(531)에 의하여 메타데이터 처리된 개별 정보에 대하여 암호화 처리한 이후 데이터 2차 가공을 수행하는 것이 더욱 바람직하다. 이와 같은 암호화 처리에 의하여 출제자 및 응시자 등 개인의 프라이버시가 보호될 수 있다.

검증모듈(535)은 블록체인 플랫폼(70) 상에 저장된 정보와 시험관리 서버(50) 상에 저장된 정보를 상호 매칭 및 대비하여 데이터 내용을 검증하는 모듈이다. 상세하게는, 제1 가공모듈(533)에 의해 가공되어 시험관리 서버(50)에 저장된 정보를 제2 가공모듈(533)을 통해 데이터 추출한 이후, 제2 가공모듈(533)에 의하여 가공되어 블록체인 플랫폼(70) 상에 저장된 정보와 대비하여 검증 가능하도록 한다. 또한, 제2 가공모듈(533)에 의해 암호화 처리된 경우에는, 제1 가공모듈(533)에 의해 가공되어 시험관리 서버(50)에 저장된 정보를 암호화 후 데이터 2차 가공을 한 이후에, 블록체인 플랫폼(70) 상에 저장된 정보와 대비하여 검증할 수도 있다.

도 2를 참고하면, 접속 DB(540)는 각 출제자 및 응시자의 개인정보를 저장하는 구성으로, 예를 들어 출제자의 ID와, 상기 ID와 매칭되는 비밀번호 및/또는 성명 등의 개인정보를 저장한다. 따라서, 출제자 단말기(10) 및 응시자 단말기(30)를 통하여 서버(50) 접속 시도 시 입력된 ID 및 패스워드가 상호 매칭되는지 여부를 판단하여, 상기 서버(50)로의 접속권한을 부여한다.

문제 DB(550)는 문제등록모듈(511)을 통하여 등록된 시험문제 및 해답 등의 정보 원본을 저장하고, 필요에 따라 상기 원본에 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다.

출제정보 DB(560)는 시험문제의 조합에 의하여 완성된 시험지 원본에 대한 정보를 저장하고, 필요에 따라 상기 시험지 원본 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다. 예를 들어, 후술할 인공지능 구동모듈(590)에 의해 완성된 시험지 원본 및 상기 원본에 대해 메타데이터 처리된 정보를 저장한다.

평가기록 DB(570)는 개별 시험 응시자의 시험 평가기록에 대한 내용을 저장하고, 필요에 따라 상기 평가기록에 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다. 또한, 총 응시자의 개별 문제에 대한 정답률 및/또는 표준편차 정보를 저장할 수도 있다.

응시자 DB(580)는 개별 시험 응시자 목록 및 응시자 별 시험 응시내용(답안지)에 대한 정보를 저장하고, 필요에 따라 상기 응시자 목록 정보에 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다. 또한, 응시자 별 시험결과 확인 조회 내역 역시 저장될 수 있다.

이와 같이 각종 DB(550 내지 580)를 통한 정보 저장에 의하여, 중앙화 시스템인 시험관리 서버(50) 그 자체만으로도 본 발명에 따른 시스템(1)을 운영하는 것이 가능하다. 따라서, 블록체인 플랫폼(70) 상에 예기치 못한 장애가 발생한 경우라도 상기 시스템(1)을 활용하는 것에 문제가 발생하지 않는다. 또한, 블록체인 플랫폼(70)과의 데이터 교차 검증을 통해 데이터 보안능력이 한층 향상될 수 있는 것에 그 이점이 있다.

조회내역 보고서 DB(581)는 후술할 조회내역 보고서 생성모듈(595)이 생성한 조회내역 보고서에 대하여 저장하는 구성이다. 예를 들어, 조회내역 보고서 원문 및 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장한다. 조회내역이란 서버(50) 상에 저장된 데이터 중 임의의 데이터를 검색하여 본 내역을 의미하고, 예를 들어 시험결과 조회내역, 개별 문제 조회내역, 답안지 조회내역, 응시자 목록 조회 내역, 출제자 목록 조회 내역 등일 수 있으나 본 발명의 범위가 특정 예시에 의하여 제한되는 것은 아님에 유의하여야 한다.

도 17은 검증자 인터페이스 제공모듈에 대한 참고도이다.

도 2 및 도 17을 참고하면, 검증자 인터페이스 제공모듈(582)은 후술할 블록체인 플랫폼(70) 상에 저장되는 개별 응시자의 성적표를 성적표를 발급받으려는 자의 단말기 화면에(예를 들어 응시자 단말기(30) 화면에) 표시하는 모듈이다. 예를 들어, 검증자 인터페이스 제공모듈(582)을 통해 제공되는 성적표에 대한 정보는 블록체인 플랫폼(70)으로부터 제공받을 수도, 시험관리 서버(50)로부터 제공받을 수도 있고, 바람직하게는 검증모듈(535)을 통해 검증절차를 거친 이후 제공받는다.

이러한 검증자 인터페이스 제공모듈(582)은 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 및 성적표 발급일에 대한 정보를 제공할 수 있다. 이와 같이 TXID를 제시함으로써 성적표가 블록체인 상에 저장되어 위조 및 변조가 되지 않았음을 증명할 수 있다. 또한, 검증자 인터페이스 제공모듈(582)은 응시자 인터페이스 제공모듈(520)의 일 구성일 수도 또는 독립적인 구성일 수도 있고 이에 별도의 제한이 있는 것은 아니다

도 18은 도 2에 따른 인공지능 구동모듈에 대한 블럭도이다.

도 18을 참고하면, 인공지능 구동모듈(590)은, 문제 DB(550) 및/또는 평가기록 DB(570)를 활용하여, 인공지능 엔진을 구동함으로써 자동 문제 출제를 가능하도록 하는 모듈이다. 이러한 인공지능 엔진은 과거의 출제 및 평가 결과를 머신러닝 및/또는 딥러닝 기법을 통해 1차적으로 학습하여 시험 예상 난이도 및 변별력을 관리한다. 예를 들어, 서버(50) 운영자가 희망하는 평가 결과를 평균, 표준편차 등의 수치를 바탕으로 난이도 및 변별력 희망값을 결정하면, 상기 인공지능 구동모듈(590)이 문제 DB(550) 등에 등록된 개별 문제에 대해, 상기 희망값을 기초로 문제를 선정 및 조합하여 시험 출제를 완성한다. 이와 같이 인공지능 엔진을 기반으로 한 인공지능 구동모듈(590)에 의하여 과거 문제 출제데이터 및 현재 출제데이터 등 빅데이터를 직접 분석 및 학습하여 문제 출제를 함으로써, 의도한 시험결과 도출이 용이하고 그에 따른 선진화된 양질의 출제가 가능한 장점이 있다.

이를 위하여, 인공지능 구동모듈(590)은 난이도 제어모듈(591), 변별력 제어모듈(593), 조회내역 보고서 생성모듈(595)을 포함할 수 있다.

난이도 제어모듈(591)은 시험관리 서버(50) 운영자가 희망하는 난이도 입력값(예를 들어, 예상 정답률)에 따라 문제 DB(550)로부터 시험문제를 자동 선택하여 시험지를 완성하는 모듈이다. 예를 들어, 문제 DB(550) 및 평가기록 DB(570)로부터 문제 별 정답률을 학습하여 알아낸 이후, 난이도 입력값의 예상 정답률과 일치하거나 기 설정된 오차 범위 내의 근사한 총 정답률을 가지는 문제들을 상기 문제 DB(550)로부터 선택한다.

변별력 제어모듈(593)은 시험관리 서버(50) 운영자가 희망하는 변별력 입력값(예를 들어, 예상 표준편차값)에 따라 문제 DB(550)로부터 시험문제를 자동 선택하여 시험지를 완성하는 모듈이다. 예를 들어, 문제 DB(550) 및 평가기록 DB(570)로부터 문제 별 정답 표준편차값을 학습하여 특정하고, 변별력 입력값의 예상 표준편차값과 일치하거나 기 설정된 오차 범위 내 근사한 값을 가지는 문제들을 상기 문제 DB(550)로부터 추출하여 시험지를 완성한다.

이와 같이 난이도 제어모듈(591) 및 변별력 제어모듈(593)을 통하여 시험 출제과정 중에서 사람의 주관적 선택 개입을 방지함으로써 활용의 편의 및 정확하고 공정한 시험 관리가 가능함에 이점이 발생한다. 또한, 시험관리 서버(50) 및 출제자 등의 개입을 원천차단하여 시험 관리와 관련된 내부인력에 의한 부정한 유출 및 개입 시도를 방지할 수 있다.

조회내역 보고서 생성모듈(595)은 서버(50) 접속을 통해 문제 DB(550) 및/또는 출제정보 DB(560) 및/또는 평가기록 DB(570) 및/또는 응시자 DB(580)에 저장된 정보/데이터를 조회한 자에 대한 조회내역 보고서를 작성하는 모듈이다. 더욱 상세하게는, 조회내역 보고서 생성모듈(595)은 기 설정 기간 별 각 DB에 대한 조회내역 보고서를 생성하며, 예를 들어 월별 또는 주별 조회내역에 대한 보고서를 생성할 수 있고 이에 별도의 제한이 있는 것은 아니다. 이와 같이 인공지능 엔진기술을 통해 조회내역 보고서를 생성함으로써 출제자, 관리자, 응시자 또는 기타 시험관계자에게 시험문제 유출 시 쉽게 발각될 수 있다는 것에 대한 경각심을 줄 수 있는 효과가 있다. 이러한 조회내역 보고서 생성모듈(595)에 의하여 생성된 조회내역 보고서는 조회내역 보고서 DB(581) 및/또는 메타데이터를 메타데이터 처리한 이후 블록체인 플랫폼(70) 상에 저장될 수 있다.

도 2를 참고하면, 블록체인 플랫폼(70)은 데이터 처리부(590)에 의하여 가공된 데이터를 저장하는 구성이다. 더욱 상세하게는, 제2 가공모듈(533)을 통해 2번 가공된 각종 정보를 저장한다. 예를 들어, 출제자 및/또는 응시자의 가입정보, 개별 시험문제, 응시 대상 등에 대한 정보, 응시 내역 정보, 시험결과 조회 내역 정보, 성적표 발급 내역 정보, 시험 제외내역 정보, 출제자의 개별 문제 정보, 개별 데이터 조회/검색 정보 등 출제자 및 응시자의 시험관리 서버(50) 이용에 대한 전반적인 정보를 모두 스마트 컨트랙트를 통해 블록체인 플랫폼(70) 상에 저장할 수 있다. 그리고, 서버(50)에 접속하여 각종 정보를 조회한 자에 대한 정보 역시 제2 가공모듈(533)에 의해 가공되어 블록체인 플랫폼(70) 상에 저장될 수 있다. 그러므로, 시험지 유출 등 보안 상의 문제가 발생하는 경우에도 조회자 정보를 검색하여 추적 가능하므로, 추후 용이한 대처가 가능한 것에 이점이 있다.

이와 같은 블록체인 플랫폼(70)을 활용하므로, 데이터 위조 및 변조가 사실상 불가능하기 때문에 출제자의 문제 출제 기록에 대한 투명성 확보와 함께 응시자의 응시내역에 대한 사후 수정이 불가능하므로 수험기록에 대한 투명성 확보 역시 가능하다. 또한, 출제자 및 응시자 외에, 서버(50) 관리자 등에 의한 데이터 조회 정보 역시 블록체인 플랫폼(70) 상에 저장되므로 제3자에 의한 조회 투명성 역시 확보 가능하다.

또한, 블록체인 플랫폼(70)은 허가형 블록체인 플랫폼일 수도, 비허가형 블록체인 플랫폼일 수도 있으며 이에 별도의 제한이 있는 것은 아니다. 이와 같이 블록체인 플랫폼(70)을 활용함으로써 저장된 정보를 조작하거나 삭제하는 것이 불가능하여 데이터의 안정성 및 투명성을 담보할 수 있다.

이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다.

1 : 블록체인과 인공지능을 활용한 온라인시험 평가시스템
10 : 출제자 단말기 30 : 응시자 단말기
50 : 시험관리 서버
510 : 출제자 인터페이스 제공모듈
511 : 문제등록모듈 513 : 응시자 지정모듈
5131 : 응시자 수정모듈
515 : 시험결과 확인모듈
520 : 응시자 인터페이스 제공모듈
521 : 시험응시모듈
5211 : 응시자 정보표시모듈 5212 : 시작선택모듈
5213 : 수정모듈 5214 : 제외표시모듈
5215 : 할당시험 표시모듈 5216 : 선택시험 표시모듈
5217 : 시험문제표시모듈
523 : 응시자 결과확인모듈 525 : 문의사항 등록모듈
530 : 데이터 처리부
531 : 제1 가공모듈 533 : 제2 가공모듈
535 : 검증모듈
540 : 접속 DB 550 : 문제 DB
560 : 출제정보 DB 570 : 평가기록 DB
580 : 응시자 DB 590 : 인공지능 구동모듈
591 : 난이도 제어모듈 593 : 변별력 제어모듈
70 : 블록체인 플랫폼

Claims (16)

1. 출제자가 시험관리 서버에 접속하여 출제 문제 등을 업로드하는 매개체가 되는 출제자 단말기;
   시험 응시자가 시험관리 서버에 접속하여 시험을 응시하는 매개체가 되는 응시자 단말기;
   출제자의 시험문제 등록 및 응시자의 시험 응시와 시험 결과내용을 저장하는 시험관리 서버; 및
   상기 시험관리 서버에 의하여 2차 가공된 데이터를 저장하는 블록체인 플랫폼;을 포함하고,
   상기 시험관리 서버는
   상기 출제자 단말기에 입력 화면을 제공함으로써 출제자 문제 등록 등을 하도록 구성되는 출제자 인터페이스 제공모듈; 상기 응시자 단말기에 입력 화면을 제공함으로써 시험을 응시하도록 구성되는 응시자 인터페이스 제공모듈; 상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통하여 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하는 데이터 처리부; 상기 출제자 인터페이스 제공모듈을 통해 등록된 시험문제 및 해답 등의 정보 원본을 저장하는 문제 DB; 개별 문제에 대한 정답률 및 표준편차 정보를 저장하는 평가기록 DB; 인공지능 구동모듈을 통해 완성된 시험지 원본에 대한 정보 및 시험지 원본에 대해 제1 가공모듈에 의하여 메타데이터 처리된 정보를 저장하는 출제정보 DB; 조회내역 보고서 생성모듈이 생성한 조회내역 보고서에 대하여 저장하는 조회내역 보고서 DB; 상기 문제 DB 및 평가기록 DB를 활용하여 자동 문제 출제를 하는 인공지능 엔진 기반의 인공지능 구동모듈; 및 상기 블록체인 플랫폼 상에 저장되는 개별 응시자의 성적표 정보를 발급 받으려는 자의 단말기 화면에 표시하는 검증자 인터페이스 제공모듈;을 포함하며,
   상기 데이터 처리부는
   상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통해 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하여 상기 시험관리 서버에 저장하는 제1 가공모듈; 상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보에 대하여 암호화 처리 후 추가적인 데이터 추출을 하여 상기 블록체인 플랫폼 상에 저장하는 제2 가공모듈; 및 상기 제2 가공모듈에 의해 데이터 처리되어 블록체인 플랫폼 상에 저장된 정보와, 상기 제1 가공모듈에 의해 데이터 처리되어 시험관리 서버 상에 저장된 정보를 상기 제2 가공모듈을 통하여 2차 가공한 이후 상호 매칭하여 데이터 내용을 검증하는 검증모듈;을 포함하고,
   상기 인공지능 구동모듈은
   상기 시험관리 서버의 운영자가 희망하는 난이도 입력값에 따라, 상기 문제 DB로부터 시험문제를 자동 선택하여 시험지 원본을 완성하는 난이도 제어모듈; 및 상기 시험관리 서버의 운영자가 희망하는 변별력 입력값에 따라, 문제 DB로부터 시험문제를 자동 선택하여 시험지 원본을 완성하는 변별력 제어모듈; 상기 시험관리 서버의 운영자가 희망하는 난이도 입력값에 따라, 상기 문제 DB로부터 시험문제를 자동 선택하여 시험지 원본을 완성하는 난이도 제어모듈; 및 상기 시험관리 서버 접속을 통해 상기 문제 DB 및/또는 출제정보 DB 및/또는 평가기록 DB에 저장된 정보를 조회한 자에 대한 조회내역 보고서를 작성하는 조회내역 보고서 생성모듈;을 포함하고,
   상기 검증자 인터페이스 제공모듈은
   상기 성적표를 발급 받으려는 자의 단말기 화면에 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제공하며,
   상기 제2 가공모듈은
   상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보 및 개별 정보 별 해쉬값 및/또는 타임 스탬프 및/또는 고유 주소에 대한 정보를 추출하고,
   상기 변별력 제어모듈은
   상기 문제 DB 및 평가기록 DB로부터 문제 별 정답 표준편차값을 학습하여 특정하며, 출제 문제들의 조합이 상기 변별력 입력값의 표준편차값과 오차 범위 내의 표준편차값을 가지는 문제들의 조합을 상기 문제 DB로부터 선택하고,
   상기 난이도 제어모듈은
   상기 문제 DB 및 평가기록 DB로부터 문제 별 정답률을 학습하여 알아낸 이후, 상기 난이도 입력값의 예상 정답률과 오차 범위 내의 총 정답률을 가지는 문제들의 조합을 상기 문제 DB로부터 선택하며,
   상기 시험관리 서버는
   상기 제1 가공모듈에 의하여 메타데이터 처리되는 개별 정보를 메타데이터 처리 전 개별 정보 원본과 상호 매칭시켜 저장하고,
   상기 제2 가공모듈에 의하여 추출된 데이터는 블록체인 플랫폼 상에 저장되며,
   상기 조회내역이란 상기 시험관리 서버 내에 저장된 시험결과 조회내역, 개별 문제 조회내역, 답안지 조회내역, 응시자 목록 조회 내역 및 출제자 목록 조회 내역을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서, 상기 검증모듈은
   상기 제1 가공모듈에 의해 메타데이터 처리되어 상기 시험관리 서버에 저장된 정보를 상기 제2 가공모듈을 통해 데이터 추출한 후, 상기 블록체인 플랫폼 상에 저장된 정보와 대비하여 검증하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
   
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 제1항에 있어서, 상기 출제자 인터페이스 제공모듈은
    상기 출제자 단말기 화면을 통해 시험문제 및 해답 정보를 수신하는 문제등록모듈; 및
    상기 출제자 단말기 화면을 통해 시험결과 내용 또는 수치를 확인하는 시험결과 확인모듈;을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
    
12. 제1항에 있어서, 상기 응시자 인터페이스 제공모듈은
    상기 응시자 단말기 화면에 예정 시험 목록을 표시하여 응시자가 시험 응시하도록 하는 시험응시모듈;을 포함하고,
    상기 시험응시모듈은
    상기 응시자 단말기 화면에 로그인한 개별 응시자의 개인정보를 표시하는 응시자 정보표시모듈; 및 상기 응시자 단말기 화면에 현재 시험보기 가능한 시험에 대해 시작 선택하도록 표시하는 시작선택모듈;을 포함하고,
    상기 시작선택모듈은 시험 시작 시간의 기 설정 시간 전에 활성화되는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
    
13. 제12항에 있어서, 상기 시험응시모듈은
    시험 제외된 응시자의 응시자 단말기 화면에 시작선택모듈을 비활성화시키는 제외표시모듈;
    개별 응시자에게 할당된 시험 목록을 표시하여 응시자가 알 수 있도록 하는 할당시험 표시모듈;
    및 응시자가 시작선택모듈을 통해 시험보기 선택한 경우 상기 응시자 단말기 화면에 시험 문제 및 정답 선택 박스가 표시되는 시험문제표시모듈;을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
    
14. 삭제
15. 삭제
16. 삭제

Images