KR20210058018A - Online testing and evaluation system by using blockchain platform and artificial intelligence, and method thereof - Google Patents

Online testing and evaluation system by using blockchain platform and artificial intelligence, and method thereof Download PDF

Info

Publication number
KR20210058018A
KR20210058018A KR1020190144906A KR20190144906A KR20210058018A KR 20210058018 A KR20210058018 A KR 20210058018A KR 1020190144906 A KR1020190144906 A KR 1020190144906A KR 20190144906 A KR20190144906 A KR 20190144906A KR 20210058018 A KR20210058018 A KR 20210058018A
Authority
KR
South Korea
Prior art keywords
test
module
information
artificial intelligence
terminal
Prior art date
Application number
KR1020190144906A
Other languages
Korean (ko)
Other versions
KR102305863B1 (en
Inventor
김성진
유승삼
Original Assignee
(주)인프라케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인프라케이 filed Critical (주)인프라케이
Priority to KR1020190144906A priority Critical patent/KR102305863B1/en
Publication of KR20210058018A publication Critical patent/KR20210058018A/en
Application granted granted Critical
Publication of KR102305863B1 publication Critical patent/KR102305863B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/123Applying verification of the received information received data contents, e.g. message integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

The present invention relates to an online test and evaluation system by using blockchain and artificial intelligence and a method thereof and, more specifically, to an evaluation system (1) capable of preventing a test paper from being leaked due to humans in advance by storing information and data generated and provided in an overall process from online exam presentation to exam application and scoring in a centralized system (or central server) while analyzing big data based on past and present exam presentation information and completing and then storing a final test paper in consideration of difficulties and discrimination power by an AI engine. In addition, since the information and data is stored in a blockchain platform after metadata processing, the present invention can strengthen data security performance, prevent forgery and falsification, and perform cross-validation on data with a centralized system.

Description

블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법{ONLINE TESTING AND EVALUATION SYSTEM BY USING BLOCKCHAIN PLATFORM AND ARTIFICIAL INTELLIGENCE, AND METHOD THEREOF}ONLINE TESTING AND EVALUATION SYSTEM BY USING BLOCKCHAIN PLATFORM AND ARTIFICIAL INTELLIGENCE, AND METHOD THEREOF}

본 발명은 블록체인과 인공지능을 활용한 온라인시험 평가시스템(1)에 관한 것으로, 더욱 상세하게는 온라인시험 출제부터 응시 및 채점 등 전반적인 과정에서 생성/제공되는 정보/데이터를 중앙화 시스템(또는 중앙 서버)에 저장하되, 최종 시험지는 A,I 엔진이 과거와 현재 출제 정보를 기반으로 빅데이터 분석하고 난이도와 변별력을 고려하여 완성 후 저장함으로써 사람으로 인한 시험지 유출을 미연에 방지 가능하도록 하는 평가시스템(1)에 관한 것이다. 또한, 상기 정보/데이터는 메타데이터 처리된 이후 블록체인 플랫폼에 저장됨으로써 데이터 보안 성능 강화, 위조/변조 방지 및 중앙화 시스템과의 데이터 교차 검증이 가능한 것에 이점이 있다. The present invention relates to an online test evaluation system (1) using a block chain and artificial intelligence, and more particularly, to a centralized system (or centralized system) for information/data generated/provided in the overall process such as online test questioning, taking and scoring, etc. Server), but the final test paper A, I engine analyzes big data based on past and present question information, and saves it after completion in consideration of difficulty and discrimination, so that it is possible to prevent leakage of test paper by human in advance. It is about (1). In addition, since the information/data is stored in the blockchain platform after the metadata is processed, there is an advantage in that it is possible to enhance data security performance, prevent forgery/tampering, and cross-verify data with a centralized system.

온라인 시험평가 시스템은 온라인 기반으로 시험 출제 및 응시를 가능하게 하여, 기존의 종이 방식 시험에 비해 적용의 편의성, 공정성 및 경제성이 향상되도록 하는 시스템에 관한 것이다. 이러한 온라인 시험평가 시스템은 종래의 오프라인 시험의 문제점인 시험문제 사전유출과 같은 문제로 인한 투명성, 형평성 문제를 개선하는 것에 장점이 있으나, 또 다른 문제점들을 발생시킨다.The online test evaluation system is related to a system that enables test preparation and application on an online basis, so that the convenience, fairness and economy of application are improved compared to the existing paper test. This online test evaluation system has an advantage in improving the transparency and equity problems caused by problems such as pre-exposure of test questions, which are problems of the conventional offline test, but also causes other problems.

상세하게는 '데이터의 안정성'의 문제가 발생할 수 있다. 온라인 시험으로 데이터를 안정적으로 관리하여야 하나, 종래의 시스템에서 해당 데이터들은 중앙화 서버에만 저장되어 있기 때문에, 해당 서버에 대한 조작 또는 해킹 등의 문제에서 자유롭지 못하다.In detail, a problem of'data stability' may occur. Although data must be stably managed through an online test, in a conventional system, the data is stored only in a centralized server, so it is not free from problems such as manipulation or hacking of the server.

또한, '데이터의 투명성' 문제가 발생 가능하며, 이는 데이터의 안정성과 연장선상에 있는 것이다. 예를 들어 데이터 조작 시 성적표 발급 등 각종 증명과 관련 된 데이터 등을 악의적으로 조작 가능하다.In addition, the problem of'data transparency' may occur, which is in line with the stability and extension of data. For example, when manipulating data, it is possible to maliciously manipulate data related to various certifications, such as issuing transcripts.

마지막으로, '형평성' 문제이다. 즉, 기존 에듀테크 시장은 온라인 네트웍에 참여해서 기여하는 모든 사람들이 혜택을 받고 있지 않다. 따라서, 에듀테크 온라인망에서 기여하는 모든 사람들이 공정하게 평가 받을 수 있는 온라인 교육 시스템이 절실히 필요한 실정이다.Finally, it is a matter of'equity'. In other words, in the existing edutech market, not everyone who participates and contributes to the online network is receiving benefits. Therefore, there is a desperate need for an online education system in which all people contributing to the edutech online network can be evaluated fairly.

블록체인이란 P2P 네트워크에 참여한 피어들 또는 트랜잭션을 생성하기 위한 참여자들이 P2P 네트워크에서 생성된 모든 블록을 복제해 저장하도록 이루어지는 컴퓨터 기반의 탈중앙화된 분산 시스템이다. 종래에는 중앙 집중형 서버에서 데이터 기록, 저장 및 관리가 이루어지는 반면, 블록체인은 거래에 참여하는 모든 사용자가 거래 내역이 저장된 블록들을 공유하며 다수의 노드들이 블록들을 대조하는 방식으로 검증을 수행하기 때문에 데이터 위조 및 해킹을 효과적으로 예방할 수 있어 보안이 우수한 장점을 갖는다. 이러한 블록체인은 다른 파일 시스템에 적용될 경우, 데이터베이스(DB)의 유지보수 및 보안에 따른 막대한 비용을 절감시킬 수 있는 장점으로 인해 그 사용 분야 및 수요도가 기하급수적으로 증가하고 있는 추세이다.Blockchain is a computer-based decentralized decentralized system in which peers participating in a P2P network or participants to create a transaction replicate and store all blocks created in the P2P network. In the past, data recording, storage, and management are performed on a centralized server, whereas in the blockchain, all users participating in the transaction share blocks in which transaction details are stored, and multiple nodes perform verification in a manner that collates the blocks. Data forgery and hacking can be effectively prevented, so security is excellent. When such a block chain is applied to other file systems, the field of use and demand is increasing exponentially due to the advantage of reducing enormous costs due to the maintenance and security of the database (DB).

이와 같은 블록체인과 인공지능의 장점을 활용하여, 본 발명의 발명자들은 데이터의 안정성 및 투명성이 한층 개선되어, 종래의 온라인 시험 평가시스템보다 개선된, 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법에 대하여 제시하고자 한다. By utilizing the advantages of such a block chain and artificial intelligence, the inventors of the present invention have further improved the stability and transparency of data, and an online test evaluation system using a block chain and artificial intelligence, which is improved than the conventional online test evaluation system. And its method.

국내공개특허 KR 제10-2019-0010515호 '블록체인 관리시스템'Korean Patent Publication No. KR 10-2019-0010515'Blockchain Management System'

앞서 본 종래 기술의 문제점을 해결하기 위하여 안출된 것으로,It was devised to solve the problems of the prior art seen above,

본 발명은 중앙화 서버인 시험관리 서버 외에, 탈중앙화 시스템인 블록체인 플랫폼을 추가로 구비함으로써, 데이터 보안 향상에 따른 데이터의 안정성 및 투명성을 도모하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition to the test management server, which is a centralized server, the present invention additionally provides a block chain platform, which is a decentralized system, so as to promote the stability and transparency of data according to the improvement of data security, and an online test evaluation system using artificial intelligence. And it has its purpose to provide a method.

또한, 본 발명은 시험관리 서버와 블록체인 플랫폼을 함께 구비함으로써 데이터의 교차검증이 가능하여, 추가적인 데이터 보안 향상을 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention provides an online test evaluation system and method using a block chain and artificial intelligence that enable cross-validation of data by providing a test management server and a block chain platform together, thereby enabling additional data security improvement. There is a purpose.

또한, 본 발명은 중앙화 서버인 시험관리 서버에서 모든 데이터 원본을 별도로 저장하여, 블록체인 네트워크의 장애 발생 시에도 전체적인 시스템의 안정적인 서비스 제공을 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention is an online test evaluation system using a blockchain and artificial intelligence that enables stable service provision of the entire system even in the event of a block chain network failure by separately storing all data sources in the test management server, which is a centralized server. And it has its purpose to provide a method.

또한, 본 발명은. 시스템 활용 중 생성되는 데이터 원본 그 자체를 블록체인 플랫폼 상에 저장하는 것이 아니며, 두 번 가공된 데이터를 해당 블록체인 플랫폼 상에 저장함으로써, 활용 용량 최소화 및 그에 따라 필요한 메인넷 플랫폼 사용 수수료를 최소화함으로써, 활용의 현실성 및 비용 절감을 도모하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention. The original data generated during system utilization is not stored on the blockchain platform, but by storing the data processed twice on the corresponding blockchain platform, minimizing the utilization capacity and minimizing the required mainnet platform usage fee. The purpose of this is to provide an online test evaluation system and its method using blockchain and artificial intelligence to achieve the practicality of utilization and cost reduction.

또한, 본 발명은 시험관리 서버의 데이터와, 블록체인 플랫폼 상의 데이터를 상호 대비 검증하는 검증모듈을 구비함으로써, 데이터 위조 및 변조를 방지하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention is provided with a verification module for verifying the data of the test management server and the data on the blockchain platform against each other, thereby preventing the forgery and alteration of data, and an online test evaluation system using artificial intelligence and the Its purpose is to provide a method.

또한, 본 발명은 제2 가공모듈에 의한 데이터 추출 전 해당 데이터에 대한 암호화 처리를 선행함으로써 출제자 및/또는 응시자의 프라이버시를 보호하도록 하는 온라인시험 평가시스템을 제공하는데 그 목적이 있다.In addition, an object of the present invention is to provide an online test evaluation system that protects the privacy of a questioner and/or a candidate by performing an encryption process on the corresponding data before data extraction by a second processing module.

또한, 본 발명은 시험 출제 전반적인 과정에서 과거와 현재 출제정보 등 빅데이터를 활용하여 변별력, 난이도 등을 반영할 수 있는 인공지능 엔진기술을 구동함으로써, 시험 문제를 개인의 주관적 평가요소보다는 객관적이고 양질의 선진화된 출제를 가능하도록 하며, 시험 출제과정 중에 개인의 주관적 선택 개입을 미연에 차단하여 공정한 시험 관리가 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다In addition, the present invention drives an artificial intelligence engine technology that can reflect discrimination and difficulty by utilizing big data such as past and present question information in the overall process of test questions, so that test questions are objective and quality rather than individual subjective evaluation factors. The purpose is to provide an online test evaluation system and methods using blockchain and artificial intelligence that enable fair test management by blocking individual subjective selection interventions in advance during the test questioning process. Have this

또한, 본 발명은 인공지능 엔진 기반의 인공지능 구동모듈을 통해 출제 시험문제의 변별력 및 난이도의 정교한 제어가 가능함으로써 양질의 시험문제를 제공 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention is an on-line test evaluation system using a blockchain and artificial intelligence that enables to provide high-quality test questions by enabling precise control of the level of difficulty and discrimination of test questions through an artificial intelligence driving module based on an artificial intelligence engine. And it has its purpose to provide a method.

상세하게는, 본 발명은 변별력 제어모듈 및 난이도 제어모듈을 구비함으로써, 관리자 또는 출제자가 의도한 시험결과(변별력 및 난이도)와 오차 범위 내의 시험결과값을 도출 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In detail, the present invention utilizes a block chain and artificial intelligence that enable the administrator or the questioner to derive the test result (discrimination and difficulty) and the test result value within the error range by having a discrimination power control module and a difficulty control module. Its purpose is to provide an online test evaluation system and its method.

또한, 본 발명은 각종 정보/데이터 조회자 정보 역시 블록체인 플랫폼 상에 저장하고 인공지능 구동모듈이 기간 별 조회내역 보고서를 작성 및 서버에 보관함으로써 시험지 유출 등과 같은 보안 문제 발생 시 발 빠른 사후 대처가 가능하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, in the present invention, various information/data viewer information is also stored on the blockchain platform, and the artificial intelligence driving module creates and stores the inquiry history report for each period in the server, enabling quick post-treatment in case of security problems such as leakage of test papers. Its purpose is to provide an online test evaluation system and its method using blockchain and artificial intelligence.

또한, 본 발명은 각종 DB가 데이터 원본과 함께 1차 가공된 메타데이터를 함께 저장함으로써, 중앙화 서버 자체로의 시스템 운용 및 블록체인 플랫폼과의 데이터 대비를 가능하도록 하여 데이터 사후 조작을 막을 수 있도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention allows various DBs to store the first processed metadata together with the data source, thereby enabling the system operation on the centralized server itself and the comparison of data with the blockchain platform to prevent post manipulation of data. Its purpose is to provide an online test evaluation system and its method using blockchain and artificial intelligence.

또한, 본 발명은 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 구비함으로써, 출제자 및 응시자의 편리한 활용을 도모하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, an object of the present invention is to provide an online test evaluation system and method using a block chain and artificial intelligence to facilitate the convenient use of the test taker and the test taker by having a tester interface providing module and a test taker interface providing module. .

또한, 본 발명은 검증자 인터페이스 제공모듈을 구비함으로써 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제시하여, 성적표가 블록체인 상에 저장되어 위조 및 변조가 되지 않았음을 증명하여 활용에 신뢰감을 부여하도록 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템 및 그 방법을 제공하는데 그 목적이 있다.In addition, the present invention provides a verifier interface providing module to present not only the test taker's personal information and test result information, but also TXID (Transaction ID) information, to prove that the score card is stored on the blockchain and has not been forged or altered. The purpose of this is to provide an online test evaluation system and method that utilizes blockchain and artificial intelligence to give confidence in use.

본 발명은 앞서 상술한 목적을 달성하기 위하여 다음과 같은 구성을 가진 실시예에 의하여 구현될 수 있다.The present invention can be implemented by an embodiment having the following configuration in order to achieve the above-described object.

본 발명의 일 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템은은 출제자가 시험관리 서버에 접속하여 출제 문제 등을 업로드하는 매개체가 되는 출제자 단말기; 시험 응시자가 시험관리 서버에 접속하여 시험을 응시하는 매개체가 되는 응시자 단말기; 출제자의 시험문제 등록 및 응시자의 시험 응시와 시험 결과내용을 저장하는 시험관리 서버; 및 상기 시험관리 서버에 의하여 가공된 데이터를 저장하는 블록체인 플랫폼;을 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, an online test evaluation system using a block chain and artificial intelligence according to the present invention includes: a tester terminal serving as a medium for uploading questions, etc. by accessing the tester to the test management server; A test taker terminal serving as a medium through which test takers access the test management server to take the test; A test management server that registers the candidate's test questions and stores the candidate's test take and test results; And a blockchain platform for storing data processed by the test management server.

본 발명의 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 출제자 단말기에 인터페이스 화면을 제공함으로써 출제자 문제 등록 등을 하도록 구성되는 출제자 인터페이스 제공모듈; 상기 응시자 단말기에 인터페이스 화면을 제공함으로써 시험을 응시하도록 구성되는 응시자 인터페이스 제공모듈; 및 상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통하여 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하는 데이터 처리부;를 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the test management server of the online test evaluation system using the blockchain and artificial intelligence according to the present invention provides an interface screen to the tester terminal, thereby registering a tester's question. Providing module; A test taker interface providing module configured to take a test by providing an interface screen to the test taker terminal; And a data processing unit that processes metadata received from the test taker terminal and the test taker terminal through the tester interface providing module and the test taker interface providing module.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 데이터 처리부는 상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통해 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하여 상기 시험관리 서버에 저장하는 제1 가공모듈; 및 상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보에 대하여 추가적인 데이터 추출을 하는 제2 가공모듈;을 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the data processing unit of the online test evaluation system using the block chain and artificial intelligence according to the present invention is provided from the tester terminal and the test taker terminal through the tester interface providing module and the test taker interface providing module. A first processing module for processing the received various types of information into metadata and storing them in the test management server; And a second processing module for extracting additional data on the individual information processed by the first processing module.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 제2 가공모듈은 상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보 및 개별 정보 별 해쉬값 및/또는 타임 스탬프 및/또는 고유 주소에 대한 정보를 추출하고, 상기 제2 가공모듈에 의하여 추출된 데이터는 블록체인 플랫폼 상에 저장되는 것을 특징으로 한다.According to another embodiment of the present invention, the second processing module of the online test evaluation system using the block chain and artificial intelligence according to the present invention includes individual information and individual information processed by the first processing module. It is characterized in that the hash value and/or the time stamp and/or the information on the unique address are extracted, and the data extracted by the second processing module is stored on the blockchain platform.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 데이터 처리부는 상기 제2 가공모듈에 의해 데이터 처리되어 블록체인 플랫폼 상에 저장된 정보와, 상기 제1 가공모듈에 의해 데이터 처리되어 시험관리 서버 상에 저장된 정보를 상호 매칭하여 데이터 내용을 검증하는 검증모듈;을 추가로 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the data processing unit of the online test evaluation system using the blockchain and artificial intelligence according to the present invention is processed by the second processing module and stored on the blockchain platform, It characterized in that it further comprises a; verification module for verifying the data content by mutually matching the data processed by the first processing module and stored on the test management server.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 검증모듈은 상기 제1 가공모듈에 의해 메타데이터 처리되어 상기 시험관리 서버에 저장된 정보를 상기 제2 가공모듈을 통해 데이터 추출한 후, 상기 블록체인 플랫폼 상에 저장된 정보와 대비하여 검증하는 것을 특징으로 한다.According to another embodiment of the present invention, the verification module of the online test evaluation system utilizing the blockchain and artificial intelligence according to the present invention is processed by the first processing module to store information stored in the test management server. After extracting data through the second processing module, it is characterized in that it is verified against information stored on the blockchain platform.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 제1 가공모듈에 의해 메타데이터 처리되는 개별 정보를 메타데이터 처리 전 개별 정보 원본과 상호 매칭시켜 저장하고, 상기 제2 가공모듈은 메타데이터 처리된 개별 정보에 대하여 암호화 처리 후 추가적인 데이터 추출을 하는 것을 특징으로 한다.According to another embodiment of the present invention, the test management server of the online test evaluation system using the blockchain and artificial intelligence according to the present invention is used to process individual information processed by the first processing module before metadata processing. The individual information is matched to each other and stored, and the second processing module is characterized in that the metadata-processed individual information is encrypted and then additional data is extracted.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 출제자 단말기에 인터페이스 화면을 제공함으로써 출제자 문제 등록 등을 하도록 구성되는 출제자 인터페이스 제공모듈; 상기 응시자 단말기에 인터페이스 화면을 제공함으로써 시험을 응시하도록 구성되는 응시자 인터페이스 제공모듈; 상기 출제자 인터페이스 제공모듈을 통해 등록된 시험문제 및 해답 등의 정보 원본을 저장하는 문제 DB; 총 응시자의 개별 문제에 대한 정답률 및 표준편차 정보를 저장하는 평가기록 DB; 및 상기 문제 DB 및 평가기록 DB를 활용하여 자동 문제 출제를 하는 인공지능 엔진 기반의 인공지능 구동모듈;을 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the test management server of the online test evaluation system utilizing the blockchain and artificial intelligence according to the present invention provides an interface screen to the tester terminal, thereby registering a tester's question. Interface providing module; A test taker interface providing module configured to take a test by providing an interface screen to the test taker terminal; A problem DB for storing original information such as test questions and answers registered through the tester interface providing module; Evaluation record DB storing information on the correct answer rate and standard deviation for individual questions of total candidates; And an artificial intelligence driving module based on an artificial intelligence engine that automatically questions questions by using the problem DB and evaluation record DB.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 인공지능 구동모듈은 상기 시험관리 서버의 운영자가 희망하는 난이도 입력값에 따라, 상기 문제 DB로부터 시험문제를 자동 선택하여 시험지를 완성하는 난이도 제어모듈;을 포함하고, 상기 난이도 제어모듈은 상기 문제 DB 및 평가기록 DB로부터 문제 별 정답률을 학습하여 알아낸 이후, 상기 난이도 입력값의 예상 정답률과 근사한 총 정답률을 가지는 문제들을 상기 문제 DB로부터 선택하는 것을 특징으로 한다.According to another embodiment of the present invention, the artificial intelligence driving module of the online test evaluation system using the block chain and artificial intelligence according to the present invention, according to the difficulty level input value desired by the operator of the test management server, the problem A difficulty control module that automatically selects a test question from a DB and completes the test paper, wherein the difficulty control module learns and finds the correct answer rate for each question from the problem DB and evaluation record DB, and then the expected correct answer rate of the difficulty level input value It is characterized in that questions having a total correct answer rate approximating to are selected from the problem DB.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 인공지능 구동모듈은 상기 시험관리 서버의 운영자가 희망하는 변별력 입력값에 따라, 문제 DB로부터 시험문제를 자동 선택하여 시험지를 완성하는 변별력 제어모듈;을 포함하고, 상기 변별력 제어모듈은 상기 문제 DB 및 평가기록 DB로부터 문제 별 정답 표준편차값을 학습하여 특정하며, 출제 문제들의 조합이 상기 변별력 입력값의 예상 표준편차값과 근사하도록 하는 것을 특징으로 한다.According to another embodiment of the present invention, the artificial intelligence driving module of the online test evaluation system using the block chain and artificial intelligence according to the present invention, according to the discrimination power input value desired by the operator of the test management server, the problem DB A discrimination power control module that automatically selects a test question from and completes the test paper, wherein the discrimination power control module learns and specifies the standard deviation value of the correct answer for each question from the problem DB and the evaluation record DB, and the combination of the questions It is characterized in that it approximates the expected standard deviation value of the discrimination power input value.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 출제자 인터페이스 제공모듈은 상기 출제자 단말기 화면을 통해 시험문제 및 해답 정보를 수신하는 문제등록모듈; 및 상기 출제자 단말기 화면을 통해 시험결과 내용 또는 수치를 확인하는 시험결과 확인모듈;을 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the tester interface providing module of the online test evaluation system using the block chain and artificial intelligence according to the present invention is a problem registration module for receiving test question and answer information through the tester terminal screen. ; And a test result confirmation module for checking the contents or values of the test results through the screen of the tester's terminal.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 응시자 인터페이스 제공모듈은 상기 응시자 단말기 화면에 예정 시험 목록을 표시하여 응시자가 시험 응시하도록 하는 시험응시모듈;을 포함하고, 상기 시험응시모듈은 상기 응시자 단말기 화면에 로그인한 개별 응시자의 개인정보를 표시하는 응시자 정보표시모듈; 및 상기 응시자 단말기 화면에 현재 시험보기 가능한 시험에 대해 시작 선택하도록 표시하는 시작선택모듈;을 포함하고, 상기 시작선택모듈은 시험 시작 시간의 기 설정 시간 전에 활성화되는 것을 특징으로 한다.According to another embodiment of the present invention, the test taker interface providing module of the online test evaluation system using the blockchain and artificial intelligence according to the present invention displays a list of scheduled tests on the screen of the test taker terminal so that the test taker can take the test. A test-taking module; including, the test-taking module comprising: a test taker information display module for displaying personal information of an individual test taker logged into the screen of the test taker terminal; And a start selection module for displaying a start selection for a test currently available for viewing the test on the screen of the test taker's terminal; wherein the start selection module is activated before a preset time of the test start time.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험응시모듈은 시험 제외된 응시자의 응시자 단말기 화면에 시작선택모듈을 비활성화시키는 제외표시모듈; 및 개별 응시자에게 할당된 시험 목록을 표시하여 응시자가 알 수 있도록 하는 할당시험 표시모듈; 및 응시자가 시작선택모듈을 통해 시험보기 선택한 경우 상기 응시자 단말기 화면에 시험 문제 및 정답 선택 박스가 표시되는 시험문제표시모듈;을 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the test-taking module of the online test evaluation system using the blockchain and artificial intelligence according to the present invention is an exclusion display module for deactivating the start selection module on the test taker terminal screen of the test taker. ; And an assigned exam display module that displays a list of exams assigned to individual candidates so that candidates can know. And a test question display module in which a test question and a correct answer selection box are displayed on the screen of the candidate terminal when the candidate selects the test view through the start selection module.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 인공지능 구동모듈을 통해 완성된 시험지 원본에 대한 정보를 저장하는 출제정보 DB;를 추가로 포함하고, 상기 인공지능 구동모듈은 상기 시험관리 서버 접속을 통해 상기 문제 DB 및/또는 출제정보 DB 및/또는 평가기록 DB에 저장된 정보를 조회한 자에 대한 조회내역 보고서를 작성하는 조회내역 보고서 생성모듈;을 추가로 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the test management server of the online test evaluation system using the blockchain and artificial intelligence according to the present invention is a question for storing information on the original test paper completed through the artificial intelligence driving module. Information DB; In addition, the artificial intelligence driving module through the test management server access to the inquiry history report for the person who inquired the information stored in the problem DB and/or the questionnaire information DB and/or the evaluation record DB. It characterized in that it further comprises a; query details report generation module to be created.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 조회내역 보고서 생성모듈이 생성한 조회내역 보고서에 대하여 저장하는 조회내역 보고서 DB;를 추가로 포함하고, 상기 조회내역이란 상기 서버 내에 저장된 시험결과 조회내역, 개별 문제 조회내역, 답안지 조회내역, 응시자 목록 조회 내역 및 출제자 목록 조회 내역 등을 포함하는 것을 특징으로 한다.According to another embodiment of the present invention, the test management server of the online test evaluation system utilizing the blockchain and artificial intelligence according to the present invention stores the inquiry history report generated by the inquiry history report generation module. Report DB; In addition, the inquiry details include test result inquiry details stored in the server, individual question inquiry details, answer sheet inquiry details, candidate list inquiry details, and questionnaire list inquiry details, and the like.

본 발명의 또 다른 실시예에 의하면, 본 발명에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 상기 시험관리 서버는 상기 블록체인 플랫폼 상에 저장되는 개별 응시자의 성적표를 발급 받으려는 자의 단말기 화면에 표시하는 검증자 인터페이스 제공모듈;을 추가로 포함하고, 상기 검증자 인터페이스 제공모듈은 상기 성적표를 발급 받으려는 자의 단말기 화면에 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제공하는 것을 특징으로 한다.According to another embodiment of the present invention, the test management server of the online test evaluation system using the blockchain and artificial intelligence according to the present invention is a terminal screen of a person who wants to receive the score card of each candidate stored on the blockchain platform. In addition, the verifier interface providing module to be displayed on the screen, the verifier interface providing module to provide not only the candidate's personal information and test result information, but also TXID (Transaction ID) information on the terminal screen of the person who wants to receive the score report. It is characterized by that.

본 발명은 앞서 본 구성에 의하여 다음과 같은 효과를 가진다.The present invention has the following effects by the above configuration.

본 발명은 중앙화 서버인 시험관리 서버 외에, 탈중앙화 시스템인 블록체인 플랫폼을 추가로 구비함으로써, 데이터 보안 향상에 따른 데이터의 안정성 및 투명성을 도모하도록 하는 효과가 있다.In addition to the test management server as a centralized server, the present invention has an effect of promoting the stability and transparency of data according to the improvement of data security by additionally providing a blockchain platform as a decentralized system.

또한, 본 발명은 시험관리 서버와 블록체인 플랫폼을 함께 구비함으로써 데이터의 교차검증이 가능하여, 추가적인 데이터 보안 향상을 가능하도록 하는 효과를 가진다.In addition, the present invention has an effect of enabling cross-validation of data by providing a test management server and a blockchain platform together, thereby enabling additional data security enhancement.

또한, 본 발명은 중앙화 서버인 시험관리 서버에서 모든 데이터 원본을 별도로 저장하여, 블록체인 네트워크의 장애 발생 시에도 전체적인 시스템의 안정적인 서비스 제공을 가능하도록 하는 효과를 보인다.In addition, the present invention has the effect of separately storing all data sources in the test management server, which is a centralized server, to provide a stable service of the entire system even in the event of a block chain network failure.

또한, 본 발명은. 시스템 활용 중 생성되는 데이터 원본 그 자체를 블록체인 플랫폼 상에 저장하는 것이 아니며, 두 번 가공된 데이터를 해당 블록체인 플랫폼 상에 저장함으로써, 활용 용량 최소화 및 그에 따라 필요한 메인넷 플랫폼 사용 수수료를 최소화함으로써, 활용의 현실성 및 비용 절감을 도모하도록 하는 효과를 나타낸다.In addition, the present invention. The original data generated during system utilization is not stored on the blockchain platform, but by storing the data processed twice on the corresponding blockchain platform, minimizing the utilization capacity and minimizing the required mainnet platform usage fee. It shows the effect of promoting the practicality of utilization and cost reduction.

또한, 본 발명은 시험관리 서버의 데이터와, 블록체인 플랫폼 상의 데이터를 상호 대비 검증하는 검증모듈을 구비함으로써, 데이터 위조 및 변조를 방지하도록 하는 효과가 도출된다.In addition, the present invention provides an effect of preventing data forgery and tampering by providing a verification module for verifying the data of the test management server and the data on the blockchain platform against each other.

또한, 본 발명은 제2 가공모듈에 의한 데이터 추출 전 해당 데이터에 대한 암호화 처리를 선행함으로써 출제자 및/또는 응시자의 프라이버시를 보호하도록 하는 효과가 있다.In addition, the present invention has the effect of protecting the privacy of the examinee and/or the candidate by performing the encryption processing on the corresponding data before data extraction by the second processing module.

또한, 본 발명은 시험 출제 전반적인 과정에서 과거와 현재 출제정보 등 빅데이터를 활용하여 변별력, 난이도 등을 반영할 수 있는 인공지능 엔진기술을 구동함으로써, 시험 문제를 개인의 주관적 평가요소보다는 객관적이고 양질의 선진화된 출제를 가능하도록 하며, 시험 출제과정 중에 개인의 주관적 선택 개입을 미연에 차단하여 공정한 시험 관리가 가능하도록 하는 효과를 보인다.In addition, the present invention drives an artificial intelligence engine technology that can reflect discrimination and difficulty by utilizing big data such as past and present question information in the overall process of test questions, so that test questions are objective and quality rather than individual subjective evaluation factors. It enables advanced questions of the test, and shows the effect of enabling fair test management by blocking individual subjective selection interventions during the test test process.

또한, 본 발명은 인공지능 엔진 기반의 인공지능 구동모듈을 통해 출제 시험문제의 변별력 및 난이도의 정교한 제어가 가능함으로써 양질의 시험문제를 제공 가능하도록 하는 효과가 도출된다.In addition, the present invention provides an effect of providing a high-quality test question by enabling precise control of the level of difficulty and discrimination of a test question through an artificial intelligence driving module based on an artificial intelligence engine.

상세하게는, 본 발명은 변별력 제어모듈 및 난이도 제어모듈을 구비함으로써, 관리자 또는 출제자가 의도한 시험결과(변별력 및 난이도)와 오차 범위 내의 시험결과값을 도출 가능하도록 하는 효과를 나타낸다.In detail, the present invention has an effect of providing a discrimination power control module and a difficulty control module, thereby enabling an administrator or a questioner to derive a test result (discrimination power and difficulty) intended by an administrator or a questionnaire and a test result value within an error range.

또한, 본 발명은 각종 정보/데이터 조회자 정보 역시 블록체인 플랫폼 상에 저장하고 인공지능 구동모듈이 기간 별 조회내역 보고서를 작성 및 서버에 보관함으로써 시험지 유출 등과 같은 보안 문제 발생 시 발 빠른 사후 대처가 가능하도록 하는 효과가 있다.In addition, in the present invention, various information/data viewer information is also stored on the blockchain platform, and the artificial intelligence driving module creates and stores the inquiry history report for each period in the server, enabling quick post-treatment in case of security problems such as leakage of test papers. It has the effect of doing it.

또한, 본 발명은 각종 DB가 데이터 원본과 함께 1차 가공된 메타데이터를 함께 저장함으로써, 중앙화 서버 자체로의 시스템 운용 및 블록체인 플랫폼과의 데이터 대비를 가능하도록 하여 데이터 사후 조작을 막을 수 있도록 하는 효과를 보인다.In addition, the present invention allows various DBs to store the first processed metadata together with the data source, thereby enabling the system operation on the centralized server itself and the comparison of data with the blockchain platform to prevent post manipulation of data. It seems to work.

또한, 본 발명은 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 구비함으로써, 출제자 및 응시자의 편리한 활용을 도모하도록 하는 효과가 있다.In addition, the present invention has the effect of promoting the convenient use of the test taker and the test taker by including the tester interface providing module and the test taker interface providing module.

또한, 본 발명은 검증자 인터페이스 제공모듈을 구비함으로써 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제시하여, 성적표가 블록체인 상에 저장되어 위조 및 변조가 되지 않았음을 증명하여 활용에 신뢰감을 부여하도록 하는 효과를 가진다.In addition, the present invention provides a verifier interface providing module to present not only the test taker's personal information and test result information, but also TXID (Transaction ID) information, to prove that the score card is stored on the blockchain and has not been forged or altered. By doing so, it has the effect of giving a sense of trust in use.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.On the other hand, even if it is an effect not explicitly mentioned herein, it is added that the effect described in the following specification and its provisional effect expected by the technical features of the present invention are treated as described in the specification of the present invention.

도 1은 본 발명의 일 실시예에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 참고도이고;
도 2는 도 1에 따른 온라인시험 평가시스템의 블럭도이고;
도 3은 도 1에 따른 출제자 인터페이스 제공모듈의 블럭도이고;
도 4 내지 도 6은 도 3에 따른 문제등록모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이고;
도 7은 도 3에 따른 응시자 지정모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이고;
도 8은 도 3에 따른 시험결과 확인모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이고;
도 9는 도 1에 따른 응시자 인터페이스 제공모듈의 블럭도이고;
도 10 내지 도 11 은 도 9에 따른 시험응시모듈 구동에 의한 응시자 단말기 화면에 대한 참고도이고;
도 12 내지 도 14는 도 9에 따른 응시자 결과확인모듈에 의한 응시자 단말기 화면에 대한 참고도이고;
도 15은 도 9에 따른 문의사항 등록모듈에 의한 응시자 단말기 화면에 대한 참고도이고;
도 16은 도 2에 따른 데이터 처리부에 대한 블럭도이고;
도 17은 도 2에 따른 검증자 인터페이스 제공모듈에 대한 블럭도이고;
도 18은 도 2에 따른 인공지능 구동모듈에 대한 블럭도이다.
1 is a reference diagram of an online test evaluation system using a block chain and artificial intelligence according to an embodiment of the present invention;
Fig. 2 is a block diagram of the online test evaluation system according to Fig. 1;
3 is a block diagram of a tester interface providing module according to FIG. 1;
4 to 6 are reference diagrams for the screen of a questionnaire terminal by driving the problem registration module according to FIG. 3;
FIG. 7 is a reference diagram for the screen of the tester terminal by driving the test taker designation module according to FIG. 3;
8 is a reference diagram for a screen of a tester's terminal by driving the test result confirmation module according to FIG. 3;
9 is a block diagram of a test taker interface providing module according to FIG. 1;
10 to 11 are reference diagrams for a test taker terminal screen by driving the test taking module according to FIG. 9;
12 to 14 are reference diagrams for the test taker terminal screen by the test taker result confirmation module according to FIG. 9;
15 is a reference diagram for a test taker terminal screen by an inquiry registration module according to FIG. 9;
16 is a block diagram of a data processing unit according to FIG. 2;
17 is a block diagram of a verifier interface providing module according to FIG. 2;
18 is a block diagram of an artificial intelligence driving module according to FIG. 2.

이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시예는 다양한 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것으로 해석되어서는 안 되며 청구범위에 기재된 사항을 기준으로 해석되어야 한다. 또한, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 참고적으로 제공되는 것일 뿐이다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings. The embodiments of the present invention may be modified in various forms, and the scope of the present invention should not be construed as being limited to the following embodiments, but should be interpreted based on the matters described in the claims. In addition, the present embodiment is only provided for reference in order to more completely describe the present invention to those of ordinary skill in the art.

도 1은 본 발명의 일 실시예에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템의 참고도이고; 도 2는 도 1에 따른 온라인시험 평가시스템의 블럭도이다.1 is a reference diagram of an online test evaluation system using a block chain and artificial intelligence according to an embodiment of the present invention; 2 is a block diagram of an online test evaluation system according to FIG. 1.

이하에서는 첨부된 도면들을 참고하여 본 발명의 일 실시예에 따른 블록체인과 인공지능을 활용한 온라인시험 평가시스템에 대하여 상세히 설명하도록 한다.Hereinafter, an online test evaluation system using a block chain and artificial intelligence according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1 및 도 2를 참고하면, 본 발명은 블록체인과 인공지능을 활용한 온라인시험 평가시스템(1)에 관한 것으로, 더욱 상세하게는 온라인시험 출제부터 응시 및 채점 등 전반적인 과정에서 생성/제공되는 정보/데이터를 중앙화 시스템(또는 중앙 서버)에 저장하되, 최종 시험지는 과거와 현재 출제 정보를 기반으로 A.I 엔진이 빅데이터 분석 및 난이도와 변별력을 고려하여 완성 후 저장함으로써 사람으로 인한 시험지 유출을 미연에 방지 가능하도록 하는 평가시스템(1)에 관한 것이다. 또한, 상기 정보/데이터는 메타데이터 처리된 이후 블록체인 플랫폼에 저장됨으로써 데이터 보안 성능 강화, 위조/변조 방지 및 중앙화 시스템과의 데이터 교차 검증이 가능한 것에 이점이 있다. 이하에서 설명하는 각 구성들은 독립적인 것일 수도, 일체로 형성된 것일 수도 있고 이에 별도의 제한이 없음에 유의하여야 한다.1 and 2, the present invention relates to an online test evaluation system (1) using a block chain and artificial intelligence, and in more detail, it is generated/provided in the overall process, such as online test entry, taking and scoring, etc. Information/data is stored in a centralized system (or central server), but the final test paper is stored after the AI engine analyzes big data and considers the difficulty and discrimination power based on the past and present questionnaire information. It relates to an evaluation system (1) that makes it possible to prevent. In addition, since the information/data is stored in the blockchain platform after the metadata is processed, there is an advantage in that it is possible to enhance data security performance, prevent forgery/tampering, and cross-verify data with a centralized system. It should be noted that each of the components described below may be independent or integrally formed, and there is no separate limitation thereto.

이를 위하여, 본 발명의 일 실시예에 따른 온라인시험 평가시스템(1)은 출제자 단말기(10), 응시자 단말기(30), 시험관리 서버(50) 및 블록체인 플랫폼(70)을 포함할 수 있다.To this end, the online test evaluation system 1 according to an embodiment of the present invention may include a tester terminal 10, a test taker terminal 30, a test management server 50, and a blockchain platform 70.

출제자 단말기(10)는 출제자가 시험관리 서버(50)에 접근 및 접속 권한을 부여받아, 출제 문제 등을 업로드 가능하도록 하는 매개체가 되는 구성으로, 데스크탑, 노트북, 스마트폰 등 공지된 또는 공지될 임의의 다양한 구성을 포함할 수 있으며, 본 발명의 범위가 특정 수단/장치에 의하여 제한되는 것은 아니다. 예를 들어, 출제자 단말기(10)가 스마트폰인 경우, 특정 앱(application; App)을 설치한 이후 이를 구동시켜 시험관리 서버(30)에 접속할 수 있다. 상세하게는, 후술할 출제자 인터페이스 제공모듈(510)에 의하여 생성되는 출제자 단말기(10) 화면을 통해, 출제자는 상기 시험관리 서버(50)를 활용할 수 있다.The tester terminal 10 is a configuration that serves as a medium for the tester to be granted access and access rights to the test management server 50 and upload test questions, etc. It may include a variety of configurations, and the scope of the present invention is not limited by a specific means/device. For example, if the tester's terminal 10 is a smartphone, after installing a specific application (App), it may be driven to access the test management server 30. In detail, through the screen of the tester terminal 10 generated by the tester interface providing module 510 to be described later, the tester may utilize the test management server 50.

응시자 단말기(30)는 시험 응시자가 시험관리 서버(50)에 접근 및 접속 권한을 부여받아, 출제 문제에 대한 시험을 응시하도록 하는 매개체가 되는 구성으로, 출제자 단말기(10)와 마찬가지로 데스크탑, 노트북, 스마트폰 등 공지된 또는 공지될 다양한 임의의 구성을 포함할 수 있다.The test taker terminal 30 is a configuration that serves as a medium through which test takers are given access and access rights to the test management server 50 to take a test for a questionnaire. Like the test taker terminal 10, a desktop, a laptop computer, and a It may include various arbitrary configurations known or to be known, such as a smart phone.

시험관리 서버(50)는 출제자의 시험문제 출제(등록), 응시자의 시험, 서버(50) 접속자의 개별 데이터 조회 정보, 응시 및 응시 결과내용 등 시험 출제부터 응시 결과 확인 과정에서 발생하는 전반적인 정보를 모두 저장하는 구성으로, 이를 위하여, 출제자 인터페이스 제공모듈(510), 응시자 인터페이스 제공모듈(520), 데이터 처리부(530), 접속 DB(540), 문제 DB(550), 출제정보 DB(560), 평가기록 DB(570), 응시자 DB(580), 조회내역 보고서 DB(581), 검증자 인터페이스 제공모듈(582), 인공지능 구동모듈(590)을 포함할 수 있다. 또한, 시험관리 서버(50)는 상기 정보를 원본 상태로 저장함과 동시에, 메타데이터 처리한 가공된 데이터를 함께 저장하는 것이 바람직하나 이에 별도의 제한이 있는 것은 아니다.The test management server 50 provides general information generated in the process of confirming the test results from the test questions, such as the applicant's test question entry (registration), the test taker's test, the individual data inquiry information of the server 50 visitor, the test and test result contents, etc. It is a configuration that stores all, for this purpose, the tester interface providing module 510, the test taker interface providing module 520, the data processing unit 530, the connection DB 540, the problem DB 550, the test information DB 560, It may include an evaluation record DB 570, a candidate DB 580, an inquiry history report DB 581, a verifier interface providing module 582, and an artificial intelligence driving module 590. In addition, it is preferable that the test management server 50 stores the information in the original state and simultaneously stores the processed data processed by metadata, but there is no separate limitation thereto.

하기에서 상세히 설명하겠지만, 본 발명에 따른 평가시스템(1)에서는, 응시자가 블록체인 플랫폼(70) 상에서 시험을 보는 것이 아니라, 시험관리 서버(50)에 접속하여 시험을 보는 것임에 유의하여야 한다. 블록체인 플랫폼(70)은 시험 문제, 응시내역, 시험결과 등에 대한 내용만을 가공하여 저장하는 것이다. 상세한 내용은 후술하도록 한다.Although it will be described in detail below, it should be noted that in the evaluation system 1 according to the present invention, the candidate does not take the test on the blockchain platform 70, but connects to the test management server 50 to take the test. The blockchain platform 70 is to process and store only the contents of test questions, test details, test results, and the like. Details will be described later.

도 3은 도 1에 따른 출제자 인터페이스 제공모듈의 블럭도이다.3 is a block diagram of a tester interface providing module according to FIG. 1.

도 3을 참고하면, 출제자 인터페이스 제공모듈(510)은 출제자 단말기(10)에 입력 화면을 제공함으로써 출제자 문제 등록 등이 가능하도록 하는 구성으로, 이를 위하여 문제 등록모듈(511), 응시자 지정모듈(513) 및 시험결과 확인모듈(515)을 포함할 수 있다.Referring to FIG. 3, the tester interface providing module 510 provides an input screen to the tester terminal 10 so that the tester problem registration, etc. is possible. To this end, a problem registration module 511 and a test taker designation module 513 ) And a test result confirmation module 515.

도 4 내지 도 6은 도 3에 따른 문제등록모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이다.4 to 6 are reference diagrams for the screen of a questionnaire terminal by driving the problem registration module according to FIG. 3.

도 3 내지 도 6을 참고하면, 문제등록모듈(511)은 출제자 단말기(10) 화면을 통해 시험문제 및 해답 정보를 수신하는 모듈이다. 예를 들어, 출제자 단말기 화면에 문제 난이도, 대상 과목, 지문 유무를 입력하는 박스를 생성하고(도 4 참고), 지문 존재 시 지문 등록, 문제내용, 객관식인 경우 보기내용을 작성하는 박스를 생성하며(도 5 참고), 정답 해설에 대한 박스를 생성하여(도 6 참고) 해당 정보에 대한 내용을 수신할 수 있다. 또한, 경우에 따라 해당 문제를 응시하는 대상학교에 대한 정보 역시 수신 가능하다. 출제자는 이러한 박스를 통해 문제 및 해답 정보를 등록할 수 있다. 3 to 6, the question registration module 511 is a module that receives test question and answer information through the screen of the questioner terminal 10. For example, on the screen of the tester's terminal, a box is created to input the difficulty level of the problem, the subject subject, and the presence or absence of a fingerprint (see Fig. 4), and a box is created to register the fingerprint when there is a fingerprint, the content of the problem, and the view content in the case of multiple choice (See FIG. 5), by creating a box for the explanation of the correct answer (see FIG. 6), it is possible to receive the contents of the corresponding information. In addition, in some cases, information on the target school for taking the question may also be received. Applicants can register question and answer information through these boxes.

더욱 상세하게는, 지문 존재 시 지문 박스에 그리고 문제 박스에 출제자가 지문 내용을 입력한다. 그 후 보기 1번~5번에 각각의 정답 내용을 등록한다. 또한, 정답 해설 박스에 해설 내용을 상세히 기재하여 등록한다. 등록된 정보들은 문제 DB(550)에 문제 별 분류되어 저장되고, 블록체인 플랫폼(70)에 데이터 가공되어 저장된다. 이와 같이, 중앙화 시스템에 구비되는 문제 DB(550)에 모든 정보를 원본 상태 및 필요에 따라 1차 가공된 상태로 등록함과 동시에, 탈중앙화 시스템인 블록체인 플랫폼(70)에 1차 가공된 데이터를 재가공하여 최소한의 정보만을 저장함으로써 데이터 위조 및 변조 방지, 보안 향상 및 비용 절감을 도모하는 것에 그 특징이 있다. 이와 같은 저장 방식에 의하여, 문제 DB(550)는 실질적으로 문제은행의 기능을 수행한다.In more detail, when a fingerprint is present, the examinee enters the fingerprint information in the fingerprint box and in the problem box. After that, register the contents of each correct answer in Examples 1-5. In addition, the contents of the commentary are detailed in the comment box for the correct answer and registered. The registered information is classified and stored for each problem in the problem DB 550, and data is processed and stored in the blockchain platform 70. In this way, all information is registered in the problem DB 550 provided in the centralized system in the original state and in the state processed first according to necessity, and the data processed first in the blockchain platform 70, which is a decentralized system. It is characterized in that data forgery and tampering is prevented, security is improved, and costs are reduced by reprocessing and storing only a minimum of information. By such a storage method, the problem DB 550 substantially performs the function of the problem bank.

도 7은 도 3에 따른 응시자 지정모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이다.FIG. 7 is a reference diagram for a screen of a testee terminal by driving the test taker designation module according to FIG. 3.

도 3 및 도 7을 참고하면, 응시자 지정모듈(513)은 출제자 단말기(10) 화면을 통해 응시자를 지정하는 모듈이다. 예를 들어, 시험 응시자를 직접 지정할 수도, 시험 응시를 직접 선택한 응시자 목록이 출제자 단말기(10) 화면에 표시된 이후 목록에 표시된 각각의 응시자의 응시 여부를 출제자가 최종 선택하도록 할 수도 있다. 또는, 시험관리 서버(50)에서 응시자를 직접 분류하여 출제자 단말기(10) 화면에 표시하도록 할 수도 있고 이에 별도의 제한이 있는 것은 아니다.3 and 7, the candidate designation module 513 is a module that designates a candidate through the screen of the examinee terminal 10. For example, a test taker may be directly designated, or after a list of test takers who directly selected the test taker is displayed on the screen of the test taker terminal 10, the test taker may finally select whether to take each test taker displayed in the list. Alternatively, the test management server 50 may directly classify the candidates and display them on the screen of the tester terminal 10, and there is no separate limitation thereto.

응시자 지정모듈(513)은 응시자 수정모듈(5131)을 포함할 수 있다.The candidate designation module 513 may include a candidate correction module 5131.

응시자 수정모듈(5131)은 상기 응시자 지정모듈(513)을 통하여 표시된 응시자 목록에서 각각의 응시자에 대한 응시 여부를 수정하도록 하는 모듈이다. 예를 들어, 학생 정보 목록에서 , NO.1, 이름 '이X', 대상 여부 '예' 또는 '아니오' 칸을 클릭 또는 터치 입력하여 응시자에 대한 응시 여부를 수정 가능하도록 할 수 있다.The test taker modification module 5131 is a module that modifies whether or not to take the test for each test taker in the test taker list displayed through the test taker designation module 513. For example, in the student information list, it is possible to modify whether or not to take the test for the candidate by clicking or touching the column of NO.1, the name'X', the target status'Yes' or'No'.

도 8은 도 3에 따른 시험결과 확인모듈 구동에 의한 출제자 단말기 화면에 대한 참고도이다.8 is a reference diagram for a screen of a tester's terminal by driving the test result check module according to FIG. 3.

도 3 및 도 8을 참고하면, 시험결과 확인모듈(515)은 출제자 단말기(10) 화면을 통해 시험결과 내용 또는 수치를 확인하도록 하는 모듈로, 시험 응시자 별 결과내용을 출제자 단말기(10) 화면을 통해 알려준다. 예를 들어, 각 응시자별 '응시 여부' 및/또는 '점수' 및/또는 '등수' 및/또는 '등급' 및/또는 '총 응시 시간'에 대한 정보를 표시할 수 있다.3 and 8, the test result confirmation module 515 is a module that checks the contents or numerical values of the test result through the screen of the tester terminal 10, and displays the result contents of each test taker on the screen of the tester terminal 10. Informs through. For example, it is possible to display information on'whether or not to take' and/or'score' and/or'rank number' and/or'grade' and/or'total exam time' for each candidate.

도 9는 도 1에 따른 응시자 인터페이스 제공모듈의 블럭도이다.9 is a block diagram of a test taker interface providing module according to FIG. 1.

도 9를 참고하면, 응시자 인터페이스 제공모듈(520)은 응시자 단말기(30)에 입력 화면을 제공함으로써 시험 응시 및 결과확인이 가능하도록 하는 구성으로, 이를 위하여 시험응시모듈(521), 응시자 결과 확인모듈(523), 문의사항 등록모듈(525)을 포함할 수 있다.Referring to FIG. 9, the candidate interface providing module 520 is configured to enable the test taker and check the result by providing an input screen to the test taker terminal 30. To this end, the test taker module 521, the test taker result check module (523), it may include an inquiry registration module (525).

도 10 내지 도 11 은 도 9에 따른 시험응시모듈 구동에 의한 응시자 단말기 화면에 대한 참고도이다.10 to 11 are reference diagrams for a test taker terminal screen by driving the test taking module according to FIG. 9.

도 9 내지 도 11을 참고하면, 시험응시모듈(521)은 응시자 단말기(30) 화면에 예정 시험 목록을 표시하여 응시자가 시험 응시를 선택하도록 하는 모듈로, 이를 위하여 응시자 정보표시모듈(5211), 시작선택모듈(5212), 수정모듈(5213), 제외표시모듈(5214), 할당시험 표시모듈(5215), 선택시험 표시모듈(5216) 및 시험문제표시모듈(5217)을 포함할 수 있다.9 to 11, the test-taking module 521 is a module that displays a list of scheduled tests on the screen of the test taker terminal 30 so that the test taker selects the test. To this end, the test taker information display module 5211, A start selection module 5212, a correction module 5213, an exclusion display module 5214, an assignment test display module 5215, a selection test display module 5216, and a test question display module 5217 may be included.

도 10을 참고하면, 응시자 정보표시모듈(5211)은 응시자 단말기(30) 화면에 로그인한 개별 응시자의 개인정보를 표시하는 모듈로, 예를 들어 '이름' 및/또는 '학교명' 및/또는 '학년' 및/또는 '계열' 및/또는 '선택 과목'을 표시할 수 있다. 또한, 응시자 정보표시모듈(521)에 표시된 응시자 이름을 터치 입력 또는 클릭 시 응시자의 기 등록된 사진이 표시되며, 예를 들어 팝업창이 구동되어 표시될 수 있다.Referring to FIG. 10, the candidate information display module 5211 is a module that displays personal information of individual candidates logged in on the candidate terminal 30 screen, for example,'name' and/or'school name' and/or 'Grade' and/or'Division' and/or'Electives' may be indicated. In addition, when the candidate name displayed on the candidate information display module 521 is touched or clicked, a previously registered photo of the candidate is displayed. For example, a pop-up window may be driven and displayed.

시작선택모듈(5212)은 응시자 단말기(30) 화면에 현재 문제풀이 가능한 시험에 대하여 시작 선택하도록 표시하는 모듈이다. 예를 들어, 응시자가 클릭 또는 터치 입력하여 '시험 보기' 박스를 선택하는 경우, 시험 문제가 표시될 수 있다. 이러한 '시험 보기' 박스의 경우 시험 시작 시간의 기 설정 시간 전에 활성화될 수 있으며, 예를 들어 시험 시작 시간 10초 전 활성화될 수 있다. 또한, 시작선택모듈(5212)을 통해 구동된 시험 보기 박스를 응시자가 선택한 경우, 시험 유의사항 팝업창이 활성화되며, '동의합니다' 선택 후 시험 보기 박스를 클릭 또는 터치 입력 시 시험을 시작할 수 있으나 이에 별도의 제한이 있는 것은 아니다.The start selection module 5212 is a module that displays on the screen of the candidate terminal 30 to start selection for a test that can solve a current problem. For example, when a candidate clicks or touches the input box and selects the'view test' box, a test question may be displayed. In the case of this'Test View' box, it can be activated before the preset time of the test start time, for example, it can be activated 10 seconds before the test start time. In addition, when the test taker selects the test view box driven through the start selection module 5212, the test notice pop-up window is activated, and the test can be started by clicking or touching the test view box after selecting'I agree'. There are no separate restrictions.

수정모듈(5213)은 시작선택모듈(5212)을 통하여 시험을 본 후 시험지 제출을 완료한 후라도, 더욱 상세하게는 문제 풀이 종료 후 제출하기 버튼을 클릭 또는 터치 입력하여 응시 완료한 후라도, 시험 종료 시각 전까지 문제 풀이를 할 수 있도록 하기 위해 응시자 단말기(30) 화면에 표시되는 모듈이다. 예를 들어, '수정' 박스가 시험 종료 전까지 활성화되며, 클릭 또는 터치 입력 시 답안 내용 수정이 가능하도록 시험 화면이 재표시된다.The correction module 5213 is the test end time even after completing the test paper submission after viewing the test through the start selection module 5212, and more specifically, after completing the test by clicking or touching the submit button after completing the problem solving. This module is displayed on the screen of the candidate terminal 30 in order to be able to solve the problem before. For example, the'edit' box is activated until the end of the test, and the test screen is redisplayed so that the contents of the answer can be modified when clicking or touching.

제외표시모듈(5214)은 시험 제외된 응시자의 응시자 단말기(30) 화면에 '제외'가 표시되어 응시자의 시험 보기 박스가 비활성화되도록 하는 구성이다.The exclusion display module 5214 is configured to display'exclusion' on the screen of the candidate terminal 30 of the candidate who has been excluded from the exam, so that the exam view box of the candidate is deactivated.

할당시험 표시모듈(5215)은 응시자에게 할당된 시험 목록을 표시하여 응시자가 알 수 있도록 하는 모듈로, 예를 들어 '할당 시험'이라고 표시되며, 상기 할당 시험에 대한 시험 시작 시간이 임박한 경우 시작선택모듈(5212)이 구동되어 시험 보기 박스가 활성화될 수 있다.Assignment test display module 5215 is a module that displays a list of tests assigned to the test taker so that the test taker can know. For example, it is displayed as'allocated test', and when the test start time for the assigned test is imminent, start selection Module 5212 may be activated to activate the test view box.

선택시험 표시모듈(5216)은 개별 응시자 별 선택 가능한 시험에 대해, 응시자 단말기(30) 화면에 표시하는 모듈이다. 예를 들어 '선택 시험' 박스가 활성화되어 응시자가 해당 시험을 선택 가능하도록 할 수 있다.The optional test display module 5216 is a module that displays a test that can be selected for each test taker on the screen of the test taker terminal 30. For example, a'selective exam' box can be activated to allow candidates to select the exam.

도 11을 참고하면, 시험문제표시모듈(5217)은 응시자가 선택모듈(5212)을 통해 구동되는 시험 응시를 선택한 경우, 응시자 단말기(30) 화면에 시험 문제 및 정답 선택 박스가 표시되는 모듈이다. 시험 풀이 완료 시 '제출하기' 박스를 클릭 또는 터치 입력 시 시험이 종료하나, 수정모듈(5213)을 통해 제출 후에도 다시 시험문제를 풀 수 있음에 유의하여야 한다. 또한, '제출하기' 박스 클릭 또는 터치 입력 후 시험시간이 지나면 응시자의 응시내용(답안지)는 응시자 별 매칭되어 응시자 DB(580)에 원본 형태로, 그리고 필요에 따라 메타데이터 처리되어 저장된다. 그리고, 상기 응시내용은 블록체인 플랫폼(70) 상에 또한 저장되고, 메타데이터를 재차 메타데이터 처리하여, 그리고 필요에 따라 암호화 처리를 추가적으로 수행하여 저장되도록 한다. Referring to FIG. 11, the test question display module 5217 is a module in which a test question and a correct answer selection box are displayed on the screen of the candidate terminal 30 when a candidate selects to take a test driven through the selection module 5212. When the test solution is completed, the test is terminated when the'Submit' box is clicked or touched, but it should be noted that the test question can be solved again even after submission through the correction module 5213. In addition, after the test time elapses after clicking or touching the'Submit' box, the test taker's test content (answer sheet) is matched for each test taker and stored in the test taker DB 580 in the original form, and metadata is processed and stored as necessary. In addition, the test contents are also stored on the blockchain platform 70, and the metadata is processed again by metadata, and if necessary, encryption processing is additionally performed to be stored.

도 12 내지 도 14는 도 9에 따른 응시자 결과확인모듈에 의한 응시자 단말기 화면에 대한 참고도이다.12 to 14 are reference diagrams for a test taker terminal screen by the test taker result confirmation module according to FIG. 9.

도 9 및 도 12 내지 도 14를 참고하면, 응시자 결과확인모듈(523)은 응시자의 시험 결과 내용을 응시자 단말기(30) 화면에 표시하는 모듈이다. 예를 들어, 시험 별 결과 보기 란에 '보기' 박스가 활성화된 이후(도 12 참고), 이를 클릭 또는 터치 입력 시 '시험 점수' 및/또는 '등급' 및/또는 '표준 점수' 및/또는 '백분위' 정보가 표시될 수 있다(도 13 참고). 또한, 문제 별 '문제 설명' 및/또는 '해설' 내용이 표시되고, 이는 문제등록모듈(511)을 통해 출제자가 등록한 내용이다(도 14 참고). 응시자가 응시자 결과확인모듈(523)에 의하여 자신의 시험결과 내역을 조회하여 본 경우, 상기 조회 정보 역시 응시자 DB(580) 및 블록체인 플랫폼(70) 상에 저장되는 것이 바람직하다.9 and 12 to 14, the test taker result confirmation module 523 is a module that displays the test result content of the test taker on the screen of the test taker terminal 30. For example, after the'View' box is activated in the View Results column for each test (see Fig. 12), clicking or touching the'Test Score' and/or'Grade' and/or'Standard Score' and/or 'Percentile' information may be displayed (see FIG. 13). In addition,'problem description' and/or'explanation' for each problem is displayed, which is the content registered by the questioner through the problem registration module 511 (see FIG. 14). In the case where the candidate has inquired of his or her test result details by the candidate result confirmation module 523, it is preferable that the inquiry information is also stored on the candidate DB 580 and the blockchain platform 70.

도 15은 도 9에 따른 문의사항 등록모듈에 의한 응시자 단말기 화면에 대한 참고도이다.15 is a reference diagram for a test taker terminal screen by an inquiry registration module according to FIG. 9.

도 15를 참고하면, 문의사항 등록모듈(525)은 응시자가 응시자 단말기(30) 화면을 통해 시험 결과 이의사항을 등록 가능하도록 하는 모듈이다. Referring to FIG. 15, the inquiry registration module 525 is a module that enables a candidate to register a test result objection through the screen of the candidate terminal 30.

도 16은 도 2에 따른 데이터 처리부에 대한 블럭도이다.16 is a block diagram of a data processing unit according to FIG. 2.

도 16을 참고하면, 데이터 처리부(530)는 출제자 인터페이스 제공모듈(510) 및/또는 응시자 인터페이스 제공모듈(520)을 통하여 단말기(10 및/또는 30)로부터 수신한 각종 정보를 가공하는 구성으로, 제1 가공모듈(531), 제2 가공모듈(533) 및 검증모듈(535)을 포함할 수 있다. 추가로, 서버(50)에 접속하여 시험문제, 시험결과 등 개별 정보/데이터를 조회한 자에 대한 이력 역시 모두 데이터 처리부(530)를 통해 가공될 수 있다. 그러므로, 블록체인 플랫폼(70) 상에 조회 이력에 대한 정보 역시 모두 저장 가능하다. 또한, 상기 데이터 처리부(530)는 시험관리 서버(50)와 독립적인 구성일 수도 또는 상기 시험관리 서버(50)에 포함된 구성일 수도 있고 이에 별도의 제한이 있는 것은 아니지만, 단지 편의를 위하여 포함된 것으로 설명하는 것임에 유의하여야 한다.Referring to FIG. 16, the data processing unit 530 is configured to process various types of information received from the terminals 10 and/or 30 through the tester interface providing module 510 and/or the test taker interface providing module 520, A first processing module 531, a second processing module 533, and a verification module 535 may be included. In addition, the history of a person who accessed individual information/data such as test questions and test results by accessing the server 50 may also be processed through the data processing unit 530. Therefore, all information on the inquiry history can be stored on the blockchain platform 70 as well. In addition, the data processing unit 530 may be a configuration independent of the test management server 50 or may be a configuration included in the test management server 50, and there is no separate limitation thereto, but is included only for convenience. It should be noted that it is described as being done.

제1 가공모듈(531)은 출제자 인터페이스 제공모듈(510) 및/또는 응시자 인터페이스 제공모듈(520)을 통하여 단말기(10 및/또는 30)로부터 수신한 각종 정보(데이터)에 대한 메타데이터를 추출하는 모듈로, 메타데이터 처리 후 시험관리 서버(50)의 DB에 저장할 수 있다. 일 예로 시험지 문제 원형에 대한 메타데이터를 추출한 이후, 미가공된 정보 원형과 함께, 시험관리 서버(50)의 문제 DB(550), 출제정보 DB(560), 평가기록 DB(570), 응시자 DB(580) 등에 저장 가능하다.The first processing module 531 extracts metadata for various types of information (data) received from the terminal 10 and/or 30 through the tester interface providing module 510 and/or the test taker interface providing module 520. As a module, it can be stored in the DB of the test management server 50 after processing the metadata. For example, after extracting the metadata for the prototype of the test paper, along with the unprocessed information prototype, the problem DB 550 of the test management server 50, the questionnaire information DB 560, the evaluation record DB 570, the candidate DB ( 580).

제2 가공모듈(533)은 제1 가공모듈(531)에 의하여 메타데이터 처리된 개별 정보에 대하여, 또 한번의 메타데이터 처리를 하여 최소한의 정보만을 추출하는 모듈이다. 제2 가공모듈(533)에 의하여 가공처리된 정보는 후술할 블록체인 플랫폼(70)에 저장될 수 있다. 이와 같이 2번의 데이터 가공을 통하여 다음과 같은 이점이 발생한다. 먼저 이더리움과 같은 공개 블록체인은 블록체인 상에 기록되는 데이터 양에 따라 ETH 토큰을 지급하여야 하며, 상세하게는 약 1KB의 데이터를 이더리움 네트워크 상에 저장하기 위해서는 0.03 ETH 토큰이 필요하고, 이를 시세로 환산하면 약 5달러의 비용에 해당한다. 본 발명은 출제, 수험, 평가, 검증 등의 전반적인 정보를 블록체인 플랫폼(70) 상에 저장하지만, 원본 데이터 그 자체를 저장하는 것이 아니고 제1 가공모듈(531)을 통해 메타데이터 처리를 한 후, 다시 한 번 메타데이터 처리 한 최소한의 정보만 블록체인 플랫폼(70) 상에 저장한다. 이러한 제2 가공모듈(533)에 의하여 처리된 정보로는 개별 정보에 대한 해쉬값 및/또는 타임 스탬프 및/또는 고유 주소에 대한 정보일 수 있다. 따라서 최소한의 데이터만을 블록체인 플랫폼(70) 상에 저장함으로써 메인넷 사용 수수료를 최소화하여 사용자 부담을 절감할 수 있다. The second processing module 533 is a module that extracts only the minimum information by performing another metadata processing on the individual information processed by the first processing module 531. The information processed by the second processing module 533 may be stored in the blockchain platform 70 to be described later. In this way, the following advantages occur through data processing twice. First, public blockchains such as Ethereum must pay ETH tokens according to the amount of data recorded on the blockchain, and in detail, 0.03 ETH tokens are required to store about 1KB of data on the Ethereum network. Converted to market prices, it costs about $5. The present invention stores overall information such as questions, examinations, evaluation, and verification on the blockchain platform 70, but does not store the original data itself, but after processing the metadata through the first processing module 531 , Once again, only the minimal information processed by metadata is stored on the blockchain platform 70. The information processed by the second processing module 533 may be a hash value for individual information and/or information on a time stamp and/or a unique address. Therefore, by storing only the minimum amount of data on the blockchain platform 70, it is possible to reduce the user burden by minimizing the mainnet usage fee.

또한, 제2 가공모듈(533)은 제1 가공모듈(531)에 의하여 메타데이터 처리된 개별 정보에 대하여 암호화 처리한 이후 데이터 2차 가공을 수행하는 것이 더욱 바람직하다. 이와 같은 암호화 처리에 의하여 출제자 및 응시자 등 개인의 프라이버시가 보호될 수 있다.In addition, it is more preferable that the second processing module 533 performs the secondary processing of data after encrypting the individual information processed by the first processing module 531 with metadata. The privacy of individuals, such as applicants and candidates, can be protected by such encryption processing.

검증모듈(535)은 블록체인 플랫폼(70) 상에 저장된 정보와 시험관리 서버(50) 상에 저장된 정보를 상호 매칭 및 대비하여 데이터 내용을 검증하는 모듈이다. 상세하게는, 제1 가공모듈(533)에 의해 가공되어 시험관리 서버(50)에 저장된 정보를 제2 가공모듈(533)을 통해 데이터 추출한 이후, 제2 가공모듈(533)에 의하여 가공되어 블록체인 플랫폼(70) 상에 저장된 정보와 대비하여 검증 가능하도록 한다. 또한, 제2 가공모듈(533)에 의해 암호화 처리된 경우에는, 제1 가공모듈(533)에 의해 가공되어 시험관리 서버(50)에 저장된 정보를 암호화 후 데이터 2차 가공을 한 이후에, 블록체인 플랫폼(70) 상에 저장된 정보와 대비하여 검증할 수도 있다.The verification module 535 is a module that verifies data contents by matching and comparing the information stored on the blockchain platform 70 with the information stored on the test management server 50. Specifically, after the information processed by the first processing module 533 and stored in the test management server 50 is extracted through the second processing module 533, the block is processed by the second processing module 533 It is possible to verify against the information stored on the chain platform (70). In addition, in the case of encryption processing by the second processing module 533, after the data processed by the first processing module 533 and stored in the test management server 50 is encrypted and then data is processed, the block It may be verified against the information stored on the chain platform 70.

도 2를 참고하면, 접속 DB(540)는 각 출제자 및 응시자의 개인정보를 저장하는 구성으로, 예를 들어 출제자의 ID와, 상기 ID와 매칭되는 비밀번호 및/또는 성명 등의 개인정보를 저장한다. 따라서, 출제자 단말기(10) 및 응시자 단말기(30)를 통하여 서버(50) 접속 시도 시 입력된 ID 및 패스워드가 상호 매칭되는지 여부를 판단하여, 상기 서버(50)로의 접속권한을 부여한다. Referring to FIG. 2, the access DB 540 is configured to store personal information of each applicant and candidate, and stores personal information such as, for example, the applicant's ID and a password and/or name matching the ID. . Accordingly, it is determined whether the ID and password inputted when attempting to connect to the server 50 through the tester terminal 10 and the test taker terminal 30 are matched with each other, and access rights to the server 50 are granted.

문제 DB(550)는 문제등록모듈(511)을 통하여 등록된 시험문제 및 해답 등의 정보 원본을 저장하고, 필요에 따라 상기 원본에 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다. The problem DB 550 stores the original information such as test questions and answers registered through the problem registration module 511, and if necessary, the information processed by the first processing module 531 with respect to the original is also It is the configuration to save.

출제정보 DB(560)는 시험문제의 조합에 의하여 완성된 시험지 원본에 대한 정보를 저장하고, 필요에 따라 상기 시험지 원본 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다. 예를 들어, 후술할 인공지능 구동모듈(590)에 의해 완성된 시험지 원본 및 상기 원본에 대해 메타데이터 처리된 정보를 저장한다.The questionnaire information DB 560 stores information on the original test paper completed by a combination of test questions, and also stores information processed by the first processing module 531 for the original test paper as necessary. . For example, the original test paper completed by the artificial intelligence driving module 590 to be described later and metadata-processed information on the original are stored.

평가기록 DB(570)는 개별 시험 응시자의 시험 평가기록에 대한 내용을 저장하고, 필요에 따라 상기 평가기록에 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다. 또한, 총 응시자의 개별 문제에 대한 정답률 및/또는 표준편차 정보를 저장할 수도 있다.The evaluation record DB 570 stores the contents of the test evaluation record of an individual test taker, and also stores metadata-processed information for the evaluation record by the first processing module 531 as needed. In addition, it is also possible to store the correct answer rate and/or standard deviation information for individual questions of the total candidates.

응시자 DB(580)는 개별 시험 응시자 목록 및 응시자 별 시험 응시내용(답안지)에 대한 정보를 저장하고, 필요에 따라 상기 응시자 목록 정보에 대하여 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장하는 구성이다. 또한, 응시자 별 시험결과 확인 조회 내역 역시 저장될 수 있다.The candidate DB 580 stores information on the individual test candidate list and the test contents (answer sheet) for each candidate, and metadata-processed information by the first processing module 531 for the candidate list information as necessary. It is the configuration to save. In addition, it is possible to save the inquiry history of checking the test results for each candidate.

이와 같이 각종 DB(550 내지 580)를 통한 정보 저장에 의하여, 중앙화 시스템인 시험관리 서버(50) 그 자체만으로도 본 발명에 따른 시스템(1)을 운영하는 것이 가능하다. 따라서, 블록체인 플랫폼(70) 상에 예기치 못한 장애가 발생한 경우라도 상기 시스템(1)을 활용하는 것에 문제가 발생하지 않는다. 또한, 블록체인 플랫폼(70)과의 데이터 교차 검증을 통해 데이터 보안능력이 한층 향상될 수 있는 것에 그 이점이 있다.By storing information through various DBs 550 to 580 in this way, it is possible to operate the system 1 according to the present invention only by the test management server 50 itself, which is a centralized system. Therefore, even if an unexpected failure occurs on the blockchain platform 70, there is no problem in using the system 1. In addition, there is an advantage in that data security capabilities can be further improved through data cross-validation with the blockchain platform 70.

조회내역 보고서 DB(581)는 후술할 조회내역 보고서 생성모듈(595)이 생성한 조회내역 보고서에 대하여 저장하는 구성이다. 예를 들어, 조회내역 보고서 원문 및 제1 가공모듈(531)에 의해 메타데이터 처리된 정보 역시 저장한다. 조회내역이란 서버(50) 상에 저장된 데이터 중 임의의 데이터를 검색하여 본 내역을 의미하고, 예를 들어 시험결과 조회내역, 개별 문제 조회내역, 답안지 조회내역, 응시자 목록 조회 내역, 출제자 목록 조회 내역 등일 수 있으나 본 발명의 범위가 특정 예시에 의하여 제한되는 것은 아님에 유의하여야 한다. The inquiry history report DB 581 is a configuration that stores the inquiry history report generated by the inquiry history report generation module 595, which will be described later. For example, the original text of the inquiry history report and information processed by the first processing module 531 are also stored. Inquiry details refer to the details of searching for arbitrary data among the data stored on the server 50, and for example, examination results inquiry details, individual question inquiry details, answer sheet inquiry details, candidate list inquiry details, questionnaire list inquiry details And the like, but it should be noted that the scope of the present invention is not limited by a specific example.

도 17은 검증자 인터페이스 제공모듈에 대한 참고도이다.17 is a reference diagram for a verifier interface providing module.

도 2 및 도 17을 참고하면, 검증자 인터페이스 제공모듈(582)은 후술할 블록체인 플랫폼(70) 상에 저장되는 개별 응시자의 성적표를 성적표를 발급받으려는 자의 단말기 화면에(예를 들어 응시자 단말기(30) 화면에) 표시하는 모듈이다. 예를 들어, 검증자 인터페이스 제공모듈(582)을 통해 제공되는 성적표에 대한 정보는 블록체인 플랫폼(70)으로부터 제공받을 수도, 시험관리 서버(50)로부터 제공받을 수도 있고, 바람직하게는 검증모듈(535)을 통해 검증절차를 거친 이후 제공받는다. 2 and 17, the verifier interface providing module 582 displays the individual test taker's score card stored on the blockchain platform 70, which will be described later, on the terminal screen of the person who wants to receive the score report (for example, the test taker terminal ( 30) This module is displayed on the screen. For example, information on the score report provided through the verifier interface providing module 582 may be provided from the blockchain platform 70 or from the test management server 50, preferably the verification module ( 535).

이러한 검증자 인터페이스 제공모듈(582)은 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 및 성적표 발급일에 대한 정보를 제공할 수 있다. 이와 같이 TXID를 제시함으로써 성적표가 블록체인 상에 저장되어 위조 및 변조가 되지 않았음을 증명할 수 있다. 또한, 검증자 인터페이스 제공모듈(582)은 응시자 인터페이스 제공모듈(520)의 일 구성일 수도 또는 독립적인 구성일 수도 있고 이에 별도의 제한이 있는 것은 아니다The verifier interface providing module 582 may provide information on the date of issue of the TXID (Transaction ID) and the score report, as well as the candidate's personal information and test result information. By presenting the TXID in this way, it can be proved that the report card is stored on the blockchain and has not been forged or altered. In addition, the verifier interface providing module 582 may be a component of the test taker interface providing module 520 or an independent configuration, and there is no separate limitation thereto.

도 18은 도 2에 따른 인공지능 구동모듈에 대한 블럭도이다. 18 is a block diagram of an artificial intelligence driving module according to FIG. 2.

도 18을 참고하면, 인공지능 구동모듈(590)은, 문제 DB(550) 및/또는 평가기록 DB(570)를 활용하여, 인공지능 엔진을 구동함으로써 자동 문제 출제를 가능하도록 하는 모듈이다. 이러한 인공지능 엔진은 과거의 출제 및 평가 결과를 머신러닝 및/또는 딥러닝 기법을 통해 1차적으로 학습하여 시험 예상 난이도 및 변별력을 관리한다. 예를 들어, 서버(50) 운영자가 희망하는 평가 결과를 평균, 표준편차 등의 수치를 바탕으로 난이도 및 변별력 희망값을 결정하면, 상기 인공지능 구동모듈(590)이 문제 DB(550) 등에 등록된 개별 문제에 대해, 상기 희망값을 기초로 문제를 선정 및 조합하여 시험 출제를 완성한다. 이와 같이 인공지능 엔진을 기반으로 한 인공지능 구동모듈(590)에 의하여 과거 문제 출제데이터 및 현재 출제데이터 등 빅데이터를 직접 분석 및 학습하여 문제 출제를 함으로써, 의도한 시험결과 도출이 용이하고 그에 따른 선진화된 양질의 출제가 가능한 장점이 있다.Referring to FIG. 18, the artificial intelligence driving module 590 is a module that enables automatic problem questioning by driving the artificial intelligence engine using the problem DB 550 and/or the evaluation record DB 570. This artificial intelligence engine primarily learns the results of past questions and evaluations through machine learning and/or deep learning techniques to manage the predicted difficulty and discrimination of the test. For example, if the server 50 operator determines the desired value of difficulty and discrimination based on values such as average and standard deviation of the desired evaluation result, the artificial intelligence driving module 590 registers the problem DB 550, etc. For each question, the test questions are completed by selecting and combining the questions based on the desired values. In this way, the artificial intelligence driving module 590 based on the artificial intelligence engine directly analyzes and learns big data such as the past question questionnaire data and the present questionnaire data, and presents the question, making it easy to derive the intended test result. It has the advantage of enabling advanced and high-quality questions.

이를 위하여, 인공지능 구동모듈(590)은 난이도 제어모듈(591), 변별력 제어모듈(593), 조회내역 보고서 생성모듈(595)을 포함할 수 있다.To this end, the artificial intelligence driving module 590 may include a difficulty control module 591, a discrimination power control module 593, and an inquiry history report generation module 595.

난이도 제어모듈(591)은 시험관리 서버(50) 운영자가 희망하는 난이도 입력값(예를 들어, 예상 정답률)에 따라 문제 DB(550)로부터 시험문제를 자동 선택하여 시험지를 완성하는 모듈이다. 예를 들어, 문제 DB(550) 및 평가기록 DB(570)로부터 문제 별 정답률을 학습하여 알아낸 이후, 난이도 입력값의 예상 정답률과 일치하거나 기 설정된 오차 범위 내의 근사한 총 정답률을 가지는 문제들을 상기 문제 DB(550)로부터 선택한다. The difficulty control module 591 is a module that automatically selects a test question from the problem DB 550 according to the difficulty level input value (eg, expected correct answer rate) desired by the operator of the test management server 50 to complete the test paper. For example, after learning and finding out the correct answer rate for each question from the problem DB 550 and the evaluation record DB 570, the questions that match the expected correct answer rate of the difficulty level input value or have an approximate total correct answer rate within a preset error range are described above. Select from DB (550).

변별력 제어모듈(593)은 시험관리 서버(50) 운영자가 희망하는 변별력 입력값(예를 들어, 예상 표준편차값)에 따라 문제 DB(550)로부터 시험문제를 자동 선택하여 시험지를 완성하는 모듈이다. 예를 들어, 문제 DB(550) 및 평가기록 DB(570)로부터 문제 별 정답 표준편차값을 학습하여 특정하고, 변별력 입력값의 예상 표준편차값과 일치하거나 기 설정된 오차 범위 내 근사한 값을 가지는 문제들을 상기 문제 DB(550)로부터 추출하여 시험지를 완성한다.The discrimination power control module 593 is a module that automatically selects a test question from the problem DB 550 according to the discrimination force input value (eg, expected standard deviation value) desired by the operator of the test management server 50 to complete the test paper. . For example, a problem that is specified by learning the standard deviation value of the correct answer for each problem from the problem DB 550 and the evaluation record DB 570, and having a value that matches the expected standard deviation value of the discrimination power input value or has an approximate value within a preset error range. Are extracted from the problem DB 550 to complete the test paper.

이와 같이 난이도 제어모듈(591) 및 변별력 제어모듈(593)을 통하여 시험 출제과정 중에서 사람의 주관적 선택 개입을 방지함으로써 활용의 편의 및 정확하고 공정한 시험 관리가 가능함에 이점이 발생한다. 또한, 시험관리 서버(50) 및 출제자 등의 개입을 원천차단하여 시험 관리와 관련된 내부인력에 의한 부정한 유출 및 개입 시도를 방지할 수 있다. As described above, the difficulty control module 591 and the discrimination power control module 593 prevent human intervention in subjective selection during the test questioning process, resulting in an advantage in that convenience of use and accurate and fair test management are possible. In addition, by blocking the intervention of the test management server 50 and the questionnaire at the source, it is possible to prevent illegal leakage and intervention attempts by internal personnel related to the test management.

조회내역 보고서 생성모듈(595)은 서버(50) 접속을 통해 문제 DB(550) 및/또는 출제정보 DB(560) 및/또는 평가기록 DB(570) 및/또는 응시자 DB(580)에 저장된 정보/데이터를 조회한 자에 대한 조회내역 보고서를 작성하는 모듈이다. 더욱 상세하게는, 조회내역 보고서 생성모듈(595)은 기 설정 기간 별 각 DB에 대한 조회내역 보고서를 생성하며, 예를 들어 월별 또는 주별 조회내역에 대한 보고서를 생성할 수 있고 이에 별도의 제한이 있는 것은 아니다. 이와 같이 인공지능 엔진기술을 통해 조회내역 보고서를 생성함으로써 출제자, 관리자, 응시자 또는 기타 시험관계자에게 시험문제 유출 시 쉽게 발각될 수 있다는 것에 대한 경각심을 줄 수 있는 효과가 있다. 이러한 조회내역 보고서 생성모듈(595)에 의하여 생성된 조회내역 보고서는 조회내역 보고서 DB(581) 및/또는 메타데이터를 메타데이터 처리한 이후 블록체인 플랫폼(70) 상에 저장될 수 있다.The inquiry history report generation module 595 is information stored in the problem DB 550 and/or the questionnaire information DB 560 and/or the evaluation record DB 570 and/or the candidate DB 580 through the server 50 connection. /This module creates an inquiry history report for the person who inquired the data. In more detail, the inquiry history report generation module 595 generates an inquiry history report for each DB for each preset period, and for example, a report on monthly or weekly inquiry history can be generated, and there is a separate restriction. There is not. In this way, by generating an inquiry history report through artificial intelligence engine technology, there is an effect that can give the questioner, manager, test taker, or other test subjects an awareness that they can be easily spotted when a test question is leaked. The inquiry history report generated by the inquiry history report generation module 595 may be stored on the blockchain platform 70 after metadata processing of the inquiry history report DB 581 and/or metadata.

도 2를 참고하면, 블록체인 플랫폼(70)은 데이터 처리부(590)에 의하여 가공된 데이터를 저장하는 구성이다. 더욱 상세하게는, 제2 가공모듈(533)을 통해 2번 가공된 각종 정보를 저장한다. 예를 들어, 출제자 및/또는 응시자의 가입정보, 개별 시험문제, 응시 대상 등에 대한 정보, 응시 내역 정보, 시험결과 조회 내역 정보, 성적표 발급 내역 정보, 시험 제외내역 정보, 출제자의 개별 문제 정보, 개별 데이터 조회/검색 정보 등 출제자 및 응시자의 시험관리 서버(50) 이용에 대한 전반적인 정보를 모두 스마트 컨트랙트를 통해 블록체인 플랫폼(70) 상에 저장할 수 있다. 그리고, 서버(50)에 접속하여 각종 정보를 조회한 자에 대한 정보 역시 제2 가공모듈(533)에 의해 가공되어 블록체인 플랫폼(70) 상에 저장될 수 있다. 그러므로, 시험지 유출 등 보안 상의 문제가 발생하는 경우에도 조회자 정보를 검색하여 추적 가능하므로, 추후 용이한 대처가 가능한 것에 이점이 있다.Referring to FIG. 2, the blockchain platform 70 is a component that stores data processed by the data processing unit 590. In more detail, various pieces of information processed twice through the second processing module 533 are stored. For example, applicants and/or candidates' subscription information, individual exam questions, information on subjects to take, exam details information, test result inquiry history information, transcript issuance history information, exam exclusion details, individual question information of applicants, individual Overall information on the use of the test management server 50 of the applicant and the candidate, such as data inquiry/retrieval information, can all be stored on the blockchain platform 70 through a smart contract. In addition, information on a person who has accessed the server 50 to inquire various types of information may also be processed by the second processing module 533 and stored on the blockchain platform 70. Therefore, even when a security problem such as a test paper leak occurs, it is possible to search and track the information of the inquirer, so there is an advantage in that an easy response is possible in the future.

이와 같은 블록체인 플랫폼(70)을 활용하므로, 데이터 위조 및 변조가 사실상 불가능하기 때문에 출제자의 문제 출제 기록에 대한 투명성 확보와 함께 응시자의 응시내역에 대한 사후 수정이 불가능하므로 수험기록에 대한 투명성 확보 역시 가능하다. 또한, 출제자 및 응시자 외에, 서버(50) 관리자 등에 의한 데이터 조회 정보 역시 블록체인 플랫폼(70) 상에 저장되므로 제3자에 의한 조회 투명성 역시 확보 가능하다.Since such a block chain platform (70) is used, data forgery and alteration is virtually impossible, so transparency about the test taker's questionnaire record and post-modification of the test taker's test details is impossible, so the transparency of the test record is also secured. It is possible. In addition, in addition to the applicants and candidates, data inquiry information by the server 50 administrator, etc. is also stored on the blockchain platform 70, so it is possible to secure inquiry transparency by a third party.

또한, 블록체인 플랫폼(70)은 허가형 블록체인 플랫폼일 수도, 비허가형 블록체인 플랫폼일 수도 있으며 이에 별도의 제한이 있는 것은 아니다. 이와 같이 블록체인 플랫폼(70)을 활용함으로써 저장된 정보를 조작하거나 삭제하는 것이 불가능하여 데이터의 안정성 및 투명성을 담보할 수 있다.In addition, the blockchain platform 70 may be a licensed blockchain platform or an unlicensed blockchain platform, and there is no separate limitation thereto. By utilizing the blockchain platform 70 as described above, it is impossible to manipulate or delete stored information, thereby ensuring stability and transparency of data.

이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다.The detailed description above is illustrative of the present invention. In addition, the above description shows and describes preferred embodiments of the present invention, and the present invention can be used in various other combinations, modifications, and environments. That is, changes or modifications may be made within the scope of the concept of the invention disclosed in the present specification, the scope equivalent to the disclosed contents, and/or the skill or knowledge of the art. The above-described embodiment describes the best state for implementing the technical idea of the present invention, and various changes required in the specific application fields and uses of the present invention are also possible. Therefore, the detailed description of the invention is not intended to limit the invention to the disclosed embodiment.

1 : 블록체인과 인공지능을 활용한 온라인시험 평가시스템
10 : 출제자 단말기 30 : 응시자 단말기
50 : 시험관리 서버
510 : 출제자 인터페이스 제공모듈
511 : 문제등록모듈 513 : 응시자 지정모듈
5131 : 응시자 수정모듈
515 : 시험결과 확인모듈
520 : 응시자 인터페이스 제공모듈
521 : 시험응시모듈
5211 : 응시자 정보표시모듈 5212 : 시작선택모듈
5213 : 수정모듈 5214 : 제외표시모듈
5215 : 할당시험 표시모듈 5216 : 선택시험 표시모듈
5217 : 시험문제표시모듈
523 : 응시자 결과확인모듈 525 : 문의사항 등록모듈
530 : 데이터 처리부
531 : 제1 가공모듈 533 : 제2 가공모듈
535 : 검증모듈
540 : 접속 DB 550 : 문제 DB
560 : 출제정보 DB 570 : 평가기록 DB
580 : 응시자 DB 590 : 인공지능 구동모듈
591 : 난이도 제어모듈 593 : 변별력 제어모듈
70 : 블록체인 플랫폼
1: Online test evaluation system using blockchain and artificial intelligence
10: testee terminal 30: test taker terminal
50: test management server
510: Apprentice interface providing module
511: question registration module 513: candidate designation module
5131: Candidate modification module
515: test result confirmation module
520: test taker interface providing module
521: test-taking module
5211: candidate information display module 5212: start selection module
5213: correction module 5214: exclusion display module
5215: assignment test display module 5216: selection test display module
5217: Test question display module
523: test taker result confirmation module 525: inquiry registration module
530: data processing unit
531: first processing module 533: second processing module
535: verification module
540: connection DB 550: problem DB
560: questionnaire information DB 570: evaluation record DB
580: candidate DB 590: artificial intelligence driving module
591: difficulty control module 593: discrimination power control module
70: Blockchain platform

Claims (16)

출제자가 시험관리 서버에 접속하여 출제 문제 등을 업로드하는 매개체가 되는 출제자 단말기;
시험 응시자가 시험관리 서버에 접속하여 시험을 응시하는 매개체가 되는 응시자 단말기;
출제자의 시험문제 등록 및 응시자의 시험 응시와 시험 결과내용을 저장하는 시험관리 서버; 및
상기 시험관리 서버에 의하여 가공된 데이터를 저장하는 블록체인 플랫폼;을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템.
A tester terminal serving as a medium for the tester to access the test management server and upload test questions, etc.;
A test taker terminal serving as a medium through which test takers access the test management server to take the test;
A test management server that registers the candidate's test questions and stores the candidate's test take and test results; And
Blockchain platform for storing the data processed by the test management server; Online test evaluation system using a block chain and artificial intelligence comprising a.
제1항에 있어서, 상기 시험관리 서버는
상기 출제자 단말기에 입력 화면을 제공함으로써 출제자 문제 등록 등을 하도록 구성되는 출제자 인터페이스 제공모듈;
상기 응시자 단말기에 입력 화면을 제공함으로써 시험을 응시하도록 구성되는 응시자 인터페이스 제공모듈; 및
상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통하여 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하는 데이터 처리부;를 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템.
The method of claim 1, wherein the test management server
A tester interface providing module configured to register a tester problem by providing an input screen to the tester terminal;
A test taker interface providing module configured to take a test by providing an input screen to the test taker terminal; And
An online test evaluation system using a block chain and artificial intelligence, comprising: a data processing unit for processing various types of information received from the test taker terminal and the test taker terminal through the tester interface providing module and the test taker interface providing module. .
제2항에 있어서, 상기 데이터 처리부는
상기 출제자 인터페이스 제공모듈 및 응시자 인터페이스 제공모듈을 통해 상기 출제자 단말기 및 응시자 단말기로부터 수신한 각종 정보를 메타데이터 처리하여 상기 시험관리 서버에 저장하는 제1 가공모듈; 및
상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보에 대하여 추가적인 데이터 추출을 하는 제2 가공모듈;을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템.
The method of claim 2, wherein the data processing unit
A first processing module for processing metadata received from the test taker terminal and the test taker terminal through the test taker interface providing module and the test taker interface providing module and storing the metadata in the test management server; And
And a second processing module for extracting additional data on the individual information processed by the metadata by the first processing module.
제3항에 있어서, 상기 제2 가공모듈은
상기 제1 가공모듈에 의하여 메타데이터 처리된 개별 정보 및 개별 정보 별 해쉬값 및/또는 타임 스탬프 및/또는 고유 주소에 대한 정보를 추출하고,
상기 제2 가공모듈에 의하여 추출된 데이터는 블록체인 플랫폼 상에 저장되는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템.
The method of claim 3, wherein the second processing module
Extracting individual information processed by the first processing module and information on a hash value and/or a time stamp and/or a unique address for each individual information, and
An online test evaluation system using a blockchain and artificial intelligence, characterized in that the data extracted by the second processing module is stored on a blockchain platform.
제4항에 있어서, 상기 데이터 처리부는
상기 제2 가공모듈에 의해 데이터 처리되어 블록체인 플랫폼 상에 저장된 정보와, 상기 제1 가공모듈에 의해 데이터 처리되어 시험관리 서버 상에 저장된 정보를 상호 매칭하여 데이터 내용을 검증하는 검증모듈;을 추가로 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인시험 평가시스템.
The method of claim 4, wherein the data processing unit
A verification module for verifying data contents by mutually matching the information processed by the second processing module and stored on the blockchain platform with the information processed by the first processing module and stored on the test management server; Online test evaluation system using blockchain and artificial intelligence, characterized in that it includes as.
제5항에 있어서, 상기 검증모듈은
상기 제1 가공모듈에 의해 메타데이터 처리되어 상기 시험관리 서버에 저장된 정보를 상기 제2 가공모듈을 통해 데이터 추출한 후, 상기 블록체인 플랫폼 상에 저장된 정보와 대비하여 검증하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 5, wherein the verification module
A block chain, characterized in that the metadata processed by the first processing module and stored in the test management server is extracted through the second processing module and then verified against the information stored on the blockchain platform. Online test evaluation system using artificial intelligence.
제4항에 있어서, 상기 시험관리 서버는
상기 제1 가공모듈에 의해 메타데이터 처리되는 개별 정보를 메타데이터 처리 전 개별 정보 원본과 상호 매칭시켜 저장하고,
상기 제2 가공모듈은
메타데이터 처리된 개별 정보에 대하여 암호화 처리 후 추가적인 데이터 추출을 하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 4, wherein the test management server
Individual information processed by metadata by the first processing module is matched and stored with the original individual information before metadata processing,
The second processing module is
An online test evaluation system using blockchain and artificial intelligence, characterized in that it extracts additional data after encryption processing for individual information processed by metadata.
제1항에 있어서, 상기 시험관리 서버는
상기 출제자 단말기에 입력 화면을 제공함으로써 출제자 문제 등록 등을 하도록 구성되는 출제자 인터페이스 제공모듈;
상기 응시자 단말기에 입력 화면을 제공함으로써 시험을 응시하도록 구성되는 응시자 인터페이스 제공모듈;
상기 출제자 인터페이스 제공모듈을 통해 등록된 시험문제 및 해답 등의 정보 원본을 저장하는 문제 DB;
개별 문제에 대한 정답률 및 표준편차 정보를 저장하는 평가기록 DB; 및
상기 문제 DB 및 평가기록 DB를 활용하여 자동 문제 출제를 하는 인공지능 엔진 기반의 인공지능 구동모듈;을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 1, wherein the test management server
A tester interface providing module configured to register a tester problem by providing an input screen to the tester terminal;
A test taker interface providing module configured to take a test by providing an input screen to the test taker terminal;
A problem DB for storing original information such as test questions and answers registered through the tester interface providing module;
Evaluation record DB for storing information on the correct answer rate and standard deviation for each question; And
An on-line test evaluation system using a blockchain and artificial intelligence comprising; an artificial intelligence driving module based on an artificial intelligence engine that automatically questions questions using the problem DB and the evaluation record DB.
제8항에 있어서, 상기 인공지능 구동모듈은
상기 시험관리 서버의 운영자가 희망하는 난이도 입력값에 따라, 상기 문제 DB로부터 시험문제를 자동 선택하여 시험지 원본을 완성하는 난이도 제어모듈;을 포함하고,
상기 난이도 제어모듈은
상기 문제 DB 및 평가기록 DB로부터 문제 별 정답률을 학습하여 알아낸 이후, 상기 난이도 입력값의 예상 정답률과 오차 범위 내의 총 정답률을 가지는 문제들의 조합을 상기 문제 DB로부터 선택하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 8, wherein the artificial intelligence driving module
Including; a difficulty control module for completing the original test paper by automatically selecting a test question from the problem DB according to the difficulty level input value desired by the operator of the test management server,
The difficulty control module
After learning and finding out the correct answer rate for each question from the problem DB and the evaluation record DB, a combination of questions having an expected correct answer rate of the difficulty level input value and a total correct answer rate within an error range is selected from the problem DB. Online test evaluation system using artificial intelligence.
제8항에 있어서, 상기 인공지능 구동모듈은
상기 시험관리 서버의 운영자가 희망하는 변별력 입력값에 따라, 문제 DB로부터 시험문제를 자동 선택하여 시험지를 완성하는 변별력 제어모듈;을 포함하고,
상기 변별력 제어모듈은
상기 문제 DB 및 평가기록 DB로부터 문제 별 정답 표준편차값을 학습하여 특정하며, 출제 문제들의 조합이 상기 변별력 입력값의 표준편차값과 오차 범위 내의 표준편차값을 가지는 문제들의 조합을 상기 문제 DB로부터 선택하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 8, wherein the artificial intelligence driving module
Including; a discrimination power control module for completing a test paper by automatically selecting a test question from the problem DB according to the discrimination power input value desired by the operator of the test management server,
The discrimination force control module
The problem DB and the evaluation record DB learn and specify the correct standard deviation value for each problem, and the combination of questions having the standard deviation value of the discrimination power input value and the standard deviation value within the error range is determined from the problem DB. Online test evaluation system using blockchain and artificial intelligence characterized by selection.
제2항 또는 제8항에 있어서, 상기 출제자 인터페이스 제공모듈은
상기 출제자 단말기 화면을 통해 시험문제 및 해답 정보를 수신하는 문제등록모듈; 및
상기 출제자 단말기 화면을 통해 시험결과 내용 또는 수치를 확인하는 시험결과 확인모듈;을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 2 or 8, wherein the tester interface providing module
A question registration module for receiving test question and answer information through the screen of the questioner's terminal; And
Online test evaluation system using a block chain and artificial intelligence comprising a; test result confirmation module for checking the test result contents or values through the screen of the applicant terminal.
제2항 또는 제8항에 있어서, 상기 응시자 인터페이스 제공모듈은
상기 응시자 단말기 화면에 예정 시험 목록을 표시하여 응시자가 시험 응시하도록 하는 시험응시모듈;을 포함하고,
상기 시험응시모듈은
상기 응시자 단말기 화면에 로그인한 개별 응시자의 개인정보를 표시하는 응시자 정보표시모듈; 및 상기 응시자 단말기 화면에 현재 시험보기 가능한 시험에 대해 시작 선택하도록 표시하는 시작선택모듈;을 포함하고,
상기 시작선택모듈은 시험 시작 시간의 기 설정 시간 전에 활성화되는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 2 or 8, wherein the test taker interface providing module
Including; a test-taking module that displays a list of scheduled tests on the screen of the test taker terminal so that the test taker takes the test,
The test-taking module is
A test taker information display module for displaying personal information of an individual test taker logged in on the test taker terminal screen; And a start selection module for displaying a start selection for a test currently available for viewing the test on the screen of the candidate terminal;
The start selection module is an online test evaluation system using a blockchain and artificial intelligence, characterized in that it is activated before a preset time of the test start time.
제12항에 있어서, 상기 시험응시모듈은
시험 제외된 응시자의 응시자 단말기 화면에 시작선택모듈을 비활성화시키는 제외표시모듈;
개별 응시자에게 할당된 시험 목록을 표시하여 응시자가 알 수 있도록 하는 할당시험 표시모듈;
및 응시자가 시작선택모듈을 통해 시험보기 선택한 경우 상기 응시자 단말기 화면에 시험 문제 및 정답 선택 박스가 표시되는 시험문제표시모듈;을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 12, wherein the test taking module
An exclusion display module for deactivating the start selection module on the candidate terminal screen of the test taker who is excluded from the test;
Assignment test display module that displays a list of tests assigned to individual test takers so that test takers can know;
And a test question display module in which a test question and a correct answer selection box are displayed on the screen of the candidate terminal when the candidate selects to view the test through the start selection module. .
제8항에 있어서, 상기 시험관리 서버는
상기 인공지능 구동모듈을 통해 완성된 시험지 원본에 대한 정보를 저장하는 출제정보 DB;를 추가로 포함하고,
상기 인공지능 구동모듈은
상기 시험관리 서버 접속을 통해 상기 문제 DB 및/또는 출제정보 DB 및/또는 평가기록 DB에 저장된 정보를 조회한 자에 대한 조회내역 보고서를 작성하는 조회내역 보고서 생성모듈;을 추가로 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 8, wherein the test management server
In addition, a questionnaire information DB for storing information on the original test paper completed through the artificial intelligence driving module;
The artificial intelligence driving module
Further comprising an inquiry history report generation module for creating an inquiry history report for a person who inquired the information stored in the problem DB and/or the questionnaire information DB and/or the evaluation record DB through the test management server connection. Online test evaluation system using blockchain and artificial intelligence.
제14항에 있어서, 상기 시험관리 서버는
상기 조회내역 보고서 생성모듈이 생성한 조회내역 보고서에 대하여 저장하는 조회내역 보고서 DB;를 추가로 포함하고,
상기 조회내역이란 상기 서버 내에 저장된 시험결과 조회내역, 개별 문제 조회내역, 답안지 조회내역, 응시자 목록 조회 내역 및 출제자 목록 조회 내역 등을 포함하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.
The method of claim 14, wherein the test management server
In addition, an inquiry history report DB that stores the inquiry history report generated by the inquiry history report generation module;
The inquiry details include the inquiry details of test results stored in the server, the inquiry details of individual questions, the inquiry details of the answer sheet, the inquiry details of the candidate list, and the inquiry details of the list of candidates, etc. Online test evaluation using blockchain and artificial intelligence. system.
제2항에 있어서, 상기 시험관리 서버는
상기 블록체인 플랫폼 상에 저장되는 개별 응시자의 성적표 정보를 발급 받으려는 자의 단말기 화면에 표시하는 검증자 인터페이스 제공모듈;을 추가로 포함하고,
상기 검증자 인터페이스 제공모듈은
상기 성적표를 발급 받으려는 자의 단말기 화면에 응시자의 개인정보, 시험결과 정보 뿐만 아니라 TXID(Transaction ID) 정보를 제공하는 것을 특징으로 하는 블록체인과 인공지능을 활용한 온라인 시험 평가시스템.






The method of claim 2, wherein the test management server
In addition, a validator interface providing module for displaying on the screen of a terminal of a person who intends to receive the score card information of individual candidates stored on the blockchain platform;
The verifier interface providing module
Online test evaluation system using a blockchain and artificial intelligence, characterized in that it provides not only the personal information of the test taker, test result information, but also TXID (Transaction ID) information on the terminal screen of the person who wants to receive the score report.






KR1020190144906A 2019-11-13 2019-11-13 Online testing and evaluation system by using blockchain platform and artificial intelligence, and method thereof KR102305863B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190144906A KR102305863B1 (en) 2019-11-13 2019-11-13 Online testing and evaluation system by using blockchain platform and artificial intelligence, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144906A KR102305863B1 (en) 2019-11-13 2019-11-13 Online testing and evaluation system by using blockchain platform and artificial intelligence, and method thereof

Publications (2)

Publication Number Publication Date
KR20210058018A true KR20210058018A (en) 2021-05-24
KR102305863B1 KR102305863B1 (en) 2021-09-29

Family

ID=76152666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144906A KR102305863B1 (en) 2019-11-13 2019-11-13 Online testing and evaluation system by using blockchain platform and artificial intelligence, and method thereof

Country Status (1)

Country Link
KR (1) KR102305863B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050104872A (en) * 2004-04-30 2005-11-03 대덕대학산학협력단 Online test system and method using crypto module
KR20100002592A (en) * 2008-06-30 2010-01-07 주식회사 이너버스 Method for accounting information security, computer-readable medium for storing a program for executing the method, and system for preforming the same
KR101401722B1 (en) * 2013-12-24 2014-05-30 박형용 Individual order type online learning system
KR20160094076A (en) * 2015-01-30 2016-08-09 주식회사 유플러스시스템 Integration Type Online Evaluation System and Method therefor
KR101798119B1 (en) * 2016-02-23 2017-11-16 주식회사 코인플러그 Method and server for registering stockholder's list, recording transfer of stock ownership and verifying the registered stockholder's list file
KR20190010515A (en) 2018-11-22 2019-01-30 김경준 Management system for blockchain
KR20190048227A (en) * 2017-10-31 2019-05-09 삼성에스디에스 주식회사 Method for managing data based on blockchain and Apparatus thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050104872A (en) * 2004-04-30 2005-11-03 대덕대학산학협력단 Online test system and method using crypto module
KR20100002592A (en) * 2008-06-30 2010-01-07 주식회사 이너버스 Method for accounting information security, computer-readable medium for storing a program for executing the method, and system for preforming the same
KR101401722B1 (en) * 2013-12-24 2014-05-30 박형용 Individual order type online learning system
KR20160094076A (en) * 2015-01-30 2016-08-09 주식회사 유플러스시스템 Integration Type Online Evaluation System and Method therefor
KR101798119B1 (en) * 2016-02-23 2017-11-16 주식회사 코인플러그 Method and server for registering stockholder's list, recording transfer of stock ownership and verifying the registered stockholder's list file
KR20190048227A (en) * 2017-10-31 2019-05-09 삼성에스디에스 주식회사 Method for managing data based on blockchain and Apparatus thereof
KR20190010515A (en) 2018-11-22 2019-01-30 김경준 Management system for blockchain

Also Published As

Publication number Publication date
KR102305863B1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
Fox et al. The impact of principal as authentic leader on teacher trust in the K‐12 educational context
Ramon Super-Recognizers–a novel diagnostic framework, 70 cases, and guidelines for future work
US20120135388A1 (en) Online Proctoring
US20180061254A1 (en) Academic-Integrity-Preserving Continuous Assessment Technologies
WO2014040179A1 (en) System and method for enabling crowd-sourced examination marking
Ullah et al. A study into the usability and security implications of text and image based challenge questions in the context of online examination
Ullah et al. A dynamic profile questions approach to mitigate impersonation in online examinations
Liu et al. An exploration into improving examinees' acceptance of participation in an online exam
Peytcheva-Forsyth et al. Using a student authentication and authorship checking system as a catalyst for developing an academic integrity culture: A Bulgarian case study
US11669923B2 (en) Enhanced teaching method and security protocol in testing students
Velliaris et al. International student perceptions of ethics in a business pathway course
Tweissi et al. The accuracy of AI-based automatic proctoring in online exams
Kukucka et al. The impact of evidence lineups on fingerprint expert decisions
Okoye Strategies to minimize the effects of information security threats on business performance
Schürmann et al. Effective cybersecurity awareness training for election officials
Beaudin An empirical study of authentication methods to secure e-learning system activities against impersonation fraud
KR102305863B1 (en) Online testing and evaluation system by using blockchain platform and artificial intelligence, and method thereof
Rodriguez et al. Sensitizing potential jurors to variations in eyewitness evidence quality using counterfactual thinking
Ruth et al. A Web Based Employees' Cyber Security Ethical Behavior Assessment (ECEBA) Model for Ugandan Commercial Banks
AbuMansour Proposed bio-authentication system for question bank in learning management systems
Yesmin et al. Pandemic effect on education system among university students
O’Malley The digital revolution in cheating has already begun
Barik Security Issues Related to E-Assessment: A UML based Approach.
Curtis Creating the Next Generation Cybersecurity Auditor: Examining the Relationship between It Auditors’ Competency, Audit Quality, & Data Breaches
EL Rhezzali et al. Cheating Detection in Online Exams

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant