KR20220009287A - Online test fraud prevention system and method thereof - Google Patents
Online test fraud prevention system and method thereof Download PDFInfo
- Publication number
- KR20220009287A KR20220009287A KR1020200087805A KR20200087805A KR20220009287A KR 20220009287 A KR20220009287 A KR 20220009287A KR 1020200087805 A KR1020200087805 A KR 1020200087805A KR 20200087805 A KR20200087805 A KR 20200087805A KR 20220009287 A KR20220009287 A KR 20220009287A
- Authority
- KR
- South Korea
- Prior art keywords
- test
- server
- information
- online
- online test
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002265 prevention Effects 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000001815 facial effect Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 abstract description 16
- 230000000977 initiatory effect Effects 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 abstract description 2
- 210000001747 pupil Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000216 zygoma Anatomy 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Computer Security & Cryptography (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 온라인 시험 부정행위 방지 시스템 및 방법에 관한 것으로, 보다 구체적으로 딥러닝 기반의 영상 처리를 이용하여 온라인으로 시험 진행시 응시자의 부정행위 또는 물품에 해당하는 객체를 검출함으로써 부정행위를 방지할 수 있는 온라인 시험 부정행위 방지 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for preventing cheating in an online exam, and more specifically, it is possible to prevent cheating by detecting an object corresponding to a test taker's cheating or an article when conducting an online exam using deep learning-based image processing. It relates to a system and method for preventing online exam cheating that can be done.
우리 사회는 바이러스 감염증 확산과 같은 환경 변화 및 편리성 등을 위하여 언택트 시대로 변화하고 있으며, 이에 따라 시험응시자가 일정 장소에 모여 시험을 치르는 대신 온라인 시험이 도입되고 있다. 그런데 온라인 시험은 응시자가 스스로 제공한 각각의 공간에서 시험을 치름으로써 편리함과 함께 시간 확보 등에 상당한 장점을 제공하지만, 그 반면 부정행위를 막아야 하는 큰 문제점이 있다. Our society is changing to the untact era for convenience and environmental changes such as the spread of virus infections, and accordingly, online tests are being introduced instead of test takers gathering in a certain place to take the test. However, the online test provides considerable advantages such as convenience and time security by taking the test in each space provided by the test taker, but on the other hand, there is a big problem in preventing cheating.
이에 온라인 시험의 공정성 및 신뢰성을 확보하기 위한 여러 가지 기술적인 요소들이 제안되었는데, 그 일례로 일정한 글자 이외에 키보드 또는 마우스 등의 조작을 불가능하게 하거나, 타 프로그램을 사용하지 못하도록 하는 방안 등이 있었다. 그 이외에 웹캠을 통해 입력되는 영상을 감독관이 감시함으로써 부정행위를 방지하는 영상 기반의 부정행위 방지 방법도 있었는데, 이는 감독관에게 고도의 집중력을 요구할 뿐만 아니라 감독관이 일정 인원만 감시할 수 밖에 없다는 한계를 가지고 있다.Accordingly, various technical factors have been proposed to secure the fairness and reliability of the online test. For example, there were measures to disable the manipulation of keyboard or mouse other than certain characters, or to prevent the use of other programs. In addition, there was a video-based fraud prevention method in which the supervisor monitors the video input through the webcam to prevent cheating. Have.
종래기술을 살펴보면, 공개특허공보 제10-2016-0053155호에는 컴퓨터에 연결된 USB 카메라를 이용하여 온라인 학습시 발생하는 대리출석, 수강 중 수업태도 태만, 대리시험 등을 차단할 수 있는 부정행위 방지 시스템이 제시되어 있다. 공개특허공보 제10-2018-0050968호에는 시험 응시자의 동영상, 소리 등을 이용하여 실시간으로 부정행위를 발견하는 방식이 제시되어 있기도 한다. Looking at the prior art, Korean Patent Application Laid-Open No. 10-2016-0053155 discloses a system for preventing cheating that can block proxy attendance, negligence in class attitude, and proxy exams that occur during online learning using a USB camera connected to a computer. is presented. In Korean Patent Application Laid-Open No. 10-2018-0050968, a method of detecting cheating in real time using video, sound, etc. of test takers is also proposed.
하지만 이런 종래기술들은 시험 도중 부정행위로 의심되는 정보가 확인되는 경우, 실시간으로 부적격 사유를 적발하기 위하여 시험 관리자가 항상 시험 관리 상태를 관찰해야 하는데, 시험 응시자가 많아지는 경우 적용하기가 어려운 단점이 있었다. 더구나 종래기술은 시험자의 얼굴에 기초하여 대리출석 등을 체크하는데, 만일 온라인 시험 중에 수험자가 주변에 부정행위에 사용할 물품을 비치해 두고 부정행위를 시도하는 경우 이를 검출하거나 제한할 방법이 없었다. However, in these prior art techniques, when information suspected of cheating is confirmed during the test, the test administrator must always monitor the test management status in order to detect the reason for ineligibility in real time. there was. Moreover, in the prior art, surrogate attendance is checked based on the examiner's face, and if the examinee keeps items to be used for cheating around during the online exam and attempts to cheat, there is no way to detect or limit it.
(선행기술 001) 공개특허공보 제10-2016-0053155호(Prior Art 001) Laid-Open Patent Publication No. 10-2016-0053155
(선행기술 002) 공개특허공보 제10-2018-0050968호(Prior art 002) Patent Publication No. 10-2018-0050968
본 발명은 이런 문제점을 해결하기 위한 것으로, 온라인 시험시 영상 처리를 이용하여 부정행위가 의심되는 행위 또는 객체를 검출하고 이를 감독관에게 알려줌으로써, 신뢰성 및 공정성을 확보할 수 있는 온라인 시험 부정행위 방지 시스템 및 방법을 제공한다. The present invention is to solve this problem, an online test cheating prevention system that can secure reliability and fairness by detecting an act or object suspected of cheating using image processing during an online test and notifying the supervisor about this and methods.
또한 본 발명은 응시자의 진정성 확보 뿐만 아니라 시험 응시 도중에도 부정행위를 검출할 수 있으며, 딥러닝 기반 영상처리를 활용하여 온라인 시험 부정행위를 방지할 수 있는 시스템 및 방법을 제공한다. 다만 본 발명의 목적은 명시적으로 언급된 것으로 제한되지 않으며, 통상의 기술자에게 자명한 것도 포함한다.In addition, the present invention provides a system and method capable of not only securing the authenticity of a test taker, but also detecting cheating while taking an exam, and preventing online exam cheating by using deep learning-based image processing. However, the object of the present invention is not limited to those explicitly stated, and includes those that are obvious to those skilled in the art.
상기 목적을 달성하기 위하여, 본 발명의 온라인 시험 부정행위 방지 시스템은, 응시자 단말, 응시자의 응시자 단말의 카메라에 의해 생성된 영상정보를 네트워크를 통해 수신하는 온라인 시험 서버 및 온라인 시험 서버로부터 영상정보를 네트워크를 통해 수신하여 본인 인증을 수행하여 본인 인증되고, 부정행위에 사용되는 객체가 검출되지 않은 응시자에 대해서만 온라인 시험을 치를 수 있도록 하는 영상 처리 서버 그룹을 포함할 수 있다.In order to achieve the above object, the online test fraud prevention system of the present invention provides image information from a test taker terminal, an online test server that receives image information generated by a camera of the test taker's terminal, and an online test server through a network. The image processing server group may include an image processing server group that allows only test takers to receive through a network, perform identity authentication, authenticate themselves, and for which an object used for cheating is not detected, to take an online test.
본 발명의 응시자 단말은, PC, 노트북, 핸드폰 중 어느 하나에 부착되어 있는 카메라에서 응시자의 주변 환경과 얼굴 및 동작 영상을 획득할 수 있다. The test taker terminal of the present invention may acquire images of the test taker's surrounding environment, face, and motion from a camera attached to any one of a PC, a laptop computer, and a mobile phone.
아울러 본 발명의 영상 처리 서버 그룹은, 온라인 시험 서버로부터 영상정보를 수신하여 응시자의 안면 정보를 추출하고, 추출된 안면 정보를 이용하여 본인 인증을 수행하는 본인 인증 서버를 포함할 수 있으며, 온라인 시험 서버로부터 영상정보를 수신하여 영상정보로부터 모듈정보 DB에 저장된 정보를 이용하여 주변 환경에서 부정행위에 사용될 만한 객체를 검출한 뒤,검출된 객체 정보를 온라인 시험 서버로 제공하는 객체 검출 서버를 포함할 수 있다.In addition, the image processing server group of the present invention may include a self-certification server that receives image information from an online test server, extracts the candidate's facial information, and performs self-authentication using the extracted facial information. An object detection server that receives image information from the server, detects an object that can be used for cheating in the surrounding environment using information stored in the module information DB from the image information, and provides the detected object information to an online test server. can
그뿐만 아니라 영상 처리 서버 그룹은 온라인 시험 서버로부터 영상정보를 수신하여 영상정보로부터 검출된 부정 동작정보를 온라인 시험 서버로 전송하는 동작 인식 서버를 포함할 수 있으며, 온라인 시험 서버로부터 영상정보를 수신하여 영상정보로부터 검출된 부정 응시정보를 온라인 시험 서버로 전송하는 눈동자 인식 서버를 포함할 수 있다.In addition, the image processing server group may include a motion recognition server that receives image information from the online test server and transmits illegal motion information detected from the image information to the online test server, and receives the image information from the online test server to It may include a pupil recognition server that transmits the negative gaze information detected from the image information to the online test server.
한편 본 발명의 온라인 시험 부정행위 방지 방법은, 온라인 시험 서버가 응시자의 응시자 단말의 카메라에 의해 생성된 영상정보를 네트워크를 통해 수신한 뒤, 영상 처리 서버 그룹에 네트워크를 통해 영상정보를 전송하는 제 1 단계, 영상 처리 서버 그룹이 온라인 시험 서버로부터 수신된 영상정보로 본인 인증을 수행하여 본인 인증된 응시자로 부정행위에 사용되는 객체가 검출이 되지 않은 응시자에 대해서만 온라인 시험을 개시하는 제 2 단계를 포함할 수 있다. On the other hand, the online test fraud prevention method of the present invention comprises a method in which the online test server receives image information generated by the camera of the test taker's terminal through a network, and then transmits the image information to the image processing server group through the network.
아울러 상기 제 2 단계 이후 영상 처리 서버 그룹이 온라인 시험 서버로부터 영상정보를 수신하고, 모듈정보 DB를 이용하여 영상정보로부터 부정행위에 사용될 객체를 검출한 뒤, 검출된 객체 정보를 온라인 시험 서버로 제공하는 제 3 단계를 포함할 수 있다. 그 이외에 온라인 시험 서버가 검출된 객체 정보를 감독관 단말에 제공하는 제 4 단계, 감독관이 감독관 단말에 부정행위로 입력하는 경우 온라인 시험 서버의 시험 제어 수단으로 시험 중지 명령을 전송하는 제 5 단계를 포함할 수 있다.In addition, after the second step, the image processing server group receives image information from the online test server, detects an object to be used for cheating from the image information using the module information DB, and provides the detected object information to the online test server A third step may be included. In addition, a fourth step in which the online test server provides the detected object information to the proctor terminal, and a fifth step of transmitting a test stop command to the test control means of the online test server when the proctor inputs it to the proctor terminal by fraud can do.
본 발명의 온라인 시험 부정행위 방지 시스템 및 방법은, 응시자의 진정성 확보 뿐만 아니라 시험 응시 도중에도 부정행위를 검출할 수 있어 공정성까지 제공할 수 있으며, 이는 온라인 교육 및 평가에 그대로 적용될 수 있다. The online test cheating prevention system and method of the present invention can provide fairness by not only securing the authenticity of the test taker, but also detecting cheating during the test taking, which can be directly applied to online education and evaluation.
또한 한 번에 온라인 기반의 시험을 치르는 수험자들을 감독하기 위하여는 여러 명의 감독관이 필요하지만, 본 발명은 부정행위 검출을 통해 부정행위 의심 동작이 발생하거나 부정행위에 사용될 만한 물품이 검출되는 경우, 감독관에게 알려주기 위한 알람이 발생하고, 부정행위 의심 동작을 한 수험자의 시험이 일시 중지되므로, 여러 명의 감독관이 필요 없다.In addition, although multiple supervisors are required to supervise test takers taking an online-based test at a time, the present invention provides a method for inspectors when suspicious actions occur through fraud detection or items that can be used for cheating are detected. There is no need for multiple supervisors because an alarm is generated to notify
그뿐만 아니라 본 발명은 감독관이 부정행위 의심 동작을 한 수험자와 관련된 영상정보를 확인한 이후, 문제가 없다고 판단되면 다시 시험을 재시작할 수 있으므로, 온라인 시험의 융통성도 제공할 수 있는 효과가 있다. 다만 본 발명의 효과는 이런 문언적 기재에만 한정되지 않고, 통상의 기술자가 본 발명을 통해 유추할 수 있는 것까지 모두 포함한다.In addition, the present invention has the effect of providing flexibility of the online test since the supervisor can restart the test if it is determined that there is no problem after the supervisor checks the video information related to the examinee who has acted suspiciously of cheating. However, the effect of the present invention is not limited to such verbal descriptions, and includes all things that those skilled in the art can infer through the present invention.
도 1은 본 발명의 온라인 시험 부정행위 방지 시스템을 나타내는 도면이다.
도 2는 본 발명의 온라인 시험 부정행위 방지 시스템 중 온라인 시험 서버의 구성요소를 나타내는 블록도이다.
도 3은 본 발명의 온라인 시험 부정행위 방지 방법 중 객체 인식 과정을 나타내는 흐름도이다.
도 4는 본 발명의 온라인 시험 부정행위 방지 방법 중 동작 인식 과정을 나타내는 흐름도이다.
도 5는 본 발명의 온라인 시험 부정행위 방지 방법 중 눈동자 인식 과정을 나타내는 흐름도이다.
도 6은 본 발명의 온라인 시험 부정행위 방지 방법 중 딥러닝을 위한 학습 과정을 나타내는 흐름도이다. 1 is a diagram illustrating an online test cheating prevention system of the present invention.
2 is a block diagram illustrating components of an online test server in the online test fraud prevention system according to the present invention.
3 is a flowchart illustrating an object recognition process in an online test fraud prevention method according to the present invention.
4 is a flowchart illustrating a motion recognition process in an online test cheating prevention method according to the present invention.
5 is a flowchart illustrating a pupil recognition process in an online test cheating prevention method according to the present invention.
6 is a flowchart illustrating a learning process for deep learning among the online test fraud prevention methods of the present invention.
첨부된 도면들을 참조하여 본 발명을 설명한다. 본 명세서에서 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 전송하는 것은, 직접 데이터 또는 신호를 전송하거나, 적어도 하나의 다른 구성요소를 경유하여 데이터 또는 신호를 전송한다는 것을 의미한다.The present invention will be described with reference to the accompanying drawings. In the present specification, when any one component transmits data or signal to another component, it means that data or signal is transmitted directly or data or signal is transmitted via at least one other component.
도 1은 본 발명의 온라인 시험 부정행위 방지 시스템(1)을 나타내는 도면이고, 도 2는 온라인 시험 부정행위 방지 시스템(1) 중 온라인 시험 서버(300)의 구성요소를 나타내는 블록도이다. 1 is a diagram showing an online test
도 1을 참조하면, 딥러닝 기반 영상처리를 활용한 온라인 시험 부정행위 방지 시스템(1)은 응시자 단말(100), 네트워크(200), 온라인 시험 서버(300), 영상 처리 서버 그룹(400), DB 서버(500) 및 딥러닝 학습 서버(600)를 포함할 수 있다.Referring to FIG. 1 , an online test
응시자 단말(100)은 PC, 노트북, 핸드폰을 포함하는 시험 단말기이며, 부착되어 있는 카메라에서 응시자의 주변 환경과 응시자의 얼굴 및 동작 영상을 획득할 수 있다. 카메라로부터 입력된 영상정보의 노이즈를 제거하고, 이진영상으로 변환하여 네트워크(200)를 통해 온라인 시험 서버(300)로 제공할 수 있다. The
네트워크(200)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선망일 수 있다. 네트워크(200)는 응시자 단말(100), 온라인 시험 서버(300), 영상 처리 서버 그룹(400), DB 서버(500) 및 딥러닝 학습 서버(600), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.The
영상 처리 서버 그룹(400)은 본인 인증 서버(410), 객체 검출 서버(420), 동작 인식 서버(430) 및 눈동자 인식 서버(440)를 포함할 수 있다.The image processing server group 400 may include an
DB 서버(500)는 안면 정보 DB(510), 수험정보 DB(520) 및 모듈 정보 DB(530)를 포함할 수 있다. 본 명세서에서 DB라 함은, 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장 및 관리하기 위한 별도의 DBMS을 더 포함할 수도 있다. The DB server 500 may include a facial information DB 510 , an exam information DB 520 , and a module information DB 530 . In this specification, the DB may mean a functional and structural combination of software and hardware for storing information corresponding to each database. It may be implemented as at least one table, and may further include a separate DBMS for searching, storing, and managing information stored in the database.
도 2를 참조하면, 본 발명의 온라인 시험 서버(300)는 송수신부(310), 제어부(320) 및 데이터베이스(330)를 포함할 수 있다. 제어부(320)는 시험 제어 수단(321) 및 알람 수단(322)을 포함할 수 있다. Referring to FIG. 2 , the
시험 제어 수단(321)은 온라인 시험시 응시자가 운영하는 컴퓨터 단말기에 해당하는 응시자 단말(100) 상에 설치된 카메라에서 사용자의 안면과 주변 환경을 촬영하여 촬영된 영상정보 및 응시자 ID 정보를 네트워크(200)를 통해 전송하는 경우, 영상정보를 수신하도록 송수신부(310)를 제어하여 수신된 영상정보 및 응시자 ID 정보를 데이터베이스(330)에 저장할 수 있다. The test control means 321 transmits image information and test taker ID information captured by photographing the user's face and the surrounding environment with a camera installed on the
이후 시험 제어 수단(321)은 영상정보 및 응시자 ID 정보를 네트워크(200)를 통해 영상 처리 서버 그룹(400)의 본인 인증 서버(410)로 전송하도록 송수신부(310)를 제어할 수 있다.Thereafter, the test control means 321 may control the transceiver 310 to transmit the image information and the candidate ID information to the
본인 인증 서버(410)는 영상정보로부터 응시자의 안면 윤곽선, 눈, 코, 입의 깊이와 위치, 턱의 모양, 광대뼈의 높이 등과 같은 얼굴의 특징 정보와 응시자가 응시하는 장소의 주변 환경 정보를 추출하고, DB 서버(500) 중 수험정보 DB서버(520)에 대한 액세스를 통해 응시자 ID 정보를 이용해 영상정보를 제공한 응시자의 수험정보{응시자 성명, 성별, 수험응시번호, 서버 접속 시간, 시험 응시 시작 시간, 응시자 단말(100)의 단말번호(IMEI)와 IP 주소 그리고 시험 보는 위치 등}와 시험정보를 추출할 수 있다. The self-
이후, 본인 인증 서버(410)는 DB 서버(500) 중 안면 정보 DB(510)에 대한 액세스를 통해 저장된 안면 인식정보를 추출한 뒤, 추출된 기저장된 안면 인식정보(초기 안면 인식정보)와 수신 영상정보에서 추출된 안면 인식 간의 비교를 통해 매칭되는 경우, 본인 인증을 완료하여 추출된 시험정보에 시험을 응시할 수 있도록 온라인 시험 서버(300)의 시험 제어 수단(321)으로 제공할 수 있다. Thereafter, the
구체적으로, 본인 인증 서버(410)는 초기 안면 인식정보에서 응시자의 얼굴의 특징요소를 사용하며 특징요소는 안면 윤곽선, 눈, 코, 입의 깊이와 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 얼굴 폭 등의 구성요소를 바탕으로 수신된 영상정보로부터 얼굴의 특징 구성요소에서 미리 설정된 임계치 또는 백분율(%) 이상 매칭되는지 여부로 매칭을 분석할 수 있을 뿐만 아니라 수신 영상정보에서 응시자 주변의 환경에서 시험에 불필요한 혹은 부정행위에 사용될 만한 객체가 있는지 식별할 수 있다. Specifically, the
시험 제어 수단(321)은 본인 인증 서버(410)의 시험 응시 허가에 따라 응시자 단말(100)의 시험정보에 해당하는 시험 콘텐츠를 데이터베이스(330)로부터 추출한 뒤, 추출된 시험정보를 응시자 단말(100)로 실시간으로 스트리밍 방식으로 제어를 시작함으로써 시험 개시를 수행할 수 있다. The test control means 321 extracts test content corresponding to the test information of the
이후 시험 제어 수단(321)은 네트워크(200)를 통해 영상 처리 서버 그룹(400)의 객체 검출 서버(420)로 시험 개시 전에 본인 인증 과정에서 제공되어 사용된 초기 영상정보와 응시자 단말(100)의 카메라로부터 제공되는 실시간 영상정보를 응시자 ID 정보와 함께 전송하도록 송수신부(310)를 제어할 수 있다.Thereafter, the test control means 321 transmits the initial image information provided and used in the self-authentication process before the start of the test to the object detection server 420 of the image processing server group 400 through the
객체 검출 서버(420)는 초기 영상정보를 기준으로 실시간 영상정보의 비교를 통해 응시자의 응시자 단말(100)이 놓여있는 책상의 환경 또는 응시자의 주변 환경을 포함하는 환경 정보에서 부정행위에 사용할 만한 객체를 검출한다. 만일 검출되는 경우 응시자 ID 정보와 함께 온라인 시험 서버(300)의 알람 수단(322)에 전달되는데, 구체적으로 응시자 ID 정보와 매칭되는 단말식별번호(IMEI)에 해당하는 감독관 단말(300a)을 추출한 뒤, 추출된 감독관 단말(300a)로 검출된 객체 정보, 상기 객체 정보가 검출된 영상정보의 캡처 이미지를 응시자 ID 정보와 함께 전송한다. 아울러 데이터베이스(330)에 응시자 ID 정보, 검출된 객체 정보, 캡처 이미지 정보 및 객체 검출 시간 정보를 저장할 수 있다. The object detection server 420 compares real-time image information based on the initial image information, and an object that can be used for cheating in environment information including the environment of the desk on which the test taker's terminal 100 is placed or the test taker's surrounding environment. to detect If detected, it is transmitted to the alarm means 322 of the
여기서 객체 검출 서버(420)가 부정행위에 사용될 객체에 대한 검출을 하는 것은 DB 서버(500)의 모듈정보 DB(530)에 저장된 부정행위에 사용될 수 있는 객체와 대비하여 이루어질 수 있다. 예를 들어 부정행위에 사용될 수 있는 객체로 전자계산기, 핸드폰, 노트북 등의 형상에 해당하는 2차원 또는 3차원 제품 패턴 정보, 패턴 정보의 미리 설정된 각도로 기울어진 것에 대한 정보, 역으로 된 정보 등이 저장되어 있고, 이를 영상정보 상의 객체와 비교하여 이루어질 수 있는 것이다. Here, the object detection server 420 detects an object to be used for cheating in comparison with an object that can be used for cheating stored in the
한편 시험 제어 수단(321)은 본인 인증 서버(410)의 시험 응시 허가에 따라 응시자 단말(100)의 시험정보에 해당하는 시험 콘텐츠를 데이터베이스(330)로부터 추출한 뒤, 추출된 시험정보를 응시자 단말(100)로 실시간으로 스트리밍 방식으로 제어를 시작하고, 시험 개시를 수행하는 것과 함께 응시자의 동작에 대한 인식을 위해 영상 처리 서버 그룹(400)의 동작 인식 서버(430)에 대한 요청도 함께 수행할 수 있다.Meanwhile, the test control means 321 extracts test content corresponding to the test information of the
구체적으로 시험 제어 수단(321)은 네트워크(200)를 통해 영상 처리 서버 그룹(400)의 동작 인식 서버(430)로 시험 개시 전에 본인 인증 과정에서 제공되어 사용된 초기 영상정보와 응시자 단말(100)의 카메라로부터 제공되는 실시간 영상정보를 응시자 ID 정보와 함께 전송하도록 송수신부(310)를 제어할 수 있다.Specifically, the test control means 321 is the
이에 따라, 동작 인식 서버(430)는 초기 영상정보를 기준으로 실시간 영상정보의 비교를 통해 응시자가 시험을 보는 도중 자리를 일정 시간 이상 비우거나, 비정상적인 행동 등(예를 들어 일정시간 이상 손을 입으로 가리는 행동, 몸을 뒤로 돌리고 일정 시간 동안 멈춰 있는 행동 등) 부정행위로 이해할 수 있을 만한 동작을 하는 경우, 응시자 ID 정보와 함께 온라인 시험 서버(300)의 알람 수단(322)에 전달되는데, 구체적으로 응시자 ID 정보와 매칭되는 단말식별번호(IMEI)에 해당하는 감독관 단말(300a)을 추출한 뒤, 추출된 감독관 단말(300a)로 응시자가 시험보는 장소의 주변환경에서 검출된 시험에 불필요하거나 금지된 객체 정보, 상기 객체 정보가 검출된 영상정보의 캡처 이미지를 응시자 ID 정보와 함께 전송한다. 아울러 데이터베이스(330)에 응시자 ID 정보, 검출된 객체 정보, 캡처 이미지 정보 및 객체 검출 시간 정보를 저장할 수 있다. Accordingly, the
본 발명의 다른 실시예로, 시험 제어 수단(321)은 본인 인증 서버(410)의 시험 응시 허가에 따라 응시자 단말(100)의 시험정보에 해당하는 시험 콘텐츠를 데이터베이스(330)로부터 추출한 뒤, 응시자 단말(100)로 실시간으로 스트리밍 방식으로 제어를 시작함으로써, 시험 개시와 함께 응시자의 동작에 대한 인식을 위해 영상 처리 서버 그룹(400)의 눈동자 인식 서버(440)에 대한 요청도 수행할 수 있다.In another embodiment of the present invention, the test control means 321 extracts test content corresponding to the test information of the
시험 제어 수단(321)은 영상 처리 서버 그룹(400)의 눈동자 인식 서버(440)로 시험 개시 전에 본인 인증 과정에서 제공되어 사용된 초기 영상정보와 응시자 단말(100)의 카메라로부터 제공되는 실시간 영상정보를 응시자 ID 정보와 함께 전송하도록 송수신부(310)를 제어할 수 있다.The test control means 321 is the
눈동자 인식 서버(440)는 초기 영상정보를 기준으로 실시간 영상정보의 비교를 통해 응시자의 눈동자의 움직임을 파악하여, 응시자가 응시자 단말(100) 또는 시험 내 지정된 곳을 이탈하여 부정행위를 하기 위해 응시자가 앉아 있는 테이블의 아래쪽을 오랫 동안 응시하는 등과 같은 행동을 지속하는 경우 응시자 ID 정보와 함께 온라인 시험 서버(300)의 알람 수단(322)으로 전송함으로써, 응시자 ID 정보와 매칭되는 단말식별번호(IMEI)에 해당하는 감독관 단말(300a)을 추출한 뒤, 추출된 감독관 단말(300a)로 검출된 응시자의 부정 응시정보의 캡처 이미지를 응시자 ID 정보와 함께 전송하도록 한다. The
감독관 단말(300a)은 캡처 이미지와 응시자 ID 정보를 알람 정보와 함께 객체 검출 서버(420), 동작 인식 서버(430), 눈동자 인식 서버(440) 등으로부터 수신하는 경우, 디스플레이부에 해당하는 터치스크린 상으로 출력한다. 감독관의 확인에 따라 부정행위로 최종 인식되어 터치스크린 상으로 확인이 입력되는 경우, 온라인 시험 서버(300)의 시험 제어 수단(321)으로 시험 중지 명령을 전송한다. 시험 제어 수단(321)에 의해 시험에 응시하는 응시자 단말(100) 중 부정행위가 발생한 응시자 단말(100)에 대한 시험 중지 명령을 전송할 수 있다. 만일 부정행위가 아니라고 판단하는 경우, 시험을 계속적으로 볼 수 있게 할 수도 있다.When the supervisor terminal 300a receives the captured image and candidate ID information from the object detection server 420, the
DB 서버(500) 중 안면 정보 DB(510)는 응시자의 영상정보를 통해 획득한 얼굴의 특징요소를 사용하며 특징 요소는 안면 윤곽선, 눈, 코, 입의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 얼굴 폭 등의 안면 인식정보를 저장하는데, 응시자의 ID, 생년월일, 수험번호, 시험과목 정보 기초하여 안면 인식정보를 저장할 수 있다. 이를 위해 온라인 시험 서버(300)의 시험 제어 서버(321)는 시험 전에 수험정보 DB(520)에 저장한 응시자 ID, 응시자의 수험정보와 시험정보를 메타데이터로 하여 안면 인식정보를 안면 정보 DB(510)에 저장할 수 있다. Among the DB servers 500, the facial information DB 510 uses the facial feature elements obtained through the test taker's image information, and the feature elements include facial contours, depth values and positions of eyes, nose, and mouth, chin shape, and cheekbones. Face recognition information such as the height of the eyebrow bone, the height of the eyebrow bone, and face width is stored, and facial recognition information can be stored based on the candidate's ID, date of birth, exam number, and test subject information. To this end, the
DB 서버(500) 중 수험정보 DB(520)는 응시자 ID가 응시자 단말(100)과 시험 제어 수단(321) 사이에 네트워크(200)를 통해 생성된 뒤, 응시자의 수험정보{수험자 성명, 성별, 수험응시번호, 개인정보에 해당하는 응시자 단말(100)의 단말번호(IMEI) 등}와 시험정보를 응시자 단말(100)로부터 네트워크(200)를 통해 수신한 온라인 시험 서버(300)의 시험 제어 수단(321)에 의해 네트워크(200)를 통한 액세스 이후에 저장되는 것을 보관할 수 있다. In the DB server 500, the exam information DB 520 stores the candidate ID after the candidate ID is generated through the
이에 따라 시험 제어 수단(321)은 응시자의 응시자 단말(100)에 부착된 카메라 등으로부터 수신된 영상정보에 대해서, 본인 인증 서버(410)에서 안면 인식정보가 추출되면 추출된 안면 인식정보를 안면 정보 DB(510)에 저장하도록 제어하고, 응시자의 응시자 단말(100)로부터 수신된 응시자의 수험정보와 시험정보를 수신한 뒤, 수험정보 DB(520)에 저장하도록 제어하고, 저장된 상태에서 상술한 본인 인증 서버(410)에 의해 본인 인증이 완료되도록 할 수 있다. 그 이후 시험 제어 수단(321)은 수험정보 및 시험정보를 기초로 하여 응시자 단말(100)에 네트워크(200)를 통해 온라인 시험 문제를 제공할 수 있다. Accordingly, the test control means 321 for the image information received from the camera attached to the test taker's
도 3 내지 도 5는 본 발명의 온라인 시험 부정행위 방지 방법 중 객체 인식 과정, 동작 인식 과정, 눈동자 인식 과정을 나타내는 흐름도이다. 도 3을 이용하여 설명하면, 온라인 시험 서버(300)는 시험 시작 전 응시자가 운영하는 응시자 단말(100)에 부착된 프론트 카메라 혹은 웹캠 또는 응시자 단말(100)이 스마트폰인 경우 카메라를 사용하여 응시자와 응시자의 주변 환경을 촬영하고 촬영된 영상정보를 네트워크(200)를 통해 객체 검출 서버(420)로 전송한다(S11).3 to 5 are flowcharts illustrating an object recognition process, a motion recognition process, and a pupil recognition process among the online test cheating prevention methods according to the present invention. Referring to FIG. 3 , the
단계(S11) 이후, 객체 검출 서버(420)는 영상정보로부터 주변환경에서 영상 촬영시 부정행위에 사용될 만한 객체에 대해서 네트워크(200)를 통해 모듈정보 DB(530)에서 검출한 뒤, 검출된 객체 정보를 온라인 시험 서버(300)로 제공할 수 있다(S12).After the step (S11), the object detection server 420 detects an object that can be used for cheating when taking an image in the surrounding environment from the image information in the
단계(S12) 이후, 온라인 시험 서버(300)는 감독관 단말(300a)로 검출된 객체정보를 제공함으로써(S13), 감독관 단말(300a)을 운영하는 감독관에게 검출된 객체정보를 알려줄 수 있다.After step S12 , the
단계(S13) 이후, 감독관 단말(300a)은 온라인 시험 서버(300)에서 응시자 단말(100) 사이에서 수행되려는 온라인 시험 문제 제공을 촬영된 영상정보에서 객체 정보가 인식되지 않을 때까지 일시적으로 정지하도록 온라인 시험 서버(300)에 요청할 수 있다(S14).After the step (S13), the proctor terminal 300a temporarily stops the provision of the online test question to be performed between the
이와 같이, 본 발명은 온라인 시험 서버(300)가 응시자 단말(100)의 카메라에 의해 생성된 영상정보를 수신한 뒤, 영상 처리 서버 그룹(400)로 영상정보를 전송하는 단계, 영상 처리 서버 그룹(400)이 온라인 시험 서버(300)로부터 수신된 영상정보로 본인 인증을 수행하여 본인 인증되고 부정행위에 사용되는 객체가 검출이 되지 않은 응시자에 대해서만 온라인 시험을 개시하는 단계, 영상 처리 서버 그룹(400)이 온라인 시험 서버(300)로부터 영상정보를 수신하고, 모듈정보 DB(530)를 이용하여 영상정보로부터 부정행위에 사용될 만한 객체를 검출한 뒤, 검출된 객체 정보를 온라인 시험 서버(300)로 제공하는 단계, 온라인 시험 서버가(300)가 검출된 객체 정보를 감독관 단말(300a)에 제공하는 단계, 감독관이 감독관 단말(300a)에 부정행위라고 입력하는 경우 온라인 시험 서버(300)의 시험 제어 수단(321)로 시험 중지 명령을 전송하는 단계 등을 포함하고 있는 것이다.As described above, in the present invention, the
도 4는 본 발명의 온라인 시험 부정행위 방지 방법 중 동작 인식 과정을 나타내는 흐름도이다. 온라인 시험 서버(300)는 네트워크(200)를 통해 응시자 단말(100)에 대한 온라인 시험 문제 제공 과정을 통해 응시자의 시험시에도 응시자 단말(100)의 프론트 카메라 또는 웹캠, 응시자 단말(100)이 스마트폰인 경우 카메라를 통해 제공하는 응시자의 전체 동작을 촬영한 촬영된 영상정보를 수신한 뒤, 네트워크(200)를 통해 동작 인식 서버(430)로 전송할 수 있다(S21).4 is a flowchart illustrating a motion recognition process in an online test cheating prevention method according to the present invention. The
단계(S21) 이후, 동작 인식 서버(430)는 딥러닝 기반의 포즈추정(Pose Estimation)을 통해서 응시자의 움직임을 인식해, 응시자가 어떤 동작을 하는지 파악하고, 저장된 모듈정보 DB(530)에서 응시자의 인식된 동작과 미리 지정된 시나리오를 통해 응시자가 부정행위를 시도하는 행위 또는 허용되지 않은 동작을 추출한다(S22).After step (S21), the
단계(S22) 이후, 동작 인식 서버(430)는 검출된 부정 동작정보를 네트워크(200)를 통해 온라인 시험 서버(300)로 전송함으로써, 온라인 시험 서버(300)에 의해 감독관 단말(300a)로 검출된 자리 비움 행위정보, 비정상적인 행위정보 등을 포함하는 부정 동작정보가 검출된 영상정보의 캡처 이미지를 전송할 수 있다(S23).After step S22, the
단계(S23) 이후, 감독관 단말(300a)은 온라인 시험 서버(300)에서 응시자 단말(100) 사이에서 수행되고 있는 온라인 시험 문제 제공 과정을 촬영된 영상정보에서 부정 동작정보가 인식되지 않을 때까지 일시적으로 정지하도록 온라인 시험 서버(300)에 요청할 수 있다(S24). After the step (S23), the proctor terminal 300a temporarily performs the online test question provision process being performed between the
도 5는 본 발명의 실시예에 따른 딥러닝 기반 영상처리를 활용한 온라인 시험 부정행위 방지 방법 중 눈동자 인식 과정을 나타내는 흐름도이다. 온라인 시험 서버(300)는 네트워크(200)를 통해 응시자 단말(100)에 대한 온라인 시험 문제 제공 과정을 통해 응시자의 시험시에도 응시자 단말(100)의 프론트 카메라 또는 웹캠, 스마트폰 카메라를 통해 제공하는 응시자의 전체 동작을 촬영한 영상정보를 수신한 뒤, 네트워크(200)를 통해 눈동자 인식 서버(440)로 전송할 수 있다(S31).5 is a flowchart illustrating a pupil recognition process in an online test cheating prevention method using deep learning-based image processing according to an embodiment of the present invention. The
단계(S31) 이후, 눈동자 인식 서버(440)는 미리 지정된 시나리오를 통해 응시자가 부정행위를 시도하는 눈동자의 움직임을 인식하고, 저장된 모듈정보 DB(530)에서 응시자의 인식된 동작과 허용되지 않은 동작을 추출할 수 있다(S32).After step S31 , the
단계(S32) 이후, 동작 인식 서버(430)는 검출된 부정 응시정보를 네트워크(200)를 통해 온라인 시험 서버(300)로 전송함으로써, 온라인 시험 서버(300)에 의해 감독관 단말(300a)로 검출된 응시자가 응시자 단말(100) 또는 시험 내 지정된 곳 외에 다른 곳을 응시하는 것이 지속되는 경우 등의 검출된 부정 응시정보가 검출된 영상정보의 캡처 이미지를 전송할 수 있다(S33).After step S32 , the
단계(S33) 이후, 감독관 단말(300a)은 온라인 시험 서버(300)에서 응시자 단말(100) 사이에서 수행되고 있는 온라인 시험 문제 제공 과정을 촬영된 영상정보에서 부정 응시정보가 인식되지 않을 때까지 일시적으로 정지하도록 온라인 시험 서버(300)에 요청할 수 있다(S34). After the step (S33), the proctor terminal 300a temporarily performs the online test question provision process being performed between the
도 6은 본 발명의 딥러닝 기반 영상처리를 활용한 온라인 시험 부정행위 방지 방법 중 딥러닝을 위한 학습 과정을 나타내는 흐름도이다. 온라인 시험에서 응시자의 응시자 단말(100)에 부착된 카메라 또는 웹캠이나 스마트폰 카메라를 사용하여 촬영된 응시자의 안면 정보, 주변 환경, 검출 객체 정보, 눈동자의 움직임(부정 응시정보 포함), 전체 동작의 움직임(부정 동작정보 포함) 등을 모듈정보 DB서버(530)에 저장할 수 있다(S41).6 is a flowchart illustrating a learning process for deep learning among the online test fraud prevention methods using deep learning-based image processing of the present invention. In the online test, the test taker's facial information, surrounding environment, detection object information, eye movement (including negative gaze information), and the overall motion of the test taker photographed using a camera attached to the test taker's terminal 100 or a webcam or smartphone camera Movement (including illegal operation information) may be stored in the module information DB server 530 (S41).
단계(S41) 이후, 딥러닝 학습서버(600)는 네트워크(200)를 통해 DB 서버(500)의 모듈정보 DB서버(530)로 액세스하여 추가적으로 학습을 하여 기존의 DB서버(530)에 저장된 부정행위 시나리오 외에 부정행위 상황을 인식하여 추가적으로 DB 서버(500)의 모듈정보 DB(530)에 부정행위 상황을 저장함으로써(S42), 온라인 시험 서버(300)가 동일한 응시자 ID에 대한 다른 온라인 시험에 네트워크(200)를 통해 직접적으로 DB 서버(500)의 모듈정보 DB(530)로 액세스를 할 수 있다.After the step (S41), the deep learning learning server 600 accesses the module
이를 통해 응시자의 안면 정보, 주변 환경, 눈동자의 움직임, 전체 동작의 움직임을 포함하는 각 구성요소에 대한 부정행위 상황의 흐름에 해당하는 복수의 프로세스 중 부분적인 프로세스만이 진행하여도 네트워크(200)를 통해 감독관 단말(300a)에 대한 경고 메시지를 제공하는 방식으로 부정행위의 탐지의 정확성을 향상시켜 딥러닝 기반의 영상처리를 활용한 온라인 시험 부정방지 시스템의 신뢰성을 향상시킬 수 있다. Through this, even if only partial processes among a plurality of processes corresponding to the flow of cheating situations for each component including the test taker's facial information, surrounding environment, eye movement, and overall movement movement are performed, the
한편 딥러닝 학습서버(600)가 네트워크(200)를 통해 DB 서버(500)의 모듈정보 DB서버(530)로 액세스하여 추가적으로 학습을 하여 기존의 DB서버(530)에 저장된 부정행위 시나리오 외에 부정행위 상황을 인식하여 추가적으로 DB 서버(500)의 모듈정보 DB(530)에 부정행위 상황을 저장할 수 있다. 아울러 분산 파일 프로그램에 의해 DCS DB인 모듈정보 DB(530)에 분산 저장된 수집 데이터를 머신러닝 알고리즘을 통해 분석하고 부정행위 상황을 인식할 수 있다. On the other hand, the deep learning learning server 600 accesses the module
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms are used, these are only used in a general sense to easily explain the technical content of the present invention and help the understanding of the present invention. , it is not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.
1 : 딥러닝 기반 영상처리를 활용한 온라인 시험 부정행위 방지 시스템
100 : 응시자 단말
200 : 네트워크
300 : 온라인 시험 서버
310 : 송수신부
320 : 제어부
321 : 시험 제어 수단
322 : 알람 수단
330 : 데이터베이스
400 : 영상 처리 서버 그룹
410 : 본인 인증 서버
420 : 객체 검출 서버
430 : 동작 인식 서버
440 : 눈동자 인식 서버
500 : DB 서버
510 : 안면 정보 DB
520 : 수험정보 DB
530 : 모듈 정보 DB
600 : 딥러닝 학습 서버1: Online exam fraud prevention system using deep learning-based image processing
100: candidate terminal 200: network
300: online test server 310: transceiver
320: control unit 321: test control means
322: alarm means 330: database
400: image processing server group 410: identity authentication server
420: object detection server 430: motion recognition server
440: eye recognition server 500: DB server
510: face information DB 520: test information DB
530: module information DB 600: deep learning learning server
Claims (6)
응시자의 응시자 단말(100)의 카메라에 의해 생성된 영상정보를 네트워크(200)를 통해 수신하는 온라인 시험 서버(300); 및
온라인 시험 서버(300)로부터 영상정보를 네트워크(200)를 통해 수신하여 본인 인증을 수행하여 본인 인증되고, 부정행위에 사용되는 객체가 검출되지 않은 응시자에 대해서만 온라인 시험을 치를 수 있도록 하는 영상 처리 서버 그룹(400);을 포함하는 것을 특징으로 온라인 시험 부정행위 방지 시스템.Candidate terminal 100;
an online test server 300 for receiving the image information generated by the camera of the test taker terminal 100 of the test taker through the network 200; and
An image processing server that receives image information from the online test server 300 through the network 200, performs self-authentication, is authenticated, and allows only test takers who have not detected an object used for cheating to take the online test Group 400; Online exam cheating prevention system comprising a.
응시자 단말(100)은, PC, 노트북, 핸드폰 중 어느 하나에 부착되어 있는 카메라에서 응시자의 주변 환경과 응시자의 얼굴 및 동작 영상을 획득하는 것을 특징으로 하는 온라인 시험 부정행위 방지 시스템.The method according to claim 1,
The test taker terminal 100 is an online test cheating prevention system, characterized in that it acquires images of the test taker's surroundings and the test taker's face and motion from a camera attached to any one of a PC, a laptop computer, and a mobile phone.
영상 처리 서버 그룹(400)은, 온라인 시험 서버(300)로부터 영상정보를 네트워크(200)를 통해 수신하여 응시자의 안면 정보를 추출하고, 추출된 안면 정보를 이용하여 본인 인증을 수행하는 본인 인증 서버(410);를 포함하는 것을 특징으로 하는 온라인 시험 부정행위 방지 시스템.3. The method according to claim 2,
The image processing server group 400 receives image information from the online test server 300 through the network 200, extracts facial information of the test taker, and performs identity authentication using the extracted facial information. (410); Online exam cheating prevention system comprising a.
영상 처리 서버 그룹(400)은, 온라인 시험 서버(300)로부터 영상정보를 네트워크(200)를 통해 수신하고, 영상정보로부터 모듈정보 DB(530)에 저장된 정보를 이용하여 주변 환경에서 부정행위에 사용될 수 있는 객체를 검출하여, 검출된 객체 정보를 온라인 시험 서버(300)로 제공하는 객체 검출 서버(420);를 포함하는 것을 특징으로 하는 온라인 시험 부정행위 방지 시스템.4. The method according to claim 3,
The image processing server group 400 receives image information from the online test server 300 through the network 200, and uses information stored in the module information DB 530 from the image information to be used for cheating in the surrounding environment. and an object detection server (420) that detects possible objects and provides the detected object information to the online test server (300).
영상 처리 서버 그룹(400)은, 온라인 시험 서버(300)로부터 영상정보를 네트워크(200)를 통해 수신하여 영상정보로부터 검출된 부정 동작정보를 온라인 시험 서버(300)로 전송하는 동작 인식 서버(430);를 포함하는 것을 특징으로 하는 온라인 시험 부정행위 방지 시스템.5. The method of claim 4,
The image processing server group 400 receives image information from the online test server 300 through the network 200 , and transmits the false motion information detected from the image information to the online test server 300 , a motion recognition server 430 . ); Online exam cheating prevention system, characterized in that it includes.
영상 처리 서버 그룹(400)이 온라인 시험 서버(300)로부터 수신한 영상정보로 본인 인증을 수행하여, 본인 인증되고 부정행위에 사용되는 객체가 검출이 되지 않은 응시자에 대해서 온라인 시험을 개시하는 제 2 단계;
온라인 시험이 개시된 이후, 영상 처리 서버 그룹(400)이 온라인 시험 서버(300)로부터 영상정보를 수신하고, 모듈정보 DB(530)를 이용하여 영상정보로부터 부정행위에 사용될 만한 객체를 검출한 뒤, 검출된 객체 정보를 온라인 시험 서버(300)로 제공하는 제 3 단계;
온라인 시험 서버(300)가 검출된 객체 정보를 감독관 단말(300a)에 제공하는 제 4 단계; 및
감독관이 감독관 단말(300a)에 부정행위라고 입력하는 경우 온라인 시험 서버(300)의 시험 제어 수단(321)으로 시험 중지 명령을 전송하는 제 5 단계를 포함하는 것을 특징으로 하는 온라인 시험 부정행위 방지 방법.A first step of transmitting the image information to the image processing server group 400 after the online test server 300 receives the image information generated by the camera of the test taker's terminal 100 through the network 200;
The image processing server group 400 performs self-authentication with the image information received from the online test server 300 to initiate an online test for a test taker whose identity is authenticated and an object used for misconduct is not detected. step;
After the online test is started, the image processing server group 400 receives the image information from the online test server 300 and uses the module information DB 530 to detect an object that can be used for cheating from the image information, a third step of providing the detected object information to the online test server 300;
a fourth step of providing, by the online test server 300, the detected object information to the supervisor terminal 300a; and
A method for preventing cheating on an online test, comprising a fifth step of transmitting a test stop command to the test control means 321 of the online test server 300 when the proctor inputs cheating into the proctor terminal 300a .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200087805A KR20220009287A (en) | 2020-07-15 | 2020-07-15 | Online test fraud prevention system and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200087805A KR20220009287A (en) | 2020-07-15 | 2020-07-15 | Online test fraud prevention system and method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220009287A true KR20220009287A (en) | 2022-01-24 |
Family
ID=80049962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200087805A KR20220009287A (en) | 2020-07-15 | 2020-07-15 | Online test fraud prevention system and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220009287A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102602432B1 (en) * | 2022-07-28 | 2023-11-14 | 변원섭 | Online exam cheating tracking system |
KR102683409B1 (en) * | 2023-08-09 | 2024-07-10 | 주식회사 에딘트 | Method, program, and apparatus for building an exam environment |
-
2020
- 2020-07-15 KR KR1020200087805A patent/KR20220009287A/en not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102602432B1 (en) * | 2022-07-28 | 2023-11-14 | 변원섭 | Online exam cheating tracking system |
KR102683409B1 (en) * | 2023-08-09 | 2024-07-10 | 주식회사 에딘트 | Method, program, and apparatus for building an exam environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11551482B2 (en) | Facial recognition-based authentication | |
CN107995979B (en) | System, method and machine-readable medium for authenticating a user | |
US10678897B2 (en) | Identification, authentication, and/or guiding of a user using gaze information | |
CN102414698B (en) | To the controlled access of the function of wireless device | |
CN109726663A (en) | Online testing monitoring method, device, computer equipment and storage medium | |
US11403383B2 (en) | Passive affective and knowledge-based authentication through eye movement tracking | |
KR20180050968A (en) | on-line test management method | |
WO2018125563A1 (en) | Identification, authentication, and/or guiding of a user using gaze information | |
KR20220009287A (en) | Online test fraud prevention system and method thereof | |
CA3049042A1 (en) | System and method for authenticating transactions from a mobile device | |
US20200293760A1 (en) | Multi-modal identity recognition | |
US11934508B2 (en) | Systems and methods including user authentication | |
CN105407069B (en) | Living body authentication method, apparatus, client device and server | |
CN107786349B (en) | Security management method and device for user account | |
WO2023244602A1 (en) | Systems and methods that provide a high level of security for a user | |
CN110909704A (en) | Living body detection method and device, electronic equipment and storage medium | |
US20240115175A1 (en) | Communication apparatus, communication method, and non-transitory computer-readable storage medium | |
US12063238B2 (en) | Preventing unauthorized participation in collaborative augmented reality and virtual reality meetings | |
CN113961297A (en) | Blink screen capturing method, system, device and storage medium | |
KR20220116932A (en) | Online class and evaluation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |