KR102648772B1 - 메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 - Google Patents
메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 Download PDFInfo
- Publication number
- KR102648772B1 KR102648772B1 KR1020210160539A KR20210160539A KR102648772B1 KR 102648772 B1 KR102648772 B1 KR 102648772B1 KR 1020210160539 A KR1020210160539 A KR 1020210160539A KR 20210160539 A KR20210160539 A KR 20210160539A KR 102648772 B1 KR102648772 B1 KR 102648772B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- cheating
- test
- online
- probability
- Prior art date
Links
- 230000010485 coping Effects 0.000 title 1
- 238000012360 testing method Methods 0.000 claims abstract description 189
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims description 39
- 230000000694 effects Effects 0.000 claims description 36
- 230000002265 prevention Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 238000012797 qualification Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000008450 motivation Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 241000711573 Coronaviridae Species 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 235000012771 pancakes Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Architecture (AREA)
Abstract
본 발명은 온라인 시험을 수험자인 사용자에게 제공하고, 객관식 문제의 경우 상기 사용자가 선택하는 답이거나 또는 주관식 문제의 경우 상기 사용자가 직접 기재한 답을 수신하는 온라인 시험부; 상기 사용자의 신분을 인증하는 사용자 인증부; 및 상기 사용자의 부정행위 확률을 계산하는 부정행위 확률계산부;를 포함하는, 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템을 개시한다.
본 발명은 디지털 정보 인증부 등을 통해서 온리인 시험 수험자인 사용자를 인증하고, 다양한 부정행위 확률계산부를 통해서 사용자의 부정행위 확률을 예측하고, 부정행위 증거저장부를 통해서 사용자의 부정행위가 의심스러운 경우 해당 사용자의 영상 데이터 및 음성 데이터를 저장해 두어, 향후 추가 분석하거나 부정행위를 검증, 입증하는 증거로서 저장하며, 남은 시험 문제의 순서를 변경하는 등의 부정행위 대응이 가능하며, 온라인 시험을 주관하는 기관 등에 부정행위 통계를 제시하는 것이 가능하며, 온라인 시험의 사용자에게 재미, 흥미, 동기부여를 유도할 수 있도록 메타버스로 구현하는 것이 가능하다.
본 발명은 디지털 정보 인증부 등을 통해서 온리인 시험 수험자인 사용자를 인증하고, 다양한 부정행위 확률계산부를 통해서 사용자의 부정행위 확률을 예측하고, 부정행위 증거저장부를 통해서 사용자의 부정행위가 의심스러운 경우 해당 사용자의 영상 데이터 및 음성 데이터를 저장해 두어, 향후 추가 분석하거나 부정행위를 검증, 입증하는 증거로서 저장하며, 남은 시험 문제의 순서를 변경하는 등의 부정행위 대응이 가능하며, 온라인 시험을 주관하는 기관 등에 부정행위 통계를 제시하는 것이 가능하며, 온라인 시험의 사용자에게 재미, 흥미, 동기부여를 유도할 수 있도록 메타버스로 구현하는 것이 가능하다.
Description
본 발명은 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템에 관한 것으로, 좀 더 구체적으로는, 디지털 정보 인증부 등을 통해서 온리인 시험 수험자인 사용자를 인증하고, 다양한 부정행위 확률계산부를 통해서 사용자의 부정행위 확률을 예측하고, 부정행위 증거저장부를 통해서 사용자의 부정행위가 의심스러운 경우 해당 사용자의 영상 데이터 및 음성 데이터를 저장해 두어, 향후 추가 분석하거나 부정행위를 검증, 입증하는 증거로서 저장하며, 남은 시험 문제의 순서를 변경하는 등의 부정행위 대응이 가능하며, 온라인 시험을 주관하는 기관 등에 부정행위 통계를 제시하는 것이 가능하며, 온라인 시험의 사용자에게 재미, 흥미, 동기부여를 유도할 수 있도록 메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템에 관한 것이다.
2020년 3월 세계보건기구(WHO)는 코로나19에 대해서 세계적 대유형을 뜻하는 '팬데믹'을 선언했다. 우리나라는 물론이고 전세계인들의 일상이 코로나 팬데믹으로 변화되었다. 마스크를 착용하는 것이 일상이 되고, 재택 근무와 화상 회의가 낯설지 않은 일상이 되었다.
코로나 팬데믹으로 인해서 확산된 비대면 열풍은 이러닝 시장에서도 폭발적인 성장을 이끌고 있다. 최근에 치르는 시험도 온라인 시험으로 많이 대체되었다. 특히, 코로나 팬데믹 도중에 치러진 2020년의 다수의 취업 시험, 예를 들어 삼성전자의 입사 시험이나, 중고등학생, 대학생들의 다수의 온라인 시험에서는, 각종 부정행위의 우려가 있었으며, 실제로 몇몇 학교에서는 부정행위가 적발되어서 제재 조치를 취한 사례가 있었다.
구체적으로 삼성의 신입 공개 채용 직무적성검사에서는, 응시자가 집에서 개인 PC를 활용해 시험에 응시하고, 감독관은 원격 모니터링 시스템을 통해 시험을 감독하는데, 상당히 많은 수의 감독관이 원격 모니터링 시스템에 투입되는 인력 낭비를 초래했으나, 부정행위가 전혀 없었는지에 대해서는 장담할 수 없는 상황이다. 또한, 대학교 부정행위로는 서강대 수학과 중간고사, 인천대 공과대 학생들의 기말시험, 인하대 의대 학생들의 부정행위가 언론에 언급되고 있다.
온라인 시험과 관련한 특허문헌으로서, 대한민국 공개특허 제10-2021-0093539호(2021년 7월 28일 공개, 발명의 명칭 : 온라인 시험시스템 및 이를 이용한 온라인 시험방법{A system for online test and method using the same})에서는, "본 발명은 온라인 시험시스템 및 이를 이용한 온라인 시험방법에 관한 것으로, 더욱 상세하게는 부정시험을 방지하기 위한 온라인 시험시스템 및 이를 이용한 온라인 시험방법에 관한 것이다. 본 발명은 응시자의 단말기(100)와, 상기 응시자의 단말기(100)와 유무선으로 연결되는 서버(200) 및 상기 단말기(100)에 설치되는 온라인시험어플리케이션(300)을 포함하는 온라인시험 스템에 있어서, 상기 온라인시험어플리케이션(300)은 아이디 및 아이피 정보를 포함한 응시자정보를 이용하여 일회성시험지코드(OTP)를 생성하는 일회성시험지 코드 생성모듈(310)을 포함하며, 상기 서버(200)는 응시자들의 개인정보를 저장하기 위한 응시자정보DB(210)와, 상기 응시자 단말기(100)의 온라인시험어플리케이션(300)으로부터 전송된 일회성시험지코드(OTP)를 상기 응시자정보DB(210)의 응시자정보와 비교하는 일회성시험지코드대조모듈(220) 및 시험지생성모듈(230)을 포함하는 것을 특징으로 하는 온라인시험시스템"에 대해서 개시하고 있다.
또한, 또 다른 종래의 특허문헌으로서, 대한민국 특허 제10-2088218호(2020년 3월 6일 등록, 발명의 명칭 : 블록체인 네트워크를 기반으로 한 온라인 시험 관리 시스템 및 방법{Online examination management system and method thereof})에서는, "상기 시스템 관리자 노드는 문제 출제자 노드에게 과목 식별정보 컨텍스트 및 출제자 컨텍스트를 부여하고, 시험 응시자 노드에게 과목 식별정보 컨텍스트 및 응시자 컨텍스트를 부여하는 단계; 상기 문제 출제자 노드는 시험 문제를 문제 출제자의 개인키로 서명하고, 서명된 시험 문제를 출제자 컨텍스트와 과목 식별정보 컨텍스트로 이루어진 접근 권한 이진트리를 이용하여 CP-ABE 암호화시켜 블록체인 네트워크에 기록하는 단계; 상기 시험 응시자 노드는 블록체인 네트워크에 기록된 시험 문제를 판독하고, 상기 시험 문제를 상기 응시자 컨텍스와 과목 식별정보 컨텍스트를 이용하여 복호화시켜 열람하고, 상기 시험 문제에 대한 답안을 작성하고, 상기 답안은 시험 응시자 노드의 개인키로 서명하고, 상기 서명된 답안을 상기 응시자 컨텍스트와 응시자 식별정보 컨텍스트로 이루어진 접근 권한 이진트리로 암호화시켜 블록체인 네트워크에 기록하는 단계;를 구비하는 블록체인 네트워크를 기반으로 한 온라인 시험 관리 시스템 및 방법"에 대해서 개시하고 있다.
본 출원인은 상술한 것처럼, 준비 없이 급작스럽게 우리 곁으로 다가온 코로나 팬데믹의 일상에서 치러지는 다수의 온라인 시험에서 부정행위 우려가 없는 온라인 시험 플랫폼 시스템을 제공하는 것에 착안하였으며, 코로나 이후의 시기에서도 수험자에게 재미, 흥미 및 동기부여를 부여하는 온라인 시험 플랫폼 시스템을 제공하는 것에 착안하였으며, 이에 대한 개시나 시사는 상술한 종래의 특허문헌 등에서는 없는 것으로 보인다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 디지털 정보 인증부 등을 통해서 온리인 시험 수험자인 사용자를 인증하고, 다양한 부정행위 확률계산부를 통해서 사용자의 부정행위 확률을 예측하고, 부정행위 증거저장부를 통해서 사용자의 부정행위가 의심스러운 경우 해당 사용자의 영상 데이터 및 음성 데이터를 저장해 두어, 향후 추가 분석하거나 부정행위를 검증, 입증하는 증거로서 저장하며, 남은 시험 문제의 순서를 변경하는 등의 부정행위 대응이 가능하며, 온라인 시험을 주관하는 기관 등에 부정행위 통계를 제시하는 것이 가능하며, 온라인 시험의 사용자에게 재미, 흥미, 동기부여를 유도할 수 있도록 메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템은, 온라인 시험을 수험자인 사용자에게 제공하고, 객관식 문제의 경우 상기 사용자가 선택하는 답이거나 또는 주관식 문제의 경우 상기 사용자가 직접 기재한 답을 수신하는 온라인 시험부; 상기 사용자의 신분을 인증하는 사용자 인증부; 및 상기 사용자의 부정행위 확률을 계산하는 부정행위 확률계산부;를 포함한다.
또한, 상기 사용자 인증부는, 상기 온라인 시험을 치르는 단말의 카메라를 통해서 인식한 신분증 사진과, 상기 단말의 카메라로부터 인식한 사용자의 얼굴과, 상기 온라인 시험 이전에 미리 저장한 상기 사용자의 신분증 및 얼굴을 대조하여 확인하는 신분증 확인부; 별도의 기구를 통한 상기 사용자의 지문 인증이나, 상기 사용자의 홍채 인증이나, 또는 상기 사용자의 음성 정보를 통해서 상기 사용자를 인증하는 생체 정보 인증부; 및 상기 온라인 시험을 치르는 단말에 저장되어 있는 디지털 정보에 접근하여 획득한 디지털 정보를 기초로 한 상기 사용자에 대한 질의 및 응답을 통해서 상기 사용자를 인증하는 디지털 정보 인증부; 가운데 적어도 하나를 포함할 수 있다.
또한, 상기 부정행위 확률계산부는, 상기 단말의 모델 정보를 기초로 외곽 라인을 알고 있는 경우에는, 상기 사용자의 눈동자를 추적하여, 상기 단말의 외곽 라인을 벗어나는 횟수 또는 빈도에 기초하여, 상기 사용자의 부정행위의 확률을 계산할 수 있다.
또한, 상기 부정행위 확률계산부는, 상기 단말의 모델 정보를 알 수 없거나 또는 상기 단말의 모델 정보를 알고 있지만 외곽 라인을 모르는 경우에는, 다수의 상기 사용자의 눈동자를 추적하여, 상기 단말의 가상의 외곽 라인을 설정하고, 상기 사용자의 눈동자가 상기 가상의 외곽 라인을 벗어나는 횟수 또는 빈도에 기초하여, 상기 사용자의 부정행위의 확률을 계산할 수 있다.
또한, 상기 부정행위 확률계산부는, 상기 사용자에 대한 실시간 채점을 통해서, 상기 사용자의 선행 역량 정보를 바탕으로 계산한 역량 범위를 벗어난 정도를 기초로 하여, 상기 사용자의 부정행위의 확률을 계산할 수 있다.
또한, 상기 부정행위 확률계산부는, 상기 사용자가 지정되거나 정해진 브라우저 이외의 브라우저를 열려고 하는 횟수 또는 빈도나, 또는 상기 사용자가 복사하기 또는 붙여넣기 조작을 하는 횟수 또는 빈도에 기초로 하여, 상기 사용자의 부정행위의 확률을 계산할 수 있다.
또한, 상기 부정행위 확률계산부는, 상기 사용자가 지정되거나 정해진 브라우저 이외의 브라우저를 열려고 하는 횟수 또는 빈도나, 상기 사용자가 사용하는 단말의 키보드 및 마우스의 상태 값 및 입력 값 확인 프로그램을 통해서 이상 패턴 발견 횟수 또는 빈도, 상기 사용자가 사용하는 키보드 및 마우스 이벤트의 패턴 분류 프로그램을 통해서 복사 및 붙여넣기 조작을 하는 횟수 또는 빈도, 및 주관식 문제의 경우 표절 및 컨닝 검출을 위한 동일 주관식 답안 검출 프로그램의 결과 가운데 적어도 하나 이상에 기초로 하여, 상기 사용자의 부정행위의 확률을 계산할 수 있다.
또한, 상기 부정행위 확률계산부는, 상기 사용자의 수험 환경의 시각적 활동 또는 청각적 활동이 시험 프로토콜에 위반되는 활동의 횟수 또는 빈도에 기초하여, 상기 사용자의 부정행위의 확률을 계산할 수 있다.
또한, 상기 부정행위 확률 계산부의 결과값이 소정의 제1값을 초과하거나 또는 소정의 제1값 이상인 경우, 상기 사용자의 부정행위가 의심되는 것으로 판단하여, 해당 사용자에 대한 영상 데이터 및 음성 데이터를 저장하여, 향후 추가 분석하거나 또는 상기 사용자의 부정행위를 검증할 수 있는, 상기 사용자의 부정행위에 대한 증거를 저장하는 부정행위 증거저장부;를 더 포함할 수 있다.
또한, 상기 부정행위 확률계산부의 결과값이 소정의 제2값을 초과하거나 또는 소정의 제2값 이상인 경우, 상기 사용자에게 제공하는 시험 문제 가운데 현재 이후의 시험 문제 자체의 변경이나, 또는 남은 시험 문제의 순서 변경을 하라는 지시를 상기 온라인 시험부에 제공하는 부정행위 대응부;를 더 포함할 수 있다.
또한, 시험 시간 동안의 실시간으로 정리한 시계열적인 복수의 사용자의 부정행위 확률, 상기 부정행위 대응부의 대응, 및 부정행위 대응부의 대응 이후의 해당 사용자의 부정행위 확률을 포함하는 온라인시험보고서를 작성하여, 상기 온라인 시험을 주관하는 기관의 서버 또는 기관의 담당자 이메일로 전송하거나 제출하는 상기 온라인시험보고서를 제공하는 부정행위 통계부;를 더 포함할 수 있다.
상기 온라인 시험부는, 별도의 장비 또는 시설로, 상기 온라인 시험부를 메타버스로 구현하여, 상기 온라인 시험을 치르는 복수의 사용자가 가상으로 참여 할 수 있는 메타버스부;를 더 포함하고, 상기 메타버스부는, 상기 사용자의 움직임에 상응하여 메타버스 공간 내에서 사용자를 지시하는 객체의 좌표를 관리하고, 객체의 좌표에 상응하는 다차원 효과 정보를 제공하는 메타버스 다차원 효과 정보 제공부; 메타버스내에 포함된 객체들을 관리하여 가상세계를 그래픽으로 표시하며 제공된 다차원 효과 정보에 상응하여 다차원 효과를 제공하기 위한 제어를 수행하는 메타버스 단말; 및 상기 메타버스 단말의 제어에 상응하여 다차원 효과를 제공하는 다차원 효과 제공 장치;를 포함하고, 상기 온라인 시험부는, 상기 메타버스부를 이용하여, 실제 시험의 중압감을 경험하고 실제 시험에서와 같은 경험을 겪어볼 수 있도록, 가상 공간에서 시험을 받게 하는 모의고사 제공부;를 더 포함한다.
또한, 상기 메타버스부는, 상기 모의고사 제공부를 포함하는 온라인 시험을 치르면서 성적이나 성과에 기반하여, 상기 사용자에 대응되는 캐릭터 또는 아바타가 업그레이드되거나 향상되거나 변화하고, 상기 성적 또는 성과에는, 토익이나 한국어능력과 같은 시험에서의 성적의 향상 또는 자격증 취득을 포함할 수 있다.
본 발명의 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템에 따르면,
첫째, 디지털 정보 인증부 등을 통해서 온리인 시험 수험자인 사용자 인증을 좀 더 정확하게 검증할 수 있다.
둘째, 다양한 부정행위 확률계산부를 통해서 사용자의 부정행위 확률을 예측하는 것이 가능하다.
셋째, 부정행위 증거저장부를 통해서 사용자의 부정행위가 의심스러운 경우 해당 사용자의 영상 데이터 및 음성 데이터를 저장해 두어, 향후 추가 분석하거나 부정행위를 검증, 입증하는 증거로서 저장하는 것이 가능하다.
넷째, 부정행위가 의심스러운 경우, 남은 시험 문제의 순서를 변경하는 등의 부정행위 대응도 가능하다.
다섯째, 온라인 시험을 주관하는 기관, 대학, 회사(채용시험을 하는 회사 등) 등에 부정행위 통계를 제시하는 것이 가능하다.
여섯째, 온라인 시험의 사용자에게 재미, 흥미, 동기부여를 유도할 수 있도록 엔터테인먼트적인 요소를 가미한 메타버스로 구현된 온라인 시험 플랫폼 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 온라인 시험부(100)의 개략적인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 메타버스부(110)의 개략적인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 사용자 인증부(200)의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 온라인 시험부(100)의 개략적인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 메타버스부(110)의 개략적인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 사용자 인증부(200)의 개략적인 블록도이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)의 개략적인 블록도이고, 도 2는 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 온라인 시험부(100)의 개략적인 블록도이고, 도 3은 본 발명의 일 실시예에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)에서 메타버스부(110)의 개략적인 블록도이다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명에 따른 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템(10)은, 온라인 시험부(100), 사용자 인증부(200), 부정행위 확률계산부(300), 부정행위 증거저장부(400), 부정행위 대응부(500), 및 부정행위 통계부(600)를 포함한다.
먼저, 온라인 시험부(100)는 토익, 토플과 같은 어학시험, 대학교의 중간고사나 기말고사, 공공기관이나 기업의 입사시험, 각종 기관의 내부 교육의 검증용 시험, 학원의 내외부 시험 등 온라인 시험을 치는 수험자인 사용자에게 제공하고, 객관식 문제의 경우 사용자(수험자)가 선택하는 답이거나 또는 주관식 문제의 경우 사용자가 직접 기재한 답을 수신하는 구성이다. 통상은 온라인 시험부(100)는 수험자의 노트북이나 데스크 탑, 아이패드 등 스마트 단말일 수 있다.
이와 같은 온라인 시험부(100)는 별도의 장비 또는 시설를 더 구비할 수 있다. 즉, 온라인 시험부(100)를 메타버스로 구현하여, 온라인 시험을 치르는 복수의 사용자가 가상으로 참여 할 수 있는 메타버스부(110)를 더 포함할 수 있다.
구체적으로, 메타버스부(110)는, 사용자나 수험자의 움직임에 상응하여 메타버스 공간, 즉 디지털 공간 내에서 사용자를 지시하는 객체의 좌표를 관리하고, 객체의 좌표에 상응하는 다차원 효과 정보를 제공하는 메타버스 다차원 효과 정보 제공부(111)와, 메타버스 내에 포함된 객체들을 관리하여 가상세계를 그래픽으로 표시하며 제공된 다차원 효과 정보에 상응하여 다차원 효과를 제공하기 위한 제어를 수행하는 전용의 메타버스 단말(112)과, 이와 같은 메타버스 단말(112)의 제어에 상응하여 다차원 효과를 제공하는 다차원 효과 제공 장치(113)를 포함한다.
여기서, 다차원 효과라는 것은, 3차원을 디지털 공간에서, 시간이라는 차원을 걸쳐서, 진동, 음성, 영상 등과 같은 그 밖의 다차원 정보를 포함하는 효과로서, 이를 통해서, VR, AR, MR 등이 구현되는 것을 말한다.
여기서, 메타버스 다차원 효과 정보 제공부(111)는 외부 서버의 엔진을 활용하는 것도 가능하고, 메타버스 단말(112) 및 다차원 효과 제공 장치(113)는 고글 형태의 HMD나 헤드폰, 여러 장의 얇은 홀로그램 필름 레이어로 이루어진 글래스(안경), 팬케이크 디스플레이, 손목밴드, 반지, 장갑 등의 하드웨어로 구현될 수 있으며 일체로 구현될 수 있다. 메타버스 단말(112)에서는 아바타나 캐릭터가 처한 상황에 맞는 효과를 만들어서 다차원 효과 제공 장치(113)에 제공되면 이것을 다차원 효과 제공 장치(113)는 실제처럼 음성, 영상, 진동 등으로 다차원적인 효과를 구현하게 된다. 이와 같은 다차원 효과 제공 장치나 메타버스 단말은 기존의 메타버스 기술이나 장치를 활용하여 구현하게 된다.
또한, 증강 현실과 가상 현실 표출이 가능한 전자 장치를 이용하여 가상의 시험지를 제공하고, 시험 대상자가 가상의 시험지에 대한 답안을 작성하여 제출하는 기술을 활용하는 것도 가능하다.
한편, 온라인 시험부(100)는 이와 같은 메타버스부(110)를 이용하여, 실제 시험의 중압감을 가상으로 경험하고 실제 시험에서와 같은 경험을 겪어봄으로써 결과적으로는 실제 시험에서는 그 중압감이나 부담감에 무덤덤하게 반응할 수 있도록, 가상 공간에서 시험을 받게 하는 모의고사 제공부(120)를 더 포함할 수 있다.
또한, 메타버스부(110)는, 모의고사 제공부(120)를 포함하는 온라인 시험을 치르면서 성적이나 성과에 기반하여, 사용자에 대응된 캐릭터, 부캐릭터 또는 아바타가 업그레이드되게 하여, 사용자로 하여금 시험의 부담감이나 중압감 보다는 흥미, 재미나 동기부여를 받을 수 있도록 하는 것이 가능하다. 여기서, 사용자의 성적 또는 성과에는, 토익이나 한국어능력과 같은 시험에서의 성적의 향상 또는 자격증 취득을 포함할 수 있다.
다음으로, 사용자 인증부(200)는 사용자의 신분을 인증하는 구성이다. 사용자 인증부는, 신분증 확인부(210), 생체 정보 인증부(220) 및 디지털 정보 인증부(230)를 포함한다.
신분증 확인부(210)는 상술한 온라인 시험을 치르는 스마트 단말의 카메라를 통해서 인식한 신분증 사진과, 상기 스마트 단말의 카메라로부터 인식한 사용자의 얼굴과, 상기 온라인 시험 이전에 미리 저장한 상기 사용자의 신분증 및 얼굴을 대조하여 확인하는 구성이다. 영상 처리를 통해서, 얼굴에서 변화가 가능한 머리 모양을 제외하고, 얼굴에서 변화되기 어려운 특징인, 미간 거리 비율, 코의 길이 비율 등의 특징이나 특징점을 추출하여, 신분 동일 여부를 판단한다. 실제 신분증 사진인지 아니면 위조 신분증 사진인지를 확인하는 절차를 거치게 할 수도 있다.
또한, 생체 정보 인증부(220)는, 별도의 기구나 장치를 통해 수험자인 사용자의 지문 인증이나, 사용자의 홍채 인증이나, 상기 사용자의 음성 정보, 특히 음성의 주파수 특성 정보를 통해서 사용자를 인증한다.
또한, 디지털 정보 인증부(230)는, 온라인 시험을 치르는 단말에 저장되어 있는 디지털 정보에 접근하여 획득한 디지털 정보를 기초로 하여 수험자인 사용자에 대한 질의 및 응답을 통해서 사용자를 인증하는 구성이다. 예를 들어, 사전에 사용자의 스마트 단말에 대한 접근 및 개인정보 이용에 대해서 동의를 구한 것을 전제로, 스마트 단말에서 획득한 디지털 정보를 데이터 처리하여 가장 빈번하게 출현하는 이메일 주소나 가족의 핸드폰 번호 등을 추출하여, 가족의 이름과 핸드폰 번호를 질의하는 등의 질의 및 응답으로 해당 사용자를 인증하는 구성이다. 스마트 단말의 소유자 확인 및 랜덤한 질의 및 응답으로, 대리 시험의 가능성을 배제하는 것이 가능하다.
또한, 사용자 또는 수험자에게 텍스트 구절을 입력하라는 요청을 하고, 시험을 치르는 사용자 또는 수험자가 키 입력 샘플을 입력하여, 사용자를 인증하는 것도 가능하다. 모의고사나 사전에 입력한 키 입력을 통해서 해당 사용자의 키 입력 스토로크의 특유한 패턴을 분석하여, 수험자의 키 입력 패턴과 대비하여 사용자를 인증하는 것이다.
다음으로, 부정행위 확률계산부(300)는 사용자의 부정행위 확률을 계산하는 구성이다. 구체적으로 후술하는 다양한 부정행위 확률 방법을 개별적 또는 종합적으로 사용하여 부정행위 확률을 계산하는 것이 가능하다.
먼저, 첫 번째 부정행위 확률계산의 예시로서, 상술한 스마트 단말의 모델 정보를 기초로 외곽 라인, 즉 노트북의 단말의 크기, 즉 디스플레이의 좌우 크기 및 상하 크기를 알고 있는 경우에는, 사용자의 눈동자를 추적하여, 단말의 외곽 라인을 벗어나는 횟수 또는 빈도에 기초하여, 사용자의 부정행위의 확률을 계산하는 것이 가능하다. 여기서, 사용자의 눈동자를 추적하는 기술의 예시로서, 시선 인식 기술인 SeeSo 프레임워크의 Gaze Tracker 등을 사용하여 시선이 디스플레이, 스마트 단말의 화면 밖으로 이탈하는 횟수 등을 카운트하게 된다.
또한, 두 번째 부정행위 확률계산의 예시로서, 상술한 것과 달리, 스마트 단말의 모델 정보를 알 수 없거나 또는 스마트 단말의 모델 정보를 알고 있지만 외곽 라인에 대한 정보가 사전에 저장되어 있지 않아서 모르는 경우에는, 스마트 단말이 직사각형 구조라고 가정한 상태에서, 다수의 상기 사용자의 눈동자를 추적하여, 스마트 단말의 가상의 외곽 라인을 설정하고, 사용자의 눈동자가 상기 가상의 외곽 라인을 벗어나는 횟수 또는 빈도에 기초하여, 상기 사용자의 부정행위의 확률을 계산하는 것이 가능하다.
또한, 세 번째 부정행위 확률계산의 예시로서, 사용자에 대한 실시간 채점을 통해서, 사용자의 선행 역량 정보를 바탕으로 계산한 역량 범위를 벗어난 정도를 기초로 하여, 사용자의 부정행위의 확률을 계산하는 것이다. 선행 역량 정보를 다시 세부 카테고리로 나눠서 각각의 세부 카테고리 상의 선행 역량과 대비하여, 통계적으로 가능한 범위를 벗어난 역량 범위를 나타내는 경우에는 부정행위의 가능성을 의심해 볼 수 있는 것을 전제한 것이다.
또한, 네 번째 부정행위 확률계산의 예시로서, 수험자인 사용자가 미리 시험 기관에서 지정했거나, 정해진 브라우저 이외의 브라우저를 열려고 시도하는 횟수 또는 빈도나, 또는 사용자가 복사하기 또는 붙여넣기 조작을 하는 횟수 또는 빈도에 기초로 하여, 해당 사용자의 부정행위의 확률을 계산할 수 있다.
예를 들어, 현재 온라인 시험을 치르는 서버와의 접속 이외의 접속을 목적으로 하는, 다른 브라우저를 열려는 시도가 있다면, 그 횟수나 빈도를 통해서 부정행위의 확률을 계산한다. 이 때, 온라인 시험을 치르는 서버와의 통신을 위한 session-id와 다른 session-id를 갖는 브라우저를 열려는 시도의 횟수를 카운트하는 것도 가능하다. 또는 사용자가 복사하기 또는 붙여넣기 조작을 사용하는 횟수가 많거나 빈도가 크다면, 부정행위가 일어나고 있을 가능성이 높다고 판단할 수 있다. 또는 온라인 시험 세션의 중단(interrupt)나 재개(resume)의 횟수나 빈도를 이용해서, 부정행위의 확률을 계산하는 것도 가능하다. 이 경우, 후술하는 화면 조작 자체의 저장이 일어나서 부정행위 증거를 저장하는 것도 가능하다. 물론 이 경우, 시험 서버의 문제로 인한 것일 수 있으므로, 시험 서버를 빠르게 다른 클라우드 서버, 즉 가장 가까운 클라우드 서버나 대역폭이 많은 서버로 교체하여 해당 온라인 시험이 끊김없이 이루어지게 하는 기술도 사용할 수 있다.
또한, 키보드, 마우스 상태 값 및 입력 값 확인 프로그램, 키보드, 마우스 이벤트의 패턴 분류 프로그램(예, 복사, 붙여넣기 등), 주관식 문제의 경우, 표절/컨닝 검출을 위한 동일 주관식 답안 검출 프로그램 등으로, 부정행위 확률을 계산하는 것도 가능하다.
또한, 다섯 번째 부정행위 확률계산의 예시로서, 사용자의 수험 환경의 시각적 활동 또는 청각적 활동이 시험 프로토콜에 위반되는 활동의 횟수 또는 빈도에 기초하여, 사용자의 부정행위의 확률을 계산하는 것이다. 예를 들어, 사전 예행연습하는 동안의 사용자의 수험 환경에 대한 시각적 활동, 예를 들어 사용자의 행동 패턴이나 시험을 치는 공간의 밝기, 조명을 밝게 하기나 가구 배치 등과, 소리나 잡음, 배경 소음 발생의 패턴, 본인 또는 타인의 음성 출현, 애완동물과 같은 생물의 음성 출현, 창문 닫기 등과 같은 청각적 활동을 모니터링하여, 시험 프로토콜에 위반되는 활동의 횟수 또는 빈도를 기초로 하여 부정행위의 확률을 계산한다.
또한, 여섯 번째 부정행위 확률계산의 예시로서, 사용자 여러 명의 수험 네트워크 환경에 대한 정보를 분석하여, IP 주소가 유사하여 동일 공간 내에 여러 명의 수험자가 위치하고 있다거나 여러 명의 수험자가 모여 있다고 의심을 할 수 있는 수험 환경에 대한 정보를 수집할 경우, 사용자의 부정행위의 확률이 높다고 판단할 수 있다. 예를 들어, 4-5명의 팀을 이루어 시험을 같은 공간에서 치르면서 동일한 시험을 의논하여 답을 찾고, 정답을 카메라의 사각지대를 통해서 공유하는 방식을 채택할 경우에 IP주소, 즉 수험 네트워크 환경 분석을 통해서 확인하는 것이다.
또한, 일곱 번째 부정행위 확률계산의 예시로서, 사용자가 시험 문제를 푸는 속도가 일반적인 속도나 통계적으로 가능한 속도를 벗어나게 빠를 경우, 부정행위의 확률이 높다고 판단할 수 있다. 예를 들어, 정답을 누군가가 제공하여, 1문제를 풀 수 있는 시간적 여유가 없음에도, 지문을 읽을 시간도 없는 정도의 시간으로 부정행위의 확률이 있다고 판단할 수 있다. 다만 이 경우, 객관식을 찍고 넘어가는 경우일 수도 있기 때문에, 1회적인 경우에는 부정행위의 확률을 높이지 않고, 여러 회 짧은 시간에 정답을 맞추는 경우에 부정행위의 확률이 높다고 판단할 수 있다.
또한, 여덟 번째 부정행위 확률계산의 예시로서, 사용자가 있어야 하는 화면 내, 또는 영상 내에서 수험자 또는 사용자의 얼굴이 존재하는지 여부와, 수험자 또는 사용자의 얼굴이 존재하지 않는 횟수나 빈도, 비율에 따라서 부정행위 확률계산을 하는 것도 가능하다. 영상 내 얼굴 존재 유무 판별 기술의 예로는, adaboost 방식 등이 있다. 예를 들어, 사용자가 있어야 하는 화면 내에 수험자 또는 사용자가 빈번하게 없어지는 상황이라면, 부정행위가 있는 것으로 의심해 볼 수 있다.
또한, 아홉 번째 부정행위 확률계산의 예시로서, 수험자 얼굴의 영상 처리를 통해서 맥박을 감지하여 맥박 파형(맥파)을 생성하는 것이 가능하다. 수험자의 맥박에서 이상 패턴을 활용하여 부정행위 확률을 계산하는 것이 가능하다. 이 경우, 다수의 모의고사를 통해서 해당 사용자(수험자) 맥박 패턴을 미리 저장하는 것도 가능하며, 다수의 수험자의 맥박 패턴을 학습하여 이상 패턴을 학습을 할 수 있다.
한편, 부정행위 증거저장부(400)에 대해서 설명하면, 부정행위 증거저장부(400)는, 상술한 다양한 예시의 부정행위 확률 계산부의 결과값이 소정의 제1값을 초과하거나 또는 소정의 제1값 이상인 경우, 사용자의 부정행위가 의심되는 것으로 판단하여, 해당 사용자에 대한 영상 데이터 및 음성 데이터를 저장하게 된다. 여기서, 영상 데이터 및 음성 데이터의 저장이란, 사용자의 수험 화면 자체를 녹화, 동영상으로 저장하는 것이다. 이를 통해서, 향후 부정행위를 수동으로 또는 자동으로 검출 엔진을 통해서 추가 분석하는데 이용할 수 있다. 또한, 이와 같은 영상 데이터와 음성 데이터의 저장은 향후 사용자의 부정행위를 검증할 수 있는 수단 또는 사용자의 부정행위에 대한 증거를 저장하는 수단이 될 수 있다.
부정행위 증거를 저장하는 것에서 더 나아가, 부정행위를 대응하는 부정행위 대응부(500)를 더 포함할 수 있다. 즉, 부정행위 확률계산부의 결과값이 소정의 제2값을 초과하거나 또는 소정의 제2값 이상인 경우, 상기 사용자에게 제공하는 시험 문제 가운데 현재 이후의 시험 문제 자체의 변경이나, 또는 남은 시험 문제의 순서 변경을 하라는 지시를 상기 온라인 시험부에 제공하는 구성이다. 예를 들어, 특정 수험자인 홍길동의 부정행위 확률계산부의 결과값이 소정의 제2값인 90%를 초과하거나, 90% 이상이 되는 경우, 남은 시험 문제의 순서를 변경하거나, 배치를 달리하는 지시나 명령을 온라인 시험부(100)에 제공할 수 있다. 이를 통해서 부정행위 확률계산부의 결과값이 하락하는 지 여부도 확인할 수 있다.
다음으로, 부정행위 통계부(600)는 시험 시간 동안의 실시간으로 정리한 시계열적인 복수의 사용자의 부정행위 확률, 상기 부정행위 대응부의 대응, 및 부정행위 대응부의 대응 이후의 해당 사용자의 부정행위 확률을 포함하는 온라인시험보고서를 작성하여, 상기 온라인 시험을 주관하는 기관의 서버 또는 기관의 담당자 이메일로 전송하거나 제출하는 상기 온라인시험보고서를 제공하는 구성이다.
예를 들어, 전체 인원의 부정행위 확률의 평균값을 제시하고, 수험자 개개인의 부정행위 확률의 평균값을 제시하되, 해당 개개인을 클릭하면, 해당 개인(수험자, 사용자)의 시험 시간인 60분 동안 부정행위 확률을 도시한 그래프(가로축은 시간으로 설정하고, 세로축은 부정행위 확률으로 설정함)를 제시하여, 시험 시간 60분 동안 실시간의 부정행위 확률을 시각화하여 제공하는 것이 가능하다.
나아가, 부정행위 확률이 제1값을 초과 또는 제1값 이상이 된 경우에, 부정행위 증거를 저장했다는 표시를 그래프 색상과 다른 색상으로 표시한다. 예를 들어, 빨간 색으로 표시하고, 해당 빨간 색을 표시한 부분을 클릭하면 저장된 해당 수험자의 시험 화면과 음성 데이터를 재생하면서 보여주는 것이 가능하다.
또한, 부정행위 확률이 제2값을 초과 도는 제2값 이상이 된 경우에, 부정행위 대응을 했다는 이벤트 발생의 표시를 그래프 색상 및 부정행위 증거 저장 이벤트와는 다른 색상으로 표시한다. 예를 들어, 파란 색으로 표시하고, 해당 파란 색을 표시한 부분을 클릭하면 부정행위 대응한 방안인, 남은 시험 문제의 순서를 재배치한 것을 보여 주고, 해당 부정행위 대응 이후에 부정행위 확률이 감소했는지 그래로인지, 증가했는지도 시험 시간 동안의 실시간 부정행위 확률 그래프를 통해서 확인하는 것이 가능하다.
한편, 본 시스템의 감독관이 요청할 경우, 특정 수험자의 화면을 그대로 표시하여 감독관의 모니터링 화면에 표시하는 것도 가능하다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10...부정행위 예방 및 대응 온라인 시험 플랫폼 시스템
100...온라인 시험부
110...메타버스부
111...메타버스 다차원 효과 정보 제공부
112...메타버스 단말
113...다차원 효과 제공 장치
120...모의고사 제공부
200...사용자 인증부
210...신분증 확인부
220...생체 정보 인증부
230...디지털 정보 인증부
300...부정행위 확률계산부
400...부정행위 증거저장부
500...부정행위 대응부
600...부정행위 통계부
Claims (12)
- 온라인 시험을 수험자인 사용자에게 제공하고, 객관식 문제의 경우 상기 사용자가 선택하는 답이거나 또는 주관식 문제의 경우 상기 사용자가 직접 기재한 답을 수신하는 온라인 시험부;
상기 사용자의 신분을 인증하는 사용자 인증부;
상기 사용자의 부정행위 확률을 계산하는 부정행위 확률계산부;
상기 부정행위 확률 계산부의 결과값이 소정의 제1값을 초과하거나 또는 소정의 제1값 이상인 경우, 상기 사용자의 부정행위가 의심되는 것으로 판단하여, 해당 사용자에 대한 영상 데이터 및 음성 데이터를 저장하여, 향후 추가 분석하거나 또는 상기 사용자의 부정행위를 검증할 수 있는, 상기 사용자의 부정행위에 대한 증거를 저장하는 부정행위 증거저장부;
상기 부정행위 확률계산부의 결과값이 소정의 제2값을 초과하거나 또는 소정의 제2값 이상인 경우, 상기 사용자에게 제공하는 시험 문제 가운데 현재 이후의 시험 문제 자체의 변경이나, 또는 남은 시험 문제의 순서 변경을 하라는 지시를 상기 온라인 시험부에 제공하는 부정행위 대응부; 및
시험 시간 동안의 실시간으로 정리한 시계열적인 복수의 사용자의 부정행위 확률, 상기 부정행위 대응부의 대응, 및 부정행위 대응부의 대응 이후의 해당 사용자의 부정행위 확률을 포함하는 온라인시험보고서를 작성하여, 상기 온라인 시험을 주관하는 기관의 서버 또는 기관의 담당자 이메일로 전송하거나 제출하는 상기 온라인시험보고서를 제공하는 부정행위 통계부;를 포함하고,
상기 사용자 인증부는,
상기 온라인 시험을 치르는 단말의 카메라를 이용하여 인식된 신분증 사진 및 상기 카메라를 이용하여 인식된 상기 사용자의 얼굴과, 상기 온라인 시험 이전에 미리 저장된 상기 사용자의 신분증 및 얼굴 각각에서, 미간 거리 비율 및 코의 길이 비율 중 적어도 하나의 비율에 기초하여, 상기 사용자의 신분을 확인하는 신분증 확인부;
별도의 기구를 통한 상기 사용자의 지문 인증, 상기 사용자의 홍채 인증, 또는 상기 사용자의 음성의 주파수 특성 정보를 통해서 상기 사용자를 인증하는 생체 정보 인증부; 및
상기 온라인 시험을 치르는 단말에 저장되어 있는 디지털 정보에 접근하여 획득한 디지털 정보를 기초로 한 상기 사용자에 대한 질의 및 응답을 통해서 상기 사용자를 인증하는 디지털 정보 인증부;를 포함하고,
상기 디지털 정보 인증부는,
상기 획득된 디지털 정보 중 상기 단말에서 지정된 횟수 이상 출현되는 이메일 주소 및 상기 사용자의 가족의 핸드폰 번호에 대한 상기 사용자의 질의 및 응답에 기초하여 상기 사용자를 인증하고,
상기 단말을 통해 입력된 상기 사용자의 지정된 텍스트에 대응되는 키 입력 샘플에 기초하여 상기 사용자의 키 입력 스트로크 패턴을 확인한 결과에 따라 상기 사용자를 인증하고,
상기 부정행위 확률계산부는,
상기 단말의 외곽 라인과 관련된 정보가 미리 저장되지 않은 경우, 상기 사용자를 포함한 다수의 사용자의 눈동자를 추적한 것에 기초하여, 상기 단말에 대한 가상의 외곽 라인을 설정하고, 상기 사용자의 눈동자가 상기 가상의 외곽 라인을 벗어나는 횟수 또는 빈도에 기초하여, 상기 사용자의 부정행위의 확률을 계산하고,
상기 온라인 시험 이전의 사전 예행 연습 동안에, 상기 사용자에 의한 행동 패턴, 상기 온라인 시험을 치르기 위한 공간의 밝기 및 상기 공간의 가구 배치를 포함하는 시각적 활동, 및 상기 공간에서의 배경 소음 발생 패턴 및 상기 공간에서의 타인에 대한 음성 출현을 포함하는 청각적 활동 각각에 기초하여, 상기 온라인 시험 환경의 시험 프로토콜 위반 여부에 따른 상기 사용자의 부정행위 확률을 계산하고,
상기 온라인 시험 이전에 미리 저장된 상기 사용자의 제1 맥박 파형 및 상기 온라인 시험을 치르는 단말의 카메라를 이용하여 인식된 상기 사용자의 얼굴의 영상 처리를 통해 감지된 제2 맥박 파형에 기초하여 상기 사용자의 부정행위 확률을 계산하고,
상기 부정행위 통계부는,
상기 온라인 시험의 시험 시간에 대응되는 시간 동안의 부정행위 확률을 나타내는 시각적 데이터인 그래프를 더 제공하되,
상기 그래프 상에는, 상기 부정행위 확률계산부의 결과값이 소정의 제2값을 초과하거나 또는 소정의 제2값 이상인 부분이 표시되는 경우, 상기 시험 문제 자체의 변경 또는 남은 시험 문제의 순서 변경 이전의 제1 시점, 및 상기 시험 문제 자체의 변경 또는 남은 시험 문제의 순서 변경 이후의 제2 시점 간의 상기 사용자의 부정행위 확률의 증감률이 더 표시되는, 부정행위 예방 및 대응 온라인 시험 플랫폼 시스템.
- 삭제
- 제 1 항에 있어서,
상기 부정행위 확률계산부는,
상기 단말의 모델 정보를 기초로 외곽 라인을 알고 있는 경우에는, 상기 사용자의 눈동자를 추적하여, 상기 단말의 외곽 라인을 벗어나는 횟수 또는 빈도에 기초하여, 상기 사용자의 부정행위의 확률을 계산하는 것을 특징으로 하는,
부정행위 예방 및 대응 온라인 시험 플랫폼 시스템.
- 삭제
- 제 1 항에 있어서,
상기 부정행위 확률계산부는,
상기 사용자에 대한 실시간 채점을 통해서, 상기 사용자의 선행 역량 정보를 바탕으로 계산한 역량 범위를 벗어난 정도를 기초로 하여, 상기 사용자의 부정행위의 확률을 계산하는 것을 특징으로 하는,
부정행위 예방 및 대응 온라인 시험 플랫폼 시스템.
- 제 1 항에 있어서,
상기 부정행위 확률계산부는,
상기 사용자가 지정되거나 정해진 브라우저 이외의 브라우저를 열려고 하는 횟수 또는 빈도나, 상기 사용자가 사용하는 단말의 키보드 및 마우스의 상태 값 및 입력 값 확인 프로그램을 통해서 이상 패턴 발견 횟수 또는 빈도, 상기 사용자가 사용하는 키보드 및 마우스 이벤트의 패턴 분류 프로그램을 통해서 복사 및 붙여넣기 조작을 하는 횟수 또는 빈도, 및 주관식 문제의 경우 표절 및 컨닝 검출을 위한 동일 주관식 답안 검출 프로그램의 결과 가운데 적어도 하나 이상에 기초로 하여, 상기 사용자의 부정행위의 확률을 계산하는 것을 특징으로 하는,
부정행위 예방 및 대응 온라인 시험 플랫폼 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 온라인 시험부는, 별도의 장비 또는 시설로, 상기 온라인 시험부를 메타버스로 구현하여, 상기 온라인 시험을 치르는 복수의 사용자가 가상으로 참여 할 수 있는 메타버스부;를 더 포함하고,
상기 메타버스부는, 상기 사용자의 움직임에 상응하여 메타버스 공간 내에서 사용자를 지시하는 객체의 좌표를 관리하고, 객체의 좌표에 상응하는 다차원 효과 정보를 제공하는 메타버스 다차원 효과 정보 제공부; 메타버스내에 포함된 객체들을 관리하여 가상세계를 그래픽으로 표시하며 제공된 다차원 효과 정보에 상응하여 다차원 효과를 제공하기 위한 제어를 수행하는 메타버스 단말; 및 상기 메타버스 단말의 제어에 상응하여 다차원 효과를 제공하는 다차원 효과 제공 장치;를 포함하고,
상기 온라인 시험부는, 상기 메타버스부를 이용하여, 실제 시험의 중압감을 경험하고 실제 시험에서와 같은 경험을 겪어볼 수 있도록, 가상 공간에서 시험을 받게 하는 모의고사 제공부;를 더 포함하는 것을 특징으로 하는,
부정행위 예방 및 대응 온라인 시험 플랫폼 시스템.
- 제 11 항에 있어서,
상기 메타버스부는,
상기 모의고사 제공부를 포함하는 온라인 시험을 치르면서 성적이나 성과에 기반하여, 상기 사용자에 대응되는 캐릭터 또는 아바타가 업그레이드되고,
상기 성적 또는 성과에는, 토익이나 한국어능력과 같은 시험에서의 성적의 향상 또는 자격증 취득을 포함하는 것을 특징으로 하는,
부정행위 예방 및 대응 온라인 시험 플랫폼 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210160539A KR102648772B1 (ko) | 2021-11-19 | 2021-11-19 | 메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210160539A KR102648772B1 (ko) | 2021-11-19 | 2021-11-19 | 메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230074358A KR20230074358A (ko) | 2023-05-30 |
| KR102648772B1 true KR102648772B1 (ko) | 2024-03-19 |
Family
ID=86529769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210160539A KR102648772B1 (ko) | 2021-11-19 | 2021-11-19 | 메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102648772B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102255598B1 (ko) * | 2020-07-08 | 2021-05-25 | 국민대학교산학협력단 | 비대면 온라인 평가 시스템 및 운용 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100075357A (ko) * | 2008-12-24 | 2010-07-02 | 안동대학교 산학협력단 | 키패턴을 이용한 인증장치 및 이를 이용한 온라인 시험의 공정성 강화 시스템 |
| KR20170031369A (ko) * | 2015-09-11 | 2017-03-21 | 삼성전자주식회사 | 부정행위를 검출하기 위한 서버 및 그 검출 방법 |
| KR20170040675A (ko) * | 2015-10-05 | 2017-04-13 | 주식회사 신한은행 | 금융 단말 및 이를 이용한 비밀번호 변경 방법 |
| KR102221228B1 (ko) * | 2018-12-24 | 2021-03-03 | 주식회사 구름 | 코딩 테스트 및 채점 알고리즘 제공 방법 |
| KR20210093539A (ko) * | 2020-01-20 | 2021-07-28 | 주식회사 장원커뮤니케이션 | 온라인 시험시스템 및 이를 이용한 온라인 시험방법 |
-
2021
- 2021-11-19 KR KR1020210160539A patent/KR102648772B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102255598B1 (ko) * | 2020-07-08 | 2021-05-25 | 국민대학교산학협력단 | 비대면 온라인 평가 시스템 및 운용 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 박상진 외 2명, "안경 제거 및 시선 추정 기법을 이용한 부정행위 확률 예측 시스템"* |
| 유갑상 외 1명, "메타버스 기반의 게임형 어학교육 서비스 플랫폼 개발에 관한 연구"* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230074358A (ko) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Labayen et al. | Online student authentication and proctoring system based on multimodal biometrics technology | |
| Caldwell et al. | The four umpires: A paradigm for ethical leadership | |
| Dzuranin et al. | Building ethical leaders: A way to integrate and assess ethics education | |
| Ngqondi et al. | A secure online exams conceptual framework for South African universities | |
| Pettit et al. | Virtual exams: has COVID-19 provided the impetus to change assessment methods in medicine? | |
| Sabrina et al. | Ensuring academic integrity in online assessments: a literature review and recommendations | |
| Tweissi et al. | The accuracy of AI-based automatic proctoring in online exams | |
| Musgrave et al. | Fair and balanced? Experimental evidence on partisan bias in grading | |
| Preu et al. | Perception vs. Reality: understanding and evaluating the impact of synthetic image deepfakes over college students | |
| Agulla et al. | Multimodal biometrics-based student attendance measurement in learning management systems | |
| Ivanova et al. | Enhancing trust in eassessment-the tesla system solution | |
| KR102648772B1 (ko) | 메타버스로 구현된 부정행위 예방 및 대응 온라인 시험 플랫폼 | |
| Liao et al. | Research on the trusted online examination systems | |
| Darabinia et al. | Self-care study in the Iranian medical students based on Islamic thought | |
| Labayen et al. | Smowl: a tool for continuous student validation based on face recognition for online learning | |
| KR102640034B1 (ko) | 시험 문제 자동 출제 방법 | |
| Huber | Faking and the validity of personality tests: Using new faking-resistant measures to study some old questions | |
| KR101887018B1 (ko) | 온라인 경영윤리 교육 시스템 및 그 교육방법 | |
| Campbell et al. | The development of the Academic Incivility Scale for higher education | |
| Kigwana et al. | Proposed high-level solutions to counter online examination fraud using digital forensic readiness techniques | |
| Mitchell | Classroom Teachers' Views of Student Discipline and Justice: An Expert Judgment Study Using Q Technique | |
| Paul et al. | AI based Proctoring System–A Review | |
| Wisher et al. | Verifying the Learner in distance learning | |
| Kim | Testing in the lab and testing through the web | |
| Iapa et al. | Evaluating the performance of authentication algorithms based on keystroke dynamics used in online educational platforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |