KR102615709B1 - 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 - Google Patents
녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102615709B1 KR102615709B1 KR1020220139284A KR20220139284A KR102615709B1 KR 102615709 B1 KR102615709 B1 KR 102615709B1 KR 1020220139284 A KR1020220139284 A KR 1020220139284A KR 20220139284 A KR20220139284 A KR 20220139284A KR 102615709 B1 KR102615709 B1 KR 102615709B1
- Authority
- KR
- South Korea
- Prior art keywords
- test
- terminal
- candidate
- facial
- online
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 1299
- 238000000034 method Methods 0.000 title claims description 60
- 230000001815 facial effect Effects 0.000 claims abstract description 318
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 84
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 230000002265 prevention Effects 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims description 58
- 210000005069 ears Anatomy 0.000 claims description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 49
- 230000006399 behavior Effects 0.000 claims description 38
- 101100460844 Mus musculus Nr2f6 gene Proteins 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 33
- 238000012790 confirmation Methods 0.000 claims description 26
- 210000001747 pupil Anatomy 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 21
- 238000007726 management method Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000004886 head movement Effects 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 claims 1
- 238000002716 delivery method Methods 0.000 claims 1
- 101150067204 EARS2 gene Proteins 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 9
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102100031290 E3 UFM1-protein ligase 1 Human genes 0.000 description 1
- 101100155298 Homo sapiens UFL1 gene Proteins 0.000 description 1
- 101100225058 Mus musculus Ear2 gene Proteins 0.000 description 1
- 101150003469 Nr2f6 gene Proteins 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Educational Technology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Emergency Management (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템이 개시된다. 상기 시스템은 시험 프로그램을 제공하는 온라인 시험 또는 UBT 시험 서버; 상기 온라인 시험 또는 UBT 시험 서버에 접속하여 시험 프로그램을 구동하며, 응시자 단말의 정면 카메라를 사용하여 응시자 얼굴의 영상의 안면인식/동작인식, 소리인식을 통해 부정 행위를 감지하도록 상기 온라인 시험 또는 UBT 시험 서버와 연동되는 녹음/녹화 프로그램이 설치되는 응시자 단말; 및 상기 온라인 시험 또는 UBT 시험 서버를 통해 복수의 응시자 단말의 얼굴 사진과 부정 행위 정보를 수신받고 해당 응시자 단말로 부정 행위 방지 알람 또는 경고 메시지를 전송하는 감독관 단말을 포함한다. 응시자 단말은 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈, 및 음성인식 모듈이 구비된다. 얼굴 인식 시에 응시자 단말의 정면 카메라(C)를 사용하여 촬영된 얼굴 사진을 사용하여 대리 시험 여부를 검출하고, 응시자 단말의 정면 카메라와 응시자의 후면 거치대의 보조 카메라로 촬영된 카메라 영상 데이터를 사용하여 실시간으로 응시자의 얼굴의 안면윤곽선을 인식하여 얼굴의 행동 패턴을 검출하여 시각적인 부정 행위를 검출하며, 소리 인식을 통해 청각적인 부정 행위를 방지한다.
Description
본 발명은 인공 지능을 사용한 온라인 시험 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 비대면 온라인 시험 또는 UBT 시험 시에, 응시자 단말(태블릿 PC, 스마트폰, PC)은 시험 서버와 연동되는 "녹음 및 녹화 프로그램"이 설치되고, AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 단말은 정면 카메라와 보조 카메라를 사용한 인공 지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈과 음성 인식 모듈이 탑재되며, 얼굴 인식 시에 응시자 단말의 정면 카메라를 사용하여 촬영된 얼굴 사진을 시험 서버의 얼굴 사진 DB의 응시자 얼굴 사진과 비교하여 대리 시험 여부를 검출하고, 응시자 단말의 정면 카메라와 응시자의 후면 거치대의 보조 카메라로 촬영된 카메라 영상 데이터를 사용하여 실시간으로 응시자의 얼굴의 안면윤곽선을 인식하여 얼굴의 행동 패턴을 검출하고 소리 인식을 통해 시청각적인 부정 행위를 방지하며, 녹음/녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템에 관한 것이다.
얼굴 인식(Face Recognition) 기술은 형상 기반 매칭 방법(appearance based matching method), 및 특징(feature) 기반의 얼굴 인식이 주로 사용된다. 얼굴 인식은 카메라의 촬영 각도, 조명의 방향, 자세(pose), 표정의 변화 및 시간에 따른 얼굴의 변화에 따라 다르게 인식된다.
특징(feature) 기반의 얼굴 인식은 디지털 카메라, IoT 디바이스의 카메라 또는 스마트폰의 카메라로 촬영된 영상 데이터를 Haar-like feature를 이용한 검출 방법과 MCT(Modified Census Transform) 영상을 이용한 검출 방법이 사용된다. 스마트폰의 카메라의 입력 영상에서 Haar-like feature로 학습된 얼굴 및 눈 검출기를 사용하여 얼굴의 윤곽선과 이마/눈/코/입을 검출하고, 원형의 눈동자를 검출하기 위해 관심 영역(ROI, Region of Interest)으로 설정된 눈 영역을 grayscale로 변환하며, 눈 영역에서 눈동자와 눈의 외곽선 영역이 추출되는 실험에 의한 통계적인 임계값(threshold)을 사용하여 눈 이미지의 histogram[x축 각 픽셀의 화소값, y축 해당 화소 값의 갯수]을 구하고 눈의 이미지를 otsu 알고리즘에 의해 이진화(binarization)한 후, 히스토그램 평활화(histogram equalization)를 통해 눈 영역의 사진의 전처리를 수행하며, 얼굴 영역에서 눈썹과 눈, 코, 입, 윤곽선의 얼굴 특징 얼굴데이터를 검출하고, 텍스처 특징(texture features)과 형상 특징(shape features)을 추출하여 얼굴 인식 DB에 저장된 얼굴 사진의 특징점들과 유사도를 비교하여 얼굴이 인식된다.
얼굴 영역의 눈썹과 눈, 코, 입, 턱의 특징 값은 Haar-like feature의 흰 영역에서 포함되는 픽셀들의 합에서 검은 영역에서 포함되는 픽셀의 합의 차로 표현된다.
예를들면, 가로와 세로 표준 크기의 얼굴 영역 사진에서 검출된 눈 영역에서 오른쪽과 왼쪽 눈의 양쪽 끝점 까지의 거리, 허프 원 변환(hough circle transform) 알고리즘을 사용하여 추출된 눈동자(iris)의 크기 값이 특징 값으로 사용된다.
이와 관련된 선행기술1로써, 특허 공개번호 10-2017-0050465에서는 "얼굴 인식 장치 및 방법"을 개시하고 있습니다.
본 실시예에 의하면, 기계 학습(machine learning)을 이용하여 입력 영상으로부터 얼굴을 인식함에 있어서, 얼굴 포즈 및 원근감을 정규화하여 얼굴 인식률을 향상시키고, 얼굴 학습 데이터로서 가상 얼굴 영상을 자동으로 생성하여 얼굴 학습 데이터를 획득하는데 드는 비용 및 시간을 절약하는 얼굴 인식 장치 및 방법을 제공한다.
도 1은 기존 얼굴 인식 장치의 구성도이다.
얼굴 인식 장치(100)는 영상 표시 장치, 영상 촬영 장치, 얼굴 인식 서버, 태블릿 PC, 랩톱(Laptop), 개인용 PC, 스마트폰, 개인 휴대용 정보단말기(Personal Digital Assistant, PDA), 이동통신 단말기, 및 지능형 로봇(Intelligence Robot) 중 어느 하나일 수 있다.
얼굴 인식 장치(100)는 카메라로부터 입력되는 입력 영상을 획득하는 입력영상 획득부(112); 상기 입력 영상에서 얼굴 영역을 검출하여 얼굴 포즈(Pose)를 정규화함으로써 정면 포즈 영상을 생성하고, 상기 카메라와 피사체 간의 거리에 따른 원근왜곡(Perspective Distortion)을 제거하기 위하여 상기 정면포즈 영상의 원근감(Perspective)을 정규화하여 정규화 영상을 생성하는 정규화부(114); 상기 정규화 영상으로부터 상기 피사체의 얼굴을 표현하는 특징 벡터(feature vector)를 추출하는 특징 벡터 추출부(116); 및 기 학습된 분류 모델에 상기 특징 벡터를 적용하여 상기 입력영상에 포함된 상기 피사체의 얼굴을 인식하는 얼굴인식부(118)를 포함한다.
입력 영상 획득부(112)는 카메라로부터 입력 영상을 획득한다. 카메라는 깊이 인식 카메라, 스테레오 카메라, 및 컬러 카메라일 수 있다(예를 들면, Kinect 카메라 등). 또한, 입력 영상은 인식 대상이 되는 피사체의 얼굴이 포함된 영상으로서 2차원 정지 영상 및 동영상을 포함한다. 입력 영상은 컬러 영상, 깊이 영상, 및 컬러-깊이(RGB-D) 영상을 포함할 수 있다.
정규화부(114)는 입력 영상으로부터 얼굴 영역을 검출하고, 얼굴 포즈(Pose) 및 원근감(Perspective)을 정규화하여 정규화 영상을 생성한다. 얼굴 포즈에 변화가 있는 경우, 그레이 스케일, 형상, 특징점의 위치 등이 달라지기 때문에 얼굴인식률이 저하된다. 또한, 카메라와 피사체 간의 거리가 달라지면, 동일한 피사체라 하더라도 촬영된 위치마다 원근 왜곡(Perspective Distortion, 뒤틀림)이 다르게 발생하므로, 다른 피사체를 촬영한 것처럼 보이기도 한다. 따라서, 얼굴인식률을 향상시키기 위해 입력 영상의 얼굴 포즈 및 원근감을 정규화할 필요가 있다.
정규화부(114)는, 다양한 포즈의 학습용 얼굴 영상을 제1 인공신경망의 입력층에 입력하고, 정면포즈의 학습용 얼굴 영상이 상기 제1 인공신경망의 출력층에서 출력되도록 상기 제1 인공신경망을 학습시키는 얼굴 포즈 정규화 학습부; 및 상기 제1 인공신경망의 출력층에서 출력된 데이터를 제 2 인공신경망의 입력층에 입력하고, 원근왜곡이 없는 학습용 얼굴영상이 상기 제 2 인공신경망의 출력층에서 출력되도록 상기 제2 인공신경망을 학습시키는 원근감 정규화 학습부를 포함한다.
상기 정규화부는, 학습이 완료된 상기 제1 인공신경망과 상기 제2 인공신경망을 통합한 통합 인공신경망의 입력층에 다양한 원근 왜곡이 있는 다양한 포즈의 학습용 얼굴 영상을 입력하고, 정면 포즈의 원근왜곡이 없는 학습용 얼굴 영상이 상기통합 인공신경망의 출력층에서 출력되도록 상기 통합 인공신경망을 학습시킨다.
특징 벡터 추출부(116)는 기계 학습(Machine Learning)을 통해 결정되며, 정규화 영상으로부터 피사체의 얼굴을 표현하는 특징 벡터(feature vector)를 추출한다.
특징 벡터는 얼굴인식에 사용되는 특징값들을 원소로 가지는 벡터이다. 특징벡터를 추출하는데 사용되는 필터로써, Gabor 필터, Haar 필터, LBP(Local Binary Pattern) - DLBP(Discriminative LBP), ULBP(Uniform LBP), NLBP(Number LBP) 등을 포함 - 등이 있으나, 반드시 이에 한정되지 않으며 그 밖의 다른 필터가 사용될 수 있다.
얼굴 인식부(118)는 기 학습된 분류 모델에 특징 벡터 추출부(116)에서 추출된 특징 벡터를 적용하여 입력 영상에 포함된 피사체의 얼굴을 인식한다. 기 학습된 분류 모델은 서포트 벡터 머신(Support Vector Machine, SVM), 선형판별분석(Linear Discriminant Analysis, LDA), 및 Softmax 등을 사용할 수 있으나, 이에 한정하지 않는다.
가상 얼굴 영상 생성부(124)는 정규화부(114), 특징 벡터 추출부(116), 및 얼굴 인식부(118)가 학습하는데 사용되는 복수의 가상 얼굴 영상을 생성할 수 있다.
복수의 가상 얼굴 영상은 가상 얼굴 영상 생성부(124)가 카메라로부터 획득된 하나 이상의 2차원 기준 영상을 이용하여 합성한 3차원 얼굴 모델을 변형시킴으로써생성되는 얼굴 영상을 의미한다.
* 얼굴 인식 시스템의 특징
조명이나 카메라와의 거리에 따라 인식률이 변한다
얼굴의 각도, 표정, 나이에 따라 안면의 모양은 계속 변하며, 눈썹, 안경 및 화장 등과 같은 외관의 변형에 따른 달리 인식될 수 있다.
* 얼굴 인식 시스템의 구성 단계
- 영상 획득 : CCD 또는 CMOS Image Sensor 카메라로부터 영상 획득
- 전처리 : 잡음 제거 영상처리 및 분할
- 얼굴 검출 : 입력 영상으로부터 ROI 영역의 얼굴 영역 검출
- 얼굴 표준화 : 표준 크기, 특징 추출, 밝기 및 기하학적 표준화
- 얼굴 인식 : 검출된 영상과 데이터베이스의 영상의 비교 및 인식
* 기하학적 방법
- 특징 : 얼굴의 기하학적 특징점들을 추출하여 일치 여부를 판단하여 인식
- 성능 : 얼굴은 3차원이고 회전이 가능하기 때문에 적용에 한계가 있다.
* Eigenfaces: 1991년 Pentland에 의해 개발 되었음.
- 특징 : 특징점 추출로 PCA(Principal Component Analysis)를 적용하고, 유사도 측정으로 Euclidean 거리 적용.
- 성능 : 조명이나 환경 변화에 민감하게 반응하지만 널리 사용되고 있으며 그 성능이 검증된 대표적인 얼굴인식 방법.
* Fisherfaces
- 특징 : FLD(Fisher Linear Discriminant)를 분류 알고리즘으로 적용한 얼굴 인식 방법.
- 성능 : 사람 개개인의 특성을 학습함으로써 보다 정확하고 환경 변화에 둔감한 특성을 지니고 있으며, on-line 상태에서 실시간으로 적용 가능한 알고리즘.
* SVM(Support Vector Machine)에 기초한 방법
- 특징 : PCA와 SVM(Support Vector Machine)을 사용한 알고리즘.
- 성능 : 비교적 높은 인식률을 높지만 얼굴인식과 같은 멀티 클래스에 적용하기에는 시간과 메모리가 많이 소모되는 알고리즘. 현재 연구되는 대표적인 얼굴인식 알고리즘.
* 신경회로망
- 특징 : 흑백의 정지 영상에서 슬라이딩 윈도우를 사용해 학습된 얼굴 모양을 검색
- 성능 : 두 개 이상의 다수 얼굴의 추출도 가능하나 속도가 느리며 학습이 어려움.
* 퍼지 + 신경망
- 특징 : 신경회로망 회로의 입력으로 픽셀의 밝기 값 대신 퍼지 소속함수를 사용
- 성능 : 신경회로망만을 이용한 방법보다 성능은 향상되나 처리 속도는 떨어짐.
* Wavelet + Elastic Matching
- 특징 : 주파수 변환을 사용하며, 자세 및 표정의 변화를 처리에 효과적.
- 성능 : 인식률에 비해 연산량이 많음.
이와 관련된 선행기술로써, 특허등록번호 10-1765770에서는 영상 처리를 이용한 온라인 시험의 부정 행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체"가 등록되어 있다.
온라인 시험의 부정 행위 검출 시스템 및 그 방법은 영상 처리를 이용하여 온라인 시험시 수험자의 부정 행위가 의심되는 행위를 검출함으로써, 온라인 시험의 부정 행위를 감독할 수 있으며, 온라인 시험의 신뢰성을 확보할 수 있는 영상 처리를 이용한 온라인 시험의 부정 행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체를 제공한다.
도 2는 종래의 온라인 시험의 부정 행위 검출 시스템을 포함하는 온라인 평가 시스템의 구성도이다.
온라인 평가 시스템은, 수험자가 온라인시험을 응시하기 위한 수험자 단말기(110); 상기 수험자 단말기에 부착되거나 스마트기기에 구비되어 해당 수험자의 정면을 촬영하기 위한 카메라(120); 상기 카메라(120)로부터 수험자를 촬영한 영상정보를 프레임 단위로 전달받고, 영상 처리를 통해 부정 행위를 검출하는 부정 행위 검출 서버(100); 상기 부정 행위 검출 서버(100)에서 시험응시자의 부정 행위가 의심되는 경우로 판정된 경우, 감독관에게 이를 알려주는 감독관 단말기(130); 및 상기 수험자가 응시하는 온라인 시험의 문제를 출제하는 온라인 평가 서버(140)를 포함한다.
부정 행위 검출 서버(100)는, 상기 수험자의 영상 정보를 통신망을 통해 수신하고, 부정 행위가 의심되는 경우로 판정하는 경우, 감독관에게 부정 행위 검출 메시지를 송신하고, 이를 온라인 평가 서버(140)에 알려주어 온라인 시험을 중지하도록 하기 위한 송수신부(101); 상기 송수신부(101)를 통해 수신한 수험자의 영상 정보 및 좌표 정보들을 저장하기 위한 저장부(102); 상기 수신한 수험자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역을 인식하는 얼굴 인식부(103); 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 동공 좌표를 설정하는 동공 좌표 획득부(104); 상기 양쪽 눈의 동공 좌표의 중간 좌표를 결정하는 중간 좌표 획득부(105), 상기 수험자의 몸과 얼굴 영역을 제외한 모든 영역에 대하여 백그라운드로 설정하는 배경 인식부(106), 및 상기 얼굴 인식부(103)에서 획득되는 얼굴 영역이 2개 이상인지 아닌지 여부, 상기 동공 좌표 획득부(104)로부터 전달받은 기준 동공 좌표값과 실시간 동공 좌표 평균값을 비교하여 상기 기준 동공 좌표값을 기준으로 상기 실시간 동공 좌표 형균값이 기 설정된 오차 범위를 벗어나는지 여부, 상기 중간 좌표 획득부(105)로부터 전달받은 중간 좌표의 이동 거리가 기 설정된 오차 범위를 벗어나는지 여부, 및 상기 배경 인식부(106)로부터 전달받은 백그라운드 영역의 변화가 감지되는지 여부를 판단하기 위한 부정 행위 판단부(107)를 포함한다.
실시예에서는, 얼굴 영역을 포함하는 사각형 영역은 논문 "Robust Real-Time Face Detection Using Face Certainty Map" (Volume 4642 of the series Lecture Notes in Computer Science pp 29-38)에 개시된 내용에 근거하여 정의하였다.
상기 부정 행위 검출 서버(100)는,
수험자가 촬영된 프레임 단위의 영상 정보에서 수험자의 얼굴 영역을 포함하는 사각형 영역을 정의하고, 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 양 끝점(310, 320)을 인식하고 그 사이에 위치한 검은색 영역(330, 340)의 중심점(350, 360)을 양쪽 눈의 동공 좌표로설정하고, 시험 시작 전 일정시간 동안 상기 수험자의 동공 좌표의 평균값을 계산하여 기준 동공 좌표값을 획득하고, 시험이 시작되면 일정시간 단위로 상기 수험자 양쪽 눈의 동공 좌표 평균값을 계산하여 실시간 동공 좌표 평균값을 획득하고 상기 기준 동공 좌표값을 기준으로 상기 실시간 동공 좌표 평균값이 기 설정된 오차범위를 벗어날 경우, 상기 감독관 단말기로 이를 알려주고,
상기 양쪽 눈의 동공 좌표의 중심점(370)을 중간 좌표로 결정하며,
상기 중간 좌표의 이동 방향 및 이동 거리를 프레임 단위로 추적하여, 상기 중간 좌표의 이동 거리가 기 설정된 오차 범위를 벗어날 경우, 상기 수험자의 머리 회전 방향 또는 이동 방향을 알려주고, 상기 수험자의 프레임 단위 영상정보에서 획득되는 얼굴 영역이 2개 이상이면, 이를 상기 감독관 단말기로 알려주며,
상기 수험자의 몸과 얼굴 영역을 제외한 모든 영역에 대하여 백그라운드로 설정하고, 시험 시간 동안 상기 백그라운드의 변화를 감지하면, 이를 상기 감독관 단말기로 알려주며,
상기 부정 행위 검출 서버(100)는,
상기 수험자의 영상 정보를 통신망을 통해 수신하고, 부정 행위가 의심되는 경우로 판정하는 경우, 상기 감독관 단말기(130)로 부정 행위 검출 메시지를 송신하고, 이를 상기 수험자가 응시하는 온라인 시험의 문제를 출제하는 온라인 평가 서버(140)에 알려주어 온라인 시험을 중지하도록 한다.
상기 온라인 평가 서버(140)는, 상기 수험자가 응시하는 온라인 시험의 문제를 출제하는 도중에, 상기 부정 행위 검출 서버(100)로부터 부정 행위 의심 동작이 감지되었음을 알리는 메시지를 받으면, 상기 수험자의 온라인 시험의 문제 출제를 중지하고, 상기 감독관 단말기(130) 또는 상기 부정 행위 검출 서버(100)로부터 문제를 재시작해도 된다는 메시지를 받은 후에, 온라인 시험 문제를 출제를 재시작하는 것을 특징으로 한다.
최근, 얼굴 인식 기술은 기존에 주류를 이루던 Hand-crafted Feature인 HOG, LBP, Gabor 특징 추출 알고리즘을 사용하는 머리/눈/코/입 특징이 딥러닝(Deep Learning) 기반의 특징으로 얼굴 검출, CNN(Convolutional Neural Network) 알고리즘을 사용한 얼굴 랜드마크 검출 및 얼굴 특징 추출 및 분류 기술을 사용하여 인간 인식 수준이 97.53%와 유사한 결과를 제공한다.
2014년에 페이스북의 DeepFace 등의 인공 지능 얼굴 인식 기술이 출시되었다. CVPR에서 발표된 DeepID1["Deep Learning Face Representation from Predicting 10,000 Classes,” CVPR 2014 ]의 경우는 DeepFace의 입력 해상도 152x152 픽셀보다 작은 39x31 픽셀을 사용한다.
또한, AlexNet 기반의 얼굴 검출기, ImageNet 학습 데이터들로 사전에 학습된 AlexNet을 얼굴 영상으로 fine-tuning하여 아직까지 검출 성능이 높지 않으며 최종 단에 SVM 분류기(SVM classifier)를 사용하여 얼굴을 검출하고 있다.
그러나, 기존의 온라인 시험은 온라인 비대면 평가의 확산으로 편리한 비대면 온라인 시험 응시 측면에서 순효과와 더불어 감독관의 통제없이 자율적 시험 실시에 따른 응시자의 부정 행위 발생이 사회적 문제가 되고 있다. 온라인 시험의 시청각적인 부정 행위를 막기 위해, 실시간으로 응시자의 얼굴 카메라 촬영과 모니터링 등의 기술을 적용한 시험 방식이 있으나, 대량의 네트워크 트래픽 발생과 대규모 시험 시스템 구축에 의한 시험의 고비용화, 대규모 모니터링 인력 투입 필요의 문제가 발생하여 공정하고 안전한 시험 측면과 고효율 비대면 시험 시행이라는 측면에서의 균형점을 찾기가 어려운 상황이다.
상기 문제점을 해결하기 위한 본 발명의 목적은 비대면 온라인 시험 또는 UBT 시험 시에, 비대면 온라인 시험 또는 UBT 시험 시에, 응시자 단말(태블릿 PC, 스마트폰, PC)은 시험 서버와 연동되는 "녹음 및 녹화 프로그램"이 설치되고, AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 단말은 정면 카메라와 보조 카메라를 사용한 인공 지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈과 음성인식 모듈이 탑재되며, 얼굴 인식 시에 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 촬영된 얼굴 사진을 시험 서버의 얼굴 사진 DB의 응시자 얼굴 사진와 비교하여 대리 시험 여부를 검출하고, 실시간으로 응시자의 얼굴의 안면윤곽선을 인식하여 얼굴의 행동 패턴을 검출하여 시각적인 부정 행위를 검출하며 소리 인식을 통해 청각적인 부정 행위를 방지하며, 녹음/녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템을 제공한다.
본 발명의 목적을 달성하기 위해, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템은, 온라인 시험 또는 UBT 시험 시에, 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하며, 시험 프로그램을 제공하는 온라인 시험 또는 UBT 시험 서버; 상기 온라인 시험 또는 UBT 시험 서버에 접속하여 시험 프로그램을 구동하며, AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 단말의 정면 카메라를 사용하여 응시자 얼굴의 영상의 안면인식/동작인식, 소리인식을 통해 부정 행위를 감시하도록 상기 온라인 시험 또는 UBT 시험 서버와 연동되는 녹음 및 녹화 프로그램이 설치되는 응시자 단말; 및 상기 온라인 시험 또는 UBT 시험 서버를 통해 복수의 응시자 단말의 얼굴 사진과 부정 행위 정보를 수신받고 해당 응시자 단말로 부정 행위 방지 알람 또는 경고 메시지를 전송하는 감독관 단말을 포함하고,
상기 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라를 사용하며,
상기 응시자 단말의 녹음 및 녹화 프로그램은 시험 응시자의 응시표에 부착된 QR 코드 인식 또는 바코드 인식과 안면인식을 제공하고, 시험 시간 동안 영상과 소리가 레코딩되며, 시험 종료 후 상기 시험 서버로 전송되고,
상기 응시자 단말은 정면 카메라를 구비하는 태블릿 PC, 스마트폰, PC, 노트북 중 어느 하나를 사용하고, 상기 온라인 시험 또는 UBT 시험 서버로부터 다운로드된 상기 시험 프로그램이 설치되고, 시험 시간 동안 영상과 소리가 레코딩되는 상기 녹음 및 녹화 프로그램이 설치되며, 응시자의 후면 거치대에 하나 또는 두 개의 보조 카메라를 사용하여 응시자를 모니터링하여 영상과 소리 데이터를 상기 시험 서버로 전송하거나 또는 영상 저장 서버(NVR 서버)를 통해 상기 시험 서버로 전송하고,
상기 온라인 시험 또는 UBT 시험 서버는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 온라인 시험 또는 UBT 시험 서버는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 응시자 단말은 안면인식 모듈을 포함하며, 상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 시험 프로그램의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 각 문항마다 텍스트 및 이미지 뿐만아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상 중 적어도 하나 이상이 포함된 멀티미디어 시험 문항이 출제되어 상기 응시자 단말로 디스플레이된다.
본 발명의 다른 목적을 달성하기 위해, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법은, 응시자 정보와 표준 크기의 정면 얼굴 사진을 온라인 시험 또는 UBT 시험 서버로 등록받아 저장하는 단계; 상기 온라인 시험 또는 UBT 시험 서버가 응시자 정보와 정면 얼굴 사진에 대응하는 바코드 또는 QR 코드를 발급하며, 응시자의 응시표에 바코드 또는 QR 코드가 부착되는 단계; 상기 온라인 시험 또는 UBT 시험 서버가 주관 시험에 따라 시험 일정과 장소를 공지하는 단계; 안면인식 모듈을 구비하는 응시자 단말에서 정면 얼굴인식 알고리즘을 사용하여 카메라의 전면 얼굴 사진의 인식 결과를 상기 온라인 시험 또는 UBT 시험 서버로 수신받아 크기 보정/회전/각도 보정된 정면 얼굴 사진을 생성하고 이를 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 정면 얼굴 사진과 그 얼굴 특징점들을 비교하여 응시자 본인 여부를 확인되는 단계; 상기 온라인 시험 또는 UBT 시험 서버는 응시자 단말과 감독관 단말로 시험 프로그램(App)을 제공하며, 각 응시자 단말에서 카메라와 마이크로 검출된 온라인 시험을 보는 응시자의 시청각적인 부정 행위 검출시, 부정 행위와 관련된 응시자의 얼굴 사진, 얼굴 영상 및/또는 음성 데이터를 시험 서버로 전송하며, 상기 시험 서버를 통해 감독관 단말로 출력되며, 상기 감독관 단말로부터 상기 시험 서버로부터 해당 응시자 단말로 경고 메시지 또는 알람을 수신하는 단계; 및 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 시험 서버의 데이터베이스에 저장하여 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험시간 동안 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 응시자 단말로부터 시험 서버로 전송받아 저장하며, 상기 시험 서버로부터 응시자들의 시험지 작성 답안의 채점 결과를 응시자 단말로 제공하는 단계를 포함하고,
상기 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 응시자의 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라를 사용하며,
상기 응시자 단말의 녹음 및 녹화 프로그램은 시험 응시자의 응시표에 부착된 QR 코드 인식 또는 바코드 인식과 안면인식을 제공하고, 시험 시간 동안 영상과 소리가 레코딩되며, 시험 종료 후 온라인 시험 또는 UBT 시험 서버로 전송되고,
상기 응시자 단말은 정면 카메라를 구비하는 태블릿 PC, 스마트폰, PC 중 어느 하나를 사용하며, 온라인 시험 또는 UBT 시험 서버로부터 다운로드된 상기 시험 프로그램이 설치되고, 영상과 소리가 레코딩되는 녹음 및 녹화 프로그램이 설치되며, 응시자의 후면 거치대에 하나 또는 두 개의 보조 카메라를 사용하여 응시자를 모니터링하여 영상과 소리 데이터를 상기 시험 서버로 전송하거나 영상 저장 서버(NVR 서버)를 통해 상기 시험 서버로 전송하고,
상기 온라인 시험 또는 UBT 시험 서버는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 온라인 시험 또는 UBT 시험 서버는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 응시자 단말은 안면인식 모듈을 포함하며, 상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 시험 프로그램의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 각 문항마다 텍스트 및 이미지 뿐만아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상 중 적어도 하나 이상이 포함된 멀티미디어 시험 문항이 출제되어 상기 응시자 단말로 디스플레이된다.
본 발명의 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시스템은 비대면 온라인 시험 또는 UBT 시험 시에, 비대면 온라인 시험 또는 UBT 시험 시에, 응시자 단말(태블릿 PC, 스마트폰, PC)은 시험 서버와 연동되는 녹음 및 녹화 프로그램이 설치되고, AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 단말은 정면 카메라와 보조 카메라를 사용한 인공 지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈과 음성인식 모듈이 탑재되며, 얼굴 인식 시에 응시자 단말의 정면 카메라를 사용하여 촬영된 얼굴 사진을 시험 서버의 얼굴 사진 DB의 응시자 얼굴 사진과 비교하여 대리 시험 여부를 검출하고, 응시자 단말의 정면 카메라와 응시자의 후면 거치대의 보조 카메라로 촬영된 카메라 영상 데이터를 사용하여 실시간으로 응시자의 얼굴의 안면윤곽선을 인식하여 얼굴의 행동 패턴을 검출하여 시각적인 부정 행위를 검출하며, 소리 인식을 통해 청각적인 부정 행위를 방지하는 효과가 있다.
응시자 단말은 온라인 또는 UBT 시험 서버와 연동되는 녹음/녹화 프로그램이 설치되고, 응시자 단말에 구비된 인공 지능 안면인식 모듈과 눈2/코/귀2 얼굴특징점 5점 척도 활용 부정 행위 방지 모듈, 음성인식 모듈을 결합한 대리시험 방지 및 온라인 시험중 시청각적인 부정 행위 방지 기법을 구현하였다.
응시자 단말은 안면인식 모듈과 눈2/코/귀2 얼굴특징점 5점 척도 활용 부정 행위 방지 모듈에서 사용하는 안면윤곽선 인식 기술은 태블릿 PC의 카메라 영상의 안면윤곽선 인식을 위해 posenet 알고리즘을 사용하였다. 온라인 시험 또는 UBT 시험 시에, 얼굴 인식 기술을 사용하여 시험 서버에 연동된 감독관 단말을 통해 태블릿 PC 응시자 본인을 확인하고 대리 시험을 방지하며, 온라인 시험 또는 UBT 시험에서 응시자 얼굴 인식에 의해 대리 시험이나 시청각적인 부정 행위를 방지하는 효과가 있다.
도 1은 기존 얼굴 인식 장치의 구성도이다.
도 2는 종래의 온라인 시험의 부정 행위 검출 시스템을 포함하는 온라인 평가 시스템의 구성도이다.
도 3a는 어학, 보건의료교육 온라인 시험/UBT 시험시에 태블릿 PC, 스마트폰, PC 기반 시험 온라인 시험/UBT 시험 서버를 구비하는 안면윤곽선 인식 인공 지능 플랫폼 개념을 보인 도면이다.
도 3b는 유비쿼터스 기반 학습(Ubiquitous based Learning, UBL) 및 유비쿼터스 기반 시험(Ubiquitous based Test, UBT) NSDAI 플랫폼 상의 얼굴 인식 기능을 보인 도면이다.
도 3c, 3d는 온라인 시험/UBT 시험시에 태블릿 PC, 스마트폰, PC에서 사용하는 UBI cloud App, NS face platform의 목표와 User Experience(1. 사용자 등록->2. 학습-> 3. QR 코드 생성 -> 4. UBT App/Web 로그인(QR code/passwd, ID/passwd) -> 5. 감독자 확인과 시험-> 6.7 UBT App/Web 카메라의 얼굴의 안면윤곽선 인식 8. 시험 종료)를 보인 그림이다.
도 4는 응시자 등록부터 시험 응시부의 과정, 1)응시자 등록, 2)학습, 3)QR 코드 발급, 4) QR 코드 및 얼굴 인식, 5) 감독관 확인(응사자 얼굴/응시자 정보), 6) 시험응시 - 프로세스를 보인 그림이다.
도 5는 등록된 응시자 얼굴 기계학습 및 학습 결과를 바탕으로 응시자-얼굴 매칭 코드 발급부 - 온라인 시험/UBT 시험시에 응시자 등록/학습/QR 코드 발급 화면이다.
도 6은 시험 응시자 얼굴의 안면윤곽선 인식을 통해 코의 정점을 기준으로 표준 크기의 얼굴 특징점들의 유사도(similarity)를 측정한 UBT 시스템에서 응시자 확인부 화면이다.
도 7은 응시자 판정시 규칙 사용자 정의부, 프로그램 테스트 화면이다.
도 8은 온라인 시험 또는 UBT 시험 시에, 시험 서버 접속/로그인/왼쪽- QR 코드 인식/QR 코드 인식 시에 인사말 들림(TTS)/오른쪽-얼굴 인식(스마트폰/태블릿PC 전면 카메라)/배경에서 얼굴 영역 인식 시작/인식율 표시 과정을 포함하는 시연 화면 - 생성된 사용자 코드 활용 UBT 인증 프로세스 사용자 정의부 -이다.
도 9는 본 발명에 따른 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, 스마트폰, PC 기반 온라인 시험 시스템 구성도이다.
도 10은 온라인 시험 또는 UBT 시험시에, 안면 인식 모듈과 부정 행위 방지 모듈의 기능을 설명한 도면이다.
도 11은 본 발명에 따른 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, 스마트폰, PC 기반 온라인 시험 제공 방법을 나타낸 순서도이다.
도 12는 본 발명의 제2 실시예에 따른 온라인 시험 또는 UBT 시험시에, 안면 인식/동작 인식/소리 인식 기술을 사용하는 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, PC 기반 온라인 시험의 개념도이다.
도 13 내지 도 17은 온라인 시험 또는 UBT 시험시에, GPS 수신기와 Wi-Fi 통신부를 구비한 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라 사용 예를 보인 도면이다.
도 18은 보조 카메라와 ubtcloud 시험 서버의 연동 동작부를 나타낸 도면이다.
도 19는 개발된 응시자 단말의 녹음/녹화 프로그램 동작을 나타낸 도면이다.
도 20은 응시자 녹음 및 녹화 프로그램의 구현 화면(응시자 녹음/녹화 프로그램)이다.
도 21은 응시자 녹음 및 녹화 프로그램의 구현 화면(응시자 단말의 시험 프로그램 및 시험 서버)이다.
도 22는 응시자 녹음 및 녹화 프로그램의 특징과 장점을 나타낸 화면이다.
도 23은 온라인 시험 또는 UBT 시험 시에 시험 서버와 연동되는 녹음/녹화 프로그램이 설치된 태블릿 PC 카메라를 사용하여 automated face tracking, video capturing 결과물 실제 활용 예(Journal of dental education 논문 첨부 자료) 사진이다.
도 2는 종래의 온라인 시험의 부정 행위 검출 시스템을 포함하는 온라인 평가 시스템의 구성도이다.
도 3a는 어학, 보건의료교육 온라인 시험/UBT 시험시에 태블릿 PC, 스마트폰, PC 기반 시험 온라인 시험/UBT 시험 서버를 구비하는 안면윤곽선 인식 인공 지능 플랫폼 개념을 보인 도면이다.
도 3b는 유비쿼터스 기반 학습(Ubiquitous based Learning, UBL) 및 유비쿼터스 기반 시험(Ubiquitous based Test, UBT) NSDAI 플랫폼 상의 얼굴 인식 기능을 보인 도면이다.
도 3c, 3d는 온라인 시험/UBT 시험시에 태블릿 PC, 스마트폰, PC에서 사용하는 UBI cloud App, NS face platform의 목표와 User Experience(1. 사용자 등록->2. 학습-> 3. QR 코드 생성 -> 4. UBT App/Web 로그인(QR code/passwd, ID/passwd) -> 5. 감독자 확인과 시험-> 6.7 UBT App/Web 카메라의 얼굴의 안면윤곽선 인식 8. 시험 종료)를 보인 그림이다.
도 4는 응시자 등록부터 시험 응시부의 과정, 1)응시자 등록, 2)학습, 3)QR 코드 발급, 4) QR 코드 및 얼굴 인식, 5) 감독관 확인(응사자 얼굴/응시자 정보), 6) 시험응시 - 프로세스를 보인 그림이다.
도 5는 등록된 응시자 얼굴 기계학습 및 학습 결과를 바탕으로 응시자-얼굴 매칭 코드 발급부 - 온라인 시험/UBT 시험시에 응시자 등록/학습/QR 코드 발급 화면이다.
도 6은 시험 응시자 얼굴의 안면윤곽선 인식을 통해 코의 정점을 기준으로 표준 크기의 얼굴 특징점들의 유사도(similarity)를 측정한 UBT 시스템에서 응시자 확인부 화면이다.
도 7은 응시자 판정시 규칙 사용자 정의부, 프로그램 테스트 화면이다.
도 8은 온라인 시험 또는 UBT 시험 시에, 시험 서버 접속/로그인/왼쪽- QR 코드 인식/QR 코드 인식 시에 인사말 들림(TTS)/오른쪽-얼굴 인식(스마트폰/태블릿PC 전면 카메라)/배경에서 얼굴 영역 인식 시작/인식율 표시 과정을 포함하는 시연 화면 - 생성된 사용자 코드 활용 UBT 인증 프로세스 사용자 정의부 -이다.
도 9는 본 발명에 따른 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, 스마트폰, PC 기반 온라인 시험 시스템 구성도이다.
도 10은 온라인 시험 또는 UBT 시험시에, 안면 인식 모듈과 부정 행위 방지 모듈의 기능을 설명한 도면이다.
도 11은 본 발명에 따른 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, 스마트폰, PC 기반 온라인 시험 제공 방법을 나타낸 순서도이다.
도 12는 본 발명의 제2 실시예에 따른 온라인 시험 또는 UBT 시험시에, 안면 인식/동작 인식/소리 인식 기술을 사용하는 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, PC 기반 온라인 시험의 개념도이다.
도 13 내지 도 17은 온라인 시험 또는 UBT 시험시에, GPS 수신기와 Wi-Fi 통신부를 구비한 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라 사용 예를 보인 도면이다.
도 18은 보조 카메라와 ubtcloud 시험 서버의 연동 동작부를 나타낸 도면이다.
도 19는 개발된 응시자 단말의 녹음/녹화 프로그램 동작을 나타낸 도면이다.
도 20은 응시자 녹음 및 녹화 프로그램의 구현 화면(응시자 녹음/녹화 프로그램)이다.
도 21은 응시자 녹음 및 녹화 프로그램의 구현 화면(응시자 단말의 시험 프로그램 및 시험 서버)이다.
도 22는 응시자 녹음 및 녹화 프로그램의 특징과 장점을 나타낸 화면이다.
도 23은 온라인 시험 또는 UBT 시험 시에 시험 서버와 연동되는 녹음/녹화 프로그램이 설치된 태블릿 PC 카메라를 사용하여 automated face tracking, video capturing 결과물 실제 활용 예(Journal of dental education 논문 첨부 자료) 사진이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면 번호를 부여한다.
본 발명의 녹음/녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템은 비대면 온라인 시험 또는 UBT 시험 시에, 비대면 온라인 시험 또는 UBT 시험 시에, 응시자 단말(태블릿 PC, 스마트폰, PC)은 시험 서버와 연동되는 "녹음 및 녹화 프로그램"이 설치되고, AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 단말은 응시자 단말의 정면 카메라와 보조 카메라를 사용한 AI 기반 안면 인식(posenet 알고리즘, machine learning model which allows for real-time face pose estimation) 기술을 사용하는 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈과 음성인식 모듈이 탑재되며, 얼굴 인식 시에 응시자 단말의 정면 카메라(C)를 사용하여 촬영된 얼굴 사진을 시험 서버의 얼굴 사진 DB의 응시자 얼굴 사진의 특징점들과 비교하여 대리 시험 여부를 검출하고, 응시자 단말의 정면 카메라와 응시자의 후면 거치대의 보조 카메라로 촬영된 카메라 영상 데이터를 사용하여 실시간으로 응시자 얼굴의 안면윤곽선을 인식하여 얼굴의 행동 패턴을 검출하여 시각적인 부정 행위를 검출하며, 소리 인식(음성 인식)을 통해 청각적인 부정 행위를 검출하여 이를 방지하게 한다.
응시자 단말은 온라인 시험(IBT ; Internet Based Test) 또는 유비쿼터스 기반 시험(UBT; Ubiquitous-based Test)를 위한 PC, 스마트폰, 태블릿 PC 뿐만 아니라, 인터넷 접속이 가능한 노트북을 포함한다.
비대면 온라인 시험 또는 UBT 시험은 초중고 시험, 대학 시험, 어학 시험, 공인 시험과 비공인 시험을 포함하며, 치과 대학의 보건의료교육 온라인 시험/UBT 시험을 예들 들어 설명한다.
응시자 단말은 온라인 또는 UBT 시험 서버와 연동되는 녹음/녹화 프로그램이 설치되며, AI 안면인식/동작인식/소리인식 기술을 사용하여 인공 지능 안면인식 모듈과 시각적인 부정 행위를 방지하는 눈2/코/귀2 얼굴의 특징점 5점 척도 활용 부정 행위 방지 모듈, 및 청각적인 부정 행위를 검출하는 음성인식 모듈을 구비한다.
도 3a는 어학, 보건의료교육 온라인 시험/UBT 시험시에 태블릿 PC, 스마트폰, PC 기반 시험 온라인 시험/UBT 시험 서버를 구비하는 안면윤곽선 인식 인공 지능 플랫폼 개념을 보인 도면이다.
도 3b는 유비쿼터스 기반 학습(Ubiquitous based Learning, UBL) 및 유비쿼터스 기반 시험(Ubiquitous based Test, UBT) NSDAI 플랫폼 상의 얼굴 인식 기능을 보인 도면이다.
도 3c, 3d는 온라인 시험/UBT 시험시에 태블릿 PC, 스마트폰, PC에서 사용하는 UBI cloud App, NS face platform의 목표와 User Experience(1. 사용자 등록->2. 학습-> 3. QR 코드 생성 -> 4. UBT App/Web 로그인(QR code/passwd, ID/passwd) -> 5. 감독자 확인과 시험-> 6.7 UBT App/Web 카메라의 얼굴의 안면윤곽선 인식 8. 시험 종료)을 보인 그림이다.
도 4는 응시자 등록부터 시험 응시부의 과정, 1) 응시자 등록, 2) 학습, 3) QR 코드 발급, 4) QR 코드 및 얼굴 인식, 5) 감독관 확인(응사자 얼굴/응시자 정보), 6) 시험응시 - 프로세스를 보인 그림이다.
도 5는 등록된 응시자 얼굴 기계학습 및 학습 결과를 바탕으로 응시자-얼굴 매칭 코드 발급부 - 온라인 시험/UBT 시험시에 응시자 등록/학습/QR 코드 발급 화면이다.
온라인 시험/UBT 시험시에 응시자 등록/학습/QR 코드 발급 화면이다.
도 6은 시험 응시자 얼굴의 안면윤곽선 인식을 통해 코의 정점을 기준으로 표준 크기의 얼굴 사진의 얼굴 특징점들의 유사도(similarity)를 측정한 UBT 시스템에서 응시자 확인부 화면이다.
도 7은 응시자 판정시 규칙 사용자 정의부, 프로그램 테스트 화면이다.
도 8은 온라인 시험 또는 UBT 시험 시에 시험 서버 접속/로그인/왼쪽- QR 코드 인식/QR 코드 인식 시에 인사말 들림(TTS)/오른쪽-얼굴 인식(스마트폰/태블릿PC 전면 카메라)/배경에서 얼굴 영역 인식 시작/인식율 표시 과정을 포함하는 시연 화면 - 생성된 사용자 코드 활용 UBT 인증 프로세스 사용자 정의부 -이다.
(1) 응시자 단말은 녹음/녹화 프로그램이 설치되고, 인공 지능 안면인식 모듈과 눈2/코/귀2 얼굴의 특징점 5점 척도 활용 부정 행위 방지 모듈, 음성 인식 모듈을 결합한 대리시험 방지 및 시험중 시각적인/청각적인 부정 행위 방지 기술이 탑재되었다.
온라인 시험 또는 UBT 시험을 위한 응시표는 인식 코드로써 바코드 또는 QR 코드를 사용하며, 응시자들에게 바코드 또는 QR 코드가 부착된 응시표가 제공된다.
실시예에서는, 응시자 단말은 태블릿 PC를 사용하고, 응시자는 QR 코드가 부착된 응시표를 사용하였다.
응시자 등록 사진을 학습한 인공 지능이 사용자별 인식 코드(QR 코드)를 생성하고, 응시자는 해당 인식 코드(QR 코드)가 부착된 응시표를 시험장 PC 또는 태블릿 PC의 카메라에 비춘후 사용자 인식한 AI가 해당 응시자 정보와 얼굴 사진(코를 정점으로 한 표준 크기의 사진)을 시험 서버의 얼굴 DB의 기 등록된 응시자 정보와 얼굴을 미리 학습한 결과모델을 비교하고 얼굴의 특징점들의 유사도(similarity)를 계산하여 일정 수치가 넘으면 본인으로 인식하며, 시험 화면으로 이동, 응시자가 시험을 응시하게 된다. 얼굴의 특징점들의 유사도가 일정 수치(예, 0.7 이하) 미달인 경우(완전 미달, 판정 보류), 감독관 단말에 정보를 전달하여 감독관이 실제 얼굴 확인과 개인 정보 확인을 거쳐 온라인 또는 UBT 시험을 실시한다.
온라인 또는 UBT 시험 중에는, 각각의 응시자 단말은 안면인식 모듈 또는 안면윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 인식 부정 행위 방지 모듈, 음성인식 모듈의 인공 지능 프로그램이 백그라운드로 실행된다.
시험 화면은 응시자 단말의 정면 중앙부에 표시되며, 응시자 단말은 녹음 녹화 프로그램이 백그라운드 프로세스(background process)로 구동되며, 정면 카메라를 사용하여 응시자의 얼굴의 안면인식, 얼굴의 윤곽선과 눈2/코/귀2를 포함하는 얼굴의 특징점 5점 척도 인식 시각적인 부정 행위 감지, 음성 인식을 사용한 청각적인 부정 행위 감지 시험종료시까지 인식한다.
시각적인 부정 행위와 관련된 응시자의 얼굴을 일정 각도 이상으로 좌/우로 돌리는 이상 얼굴 패턴 또는 청각적인 부정 행위와 관련된 소리가 인식되면, 시험 서버를 통해 감독관 단말로 부정 행위 알림 정보를 전송하고, 감독관 단말로부터 시험 서버를 통해 해당 응시자에게 주의를 주거나 지정된 얼굴 패턴에 따라 액션을 일으켜 시험을 중단시키거나, 응시자에게 아무런 정보를 주지 않고, 해당 응시자 단말에 해당 이상 현상과 정상응시 현황 정보를 이미지 또는 텍스트/수치로 저장하여 시험 종료 후 시험 서버로 전송하여 대리시험 여부/부정 행위 여부에 대하여 한명 이상의 시험 감독관/시험 책임자가 판단한다. 응시자의 시각적인/청각적인 부정 행위에 대하여 시험 서버를 통해 시험 감독관 또는 시험 책임자의 감독관 단말로 전송하고 해당 응시자 단말의 부정 행위 경고 메시지 또는 알람을 전송하거나 감독관 이동전화번호로 SMS 메시지로 전송하여 통지되고, 감독관 단말로부터 시험 서버를 통해 해당 응시자 단말로 부정 행위 경고 메시지를 전송한다.
온라인 시험 또는 UBT 시험은, 시각적인/청각적인 부정 행위, 대리시험 방지, 그리고 시험 감독관의 수를 줄일 수 있고, 획기적으로 온라인 또는 UBT 시험 비용을 낮추는 동시에 감독관이 없는 온라인 평가에서도 최소한의 시험 신뢰성을 보장할 수 있다.
<시스템 구성>
1) 온라인 시험시 : 응시자 단말(PC/스마트폰/태블릿) 사용자 프로그램 -> 유무선 통신망(WAN, LTE 4G/5G) 및 내부망(LAN, Wi-Fi) -> 시험 서버(시험정보/응시자정보)로 각 응시자 단말의 인식정보를 전송하여 시험 서버를 통해 감독관 단말이 이를 확인하며, 부정 행위가 맞으면 True/틀리면 False를 시험 서버로 반환되며, 시험 서버로 반환된 값에 따라 지정된 액션을 응시자 단말의 사용자 프로그램이 실행된다. 해당 응시자의 인식정보와 결과는 감독관 단말(PC/스마트폰/태블릿)의 감독관 프로그램 또는 또는 SNS/SMS/이메일로도 전송 가능하다.
2) 오프 라인 활용시 : 사용자 프로그램(PC/스마트폰/태블릿PC)에 인공 지능 학습 모듈 탑재, 자체적으로 응시자 얼굴의 안면윤곽선 인식 후, 최종 얼굴 안면인식 결과만 시험 서버로 전송한다. 응시자 단말로부터 시험 서버로 최종 인식 결과를 전송시 해당 정보를 서버 프로그램(dashboard)에 띄우고, 시험 관리자 또는 감독관 단말의 감독관 프로그램으로 전송하거나 또는 SNS/SMS/이메일을 전송한다.
<응시자 단말의 앱 프로토타입 일부 APK - 안드로이드용 첨부>
https://we.tl/t-wFdXexsors 파일 다운로드 암호: nsdevil
안드로이드 스마트폰 또는 태블릿 PC에 앱(App)을 설치
<웹 버전 기능 주소>
1) 안면인식 모듈 : https://facere.nsdai.org (id: nsdevil, passwd: nsdevil) > QR 코드를 스마트폰으로 찍어 PC 카메라에 인식 화면에 대면 동작됨.
2) 얼굴의 특징점 5점 척도 부정 행위 방지 모듈- 안면윤곽선 인식 모듈 : https://headpos.ublrandd.com.np (id: nsdevil, passwd: nsdevil), 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈
3) 음성 인식 모듈
음성 인식(Speech Recognition)은 man-machine 인터페이스 기술로써, 마이크로 입력된 음향 신호(acoustic speech signal)에 대하여 잡음을 제거하고 음성 신호의 특징을 추출하여 단어의 집합 또는 문장의 텍스트로 변환하는(mapping) 과정이며, 마이크-> AMP -> LPF -> ADC -> 음성 데이터베이스에 저장된다.
음성 인식 모듈은 벡터 양자화(Vector Quantization)를 이용하는 방법, 동적 시간 정합(Dynamic Time Warping, DTW)을 이용하는 방법, 신경회로망(Neural Network)을 이용하는 방법, HMM(Hidden Markov Model, 은닉 마르코프 모델)을 이용하는 방법이 사용된다. 음성 인식 모듈은 하드웨어와 소프트웨어가 모듈화된 음성인식기와 STT(Speech To Text) 기술의 음성인식 API를 사용하였다.
도 9는 본 발명에 따른 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 구성도이다.
도 10은 온라인 시험 또는 UBT 시험시에, 안면 인식 모듈과 부정 행위 방지 모듈의 기능을 설명한 도면이다.
응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템은 비대면 온라인 시험 또는 UBT 시험 시에 사용되며,
응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템은 온라인 시험 또는 UBT 시험 서버(100), 감독관 단말(200), 및 응시자 단말(300,310,311)을 포함한다.
본 발명의 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템은
응시자의 응시표에 부착되는 바코드 및 QR 코드를 발급하고, 온라인 시험 또는 UBT 시험 시에 시험 서버로부터 응시자 단말들로 시험 프로그램과 온라인 시험지를 제공하며, 부정 행위를 방지하도록 음성/소리를 녹음/녹화하는 응시자 단말의 녹음 및 녹화 프로그램의 레코딩 시작/레코딩 종료 메시지를 제어하며, 복수의 응시자 단말의 시험 데이터를 저장하고 채점하여 관리하는 온라인 시험 또는 UBT 시험 서버(100);
상기 온라인 시험 또는 UBT 시험 서버에 접속하여 시험 프로그램을 구동하며, AI 안면 인식/동작 인식/소리 인식 기술을 사용하여 응시자 단말의 정면 카메라(C)를 사용하여 응시자 얼굴의 영상의 안면인식/동작인식, 소리인식을 통해 시각적인/청각적인 부정 행위를 감지하도록 상기 온라인 시험 또는 UBT 시험 서버(100)와 연동되는 녹음/녹화 프로그램이 설치되는 응시자 단말(300,310,311); 및
상기 온라인 시험 또는 UBT 시험 서버(100)를 통해 해당 응시자 단말의 얼굴 사진과 부정 행위 정보를 수신받고, 이를 확인하여 상기 온라인 시험 또는 UBT 시험 서버(100)를 통해 해당 응시자 단말로 부정 행위 방지 알람 또는 경고 메시지를 전송하는 감독관 단말(200)을 포함하고,
상기 응시자 단말(300,310,311)의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 응시자의 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라를 사용하며,
상기 응시자 단말(300,310,311)의 녹음 및 녹화 프로그램은 시험 응시자의 응시표에 부착된 QR 코드 인식 또는 바코드 인식과 안면인식을 제공하고, 시험 시간 동안 영상과 소리가 레코딩되며, 시험 종료 후 상기 시험 서버(100)로 전송되고,
상기 응시자 단말(300,310,311)은 정면 카메라를 구비하는 태블릿 PC, 스마트폰, PC, 노트북 중 어느 하나를 사용하고, 상기 온라인 시험 또는 UBT 시험 서버로부터 다운로드된 상기 시험 프로그램이 설치되고, 시험 시간 동안 영상과 소리가 레코딩되는 녹음 및 녹화 프로그램이 설치되며, 응시자의 후면 거치대에 하나 또는 두 개의 보조 카메라를 사용하여 응시자를 모니터링하여 영상과 소리 데이터를 상기 시험 서버(100)로 전송하거나 또는 영상 저장 서버(NVR 서버)를 통해 상기 시험 서버(100)로 전송하고,
상기 온라인 시험 또는 UBT 시험 서버(100)는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 온라인 시험 또는 UBT 시험 서버(100)는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 응시자 단말(300,310,311)은 안면인식 모듈을 포함하며, 상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 시험 프로그램의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상 중 적어도 하나 이상이 포함된 멀티미디어 시험 문항이 출제되어 상기 응시자 단말(300,310,311)로 디스플레이된다.
온라인 시험 또는 UBT 시험 시에 응시자의 응시표에 부착되는 인식 코드로써 바코드 또는 QR 코드를 사용하며, 실시예에서는 응시자들에게 QR 코드가 부착된 응시표가 제공된다.
상기 응시자 단말(300,310,311)은 정면 카메라(C)를 구비하는 태블릿 PC, 스마트폰, PC, 노트북 중 어느 하나 단말을 사용하며, 온라인 시험 또는 UBT 시험 서버(100)로부터 다운로드된 상기 시험 프로그램(App)이 설치되고, 온라인 시험 또는 UBT 시험 서버와 연동되는 영상과 소리가 레코딩되는 녹음 및 녹화 프로그램이 설치된다.
상기 응시자 단말(300,310,311)은
응시자 단말의 정면 카메라 영상의 얼굴의 특징점들을 인식하는 인공 지능 안면인식 모듈;
온라인 시험 또는 UBT 시험 중에, 시각적인 부정 행위를 방지하도록 응시자 단말의 정면 카메라 영상의 얼굴의 행동 패턴을 인식하여 얼굴의 특징점들을 구성하는 얼굴의 윤곽선과 눈2, 코, 귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈; 및
온라인 시험 또는 UBT 시험 중에, 청각적인 부정 행위를 방지하도록 응시자의 말소리를 인식하는 음성 인식 모듈을 포함한다.
추가적으로, 응시자 단말은 주관식 시험 문항을 위해 스타일러스 펜의 필기체를 인식하여 문자로 변환하여 필기체 문자를 인식하는 터치 센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 더 포함한다.
추가적으로, 온라인 시험 또는 UBT 시험은 2지/3지/4지/5지선다 객관식 시험 뿐만아니라 주관식 시험을 제공하며. 주관식 시험 문항은 터치센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 사용하여 스타일러스 펜의 필기체를 인식하여 문자로 변환하여 필기체 문자를 인식하는 주관식 시험을 포함한다.
상기 안면인식 모듈에 사용된 상기 안면윤곽선 인식 기술은 posenet 알고리즘을 사용한다.
안면인식 모듈과 얼굴의 특징점 5점 척도 부정 행위 방지 모듈은 얼굴의 특징점 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 추적하여 얼굴의 행동 패턴을 검출하며, FACE RECOGNITION/FACE MOTION RECOGNITION/RESULT ANLAYSIS를 통해 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 태블릿 PC의 카메라 영상이 촬영되는 시험 화면으로부터 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 수치를 넘는 경우) 해당 응시자 단말로 경고 메시지 또는 알람을 출력하거나 또는 해당 응시자 단말에 저장한 후 이를 시험 종료시 시험 서버로 전송하며, 시험 서버는 응시자들에게 채점 결과를 제공한다.
응시자 단말은 온라인 또는 UBT 시험 서버와 연동되는 녹음/녹화 프로그램이 설치되며, AI 안면인식/동작인식/소리인식 기술을 사용하여 인공 지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈, 및 음성인식 모듈을 구비하며, 온라인 시험 또는 UBT 시험 서버와 연동하여 온라인 시험 또는 UBT 시험의 대리시험 방지 및 시청각적인 부정 행위 방지 기법을 구현하였다.
응시자 단말의 안면인식 모듈과 얼굴의 특징점 5점 척도 활용 부정 행위 방지 모듈에서 사용하는 안면인식 기술은 태블릿 PC의 카메라 영상의 안면윤곽선과 얼굴의 특징점들을 인식하기 위해 posenet 알고리즘을 사용하였다. 온라인 시험 또는 UBT 시험시에, 얼굴 인식 기술을 사용하여 시험 서버에 연동된 감독관 단말을 통해 태블릿 PC 응시자 본인을 확인하고 대리 시험을 방지하며, 온라인 시험 또는 UBT 시험에서 응시자의 얼굴 인식과 음성 인식에 의해 대리 시험이나 시각적인/청각적인 부정 행위를 방지한다.
시험 프로그램(App)의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 시험 서버와 연동되어 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 응시자 단말들로 디스플레이된다.
1. 인공 지능 허브 플랫폼
ㆍ NSD-AI (NSDevil's Artificial intelligence) 플랫폼 기반 인공 지능 허브플랫폼
ㆍ 어학, 의학교육 부문 구문 인식을 통한 교수자 채점 가이드(인제대학교 의과대학 외 공동연구)
ㆍ 사물 인식을 통한 체험 학습 지원시스템(펀에듀랩 및 한국 민속촌 외)
ㆍ 치아 이미지 분석을 통한 치과교육 부문 질병분석 기능(연세대학교 치과대학 외 3개국 기관 공동연구)
ㆍ UBT connect platform 기반
ㆍ 태블릿 PC 기반 평가 플랫폼
ㆍ 어학 평가 부문(말하기/듣기/읽기/쓰기)
ㆍ 보건의료 평가 부문(듣기/읽기/쓰기)
ㆍ 기타 직무평가 부문(읽기/쓰기)
온라인 시험 또는 UBT 시험 서버(100)는 사용자 단말로부터 유무선 통신망을 통해 시험 응시자 정보와 정면 얼굴 사진을 등록받아 시험 서버에 저장하고, 응시자들에게 응시표에 부착하는 바코드 또는 QR 코드를 발급하며, 응시자별 응시표에 부착된 바코드 또는 QR 코드 인식 후 TTS 변환 기술을 통해 인사말을 제공하며, 온라인 시험지와 온라인 시험 또는 UBT 시험을 실시하기 위한 시험 프로그램을 응시자 단말들로 제공한다.
추가적으로, 온라인 시험 또는 UBT 시험은 2지/3지/4지/5지선다 객관식 시험 뿐만아니라 주관식 시험을 제공하며. 주관식 시험 문항은 터치 센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 사용하여 스타일러스 펜의 필기체를 인식하여 문자들로 변환하여 필기체 문자를 인식하는 주관식 시험을 제공한다.
온라인 시험지는 전체 객관식, 객관식/주관식 혼용하여 출제될 수 있다.
응시자 단말(300,310,311)은 온라인 시험 또는 UBT 시험 서버(100)에 유무선 통신망(LAN, Wi-Fi, LTE 4G/5G)을 통해 연결되며, 시험 프로그램을 구동하며, AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 단말의 정면 카메라(C)를 사용하여 응시자 얼굴의 영상의 안면인식/동작인식, 응시자 단말의 마이크와 음성인식 모듈을 통해 소리인식을 통해 청각적인 부정 행위를 감시하도록 응시자 단말의 정면 카메라(C)에 의해 촬영되는 응시자 얼굴의 인공 지능 안면인식 모듈과, 응시자 단말의 정면 카메라(C)로 촬영되는 얼굴 행동 패턴을 인식하여 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈, 및 응시자의 음성 인식을 통해 청각적인 부정 행위를 검출하는 음성인식 모듈을 구비하며, 상기 온라인 시험 또는 UBT 시험 서버(100)와 연동되는 응시자 단말에 녹음 및 녹화 프로그램이 설치된다.
감독관 단말(200)은 온라인 시험 또는 UBT 시험 시에, 상기 온라인 시험 또는 UBT 시험 서버(100)를 통해 복수의 응시자 단말의 얼굴 사진과 부정 행위 정보를 수신받고, 이를 확인하여 시험 서버(100)를 통해 해당 응시자 단말로 부정 행위 방지 알람 또는 경고 메시지를 전송한다.
상기 시스템은, 비대면 온라인 시험 또는 UBT 시험시에, GPS 수신기와 Wi-Fi 통신부를 구비한 응시자 단말의 정면 카메라(C)와 응시자 모니터링 사각 지대를 감시하며, 각각의 응시자 단말의 응시자의 어깨선 후단 열의 지지대의 거치대에 구비되는 하나 또는 두 개의 보조 카메라(C1, C2, C3, C4,.. Ck-1, Ck)를 더 포함한다.
상기 보조 카메라는 각각의 응시자 단말과 Wi-Fi 통신되는 스마트폰 내장 카메라 또는 별도의 Wi-Fi 통신부 또는 LTE 4G/5G 통신부 내장 IP 카메라(통신부, 제어부, 저장부를 구비하는 IoT 디바이스)를 사용하며, 각각의 응시자 단말당 응시자 후면 거치대에 어깨선(좌측/우측)에 하나 또는 두 개의 보조 카메라를 사용하며,
실시예에서는, 보조 카메라는 시험 서버로 직접 UDP/IP를 사용하여 온라인 또는 UBT 시험 중에 얼굴이 일정 각도로 회전된 부정 행위와 관련된 카메라 영상 데이터를 전송하는 스마트폰의 카메라를 사용하였으며, 이에 한정하지 않고 시험 서버로 직접 UDP/IP를 사용하여 보조 카메라의 부정 행위와 관련된 카메라 영상 데이터를 전송하는 별도로 통신부(Wi-Fi 통신부 또는 LTE 4G/5G 통신부)와 제어부와 저장부를 구비하는 IP 카메라를 사용할 수 있다.
안면인식 모듈에 사용된 안면윤곽선 인식 기술은 행위 인식을 위한 posenet 알고리즘(machine learning model which allows for real-time face pose estimation)을 사용한다.
실시예에서는, 온라인 시험 또는 UBT 시험 시에, 응시자 단말은 태블릿 PC를 사용하였다.
응시자 단말(300,310,311)은 안면인식 모듈과, 얼굴의 윤곽선과 눈2/코/귀2 얼굴 특징점 5점 척도 부정 행위 방지 모듈, 및 음성인식 모듈이 구비된다.
추가적으로, 응시자 단말은 주관식 시험 문항을 위해 스타일러스 펜의 필기체를 인식하여 문자로 변환하여 필기체 문자를 인식하는 터치 센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 더 포함한다.
응시자 단말(300,310,311)은 온라인 시험 또는 UBT 시험 시에, 상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용한다.
온라인 시험 또는 UBT 시험 시에, 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈은 응시자 단말의 카메라로 실시간으로 촬영된 정면 얼굴 영상의 ROI를 검출하여 코의 정점을 기준으로 표준 크기로 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진에 대하여 얼굴 인식 알고리즘을 사용하여 얼굴 객체를 추출하고, 얼굴 행동 패턴을 인식하여 응시자의 얼굴의 윤곽선과 눈2/코/귀2의 얼굴 특징점들을 추출하며, 얼굴 특징 추출과 분류를 통해 눈2/코/귀2의 얼굴의 특징점들의 각각 좌측/우측 귀와 좌측/우측 눈의 중심점(동공)과의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 온라인 시험 또는 UBT 시험 서버의 얼굴사진 DB의 사진과 데이터와 비교하여 대리 시험 여부를 확인하며, 온라인 시험 또는 UBT 시험시에 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하고, 얼굴 인식 시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 응시자 단말의 카메라로 촬영되는 얼굴 행동 패턴을 인식하여 전면 얼굴이 좌우로 돌아간 각도에 따라 우측 눈과 우측 귀의 거리와 좌측 눈과 좌측 귀의 거리가 달라지므로 시각적인 부정 행위를 판단하여 부정 행위 이미지 또는 영상 데이터를 상기 시험 서버(100)로 전송하고, 상기 시험 서버(100)에 연동된 감독관 단말(200)이 확인 후, 감독관 단말(200)로부터 상기 시험 서버(100)를 통해 해당 응시자 단말로 경고 메시지 또는 알람을 발생한다.
(실시예)
Posenet 알고리즘 모델을 사용하여 태블릿 PC의 Android에서 사람의 얼굴의 포즈 추정(pose estimation)을 위해 TensorFlow를 사용하였다. 참고로, posenet 알고리즘은 사람의 얼굴과 몸체와 팔과 다리의 위치 주요 인체의 부위의 위치를 감지하여 이미지나 동영상으로부터 행위 인식 또는 사람의 포즈(pose)를 추정하는 비전 모델이다. 얼굴 인식 시에, TensorFlow Lite는 응시자 단말의 정면 카메라를 활용하여 얼굴 인식 시에 실시간으로 얼굴의 윤곽선과 눈2/코/귀2를 식별하고 얼굴의 안면안곽선 포즈(pose) 추정 모델을 구현하였다.
인공 지능 안면인식 모듈에 사용된 posenet 알고리즘은 좌측 눈(leftEye), 우측 눈(rightEye), 코(nose), 왼쪽 귀(leftEar), 오른쪽 귀(rightEar)의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈을 사용하여 구현하였으며,
leftEar의 x,y좌표와 rightEar의 x,y좌표를 구한 후 이를 기반으로 원의 직경(diameter)을 구하고 ellipse( )로 천사 고리를 만들 수 있다. diameter는 피타고라스 정리를 굳이 쓰지 않아도 p5js에서 dist( )로 쉽게 구할 수 있다.
<ml5js 및 웹캠 연결하기>
<script src="https://unpkg.com/ml5@0.3.1/dist/ml5.min.js"></script>
let video;
let poseNet;
function setup( ) {
createCanvas(400, 400);
video = createCapture(VIDEO);
//비디오가 2번 안나오게 해주는 용도
video.hide( );
poseNet = ml5.poseNet(video,modelLoaded);
poseNet.on('pose',gotPoses);
console.log(ml5);
}
// 포즈(pose) 관련 콜백들이 들어감
function gotPoses(poses) {
}
// 로딩이 잘됐는지 확인하는 용도
function modelLoaded( ) {
console.log('Model Loaded');
}
function draw( ) {
//0,0위치에 웹캠을 그려준다.
image(video,0,0);
}
응시자 단말의 전면 카메라 얼굴 영상으로부터 실시간으로 얼굴 영역을 추출하고, 코의 꼭지점을 기준으로 표준 크기로 크기 보정/회전/각도 보정을 통해 정면 얼굴 사진의 표준 크기로 맞추며, 시험 서버의 데이터베이스에 기 저장된 표준 크기의 얼굴 사진 DB의 학습 데이터와 비교 -> 얼굴 사진의 학습 모델 -> 눈2/코/귀2와 얼굴의 윤곽선을 포함하는 얼굴의 특징점들을 추출하고 분류하며, 얼굴 인식 데이터의 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점들의 그룹 clustering(클러스터의 중심 k-means 알고리즘) density estimation하며, 얼굴의 특징점들의 거리(유클리디안 거리)와 유사도(similarity)를 계산하여 온라인 시험 또는 UBT 시험 서버의 얼굴 사진 DB에 저장된 표준 크기의 응시자 사진의 얼굴 특징점들의 거리와 유사도를 비교하여 응시자의 정면 얼굴 사진이 본인임을 감독관이 확인하여 대리 시험이 방지되며, 온라인 시험 또는 UBT 시험 시에 시각적인 부정 행위를 판단하게 된다.
예를들면, 응시자 단말(태블릿 PC)의 시험 화면으로 응시자 단말의 전면 카메라로 촬영되는 얼굴이 향하는 방향이 바뀌거나 응시자가 일정 각도로 얼굴을 돌리면 얼굴 사진의 얼굴의 윤곽선과 눈2/코/귀2를 포함하는 얼굴의 특징점들이 인식이 안되거나 사용자의 얼굴과 스마트폰의 유효 거리(20~30cm)내에서 시험 프로그램을 향하는 각도가 달라지게 되면, 시각적인 부정 행위로 인식하며, 부정 행위 감지 결과를 온라인 시험 또는 UBT 시험 서버(100)로 전송하고, 이를 시험 서버(100)를 통해 감독관 단말(200)로 전송하여 감독관이 확인 후, 감독관 단말(200)로부터 시험 서버(100)를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하여 해당 응시자의 부정 행위를 방지하게 한다.
또한, [텍스트 A] 데이터 참조 미리 정의된 응시자 프로그램에서 설정된 경고 임계치가 0이 되는 순간 서버 연결 없이 응시자 단말로 알람 또는 경고 메시지를 표시하고, 감독관 단말/부정 행위 검출 서버/기타 시험 관리 서버로 역 전송할 수 있고, 또는 시험 종료 후 해당 raw data의 후처리를 위해 부정 행위 검출 서버/기타 시험 관리 서버로 전송한다.
또한, 응시자 단말은 안면 인식 모듈, 시각적인 부정 행위를 방지하기 위한 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈, 및 상기 부정 행위 방지 모듈은 응시자의 청각적인 부정 행위를 방지하기 위해 응시자의 말소리를 인식하는 음성 인식 모듈을 더 구비하며,
온라인 시험 또는 UBT 시험 시에, 응시자 단말의 음성 인식 모듈은 응시자 단말의 마이크를 통해 입력된 부정 행위와 관련된 응시자의 말소리가 들리는 경우, 음성 인식하고 이를 즉시 온라인 시험 또는 UBT 시험 서버(100)로 전송하여 저장하며, 이를 감독관 단말(200)로 부정 행위 알림을 전송하여 감독관이 확인 후 시험 서버(100)를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하며, 응시자의 부정 행위를 방지하게 한다. 또는, 눈과 귀의 거리, 코와 귀의 거리 등의 미리 정의된 거리의 임계치를 참조하여 시험 서버(100)의 명령 없이 응시자 프로그램 자체에서 직접 해당 응시자 단말로 알람/경고 메시지를 표시할 수 있으며, 시청각적인 부정 행위 정보를 시험 서버(100)와 감독관 단말로 전송한다.
온라인 시험 또는 UBT 시험 서버(100)는 WWW 서버(101), 제어부(102), 회원 등록부(103), 사용자 인증부(104), 시험 공지부(105), QR 코드 관리부(106), 인사말 제공부(TTS)(107), 감독자 확인부(108), 얼굴 인식부(109), 부정 행위 처리부(110), 시험 관리부(111), 시험 정보DB(120), 응시자DB(121), 및 얼굴사진 DB(123)를 포함한다.
상기 온라인 시험 또는 UBT 시험 서버(100)는
태블릿 PC, 스마트폰, PC 중 어느 하나를 사용하는 응시자 단말과 감독관 단말과 유무선 통신을 통해 연결되는 WWW 서버(101);
유무선 통신망을 통해 태블릿 PC, 스마트폰, PC의 응시자 단말과 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 유비쿼터스 기반 시험(UBT)의 응용 서비스를 제공하도록 제어하는 제어부(102);
상기 제어부(102)에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부(103);
상기 제어부(102)에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 온라인 인증서를 사용하여 사용자를 인증하는 사용자 인증부(104);
상기 제어부(102)에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부(105);
상기 제어부(102)에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고, 이를 관리하는 코드 관리부(106);
응시자의 응시표에 부착된 바코드 또는 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)(107);
상기 제어부(102)에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진을 생성하고 이를 시험 서버(100)의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 응시자를 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부(108);
상기 제어부(102)에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점들을 인식하고, 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부(109);
상기 제어부(102)에 연결되며, 응시자 단말에서 안면인식 모듈과 얼굴의 특징점 5점 척도 부정 행위 방지 모듈에 의해 정면 카메라의 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 컨닝 페이퍼를 보는 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 응시자 단말로부터 경고 메시지 또는 알람이 출력되면, 해당 응시자 단말로부터 시험 서버(100)로 부정 행위 관련 경고 메시지 또는 알람을 수신하여 시험 서버(100)를 통해 감독관 단말에 표시되고, 감독관 단말로부터 시험 서버(100)를 통해 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부(110);
상기 제어부(102)에 연결되며, 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험 시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장 후 시험 종료시 시험 서버(100)로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부(111);
응시자들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB(120); 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB(121)와 얼굴 DB(123)를 포함한다.
온라인 시험 또는 UBT 시험 서버(100)는 의과 대학/치과 대학/약학 대학/공과 대학 등의 대학 시험, TOEIC/TOEFL 시험, 어학 시험, 공무원 시험, 자격증 시험, 어학 교육, 보건의료교육 등의 학습과 온라인 시험지를 제공하는 문제 은행의 각종 공인 인증 시험 또는 비공인 시험을 시험 일정과 장소를 공지하고, 시험 서버(100)의 데이터베이스의 시험 프로그램을 사용하여 유무선 통신망을 통해 응시자 단말들에게 온라인 시험 또는 오프라인 상에서 저장된 시험 문제를 활용하여 시험을 치를 수 있는 모든 형태의 PC/스마트 기기를 활용하는 UBT 시험을 제공한다.
제어부(102)는 시험일정과 장소가 확정되면, 감독관을 선임하여 감독관에게 감독관선임정보를 제공하고, 응시자들에게 문자 메시지/웹페이지를 통해 시험 일정과 장소를 공지하며, 시험 당일 시험장소의 감독관 단말(200)로 시험 정보와 시험지 정보를 송수신하여 시험을 진행 관리하고, 자동채점결과부(124) 및 검수관리부(125)의 결과로부터 채점 결과를 해당 응시자 단말들로 제공한다.
시험정보 데이터베이스(120)에 저장되는 시험 정보는 시험 제목, 시험 일정과 장소, 시험 시간, 시험 장소의 위치 정보, 할당된 시험실별 감독관 정보와 응시자들 명단, 시험실별 좌석수, A/B 유형별 시험지의 문제 정보, 응시자별 답안 정보와 채점 정보를 포함한다.
그리고, 응시자 데이터베이스(121)는 이름, 주민등록번호, 집주소, 이동전화번호, 이메일 등을 포함하는 응시자 정보, 응시자 사진(표준 크기의 얼굴 정면 사진) 및 QR 코드/passwd, ID/passwd 식별 정보와 시험 관련 정보, 응시자 신청 현황이 저장된다.
도 11을 참조하면, 본 발명에 따른 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, 스마트폰, PC 기반 온라인 시험 제공 방법은
회원 정보를 등록받고, 로그인/사용자 인증 후에, 응시자 정보와 정면 얼굴 사진을 온라인 시험 또는 UBT 시험 서버가 등록받아 저장하는 단계(S10);
온라인 시험 또는 UBT 시험 서버가 응시자 정보와 정면 얼굴 사진에 대응하는 바코드 또는 QR 코드를 발급하여, 응시자의 응시표에 바코드 또는 QR 코드가 부착되는 단계(S20);
상기 온라인 시험 또는 UBT 시험 서버가 주관 시험에 따라 시험 일정과 장소를 공지하는 단계(S30);
AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하는 안면인식 모듈을 구비하는 응시자 단말에서 정면 얼굴인식 알고리즘을 사용하여 카메라의 정면 얼굴 사진의 인식 결과를 온라인 시험 또는 UBT 시험 서버(100)로 수신받아 크기 보정/회전/각도 보정된 정면 얼굴 사진을 생성하고, 이를 시험 서버(100)의 얼굴 사진DB의 응시자 정보와 정면 얼굴 사진과 그 얼굴 특징점들을 코의 정점을 기준으로 표준 크기의 정면 얼굴 사진과 특징점들을 비교하여 응시자 본인 여부를 확인하여 대리 시험을 방지하며 시험 응시 여부를 결정하는 단계(S50);
온라인 시험 또는 UBT 시험 서버는 응시자 단말과 감독관 단말로 시험 프로그램(App)과 온라인 시험지를 제공하며, 응시자 단말의 안면인식 모듈에 의해 응시자 단말의 전면 카메라로 촬영되는 얼굴 행동 패턴을 인식하여 얼굴 객체를 추출하고 얼굴의 윤곽선과 눈2/코/귀2의 5점 척도 얼굴의 특징점들을 추출하며, 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하며, 눈2/코/귀2 얼굴의 특징점들의 각각 좌측/우측 귀와 좌측/우측 눈의 중심점(동공)과의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 시각적인 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 응시자 단말의 시험 화면으로부터 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위와 관련된 얼굴 사진 및/또는 부정 행위와 관련된 응시자의 음성 데이터를 상기 온라인 시험 또는 UBT 시험 서버(100)로 전송하고, 시험 서버(100)를 통해 감독관 단말로 부정 행위 알림이 출력되며, 상기 시험 서버(100)로부터 해당 응시자 단말로 경고 메시지 또는 알람을 수신하는 단계(S60);
온라인 시험 또는 UBT 시험 서버(100)는 각 교실별로 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 시험 서버의 데이터베이스에 저장하여 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 동안 각각의 응시자 단말에 시험지 작성 답안을 저장한 후, 시험 종료시 응시자 단말로부터 시험 서버(100)로 전송받아 저장하며(S70), 시험 서버(100)로부터 응시자들의 시험지 작성 답안의 채점 결과를 응시자 단말로 제공하는 단계(S80)를 포함하고,
상기 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라를 사용하며,
상기 응시자 단말은 정면 카메라를 구비하는 태블릿 PC, 스마트폰, PC 중 어느 하나를 사용하며, 상기 온라인 시험 또는 UBT 시험 서버(100)로부터 다운로드된 상기 시험 프로그램이 설치되고, 시험 기간 동안 영상과 소리가 레코딩되는 녹음 및 녹화 프로그램이 설치되며, 응시자의 후면 거치대에 하나 또는 두 개의 보조 카메라를 사용하여 응시자를 모니터링하여 상기 시험 서버(100)로 전송하거나 영상 저장 서버(NVR 서버)를 통해 상기 시험 서버(100)로 전송하고,
상기 온라인 시험 또는 UBT 시험 서버(100)는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 온라인 시험 또는 UBT 시험 서버(100)는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 응시자 단말은 안면인식 모듈을 포함하며, 상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 시험 프로그램의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상 중 적어도 하나 이상이 포함된 멀티미디어 시험 문항이 출제되어 상기 응시자 단말로 디스플레이된다.
온라인 시험 또는 UBT 시험의 응시표는 인식 코드로써 바코드 또는 QR 코드를 사용하며, 응시자들에게 바코드 또는 QR 코드가 부착된 응시표가 제공된다.
실시예에서는, 응시자 단말은 태블릿 PC를 사용하고, 응시자의 응시표에 부착된 QR 코드를 사용하였다.
상기 방법은, 예를 들면, 시험 응시자의 응시표에 부착된 QR 코드를 스마트폰으로 찍어 응시자 단말(PC, 태블릿 PC 등)의 카메라에 인식 화면에 대면 동작되며, 상기 응시자의 응시표에 부착된 QR 코드 인식 후, TTS(Text To Speech) 기능을 통해 인사말을 제공하는 단계(S40)를 더 포함한다.
추가적으로, 온라인 및 UBT 시험은 2지/3지/4지/5지 선다 객관식 시험 및 응시자 단말의 필기체 인식부를 사용하여 스타일러스 펜의 필기체를 인식하여 문자들로 변환하여 필기체 문자를 인식하는 주관식 시험을 포함한다.
응시자 단말은 주관식 시험 문항을 위해 스타일러스 펜의 필기체를 인식하여 문자로 변환하여 필기체 문자를 인식하는 터치 센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 더 포함한다.
응시자 단말은 인공 지능(AI) 기반 안면윤곽선 인식 기술은 태블릿 PC의 카메라 영상의 안면윤곽선 인식을 위해 posenet 알고리즘을 사용하였다. 온라인 시험 또는 UBT 시험시에, AI 기반의 얼굴인식 기술을 사용하여 시험 서버에 연동된 감독관 단말을 통해 태블릿 PC 응시자 본인을 확인하고 대리 시험을 방지하며, 온라인 또는 UBT 시험장의 응시자 얼굴의 안면인식 출입통제 시스템으로 활용 가능하며, 온라인 시험과 UBT 시험에서 대리 시험이나 부정 행위를 방지한다.
상기 응시자 단말은 녹음 및 녹화 프로그램이 설치되고, 시험 프로그램(App)이 설치되는 태블릿 PC, 스마트폰, PC, 노트북 중 어느 하나의 단말을 사용하며, 상기 시험 프로그램이 설치되고, 상기 인공 지능 안면인식 모듈과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈 및 음성인식 모듈을 구비한다.
상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용한다.
상기 응시자 단말(300,310,311)은 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈이 구비되며,
온라인 시험 또는 UBT 시험시에 응시자 단말의 전면 카메라로 실시간으로 촬영된 얼굴 영상의 ROI를 검출하여 코의 정점을 기준으로 표준 크기로 크기 보정/각도 보정된 표준 크기의 정면 얼굴 사진에 대하여 얼굴인식 알고리즘을 사용하여 얼굴의 특징 추출과 분류를 통해 얼굴 행동 패턴을 인식하여 응시자의 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점들을 추출하고, 눈2/코/귀2의 5점 척도의 얼굴의 특징점들의 각각 좌측/우측 귀와 좌측/우측 눈의 중심점(동공)과의 유클리디안 거리(d)와 유사도(similarity)를 계산하며, 온라인 시험 또는 UBT 시험 서버(100)의 얼굴사진 DB의 데이터와 비교하여 대리 시험 여부를 확인하며, 온라인 시험 또는 UBT 시험시에 전면 얼굴이 좌우로 돌아간 각도에 따라 우측 눈과 우측 귀의 거리와 좌측눈과 좌측 귀의 거리가 달라지므로 부정 행위를 판단하여 상기 시험 서버(100)로 전송하고, 시험 서버(100)에 연동된 감독관 단말(200)이 확인하고 해당 응시자 단말로 알람 또는 경고 메시지를 발생한다.
응시자 단말(300,310,311)은 온라인 시험 또는 UBT 시험 서버(100)에 유무선 통신망(LAN, Wi-Fi, LTE 4G/5G)을 통해 연결되며, 인공 지능 안면인식 모듈과 얼굴의 특징점을 구성하는 눈2, 코, 귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈을 구비하며, 온라인 시험 또는 UBT 시험 시에 응시자 단말의 전면 카메라로 실시간으로 촬영된 얼굴 영상의 ROI(Region of Interest)를 검출하여 코의 꼭지점(정점)을 기준으로 표준 크기로 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진을 생성하며, 얼굴 객체와 눈2/코/귀2의 특징점들을 추출하고, 가로x세로 표준 크기의 정면 얼굴 사진의 얼굴의 윤곽선과 눈2/코/귀2 얼굴 특징점들의 특징 벡터 x를 구하며, 눈2,코, 귀2의 특징 추출과 분류를 통해 얼굴의 특징점들의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 온라인 시험 또는 UBT 시험 서버의 얼굴사진 DB의 데이터와 응시자의 얼굴 사진 특징점들과 비교하여 대리 시험 여부를 확인하게 하며, 온라인 시험 또는 UBT 시험 시에 응시자 단말의 카메라로 촬영된 전면 얼굴이 좌우로 돌아간 각도에 따라 부정 행위를 판단하여 얼굴 사진의 부정 행위 정보를 시험 서버(100)로 전송하고, 감독관 단말이 부정 행위 정보가 확인되면 시험 서버(100)로부터 해당 응시자 단말로 수신된 부정 행위 방지 알람을 발생하거나 경고 메시지를 해당 응시자 단말로 출력한다.
상기 응시자 단말은 안면인식 모듈과 부정 행위 방지 모듈에 의해 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치(수치)를 넘는 경우) 부정 행위를 방지하도록 경고 메시지 또는 알람이 출력된다.
시험 프로그램의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 시험 서버에서 각 문항마다 단지 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 응시자 단말로 디스플레이 된다.
상기 응시자 단말은 시험 프로그램(App)이 설치되는 태블릿 PC, 스마트폰, PC, 노트북 중 어느 하나의 단말을 사용하며, 상기 시험 프로그램이 설치되고, 상기 인공 지능 안면인식 모듈과 시각적인 부정 행위를 방지하는 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈, 및 청각적인 부정 행위를 검출하기 위해 응시자의 소리를 인식하는 음성 모듈을 구비한다.
상기 응시자 단말은 주관식 시험 문항을 위해 스타일러스 펜의 필기체를 인식하여 문자로 변환하여 필기체 문자를 인식하는 터치센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 더 포함한다.
상기 방법은 온라인 시험 또는 UBT 시험 시에 부정 행위와 관련된 응시자의 말소리가 들리는 경우, 응시자 단말의 마이크와 음성 인식 모듈에 의해 감지된 응시자의 음성 신호가 가우시안 노이즈의 기준치 데시벨(dB) 이상의 소리가 발생되는 경우, 응시자의 음성 데이터를 상기 온라인 시험 또는 UBT 시험 서버(100)로 전송하고, 상기 시험 서버(100)를 통해 감독관 단말로 해당 응시자의 부정 행위 정보가 출력되며, 상기 시험 서버(100)로부터 해당 응시자 단말로 경고 메시지 또는 알람을 출력하는 단계를 포함한다.
상기 응시자 단말은 비대면 온라인 시험 또는 UBT 시험시에 응시자 단말의 전면 카메라로 실시간으로 촬영된 얼굴 영상의 ROI를 검출하여 크기 보정/각도 보정된 표준 크기의 정면 얼굴 사진에 대하여 얼굴인식 알고리즘을 사용하여 얼굴의 특징 추출과 분류를 통해 얼굴 객체를 추출하고, 얼굴 행동 패턴을 인식하여 응시자의 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점들을 추출하며, 눈2/코/귀2의 얼굴의 특징점들의 각각 좌측/우측 귀와 좌측/우측 눈의 중심점(동공)과의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 온라인 시험 또는 UBT 시험 서버의 얼굴사진 DB의 기 등록된 응시자의 얼굴 사진의 특징점들과 비교하여 대리 시험 여부를 확인하며, 온라인 시험 또는 UBT 시험시에 응시자 단말의 카메라로 촬영되는 얼굴 행동 패턴을 인식하여 전면 얼굴이 좌우로 돌아간 각도에 따라 우측 눈과 우측 귀의 거리와 좌측눈과 좌측 귀의 거리가 달라지므로 이를 기초로 부정 행위를 판단하여 상기 시험 서버(100)로 전송하고, 상기 시험 서버(100)에 연동된 감독관 단말이 이를 확인하고, 감독관 단말로부터 상기 시험 서버(100)를 통해 해당 응시자 단말로 알람 또는 경고 메시지를 전송한다.
또한, 상기 방법은 응시자 단말의 카메라 영상의 사용자의 얼굴 움직임을 [텍스트 A]와 같이 프레임 단위로 저장하면서 정의된 일정 프레임 또는 시간 또는 횟수를 차감하다가 0이 되는 시점에 응시자 단말로 경고 메시지를 표출/노출하거나, 감독관 단말 또는 부정 행위 검출 이미지를 시험 서버(100)로 전송한 후, 경고 트리거 횟수를 초기화하여 다음 움직임부터 다시 차감을 시작하는 단계를 포함한다.
[텍스트 A] - 응시자 단말의 태블릿 PC에 저장되는 얼굴의 행동 패턴 정보 (예시. 서울대학교 치과대학 응시자의 얼굴 패턴 데이터): 일자, 시간, 움직인 각도/거리 및 위상(좌우) 등의 정보를 매 프레임 또는 시간당 저장하고, 이를 바탕으로 사용자에게 경고 메시지를 보이고, 감독관 확인 및 응시자 얼굴인식 부정 행위 검출 - 온라인 시험 또는 UBT 시험 서버 및 메인 시험 시스템에 해당 RAW Data를 전송하여 후처리 한다.
200519094106,0.02,R
200519094111,0.03,R
200519094120,0.42,R
200519094148,0.01,R
200519094150,0.21,R
200519094155,0.22,R
200519094158,0.09,R
200519094209,0.11,L
200519094214,0.09,R
200519094216,0.10,R
200519094219,0.09,R
200519094224,0.01,L
실시예에서는, 응시자 단말은 유무선 통신망을 통해 시험 서버에 접속하여 온라인 또한 UBT 시험응시를 신청하게 되면, 응시자의 시험신청정보를 시험 서버에 응시자의 시험접수를 수행하는 시험신청접수 과정; 시험 일정과 시간과 장소가 결정되면 해당 시험의 응시자들에게 시험 일정과 시간과 장소 정보를 포함하는 시험정보를 공지하는 시험정보 공지 과정; 시험 장소 및 시간이 설정되면, 설정된 시험의 일시와 장소의 시험실별 감독관을 설정하고 감독관에게 선임 사실을 알리는 감독관선임정보를 제공하고 해당 감독관으로부터 시험 서버로 선임확인정보를 수신하여 감독관설정과정을 완료하는 감독관 설정 과정; 시험 당일 해당 시험 장소의 감독관으로부터 시험장소 셋팅 정보의 입력을 대기하고, 감독관으로부터의 시험장소 셋팅 정보가 입력되면 시험 프로그램(어플, App)을 제공하여 응시자들의 스마트 폰에 설치하도록 하고, 응시자들의 스마트 폰에 설치된 시험 프로그램을 통해 접속된 응시자들에게 시험접속확인을 요청하는 시험장 셋팅 과정; 시험 장소 셋팅이 완료되면 설정되어 있는 문제의 유형과 문제선택설정정보(난이도)를 참조하여 등록저장 되어있는 시행될 문제리스트 중 어느 하나를 선택하고, 설치된 응시자들의 시험프로그램과 통신하여 시험문제를 제공하며, 응시자 단말은 시험 프로그램을 통해 시험지의 답안정보를 시험 서버로 수신하여 응시자별로 저장하는 시험진행 과정; 모든 시험문제가 출제되고, 시험이 종료되면 감독관의 종료확인정보 입력을 대기하고, 감독관의 종료확인정보가 입력되면 응시자들의 태블릿PC에 설치된 응용프로그램을 자동 삭제시키는 시험마무리 과정; 및 시험 서버로 수신 저장된 각 응시생들의 작성 답안을 채점답안정보와 비교하여 채점하며, 그 채점 결과 정보를 공지하는 시험 발표 과정으로 구성된다.
감독관 선임은 미리 등록된 감독관 중에서 선택하게 되며, 감독관은 미리 계약된 감독관들이며, 시험 서버의 시험정보 데이터베이스에 등록관리 한다.
감독관이 선임되면, 시험 서버를 통해 감독관 선임 정보를 제공하고 감독관으로부터 선임 확인 정보를 수신하여 감독관 설정 과정을 완료하게 된다.
감독관 선임 정보는 시험 장소, 시험 시간, 응시 인원 정보를 포함한다.
응시인원 정보는 각 응시자들의 사진과 이름, 성별, 주소를 포함하는 인적 정보와, 연락 정보를 포함한다.
시험 셋팅 과정은 시험당일 미리 설정되어 있는 준비시간 전 시험에 필요한 부분들을 점검하고 시험을 진행하는 장치를 셋팅하는 과정이다.
시험장이 응시자들을 감독관이 응시자 정보와 정면 얼굴 사진을 확인하고 이에 대한 확인정보인 시험장소 셋팅정보를 입력하면, 시험 서버로부터 응시자 단말로 시험에 필요한 시험 프로그램(App)을 제공하게 되며, 응시자들이 시험 프로그램을 태블릿 PC에 설치하며, 시험 프로그램을 통해 데이터를 송수신하여 응시자들이 신청정보 입력 시 입력한 식별정보를 입력하여 응시자들의 시험접속확인을 완료하는 과정이다.
감독관의 시험 셋팅 정보는 시험에 참가한 응시자수 정보를 포함하고, 응시자들의 식별정보는 응시자들이 신청정보 입력 시 입력한 이름, 주민등록번호와 같은 인적정보 중 어느 하나 또는 회원 아이디로 이루어진다.
시험 프로그램(App)은 시험 서버의 시스템에 접속하여 응시자 식별 정보를 입력하여 시험 프로그램을 응시자 단말에서 다운로드받아 설치되며, 시험 서버의 시스템에서 감독관이 시험셋팅정보를 입력하면, 감독관에서 시험 프로그램의 경로를 제공하고, 그 경로에 따라 응시자들이 시험 프로그램을 설치하도록 하는 과정을 포함한다.
도 12는 본 발명의 제2 실시예에 따른 온라인 시험 또는 UBT 시험시에, 안면 인식/동작 인식/소리 인식 기술을 사용하는 응시자 단말의 정면 카메라와 보조 카메라를 사용한 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 태블릿 PC, PC 기반 온라인 시험의 개념도이다.
도 13 내지 도 17은 온라인 시험 또는 UBT 시험시에, GPS 수신기와 Wi-Fi 통신부를 구비한 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라(Wi-Fi 스마트폰 카메라) 사용 예를 보인 도면이다.
비대면 온라인 시험 또는 UBT 시험 시에, 응시자 단말의 정면 카메라와 마이크와 음성 인식 모듈을 사용하고, 후면 보조 카메라를 사용하여 AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 행동 기반 부정 행위를 방지한다.
상기 보조 카메라는 각각의 응시자 단말과 Wi-Fi 통신되는 스마트폰 내장 카메라 또는 별도의 Wi-Fi 통신부 또는 LTE 4G/5G 통신부 내장 IP 카메라(통신부, 제어부, 저장부를 구비하는 IoT 디바이스) 또는 영상 저장 서버(NVR 서버)와 연동되는 케이블 연결부를 구비한 유선 CCTV 카메라를 사용하며, 각각의 응시자 단말당 응시자 후면에 하나 또는 두 개의 보조 카메라를 사용하며,
[보조 카메라] (off-line 또는 on-line 연결)
ㆍ 보조 카메라 기술 : 스마트폰 내장 카메라, 보조 카메라 활용 응시자 촬영/소리 녹음(offline), 또는 전용 프로그램을 활용하여 응시자가 접속한 순간부터 카메라 온라인 연결되어 모니터링 시작.
ㆍ 해결 : 응시자 후면 하나 또는 두 개의 보조 카메라를 사용하여 응시자 모니터링 사각 지대 해소(쪽지 모니터 부착, 정면에 부착, 무릎위 부착 및 사각지대에 서의 부정 행위 거의 전반 카메라 촬영)
ㆍ부가 효과 : 온라인 시험/UBT 시험의 부정 행위 방지와 신뢰성을 증대하기 위한 근거 자료로써 최종 시험 종료시 시험결과와 함께 시험 서버로 전송, 후처리, 채점.
보조 카메라의 위치는 사용자 현장에 맞춰 가이드를 제공하고, 사용자는 이에 맞춰 카메라 위치를 조정한다. 카메라 정위치에 대한 확인은 감독관의 원격 육안검사, AI 또는 안면인식/동작인식/소리 인식 시스템의 화면 인식 기능을 활용하여 수동/자동으로 수행할 수 있다.
현재 비대면 온라인 시험 또는 UBT 시험 시 가장 최적의 위치는 응시자 어깨선 좌/우측 측면, 한뼘 뒤에서 대각선으로 응시자 다리/상체전부/정면 벽면이 보이는 위치가 가장 적절하다.
360°를 커버하는 2개 렌즈 장착 어안식 카메라의 경우 천정 설치/응시자 좌위 측면 설치도 가능하므로, 카메라의 특성과 현장 상황, 응시자 자세 및 책상 배치에 따라 그 최적의 위치는 사용자가 정의하는 것이 필요하다.
- 통신부가 포함된 카메라를 시험 전 가이드에 따라 정 위치에 놓는다.
- 응시자 단말의 시험 프로그램 구동 전후 또는 사용자 로그인 시 시험기기와 통신하거나, 시험 서버/영상 저장 서버(NVR 서버)와 직접 통신하는 보조 카메라가 초기화/세팅된다(통신 속도, 안정성 최적화, 필요한 정보는 시험 서버로 전송).
- 온라인(인터넷 또는 LAN 또는 통신기능) 시험 관리 서버의 명령/시험 감독자 명령에 따라 응시자 촬영을 시작한다. 시험 서버는 응시자 단말과 보조 카메라의 통신 유무를 지속적으로 체크한다.
- 보조 카메라의 응시자 어깨선 후면의 좌우에서 실시간 동영상 촬영과 동시에 NVR 서버를 통해 시험 서버에 전송하거나, 대용량 통신 사용량을 줄이기 위해 스냅샷만 일정 시간 또는 관리자 명령에 따라 전송하거나, 시험 종료 후 응시자 영상과 녹음된 소리를 시험 서버로 전송한다.
- 시험 서버로 전송전 개인 정보 보호를 위해 개인 정보를 암호화할 수 있다.
- 시험 서버로 전송 성공 후, 영상 파일은 자동 삭제한다.
[위치정보]
ㆍ위치 측위 기술 : 태블릿PC 내장 GPS, Wi-Fi 위치정보 등 위치정보 기술
ㆍ해결 : 응시자 시험 현황 파악 용이, 모여서 응시하는 응시자 초기 위치 확인 가능, 시험 시작 시점/시험 종료 시점의 위치 정보를 제공하며, 이동하는 응시자에 대한 판단 근거 확보
1) 응시자 로그인 시 응시자 단말에서 위치/시간 정보를 시험 서버로 전송
2) 응시자 단말의 위치를 지도에 표시, 모니터링 시작
3) 응시자 시험 중 일정 시간 마다 위치정보 전송
4) 응시자 답안-> 시험 서버로 제출 시 최종 위치/시간 정보를 전송
5) 시험 서버에서 최종 분석하여 이동거리 과다, 응시자 군집 분석(cluster analysis) 시 응시자 이상유무 판정(이상 현상으로 판정시 경고 메시지 표시, 검증 실시)
도 18은 보조 카메라와 ubtcloud 시험 서버의 연동 동작부를 나타낸 도면이다.
응시자 녹음 및 녹화 프로그램은
(a) ubtcloud 시험 서버로부터 복수의 응시자 단말로 AES-256 알고리즘으로 암호화된 시험 정보(시험 코드, 시험 시간, 시험명, 수험생 정보 등) 전송,
(b) 수험생 시험 기기(태블릿 PC)로부터 시험 시작 메시지를 수신한 시험 서버가 응시자 단말의 녹음/녹화 프로그램으로의 영상/소리 레코딩 시작,
(c) 수험생 시험 기기로부터 시험 종료 메시지를 수신한 시험 서버가 응시자 단말의 녹음/녹화 프로그램으로 레코딩 종료 메시지 전송 후에, 영상/소리 레코딩 종료,
(d) 시험 시간 동안 응시자 단말의 녹음/녹화 프로그램의 녹음/녹화 데이터(소리 파일과 이미지 파일을 통합하여 영상파일)을 시험 서버로 전송하여 저장한다.
(1) APP이 설치된 수험생 시험 기기(태블릿 PC)의 카메라로 바코드 또는 QR 코드 인식 또는 안면인식
(2) 시험 서버로부터 응시자 단말(App, 보조 카메라)로 시험 코드 수동 입력
(3) 시험 서버로부터 복수의 응시자 단말로 AES-256으로 암호화된 시험 정보(시험코드, 시험 시간, 시험명, 및 수험생 정보 등) 전송
(4) 수험생 시험 기기(스마트 기기 및 PC)로부터 시험 서버로 시험 시작 메시지 전송
(5) 시험 서버로부터 복수의 응시자 단말의 영상/소리 레코딩 시작 -> 1) 시험시간에 자동, 또는 2) 수험생 시험 단말에서 시험 시작 메시지에 따라 영상/소리 레코딩(레코딩 규칙 : 대량의 전체 영상 파일 생성을 억제하고 안면 인식시에 부정 행위로 판단된 영상 파일만 레코딩, 효과적으로 부정 행위를 방지하기 위해 full frame/second가 아닌 통신 환경과 단말의 기기 사양에 맞춰 few frame/second 이미지 저장, 소리는 full 녹음)
(6) 수험생 시험 단말(태블릿 PC 등의 스마트 기기 및 PC)로부터 시험 서버로 시험 종료 메시지 전송
(7) 시험 서버로부터 복수의 응시자 단말로 레코딩 종료 메시지 전송,
- 1) 시험 시간에 자동으로 종료, 또는 2) 시험 종료 메시지 받는 즉시 응시자 단말의 녹화/녹음 종료(종료 메시지 전송 후 규칙: 저장된 이미지 파일 및 녹음 파일 압축, 암호화, 필요한 경우 이미지 영상화, hash값 생성 등 전 처리, 그리고
암호화된 파일은 전송 오류, 차후 검증 등 예외 처리를 위해 지정된 일자 후 일정 시간 후 자동 삭제 프로세스 적용, 응시자 단말에 임시 저장 및 시험 서버로 데이터 전송 프로세스 시작)
(8) 응시자 단말로부터 시험 서버로 온라인 시험 데이터, 녹음/녹화 데이터(소리 파일과 이미지 파일을 통합하여 영상파일 생성, 압축, 암호화 전송) 전송
- 시험 서버로 전송 실패 시, 수동/자동 재전송, 감독관 수동 업로드
비대면 온라인 또는 UBT 시험의 시청각적인 부정 행위를 방지하기 위해,
응시자 단말은 온라인 또는 UBT 시험 서버와 연동되는 녹음/녹화 프로그램이 설치되며, AI 안면인식/동작인식/소리인식 기술을 사용하여 인공 지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 활용 부정 행위 방지 모듈, 및 음성인식 모듈을 구비하며, 온라인 시험 또는 UBT 시험 서버와 연동하여 온라인 시험 또는 UBT 시험의 대리시험 방지 및 시청각적인 부정 행위 방지 기법을 구현하였다.
AI 안면인식/동작인식/소리인식 기술을 사용하여 실시간으로 응시자의 얼굴 카메라 촬영과 모니터링, 음성 인식 기술을 적용한 시험 방식이 적용되었다.
응시자 단말의 1시간 이상을 카메라 영상을 촬영하는 경우라도 수십메가 바이트 이하의 데이터로 한정하는 촬영/녹음 방식을 개발하고, 개인 정보가 포함된 민감 데이터에 속하는 해당 녹음/녹화 데이터를 암호화하여 안전하게 전송할 수 있으며, 네트워크 단절과 같은 기술적 장애의 예외 처리와 시험시행 기관의 검증 시 활용할 수 있는 시험 데이터와 안면인식과 부정 행위 관련 데이터를 임시 보관하는 기능을 제공한다. 또한, 응시자가 큰 어려움 없이 시험 시행 기관이 제시하는 모니터링 사각 지대 해소 기준에 맞는 자세로 촬영할 수 있는 보조 카메라 촬영 기능이 본 기술 개발시 주안점으로 삼은 영역이다.
이를 위해 응시자 단말의 녹음 및 녹화 프로그램에 다음 기능을 탑재하였다.
ㆍ번거로운 시험 서버로의 로그인 절차 생략이 가능하도록 QR/바코드/AI 안면인식을 통해 응시자가 확인되면, 시험 프로그램과 사용자의 시험데이터를 시험 서버로부터 받음.
ㆍ사용자의 바른 자세 설정을 위해 AI기능이 원활하게 동작하지 않는 구형 기기 사용자를 위해 증강현실(AR)과 증강현실 화면에 표시된 AR 가이드 마커에 사용자가 들어오는지 판정하여 최적의 촬영 자세 지원 기능, 그리고 AI 기능이 동작하는 기기의 경우 인공 지능 CNN 알고리즘과 Posenet 알고리즘을 사용하여 사용자의 자세의 특징점을 인식하고, AR 가이드 마커에 해당 특징점들이 들어오는지를 인지하여 최적의 촬영 위치를 포착하는 기능.
ㆍ녹음 및 녹화 프로그램의 기능은 시험 서버와 연동되어야 하므로 사용자 시작 환경이 아닌 경우, 자동으로 시험 서버와 태블릿 PC의 사용자 앱(App)이 시헙 서버와 통신하여 실시간으로 또는 네트워크 단절시 시험 데이터를 참조하여 실행.
ㆍ시험 종료 시, 자동으로 후처리 하는 기능(소리 파일과 이미지 파일을 통합하여 영상 파일 생성, 압축, 암호화, 자동 삭제 타이머 부착 후 응시자 단말(사용자 기기)에 저장, 자동 삭제 타이머 부착하지 않은 데이터를 시험 서버로 전송.
ㆍ 예외 처리 기능(응시자 단말로부터 시험 서버로 전송 실패 시 자동 재시도, 지속 실패 시 시험 서버로 감독관 관할 하에 수동 업로드 지원)
실시예에서는, 응시자 단말은 태블릿 PC를 사용하였다.
도 19는 개발된 응시자 단말의 녹음 및 녹화 프로그램 동작을 나타낸 도면이다.
앱 실행 및 시험데이터 요청, QR 코드 인식(또는 바코드 인식), 안면 인식 -> 데이터 확인 -> 레코딩 대기 -> 레코딩 시작(시험 데이터 기반 자동 오프라인 레코딩) -> 레코딩 중 앱 강제종료 등 예외 처리(재시작, 계속 레코딩 기능) -> 레코딩 종료 대기 -> 레코딩 종료 -> 레코딩 종료 후 처리(이미지 취합 및 영상파일, 녹음파일) -> 응시자 단말로부터 시험 서버로 전송(부정 행위 관련 이미지, 영상 파일, 녹음 파일) -> 전송실패 예외 처리(자동 재시도, 수동 업로드) -> 처리 종료 메시지를 시험 서버로부터 수신후 앱 종료
도 20은 응시자 녹음 및 녹화 프로그램의 구현 화면(응시자 녹음/녹화 프로그램)이다.
응시자 단말의 녹음 및 녹화 프로그램의 기능
ㆍ 시험정보 확인 기능
- QR 코드 또는 바코드 인식
- 안면 인식
ㆍ 응시자 단말에 기존 저장된 저장 파일을 시험 서버로 재 업로드
시험정보 인식 후 위치 인식 안내
ㆍ 응시자 얼굴의 자세 인식 또는 촬영 위치 확정
- AR(증강현실) 사용자 위치 지정
- AR 기반 수동 위치 설정
* 올바른 자세 가이드 마커에 위치가 나오는지 사용자가 스스로 확인.
- AR 및 인공 지능 기반 자동 위치 설정
* POSENET 알고리즘과 CNN 알고리즘 활용
* 인공 지능 모듈이 AR 가이드마커에 인식된 사용자 특징점들이 포함되는지 여부를 판정하여, 올바른 자세 가이드 후 자세 확정
ㆍ 시스템 녹음/녹화 시작 메시지 대기
ㆍ 메시지 수신 후 자동으로 촬영 시작
ㆍ 네트워크가 끊길 경우, 기존 획득한 시험정보 중 시험 시간 활용 자동 촬영 시작
ㆍ 시스템 종료 메시지 대기
ㆍ 시험 서버로부터 응시자 단말로 종료 메시지 수신 후 자동으로 압축, 암호화, 후처리 실행.
ㆍ 시험 서버로 데이터(부정 행위 관련 이미지, 영상파일, 녹음파일) 전송 후
프로그램 종료.
ㆍ 네트워크 에러 전송 불가 예외상황 발생 시, 태블릿 PC의 앱의 첫 단계로 이동하여 수동 업로드 실행.
ㆍ 차후 검증을 위해 자동 삭제 기능이 포함된 상태의 암호화된 파일을 사용자 기기에 남김
도 21은 응시자 녹음 및 녹화 프로그램의 구현 화면(응시자 단말의 시험 프로그램 및 시험 서버)이다.
* 응시자 단말의 녹음 및 녹화 프로그램
- 시험정보 인식: 응시자의 응시표에 부착된 QR코드/바코드
- 응시표에 부착된 QR 코드 또는 바코드 인식 후, 녹화/녹음 앱 연결 및 녹음/녹화 정보 전송
- 시험 서버 -> 응시자 단말로 시험 시작/시험 시작 메시지 전송
- 녹음/녹화 현황 및 통신 상태 확인
- 시험 서버로부터 응시자 단말로 시험 종료/시험 종료 메시지 수신,
- 시험 서버로 부정 행위 관련 데이터(데이터, 이미지, 영상 파일, 녹음 파일) 전송 결과 확인
도 22는 응시자 녹음 및 녹화 프로그램의 특징과 장점을 나타낸 화면이다.
ㆍ 온라인 시험 또는 UBT 시험 시에, 응시자를 촬영하기 위해 정의된 사용자의 바른 위치 인지 방법
ㆍ 증강현실(AR)을 이용한 응시자 포지션(위치/자세) 인지, 가이드 기능
ㆍ 응시자 자세 인지 인공 지능(CNN 및 posenet 알고리즘)을 이용한 응시자 자세 인식 및 가이드 기능
ㆍ 평가 시스템과 연동하여 자동화된 시험 현장 녹음/녹화 기능: 시험 서버와 websocket과 같은 실시간 및 비동기 통신을 활용하여 응시자 단말의 녹음/녹화 프로그램을 제어, 카메라 촬영 자동 시작/종료
ㆍ 검증 강화를 위한 추가 기능: 온라인 시험/UBT 시험 종료후 녹음/녹화된 이미지, 소리, 영상 파일을 암호화하고, 일정 시간후 자동 삭제 타이머 기능을 포함하여 일정 시간 동안 응시자 단말에 저장하고, 이를 추가하여 검증 용도로 활용
ㆍ 브라우저 기반 웹/네이티브 앱(App) 기반의 모든 형태의 온라인 시험 시스템과 연동 가능
도 23은 온라인 시험 또는 UBT 시험 시에 시험 서버와 연동되는 녹음 및 녹화 프로그램이 설치된 태블릿 PC 카메라를 사용하여 automated face tracking, video capturing 결과물 실제 활용 예(Journal of dental education 논문 첨부 자료) 사진이다.
얼굴 인식 시에, 응시자 단말의 정면 카메라(C)를 사용하여 촬영된 얼굴 사진을 사용하여 얼굴의 ROI 영역의 안면 인식을 통해 시험 서버의 기 등록된 응시자의 얼굴 사진과 얼굴의 특징점들과 비교하여 대리 시험 여부를 검출하고, 응시자 단말의 정면 카메라와 응시자의 후면 거치대의 보조 카메라로 촬영된 카메라 영상 데이터를 사용하여 실시간으로 응시자의 얼굴의 안면윤곽선을 인식하여 얼굴의 행동 패턴을 검출하여 시각적인 부정 행위를 검출하고, 응시자의 말소리를 음성 인식을 통해 청각적인 부정 행위를 검출하며, 응시자들의 부정 행위를 방지하게 되었다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고, 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드 뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
100: 온라인 시험 또는 UBT 시험 서버
101: WWW 서버 102: 제어부
103: 회원 등록부 104: 사용자 인증부
105: 시험 공지부 106: QR 코드 관리부
107: 인사말 제공부(TTS) 108: 감독관 확인부
109: 얼굴 인식부 110: 부정 행위 처리부
111: 시험 관리부 120: 시험 정보DB
121: 응시자DB 123: 얼굴사진 DB
200: 감독관 단말 300,310,311: 응시자 단말
101: WWW 서버 102: 제어부
103: 회원 등록부 104: 사용자 인증부
105: 시험 공지부 106: QR 코드 관리부
107: 인사말 제공부(TTS) 108: 감독관 확인부
109: 얼굴 인식부 110: 부정 행위 처리부
111: 시험 관리부 120: 시험 정보DB
121: 응시자DB 123: 얼굴사진 DB
200: 감독관 단말 300,310,311: 응시자 단말
Claims (19)
- 응시표에 부착되는 바코드 또는 QR 코드를 발급하며, 시험 프로그램을 제공하는 온라인 시험 또는 UBT 시험 서버;
상기 온라인 시험 또는 UBT 시험 서버에 접속하여 상기 시험 프로그램을 구동하며, AI 안면인식/동작인식/소리인식 기술을 사용하여 응시자 단말의 정면 카메라를 사용하여 응시자 얼굴의 영상의 안면인식/동작인식, 소리인식을 통해 부정 행위를 감지하도록 상기 온라인 시험 또는 UBT 시험 서버와 연동되는 녹음/녹화 프로그램이 설치되는 응시자 단말; 및
상기 온라인 시험 또는 UBT 시험 서버를 통해 복수의 응시자 단말의 얼굴 사진과 부정 행위 정보를 수신받고 해당 응시자 단말로 부정 행위 방지 알람 또는 경고 메시지를 전송하는 감독관 단말을 포함하고,
상기 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 응시자의 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라를 사용하며,
상기 응시자 단말의 녹음 및 녹화 프로그램은 시험 응시자의 응시표에 부착된 QR 코드 인식 또는 바코드 인식과 안면인식을 제공하고, 시험 시간 동안 영상과 소리가 레코딩되고, 시험 종료 후 상기 시험 서버로 전송되며,
상기 응시자 단말은 정면 카메라를 구비하는 태블릿 PC, 스마트폰, PC, 노트북 중 어느 하나를 사용하고, 상기 온라인 시험 또는 UBT 시험 서버로부터 다운로드된 상기 시험 프로그램이 설치되고, 시험 시간 동안에 영상과 소리가 레코딩되는 녹음 및 녹화 프로그램이 설치되며, 응시자의 후면 거치대에 하나 또는 두 개의 보조 카메라를 사용하여 응시자를 모니터링하여 영상과 소리 데이터를 상기 시험 서버로 전송하거나 또는 영상 저장 서버(NVR 서버)를 통해 상기 시험 서버로 전송하고,
상기 온라인 시험 또는 UBT 시험 서버는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 응시자 단말은 안면인식 모듈을 포함하며, 상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 시험 프로그램의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상 중 적어도 하나 이상이 포함된 멀티미디어 시험 문항이 출제되어 상기 응시자 단말로 디스플레이되는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제1항에 있어서,
온라인 시험 또는 UBT 시험의 응시표는 인식 코드로써 바코드 또는 QR 코드를 사용하며, 응시자들에게 바코드 또는 QR 코드가 부착된 응시표가 제공되는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제1항에 있어서,
상기 응시자 단말의 녹음 및 녹화 프로그램은
(a) 상기 시험 서버로부터 복수의 응시자 단말로 AES-256 알고리즘으로 암호화된 시험 정보(시험코드, 시험 시간, 시험명, 수험생 정보 등)를 전송하며,
(b) 수험생 시험 기기로부터 시험 시작 메시지를 수신한 상기 시험 서버가 상기 응시자 단말의 상기 녹음 및 녹화 프로그램을 사용하여 영상/소리 레코딩이 시작되고,
(c) 수험생 시험 기기로부터 시험 종료 메시지를 수신한 상기 시험 서버가 상기 응시자 단말의 상기 녹음 및 녹화 프로그램으로 레코딩 종료 메시지 전송 후에, 영상/소리 레코딩이 종료되며,
(d) 시험 시간 동안, 상기 응시자 단말의 상기 녹음 및 녹화 프로그램의 녹음/녹화 데이터(소리 파일과 이미지 파일이 통합된 영상 파일)을 상기 시험 서버로 전송하여 저장되는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제1항에 있어서,
상기 응시자 단말은
응시자 단말의 정면 카메라 영상의 얼굴의 특징점들을 인식하는 인공 지능 안면인식 모듈;
온라인 시험 또는 UBT 시험 시에, 시각적인 부정 행위를 방지하도록 응시자 단말의 정면 카메라 영상의 얼굴의 행동 패턴을 인식하여 얼굴의 특징점을 구성하는 눈2, 코, 귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈; 및
온라인 시험 또는 UBT 시험 시에, 청각적인 부정 행위를 방지하도록 응시자의 말소리를 인식하는 음성 인식 모듈을 포함하는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제4항에 있어서,
상기 얼굴의 특징점 5점 척도 부정 행위 방지 모듈은 온라인 시험 또는 UBT 시험시에 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진에 대하여 얼굴인식 알고리즘을 사용하여 얼굴 객체를 추출하고 얼굴 행동 패턴을 인식하여 응시자의 얼굴의 윤곽선과 눈2/코/귀2의 특징점들을 추출하며, 눈2/코/귀2의 얼굴의 특징점들의 각각 좌측/우측 귀와 좌측/우측 눈의 중심점(동공)과의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 온라인 시험 또는 UBT 시험 서버의 얼굴사진 DB의 응시자의 얼굴 사진의 특정점들과 비교하여 대리 시험 여부를 확인하며, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 응시자 단말의 카메라로 촬영되는 얼굴 행동 패턴을 인식하여 전면 얼굴이 좌우로 돌아간 각도에 따라 우측 눈과 우측 귀의 거리와 좌측눈과 좌측 귀의 거리가 달라지므로 시각적인 부정 행위를 판단하여 부정 행위 이미지 또는 영상 데이터를 상기 시험 서버로 전송하고, 상기 시험 서버에 연동된 감독관 단말이 확인 후 상기 시험 서버를 통해 해당 응시자 단말로 알람 또는 경고 메시지를 발생하는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제4항에 있어서,
상기 음성 인식 모듈은 온라인 시험 또는 UBT 시험 시에 청각적인 부정 행위와 관련된 응시자 단말의 마이크를 통해 입력된 응시자의 음성 데이터를 즉시 상기 온라인 시험 또는 UBT 시험 서버로 전송하여 저장하며, 이를 감독관 단말로 전송하고, 해당 응시자 단말이 부정 행위를 방지하도록 상기 감독관 단말로부터 상기 시험 서버를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제1항에 있어서,
상기 보조 카메라는 상기 온라인 또는 UBT 시험 서버로 직접 UDP/IP를 사용하여 부정 행위와 관련된 카메라 영상 데이터를 전송하는 스마트폰의 카메라, 또는 상기 시험 서버로 직접 UDP/IP를 사용하여 부정 행위와 관련된 카메라 영상 데이터를 전송하는 별도로 통신부(Wi-Fi 통신부 또는 LTE 4G/5G 통신부)와 제어부와 저장부를 구비하는 IP 카메라를 사용하는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 삭제
- 제1항에 있어서,
상기 온라인 시험 또는 UBT 시험 서버는
상기 바코드 또는 QR 코드 인식 후 TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)를 더 포함하는 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제1항에 있어서,
상기 응시자 단말은 주관식 시험 문항을 위해 스타일러스 펜의 필기체를 인식하여 문자로 변환하여 필기체 문자를 인식하는 터치 센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 더 포함하는 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 제1항에 있어서,
상기 응시자 단말은
1) 응시자 로그인 시 응시자 단말에서 위치/시간 정보를 시험 서버로 전송하며, 2) 응시자 단말의 위치를 지도에 표시, 모니터링되기 시작하고, 3) 응시자 단말의 시험 중 일정 시간 마다 응시자 단말의 위치정보를 전송하며, 4) 응시자 답안을 시험 서버로 제출 시 최종 위치/시간 정보를 전송하는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템. - 응시자 정보와 표준 크기의 정면 얼굴 사진을 온라인 시험 또는 UBT 시험 서버로 등록받아 저장하는 단계;
상기 온라인 시험 또는 UBT 시험 서버가 응시자 정보와 정면 얼굴 사진에 대응하는 바코드 또는 QR 코드를 발급하며, 응시자의 응시표에 바코드 또는 QR 코드가 부착되는 단계;
상기 온라인 시험 또는 UBT 시험 서버가 주관 시험에 따라 시험 일정과 장소를 공지하는 단계;
안면인식 모듈을 구비하는 응시자 단말에서 정면 얼굴인식 알고리즘을 사용하여 카메라의 전면 얼굴 사진의 인식 결과를 상기 온라인 시험 또는 UBT 시험 서버로 수신받아 크기 보정/회전/각도 보정된 정면 얼굴 사진을 생성하고 이를 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 정면 얼굴 사진과 그 얼굴 특징점들을 비교하여 응시자 본인 여부를 확인되는 단계;
상기 온라인 시험 또는 UBT 시험 서버는 응시자 단말과 감독관 단말로 시험 프로그램(App)과 온라인 시험지를 제공하며, 각 응시자 단말에서 카메라와 마이크로 검출된 온라인 시험을 보는 응시자의 시청각적인 부정 행위 검출시, 부정 행위와 관련된 응시자의 얼굴 사진, 얼굴 영상 및/또는 음성 데이터를 상기 시험 서버로 전송하며, 상기 시험 서버를 통해 감독관 단말로 출력되며, 상기 감독관 단말로부터 상기 시험 서버로부터 해당 응시자 단말로 경고 메시지 또는 알람을 수신하는 단계; 및
응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 시험 서버의 데이터베이스에 저장하여 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험시간 동안 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 응시자 단말로부터 상기 시험 서버로 전송받아 저장하며, 상기 시험 서버로부터 응시자들의 시험지 작성 답안의 채점 결과를 응시자 단말로 제공하는 단계를 포함하고,
상기 응시자 단말의 정면 카메라와 응시자 모니터링 사각지대를 감시하는 응시자의 후방 거치대에 구비된 하나 또는 두 개의 보조 카메라를 사용하며,
상기 응시자 단말의 녹음 및 녹화 프로그램은 시험 응시자의 응시표에 부착된 QR 코드 인식 또는 바코드 인식과 안면인식을 제공하고, 시험 시간 동안 영상과 소리가 레코딩되며, 시험 종료 후 시험 서버로 전송되고,
상기 응시자 단말은 정면 카메라를 구비하는 태블릿 PC, 스마트폰, PC 중 어느 하나를 사용하며, 상기 온라인 시험 또는 UBT 시험 서버로부터 다운로드된 상기 시험 프로그램이 설치되고, 시험 시간 동안 영상과 소리가 레코딩되는 녹음 및 녹화 프로그램이 설치되며, 응시자의 후면 거치대에 하나 또는 두 개의 보조 카메라를 사용하여 응시자를 모니터링하여 영상과 소리 데이터를 상기 시험 서버로 전송하거나 또는 영상 저장 서버(NVR 서버)를 통해 상기 시험 서버로 전송하고,
상기 온라인 시험 또는 UBT 시험 서버는
WWW 서버; 상기 응시자 단말과 상기 감독관 단말로 온라인 또는 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부; 상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부; 상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd 또는 개인 인증서를 사용하여 인증하는 사용자 인증부; 상기 제어부에 연결되며, 태블릿 PC, 스마트폰, PC 기반 온라인 학습(Learning)과 시험(Test) 또는 유비쿼터스 기반 온라인 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부; 상기 제어부에 연결되며, 시험 응시자들에게 발급되는 응시표에 응시자 정보에 대응하는 응시자의 응시표에 부착되는 바코드 또는 QR 코드를 발급하고 관리하는 코드 관리부; 상기 제어부에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 응시자의 정면 얼굴 사진을 생성하고 이를 상기 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부; 상기 제어부에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부; 상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈2/코와 귀2의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정 행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 얼굴이 일정 각도 이상으로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정 행위를 방지하도록 부정 행위 관련 경고 메시지 또는 알람을 해당 응시자 단말로 전송하는 부정 행위 처리부; 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, 온라인 시험 또는 UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 상기 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB를 포함하며,
상기 응시자 단말은 안면인식 모듈을 포함하며, 상기 안면인식 모듈에 사용된 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 시험 프로그램의 시험지 문항은 주관식 및/또는 객관식 시험 문항을 포함하며, 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상 중 적어도 하나 이상이 포함된 멀티미디어 시험 문항이 출제되어 상기 응시자 단말로 디스플레이되는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법. - 제12항에 있어서,
온라인 시험 또는 UBT 시험의 응시표는 인식 코드로써 QR 코드를 사용하며, 응시자들에게 QR 코드가 부착된 응시표가 제공되는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법. - 제13항에 있어서,
상기 QR 코드가 부착된 응시표의 상기 QR 코드를 스마트폰으로 찍어 응시자 단말의 카메라에 인식 화면에 대면 동작되며, 상기 QR 코드 인식 후, TTS(Text To Speech) 기능을 통해 인사말을 제공하는 단계를 더 포함하는 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법. - 제12항에 있어서,
상기 응시자 단말의 녹음 및 녹화 프로그램은
(a) 상기 시험 서버로부터 복수의 응시자 단말로 AES-256으로 암호화된 시험 정보(시험코드, 시험 시간, 시험명, 수험생 정보 등)를 전송하며,
(b) 수험생 시험 기기로부터 시험 시작 메시지를 수신한 상기 시험 서버가 상기 응시자 단말의 상기 녹음 및 녹화 프로그램을 사용하여 영상/소리 레코딩이 시작되고,
(c) 수험생 시험 기기로부터 시험 종료 메시지를 수신한 상기 시험 서버가 상기 응시자 단말의 상기 녹음 및 녹화 프로그램으로 레코딩 종료 메시지 전송 후에, 영상/소리 레코딩이 종료되며,
(d) 시험 시간 동안, 상기 응시자 단말의 상기 녹음 및 녹화 프로그램의 녹음/녹화 데이터(소리 파일과 이미지 파일이 통합된 영상 파일)을 상기 시험 서버로 전송하여 저장되는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법. - 제12항에 있어서,
상기 응시자 단말은
응시자 단말의 정면 카메라 영상의 얼굴의 특징점들을 인식하는 인공 지능 안면인식 모듈;
온라인 시험 또는 UBT 시험 시에, 시각적인 부정 행위를 방지하도록 응시자 단말의 정면 카메라 영상의 얼굴의 행동 패턴을 인식하여 얼굴의 특징점들을 구성하는 얼굴의 윤곽선과 눈2, 코, 귀2의 얼굴의 특징점 5점 척도 부정 행위 방지 모듈; 및
온라인 시험 또는 UBT 시험 시에, 청각적인 부정 행위를 방지하도록 응시자의 말소리를 인식하는 음성 인식 모듈을 포함하는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법. - 제16항에 있어서,
상기 응시자 단말은 주관식 시험 문항을 위해 스타일러스 펜의 필기체를 인식하여 문자로 변환하여 필기체 문자를 인식하는 터치 센서와 디스플레이를 구비하는 응시자 단말의 필기체 인식부를 더 포함하는 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법. - 제16항에 있어서,
상기 안면인식 모듈과 얼굴의 행동 패턴을 인식하는 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정 행위 방지 모듈과 음성인식 모듈에 의해 응시자 단말의 정면 카메라로 촬영되는 얼굴 행동 패턴을 인식하여 얼굴 객체를 추출하고 응시자의 얼굴의 윤곽선과 눈2/코/귀2의 5점 척도 얼굴의 특징점들을 추출하며, 눈2/코/귀2 얼굴의 특징점들의 각각 좌측/우측 귀와 좌측/우측 눈의 중심점(동공)과의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 응시자 단말의 시험 화면으로부터 일정 각도로 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 해당 시점의 부정 행위와 관련된 얼굴 사진과 영상이 상기 시험 서버로 전송되는 단계를 포함하는, 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법. - 제16항에 있어서,
상기 응시자 단말의 마이크와 음성 인식 모듈로 감지된 응시자의 음성 신호가 가우시안 노이즈의 기준치 데시벨 dB 이상의 소리가 발생되는 경우, 응시자의 음성 데이터를 상기 온라인 시험 또는 UBT 시험 서버로 전송하고, 상기 시험 서버를 통해 감독관 단말로 해당 응시자의 부정 행위 정보가 출력되며, 상기 감독관 단말로부터 상기 시험 서버로부터 해당 응시자 단말로 경고 메시지 또는 알람을 출력하는 단계를 더 포함하는 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220139284A KR102615709B1 (ko) | 2020-08-04 | 2022-10-26 | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200097675A KR20220017329A (ko) | 2020-08-04 | 2020-08-04 | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 |
| KR1020220139284A KR102615709B1 (ko) | 2020-08-04 | 2022-10-26 | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200097675A Division KR20220017329A (ko) | 2020-08-04 | 2020-08-04 | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230007970A KR20230007970A (ko) | 2023-01-13 |
| KR102615709B1 true KR102615709B1 (ko) | 2023-12-20 |
Family
ID=80266338
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200097675A KR20220017329A (ko) | 2020-08-04 | 2020-08-04 | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 |
| KR1020220139284A KR102615709B1 (ko) | 2020-08-04 | 2022-10-26 | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200097675A KR20220017329A (ko) | 2020-08-04 | 2020-08-04 | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20220017329A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240053687A (ko) * | 2022-10-17 | 2024-04-25 | 연세대학교 산학협력단 | 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014064186A (ja) * | 2012-09-21 | 2014-04-10 | Hitachi Kokusai Electric Inc | 試験会場用監視カメラシステム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020032010A (ko) * | 2000-10-25 | 2002-05-03 | 이재찬 | 인증키를 이용한 사용자 확인 시스템 및 그 확인 방법 |
| KR20120090492A (ko) * | 2011-02-08 | 2012-08-17 | 이언주 | 스마트 폰을 기반으로 하는 공인인증시험 관리 시스템과 공인인증시험 관리방법 |
| KR20120134286A (ko) * | 2011-06-02 | 2012-12-12 | 정일훈 | 펜 컴퓨팅 전용펜과 펜 컴퓨팅 입력 장치를 사용한 온라인 전자문제집 시스템 및 그 방법 |
| KR20170031369A (ko) * | 2015-09-11 | 2017-03-21 | 삼성전자주식회사 | 부정행위를 검출하기 위한 서버 및 그 검출 방법 |
| KR20170050465A (ko) | 2015-10-30 | 2017-05-11 | 에스케이텔레콤 주식회사 | 얼굴 인식 장치 및 방법 |
| KR101765770B1 (ko) | 2016-02-29 | 2017-08-07 | 손부경 | 영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체 |
| KR20180050968A (ko) * | 2016-11-07 | 2018-05-16 | 주식회사 조인트리 | 온라인 시험 관리 방법 |
-
2020
- 2020-08-04 KR KR1020200097675A patent/KR20220017329A/ko not_active IP Right Cessation
-
2022
- 2022-10-26 KR KR1020220139284A patent/KR102615709B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014064186A (ja) * | 2012-09-21 | 2014-04-10 | Hitachi Kokusai Electric Inc | 試験会場用監視カメラシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220017329A (ko) | 2022-02-11 |
| KR20230007970A (ko) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102593624B1 (ko) | 부정 행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| CN109359548B (zh) | 多人脸识别监控方法及装置、电子设备及存储介质 | |
| US11669607B2 (en) | ID verification with a mobile device | |
| JP6619847B2 (ja) | 身元認証方法、端末装置、およびコンピュータ可読記憶媒体｛ｉｄｅｎｔｉｔｙ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｍｅｔｈｏｄ， ｔｅｒｍｉｎａｌ ｅｑｕｉｐｍｅｎｔ ａｎｄ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ｝ | |
| US10650261B2 (en) | System and method for identifying re-photographed images | |
| CN106850648B (zh) | 身份验证方法、客户端和服务平台 | |
| CN108470169A (zh) | 人脸识别系统及方法 | |
| CN112328999B (zh) | 双录质检方法、装置、服务器及存储介质 | |
| US10824890B2 (en) | Living body detecting method and apparatus, device and storage medium | |
| CN208351494U (zh) | 人脸识别系统 | |
| CN111353363A (zh) | 一种教学效果检测方法及装置、电子设备 | |
| KR102615709B1 (ko) | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| KR20240040683A (ko) | 웹 브라우저 기반의 비대면 학습에서 인공지능을 사용한 주의집중 학습 시스템 및 방법 | |
| KR102581415B1 (ko) | 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 | |
| KR20230169880A (ko) | 웹 브라우저 기반의 비대면 학습에서 인공지능을 사용한 주의집중 학습 시스템 및 방법 | |
| KR20230110681A (ko) | 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| KR20230007250A (ko) | 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 | |
| KR20230013236A (ko) | 음성인식을 사용한 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| Zolotarev et al. | Liveness detection methods implementation to face identification reinforcement in gaming services | |
| KR20240078489A (ko) | 안면인식 감독관 기술을 활용한 유러닝 학습 플랫폼에서의 학습 주의 집중 시스템 및 방법 | |
| KR20240077680A (ko) | 인공지능 기반의 블렌디드 러닝 시스템 및 방법 | |
| CN110891049A (zh) | 基于视频的账户登录方法、装置、介质、电子设备 | |
| Netinant et al. | Class Attendance System using Unimodal Face Recognition System based on Internet of Educational Things | |
| KR20230017454A (ko) | 비대면 평가에서의 부정행위 방지 방법, 장치 및 프로그램 | |
| CN111368644B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |